Ventana de contexto
Cantidad limitada de información que un modelo de IA puede consultar al generar una respuesta, medida en tokens y compartida entre instrucciones, conversación, evidencias recuperadas y salida.
Ejemplo en una empresa
Una persona pregunta por una excepción de vacaciones escondida entre cientos de páginas de políticas. En lugar de enviar toda la biblioteca al modelo, el sistema recupera los fragmentos permitidos, los coloca en la ventana de contexto y enlaza la respuesta con esas fuentes.
Cómo funciona
- 1.El sistema convierte instrucciones, mensajes, documentos y resultados de herramientas en tokens.
- 2.Esos tokens ocupan el contexto disponible junto con la respuesta que el modelo va a generar.
- 3.Si el material útil supera la ventana, la aplicación debe seleccionar, recuperar, resumir, almacenar en caché o retirar información.
- 4.Una ventana mayor admite más contenido, pero no garantiza que cada detalle se encuentre o se utilice correctamente.
- 5.Por eso los asistentes empresariales combinan el límite de contexto con recuperación, permisos, priorización de fuentes y citas.
Ideas equivocadas
Conceptos relacionados
Lecturas relacionadas
Fuentes
- https://ai.google.dev/gemini-api/docs/long-context?hl=en
- https://openai.com/index/introducing-company-knowledge/
Revisado:
Revisado por: Javier Chulvi Bernad · LLM Engineer · Madrid