Por qué «ingeniería de prompts» se quedó corta

Durante dos años el oficio fue redactar bien la instrucción. Sigue importando, pero dejó de ser el problema principal. El problema principal es qué entra en la ventana, en qué orden, y qué se saca: instrucciones, documentos recuperados, historial, resultados de herramientas, esquemas. Eso es ingeniería de contexto: tratar la ventana como un recurso escaso y presupuestado.

Tres hechos la vuelven obligatoria:

1. Cuesta. Cada token de entrada se paga en prefill, en cada paso (módulo 1.2).
2. Se degrada. Los modelos atienden peor a lo que queda en la mitad de contextos largos («perdido en el medio»). Más contexto no es más calidad.
3. Compite. Lo que ocupan las instrucciones no lo ocupan los documentos, y viceversa.

El presupuesto de la ventana

Como un presupuesto de caja: cada partida tiene un tope y una prioridad.

La suma no puede pasar de la ventana menos un margen del 10 %. Cuando no cabe, se poda por prioridad, nunca «lo que salga».

Orden dentro de la ventana

El orden afecta dos cosas: la caché de prefijos (módulo 4.1) y la atención del modelo.

[instrucciones fijas] ← idéntico en todas las llamadas: se cachea
[esquema fijo] ← ídem
[documentos] ← cambia por consulta
[historial podado]
[pregunta actual] ← lo más importante, al final, cerca de la respuesta

Laboratorio 5.1 · el presupuesto del asistente

labs/05-01/presupuesto.md: para cada una de las tres tareas del asistente (extraer factura, responder consulta con cita, redactar acta), una tabla con las seis partidas, el tope en tokens, y la suma comparada con la ventana del modelo elegido. Use tokens.py (0.3) para medir las instrucciones reales.

Entregable: el presupuesto de las tres tareas. Commit: «Capa 5.1: presupuesto de contexto».

Qué se degrada en cada perfil

Cuándo NO usar esto

• No «arregle» un mal RAG metiendo más chunks: el módulo 6 dice cómo arreglar la recuperación.
• No use la ventana de 128k como excusa para no presupuestar: el prefill de 100k tokens en el perfil B tarda minutos.

Práctica

1. El asistente tiene 1 800 tokens de instrucciones. ¿Cuántos chunks de 400 caben en 8k con reserva de 1 000 para la respuesta y 600 de historial?
2. Reordene un prompt que tiene la pregunta al principio. ¿Qué gana?

Referencias

1. Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
2. Anthropic — serie de ingeniería sobre agentes y contexto: https://www.anthropic.com/engineering [VOLÁTIL — verificado: 2026-09]
3. Módulo 1.2 y 4.1 de este curso — el costo del prefill y la caché de prefijos.