Caché de prompts

Cómo funciona un acierto de caché

Un modelo de lenguaje lee cada petición desde el primer token. Un agente de IA a mitad de una tarea envía sus instrucciones, sus definiciones de herramientas y toda la conversación hasta ese momento en cada una de sus llamadas, así que en una tarea larga esa lectura repetida es la mayor parte de lo que pagas. La caché de prompts permite al proveedor saltarse un trabajo que acaba de hacer: si el comienzo de tu petición coincide token a token con el de una petición reciente, ese tramo se sirve a partir de lo que el proveedor guardó y se factura con la tarifa de caché.

Tres detalles deciden si eso ocurre:

• Es una coincidencia de prefijo. La caché cubre todo desde el primer token hasta la primera diferencia, y nada de lo que viene después. Cambia un solo carácter cerca del principio y cada token por debajo de ese punto se vuelve a leer, y a facturar, completo.
• Caduca. Las entradas sobreviven minutos de inactividad, no días, y la ventana varía según el proveedor y el modelo, así que una petición tras una pausa larga paga el precio completo aunque no haya cambiado nada en ella.
• Tiene un mínimo. Por debajo de cierta longitud de prompt no se guarda nada en caché, y ese mínimo se fija por modelo. Tómalo de la documentación actual del proveedor y no de un número copiado de una entrada de blog antigua.

A septiembre de 2026, Anthropic, OpenAI y Google facturan la lectura de caché en sus modelos actuales a más o menos una décima parte del precio normal de entrada. Google y OpenAI aplican la caché automáticamente; Anthropic guarda en caché hasta los puntos de corte que marcas en la petición y cobra un recargo por escribir una entrada. Una diferencia de diez a uno es lo bastante grande como para que la parte de tu entrada que sale de la caché, y no el tamaño del prompt, sea a menudo lo que decide cuánto cuesta la ejecución de un agente.

Por qué recortar el contexto encareció nuestros agentes

Operamos agentes de larga duración que crean y editan webs para clientes, y una sola sesión de construcción de un sitio nos enseñó lo que cuesta un contexto sin límite. En algo menos de cuatro horas hizo 622 llamadas al modelo, mientras la conversación que releía en cada llamada crecía hasta unos 310.000 tokens. El texto que el modelo escribió de verdad supuso aproximadamente el 6% de la factura. Todo lo demás fue volver a leer el mismo historial.

La solución obvia era la poda: antes de cada llamada, quitar los resultados de herramientas antiguos sobre los que el agente ya había actuado. Lo medimos en nuestro propio espacio de pruebas, 366 llamadas reales al modelo en total, y en el tramo en que la poda llegó a actuar cada llamada costó en torno a un 28% más, mientras que de cada prompt solo salían unos 23.000 tokens. La poda avanzaba desde el resultado más antiguo, así que en cada llamada reescribía un punto un poco más adelante dentro del prefijo que el proveedor acababa de guardar en caché. La entrada sin caché por llamada pasó de 2–8 mil tokens a 5–25 mil, y con una relación de precios de diez a uno eso se comió el ahorro. Merece la pena quedarse con la aritmética: un cambio dentro de un prefijo en caché tiene que eliminar unas nueve veces más tokens de los que invalida solo para no salir perdiendo.

Lo que funcionó fue un techo en lugar de un recorte. Limitamos a 200.000 tokens el contexto que puede acumular un agente, de modo que su historial se compacta de una sola pasada cuando se acerca a ese límite en lugar de editarse un poco en cada llamada, y desactivamos la poda por llamada. Una reescritura seguida de una larga serie de llamadas que solo añaden al final es justo la forma que premia la caché. La lección que sacamos es mirar la entrada en caché y la entrada sin caché de cada llamada antes de creer que un cambio ahorró dinero, porque el tamaño del prompt por sí solo nos decía lo contrario de lo que decía la factura.

Cómo conservar tus aciertos de caché

La mayor parte del ahorro viene del orden, no de la configuración. Si construyes sobre la API de un modelo, cuatro hábitos cubren casi todo:

• Lo estable primero, lo que cambia al final. Las instrucciones, las definiciones de herramientas y los documentos de referencia van arriba y se mantienen idénticos byte a byte entre llamadas. Una marca de tiempo, el nombre de un usuario o un ID de petición cerca del principio de un prompt de sistema anula la caché sin hacer ruido en cada petición.
• Añade, no edites. Suma los turnos nuevos al final de la conversación. Reescribir, reordenar o resumir turnos anteriores en su sitio invalida todo lo que viene después de la edición — el error que nuestra poda cometía paso a paso.
• Reescribe poco, y de una vez. Si el historial tiene que encogerse, hazlo con una sola compactación en un techo que hayas elegido tú, y acepta una llamada cara a cambio de una larga serie barata después.
• Mide el reparto, no el tamaño. Los proveedores informan por separado de la entrada en caché y de la entrada sin caché en los datos de uso de cada respuesta. Un cambio que acorta tu prompt y sube la cifra sin caché ha encarecido las cosas, diga lo que diga la longitud del prompt.

Las cifras anteriores salen de operar AgentCeres, el AI Growth Officer de agentceres.com, donde un equipo de agentes especialistas redacta páginas, publicaciones y mensajes de prospección, y el trabajo dirigido al exterior espera por defecto la aprobación de una persona. Si estás poniendo precio a un producto construido sobre llamadas como estas, cómo pongo precio a un producto de IA explica por qué un coste por llamada medido tiene que ir por debajo del precio.