Cache dei prompt

Il "prompt caching" (cache dei prompt) ottimizza l'utilizzo dell'API consentendo di riprendere l'elaborazione da prefissi specifici dei tuoi prompt. Questo riduce in modo significativo i tempi di elaborazione e i costi per attività ripetitive o prompt con elementi costanti.

Ci sono due modi per abilitare la cache dei prompt:

• Cache automatica: aggiungi un singolo campo cache_control al livello superiore della richiesta. Il sistema applica automaticamente il "cache breakpoint" (punto di interruzione della cache) all'ultimo blocco memorizzabile nella cache e lo sposta in avanti man mano che la conversazione cresce. È la soluzione migliore per le conversazioni a più turni, in cui la cronologia crescente dei messaggi deve essere memorizzata automaticamente nella cache.
• Punti di interruzione espliciti della cache: inserisci cache_control direttamente sui singoli blocchi di contenuto per un controllo granulare su cosa viene memorizzato esattamente nella cache.

Il modo più semplice per iniziare è con la cache automatica:

client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-opus-5-5",
    max_tokens=1024,
    cache_control={"type": "ephemeral"},
    system="You are an AI assistant tasked with analyzing literary works. Your goal is to provide insightful commentary on themes, characters, and writing style.",
    messages=[
        {
            "role": "user",
            "content": "Analyze the major themes in 'Pride and Prejudice'.",
        }
    ],
)
print(response.usage.model_dump_json())

Con la cache automatica, il sistema memorizza nella cache tutto il contenuto fino all'ultimo blocco memorizzabile incluso. Nelle richieste successive con lo stesso prefisso, il contenuto nella cache viene riutilizzato automaticamente.

Come funziona la cache dei prompt

Quando invii una richiesta con la cache dei prompt abilitata:

1. Il sistema verifica se un prefisso del prompt, fino a un punto di interruzione della cache specificato, è già presente nella cache a seguito di una query recente.
2. Se lo trova, utilizza la versione nella cache, riducendo tempi di elaborazione e costi.
3. Altrimenti, elabora il prompt completo e memorizza il prefisso nella cache non appena inizia la risposta.

Questo è particolarmente utile per:

• Prompt con molti esempi
• Grandi quantità di contesto o informazioni di base
• Attività ripetitive con istruzioni costanti
• Lunghe conversazioni a più turni

Per impostazione predefinita, la cache ha una durata di 5 minuti. La cache viene aggiornata senza costi aggiuntivi ogni volta che il contenuto memorizzato viene utilizzato.

La durata viene misurata dall'inizio della richiesta che scrive o legge la voce della cache, non dalla fine della sua risposta. Il tempo impiegato per generare una risposta viene conteggiato nella durata: se una risposta impiega 4 minuti per lo streaming, una richiesta successiva che riutilizza lo stesso prefisso nella cache deve iniziare entro circa 1 minuto dal completamento di quella risposta.