AI Generativa
CAG: Cache-Augmented Generation
Il RAG non è l'unica strada per far ragionare un LLM sui tuoi dati. Il CAG precarica la conoscenza direttamente nel contesto del modello invece di recuperarla a runtime — un'architettura che ho confrontato direttamente con il RAG nella mia tesi finale.
Cos'è il CAG
Cache-Augmented Generation è un approccio che, invece di recuperare documenti rilevanti al momento della domanda (come fa il RAG), carica l'intera base di conoscenza — o una sua porzione ampia — direttamente nel contesto del modello, spesso sfruttando meccanismi di caching del key-value store dell'LLM per evitare di ricalcolare l'elaborazione della stessa conoscenza a ogni richiesta.
Il vantaggio: nessuna fase di retrieval separata, quindi nessun rischio di recuperare i documenti sbagliati. Il limite: funziona bene quando la base di conoscenza è abbastanza piccola da stare nel contesto del modello (o nella sua cache), e diventa meno pratico quando i dati crescono o cambiano di frequente.
RAG vs CAG
Il RAG recupera solo i pezzi di testo pertinenti alla domanda (scalabile, ma dipende dalla qualità del retrieval). Il CAG precarica tutto il contesto disponibile (più diretto, ma limitato dalla finestra di contesto del modello e dai costi di calcolo su basi di conoscenza grandi).
Quando scegliere CAG
Il CAG è competitivo quando la base di conoscenza è relativamente stabile e contenuta — per esempio un catalogo di corsi o una FAQ aziendale — dove evitare gli errori di retrieval pesa più del costo di ricaricare il contesto.
Come ho usato il CAG
Per la tesi finale dell'ITS Tech Talent Factory ho progettato e messo a confronto due assistenti conversazionali per l'orientamento a corsi ITS e universitari: uno basato su RAG (PostgreSQL con estensione pgvector, embedding multilingue, generazione con Llama 3.2 via Ollama) e uno basato su CAG. Il confronto ha riguardato accuratezza delle risposte, latenza e comportamento su basi di conoscenza di dimensioni diverse — un lavoro che mi ha dato una comprensione pratica, non solo teorica, di quando conviene l'uno o l'altro approccio.
Hai un progetto RAG o CAG?
Ho appena concluso l'ITS e cerco un ruolo a tempo pieno. Scrivimi: rispondo sempre.