RAG, memòria i context window: no són el mateix

RAG, memòria i context window sovint apareixen barrejats en la mateixa conversa, però no són sinònims. Una finestra de context és el que el model pot veure ara; RAG recupera informació externa; la memòria decideix què convé conservar entre interaccions.

Context window: informació disponible en aquesta execució

La finestra de context inclou instruccions, conversa, resultats d'eines i documents introduïts al prompt. Fer-la més gran permet aportar més informació, però no resol per si sol què és rellevant ni què s'hauria de conservar en el futur.

RAG: recuperar coneixement quan el necessites

Retrieval-Augmented Generation recupera fragments d'una font externa abans de generar la resposta. És útil quan tens una base documental més gran que el context disponible o quan la informació canvia independentment del model.

Memòria: persistir estat útil entre execucions

La memòria d'un agent tracta decisions, preferències, estat de tasques o aprenentatges que poden ser útils més endavant. No tot el que passa en una conversa mereix convertir-se en memòria persistent.

Una memòria no necessita sempre una base vectorial

Si necessites recuperar informació per similitud semàntica, els embeddings poden ser adequats. Però l'estat estructurat, les preferències explícites, els identificadors o les revisions solen encaixar millor en una base de dades convencional, fitxers o altres estructures deterministes.

Com els combinaria

• Context window per a la informació necessària ara mateix.
• RAG per recuperar coneixement extern rellevant sota demanda.
• Memòria per conservar només estat o coneixement que ha de sobreviure la sessió.
• Fonts estructurades per dades que necessiten consistència i consulta exacta.

L'error habitual és convertir-ho tot en embeddings

Una base vectorial és una eina, no una arquitectura completa de memòria. Si una dada té esquema, identitat o relacions clares, normalment prefereixo conservar aquestes propietats i utilitzar recuperació semàntica només allà on aporta valor real.

Comença pel tipus d'informació, no per la tecnologia

Abans de decidir entre RAG, memòria o simplement més context, preguntaria d'on surt la informació, quant dura, com s'ha de recuperar i què passa si recuperem una versió incorrecta. La resposta acostuma a simplificar molt l'arquitectura.