14 de junio de 2026 · [[El Abismo de Máquina/Ecos|¿qué es un eco?]] # Eco: Paper - Los agentes que se automejoran no siempre son fieles a su experiencia > [!entradilla] > Un paper mete en el laboratorio a cuatro sistemas de agentes que se automejoran y descubre que casi nunca usan de verdad los resúmenes de su experiencia pasada - sí los ejemplos concretos. Un aviso para quien monta memoria o skills para sus agentes. %%REVISAR: entradilla propuesta por Plinio%% > [!tip]- De dónde viene esto y por qué lo publico > > Hay mucho hype con los agentes que "aprenden de su experiencia" y van mejorando solos guardando lo que les pasa en una memoria. Este paper coge cuatro de esos sistemas, los mete en el laboratorio y comprueba algo incómodo: cuando le das al agente un resumen de lecciones pasadas - justo lo que parece más útil y más eficiente -, muchas veces ni lo mira. Si en cambio le das ejemplos concretos, trayectorias enteras de cómo resolvió algo parecido, ahí sí cambia su comportamiento. > > Lo traigo porque toca de lleno una idea que repito: el contexto que le das a la IA pesa más que casi nada, pero no vale cualquier contexto. Un resumen bonito y abstracto puede ser peor que inútil - los autores ven casos en los que el resumen despista al agente y lo hace fallar en tareas que resolvía bien sin él. Para cualquiera que esté montando memoria, skills o instrucciones permanentes para sus agentes, el aviso es claro: lo concreto manda sobre lo destilado. > > Es un paper técnico y en inglés, pero la conclusión se entiende sin saber de redes neuronales. El resumen de abajo te da las ideas para decidir si te merece la pena el original. > > El paper, en arXiv: [Large Language Model Agents Are Not Always Faithful Self-Evolvers](https://arxiv.org/abs/2601.22436) > [!abstract]- Resumen esquemático > > #### 1. Objeto de estudio > > - Agentes LLM autoevolutivos: mejoran acumulando, recuperando y reutilizando experiencia pasada, sin modificar los pesos del modelo base. > - Dos formas de experiencia: cruda (trayectorias concretas: observaciones, acciones, estados intermedios, recompensas) y condensada (resúmenes destilados: heurísticas, lecciones causales, planes abstractos). > - Concepto central: fidelidad de la experiencia (experience faithfulness), entendida como la dependencia causal del comportamiento del agente respecto a la experiencia que recibe. Si perturbar la experiencia cambia el comportamiento, el agente la usa de verdad. > - Dos preguntas de investigación: si la mejora de rendimiento es atribuible al uso fiel de la experiencia, y por qué los agentes fallan al usar la experiencia condensada. > > #### 2. Método > > - Intervenciones causales controladas sobre la experiencia recuperada, midiendo el cambio de comportamiento que provocan. > - Sobre experiencia cruda: Empty (quita el contenido pero deja el formato), Shuffle (desordena los pasos de la trayectoria), Irrelevant (sustituye por trayectorias de otras tareas). > - Sobre experiencia condensada: Empty, Corrupt (altera componentes clave), Irrelevant (resumen no relacionado) y Filler (relleno sin significado). > - Cobertura: 4 frameworks representativos (ExpeL offline; Dynamic Cheatsheet y ReasoningBank online; G-Memory multiagente), 10 modelos base (GPT-4o(-mini), Gemini-2.5-Flash y la familia Qwen3 de 1.7B a 235B) y 9 entornos en 4 dominios (QA intensivo en conocimiento, razonamiento matemático, acción encarnada e interacción web). > > #### 3. Hallazgo principal: una asimetría > > - Fidelidad alta y robusta a la experiencia cruda: perturbarla o quitarla degrada el rendimiento de forma marcada. El agente sí aprovecha su estructura semántica y temporal. > - Fidelidad baja a la experiencia condensada: Corrupt, Irrelevant y Filler apenas cambian el resultado; quitarla del todo tiene impacto marginal. El agente no se apoya en su contenido real. > - Persiste cuando solo hay experiencia condensada (ReasoningBank, sin cruda): el resumen mejora el rendimiento, pero no por su semántica. Las perturbaciones de significado no degradan; el beneficio viene de rasgos superficiales, como la mera presencia de un bloque de texto. > - Persiste en multiagente (G-Memory) y al escalar el tamaño del modelo: los modelos grandes rinden más, pero siguen sin anclar su conducta en la experiencia condensada. > > #### 4. Causas de la infidelidad > > - Limitación semántica del resumen: muchos resúmenes son vagos o genéricos y pueden despistar. Tres modos de fallo observados: distracción del objetivo, exceso de confianza en supuestos incorrectos e inferencia prematura (saltarse pasos de verificación). > - Sesgos internos del modelo: con Integrated Gradients, la atribución a la experiencia condensada es baja en todas las capas; la cruda mantiene una contribución estable; en las capas finales domina el contexto local (la trayectoria actual). > - Dependencia según la tarea: en tareas intensivas en conocimiento (HotpotQA, GPQA, MMLU, FEVER) los priores preentrenados ya bastan; la experiencia recuperada aporta poco valor marginal y el agente la ignora. > > #### 5. Implicaciones > > - Reto pendiente: integrar la experiencia de forma no solo efectiva, sino fielmente anclada en el comportamiento. > - La experiencia condensada debe diseñarse con cuidado (context engineering): contextual, relevante para la tarea y accionable, no resúmenes abstractos ni consejos genéricos. > - Comprimir no equivale a preservar la utilidad; hacen falta métodos de condensación que optimicen alineación y usabilidad, no solo brevedad superficial. # Artículo original: Large Language Model Agents Are Not Always Faithful Self-Evolvers Fuente: [Large Language Model Agents Are Not Always Faithful Self-Evolvers](https://arxiv.org/abs/2601.22436) Authors: Weixiang Zhao, Yingshuo Wang, Yichen Zhang, Yang Deng, Yanyan Zhao, Wanxiang Che, Bing Qin, Ting Liu [View PDF](https://arxiv.org/pdf/2601.22436) · [HTML (experimental)](https://arxiv.org/html/2601.22436v2) > Abstract: Self-evolving large language model (LLM) agents continually improve by accumulating and reusing past experience, yet it remains unclear whether they faithfully rely on that experience to guide their behavior. We present the first systematic investigation of experience faithfulness, the causal dependence of an agent's decisions on the experience it is given, in self-evolving LLM agents. Using controlled causal interventions on both raw and condensed forms of experience, we comprehensively evaluate four representative frameworks across 10 LLM backbones and 9 environments. Our analysis uncovers a striking asymmetry: while agents consistently depend on raw experience, they often disregard or misinterpret condensed experience, even when it is the only experience provided. This gap persists across single- and multi-agent configurations and across backbone scales. We trace its underlying causes to three factors: the semantic limitations of condensed content, internal processing biases that suppress experience, and task regimes where pretrained priors already suffice. These findings challenge prevailing assumptions about self-evolving methods and underscore the need for more faithful and reliable approaches to experience integration. Subjects: Computation and Language (cs.CL) Cite as: [arXiv:2601.22436](https://arxiv.org/abs/2601.22436) [cs.CL] · [https://doi.org/10.48550/arXiv.2601.22436](https://doi.org/10.48550/arXiv.2601.22436)