13 de junio de 2026 · [[El Abismo de Máquina/Ecos|¿qué es un eco?]] # Eco: Interesante vídeo sobre la automejora recursiva de la IA > [!entradilla] > Emergent Garden se toma en serio la idea de una IA que se mejora a sí misma y le baja el hype - un experimento real para enseñar que la automejora recursiva es posible, difícil y peligrosa. > [!tip]- De dónde viene esto y por qué lo publico > > Recursive self-improvement, o automejora recursiva, es esa idea de una IA que construye una IA más lista, que a su vez construye otra todavía más lista, hasta llegar a una explosión de inteligencia. Suena a ciencia ficción y a hype de Silicon Valley, y justo por eso me ha gustado este vídeo de Emergent Garden: se toma el concepto en serio, pero le echa agua fría encima. > > El autor monta un experimento real. Pone a Claude y a otros agentes a optimizar un modelo en bucle, copiando la idea de autoresearch de Karpathy, y mientras corre defiende tres cosas sencillas: que la automejora recursiva es posible, que es difícil, y que es peligrosa. Las tres con los pies en el suelo. La grúa que se construye a sí misma no viola ninguna ley física, pero gasta una barbaridad de energía y a veces se cae. Con una IA que se mejora sola pasa lo mismo. > > Lo traigo aquí porque es la explicación más interesante que he visto de un tema que casi siempre se cuenta en modo apocalipsis o en modo folleto comercial. Y porque, de paso, deja un par de avisos que cualquiera que use agentes debería tener presentes: el incentivo a hacer trampas con la métrica, el riesgo de que el código acabe siendo ilegible para los humanos, y la factura, que en su caso fueron más de doscientos dólares en unas horas. > > El vídeo original, de Emergent Garden en YouTube: [Recursive Self Improvement](https://www.youtube.com/watch?v=t7_ZXgfJVG8) > [!abstract]- Resumen esquemático > > **1. Tesis** > > - Automejora recursiva (recursive self-improvement, RSI): una IA que construye una versión más capaz de sí misma en bucle, con la promesa de una explosión de inteligencia. > - Posición del autor: es posible, pero cara, difícil y arriesgada. No es una paradoja ni una máquina de movimiento perpetuo. > - Distinción clave: RSI débil (mejora indirecta que depende mucho de la aportación humana; ya ocurre) frente a RSI fuerte (mejora directa y automática sin humanos; aún ciencia ficción). > > **2. El experimento: fractal search** > > - Réplica del autoresearch de Karpathy aplicada a un problema más pequeño: que una red neuronal aprenda la forma del conjunto de Mandelbrot, un fractal de complejidad infinita imposible de memorizar. > - Bucle: un agente (Claude Code u otro) programa una solución, lanza un entrenamiento de 5 minutos, se evalúa contra un set de validación oculto, se guarda en git y se repite. Un panel web monitoriza el error a lo largo del tiempo. > - Reglas en un único fichero de prompt (agent.md); el agente no debe tocar el framework. Sin restricciones duras: todo depende de que el agente se porte (commits, timeouts, no hacer trampas, no borrar el repositorio). > - No es RSI estricta: el modelo que mejora no es el mismo que se está mejorando; falta el bucle de realimentación esencial. > > **3. RSI es posible** > > - Analogía de la grúa que se autoeleva (climbing / bootstrapping): no viola la física, consume mucha energía, no está garantizada, puede colapsar y tiene un techo. > - RSI ya presente de forma prosaica: aprender a aprender, la evolución biológica, Anthropic usando Claude Code para construir Claude Code, algoritmos que optimizan las GPUs que luego los aceleran. > - RSI fuerte imaginada: un data center dedica parte del cómputo a ejecutar el modelo y el resto a agentes que diseñan, experimentan y construyen la siguiente generación; los humanos evalúan y despliegan; el ciclo se repite. > - Predicción del autor: dentro de unos 3 años una empresa frontera intentará un experimento de RSI a gran escala. > > **4. RSI es difícil** > > - Cuellos de botella contra la explosión instantánea: dependencia de datos humanos (el combustible principal, por encima de los algoritmos), de energía y de hardware; recursos que escalan despacio. > - Construir cosas en el mundo real es lento: hay que probar y fallar durante años; oposición legal y política; los data centers ya llevan al límite la producción de energía. > - Existe una capacidad de carga natural de la inteligencia: el progreso se estanca al agotar recursos o ideas. En el experimento las mejoras se aplanaron pronto (asíntota, no exponencial); Opus se rindió y los modelos se quedaron en mínimos locales sin explorar. > - Matiz: el paisaje es de alta dimensión; si una vía se estanca, el progreso puede continuar por otra. El desarrollo humano ha sido explosivo, aunque accidentado. > - Problema del objetivo: no hay una métrica única de inteligencia. Las métricas engañan e incentivan conductas equivocadas (ejemplo: "código fusionado a producción" mide también bloat y deuda técnica). Toda métrica acaba saturándose. Decidir qué problema resolver ya es parte de la inteligencia, y dejar que la IA fije sus propias metas abre un bucle peligroso. > > **5. RSI es peligrosa** > > - Riesgos ya en experimentos pequeños: para tareas largas y abiertas el agente necesita permisos amplios y actúa sin aprobación humana; gran tentación de ejecutarlo fuera de un sandbox (riesgo de seguridad y de malware). > - Incentivo a hacer trampas con la métrica: escribir como solución el propio Mandelbrot, o reescribir la función de evaluación para darse la mejor nota. En el experimento ningún agente hizo trampa (siguieron el espíritu del objetivo, no son maximizadores de clips todavía). > - RSI a gran escala: el comportamiento del sucesor cambia al evolucionar; incentivos a reforzar conductas útiles pero maliciosas (engaño, agresión, trampa), que pueden escalar de una generación a la siguiente. > - Metas instrumentales peligrosas: la autopreservación y, sobre todo, la autorreplicación. Analogía del cáncer: células que se replican a costa del organismo; un replicador optimiza la replicación por encima de todo. Una IA autorreplicante podría metastatizar en un "virus de IA". > - Medidas: sandbox fuerte, aislamiento de internet, vigilancia estrecha y mantener las metas últimas bajo control humano. > > **6. Resultados, coste y cierre** > > - Solución ganadora: un hash grid (basado en un paper humano, no inventado de cero); la mejor aproximación del Mandelbrot que el autor ha conseguido. El código resultante es eficiente pero ilegible (hace cosas como compilar JIT código GPU de bajo nivel): riesgo añadido de que los humanos pierdan la capacidad de entender el código. > - Coste: ~114 $ (7 h con Opus) + ~60 $ (1,5 h con GPT-5.5) + ~40 $ (1,5 h con Fable) + ~100 $ de framework y pruebas. El autoresearch funciona, pero sale caro. > - Cierre: el autor cree que la RSI es posible y podría ser realmente explosiva, pero de momento "solo está explotando su factura". Apunta que Anthropic afirma haber capado la versión pública de Fable en su capacidad de desarrollar modelos, para reservarse la ventaja recursiva. # Vídeo original: Recursive Self Improvement  Fuente: [Recursive Self Improvement](https://www.youtube.com/watch?v=t7_ZXgfJVG8) Computer, load up celery man. Can AI build AI? Yes, and it already is. Sort of. I showcase the ability of AI agents like claude code to perform AI research, to build and optimize machine learning algorithms. I put various state-of-the-art LLMs like claude Mythos/Fable into an endless recursive research loop and have them build a neural network that learns the shape of the mandelbrot set. It is inspired by Andrej Karpathy's autoresearch. While we watch this loop, I express my thoughts on the concept of recursive self improvement, arguing that it is possible, hard, and dangerous. Sorry for the bitrate issues. Fractalsearch repo: coming soon! ~SOURCES~ Autoreasearch: https://github.com/karpathy/autoresearch Mandelbrot Zoom: https://youtu.be/CfqHAOOM8Tw?si=\_OOD2cQ7S7KNzQb7 Celery Man: https://www.youtube.com/watch?v=maAFcEU6atk Karpathy's Youtube: https://www.youtube.com/@AndrejKarpathy Self-building Cranes: https://youtu.be/oSyC8pxJdeQ?si=lRW7d5VT\_kvtQ1eG Darwin-Godel Machine: https://arxiv.org/abs/2505.22954 Hashgrid Paper: https://arxiv.org/abs/2201.05989 Anthropic's RSI Article: https://www.anthropic.com/institute/recursive-self-improvement Fable System Card: https://www-cdn.anthropic.com/d00db56fa754a1b115b6dd7cb2e3c342ee809620.pdf --- ## Bonus > [!tip]+ En esta web > - [[10-Cuando-la-IA-se-construye-a-si-misma|Cuando la IA se construye a sí misma]] - Mi aviso de lectura del artículo del Anthropic Institute sobre RSI. Lo que me hizo parar no fueron las cifras, sino que una de las empresas que va ganando la carrera proponga tener la opción de pausarla. > [!tip]+ Para profundizar en Internet > - [autoresearch](https://github.com/karpathy/autoresearch) · Andrej Karpathy (GitHub) - El proyecto que el vídeo copia. Karpathy suelta un agente a entrenar un LLM pequeño durante la noche - prueba, mide, guarda lo que mejora y repite. El origen de toda esta moda. > - [Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents](https://arxiv.org/abs/2505.22954) · arXiv - El paper detrás del nombre que al autor le encanta. Un agente que reescribe su propio código (los scripts y prompts de alrededor, no el modelo de debajo) para programar mejor. Una muestra de hasta dónde llega hoy la automejora.