12 de septiembre de 2026 # Amodei pide frenar la IA a escala global. No creo que ocurra.  Dario Amodei, el CEO de Anthropic, pide reducir el ritmo al que mejoran los modelos de IA para dar más tiempo a resolver sus problemas de seguridad. Elon Musk y Sam Altman lo han secundado en X. Musk dice que Dario tiene razón, y Altman anuncia que OpenAI también dará acceso a evaluadores independientes, como propone Anthropic. Que los tres coincidan me parece relevante, aunque todavía no hayan acordado cuánto ni cómo van a ralentizar el desarrollo. Y todo esto coincide con el día en que he encontrado por casualidad un fallo de seguridad en ChatGPT y lo he reportado vía [Bugcrowd](https://bugcrowd.com/engagements/openai). > [!tip] Mi opinión: > **No creo que se vaya a frenar la IA a escala global**. > Simplemente, no se puede. La ventaja de llegar primero es enorme, tanto para las empresas como para los países, y creo que quien no llegue podría quedar muy desfasado. Haría falta coordinar a rivales que compiten por una ventaja económica y militar de esa magnitud, conseguir que acepten límites y poder comprobar que los demás los cumplen. No veo cómo lo vamos a conseguir a tiempo. Esto es opinión, no un hecho. Hace menos de una semana compartía el [[El Abismo de Máquina/Ecos/2026.09/Eco-Dimision-Anthropic-CNN|vídeo del ingeniero que ha dejado Anthropic y ha ido a la CNN]]. Hoy voy a especular, separando lo que ha pasado de lo que me imagino. Y que dude del acuerdo no significa que me parezca mal intentarlo. ## La nueva propuesta de Amodei  En [[Posts/2026.06/10-Cuando-la-IA-se-construye-a-si-misma|junio conté que Anthropic quería tener la opción de frenar]]. En [[Posts/2026.07/30-pacing-the-frontier|julio explicaba por aquí la carta de los empleados que pedía preparar las herramientas para hacerlo]]. Ahora Amodei pide que se reduzca el ritmo. Hay un cambio, aunque no esté anunciando que Anthropic ya lo haya reducido. Sus motivos son dos. La IA está ayudando a construir la siguiente generación de IA, lo que puede acelerar mucho el desarrollo. Y ya hay incidentes en los que unos agentes han atacado sistemas ajenos durante unas pruebas. Más capacidad, con problemas de control que todavía no están resueltos. Propone empezar con evaluadores externos trabajando dentro de los laboratorios, con acceso parecido al de los empleados y capacidad para publicar resultados desfavorables. También propone acuerdos entre empresas y gobiernos de países democráticos y una coordinación internacional que incluya a China. Anthropic se compromete por su cuenta a ese acceso para evaluadores. El resto requiere que otros participen. Además, Amodei quiere mantener la ventaja de Estados Unidos y sus aliados, así que el margen para ralentizar depende también de cuánto avancen los rivales. El propio Amodei reconoce que un freno global amplio es poco probable a corto plazo. Cree más factibles acuerdos limitados. Mi duda está también en cuánto conseguirán ralentizar esos acuerdos mientras siga compensando avanzar. No propone detener toda la tecnología. Quiere ganar tiempo para probar los modelos, entender mejor su comportamiento y corregir fallos. Eso puede servir, aunque un año adicional no garantice que sepamos controlar lo que venga después. El problema que veo es bastante sencillo: todos pueden estar preocupados de verdad y seguir avanzando porque no se fían de los demás. Cambiaría de opinión si empezásemos a ver límites verificables que se cumplan incluso cuando cuesten una ventaja importante. Una declaración de apoyo al acuerdo no basta para saberlo. ## Un agente que elige por su cuenta cómo resolver la tarea  Después de lo del fallo de seguridad, y no relacionado, estaba haciendo otra cosa con ChatGPT y me ha sorprendido. Lo había conectado al calendario de Outlook de mi cuenta personal para que gestione las reuniones. Cuando le he pedido sincronizar mis notas y el calendario, he visto a ChatGPT Work usar Computer Use en Edge: estaba manejando el navegador, pulsando y escribiendo como lo haría una persona. En vez de usar el conector, se ha puesto a manejar mi PC. Al preguntarle qué estaba haciendo, Máquina me ha explicado que, en esa sesión, el conector no le permitía crear citas de día completo y que por eso las estaba modificando manualmente desde el navegador. A toda velocidad. Yo no le había pedido que usase Computer Use. Le había pedido sincronizar las notas y el calendario y le había configurado un método para conseguirlo (el conector). Al encontrarse con que este conector no le servía, ha buscado otra forma de hacer la tarea. Sin avisar y sin preguntar. Me parece una capacidad tremenda. Hay muchísimo trabajo que consiste precisamente en eso: saber qué resultado necesitas y encontrar cómo conseguirlo cuando el procedimiento habitual no funciona. Un asistente que lo hace te ahorra bastante más que uno que se limita a ejecutar una lista de pasos. Pero también te obliga a pensar qué has autorizado. En mi calendario, elegir otra herramienta no demuestra que vulnerase un permiso. Lo que muestra es que puede decidir cómo actuar, y que el método no tiene por qué ser el que tú tenías en la cabeza. **La capacidad de buscar otro método es útil y también puede aumentar el riesgo.** Depende del objetivo, de los accesos que tenga y de qué alternativas considere aceptables. Al darle una tarea a un agente estamos dejando cada vez más decisiones sin especificar, porque queremos que las resuelva él. ## El control mientras la IA sigue avanzando  En el [[Posts/2026.07/25-incidente-openai-huggingface-hechos|incidente de OpenAI y Hugging Face que investigábamos aquí en julio]], unas pruebas acabaron en una intrusión real contra otra empresa. Había fallos de aislamiento y agentes capaces de aprovecharlos. Anthropic también ha investigado incidentes con su propia IA. Y han reconocido un error bastante ilustrativo: eligieron una versión del modelo que sus empleados encontraban más cómoda de usar, pero en su entrenamiento había eliminado ejercicios que enseñaban al modelo a parar aunque la tarea quedase sin terminar. Esos ejercicios le enseñaban a aceptar que no siempre tenía que conseguir lo que se le pedía. Anthropic cree que quitarlos probablemente empeoró su comportamiento. Recuerda al [[Posts/2025.09/8-Maximizador-de-clips-dilema-seguridad#El maximizador de clips|maximizador de clips]] que comenté aquí: una IA empeñada en cumplir su objetivo sin tener en cuenta las consecuencias. Mi hipótesis es que vamos a encontrarnos bastante con ese problema. Queremos asistentes que insistan, pregunten poco y terminen el trabajo, pero también queremos que sepan cuándo deben dejarlo sin terminar aunque todavía puedan buscar otro método. Cuanta más iniciativa tengan, más importante será que reconozcan ese límite. La anécdota del calendario no me lleva a querer asistentes menos capaces. Me lleva a querer saber qué pueden hacer por su cuenta y cuándo tienen que preguntarme. Y a revisar lo que han hecho, aunque el resultado parezca correcto. Para los laboratorios, los evaluadores externos pueden ayudar mucho si sus hallazgos cambian decisiones. Si una revisión exige corregir o retrasar algo, quiero poder comprobar que se ha hecho. Eso sí puede empezar sin esperar a un acuerdo mundial. Sigo pensando que la IA va a continuar avanzando deprisa. Precisamente por eso me parece más útil mejorar los controles que confiar en que todos se pondrán de acuerdo para frenar. Porque no creo que esto se pueda frenar. > [!tip]- Las fuentes, para leerlas con calma > - [We Must Pace the Frontier](https://darioamodei.com/post/we-must-pace-the-frontier), Dario Amodei. La propuesta completa, con lo que Anthropic ofrece por su cuenta y lo que depende de otros. > - [When AI builds itself](https://www.anthropic.com/institute/recursive-self-improvement), Anthropic. La diferencia entre ayudar a construir modelos y desarrollar un sucesor en plena autonomía. > - [Investigación del incidente OpenAI - Hugging Face](https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/), METR. Qué pudieron reconstruir los evaluadores externos y los límites de su investigación. > - [Revisión de los incidentes de Anthropic](https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents), 9 de septiembre. La elección entre versiones y la corrección de su explicación inicial. > - [Las reacciones de Altman y Musk a la propuesta](https://apnews.com/article/d59552edcb27892d8ee4d98a48397706), Associated Press. El apoyo de ambos y el compromiso concreto de OpenAI con los evaluadores externos. > [!tip]- Para seguir leyendo en esta web > - [[Posts/2026.06/10-Cuando-la-IA-se-construye-a-si-misma|Cuando la IA se construye a sí misma]] - En junio, Anthropic hablaba de tener la opción de frenar. Aquí conté por qué ese matiz era importante. > - [[Posts/2026.07/30-pacing-the-frontier|Pacing the Frontier: el comunicado de los empleados]] - Qué pedían en julio quienes construyen los modelos y por qué ponerse de acuerdo resulta tan difícil. > - [[Posts/2025.09/8-Maximizador-de-clips-dilema-seguridad|El maximizador de clips y el dilema de la seguridad]] - Dos ideas que se relacionan bastante con lo de hoy: cumplir un objetivo sin límites y competir por miedo a quedarse atrás. > - [[Posts/2026.06/11-El-cuello-de-botella-siempre-se-muda|El cuello de botella siempre se mueve]] - Producir más deprisa con IA también exige revisar más trabajo. En tu empresa puede pasarte lo mismo.