24 de septiembre de 2026 · [[El Abismo de Máquina/Ecos|¿qué es un eco?]] # Eco: Vídeo - Altman y Amodei ante el Consejo de Seguridad de la ONU > [!entradilla] > Altman y Amodei hablan ante el Consejo de Seguridad de la ONU. Los dos discursos lado a lado - en qué coinciden, en qué no y qué piden a los gobiernos. <div style="display:grid;grid-template-columns:repeat(auto-fit,minmax(280px,1fr));gap:16px;margin:16px 0;"> <div><iframe style="width:100%;aspect-ratio:16/9;border:0;border-radius:12px;" src="https://www.youtube.com/embed/bT-LB6MCb8E" allowfullscreen></iframe><p style="margin:6px 0 0;font-size:0.9rem;text-align:center;">Sam Altman (OpenAI) · 9 minutos</p></div> <div><iframe style="width:100%;aspect-ratio:16/9;border:0;border-radius:12px;" src="https://www.youtube.com/embed/u-u8gOgNA9o" allowfullscreen></iframe><p style="margin:6px 0 0;font-size:0.9rem;text-align:center;">Dario Amodei (Anthropic) · 5 minutos</p></div> </div> > [!tip]+ Por qué lo traigo > > Ayer hablaron Altman y Amodei en el Consejo de Seguridad de la ONU. Os los traigo juntos porque leídos a la vez se ve muy bien en qué coinciden: los dos ponen la pérdida de control como primer riesgo, dicen que frenarán si hace falta y piden a los gobiernos pruebas comunes y un sistema para avisar de incidentes graves. > > Sigo pensando que [[Posts/2026.09/12-amodei-frenar-ia|la IA no se va a frenar a escala global]], pero la idea de Amodei de empezar por prohibir la IA para fabricar armas biológicas me parece lo más realista del debate. La pega es que los dos se quedan en lo general, y los dos traen un anuncio propio que todavía hay que confirmar. > > Los originales, en C-SPAN: [Sam Altman](https://www.youtube.com/watch?v=bT-LB6MCb8E) y [Dario Amodei](https://www.youtube.com/watch?v=u-u8gOgNA9o). El texto oficial de Altman está en [la web de OpenAI](https://openai.com/index/sam-altman-un-security-council-remarks/). > [!abstract]- Resumen global y comparativa > > #### Contexto > > - Sesión del Consejo de Seguridad de la ONU sobre riesgos de la IA, convocada por Francia, 23 de septiembre de 2026, durante la semana de alto nivel de la Asamblea General. > - Intervinieron Yoshua Bengio, Clem Delangue (Hugging Face), Sam Altman (OpenAI) y Dario Amodei (Anthropic). Aquí solo los dos últimos. > > #### Resumen global > > Los dos CEOs describen un avance más rápido de lo previsto y señalan la pérdida de control como primer riesgo. Altman añade la concentración de poder y Amodei, el mal uso, con las armas biológicas como ejemplo. Los dos aseguran que su empresa frenará si hace falta. Los dos piden a los gobiernos estándares comunes para medir capacidades y riesgos y un sistema de aviso de incidentes. Altman pone el acento en la democracia y en que los estándares no favorezcan a los actuales líderes; Amodei, en empezar por acuerdos pequeños y en sistemas de verificación entre estados. > > #### Comparativa > > | | Sam Altman (OpenAI) | Dario Amodei (Anthropic) | > | --- | --- | --- | > | Duración | 9 minutos | 5 minutos | > | Punto de partida | El avance ha acortado los plazos. La IA puede ser un nuevo Renacimiento o una nueva revolución industrial | La IA avanza muy rápido. En uno o dos años, quizá menos, llega el "país de genios en un centro de datos" | > | Prueba de capacidad | Matemáticas: de primaria a oro en la Olimpiada Internacional y, según OpenAI, Navier-Stokes | Código (la mayor parte del de Anthropic), problemas matemáticos abiertos y un posible sistema de edición genética anunciado ese día | > | Riesgo 1 | Perder el control: que todo vaya tan rápido que nadie pueda seguirlo ni intervenir | Perder el control: capacidades que crecen más rápido que la capacidad de controlarlas | > | Riesgo 2 | Concentración de poder en una persona, empresa o país | Mal uso, con el bioterrorismo como ejemplo | > | Automejora recursiva | La nombra y pide "cuidado extremo" | No la nombra | > | Frenar | OpenAI ha frenado por su cuenta y lo volverá a hacer | Anthropic frenará "todo lo necesario" | > | Sobre su empresa | Tres principios: personas en el centro, progreso por y para las personas, poder individual. "No somos los héroes" | "El mejor historial del sector": pruebas de capacidades peligrosas, salvaguardas, interpretabilidad, informes de riesgo | > | Evaluación externa | No la menciona | Evaluadores externos dentro de Anthropic, "como un inspector de sanidad" | > | Qué pide a los gobiernos | Estándares nacionales e internacionales complementarios, reporte de incidentes y canales seguros entre gobiernos y expertos | Acuerdos pequeños primero, verificación entre estados, estándares globales de pruebas y aviso de incidentes | > | Condición que pone | Que los estándares no favorezcan a los actuales líderes ni a un modelo de negocio | Que nadie puede gestionarlo solo: ni líder, ni empresa, ni país | > | Democracia | Las decisiones no pueden tomarlas solo laboratorios de San Francisco | No entra en ello | > | Cierre | Una encrucijada: poder concentrado o IA guiada por instituciones democráticas | "El problema de seguridad global más importante hoy" | > > *Reflexión de Máquina:* Altman habla de Renacimiento y democracia; Amodei, de plazos, pruebas y verificación. Coinciden en lo que piden a los gobiernos y en que frenarán si hace falta. Lo que se puede comprobar en los próximos meses es si alguno de los dos deja entrar a evaluadores de fuera con acceso real y publica lo que encuentren. > [!abstract]- Resumen esquemático y reflexiones: Sam Altman > > #### Índice > > 1. Dos futuros posibles (0:00-1:17) > 2. Beneficios y riesgos (1:17-2:33) > 3. Dos formas de que salga mal (2:33-4:08) > 4. Los tres principios de OpenAI (4:08-6:02) > 5. El avance en matemáticas (6:02-6:56) > 6. Democracia y estándares internacionales (6:56-8:31) > 7. Cierre (8:36-9:09) > > #### Resumen global > > El avance de los modelos ha acortado los plazos y ha vuelto inmediatos los beneficios y los riesgos. Dos peligros: perder el control de la IA, sobre todo con sistemas que se mejoran a sí mismos, y la concentración de poder en pocas manos. Propuesta de OpenAI: personas en el centro de las decisiones. Petición a los gobiernos: estándares comunes, nacionales e internacionales, para medir capacidades, evaluar riesgos y reportar incidentes. Conclusión: las decisiones importantes no pueden tomarlas solo los laboratorios de San Francisco. > > #### 1. Dos futuros posibles > > - La IA puede parecerse a un nuevo Renacimiento (creatividad, descubrimiento) o a una nueva revolución industrial (trastornos, desorden). > - Percepción de cambio en las últimas semanas y meses: plazos más cortos, beneficios más tangibles, riesgos más inmediatos. > - La mejor versión de la IA da más capacidad a las personas: aprender, crear, descubrir, participar. > - La tecnología actual "distrae y roba atención". > - Hay cosas que la IA no puede ni debe automatizar. > > *Reflexión de Máquina:* Abre con el Renacimiento para colocarse del lado bueno de la historia antes de hablar de riesgos. Funciona como discurso, pero la queja sobre la tecnología que "roba atención" suena rara en boca de quien dirige un producto de consumo masivo que compite justo por esa atención. > > #### 2. Beneficios y riesgos > > - Beneficios: conocimiento nuevo, medicinas, sanidad, educación, economías más productivas, defensa frente a la complejidad de la vida diaria. > - Riesgos: sistemas más autónomos que van más rápido que las instituciones, concentran poder o toman decisiones que nadie entiende ni controla. > - Automejora recursiva: si construir IA se automatiza, el progreso puede acelerarse mucho. Exige "cuidado extremo". > - Reconoce que algunas afirmaciones de la propia industria suenan a ciencia ficción distópica. > > *Reflexión de Máquina:* Que el CEO de OpenAI hable de automejora recursiva ante el Consejo de Seguridad no es un detalle. Es reconocer en público que el riesgo ya no es teórico. Para una empresa que está adoptando IA, la consecuencia práctica es que los ciclos de cambio van a ser todavía más cortos. > > #### 3. Dos formas de que salga mal > > - Coincide con Bengio, pero reduce los riesgos a dos. > - Pérdida de control: todo va tan rápido que nadie puede seguirlo ni intervenir. > - Ganar una carrera entre empresas no justifica decisiones precipitadas. > - OpenAI ha frenado por su cuenta en el pasado y lo volverá a hacer. > - Riesgo de catástrofe del 10 %, 1 % o 0,1 %: ninguno es aceptable. > - No entrenar modelos sin pruebas muy sólidas de que seguirán bajo control humano. > - Concentración de poder: ninguna persona, empresa o país debe usar los modelos más potentes para imponer su visión. > - Quien cree que solo él es de fiar con esta tecnología puede justificar casi cualquier cosa. > > *Reflexión de Máquina:* Es el apartado más fuerte y el más fácil de contrastar con los hechos. Decir que ningún riesgo es aceptable choca con la velocidad real de lanzamientos del sector. Y lo de que quien se cree el único de fiar puede justificar cualquier cosa vale igual para países que para empresas, OpenAI incluida. Habrá que ver si esas frases se convierten en compromisos que alguien pueda comprobar. > > #### 4. Los tres principios de OpenAI > > - Posición declarada: ni optimismo ciego ni catastrofismo. > - Personas en el centro de las decisiones. El alineamiento consiste en que los sistemas sigan bajo control humano y reflejen valores humanos. No se automatiza el juicio humano. > - Progreso por y para las personas: investigadores, médicos, profesores, emprendedores, comunidades. > - Poder individual: la tecnología debe ayudar a cada persona a desarrollar su potencial. "Somos uno de los constructores, pero no los héroes de la historia". > > *Reflexión de Máquina:* "La IA amplía a las personas, no las sustituye" es lo que dicen todas las empresas del sector, y aquí no viene con ninguna medida concreta. Como pregunta para una empresa sí sirve: en cada caso de uso, ¿la IA ayuda a la persona o la saca del proceso? > > #### 5. El avance en matemáticas > > - Hace tres veranos: matemáticas de primaria. Hace dos: competiciones de secundaria. El verano pasado: oro en la Olimpiada Internacional de Matemáticas. > - Hace unas semanas, según OpenAI, un modelo resolvió las ecuaciones de Navier-Stokes, uno de los Problemas del Milenio. Aplicaciones: diseño de aviones, predicción meteorológica, flujo sanguíneo. > - Objetivo declarado: usar ese conocimiento en salud y nivel de vida. > > *Reflexión de Máquina:* Es la afirmación más llamativa del discurso y la que más hay que comprobar antes de repetirla. Un Problema del Milenio necesita la validación de la comunidad matemática, y eso lleva tiempo. Si se confirma, explica mejor que nada por qué habla de plazos más cortos. > > #### 6. Democracia y estándares internacionales > > - Las empresas no deben sustituir al proceso democrático. Las decisiones importantes deben pasar por gobiernos que rinden cuentas. > - Cooperación entre países que compiten, como con otras tecnologías poderosas del pasado. > - Qué pide: > - Estándares nacionales e internacionales complementarios para medir capacidades, evaluar riesgos, decidir si las salvaguardas bastan y mantener supervisión humana. > - Estándares comunes para comparar evidencias y verificar cumplimiento. > - Protocolos rápidos de reporte y clasificación de incidentes. > - Canales seguros entre gobiernos, operadores de infraestructuras críticas y expertos para compartir vulnerabilidades. > - Condición: los estándares no deben favorecer a los actuales líderes ni a un modelo de negocio. Valen para modelos abiertos y cerrados, nuevos y veteranos. > - Cada gobierno decide cómo incorporarlos a su legislación. > > *Reflexión de Máquina:* Es la parte práctica del discurso. La frase sobre no favorecer a los actuales líderes contesta por adelantado a la crítica de siempre: que los grandes piden regulación para cerrar la puerta a los que vienen detrás. Para Europa tiene interés, porque se parece bastante a la lógica del AI Act. > > #### 7. Cierre > > - Dos caminos. Uno: poder concentrado, decisiones opacas, una tecnología que "se le hace" a la gente. Otro: instituciones democráticas que guían la IA, ciencia que mejora vidas reales, más gente participando. > - "Es el futuro que creemos que vale la pena construir". > > *Reflexión de Máquina:* Termina donde empezó, con dos futuros. Deja sin contestar quién decide en la práctica cuando los plazos, según él mismo, se acortan más rápido de lo que se mueven las instituciones. > [!abstract]- Resumen esquemático y reflexiones: Dario Amodei > > #### Índice > > 1. La velocidad del avance (0:00-0:36) > 2. Un ejemplo de beneficio (0:36-1:07) > 3. Dos riesgos (1:07-1:36) > 4. Lo que hace Anthropic (1:36-2:49) > 5. La propuesta del 12 de septiembre (2:49-3:43) > 6. Tres propuestas para el Consejo (3:43-4:38) > 7. Cierre (4:38-5:10) > > #### Resumen global > > La IA avanza tan rápido que en uno o dos años, quizá menos, llegará a lo que Amodei llama "un país de genios en un centro de datos". Traerá grandes beneficios y dos riesgos: el mal uso (por ejemplo, armas biológicas) y la pérdida de control por parte de quien desarrolla los modelos. Propuesta al Consejo: empezar por acuerdos pequeños que todos acepten, crear sistemas para verificar lo que hacen los modelos y fijar estándares comunes de pruebas y aviso de incidentes. Lo presenta como el problema de seguridad global más importante de hoy. > > #### 1. La velocidad del avance > > - Hace cuatro años: apenas una línea de código, problemas de matemáticas de secundaria. > - Hoy: escribe la mayor parte del código de Anthropic y resuelve problemas matemáticos famosos sin resolver. > - Plazo para el "país de genios en un centro de datos": uno o dos años, quizá menos. > > *Reflexión de Máquina:* Es el plazo más concreto y más corto que se oyó en la sesión. Si solo se cumple la mitad, los planes de adopción a cinco años de muchas empresas ya nacen viejos. > > #### 2. Un ejemplo de beneficio > > - Anuncio de Anthropic del mismo día: Claude descubrió una posible "máquina molecular" nueva, un mecanismo de edición genética con posibles aplicaciones en terapia génica. > - Hallazgo preliminar. > - Reparto de papeles: Claude hizo la revisión de literatura, la teoría y el diseño de experimentos; personas los ejecutaron y verificaron en laboratorio. > - Expectativa: avances rápidos en enfermedades que acompañan a la humanidad desde hace milenios. > > *Reflexión de Máquina:* El reparto de papeles es lo interesante: la IA piensa y diseña, las personas ejecutan y verifican. Es un modelo de trabajo que muchas empresas pueden copiar ya. Anunciarlo el mismo día de hablar en la ONU también es comunicación, y él mismo dice que es preliminar. > > #### 3. Dos riesgos > > - Mal uso: por ejemplo, bioterroristas que crean armas biológicas. > - Pérdida de control: capacidades que crecen más rápido que la capacidad de controlarlas. > - Son riesgos globales: asunto del Consejo de Seguridad, no solo de ministerios de economía o tecnología. > - Mal gestionada, la IA podría ser un riesgo para toda la humanidad. > > *Reflexión de Máquina:* Cambia uno de los dos riesgos respecto a Altman: donde Altman pone concentración de poder, Amodei pone mal uso. No parece casual. El mal uso se puede regular con acuerdos concretos, mientras que la concentración de poder apunta directamente a las propias empresas de IA. > > #### 4. Lo que hace Anthropic > > - Afirmación: el mejor historial del sector en prevención de estos riesgos. > - Pruebas de capacidades peligrosas (ciberseguridad, biología) en cada modelo. > - Salvaguardas fuertes en los modelos más capaces, y publicación de ese trabajo. > - Investigación en interpretabilidad mecanicista y alineamiento. > - Informes de riesgo de cientos de páginas. > - Compromiso: frenar todo lo necesario para que cada tecnología que lancen sea segura. > - Límite: el problema es más grande que cualquier empresa. > > *Reflexión de Máquina:* Es la parte más comercial del discurso. Que Anthropic tenga el mejor historial del sector lo dice Anthropic, no una evaluación independiente. Lo que le da más credibilidad es el apartado siguiente, donde propone que alguien de fuera lo compruebe. > > #### 5. La propuesta del 12 de septiembre > > - Objetivo: avanzar a un ritmo en el que la seguridad no se quede atrás de la capacidad. No se trata de parar la IA. > - Tres partes: > - Evaluadores externos dentro de Anthropic, con acceso parecido al de un empleado, "como un inspector de sanidad". Recomendación a otras empresas; algunas ya lo han aceptado. > - Cooperación en la industria para fijar estándares y modular el ritmo de avance. > - Cooperación entre gobiernos para estándares internacionales. > > *Reflexión de Máquina:* El inspector de sanidad es la idea más concreta de toda la sesión y la más fácil de comprobar: o hay evaluadores externos con acceso real, o no los hay. Lo de coordinarse entre empresas para ir más despacio es más delicado, porque visto desde fuera puede parecer un acuerdo entre competidores. > > #### 6. Tres propuestas para el Consejo > > - Acuerdos pequeños que todos los miembros puedan apoyar: por ejemplo, prohibir usar IA para fabricar armas biológicas o permitir que se use para eso. > - Sistemas de evaluación y verificación al ritmo de la IA: que los estados vean qué pueden hacer los modelos más avanzados y comprueben que los demás cumplen. > - Estándares globales para probar riesgos de pérdida de control y de mal uso, y un sistema de aviso de incidentes graves para la seguridad global. > > *Reflexión de Máquina:* Pide casi lo mismo que Altman, pero con otra estrategia: empezar por lo fácil. Es la lógica de los tratados de armas, primero lo que nadie discute y luego lo demás. Parece más realista que pedir un gran acuerdo global de golpe, sobre todo el mismo día en que Trump llamó "plan globalista" a la supervisión internacional. > > #### 7. Cierre > > - "El problema de seguridad global más importante al que se enfrenta el mundo hoy". > - Oportunidad y amenaza global a la vez: dejar a un lado las diferencias. > - Ningún líder, empresa ni país puede gestionarlo solo. > > *Reflexión de Máquina:* Discurso más corto, más técnico y con menos adorno que el de Altman. Cierra con la idea de que nadie puede hacerlo solo, que es también la mejor defensa de su propuesta de evaluadores externos. --- # Contenido original: OpenAI CEO Sam Altman warns UN Security Council on AI risks Fuente: [OpenAI CEO Sam Altman warns UN Security Council on AI risks](https://www.youtube.com/watch?v=bT-LB6MCb8E) (C-SPAN, 23 de septiembre de 2026). Texto oficial: [Sam Altman's remarks at the United Nations Security Council](https://openai.com/index/sam-altman-un-security-council-remarks/) OpenAI CEO Sam Altman on potential dangers of AI: "First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what's happening or intervene when needed." --- > [!example]- Transcripción completa (automática, en inglés, sin corregir) > > **0:00** · I'm honored to be here and to be able to speak with you all at this important time. We've been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate. We have a choice in front of us. AI can either be more like a new renaissance of creativity and discovery or more like a new industrial revolution of upheaval and disarray. > > **0:27** · The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention. > > **0:50** · The best version of AI is not about making people cogs in a giant machine or optimizing every part of life until the human parts disappear. > > **0:58** · It is about giving people more agency in an ever more complex world. More ability to learn, to create, discover, build, participate. There are many things that AI cannot and should not automate. AI should be built for people, not simply to turn the crank crank of the machines faster for their own sake. > > **1:17** · Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies. Anything this power is also powerful is also intimidating. This moment is complicated as we feel both tremendous potential and the very understandable anxiety at the same time. > > **1:35** · These models can help people discover new knowledge, new medicines, better healthare, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. > > **1:51** · AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation. > > **1:59** · On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in two too few hands, or make decisions that people no longer understand or control. > > **2:14** · That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. > > **2:24** · As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care. > > **2:33** · I largely agree with Professor Benjio. > > **2:36** · Uh although I'll say two instead of three, I believe there are two ways that AI progress could go very badly that we have to avoid. First, we could lose control of the future to AI. > > **2:47** · The risk is that it moves so fast that people can no longer follow what's happening or intervene when needed. This would obviously be terrible. The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in competitive race is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems. We think it's important that everyone avoids building systems where we cannot make the alignment, monitor, and safety guarantees that we must. > > **3:18** · We need to understand what these systems are doing and have strong evidence that they will do what people intend even as they get very very smart. Actually, especially as they get very, very smart. It doesn't matter whether people put the risk of catastrophe at 10% or 1% or 12% or.1%. > > **3:35** · None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that will be able to keep under human control. So that's one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic even when it's convenient for anyone actor. > > **4:08** · I believe there is a pragmatic path through both of these. At OpenAI, we approach these questions with a clear goal. AI should give people more power over their own lives, more freedom to live lives the way they want, more ability to solve problems, big or small, and to improve their communities. We don't want to fall into the trap of blind optimism. We also don't want to fall into the trap of dumerism either. > > **4:33** · Getting pulled into either extreme will not help us successfully figure out the challenges in front of us. Especially at a time when the world and its people face such enormous challenges that this technology can help solve. So we try to walk the middle path between these two poles. For us, that means three principles. First, as AI becomes more capable, people must remain at the center of AI decision-m alignment is not an abstract research question. > > **4:59** · It is the work of ensuring that these systems reliably remain under human control, reflect human values, and help people guide the next stages of development. We are not trying to and must not automate human judgment or human values. > > **5:13** · Second, the benefits of scientific progress and economic growth must be by people and for people. AI should help researchers make discoveries, doctors treat patients, teachers teach students, entrepreneurs start companies, communities solve problems that felt out of reach, and much more. The continuous story of human progress is not that tools replace human agency. It is that the right tools make people more capable. And I believe this is going to go much further than we believe possible. Third, this technology must empower people individually. > > **5:41** · A great future will come from people realizing their potential and building value for themselves, their communities, their countries, and the broader world. We might be the builders, one of the builders of this technology, but we are not the heroes of the story. Our role is to enable people all over the world and to trust in the magic of humanity's skill and faculties. > > **6:02** · We now have models capable of discovering knowledge that we have never had before. Consider the progress we've seen in math. Three summers ago, our models were okay at grade school math. > > **6:13** · Two summers ago, they were pretty good at high school math competitions. Last summer, we reached gold a gold level medal in the most prestigious international math competition. And just a few weeks ago this summer, one of our models solved one of the Millennium Prize problems, the Navia Stokes equations. > > **6:29** · These equations are used for aircraft design, weather forecasting, and the study of blood flow. We are not solving math problems for their own sake, but to empower people to discover new knowledge and to use it to improve healthcare, raise standards of living of living, and expand everyone's potential around the world. There remains so much to be discovered, but it's very important that companies not substitute for the democratic process. If AI is to be democratic, the most important decisions cannot be made by labs in San Francisco alone. > > **6:56** · They must be shaped through democratic processes and by governments accountable to the people that they serve. At the international level, this will require cooperation. In our history, there have been times where countries who compete and don't always like each other very much still come together for shared interests and the collective good in the face of a powerful new technology. We believe this must be one of those times. > > **7:22** · We need a mechanism for complimentary national and international frontier AI standards. Standards for measuring capabilities, assessing risks, determining whether safeguards are sufficient, and preserving meaningful human oversight as systems become more autonomous. > > **7:37** · We need common standards so countries can compare evidence, verify compliance, and have a shared language and understanding about what is happening. > > **7:45** · We need accurate and speedy incident reporting, classification and reporting protocols so the world can learn from failures before they become catastrophes. > > **7:54** · And we need secure channels among governments, critical infrastructure operators and technical experts to share emerging vulnerabilities and new threats. > > **8:03** · Obviously, these standards should not lock in incumbents or favor one business model over another. They must support open and closed model developers, new entrance and established labs, national authority, and international cooperation. Each government should decide how to incorporate standards into its own legal system, but we will all be better off if we can agree on what good evidence, good safeguards, and good oversight look like on the global stage. > > **8:27** · We do not have all the answers, and we're very open to any better ideas. > > **8:31** · We're ready to work with you all and try our hardest to figure out the path forward. > > **8:36** · We are at a crossroads. > > **8:38** · One path leads to a world where power is concentrated, decisions are opaque, and people feel that the most important technology of their lifetime is something being done to them. The other path leads to a world where AI works for people because people through democratic institutions help decide how it should develop and guide it, where scientific progress improves real lives, where more people can participate in the future, and where this technology continues to give individuals and communities greater power to live life as they choose. This is a future of realized potential, excitement, and wonder. > > **9:09** · And it is the future we believe is worth building. # Contenido original: Anthropic CEO Amodei warns UN Security Council on AI risks Fuente: [Anthropic CEO Amodei warns UN Security Council on AI risks](https://www.youtube.com/watch?v=u-u8gOgNA9o) (C-SPAN, 23 de septiembre de 2026) Anthropic CEO Dario Amodei on international cooperation in regulating AI: "I believe that this is the most important global security issue facing the world today." --- > [!example]- Transcripción completa (automática, en inglés, sin corregir) > > **0:00** · Good afternoon. I'd like to thank France for convening this meeting and the members of the council for inviting me to speak. AI is advancing very quickly. > > **0:09** · Four years ago, it could barely write a line of code or solve a high school math problem. Today, it writes most of the coded entropic and solves world famous unsolved math problems. The trajectory only needs to continue for a tiny period longer, one or two years, maybe less, to reach what I've called a country of geniuses in a data center. This rapid pace of progress will produce incredible benefit for the world. Just today, Anthropic announced the Claude discovery of a new molecular machine. > > **0:36** · It's a preliminary finding, but it may constitute a new gene editing mechanism that could have applications in in gene therapy. Claude led the literature review, theorizing, and experimental design, and humans ran and verified the experiments in the lab. We believe this type of application will accelerate rapidly in the years ahead and that we can make profound progress in the near future on diseases that have plagued humanity for millennia. But these remarkable capabilities also come with risks that must be managed. > > **1:07** · I see two main categories of risk. The first is misuse of AI models. For example, misuse by bioteterrorists to create biological weapons. The second risk is loss of control. model capabilities accelerating beyond developers ability to control them. These questions are global in scope and concern all of humanity. They are grave enough that I believe they are important questions for this council, not just for economic or ICT ministries. > > **1:36** · If managed poorly, I even believe that AI could be a risk to humanity as a whole. At Anthropic, we believe we have the best track record in the industry for preventing these risks, both operationally and in our research. We test every model for dangerous capabilities in areas like cyber security and biology. We put strong safeguards on our most capable models and we publish our work in these areas. > > **1:59** · We have pioneered research in areas like mechanistic interpretability and alignment science that improve our ability to steer and control our models. > > **2:09** · We also have unparalleled transparency practices releasing risk reports that run to hundreds of pages. But we understand that as AI models become more powerful, even more stringent standards of safety will be required. And we are always aiming to improve our safety and alignment practices, our abilities, our ability to prevent misuse. And we are always striving to do better. > > **2:31** · We will slow down as much as necessary in order to make sure that every successive AI technology that we release is actually safe. But regardless of what we do, managing these risks is ultimately bigger than any one company, and it has an industry-wide and global scale. > > **2:49** · On September 12th, I called for a collaborative effort to pace the frontier, not to stop AI progress, but to work together to make sure the industry and the world can proceed at a rate where we can be sure that safety keeps up with capability for everyone in the industry. This call had three parts. > > **3:12** · First, we committed to embed external evaluators inside Anthropic with employee-like access similar to a food inspector and and we recommended that other companies across the world do the same. Some have already agreed uh uh to adopt this measure. Second, we called for cooperation across the industry to set standards and modulate the pace of progress. And finally, we called for global cooperation across the world between governments to set international standards. > > **3:43** · It is this last area that most squarely falls within this council's remmit. I want to offer three ideas in this regard. First, we should begin with narrow agreements that every member can support, such as a ban on using AI to make biological weapons or permitting your AI technologies to be used to AI technologies to be used to make biological weapons. > > **4:09** · Second, we should build evaluation and verification systems that keep pace with AI development so that states can have visibility into frontier model capability and can verify each other's commitments. Third, we should establish common global standards for testing AI models for loss of control risks and misuse risks and a notification system for AI incidents that are significant to global security. > > **4:38** · I believe that this is the most important global security issue facing the world today. For all the differences of the people in this room, we must put aside those differences in order to confront this global opportunity and global threat that is being presented to us at the same time. > > **4:58** · No leader, no company, and no nation can manage this alone. We commit to working with governments in this room on this urgent work. Thank you for your attention. --- Publicado el 24 de septiembre de 2026, [LinkedIn](https://www.linkedin.com/posts/davidhurtadotoran_mentesinquietas-ugcPost-7508782032852873216-Rcmd/?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAAT5UsBH3ISG9LTxrgEnB7glCf9CerKWno), [Substack](https://substack.com/@davidhurtado/note/c-344558674?r=4uyjfg&utm_source=notes-share-action&utm_medium=web), [X](https://x.com/dhtoran/status/2103016988079456731?s=20)