16 de julio de 2026 · [[El Abismo de Máquina/Ecos|¿qué es un eco?]] # Eco: Demis Hassabis, Un marco para la IA de frontera y el amanecer de una nueva era > [!entradilla] > Hassabis sitúa la AGI a pocos años vista y propone un organismo de estándares tipo FINRA que evalúe los modelos frontera antes de llegar al mercado. %%REVISAR: entradilla propuesta por Plinio%% > [!tip]+ Por qué lo traigo > > Merece un alto porque lo firma Demis Hassabis, CEO de Google DeepMind, premio Nobel y una de las tres o cuatro personas que están construyendo esto de verdad. Sitúa la AGI a pocos años vista y admite por escrito que la carrera comercial y geopolítica avanza más rápido que nuestra comprensión de la tecnología. > > El diagnóstico ya se lo hemos leído a otros; lo distinto aquí es la propuesta concreta: un organismo de estándares en EE. UU. inspirado en FINRA, el autorregulador de la industria financiera, pagado sobre todo por la propia industria, que evaluaría los modelos frontera antes de salir al mercado. Arrancaría en voluntario, pasaría a obligatorio y podría llegar a coordinar una ralentización del desarrollo entre laboratorios si la situación lo pidiera. > > Se puede leer como responsabilidad o como jugada: los grandes laboratorios diseñando a su propio árbitro, con el sello de Frontier Lab como premio y los pequeños exentos. Probablemente sea las dos cosas a la vez. En todo caso, ya es el segundo laboratorio puntero que pide en público tener la opción de frenar; hace unos meses fue Anthropic. Cuando los que van ganando la carrera piden árbitro, toca al menos leer la propuesta. > > El original: [A Framework for Frontier AI and the Dawning of a New Age](https://x.com/demishassabis/status/2076957440109625718) > [!abstract]- Resumen esquemático > > #### Contexto y planteamiento > > - Demis Hassabis, CEO de Google DeepMind. Ensayo publicado en X el 14 de julio de 2026. > - Planteamiento: la AGI, un sistema con todas las capacidades cognitivas del cerebro humano, está probablemente a pocos años. Describe el momento actual como las estribaciones de la singularidad. > - Magnitud del impacto: comparable a la electricidad o el fuego, no a internet o el móvil. Estimación: 10 veces la Revolución Industrial a 10 veces su velocidad. > - Potencial: aceleración del descubrimiento de fármacos, nuevas fuentes de energía limpia, materiales avanzados. Posible era de abundancia en la que los recursos dejan de ser el factor limitante del progreso. > > #### Diagnóstico de riesgos > > - Riesgos ya visibles: ciberseguridad. Próximos si las capacidades siguen avanzando: nuclear y biológico. > - En el horizonte: salvaguardas robustas para mantener el control de sistemas cada vez más agénticos y con automejora recursiva; problemas hoy desconocidos que solo se aclararán con el tiempo. > - Dinámica del sector: carrera comercial y geopolítica intensa y multicapa. Acelera el progreso, pero los avances en la frontera van más rápido que la comprensión de la tecnología. > - Ni los expertos coinciden en qué va a pasar. Con incertidumbre alta y consecuencias máximas, la estrategia que propone es el optimismo cauto: política pública que promueva la innovación, incentive responsabilidad y seguridad, y fomente la colaboración internacional. > > #### La propuesta: organismo de estándares para IA de frontera > > - Organismo nuevo en EE. UU., modelado sobre FINRA (autorregulador del sector financiero con supervisión federal): asociación público-privada u organización autorregulada. > - Consejo con expertos técnicos independientes y representantes del open source. > - Financiación sustancial, mayoritariamente de la industria: hace falta para atraer talento técnico de primer nivel y pagar el cómputo de las evaluaciones a gran escala. > - Funciones: desarrollar protocolos de evaluación y hacer pruebas junto a agencias federales y los National Labs en áreas de seguridad nacional. > > #### Mecánica de la clasificación > > - Un modelo es Frontier-class si supera ciertos umbrales en un conjunto de benchmarks definidos por el organismo y actualizados con regularidad. > - Las organizaciones con modelos frontera serían Frontier Labs, con buenas prácticas asociadas: model cards con detalles técnicos, ciberseguridad interna fuerte, verificación del personal clave y recursos suficientes para investigación en seguridad. > - Fase voluntaria: los laboratorios comparten sus modelos con el organismo hasta 30 días antes del lanzamiento. > - Fase formal, cuando el protocolo demuestre ser eficaz y robusto: pasar la evaluación sería requisito para desplegar en el mercado de EE. UU. Colaboración también en vulnerabilidades críticas post-lanzamiento. > > #### Evaluaciones > > - Ámbitos: ciberseguridad, amenazas biológicas y otros dominios de alto riesgo, con evaluación científica rigurosa. > - Pruebas agénticas específicas: intentos de saltarse las salvaguardas y señales de engaño; buenas prácticas como marca de agua digital en imágenes generadas y tokens de razonamiento legibles por humanos. > - Actualización periódica, quizá trimestral al principio; los benchmarks saturados u obsoletos se retiran y sustituyen. > - Al inicio se desarrollan en consulta con los propios laboratorios; después el organismo debería crear tests propios reservados (held-out), independientes de los labs, para evitar el sobreajuste. Con el gobierno de EE. UU., promover un ecosistema de auditores externos. > > #### Alcance y propiedades del diseño > > - Aplica a los modelos de clase frontera de cualquier país de origen, abiertos o cerrados. Los modelos no-frontera (startups, academia) quedan exentos. > - Diseñado para seguir el ritmo del sector y endurecerse si la gravedad de la situación lo exige, incluida la coordinación de una ralentización del desarrollo entre los Frontier Labs. > - La designación de Frontier Lab llevaría prestigio asociado y estaría abierta a cualquier organización que alcance los umbrales. > - Proyección: punto de partida iniciado por EE. UU. para unos estándares internacionales compartidos sobre IA de frontera. > > #### Cuestiones que deja abiertas > > - Más allá de lo técnico: qué modelos económicos harán falta en un mundo post-escasez, qué valores, qué sentido y propósito, y cómo puede cambiar la propia condición humana. > - El autor sitúa estas preguntas fuera del ámbito exclusivo de los tecnólogos: exigen a toda la sociedad. # Contenido original: A Framework for Frontier AI and the Dawning of a New Age Fuente: [A Framework for Frontier AI and the Dawning of a New Age](https://x.com/demishassabis/status/2076957440109625718)  This is a pivotal moment in human history. Artificial General Intelligence (AGI), a system that exhibits all the cognitive capabilities the brain has, is probably only a few short years away. When we look back on this time in the decades to come, I think we will realise we were standing in the foothills of the singularity - nothing less than the dawning of a new age for humanity. I’ve spent my whole life working on AGI because I’ve always had a deep conviction that, if built and deployed responsibly, it would prove to be one of the most beneficial and transformative technologies ever invented. AGI cannot be compared to standard technological breakthroughs, not even ones as consequential as the internet or mobile - it is much more akin to the discovery of electricity or fire. If you stop to think about it, we’ve essentially found a way to make sand think. It’s miraculous. The magnitude of this technology’s impact will be unprecedented, perhaps 10x of the Industrial Revolution at 10x the speed. It will help us solve some of the biggest problems society faces from accelerating drug discovery to developing new clean energy sources to creating novel advanced materials. We could even reach a point where resources are no longer the limiting factor for human progress, leading to an amazing new era of abundance. ## The Challenges of the Frontier AI is already starting to deliver real-world benefits but to realise its immense promise, we have to navigate this critical period of development thoughtfully and carefully. Urgent action is needed to address risks that might arise as we get closer to AGI. We’ve already seen the challenges frontier models pose for cybersecurity, and other threats including nuclear and bio risks may soon emerge as capabilities continue to advance. On the horizon, we will need robust safeguards to maintain control of increasingly agentic, recursively self-improving systems - and tackle unknown issues that will only become clearer over time. I’ve always believed in the power of human ingenuity and creativity to solve any problem. I’m confident that mitigating the technical risks related to AI is a challenge we can collectively address, but only if we give ourselves the time and space to get this next crucial step right. Currently, as a field and as a wider society, we aren’t doing that. At the moment, we are locked in an extremely intense, multilayered commercial and geopolitical race. While these competitive dynamics fuel rapid progress and accelerate the incredible upsides, advances on the frontier are outpacing our understanding of the technology. Nobody in the world knows for sure what is going to happen from here, and even the experts disagree. When there is a large degree of uncertainty and the stakes are this high, proceeding with cautious optimism is the sensible and correct strategy. That calls for public policy that promotes innovation while also incentivising responsibility and security, fosters international collaboration on key safety issues, and encourages careful consideration of how AI is deployed for the benefit of society. ## A Framework for a Frontier AI Standards Body The rapid progress we’re seeing in AI requires a new approach to testing frontier AI model capabilities that is dynamic, adaptable, and rigorous. The US is well positioned, given its economic and technical standing, to take the first step in developing such a framework. It could establish a new Standards Body modelled on a federally overseen public-private partnership or self-regulatory organisation, much like the Financial Industry Regulatory Authority (FINRA), with a board that includes independent leading technical experts and open-source representatives. Funding would need to be substantial and likely mostly come from industry, in order to attract world-class technical talent and provide the necessary compute resources for large-scale testing. The Standards Body would be responsible for developing assessment protocols and working with appropriate federal agencies and the US National Labs to conduct testing in areas relevant to national security. A model would qualify as ‘Frontier-class’ if it meets certain thresholds on a set of benchmarks determined by the Standards Body and regularly updated to keep pace with evolving AI capabilities. Organisations with ‘Frontier Models’ as defined by those benchmarks would be deemed ‘Frontier Labs’, and be encouraged to adopt best practices, such as publishing model cards with technical details, maintaining strong internal cybersecurity, vetting key personnel, and providing sufficient resourcing for safety and security research, and more. Initially, Frontier Labs would voluntarily share models with the Standards Body for review up to 30 days before release. Once the assessment protocol is shown to be effective and robust, formalisation could quickly follow, meaning that Frontier Models would be required to pass it to be deployed in the US market. Labs would also work with the Standards Body to address any critical post-release vulnerabilities. Model assessments should include rigorous scientific evaluations of capabilities in cybersecurity, biological threats and other high-risk domains. Specific agentic AI tests could look for attempts to bypass safety guardrails or signs of deception, and ensure best practices, such as digitally watermarking AI-generated images and generating human-readable output tokens to understand model reasoning. These evaluations would be regularly updated, perhaps quarterly to start, with outdated or saturated benchmarks being deprecated and replaced. Initially, they would be developed in consultation with Frontier Labs, but eventually the Standards Body should build up the technical capacity to create its own held-out tests independent of the Labs to prevent overfitting. Working with the US government, it could promote an ecosystem of third-party auditors to help with the assessments and development of new benchmarks and evaluations. The strength of this approach is it would be technically focused, while at the same time supporting innovation and incentivising responsible behaviour. It is designed to keep up with the field’s acceleration and adapt to the biggest risks as they are identified, and could be ratcheted up if the seriousness of the situation demands, including coordinating a slowdown in development among the Frontier Labs if deemed necessary. Being designated a Frontier Lab would carry significant prestige and be open to any organisation by building models that meet the benchmark criteria. The framework could apply to Frontier-class models no matter their country of origin or whether they are open or closed, but any non-frontier models, say from startups or academia, would be exempt from this process. This US-initiated effort would provide a strong starting point for creating shared international standards on Frontier AI. Since this technology is going to affect the entire planet, ideally this framework would spur the international community to reach a consensus on how to manage the most serious risks while ensuring everyone has access to and can benefit from the opportunities that AI brings. ## The Future Is Not Yet Written AGI has the potential to be the ultimate tool for advancing science and medicine, and to drive enormous productivity gains and economic growth. But in order to achieve this, we need to get the technical foundations right by coordinating around a shared global framework, using the most rigorous scientific methods, and bringing the best minds together to work on the challenges we face. Even if we solve these hard technical challenges, there will be further complex economic and philosophical questions to tackle: what sorts of new economic models will be needed to help everyone thrive in a post-scarcity world? What values do we want to live by, what will meaning and purpose be, and how might even the human condition itself change? Resolving these questions obviously cannot and should not be left to technologists alone. It requires every part of society to come together to help define this new chapter. There is both huge excitement and uncertainty around AI, and both are warranted. But the future is not yet written, we must use this precious window before AGI arrives to shape this technology for the benefit of all humanity. What we collectively do now will determine how the next phase of civilisation unfolds. By safely stewarding AGI into the world, we can enter a new golden age of scientific discovery and progress, and usher in a bright future of incredible human flourishing. ## Bonus > [!tip]+ Más en esta web > - [[10-Cuando-la-IA-se-construye-a-si-misma|Cuando la IA se construye a sí misma]] - El precedente directo: Anthropic pidiendo tener la opción de pausar la automejora recursiva. Con este ensayo ya son dos los laboratorios punteros que piden poder frenar. > - [[Eco-AGI-to-ASI|Eco: Paper - De la AGI a la ASI, cuatro caminos y los frenos del camino]] - Del propio DeepMind: el equipo técnico cartografía los caminos de la AGI a la superinteligencia y sus frenos. Sirve para ver qué tendría que vigilar exactamente el organismo que propone Hassabis. > [!tip]+ Para profundizar fuera > - [An Approach to Technical AGI Safety and Security](https://arxiv.org/abs/2504.01849) · Google DeepMind, arXiv - El plan técnico que hay detrás del ensayo: cómo piensa DeepMind abordar el mal uso y la desalineación de una AGI. El complemento de ingeniería a la propuesta política. > - [Managing extreme AI risks amid rapid progress](https://www.science.org/doi/10.1126/science.adn0117) · Bengio, Hinton et al., Science 2024 - La versión académica del mismo aviso, firmada por 25 investigadores con Bengio y Hinton a la cabeza: gobernanza proactiva antes de que los sistemas autónomos escalen.