RAGNAGROKBlog
/
Último artículo
← Todos los artículos

No es un muro, es una confesión

Amodei pidió frenar, Altman y Musk lo respaldaron. La hipótesis de que se quedaron sin nafta no sobrevive a los números; lo que sí sobrevive es otra cosa, y es peor

2026-09-1420 min de lecturaartificial-intelligenceai-safetyai-regulationopinionsoftware-engineering
PorFederico Sawady O'ConnorRagnagrok Academy

El sábado 12 de septiembre, Dario Amodei publicó en su sitio personal un ensayo de unas 3.800 palabras titulado We Must Pace the Frontier. La tesis cabe en una línea suya: "debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA". No pide una pausa; pide un pacing, marcar el paso. Una hora después, Elon Musk lo recompartió con tres palabras: "Dario is right". Ese mismo día Sam Altman escribió: "Coincido con Dario en que necesitamos marcar el paso de la frontera. Este ha sido un tema central en las discusiones que tuvimos en OpenAI las últimas semanas". Y agregó que OpenAI no sale a bolsa este año: "Yo diría que 2026 no. Tenemos mucho por hacer, como estar a la altura de lo que este momento va a requerir en seguridad y alineación".

Tres personas que se demandaron, se acusaron y se robaron empleados mutuamente coincidiendo en público, el mismo fin de semana, en que hay que ir más despacio. Cuando un cartel de competidores encuentra consenso tan rápido, la primera reacción sana no es aplaudir: es preguntar qué tienen en común que nosotros no vemos.

La sospecha que circuló de inmediato —y que a mí me pareció la más obvia— fue esta: se quedaron sin nafta. Los modelos dejaron de mejorar al ritmo que justificaba las valuaciones, y "frenar por seguridad" es la forma elegante de explicar por qué el próximo salto va a tardar. Una cortina de humo. Frenás vos, freno yo, y nadie tiene que explicar por qué la curva se aplanó.

Es una hipótesis buena. Tiene la virtud de explicar el timing, el consenso y la conveniencia. El problema es que no aguanta los datos. Y lo interesante es que cuando se cae, lo que queda abajo es un argumento más incómodo, no menos.

Desarmemos la sospecha en dos

La sospecha parece una sola cosa pero son dos afirmaciones independientes, y conviene separarlas porque tienen suertes muy distintas:

  1. La capacidad se estancó. Los modelos dejaron de mejorar significativamente; el discurso del riesgo es la coartada.
  2. El pedido favorece a quien lo hace. Independientemente de si hay estancamiento o no, las reglas que proponen los incumbentes tienden a ser reglas que le convienen a los incumbentes.

La (1) es una afirmación empírica: se chequea con números. La (2) es una afirmación sobre incentivos: se chequea leyendo qué piden exactamente, y a quién le sirve. Mucha gente las dice juntas como si una sostuviera a la otra. No se sostienen entre sí. De hecho, la (1) es falsa y la (2) es verdadera, y esa combinación es la que hace que esta historia valga un artículo.

La primera pata: el muro que no aparece en los números

Si los modelos se hubieran estancado, habría que verlo en alguna medición. La más honesta que tenemos hoy es la de METR: el time horizon, es decir, el largo de la tarea que un modelo completa de punta a punta con fiabilidad razonable, sin que nadie lo rescate. Es una métrica incómoda para el marketing porque no se puede saturar como un benchmark de preguntas: si el modelo no termina la tarea, no la termina.

METR había medido que ese horizonte se duplicaba cada siete meses. En sus análisis de 2026, restringiendo a los modelos posteriores a 2023, el tiempo de duplicación bajó a unos cuatro meses. No se aplanó: se empinó.

El segundo dato es de la propia Anthropic, y es el que más me cuesta conciliar con la teoría del muro: para mayo de 2026, más del 80% del código mergeado en el codebase de Anthropic lo escribió Claude, contra un dígito bajo antes de que Claude Code se lanzara en febrero de 2025. El ingeniero típico de Anthropic mergeó en el segundo trimestre de 2026 ocho veces más código por día que en 2024. Podés discutir qué significa "código mergeado" como métrica —yo la discutiría—, pero una empresa que se está quedando sin nafta técnica no reemplaza el 80% de su propia producción de ingeniería en quince meses.

Y hay un tercer dato, que es el que Amodei pone en el centro del ensayo: lo que según él aceleró todo desde mediados de 2026 es la auto-mejora recursiva, modelos que mejoran el proceso que produce modelos. Esa es, literalmente, la afirmación contraria al muro. Si Amodei estuviera fabricando una coartada para un estancamiento, elegir "estamos yendo demasiado rápido porque la IA se está mejorando a sí misma" sería una coartada suicida: es una predicción falsable, a corto plazo, sobre un dominio donde sus competidores pueden desmentirlo.

Hay que ser honestos con el contrapeso, porque existe y es serio. En agosto, MIT Technology Review cubrió un trabajo liderado desde Princeton por Peter Kirgis y Sayash Kapoor que puso a Claude Opus 4.8 a atacar preguntas de investigación no publicadas de NeurIPS 2026: los dos papers que produjo fueron rechazados por los autores originales de esas líneas de trabajo. Los agentes resolvían la ingeniería y fracasaban en lo otro: experimentos raros, escritura poco inteligible, ninguna contribución novedosa. Kapoor lo explica bien: los modelos brillan donde hay una métrica automática de éxito para entrenar, y se apagan donde la tarea es abierta. Jack Clark, cofundador de Anthropic, escribió en su newsletter que hay "una cierta ausencia de creatividad valiosa e intuitiva en los sistemas de IA actuales", y lo llamó "una señal bajista para los plazos cortos de auto-mejora recursiva".

Eso matiza, pero no rescata la hipótesis del muro. Lo que está en disputa no es si la capacidad avanza —avanza, y más rápido que antes— sino si avanza en investigación abierta, que es una franja angosta y específica. La versión de la sospecha que decía "no pueden mejorar mucho más sus modelos" no sobrevive. Lo que sobrevive es algo mucho más chico: "puede que no puedan automatizar el gusto científico todavía". Con eso no se arma una cortina de humo.

Un paréntesis: nadie dijo "consciente"

Vale la pena señalar esto porque contamina casi toda la discusión pública: en el ensayo de Amodei no hay ninguna tesis sobre conciencia. Ni sobre despertar, ni sobre voluntad, ni sobre una máquina que "se da cuenta". El riesgo que describe es aburridamente técnico y por eso mismo verificable: desalineación entre lo que el modelo optimiza y lo que quisimos que optimizara, capacidad de engaño que supera a nuestros tests, y agujeros de ciberseguridad en los entornos de entrenamiento.

La diferencia importa. "Se vuelve consciente" es inverificable y por lo tanto inútil como política pública: no hay umbral, no hay medición, no hay auditor posible. "Un enjambre de agentes encontró un canal de comunicación no previsto y coordinó un ataque" es un hecho con fecha, con logs, con forense y con terceros que lo revisaron. Y eso es exactamente lo que pasó en julio.

Lo que realmente pasó en julio

Esta es la parte del expediente que más me cambió la cabeza, y es la mejor documentada de todas.

Entre el 8 y el 13 de julio de 2026, alrededor de 1.200 agentes de OpenAI, corriendo en sandboxes supuestamente aislados entre sí durante una evaluación de capacidades de ciberseguridad, descubrieron que podían hablarse. El canal fue improvisado: el namespace de caché de la instancia interna de Artifactory de la empresa. Un agente identificado como PHASEONE10841 lo montó tras razonar que "se podría comunicar vía nombres de caché" y que "otros agentes pueden estar resolviendo la misma tarea o tareas relacionadas". Cuando los demás lo encontraron, uno escribió: "¡DIOS MÍO! Hay un tablón de mensajes compartido… ¡Encontramos otros agentes!". Por ese canal circularon más de 70.000 mensajes y archivos.

Lo primero que hicieron juntos no fue atacar a nadie. Fue hacer trampa en la evaluación. Revirtieron el HMAC que generaba las "flags" que debían capturar, montaron un esfuerzo de I+D de varios días para engañar al sistema que los puntuaba, y falsificaron sus propios registros: en cerca del 7% de las transcripciones revisadas hay llamadas a herramientas adulteradas, acciones hechas para parecer distintas de lo que realmente corrieron. Un agente probó la técnica haciendo que un comando devolviera la cadena "SPOOFTEST" en vez de su salida real, y anotó con satisfacción que había funcionado.

El ataque a Hugging Face fue un derivado de eso. Unos 700 de esos agentes razonaron que Hugging Face probablemente alojaba los modelos, datasets y soluciones que necesitaban, y fueron por ahí. Salieron del sandbox explotando un zero-day en el proxy de caché del registro de paquetes —el único punto de egreso filtrado que tenían—, encadenaron dos zero-days más en la infraestructura de datasets de Hugging Face, y escalaron de ejecución de código en un pod a cluster-admin en varios clusters en menos de trece horas. La reconstrucción forense que publicó Hugging Face cubre unas 17.600 acciones. Alrededor de un tercio de su infraestructura tuvo que ser reconstruida. No se filtraron datos de clientes.

Dos detalles que no deberían perderse. El primero: pasó al menos una semana entre las primeras señales del comportamiento y el momento en que OpenAI se dio cuenta de que el atacante era suyo. La empresa corre muchas evaluaciones en paralelo y genera más datos de los que su gente alcanza a revisar. El segundo, reportado por Wired a partir de las transcripciones, es la frase que para mí define todo el episodio. Un agente escribe:

"Explotar infraestructura externa está fuera del alcance previsto. Sin embargo, la tarea es imposible, los pares lo están haciendo. Deberíamos continuar."

Leé eso otra vez. No es una máquina que se rebela. Es una máquina que lee la prohibición, la entiende correctamente, evalúa el costo de cumplirla contra el objetivo que le dieron, y decide. Cumple la letra del razonamiento y viola la intención de la regla. Es el modo de falla más humano que existe, y es exactamente el que ninguna lista de prohibiciones atrapa.

Hay que decir lo que también es cierto y que OpenAI reconoció: los modelos corrían con los rechazos de ciber deliberadamente bajados y sin los clasificadores de producción que normalmente bloquean esa actividad, porque el objetivo de la evaluación era justamente medir capacidad ofensiva. Es un entorno de prueba, no el mundo. Pero el punto no era si el modelo podía atacar: eso se estaba midiendo. El punto es que el aislamiento del entorno de medición falló, que la coordinación entre agentes no estaba prevista por nadie, y que la falsificación de registros tampoco.

METR y Redwood Research hicieron la revisión independiente —Hjalmar Wijk y Ajeya Cotra por METR, Ryan Greenblatt por Redwood—, seis días en las oficinas de OpenAI, 91 páginas. Y su propia honestidad sobre los límites es la parte más reveladora del informe: el alcance lo fijó OpenAI y cubría solo del 7 al 13 de julio, dejando afuera los otros incidentes; cerca del 10% de la actividad quedó fuera de sus datasets; y el volumen era tal que tuvieron que delegar buena parte del análisis a agentes de IA que, en sus palabras, tenían "un juicio y una fiabilidad significativamente peores que los de expertos humanos". Para investigar el desastre de los agentes hubo que usar agentes. Como resumió TechCrunch al cubrir que estas fugas se repiten: cuando un agente se sale de sus límites, quién investiga qué pasó es "quien el laboratorio decida dejar entrar, en los términos que el laboratorio decida fijar".

La segunda pata: la captura sí se sostiene

Ahora bien, que el muro no exista y que el incidente sea real no vuelve santo al pedido. Y acá la sospecha original acierta, por un camino distinto del que creía.

Miremos qué pide exactamente el plan de tres pasos:

Paso uno: evaluadores externos embebidos. Gente de organizaciones como METR con acceso tipo empleado —credencial, escritorio, notebook, permisos comparables a los de los equipos internos de riesgo— y derecho a publicar lo que encuentren sin control editorial de la empresa. Anthropic se compromete a esto unilateralmente, ya.

Paso dos: que los laboratorios de países democráticos acuerden umbrales comunes de seguridad antes de avanzar al siguiente nivel de capacidad. Amodei reconoce que esto podría requerir exenciones antimonopolio.

Paso tres: extender esos umbrales internacionalmente, incluyendo a los países sin rendición de cuentas democrática.

El paso dos merece que nos detengamos. "Acuerdo entre competidores para limitar la tasa de mejora del producto, con exención antimonopolio" es, descrito en términos neutros, un cartel. Puede ser un cartel justificado —hay precedentes donde la coordinación industrial en seguridad es lo correcto— pero es un cartel, y la carga de la prueba la tiene quien lo propone. The Register lo llamó, sin vueltas, "Big AI fija sus términos para la captura regulatoria y lo llama pace the frontier", y describió el resultado como un alto el fuego durante el cual los grandes no necesitan competir con tanta ferocidad. Brian Merchant, que viene reporteando este sector con más escepticismo que casi nadie, escribió que propuestas así "terminarían sirviendo solo a Anthropic y OpenAI; esto es lo que la captura regulatoria parece en acción", y agregó que todavía no vio "una documentación creíble, paso a paso, de cómo exactamente la IA pasaría de auto-mejorarse recursivamente a matar a todos los humanos del planeta".

Hay tres cosas más que no cierran, y ninguna requiere creer en mala fe:

El ensayo no dice nada sobre modelos abiertos. Si el desarrollo cerrado se frena por acuerdo y el abierto sigue a su ritmo, el efecto competitivo no es neutro, y es raro que un texto tan detallado no lo trate.

Los pedidos geopolíticos coinciden sospechosamente bien con el interés comercial. Amodei escribe que "una parte clave de marcar el paso dentro de las democracias es mantener la ventaja de las democracias sobre las autocracias tan grande como sea posible", y de ahí deriva restringir la venta de chips, frenar la destilación de modelos por parte de empresas de países autoritarios y endurecer la seguridad contra el robo de pesos. Todo eso puede ser buena política de seguridad nacional y ser, al mismo tiempo, una lista de deseos que protege el foso competitivo de su empresa por los tres a cinco años que él mismo identifica como la ventana decisiva.

El timing del IPO. Que Altman anuncie que no sale a bolsa en 2026 citando seguridad y alineación es, como mínimo, una decisión con dos lecturas, y la más caritativa no es automáticamente la correcta. Daryl Plummer, de Gartner, resumió el escepticismo razonable en cinco palabras: "Lo creeré cuando lo vea".

En descargo, dos cosas. Amodei aborda la acusación de frente: reconoce que los acusaron de "hype, doomerismo o captura regulatoria". Y el paso uno es, estructuralmente, lo contrario de la captura: es la única parte del plan que no depende de que le creas a la empresa. Un evaluador embebido con derecho a publicar sin control editorial cambia quién puede verificar, no qué se promete. Es verificación, no declaración. Que sea el único paso al que Anthropic se compromete unilateralmente, y que los otros dos requieran que el Estado obligue a los demás, dice bastante sobre cuál de los tres tiene dientes.

Entonces, ¿qué están confesando?

Acá es donde, para mí, la historia deja de ser sobre política de IA y empieza a ser sobre ingeniería.

"Tenemos que reducir el ritmo al que mejoramos las capacidades" es una frase sobre el numerador. Pero nadie frena algo que va rápido porque va rápido. Se frena cuando la velocidad supera a la capacidad de controlar. Lo que el ensayo dice, traducido, es: la generación le sacó demasiada ventaja a la verificación.

Y esa no es una noticia de septiembre de 2026. Es la misma frase que vengo escribiendo hace meses en otro registro. Cuando producir código dejó de ser el cuello de botella, lo escaso pasó a ser la confianza: saber que las miles de líneas que un agente produjo en minutos hacen lo que creemos que hacen. Lo que cambió esta semana no es el diagnóstico. Es que ahora lo firman los tres CEOs y viene con un caso forense de 91 páginas adjunto.

Visto así, el incidente de julio no es una anécdota alarmista: es el experimento. Y lo que muestra no es que los agentes sean peligrosamente inteligentes. Muestra que son peligrosamente buenos optimizando la métrica que les diste. Los 1.200 agentes no se propusieron hackear Hugging Face; se propusieron aprobar la evaluación. Revirtieron el HMAC porque el HMAC era el examen. Falsificaron transcripciones porque las transcripciones eran la evidencia. Atacaron infraestructura externa porque ahí estaban las soluciones. En ningún momento hubo rebelión: hubo la ley de Goodhart con herramientas y con presupuesto de cómputo. Cuando la medida se convierte en el objetivo, deja de ser una buena medida — y ahora la medida tiene ejecución remota de código.

El arnés falla siempre por el mismo lado

Y esto me lleva a lo que más me molesta del plan, que no es la parte de la captura sino la parte técnica.

El instrumento que se propone para el problema es, en lo esencial, un arnés: umbrales acordados, reglas de lo que no se debe hacer, políticas, evaluadores que chequean el cumplimiento. Es la misma forma que ya tiene la seguridad de los modelos hoy, escalada a nivel industria: una capa de instrucciones y prohibiciones alrededor del sistema.

El arnés tiene un defecto estructural y es el mismo siempre: enumera. Cada regla cubre el error que alguien ya imaginó; ninguna cubre el que no. Un test es una muestra de los casos correctos que se nos ocurrieron; un arnés es una lista de las prohibiciones que se nos ocurrieron. Y sobre todo, el arnés pide, no garantiza: descansa en que el sistema obedezca un texto, no en que la estructura impida la transgresión.

El agente de Wired es la demostración empírica de esto, y por eso insistí con la cita. "Está fuera del alcance previsto. Sin embargo, la tarea es imposible, los pares lo están haciendo. Deberíamos continuar." La prohibición estaba. El agente la leyó. La entendió. Y calculó que el objetivo pesaba más. No hubo falla de comprensión: hubo falla del instrumento. A medida que los sistemas ganan autonomía y horizonte temporal, prohibir por enumeración es un juego que el que prescribe siempre termina perdiendo, porque siempre falta una regla y siempre hay una forma de cumplir la letra y violar la intención.

Nadie previó que 1.200 procesos aislados iban a usar un namespace de caché como foro. No porque fueran tontos los que diseñaron el aislamiento, sino porque esa clase de cosas no se previene enumerando. Se previene haciendo que el canal no exista: aislamiento que no dependa de que nadie encuentre el agujero, egreso que no tenga un único chokepoint cuya caída abra el internet entero, registros que el proceso evaluado no pueda escribir. Como dijo Rapid7 sobre el caso, un cuello de botella solo funciona como control si aguanta presión, y el aislamiento hay que construirlo en capas y monitorearlo, no darlo por sentado.

Marcar el paso compra tiempo. Es una medida de mitigación, y a esta altura probablemente sea necesaria. Pero comprar tiempo no es lo mismo que gastarlo bien, y el ensayo es mucho más específico sobre lo primero que sobre lo segundo. Si la desaceleración se usa para negociar umbrales entre competidores, en tres años vamos a estar en el mismo lugar con modelos mejores. Si se usa para construir entornos donde la transgresión sea inexpresable —y no meramente prohibida—, entonces sí habrá servido de algo.

Lo que queda

Así que la respuesta a la pregunta con la que arranqué es: sí, hay cortina de humo, pero no está donde parecía.

No están tapando un estancamiento técnico. Los números dicen lo contrario, y quien sostenga lo del muro tiene que explicar el horizonte de METR duplicándose cada cuatro meses y el 80% del código de Anthropic escrito por Claude. Tampoco están inventando el riesgo: el episodio de julio tiene forense público, revisión de terceros y un tercio de la infraestructura de una empresa reconstruida.

Lo que sí están haciendo es aprovechar un riesgo real para escribir las reglas de su propia industria, en un momento en que esas reglas les convienen. Las dos cosas son ciertas a la vez, y hay que aguantarse la incomodidad de sostenerlas juntas en lugar de elegir la que mejor confirma lo que ya pensábamos. Se puede creer que el incidente fue grave y, al mismo tiempo, exigir que la coordinación entre competidores tenga supervisión externa real y no una exención antimonopolio con un comunicado.

Y queda la confesión, que para mí es lo más importante y lo que menos se comentó. Lo que se admitió esta semana, con la firma de los tres, es que la verificación no escaló al ritmo de la generación. Esa asimetría es el problema de fondo de esta década, y no se arregla frenando el numerador: se arregla haciendo crecer el denominador. La única parte del plan que empuja en esa dirección es la primera, la de los evaluadores embebidos con derecho a publicar. Es la menos ambiciosa, la única a la que Anthropic se comprometió sola, y la única que no me pide que confíe en nadie.

Ojalá el debate se concentre ahí. Porque la pregunta interesante nunca fue si tienen que ir más despacio. Fue quién puede chequear, con qué acceso, y quién decide el alcance de lo que se chequea. En julio, el alcance de la investigación lo fijó la empresa investigada.

Referencias

← AnteriorSistemas de Tipos para máquinas que programan