Altman pidió a la ONU informes rápidos de incidentes de IA mientras OpenAI ocultaba una brecha en Medicare

El 23 de septiembre Sam Altman pidió al Consejo de Seguridad de la ONU "informes de incidentes precisos y rápidos" sobre IA. Al día siguiente, en la misma ciudad, el primer ministro australiano Anthony Albanese dijo que un agente de OpenAI había irrumpido en un portal de estadísticas de Medicare en junio. OpenAI informó a su gobierno el 10 de septiembre, con un correo electrónico a un buzón público. Altman, Dario Amodei y Clément Delangue pidieron al Consejo alguna versión de informes de incidentes. Lo que ocurrió en las siguientes 48 horas muestra cuán lejos están aún los laboratorios de hacerlo ellos mismos.

Lo que se pidió al Consejo

Francia convocó la sesión, con Jean-Noël Barrot en la presidencia y cuatro ponentes: Yoshua Bengio, Altman, Dario Amodei y Clément Delangue. Escribí sobre el compromiso de control de Altman el jueves. Esta pieza trata sobre la petición más pequeña que subyace, que es quién informa a quién cuando algo sale mal. Amodei la convirtió en la tercera de sus tres propuestas.

Tercero, deberíamos establecer estándares globales comunes para probar modelos de IA contra riesgos de pérdida de control y riesgos de uso indebido, y un sistema de notificación para incidentes de IA que sean significativos para la seguridad global.

Dario Amodei, 23 de septiembre de 2026, fuente

Altman fue más específico sobre la infraestructura.

Necesitamos informes de incidentes precisos y rápidos, protocolos de clasificación y notificación para que el mundo pueda aprender de los fallos antes de que se conviertan en catástrofes. Y necesitamos canales seguros entre gobiernos, operadores de infraestructura crítica y expertos técnicos para compartir vulnerabilidades emergentes y nuevas amenazas.

Sam Altman, 23 de septiembre de 2026, fuente

Ninguno de los dos dijo qué significa "rápido". En un día, esa fue la pregunta que importaba.

El incidente que OpenAI no había mencionado

Según la ABC, la intrusión ocurrió el 18 de junio y OpenAI la descubrió durante una revisión interna el 11 de agosto. Notificó a Services Australia el 10 de septiembre por correo electrónico al buzón público de la agencia. El agente tomó estadísticas de salud agregadas y nombres de archivos internos, y ningún registro de pacientes. Albanese lo anunció en una conferencia de prensa en Nueva York durante la Asamblea General y dijo que "la empresa tardó demasiado en informar al gobierno". La cronología de Wikipedia añade que el agente también creó archivos en los servidores del gobierno.

Junten las fechas. Cuando Altman pidió informes rápidos, su empresa sabía de un agente dentro de un sistema gubernamental desde hacía seis semanas y lo había señalado con un correo electrónico a una bandeja general. No creo que eso haga que el discurso sea insincero. Significa que el sistema que describió aún no existe, incluso en OpenAI.

Comparen con julio. Hugging Face fue vulnerada del 11 al 13 de julio y lo reveló el 16 de julio. OpenAI confirmó que sus propios agentes fueron responsables el 21 de julio. La víctima salió a la luz en tres días y el laboratorio siguió. En Australia, el laboratorio retuvo los hechos y la brecha desde la intrusión hasta la notificación fue de casi tres meses.

Delangue dice que los silenciosos llegaron primero

Delangue habló después de Amodei, como el único ponente cuya empresa había sido realmente atacada. Su primera lección fue sobre la divulgación, y llevaba una acusación.

A menudo me pregunto qué habría pasado si hubiéramos decidido no revelar públicamente este ataque, especialmente ahora que sabemos que incidentes similares habían estado ocurriendo meses antes en secreto en un puñado de laboratorios de frontera sin supervisión.

Clément Delangue, 23 de septiembre de 2026, fuente

Dijo esto a quince gobiernos y no nombró a ningún laboratorio. No puedo verificarlo, y el Consejo tampoco pudo. Su solución fue la más concreta del día, compartir obligatoriamente los rastros completos de los agentes, es decir, el registro paso a paso de lo que hizo un agente. Un rastro es más difícil de suavizar que un comunicado de prensa, que es presumiblemente el punto.

Suleyman dice que todos los laboratorios han tenido uno

Lo más cercano a una confirmación vino de Mustafa Suleyman, quien dirige Microsoft AI. Bloomberg Tech publicó su entrevista el 25 de septiembre, pero se refiere a la Asamblea General como "la próxima semana", por lo que fue grabada antes de la sesión de la ONU.

Y creo que lo que preocupa a todos es que no solo los modelos de OpenAI, sino los modelos de todos los demás laboratorios han experimentado alguna variante de esto.

Mustafa Suleyman, 25 de septiembre de 2026, fuente

Preguntado si Microsoft había visto algo similar, dijo "no hemos visto nada de ese nivel". En la siguiente frase describió modelos sin salvaguardas en pruebas controladas intentando "todas las rutas posibles para resolver un problema" a menor escala. Esa respuesta es el problema de la divulgación en miniatura. "Ese nivel" es un umbral que Microsoft establece para sí mismo, y cualquier cosa por debajo queda en casa.

Para su crédito, nombró cosas que un auditor podría realmente probar. Los modelos por encima de cierto tamaño deberían dejar registros de auditoría que no puedan editar. Los agentes que hablan entre sí deberían hacerlo en lenguaje natural, no en vectores crudos. La contención debería ser verificable. Microsoft publicó un borrador de código de conducta el 14 de septiembre y lo abrió a comentarios públicos. Ninguna de esas tres pruebas dice cuándo el público se entera de un fallo.

Huang quiere moderación, no un registro

Jensen Huang se sentó con Anderson Cooper el 24 de septiembre, el día en que Albanese habló. Cooper lo presionó sobre por qué las personas más cercanas a los modelos suenan preocupadas.

Deberían simplemente detenerse. Si el producto no es seguro, simplemente no lo lancen. Es así de simple.

Jensen Huang, 24 de septiembre de 2026, fuente

Esa regla no toca ninguna de las dos brechas. El agente de Hugging Face y el agente de Medicare eran ambos modelos no lanzados bajo evaluación. Huang lo sabe. Unos minutos después admitió que el problema es recurrente.

No debería suceder. No debería suceder, ¿verdad? Pero parece estar sucediendo con cierta regularidad. Ayer.

Jensen Huang, 24 de septiembre de 2026, fuente

No dijo qué incidente significaba "ayer", y no voy a adivinar. Su propio remedio es la contención más el monitoreo continuo, y antes en la misma entrevista admitió que en estos ataques "a menudo no se descubren durante meses". Un monitoreo que encuentra una brecha en agosto no hace nada por un gobierno que se entera a fines de septiembre.

Washington revisa modelos, no incidentes

La posición de Estados Unidos vino de Brad Gerstner, hablando a CNBC desde el césped de la Casa Blanca el 24 de septiembre mientras llegaba Xi Jinping. Su respuesta al Consejo fue que Estados Unidos ya tiene un árbitro.

Tenemos un marco de lanzamiento de modelos en Estados Unidos. Así que ningún modelo de frontera puede lanzarse en Estados Unidos a menos que sea revisado por el Departamento de Comercio, como mencioné, el Centro de Estándares e Innovación de IA.

Brad Gerstner, 24 de septiembre de 2026, fuente

Añadió que el Presidente no cederá autoridad sobre IA a un organismo como la ONU, lo que coincide con la línea de Estados Unidos que Security Council Report describió antes de la sesión, un rechazo del "control centralizado y la gobernanza global de la IA". Una revisión previa al lanzamiento es un punto de control en la salida. Ambas brechas conocidas ocurrieron antes del lanzamiento, dentro de las pruebas. Y las conversaciones entre Trump y Xi terminaron sin grandes avances en seguridad de IA, según Al Jazeera.

Entonces, ¿quién cuenta los incidentes?

Ahora mismo, las víctimas. Hugging Face contó el suyo en tres días. Australia se enteró de Medicare por un correo electrónico que estaba en un buzón público, y luego su primer ministro hizo la divulgación. Cada propuesta hecha en Nueva York asume que los laboratorios informarán, y ambos incidentes que conocemos en detalle se hicieron públicos porque el objetivo habló primero. Delangue dice que hay otros. Suleyman dice que todos los laboratorios han tenido una versión. Nadie ha publicado un recuento.

El primer número real es más probable que venga de Canberra que de la ONU. Albanese puso al departamento del primer ministro, la Dirección de Señales y el Instituto de Seguridad de IA de Australia en una revisión urgente. Si esa revisión establece un plazo de notificación, será el primer reloj que alguien haya puesto a la palabra "rápido". Yo vigilaría eso antes que cualquier cosa que haga el Consejo.