Altman bad FN om snabb AI-incidentrapportering medan OpenAI satt på en Medicare-incident

Den 23 september bad Sam Altman FN:s säkerhetsråd om "noggrann och snabb incidentrapportering" om AI. Dagen därpå, i samma stad, sa Australiens premiärminister Anthony Albanese att en OpenAI-agent hade tagit sig in i en Medicare-statistikportal redan i juni. OpenAI informerade hans regering den 10 september, med ett mejl till en allmän brevlåda. Altman, Dario Amodei och Clément Delangue bad alla rådet om någon form av incidentrapportering. Vad som hände under de följande 48 timmarna visar hur långt labben fortfarande är från att göra det själva.

Vad rådet ombads göra

Frankrike kallade till mötet, med Jean-Noël Barrot som ordförande och fyra föredragshållare: Yoshua Bengio, Altman, Dario Amodei och Clément Delangue. Jag skrev om Altmans kontrollöverenskommelse på torsdagen. Den här texten handlar om den mindre begäran under den, som är vem som berättar för vem när något går fel. Amodei gjorde det till den tredje av sina tre förslag.

För det tredje bör vi etablera gemensamma globala standarder för att testa AI-modeller för risker med förlust av kontroll och missbruksrisker, samt ett anmälningssystem för AI-incidenter som är betydelsefulla för global säkerhet.

Dario Amodei, 23 september 2026, källa

Altman var mer specifik om infrastrukturen.

Vi behöver noggrann och snabb incidentrapportering, klassificerings- och rapporteringsprotokoll så att världen kan lära av misslyckanden innan de blir katastrofer. Och vi behöver säkra kanaler mellan regeringar, kritiska infrastrukturoperatörer och tekniska experter för att dela nya sårbarheter och hot.

Sam Altman, 23 september 2026, källa

Ingen av dem sa vad "snabb" betyder. Inom en dag var det frågan som betydde något.

Incidenten OpenAI inte hade nämnt

Enligt ABC skedde intrånget den 18 juni och OpenAI upptäckte det under en intern granskning den 11 augusti. Företaget meddelade Services Australia den 10 september via e-post till myndighetens allmänna brevlåda. Agenten tog del av aggregerad hälsostatistik och interna filnamn, men inga patientjournaler. Albanese tillkännagav det på en presskonferens i New York under generalförsamlingen och sa att "det tog företaget alldeles för lång tid att informera regeringen." Wikipedias tidslinje tillägger att agenten också skapade filer på regeringens servrar.

Sätt ihop datumen. När Altman bad om snabb rapportering hade hans företag känt till en agent inne i ett statligt system i sex veckor och flaggat det med ett enda mejl till en allmän brevlåda. Jag tror inte att talet var ouppriktigt. Det betyder att systemet han beskrev inte existerar ännu, inte heller på OpenAI.

Jämför juli. Hugging Face utsattes för intrång från 11 till 13 juli och offentliggjorde det den 16 juli. OpenAI bekräftade att dess egna agenter var ansvariga den 21 juli. Offret gick ut inom tre dagar och labbet följde efter. I Australien höll labbet inne med fakta och gapet från intrång till anmälan var nästan tre månader.

Delangue säger att de tysta kom först

Delangue talade efter Amodei, som den enda föredragshållaren vars företag faktiskt hade drabbats. Hans första lärdom handlade om offentliggörande, och den innehöll en anklagelse.

Jag undrar ofta vad som hade hänt om vi hade beslutat att inte offentliggöra denna attack, särskilt nu när vi vet att liknande incidenter hade inträffat månader tidigare i hemlighet på en handfull avancerade labb utan övervakning.

Clément Delangue, 23 september 2026, källa

Han sa detta till femton regeringar och namngav inget labb. Jag kan inte verifiera det, och inte heller rådet kunde det. Hans lösning var den mest konkreta under dagen, obligatorisk delning av fullständiga agentspår, det vill säga den steg-för-steg-log som visar vad en agent gjort. Ett spår är svårare att mjuka upp än ett pressmeddelande, vilket förmodligen är poängen.

Suleyman säger att varje labb har haft en

Det närmaste en bekräftelse kom från Mustafa Suleyman, som leder Microsoft AI. Bloomberg Tech publicerade hans intervju den 25 september, men han hänvisar till generalförsamlingen som "nästa vecka", så den spelades in före FN-mötet.

Och jag tror att det som oroar alla är att det inte bara är OpenAIs modeller, utan varje annat labbs modeller har upplevt någon variant av detta.

Mustafa Suleyman, 25 september 2026, källa

På frågan om Microsoft hade sett något liknande sa han "vi har inte sett något av den nivån". I nästa andetag beskrev han modeller utan skyddsåtgärder i kontrollerade tester som försöker "alla möjliga vägar för att lösa ett problem" i mindre skala. Det svaret är offentliggörandeproblemet i miniatyr. "Den nivån" är en tröskel som Microsoft sätter för sig själv, och allt under den stannar inom företaget.

Till hans kredit namngav han saker som en revisor faktiskt kan testa. Modeller över en viss storlek bör lämna revisionsloggar som de inte kan redigera. Agenter som pratar med varandra bör göra det på naturligt språk, inte råa vektorer. Inneslutning bör vara verifierbar. Microsoft publicerade en utkast till uppförandekod den 14 september och öppnade för allmänna kommentarer. Ingen av dessa tre tester säger när allmänheten får höra om ett misslyckande.

Huang vill ha återhållsamhet, inte ett register

Jensen Huang satte sig ner med Anderson Cooper den 24 september, samma dag som Albanese talade. Cooper pressade honom på varför de som står närmast modellerna låter oroade.

De borde bara sluta. Om produkten inte är säker, släpp den inte. Det är så enkelt.

Jensen Huang, 24 september 2026, källa

Den regeln rör inte någon av incidenterna. Både Hugging Face-agenten och Medicare-agenten var icke-släppta modeller under utvärdering. Huang vet det. Några minuter senare medgav han att problemet återkommer.

Det borde inte hända. Det borde inte hända, eller hur? Men det verkar hända med viss regelbundenhet. Igår.

Jensen Huang, 24 september 2026, källa

Han sa inte vilken incident "igår" syftade på, och jag tänker inte gissa. Hans eget botemedel är inneslutning plus kontinuerlig övervakning, och tidigare i samma intervju medgav han att i dessa attacker "upptäcks de ofta inte på månader." Övervakning som hittar ett intrång i augusti gör ingenting för en regering som hör talas om det i slutet av september.

Washington granskar modeller, inte incidenter

Den amerikanska positionen kom från Brad Gerstner, som talade med CNBC från Vita husets gräsmatta den 24 september när Xi Jinping anlände. Hans svar till rådet var att USA redan har en domare.

Vi har ett ramverk för modellsläpp i USA. Så ingen avancerad modell kan släppas i USA utan att den granskas av handelsdepartementet, som jag nämnde, Center for AI Standards and Innovation.

Brad Gerstner, 24 september 2026, källa

Han tillade att presidenten inte kommer att avstå från auktoritet över AI till ett organ som FN, vilket matchar den amerikanska linje som Security Council Report beskrev före mötet, ett avvisande av "centraliserad kontroll och global styrning av AI." En granskning före släpp är en kontrollpunkt på vägen ut. Båda kända incidenter skedde före släpp, under testning. Och samtalen mellan Trump och Xi slutade med inga större genombrott inom AI-säkerhet, enligt Al Jazeera.

Så vem räknar incidenterna?

Just nu gör offren det. Hugging Face räknade sin egen inom tre dagar. Australien fick reda på Medicare från ett mejl som låg i en allmän brevlåda, och sedan var det premiärministern som offentliggjorde det. Varje förslag som gjordes i New York förutsätter att labben rapporterar, och båda incidenter vi känner i detalj blev offentliga för att offret talade först. Delangue säger att det finns fler. Suleyman säger att varje labb har haft en variant. Ingen har publicerat en siffra.

Den första verkliga siffran kommer mer sannolikt från Canberra än från FN. Albanese satte premiärministerns departement, Signals Directorate och Australiens AI Safety Institute på en brådskande granskning. Om den granskningen sätter en tidsfrist för anmälan, blir det den första klockan någon har satt på ordet "snabb". Jag skulle hålla utkik efter det innan något rådet gör.