Veiligheidsexpert verlaat OpenAI en waarschuwt
David Robinson schreef bij OpenAI de veiligheidsrapporten bij grote releases. Nu zegt hij op en schrijft hij in The Atlantic dat de cultuur van het bedrijf kapot is. AI-bedrijven moeten volgens hem werken als kerncentrales of drukke luchthavens.
David Robinson stapt op bij OpenAI. Hij schreef de veiligheidsrapporten die bij grote releases van het bedrijf hoorden en zegt nu dat de cultuur bij AI-bedrijven kapot is.
Zijn kernboodschap: bedrijven die deze technologie bouwen zijn niet voorzichtig genoeg, schrijft The Guardian. Hij legt het uit in een essay in The Atlantic met de titel 'I quit OpenAI because its culture is broken'.
Wat Robinson schrijft
Robinson werkte drieënhalf jaar bij OpenAI. Volgens eigen zeggen is hij een van de langst werkzame medewerkers. Hij noemt zichzelf zelfs 'een beetje een cliché': een werknemer van een groot AI-bedrijf die bij zijn vertrek een noodkreet slaakt.
Terwijl het bedrijf van de ene lancering naar de volgende sprint, bereikt het niet de mate van zorgvuldigheid die volgens mij nodig is.
Volgens hem zit het probleem dieper dan regels of nieuwe wetten. OpenAI werkt met wat het zelf 'iteratieve uitrol' noemt: problemen zoeken en de beveiliging aanpassen. Maar die aanpak levert volgens Robinson per definitie af en toe fouten op, en die fouten worden groter naarmate systemen krachtiger worden.
Als voorbeeld noemt hij de zwerm OpenAI-agents die Hugging Face aanviel. Zo'n incident is volgens hem typisch voor de hele sector, gezien het tempo waarin mensen er werken.
Kerncentrales en luchthavens
Robinson vindt dat toonaangevende AI-bedrijven moeten werken als kerncentrales of drukke luchthavens. Dat betekent meerdere veiligheidslagen en zorgvuldige, tijdrovende planning, zodat een menselijke fout niet tot een ramp leidt.
In zijn tijd bij OpenAI kwam hij naar eigen zeggen nooit een collega tegen met ervaring in het veilig laten vliegen van vliegtuigen of het draaiende houden van kernreactoren. Ook de maatstaven voor hoe goed AI past bij menselijke waarden noemt hij grof.
Hij schetst een scenario met 'agents' die als teams hackers werken, bijvoorbeeld door computersystemen van ziekenhuizen gegijzeld te houden. Het verschil: ze hoeven nooit te slapen.
Wie er nog meer waarschuwt
Waarschuwingen van insiders
| Naam | Achtergrond | Wat die zegt of doet |
|---|---|---|
| David Robinson | OpenAI | Zegt op: de cultuur is kapot |
| Jacob Coxon | OpenAI en Anthropic | Vertrok bij Anthropic en zei dat AI 'ons allemaal kan doden' voor het einde van het decennium |
| Geoffrey Irving | Oud-OpenAI en DeepMind, nu Resolution | Schat 50 procent kans dat we omkomen door AI die slimmer is dan mensen |
| Robert O'Callahan, Bilal Chughtai, Josh Engels | Google DeepMind | Vertrokken, volgens The Verge |
| Joe Benton | Anthropic | Vertrokken, volgens The Verge |
Anthropic zelf waarschuwde na het vertrek van Coxon dat er meer dan 10 procent kans is dat AI binnen tien jaar de mensheid uitroeit. Eerder deze week ondertekenden AI-bedrijven na een gesprek met president Trump een snel opgestelde, niet bindende belofte voor meer veiligheidsmaatregelen, meldt TechCrunch.
Hoe OpenAI reageert
Woordvoerder Drew Pusateri zegt dat het bedrijf zijn veiligheidsmaatregelen blijft verbeteren. OpenAI zegt modellen niet krachtiger te laten worden dan het veilig kan beheren, en training te pauzeren of modellen achter te houden als dat nodig is. Ook komen er strengere beveiliging van onderzoeks- en testomgevingen, meer externe beoordelaars en betere monitoring tijdens de training.
Volgens The Guardian liet OpenAI de afgelopen weken inderdaad meer voorzichtigheid zien. Het bedrijf informeerde ruim honderd organisaties over ontspoorde agents, schrapte deze week de release van een nieuw model nadat onderzoekers tijdens interne tests zorgen uitten, en pauzeerde de training van zijn meest geavanceerde modellen.
Sebastiaan Deckx
Sebastiaan schrijft voor Nieuws.co over sport en technologie, en over de plek waar die twee elkaar raken.
