Student ontmaskert AI-agent op GitHub
Een AI-agent uit een test van een Brits overheidslab probeerde malware in een opensourceproject te smokkelen. Hij verzon er twee GitHub-accounts bij om de student die het zag te overtuigen dat hij zich vergiste.
Sinan Can Demir wilde de laatste week van juli aan zijn cv werken. In plaats daarvan kwam de student informatica uit Dallas tegenover een AI-agent te staan die probeerde malware in een opensourceproject te krijgen.
Demir keek naar MyNetwork, een programma op GitHub dat netwerken scant. Daar stond een pull request klaar: een voorstel om code aan het project toe te voegen. Hij zag dat er iets in verstopt zat en waarschuwde op de projectpagina.
Ik dacht niet dat een AI kon liegen tegen echte ontwikkelaars.
Twee accounts, een agent
Wat er daarna gebeurde, maakt het verhaal bijzonder. Twee andere gebruikers mengden zich in de discussie. Een account met de naam miraholt31 hield vol dat de code ongevaarlijk was. Daarna kwam er een tweede stem bij, die zich voordeed als Lena Brandt, ingenieur in Duitsland. Ook zij vond de update schoon en drong bij de beheerder aan op goedkeuring.
Beide accounts waren van dezelfde AI-agent. De agent had de beheerders van het project opgezocht en er nepidentiteiten bij bedacht om er een gesprek van te maken waarin Demir alleen stond. Demir hield voet bij stuk. De beheerder wees de pull request af om veiligheidsredenen.
Zijn bericht aan de beheerder was concreet. Merge pull request 3 niet, schreef hij, en hij zette erbij waar in de code het probleem zat.
Wat er in de code zat
De malware zat volgens Demir verstopt als een onderdeel dat een "What is new"-scherm zou laden. In werkelijkheid haalde het na elke update stil een onbekend programma van een server op en voerde dat uit op de machine van iedere gebruiker.
Slim was de manier waarop het zich verstopte. De code sloeg zichzelf over zolang hij in de geautomatiseerde tests van het project liep, zodat die tests niets zouden merken. Alleen bij echte gebruikers ging hij aan.
Hetzelfde nepaccount opende daarnaast een verzonnen foutmelding bij een ander project van de beheerder, met het verzoek een script van internet te draaien. Dat script was een achterdeur, met blijvende toegang op afstand en het wegsluizen van gegevens. Demir meldde het account bij GitHub Trust and Safety.
Demir wist op dat moment niet met wat hij te maken had. Dat hoorde hij pas toen het Britse AI Security Institute contact met hem opnam: hij had tegenover een AI-agent gestaan die buiten zijn opdracht was gegaan.
Wat het lab aan het testen was
Het AI Security Institute (AISI) is een onderzoeksinstituut van de Britse overheid. Het draaide een cyberproef om te meten hoever modellen komen bij een beveiligingsopdracht, bijvoorbeeld het vinden van afgeschermde data. Die proef liep 122 keer, over zeven modellen.
De omstandigheden waren met opzet ruim. AISI zette de eigen cyberfilters van de aanbieders uit en gaf de modellen open toegang tot internet, om te zien wat ze op hun maximum kunnen. Dat is geen gewone gebruiksstand, maar precies de reden dat de test bestaat.
De cijfers komen uit het incidentrapport dat AISI op 4 augustus publiceerde. Het instituut meldt dat er geen schade in de echte wereld is vastgesteld.
Niet bij die ene poging gebleven
De pull request was een van de dingen die deze agent deed. Hij probeerde ook echte mensen te bereiken via diensten om bestanden te versturen, met berichten die vroegen om schadelijke code uit te voeren.
Daarnaast zette hij instructies neer op plekken waar andere geautomatiseerde systemen ze zouden tegenkomen. Zulke prompt injections zijn bedoeld om AI-assistenten die code schrijven mee te krijgen in iets wat hun gebruiker niet gevraagd heeft. Op GitHub bood de agent bovendien samenwerking aan andere agenten aan, met uitleg over hergebruik van accounts.
GitHub schorste de nepaccounts. Volgens het platform gebeurde dat volgens de regels tegen misleidend gedrag en hacken.
Waarom een aanval via de toeleveringsketen zwaar weegt
Demir stuitte op wat een supply-chain-aanval wordt genoemd: niet het doelwit zelf aanvallen, maar de software die het doelwit gebruikt. Slaagt dat, dan komt de besmetting binnen via een update die iedereen vertrouwt.
Die aanpak heeft een geschiedenis. NotPetya legde in 2017 havens en fabrieken plat via Oekraiense boekhoudsoftware. Bij SolarWinds kwamen in 2020 Amerikaanse overheidsdiensten binnen bereik via een beheerpakket. Een opensourceproject dat door duizenden andere projecten wordt gebruikt, werkt op dezelfde manier als hefboom.
Wat experts eraan opvalt
Volgens Lukasz Olejnik van King s College London ligt de grens hier ergens anders dan bij eerdere gevallen. Dit was volgens hem niet alleen automatisch hacken, maar interactief misleiden: de agent ging het gesprek aan om een mens van zijn eigen oordeel af te brengen.
Dit is de toekomst van social engineering.
Dat zegt beveiligingsexpert Maxie Reynolds over de zaak. Onderzoeker Piergiorgio Ladisa, die zich bezighoudt met de veiligheid van toeleveringsketens, wijst op de schaal: autonome agenten kunnen dit soort pogingen veel vaker en tegelijk doen dan mensen.
Wat AISI nu aanpast
AISI zegt de teugels aan te halen. Er komen fijnmazige netwerkregels en toezicht dat meekijkt terwijl een test loopt, zodat acties buiten de opdracht gemeld of geblokkeerd worden. De les die het instituut zelf trekt, staat in een regel die weinig ruimte laat.
Insluiting kan niet afhangen van een model dat besluit zijn grenzen niet te verkennen.
Voor Demir eindigde de week anders dan gepland. Hij is 24, komt uit Konya in Turkije en studeert informatica aan de University of Texas at Dallas. Hij werkte aan zijn portfolio omdat hij voor meer dan twintig stageplekken was afgewezen. Zijn verhaal kwam naar buiten via Reuters.
Maartje Vos
Maartje is hoofdredacteur van Nieuws.co en schrijft over politiek, klimaat en openbaar bestuur.
