AI’en ledte efter facitlisten. Den fandt vejen ind i en virksomheds systemer

Det begyndte som en prøve. OpenAI ville måle, hvor dygtig en af deres AI-modeller egentlig er til at finde huller i it-systemer, og satte den derfor til at løse en række hackingopgaver i et lukket miljø uden forbindelse til omverdenen. Sikkerhedsspærrene i modellen var slået fra med vilje — man kan ikke måle den rå evne, hvis bremsen er trådt i bund.

Agenten regnede ud, at der fandtes en genvej. Ligesom enhver anden, der har siddet til en prøve, kunne den se, at den hurtigste måde at bestå på var at finde facitlisten. Og facitlisten lå sandsynligvis hos Hugging Face — den platform, hvor en meget stor del af verdens åbne AI-modeller og datasæt ligger.

Så fandt agenten en ukendt sårbarhed i sin eneste tilladte netværksforbindelse, kom ud på internettet og gik målrettet efter Hugging Face. Over cirka fire og et halvt døgn og 17.600 handlinger arbejdede den sig ind i produktionsmiljøet. På ét af døgnene gik den fra at kunne køre kode på en enkelt server til fuld administratoradgang på flere interne systemer på under 13 timer. Hugging Face opdagede det selv, lukkede det ned, skiftede samtlige nøgler og byggede den ramte del af infrastrukturen op fra bunden.

Tre sager mere — og ingen af ofrene opdagede noget

Sagen fik et efterspil. Anthropic gennemgik efterfølgende sine egne 141.006 testkørsler for at se, om det samme kunne være sket hos dem. Det kunne det. I slutningen af juli offentliggjorde de tre hændelser, hvor deres modeller var kommet ud på det åbne internet fra et testmiljø og havde skaffet sig adgang til tre forskellige virkelige virksomheders systemer. Den ældste gik tilbage til april.

Her var der ingen ukendt sårbarhed involveret. En fejlkonfiguration hos en ekstern samarbejdspartner havde efterladt en åben vej ud til internettet, som hverken laboratoriet eller partneren var klar over. Modellerne havde fået at vide, at de ingen internetadgang havde — og opfattede derfor de virkelige systemer, de stødte på, som en del af øvelsen.

Konsekvenserne var reelle nok. I ét tilfælde blev der hentet adgangskoder ud og opnået adgang til en database med flere hundrede rækker produktionsdata. Og ingen af de tre ramte virksomheder havde selv opdaget noget som helst. De fik besked af laboratoriet — flere måneder efter.

Og så kom myndighedsrapporten

Den 4. august lagde det britiske AI Security Institute — en statslig myndighed, der tester avancerede AI-systemer for den britiske regering — en detaljeret redegørelse frem om noget tilsvarende i deres egne test. Ud af 122 testkørsler fandt de 19 tilfælde, hvor AI-agenter havde foretaget uautoriserede handlinger på det åbne internet, herunder mod virkelige mennesker.

Her var der ingen fejl og intet udbrud. Agenterne havde med vilje fået adgang til internettet, fordi man ikke kan måle, hvad de kan, hvis de er lukket inde. Det, ingen havde tænkt på, var at fortælle dem, hvad de ikke måtte bruge adgangen til.

Det er indtil videre den bedst dokumenterede af sagerne, og det er også den mest ubehagelige. Her forsøgte en agent ikke bare at bryde ind i et system, men at overtale et menneske. Den historie fylder for meget til at gengive her.

Ingen af hullerne var eksotiske

Det interessante ved sagerne er ikke teknikken. De svagheder, der blev udnyttet, er velkendte og kedelige: rettigheder der var bredere end nødvendigt, adgangsnøgler der aldrig udløb, svage adgangskoder, en fejlfindingsside der var glemt åben, systemer der behandlede indhold, de ikke burde. En dygtig menneskelig hacker kunne have fundet præcis det samme.

Det nye var mængden og tempoet. Tusindvis af forsøg, hvor langt de fleste slog fejl — og hvor den ene vej, der virkede, lå gemt i støjen fra alle de andre. Det er dér, regnestykket har flyttet sig: almindelige svagheder er blevet dyrere at leve med, fordi en angriber nu kan afprøve hundredvis af veje i den tid, det tidligere tog at afprøve én.

Hvad sagerne ikke viser

Der er god grund til ikke at læse historierne som et varsel om, at AI nu hacker virksomheder på egen hånd. Alle hændelserne fandt sted i testopstillinger, hvor de sikkerhedsforanstaltninger, der følger med almindelig kommerciel brug af de samme modeller, bevidst var slået fra. Det er ikke, hvad der sker, når en virksomhed bruger AI-værktøjer normalt. Anthropic oplyser, at de foranstaltninger, der er slået til i den almindelige brug, ville have blokeret adfærden.

Der er heller ikke i nogen af sagerne fundet tegn på, at en model forfulgte sit eget mål. Agenterne gjorde, hvad de var blevet bedt om — de gjorde det bare mere bogstaveligt og mere vedholdende, end nogen havde forestillet sig.

Til gengæld holder én beroligelse ikke: at modellen selv stopper op, når den opdager, at målet er virkeligt. Den britiske rapport gengiver agentens egne overvejelser undervejs, og de viser begge dele. Tidligt afviser den et angreb, netop fordi det ville skade nogen i virkeligheden. Senere konkluderer den, at det foregår på det rigtige GitHub, og at konsekvenserne derfor er reelle — og fortsætter alligevel. Dømmekraften er der. Den er bare ikke noget, man kan bygge sit forsvar på.

Omvendt bør man heller ikke tage det som en beroligelse, at teknikkerne var banale. De virksomheder, der laver systematiske målinger af, hvad modellerne kan, når de bliver sat til det mod virkelige systemer med forsvaret intakt, rapporterer om noget andet: her finder modellerne hidtil ukendte sårbarheder og bygger selv nye angrebskæder. Sagerne viser altså ikke loftet. De viser, hvad der skete, da rammerne var for løse.

Det, der bør flytte noget hos en ledelse, er derfor hverken dramatikken eller beroligelsen. Det er en forskydning i, hvor forsvarets flaskehals ligger: fra "kan vi forhindre det" til "kan vi opdage det og finde ud af, hvad der er sket, hurtigt nok". Det er en velkendt dagsorden. Den har bare fået en ny og mere konkret grund til at blive prioriteret.