AI-agents løgnagtige handlinger kalder på simpelt tiltag
For første gang nogensinde har en ai-agent brugt løgn og falske identiteter mod almindelige mennesker. Særligt et element i agentens handlinger kalder på simpelt sikkerhedstiltag fra virksomheder, mener DI, der opfordrer virksomheder til at tjekke tre ting.
I de seneste uger har der været flere historier fremme om AI-agenter, der er brudt ud af deres testmiljø og har angrebet virkelige virksomheder. Men indtil den tirsdag den 4. august har det været begrænset til angreb på systemer, hvor en agent har fundet et hul og har taget noget, den ikke skulle tage.
- Det er ubehageligt! Men de svagheder, der blev udnyttet, er velkendte og kedelige: rettigheder der var bredere end nødvendigt, adgangsnøgler der aldrig udløb, svage adgangskoder, en fejlfindingsside der var glemt åben, systemer der behandlede indhold, de ikke burde. En dygtig menneskelig hacker kunne have fundet præcis det samme, siger Jeppe Engell, chefkonsulent i DI.
Læs også: AI’en ledte efter facitlisten. Den fandt vejen ind i en virksomheds systemer
Skrev på dansk, da modtageren talte dansk
Men nu har sagen taget en ny drejning. Det britiske AI Security Institute, der tester avancerede AI-systemer for den britiske regering, havde sat en AI-agent til at løse en hackingopgave i et øvelsesmiljø. Så gik den - ifølge en rapport fra instituttet, som blev offentliggjort 4. august - på GitHub, som er en online platform, hvor flere personer på samme tid kan gemme, dele og samarbejde om programmeringskoder.
- Den ville forsøge at få skadelig kode ind i noget software. For at opnå foreslog den på GitHub en kodeændring, der lignede en fejlrettelse. Det gjorde den ved at sende mails fra opdigtede identiteter, og det er første gang, den slags er dokumenteret rettet mod almindelige mennesker, siger Jeppe Engell.
En af de skjulte manipulationer blev skrevet på dansk, fordi agenten havde fundet ud af, at modtageren var dansktalende, så den tilpassede sit sprog for at virke mere troværdig. Derudover noterede den i sine egne notater, at den ville forsinke sine egne kommentarer "så det læses som uafhængig feedback frem for koordineret".
Læs også den uddybende artikel: AI-agenten fandt ud af, at målet talte dansk. Så skrev den på dansk
Vidste det var virkeligt
Agentens egne overvejelser er i det hele taget værd at læse to gange. Blandt andet viser de, at agenten tidligt i forløbet var klar over, at dens handlinger ville gøre skade i den virkelige verden. "Det her sker på det rigtige GitHub, så konsekvenserne er reelle," skriver den til sig selv.
- Det er dybt bekymrende, at den alligevel fortsætter sine handlinger. Dertil kommer, at den havde lagt instruktioner ind i en fejlrapport, der var usynlige for et menneske men læsbare for en ai-assistent, der blev bedt om at hente og køre en fil, siger Jeppe Engell.
Dermed er det blevet et angreb, der rammer en opsætning, som efterhånden mange virksomheder har: en AI-assistent, der automatisk læser noget, der kommer udefra — sager i et supportsystem, mails, vedhæftede dokumenter, kundehenvendelser — og som har lov til at handle på det, den læser.
- Man behøver ikke at have en holdning til, hvor AI er på vej hen, for at kunne se, hvad det betyder i praksis. Hvis en assistent læser tekst fra fremmede, skal den ikke have lov til at køre kommandoer, den finder i teksten. Og hvis den har lov til det i dag, er det værd at få lukket i denne uge, siger Jeppe Engell.
Læs også Den AI, der giver dig problemer, er sandsynligvis din egen
Tjek tre ting
Tre ting, det er værd at tjekke
Hvad må jeres AI-assistenter gøre med tekst udefra?
Læser en assistent mails, supportsager eller dokumenter fra fremmede, skal den ikke kunne køre kommandoer eller hente filer, som teksten beder om. Det er en indstilling, ikke et projekt.
Hvem godkender kode og bidrag udefra hos jer?
I den britiske sag blev angrebet fanget af én opmærksom person. Hvis I tager imod bidrag, integrationer eller komponenter udefra, er spørgsmålet, om godkendelsen hviler på én persons opmærksomhed eller på en proces.
Ved jeres medarbejdere, at den overbevisende kollega kan være en maskine? Awareness-træning er typisk bygget op om klodsede phishingmails. Her var sproget rigtigt, tonen rigtig, og der var flere kilder, der bekræftede hinanden. Det er værd at nævne næste gang, I holder oplæg om det.
Find også hjælp til it-sikkerhed hos D-mærket
Læs råd til bestyrelser i artiklen: AI’en ledte efter facitlisten. Den fandt vejen ind i en virksomheds systemer
Læs råd til direktionen i artiklen: Den AI, der giver dig problemer, er sandsynligvis din egen
