Jailbreaking AI

Generativ AI skapar nya möjligheter för kommunikation och informationsproduktion, men medför också nya former av missbruk. Även system som är utrustade med säkerhetsmekanismer kan manipuleras genom jailbreaking, adversarial prompting, kontextuell omformulering och andra interaktionstekniker. För att förstå dessa sårbarheter behöver vi se bortom teknisk säkerhet och undersöka hur AI kan användas för manipulation, desinformation, övervakning, tvång, trakasserier och andra former av social skada.

Jailbreaking AI undersöker dessa utmaningar ur ett människocentrerat och sociotekniskt perspektiv. I stället för att enbart betrakta jailbreaking som ett tekniskt säkerhetsproblem undersöker projektet hur skadliga beteenden uppstår i samspelet mellan AI-system, deras säkerhetsmekanismer, användare, onlinegemenskaper och de sociala sammanhang där tekniken används. Detta är särskilt viktigt eftersom skadliga interaktioner inte alltid börjar med en uttryckligen illvillig förfrågan. De kan utvecklas gradvis genom hur samtal ramas in, övertalning, emotionell manipulation eller till synes tvetydiga interaktioner som är svåra för befintliga säkerhetsmekanismer att identifiera.

Projektet utforskar flera sammanlänkade områden inom missbruk och säkerhet kopplat till AI. Dessa omfattar AI-stödda mellanmänskliga skador såsom kontrollerande beteenden, trakasserier, övervakning och manipulation; missbruk inom cybersäkerhet, inklusive social manipulation, nätfiske, rekognosering och antagonistisk människa-AI-interaktion; samt AI-genererad desinformation och övertygande kommunikation, med särskilt fokus på konsekvenserna för tillit, trovärdighet och informationsintegritet. Projektet undersöker även metoder för verifiering och autenticitet, samt hur tillförlitliga digitala infrastrukturer kan hantera de utmaningar som generativ AI medför.

En annan viktig del av projektet handlar om hur skadliga AI-beteenden kan studeras på ett ansvarsfullt sätt. Red teaming är en viktig metod för att identifiera svagheter i AI-system, men studier av skadliga resultat och interaktioner medför också etiska och metodologiska utmaningar. Projektet kommer därför att utforska människocentrerade metoder för red teaming av AI, inklusive deltagarbaserade metoder, etisk och ansvarsfull rapportering av sårbarheter samt sätt att undersöka skadliga beteenden utan att återskapa eller förstärka de skador som studeras.

Genom att förena perspektiv från människa-datorinteraktion, AI-säkerhet, cybersäkerhet, forskning om desinformation, digital etik, styrning och närliggande områden adresserar projektet ett gap mellan teknisk forskning om sårbarheter i AI och människocentrerad forskning om digitala skadeverkningar. Det övergripande målet är att utveckla en bättre förståelse av AI-säkerhet som ett sociotekniskt problem, där säkerheten inte enbart beror på AI-systemens tekniska egenskaper utan också på hur systemen utformas, används, manipuleras, styrs och upplevs i olika sociala sammanhang.