AI, robotar och säkerhet

Robotar och AI

Under året har vi på Centrum för Cybersäkerhet på RISE genomfört projektet CyRA – Cyber risks of AI systems. Projektet kartlägger det aktuella kunskapsläget kring AI-relaterade säkerhetshot och genomför fallstudier inom industriella AI-applikationer. Ett av områdena vi har undersökt är AI-modeller för robotstyrning.

Reinforcement learning (betingad inlärning, operant betingning eller förstärkningsinlärning) är en AI-metod som kan användas inom robotstyrning för att lära in komplexa beteenden. Inlärningen sker genom interaktion mellan roboten och dess  omgivning, snarare än genom direkta kommandon och regler. Denna anpassningsförmåga gör betingad inlärning användbart för uppgifter inom logistik, tillverkning, sjukvård, katastrofhantering och potentiellt även sociala robotar eller hushållsmaskiner. Men i takt med att våra maskiner blir mer autonoma är det också viktigt att säkerställa att de är säkra och robusta samt att de följer gällande lagar och regler.

På RISE bedriver vi forskning inom robotstyrning och betingad inlärning samt utvecklar verktyg och metoder för att säkerställa att de AI-modeller som används beter sig som förväntat. I detta sammanhang är det också viktigt att komma ihåg och tillämpa lämpliga rutiner för god cybersäkerhet.

Både möjlighet och risk

Traditionella styrsystem bygger på transparenta modeller och regler, vilket gör dem gynnsamma i säkerhetshänseende men mindre flexibla i dynamiska miljöer. Betingad inlärning fungerar dock på ett annat sätt och låter robotarna lära in beteenden kopplade till observationer och handlingar via belöning eller straff. Den komponent som tar beslut i en given situation består ofta av en AI-modell eller ett neuronnät. Detta gör det möjligt för robotar att anpassa sig och optimera sin prestanda. Men flexibiliteten som dessa AI-baserade styrsystem erbjuder medför också nya risker. Exempelvis kan AI-modeller bete sig nyckfullt och oförutsägbart i specifika situationer vilket skulle kunna leda till både skadad utrustning och risk för människor.

Cybersäkerhet och uppkopplade robotar

Kommunikationssystem är alltid befattade med cybersäkerhetsrisker. Detta gäller också moderna robotar eftersom de ofta kommunicerar med nätverk, molntjänster eller andra maskiner. Bristande nätverkssäkerhet kan innebära risk för så kallad fjärrhackning där utomstående får tillgång till robotens sensordata, kan kontrollera robotens rörelser eller installera skadlig kod. Robotar kan också luras att misstolka sin omgivning genom att ersätta faktiska sensoravläsningar med falskt data. Vidare kan  överbelastningsattacker (denial-of-service attacks) användas för att slå ut maskinens kommunikation. Dessa exempel understryker vikten av att följa etablerade cybersäkerhetsrutiner vid utveckling av robotsystem.

Validering av säkerhet och korrekthet

Cybersäkerhet är inte tillräckligt i sig. Vi måste också säkerställa att AI-baserade  styrsystem beter sig säkert och tillförlitligt under en mängd olika driftsförhållanden. Simulering och tester är viktiga steg mot detta mål. Men AI-modeller som neurala nätverk kan uppvisa oönskat beteende i scenarier som är mycket svåra att hitta manuellt eller genom slumpmässiga tester. På RISE bedriver vi forskning inom motexempel-driven optimering, vilket är en kraftfull metod för att hitta problematiska scenarier där styrsystemet inte fungerar som förväntat. I gynnsamma fall kan man som komplement till och med använda formell verifiering för att bevisa matematiskt att systemet uppfyller ställda säkerhetskrav.

Regler och lagar

Enligt EU:s AI-förordning klassificeras många tillämpningar av robotsystem som använder AI som högrisk-system. Detta medför strikta krav på riskhantering, teknisk dokumentation, robusthet, prestanda, cybersäkerhet och mänsklig övervakning.

Sammanfattning

Betingad inlärning gör anpassningsbara styrsystem för robotar möjligt, men innebär också  säkerhetsutmaningar. För att möta dessa utmaningar krävs ett helhetsgrepp som kombinerar rigorösa tester, optimering, formella metoder och monitorering i realtid, samt att strikta cybersäkerhetsrutiner följs. I takt med att robotar blir mer autonoma är det viktigt att säkerställa robust och tillförlitlig drift för nästa generations intelligenta maskiner.