Kan så lite som en timmes workshop göra AI säkrare?

Att ett AI-system fungerar betyder inte nödvändigtvis att det är tillförlitligt. Det kan prestera utmärkt under vissa förhållanden men misslyckas under andra. Och det kan inge förtroende utan att egentligen förtjäna det. 

Hur bygger vi då in tillförlitlighet redan från början, i stället för att försöka åtgärda problemen när systemen redan är färdiga?  

I intervjun är det framför allt Laurynas Adomaitis som svarar på frågorna om etik och design. Sepideh Pashami bidrar med perspektivet kring teknisk robusthet.

Riktlinjer för tillförlitlig AI har funnits länge. Varför är det ändå så svårt att utveckla tillförlitliga AI-system? 

– Det finns något vi inom forskningen kallar ett operational gap, ett glapp mellan princip och praktik. Vi kan beskriva vilka egenskaper ett tillförlitligt AI-system ska ha och till viss del bedöma om det uppfyller kraven. Men det betyder inte att vi vet hur vi ska utveckla systemen för att nå dit. 

EU:s expertgrupp för AI beskrev 2019 tillförlitlig AI som laglig, etisk och robust. Bedömningsverktyget ALTAI ger stöd för att granska dessa principer, men besvarar inte alla praktiska designfrågor. 

Det är just den utmaningen vi arbetar med inom det europeiska forskningsprojektet AIOLIA. Vi undersöker hur etiska principer kan bli ett konkret stöd i beslut under utvecklingen, snarare än något som enbart utvärderas när systemet är färdigt, säger Laurynas Adomaitis. 

Kan ett AI-system verka mer pålitligt än det faktiskt är? 

– Ja, det kan det absolut. Forskning om tillit till automatiserade system pekar på att vårt förtroende påverkas både av hur väl ett system fungerar och hur det presenterar sig. En AI som är artig, ger utförliga förklaringar eller uttrycker sig självsäkert kan uppfattas som mer pålitlig, även när svaren inte är korrekta.  

Det innebär att vi riskerar att lita för mycket på system som verkar övertygande, eller för lite på system som faktiskt fungerar bra. Förtroendet behöver helt enkelt motsvara systemets verkliga förmåga. 

– I praktiken handlar tillförlitlighet också om sammanhanget. Ett AI-system som fungerar bra under vissa förhållanden behöver inte vara lika tillförlitligt i andra. Det gäller att förstå systemets begränsningar och vad som händer när förutsättningarna förändras, förklarar Sepideh Pashami. 

Hur bygger vi in tillförlitlighet redan från början? 

– Ett sätt är att arbeta med det som kallas ethics-by-design. Det innebär att etik och säkerhet integreras redan under utvecklingen, i stället för att vi försöker lägga till dem när tekniken är färdig. 

En viktig del är att tidigt försöka förutse risker, identifiera etiska dilemman och förstå vilka konsekvenser olika tekniska val kan få. 

Ett sätt vi utforskar är att samla etikexperter, samhällsvetare och tekniska utvecklare i strukturerade samtal. När människor med olika perspektiv diskuterar ett AI-system kan de identifiera frågor och risker som annars lätt förbises. Det kan få dem att ompröva sina antaganden och påverka hur systemet utformas, fortsätter Laurynas Adomaitis. 

Men är inte det både komplicerat och tidskrävande? 

– Inte nödvändigtvis! De metoder vi använder på RISE kan tillämpas i workshoppar på bara en timme. Upplägget bygger på en strukturerad dialog mellan en etikexpert och tekniska experter, där man tillsammans undersöker hur etiska principer och riktlinjer är relevanta för just det AI-system man utvecklar. 

De flesta känner idag till att det finns etiska principer för AI. Det viktiga är att få människor att reflektera över vad de faktiskt innebär för den egna verksamheten och de tekniska beslut som fattas. Eftersom AI används i så många olika sammanhang behöver också frågorna anpassas efter varje tillämpning. 

– Det bästa resultatet för mig är när någon i utvecklingsteamet eller ledningen säger: ”Det var en bra fråga, det har vi faktiskt inte tänkt på!” Det är då något nytt kan uppstå, en insikt som faktiskt påverkar hur systemet utformas, säger Laurynas Adomaitis. 

Det handlar alltså inte om att lösa alla etiska frågor på en timme, utan om att skapa utrymme för reflektion och upptäcka sådant som annars riskerar att förbises. 

Så kanske är frågan inte bara hur mycket tid vi har råd att lägga på etik under AI-utvecklingen, utan vad det kan kosta att låta bli? 

AI-etik och tillförlitlig AI på RISE 

På RISE möts forskning inom AI, etik och teknikutveckling för att skapa AI-system som är säkra, robusta och ansvarsfulla. Arbetet spänner från metoder för att identifiera etiska risker och fatta bättre designbeslut till utveckling av tillförlitliga AI-lösningar för industrin. 

I det europeiska forskningsprojektet AIOLIA undersöker RISE hur etiska principer kan omsättas i praktiska arbetssätt under utvecklingen av AI-system. Inom SweWIN arbetar Sepideh Pashami och Jia Fu med att stärka generativa AI-modellers motståndskraft mot avsiktliga angrepp. Relaterad forskning om DiffCAP beskrivs i RISE-bloggen ”Vi bygger stora AI-modeler du kan lita på”.