Hoppa till huvudinnehåll
RISE logo

Hur och varför viktigt när AI-system ska certifieras

Produkter och tjänster vässade med artificiell intelligens ska regleras hårdare. Att beskriva hur och varför algoritmerna når ett visst resultat blir genom EU:s kommande lagstiftning en förutsättning för att få AI-system certifierade av oberoende aktörer som RISE.

Nästa år väntas EU:s nya förordning AI Act antas. Därmed ställs långtgående krav på tillverkare och operatörer att dokumentera hur AI-tekniken under huven egentligen fungerar. Detta gäller så kallade högrisksystem*, ofta till synes rätt okontroversiella algoritmer.

Är datan som systemet tränat på av tillräckligt hög kvalitet? På EU-språk: relevant, representativ, felfri och komplett. Finns system som säkrar kvaliteten i alla led i framtagandet av AI-systemet? Finns det dokumenterat vilken strategi som använts för att uppfylla reglerna? Hur systemets design och kvalitet verifieras? Vilka standarder som är relevanta för datahanteringen?

För att kunna CE-märkas och släppas på marknaden krävs certifiering av en tredje part. Fredrik Warg, forskare inriktad mot transportsäkerhet, säger att RISE har stor vana av att analysera liknande processer inom fordonsindustrin.

– Det specifika för AI och specifikt maskininlärning är att det är väldigt viktig med datan. Hur man specificerar sin tränings- och testdata är det mest utmanande.

Skräp in, skräp ut

Brister i träningsdata genererar som bekant ofta ett bristande AI-system, enligt den välkända formeln: skräp in, skräp ut. Rent praktiskt kan en dataförädlingskedja för exempelvis ett säkerhetssystem innebära mycket manuellt arbete, säger Markus Borg, forskarkollega på RISE.

– Beroende på vilka sensorer som används sker olika grader av handpåläggning. Datan ska annoteras på något vis – ”det där är en fotgängare, det där är ett träd”, och så vidare. Arbete som idag fortfarande till stor del görs manuellt.

Varför är det då viktigt med certifiering?

– Det är klart att vi kan välja bort AI. Välja att inte utveckla högre automationsgrad för fordon till exempel, fortsätta lita på manuella förare. Men det vill inte branschen, det finns en efterfrågan på automation och AI-lösningar. Förarsystem och självkörande personbilar. Maskininlärning är det enda tekniska angreppssättet vi känner till i nuläget som kan lösa detta, säger Fredrik Warg.

– Varför certifiera? Ja, annars får vi företag som chansar för att komma ut först. Det blir osäkert för oss i samhället.

Han jämför med utvecklingen av ISO 26262, en standard för funktionssäkerhet som drevs fram av fordonstillverkarna och som reglerar programvara och elektronik. På samma vis behövs en grundstandard för AI-system, som ofta även är integrerade i maskiner och därmed omfattas av EU:s nya maskinförordning.

Varför certifiera? Ja, annars får vi företag som chansar för att komma ut först

Verktyg för att förklara beslut

Markus Borg, som forskar inom mjukvaruutveckling och maskininlärning, säger att inom området Explainable AI finns verktyg för att förklara varför ett AI-system tar ett visst beslut. Extra viktigt för definitionen av högrisksystem där hänsyn till säkerhet, rättvisa och tillförlitlighet prioriteras. Området innebär ett batteri av tekniker och metoder för att förstå en AI-modell och egenskaperna hos den träningsdata som används.

– Var kommer nivån att ligga för att vara ”good enough” för certifiering av AI-applikationer? Det är den stora frågan, säger Markus Borg.

– Med så stort fokus på data så finns en annan typ av sårbarhet inom hela kedjan. Du behöver kunna reproducera vad som har hänt. För att göra root cause-analyser på saker som gått fel så måste du kunna förklara designbeslut och visa varför du har valt en viss arkitektur i modellerna. Det är mycket smått som man behöver ha koll på, säger Markus Borg.

De båda forskarna trycker på att full koll på verktygskedjan kommer att vara a och o för en lyckad certifiering när AI-förordningen är på plats.

– Arbetsprocessen, evidens, dokumentation för hela resan, säger Fredrik Warg.

– Vi kommer fortsätta att försöka hjälpa kunder och samarbetspartner att designa bra AI-system och ta fram nya standarder. RISE kommer att vara med på flera ställen.

* Exempel på verksamheter där AI-system anses utgöra hög risk:

Kritisk infrastruktur, utbildning, anställning, privata och offentliga tjänster (ex kreditbedömning), brottsbekämpning (ex bedömning av bevis), gränskontroll (ex kontroll av resehandlingar).

Publicerad: 2022-04-13
Fredrik Warg

Kontaktperson

Fredrik Warg

Teknologie doktor

Läs mer om Fredrik

Kontakta Fredrik
CAPTCHA This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.

* Obligatoriskt Genom att skicka in formuläret behandlar RISE dina personuppgifter.

Markus Borg

Kontaktperson

Markus Borg

Senior Researcher

Läs mer om Markus

Kontakta Markus
CAPTCHA This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.

* Obligatoriskt Genom att skicka in formuläret behandlar RISE dina personuppgifter.