Certifiering av AI-modeller

Tillämpningar av Artificiell Intelligens blir allt vanligare och AI-modeller har gjort sitt intåg i många av samhällets områden. Detta gäller även säkerhetskritiska domäner såsom autonoma fordon, energisystem och den medicinska sektorn. I och med detta ökar behovet av säkerhetskontroll och certifiering av AI-system. För att möta detta behov utvecklar RISE metoder för maskinassisterad verifiering av AI-modeller. Processen kan innebära både kontroll av säkerhetskrav och kontroll av modellernas funktionalitet.

Tillämpningar

Möjliga tillämpningar sträcker sig från datorseende i autonoma fordon till regelsystem och språkmodeller. I projektet tittar vi närmare på kravställningar för regel- och styrsystem där en AI-modell ingår som styrkomponent för exempelvis en maskin, robot eller tillverkningsprocess. Här vill man bevisa att kontrollmodulen har ett robust och stabilt beteende under normal användning såväl som i extraordinära situationer.

Mål

RISE utvecklar prototypande verktyg för verifiering av AI-modeller för att användas i kombination med tillgänglig mjukvara med öppen källkod. Metodiken valideras i projektet genom ett antal fallstudier. I och med projektet för vi verifiering av AI-modeller från akademisk forskning närmare industri, näringsliv och samhälle samt bygger upp egen kompentens inom området.