Test av dataläckage från AI-system

Behovet av att kunna utvärdera risker vid AI-investeringar ökar snabbt inom flera branscher. Nu finns möjlighet att ta del av spetskompetens och testplattformar inom AI-testning och dataskydd genom, bland annat, resultaten från forskningsprojektet LeakPro.

När kan ett AI-system betraktas som anonymiserat?

Det är idag välkänt att AI-system, särskilt djupa neurala nätverk, i viss utsträckning kan memorera information från sin träningsdata. Detta innebär att risken för oavsiktligt informationsläckage inte enbart gäller insamlad eller delad data, utan även kan uppstå genom en färdig modells vikter eller via svar som genereras genom ett API.

Frågan om när ett AI-system kan betraktas som anonymiserat blir därmed central – både ur ett tekniskt och juridiskt perspektiv – och kan kräva noggrann testning, dokumentation och rapportering.

Detta gäller inte enbart personuppgifter. Även organisationer som hanterar affärskritisk, konfidentiell eller immateriell information behöver utvärdera risken för att sådan data oavsiktligt kan exponeras genom AI-modeller – särskilt i samarbetsprojekt eller när modeller delas med tredje part.

Utmaningarna kring datahantering och integritetsskydd i AI-system har uppmärksammats på nationell, europeisk och internationell nivå. Integritetsskyddsmyndigheten (IMY) utforskade området i samband med federerad maskininlärning i sin första regulatoriska sandlåda. I ett vägledande yttrande från december 2024 behandlar även European Data Protection Board (EDPB) frågan om huruvida en AI-modell kan anses vara anonymiserad enligt GDPR.

Inom hälso- och sjukvården blir detta särskilt aktuellt i och med införandet av European Health Data Space (EHDS), som förutsätter att både primär och sekundär hälsodata ska kunna delas över nationsgränser för att möjliggöra utveckling av AI-system. Detta ställer höga krav på noggrann utvärdering av dataskydd, både före och efter modellträning.

LeakPro - en testmiljö för att mäta risker

Projektet LeakPro utvecklar en testmiljö för att kvantifiera risken för informationsläckage från AI-modeller. Målgruppen är organisationer som brottas med frågor som:

Hur mycket information om träningsdata kan läcka via ett AI-systems API?
Exponeras immateriella rättigheter eller känslig data vid AI-utveckling i samarbete med externa parter?
Hur kan vi bedöma riskerna för informationsläckage innan vi investerar i ett datadrivet AI-projekt?

Samverkan mellan forskning, industri och offentlig sektor

Projektet LeakPro startade 2023 och genomförs i samarbete mellan RISE, AstraZeneca, Sahlgrenska Universitetssjukhuset, Region Halland, Syndata AB och Scaleout AB och samordnas av AI Sweden. Projektet, som tar slut under hösten 2025, har utvecklat en plattform baserad på öppen källkod (open source), publicerat ett flertal vetenskapliga artiklar och utvecklat ett enhetligt ramverk för state-of-the-art testmetoder som stödjer säkra och ansvarsfulla AI-investeringar.

RISE erbjudande inom AI-testning och dataskydd

RISE erbjuder flera vägar för organisationer som vill stärka sin förmåga att testa och säkra AI-system mot informationsläckage:

Direkta uppdrag där vi tillämpar vår forskningskompetens inom AI-testning och informationssäkerhet utifrån uppdragsgivarens unika förutsättningar och behov.
Paketerade tjänster anpassade för både privat och offentlig sektor.
Deltagande i framtida forskningsprojekt, finansierade på nationell eller EU-nivå, för organisationer som vill ligga i framkant inom ansvarsfull AI-utveckling och som är OK med att projektet och dess resultat är publikt. Specifikt söker vi samarbetspartners för fortsättningen av LeakPro.

Kontakta oss via intresseformuläret ovan för diskussion kring hur vi kan samarbeta med just er organisation.