Kontaktperson
Rami Mochaourab
Research Leader
Kontakta RamiRami Mochaourab och Cristofer Englund
Artikeln publicerades i nyhetsbrevet Om AI mars 2022
AI-metoder som maskininlärning blir ett allt vanligare inslag i vår vardag. I dag finns de tillgängliga som effektiva beslutstöd i de flesta sektorer, allt från hälso- och sjukvård till transportsektorn. Men att förstå varför dessa AI-baserade system ger sina rekommendationer har varit svårt att förklara. Med hjälp av Explainable AI blir det lättare.
Många AI-system slår oss människor på fingrarna när det gäller att förutse olika situationer utifrån tidigare händelser och tillgängliga data. Denna fördel har gjort att de gärna används som beslutsstöd i komplexa applikationer [1]. Här medverkar AI-metoder som maskininlärning till beslut som får stor inverkan på vårt dagliga liv. Bland exemplen finns diagnostisering av patienter i vården, rättsliga beslut om straffpåföljd vid olika brott och om vi ska beviljas ett lån av banken eller inte. Enligt EU-kommissionens föreslagna AI-förordning kan sådana tillämpningar kategoriseras som högrisksystem, eftersom de kan påverka säkerhet, hälsa eller grundläggande rättigheter [2].
I de flesta fall väljs en AI-lösning utifrån hur få misstag den gör givet tillgängliga valideringsdata. Men för högrisksystem är det relevant att även ta hänsyn till andra faktorer, som säkerhet, rättvisa, opartiskhet, integritet och tillförlitlighet. De blir viktiga kriterier för den bedömning som krävs enligt regelverket i den föreslagna AI-förordningen. Men de är svåra att kvantifiera och inkludera när en AI-lösning ska optimeras.
Området Explainable AI (XAI) har utvecklats som en uppsättning tekniker och tillvägagångssätt som kan hjälpa till. Med hjälp av XAI kan vi ta hänsyn till fler och andra kriterier samt erbjuda sätt att resonera som ger en förklaring till varför ett visst AI-system tar ett beslut.
Vad är det som gör att ett AI-system rekommenderar en viss sorts behandling utifrån en röntgenbild och inte en annan? Här behövs sätt att underlätta tolkningen av AI:ns bedömning och ett underlag som gör det lätt att förklara för patienten och de anhöriga. Är det ett högt blodtryck som är anledningen till en viss behandlingsrekommendation så måste det framgå. Detsamma gäller i de fall du nekas ett banklån utifrån en AI:s rekommendation. Där behöver kunden ges möjligheten att förstå hur AI-systemet resonerat och få en förklaring till varför lånet uteblev. När ditt fordon plötsligt varnar dig eller på annat sätt påverkar din kontroll av din bil så väcker det bara irritation om du inte förstår varför det sker. Om inte kanske du stänger av AI-funktioner som är till för att göra färden säkrare för alla.
XAI erbjuder olika former av stöd beroende på i vilken roll du arbetar:
Vad är det som gör att en AI-modell rekommenderar en viss sorts behandling utifrån en röntgenbild och inte en annan? Här behövs sätt att underlätta tolkningen av AI:ns bedömning och ett underlag som gör det lätt att förklara för patienten och de anhöriga. Är det ett högt blodtryck som är anledningen till en viss behandlingsrekommendation så måste det framgå. Detsamma gäller i de fall du nekas ett banklån utifrån en AI:s rekommendation. Där behöver kunden ges möjligheten att förstå hur AI-modellen resonerat och få en förklaring till det uteblivna lånet. När ditt fordon plötsligt varnar dig eller på annat sätt påverkar din kontroll av din bil så väcker det bara irritation om du inte förstår varför det sker. Om inte kanske du stänger av AI-funktioner som är till för att göra färden säkrare för alla.
I allmänhet används tre sätt att förklara en maskininlärningsmodells förutsägelser. Det första använder sig av tolkningsbara modeller, som glesa linjära modeller eller beslutsträd, som båda är enkla att förstå för oss människor. Det andra sättet kallas modellagnostisk förklaring och bygger på att maskininlärningsmodellerna antingen är för komplexa att förstå, eller dolda för oss. Det tredje sättet använder sig av specifik information om modellen för att skapa en förståelse och ge en förklaring till dess förutsägelser.
Dessutom kan en förklaring antingen utgå från ett globalt eller lokalt synsätt. I det globala synsättet är målet att förklara hela modellens förutsägelser, alltmedan det lokala endast bygger på vissa specifika data. I båda fallen används ofta de två koncepten: counterfactual explanation och feature importance. Det första konceptet undersöker vilka förändringar som krävs i datamängden för att en maskininlärningsmodell ska ändra sin rekommendation. På så vis går det att förstå vilka faktorer som ledde till algoritmens slutsats. Det andra konceptet kan visa hur mycket eller hur lite en viss del av informationen som bidrar till förutsägelsen hos maskininlärningsmodellen. När en viss information ges ett högt värde så bidrar denna data mycket till avgörandet, och tvärtom så visar ett lågt värde att den informationsdelen inte är lika betydelsefull för beslutet.
Ett område där Explainable AI kan ha stor betydelse är hälso- och sjukvård där felaktigt ställda diagnoser och felbehandlingar kan få allvarliga konsekvenser. Projektet EXTREMUM (Explainable and Ethical ML for Knowledge Discovery from Medical Data Sources) är ett forskningssamarbete mellan bland annat KTH, Stockholms universitet och RISE och har som mål att utveckla en ny plattform för att skapa en större förståelse för komplexa medicinska datakällor. Tonvikten ligger på att skapa bättre tolkningsmöjligheter för mekanismerna bakom maskininlärningsmodellernas beslut. I projektet diagnostiserar en läkare en patient med hjälp av en noggrann maskininlärningsmodell. Modellen är utvecklad med hjälp av historiska data från tidigare patientfall vars data lagras i en säker databas. Naturligtvis vill berörd patient veta varför hen får en viss diagnos och även om det finns något patienten själv kan göra för att påverka den. I detta fall kan AI bli avgörande för att kunna svara patienten och även bidra till att hen känner tillit till sin AI-stödda diagnos.
EXTREMUM-projektet handlar om utvecklingen av sådana förklarbara maskininlärningsalgoritmer för komplexa datakällor, särskilt när det handlar om tidsseriedata [3]. Dessutom undersöker projektet de etiska aspekterna av ett beslutsfattande som bygger på maskininlärning och hur de ska ses i relation till GDPR [4].
Ta gärna kontakt med oss om du vill veta mer om Explainable AI.
[1] F. Doshi-Velez and B. Kim. (2017) “Towards a rigorous science of interpretable machine learning,” arXiv:1702.08608
[2] https://eur-lex.europa.eu/legal-content/SV/TXT/HTML/?uri=CELEX:52021PC0206&from=EN
[3] R. Mochaourab, A. Venkitaraman, I. Samsten, P. Papapetrou, and C. R. Rojas, “Post-hoc Explainability for Time Series Classification: Towards a Signal Processing Perspective,” IEEE Signal Processing Magazine, Special Issue on Explainability in Data Science: Interpretability, Reproducibility, and Replicability, vol. 39, no. 4, July 2022.
[4] S. Greenstein, P. Papapetrou, R. Mochaourab, “Embedding Human Values into Artificial Intelligence,” in De Vries, Katja (ed.), De Lege, Uppsala University, 2022.