Henrik Abrahamsson
Senior Researcher
Kontakta Henrik
Hur kan bilar lära sig upptäcka hinder och medtrafikanter med hjälp av kameror och AI? Hur kan AI-modeller tränas i samarbete mellan bilar utan att bilder överförs till ett datacenter? Och hur kan kunskap överföras mellan generationer av bilar? Det är frågor som forskare på RISE och Zenseact arbetar med i en nyligen publicerad forskningsartikel.
Bilar kan idag upptäcka medtrafikanter och hinder i omgivningen med hjälp av sensorer och AI. AI-modellerna tränas på bilder från olika trafiksituationer, och kan lära sig identifiera objekt (såsom bilar, cyklister och fotgängare) och också peka ut var på bilderna de olika objekten befinner sig.
En objektdetektor kan förenklat delas upp i två delar. Den första delen, som på engelska kallas backbone, består av ett djupt neuronnät som extraherar och lär sig visuella egenskaper från bilder. Den bygger upp en intern representation av former, strukturer och mer komplexa visuella mönster. Den andra delen, detektionsdelen (eller detection head på engelska), använder dessa egenskaper för att klassificera och lokalisera objekt.
Att träna en bra AI-modell för objektdetektering kräver vanligen ett mycket omfattande bildmaterial från varierande körförhållanden och från olika geografiska platser. Att samla in alla dessa bilder kan vara problematiskt av flera anledningar: dels kostnaden för dataöverföring och lagring av bilderna, dels frågor kopplade till personlig integritet – att din bil filmar omgivningen, var du är, hur du kör, och skickar bilderna till ett datacenter.
RISE och Zenseact undersöker om federerad inlärning (från engelskans federated learning) är en möjlig lösning. Federerad inlärning är en form av distribuerad AI som gör det möjligt, för till exempel bilar, att gemensamt träna en AI-modell utan att dela träningsdata.
Genom att kombinera erfarenhet från industrin med forskningsexpertis kan vi utforska hur fordon kan lära av varandra och dela kunskap, utan att behöva dela rådata.
I slutet av oktober presenterade vi en del av vårt arbete på konferensen IEEE International Conference on Federated Learning Technologies and Applications (FLTA 2026), som i år arrangerades i Paris.
Här samlades fler än hundra experter inom distribuerad AI och federerad inlärning för att under tre dagar presentera de senaste forskningsresultaten, men också för att knyta kontakter och utbyta erfarenheter. Deltagarna var såväl forskare och studenter som ledande företrädare från industrin och från organisationer som utvecklar programvara och ramverk för federerad inlärning.
Vill du veta mer om resultaten vi presenterade i Paris? Forskningsartikeln Knowledge Distillation for Heterogeneous Federated Object Detection in Autonomous Driving finns i Digitala Vetenskapliga Arkivet (DiVA). Vi har även gjort källkoden för detta arbete offentligt tillgänglig på GitLab för den som vill verifiera, återskapa och kanske bygga vidare på våra resultat. Huvudförfattare till artikeln är Albert Bargalló i Sales, och artikeln bygger på arbetet som Albert gjorde i sitt examensarbete på RISE under våren. Medförfattare är Mina Alibeigi (AI-forskare hos Zenseact) samt Sima Sinaei och Henrik Abrahamsson, som båda är forskare på RISE.
Fokus i forskningsartikeln ligger på frågan om hur kunskap kan överföras från en generation bilar till en annan, för att inte behöva börja om helt från början, med datainsamling och träning av AI-modellen, varje gång en ny bilmodell lanseras. Om en befintlig fordonsflotta har sett och lärt sig av en stor mängd olika, även ovanliga, trafiksituationer – hur kan den kunskapen föras vidare till en ny generation bilar? Om vi har en välfungerande, distribuerad AI-modell som kan lokalisera och klassificera objekt i omgivningen – hur överför vi den kunskapen till nästa generations fordon, som kanske har en annorlunda AI-modell och annan hårdvara?
Vår ansats är att använda kunskapsdestillering (knowledge distillation) där en befintlig, tränad AI-modell fungerar som lärare och överför sin kunskap till en ny studentmodell med en annan arkitektur. Modellerna behöver inte vara direkt kompatibla. För objektdetektering får studentmodellen information om hur läraren tolkar bilder och vad läraren pekar ut för objekt i bilderna, och studenten lär sig av detta. Vi använder kunskapsdestillering (1 i bilden ovan) för att ge den federerade inlärningen (2,3,4) en bättre start.
För att i forskningen träna och utvärdera AI-modeller för objektdetektering använder vi bilder från Zenseact Open Dataset (ZOD). Det är en stor, öppen och multimodal datamängd för forskning och utveckling inom autonom körning, framtagen av Zenseact. Datasetet har samlats in med testfordon på europeiska vägar under två år och innehåller bilder från många olika trafik-, väg- och väderförhållanden. ZOD har blivit ett etablerat dataset inom forskningen om autonom körning och används i flera av våra gemensamma forskningsprojekt.
Vår forskning syftar till att göra autonoma AI-system mer anpassningsbara, effektiva och tillförlitliga genom distribuerad inlärning. Genom nära samarbete med industrin kan vi utveckla innovativa AI-metoder som samtidigt möter de verkliga behoven inom autonom körning.
De första resultaten med kunskapsdestillering är lovande och uppmuntrar oss att gå vidare. Nästa steg är att studera mer komplexa scenarier, där flera generationer av fordon samexisterar och kontinuerligt kan lära av och utbyta kunskap med varandra. Vi vill också undersöka hur självövervakad inlärning kan användas för att dra nytta av de stora mängder oannoterade bilder som fordon samlar in. Zenseact arbetar samtidigt med att ta fram en ny multimodal datamängd som kommer att bli viktig för det fortsatta forskningsarbetet. Hittills har vi genomfört våra experiment som simuleringar i datacenter. Ett intressant nästa steg är också att testa metoderna på den typ av hårdvara som finns i dagens bilar.
Forskningen bedrivs inom ramen för projekten DREAM och DART som finansieras av Vinnova via programmet Avancerad Digitalisering. I DREAM (Distributed, Robust and Efficient AI for Autonomous Vehicles) samarbetar RISE, Zenseact, Scaleout och AI Sweden kring distribuerad AI för autonoma fordon, med fokus på självövervakad inlärning, kunskapsdestillering och kommunikationseffektivitet. DART (Distributed AI for Robust and Trustworthy Autonomous Vehicles) är ett svensk-amerikanskt forskningssamarbete där RISE och Zenseact arbetar tillsammans med NVIDIA FLARE-teamet i USA. Här undersöks hur federerad inlärning kan användas för robusta och tillförlitliga autonoma system.
Besök gärna projektens webbsidor om du vill veta mer om projekten och forskningen. Vid frågor, kontakta forskarna Sima Sinaei (sima.sinaei@ri.se) och Henrik Abrahamsson (henrik.abrahamsson@ri.se).
Presentation från konferensen FLTA 2026 (pdf, 6.39 MB)