Godisroboten Candytron visar hur AI kan agera i den fysiska världen

Det här RISE-projektet med roboten som kallas Candytron handlar egentligen inte om godisrobotar. Det syftar till att bygga kompetens inom sammansatta AI-system och testa gränserna för vad AI-agenter kan göra i praktiken. Det gör att RISE kan hjälpa företag och organisationer att förstå och använda tekniken.

När en AI-modell inte bara genererar text eller svarar på frågor, utan faktiskt påverkar omvärlden genom att anropa verktyg, till exempel styra fysiska komponenter som att dela ut godis, kallas den för agentisk AI, eller AI-agent. Det är samma princip som används i kodningsagenter där en språkmodell skriver och kör kod för att lösa ett problem.

Candytron består av olika system som arbetar tillsammans som en AI-agent. Något som kommer bli vanligare och finnas mer i vardagen i framtiden, menar Anders Holst, Senior Research Scientist på RISE, som tillsammans med Niclas Finne och Joakim Eriksson utvecklat Candytron.

– Det har pratats om robotar länge men det är inte långt kvar till flexibla robotar som blir mer dynamiska i sitt beteende och i de uppgifter de ska lösa. Med stora språkmodeller blir det möjligt att använda naturligt språk för att göra tydligt vad man vill ha. Om vi skulle ha en smart ugn till exempel så skulle man kunna ge den instruktionen att tina en kyckling. Manualen är alltså inbyggd i apparaten som själv vet vad som ska göras via muntliga instruktioner, säger Anders Holst.

Så ser, hör och agerar roboten

Olika typer av godis ligger på ett stort vitt papper indelat i olika rutor. Man säger till roboten namnet på godisen man vill ha och roboten plockar upp biten och ger den till dig. Bakom kulisserna är det mer komplicerat, då Candytron består av flera AI-baserade delsystem (se tabellen nedan).

En kamera har placerats ovanför bordet för att ta bilder på godisarna och skicka dem till en bildmodell som är tränad att känna igen 13 olika sorters godis. Modellen returnerar koordinater och klasser för varje godisbit som sedan översätts till en tabell, exempelvis att en kola ligger i rutan B4. Den informationen skickas sen till en flerspråkig språkmodell som fungerar som systemets kärna och är den som anropar flytten av godisarna när en människa ber om en godisbit. Roboten är nu redo att interagera och dela ut godis.

En människa pratar i en mikrofon och talet transkriberas. Språkmodellen tar emot både transkriptionen och listan över tillgängliga godisar, resonerar om vad personen vill ha och skickar ett kommando till robotarmen att flytta rätt godis till utlämningsplatsen. Sedan genererar språkmodellen ett svar och det läses upp av en röstsyntes.

Den första versionen av roboten krävde att besökaren tryckte på en knapp för att börja tala. I den nya versionen har man lagt till en kamera som detekterar när någon ställer sig framför roboten. Roboten hälsar då automatiskt och frågar om personens namn och konversationen börjar. För turtagning i dialogen måste man också detektera när användaren talat klart. Genom kameran memorerar roboten i ett ansiktsigenkänningsprogram hur man ser ut, så om man kommer tillbaka vet den vem man är och rösten kan säga något som, ”Kul att se dig igen. Vill du ha samma godis som förra gången?”.

Candytron har rätt åtta av tio gånger

Siffrorna nedan avser den första versionen av Candytron från 2025 års öppet hus, då ungefär 300 interaktioner loggades. En genomgång efteråt visade att roboten gjorde rätt i 79 % av fallen. I de resterande 21 % av fallen gjorde roboten fel: i 12 % av alla fall för att taligenkänningen hörde fel i den bullriga miljön, i 1 % för att kameran inte identifierade godiset korrekt och i 8 % för att språkmodellen resonerade fel. Systemet har en viss självkorrigerande förmåga, så om ett godisnamn missförstås kan roboten be om ett förtydligande och ofta nås rätt svar till slut ändå.

Allt sker lokalt, inget lämnar laptopen

All bearbetning sker lokalt på en laptop, utan att data skickas till molntjänster, vilket betyder att bilder, röstdata och eventuella preferensprofiler inte lämnar enheten. Systemet testade även ansiktsigenkänning för att kunna hälsa återkommande besökare med namn och minnas deras tidigare val. Alla besökare informerades om detta, och all insamlad information raderades efter evenemanget.

Frågan om lokal kontra molnbaserad körning bedöms bli allt viktigare i takt med att fler konsumentprodukter börjar använda kameror och AI för att känna igen och komma ihåg användare.

– Det här är en fråga som blir viktigare och viktigare. Och när AI kommer att integreras mer och mer i våra hushållsapparater, så blir vikten av att kunna lagra den informationen lokalt så mycket mer angelägen, säger Anders Holst.

Från godisrobot till applikationer i den riktiga världen

Candytron är byggt kring Model Context Protocol (MCP), ett gränssnitt för kommunikation mellan olika agenter och tjänster. Det gör att språkmodellen i kärnan är generisk, den vet alltså inte från början att den styr en godisrobot, utan robotfunktionaliteten pluggas in som en separat modul. Samma arkitektur kan användas för att styra andra enheter, exempelvis smarta lampor eller hushållsapparater.

Den här typen av upplägg, när man använder naturlig röststyrning kopplad till en fysisk enhet, har många konkreta användningsområden. Till exempel butiksrobotar som kan svara på kundfrågor och navigera till rätt hylla, eller hushållsapparater som styrs med naturligt tal i stället för menyer.

Candytron må dela ut godis, men det den visar är hur olika system kan fungera tillsammans med ett sammanhållande gränssnitt i fysiska agenter som kan interagera med människor på ett naturligt sätt.

Vill du veta mer om Candytron och hur den här typen av sammansatta AI-system kan fungera?

Kontakta Anders Holst, Niclas Finne eller Joakim Eriksson för hjälp att testa agentiska lösningar tillsammans med ditt företag.