När AI får en kropp: cyberfysiska system i praktiken

Tänk dig att du går förbi Reachy och frågar om det är varmt i mötesrummet, eller ber den tända lamporna. Den vänder huvudet mot dig, svarar och gör det du ber om, utan att någon har förberett just den frågan.

Vad ser vi i demon?

Reachy Mini är en liten, robot med öppen källkod från Pollen Robotics och Hugging Face som går att programmera i Python. I demon ser vi hur den vänder sig mot den som pratar och rör huvudet och antennerna för att visa att den lyssnar eller bearbetar en fråga.

Bakom interaktionen finns Reachy Mini-applikationen, som fungerar som en AI-agent. En språkmodell sköter samtalet och kan anropa verktyg. Här används en realtidsmodell från OpenAI för att ge snabb respons. Lamporna och sensorerna är anslutna via IKEAs Dirigera–hubb och görs tillgängliga som verktyg genom MCP, Model Context Protocol.

Vad blir möjligt när AI får en kropp?

Två saker. För det första förändrar kroppen samtalet. Turtagning, blick och små rörelser gör interaktionen mer naturlig, och roboten kan fungera som ett gemensamt gränssnitt för flera personer i samma rum. Samtidigt kan vi tillskriva en robot som nickar mer förståelse än den faktiskt har. Den spänningen behöver vi ta på allvar.

För det andra kan roboten kopplas till fysiska system genom öppna gränssnitt. Nya system kan då läggas till utan att roboten behöver byggas om. Här blir tilliten avgörande. En AI som kan styra fysiska saker behöver tydliga behörigheter. Vi måste bestämma vad den får göra på egen hand och när den ska fråga.

Var kan tekniken göra störst skillnad?

Röstassistenter har funnits i över tio år och används främst till timers och musik. Men när vi vill styra miljön omkring oss, hemma, på kontoret eller i en byggnad, kan en AI i rummet bli ett naturligt gränssnitt.

Hemmet: från kommandon till samtal

Ta hemmet som exempel. I dag styrs det ofta genom en app per leverantör, förprogrammerade scener och regler som ”om klockan är sju, tänd lampan”. En röstassistent kan klara ”tänd lampan i köket”. Önskemål som ”det är kvavt här inne” eller ”vi ska titta på film” kräver mer. Systemet behöver tolka vad personen menar, veta vilken utrustning som finns och kunna kombinera den: sänka ljuset, dra ner persiennen eller öka ventilationen.

Det är sådant en språkmodell med tillgång till verktyg kan göra. En fysisk robot i rummet kan dessutom bidra med information om varifrån rösten kommer.

Ett gemensamt gränssnitt för omsorg och fastigheter

Samma behov finns i andra miljöer. På ett äldreboende kan en robot göra det lättare att styra sin omgivning för den som har svårt att använda appar. Den skulle också kunna erbjuda sällskap och uppmärksamma om något verkar vara fel, men sådana funktioner kräver tydligt samtycke och klara gränser för vad roboten får uppfatta och reagera på.

På kontor och i fastigheter finns ventilation, värme, belysning, passersystem och energimätning från olika leverantörer. För att besvara frågan ”varför är det kallt i konferensrummet?” kan AI:n behöva kombinera information från flera av dem.

Energianvändning som går att prata om

Hemmet blir också alltmer en del av energisystemet, där förbrukning ska kunna flyttas när elen är dyr. Det kan vara lättare att förklara och komma överens om i ett samtal än genom en inställningsmeny.

Öppna gränssnitt och tydliga gränser

Öppna protokoll som MCP gör det möjligt att koppla samman systemen. Varje system görs tillgängligt som verktyg och kan sedan användas av AI-applikationer som stöder protokollet.

Det är också här tillitsfrågan blir konkret. Att läsa av en temperatur eller tända en lampa är relativt okomplicerat. Att låsa upp en dörr, stänga av ett larm eller ändra värmen i en hel byggnad kräver andra avvägningar. En rimlig modell är att AI:n får läsa av och förklara, men ber om godkännande innan den gör något som påverkar säkerheten eller fler personer än den som frågar.

Hur tar RISE tekniken från forskning till något vi kan testa?

RISE är oberoende. Vi säljer varken robotar, lampor eller AI-modeller. Därför kan vi testa hur system från olika leverantörer fungerar tillsammans utan ett eget intresse i vilken leverantör som väljs. När AI ska styra hem och byggnader kommer utrustningen att komma från många håll. Då behövs någon som kan visa vad som faktiskt fungerar ihop.

Vi har också lång erfarenhet av uppkopplade system. Contiki, ett av de första operativsystemen för sakernas internet, har sina rötter här. I dag arbetar vi med allt från sensornätverk till 5G och edge computing. Vi förstår kedjan från den lilla sensorn i väggen till modellen som tolkar vad någon säger. Ofta är det i kopplingarna mellan dessa delar som problem uppstår.

På RISE finns dessutom labb och testbäddar där AI kan möta fysisk utrustning. Där kan vi undersöka vad som händer när en robot ska tända lampor, läsa av sensorer och reagera på människor.

Vi kan också bidra där frågorna är som svårast. En robot i hemmet kan höra och se mycket, och i den här demon skickas samtalet till en molntjänst. Hur mycket kan köras lokalt, i roboten eller på en edge-server i huset, så att det som sägs hemma stannar hemma? Vad får en AI göra på egen hand, och hur testar vi att den håller sig inom de gränserna?

Frågorna om säkerhet, integritet och tillit behöver få svar innan tekniken används i stor skala. Det är den typen av oberoende arbete RISE är till för.

Nyfiken på mer?

Bakom demon finns forskning om hur AI kan köras nära användaren och styra robotar på ett säkert sätt. Två projekt kopplade till arbetet är:

• 6GHype4Ind: Hybrid positionering och edge computing, så att AI vet var saker finns och kan köras nära användaren.
• EdgeWise: Säker styrning av robotar, så att AI håller sig inom gränser som går att verifiera.

Vill du veta mer om tekniken? Kontakta forskaren Joakim Eriksson på joakim.eriksson@ri.se. 

Prenumerera gärna på nyhetsbrevet AI på RISE för fler exempel på hur AI-forskning omsätts i praktiken.