Att navigera det man inte kan överblicka

Artikeln I kontrollrummet för AI-agenterna växte fram ur ett samtal om hur agentisk AI förändrar människans arbete. Den här bloggposten är en fördjupning av den artikeln och kretsar kring en mer grundläggande fråga: vad menar vi egentligen med kontroll, när arbetet sker i system som ingen människa längre kan överblicka i detalj? 

Att vara i kontroll 

När vi inte har full insyn i vad som faktiskt händer kan det lätt kännas som att vi har tappat kontrollen. Vi ser inte alla detaljer, kan inte följa varje beslut och riskerar att känna oss hjälplösa inför en process som fortsätter utan oss. 

Det filosofiska begreppet absorbed coping, myntat av Hubert Dreyfus under tidigt 90-tal, beskriver förmågan att hantera en situation utan att först analysera alla detaljer. En erfaren projektledare kan inte känna till allt som händer i ett komplext projekt, men kan ändå känna när något rör sig åt rätt håll – eller när något börjar skava. En chef kan inte läsa varje mejl i en organisation, men kan ändå fatta beslut utifrån mönster, signaler och erfarenhet. 

Det handlar om att kunna lita på en process utan att släppa kontrollen. Inte blind tillit, utan en praktisk känsla för när processen fungerar, när den behöver justeras och när man måste ingripa. 

Det är inte brist på kontroll. Det är en annan form av kontroll. Ett snabbt och kompetent sätt att hantera situationer som vi inte fullt ut kan överblicka. 

Men absorbed coping får inte bli hela ambitionen. Att hantera en process är inte samma sak som att förstå varje del av den. Om vi själva får designa miljön runt AI-agenterna borde målet inte vara att människan ska absorbera ännu mer komplexitet. Målet borde vara att skapa kontrollrum som gör rätt saker synliga, rätt beslut möjliga och rätt pauser tillgängliga. 

Sju terminaler och ingen karta 

Under vårt samtal konstaterar Sverker Janson att han själv kan sitta med sju parallella agentterminaler öppna samtidigt. Det är inte längre särskilt ovanligt. Många som arbetar med agentiska AI-system låter flera agenter arbeta parallellt, följer upp ibland, justerar när något ser konstigt ut och ingriper när processen börjar glida. 

Det fungerar. Men som gränssnitt betraktat är det otroligt dåligt. 

Du ser inte riktigt vad de olika agenterna gör. Du vet inte alltid var i processen de befinner sig. Du ser inte hur de hänger ihop, eller hur ett beslut i en terminal påverkar arbetet i en annan. Du navigerar ett komplext och dynamiskt system med verktyg som i grunden är byggda för ett sekventiellt arbetsflöde: en människa, en uppgift, en terminal, en rad i taget. 

Frågan blir därför inte om människan kan se allt. Frågan blir vad människan behöver se, när hon behöver se det, och på vilken nivå av abstraktion. Kontroll kan inte handla om total åtkomst till alla detaljer i den komplexitet som AI-systemen hanterar. Det handlar om att ha tillräckligt bra signaler för att kunna agera meningsfullt. 

Acceptera fel för att få mer självgående processer 

Under samtalet diskuterar vi också ett experiment där ett system av flera agenter fick arbeta under två veckor med minimal mänsklig inblandning. Målet var att producera en större mjukvaruprodukt. Det intressanta var inte bara vad systemet klarade av, utan vad som fick det att fastna. 

När varje delresultat behövde valideras perfekt innan nästa steg kunde börja hamnade systemet lätt i loopar. Det blev försiktigt, repetitivt och trögt. Det kom loss först när agenterna fick utrymme att vara ofullkomliga: att producera kod som var tillräckligt bra för att gå vidare, och sedan rätta till brister längs vägen. 

Det kan låta riskabelt. Men egentligen är det ganska mänskligt. 

Kontroll kan inte reduceras till manuell granskning av varje mikrosteg. Den måste designas in i systemet genom rätt återkoppling, rätt stoppunkter, rätt abstraktionsnivåer och rätt former av ansvar. 

Frågan är alltså inte om vi ska acceptera fel. Frågan är hur vi säkerställer att de upptäcks och korrigeras längs vägen. 

Nya gränssnitt med rum för reflektion 

Ett gränssnitt avgör inte bara hur vi arbetar. Det avgör vad vi ser. Och det vi ser påverkar vad vi kan förstå, ifrågasätta och föreställa oss. 

Under samtalet återkom vi också till begreppet affordance i relation till beslutsfattande. Vissa beslut är lätta att ta. De kräver lite underlag, liten eftertanke och kan hanteras snabbt. Andra beslut kräver mer. De behöver tid, sammanhang och möjlighet till reflektion. Man skulle kunna säga att de har högre affordance. 

Det här är avgörande för hur vi designar gränssnitt för AI-agenter. Människan ska inte behöva stanna upp inför varje mikrosteg, men hon måste få möjlighet att stanna upp när beslutet faktiskt kräver det. Ett bra kontrollrum behöver därför hjälpa oss att skilja mellan det som kan flyta vidare, det som behöver justeras och det som kräver verklig eftertanke. 

Terminalen är snabb, exakt och kraftfull. Men den visar ofta en process i taget och saknar många av de ledtrådar som människor använder för att förstå komplexitet: rumsliga relationer, överblick, status, riktning, beroenden och förändring över tid. 

Därför diskuterade vi realtidsstrategispel som metafor. Inte för att agentgränssnitt ska se ut som spel, utan för att spelen har löst ett genuint designproblem: hur ger man en människa överblick över ett komplext system med många rörliga delar, och samtidigt möjlighet att agera på rätt nivå vid rätt tillfälle? 

Du behöver inte styra varje enhet hela tiden. Du behöver förstå var uppmärksamheten behövs. Du behöver kunna zooma ut, zooma in, prioritera, delegera, avbryta och omdirigera. 

Det är också vad framtidens agentgränssnitt behöver stödja: inte bara snabbare utförande, utan bättre växling mellan överblick, handling och reflektion. 

Den mänskliga loopen behöver designas om 

När processen rullar på, agenterna gör det de ska och inget verkar kräva uppmärksamhet, ska människan inte behöva detaljstyra. Då bör hennes uppmärksamhet kunna användas till något mer värdefullt: att tolka sammanhang, avgöra betydelse, väga risker, känna igen när något inte stämmer och ta ansvar för riktningen. 

Men när något oväntat händer måste människan kunna stiga in i ett mer reflekterande läge. Hon behöver förstå vad som har hänt, vilka val som finns och vilka konsekvenser de kan få. Den mänskliga loopen handlar därför inte om att människan ska godkänna varje mikrosteg, utan om att hon ska kunna kliva in på rätt nivå, vid rätt tillfälle. 

Frågan är inte hur vi tar bort människan ur loopen. Frågan är vilken sorts loop människan ska vara i. 

Om agenter bara ökar takten riskerar de också att öka fragmenteringen: mer output, fler beslut, mer övervakning. Men om systemen designas väl kan de i stället ge människan bättre hävstång – större möjlighet att utforska alternativ, formulera problem och styra riktningen. 

AI-agenter har redan tagit över en hel del av utförandet. Men det gör inte människan mindre viktig. Det gör designen av hennes kontrollrum viktigare. 

Fortsätt samtalet 

Laurynas Adomaitis är AI-forskare på RISE med fokus på agentiska system och människa–AI-interaktion. Sverker Janson är centrumledare för RISE Centrum för tillämpad AI. 

Texten bygger vidare på resonemanget i artikeln I kontrollrummet för AI-agenterna, där vi undersöker hur AI-agenter förändrar människans roll i arbetet.

 För fler reflektioner om tillämpad AI, forskning och samhällsförändring – följ nyhetsbrevet AI på RISE.