När människoperspektivet blir ett tekniskt krav

För ett par veckor sedan publicerade jag en essä om hur vi kan fatta en lång rad beslut som vart och ett framstår som rationellt, innovativt och kanske till och med rätt, och ändå hamna i ett digitalt landskap som ingen av oss rimligen skulle ha ritat om vi hade fått börja med frågan vilket samhälle vi faktiskt vill leva i.

Jag skrev om barn som utsätts för grooming i miljöer byggda för lek och gemenskap, om kvinnor vars kroppar kan återskapas och sexualiseras med generativ AI och om ett demokratiskt samtal som alltmer utspelar sig på privatägda plattformar vars affärsmodeller belönar det som håller oss kvar, oavsett vad det gör med oss. Framför allt skrev jag om hur ansvaret för digitaliseringens skadeverkningar alltför länge har hamnat hos dem som haft minst möjlighet att påverka systemen. Barnet skulle blockera groomaren, föräldern kontrollera skärmtiden, kvinnan anmäla deepfaken och medborgaren genomskåda en industriellt producerad informationspåverkan. Min slutsats var ganska enkel: ansvar måste följa rådighet.

Den 17 september presenterade EU-kommissionen sitt förslag till KIDS Act. Mest uppmärksamhet lär åldersgränserna få, barn under tretton år ska inte kunna ha egna konton på de sociala plattformar som omfattas, tretton- och fjortonåringar ska bara kunna använda begränsade konton under en vårdnadshavares kontroll och först från femton års ålder ska en ung person kunna öppna ett självständigt konto.

Det är en stor förändring, men om diskussionen stannar vid frågan om femton är rätt ålder riskerar vi att missa det mest intressanta i förslaget. KIDS Act försöker nämligen inte bara bestämma när barn får använda digitala tjänster, utan går också in i hur tjänsterna byggs. För minderåriga ska plattformarna inte få använda streaks som straffar frånvaro, notiser konstruerade för att dra tillbaka barnet eller oändliga flöden utan naturliga pauser. Rekommendationssystem ska optimeras för säkerhet, kvalitet och psykisk hälsa snarare än maximalt engagemang. Barn ska inte kunna kontaktas av främlingar utan godkännande och AI-kompisar ska inte få utformas så att de skapar känslomässigt beroende. För de största plattformarna vänds dessutom bevisbördan. Det ska inte längre vara barnet, föräldern eller myndigheten som i efterhand måste visa att en digital miljö orsakat skada. Plattformen ska i förväg kunna visa att den har byggts för att vara säker. Det är ett försök att skriva om teknikens kravspecifikation.

Vi har länge varit ganska överens om vad det betyder att en digital tjänst fungerar. Systemet ska vara snabbt, stabilt och skalbart. Filmen ska börja spela, betalningen gå igenom och algoritmen leverera innehåll som användaren sannolikt stannar kvar för att titta på. Om koden gör det den är byggd för att göra betraktar vi gärna lösningen som tekniskt lyckad.

Men om ett perfekt fungerande rekommendationssystem leder ett barn längre och längre in i innehåll som skadar hen, fungerar det då fortfarande? Om en notis gör exakt det den designats för och väcker en trettonåring mitt i natten för att hen riskerar att förlora sin streak, är det god teknik? Om plattformen lyckas maximera engagemang genom att använda kunskap om människans behov av bekräftelse, rädsla för att hamna utanför och svårighet att slita sig från en belöning som kanske kommer med nästa svep, vad är det egentligen vi har optimerat?

KIDS Act ger ett politiskt svar på de frågorna. En tjänst är inte välbyggd enbart därför att den tekniskt fungerar och affärsmässigt levererar. Hur den påverkar barnets sömn, trygghet, relationer, psykiska hälsa och möjlighet att värja sig mot manipulation är också en del av dess kvalitet.

Vem får definiera god teknik?

När människors beteende, relationer och utsatthet blir en del av teknikens kravspecifikation väcks frågan om vilka kunskaper som behöver finnas i rummet när tekniken byggs. Vi behöver utvecklare, AI-specialister, systemarkitekter och cybersäkerhetsexperter, men vi behöver också människor som förstår hur grooming går till, varför ett barn svarar en främling, hur grupptryck fungerar, hur flickor och pojkar och utsätts på olika sätt och hur en relation till en AI-kompis kan upplevas av någon som känner sig ensam. Vi behöver juridiken, pedagogiken, psykologin, jämställdhetskunskapen, barnrätten och erfarenheterna från de människor som faktiskt lever med teknikens konsekvenser.

Frågan är inte bara om dessa perspektiv får vara med, utan när de kommer in och vilken makt de har när de gör det. Den som blir tillfrågad när systemet redan är upphandlat, modellen tränad och affärslogiken etablerad kan möjligen föreslå en varningstext, en utbildningsinsats eller ännu en knapp för att rapportera skada. Den som finns med när problemet formuleras kan påverka arkitekturen. Tar vi in kunskapen tidigt kan vi ändra ett antagande. Tar vi in den sent måste vi kanske ändra ett helt system.

Det finns ett gammalt svenskt begrepp för makten som ligger just där: problemformuleringsprivilegiet. Sättet vi beskriver ett problem påverkar vilka orsaker vi ser, vilket ansvar vi fördelar och vilka lösningar som över huvud taget blir möjliga att föreställa sig. Om problemet formuleras som att barn saknar självkontroll blir svaret skärmtidsverktyg, informationskampanjer och fler samtal vid köksbordet. Om problemet i stället formuleras som att digitala tjänster är byggda för att göra barns självkontroll till en intäktskälla blir lösningarna andra. Då hamnar algoritmerna, standardinställningarna, belöningssystemen och affärsmodellerna i blickfånget. Det är denna förflyttning KIDS Act försöker göra. Problemformuleringen flyttas från barnets beteende till systemets konstruktion, och med den flyttas också en del av makten och ansvaret.

Samtidigt utmanar förslaget en annan föreställning som fortfarande präglar många organisationer: uppdelningen mellan teknikens hårda frågor och de sk mjuka frågor som påstås handla om människor, relationer, kommunikation och kultur. När barnets rätt till sömn innebär att notissystemet måste byggas annorlunda, när kunskap om beroende förändrar flödets konstruktion och när förståelsen av grooming ska påverka kontaktfunktioner och behörigheter, då befinner sig människoperspektivet inte längre bredvid tekniken, det har blivit ett tekniskt krav.

Det borde rimligen också påverka hur vi värderar den kompetens som krävs för att förstå människan och samhället. Programmering, konstruktion och cybersäkerhet beskrivs självklart som kunskaper som utvecklas genom utbildning, träning och erfarenhet. Den som kan läsa ett rum, bygga tillit mellan människor med helt olika intressen eller få flera professioner att lösa ett problem som de inte ens är överens om hur det ska beskrivas är däremot lätt ”bra med människor”, ”kommunikativ” eller någon som ”får med sig folk”. När teknisk skicklighet beskrivs som kompetens medan relationell skicklighet beskrivs som personlighet har vi redan börjat värdera dem olika. Status blir sedan lön, budget, mandat, befattningar, representation i ledningsgruppen och möjligheten att definiera problemet innan någon annan börjar konstruera lösningen.

EU-kommissionens förslag är ännu inte beslutad lag och mycket kan förändras när Europaparlamentet och medlemsstaterna börjar förhandla. Åldersverifieringen rymmer svåra frågor om integritet och ingen förordning kan ensam skapa en trygg digital barndom. Men förslaget markerar ändå en viktig förflyttning: Samhället nöjer sig inte längre med att be teknikföretagen städa upp efter de skador deras system bidrar till, utan försöker påverka vad som byggs, vilka mål systemen får optimeras för och vilka värden som måste finnas med redan i konstruktionen. Det är ett försök att byta ordning på frågorna. Inte först vad tekniken kan göra och hur barnet, familjen och samhället ska anpassa sig efter det, utan vilket digitalt samhälle vi vill att barn ska växa upp i och vilken teknik som hjälper oss att bygga det. När den frågan ställs förändras inte bara svaret. Den förändrar vilka kunskaper vi behöver ge status, vilka människor vi behöver ge mandat och vilka perspektiv som måste få påverka problemet innan lösningen börjar byggas.

Teknik är makt. Men det är också makt att få bestämma vilken kunskap som räknas när framtiden byggs.