Hoppa till huvudinnehåll
RISE logo

Resurseffektiva språkmodeller för hela mänskligheten

Chatbotar, appar för översättning, samt appar för sökning – alla bygger de på avancerad språkteknologi baserad på AI. Men nu höjs rösterna för att de gigantiska, resurskrävande modeller som krävs för att lära upp maskinerna behöver kompletteras, allt för att fler språk, fler människor och fler organisationer ska kunna dra nytta av tekniken.

Du har garanterat använt verktyg som bygger på språkteknologi många gånger om. Google Translate, IKEAs chatbot, eller kanske den sökning som gjorde att du hittade just den här artikeln.

– Allt det här är tillämpningar som kräver att datorsystemet på något sätt kan tolka innehållet i det som människor uttrycker, antingen muntligt eller skriftligt, och ge adekvat respons på det, säger Joakim Nivre, forskare på RISE enhet för intelligenta system.

För att datorn ska kunna förstå det mänskliga språket krävs modeller som tränas på språk genom att tolka stora mängder data.

– Det senaste decenniet har det skett ett antal tekniska genombrott när det gäller att skapa mer kraftfulla algoritmer för att träna de här systemen. Det i sin tur har lett till att man har kunnat göra större modeller, vilket såklart förbättrar resultaten. Precis som hos oss människor lär sig datorn mer ju mer den får öva och ju fler erfarenheter den får.

Kräver superdatorer

Dagens största modeller har miljarder parametrar och tränas på biljoner ord.

– De största modellerna är tränade på långt mycket mer text än någon människa någonsin hinner läsa under en livstid. Det är hisnande storlekar!

Men samtidigt har det här ställt till problem. För det första tekniska sådana, eftersom de stora modellerna kräver dyra superdatorer för att ens kunna fungera. Det i sin tur gör att det bara är de allra största, rikaste språken (läs engelska och kinesiska) som på allvar kan dra nytta av modellerna

– Frågan blir hur företag och organisationer ska kunna dra nytta av språkteknologi när de allra flesta inte ens har råd med infrastrukturen som krävs för att köra modeller? Det blir också svårt att använda modellerna på mindre enheter som till exempel appar i mobiltelefoner.

Ju fler språk modellen kan behärska, desto mer användbar blir den

En rättvisefråga

För det andra blir skevheten en rättvisefråga – avancerad teknologi bör komma hela mänskligheten till godo.

– Och ju fler språk modellen kan behärska, desto mer användbar blir den. Ta till exempel Svenska Institutet vars uppdrag bland annat är att kartlägga bilden av Sverige i världen. De behöver AI som kan läsa nyhetstext på många olika språk, inte bara de två största.

Forskning kring resurseffektiva modeller

För att bidra till lösningen av problemen är RISE just nu involverade i flera forskningsprojekt. Dels är man med och skapar en riktigt stor språkmodell för svenska för att svenska företag ska kunna dra nytta av en sådan modell även om de inte har resurser att drifta den själva.

– Men lika viktigt är att vi håller på med forskning kring resurseffektiv språkteknologi, hur vi kan få så bra resultat som möjligt med mindre resurskrävande modeller.

Som ett tredje spår är RISE med och undersöker om en modell kan tränas på flera språk samtidigt för att på så vis spara resurser och göra tekniken tillgänglig för fler.

– Det handlar om att optimera lösningarna, att få tillräckligt bra kvalitet med minimal resurstillgång, så att tekniken kan komma till nytta för fler, både människor, språk och organisationer.

Publicerad: 2022-05-05
Joakim Nivre

Kontaktperson

Joakim Nivre

Forskare

Läs mer om Joakim

Kontakta Joakim
CAPTCHA This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.

* Obligatoriskt Genom att skicka in formuläret behandlar RISE dina personuppgifter.