Hoppa till huvudinnehåll
RISE logo

Bättre mänsklig kontroll av AI-genererad text

Utvecklingen inom språkteknologi går rasande snabbt. De senaste AI-språkmodellerna kan generera allt från poesi till html-kod och interaktiva text-äventyr. Nu lanseras en ny metod utvecklad på RISE för att kunna styra outputen ännu smartare.

Att skapa text med hjälp av AI har fått ett ofantligt lyft de senaste åren, säger Fredrik Carlsson, forskare på RISE inom djupa neurala nätverk. Han lyfter fram språkmodellen GPT-2 och inte minst uppföljaren GPT-3 som absoluta game changers – som gett utvecklare tillgång till vältränade resurser som normalt kräver enorm beräkningskraft och tjock plånbok.

– Världens största nätverk är textmodeller som kan generera och läsa text. I princip så har det handlat om extremt kraftfulla autocompletes, alltså samma funktionalitet som du har i din mobil. De här modellerna gör exakt samma sak men på en högre nivå, säger Fredrik Carlsson.

175 miljarder parametrar

GPT-3 är en så kallad transformer-modell med en mekanism för att lära sig vilka ord i kontexten som är viktiga. Baserat på sammanhang och den träning som gjorts på språkmassa – 175 miljarder maskininlärningsparametrar för den som räknar – förutser och genererar modellen ord och fraser.

– Sammantaget är modellen kraftfull. Själva storleken på begriplig och sammanhängande textmassa som kan genereras har blivit större. Däremot släpar styrbarheten efter, det handlar i princip fortfarande om en enskild autocomplete, om än en rätt magisk sådan, säger Fredrik Carlsson.

– Det är jättebra att det går att skriva koherent. Men vi insåg att vi måste tackla styrningsproblemet, och vi hittade en approach som kompletterar andra modeller.

Framför allt ser jag det till att det ger mer kontroll till människan

Återkommande instruktioner ger människan kontroll

I korthet har man introducerat en ny arkitektur och algoritm som ska kunna appliceras på en språkmodell. Själva instruktionsspåret har separerats från textspåret, vilket gör att instruktioner kan ges återkommande och därmed generera ny output. Traditionellt har instruktioner enbart funnits i första skedet när förutsättningarna har formulerats.

Vinsten är uppenbar för olika uppgifter av textskapande där en skribent eller kodare vill styra AI:n mot en viss fakta eller textkonstruktion, eller introducera karaktärer eller gå tillbaka i skeenden.

– Man kan tänka sig verktyg för till exempel journalister, författare, utvecklare. Det finns språkmodeller som är så duktiga att de kan generera kod.

– Vår metod är oberoende av programmeringsspråk. Det är upp till vilken språkmodell som finns tillgänglig.

– Man kan också tänka sig olika genrer. Framför allt ser jag det till att det ger mer kontroll till människan, säger Fredrik Carlsson.

Metoden finns att läsa här. Den vetenskapliga artikeln presenteras på branschens största konferens i Dublin i maj och Fredrik Carlsson säger att tekniken redan rönt uppmärksamhet.

– Fältet rör sig otroligt snabbt. Det skulle inte förvåna mig om det här fanns i en applikation redan om ett halvår.

Publicerad: 2022-04-13
Fredrik Carlsson

Kontaktperson

Fredrik Carlsson

Researcher

Läs mer om Fredrik

Kontakta Fredrik
CAPTCHA This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.

* Obligatoriskt Genom att skicka in formuläret behandlar RISE dina personuppgifter.