Varför AI ljuger med sådan övertygelse
AI-hallucinationer är inte buggar som snart fixas. De är en konsekvens av hur tekniken fungerar. Här förklarar vi varför, och vad du kan göra åt det.
Du ställer en fråga till ChatGPT och får ett svar som låter helt rimligt, med både detaljer och källhänvisningar. Problemet är ju bara att hälften kan vara påhittat. Källorna existerar inte, och siffrorna stämmer sällan.
Det här kallas för hallucinationer. Det är faktiskt inte en tillfällig bugg som OpenAI snart fixar, utan en direkt konsekvens av hur språkmodellerna fungerar i grunden.
Varför det händer
En språkmodell genererar text genom att förutsäga nästa ord baserat på sannolikhet. Den väljer alltså det ord som mest troligt borde komma härnäst. Den har inget begrepp om sant eller falskt, utan arbetar uteslutande med vad som är sannolikt.
När du frågar vem som skrev en viss bok och modellen saknar information, erkänner den inte sin okunskap som en människa skulle göra. Istället genererar den det mest sannolika svaret, vilket förstås kan vara helt fel.
Man kan nog likna det vid att fråga en person som låter kunnig, men som egentligen inte vet svaret. Systemet gissar sig fram, fast med en ton som låter helt säker.
Varför det inte löses enkelt
Man kan lätt tro att det räcker med att träna modellen på mer data eller lägga till en funktion för att svara att den inte vet. Problemet ligger ju dock djupare än så.
Modellen saknar en intern representation av vad som är sant, och bygger allt på vad som låter rätt. Det som låter rätt är ju tyvärr inte alltid det som stämmer. En påhittad källa låter precis lika övertygande som en riktig, och systemet kan inte skilja dem åt.
Nyare modeller hallucinerar mindre, men det förekommer fortfarande. Det luriga är väl att de blivit bättre på att låta övertygande, vilket gör felaktigheterna svårare att upptäcka.
Konkreta exempel
Ett vanligt problem är påhittade källor. Om du ber om akademiska referenser får du ofta titlar som låter perfekta men inte existerar. Författarna och tidskrifterna kan mycket väl finnas på riktigt, medan själva artikeln är ett påhitt.
Felaktiga siffror dyker ju också upp titt som tätt. Ett påstående om att en marknad värderas till ett visst antal miljarder kan låta rimligt, trots att siffran är helt tagen ur luften.
Ibland brister det förstås i logiken. Modellen kan bygga ett resonemang som verkar logiskt men som bygger på felaktiga premisser. Slutsatsen följer från premisserna, men eftersom premisserna inte stämmer faller argumentet.
Dessutom händer det faktiskt ofta att systemet blandar ihop fakta. Det kan ta korrekta uppgifter om en person och blanda dem med detaljer om någon annan, för att sedan presentera allt som om det handlade om den första personen.
Vad du kan göra
Det viktigaste är nog att alltid verifiera informationen. Du bör behandla all genererad text som ett utkast som kräver faktagranskning, snarare än som en pålitlig källa.
Ett tekniskt sätt att hantera detta är att använda RAG (Retrieval-Augmented Generation) som kopplar modellen till faktiska dokument. Istället för att generera svar ur minnet hämtar den information från specifika källor. Det minskar hallucinationer avsevärt, även om det förstås inte eliminerar dem helt.
Du kan också begränsa uppgiften. Ju mer specifik och avgränsad din fråga är, desto mindre utrymme finns det för hallucinationer. Att be den sammanfatta ett dokument fungerar alltså mycket bättre än att be den berätta allt den vet om ett ämne.
Ett annat knep är att kräva källor. Be modellen att citera exakt vilka delar av dokumentet den baserar sitt svar på. Kan den inte peka på var informationen kommer ifrån finns det ju all anledning att vara skeptisk.
Slutligen kan du använda modeller som resonerar i flera steg. Dessa system brukar faktiskt hallucinera mindre, eftersom de bryter ner problemet i mindre delar istället för att generera svaret direkt.
Vad det betyder för företag
Att systemen ibland hittar på saker är ju ingen anledning att undvika tekniken helt. Det är snarare en påminnelse om att använda verktygen med rätt förväntningar och processer.
Man bör nog inte sätta AI i produktion utan mänsklig granskning för uppgifter där korrekthet är avgörande. Använd RAG för att grunda svaren i er egen data, och utbilda medarbetarna i att kritiskt granska resultaten istället för att vara passiva mottagare.
Har artikeln fått dig att fundera över er egen situation? Vi tar förstås gärna en diskussion om saken. Vi brinner för möjligheterna med AI och tror på att börja smått men tänka stort. Det finns inga dumma frågor, bara ett ärligt samtal om vad som faktiskt fungerar. Skicka oss era tankar så återkommer vi inom en dag.