LLM-modellers begränsningar: Vad de inte kan göra
Alla pratar om vad LLM:er kan. Här pratar vi om vad de inte kan. Inte för att vara negativa, utan för att du ska kunna planera bättre.
Det finns ju gott om artiklar som beskriver allt som språkmodeller klarar av. Den här texten handlar istället om vad de faktiskt inte kan. Det beror förstås inte på att tekniken är dålig. Realistiska förväntningar är helt enkelt grunden för att lyckas med AI-projekt.
De kan inte räkna
Det låter kanske absurt, men det stämmer faktiskt. Språkmodeller är riktigt dåliga på matematik. De kan visserligen ge rätt svar på enkla tal eftersom de har sett lösningen i sin träningsdata. Om du däremot ger dem ett ovanligt matematiskt problem kommer de nog bara att gissa. De utför inga egentliga beräkningar, utan de förutsäger bara hur svaret borde se ut rent textmässigt.
Nyare modeller har förstås blivit bättre genom att de kan anropa externa verktyg som kalkylatorer eller kodexekvering. Den underliggande modellen räknar dock fortfarande inte själv. Den genererar bara siffror som verkar rimliga i sammanhanget.
Konsekvens för företag: Du bör alltså aldrig lita på en språkmodell för finansiella beräkningar utan att verifiera resultatet. Använd den hellre för att skriva formler eller kod som sedan utför själva matematiken.
De har inget minne mellan sessioner
Den bristande matematiska förmågan är en sak, men modellerna saknar dessutom förmågan att minnas. Varje ny konversation börjar från noll om du inte aktivt har byggt in någon form av minneshantering. Modellen kommer alltså inte ihåg vad du sa förra veckan eftersom den helt saknar koncept för tid och kontinuitet.
Det finns väl kända lösningar på detta problem. Man kan använda konversationshistorik, RAG med användardata eller finjusterade modeller. Själva grundmodellen har dock inget inbyggt minne. Det som upplevs som minne i tjänster som ChatGPT beror helt enkelt på att hela den tidigare konversationen skickas med i bakgrunden vid varje ny fråga.
Konsekvens för företag: Om du planerar att bygga en AI-assistent som ska känna igen användaren måste du bygga minneshanteringen separat. Det är en process som kräver både tid och resurser.
De förstår inte kausalitet
Utöver minnesbristen har modellerna också svårt att förstå orsakssamband. En språkmodell kan mycket väl påstå att företag som investerar i kundservice får högre kundnöjdhet. Den kan däremot inte avgöra om det faktiskt är kundservicen som orsakar nöjdheten. Det kan ju finnas en tredje faktor som spelar in, till exempel att välmående företag har råd med både bra kundservice och bra produkter.
Modellen ser bara korrelationer i den text den har tränats på. Den förstår alltså inte orsak och verkan på riktigt.
Konsekvens för företag: Du bör undvika att använda språkmodeller för att dra kausala slutsatser. Frågor som varför du tappar kunder kräver en ordentlig analys av verksamheten snarare än svar från en textgenerator.
De kan inte verifiera sig själva
Eftersom modellerna saknar förståelse för orsakssamband är det logiskt att de inte heller kan granska sina egna svar. En språkmodell kan faktiskt inte avgöra om det den just har skrivit stämmer. Den saknar helt intern faktakontroll och kan inte dubbelkolla sina påståenden mot verkligheten. Den har ju bara tillgång till sin historiska träningsdata.
Detta är anledningen till att modellen ibland presenterar felaktig information med full övertygelse. Den vet helt enkelt inte om att den har fel.
Konsekvens för företag: Du bör alltid bygga in mänsklig granskning eller automatiserad verifiering i de processer där du använder AI-genererad text.
De är dåliga på att följa komplexa instruktioner konsekvent
Ett annat område där modellerna brister är när de ställs inför alltför många krav på en gång. Om du ger en språkmodell en enkel instruktion kommer den nog att följa den utan problem. Om du däremot ger den tjugo regler att förhålla sig till samtidigt börjar den snabbt missa detaljer. Ju längre och mer komplex din prompt är, desto fler instruktioner tenderar den att tappa bort på vägen.
Detta handlar inte om slarv från modellens sida. Det är snarare en direkt konsekvens av hur den underliggande tekniken fungerar. Modellen har helt enkelt en begränsad kapacitet att hålla alla instruktioner aktiva i minnet samtidigt.
Konsekvens för företag: Det är klokt att dela upp komplexa uppgifter i mindre steg. Låt modellen hantera en sak i taget istället för att försöka lösa allt på en gång.
De har bias
När vi ändå pratar om teknikens begränsningar måste vi ju också nämna problemet med fördomar. Språkmodeller har tränats på stora mängder text från internet. Eftersom internet innehåller mycket bias har modellerna förstås också ärvt dessa skevheter. De kan därmed reproducera stereotyper och favorisera vissa perspektiv medan andra ignoreras.
Detta är väl inte alltid helt uppenbart vid en första anblick. Det kan visa sig i subtila val av formuleringar eller i vilka exempel som modellen väljer att lyfta fram.
Konsekvens för företag: Om du använder språkmodeller för rekrytering eller beslutsunderlag är det alltså viktigt att vara medveten om att resultatet kan vara skevt. Du bör därför testa och granska systemen regelbundet.
De är dyra vid skala
Utöver de tekniska och etiska utmaningarna finns det ju också en ekonomisk aspekt att ta hänsyn till. Ett enstaka anrop till en språkmodell kostar oftast bara bråkdelar av en krona. Om du däremot bearbetar tusentals dokument varje dag växer kostnaderna förstås snabbt.
Det är också värt att notera att längre kontext gör varje anrop dyrare. En lösning som skickar med tio dokument som bakgrundsinformation vid varje fråga kostar alltså betydligt mer än en som bara skickar med två.
Konsekvens för företag: Du bör nog budgetera för AI-kostnader som en löpande driftskostnad snarare än en engångsinvestering. Det lönar sig också att optimera användningen genom att välja billigare modeller för enkla uppgifter.
Vad allt detta betyder
Språkmodeller är utan tvekan användbara verktyg, men de har ju som sagt sina tydliga begränsningar. De mest framgångsrika AI-projekten är oftast de som förstår dessa svagheter från början och bygger sina lösningar därefter.
Detta innebär i praktiken att man behöver mänsklig granskning där det krävs och uppdelade uppgifter för att hantera komplexitet. Det handlar i grunden om att ha realistiska förväntningar på vad tekniken faktiskt kan leverera.
Vill du förstå hur du kan använda språkmodeller trots dessa begränsningar? Läs gärna mer om RAG för att minska risken för påhittade fakta, eller om hur du väljer rätt modell baserat på dina specifika behov.
Om du har läst hela vägen hit har du nog redan börjat fundera på hur detta påverkar er verksamhet. Vi tycker att det är väldigt roligt att diskutera just sådana frågor. Vi tror på att börja smått och tänka stort. Dela era funderingar med oss så kan vi prata vidare om hur ni bäst kommer igång med era projekt.