Så använder jag confidence levels i AI-content
Jag använder gärna confidence levels i AI-content, men nästan aldrig som ”modellen är 87 procent säker”. Den typen av siffra ser exakt ut utan att nödvändigtvis vara kalibrerad mot verkligheten.
Jag använder gärna confidence levels i AI-content, men nästan aldrig som ”modellen är 87 procent säker”. Den typen av siffra ser exakt ut utan att nödvändigtvis vara kalibrerad mot verkligheten.
Jag vill i stället att confidence kommer från evidensstatus.
Confidence är inte samma sak som ton
En modell kan skriva ett felaktigt påstående med självsäker ton och ett korrekt påstående med försiktigt språk. Därför ska språklig säkerhet inte vara sanningsmått.
Jag lagrar hellre status som:
Det är inte en sannolikhetsmodell. Det är ett workflow-kontrakt.
VERIFIED betyder något konkret
För mig betyder VERIFIED att claimen stöds direkt av tillgänglig evidens inom den definierade omfattningen. Det betyder inte ”universellt sant för alltid”. Freshness och scope finns fortfarande kvar.
QUALIFIED betyder att huvudidén har stöd men kräver villkor eller reservation. Den statusen är viktig eftersom AI gärna komprimerar bort undantag när den skriver mer flytande.
UNRESOLVED ska stoppa materiella claims
Om evidensen inte räcker ska modellen inte bara sänka tonen från ”är” till ”kan vara” och fortsätta. För materiella claims betyder UNRESOLVED ofta att claimen måste bort eller artikeln blockeras.
Det gör uncertainty operativ i stället för dekorativ.
CONFLICT är en egen klass
När två trovärdiga källor säger olika saker vill jag inte att modellen automatiskt syntetiserar ett mittenvärde. CONFLICT ska utlösa separat review: beror skillnaden på datum, definition, jurisdiktion eller verklig oenighet?
Det är först efter den analysen som texten bör formuleras.
En global "fact checked"-stämpel döljer det viktiga
"Fact checked" låter binärt: texten är kontrollerad och därmed korrekt. I praktiken säger etiketten nästan ingenting om vilka claims som granskades, mot vilka källor, vid vilken tidpunkt eller med vilket resultat. Att sätta en sådan stämpel på hela artikeln komprimerar bort precis den information som statusarbetet ovan är till för att bevara.
Freshness försvinner särskilt lätt i en global stämpel. En artikel kan vara korrekt den 1 januari och fel den 1 september om källan är en prislista, en produktfunktion eller en myndighetsregel — systemet behöver veta när claimen senast verifierades och mot vilken källa.
Läsaren behöver sourcing, inte en badge. Google lyfter tydlig sourcing, originalinformation och verifierbara expertissignaler i sin people-first-guidance, och en "fact checked"-badge utan spårbar källa skapar lätt mer förtroende än den verifierbarhet den faktiskt representerar. Jag visar därför relevanta källor nära innehållet och behåller det detaljerade claim-ledgret internt. En mer sann beskrivning än "den här artikeln är fact checked" är:
Materiella externa faktapåståenden har granskats mot de angivna källorna vid publiceringstidpunkten. Osäkra eller motstridiga claims har kvalificerats eller tagits bort.
Det är mindre säljigt. Det är också betydligt mer precist.
Model graders är användbara men inte facit
OpenAI stödjer model-based graders tillsammans med mer deterministiska graders. Jag använder den idén genom att kombinera modellbedömning med tydliga kontrollpunkter. En grader kan exempelvis bedöma om en claim är överdriven relativt en källa, men source existence och required fields valideras i kod.
Jag vill undvika att en enda LLM-poäng blir systemets sanningsmätare.
Visa osäkerhet där den hjälper läsaren
Intern status och extern prosa är två olika lager. Läsaren behöver inte se QUALIFIED som databasfält, men reservationen ska synas i texten. Om det finns verklig osäkerhet ska artikeln beskriva vad som är känt och vad som inte är det.
Confidence som routing-signal
Status kan också styra workflow:
Det är mycket mer användbart än en estetisk confidence badge.
För mig är confidence levels därför inte ett försök att få modellen att uppskatta sin egen sannolikhet. Det är ett sätt att göra epistemisk status maskinläsbar och koppla den till tillåtna handlingar.