Mitt sätt att tänka kring intelligence-per-krona
Det är lätt att jämföra AI-modeller som om frågan vore: vilken är smartast? För ett system som faktiskt ska köras många gånger är den frågan för grov. Jag försöker i stället optimera för tillräcklig kvalitet per krona på just det arbetssteget.
Det är lätt att jämföra AI-modeller som om frågan vore: vilken är smartast? För ett system som faktiskt ska köras många gånger är den frågan för grov. Jag försöker i stället optimera för tillräcklig kvalitet per krona på just det arbetssteget.
Jag börjar med felets kostnad
Om ett steg bara klassificerar ett redan strukturerat fält är det sällan rationellt att köra den dyraste modellen. Om samma steg däremot ska tolka en tvetydig juridisk källa eller felsöka en komplex kodbas kan ett billigare fel bli dyrare än modellkostnaden.
Jag delar därför upp uppgifter i ungefär tre grupper:
- billiga att verifiera – börja billigt,
- dyra att verifiera men reversibla – välj mer kapabel modell eller reviewer,
- dyra att verifiera och dyra att få fel – höj både modellnivå och kontrollnivå.
Det är en bättre startpunkt än att välja en modell för hela produkten.
Cost routing fungerar bara med evals
En billig modell är inte billig om den skapar dubbelt så många retries, kräver manuell reparation eller skickar dåligt underlag vidare i kedjan. Därför mäter jag inte bara pris per token. Jag vill följa:
cost_per_completed_task är ofta mer användbart än rå tokenkostnad.
Jag använder en eskaleringsstege
Mitt föredragna mönster är:
Då blir den starkaste modellen en eskaleringsresurs, inte default för varje rad i ett batchjobb.
Samma modell behöver inte göra hela jobbet
I contentfabriken är research, outline, språkredigering och final gate olika problem. I ett CV-flöde är extraktion av fakta något annat än att formulera en bättre punkt. I SQL-arbete är syntaktisk omformning något annat än att förstå en okänd affärsregel.
Det gör modellrouting enklare: routa uppgiften, inte användaren eller hela produkten.
Min beslutsregel
Jag försöker välja den billigaste kombination av modell, verktyg och kontroll som klarar en definierad kvalitetsgräns. Om en billig modell når 98 procent på ett låg-risk-steg och en dyr når 99 procent kan den billiga vara självklar. Om de sista procenten gäller påhittade siffror i finansiell analys kan motsatsen vara sann.
Intelligence-per-krona är därför inte en modellranking. Det är en systemegenskap.