Hur jag benchmarkar modeller på mina egna arbetsuppgifter
Publika benchmarks kan säga något om en modell. De kan inte säga om den är bäst på min SQL, mina briefs, mina översättningar eller mina agenthandoffs. Därför bygger jag små task-specific evals innan jag byter modell i ett viktigt workflow.
Publika benchmarks kan säga något om en modell. De kan inte säga om den är bäst på min SQL, mina briefs, mina översättningar eller mina agenthandoffs. Därför bygger jag små task-specific evals innan jag byter modell i ett viktigt workflow.
Benchmarken börjar med verkliga failure modes
Jag väljer inte 100 slumpmässiga prompts. Jag tar exempel där systemet faktiskt kan misslyckas:
- en tvetydig affärsregel,
- ett CV där modellen frestas att fylla i en lucka,
- en text med motstridiga källor,
- en översättning med term som saknar perfekt motsvarighet,
- ett agentsteg där output måste följa exakt schema.
Det är de fallen som säger något om produktionsvärde.
Jag fryser input och rubric
Alla modeller får samma material, samma verktygsram och samma outputkontrakt. Sedan graderar jag inte bara "bra/dåligt" utan separata dimensioner:
En modell kan vara bäst på språk men sämst på att avstå när underlaget saknas. Det spelar stor roll i ett system som ska användas utan ständig manuell kontroll.
Golden set först, sedan challenger
Jag behåller ett litet stabilt regression-set. När en ny modell kommer kör jag challenger mot samma fall. Först därefter ändrar jag routing.
Det är extra viktigt eftersom modeller försvinner och ersätts. En migration ska inte bygga på antagandet att "nyare" automatiskt betyder bättre på varje lokal uppgift.
Jag mäter completed task, inte snygg output
Om modell A ger ett elegant svar som kräver tre manuella korrigeringar och modell B ger ett torrare svar som passerar valideringen direkt är B ofta bättre i produktion.
Därför försöker jag mäta slutpunkten:
Kunde systemet slutföra jobbet korrekt inom våra krav?
Inte:
Vilket svar såg mest imponerande ut i en demo?
Lägg till edge cases när du hittar dem
Varje verkligt fel är kandidat till regressionstest. På så sätt växer benchmarken med produkten. Det är mycket mer värdefullt än att varje kvartal uppfinna en helt ny testsamling.