Varför jag separerar researchmodell från skrivmodell
Jag vill inte längre ha en “bästa modell” för hela contentflödet. Research och skrivning är olika jobb. De kräver olika beteende, olika verktyg och ibland olika modell.
Jag vill inte längre ha en “bästa modell” för hela contentflödet. Research och skrivning är olika jobb. De kräver olika beteende, olika verktyg och ibland olika modell.
Det viktigaste är egentligen inte vilket modellnamn som står i konfigurationen. Det är att research-kontraktet och writing-kontraktet inte blandas ihop.
Research ska optimera för täckning och provenance
Researchlagret ska hitta relevanta primärkällor, läsa rätt material, skilja fakta från tolkning och flagga konflikter eller luckor. Ett bra research-output är inte vacker prosa. Det är ett underlag som går att granska.
Jag vill därför ha strukturer som:
Modellen får gärna vara lite tråkig. Hellre en ful ledger med tydliga luckor än en snygg syntes som döljer att två källor säger olika saker.
Skrivmodellen ska optimera för kommunikation
När evidensen är godkänd ändras jobbet. Nu handlar det om informationsordning, begriplighet, rytm, exempel och att hålla rätt röst.
Writer får inte “forska lite extra” mitt i stycket. Om ett nytt faktabehov uppstår ska det gå tillbaka upstream. Det är en viktig gräns eftersom en skrivmodell har starkt incitament att fylla tomrum så att texten flyter.
Jag vill alltså hellre ha:
än:
Olika steg kan motivera olika kostnad
Research kan vara dyrt på ett annat sätt än skrivning. Den kan behöva fler tool calls, längre kontext och mer resonemang per claim. Skrivsteget kan däremot köras på en modell som är särskilt bra på instruktionsefterlevnad och stil, eftersom sanningsytan redan är begränsad av underlaget.
Det gör routing användbar. Jag kan välja modell efter felkostnad och uppgift i stället för att sätta samma frontier-modell på allt.
Separation gör modellbyten enklare
Modeller förändras och pensioneras. Anthropic publicerar till exempel en explicit modell-livscykel med active, legacy, deprecated och retired. Ett system som knyter hela sin identitet till en enda modell blir onödigt skört.
Om research- och writing-kontrakten är tydliga kan jag byta modell bakom ett steg och köra samma evals igen. Det är betydligt enklare än att försöka förstå varför en monolitisk agent plötsligt skriver annorlunda efter ett modellbyte.
Researchmodellen får inte äga retoriken
En annan fördel är att researchnoteringar kan vara exakta utan att smitta sluttexten med sin struktur. Källregister, confidence och conflict states är bra internt men behöver inte synas som ett tekniskt protokoll för läsaren.
Writer kan översätta underlaget till läsbar text utan att ändra claim-statusen.
Skrivmodellen får inte äga sanningen
Det här är den viktigaste delen. Om Writer inte hittar stöd för en detalj är lösningen inte “skriv mer försiktigt” om detaljen fortfarande antyds som fakta. Den ska flaggas och skickas tillbaka till research.
Det är därför jag ser research och writing som två olika trust zones. Research får utöka evidensbasen. Writer får inte göra det.
Min default idag
Jag routar alltså inte modeller för att göra en snygg benchmarktabell. Jag routar för att ge varje arbetssteg ett smalare ansvar.
Om samma modell råkar vara bäst i båda stegen är det helt okej. Arkitekturen är fortfarande separerad. Och när en bättre eller billigare modell dyker upp kan jag byta bara den del av systemet som faktiskt tjänar på den.