Så skiljer jag observationer från slutsatser när AI analyserar forskning

Språkmodeller är väldigt bra på syntes. Det är också det som gör dem riskabla i research. De kan gå från "paperet rapporterar X" till "det beror sannolikt på Y" och sedan skriva nästa stycke som om Y vore en del av resultatet.

Jag försöker därför göra epistemisk status till ett strukturerat fält i researchflödet.

Fyra nivåer räcker långt

Jag använder ofta fyra etiketter:

Observation är det som faktiskt kan pekas ut i tabell, metod eller resultat.

Author claim är författarnas egen tolkning eller slutsats.

Inference är en slutsats jag eller modellen drar från materialet.

Recommendation är ett handlingsförslag.

De fyra får gärna finnas i samma analys, men de ska inte presenteras som samma sak.

Exempel på evidensdrift

Anta att ett paper visar:

Grupp A använder feature X oftare än grupp B.

En dålig researchkedja kan bli:

Tre nya påståenden har tillkommit utan att data automatiskt stödjer dem.

En bättre kedja är:

Det ser mer försiktigt ut. Det är också mer användbart.

Citat är ankare, inte analys

För viktiga findings sparar jag ett kort källankare: tabellnummer, sida, section eller ett kort citat. Men citatet ersätter inte analysen.

Jag vill kunna kontrollera:

• att observationen faktiskt finns,
• att modellen inte har förstärkt den,
• att begränsningen följer med.

När flera dokument ingår får varje claim dessutom ett source ID.

Skriv osäkerhet explicit

Jag använder inte bara TRUE/FALSE. Research innehåller ofta:

• direkt stöd,
• indirekt stöd,
• blandade resultat,
• olösta konflikter,
• plausibel men oprövad hypotes.

Jag vill därför kunna märka ett påstående som QUALIFIED eller UNRESOLVED utan att modellen känner att den måste "slutföra" resonemanget.

Det är samma princip som i fact-checking: abstention är information.

Författarens kausalitet är inte alltid testad kausalitet

Ett särskilt viktigt område är orsaksförklaringar. Papers diskuterar ofta varför ett resultat kan ha uppstått. Den diskussionen kan vara rimlig utan att experimentet har isolerat orsaken.

Jag skriver därför hellre:

Författarna föreslår Y som en möjlig förklaring.

än:

Resultatet beror på Y.

Den språkliga skillnaden är liten men epistemiskt stor.

Separera synthesis-pass från extraction-pass

I extraction får modellen inte lösa forskningsfrågan åt mig. Den ska samla vad materialet säger.

I synthesis får den jämföra findings, hitta mönster och formulera hypoteser – men varje syntes ska kunna peka tillbaka på vilka findings som bär den.

Det skapar en enkel confidence inheritance.

Konflikter ska bevaras

När två trovärdiga källor säger olika saker vill jag inte att modellen skriver ett snyggt genomsnitt. Jag registrerar konflikten:

Först därefter kommer tolkningen.

Det här är särskilt viktigt när forskning uppdateras snabbt. En äldre studie kan använda en modellgeneration eller benchmark som inte längre representerar dagens system.

Observationer ska vara falsifierbara

Jag försöker formulera findings så att någon annan kan säga "nej, det står inte där". "Paperet är skeptiskt till AI" är dåligt. "Tabell 4 visar ingen signifikant topicskillnad i de sex grupper som hade tillräcklig storlek" är bättre.

Ju mer konkret observationen är, desto svårare är det för syntesen att glida.

Rekommendationen behöver ett eget argument

Det här är kanske den viktigaste regeln. Även om ett forskningsfynd är starkt behöver en produktregel en separat motivering.

Om en viss textfeature klassificerar AI bra betyder det inte automatiskt att den bör tas bort. Jag behöver dessutom visa att ändringen förbättrar tydlighet, genre, precision eller något annat faktiskt kvalitetsmål.

StoryScope är ett bra exempel: narrativ struktur bär mycket klassificeringssignal i deras setup, men studien säger inte att "mänskligare" struktur alltid är bättre struktur. StoryScope.

Min research-output

Jag vill att varje större researchanalys slutar i fyra separata block:

Om en rekommendation inte kan härledas bakåt får den inte bli en regel.

Det gör researchen lite mindre elegant att läsa. Men det gör den mycket mer användbar när den senare ska bli en Skill, en produktbeslut eller en publicerad artikel.

Relaterade artiklar

• Från research paper till fungerande AI Skill
• Jag slutade skriva prompts — och började skriva specifikationer
• Research layer vs writing layer: varför jag separerar dem
• Så extraherar jag regler, principer och undantag ur forskning
• Hur jag får AI att läsa ett dokument cover-to-cover istället för att sammanfatta ytligt