AI & automation

Så gör jag post-mortems när en AI-agent gör fel

När en AI-agent gör något dåligt vill jag undvika två reflexer: "modellen är opålitlig" och "vi behöver en bättre prompt". Båda kan vara sanna, men de är för vaga för att förbättra systemet.

Shadip Rahman 5 november 2026 3 min läsning
Dela
Kontrollbild för Så gör jag post-mortems när en AI-agent gör fel med Jag börjar med tidslinjen, "Modellen hallucinerade" är inte en root cause, Jag dokumenterar vad som gick bra.

När en AI-agent gör något dåligt vill jag undvika två reflexer: "modellen är opålitlig" och "vi behöver en bättre prompt". Båda kan vara sanna, men de är för vaga för att förbättra systemet.

Jag behandlar i stället ett materiellt agentfel som en liten incident och skriver ett post-mortem.

Jag börjar med tidslinjen

Först beskriver jag vad som faktiskt hände, utan att omedelbart förklara varför.

text
14:02 input mottogs14:02 Researcher hämtade källa X14:03 agenten valde tool Y14:03 write-operation genomfördes14:04 validator flaggade avvikelsen

Det tvingar isär observation och teori. Först därefter går jag över till orsaksanalys.

"Modellen hallucinerade" är inte en root cause

Om en hallucination kunde skriva över produktionsdata är problemet större än hallucinationen. Då frågar jag varför modellen hade write access, varför schema- eller policykontroll inte stoppade den och varför handlingen var reversibel eller inte.

Jag försöker hitta flera lager:

  • modell-/promptfel,
  • kontextfel,
  • tool design,
  • permissions,
  • validatorer,
  • workflow/state,
  • mänsklig review.

Det ger åtgärder på systemnivå i stället för att allt reduceras till promptjustering.

Jag dokumenterar vad som gick bra

Google SRE:s post-mortem-exempel har separata delar för vad som gick bra, vad som gick fel och var teamet hade tur. Jag gillar det eftersom incidentanalys annars lätt blir en lista över brister.

Om logging gjorde att felet upptäcktes på två minuter är det en kontroll som ska bevaras. Om agentens begränsade permissions hindrade större skada är det också ett resultat.

Varje materiellt fel ska skapa en regression

Det viktigaste outputet från post-mortem är inte dokumentet. Det är förändringen i systemet.

Ett agentfel bör normalt skapa minst en av följande:

  • nytt eval-fall,
  • ny validator,
  • snävare permission,
  • förändrad approval-gate,
  • bättre observability,
  • tydligare blocker-state.

Annars riskerar post-mortemet att bli organisatorisk ritual.

Jag undviker skuldfrågan

Agentincidenter är särskilt lätta att personifiera: "vem godkände prompten?" Men det intressanta är varför systemet tillät ett enskilt misstag att nå användaren.

Det är samma tänk som jag försöker använda i contentfabriken. När ett av pipelinens steg — jag kallar det Layer 8.1 — gav READY trots kvarvarande publication-day recheck, var lösningen inte att "vara mer noggrann nästa gång". Publisher Gate-kontraktet var fel och behövde ändras.

När incidenten är stor nog att bromsa features

Om samma felklass återkommer eller äter en stor del av tolererad risk bör systemet pausa expansion. Google SRE:s error-budget-modell formaliserar den principen för availability. För använder jag den kvalitativt: återkommande materiella fel ska flytta kapacitet från nya features till reliability.

Relaterade artiklar

AI-agenterAI governanceAI-governance och kvalitet
Dela