Så gör jag post-mortems när en AI-agent gör fel
När en AI-agent gör något dåligt vill jag undvika två reflexer: "modellen är opålitlig" och "vi behöver en bättre prompt". Båda kan vara sanna, men de är för vaga för att förbättra systemet.
När en AI-agent gör något dåligt vill jag undvika två reflexer: "modellen är opålitlig" och "vi behöver en bättre prompt". Båda kan vara sanna, men de är för vaga för att förbättra systemet.
Jag behandlar i stället ett materiellt agentfel som en liten incident och skriver ett post-mortem.
Jag börjar med tidslinjen
Först beskriver jag vad som faktiskt hände, utan att omedelbart förklara varför.
Det tvingar isär observation och teori. Först därefter går jag över till orsaksanalys.
"Modellen hallucinerade" är inte en root cause
Om en hallucination kunde skriva över produktionsdata är problemet större än hallucinationen. Då frågar jag varför modellen hade write access, varför schema- eller policykontroll inte stoppade den och varför handlingen var reversibel eller inte.
Jag försöker hitta flera lager:
- modell-/promptfel,
- kontextfel,
- tool design,
- permissions,
- validatorer,
- workflow/state,
- mänsklig review.
Det ger åtgärder på systemnivå i stället för att allt reduceras till promptjustering.
Jag dokumenterar vad som gick bra
Google SRE:s post-mortem-exempel har separata delar för vad som gick bra, vad som gick fel och var teamet hade tur. Jag gillar det eftersom incidentanalys annars lätt blir en lista över brister.
Om logging gjorde att felet upptäcktes på två minuter är det en kontroll som ska bevaras. Om agentens begränsade permissions hindrade större skada är det också ett resultat.
Varje materiellt fel ska skapa en regression
Det viktigaste outputet från post-mortem är inte dokumentet. Det är förändringen i systemet.
Ett agentfel bör normalt skapa minst en av följande:
- nytt eval-fall,
- ny validator,
- snävare permission,
- förändrad approval-gate,
- bättre observability,
- tydligare blocker-state.
Annars riskerar post-mortemet att bli organisatorisk ritual.
Jag undviker skuldfrågan
Agentincidenter är särskilt lätta att personifiera: "vem godkände prompten?" Men det intressanta är varför systemet tillät ett enskilt misstag att nå användaren.
Det är samma tänk som jag försöker använda i contentfabriken. När ett av pipelinens steg — jag kallar det Layer 8.1 — gav READY trots kvarvarande publication-day recheck, var lösningen inte att "vara mer noggrann nästa gång". Publisher Gate-kontraktet var fel och behövde ändras.
När incidenten är stor nog att bromsa features
Om samma felklass återkommer eller äter en stor del av tolererad risk bör systemet pausa expansion. Google SRE:s error-budget-modell formaliserar den principen för availability. För använder jag den kvalitativt: återkommande materiella fel ska flytta kapacitet från nya features till reliability.