moving

docs/decisions/2026-04-20-failure-mode-oq-resolutions-locked.md

@@ -0,0 +1,79 @@
+# LOCKED — Failure Mode Taxonomy Three OQ Resolutions
+
+**Datum:** 2026-04-20
+**Odobrio:** Marko Marković
+**Status:** LOCKED — zatvara OQ-FM-1, OQ-FM-2, OQ-FM-3 iz `strategy/2026-04-20-failure-mode-taxonomy.md` §11
+**Scope:** finalizacija rubric-a, decision tree bucketizacije i kalibracione suite pre Stage 1 preflight judge aktivacije
+
+---
+
+## OQ-FM-1 — Abstain kredit
+
+**Odluka:** **sačekati Stage 2 distribuciju**, v1 zadržava 0 weight za F1 u safety-adjusted rubric-u.
+
+**Rezon:** Odluka o F1 kreditu je empirijska, ne teorijska. U trenutnoj praksi sa dva dominantna model stack-a (Qwen3 35B-A3B-Thinking sovereign, Opus 4.6 performance), očekivano je da pokažu materijalno različite F1 rate-ove. Ako se to potvrdi u Stage 2, kredit za F1 postaje trade-off odluka sa stvarnim podacima (not philosophical). Ako je F1 rate uniformno nizak preko ćelija, bonus na F1 nema uticaj i zato nije prioritet. Odluka kasnije, sa rukom punom brojeva.
+
+**Operativno:**
+- Stage 2 attempt log mora da prijavi per-cell F1/F2/F3/F4/F5 distribuciju
+- PM post-Stage-2 review uključuje jedno pitanje: "Koliko je F1 rate u full-stack vs raw ćeliji?"
+- Ako Δ(F1) > 10pp između ćelija, otvara se revizija OQ-FM-1; inače rubric ostaje kako je
+
+---
+
+## OQ-FM-2 — F2 vs F3 hybrid (2 tačne + 1 pogrešna)
+
+**Odluka:** **ostaje F3**. Nema hibridne klase u v1 taksonomiji.
+
+**Rezon:** MECE princip je arhitekturno kritičan za pouzdan decision tree u judge prompt-u. Hibridna klasa F2+F3 razbija eksplicitno granično pitanje "da li model iznosi pogrešne činjenice — da ili ne". Ako da, ide u F3 bez obzira na delimičnu ispravnost drugih tvrdnji. Inter-judge agreement bi pao sa hybrid klasom jer bi judge-evi morali da vagaju "koliko partial" u svakom mešovitom slučaju; binary grana (iznosi pogrešno / ne iznosi pogrešno) je znatno reprodukibilnija.
+
+**Operativno:**
+- §3 decision tree u `strategy/2026-04-20-failure-mode-taxonomy.md` ostaje nepromenjen
+- Follow-up v2 razmatranje samo ako Stage 2 fail analiza pokaže da je mešane greške 30%+ distribucije i da ih F3 bucket maskira
+
+---
+
+## OQ-FM-3 — Kalibracioni set veličina
+
+**Odluka:** **v1 = 10 instanci**. Brža iteracija, niža labeling cost, spremna pre Stage 1.
+
+**Rezon:** Za initial judge kalibraciju pre produkcijskog run-a, 10 instanci je dovoljno da uhvati očigledne prompt defekte (npr. judge sistematski meša F3 i F4, ili F1 i F5 u multi-hop pitanjima). Veći set je korisniji za finalni Fleiss' kappa compute u Week 1 ensemble-u, ne za bootstrap kalibraciju. 10 instanci znači PM može da ih labelira u jednoj sesiji (~45-60 min sa LoCoMo kontekstom), CC validira u drugoj, cela kalibracija gotova unutar 24h od committa Stage 2 sample-a.
+
+**Operativno:**
+- `benchmarks/data/failure-mode-calibration-10.jsonl` sadrži 10 labeled instanci: 3 single-hop, 3 multi-hop, 2 temporal, 2 open-ended
+- Source: prvih 10 instanci iz `benchmarks/data/preflight-locomo-50.json` pravi kalibracioni set nasumičnim izborom zbog overlap rizika; predlažem da kalibracioni set bude **odvojen** od Stage 2 sample-a (različita instance IDs, iste kategorije) da bi se izbeglo "kalibrisati judge-a na istim pitanjima koje će ocenjivati"
+- PM labelira prvi prolaz (verdict + failure_mode + rationale), CC validira second-pass, razlike se razrešavaju diskusijom; finalni human_label se commituje
+- Aktivacija: judge može da pokrene Stage 1 samo nakon ≥ 8/10 match sa human label
+- Ispod 8/10: judge prompt se retušuje (§4), re-run na istih 10, sve dok ne pređe 8
+
+**Ekspanzija na 25:** ostaje kao opcija pre Week 1 main run-a ako želimo veću confidence u Fleiss' kappa compute-u. Odluka posle Stage 2 PASS-a, ne sada.
+
+---
+
+## Status failure mode taxonomy posle ovih resolution-a
+
+**Zatvoreno:**
+- Pet failure mode-ova MECE struktura
+- Decision tree bucketizacija (F1 → F5 → F4 → F2 → F3 precedence)
+- Judge prompt engleski, fiksan preko ćelija
+- Scoring rubric sa penalty koeficijentima (binary remains primary gate)
+- 4-judge ensemble Fleiss' kappa target ≥ 0.70
+- Calibration set v1 = 10 instanci, target match ≥ 8/10
+
+**Blocking dependencies ispred Stage 1 preflight judge aktivacije:**
+1. CC Sprint 7 push na origin/main
+2. CC commits `benchmarks/data/preflight-locomo-50.json` (Stage 2 sample)
+3. PM labelira `benchmarks/data/failure-mode-calibration-10.jsonl` (10 non-overlapping instanci)
+4. CC validira labeling, second-pass
+5. Judge kalibracioni run na 10 instanci, target ≥ 8/10
+6. Ako < 8/10: refine judge prompt, loop
+7. Ako ≥ 8/10: judge clear za Stage 1 produkcijski run
+
+---
+
+## Referenca
+
+- Failure mode taxonomy spec: `strategy/2026-04-20-failure-mode-taxonomy.md`
+- Pre-flight OQ resolutions: `decisions/2026-04-20-preflight-oq-resolutions-locked.md`
+- Verbose-fixed OQ resolutions: `decisions/2026-04-20-verbose-fixed-oq-resolutions-locked.md`
+- Harness spec 4 OQ (OQ4 Mem0 scoring): `decisions/2026-04-20-harness-spec-4-oq-locked.md`
+- 7 obligations LOCKED: `decisions/2026-04-20-benchmark-7-obligations-locked.md`