LOCKED Decision — Target Model: Qwen/Qwen3.6-35B-A3B

Date: 2026-04-19 Status: LOCKED — VERIFIED 2026-04-19 via HF model card https://huggingface.co/Qwen/Qwen3.6-35B-A3B Decided by: Marko Marković Supersedes:

KVARK LOCKED (2026-04-18): Qwen3-30B-A3B-Thinking
Backlog default: Gemma 4 31B

Decision

Qwen/Qwen3.6-35B-A3B postaje kanonski engine za ceo stack:

KVARK production deployment (LM TEK H200 x8 sa vLLM)
Waggle Pro/Teams default model
Sva tri benchmark-a u Track 2 (LoCoMo, LongMemEval, SWE-ContextBench)
Sve buduće PA evaluacije

Rationale

Jedan model kroz ceo stack znači jedna jasna priča za launch narativ i jedna konzistentna baseline za sve buduće mere. Tri-način divergencija (KVARK na 30B-A3B-Thinking, benchmarks na Gemma 4 31B, Marko-specified 35B-A3B) bi otvorila defensive poziciju u svakoj eksternoj konverzaciji. Jedan model = jedna priča.

35B-A3B (3B activated parameters MoE) je logična evolucija iz 30B-A3B-Thinking generacije, sa dodatnih 5B kapaciteta i (pretpostavljeno) zadržanim thinking-mode capabilities. Veći model + ista A3B activation = više kapaciteta bez većih inference troškova.

Verified specifications (HF model card 2026-04-19)

Architecture: 35B total / 3B active MoE (8 routed + 1 shared expert iz 256 total)
License: Apache-2.0 (kritično za KVARK enterprise on-prem — bez licencne naknade)
Release: April 2026
Context: 262,144 native, do 1,010,000 sa YaRN scaling
Thinking mode: default ON, toggle off via enable_thinking: false, "Preserve Thinking" mode za historical messages — rešava prethodnu Thinking-vs-base SKU dilemu
Quantization: GGUF + 147 quantized varijanti dostupno (LM Studio, Jan, Ollama compatible)
Inference engines: SGLang v0.5.10+ (preporučeno), vLLM v0.19.0+, KTransformers, HF Transformers
vLLM serve config (mapira na LM TEK H200 x8): vllm serve Qwen/Qwen3.6-35B-A3B --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3
Standalone benchmark scores koje moramo respektovati:
- SWE-bench Verified: 73.4 ← naš H-44 SWE-CB rezultat mora meaningfully premašiti ovo da headline drži
- AIME 2026: 92.7
- MMLU-Pro: 85.2
- Terminal-Bench 2.0: 51.5
- GPQA Diamond: 86.0
- Vision: RealWorldQA 85.3, OmniDocBench 89.9 (model je multimodalan)
Adoption signal: 82,000 downloads u prvom mesecu, 834 likes, 5 adapters, 40 finetunes

Implications

KVARK spec mora da se ažurira — uklanja se LOCKED 30B-A3B-Thinking referenca, dodaje 35B-A3B sa istim deployment specifikacijama. vLLM komanda gore se direktno koristi.
Backlog stavka koja default-uje Gemma 4 31B u benchmark setup-u mora da se izmeni u 35B-A3B pre nego što benchmark krene.
[M]-02 judge memo (još neispisan) mora da specifikuje 35B-A3B kao engine pod evaluacijom, sa 4-judge ensemble kako je korišćen u V5: gemini-3.1-pro-preview, gpt-5, grok-4.20, MiniMax-M2.7 (no Anthropic — vendor circularity guard).
Launch narrative repositioning: Standalone Qwen3.6-35B-A3B je već u Opus-class na većini benchmark-a sa samo 3B aktivnih parametara. Stara formulacija "Waggle daje malom Qwen-u Opus klasu" treba da se preformuliše u "održavamo Opus-class capability lokalno, sa našom memorijom kao multipler za long-term context i continuity između sesija". To je čak jača priča jer ne zavisi od dokazivanja "small beats big" — koje je onako kontra naše Core Thesis.
Apache-2.0 + on-prem = direktno upijanje u sovereign AI narrativ: "vaši podaci nikad ne napuštaju vašu infrastrukturu, model je vaš, license je vaš".
Native 262K context + YaRN 1M je komplementaran hive-mind memoriji, ne supstitut: long context rešava in-session reasoning, naša memorija rešava cross-session continuity. Oba se promovišu kao para, ne kao alternativa.

Benchmark threshold implikacije

H-44 SWE-ContextBench mora pokazati meaningful lift iznad standalone 73.4. Tri scenarija:

78-79: +5pp lift, defensive headline kvalitet ("PromptAssembler i memorija zajedno daju +5pp na SWE-bench class")
80-83: Strong launch headline ("Waggle + Qwen3.6-35B-A3B exceeds Opus-class SWE-bench performance")
<76: Headline se skida, pivot na LoCoMo/LongMemEval kao primary anchor

Next actions

Marko šalje HF release source ili potvrđuje da je model dostupan
Pišem [M]-02 judge memo
Engineering audit proverava vLLM/inference path kompatibilnost
KVARK spec update (workstream zaseban, posle Waggle launch-a per Waggle→KVARK demand gen odluka)

4.5 KiB Raw Permalink Blame History