№ 06 · bench kicad-sch
Sweep kicad-sch — résultats.
Pipeline d'évaluation audit-grade EU AI Act : 5 axes locaux N3 + validators Docker iact-bench. Pré-registration OSF-style, seeds verrouillées, validators épinglés.
Méthodologie
- 5 axes :
parse_ok·erc_clean·sch_render·drc_clean·sem_equiv(poids composite 0.30 / 0.30 / 0.15 / 0.10 / 0.15). - 5 seeds verrouillées :
[42, 137, 1024, 8675309, 31415]. - Validators iact-bench Docker épinglés (
ghcr.io/ailiance/iact-bench-kicad) — 24 images verrouillées par digestsha256. - Hypothèses H1/H2/H3 pré-enregistrées, NDJSON audit trail append-only avec manifest
sha256(EU AI Act Annex IV §7). - Spec : kicad-sch-gap-design.md @ e58731a
Cellules
| Modèle | Type | Composite | parse_ok ω=0.30 | erc_clean ω=0.30 | sch_render ω=0.15 | drc_clean ω=0.10 | sem_equiv ω=0.15 | iact pass | n | Status |
|---|---|---|---|---|---|---|---|---|---|---|
Qwen3.6-kicad-pcb-fusedmacM1 pre-fused, floor confirmé | baseline (pre-fused LoRA) | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 25 | DONE |
Qwen3.6-35B-A3B-4bit-basemacM1 base sans LoRA, floor confirmé | baseline (un-tuned base) | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 25 | DONE |
gemma-4-E4B-D1-scraped-chunkedmacM1 PID 26436, ETA ~33 min | trained LoRA (D1 real-world) | — | — | — | — | — | — | — | 25 | TRAINING |
gemma-4-E4B-D23000 iters, ETA ~65 min | trained LoRA (D2) | — | — | — | — | — | — | — | 25 | QUEUED |
gemma-4-E4B-D32000 iters, ETA ~43 min | trained LoRA (D3) | — | — | — | — | — | — | — | 25 | QUEUED |
qwen3.6-A3B × D1/D2/D3Studio MLX rsrc_limit bloqué | trained LoRA (×3) | — | — | — | — | — | — | — | 25 | DEFERRED |
granite-4.1-30B × D1/D2/D3kxkm-ai 4090 post-mascarade | trained LoRA (×3) | — | — | — | — | — | — | — | 25 | DEFERRED |
Auto-router classifier
L'alias ailiance route automatiquement chaque requête vers le worker spécialisé via un classifier MLP entraîné sur 47 classes de domaine.
| Version | Encoder | Hidden | Macro-F1 | Top-3 | Notes |
|---|---|---|---|---|---|
v9 (prod) | MiniLM-L6-v2 384d | 256 | 0.889 | 0.988 | 47 domaines · déployé 2026-05-29 |
v6 (candidat) | jina-v3 1024d | 512 | 0.874 | 0.987 | évalué puis écarté (top-1 inférieur, encodage ~6× plus lent) |
État du sweep
Baselines floor 0.000 établies sur les deux ancres macM1 (pre-fused + base un-tuned). Les cellules gemma-4-E4B × D1/D2/D3 sont en cours de training (macM1, MLX-LM). Les cellules qwen3.6 × 3 et granite × 3 sont différées (Studio MLX rsrc_limit + kxkm-ai 4090 post-mascarade).