🧬 MutantHunter 측정 대시보드

평가 실행 19건 · 2026-08-15 00:23

이 대시보드는 잡음 폭을 함께 그린다. 채택률만 그리면 흔들림을 효과로 읽게 된다. 실제로 그 실수를 했고, 같은 조건 4회 반복에서 채택 수가 5~7로 움직인다는 것을 확인한 뒤에야 앞선 A/B 판정 두 개를 철회할 수 있었다.

회색 띠 안의 변화는 효과라고 주장할 수 없다.

뮤턴트 102개 · mistral

최소 눈금 ±0.98%p (뮤턴트 1건). 반복 측정이 없어 실제 잡음은 더 클 수 있다

30% 21% wide-102-diag: 24.5%wide-102-guided: 25.5%wide-102-v4: 25.5%wide-102: 26.5% wide-102-diagwide-102-guid…wide-102-v4wide-102
실행채택채택률API 호출게이트 폐기
wide-102-diag 25/102 24.5% 56 passes-on-original 113 / kills-mutant 38 / parses 7
wide-102-guided 26/102 25.5% 56 passes-on-original 108 / kills-mutant 42 / parses 7
wide-102-v4 26/102 25.5% 183 passes-on-original 110 / kills-mutant 40 / parses 7
wide-102 27/102 26.5% 184 passes-on-original 104 / kills-mutant 53

뮤턴트 24개 · mistral

반복 측정으로 관측된 흔들림 ±4.17%p

34% 17% mistral-wide: 25.0%mistral-prompt-v2: 29.2%mistral-prompt-v3: 20.8%mistral-wide: 25.0%noise-floor-run1: 29.2%noise-floor-run2: 25.0%noise-floor-run3: 25.0% mistral-widemistral-promp…mistral-promp…mistral-widenoise-floor-r…noise-floor-r…noise-floor-r…
실행채택채택률API 호출게이트 폐기
mistral-wide 6/24 25.0% 45 —
mistral-prompt-v2 7/24 29.2% 42 kills-mutant 22 / passes-on-original 13
mistral-prompt-v3 5/24 20.8% 44 kills-mutant 24 / passes-on-original 15
mistral-wide 6/24 25.0% 45 —
noise-floor-run1 7/24 29.2% 43 kills-mutant 19 / passes-on-original 17
noise-floor-run2 6/24 25.0% 44 kills-mutant 19 / passes-on-original 19
noise-floor-run3 6/24 25.0% 44 passes-on-original 19 / kills-mutant 19

뮤턴트 10개 · provider 미기록

최소 눈금 ±10.00%p (뮤턴트 1건). 반복 측정이 없어 실제 잡음은 더 클 수 있다

64% 36% gemini-flash-v1: 50.0% gemini-flash-…
실행채택채택률API 호출게이트 폐기
gemini-flash-v1 5/10 50.0% 6 —

뮤턴트 5개 · provider 미기록

최소 눈금 ±20.00%p (뮤턴트 1건). 반복 측정이 없어 실제 잡음은 더 클 수 있다

100% 56% gemini-flash-v2: 80.0% gemini-flash-…
실행채택채택률API 호출게이트 폐기
gemini-flash-v2 4/5 80.0% 4 —

뮤턴트 4개 · mistral

최소 눈금 ±25.00%p (뮤턴트 1건). 반복 측정이 없어 실제 잡음은 더 클 수 있다

54% 0% cache-check: 25.0%cache-cold: 25.0%cache-warm: 25.0% cache-checkcache-coldcache-warm
실행채택채택률API 호출게이트 폐기
cache-check 1/4 25.0% 0 kills-mutant 7
cache-cold 1/4 25.0% 8 kills-mutant 7
cache-warm 1/4 25.0% 8 kills-mutant 7

뮤턴트 2개 · mistral

최소 눈금 ±50.00%p (뮤턴트 1건). 반복 측정이 없어 실제 잡음은 더 클 수 있다

100% 46% mistral-v1: 100.0% mistral-v1
실행채택채택률API 호출게이트 폐기
mistral-v1 2/2 100.0% 2 —

비교 대상이 아닌 실행 2건

생성 단계를 돌리지 않아 채택률이 없다. 0으로 그리면 평균이 오염된다.

baseline-v2, baseline