모델을 돌리는 데모가 아니라 평가를 조작해 보는 탐색기입니다. 저장된 로짓과 정답으로 채점을 다시 계산합니다 — 같은 예측을 어떻게 채점하느냐에 따라 결과가 얼마나 달라지는지 직접 확인할 수 있습니다.
test 11,244 문서 · 188 중분류 · 5개 모델의 저장된 로짓 재계산
같은 예측, 두 개의 채점표
임계값 τ를 움직이면 다중 라벨 지표는 실시간으로 반응합니다. 그런데 배포처가 쓴 채점법(top-1 weighted-F1)은 예측 확률에서 가장 높은 하나만 보기 때문에 τ를 어떻게 바꿔도 미동도 하지 않습니다 — 그 지표는 다중 라벨 결정을 아예 채점하지 않습니다.
다중 라벨 micro-F1A.X (4096)
τ에 따라 변합니다
배포처 방식 top-1 wF1🔒 고정
τ와 무관합니다
막대 눈금 0.60 — 0.90
두 채점법의 격차 4.09pt — 같은 모델이 낸 같은 확률에서 나온 두 숫자입니다.
모델별 · 현재 τ 기준
문서 단위 paired bootstrap CI95 [1.19, 2.00]pt · 배포처 방식으로 재면 같은 개선폭이 3분의 1가량 깎여 보입니다. 개선폭 판정은 운영값에서만 의미가 있어 슬라이더를 따라가지 않습니다.
top-1 채점이 버리는 정답
한 특허는 여러 중분류에 걸칩니다. top-1 채점은 예측도 정답도 하나로 접기 때문에, 문서당 두 번째 이후의 정답은 채점 대상에서 사라집니다.
정답 라벨 기준 — 무엇이 채점되는가
문서당 정답 개수 분포
이득이 어디에서 나오는가
컨텍스트 창을 넓혀 얻은 이득이라면 문서가 길수록 커져야 합니다. 512 창 대비로는 실제로 그렇고, 8192 대비로는 평평합니다 — 4,096이면 회수할 것을 이미 다 회수했다는 뜻입니다.
비교 기준 (배포 모델 A.X 4096 − 기준)
구간별 micro-F1 · τ=0.50