특허 중분류 분류 — 평가 탐색기

모델을 돌리는 데모가 아니라 평가를 조작해 보는 탐색기입니다. 저장된 로짓과 정답으로 채점을 다시 계산합니다 — 같은 예측을 어떻게 채점하느냐에 따라 결과가 얼마나 달라지는지 직접 확인할 수 있습니다.

test 11,244 문서 · 188 중분류 · 5개 모델의 저장된 로짓 재계산

같은 예측, 두 개의 채점표

임계값 τ를 움직이면 다중 라벨 지표는 실시간으로 반응합니다. 그런데 배포처가 쓴 채점법(top-1 weighted-F1)은 예측 확률에서 가장 높은 하나만 보기 때문에 τ를 어떻게 바꿔도 미동도 하지 않습니다 — 그 지표는 다중 라벨 결정을 아예 채점하지 않습니다.

임계값 τ 0.50 운영값

다중 라벨 micro-F1A.X (4096)

0.8660

τ에 따라 변합니다

배포처 방식 top-1 wF1🔒 고정

0.8251

τ와 무관합니다

막대 눈금 0.60 — 0.90

두 채점법의 격차 4.09pt — 같은 모델이 낸 같은 확률에서 나온 두 숫자입니다.

모델별 · 현재 τ 기준

재현한 비교선 → 배포 모델 · 운영값 τ=0.50 고정
다중 라벨 micro-F1+1.60pt
배포처 방식 top-1 wF1 🔒+1.06pt

문서 단위 paired bootstrap CI95 [1.19, 2.00]pt · 배포처 방식으로 재면 같은 개선폭이 3분의 1가량 깎여 보입니다. 개선폭 판정은 운영값에서만 의미가 있어 슬라이더를 따라가지 않습니다.

top-1 채점이 버리는 정답

한 특허는 여러 중분류에 걸칩니다. top-1 채점은 예측도 정답도 하나로 접기 때문에, 문서당 두 번째 이후의 정답은 채점 대상에서 사라집니다.

정답 라벨 기준 — 무엇이 채점되는가

문서당 정답 개수 분포

채점 구현
top-1 채점은 정답 행렬에도 argmax를 적용해 문서당 클래스 하나만 남깁니다(구현상 번호가 가장 낮은 정답 클래스). 정답이 2개 이상인 문서에서는 어느 정답이 남을지가 내용과 무관하게 정해지고, 나머지는 맞혀도 채점되지 않고 틀려도 벌점이 없습니다.

이득이 어디에서 나오는가

컨텍스트 창을 넓혀 얻은 이득이라면 문서가 길수록 커져야 합니다. 512 창 대비로는 실제로 그렇고, 8192 대비로는 평평합니다 — 4,096이면 회수할 것을 이미 다 회수했다는 뜻입니다.

비교 기준 (배포 모델 A.X 4096 − 기준)

구간별 micro-F1 · τ=0.50

  1. 지표 정의 — micro-F1은 다중 라벨 지표로 τ가 적용됩니다. “배포처 방식”은 top-1 weighted-F1로, 예측·정답 모두 argmax 하나만 보므로 τ가 들어가지 않습니다.
  2. 배포처 baseline 0.8249와 직접 비교할 수 없습니다. 그 값은 다른 test(24,525건)에서 잰 값이고 그 분할에는 문서 누수가 있습니다. 여기의 “배포처 방식” 열은 같은 채점법을 누수를 제거한 자체 test 11,244에 적용한 연속성 앵커입니다.
  3. τ=0.50은 확정된 운영값입니다. 슬라이더는 그 결정이 무엇에 영향을 주는지 보이기 위한 것이며, 임계값 정책을 다시 여는 제안이 아닙니다.
  4. 클래스 분포 한계 — 학습 데이터의 중분류별 문서 수가 1,300~2,600건으로 평탄화돼 있어 실제 특허 출원 분포와 다릅니다.
  5. 코드·데이터 파이프라인 github.com/buzziru/patent_disc · 배포 모델 ingyoun/A.X-patent-len4096-op