벤치마크
eval · evaluation set · leaderboard
한 줄로
벤치마크는 정답이 알려진 고정된 과제 묶음으로, 모델의 점수를 매겨 비교하는 데 쓴다. 공개 벤치마크는 대략의 능력 순위를 주지만, 최적화의 표적이 되고, 학습 데이터 오염에 취약하며, 실무보다 짧고 명확한 문제 모양을 하고 있다.
벤치마크는 모델 비교에 공통 잣대가 필요해서 존재하고, 그 용도로는 진짜 쓸모가 있다. 대략의 순서를 세우고 큰 퇴행을 잡아낸다.
동시에 예측 가능한 방식으로 실패한다. 원인은 하나의 역학으로 수렴한다 — 숫자가 목표가 되는 순간, 그것은 측정이기를 그만둔다.
- 오염. 공개 벤치마크는 공개 웹에 있고, 학습 코퍼스는 공개 웹에서 긁어 온다.
- 최적화 압력. 벤더는 자기가 평가받을 벤치마크에 맞춰 튜닝한다. 합리적인 행동이고, 시험되지 않은 능력 대비 점수를 부풀린다.
- 과제의 모양. 짧고 단발이며 모호하지 않고 정답이 하나. 실무에 그런 일은 별로 없다.
- 선택적 보고. 모든 출시는 자기가 이긴 벤치마크를 보여준다.
- 포화. 신뢰할 만한 모델이 전부 90점을 넘기면 남은 차이는 잡음이다.
대안은 벤치마크를 버리는 것이 아니라 «우리 것»을 더하는 것이다. 우리 트래픽에서 뽑은 실제 요청 수백 건, 도메인을 아는 사람들이 합의한 정답, 매번 같은 방식의 채점. 그 묶음이 우리가 실제로 가진 질문 — 이 일에는 어느 모델이 나은가 — 에 답하고, 모델 업그레이드를 견디는 유일한 평가다.
만들어 본 팀은 순위가 리더보드와 다르다는 것을 자주 발견한다. 때로는 더 싼 모델 쪽으로.
자주 묻는 질문
- 벤치마크 1위가 왜 실전에서 실망스러운가?
- 벤치마크는 짧고 모호하지 않은 단발 과제에 보상을 준다. 실무는 길고 모호하고 다중 턴이며 적대적이다. 둘의 상관은 실재하지만 느슨하다.
- 벤치마크 오염이란?
- 벤치마크 문항과 정답이 모델 학습 데이터에 들어가 있는 것이다. 대개 웹에 공개돼 있었기 때문이다. 오염된 벤치마크는 능력이 아니라 암기를 재고, 완전히 배제하기 어렵다.