증류 (Distillation)
knowledge distillation · teacher-student training
한 줄로
증류는 큰 «교사» 모델의 출력으로 작은 «학생» 모델을 학습시켜, 훨씬 낮은 비용으로 교사의 행동 상당 부분을 재현하게 하는 방법이다. 소형 모델이 빠르게 좋아진 주된 이유이며, 많은 상용 API 약관이 이를 제한하거나 금지한다.
교사 모델이 출력 — 답변, 추론 과정, 라벨 — 을 만들고, 학생은 원시 웹 텍스트가 아니라 그것으로 학습한다. 교사의 출력이 긁어온 데이터보다 깨끗하고 일관되기 때문에, 학생은 사전학습이 요구하는 것보다 훨씬 적은 예시로 빠르게 배운다.
프런티어 모델과 좋은 소형 모델의 격차가 그토록 빨리 좁혀진 이유다. 그리고 AI 서빙 가격 하락의 대부분을 만든 기제이기도 하다 — 일상적인 다수의 요청을 10분의 1 비용으로 처리하는 증류 모델은, 대부분의 제품이 가진 가장 큰 절약 수단이다.
한계 둘은 적어둘 값어치가 있다. 학생은 교사의 실수도 함께 물려받는다. 오류가 평균으로 상쇄되는 게 아니라 전파된다. 그리고 학생은 증류받은 분포 밖에서 일반화가 나쁘다. 학습셋에 든 과제에서는 강하고, 그 바로 바깥에서는 눈에 띄게 약하다.
라이선스 문제는 살아 있다. "출력물로 우리와 경쟁하는 모델을 개발할 수 없다"는 조항이 대부분의 상용 API 약관과 여러 오픈 웨이트 라이선스에 들어 있다. 특정 증류가 허용되는지는 계약의 문제이고, 업계에서 반복되는 분쟁거리가 됐다.
자주 묻는 질문
- 증류는 합법인가?
- 출처에 따라 다르다. 대부분의 상용 API 약관은 출력물로 경쟁 모델을 학습시키는 것을 제한하며, 일부 오픈 웨이트 라이선스도 그렇다. 그 용도로 사용이 허락된 모델에서 증류하는 것은 일상적인 실무다.
- 증류 후 능력이 얼마나 남는가?
- 학습 예시가 덮은 영역 안에서는 상당히 많이, 밖에서는 훨씬 적게 남는다. 학생은 증류받은 분포 위에서 교사와 비슷하고, 그 바깥에서는 눈에 띄게 약해진다.