양자화 (Quantisation)
quantization · INT8 · INT4
한 줄로
양자화는 모델 가중치의 수치 정밀도를 낮추는 것이다. 예를 들어 16비트 부동소수점을 8비트나 4비트 정수로 바꾼다. 모델이 차지하는 메모리가 줄고 실행이 빨라진다. 품질 손실은 8비트에서 작고, 4비트에서는 감지되지만 대개 감수할 만한 수준이다.
모델 가중치는 숫자로 저장된다. 학습에는 보통 16비트 부동소수점을 쓴다. 양자화는 그것을 더 낮은 정밀도 — 8비트나 4비트 정수가 흔하다 — 로 다시 인코딩하고, 축소된 범위를 원래 범위로 되돌리는 스케일 인자를 함께 둔다.
이득은 둘이고, 두 번째가 더 크다. 메모리가 대체로 비례해 줄어, 가속기 여러 장이 필요하던 모델이 한 장에 들어갈 수 있다. 그리고 디코딩이 산술이 아니라 메모리 대역폭에 묶이므로, 토큰당 옮기는 바이트가 줄면 생성 속도가 바로 올라간다.
방법은 어디서 일을 하느냐로 나뉜다. 사후 학습 양자화(PTQ) 는 이미 학습된 모델을 변환하며, 스케일 인자를 고르기 위해 작은 보정 데이터셋을 쓰기도 한다. 양자화 인지 학습(QAT) 은 학습 중에 낮은 정밀도를 시뮬레이션해 모델이 적응하게 한다. 아주 낮은 비트폭에서 결과가 낫지만 품이 훨씬 많이 든다.
실무적 주의는, 공개된 품질 수치가 일반 벤치마크의 «평균»이라는 점이다. 저하는 고르지 않다. 긴 컨텍스트와 다단계 추론 과제가 먼저 무너지는 경향이 있다. 양자화가 비용 계획의 일부라면, 확정 전에 우리 평가셋에서 측정하라.
자주 묻는 질문
- 품질이 얼마나 떨어지는가?
- 8비트에서는 일상 과제에서 감지하기 어려울 정도인 경우가 많다. 4비트에서는 측정 가능한 저하가 나타나며, 추론이 많이 필요한 작업과 긴 컨텍스트에서 먼저 드러난다. 일반적 주장을 믿지 말고 우리 과제에서 평가하라.
- 양자화가 왜 추론을 빠르게 하는가?
- 토큰 생성은 연산이 아니라 메모리 대역폭에 묶인다. 가중치가 작아지면 토큰당 옮기는 데이터가 줄어, 연산 횟수가 같아도 출력이 빨라진다.