정렬 (Alignment)
RLHF · post-training · safety tuning
한 줄로
정렬은 학습된 모델의 행동을 다듬어 지시를 따르고, 아는 한 사실대로 말하고, 해로운 요청을 거절하게 만드는 과정이다. 사전학습 이후에 이뤄지며, 주로 시연 데이터 지도 파인튜닝과 인간·AI 피드백 기반 강화학습으로 한다.
사전학습만 끝난 모델은 텍스트를 예측한다. 지시를 따르지 않고, 그럴듯함보다 진실을 선호하지 않으며, 무엇을 거절해야 하는지에 대한 관념이 없다. 정렬은 그것을 어시스턴트로 바꾸는 일이다.
표준 파이프라인은 두 단계다. 지도 파인튜닝이 잘 만든 좋은 응답 예시로 학습시킨다. 선호 최적화 — RLHF, 또는 별도 보상 모델을 건너뛰는 DPO 같은 방법 — 가 사람들이 더 높게 평가한 응답을 선호하도록 학습시킨다.
헌법적(constitutional) 접근은 인간 라벨링의 상당 부분을 성문화된 원칙으로 대체한다. 모델이 명시된 규칙에 비추어 자기 출력을 비판하고 수정해, 선호 데이터를 대규모로 만들어낸다.
분명히 해둘 한계가 둘이다. 정렬은 행동에 관한 것이지 인식론에 관한 것이 아니다 — 도움이 되게 행동하고 적절히 거절하게 만들 뿐, 어떤 주장이 참인지 아는 기제를 주지 않는다. 환각이 남는 이유다. 그리고 논쟁적이다. 누구의 가치인가, 무엇을 거절할 것인가, 얼마나 신중해야 쓸모를 잃지 않는가 — 기술적 답이 없는 질문들이다.
연구 프로그램으로서의 정렬은 제품 행동을 훨씬 넘어선다(해석 가능성, 위험 능력 평가, 확장 가능한 감독). 다만 상업적 맥락에서 «정렬됐다»는 보통 위에 적은 좁은 뜻이다.
자주 묻는 질문
- RLHF 란?
- 인간 피드백 기반 강화학습. 사람이 여러 응답의 우열을 매기고, 그 순위로 보상 모델을 학습시킨 뒤, 모델을 그 보상에 맞춰 최적화한다. 인간 순위 일부를 AI 가 대신 만드는 변형도 있다.
- 정렬을 하면 능력이 떨어지는가?
- 가장자리에서는 그럴 수 있다. 무해한 요청까지 과하게 거절하는 것이 흔한 불만이다. 도움됨과 신중함의 균형은 사고가 아니라 명시적인 튜닝 트레이드오프다.