대규모 언어모델 (LLM)
LLM · foundation model
한 줄로
대규모 언어모델은 수십억 개의 파라미터를 가진 신경망으로, 대량의 텍스트에서 다음 토큰을 예측하도록 학습된다. 그 단일 목표만으로 충분한 규모에 이르면 질의응답·코드 작성·번역·요약 능력이 나타난다. 어느 것도 직접 학습시킨 것이 아니다.
대규모 언어모델은 하나의 과제로 학습된다. 토큰 시퀀스가 주어지면 다음 토큰을 예측하라. 이것을 거대한 코퍼스에서 반복하면 파라미터에 문법·사실·추론 패턴·코딩 관행, 그리고 축적된 인간의 문체가 새겨진다.
대부분의 현대 LLM 은 트랜스포머 구조를 쓴다. 어텐션 기제 덕에 입력의 모든 위치가 다른 모든 위치에 영향을 줄 수 있다. 긴 범위의 일관성이 가능한 이유이자, 시퀀스가 길어질수록 계산이 늘어나는 이유다.
학습은 단계로 나뉜다. 넓은 텍스트로 하는 사전학습이 원료 능력을 만든다. 사후학습 — 시연 데이터로 하는 지도 파인튜닝, 이어서 인간이나 AI 피드백 기반 강화학습 — 이 텍스트 예측기를 지시를 따르고 해로운 요청을 거절하는 무언가로 바꾼다.
실무에서 중요한 성질이 둘이다. 모델은 상태가 없다. 컨텍스트 윈도우에 넣은 것 말고는 요청 사이에 아무것도 기억하지 못한다. 그리고 확률적이다. 같은 프롬프트가 다른 출력을 낼 수 있고, 말투의 확신은 정확성에 대한 정보를 담고 있지 않다.
자주 묻는 질문
- LLM 은 자기가 쓰는 것을 이해하는가?
- 사람과 같은 의미의 믿음이나 의도는 없다. 언어의 통계적 구조를 충분히 잘 모델링해서 출력이 자주 정확하고 유용할 뿐이며, 그 구조가 엉뚱한 곳을 가리킬 때는 자신 있게 틀린다.
- 무엇이 «대규모»인가?
- 파라미터 수, 학습 데이터 양, 학습 연산량이 이전 모델을 크게 넘어선다는 뜻이다. 정해진 기준선은 없고, 비교적 표현이며 그 기준도 계속 올라간다.