분석: AI 가격은 계속 떨어지는데 왜 청구서는 오르는가

동시에 참이면서 끊임없이 모순으로 오해받는 두 문장이 있다. AI 계산 한 단위의 가격은 극적으로 떨어졌고, 기업들은 그 어느 때보다 AI 에 많이 쓰고 있다. 흥미로운 경제학은 그 사이에 있다.

실제로 싸진 것

여러 힘이 동시에 토큰당 가격을 끌어내렸다.

• 하드웨어 세대. 가속기 세대마다 와트당·달러당 처리량이 늘어난다.
• 서빙 최적화. 연속 배칭, KV 캐시를 위한 페이지드 어텐션, 추측 디코딩, 양자화. 모델이 아니라 엔지니어링의 승리이고, 서로 곱해진다.
• 희소 구조. 전문가 혼합(MoE) 설계는 토큰마다 파라미터의 일부만 켠다. 아주 큰 모델이 훨씬 작은 모델처럼 서빙될 수 있다.
• 증류. 큰 모델의 출력으로 학습한 작은 모델이 이제 넓은 대역의 일상 업무를 훨씬 싼 값에 처리한다.
• 경쟁. 모든 성능 등급에 신뢰할 만한 제공자가 여럿이고, 전환 비용이 실질적으로 낮다.

결과는 몇 년에 걸쳐 같은 성능 수준에서 자릿수 단위의 가격 하락이다. 이건 아무도 다투지 않는다.

작업당 비싸진 것

한편 사용자 동작 하나가 소비하는 토큰 수는 네 가지 이유로 늘었다.

길어진 컨텍스트. 예전엔 500토큰 프롬프트를 보내던 제품이 이제 문서·대화 이력·검색된 대목·도구 정의를 함께 붙인다. 호출당 입력 1만 토큰은 특별한 일이 아니다.

추론형 모델. 답하기 전에 내부 숙고를 만드는 모델은 직답형보다 요청당 출력 토큰이 몇 배 많을 수 있다. 요금표는 그대로였고 토큰 수가 바뀌었다.

에이전트. 가장 큰 곱셈이다. "이 계정들을 대사해줘"라는 지시 하나가 15번의 모델 호출이 되고, 각각이 누적된 컨텍스트를 지고 간다. 과금 관점에서 그건 요청 하나가 아니다. 15개이고, 뒤로 갈수록 길다.

재시도와 평가. 실전 시스템은 실패 시 재시도하고 평가 스위트를 계속 돌린다. 둘 다 사용자에게는 보이지 않고 청구서에는 보인다.

10배의 가격 하락에 30배의 작업당 토큰 증가를 곱하면, 모든 단위가 싸졌는데 청구서는 세 배가 된다. 수수께끼의 전부가 이것이다.

제품 마진에 미치는 영향

좌석당 과금 소프트웨어에서 가장 선명하게 드러난다. 좌석은 월 정액이다. 거기 붙은 AI 기능은 사용자가 쓰는 만큼 든다. 사용량 분포는 정규분포가 아니다 — 소수의 사용자가 대다수 토큰을 만들고, 그들은 대개 가장 몰입도가 높고 이탈 가능성이 낮은 고객이다.

흔해진 대응 셋.

1. 사용량 연동 과금. 크레딧, 또는 한도를 명시한 등급. 정액보다 우아하지 않고, 헤비 유저를 견딘다.
2. 라우팅. 요청 대부분은 작은 모델이, 어려운 것만 비싼 모델이. 대부분의 워크로드에서 이것이 가능한 가장 큰 절약이며, 프롬프트 수준의 어떤 최적화보다 앞선다.
3. 캐싱과 배칭. 캐시된 앞부분은 반복되는 시스템 프롬프트·문서 비용을 깎고, 배치 엔드포인트는 즉답이 필요 없는 일의 가격을 대략 절반으로 만든다.

인프라의 바닥

이 하락에는 한계가 있고, 그건 물리적이다. 모델 서빙에는 가속기, 메모리 대역폭, 건물, 냉각, 그리고 계통 연계가 필요하다 — 여러 주요 시장에서 계통 연계가 이미 병목이고 대기열은 «년» 단위다.

자본 비용은 계속 커져야만 정당화되는 볼륨에 분산되고 있다. 수요가 자라는 동안은 작동한다. 용량 발표가 제품 뉴스가 아니라 전력 사업 계획서처럼 읽히는 이유이기도 하다.

무엇을 볼 것인가

AI 제품을 운영한다면, 헤드라인의 «100만 토큰당 가격»보다 중요한 숫자가 셋이다.

• 완료된 작업당 토큰 수 — 시간에 따라 추적한다. 실제로 늘어나고 있는 것이 여기 잡힌다.
• 가장 싼 충분한 모델이 처리하는 트래픽 비중 — 절반 미만이면 테이블에 돈이 놓여 있다.
• 고정 앞부분의 캐시 적중률 — 프롬프트 최상단의 바이트 하나가 바뀌면 캐싱이 조용히 꺼지고 비용이 하룻밤에 오른다.

단가는 계속 떨어질 것이다. 우리 청구서가 따라갈지는 거의 전적으로 «작업당 토큰 수»가 가만히 있는가에 달렸다. 그리고 에이전트와 긴 컨텍스트로 가득한 로드맵에서, 그것이 저절로 가만히 있어 주지는 않는다.