분석: AI 에이전트가 데모에서 실전으로 넘어갈 때 실제로 바뀐 것

에이전트 프로젝트에는 익숙한 곡선이 있다. 첫 주에 프로토타입이 놀라운 것을 해낸다. 6주쯤 되면 아무도 예상하지 못한 입력에서 그럴듯한 헛소리를 내놓고, 팀은 모델을 하나 더 붙일지 접을지를 놓고 다툰다.

반대편으로 빠져나온 프로젝트들은 더 좋은 모델을 찾은 게 아니다. 문제의 모양을 바꿨다.

데모를 죽이는 산수

각 단계를 95% 정확히 해내는 작업을 생각해 보자. 판단이 들어가는 열린 단계로는 좋은 수치다.

3단계를 이으면 약 86% 의 실행이 성공한다. 20단계면 3분의 1 정도. 50단계면 8% 다.

데모는 5단계짜리를 한 번 보여줬고, 잘못된 두 번은 사람이 조용히 다시 돌렸다. 실전은 20단계짜리를 아무도 안 보는 채로 1만 번 돌린다.

이후의 모든 것은 이 산수에 대한 대응이다.

살아남은 배포들의 공통점

좁은 영역. "운영을 처리하라"가 아니라 "이 두 청구 시스템을 대사하라". 분기가 적고, 도구가 적고, 틀릴 방법이 적다. 실전을 견딘 에이전트는 거의 예외 없이 그것을 정당화했던 데모보다 덜 야심적이다.

싼 검증. 단일 예측 변수로 가장 강력하다. 코딩 에이전트가 먼저 된 이유는 테스트가 객관적·자동 신호를 주기 때문이다 — 사람 없이 시도하고 확인하고 다시 할 수 있다. 검증이 비싼 곳(법률 의견, 가격 결정)에서는 사람이 결과를 검토해야 하고, 그러면 레버리지에 상한이 생기며 사업 논거가 달라진다.

모델 «바깥»의 권한 경계. 읽기는 넓게, 쓰기는 좁게. 돈·고객 연락·삭제·배포에는 승인 관문. 이것은 프롬프트 속 지시가 아니라 런타임에서 강제된다. 신뢰할 수 없는 콘텐츠를 읽는 에이전트는 지시가 오염될 수 있는 에이전트다.

예산. 최대 단계 수, 최대 실행 시간, 최대 토큰. 잘못된 도구 응답에 갇혀 도는 에이전트는 끝이 없는 과금 사고다.

재생 가능한 로그. 모든 호출과 결과를 저장한다. 문제가 났을 때 «실제로 무엇을 했는가»가 즉시 답해져야 한다 — 고치기 위해서도, 점점 늘어나는 감사 요구를 위해서도.

평가가 어른이 됐다

가장 눈에 덜 띄면서 가장 중요한 변화다. 초기 에이전트 작업은 «지켜보며» 평가했다. 그건 확장되지 않고 회귀를 잡지 못한다.

지금의 실무는 궤적(trajectory) 을 기록하는 것이다 — 실제 실행의 단계·도구 호출·결과 전체를 저장하고, 프롬프트·모델·도구 구성이 바뀔 때마다 재생한다. 각 궤적에는 «올바른 실행은 이런 모양»이라는 단언이 붙는다. 새 모델 버전은 공개 벤치마크 점수가 좋아서가 아니라, 기록된 궤적 집합을 깨뜨리지 않아서 채택된다.

두 번째 변화는 단계별 채점이다. 종단 통과율은 «뭔가 잘못됐다»를 알려준다. 단계별 점수는 «검색 도구가 월요일마다 오래된 결과를 준다»를 알려준다.

도구가 인프라가 됐다

한동안은 에이전트 제품마다 자체 커넥터를 짰다. Model Context Protocol 이 도구 노출을 표준 인터페이스로 바꿨다. 서버가 제공 목록을 광고하면 호환되는 어떤 클라이언트든 쓸 수 있다. 그 결과 통합 작업이 애플리케이션마다 짓는 접착제에서, 한 번 만들어 유지하는 재사용 서버로 옮겨갔다.

실무적 효과는 밋밋하고 크다. 흥미로운 질문이 «내 에이전트를 이 시스템에 어떻게 연결하나»에서 «내 에이전트가 이 시스템에서 무엇을 하도록 허용해야 하나»로 옮겨갔다. 그건 거버넌스 질문이고, 옳은 질문이다.

되지 않은 것

덜 알려졌으니 분명히 적어둘 값어치가 있다.

• 장기 자율 운용. 열린 목표를 두고 몇 시간 방치하면 여전히 표류하고, 잘못 든 길의 비용이 조용히 누적된다.
• 검증이 비싼 작업. 사람이 전체를 읽어야 옳은지 알 수 있다면, 에이전트는 «일»이 아니라 «타이핑»을 아낀 것이다.
• 변동이 큰 환경. 레이아웃이 바뀌는 웹사이트, 일관성 없는 오류를 뱉는 시스템, 문서화되지 않은 예외가 있는 프로세스.
• 목적 없는 에이전트 떼. 멀티 에이전트는 하위 작업이 정말 다른 도구와 맥락을 요구할 때 도움이 된다. 단일 에이전트로 되는 일에 적용하면 조율 실패만 늘어난다.

정직한 요약

에이전트는 목표가 분명하고, 영역이 좁고, 결과 확인이 싸고, 폭발 반경이 모델의 선의가 아닌 무언가로 제한될 때 오늘 작동한다. 이는 실재하며 커지는 범주다 — 그리고 제품 발표문의 «에이전틱»이 암시하는 것보다 작은 범주다.

성공적으로 출시한 팀들은, 거의 예외 없이, 그 사실을 먼저 받아들인 쪽이었다.