8월 26일 수요일

모델이 쏟아지는 환경에서 품질·비용·속도를 함께 개선하면서도 결과를 신뢰할 수 있게 만드는 구조는 무엇인가?

출발점은 모델 이름이 아니라 업무 단위다. 실제 고객 트레이스와 출력에서 실패를 읽고, 좋은 결과를 가르는 사람의 판단을 평가 기준으로 외부화한 뒤, 모델·프롬프트·에이전트 구조를 같은 케이스에서 비교해야 한다. 자동 평가는 명백한 오류를 넓게 찾는 기준선이고, 제품의 취향과 맥락은 사람이 대표 샘플을 읽으며 보충한다. 다음 단계에서는 여러 모델을 독립 검토자·구현자·통합자로 배치하되, 완료 보고를 그대로 믿지 않고 acceptance 명령과 재실행으로 판정한다. 결국 강한 시스템은 특정 공급자의 모델을 오래 쓰는 시스템이 아니라, 더 나은 후보가 나오면 교체하고 언어 모델 호출 자체가 불필요하면 제거할 수 있는 시스템이다.

1. 01

   평가는 데이터에서 시작한다

   하향식 기준은 과업 설명과 도메인 지식에서 만들고, 상향식 기준은 실제 샘플을 읽으며 발견해야 한다. 한 사례의 피드백을 모든 출력에 강제하면 과적합되므로 여러 샘플에서 반복되는 실패인지 확인한다. 자동 평가의 정밀도가 가장 좋은 경우에도 80~90% 수준이라는 제시값을 고려하면 표시된 오류의 10~20%가 레드 헤링일 수 있다. 따라서 재현율뿐 아니라 정밀도를 표본 검토하고, 사람이 남긴 주석을 루브릭·데이터셋·CI/CD와 드리프트 모니터링으로 확장하는 순서가 필요하다.

2. 02

   라우팅은 모델 교체보다 넓다

   AIP-Evo 사례는 약 30개 실제 업무 케이스에서 변경 전후를 비교했다. 제시된 데모에서는 GPT-5.1을 GPT-5.4 나노로 바꾸며 컴퓨트 비용이 306.9에서 7.6으로 줄고 지연시간이 14.6초에서 4.5초로 개선됐으며, 경량 모델은 30회 모두 일관된 결과를 냈다. 더 중요한 다음 단계는 Ontology에 답이 있는 흐름에서 언어 모델 호출을 없애는 것이다. 비용 최적화는 싼 모델 선택이 아니라 모델·프롬프트·에이전트 구조·결정론적 처리를 함께 탐색하는 문제다.

3. 03

   다중 모델은 역할과 검증 그래프가 필요하다

   Fusion Harness는 opinion으로 독립 의견과 작은 실험을 모으고, debate로 상호 반론을 기록하며, collaborate로 architect와 builder의 작업 의존성을 나눈다. 같은 협업 실행에서 제시된 비용은 Fable 5가 65센트, Gemini 3.7 Flash가 7센트, DeepSeek V4 Pro가 5센트였다. 이 수치는 보편적 가격표가 아니라 해당 실행의 관찰값이므로 실제 코드베이스에서 성능·속도·비용·컨텍스트 한계까지 다시 측정해야 한다. 여러 모델을 쓰는 목적도 답변 수를 늘리는 것이 아니라 합의와 이견, 구현과 최종 검증을 분리하는 데 있다.

4. 04

   완료는 주장 대신 재실행으로 판정한다

   프로젝트의 agent.md에 코드 스타일, 계층 경계, 테스트와 커밋 규칙을 적으면 반복 지시를 줄일 수 있지만 긴 컨텍스트의 주의력 저하와 환각은 남는다. THEMIS 사례처럼 파일 범위와 acceptance 명령을 계약에 고정하고 병합 게이트가 검증을 재실행하면 에이전트의 완료 선언과 실제 상태를 분리할 수 있다. 평가 루프도 같은 원칙을 따른다. 사람이 오류 기준을 정하고 에이전트가 전체 데이터로 확장하되, 최종 변경은 검증 가능한 명령과 사람이 확인할 수 있는 근거를 통과해야 한다.

실무 체크포인트는 네 가지다. 대표 업무 케이스를 먼저 고정하고, 사람의 판단이 담긴 평가셋을 만든다. 후보 모델과 프롬프트를 동일 조건에서 비교하며 비용·지연시간·품질을 함께 기록한다. 구현과 검증의 역할을 분리하고 완료 여부는 재실행 가능한 계약으로 판정한다. 마지막으로 모델을 쓰지 않아도 되는 경로를 찾아낸다. 이 루프가 있어야 모델 출시 속도와 가격 경쟁이 운영 리스크가 아니라 교체 가능한 자원으로 바뀐다.