8월 22일 토요일

에이전트와 모델의 개선을 재현 가능한 작업으로 바꾸는 병목은 무엇인가?

세 원문은 모델을 더 크게 만드는 대신 평가 가능한 작업과 회귀 가능한 구조를 만드는 쪽으로 시선을 옮긴다. 데이터는 압축 파일이 아니라 전문가의 사양, 실제 로그, 보상 환경이 담긴 제품이다. 파인튜닝은 특정 문제에서 50배 ROI처럼 보일 수 있지만 모델 잠금과 재학습 주기, 데이터 파이프라인의 기술 부채를 함께 계산해야 한다. 소프트웨어 기본기는 짧은 지시와 결정론적 검사, 깊은 모듈, 테스트로 에이전트의 속도를 품질로 변환하는 가드레일이 된다. 서로 다른 선택을 같은 평가 루프에 넣어야 모델 교체나 아키텍처 변경 뒤에도 무엇이 좋아졌는지 설명할 수 있다.

1. 01

   전문가 판단을 실행 가능한 데이터로

   YC Paper Club의 사례에서 85% F1 모델의 다음 개선은 새 레이어가 아니라 거짓 양성과 거짓 음성을 데이터 버킷으로 분류하는 일이었다. 전문가의 머릿속 사양을 데이터셋으로 옮기고, Snorkel의 라벨링 함수나 Validation Agent의 결정론적 테스트로 실행하면 평가가 모델 구조와 분리된다. Senior SWE-bench와 Tao Forge처럼 긴 작업·실제 로그·도구·난이도를 담은 환경이 필요한 이유는 단일 정답보다 업무 궤적을 검증해야 하기 때문이다.

2. 02

   초기 ROI 뒤에 남는 파인튜닝 세금

   Lease End는 문자 기반 LLM을 파인튜닝해 영업팀 연결이라는 분명한 결과를 만들었지만, 운영에서는 ‘혼란스러운 확인자’와 ‘관심에 들뜬 강아지’ 같은 실패가 드러났다. 재학습은 짧아 보여도 데이터 수집·검증·배포의 전체 주기가 길어지고, 특정 모델에 잠기면 제공업체 발전을 따라가기 어렵다. 에이전트형 재구축 뒤 문제 발견부터 1시간 이내 배포가 가능해졌다는 사례는 파인튜닝 금지가 아니라 총비용·지연·정확도·모델 자유를 함께 측정해야 한다는 결론을 준다.

3. 03

   속도를 통제하는 것은 규율의 재설계

   엉클 밥의 경험은 에이전트에게 긴 규칙 목록을 프롬프트로 쌓는 방식보다 짧은 지시와 결정론적 검사, 역할별 파이프라인이 효과적일 수 있음을 보여준다. 깊은 모듈은 인간과 모델이 한 번에 다뤄야 할 복잡성을 줄이고, 테스트와 정적 기준은 빠른 생성이 만든 지저분한 코드를 다시 가우틀릿에 통과시킨다. TDD를 인간의 의식적인 규율과 에이전트의 선택 가능한 도구로 구분하더라도 결과물의 품질·회귀·책임을 확인하는 기본기는 사라지지 않는다. 코드를 덜 쓰는 시대의 핵심 역량은 타이핑이 아니라 추상화 경계와 검증 루프를 설계하는 일이다.

좋은 모델을 고르는 일은 출발점일 뿐이다. 전문가 사양을 데이터와 테스트로 만들고, 변경을 짧은 루프로 배포하며, 실패를 재현할 수 있는 구조를 두어야 다음 모델과 다음 에이전트가 실제 품질 향상인지 확인할 수 있다.