메타데이터
- 발신자: TLDR
- 원문 URL (TLDR 링크): https://links.tldrnewsletter.com/c2OIsz
- 실제 원문 (Tomasz Tunguz): https://tomtunguz.com/aftermarket-harnesses
- 발행일: 2026-07-29
참고: TLDR 단축 링크는 Tomasz Tunguz(Theory Ventures)의 X(트위터) 게시물로 연결되며, 해당 게시물의 원문은 그의 블로그 글 "Aftermarket Harnesses"다. 여기서 "harness"는 AI 코딩 에이전트를 구동하는 실행 프레임워크·런타임 계층(Codex, Claude Code, Cursor 등)을 의미한다.
직역 전문
요약: 이제 코딩 벤치마크를 움직이는 것은 모델보다 하네스(harness)다. Endor Labs의 Agent Security League에 따르면 GPT-5.5는 Codex에서 기능적 정확도 61.5%를 기록했지만 Cursor에서는 87.2%를 기록했다. Claude Opus 4.7은 Claude Code에서 87.2%, Cursor에서는 91.1%를 기록했다. 입력 토큰은 OpenRouter 트래픽의 86~98%를 차지하므로, 하네스가 캐시 관리를 통해 비용 대부분을 좌우한다. 자사 모델과 함께 설계된(co-designed) 하네스는 실제로 높은 캐시 적중률을 얻지만, 서드파티 하네스도 이를 따라잡을 수 있다.
AI 하네스는 모델보다 성능에 더 큰 영향을 미친다.
Endor Labs는 동일한 모델들을 같은 주에 두 개의 서로 다른 하네스에 돌려봤다. OpenAI의 GPT-5.5는 자사의 네이티브 Codex 하네스에서 기능적 정확도 61.5%를 기록했지만, Cursor의 하네스에서는 87.2%를 기록해 런타임 하나만으로 25.7포인트가 요동쳤다. Anthropic의 Opus 4.7은 Claude Code에서 87.2%, Cursor에서 91.1%를 기록했다.
두 최상위 모델 모두 자사가 직접 만든 하네스보다 경쟁사의 하네스에서 더 나은 성능을 보였다.
하네스는 AI 스택의 지렛목이다. 비용, 품질, 정확도에 영향을 미친다.
입력 토큰은 OpenRouter 트래픽의 86~98%를 차지한다. 출력은 토큰당 입력보다 5배 비싸지만, 입력의 양이 워낙 많기 때문에 여전히 청구서를 지배하는 것은 입력이다. 1년 전 나는 "굶주린, 굶주린 AI 모델"이라는 글에서 이 비율에 대해 궁금해했다. 실무자들은 입력 95%, 출력 5%라고 답했다. 규모가 커지자 그들이 옳았음이 드러났다.
입력 비용을 통제하는 것은 그래서 값진 제안이다. 모델이 그 비용을 통제하는 것이 아니라, 하네스가 통제한다. 하네스는 어떤 컨텍스트를 전송할지를 결정한다. 그 컨텍스트의 상당 부분은 쿼리마다 반복된다. 이를 지능적으로 캐싱하면 40~80%를 절약할 수 있다. 500개의 장기 실행 에이전트 세션을 대상으로 한 한 연구는 41~80%의 비용 절감과 13~31%의 첫 토큰 응답 시간 단축을 발견했으며, 이러한 절감 효과는 500토큰에서 5만 토큰 규모의 프롬프트까지 선형적으로 확장됐다. 승자는 안정적인 접두어(prefix)만 캐싱하고 동적 콘텐츠를 캐시 경계 뒤에 배치하는 방식이었다.
하네스는 정보 검색도 수행한다: 읽어야 할 코드, 스타일 가이드, 투자 브리프에서 분석해야 할 섹션 등이다. 더 간결하고 정확할수록 비용은 낮아진다.
Cursor의 하네스는 Claude Code와 기법 대 기법으로 맞먹는다: 동적 도구 fetching, 우선순위 기반 접두어 조립, 2단계 캐싱. 이것이 바로 Opus 4.7이 Claude Code보다 Cursor에서 더 높은 점수를 받고, GPT-5.5가 Codex 밖에서 기능적 정확도 점수를 거의 두 배로 올린 이유다.
번들 방식(자사 통합형)에도 나름의 장점은 있다. Claude Code는 캐시 적중률을 가동시간(uptime) 지표로 취급하며, 실제 세션에서 약 96%의 적중률을 기록하고, 같은 버전을 쓰는 사용자들 사이에서 시스템 프롬프트 캐시를 공유하며, 포크된 서브에이전트를 90% 절감을 위해 99% 바이트 동일 수준으로 구축한다.
하네스, 캐시 API, 모델을 함께 설계하면 실제로 강력한 캐시 규율을 얻을 수 있다. 하지만 그 규율은 하네스 안에 깃들어 있으며, Cursor의 수치가 보여주듯 서드파티 하네스도 이를 따라잡을 수 있다.
하네스는 더 이상 '모델의 래퍼'라는 비판에서 벗어났다. 이제는 사육사(breeder)가 상상한 것보다 더 멀리 AI의 성능을 밀어붙이는 기수(jockey)다.
4계층 심층 요약
핵심 주장 AI 코딩 에이전트의 실제 성능과 비용을 좌우하는 것은 기반 모델이 아니라 이를 감싸는 실행 프레임워크, 즉 '하네스'다.
근거 Endor Labs 벤치마크에서 동일 모델이 하네스만 바꿔도 성능이 최대 25.7포인트까지 요동쳤고, 입력 토큰이 전체 LLM 트래픽의 86~98%를 차지해 캐싱 전략(하네스의 몫)이 비용 대부분을 결정한다는 데이터가 근거로 제시됐다.
사례 GPT-5.5는 자사 Codex 하네스에서 61.5%였지만 Cursor 하네스에서는 87.2%를 기록했고, Claude Opus 4.7도 Claude Code(87.2%)보다 Cursor(91.1%)에서 더 높은 점수를 받았다. Claude Code는 96% 캐시 적중률과 포크된 서브에이전트 90% 비용 절감을 내는 자사 통합 최적화의 대표 사례로 제시된다.
시사점 모델과 하네스를 함께 설계(co-design)하면 캐시 규율을 확보하는 데 유리하지만, 그 규율은 결국 하네스 안에 구현되는 것이므로 서드파티 하네스도 동등하거나 더 나은 성능을 낼 수 있다. 따라서 AI 도구를 고를 때 모델 선택 못지않게 어떤 하네스(런타임 환경)를 쓰는지가 중요해진다.
핵심 요약 (20줄)
- 저자는 이제 코딩 벤치마크 점수를 움직이는 주된 요인이 AI 모델이 아니라 그 모델을 감싸는 실행 환경인 '하네스'라고 주장한다.
- Endor Labs의 Agent Security League 벤치마크에 따르면 OpenAI의 GPT-5.5는 자사 네이티브 하네스인 Codex에서 기능적 정확도 61.5%를 기록했다.
- 같은 GPT-5.5 모델이 Cursor의 하네스에서는 기능적 정확도 87.2%를 기록해 25.7포인트나 차이가 벌어졌다.
- Anthropic의 Claude Opus 4.7 역시 Claude Code에서 87.2%, Cursor에서 91.1%를 기록해 자사 하네스보다 경쟁사 하네스에서 더 높은 점수를 냈다.
- 두 최상위 모델 모두 자사가 직접 만든 하네스보다 경쟁사 하네스에서 더 나은 성능을 보인 셈이다.
- 저자는 하네스가 AI 스택 전체에서 비용, 품질, 정확도를 좌우하는 지렛목 역할을 한다고 설명한다.
- OpenRouter 트래픽에서 입력 토큰이 전체의 86~98%를 차지하기 때문에 입력 처리 방식이 비용 구조를 좌우한다.
- 출력 토큰이 입력보다 5배 비싸지만 입력량이 압도적으로 많아 여전히 청구서를 지배하는 것은 입력 쪽이다.
- 저자는 1년 전 자신의 글에서 실무자들이 입력 95%, 출력 5% 비율이라고 말했던 것이 규모가 커지면서 그대로 맞아떨어졌다고 밝힌다.
- 입력 비용을 통제하는 주체는 모델이 아니라 하네스이며, 하네스가 어떤 컨텍스트를 전송할지를 결정한다.
- 쿼리마다 반복되는 컨텍스트를 지능적으로 캐싱하면 비용을 40~80%까지 절감할 수 있다.
- 500개의 장기 실행 에이전트 세션을 분석한 한 연구는 41~80%의 비용 절감과 13~31%의 첫 토큰 응답 시간 단축을 보고했다.
- 이 연구에서 가장 효과적인 방식은 안정적인 접두어만 캐싱하고 동적 콘텐츠는 캐시 경계 뒤에 배치하는 것이었다.
- 하네스는 읽어야 할 코드나 스타일 가이드 등을 선별하는 정보 검색 기능도 수행하며, 검색이 간결하고 정확할수록 비용이 낮아진다.
- Cursor의 하네스는 동적 도구 fetching, 우선순위 기반 접두어 조립, 2단계 캐싱 등에서 Claude Code와 기법 수준으로 대등하다.
- 이런 기술적 대등함이 바로 Opus 4.7과 GPT-5.5가 각각 자사 하네스보다 Cursor에서 더 높은 점수를 받은 이유로 설명된다.
- Claude Code는 캐시 적중률을 가동시간 지표로 취급해 실제 세션에서 약 96%의 적중률을 기록하고 포크된 서브에이전트에서 90%의 비용을 절감한다.
- 모델과 하네스, 캐시 API를 함께 설계하면 실질적인 캐시 규율을 확보할 수 있다는 것이 자사 통합형 방식의 장점이다.
- 하지만 그 규율의 핵심은 결국 하네스 안에 있기 때문에 Cursor의 사례처럼 서드파티 하네스도 이를 충분히 따라잡을 수 있다.
- 저자는 하네스가 더 이상 단순한 모델 래퍼가 아니라 사육사가 상상한 것보다 더 멀리 AI 성능을 밀어붙이는 기수와 같은 존재로 진화했다고 결론짓는다.