실제 워크로드에서 뽑은 평가 과제
Parallel Kernel Bench는 추론·강화학습·포스트 트레이닝의 멀티 GPU 통신 패턴을 포함한다. 데이터 분할과 집단 통신 순서, 계산·통신 중첩, 버퍼링 선택이 함께 얽혀 단순 문법 생성보다 넓은 설계 공간을 만든다.
불러오는 중입니다
에이전트의 실전 성능은 모델 호출 한 번이 아니라 실행 환경, 작업별 조직 맥락, 검증 가능한 피드백 루프를 얼마나 단단히 연결했는지에서 갈린다.
Warp의 실행 플랫폼, Unblocked의 Context Engine, Anthropic Labs의 목표 중심 위임을 한 흐름으로 읽으면 에이전트 개발의 병목은 생성 능력보다 상태·맥락·검증의 연결에 있음을 볼 수 있다.

코드를 생성하는 모델을 병합 가능한 결과를 반복해서 내는 작업 시스템으로 바꾸려면 무엇을 설계해야 하는가?
세 원문이 공통으로 가리키는 전환은 프롬프트 기법이 아니라 작업 단위의 재설계다. Warp는 클라우드 샌드박스, 여러 하네스, 하위 에이전트 오케스트레이션, 상태와 산출물 관리, API·SDK를 한 플랫폼으로 묶는다. Unblocked는 코드만 읽어서는 복원하기 어려운 Slack 논의, 과거 PR, 팀 관례, 아키텍처 근거를 현재 작업에 맞게 조립한다. Anthropic Labs는 사람이 작은 작업을 순서대로 지시하는 대신 최종 상태와 제약을 맡기고 모델이 탐색·검증하게 하되, 의도와 트레이드오프는 인간이 확인하는 방식을 택한다. 이 셋을 합치면 에이전트의 품질은 모델 지능의 단일 함수가 아니다. 격리된 실행 장소, 관련 맥락의 선택, 역할 분리, 검증 결과의 환류가 연결될 때 비로소 장시간 작업이 운영 가능한 공정이 된다.
로컬 노트북을 벗어난 에이전트는 개발자처럼 명령을 실행하고 상태를 유지하며 산출물을 남길 격리 공간이 필요하다. Warp가 관리형 샌드박스와 셀프 호스팅을 함께 두는 이유도 빠른 시작과 기업의 보안·배포 현실을 동시에 수용하기 위해서다. 플랫폼은 셸과 하네스 선택권을 열어 두되, 에이전트 실행·환경·컴퓨트·아티팩트를 공통 프리미티브로 묶어야 한다. 유연성만 제공하면 경험이 파편화되고, 표준화만 밀어붙이면 실제 팀의 선호와 제약을 잃는다. 플랫폼의 역할은 이 복잡성을 사용자에게 넘기기 전에 흡수하는 것이다.
에이전트는 새 작업마다 조직 기억이 초기화된 신입 엔지니어처럼 출발한다. 저장소와 문서를 백만 토큰 창에 모두 넣어도 구현 의도, 장애 경험, 누가 어떤 영역을 아는지까지 이해되지는 않는다. Context Engine은 현재 작업과 관련된 코드, PR, Slack 결정, 아키텍처 근거와 전문가 관계를 찾아 출처와 함께 제공한다. 핵심은 첫 탐색 몇 초를 줄이는 것이 아니라 그럴듯하지만 틀린 가정 위에서 계획·구현·리뷰가 연쇄적으로 반복되는 비용을 막는 데 있다. 답변에 근거를 붙여 사람이 지식 자체를 교정할 수 있어야 컨텍스트 계층도 누적 학습한다.
실제 소프트웨어 작업은 한 프롬프트에 들어가지 않는다. Warp의 전형적인 흐름은 조사·계획, 구현, 검증을 서로 다른 에이전트에 맡기고 진행 상태와 메시지를 상위 오케스트레이터가 관리한다. 그러나 에이전트 수를 늘리는 것만으로 품질이 오르지는 않는다. 각 역할이 어떤 상태와 산출물을 넘기고, 실패를 누가 판정하며, 어떤 현실 이벤트가 다음 실행을 촉발하는지 정의해야 한다. 관찰 가능성이 없으면 병렬 실행은 불량을 빠르게 만드는 공정이 된다. 버그를 줄이는 품질 목표와 토큰·인프라 비용을 동시에 측정해야 반복 가능한 시스템이 된다.
Anthropic Labs의 방식은 작은 단계의 지시 대신 원하는 최종 상태, 제약, 성공 조건을 설명하고 모델이 반복·검증하게 한다. 수십만 줄에 가까운 Python 코드베이스를 TypeScript로 옮긴 사례도 생산 런타임 타입, 세그먼트 테스트, 점진적 롤아웃을 결합했기 때문에 실험이 될 수 있었다. 동시에 2,000줄 PR의 코드를 읽는 것만으로는 변경 의도와 선택의 이유를 알기 어렵다. 모델이 질문을 조사하더라도 중요한 아키텍처 판단과 프로덕션 검증은 인간이 맡고, 변경 목적과 트레이드오프를 리뷰 가능한 아티팩트로 남겨야 한다.
시스템 전체를 한 번에 자동화하기 전에 동일한 실제 작업을 컨텍스트 유무, 역할 분리 유무, 검증 루프 유무로 나눠 비교할 수 있다. Unblocked가 소개한 짧은 계획 생성 사례에서는 컨텍스트를 쓴 실행이 약 1분, 쓰지 않은 실행이 약 2분이었고 고객은 토큰 50% 감소를 보고했다. 이 수치를 일반 성능으로 확대하면 안 되지만, 측정 단위를 정하는 방식은 유효하다. 탐색 토큰뿐 아니라 잘못된 가정, 리뷰 재작업, 병합 뒤 결함, 사람이 개입한 지점을 함께 기록해야 조직에 맞는 자동화 경계를 찾을 수 있다.
실전 에이전트 스택의 최소 설계는 네 층으로 정리할 수 있다. 샌드박스와 산출물 관리로 실행을 격리하고, 작업별 조직 맥락을 출처와 함께 주입하며, 조사·구현·검증의 계약을 분리하고, 최종 판단과 프로덕션 검증을 인간에게 남긴다. 그 위에서만 모델이나 하네스를 교체해도 공정 전체의 품질을 비교할 수 있다. 반대로 이 층을 건너뛰면 더 큰 컨텍스트 창과 더 많은 에이전트가 잘못된 가정을 더 오래, 더 비싸게 실행할 수 있다. 자동화의 목표는 사람이 사라진 코드 공장이 아니라 반복 노동을 줄이면서 의도와 책임의 위치가 보이는 소프트웨어 공방에 가깝다.
컴파일되는 코드를 얻는 것과 실제 토폴로지에서 빠른 코드를 얻는 것은 다른 문제다. Together AI의 실험은 테스트 타임 컴퓨트만 늘려서는 넘기 어려운 성능 추론의 벽을 보여 준다.

Parallel Kernel Bench는 추론·강화학습·포스트 트레이닝의 멀티 GPU 통신 패턴을 포함한다. 데이터 분할과 집단 통신 순서, 계산·통신 중첩, 버퍼링 선택이 함께 얽혀 단순 문법 생성보다 넓은 설계 공간을 만든다.
최고 제로샷 모델은 87개 중 28개에서 정답을 냈고, 그중 22개가 PyTorch와 NCCL을 사용한 기준선보다 빨랐다. 정확성 통과와 성능 우위가 같은 지표가 아님을 분리해서 읽어야 한다.
다중 샘플링으로 정답 수는 약 36개까지 늘었지만 빠른 해의 비율은 약 31%에서 멈췄다. 실행 시간을 더 주면 컴파일 오류와 익숙한 패턴은 고칠 수 있어도, 통신 토폴로지의 새 트레이드오프를 추론하는 능력이 자동으로 생기지는 않았다.
A100에서 B200으로 BF16 Tensor Core 성능은 7.2배 늘었지만 노드 내부 통신은 3배 향상됐다. 계산 최적화가 진전될수록 병목이 통신으로 이동하므로, 생성 코드 평가는 실제 하드웨어 경로와 프로파일링을 포함해야 한다.
이 결과는 특정 벤치마크와 하드웨어·기준선에서 나온다. LLM은 CUDA 초안과 컴파일 오류 수정에 유용하지만, 수치를 모든 커널 생성 능력으로 일반화할 수는 없다. 토폴로지 인지 프로파일링과 사람이 정립한 성능 원리 검증이 여전히 필요하다.
북마크를 고르는 중…