8월 31일 월요일

모델이 빠르게 바뀌는 환경에서 무엇을 표준화하고 무엇을 계속 지워야 하는가

두 원문은 겉으로는 반대 방향을 말한다. 하나는 스킬을 개인 프롬프트에서 떼어내 레지스트리, 메타데이터, 버전, 접근 제어, 평가를 갖춘 조직 자산으로 만들자고 한다. 다른 하나는 새 모델이 나오면 시스템 프롬프트와 하네스를 걷어 내고, 실제 실패가 반복될 때만 필요한 지시를 복원하라고 한다. 함께 읽으면 표준화의 대상이 선명해진다. 안정적으로 남길 것은 도구 권한, 샌드박스, 검증 인터페이스, 소유권, 버전과 배포 이력처럼 실행을 통제하고 결과를 판정하는 제어면이다. 프로젝트 지침은 그 안에서도 불변의 안전·업무 규칙과 특정 모델의 약점을 메우는 보정 지시로 나눠 후자만 삭제·재검증해야 한다. 중복 도구와 포화된 평가 역시 폐기 가능한 보정층이다. 모든 것을 중앙화하면 낡은 제약이 조직 전체로 증폭되고, 아무것도 표준화하지 않으면 팀마다 같은 스킬을 다시 만들며 품질과 보안 경계를 잃는다. 기술적 과제는 중앙화 여부를 고르는 것이 아니라 두 수명주기를 분리하는 데 있다.

1. 01

   내부 루프와 외부 루프의 계약을 먼저 그린다

   내부 루프는 컨텍스트 관리자, 도구와 MCP, 메모리·상태, 스킬 로더가 한 작업을 추론하고 실행하는 범위다. 외부 루프는 여러 단계, 서브 에이전트, 훅, 사람의 승인과 조직 워크플로를 조정한다. 스킬은 두 루프 사이에서 조직 노하우를 실행 가능한 단위로 전달한다. 따라서 스킬의 입력·출력과 실패 조건은 내부 루프에 맞게 작아야 하고, 순서·권한·승인·재시도는 외부 루프가 소유해야 한다. 한 스킬이 전체 제품 수명주기를 떠안으면 재사용과 조합이 어려워지고, 반대로 워크플로가 세부 업무 지식을 직접 품으면 하네스를 바꿀 때마다 노하우가 함께 깨진다.

2. 02

   스킬 경계는 마이크로서비스처럼 검토한다

   원문이 제시하는 설계 기준은 재사용성, 모듈성, 발견 가능성, 이동성, 전문화, 조합성, 일관성이다. 실제 검토에서는 한 스킬이 한 작업을 구체적으로 정의하는지, 다른 스킬과 같은 로직을 중복하지 않는지, 필요한 시점에 필요한 정보만 컨텍스트에 공개하는지 확인해야 한다. 검색 가능한 카탈로그와 소유자가 없으면 개인 컴퓨터에 복제본이 쌓이고, 접근 제어와 정적 평가가 없으면 프롬프트 인젝션이나 민감한 비즈니스 로직 노출도 조직이 추적하기 어렵다. 레지스트리는 파일 보관소가 아니라 이 경계를 검사하는 배포 관문이어야 한다.

3. 03

   모델 보정은 삭제 후 실패 관찰로 재생성한다

   새 모델에 필요한 지시를 과거 경험만으로 예측하지 않는다. 커스텀 프롬프트와 도구를 걷어 낸 기준선에서 실제 과제를 실행하고, 잘하는 지점과 반복해서 막히는 지점을 관찰한 뒤 필요한 보정만 되돌린다. Claude Code 사례에서 남은 하네스의 중심이 안전성, 권한, 정적 분석, 사용자 인터페이스라는 점은 이 구분을 보여 준다. 평가도 영구 자산이 아니다. 한두 세대, 길면 세 모델 세대 뒤 쉽게 통과해 변별력을 잃을 수 있으므로, 현실의 새 반복 실패를 다음 평가 세트로 바꿔야 한다. 삭제는 단순 정리가 아니라 현재 모델의 실제 능력을 다시 측정하는 실험이다.

4. 04

   병렬성보다 검증 가능한 단계 구조가 먼저다

   동적 워크플로는 첫 에이전트 집합이 과제를 나눈 뒤 다른 집합이 결과를 검증·요약하고, 그 결과에 따라 다시 후속 작업을 확장하는 구조다. 에이전트 수를 늘리는 것만으로는 생산적 컴퓨트가 되지 않는다. 14~15일간 이어진 네이티브 앱 재작성 실험에서는 Electron과 Swift 구현을 같은 환경에서 실행하고 화면을 비교하는 검증 수단이 자기 교정의 신호가 됐다. 조직 스킬도 같은 원리를 적용해야 한다. 각 단계의 산출물을 다음 단계가 기계적으로 판정할 수 있어야 하며, 검증 결과가 없으면 병렬 fan-out을 계속하지 않도록 종료 조건을 둬야 한다.

구현 체크리스트는 두 층으로 나눌 수 있다. 제어면에는 스킬 ID와 소유자, 버전, 입력·출력, 허용 도구, 샌드박스, 승인 지점, 검증기, 실행 흔적을 둔다. 모델 보정층에는 특정 모델 버전, 관찰된 반복 실패, 이를 재현하는 평가, 추가 지시 또는 도구, 폐기 조건을 함께 기록한다. 모델 교체 때는 제어면을 유지한 채 보정층을 비우고 동일 과제를 다시 실행한다. 실패가 재현되지 않으면 복원하지 않고, 재현되면 가장 좁은 지시만 되돌린다. 다만 장기 앱 재작성과 대규모 스킬 거버넌스는 원문에 제시된 사례와 설계 주장이지 모든 코드베이스에서 같은 기간이나 에이전트 수를 보장하는 벤치마크는 아니다. 일반화할 수 있는 범위는 결과를 검증할 방법 없이 병렬성·지시·카탈로그만 늘려서는 품질을 판정할 수 없다는 구조적 경계까지다.