8월 21일 금요일

AI가 일을 대신할수록, 우리는 무엇을 맡기고 어디에서 멈춰 세워야 하는가?

AI를 업무에 붙이는 순간의 핵심 변화는 답변이 빨라지는 것이 아니라, 시스템 안에서 실제 행동을 수행하는 주체가 하나 더 생긴다는 점이다. Deno의 장애 대응에서 에이전트는 Postgres, Kubernetes, ClickHouse, AWS, GitHub, Slack의 맥락을 함께 보고 인간 SRE의 진단을 자동화할 수 있었다. 그러나 같은 연결과 쓰기 권한은 사용자 테이블이나 프로덕션 네임스페이스를 지우는 행동으로도 이어질 수 있다. 영상 제작의 Reelful은 원본 분석과 편집 계획 뒤에 사용자 승인을 두고, Maven Clinic은 업무를 자동화하되 오류 비용에 따라 검증과 사람에게 넘기는 경로를 나눈다. 세 사례의 공통점은 AI를 믿을지 말지의 이분법이 아니다. 어떤 일은 자동 실행하고, 어떤 일은 확인을 거치며, 어떤 일은 사람에게 돌려보낼지 업무의 경계를 다시 설계하는 것이다.

1. 01

   넓은 권한은 능력과 위험을 동시에 키운다

   Deno 팀은 장애를 진단하려면 에이전트가 여러 운영 시스템의 데이터를 함께 읽어야 한다고 설명한다. 하지만 psql이나 kubectl로 변경할 수 있다면, 지원 티켓이나 로그에 섞인 프롬프트 인젝션이 판단을 바꿀 여지가 생긴다. 그래서 방어선은 모델의 선의가 아니라 에이전트 바깥의 네트워크에 놓인다. Claw Patrol은 HTTP와 PostgreSQL 프로토콜의 동작을 해석해 정책에 따라 차단하거나 사람의 승인을 기다리게 한다.

2. 02

   창작 자동화도 승인과 수정의 순간을 남긴다

   Reelful은 미디어와 방향을 받은 에이전트가 좋은 장면을 고르고, 뺄 부분을 판단하고, 자막과 음악을 조합하게 한다. 이미 찍힌 원본에서 선택하고 배열하는 일이 어렵기 때문에 편집 전에 크리에이티브 계획을 보여 주고 승인을 받는다. 이후 원격 샌드박스와 Remotion 컴포지션, 검증 계층이 작동하고 완성 후에도 사용자가 특정 구간이나 자막을 고칠 수 있다. 자동화 속에 사람의 취향과 통제권을 남긴 설계다.

3. 03

   실패 비용이 높을수록 사람에게 돌아오는 길이 필요하다

   Maven Clinic의 AI 네이티브 조직은 도구 하나가 아니라 업무·제품·문화의 재설계다. 동시에 예약처럼 재시도로 회복할 수 있는 오류와 환급처럼 고객에게 손해를 줄 수 있는 오류를 구분한다. 후자의 경우 여러 모델이 합의하지 못하면 사람 상담원에게 연결하고, 출시 전 테스트와 출시 후 표본 평가를 이어 간다. 자동화의 성숙도는 사람을 얼마나 빨리 없애느냐가 아니라 불확실성을 알아차리고 넘길 수 있느냐로 측정된다.

공통 원칙은 실패해도 회복할 수 있는 일에서 시작하고, 실행 전에 계획을 확인하며, 모델의 결과를 별도 검증 계층에서 다시 보는 것이다. 외부 시스템이나 사람의 돈과 권리에 영향을 주는 일은 자동화의 끝이 아니라 승인과 이관의 시작이어야 한다. AI가 똑똑해질수록 무엇을 맡겨도 되는지 구분하는 책임은 더 선명해진다. 이 경계는 추상적인 원칙이 아니라 운영 절차로 나타난다. Claw Patrol은 에이전트가 내보내는 바이트를 프로토콜별로 해석하고, HCL 정책과 자격 증명 주입으로 허용 범위를 관리한다. 위험하지만 정당할 수 있는 action은 LLM judge를 거친 뒤 Slack의 사람 승인을 기다리게 할 수도 있다. Reelful은 실제 렌더링 전에 크리에이티브 계획을 승인받고, 원격 샌드박스의 컴포지션과 결과를 검증한다. Maven은 실패 비용에 따라 자동화 범위를 나누고, 수백 개의 통합 테스트와 출시 후 평가를 운영하며, 모델들이 합의하지 못하는 환급 사례는 사람 상담원에게 이관한다. 이 절차들은 AI를 덜 쓰자는 주장이 아니라, 쓰기 권한·창작 방향·고객 손해처럼 서로 다른 위험을 같은 방식으로 다루지 말자는 제안이다. 자동화의 품질은 한 번의 성공률보다 실패했을 때 피해를 좁히는 설계로 판단해야 한다. 검증과 승인은 반복되어야 한다.