장기 지속형 에이전트는 프롬프트보다 실험이 필요하다

• 원문 URL: https://www.youtube.com/watch?v=x4e5O9zN0TE
• 처리 날짜: 2026-09-27
• 채널: aiDotEngineer
• 발표자: Erina Karati

메타데이터

• 콘텐츠 유형: YouTube 기술 발표 심층 다이제스트
• 주제: 장기 지속형 에이전트(Long-Horizon Agent), 다중 에이전트 사회, 자동 연구(Auto Research), 행동 평가
• 핵심 사례: Supercell AI Innovation Lab의 Project Paradox와 게임형 AI Village
• 핵심 기술: 상태 저장 에이전트(Stateful Agent), 검색 증강 생성(RAG), 기억·감정·신뢰·출처 귀속·재계획
• 원문 제목: Long-Horizon Agents Need Experiments, Not Just Prompts — Erina Karati
• 영상 ID: x4e5O9zN0TE

핵심 질문/핵심 논점

==장기 지속형 에이전트는 프롬프트를 계속 손보는 방식이 아니라, 통제된 시나리오·추적 로그·균형 잡힌 점수표를 이용한 반복 실험으로 개선해야 한다.==

• 한 번의 멋진 데모나 단일 응답의 품질은 에이전트가 긴 시간 동안 상태를 유지하며 사회적 행동을 이어가는 능력을 증명하지 못한다.
• 각 에이전트가 무엇을 보았고, 누구에게 들었고, 무엇을 사실·소문·추측으로 믿는지 추적해야 장기 행동의 실패를 진단할 수 있다.
• Project Paradox는 여러 자율 에이전트가 상호작용하는 실험용 게임 환경이며, 자동 연구 계층은 그 바깥에서 전체 실행 기록을 읽고 작은 정책 변경을 검증하는 메타 시스템이다.
• 기억 회상률 하나만 높이면 과도한 정보 공유, 낡은 기억 사용, 개인정보 유출 같은 부작용이 생길 수 있으므로 전파·출처·불확실성·계획·프라이버시를 함께 측정해야 한다.
• 개선은 점수와 안전 가드레일을 모두 통과한 변경만 남기는 래칫(ratchet) 과정이어야 하며, 나머지 변경은 되돌려야 한다.

장기 에이전트의 핵심 문제는 단순히 더 많은 기억을 저장하는 일이 아니다. 기억의 출처와 확실성, 현재 믿음과 원시 사건 기억의 구분, 다른 에이전트와의 정보 전달 규칙, 새로운 사실에 대한 재계획이 함께 유지되어야 한다. 따라서 개발자는 애플리케이션 전체를 무제한 수정하게 하지 않고, 고정된 평가 장치 안에서 제한된 정책 공간만 탐색하게 해야 한다.

Project Paradox와 상태 저장 AI Village

게임 세계에 자율 에이전트를 꽂아 넣는 모듈형 프레임워크

1. Project Paradox의 출발점

   • Erina Karati는 Microsoft와 Supercell에서 엔지니어로 일한 경험을 바탕으로 Supercell AI Innovation Lab에서 Project Paradox를 개발했다.
   • Project Paradox는 개발자가 지능형 자율 에이전트(Intelligent Autonomous Agent)를 비디오 게임 안에 모듈로 연결할 수 있는 프레임워크다.
   • 에이전트는 다른 플레이어나 에이전트와 상호작용하고, 경쟁하거나 협력하며, 게임 속 동적 동료(Dynamic Game Companion)가 될 수 있다.

2. 의도와 내부 상태를 가진 행위자

   • 에이전트는 단순히 정해진 애니메이션을 재생하지 않고 의도(Intent)에 따라 장소나 사람에게 이동한다.
     • 이동 방향은 자체 기억(Memory), 감정(Emotion), 호기심(Curiosity)의 영향을 받는다.
   • 세계와의 상호작용도 가능하다.
     • 물건을 집어 들고, 원하는 곳에 내려놓으며, 주변 물체·등장인물·다른 에이전트의 맥락(Context)을 인식한다.
     • 게임 개발자는 물건을 놓는 행동 외에 새로운 행동(Action)을 프레임워크에 추가할 수 있다.
   • 주변 사건은 에이전트의 믿음(Belief)과 감정(Emotion)을 즉시 바꾼다.
   • 에이전트는 다른 에이전트나 플레이어에게 먼저 다가가 대화를 시작한다.
     • 대화는 기억에 저장된다.
     • 대화 내용은 이후 감정·믿음·목표(Goal)에 영향을 준다.

네 가지 상태 구성 요소

1. 에이전트별 기억 공간(Per-Agent Memory Namespace)

   • 각 에이전트는 고유한 기억 네임스페이스를 가지며, 검색 증강 생성(Retrieval-Augmented Generation, RAG)으로 뒷받침된다.
   • 한 에이전트의 기억이 다른 에이전트에게 자동으로 번지지 않도록 설계되어 정보의 관점과 접근 범위를 분리한다.

2. 감정 벡터(Emotion Vector)

   • 사건이나 대화가 끝날 때 기쁨(Joy), 슬픔(Sadness), 두려움(Fear), 분노(Anger), 혐오(Disgust) 같은 값을 작은 벡터로 갱신한다.
   • 같은 사실도 현재 감정 상태에 따라 다른 행동이나 대화로 이어질 수 있다.

3. 믿음 점수와 신뢰 행렬(Belief Scores and Trust Matrix)

   • 에이전트는 다른 에이전트와 플레이어에 대해 별도의 믿음·신뢰 점수를 가진다.
   • 상호작용이 발생하면 언어 모델(Language Model)이 신뢰 점수를 올릴지, 내릴지, 그대로 둘지를 판단한다.
   • 신뢰는 단순한 전역 평판이 아니라 각 에이전트가 가진 관계별 관점이다.

4. 기억 중요도 점수(Memory Importance Score)

   • 모든 기억이 같은 비중으로 저장되지는 않는다.
   • 며칠 전 저녁으로 무엇을 먹었는지는 잊기 쉽지만, 누군가 살해된 사건은 강하게 기억할 가능성이 높다는 비유가 사용된다.
   • 언어 모델이 사건의 중요도 점수를 계산하고 임계값을 넘은 사건을 별도 캐시에 넣으면, 나중에 중요한 맥락을 더 잘 검색할 수 있다.

짧은 시간 범위에서 확인된 능력

1. Blossom의 피크닉 행동

   • 플레이어가 Blossom에게 함께 피크닉을 가자고 요청하면 Blossom은 페이스트리(Pastry)를 집어 피크닉 장소로 이동한다.
   • 대화가 진행되는 동안 Blossom은 요청을 완수하는 데 필요한 행동 순서를 내부적으로 계획한다.
   • 나중에 다시 말을 걸면 앞선 요청과 행동의 맥락을 반영해 대답한다.

2. 단기 실행의 성공 조건

   • 캐릭터는 계획을 세우고, 이동하고, 대화하고, 최근 상호작용을 기억할 수 있다.
   • 최근 기억을 이용해 플레이어나 다른 캐릭터에게 맥락에 맞는 응답을 돌려준다.
   • 이 수준에서는 상태 저장 구조와 RAG 기반 기억이 꽤 잘 작동한다.

장기 사회 행동에서 드러난 실패

망고 판매 소문이 변질되는 과정

1. 정보 전달 사슬

   • 한 에이전트가 다른 에이전트에게 망고 할인 판매 소문을 전한다.
   • 소문을 들은 에이전트는 다시 다른 에이전트에게 그 내용을 전달한다.
   • 전달 사이에 여러 사건과 대화가 끼어들며 정보가 시간에 걸쳐 이동한다.

2. 긴 시간이 지난 뒤의 질의

   • 플레이어가 나중에 에이전트에게 망고 판매에 관해 묻는다.
   • 에이전트는 주제의 대략적인 내용은 기억할 수 있지만, 누가 처음 말했는지에 대한 출처 맥락을 잃을 수 있다.
   • 원래 소문이었던 내용이 확정된 사실처럼 굳어질 수 있다.
   • 어떤 에이전트가 사실을 알고 있어도 행동 계획을 세우는 과정에서 그 사실을 기억하거나 실행하지 못할 수 있다.

단일 응답 평가로는 잡히지 않는 문제

1. 사회적 일관성의 붕괴

   • 짧은 게임플레이에서 성공한 기억·계획·대화가 긴 시간 동안 같은 품질을 유지한다는 보장은 없다.
   • 실패 지점은 응답 한 문장이 아니라 정보의 전파, 출처 보존, 불확실성, 계획 수립 사이의 연쇄에 있다.

2. 문제 정의의 전환

   • 질문은 “이번 응답이 괜찮았는가?”가 아니라 “긴 사회적 행동 전체가 개선되었는가?”가 되어야 한다.
   • 따라서 한 번의 출력이 아니라 한 번의 전체 실행(Entire Run)을 평가 단위로 삼아야 한다.

자동 연구를 이용한 실험 루프

Project Paradox를 실험대(Lab Bench)로 보기

1. 자동 연구(Auto Research)의 계기

   • Karpathy가 자동 연구에 관해 게시한 뒤, 자기 자신을 대상으로 실험하는 시스템을 Project Paradox에 적용할 수 있는지 검토하기 시작했다.
   • 수동으로 프롬프트를 조정하거나 보기 좋은 데모만 반복하는 방식에서 벗어난다.

2. 실험 루프의 기본 형태

   • 통제된 시나리오 묶음(Scenario Suite)을 정의한다.
   • 에이전트를 실행하고 구조화된 추적 로그(Structured Trace)를 수집한다.
   • 사회 행동을 점수화한다.
   • 작은 정책 표면(Small Policy Surface)에 제한된 변경을 적용한다.
   • 점수와 가드레일이 실제로 좋아진 변경만 남긴다.

3. 역할 분리

   • Project Paradox는 여러 에이전트가 상호작용하는 마을이자 실험대다.
   • 자동 연구 계층은 마을 안의 주민이 아니다.
     • 주민은 직접 보고, 듣고, 기억하고, 추론한 것만 안다.
     • 주민 사이에 공통 기억 데이터베이스는 존재하지 않는다.
     • 정보는 다른 에이전트가 적절히 전달했을 때만 이동한다.
   • 자동 연구 계층은 마을 바깥의 메타 시스템(Meta System)이다.
     • 실행 전체의 추적 로그를 읽는다.
     • 시나리오의 정답 또는 기준 상태(Ground Truth)와 실제 행동을 비교한다.
     • 행동을 점수화하고 에이전트 프로토콜(Agent Protocol) 또는 인지 정책(Cognitive Policy)의 제한된 변경을 제안한다.
     • 같은 시나리오를 다시 실행해 사회 수준의 행동이 좋아졌는지 확인한다.

RAG 개선을 넘어 에이전트 프로토콜 최적화하기

1. 최적화 대상

   • 기억을 어떻게 작성하고(Memory Writing), 어떤 기억을 검색하는지(Retrieval)를 조정한다.
   • 불확실성을 다른 에이전트에게 어떻게 전달하는지 정한다.
   • 신뢰 속성을 어떻게 갱신하는지 정의한다.
   • 정보의 출처를 어떻게 귀속하고 보존하는지 규칙화한다.
   • 새로운 사실을 알게 된 뒤 언제 어떻게 재계획(Replanning)하는지 정의한다.

2. 실험 단위의 변화

   • 기억 검색 결과가 좋아졌는지만 묻지 않는다.
   • 사실이 사회 안에서 올바르게 전파되었는지, 출처와 불확실성이 살아남았는지, 에이전트가 실제로 아는 내용을 행동에 반영했는지를 함께 묻는다.

통제된 자동 연구 루프의 단계

1. 통제 시나리오 정의

   • 한 에이전트가 공공 사실을 배우거나 다른 에이전트에게 소문을 듣는 상황처럼 재현 가능한 시작 조건을 만든다.
   • 시작 상태와 기대 결과를 명확히 해 실행 간 비교가 가능하도록 한다.

2. 시뮬레이션 실행과 추적 수집

   • 관찰(Observations), 대화(Conversations), 기억 쓰기(Memory Writes), 기억 검색(Retrievals), 믿음 갱신(Belief Updates) 등 필요한 모든 흔적을 수집한다.

3. 행동 점수화

   • 정보가 기대한 경로로 퍼졌는지 확인한다.
   • 정보를 아는 에이전트가 최초 출처를 기억하는지 확인한다.
   • 소문의 불확실성이 불확실한 상태로 남는지 확인한다.
   • 에이전트가 실제로 아는 사실에 근거해 행동하는지 확인한다.

4. 제한된 정책 변경 제안

   • 자동 연구 계층은 애플리케이션 전체를 다시 쓰지 않는다.
   • 미리 정한 정책 표면의 작은 부분만 수정한다.

5. 재실행과 채택 또는 롤백

   • 변경한 정책으로 같은 시나리오를 다시 실행한다.
   • 점수가 개선되고 안전 가드레일이 유지되면 변경을 채택한다.
   • 그렇지 않으면 이전 버전으로 즉시 되돌린다.

시나리오 설계와 균형 잡힌 점수표

통제된 시나리오가 필요한 이유

1. 자유로운 방랑의 한계

   • 에이전트를 환경에 풀어 두면 멋진 장면과 자연스러운 상호작용이 나올 수 있다.
   • 그러나 실행마다 사건과 상호작용이 달라져 실제 시스템 개선 여부를 판별하기 어렵다.
   • 사회 행동은 모호하므로 재현 가능한 시나리오 묶음이 필요하다.

2. 공통 설계 원칙

   • 모든 시나리오가 보편적인 정답일 필요는 없다.
   • 중요한 점은 장기 에이전트 행동을 평가할 수 있을 만큼 시작 조건·기대 상태·측정 항목을 통제하는 것이다.

대표 통제 시나리오

1. 공공 사실 전파(Public Fact Diffusion)

   • 에이전트 A가 “빵집이 내일 문을 닫는다”는 사실을 배운다.
   • 적절한 에이전트가 그 사실을 알게 되는지 확인한다.
     • 누가 누구에게 말했는지 기억하는지 확인한다.
     • 사실에 따라 기존 계획을 바꾸는지 확인한다.

2. 소문 불확실성(Rumor Uncertainty)

   • 에이전트 A가 “에이전트 C가 마을을 떠날지도 모른다”는 말을 듣는다.
   • 정보가 퍼지는 동안 “떠날지도 모른다”가 “떠난다”로 바뀌지 않는지 확인한다.
   • 불확실한 주장이 사실로 굳어지지 않고 계속 소문으로 남는지 측정한다.

3. 재계획(Replanning)

   • 집단이 이동 계획을 세운 뒤, 한 에이전트가 목표 경로가 막혔다는 사실을 알게 된다.
   • 에이전트가 변경 사실을 서로 공유하고 계획을 갱신하는지 확인한다.
   • 막힌 경로를 계속 따라가는 부적절한 행동이 사라지는지 측정한다.

단일 품질 점수를 거부하는 이유

1. 다차원 균형 점수표(Balanced Scorecard)

   • “에이전트 품질”처럼 모호한 하나의 지표는 흥미로운 실패를 숨긴다.
   • 정보 전파(Diffusion)는 일정 단계가 지난 뒤 사실을 아는 에이전트 수인 도달률(Reach)로 측정할 수 있다.
   • 출처(Provenance)는 사실을 아는 에이전트 중 최초 출처를 기억하는 비율로 측정할 수 있다.
   • 소문은 불확실성 보존(Uncertainty Preservation)과 사실로 잘못 굳는 비율(False Certainty Rate)로 측정한다.
   • 계획은 행동 일관성(Action Consistency)과 재계획까지 걸린 시간(Time to Replan)으로 측정한다.
   • 프라이버시는 정보가 허가되지 않은 대상에게 새어 나가지 않는지 나타내는 봉쇄율(Containment)로 측정한다.

2. 한 지표만 최적화할 때의 부작용

   • 전파율만 높이면 에이전트가 모든 정보를 과도하게 공유하는 방향으로 학습할 수 있다.
   • 기억 회상률만 높이면 중요하지 않은 기억까지 쌓이는 잡음과 낡은 기억 사용이 늘어날 수 있다.
   • 자동 연구 계층은 특정 점수 하나만 올리는 식으로 평가를 공략(Gamification)할 수 있다.
   • 균형 점수표는 전파·출처·불확실성·계획·프라이버시 사이의 정직한 균형을 강제한다.

작은 정책 표면과 구체적인 변경 예시

평가 장치를 얼리고 검색 범위를 제한하기

1. 고정해야 할 요소

   • 테스트 하네스(Harness), 시나리오, 측정 지표는 자동 연구 과정에서 동결한다.
   • 자동 연구 계층이 평가 자체를 직접 바꿔 점수를 올리는 일을 막는다.

2. Project Paradox에서 열어 둔 정책 표면

   • 기억 작성 정책(Memory-Writing Policy)
   • 검색 정책(Retrieval Policy)
   • 통신 프롬프트(Communication Prompt)
   • 믿음·신뢰 규칙(Belief and Trust Rules)
   • 출처 귀속(Source Attribution)
   • 재계획 트리거(Replanning Triggers)

3. 무작위 코드 패치와 정책 공간 탐색의 차이

   • 언어 모델이 코드베이스를 무작위로 고치는 방식은 원인과 효과를 통제하기 어렵다.
   • 제한된 정책 공간 안에서만 탐색하면 어떤 규칙이 사회 행동을 바꾸었는지 추적할 수 있다.
   • 작은 프로토콜 변경도 다중 에이전트 사회 전체의 행동에는 큰 효과를 낼 수 있다.

출처가 사라질 때

1. 실패 양상

   • 에이전트가 내용은 기억하지만 누가 말했는지 기억하지 못한다.

2. 정책 변경

   • 기억과 기억 요약을 작성할 때 출처를 함께 보존하도록 한다.
   • 사실 자체만 저장하지 말고 “누가 무엇을 말했는가”를 기억 레코드에 남긴다.

소문이 사실로 굳을 때

1. 실패 양상

   • 1차 정보(Firsthand)와 2차 정보(Secondhand)가 섞이고, 추정이나 소문이 확정 사실처럼 전달된다.

2. 정책 변경

   • 기억에 신뢰도 표식을 저장한다.
   • 1차 정보와 2차 정보를 구분한다.
   • 불확실한 주장을 다시 말할 때 완화 표현(Hedging)을 요구한다.

공공 사실이 개인 기억에 갇힐 때

1. 실패 양상

   • 한 에이전트가 중요한 공공 사실을 알아도 다른 에이전트에게 전달하지 않는다.

2. 정책 변경

   • 유용한 공공 사실을 별도로 분류한다.
   • 중요한 근거와 출처를 함께 보존하면서 에이전트가 먼저 공유하도록 한다.

과도한 일반화에 대한 주의

1. 검증되지 않은 주장 금지

   • 반복된 현재 루프 결과가 없으면 시스템이 일반적으로 개선되었다고 주장할 수 없다.
   • 제안된 결론은 통제하기에 충분히 작으면서 사회 행동을 바꿀 만큼 풍부한 정책 표면이 자동 연구 계층에 적합하다는 수준이다.

2. 실험 설계가 먼저인 이유

   • 개별 데모의 성공은 정책 변경의 일반적 유효성을 보장하지 않는다.
   • 여러 시나리오와 반복 실행을 통과한 변화만 장기 행동 개선의 증거가 된다.

기억 이상의 인지 구조와 롤백

RAG 기억만 추가해서는 충분하지 않은 이유

1. 기억의 출처와 확실성

   • 에이전트는 정보가 어디서 왔는지 알아야 한다.
   • 정보가 직접 본 것인지, 다른 에이전트에게 들은 것인지, 검증된 것인지, 불확실한 것인지 보존해야 한다.

2. 사건 기억과 현재 믿음의 분리

   • 원시 에피소드 기억(Raw Episodic Memory)과 현재 에이전트가 믿는 내용(Current Belief)을 같은 것으로 취급하면 해석과 행동이 꼬인다.
   • 과거에 들은 기록과 현재의 결론을 분리해야 출처·모순·업데이트를 관리할 수 있다.

3. 분위기 대신 시나리오로 검증하기

   • 자연스러워 보이는 대화나 재미있는 상호작용만으로 장기 행동을 판정할 수 없다.
   • 명시적 시나리오와 행동 지표가 있어야 기억·전파·계획의 실제 품질을 측정할 수 있다.

롤백은 선택 사항이 아니다

1. 한 영역의 개선이 다른 영역을 망칠 수 있음

   • 공공 사실을 빠르게 퍼뜨리는 정책은 사적 정보까지 유출할 수 있다.
   • 기억 회상률을 높이는 정책은 오래되어 더 이상 맞지 않는 기억의 사용을 늘릴 수 있다.

2. 래칫(Ratchet) 방식

   • 변경을 시도한다.
   • 균형 점수표와 안전 가드레일로 평가한다.
   • 전체 점수와 가드레일이 함께 좋아졌을 때만 다음 단계로 전진한다.
   • 한 지표 개선 때문에 다른 지표가 훼손되면 변경을 폐기하고 이전 상태로 롤백한다.

게임 밖의 장기 지속형 에이전트

공통 문제: 시간이 지나도 상태가 다음 행동을 바꾼다

1. 고객 지원 에이전트(Support Agent)

   • 답변 정책이 어디에서 왔는지 알고, 새 정책이 오래된 답변을 대체하는지 판단해야 한다.

2. 개인 비서(Personal Assistant)

   • 이전에 한 약속과 사용자의 변경 요청을 기억해야 한다.
   • 사용자가 약속을 바꾸면 기존 커밋먼트(Commitment)를 수정하고 그 변경을 이후 행동에 반영해야 한다.

3. 연구 에이전트(Research Agent)

   • 인용 출처(Provenance Citation), 모순 처리(Contradiction Handling), 가설 업데이트(Hypothesis Update)가 필요하다.

4. 코딩 에이전트(Coding Agent)

   • 여러 이슈, 파일, 팀원, 계속 바뀌는 요구사항을 가로질러 긴 맥락을 유지해야 한다.

5. 워크플로 에이전트(Workflow Agent)

   • 접근 제어(Access Control), 업무 인계(Handoff), 외부 세계 변화에 따른 재계획이 필요하다.

6. 공통 평가 제안

   • 모든 사례는 시간이 지나며 상태를 유지하고, 그 상태가 미래 행동에 영향을 준다.
   • 따라서 게임 에이전트뿐 아니라 통제 시나리오와 행동 점수표를 사용해야 한다.

실무 레시피와 결론

장기 지속형 에이전트의 실험 레시피

1. 하네스를 동결한다.

   • 평가 장치가 실험 중 바뀌지 않도록 고정한다.

2. 시나리오를 정의한다.

   • 전파·출처·소문·재계획·프라이버시를 재현 가능한 사건으로 만든다.

3. 추적 로그를 기록한다.

   • 관찰, 대화, 기억 쓰기, 검색, 믿음 변화, 행동을 구조화해 저장한다.

4. 행동을 점수화한다.

   • 단일 품질 수치 대신 균형 점수표를 사용한다.

5. 작은 정책 표면만 노출한다.

   • 기억·통신·출처·신뢰·재계획 같은 제한된 규칙만 자동 연구 대상이 되게 한다.

6. 변경을 탐색하고 측정에 살아남은 것만 보존한다.

   • 통제된 실행에서 실제로 나아진 변경만 채택한다.
   • 핵심 질문은 “통제된 여러 실행에서 시스템이 더 나은 행동을 했는가?”다.

Project Paradox가 드러낸 더 깊은 문제

1. 생생한 캐릭터의 표면

   • Project Paradox는 처음에 3차원 세계에서 게임 에이전트를 살아 있는 존재처럼 느끼게 하려는 시도였다.
   • 애니메이션이나 대화 자체가 가장 깊은 엔지니어링 문제는 아니었다.

2. 실제 핵심은 사회적 상태(State)

   • 어느 에이전트가 무엇을 알고 있는가.
   • 어느 에이전트가 누구에게 무엇을 말했는가.
   • 어떤 정보가 참인지, 불확실한지, 낡았는지.
   • 에이전트가 기억한 내용을 실제 행동에 반영하는가.

3. 자동 연구의 역할

   • 자동 연구는 한 번의 데모를 믿거나 프롬프트를 끝없이 손보는 방법이 아니다.
   • 통제 실험을 실행하고 측정에서 살아남은 변경만 보존하는 체계적 접근이다.
   • 장기 지속형 에이전트에는 단순한 프롬프트가 아니라 실험이 필요하다.

주요 발언 모음

• “장기 지속형 에이전트에는 프롬프트만이 아니라 실험이 필요하다.”
• “이제 하나의 응답을 평가하는 것이 아니라 전체 실행을 평가한다.”
• “자동 연구는 마을 안의 또 다른 에이전트가 아니라 마을 바깥의 메타 시스템이다.”
• “전파만 최적화하면 에이전트가 모든 것을 과도하게 공유하도록 만들 수 있다.”
• “기억에 RAG를 추가하는 것만으로는 원하는 장기 행동을 얻을 수 없다.”
• “변경을 시도하고, 점수를 매기고, 점수표와 가드레일이 좋아질 때만 유지하는 래칫이 필요하다.”
• “통제된 여러 실행에서 시스템이 더 나은 행동을 하는지가 진짜 질문이다.”
• “무작위 패치를 쓰는 언어 모델과 통제된 정책 공간을 탐색하는 언어 모델은 다르다.”

핵심 데이터 & 수치

• 영상 길이: 약 21분 11초
• 사례 시스템: Project Paradox 기반 다중 에이전트 AI Village
• 에이전트 상태의 핵심 축: 에이전트별 기억 공간, 감정 벡터, 관계별 믿음·신뢰 점수, 기억 중요도 점수
• 감정 벡터 예시: 기쁨, 슬픔, 두려움, 분노, 혐오
• 통제 시나리오 예시: 공공 사실 전파, 소문 불확실성 보존, 경로 차단 후 재계획
• 행동 점수 축: 도달률, 출처 유지, 불확실성 보존, 거짓 확실성 비율, 행동 일관성, 재계획 시간, 정보 봉쇄
• 평가 단위: 개별 응답이 아닌 전체 실행
• 자동 연구 변경 범위: 전체 코드베이스가 아닌 제한된 정책 표면
• 대표 정책 표면: 기억 작성, 검색, 통신 프롬프트, 믿음·신뢰, 출처 귀속, 재계획 트리거

결론 및 시사점

장기 지속형 에이전트의 병목은 기억 저장량이나 프롬프트 문구만으로 해결되지 않는다. 시간이 흐르면서 정보가 누구에게서 왔는지, 얼마나 확실한지, 현재 믿음과 어떻게 연결되는지, 새로운 사실이 계획을 어떻게 바꾸는지를 안정적으로 관리해야 한다. 다중 에이전트 환경에서는 개별 응답이 자연스러워도 사회 전체의 정보 흐름이 틀릴 수 있으므로 평가 단위를 전체 실행으로 올려야 한다.

실행 가능한 설계는 하네스·시나리오·지표를 고정하고, 전파·출처·불확실성·계획·프라이버시를 함께 측정하며, 기억·통신·신뢰·출처·재계획 정책 중 작은 영역만 자동 연구에 공개하는 방식이다. 자동 연구는 개선 후보를 만들지만, 균형 점수표와 가드레일을 통과한 변경만 남기는 판단 체계가 품질을 결정한다. 이 원칙은 게임 캐릭터에서 고객 지원, 개인 비서, 연구, 코딩, 워크플로 에이전트까지 그대로 확장된다.

핵심 요약 (20줄)

장기 지속형 에이전트의 품질은 한 번의 멋진 데모나 단일 응답으로 증명되지 않는다. Project Paradox는 자율 에이전트를 게임 세계에 연결하는 모듈형 다중 에이전트 프레임워크다. 에이전트는 기억·감정·호기심에 기반해 이동하고 물체·인물·다른 에이전트와 상호작용한다. 각 에이전트는 RAG로 뒷받침되는 독립 기억 공간을 가져 기억이 서로 자동으로 섞이지 않는다. 감정 벡터와 관계별 신뢰 점수는 사건과 대화 뒤 에이전트의 상태를 갱신한다. 기억 중요도 점수는 사소한 일상과 강렬한 사건을 서로 다른 우선순위로 저장하게 한다. 짧은 시간 범위에서는 계획·이동·대화·최근 기억을 이용한 행동이 비교적 잘 작동한다. 긴 시간이 지나면 소문의 출처가 사라지고 불확실한 정보가 사실처럼 굳어질 수 있다. 에이전트가 사실을 기억해도 행동 계획에 반영하지 못하는 장기 실행 실패가 발생한다. 자동 연구는 마을 바깥에서 전체 실행 로그를 읽고 제한된 정책을 반복적으로 검증하는 메타 시스템이다. 실험 루프는 시나리오 정의, 실행, 추적 수집, 행동 점수화, 정책 변경, 재실행으로 구성된다. 통제 시나리오는 공공 사실 전파·소문 불확실성·경로 차단 후 재계획을 재현 가능하게 만든다. 균형 점수표는 전파 도달률·출처 유지·불확실성·행동 일관성·프라이버시를 함께 측정한다. 전파나 기억 회상 하나만 최적화하면 과도한 공유와 낡은 기억 사용 같은 부작용이 생긴다. 하네스·시나리오·지표를 고정하고 자동 연구에는 작은 정책 표면만 공개해야 한다. 출처 보존·1차와 2차 정보 구분·불확실성 표식은 장기 사회 행동의 핵심 정책이다. 새 정책이 한 지표를 개선하면서 다른 지표를 망치면 즉시 롤백해야 한다. 고객 지원·개인 비서·연구·코딩·워크플로 에이전트도 시간에 따른 상태 변화라는 같은 문제를 가진다. 실무 레시피는 하네스 고정, 시나리오 정의, 추적 기록, 행동 점수화, 제한된 정책 탐색이다. 장기 지속형 에이전트는 프롬프트만이 아니라 통제 실험과 측정에 살아남은 변경을 필요로 한다.