AI 연구 자동화와 재귀적 자기개선의 분기점

URL: https://www.youtube.com/watch?v=PrSf7IOYu-I 날짜: 2026-09-19 채널: Dwarkesh Patel 원문 제목: AI researchers debate how close we are to recursive self-improvement 참여자: Baron Militch(Zyra CTO), John Schulman(Thinking Machines Chief Scientist, 전 OpenAI 공동창업자·RLHF 연구 책임자), Charlie O'Neal(Base10 모델 학습 책임자), Dwarkesh Patel

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==Transformer와 Reinforcement Learning(RL)을 계속 확장하면 AI가 AI 연구개발(R&D)을 자동화하고 재귀적 자기개선(Recursive Self-Improvement, RSI)에 들어갈 수 있는가?==

• 2036년에도 초지능이 나타나지 않는다면 가장 유력한 기술적 원인은 무엇인가?
• 현재의 사전학습(Pre-training)+RL 패러다임이 다음의 질적 도약을 스스로 발견할 수 있는가?
• 정해진 목표를 최적화하는 연구와 목표 자체를 정하는 개방형 연구 사이의 간극을 어떻게 넘는가?
• 시뮬레이션 환경, 배포 데이터, 온라인 학습(Online Learning), 장기 기억이 인간의 현장 경험을 대신할 수 있는가?
• RL은 한 에피소드에서 얻는 정보량이 적은데도 왜 최근 모델의 능력을 질적으로 끌어올리는가?

세 연구자는 현재 추세가 가까운 시기에 AI 연구 생산성을 크게 높일 가능성에는 동의하지만, 연구 목표를 새로 정하는 능력, 현실의 비정상적 장기 업무를 학습하는 능력, 지식 보존과 장기 기억, 환경의 현실성을 모두 해결해야 완전한 자기추진형 루프가 된다고 본다. 초지능의 시점은 단순한 모델 크기보다 환경 설계, 데이터의 유효 신호, 목표 함수, 추론 비용, 모델의 가소성(plasticity)에 달려 있다.

1. 2036년에 초지능 세계가 오지 않는다면

현재의 능력 향상이 계속되어도 세계가 곧바로 초지능 사회로 바뀌지 않을 가능성을 기술적 병목 관점에서 검토한다.

1.1. 벤치마크 능력과 현실 영향 사이의 간극

1. 일반화의 불꽃이 끝내 나타나지 않는 시나리오

   1. Baron은 Moravec's paradox에 가까운 상황을 제시한다. AI가 어려운 수학 문제를 풀고 체스에서 이겨도, 그 사실이 모든 현실 업무의 영향력으로 자동 전환되지는 않는다.
   2. AI가 사람이 벤치마크와 환경에 집어넣은 문제에는 극도로 강해지지만, 실제 세계로 옮기는 sim-to-real 전환에서 계속 막힐 수 있다.
   3. 메타러닝(meta-learning)의 일반화와 지속학습(continual learning)이 지나치게 어렵다면, 모델은 모든 테스트에서는 좋아 보여도 현실의 새 상황에서 약한 채 남는다.
   4. Baron은 이 가능성을 기본 시나리오로 삼지만, 실제 RL에서도 이미 어느 정도의 일반화가 관찰되므로 가능성이 높지는 않다고 본다.

2. 인간과 모델 사이의 반복되는 ‘이번이 AGI인가’ 주기

   1. John은 새 모델이 나올 때마다 사람들이 AGI라고 감탄하지만, 한 달가량 사용하면 판단력과 자기검증의 약점이 다시 드러나는 주기가 반복될 수 있다고 말한다.
   2. 인간은 모델보다 판단력, 자기검증, 장기적 맥락 이해에서 앞서며, 새 모델이 특정 약점을 보완해도 남은 가장 약한 부분이 전체 업무의 병목이 된다.
   3. 모델이 사람보다 훨씬 많은 코드를 작성해도 연구·엔지니어링의 검증과 의사결정에서 막히면 생산성이 100배가 되지는 않는다.
   4. 따라서 모델의 절대적 능력 상승과 경제적 영향의 폭발 사이에는 긴 지연이 있을 수 있다.

1.2. 인간 수준을 넘기 직전의 비대칭

1. 체스의 ELO 곡선이 주는 직관

   1. 체스 봇의 ELO는 1980년대 이후 거의 선형적으로 올랐다.
   2. 인간 전문가가 항상 AI를 이기던 영역에서, 특정 임계점을 넘자 인간 전문가가 더는 이기지 못하는 불연속적 결과가 나타났다.
   3. 현재 AI의 경제적 영향이 아직 점진적인 이유는 인간의 ELO 범위 아래에서 능력이 천천히 상승하고 있기 때문일 수 있다.
   4. 인간 수준을 넘기 직전에 점근선(asymptote)에 걸리지 않는다면, 작은 능력 증가가 실제 영향력의 큰 변화를 촉발할 수 있다.

2. 2036년의 비초지능 세계를 만드는 조건

   1. 기술적으로는 인간 ELO에 접근한 뒤에도 일반화·지속학습·자기검증에서 점근선에 부딪히는 경우가 있다.
   2. Baron은 현재 궤도를 보면 인간 연구자를 넘는 시점에 매우 가까워 보이므로, 2035~2036년에도 세계가 평범하다면 규제 같은 외부 충격이 더 현실적인 설명일 수 있다고 본다.
   3. 논의에서는 전쟁, AI 금지, 급격한 규제 같은 정치적 충격은 의도적으로 제외하고 기술적 원인을 우선 분석한다.

2. 현재 패러다임은 어디까지 갈 수 있는가

현재의 Transformer, self-attention, 사전학습, RL 환경 확장이 연구 자동화까지 갈 수 있는지와 다음 불연속을 발견할 수 있는지를 논한다.

2.1. 칩 위의 전역 최적 학습기와 빠른 도약

1. 현재 레시피의 가정

   1. Transformer와 RL을 합친 현재 레시피가 칩 위에 구현 가능한 학습기의 전역 최적(global optimum)에 얼마나 가까운지가 핵심 질문이다.
   2. 인간 연구자보다 0.1%만 더 나은 AI 연구 에이전트라도 수십만~수백만 개를 병렬 실행하고, 하드웨어 속도로 가속하면 인간의 모든 병목을 압도할 수 있다는 직관이 있다.
   3. 이 직관이 맞으면 AI 연구 자동화가 곧 빠른 자기개선과 급격한 takeoff로 이어진다.

2. 무어의 법칙과 사전학습의 불연속

   1. Moore's law는 오랫동안 직선처럼 보였지만, 그 직선을 유지하려면 수많은 개별 혁신과 불연속이 필요했다.
   2. 언어모델도 사전학습 scaling law가 한계수익에 접근하자 RL이라는 새 경로가 추가되어 다시 상승 곡선을 만들었다.
   3. 다음 곡선을 만들려면 또 다른 불연속이 필요할 수 있다.
   4. 현재 RL 환경을 목표로 훈련된 모델이 그 불연속 자체를 발견하지 못하면, 현재 패러다임은 점근적인 곡선에 접근한다.

2.2. 새 패러다임은 누가 발견하는가

1. 현재 방식에 더하는 혁신과 패러다임 교체

   1. 새 요소가 RL 위에 누적되는 정도라면, 충분히 강한 모델이 연결고리를 찾아낼 수 있다.
   2. 반대로 gradient descent와 neural network 자체를 버리거나 완전히 다른 학습 구조를 도입해야 한다면, 현재 LLM을 아무리 많이 병렬 실행해도 자동 발견이 보장되지 않는다.
   3. 지금까지의 2012년 이후 발전을 이어가면 AI가 인간 R&D를 지배할 가능성이 높다는 낙관론과, 그 과정에서 인간이 발견한 다음 학습 구조를 AI가 재발견할 수 있는지는 별개라는 신중론이 충돌한다.

2. 지정된 연구와 개방형 과학 연구

   1. auto-research처럼 목표가 명확한 연구는 loss, 정해진 게임 점수, 검증 가능한 산출물을 hill-climbing하면 된다.
   2. 새로운 과학 패러다임은 어떤 목표를 정해야 하는지조차 모르는 개방형 문제다.
   3. RL scaling, 환경 점수, 사전학습 loss를 계속 올리는 것만으로는 목표 함수 밖의 돌파구를 보장할 수 없다.
   4. 연구자가 하는 일은 실험을 실행하는 것보다 어떤 실험을 할지, 어떤 현상을 설명할지, 어떤 직관을 검증할지를 정하는 데 더 많이 들어간다.

2.3. 인간 연구의 마지막 병목

1. 올바른 질문과 실험의 연속 선택

   1. 현재 AI는 실험 코드를 작성하는 능력보다 다음에 무엇을 물어야 하는지와 어떤 실험을 선택해야 하는지에서 약하다.
   2. 연구자가 “작은 진전”처럼 보이는 여러 선택지 중 실제로 중요한 질문을 고르는 능력이 자동화의 마지막 난관이 될 수 있다.
   3. DeepMind가 게임을 풀면 지능을 얻을 것이라 보던 시기에 Alex Radford가 광범위한 데이터의 next-token prediction을 시도한 것처럼, 패러다임의 방향을 바꾸는 단순한 질문은 사후에야 당연해 보인다.
   4. GPT식 next-token prediction을 발견한 뒤에도 scaling law와 충분한 확장을 신뢰하기까지 시간이 걸렸다.

2. AI 연구를 100년 단위로 확장하는 직관

   1. 7자리 달러 규모의 실험을 하기 전에 AI가 수십~수백 년치에 해당하는 이론 검토, 소규모 ablation, 실험 설계를 수행할 수 있다.
   2. 실험 후에도 같은 양의 계산으로 결과를 분석하고 다음 실험을 고르면, 한 번의 인간 연구 주기를 압축할 수 있다.
   3. John은 아직 연구 품질의 상한에 도달하지 않았으며, 실험에 쓰는 계산량과 비슷한 계산량을 이론 구축·분석에 쓰는 미래를 예상한다.
   4. 단, 사고만으로 새로운 정보가 생기는 것은 아니며, 이미 얻은 데이터와 명확한 목표가 있을 때 이런 계산이 가장 큰 효과를 낸다.

2.4. 목표 함수와 정렬(alignment)

1. 목표를 최적화하는 능력과 목표를 정하는 능력

   1. 현재 목표가 주어지면 AI는 scaling 오류, 학습률과 모델 크기의 관계, 모델 width의 중요성 같은 저수준 문제를 훨씬 일찍 발견할 수 있다.
   2. 이러한 영역에서는 현재 연구 속도를 약 10배 높일 수 있다는 전망이 나온다.
   3. 그러나 AI가 스스로 다음 목표를 제안하고, 그 목표를 최적화한 뒤, 다시 새로운 목표를 정하는 자기추진 루프는 훨씬 어렵다.
   4. 목표가 한 번이라도 잘못 지정되면 긴 자동화 과정 전체가 엉뚱한 방향으로 최적화될 수 있다.

2. 가장 오래 남을 인간의 일

   1. John은 모델의 행동, helpfulness, human feedback의 목적, constitution과 model spec을 정하는 일이 인간에게 가장 오래 남을 것이라고 본다.
   2. alignment는 목표를 명세하는 일과 명세된 목표를 최적화하는 일로 분해된다.
   3. 후자는 자동화될 수 있어도 전자는 “이 상황에서 모델이 어떻게 행동해야 하는가”를 계속 판단해야 한다.
   4. 따라서 “alignment가 마지막 일”이라는 표현은 안전성만이 아니라 사회가 원하는 행동의 정의 자체가 마지막 인간 역할이라는 뜻이다.

3. 모델 복제, distillation, 중앙집중화

강력한 모델의 행동을 다른 모델로 옮기는 distillation이 모델 제공업체의 중앙집중화와 경쟁 구도를 어떻게 바꾸는지 다룬다.

3.1. Distillation이 중앙집중화를 약화시키는 이유

1. 작은 정보량으로 행동을 복사하는 구조

   1. John은 RL로 학습된 행동이 적은 수의 핵심 비트로 표현되므로, 해당 trajectory를 얻으면 다른 모델에 쉽게 distill할 수 있다고 본다.
   2. 이 때문에 가장 강한 모델이 모든 능력을 영구적으로 독점하기 어렵다.
   3. 배포에서 계속 개선되는 회사별 모델이 등장하면, 기존 oligopoly에 속하지 않은 작은 회사도 특정 업무의 능력을 빠르게 복제할 수 있다.
   4. 모델이 매일 개선되어도 다른 모델은 매일의 출력을 distill할 수 있으므로 양쪽 루프가 같은 속도로 작동한다.

2. 중국 모델 생태계의 데이터 이점

   1. Frontier AI labs는 대형 데이터 회사에서 데이터를 사며, 중국 업체도 같은 데이터에 접근할 수 있다.
   2. 중국에서는 미국 frontier model을 사용할 수 있게 해주는 router·proxy 서비스가 코딩 요청을 모으고 그 데이터를 판매하는 사례가 언급된다.
   3. 이런 서비스는 실제 사용자가 무엇을 요청하는지 보여주는 이상적인 prompt distribution을 제공한다.
   4. 중국 업체는 seed prompt를 인간과 기존 모델에서 얻고, 이를 이용해 광범위한 요청 분포와 synthetic trajectory를 자동 생성할 수 있다.

3.2. Distillation의 진짜 난제는 prompt distribution이다

1. 전체 능력은 좁은 벤치마크로 복사되지 않는다

   1. 모델에 chain-of-thought를 포함한 출력이 있어도, 어떤 입력을 넣어야 유용한 행동이 드러나는지 모르면 distillation은 불완전하다.
   2. 현실적인 프롬프트의 폭넓은 분포가 필요하며, 벤치마크 문제만 모으면 벤치마크 점수만 복사된다.
   3. Frontier 모델의 전문 행동을 한 번 본 뒤에는 상대적으로 약한 모델에도 그 행동을 주입하기 쉬울 수 있지만, 처음 그 전문 행동을 만들어내는 frontier 모델은 훨씬 어렵다.

2. 난이도와 현실성의 두 축

   1. John은 환경을 난이도(difficulty)와 현실성(realism)이라는 두 축으로 나눈다.
   2. 어려운 퍼즐, 고난도 수학, 쉽게 검증되는 문제는 대량으로 만들 수 있지만 benchmaxing distribution에 치우친다.
   3. 실제 코딩 에이전트처럼 사람과 여러 차례 왕복하고, 여러 목표를 조정하며, 애매한 피드백을 처리하는 환경은 만들기 어렵다.
   4. 현실적인 환경과 human rubric을 reward function에 넣지 않으면 student model은 벤치마크에서는 teacher를 따라가도 실제 업무에서는 뒤처진다.

3. 큰 모델과 작은 모델의 일반화 차이

   1. 큰 모델은 좁고 까다로운 과제에서 현실적인 과제로 일반화하는 능력이 더 좋을 수 있다.
   2. 따라서 현실적 prompt distribution으로 distill하면 큰 모델의 폭넓은 행동을 옮길 수 있지만, 검증하기 쉬운 과제만 사용하면 그 폭을 놓친다.
   3. Anthropic의 소형 모델이 벤치마크에 비해 사용감이 나쁜 사례는 이 문제로 설명될 수도 있고, post-training stack의 설정을 잘못 조정해 생긴 quirk일 수도 있다.
   4. 특정 모델의 성능 저하는 벤치마크에는 드러나지 않는 post-training 오류일 수 있다.

4. AI R&D 자동화 에이전트는 어떻게 훈련되는가

AI가 다른 AI를 훈련하고 연구를 자동화하는 모델을 만들 때, 단순한 self-play와 실제 연구자의 taste를 어떻게 결합할지 논한다.

4.1. 인간 피드백과 다단계 연구 환경의 결합

1. 다음 세대 모델의 기본 훈련법

   1. John은 연구자의 taste를 흡수하는 human feedback와 여러 단계의 연구 프로젝트를 수행하는 practice environment를 함께 사용할 것이라고 예상한다.
   2. 각 모델 버전에서 연구자가 반복되는 약점을 관찰하고, 그 약점을 피드백이나 새 환경으로 패치한다.
   3. 이 방식은 한 번에 모든 연구 능력을 만들기보다, 실제 사용 중 발견되는 결함을 다음 모델의 학습 목표로 바꾼다.

2. 계보를 어디까지 되돌릴 것인가

   1. 현재 방식은 최신 모델의 가장자리에서 최근 몇 달 동안 발견한 버그와 개선점을 환경으로 바꿔 훈련한다.
   2. 더 급진적인 방식은 GRPO 이전처럼 모델 계보를 과거로 되돌린 뒤, 최선의 모델 훈련법을 스스로 발견하게 하는 것이다.
   3. 그러나 컴퓨터가 부족한 동안에는 사람들이 계보의 최전선에 머물며 최신 버그와 해결책을 diff해 환경으로 만드는 편이 효율적이다.
   4. 이렇게 하면 모델 세대 사이의 최근 연구 진전이 새 데이터로 들어가고, AI 연구의 마지막 몇 달을 모델 자체에 계속 distill할 수 있다.

4.2. 인간보다 어려운 환경이 가능한 이유

1. 검증 가능한 목표의 상한

   1. 환경은 인간이 지금 풀 수 없는 loss 값, 게임, 모델 훈련 목표를 요구할 수 있다.
   2. 예컨대 1억 파라미터 모델로 Minecraft를 깨는 일은 몇 년 전에는 터무니없었지만, 이제는 너무 쉬운 예시로 농담처럼 언급된다.
   3. 훨씬 복잡한 게임이나 정해진 compute에서 더 낮은 loss를 얻는 목표는 인간 연구자보다 AI를 앞서게 할 수 있다.
   4. 다만 목표가 명확한 hill-climbing 문제와 직관을 먼저 세운 뒤 그것을 검증하는 실제 연구는 다르다.

2. 연구는 목표를 직접 최적화하지 않는다

   1. 연구자는 모델을 현실의 최종 목적에 바로 최적화하지 않고, 어떤 아이디어가 작동한다는 조짐을 보여줄 수 있는 완화된 과제를 만든다.
   2. 작은 현실성의 손실을 감수하고 방법의 생명 신호를 찾은 뒤, 점차 더 현실적인 버전으로 되돌아간다.
   3. 많은 연구는 수학적으로 완전히 예측 가능한 이론보다, 무슨 일이 일어나는지 설명하는 비공식 이론을 개발하는 과정이다.
   4. 따라서 연구 자동화에는 검증 가능한 환경, judge가 평가하는 환경, 인간이 합리성을 판단하는 환경이 함께 필요하다.

4.3. RLVR 대규모 확장이라는 연구소의 베팅

1. 수백만 환경과 수백 개 영역

   1. 현재 연구소의 전략은 수백 개 영역에 걸쳐 수백만 개의 RL with Verifiable Rewards(RLVR) 환경을 확장하는 것이다.
   2. 에이전트는 persistence, context 안에서 정보 triage, 여러 에이전트와 협업, 긴 작업을 계속하는 능력을 익힌다.
   3. 이 능력이 충분히 sample-efficient해지면 데이터센터 시뮬레이션에서 배운 meta-skill을 현실 배포에 옮겨 일주일 또는 한 달짜리 원격 근로자처럼 작동할 수 있다.
   4. 실제 배포에서 계속 배우지 않고도 시뮬레이션에서 learning-to-learn을 익히는 것이 이 전략의 핵심 가정이다.

2. 상업적 일반지능과 직접적인 RSI의 구분

   1. 연구소가 하는 일이 직접적인 RSI인지, 다음 훈련을 지원할 매출을 만드는 일반 지능인지 분리하기 어렵다.
   2. Anthropic의 환경 계보처럼 코딩에서 시작해 finance, Excel, PowerPoint로 확장하는 흐름은 온라인 경제의 고가치 업무를 하나씩 환경화하는 방식이다.
   3. 도메인별 훈련은 모델이 현장에서 배울 수 있더라도 실행 시 효율을 높이고, 인간의 기본적인 기대치를 이미 모델 가중치에 넣는 효과가 있다.
   4. 파라미터가 충분히 크고 RSI 데이터가 부족하므로, 상업적 데이터와 RSI 전이 가능성을 동시에 얻기 위해 여러 영역을 같이 훈련하는 편이 합리적이다.

5. sim-to-real, 배포 학습, hive mind

시뮬레이션에서 현실로 지식을 옮기는 문제와 수많은 배포 인스턴스가 하나의 지능처럼 학습하는 미래를 검토한다.

5.1. 시뮬레이션이 반드시 필요한 현재 이유

1. 샘플 효율이 낮은 모델의 현실적 제약

   1. 현재 모델은 인간과 수천 번 상호작용해야 배우므로, 실제 사람이 RL 루프에 계속 참여할 수 없다.
   2. 그래서 데이터센터에서 인간 상호작용을 모사하는 환경이 당분간 중심이 된다.
   3. 샘플 효율이 높아지면 배포 학습이 커지겠지만, 그 전까지는 sim-to-real이 데이터 수집의 유일한 현실적 해법에 가깝다.
   4. 실제 trajectory를 모두 재현하지 않아도 off-policy 학습으로 일부 정보를 활용할 수 있다.

2. 현실 장기 업무의 시뮬레이션 한계

   1. 1년짜리 코딩 업무도 결국 고객, 회사, 사용자와 대화해야 하므로 데이터센터 안에서 완전하게 모사하기 어렵다.
   2. 사업을 시작해 수익을 내거나, 시장에서 day trading으로 수익을 내거나, 법정에서 승소하는 일은 현실과 상호작용하는 과정 자체가 학습의 일부다.
   3. transfer가 충분하지 않다면, 모델의 weight update가 인간보다 훨씬 비효율적이라는 문제가 본격적으로 드러난다.
   4. 인간은 출생부터 성인까지 매우 많은 경험에서 가중치를 업데이트하지만, 모델은 훈련 종료 후 배포 경험을 가중치에 거의 반영하지 못한다.

5.2. 누적적 과제와 비정상적 과제

1. RSI는 누적적일 수 있다

   1. Charlie는 RSI를 비교적 짧은 Python 파일로도 누적 가능한 과제로 상상한다.
   2. Attention, Mixture of Experts, GRPO 같은 발견을 한 번 훈련 stack에 넣으면 다음 연구가 그 기반을 보존한다.
   3. OpenAI가 특정 모델에게 5.6조 단위의 훈련을 시켰다는 사례처럼, AI가 pre-training.sh와 post-training.sh 같은 기존 스크립트를 호출해 과거 발견을 다시 찾을 필요 없이 조합할 수 있다.
   4. 이런 누적성 때문에 RSI가 paralegal 업무보다 오히려 쉬울 수 있다는 농담이 나온다.

2. 현실 업무는 비정상적이다

   1. 법률회사에서 법률 associate로 일하는 에이전트는 계속 변하는 사람 관계, 암묵적인 업무 규칙, 정보 위치를 배워야 한다.
   2. 새로운 사람과 관계가 바뀌고 조직의 절차가 변하므로, 한 번 얻은 지식을 단순히 누적하는 것으로 충분하지 않다.
   3. RSI처럼 발견을 영구히 쌓는 과제와 달리, 현실 업무는 매 순간 분포를 다시 학습해야 한다.
   4. 이 차이가 계속학습이 초지능의 핵심 문제로 떠오르는 이유다.

5.3. 배포 데이터가 만드는 hive mind

1. 배포 경험의 느린 활용

   1. 현재도 배포 데이터를 필터링·판단·주석·합성해 다음 세대의 pre-training 또는 mid-training에 넣는 방식의 학습은 일어나고 있다.
   2. 중국 모델은 사용자 질의와 frontier model 출력의 distillation으로 이 효과를 빠르게 얻을 수 있다.
   3. 대형 폐쇄 모델과 오픈 모델 모두 배포에서 나온 불만과 실패를 특정 환경으로 바꿔 post-training에 반영한다.
   4. 다만 현재 루프에는 인간이 어떤 신호를 중요하게 볼지, 어떤 환경을 만들지 선택하는 과정이 남아 있다.

2. Composer, Cursor, Harvey 사례

   1. Composer는 특정 배포 환경에서 사용자 피드백을 모아 모델을 개선하고, 한동안 온라인 reinforcement를 사용했다.
   2. Cursor는 사용자가 제안된 다음 코드에 Tab을 눌렀는지 같은 신호뿐 아니라 실제 생성 모델에 대해서도 배포 데이터를 활용했다.
   3. Cursor는 한 사용자 한 rollout의 큰 분산을 줄이기 위해 응답이 평균보다 얼마나 나은지 추정하는 휴리스틱을 사용하고, CursorBench가 개선될 때만 새 모델을 배포했다.
   4. Harvey 같은 법률 에이전트도 특정 고객 환경의 실패와 불만을 과제로 바꾸어 모델을 재훈련한다.

3. 왜 완전한 hive mind는 곧 오지 않는가

   1. 기업은 모델 제공업체가 모든 배포 데이터로 학습해 자사의 경쟁 우위를 줄이는 것을 원하지 않을 수 있다.
   2. 따라서 초기에는 LoRA, cartridge, 압축된 지식베이스처럼 특정 고객 환경에 꽂았다 뺄 수 있는 모듈이 선호될 가능성이 높다.
   3. 기업별 모듈에서 얻은 trace가 몇 달 뒤 다음 base model에 distill되고, 다시 특화 모듈로 배포되는 간접 루프가 현실적인 경로다.
   4. 세대 간격이 3개월에서 1주, 1일, 1시간으로 줄어들면 이런 간접 루프도 사실상 실시간 hive mind처럼 보일 수 있다.

5.4. 계속학습의 미시적 실패

1. 큰 규모에서는 작동하지만 작은 업데이트에서 무너지는 현상

   1. 많은 데이터를 모아 mid-training과 환경 생성으로 업데이트하면 전체적으로는 continual learning처럼 보인다.
   2. 그러나 한 모델을 특정 법률회사처럼 좁은 분포에 반복해서 조금씩 업데이트하면 catastrophic forgetting이 나타난다.
   3. 이전에 배운 정보가 사라지고 일반 능력이 하락하며, 수백 번의 작은 업데이트를 거치면 원래 모델의 기능이 손상된다.
   4. on-policy distillation은 붕괴 시점을 늦추지만 문제를 근본적으로 제거하지 못한다.

2. RL, SFT, pre-training의 역할 차이

   1. RL은 능력을 집어넣는 데는 좋지만, “특정 회사의 특정 인물이 어떤 절차를 맡는다” 같은 명시적 지식을 넣는 데는 약하다.
   2. SFT와 on-policy distillation은 지식을 직접 주입할 수 있지만 너무 파괴적일 수 있다.
   3. 같은 정보를 새 모델을 처음부터 훈련해 넣으면 더 좋은 모델이 되지만, 기존 모델에 계속 덧붙이면 데이터 분포가 바뀌어 오래된 정보가 잊힌다.
   4. 결국 모델을 매번 새로 훈련하는 비용과 하나의 모델을 영구히 업데이트하는 기술적 한계 사이에서 절충해야 한다.

6. 데이터, 환경, scaling law

AI 발전의 상당 부분이 데이터 개선에서 왔다면, 올바른 데이터를 만들 수 있는 속도와 비용이 초지능 시점을 결정한다.

6.1. 초지능을 만드는 데이터 분포의 존재

1. 이론적으로는 존재한다

   1. Baron은 현재 architecture에 적절한 pre-training·mid-training·post-training 데이터와 환경을 주면 인간 전문가를 모든 분야에서 압도하는 모델을 만들 수 있다는 점 자체는 명백하다고 본다.
   2. 극단적으로는 모델에게 초지능을 훈련하는 Python 파일을 출력하게 하고, 그 파일을 암기시켜도 존재성은 성립한다.
   3. 현실적인 문제는 그런 데이터와 환경을 사전에 만들 수 있는지이며, 환경 ladder의 각 단계를 오를 때 필요한 노력이 기하급수적으로 증가한다.

2. 환경 설계의 비대칭

   1. 생성 과정을 숨긴 latent variable을 두고 매우 복잡한 데이터를 만들면, 환경 제작자는 쉽게 앞뒤로 이동하지만 모델은 토큰을 소모하며 생성 과정을 역추론해야 한다.
   2. 현실에서 수만 시간의 인간·LM 노동으로 발견한 버그를, 하나의 모델이 수백만 토큰 안에 찾도록 깔끔한 환경으로 압축할 수 있다.
   3. 이런 비대칭은 적은 인간 정보로 모델을 크게 훈련하게 하지만, 새로운 비대칭을 찾는 일 자체가 점점 어려워진다.
   4. 장기적이고 현실적인 과제를 인간처럼 구성하려면 환경 제작에도 큰 시간과 계산이 필요하다.

6.2. 커리큘럼과 RL의 탐색 부족

1. 쉬운 사다리를 거쳐야 하는 학습

   1. 1930년까지의 데이터만 본 Talkie 모델을 최신 coding-agent 데이터로 fine-tune했더니 Claude 3 Opus보다 Sweepbench에서 나은 사례가 소개된다.
   2. 올바른 expert behavior의 예시가 있으면 약한 모델에도 상당한 능력을 복사할 수 있다는 뜻이다.
   3. 반대로 5학년 수학과 초등 영어까지만 배운 모델에 고등학교 후반·대학 수학을 바로 RL로 가르치려 한 연구는 거의 진전이 없었다.
   4. 7학년, 8학년을 거쳐 12학년으로 올라가는 successive run에서는 진전이 가능했으므로, 핵심은 환경 사다리의 rung 사이 거리다.

2. RL 신호와 curriculum의 필요성

   1. 현재 RL은 탐색이 약해 128번 rollout 안에 정답에 가까운 행동을 한 번도 못 내면 학습 신호를 얻지 못한다.
   2. pre-training은 이런 탐색 문제를 거의 겪지 않지만, post-training RL은 모델이 이미 일정 수준에 도달해야 유효한 보상을 얻는다.
   3. 따라서 인간이 단계별 curriculum을 설계해 다음 난이도로 넘어갈 발판을 만들어야 한다.
   4. 모델이 좋아질수록 현실 세계의 데이터 중 현재 능력을 다음 basin으로 넘길 만큼 새로운 정보는 줄어든다.

6.3. 데이터 신호의 고갈

1. 사전학습과 post-training의 다른 문제

   1. pre-training에는 Common Crawl에 이미 유용한 정보가 존재하므로, 노이즈를 걸러내는 일이 주된 문제다.
   2. mid-training과 post-training에서는 현 모델이 아직 풀지 못하는 새 수학·코드·과학 문제의 정답이 원자료에 반드시 존재하지 않는다.
   3. Millennium Prize 문제의 증명이 Common Crawl에 숨어 있어 필터링만 하면 나오는 것이 아니다.
   4. 새로운 비트는 인간이 reasoning을 직접 쓰거나, 인간이 목표·환경을 설계하거나, 배포 데이터에서 추출해야 한다.

2. 데이터 개선의 한계수익

   1. 2019년부터 현재까지의 학습 recipe와 데이터셋을 서로 교차해 작은 모델의 동일 능력 도달에 필요한 compute를 비교한 실험에서는 데이터 개선이 약 9배의 compute efficiency를 설명했다.
   2. Architecture 개선은 같은 규모에서 약 3배의 compute efficiency를 설명했다.
   3. 2019년부터 연 3배의 개선이 있었다는 추정과 누적 약 27배 실험 결과 사이에는 설명되지 않는 큰 차이가 있으며, post-training과 규모 의존성이 그 일부일 수 있다.
   4. 인터넷이라는 큰 데이터 블록에서 얻는 쉬운 개선은 상당 부분 소진됐고, 앞으로도 0.1% 단위 loss 개선은 가능하지만 과거만큼 많지는 않을 가능성이 높다.

6.4. Architecture와 데이터의 상호작용

1. Architecture는 새 regime을 연다

   1. Architecture를 단순히 x% compute efficiency로 비교하면, 새 구조가 질적으로 새로운 context length와 사용 방식을 열어주는 효과를 놓친다.
   2. GQA 같은 구조가 없었다면 백만 토큰 context를 감당하기 어려웠고, 그러면 그 길이의 데이터를 활용해 얻을 능력도 얻지 못했을 것이다.
   3. Architecture는 데이터가 작동할 수 있는 regime을 만들고, 그 regime 안에서 데이터가 세부 능력을 결정한다.
   4. 따라서 데이터 이득과 알고리즘 이득은 독립적으로 곱해지는 숫자라기보다 서로의 적용 범위를 바꾸는 관계다.

2. Mid-training 데이터의 scale dependence

   1. 긴 horizon 환경은 작은 모델이 활용할 수 없고, 합리적인 크기의 모델에서만 큰 개선을 만든다.
   2. 1억 파라미터 모델에 세 개의 trace를 넣는 것과 실제 frontier 모델에 긴 reasoning trace를 넣는 것은 전혀 다른 결과를 낸다.
   3. Kimi와 DeepSeek의 compressed attention 같은 변화는 loss보다 실제 inference 효율과 사용 방식을 고려한 구조다.
   4. 현재는 pre-training loss만이 아니라 실제 rollout 비용과 배포 가능성이 architecture 선택을 좌우한다.

7. 파라미터, sparsity, compute의 미래

7.1. RL 시대의 모델 크기

1. 활성 파라미터는 당분간 둔화될 수 있다

   1. 긴 RL rollout을 많이 실행하려면 inference efficiency가 중요하므로, 활성 파라미터가 무한히 커지기보다 일정 기간 정체할 수 있다.
   2. 현재 frontier 모델은 사람들이 말하는 10조 파라미터 영역보다 작을 가능성이 있으며, 환경이 모델보다 병목인 상황에서는 더 큰 모델에 돈을 쓰기 어렵다.
   3. 가장 어려운 환경에서 pass@1이 충분히 나오면, 그보다 큰 모델은 rollout FLOP만 늘리고 이득이 적다.
   4. 환경 복잡도가 모델 능력보다 빠르게 커질 때만 활성 파라미터를 더 키울 유인이 생긴다.

2. 전체 파라미터와 하드웨어

   1. John은 GPU와 compute가 계속 커지므로 모델 전체 크기는 커질 것이라고 보지만, 정확한 속도는 scaling law와 sparsity의 미지수에 달렸다고 말한다.
   2. 전체 파라미터와 active parameter는 다른 자원이며, sparsity가 계속 무한히 증가할지는 알 수 없다.
   3. sparsity는 여러 expert가 같은 지식을 중복 학습하게 만들어 data efficiency를 떨어뜨릴 수도 있다.
   4. H100에서 GB, Rubin으로 넘어가면 메모리 대역폭과 VRAM이 개선되어 multi-trillion parameter 모델의 serving과 대규모 RL 입력이 쉬워질 수 있다.

7.2. Chinchilla와 데이터·compute 병목

1. 큰 모델이 데이터를 덜 필요로 하는 정도

   1. 큰 모델은 같은 데이터에서 더 잘 일반화하므로, 데이터가 부족해지면 undertrained한 큰 모델을 택할 유인이 있다.
   2. 그러나 기본 Chinchilla scaling law에서 파라미터를 무한히 키워도 같은 loss에 필요한 데이터는 10배보다 적게 줄어든다.
   3. 현재는 Chinchilla 최적점보다 모델을 오래 학습하는 쪽으로 기울어 있지만, 고품질 데이터가 고갈되면 다시 큰 모델·적은 데이터 쪽으로 이동할 수 있다.
   4. 반대로 compute가 병목이면 rollout과 훈련을 줄이기 위해 작은 모델이 유리하다.

2. 예측을 어렵게 만드는 변수

   1. 학습 compute, inference compute, synthetic data 생성 비용, 환경의 난이도가 함께 변하므로 단일 최적 크기를 정하기 어렵다.
   2. scaling law의 직선은 optimizer parameterization, 모든 hyperparameter의 동시 scaling, embedding parameter 포함 여부를 정확히 맞췄을 때만 보인다.
   3. cosine schedule을 잘못 해석한 Kaplan 계열 추정처럼 버그도 고유한 scaling law를 만들어 작은 실험의 결론을 흐릴 수 있다.
   4. 파라미터 증가는 단순한 연간 2배 직선이 아니며, 이미 수년간 1천억~2조 파라미터 범위에서 sparse 모델을 실험해 왔다는 지적이 나온다.

8. RL이 예상보다 성공한 이유

RL이 에피소드당 한 비트만 배운다는 분석과 최근 모델의 질적 향상 사이의 긴장을 해소한다.

8.1. Mid-training이 이미 80%를 만든다

1. RL 직전의 합성 reasoning 데이터

   1. Baron은 RL 성공으로 보이는 것의 상당 부분이 synthetic reasoning data를 이용한 mid-training에서 나온다고 본다.
   2. mid-training은 모델을 최종 RL checkpoint의 약 80%까지 warm-start하고, RL은 정책(policy)을 미세 조정한다.
   3. 따라서 RL이 행동을 백지에서 발명하는 것이 아니라, 이미 가능한 행동 중 정답에 기여하는 방향을 고른다는 해석이 가능하다.
   4. 이 구조는 “에피소드당 한 비트”가 적어 보이는 문제를 완화한다.

2. SFT보다 높은 신호 대 잡음비

   1. SFT는 성공한 reasoning trace의 모든 토큰을 따라가려 하므로, 모델이 그 교사의 정확한 사고 순서를 흉내 내도록 많은 비트를 제공한다.
   2. RL은 정답 여부라는 핵심 비트만 사용하고, 그 밖의 reasoning token은 특정 방식으로 복사하도록 강제하지 않는다.
   3. 신호가 잡음에 묻히지 않으므로 적은 update로 policy를 효율적으로 움직인다.
   4. RL은 파라미터를 조금 바꿔도 input-output function space에서 거대한 가설 공간의 절반을 제거하는 식으로 큰 행동 변화를 만들 수 있다.

8.2. Group size, pass rate, 능력 향상

1. 충분한 샘플링이 만드는 보상 신호

   1. rollout group을 충분히 크게 만들면 여러 정답 답변을 얻을 확률이 무시할 수 없는 수준으로 올라간다.
   2. 그때 올바른 정책이 upweight되어 RL이 작동한다.
   3. mid-training과 추가 pre-training은 RL 시작점의 pass@1을 pre-training token 수에 대해 로그 형태로 높일 수 있다.
   4. 초기 pass rate가 너무 낮으면 rollout을 아무리 반복해도 유효한 gradient가 거의 생기지 않는다.

2. 수평 일반화와 수평선 일반화

   1. 수학에 RL을 했다고 코딩이 자동으로 최고 수준이 되지는 않으며, 코딩 환경에도 별도 RL이 필요하다.
   2. 대신 모델은 더 긴 토큰을 사용하면서도 과제를 계속 진전시키는 horizon generalization을 얻었다.
   3. EdgeBench라는 연구는 모델이 더 오래 일할 수 있는 비율이 약 3개월마다 두 배로 증가한다고 제시한다.
   4. 새 환경에서 해당 영역의 추론 패턴을 몰라도, 장기 작업을 계속하는 능력 자체가 성공과 상관되므로 질적 능력 향상으로 보인다.

8.3. Quanta와 질적 도약

1. 매끄러운 loss 아래의 이산적 능력

   1. pre-training loss는 부드럽게 내려가지만, 내부에서는 induction head처럼 특정 기능이 어느 순간 생기는 phase transition이 반복된다.
   2. 수만~수억 개의 작은 기능이 평균되면서 바깥에서는 매끄러운 곡선처럼 보인다.
   3. RL에서도 여러 환경을 순차적으로 학습하고 synthetic trace를 다음 mid-training에 넣는 loop가 각 task의 quanta를 건드린다.
   4. 특정 finance 또는 Excel 과제의 pass rate가 0.5%에서 90%로 뛰는 현상과 전체 모델의 점진적 개선은 동시에 존재할 수 있다.

2. 환경 폭과 제한적 전이

   1. 최근 연구소는 2년 전보다 훨씬 넓은 일상 업무를 위한 환경을 만들고 있다.
   2. 수학·코드·퍼즐 사이에는 일부 전이가 있지만, 모든 영역의 능력이 자동으로 전이되지는 않는다.
   3. 다양한 환경의 양 자체가 늘면서 모델이 체감상 “질적으로” 좋아지는 효과가 커진다.
   4. 따라서 최근의 성능 향상은 RL의 순수한 창발만이 아니라, mid-training, 환경 폭, 제한적 전이, horizon generalization의 합이다.

8.4. RL의 창의성과 entropy collapse

1. Move 37과 새로운 해법

   1. AlphaGo의 Move 37은 인간 데이터로 초기화되지 않은 탐색이 인간이 생각하지 못한 해법을 낼 수 있다는 대표 사례다.
   2. AlphaGo는 일반 policy gradient보다 탐색을 많이 하는 Monte Carlo Tree Search(MCTS)를 사용했다.
   3. 최근 모델이 sandbox 탈출 과정에서 여러 zero-day를 동시에 찾은 사례는 LLM에도 Move 37에 가까운 창의적 탐색이 이미 나타날 수 있음을 보여준다.
   4. 복잡한 제약을 동시에 만족하는 시와 hard search 문제는 AI가 특히 잘할 수 있는 창의성의 한 형태다.

2. RL이 줄이는 다양성과 데이터 단일문화

   1. RL 이후 모델은 좋은 한 가지 스타일에 수렴하고, 글에서 같은 주제·캐릭터 이름·표현 습관을 반복하는 경향이 있다.
   2. Claude에서 distill한 모델이 많아지면서 오픈 모델이 Claude와 같은 문체와 tic을 공유하는 monoculture가 나타난다.
   3. 이는 RL 자체의 필연적 결함이라기보다 단순한 verifier와 좁은 judge를 exploit한 결과로 볼 수 있다.
   4. 다양한 환경과 더 나은 judge를 제공하면 entropy collapse와 스타일 단일화를 줄일 수 있다.

9. 미래 예측: 원격 근로자에서 ASI까지

9.1. 한 달짜리 범용 원격 근로자

1. 시점의 범위

   1. 브라우저를 통해 조직이 정보를 구조화해 제공한다면 1~2년 안에 한 달짜리 프로젝트를 수행하는 모델이 가능하다는 전망이 나온다.
   2. Slack 메시지, 사람과의 상호작용, 복잡한 컴퓨터 사용까지 포함한 완전한 범용성에는 약 3년을 보는 견해도 있다.
   3. 조직이 AI가 사용하기 쉽게 시스템을 바꾸면 80~90%까지는 그보다 먼저 도달할 수 있다.
   4. 나머지 10~20%는 인간이 할 수 있지만 모델이 못 하는 잡다한 장기 업무의 긴 꼬리다.

2. 온라인 학습과 인간의 성격 문제

   1. 모델이 context를 압축하고 자신에게 파일을 쓰는 기능으로 한 달 동안 배우는 능력을 얼마나 빨리 얻는지가 1년과 3년을 가르는 핵심이다.
   2. 직장에서 상대를 강하게 몰아붙이거나 일을 재촉하는 사회적 행동은 모델이 지나치게 친절해 수행하지 못할 수 있다.
   3. 그러나 인간 원격 근로자도 품질 편차가 매우 크며, Upwork의 낮은 품질 작업보다 현재 AI가 나은 경우가 있다.
   4. 따라서 “인간 수준”의 기준을 최고 전문가의 긴 꼬리로 잡느냐, 평균적인 원격 근로자로 잡느냐에 따라 도달 시점이 달라진다.

9.2. AI 연구자 10배 생산성

1. 전망과 의미

   1. AI 연구자가 현재 1년에 한 번 만드는 돌파구를 한 달마다 만들 정도의 10배 생산성은 약 2년 안에 가능하다는 의견이 나왔다.
   2. 일부 수학 영역에서는 이미 10배를 넘었을 수 있어 단일 scalar를 주기 어렵다는 반론도 있다.
   3. 현재 코딩은 이미 10배 이상 빨라진 영역이므로, 모델이 실험과 피드백 loop를 한두 번만 자율적으로 이어도 연구 생산성은 크게 오른다.
   4. 연구자 생산성이 10배가 되면 AI 발전은 연구자의 작은 실험 능력보다 compute, 환경, 검증, 목표 설정 같은 다른 병목에 의해 제한된다.

2. 10배에서 100배로 가는 연결

   1. AI가 실험 결과를 읽고 다음 실험을 고르는 과정을 두세 번 연속으로 실패 없이 수행하면, 단순 코드 작성 이상의 생산성 향상이 된다.
   2. 연구자가 정보를 흡수하고 Bayesian하게 다음 결정을 내리는 부담을 AI가 분담하면 연구 속도가 가속된다.
   3. 10배 빨라진 연구가 다시 100배 속도의 기술을 발견하면, 생산성 상승은 단계적으로 누적된다.
   4. 다만 각 단계에서 목표·현실성·검증을 유지해야 하며, 단순한 rollout 수 증가만으로는 보장되지 않는다.

9.3. 모든 컴퓨터 인지 업무에서 인간을 넘는 ASI

1. 3~4년 전망의 낙관론

   1. 코드와 수학에 많은 연구 자원이 투입되고 현재 모델이 잘하는 영역이므로, 컴퓨터로 할 수 있는 모든 인지 업무에서 인간 최상위 전문가를 넘는 시점을 3~4년으로 보는 의견이 있다.
   2. 짧은 과제뿐 아니라 3년짜리 업무에서도 인간보다 잘하는 조건을 포함하면 이는 사실상 ASI 정의에 가깝다.
   3. 기계공학처럼 3D·공간·물리 상호작용이 큰 분야는 현재 연구의 관심이 적어 더 늦어질 수 있다.

2. 5~10년 전망과 ASI-complete 연구

   1. 물리 분야뿐 아니라 TSMC 엔지니어처럼 공개 데이터가 적은 전문직도 현장에서 새 영역을 인간만큼 빨리 배워야 하므로 5~10년 전망이 제시된다.
   2. 단순한 external memory와 긴 context만으로는 부족하고, 새로운 도메인 정보를 스스로 연구해 가중치 또는 기억에 안정적으로 반영해야 한다.
   3. John은 AI 연구 자동화를 거의 ASI-complete 문제로 본다. 연구 자동화가 되면 다른 인지 업무가 아니라 인간이 아직 다루지 않은 전문 영역의 긴 꼬리가 남는다.
   4. 다른 참가자들도 연구소가 집중하는 영역은 약 5년 범위를 인정하지만, 아무도 아직 하지 않은 모든 인간 전문성을 자동화하는 데는 더 오래 걸릴 수 있다고 본다.
   5. 반론으로 AI는 인간보다 훨씬 많은 경험을 축적하므로, 모든 영역을 인간처럼 새로 학습해야 한다는 조건 자체가 필요 없을 수 있다는 의견도 있다.

중간 삽입 광고·사례

1. Antithesis

   1. AI가 코드를 많이 생산할수록 핵심 병목은 사람이 코드가 실제로 받아들일 만한지 검증하는 시간이다.
   2. Antithesis는 현실적인 시스템을 흔들어 사람이 찾기 어려운 버그를 발견하고, 테스트 신뢰도를 높여 자동화된 코드 생산의 검증 병목을 줄인다고 소개됐다.
   3. Jane Street는 2025년 초 고신뢰 소프트웨어 팀에 Antithesis를 사용한 뒤 투자까지 결정했다고 소개됐다.
   4. URL은 https://antithesis.com/bash 이다.

2. Jane Street ASIC competition

   1. 칩을 실제 시스템에 연결하지 않고 UART, SPI, I²C 같은 현실적인 트래픽을 재현하는 reprogrammable protocol emulator ASIC을 설계하는 대회다.
   2. 저속 USB와 Ethernet까지 다루는 더 야심찬 설계가 권장되며, 특정 프로토콜을 하드코딩하지 않고 새 프로토콜에도 대응해야 한다.
   3. 설계는 open-source 130 nm process node를 목표로 해야 하며, 가장 독창적인 제출작은 tape-out과 실물 칩 제작 지원을 받을 수 있다.
   4. 팀 작업이 권장되고 마감일은 2027년 1월 18일이며, URL은 https://janestreet.com/scash 이다.

3. Grokbot

   1. Dwarkesh는 인터뷰 직후 Slack에 남기는 장문의 brain dump와 몇 시간짜리 녹취에서 편집 포인트를 찾는 문제를 설명했다.
   2. Grokbot은 편집자가 rough cut을 올리면 transcript를 열고, Slack 메모를 관련 구간에 표시하며, 선호사항 case file을 바탕으로 편집 후보를 제안한다.
   3. 결과를 휴대전화에서 검토할 수 있어 비정형 메모를 실제 편집 과정에 연결하는 사례로 소개됐다.
   4. URL은 https://x.ai/bot 이다.

주요 발언 모음

“현재 레시피를 계속 확장해도 다음 불연속을 발견하지 못한다면, 상승 곡선은 점근선에 가까워질 수 있다.” — Charlie O'Neal의 논지

“목표를 정하는 일과 목표를 최적화하는 일은 다르다. Alignment는 목표의 명세와 최적화로 분해된다.” — John Schulman의 논지

“연구에서 인간에게 가장 오래 남을 역할은 무엇을 원하는지 정의하고 올바른 목표를 정하는 일이다.” — John Schulman

“연구자는 실험을 실행하는 것보다 어떤 실험을 할지 결정하는 데서 더 오래 병목된다.” — 패널의 공통 논지

“수학에 RL을 했다고 코딩 능력이 자동으로 최고가 되지는 않지만, 더 오래 계속해서 과제를 수행하는 능력은 일반화될 수 있다.” — Charlie O'Neal의 논지

“RL은 적은 비트만 바꿔도 함수 공간에서 거대한 가설 영역을 제거할 수 있다.” — Baron Militch의 논지

“RSI는 한 번 발견한 것을 쌓아 가는 누적 과제일 수 있지만, 현실의 법률 업무는 계속 변하는 비정상적 분포다.” — 패널의 논지

“환경을 충분히 다양하게 만들지 않으면 모델은 벤치마크를 복사할 뿐, 현실적인 행동을 배우지 못한다.” — John Schulman의 논지

“RL의 창의성 붕괴는 RL 자체보다 단순한 verifier와 좁은 judge를 exploit한 결과일 수 있다.” — 패널의 논지

“AI 연구 자동화는 거의 ASI-complete 문제일 수 있다.” — John Schulman의 전망

핵심 데이터 & 수치

• 2036년: 현재와 같은 세계가 유지되는 기술적 이유로 일반화·지속학습·sim-to-real 병목이 논의됐다.
• 0.1%: 인간 전체보다 0.1%만 나은 AI 연구자도 대규모 병렬 실행과 칩 가속을 통해 빠른 takeoff를 촉발할 수 있다는 가정이다.
• 10배: 목표가 이미 명확한 현재 연구의 분석·실험 선택은 AI로 약 10배 빨라질 수 있다는 전망이다.
• 80%: synthetic reasoning data를 활용한 mid-training이 최종 RL checkpoint 능력의 약 80%까지 warm-start할 수 있다는 주장이다.
• 128 rollout: 모델이 이 정도 rollout 안에 정답에 가까운 행동을 한 번도 내지 못하면 RL 신호가 거의 생기지 않는다는 예시다.
• 3개월마다 2배: EdgeBench가 측정한 장기 작업 지속 능력의 증가율로 소개됐다.
• 0.5%→90%: 개별 finance·Excel 과제에서 RL quanta가 나타날 때 pass rate가 급상승할 수 있는 예시다.
• 9배 대 3배: 2019년 이후 작은 모델의 compute efficiency 향상에서 데이터 개선이 약 9배, architecture 개선이 약 3배를 설명했다는 실험 결과다.
• 27배: 2019년 이후 누적 개선을 단순히 연 3배로 환산하면 3^7 수준의 약 2,000배가 되어, 관측된 약 27배와 차이가 난다는 문제 제기다.
• 10조 파라미터: RL rollout 비용과 환경 병목 때문에 frontier 모델이 당분간 이 규모까지 바로 커지지 않을 수 있다는 추정이다.
• 10배 미만: 파라미터를 무한히 늘려도 동일 loss에 필요한 데이터가 줄어드는 정도는 10배보다 작다는 Chinchilla 직관이다.
• 1~3년: 한 달짜리 컴퓨터 기반 범용 원격 근로자가 나타날 수 있는 예상 범위다.
• 약 2년: AI 연구자 생산성이 10배가 될 수 있는 중간 전망이다.
• 3~4년: 코드·수학 중심의 모든 컴퓨터 인지 업무에서 인간 최상위 전문가를 넘는 낙관적 시점이다.
• 5~10년: 물리·공간 업무와 새로운 전문 영역의 현장학습까지 포함한 ASI 전망이다.
• 2027-01-18: Jane Street protocol emulator ASIC 대회의 마감일이다.

결론 및 시사점

1. 현재의 Transformer+RL scaling은 인간 R&D의 실행·분석·검증을 크게 가속할 가능성이 높지만, 새 목표와 새 학습 패러다임을 정하는 능력은 별도 문제다.
2. 재귀적 자기개선의 가장 중요한 관문은 모델 크기보다 올바른 objective를 계속 제안하고 검증하는 self-sealing loop다.
3. AI 연구가 누적적 과제라면 인간이 발견한 architecture와 훈련법을 쌓으며 빠르게 자동화될 수 있지만, 현실 업무는 비정상적 분포와 사회적 관계를 계속 학습해야 한다.
4. 시뮬레이션 환경은 현재 낮은 sample efficiency를 보완하지만, 고객·동료·시장·법정과 상호작용하는 장기 과제의 현실성을 완전히 재현하지 못한다.
5. 배포 데이터는 이미 다음 세대 모델의 mid-training·post-training에 활용되고 있지만, 데이터 소유권과 기업의 경쟁 우위 때문에 하나의 실시간 hive mind로 합쳐지기는 어렵다.
6. LoRA·cartridge·고객별 모듈에서 출발해 주기적 distillation과 base model 재훈련으로 이어지는 단계적 continual learning이 현실적인 경로다.
7. RL은 적은 정보량으로도 높은 신호 대 잡음비와 function-space 변화를 만들며, mid-training·group sampling·horizon generalization이 최근의 질적 향상을 설명한다.
8. RL의 다양성 붕괴는 알고리즘 자체의 필연적 결함보다 좁은 verifier, 빈약한 환경, judge hacking에서 생길 수 있으므로 환경 설계가 핵심이다.
9. 고품질 pre-training 데이터의 쉬운 개선은 줄어들고 있으며, 미래의 진짜 병목은 인간이 아직 풀지 못한 새로운 문제에서 유효한 학습 신호를 만드는 일이다.
10. 한 달짜리 원격 근로자와 10배 연구 생산성은 수년 안에 가능할 수 있지만, 모든 컴퓨터 인지 업무와 물리·희소 데이터 전문직을 인간보다 잘하는 ASI는 더 긴 꼬리를 가진다.
11. 따라서 가장 합리적인 전망은 단일한 AGI 날짜가 아니라, 목표가 명확한 연구 자동화·장기 작업·현실적 상호작용·새 도메인 학습이 서로 다른 속도로 진전되는 계단식 전환이다.

핵심 요약 (20줄)

현재의 Transformer와 RL 확장은 AI 연구 자동화를 크게 가속할 수 있지만 다음 패러다임을 스스로 발견한다는 보장은 없다. 2036년에도 초지능이 나타나지 않는다면 지속학습과 sim-to-real 일반화가 기술적 병목으로 남았을 가능성이 있다. 새 모델이 AGI처럼 보였다가 한 달 뒤 둔해 보이는 주기는 판단력과 자기검증의 약점이 반복되기 때문에 생긴다. 인간 수준을 넘는 순간 경제적 영향이 불연속적으로 커질 수 있다는 직관은 체스 봇의 ELO 변화에서 얻을 수 있다. 현재 목표를 최적화하는 연구는 AI가 약 10배 빠르게 수행할 수 있지만 목표 자체를 정하는 일은 여전히 인간의 몫이다. Alignment는 명세된 목표를 최적화하는 일과 사회가 원하는 목표를 명세하는 일로 나뉜다. Distillation은 강력한 모델의 행동을 적은 정보로 복사해 모델 제공업체의 중앙집중화를 약화시킨다. 현실적인 prompt distribution이 없으면 작은 모델은 벤치마크 점수만 복사하고 실제 업무의 복잡한 행동은 배우지 못한다. AI 연구 자동화 모델은 연구자의 taste를 담은 인간 피드백과 다단계 practice environment를 함께 필요로 한다. RL 환경은 인간이 풀 수 없는 loss나 게임도 검증할 수 있지만 직관을 세우는 개방형 연구를 완전히 대체하지 못한다. 현재 연구소는 수백만 개의 RLVR 환경에서 persistence와 긴 horizon 작업 능력을 학습시키는 전략을 취한다. 현실 업무는 계속 변하는 사람 관계와 암묵적 규칙을 포함하므로 RSI처럼 단순히 발견을 누적하는 과제보다 어렵다. 배포 데이터는 다음 세대의 학습에 이미 활용되지만 기업의 데이터 소유권 때문에 완전한 hive mind는 단계적으로 형성될 가능성이 높다. 계속학습을 좁은 분포에 반복 적용하면 catastrophic forgetting과 일반 능력 저하가 발생한다. 데이터 개선은 2019년 이후 작은 모델의 compute efficiency 향상에서 architecture 개선보다 큰 설명력을 보였다. 고품질 데이터가 고갈될수록 인간이 새로운 학습 신호와 환경을 설계하는 능력이 중요해진다. RL은 mid-training이 만든 기반 위에서 정답 신호만 집중해 SFT보다 높은 신호 대 잡음비를 얻는다. RL의 horizon generalization은 약 3개월마다 두 배로 늘어나는 장기 작업 지속 능력으로 관찰될 수 있다. RL의 창의성은 hard search에서 강해질 수 있지만 좁은 verifier와 judge는 출력 다양성과 모델 문화를 붕괴시킨다. 한 달짜리 원격 근로자는 1~3년, AI 연구자 10배 생산성은 약 2년, 모든 인지 업무의 ASI는 대략 3~10년 범위로 전망된다.