백만 시간의 로봇 두뇌: Dyna-2와 월드 모델

메타데이터

• 원제: The Million-Hour Robot Brain: Dyna-2 & World Models — Jason Ma, Dyna Robotics
• 채널: latentspacepod (Latent Space)
• 발행일: 2026-10-13
• 정리일: 2026-10-14
• URL: https://www.youtube.com/watch?v=BHiYomkfoGQ
• Video ID: BHiYomkfoGQ
• 발표자: Jason Ma, Dyna Robotics 공동창업자 겸 최고과학자(Chief Scientist)
• 태그: #DynaRobotics #Dyna2 #WorldActionModel #PhysicalAI #Robotics #WorldModel #DiffusionTransformer #FlowMatching #RobotData #AgenticHarness

---

📌 핵심 질문 / 미래의 물리 세계를 예측하는 로봇 두뇌는 어떻게 만들어지는가

==Dyna-2는 인간의 시점(egocentric) 영상 100만 시간으로 물리 세계의 미래 상태를 예측하고, 그 예측을 로봇 행동으로 연결하는 월드 액션 모델(World-Action Model)이다. 인간 데이터로 넓은 물리 상식을 만들고 소량의 로봇 시연으로 특정 작업에 적응시키며, 전신 하드웨어·저지연 추론·에이전트 하네스를 함께 설계해야 범용 로봇이 실제 고객 현장에서 장시간 일할 수 있다.==

• Dyna-2는 다음 영상 또는 세계 상태를 예측한 뒤 로봇이 실행할 행동을 출력하므로 시각·물리 공간의 연쇄적 사고(Chain of Thought)에 해당한다.
• 100만 시간의 인간 데이터는 다양한 조작 행동에 대한 강한 사전 지식(prior)을 제공하지만, 로봇 신체와 인간 신체의 차이를 없애지는 못하므로 로봇 데이터가 추가로 필요하다.
• 좋은 로봇 모델의 병목은 모델 크기만이 아니라 센서 선택, 데이터 수집, 액추에이터의 내구성과 모델 가능성, 온디바이스 지연, 공급망, 장시간 작업을 조립하는 상위 수준 계획에 있다.
• Din Tai Fung 여러 지점에서 로봇이 하루 수천 장의 냅킨을 접는 사례는 파일럿을 넘어 고객이 여러 지점에 반복 배치할 만큼 가치를 검증한 상용화 사례다.
• 로봇이 1분짜리 시연을 수행하는 것과 세탁실의 한 시간짜리 업무 흐름을 사람의 도움 없이 끝내는 것은 전혀 다른 문제이며, 후자를 위해 물리적 에이전트 하네스와 계층적 추론이 필요하다.

Dyna의 접근은 ‘특수 목적 기계 하나를 작업마다 새로 설계한다’는 산업 로봇의 관행보다 ‘강한 범용 기반 모델과 적은 양의 작업별 시연을 결합한다’는 머신러닝의 스케일링 원리를 택한다. 다만 범용성은 소프트웨어만으로 얻어지지 않는다. 인간이 보고 듣고 만지고 냄새 맡으며 무의식적으로 활용하는 감각과, 몸통을 기울이고 손을 뻗는 자유도를 로봇이 실제로 갖춰야 한다. 따라서 Dyna-2의 성패는 월드 모델의 이름보다 미래를 충분히 예측할 수 있는 센서와, 그 예측을 안정적으로 실행하는 전체 시스템을 얼마나 빠르게 개선하는지에 달려 있다.

1. 현장 문제에서 출발한 Dyna-2

Dyna-2의 의미는 연구실 데모 자체보다 짧은 시연으로 새 작업을 배우고 여러 고객 현장에 배치되는 로봇을 만드는 데 있다.

1.1. 몇 시간의 데이터로 새 작업을 배우는 로봇

1. 새 작업을 배우는 기본 절차

   1. 사람이 원격 조작(remote operation)으로 로봇을 움직여 작업을 시연한다.
   2. 수집한 소량의 로봇 데이터를 사용해 모델을 미세 조정(fine-tuning)한다.
   3. 같은 실제 하드웨어에서 모델을 실행하고, 어느 부분에서 실패하는지 관찰한다.
   4. 실패 사례를 다시 데이터로 모아 모델을 반복 개선한다.
   5. 모델이 처음부터 잘 작동하면 추가 작업이 거의 없지만, 70~80% 정도만 수행하면 부족한 행동을 골라 추가 시연한다.

2. 시연에 필요한 시간

   1. 많은 작업은 몇 시간 정도의 데이터로 시작할 수 있다.
   2. 일부 작업은 수십 분이면 충분하다.
   3. 음식을 자르는 작업은 약 45분의 시연으로 진행했다.
   4. 냉장고에서 음료를 꺼내는 작업은 Dyna 엔지니어의 온보딩 과제처럼 다뤄졌다.
   5. 새로운 직원이 로봇에게 시킬 작업을 제안하고 사무실에서 데이터를 모아 모델을 시험해 보라는 농담이 오갔다.
   6. 진행자가 신발끈 묶기를 예로 들자 Jason Ma는 흥미로운 작업이지만 꽤 오래 걸릴 수 있다고 받아쳤다.

3. 성능 평가와 반복 학습

   1. 학습 중에는 일반 모델처럼 손실과 수렴 상태 같은 지표를 확인한다.
   2. 최종 판단은 실제 로봇을 실제 데이터 수집 환경에서 실행하는 것으로 내린다.
   3. 로봇의 시도에 좋음·나쁨·부분적으로 좋음 같은 점수를 매기는 과정은 로봇 버전의 인간 피드백을 통한 강화학습(RLHF)과 비슷하다.
   4. 로봇의 실제 경험과 사람이 추가로 수집한 시연을 모두 학습에 사용할 수 있다.
   5. 장기적으로는 Dyna의 플랫폼 위에서 누구나 새 작업을 학습시킬 수 있게 만드는 것이 목표다.

1.2. 파일럿과 반복 가능한 상용 배포의 차이

1. Dyna가 구분하는 배포

   1. 로봇을 한 장소에 가져다 놓거나 파일럿을 한 번 진행하는 일은 상대적으로 쉽다.
   2. 고객이 로봇이 충분한 가치를 만든다고 검증하고 여러 지점에 반복 배치하는 일이 진짜 어렵다.
   3. Din Tai Fung은 미국의 여러 지점에서 로봇이 매일 수천 장의 냅킨을 접는 가장 큰 규모의 고객 사례로 소개됐다.
   4. Jason Ma는 범용 로봇 분야에서 이런 다지점 확장이 다른 회사에서 흔히 일어났다고 보기는 어렵다고 말했다.

2. 작업의 세부 기준

   1. 냅킨은 단순히 반으로 접는 것이 아니라, 두 번째 접힌 솔기가 젓가락을 꽂는 포켓에서 몇 센티미터 아래에 오도록 해야 한다.
   2. 여러 지점이 같은 품질 기준을 요구하므로 변형 가능한 천을 반복해서 정확히 조작해야 한다.
   3. 로봇은 사람보다 작은 디테일에서 일관되게 같은 결과를 내기 쉽다.
   4. Din Tai Fung은 냅킨 접기에서 더 나아가 음식을 자르고 만두를 만드는 작업까지 관심을 보이고 있다.
   5. 만두를 부수지 않고 완성하는 일은 대화에서 농담처럼 ‘최종 보스(final boss)’로 불렸다.

1.3. 현장 오프닝과 로봇의 범위

1. 현장에서 확인한 작업
   1. 진행자는 Dyna 현장에서 음료를 가져오는 작업과 여러 조작을 확인했다.
   2. 로봇이 칼을 사용하는 모습은 진행자가 처음 본 로봇 작업으로 소개됐다.
   3. 세탁물을 접고, 냉장고에서 음료를 꺼내고, 기계를 조작하는 장면이 뒤의 기술 설명과 연결됐다.
   4. 진행자는 스튜디오가 아니라 현장에 와서 촬영한 선택이 로봇을 이해하는 데 가치 있었다고 말했다.

2. 월드 액션 모델의 구조

월드 액션 모델은 영상을 생성하는 월드 모델과 로봇을 움직이는 정책(policy)을 분리하지 않고, 미래 예측을 행동 생성의 중간 추론으로 사용한다.

2.1. 입력과 출력

1. 비디오 입력

   1. 로봇 카메라가 본 과거 몇 초의 영상 또는 이미지가 가장 중요한 입력이다.
   2. 과거 프레임의 변화에서 물체의 상태와 물리적 진행 방향을 추정한다.
   3. 영상만 보는 순수 비디오 모델과 달리, 로봇은 자신의 몸 상태도 함께 알고 있다.

2. 자기 상태와 언어 입력

   1. 액추에이터와 관절 인코더가 제공하는 관절 각도(joint angle)가 입력에 포함된다.
   2. 로봇은 현재 몸의 자세와 움직임을 알아야 자신의 행동이 다음 상태에 어떤 변화를 만드는지 계산할 수 있다.
   3. 사람이 “여섯 음료 중 바닐라 셰이크를 가져와라”처럼 언어로 작업을 지시할 수 있다.
   4. 영상, 로봇 상태, 언어 명령이 범용 로봇 모델의 기본 입력 묶음이 된다.

3. 행동과 미래 상태 출력

   1. 기본적으로 모델은 하드웨어가 실행할 수 있는 연속적인 행동 벡터를 출력한다.
   2. Dyna-2는 행동과 함께 미래 영상 또는 미래 세계 상태의 표현(representation)을 생성한다.
   3. 미래에 무엇이 보일지를 먼저 상상한 뒤 그 상상에 맞는 행동을 선택한다.
   4. 따라서 모델은 시각 공간과 물리 공간에서 추론한 뒤 행동을 내보내는 로봇의 연쇄적 사고처럼 작동한다.

2.2. Diffusion Transformer와 Flow Matching

1. Diffusion Transformer를 선택한 이유

   1. Dyna-2의 내부 구조는 Diffusion Transformer다.
   2. Transformer는 언어 모델처럼 긴 시퀀스와 많은 데이터를 받아 학습하는 데 적합하다.
   3. Diffusion은 무작위 노이즈에서 시작해 반복 계산으로 고차원 결과를 정교하게 만드는 방식이다.
   4. 이미지의 선명한 모서리와 색 대비가 중요하듯, 로봇 행동에는 정확하고 부드러운 연속 움직임이 필요하다.
   5. Transformer가 데이터 규모와 문맥을 담당하고 Diffusion이 미세하고 매끄러운 행동을 정제한다.

2. Flow Matching의 역할

   1. 전통적인 Diffusion은 노이즈를 최종 결과로 바꾸는 스케줄을 조정해야 하는 부담이 있다.
   2. 과거에는 40~100번의 Diffusion 단계를 거쳤다면 Flow Matching은 이를 약 4단계로 줄일 수 있다.
   3. Flow Matching은 Diffusion의 특수하고 더 단순하게 튜닝할 수 있는 경우로 설명됐다.
   4. 이미지 생성은 한 번의 결과가 중요하지만 로봇 행동은 실행 중 실시간으로 다시 평가해야 하므로 Flow Matching이 특히 잘 맞는다.
   5. 세탁물 접기 데모에서 무작위 수건이 들어와도 모델이 현재 상태를 재평가해 적응하는 이유가 여기에 있다.

3. 범용 기반 모델과 작업별 적응

   1. Dyna는 먼저 가능한 한 많은 데이터로 강한 범용 기반 모델을 만든다.
   2. 인간은 물리 세계에 대한 넓은 기본 지식을 가진 채 특정 직업이나 작업을 훈련하므로, 로봇도 같은 방식을 따라야 한다.
   3. Dyna-2는 100만 시간이 넘는 인간 데이터로 시작하고, 짧은 작업별 시연으로 특정 행동을 익힌다.
   4. 이미 본 작업은 적은 미세 조정으로 수행할 수 있으며, 범용 지식이 새로운 환경과 작업으로 이전된다.

2.3. 로봇의 고차원 연속 제어

1. 큰 행동 공간

   1. Dyna 로봇의 행동 공간은 약 100차원 규모다.
   2. 모든 행동 값은 연속적이며, 단순한 이산 명령 목록이 아니다.
   3. 모델은 최소 약 50차원 이상의 벡터를 초당 10~20번 정도 예측해 부드러운 동작을 만든다.
   4. 동시에 한두 초 앞을 내다보는 약 100프레임 수준의 예측도 고려한다.
   5. 차원이 커질수록 데이터에 모델을 맞추기 어려워지지만, 모든 모터를 한 모델이 동시에 제어하기 때문에 움직임이 매우 부드럽다.

2. 현재 관찰만으로는 부족한 이유

   1. 전자레인지 문을 여는 중간 동작만 보면 로봇이 문을 열려는지 닫으려는지 구분하기 어렵다.
   2. 이전 상태와 행동 이력을 함께 보면 의도와 다음 행동을 판단할 수 있다.
   3. 문맥(context)이 없으면 매 순간의 이미지에 반응하는 단순 정책이 되어 긴 작업에서 흔들린다.

3. 로봇 데이터의 병목과 확장 전략

언어 모델에 인터넷이 있는 것과 달리 로봇에는 물리 행동의 인터넷이 없기 때문에 데이터의 종류·센서·신체 차이를 동시에 설계해야 한다.

3.1. 로봇에는 인터넷이 없다

1. 데이터 확보의 구조적 어려움

   1. 언어 모델은 인터넷의 텍스트를 활용할 수 있지만 로봇 회사는 직접 데이터를 수집하거나 구매해야 한다.
   2. Dyna 사무실 곳곳에는 로봇과 데이터 수집 작업자가 있다.
   3. 한 회사가 혼자 모을 수 있는 데이터는 로봇 기반 모델에 필요한 양에 비해 턱없이 적다.
   4. 한 회사가 Reddit만으로 인터넷을 만들 수 없고 Facebook만으로도 인터넷을 만들 수 없는 것과 같은 문제다.
   5. 따라서 자체 수집, 외부 데이터 구매, 파트너십, 특수 작업 데이터 수집을 함께 사용해야 한다.

2. 데이터 품질은 고정되지 않는다

   1. 모델이 아무것도 모를 때는 거의 모든 영상 데이터가 유용하다.
   2. 인간의 시점 영상은 사람이 할 수 있는 거의 모든 물리 활동을 포함하므로 초기 사전 지식을 만드는 데 특히 좋다.
   3. 모델이 성장하면 부족한 작업과 센서가 달라지므로, 무엇이 고품질 데이터인지는 시간에 따라 변한다.
   4. 따라서 처음부터 하나의 데이터 종류만 수집하는 전략으로는 강한 기반 모델을 만들기 어렵다.

3.2. 인간 시점 영상과 로봇 시연의 결합

1. 인간 데이터가 주는 강한 사전 지식

   1. 인간의 손과 몸이 물리 세계에서 물체를 어떻게 움직이는지 다양한 사례를 보여준다.
   2. 인간 영상은 물리적 조작의 폭을 넓게 커버하므로 모델이 세계가 어떻게 변화할 수 있는지 예측하는 데 도움을 준다.
   3. Dyna는 로봇 하드웨어가 준비되기 전부터 인간 데이터로 사전 학습을 시작했다.
   4. 사람과 비슷한 비율의 로봇을 만들면 인간 행동이 로봇의 움직임으로 더 잘 이전된다.

2. 인간-로봇 신체 차이

   1. 인간과 로봇이 완전히 같은 몸을 갖기 전까지 인간의 행동을 로봇의 행동으로 바로 실행할 수는 없다.
   2. 인간에게는 손가락과 피부 감각이 있지만 현재 로봇의 관절·그리퍼는 다른 동역학을 가진다.
   3. 인간 데이터만으로는 로봇의 저수준 반사(reflex)와 손끝의 미세한 제어가 부족하다.
   4. 로봇 자체로 수집한 데이터는 비싸고 어렵지만, 마지막 적응을 위해 반드시 필요하다.

3. 두 데이터의 역할 분담

   1. 대규모 인간 데이터는 넓은 물리 상식과 조작 prior를 만든다.
   2. 소량의 로봇 데이터는 특정 로봇의 신체, 관절, 그리퍼, 작업 환경에 맞춘다.
   3. 이 조합은 로봇 데이터만 대규모로 모으는 것보다 빠르게 범용성과 실행 가능성을 함께 확보하는 방법이다.
   4. Dyna는 원시적이고 다양한 데이터와 특정 작업에 맞춘 고품질 데이터를 모두 계속 찾고 있다.

4. 데이터 파트너 요청

   1. Dyna는 egocentric 데이터, 로봇 데이터, 비디오 데이터처럼 로봇에 도움 될 만한 고품질 데이터를 가진 공급자를 찾는다.
   2. 공식 데이터 파트너십 연락처로 data partnerships at dyna.co가 소개됐다.
   3. 특정 작업을 완벽하게 수행하려면 해당 작업의 데이터가 특히 가치 있다.
   4. 호텔 직원이 머리에 GoPro를 쓰고 침대 정리 같은 실제 업무를 촬영하는 사례가 맞춤 데이터의 직관적인 예로 제시됐다.
   5. 호텔에서 일하던 사람이 다음 날 바로 Dyna 로봇을 조작할 수는 없으므로, 실제 업무의 세부 기준을 담은 작업별 데이터가 필요하다.

3.3. 합성 환경과 자기 생성 데이터

1. 합성 데이터가 다음 확장 축이 되는 이유

   1. 인간 영상과 로봇 데이터가 확장되는 가운데, 합성 환경과 시뮬레이션 데이터가 새로운 스케일링 차원이 될 수 있다.
   2. Dyna는 관심 있는 실제 데이터와 환경을 바탕으로 프런티어 모델이 맞춤형 합성 환경을 만들게 하는 실험을 하고 있다.
   3. 3D 환경을 매번 사람이 수작업으로 모델링하지 않고 실제 장면을 시뮬레이션으로 옮기면 특정 작업에 필요한 데이터를 더 빠르게 만들 수 있다.

2. Eureka에서 현재의 시뮬레이션으로

   1. Jason Ma의 박사과정 연구는 로봇 시뮬레이션 기반 학습에 초점을 맞췄다.
   2. 당시의 Eureka 프로젝트는 GPT-4가 시뮬레이션 환경과 강화학습 보상 함수를 스스로 생성하게 했다.
   3. 사람이 직접 모든 보상 항을 설계하기 어려운 연필 돌리기 과제를 모델이 코드로 구성하고 해결하게 했다.
   4. 초기에는 모델의 비전과 타고난 3D 이해가 부족해 코드와 제한적인 텍스트 피드백에 의존했다.
   5. 현재 프런티어 모델은 3D 재구성과 실제 장면에서 시뮬레이션을 만드는 real-to-sim을 수행할 정도로 시각 능력이 좋아졌다.
   6. 따라서 예전에는 준비되지 않았던 시뮬레이션이 이제 로봇 발전을 가속할 변곡점에 도달했다.

3. Dyna-2가 만드는 자기 강화 플라이휠

   1. Dyna는 외부 모델로 3D 환경을 만드는 것뿐 아니라 자체 월드 액션 모델도 활용한다.
   2. Dyna-2는 행동뿐 아니라 미래 영상을 생성하므로, 그 영상으로 새 학습 데이터를 만들 수 있다.
   3. 모델이 데이터를 만들고, 그 데이터로 모델이 더 나아지는 자기 충족적 플라이휠이 가능하다.
   4. 100만 시간의 데이터와 이미 배포된 로봇은 출발점일 뿐이며 물리 AI가 도달할 범위의 극히 일부다.

4. 지연 시간, 하드웨어, 공급망을 함께 설계하기

로봇은 챗봇처럼 몇 초 기다릴 수 없으므로, 모델의 크기와 실행 위치뿐 아니라 몸을 움직이는 하드웨어의 설계와 제조까지 연구 문제로 다뤄야 한다.

4.1. 온디바이스 추론과 모델 증류

1. 물리 세계의 지연 제약

   1. 코딩 에이전트는 응답을 받기까지 몇 초 기다려도 되지만, 칼을 든 로봇이 3초 동안 멈춰 있으면 사람을 불안하게 만든다.
   2. 테니스 라켓으로 공을 저글링하는 작업처럼 빠르고 반응적인 동작에서는 중력과 물리 과정이 네트워크 응답을 기다려 주지 않는다.
   3. 네트워크를 호출할 때 지연과 연결 안정성을 보장할 수 없으므로 최종 모델은 로봇에 로컬로 배치해야 한다.
   4. 차량을 운전할 때도 네트워크 왕복을 전제할 수 없다는 비유가 사용됐다.

2. 큰 학습 모델과 작은 배포 모델

   1. 최종 배포 모델은 합리적인 크기로 줄여 온디바이스에서 실행할 수 있어야 한다.
   2. 그렇다고 처음부터 작은 모델만 학습해야 하는 것은 아니다.
   3. 큰 교사 모델을 학습한 뒤 작은 모델로 지식을 증류(distillation)하는 방식이 로봇에도 적용될 수 있다.
   4. Dyna는 대형 모델을 학습하고 증류해 작은 로봇용 모델로 만드는 흐름이 업계의 방향이 될 것으로 봤다.

3. Dyna의 자체 추론 스택

   1. Dyna는 배포하는 모델을 위해 자체 추론 스택을 구축한다.
   2. 특정 모델의 구조와 하드웨어에 맞춰 전체 실행 속도를 최적화해야 하기 때문이다.
   3. 회사는 액추에이터부터 산업 디자인, 모델과 데이터까지 전부 다루는 풀스택 조직이다.

4.2. 무엇을 사고 무엇을 직접 만드는가

1. 성숙한 부품은 구매

   1. 입출력 규격이 명확하고 이미 매우 성숙한 기술이면 직접 만들 이유가 적다.
   2. 로봇의 검은 원형 센서인 라이다(LiDAR)는 장애물 감지와 주변 탐색에 쓰이며 자율주행차에서 수십 년 검증됐으므로 구매할 수 있다.
   3. 카메라 같은 일부 부품도 같은 기준으로 판단한다.

2. 시스템 성능을 좌우하는 부품은 소유

   1. 액추에이터는 로봇을 구동하고 동역학 모델의 품질을 좌우하므로 Dyna가 직접 개발하려는 핵심 부품이다.
   2. 시뮬레이션에서 로봇을 정확히 모델링하려면 액추에이터가 안정적이고 쉽게 모델링돼야 한다.
   3. 하드웨어는 지능을 실어 나르는 매체이므로 모델이 제대로 작동하도록 하드웨어를 설계해야 한다.
   4. 로봇의 몸 비율도 인간을 기준으로 측정했다. 인간 영상으로 사전 학습하기 때문에 인간과 유사한 비율이 더 좋은 전이를 만든다.

3. 미국 제조와 공급망

   1. 진행자는 미국이 자석을 충분히 만들지 못하며 희토류 자석이 병목이라는 이야기를 꺼냈다.
   2. 대화에서는 희토류 소재를 실제로 만드는 나라가 두 곳 정도라는 취지의 언급이 나왔다.
   3. 미국에서 조립한다고 말하는 기업도 원재료는 세계 다른 지역에서 조달하는 경우가 많다.
   4. Dyna가 풀스택을 운영하면서 본 공급망은 생각보다 훨씬 길고 복잡하다.
   5. 로봇 파운데이션 모델과 데이터에 비해 좋은 하드웨어를 만드는 어려움은 과소평가돼 있다.
   6. Dyna는 지정학적 위험과 선적 지연을 고려하면서 미국 생산 확대와 글로벌 공급망 활용을 동시에 검토한다.
   7. 진행자는 ‘로봇을 위한 literal ships’라는 말장난으로 실제 선박 운송 지연을 웃음으로 풀었다.

5. 왜 바퀴 달린 세미휴머노이드인가

Dyna는 인간형 상체의 조작 능력과 바퀴의 안정성·실용성을 결합해 현재 고객 현장에서 빠르게 학습할 수 있는 형태를 선택했다.

5.1. 상체는 인간형, 하체는 바퀴

1. Dyna 플랫폼의 형태

   1. 상체에는 어깨, 양팔, 허리의 4자유도(degree of freedom)가 있어 인간과 유사한 상체 움직임을 수행한다.
   2. 하체는 다리가 아니라 바퀴이므로 세미휴머노이드(semi-humanoid)라고 부른다.
   3. 다리는 에너지 소비가 크고 안정성이 낮으며, 항상 넘어지지 않는다는 안전 보장이 어렵다.
   4. 균형만 잘 잡는 춤 데모와 실제 생산 현장에서 안전하게 작업하는 로봇은 다르다.

2. 실용성과 성능의 교환

   1. 다리가 최종적으로 더 인간다운 형태를 만들 수 있어도 현재는 안전·내구·에너지 비용이 크다.
   2. 바퀴는 공장과 호텔처럼 평평한 실내에서 안정적으로 이동하게 하며, 상체 조작에 연구 역량을 집중하게 한다.
   3. Dyna는 과거 상하 이동만 가능한 프로토타입 Mewtwo를 만들었지만, 이후 몸통을 기울일 수 있는 형태로 발전했다.

5.2. 몸통 자유도와 인간 행동의 전이

1. 몸을 쓰는 무의식적 조작

   1. 사람은 병을 집을 때 팔만 뻗지 않고 허리와 등, 몸통을 자연스럽게 함께 움직인다.
   2. 목을 잘못 자거나 근육을 당겨 며칠 동안 움직임이 뻣뻣해지면, 평소 얼마나 많은 근육과 자유도를 당연하게 사용했는지 알 수 있다.
   3. 상체를 고정하고 엘리베이터처럼 위아래로만 움직이는 로봇은 자연스러운 접근 동작을 재현하기 어렵다.
   4. 사람의 시점 데이터에는 이런 몸통 움직임이 계속 기록되므로, 로봇이 같은 자유도를 갖춰야 인간 데이터가 더 잘 이전된다.

2. 몸통을 기울이는 이유

   1. 세탁기와 건조기 안쪽으로 팔을 넣으려면 몸 전체를 앞으로 기울여야 한다.
   2. 몸통의 추가 자유도는 작업 공간의 모서리와 깊은 곳에 접근하는 능력을 높인다.
   3. 인간의 잠재적이고 무의식적인 자세 조절을 모델이 그대로 학습할 수 있다.
   4. 하드웨어의 형태를 데이터와 모델의 요구에 맞춰 정한 사례다.

5.3. 단일 모델 전신 제어

1. 부드러운 동작
   1. 진행자는 지금까지 본 휴머노이드 중 가장 부드러운 로봇이라고 평가했다.
   2. 사람도 완벽하게 부드럽게 걷지는 못하지만, Dyna 로봇은 모든 모터를 한 모델이 동시에 제어해 끊김이 적다.
   3. 고차원 행동 공간은 학습하기 어렵지만 단일 모델이 전신을 조정하면 고전적 계획기와 별도 실행기의 경계에서 생기는 뻣뻣함을 줄일 수 있다.
   4. 모델은 약 100차원의 연속 행동을 높은 빈도로 출력하므로 매끄러운 궤적을 만든다.

6. 장시간 작업을 수행하는 계층적 에이전트

한 동작을 잘하는 저수준 정책만으로는 세탁기와 건조기를 오가며 한 시간짜리 업무를 끝낼 수 없으므로, Dyna는 추론 계층과 행동 계층을 묶는 물리적 에이전트 하네스를 만든다.

6.1. 저수준 행동과 고수준 레시피

1. 물리 작업의 고수준 결정

   1. 로봇은 관절 궤적만 예측하는 것이 아니라 작업 순서와 레시피를 이해해야 한다.
   2. 세탁기가 돌아가는 동안 다른 장소로 가서 다른 일을 하고, 세탁이 끝나면 즉시 수건을 건조기로 옮겨야 한다.
   3. 한 단계가 끝나기를 기다리는 동안 다른 작업을 병렬로 진행해야 전체 업무 흐름의 병목을 줄일 수 있다.
   4. 저수준 모델 하나에 모든 긴 시간의 계획을 학습시키면 비효율적이다.

2. 에이전트 하네스의 계층

   1. 상위 추론 모델(reasoning model)은 언어 명령을 단계별 계획으로 바꾼다.
   2. 하위 행동 모델(action model)은 각 단계의 조작과 손재주를 실행한다.
   3. 상위 계층은 “냉장고로 가서 선택된 음료를 잡고 사람에게 돌아와 건네라”처럼 전체 의도를 관리한다.
   4. 하위 계층은 손을 어디에 놓고 언제 집고 언제 놓을지, 미래 영상과 센서 상태를 바탕으로 결정한다.
   5. Dyna는 장기적으로 자체 SDK와 범용 하네스 계층을 제공하려 한다.

3. 자율성의 기준

   1. 현재 업계는 1분 또는 30초 작업의 자율성도 자주 성과로 제시한다.
   2. Dyna가 궁극적으로 원하는 가치는 사람이 감독하지 않아도 몇 시간 동안 이어지는 워크플로다.
   3. 언어 모델이 예전에는 코드를 한 번에 조금씩 자동완성했지만 지금은 에이전트가 끝까지 작업하는 것과 같은 변화가 로봇에도 필요하다.
   4. 따라서 문제는 모델 하나의 성능이 아니라 좋은 에이전트, 하네스, 엔지니어링, 모델, 하드웨어를 결합하는 시스템 문제다.

6.2. 세탁 작업과 하드웨어 한계

1. 현재 가능한 작업 길이

   1. 세탁 데모는 전체 루프를 끝내는 데 약 한 시간이 걸릴 수 있다.
   2. 수건을 꺼내고, 옮기고, 넣고, 접고, 쌓고, 바구니를 이동하는 긴 작업 흐름을 목표로 한다.
   3. 현재 문제는 단순히 더 큰 모델을 학습하면 해결되는 것이 아니라 하드웨어와 데이터 수집의 문제다.

2. 손과 액추에이터의 병목

   1. 공간을 세팅하거나 복잡한 도구를 다루려면 평행 턱 그리퍼(parallel-jaw gripper)보다 인간 손에 가까운 손재주가 필요하다.
   2. 현재 가장 뛰어난 로봇 손은 충분히 내구적이지 않고 빠르게 과열된다.
   3. 연구자는 손을 식히기 위해 문자 그대로 얼음팩을 써야 하는 상황을 언급했다.
   4. 하드웨어가 안정적으로 반복 동작을 하지 못하면 데이터 수집과 평가 자체가 느려진다.
   5. 하드웨어의 한계는 모델 연구의 속도를 함께 제한한다.

3. 감각의 부족

   1. 현재 데이터는 주로 영상과 손 움직임 또는 관절 인코딩에 의존한다.
   2. 인간은 시각 외에도 소리, 촉각, 냄새를 활용해 물체를 조작한다.
   3. 이 감각을 기록하지 않은 채 영상 데이터를 수백만 시간으로 늘리면 작업에 필요한 결정적 차원을 놓칠 수 있다.
   4. 반대로 세탁처럼 현재 센서로 높은 충실도의 데이터를 모을 수 있는 작업에는 근본적인 데이터 형식의 장벽이 상대적으로 적다.
   5. 더 일반적인 로봇으로 가려면 결국 하드웨어와 데이터가 가장 큰 병목이다.

7. 고객 현장에서 검증된 범용성

Dyna의 범용 모델은 여러 작업을 하나의 플랫폼에서 수행하고, 한 번 고친 모델의 가중치를 여러 로봇에 배포해 지점 간 품질을 통일한다.

7.1. Best Western과 Din Tai Fung

1. 호텔 세탁

   1. Best Western을 비롯한 호텔 고객에게 수건과 세탁물을 접는 작업을 제공한다.
   2. 호텔뿐 아니라 체육관과 피트니스 센터도 반복적인 수건 처리가 필요하다.
   3. 실제 호텔 세탁실에서는 로봇이 세탁기에서 수건을 꺼내 건조기로 옮기고 건조기를 작동시키는 장면을 시연했다.

2. Din Tai Fung의 다지점 배포

   1. Din Tai Fung의 미국 여러 지점에서 로봇이 하루 수천 장의 냅킨을 접는다.
   2. LA·뉴욕·시애틀 지점마다 사람이 접는 방식이 달라질 수 있지만 고객은 지점 전체의 일관성을 원한다.
   3. 모델은 가중치 집합으로 배포되므로 한 지점에서 해결한 문제를 여러 로봇에 OTA 방식으로 동시에 업데이트할 수 있다.
   4. 변형 가능한 냅킨과 수건은 경우의 수가 무한해 전용 기계로 빠르게 만들기 어렵지만, 범용 모델은 작업별 적응을 통해 생산 품질에 빨리 도달한다.

3. 정밀도와 속도

   1. 특수 냅킨 접기 기계를 만들려면 기계를 새로 설계·제작해야 하고 온라인 쇼핑으로 바로 살 수 없다.
   2. Dyna 플랫폼은 사람 수준의 속도로 접으면서도 피로하지 않는다.
   3. 로봇의 반복 가능한 동작은 지점마다 달라지는 사람의 방식보다 품질을 균일하게 만든다.
   4. 진행자는 모든 소스와 그램 수를 전 세계 어느 지점에서나 똑같이 맞추는 Cheesecake Factory를 일관성의 비유로 들었다.

7.2. 범용 플랫폼이라는 ‘로보틱스의 Bitter Lesson’

1. 특수 규칙보다 스케일링

   1. 로보틱스도 머신러닝이 해결한 다른 영역처럼 가능한 많은 데이터를 확장하는 방향으로 발전할 것이다.
   2. 차이는 어떤 데이터를 모을지, 어떤 센서를 붙일지 결정하는 일이 언어·게임보다 훨씬 어렵다는 점이다.
   3. 올바른 센서와 데이터 조합을 선택한 뒤 규모를 키우면 모델 성능이 예측 가능하게 올라갈 수 있다.
   4. 물체를 미리 박스에 넣어 인식하게 만드는 특수한 사전 지식보다, 단순한 알고리즘과 올바른 데이터의 확장이 더 나은 일반화를 만들 수 있다.
   5. 로봇에서는 인터넷이 없기 때문에 하드웨어와 센서를 먼저 만들고 그 위에서 데이터를 확장해야 한다.

2. 최종 휴머노이드로 곧장 가지 않는 이유

   1. 인간이 사용하는 세계가 인간의 몸에 맞춰져 있으므로 장기적으로 가장 범용적인 형태는 인간형일 가능성이 높다.
   2. 하지만 하드웨어는 소프트웨어보다 반복 속도가 느리고, 잘못된 결정의 비용이 크다.
   3. 처음부터 최종 휴머노이드를 5~10년 동안 만들다가 폐기할 위험이 있다.
   4. 세미휴머노이드를 실제 고객에게 배치하면 사용 데이터와 실패 피드백을 일찍 얻을 수 있다.
   5. Optimus도 공개적으로 여러 차례 설계를 바꿔 왔듯, 점진적 반복이 최종 로봇에 더 빨리 도달하는 방법이다.

8. 기술 접근법과 한계에 대한 자기비판

Dyna는 세계 행동 모델이 모든 문제의 정답이라고 단정하지 않고, 센서가 물리 세계의 충분한 정보를 담는지에 따라 다른 접근법이 앞설 수 있음을 인정한다.

8.1. 산업의 여러 경로

1. 서로 다른 데이터와 하드웨어 전략

   1. Dyna는 하드웨어를 직접 만들고 전체 체인을 소유하며 인간 데이터의 규모를 키우는 방식을 택한다.
   2. 다른 회사는 로봇 데이터만 확장한다.
   3. 또 다른 회사는 중간 데이터 수집 장치를 확장한다.
   4. 어느 접근이 최종적으로 승리할지는 아직 이르며, 각 방법이 경쟁 중이다.

2. 월드 모델과 VLA

   1. Dyna-2는 월드 모델 위에 행동을 얹은 월드 액션 모델이다.
   2. Runway처럼 비디오 월드 모델을 로봇으로 전이하려는 회사도 있다.
   3. 비전-언어-행동 모델(Vision-Language-Action Model, VLA)은 비전-언어 모델을 로봇에 맞게 조정한다.
   4. 중요한 것은 모델 이름이 아니라 현재 정보로 미래를 예측하고 다음 행동을 선택할 수 있는지다.
   5. 로봇은 세계의 일부이며 세계도 로봇의 행동을 바꾸므로, 로봇 행동만 추상적으로 예측하기보다 가능한 많은 원시 세계 상태를 예측하는 편이 인간의 편향을 줄인다.

8.2. “비전만으로 충분하지 않을 수 있다”는 caveat

1. 센서가 세계를 충분히 설명하는가

   1. 영상만으로 만든 월드 모델은 강력할 수 있지만 소리와 촉각 같은 결정적 정보를 빠뜨릴 수 있다.
   2. 시각은 정보가 풍부하지만 픽셀 간 중복도 높아, 모든 픽셀이 새로운 정보를 주는 것은 아니다.
   3. 촉각은 접촉 순간의 상태를 더 밀도 높게 알려줄 수 있다.
   4. 비전·촉각 월드 모델이 같은 성능을 훨씬 적은 데이터와 계산량으로 달성할 가능성이 있다.
   5. 그런 모델이 등장하면 Dyna의 비전 중심 접근도 100배 더 데이터 효율적인 접근에 밀릴 수 있다.

2. 로봇 회사의 강점

   1. 최종 해법이 비전·촉각·오디오를 결합한 월드 모델이라면, 로봇 회사는 센서와 결합의 실제 병목을 오래 다뤘다는 강점을 가진다.
   2. 비디오 생성 회사가 로봇으로 방향을 바꿀 때 촉각을 어떻게 붙이고 학습시킬지는 쉽지 않다.
   3. Dyna는 이미 하드웨어부터 센싱까지 함께 설계하므로 새로운 양식으로 확장할 기반이 있다고 본다.
   4. 적외선은 모델의 또 다른 입력 채널이 될 수 있으며, RGB 카메라만으로 구분하기 어려운 음식의 조리 정도를 확인하는 데 활용할 수 있다.
   5. 진행자는 하드웨어를 완전히 이해하지 않아도 코드 모델이 많은 것을 추상화할 수 있다고 반론했으며, Jason Ma는 그런 정보가 학습 분포에 실제로 들어 있지 않다는 한계를 짚었다.

9. GPT-6, 시뮬레이션, 개발 문화

언어 모델과 코딩 에이전트의 발전은 Dyna의 연구·제품 개발을 직접 가속하고, 특히 가상 환경을 만드는 능력이 로봇 연구에 영향을 준다.

9.1. AI-native 회사의 개발 방식

1. 코딩 에이전트 활용

   1. Dyna는 AI-native 회사라서 코딩 에이전트를 업무의 기본 도구로 사용한다.
   2. 새 모델이 나올 때마다 빠르게 시험하며, GPT-6가 공개된 주에는 전사 해커톤을 열었다.
   3. 해커톤에서 만든 기능 중 일부는 곧바로 메인 브랜치와 프로덕션에 들어갔다.
   4. Jason Ma는 GPT-6가 가상 환경을 구성하고 시뮬레이션으로 바꾸는 능력이 특히 인상적이었다고 말했다.
   5. CAD 모델을 3D로 만드는 도구가 해커톤에 많이 등장했고, 진행자는 처음에는 결과가 형편없을 것으로 생각했다가 의외로 꽤 현실적인 결과를 보고 놀랐다.
   6. 진행자는 CAD 프로젝트로 해커톤에서 이겼다고 주장했고, 서로 상대가 졌다고 놀리는 장면이 있었다.

2. 6개월에서 1년의 목표

   1. 특정 작업 하나를 반드시 해결하는 것보다 여러 산업에서 플랫폼을 확장하는 것이 목표다.
   2. 세탁과 식당 작업은 일반 플랫폼을 검증하는 쐐기(wedge)이며, 각 작업을 통해 전체 시스템을 개선한다.
   3. 이미 수십 대의 로봇을 배치했고, 다음 해의 목표는 전체적으로 수백 대까지 배포하는 것이다.
   4. 장기적으로는 수천 고객과 수백만 대 로봇이 물리 세계에서 실제로 작동하는 상태를 지향한다.

9.2. 배포 중심 연구 문화

1. 상위 목표와 하위 프로젝트

   1. Dyna는 연구만 하는 조직이 아니라 연구 결과를 고객 제품으로 연결하는 연구·제품 회사(research plus product company)다.
   2. 새 고객 배포에서 발생하는 일반화, 전신 제어, 빠른 적응, 언어 명령, 손재주 문제가 연구 의제를 정한다.
   3. 엔지니어는 각 문제를 스트레스 테스트할 과제를 아래에서 위로 제안한다.
   4. 음료 가져오기 과제는 언어 명령을 따르는지 테스트하고, 모델이 의도를 이해하면 여섯 음료 중 올바른 것을 가져와야 한다.
   5. 카메라 뒤에서는 형광펜을 고무줄로 묶는 작업 같은 소박하고 이상해 보이는 평가도 만들어진다.
   6. “누가 형광펜에 고무줄을 묶는 평가가 필요하다고 생각했을까”라는 농담처럼, 실제 병목을 검증하면 과제는 자연스럽게 구체화된다.

2. 팀 구성과 학습

   1. 하드웨어 인력은 전체의 약 30~40%로 추정된다.
   2. 모델 작업에는 약 10명이 참여하고 소프트웨어·로보틱스·비즈니스 팀이 함께 움직인다.
   3. 데이터 수집자 중에는 로봇 경험 없이 리테일 등 다른 업종에서 온 사람도 있으며, 현장에서 로봇 전문가로 성장한다.
   4. 연구실에서 연구자만 만나던 시절과 달리 창업 후에는 서로 다른 배경의 사람에게서 매일 배우게 됐다.
   5. Jason Ma는 회사를 운영하는 지금도 로봇 분야를 매일 새로 배우는 학생처럼 느낀다고 말했다.

10. Jason Ma의 경력과 Dyna의 출발

Jason Ma는 AlphaGo에서 받은 충격, 강화학습 연구, 시뮬레이션의 보상 함수 문제, 실제 고객에게 기술을 배치하고 싶다는 욕구를 거쳐 Dyna를 만들었다.

10.1. AlphaGo와 Penn GRASP

1. 어린 시절의 바둑 경험

   1. Jason Ma는 일본과 중국에서 시간을 보내며 자랐고 어릴 때부터 바둑을 뒀다.
   2. 고등학교 3학년 때 AlphaGo가 등장했을 때 오랫동안 해온 게임을 AI가 풀어낸 사실에 큰 충격을 받았다.
   3. 당시 바둑의 탐색 공간은 우주 전체 원자 수보다 크다고 여겨졌고, AI가 절대 풀지 못할 게임이라는 말도 있었다.
   4. 강화학습이 그 한계를 깨는 모습을 보고 스스로 개선하는 모델과 에이전트에 관심을 갖게 됐다.

2. 박사과정의 강화학습과 로봇

   1. Penn에서 박사과정을 시작하며 강화학습을 연구하려 했다.
   2. 두 지도교수의 관심 중 한쪽이 로봇이었고, 그 지도교수는 Berkeley 로봇 연구실에서 박사후연구를 했다.
   3. Penn의 GRASP Lab에서 강화학습과 로봇을 결합하는 연구를 진행했다.
   4. 인간 데이터와 강화학습을 연결하고, 강화학습 이론을 엄밀하게 다루는 연구를 수행했다.

10.2. NVIDIA의 연필 돌리기와 Eureka

1. 손재주 평가로서의 연필 돌리기

   1. NVIDIA에서는 GPT-4가 등장하던 시기에 Jim Fan과 함께 로봇 손으로 연필 돌리기를 해결하려 했다.
   2. 인간 영상에서 연필 돌리기를 배우고 싶었지만 당시에는 연필을 돌릴 수 있는 손 자체가 없었다.
   3. 하드웨어가 가능하지 않으면 인간 데이터로 배운 알고리즘을 평가할 방법도 없었다.

2. 보상 함수 문제의 발견

   1. 먼저 시뮬레이션에서 연필 돌리기를 시도하려고 가상 로봇 손을 만들었다.
   2. 강화학습이 올바른 행동을 배우려면 보상 함수에 필요한 모든 항을 사람이 설계해야 하는데, 이를 미리 적는 것은 사실상 불가능했다.
   3. 코드 작성 모델이 환경과 보상을 만들 수 있다면 어떨지 생각한 것이 Eureka 프로젝트로 이어졌다.
   4. Eureka는 아무도 시연해 주지 않은 새로운 작업을 시뮬레이션에서 풀도록 모델을 사용한 초기의 재귀적 자기개선 로봇 에이전트로 평가됐다.
   5. 이 경험은 언어 모델과 코딩 모델이 로봇 연구를 가속할 수 있다는 가능성을 보여줬다.

10.3. Google DeepMind에서 Dyna로

1. 연구실을 넘어 실제 세계로
   1. Google DeepMind에서는 Gemini 같은 프런티어 모델을 로봇에 활용하는 방법을 연구했다.
   2. 학술 연구는 흥미롭지만 연구실에서 흥미로운 과제를 만들고 스스로 채점하는 것은 자신의 숙제를 자신이 채점하는 것과 같다는 고민이 있었다.
   3. 기술이 실제로 수백만 명에게 쓰이는지 확인하고 싶었다.
   4. 2024년 말은 연구 성과를 실제 물리 세계에 내놓을 수 있는 시기라고 판단해 Dyna를 시작했다.
   5. 이후 약 2년 동안 플랫폼·모델·로봇을 만들고 Din Tai Fung 같은 현장에 배치했다.
   6. 2024년에는 시뮬레이션이 아직 준비되지 않았다고 판단해 잠시 접었던 아이디어도 새 프런티어 모델의 발전으로 다시 살아날 수 있다고 보았다.

11. Dyna라는 이름과 장기 비전

Dyna라는 이름은 강화학습의 고전적 자기개선 에이전트와 Jason Ma의 성장 배경을 동시에 가리킨다.

11.1. 이름의 두 가지 유래

1. Richard Sutton의 Dyna

   1. Turing Award 수상자 Richard Sutton은 월드 모델 안에서 스스로 개선하는 에이전트를 다룬 Dyna 논문을 썼다.
   2. 회사를 시작할 때부터 로봇이 월드 모델을 통해 해결될 것이라고 느꼈고, 당시 구현하지 못했지만 그 방향을 이름에 담았다.
   3. 실제 Dyna의 기술 방향이 월드 액션 모델로 수렴하면서 이름과 회사의 연구 철학이 연결됐다.
   4. Jason Ma는 강화학습 연구자로서 Richard Sutton을 깊이 존경한다고 말했다.

2. 일본의 Ultraman Dyna

   1. Jason Ma가 태어난 해 일본의 만화·특촬 시리즈 Ultraman의 새 캐릭터가 Dyna였다.
   2. 진행자가 그 사실을 듣고 “이제 모두가 알게 됐다”고 농담했다.
   3. Jason Ma는 Richard Sutton에게 회사 이름을 직접 알리고 초대하겠다고 말했다.

11.2. 미션과 채용

1. 물리 세계로 들어가는 지능

   1. Dyna의 높은 수준의 미션은 로봇과 지능을 실제 물리 세계로 가져오는 것이다.
   2. 목표는 수천 고객 현장, 더 나아가 수백만 대 로봇이 실제 업무를 수행하는 상태다.
   3. 로봇이 단순히 멋진 데모를 하는 것이 아니라 고객 현장에서 하드웨어와 파운데이션 모델이 통합되어 생산성을 높여야 한다.

2. 업계에 대한 요청

   1. 로보틱스 산업은 여전히 데모 중심이라는 자기비판이 있다.
   2. 연구실과 전시회에서 멋진 장면을 보여주는 것보다 고객 현장에 배치하기 위해 무엇이든 하는 사람들이 더 필요하다.
   3. 가장 어려운 문제를 푸는 일이 매일의 동기가 되는 사람을 채용하고 있다.
   4. 현재 채용 지역은 Bay Area이며, 회사 성장에 따라 다른 지역도 배제하지 않는다.
   5. Jason Ma의 마지막 바람은 세상에 더 많은 로봇이 실제로 배치되는 것이다.

12. Dyna 2.1 물리적 에이전트 시연

대화 뒤에 붙은 현장 시연은 Dyna-2의 행동 모델과 상위 에이전트 하네스가 실제 작업을 어떻게 결합하는지 보여준다.

12.1. 호텔 세탁실의 전체 워크플로

1. 건조기로 수건 옮기기

   1. Dyna 2.1 하드웨어와 Dyna-2 월드 액션 모델, 물리적 에이전트 하네스를 결합했다.
   2. 로봇은 세탁기에서 수건을 꺼내 건조기로 옮긴다.
   3. 팔을 문 안쪽으로 깊게 넣으면서 몸을 조정해야 하고, 문과 충돌하지 않아야 한다.
   4. 단일 모델이 몸의 모든 관절을 제어하므로 고전적 계획과 실행의 분리에서 생기는 뻣뻣함이 줄어든다.

2. 떨어진 수건과 더러운 수건 처리

   1. 연구자가 수건 하나를 바닥에 떨어뜨리면 로봇은 수건이 떨어졌다는 변화를 시각적으로 감지한다.
   2. 로봇은 그 수건을 집어 올리고 건조기 작업을 이어간다.
   3. 수건이 이미 더러워졌다는 상태를 판단해 더러운 빨래 바구니에 넣는다.
   4. 전신 로봇은 작업 공간의 여러 모서리에 접근해 사람 작업자가 하는 전체 흐름을 담당한다.

3. 건조기 조작과 문맥

   1. 로봇은 건조기 문을 닫고 작동시킨다.
   2. 촉각 정보를 사용해 건조 모드를 선택할 수 있다.
   3. 다이얼을 돌리고 올바른 모드인지 확인한 뒤 버튼을 누르는 동작이 사람처럼 보였다.
   4. 카메라가 잡는 디지털 프레임에는 LED 화면의 깜빡임이 들어가므로, 로봇은 단일 이미지가 아니라 시간 문맥을 사용해 건조기가 실제로 시작됐는지 확인한다.
   5. 전체 워크플로에는 세탁물 접기·쌓기·옮기기·바구니 처리까지 포함되며, 로봇이 사람이나 다른 기계의 공급 없이 처음부터 끝까지 맡는 것이 핵심이다.
   6. 이런 시스템은 로봇을 단순 기계가 아니라 작업장의 한 명의 직원처럼 만든다.

12.2. 언어 명령으로 냉장고에서 음료 가져오기

1. 전체 작업

   1. 화면에서 원하는 여섯 음료 중 하나를 고르면 로봇이 명령을 받는다.
   2. 시연에서는 바닐라 셰이크를 선택했다.
   3. 로봇은 냉장고로 이동해 올바른 음료를 집고, 사람에게 돌아와 건넨다.
   4. 언어 지시를 조작 행동과 이동 행동으로 바꿔 수행하는 에이전트 능력을 보여준다.

2. 추론 계층과 행동 계층

   1. 상위 추론 모델은 몇 문장의 명령을 받아 “냉장고로 가서 음료를 집고 돌아와 사람에게 건네라”는 단계별 계획을 만든다.
   2. 하위 행동 모델은 각 조작과 손재주를 실행한다.
   3. 행동 모델은 원하는 음료를 선택할 수 있도록 조종 가능(steerable)해야 한다.
   4. 비디오 액션 모델은 “이 로봇이 특정 음료를 잡으면 어떤 모습일지”를 상상해 사용자의 의도를 실제 장면과 연결한다.
   5. 모델은 올바른 음료를 잡았는지 확인한 뒤 정확한 순간에 손을 놓아야 한다.
   6. 너무 일찍 놓으면 음료를 떨어뜨리고, 잘못된 긍정(false positive)이 생기면 안전 문제가 발생하므로 타이밍이 중요하다.
   7. 연구진은 이런 작은 타이밍·인식 문제를 모두 해결해야 안정적인 데모와 제품을 만들 수 있다고 설명했다.

주요 발언 모음

“월드 액션 모델은 미래의 영상을 예측할 뿐 아니라 로봇이 물리 세계에서 실행할 행동도 만들어낸다.”

“인간이 물리 세계에서 행동할 때 뇌는 자신의 행동에 따라 세계가 어떻게 전개될지 암묵적으로 생각한다.”

“로봇에서 진짜 어려운 일은 한 장소에 로봇을 두거나 파일럿을 하는 것이 아니라, 고객이 충분한 가치를 확인하고 여러 장소에 배치하는 것이다.”

“로봇은 칼을 든 채 3초 동안 아무것도 하지 않고 기다릴 수 없다. 물리학과 중력은 네트워크를 기다려 주지 않는다.”

“인간 데이터는 넓은 물리 조작의 사전 지식을 주고, 로봇 데이터는 저수준 반사와 손재주를 채운다.”

“범용 로봇을 만들려면 모델만 좋은 것으로는 부족하다. 좋은 에이전트, 하네스, 엔지니어링, 모델, 하드웨어가 모두 필요하다.”

“우리의 목표는 로봇을 진짜 고객 현장에 배치하는 것이다.”

“데모를 보여주는 데서 멈추지 않고 하드웨어와 로봇 파운데이션 모델을 실제 고객 사이트에 통합해야 한다.”

핵심 데이터 & 수치

• 100만 시간 이상: Dyna-2가 사전 학습한 인간 데이터 규모다.
• 수십 분~몇 시간: 새 작업을 시작하기 위해 필요한 로봇 시연의 대략적인 범위다.
• 약 45분: 음식 자르기 작업의 시연 데이터로 언급된 시간이다.
• 70~80%: 초기 모델이 작업을 수행한 뒤 추가 데이터 수집 여부를 판단하는 예시 성능이다.
• 약 40~100단계 대 약 4단계: 일반 Diffusion과 Flow Matching의 추론 단계 비교다.
• 약 100차원: Dyna 로봇 행동 공간의 규모다.
• 초당 10~20회: 연속 행동 벡터를 예측하는 빈도의 예시다.
• 약 1~2초: 미래 행동을 내다보는 시간 범위와 연결된 예시다.
• 약 1시간: 현재 세탁 전체 루프처럼 로봇이 수행할 수 있는 장시간 작업의 예시다.
• 약 30~40%: 회사 인력 중 하드웨어 비중으로 제시된 추정치다.
• 약 10명: 모델 작업에 참여하는 인력 규모로 언급됐다.
• 수십 대에서 수백 대: 이미 배치한 로봇 규모와 다음 해 목표다.
• 수천 고객·수백만 로봇: Dyna가 장기적으로 그리는 배포 규모다.
• 하루 수천 장: Din Tai Fung 여러 지점에서 접는 냅킨 규모다.
• 약 3초: 네트워크 지연이 로봇의 안전과 자연스러운 동작을 위협하는 직관적 예시다.
• 두 곳 정도: 희토류 자석을 만드는 국가 수에 대한 대화 중 언급된 대략적 수치다.

결론 및 시사점

1. Dyna-2의 핵심은 미래 영상을 생성하는 데 있지 않고 미래 상태 예측을 실제 행동 선택의 중간 표현으로 활용하는 데 있다.
2. 범용 로봇의 학습은 인간 시점 영상으로 폭넓은 물리 상식을 만들고, 값비싼 로봇 시연으로 신체 차이와 작업별 요구를 보정하는 방향으로 진행된다.
3. 로봇 데이터의 품질은 모델의 현재 지식과 센서 구성에 따라 계속 바뀌므로, 원시 영상·로봇 시연·작업별 고충실도 데이터를 함께 운영해야 한다.
4. 합성 환경과 프런티어 모델의 3D 재구성 능력은 로봇 데이터 부족을 보완할 수 있고, Dyna-2 자체가 미래 영상을 만들어 자기 강화 데이터 플라이휠을 만들 가능성도 있다.
5. 로봇은 수 초의 네트워크 지연도 허용하기 어려우므로 큰 모델을 학습한 뒤 지식 증류와 자체 추론 스택으로 로컬 배포하는 구조가 필요하다.
6. 액추에이터·몸통 자유도·센서·로봇 비율은 모델 성능과 분리된 하드웨어 사양이 아니라 데이터 전이와 지능을 결정하는 학습 인프라다.
7. 바퀴 달린 세미휴머노이드는 최종 인간형의 타협안이 아니라, 안정적인 현장 배포와 빠른 피드백을 얻기 위한 반복 가능한 출발점이다.
8. 한 동작의 자율성보다 세탁처럼 계획·대기·이동·조작을 묶은 시간 단위의 워크플로가 고객 가치와 범용 로봇의 실력을 더 잘 측정한다.
9. 비전만으로 충분하지 않을 수 있으며, 촉각·오디오·적외선 같은 센서를 미래 예측에 넣는 것이 데이터 효율과 조작 정밀도를 바꿀 수 있다.
10. 로보틱스의 Bitter Lesson은 특수 규칙과 전용 기계를 끝없이 추가하기보다 올바른 센서와 데이터를 정하고 단순한 알고리즘을 확장하는 데 있다.
11. 연구실 데모의 숫자보다 여러 고객 지점에서 반복되는 품질과 고객이 더 큰 계약을 체결할 정도의 가치 검증이 상용화의 기준이다.
12. Dyna의 배포 중심 문화는 고객 작업에서 드러나는 병목을 연구 의제로 바꾸고, 형광펜에 고무줄을 묶는 작은 평가까지 실제 능력 검증에 사용한다.
13. Dyna의 장기 비전은 로봇과 지능을 물리 세계에 배치해 수천 고객과 수백만 로봇의 생산성을 높이는 것이다.

---

📬 Telegram / Slack 전송용 20줄 핵심 요약

Dyna-2는 인간 시점 영상 100만 시간 이상으로 학습한 월드 액션 모델이다. 월드 액션 모델은 미래 영상과 세계 상태를 예측해 로봇 행동을 더 정교하게 만든다. 로봇은 과거 카메라 영상과 관절 각도와 언어 명령을 함께 입력으로 사용한다. Dyna-2는 시각·물리 공간에서 연쇄적으로 추론한 뒤 연속 행동을 출력한다. Diffusion Transformer는 대규모 학습과 부드럽고 정밀한 로봇 동작을 동시에 지원한다. Flow Matching은 수십 단계의 확산 계산을 소수 단계로 줄여 실시간 제어에 유리하다. 인간 데이터는 넓은 물리 상식을 주고 로봇 데이터는 신체 차이와 저수준 손재주를 보완한다. 새 작업은 수십 분에서 몇 시간의 시연만으로도 초기 모델을 만들 수 있다. 음식을 자르는 작업은 약 45분의 시연으로 학습 사례가 만들어졌다. 로봇에는 인터넷에 해당하는 행동 데이터가 없어 데이터 수집과 센서 선택이 핵심 병목이다. 합성 환경과 3D 재구성은 로봇 데이터 규모를 늘릴 다음 확장 축이 될 수 있다. Dyna-2가 미래 영상을 생성하면 그 결과를 새 학습 데이터로 쓰는 자기 강화 플라이휠도 가능하다. 로봇은 네트워크 지연을 기다릴 수 없어 최종 모델을 온디바이스에서 실행해야 한다. Dyna는 액추에이터와 추론 스택처럼 시스템 성능을 좌우하는 요소를 직접 설계한다. 바퀴 달린 세미휴머노이드는 다리보다 안정적이며 인간형 상체와 몸통 자유도를 제공한다. Din Tai Fung 여러 지점에서 로봇은 하루 수천 장의 냅킨을 일관된 품질로 접는다. Dyna의 물리적 에이전트 하네스는 저수준 조작과 고수준 작업 계획을 계층적으로 결합한다. Dyna 2.1은 호텔 세탁실에서 수건 이동과 건조기 조작을 포함한 장시간 워크플로를 수행한다. 비전만으로 부족할 수 있어 촉각과 오디오와 적외선 센서가 다음 데이터 효율을 좌우할 수 있다. Dyna는 데모를 넘어 수천 고객과 수백만 로봇을 실제 현장에 배치하는 것을 목표로 한다.

Obsidian: /Users/flowkater/Obsidian/flowkater/flowkater/Study/YouTube다이제스트/2026-10-14-latentspacepod-백만시간로봇두뇌-다이나2와월드모델.md Nuggets: https://nuggest.flowkater.io/digest/2026-10-13/dyna-2-million-hour-robot-brain-2026-10-13