벤치마크 1위가 탈락한 이유와 독파모 4파전의 실체

원문 제목: EP 111. Benchmark Leader Eliminated? Inside the Four-Way Dokpamo Race

URL: https://www.youtube.com/watch?v=Q_Fzk7rkmsM
날짜: 2026-08-26
채널: Chester Roh
녹화일: 2026-08-22
출연: 노정석, 박종현, 최승준

---

📌 핵심 질문 / 이 콘텐츠가 다루는 핵심 논점

==Artificial Analysis Intelligence Index(AAII)에서 가장 높은 점수를 받은 Motif가 독자 파운데이션 모델(독파모) 4파전에서 탈락한 이유는 모델 자체의 지능이 아니라, 공공사업이 모델 성능·생태계·국민 접근성·컨소시엄 역량을 함께 평가했기 때문이다.==

• Motif는 AAII에서는 1위였지만 비공개 자체 벤치마크에서는 SK텔레콤 모델이 1위였고, 정성 평가는 LG AI연구원 모델이 1위였다.
• 공개 모델을 직접 써 본 체감에서는 Motif가 이상한 질문을 거부하고 헛소리를 줄이는 인지적 품질을 보였지만, 실제 업무·웹 검색·도구 사용은 Solar가 더 안정적이었다.
• 독파모의 가치는 당장 잘 작동하는 챗봇 한 개보다 한국어 데이터·GPU 경험·인재·서비스·국산 하드웨어가 이어지는 주권 AI 생태계를 만드는 데 있다.
• 좋은 파운데이션 모델을 계속 개선하려면 측정 가능한 평가 지표, 반복 실험, 하네스와 control plane이 필요하며, 측정할 수 없는 취향과 큰 그림을 스스로 추상화하는 능력이 아직 병목이다.

독파모 경쟁은 “벤치마크 1위가 왜 떨어졌는가”라는 사건을 넘어, 파운데이션 모델의 목적을 무엇으로 볼지 묻는다. 산업 현장은 가장 높은 지능과 레버리지를 원하지만, 공공정책은 국민 전체의 평균적 접근성, 공정성, 국내 산업 파급효과를 함께 책임져야 한다. 또한 Motif의 사례는 적은 인력으로 높은 지능의 기반 모델을 만들 수 있음을 보여 주었고, 탈락이 오히려 글로벌 오픈 웨이트 시장에서 자유롭게 경쟁할 기회가 될 수 있음을 시사한다.

1. 독파모 경쟁의 배경과 네 모델의 위치

독자 모델 투자는 프론티어 모델의 공급망과 국가 주권에 대한 불안에서 출발했고, 이번 평가는 단일 점수보다 훨씬 넓은 목적을 가졌다.

1.1. 프론티어 경쟁과 독파모의 출발점

1. 프론티어 모델의 가속

   1. 프론티어 모델은 끝을 알 수 없을 정도로 계속 전진하고 있다.
   2. GPT-6로 불릴 수 있는 Astra의 다음 세대 모델에 대해 Sam Altman이 위험성을 이유로 2주간 모델 학습을 멈췄다는 소식이 나왔지만, 후반부에서는 Astra 자체가 아니라 그다음 모델을 멈춘다는 설명이 다시 언급됐다.
   3. “프론티어가 되는 것만이 살길”이라는 인식과 프론티어가 되지 못했을 때 외부 모델에 종속될 수 있다는 불안이 국가 차원의 독자 파운데이션 모델 사업을 만들었다.

2. 독파모 4파전의 사건

   1. 네 후보 중 세 팀을 고르는 본선 진출 행사가 열렸고, AAII에서 가장 높은 Motif가 탈락했다.
   2. 다음 본선에 올라간 세 팀은 업스테이지의 Solar Open 2, SK텔레콤의 A.X K2, LG AI연구원의 K-EXAONE으로 정리된다.
   3. Motif와 2위권의 AAII 점수 차이는 약 10점이었다. 비교 기준으로 GPT-5.6 Sol과 Luna의 차이도 약 10점이므로, 상위 모델과 하위 모델의 세대 차이에 가까운 격차가 탈락 결과와 충돌했다.

1.2. AAII 순위와 모델 규모

1. Artificial Analysis Intelligence Index의 역할

   1. AAII는 여러 벤치마크를 모아 모델 성능을 하나의 숫자로 표현하므로, 완전히 객관적이지는 않아도 가장 널리 참고되는 지표로 소개됐다.
   2. 상위권에는 Opus, Fable, Sol, Grok, Kimi 등 미국·중국의 프론티어 모델이 자리하고, 그 아래에서 한국 모델 Motif가 처음 등장한다.
   3. Qwen 3.8의 27B 소형 버전, TML Inkling, NVIDIA Nemotron, 업스테이지 Solar, SK텔레콤 A.X K2, LG K-EXAONE도 비슷한 구간에 분포한다.
   4. 한국·미국·중국 외 모델로는 Mistral이 먼저 보이고, Cohere의 Command A는 캐나다 계통으로 소개되지만 북미 분류는 애매하다고 덧붙였다.

2. 모델 크기와 점수의 역전

   1. 네 모델의 규모는 대략 Motif 300B, Solar 750B, A.X K2 680B, K-EXAONE 200B 수준으로 언급됐다.
   2. 가장 큰 모델의 벤치마크 점수가 가장 높지 않았고, 오히려 작은 모델의 점수가 더 높아 모델 크기와 벤치마크 점수가 단순히 비례하지 않았다.
   3. context size는 Solar만 1M이고 나머지는 대체로 256K였다.
   4. 네 팀 모두 Transformer 내부를 조금씩 수정해 개선하려 했으며, 단순히 기존 구조를 그대로 복제한 것은 아니었다.

1.3. 학습량·데이터·자원

1. Pre-training 규모

   1. 네 모델은 대략 1T 토큰 안팎을 사전 학습한 것으로 추정됐다.
   2. 비교 대상으로 언급된 Kimi K2는 지난 세대 모델이지만 약 20T 토큰을 학습한 것으로 알려져, 10T 토큰만 되어도 규모 면에서 상당히 따라간 것으로 볼 수 있다는 맥락이 제시됐다.
   3. active parameter와 학습 토큰을 이용해 pre-training 연산량을 역산하면 Motif와 Solar Open 2처럼 점수가 높은 두 모델의 사전 학습 연산량이 오히려 더 작게 나타났다.

2. 데이터 출처와 공개성

   1. 공개 pre-training 데이터의 대표적인 큰 축으로 NVIDIA Nemotron 코퍼스와 Hugging Face FineWeb2가 거론됐다.
   2. 각 팀은 공개 데이터에 공공기관 자료를 섞거나, 데이터를 선별·정제·압축·합성하는 방식으로 차이를 만들었을 가능성이 높다.
   3. Motif는 후발 주자답게 NVIDIA Nemotron 코퍼스를 가장 많이 활용한 것으로 소개됐다.
   4. 한국어 데이터를 어떻게 정제하고 합성했는지에 대한 recipe와 출처는 충분히 투명하게 공개되지 않았다. 시간이 지나면 데이터 처리 방식이 더 정리되어 공개될 가능성이 기대됐다.

3. GPU와 비용

   1. 학습에는 B200 기준 약 500~700장이 지원됐다.
   2. GPU-hour와 총비용은 정확히 공개되지 않았기 때문에, 모델 크기·토큰 수만으로 실제 개발 비용을 단정할 수 없다.
   3. SK텔레콤은 초기에 GPU 지원사로 등록되어 정부 GPU를 받지 못하고 자체 비용으로 학습했다는 설명이 나왔다. 정부 지원 GPU를 받으면 weights를 공개해야 한다는 조건과 연결되어 있었고, 7월부터 다시 지원 범위에 들어온 것으로 이해됐다.
   4. SK텔레콤은 인프라 공급자이면서 모델 개발자이기도 하므로, 사업 공정성을 위해 지원 조건과 이해관계를 분리하는 장치가 필요했다.

4. 작은 팀의 레버리지

   1. Motif 팀은 약 30명의 인력으로 알려졌다.
   2. 파운데이션 모델은 엄청난 GPU와 돈을 필요로 하지만, 핵심 인력이 대규모일 필요는 없다는 점이 드러났다.
   3. 몇 명의 정예 인력이 레시피를 이해하고 실행하면 큰 팀과 경쟁할 수 있으며, 최상위 프론티어 랩에서 인재 영입에 수백억~1,000억 원대 비용이 언급되는 이유도 이런 레버리지와 연결된다.

2. 왜 AAII 1위 Motif가 탈락했는가

독파모의 루브릭은 공개 벤치마크 순위를 그대로 옮기는 방식이 아니라, 모델·사용자·산업 생태계를 함께 보는 공공사업형 평가였다.

2.1. 공개 점수와 비공개 점수의 충돌

1. 점수 구성

   1. 전체 평가에서 벤치마크는 약 40점으로 설명됐고, 다른 대목에서는 AAII가 35점으로 언급되어 세부 배점 공개가 완전히 일치하지 않았다.
   2. 공개 벤치마크가 알려지면 문제를 학습해 점수를 올리는 benchmaxxing이 가능하므로, 자체 벤치마크 일부는 비공개로 유지됐다.
   3. 공개된 내용은 대략적인 평균과 격차, 1위 팀 정도였고, 모든 항목의 세부 점수는 발표되지 않았다.

2. 세 평가의 서로 다른 1위

   1. AAII에서는 Motif가 1위였다.
   2. 비공개 자체 벤치마크에서는 SK텔레콤 모델이 1위였다.
   3. 전문가 정성 평가에서는 LG AI연구원 모델이 1위였지만 평균 격차는 크지 않았다.
   4. 한국 문화·현지 지식, 국민이 실제로 사용하는 질문, 한국어 응답 품질이 자체 평가에 많이 포함됐을 가능성이 제기됐다.

2.2. 생태계와 정책 점수

1. 모델 밖의 역량

   1. 업스테이지는 다음 포털과 연계되고 퓨리오사AI NPU와 협업했다.
   2. SK텔레콤과 LG AI연구원은 이미 상용 서비스에 모델을 탑재했고, 국제기구 협업과 낮은 hallucination 가능성도 평가받았다.
   3. 애플리케이션에 실제로 적용되는지, NVIDIA GPU뿐 아니라 국내 NPU에서도 돌아가는지, 미래 생태계에 얼마나 기여하는지가 평가 항목으로 들어갔다.
   4. Motif에 대한 총평은 모델 자체 품질에 집중됐고, 다른 팀의 총평에는 모델 외적 생태계 성과가 더 많이 포함됐다.

2. 공공사업의 목적

   1. 독파모의 첫 취지는 모델 한 개의 성능뿐 아니라 한국 프론티어 모델 생태계 전체를 끌어올리는 데 있었다.
   2. 초기 팀 선발부터 서비스·인프라 기업이 포함된 컨소시엄 구성과 위아래 산업 연계가 중요했다.
   3. 업스테이지·SK텔레콤·LG는 많은 기업이 참여하는 컨소시엄을 유지했지만, 30명 규모의 후발 스타트업 Motif는 정책·생태계 점수에서 상대적으로 불리했을 가능성이 있다.
   4. 공공의 평가는 하나의 결정적인 고점보다 최대한 많은 사람이 접근하고 전체 만족도가 높아지는 저점을 끌어올리는 방향에 가깝다.

3. 국민 평가와 공정성

   1. 일반 국민을 모집할 때 AI 전문가만 모으지 않고 인구 통계를 고려해 남녀노소가 섞인 평가자 집단을 만들었다.
   2. 일반 국민 평가에서 모델 간 점수 차이는 있었지만, 당락에는 영향을 주지 않았다고 발표됐다.
   3. 산업계가 “어떻게 모델의 지능을 가장 많이 끌어낼까”라는 고점을 보는 반면, 공공은 “누구나 최소한의 혜택을 누리게 할까”라는 저점을 본다는 차이가 있다.
   4. 특정 루브릭이 산업계의 직관과 맞지 않더라도, 공공사업이 타협·공정성·전체 만족도를 동시에 달성하려는 과정이라는 점을 감안해야 한다.

2.3. 벤치마크, 한국어, 하네스의 관계

1. 벤치마크의 유효성과 한계

   1. benchmaxxing은 점수만 높고 실제 사용성이 낮은 모델을 가리키는 문제의식이다.
   2. 공개 벤치마크는 수학·MMLU 등 영어 중심 평가가 많아 한국 국민이 체감하는 한국어 품질을 충분히 반영하지 못할 수 있다.
   3. Motif는 한국어 응답에 영어가 많이 섞이는 현상이 있었고, 이를 “판교어”라고 부르는 반응이 나왔다.
   4. 직접 사용 실험을 거친 뒤에는 벤치마크 점수가 체감 지능과 생각보다 잘 맞으며, 벤치마크를 참고하는 것이 여전히 유효하다는 쪽으로 판단이 조정됐다.

2. 모델 자체와 서비스의 차이

   1. 평가 환경은 하네스가 거의 없는 최소 모델 상태에 가까웠고, 모델의 인지적 품질을 가혹하게 비교했을 가능성이 있다.
   2. 실제 챗 서비스는 번역·출력 언어 제어·도구 연결·SFT·post-training으로 약점을 보정할 수 있다.
   3. Motif 자체 모델을 직접 서빙하려면 300B급 GPU 임대 비용이 커서, Motif 챗 서비스에 하네스가 붙은 상태로 평가했다.
   4. Solar Open 모델 대신 Solar Pro 4 상용 서비스가 제공되어 그 서비스로 사용했고, K-EXAONE은 데모가 닫혀 FriendliAI API로 도구를 연결해 사용했다. A.X K2는 접근 가능한 서비스가 없어 직접 시험하지 못했다.

3. 네 모델을 직접 사용한 실험과 파운데이션 모델의 가치

약 두 시간 동안 실시간 채팅 제안과 여러 과제를 실험한 결과, 모델의 “똑똑함”과 “지금 당장 일을 잘하는 정도”가 분리됐다.

3.1. 실험 환경과 과제

1. 접근 방식

   1. 300B~700B 모델을 개인 GPU에서 직접 돌리지 못해 각 회사가 제공한 챗 서비스와 API를 사용했다.
   2. 라이브 방송에서 채팅이 제안한 과제를 가능한 한 다양하게 실행하고, 전체 trajectory를 남겨 결과를 검증하려 했다.
   3. 하네스가 결합된 서비스를 평가했으므로 순수 base model과 최종 사용자 서비스의 성능을 같은 것으로 보지 않았다.

2. 실용 과제

   1. 판교 인근 식당을 찾아 메뉴를 추천하고 소개팅 장소를 제안하게 했다.
   2. Solar Pro 4가 지역 검색과 웹 검색을 특히 잘 수행했다.
   3. 실제 업무에 필요한 툴 호출과 검색 경로를 관찰했을 때, Solar가 가장 안정적으로 일을 끝까지 밀어붙였다.

3. 경계 사례와 창작

   1. 세차장 벤치에서 착안한 “가스불 벤치”처럼 말이 안 되는 질문을 던졌고, Motif만 제대로 정답을 냈다.
   2. 아주 어려운 질문에서 모르는 것을 모른다고 말하는지, 질문 자체가 잘못됐음을 감지하는지 확인했으며, Motif가 압도적으로 나았다.
   3. 최신 IMO 수학 문제는 네 모델 모두 기대보다 잘 풀지 못했다.
   4. 게임 제작 코딩에서도 모든 모델이 능숙하지 않았고, Sonnet과 비교하면 결과물의 수준 차이가 컸다.
   5. 재미있는 무협 소설을 쓰라는 과제에서는 전반적으로 창의성과 읽기 쉬움이 부족했다. 일부 모델은 구성과 문장 연결이 무너져 읽기 어려웠고, Motif가 그중 가장 일관됐다.

3.2. Motif와 Solar의 서로 다른 강점

1. Motif의 인지적 품질

   1. Motif는 틀릴 때도 그럴듯한 말을 길게 만들어내기보다 모른다고 말하는 경향이 강했다.
   2. 이상한 질문을 받으면 질문의 전제가 잘못됐다는 점을 감지했고, 글을 쓸 때 앞뒤의 논리와 구조를 유지했다.
   3. “알잘딱”하게 결과물을 바로 완성하는 모델은 아니었지만, 기본적인 판단력과 지능이 높다는 느낌을 줬다.
   4. 챗 서비스에서는 영어 혼용 문제가 거의 보이지 않았는데, 하네스가 번역하거나 한국어 토큰을 선택하도록 처리했을 가능성이 있다.

2. Solar의 실행력

   1. 지역 검색·웹 검색·실제 업무 수행에서 Solar가 더 잘 작동했다.
   2. 업스테이지가 Solar용 하네스와 챗 서비스를 오래 운영해 왔기 때문에 하네스가 잘 다듬어졌을 수 있다.
   3. pre-training 이후 SFT, fine-tuning, post-training을 통해 사용자가 보기 좋은 행동을 만들었을 가능성도 있다.
   4. 따라서 “모델 자체의 지능”과 “사용자에게 전달되는 업무 완성도”는 서로 다른 최적화 문제다.

3.3. 파운데이션 모델의 가치 함수

1. 당장 잘하는 모델과 잠재력이 큰 모델

   1. 서비스 관점에서는 검색·도구 호출·코딩을 안정적으로 수행하는 Solar가 더 실용적이었다.
   2. 파운데이션 모델 관점에서는 후속 사용자가 자기 목적에 맞춰 튜닝할 수 있는 높은 체급과 지능이 중요하다.
   3. 한영 혼용처럼 fine-tuning으로 고칠 수 있는 약점보다, 학습된 지식·추론 능력·구조적 판단력이 더 중요한 기반 자산일 수 있다.
   4. 이 기준에서는 Motif가 후속 튜닝에 가장 좋은 기반 모델일 가능성이 있다는 추정이 나왔다.

2. 글로벌 오픈 웨이트의 위치

   1. Motif는 독파모 정부 지원에서 탈락했지만 글로벌 오픈 웨이트 기준으로는 5위 수준으로 정리됐다.
   2. 정부 사업의 다음 자원은 얻지 못하더라도, 국내외 기업이 on-premise·open-weight 기반 모델을 찾는 시장에서 주목받을 수 있다.
   3. 복잡한 공공 루브릭에서 벗어나 제품과 글로벌 산업 수요에 집중할 시간이 생긴 점은 오히려 사업적 기회다.

4. 소버린 AI가 필요한 이유와 독파모의 산업적 의미

소버린 AI의 성패는 모델 파일 하나의 소유가 아니라 데이터·인프라·인재·서비스·국민 사용성까지 이어지는 독립 생태계의 형성으로 판단해야 한다.

4.1. “독자”와 “주권”의 범위

1. 주권의 구성 요소

   1. model weight만 보유하면 충분한지, 한국어 데이터 생산과 정제를 직접 해야 하는지 질문이 제기됐다.
   2. NVIDIA GPU 의존에서 벗어나 국내 NPU까지 활용해야 진정한 주권인지도 남은 쟁점이다.
   3. 지속적인 학습·서비스·투자를 감당할 자본과 인력까지 갖춰야 독자 생태계가 유지된다.
   4. 모델이 포털과 국민 서비스에 실제로 탑재되어 산업과 일상에 기여할 때 소버린 AI의 목적이 현실화된다.

2. 한국의 선택

   1. 미국·중국뿐 아니라 유럽보다도 한국이 강하게 소버린 AI를 추진하는 배경에는 기술 종속과 국가적 위협에 대한 인식이 있다.
   2. 처음에는 “미국 프론티어 모델을 쓰면 되는데 왜 세금을 투입하는가”라는 회의가 있었지만, 중국 모델의 부상으로 파운데이션 모델 개발이 특정 국가만 가능한 초대형 해자가 아님이 드러났다.
   3. 일정 수준의 데이터 품질과 computation, 좋은 레시피를 결합하면 여러 국가와 팀이 프론티어에 도달할 수 있다는 사실이 투자 판단을 바꿨다.

4.2. 국가 투자의 파급효과

1. GPU 경험과 인재 풀

   1. GPU가 부족했던 한국에서 정부가 대규모 자원을 투입하면, 여러 회사의 엔지니어가 프론티어 학습을 실제로 경험할 수 있다.
   2. 학습 경험과 레시피는 엔지니어의 이직·창업·강연을 통해 다른 기업과 사회로 확산된다.
   3. 미국 프론티어 랩에도 중국계 엔지니어의 학연·지연 네트워크와 인적 교류가 지식 확산에 기여했을 가능성이 언급됐다.
   4. 독파모 참가자들이 스타트업·대기업·교육 현장으로 퍼지면 한국어 문화권 전체의 경쟁력이 올라간다.

2. 범용재화의 효과

   1. 모델이 독점재에서 범용재로 바뀌면 소수 공급자의 부는 줄어들 수 있지만, 일반 국민과 사회 전체의 부는 커진다.
   2. 포르쉐 911 같은 최첨단 모델을 모두가 살 수는 없어도, 아반떼처럼 충분히 좋은 모델을 싸게 널리 보급하면 전체 편익이 증가한다.
   3. 한국 기업들이 서로 빠르게 모방하고 경쟁하는 문화는 자존심의 문제로 비판받기도 하지만, 가격 하락과 접근성 확대라는 소비자 편익으로 이어진다.
   4. 한국은 민간 단독으로 초기에 감당하기 어려운 규모를 국가가 먼저 열어 주고, 이후 삼성전자·SK하이닉스 등 자원 있는 기업이 이어받을 수 있는 구조를 만들 수 있다.

4.3. 탈락 이후의 속도와 경쟁

1. 세 팀 선정은 끝이 아니다

   1. 프론티어 시장은 모델을 한 번 출시하고 끝나는 게임이 아니라 한두 달 단위로 새 모델을 내는 페이스를 요구한다.
   2. 모델과 하네스가 함께 빠르게 개선되어야 하며, 세 팀 선정은 장기 지원의 시작이어야 한다.
   3. 업스테이지·SK텔레콤·LG가 더 큰 조직이 되었어도, Motif처럼 작은 팀이 글로벌 자금을 받아 상업적으로 더 크게 성공할 가능성은 열려 있다.

2. 순위의 가변성

   1. Anthropic이 끝난 것처럼 보일 때 Codex가 올라왔고, Codex와 Anthropic이 흔들릴 때 Kimi와 DeepSeek이 올라오는 식으로 산업 순위는 계속 순환한다.
   2. 모델 업계는 2주마다 상승세와 하락세가 뒤집힐 정도로 변동성이 크다.
   3. “1등이 항상 가장 잘되는 것은 아니다”라는 경연의 속성이 모델 산업에도 적용된다.
   4. 정부 자원으로 얻은 수백억~수천억 원 규모 GPU가 끝나면 국내 팀도 글로벌 프론티어와 공개 경쟁해야 하므로, 빠른 출시와 시장 진입 자체가 전략이 된다.

5. Sutton의 continual learning과 새로운 AI 방향

후반부는 독파모 논쟁에서 더 넓은 AI 연구의 문제로 이동한다. 고정된 LLM이 경험을 통해 스스로 능력을 획득할 수 있는지, 그리고 Transformer 중심 체제 밖의 대안을 언제부터 준비해야 하는지가 핵심이다.

5.1. 하이프, 암 치료, Sutton 논쟁

1. CEO 발언의 전략성

   1. Sam Altman의 2주 학습 중단 발언은 Anthropic이 쉬는 흐름에 맞춘 마케팅일 수 있다는 해석이 나왔다.
   2. Astra는 예정대로 8월 말~9월 초에 출시될 수 있고, 실제 중단 대상은 다음 모델이라는 설명이 소개됐다.
   3. Dario Amodei의 장문 글은 All-In 팟캐스트의 Gavin 비판, Sholto Douglas의 재확산, Dario의 반론으로 이어진 논쟁에서 퍼졌다.
   4. Dario가 암 치료를 언급한 대목은 Anthropic의 protein design 연구와 Moderna의 mRNA 백신을 통한 암 진행 지연 가능성과 연결되어 주목받았다.

2. Richard Sutton의 문제의식

   1. Sutton은 LLM의 가장 큰 한계로 continual learning 부재를 지적한다.
   2. LLM은 tuning을 끝내면 weight가 고정되고 inference만 수행하므로, 행동과 경험을 통해 지속적으로 배우는 인간·동물과 다르다.
   3. Sutton이 Sequoia 인터뷰에서 설명한 OAK Lab은 작은 팀으로 이 문제를 해결할 새로운 agent를 탐구한다.
   4. 2022년 Alberta Plan과 「The Era of Experience」의 문제의식은 이미 경험을 통한 지속 학습을 장기 목표로 제시했다.

5.2. per-parameter 학습과 지속적 backpropagation

1. 비균등 학습률

   1. 일반 학습에서는 step size와 learning rate를 hyperparameter tuning으로 정한다.
   2. Sutton의 제안은 parameter마다 trainable step size를 두어, 보존해야 하는 지식에는 거의 0에 가까운 학습률을 주고 계속 바꿔야 하는 지식에는 더 큰 학습률을 주는 방식이다.
   3. 이렇게 하면 agent가 모든 지식을 똑같이 덮어쓰지 않고, 경험에 따라 일부는 고정하고 일부는 갱신하는 비균등 학습을 할 수 있다.

2. 지속적 backpropagation

   1. 덜 사용되는 parameter 공간에 random을 주입해 다시 초기 분포에 가까운 상태로 돌리는 구상이 소개됐다.
   2. 새로운 공간을 탐색하고, 기존 지식에 갇히지 않고, 뇌 가소성과 비슷하게 계속 배우는 효과를 노린다.
   3. 5~10년 안에 1T 규모 모델이 이런 continual learning을 통해 경험으로 능력을 확장하는 것이 장기 목표로 제시됐다.
   4. 인간과 다람쥐는 책을 읽고 근육 조작법을 배우지 않고 세계와 상호작용하며 능력을 얻는다는 Sutton의 비유가 이 관점을 압축한다.

3. 저전력 모델의 상상

   1. Sutton이 장기적으로 상상하는 목표는 20W로 1T 모델을 구동하는 것이다.
   2. 현재 약 2,000W가 필요한 계산을 20W로 수행하면 인간 두뇌에 가까운 전력 효율로 거대한 모델을 운용할 수 있다.
   3. 실현 시점은 지금부터 5~10년 뒤로 추정됐고, 그때 현재 산업과 인프라가 어떻게 교란될지 질문이 남는다.

6. 정보 도구, 추상화, hill climbing의 병목

많은 정보를 선형 텍스트로 읽는 것과 관계·계층·큰 그림을 한눈에 파악하는 것은 다르며, 현재 agent는 측정 가능한 좁은 문제를 잘 풀지만 취향이 개입된 전체 최적화에는 약하다.

6.1. 원문을 늘려 읽는 도구

1. HTML·주석·다이어그램 파이프라인

   1. transcript를 HTML로 만들고 화자를 표시해 인지 부하를 줄인다.
   2. 낯선 용어는 읽는 도중에 따로 검색하지 않고 미리 일괄 조사한다.
   3. 원문에 없는 다이어그램은 SVG로 생성하고, multimodal 미리보기에서 시각적으로 개선하는 loop를 돌린다.
   4. local storage, 메모, 형광펜을 활용해 읽은 내용을 다시 다른 입력에 사용할 수 있는 개인 지식 자산으로 만든다.

2. Zoomable interface

   1. 긴 텍스트를 종이처럼 이어 붙이면 정보는 많아도 머리에 남거나 다시 찾기 어렵다.
   2. 지난주에 읽은 유튜브·글 자료를 한 화면에서 연결하고, 세로·가로 방향으로 모두 탐색할 수 있는 zoomable interface를 만들었다.
   3. SVG 다이어그램은 zoom out 상태에서도 핵심 구조를 남겨 빠르게 정보를 anchoring하는 역할을 한다.
   4. semantic zoom처럼 확대 수준에 따라 보이는 정보의 세부도를 바꾸면 인간이 관계와 계층을 더 잘 파악할 수 있다.

6.2. RSI, 취향, local minimum

1. 작은 실험과 큰 학습의 비대칭

   1. 작은 모델과 중간 규모 실험은 비용이 싸서 여러 가설을 병렬로 실행하고 agent별 결과를 합치기 쉽다.
   2. 하지만 실제 역량을 얻는 pre-training은 자주 실행할 수 없어, 몇 번뿐인 큰 run은 설계자의 취향에 의존한다.
   3. Dwarkesh는 LLM이 아직 취향을 충분히 갖지 못해 recursive self-improvement(RSI)의 큰 run을 스스로 선택하지 못한다고 의심한다.
   4. 현재 시스템은 측정 가능한 숫자를 조금씩 개선하는 hill climbing에는 강하지만, 그 과정에서 local minimum에 빠지고 큰 그림을 놓친다.

2. 개발 경험에서 드러난 한계

   1. 작은 단위의 가설·구현·평가·병합은 여러 agent를 orchestrate하는 현재 표준 workflow가 됐다.
   2. 그러나 좁은 공간에서 아무리 반복해도 발견되지 않는 큰 그림이 있으며, 조망한 뒤에야 무엇을 놓쳤는지 알 수 있다.
   3. 3월에는 polygon을 아름답게 흐르게 하는 modeler와 뿔 형태의 topology를 만드는 작업이 잘 되지 않았지만, Sol 출시 후 하루 이틀 정도 투자하자 상용 quad mesh flow와 유사한 결과가 나왔다.
   4. 모델의 역량이 올라가면 과거에는 안 되던 작업이 해결되지만, “되는 것”과 “쓸 수 있는 품질” 사이에는 여전히 간극이 있다.

6.3. Non-verifiable 디자인을 proxy로 측정하기

1. 조판의 proxy 지표

   1. 조판은 완전히 검증 가능한 문제는 아니지만, 텍스트 흐름·행송·폰트 크기·양끝 맞춤·들여쓰기·문단 간격처럼 측정 가능한 proxy가 있다.
   2. Knuth-Plass 알고리즘은 dynamic programming으로 줄바꿈과 조판을 최적화하며, 이미지 도판까지 포함하면 NP 문제가 된다는 사실이 1980년대에 알려졌다.
   3. Justify와 FreeText 같은 라이브러리는 전문가의 미세 조정까지는 아니어도 읽을 수 있는 수준의 조판을 자동화한다.
   4. 검증 불가능한 미감에 근접하려면 사람이 중요하다고 생각하는 가치를 proxy 지표로 바꾸고, agent가 그 지표를 반복 최적화하게 해야 한다.

2. 한글 폰트 실험

   1. Bézier 곡선을 조정하는 파라메트릭 폰트는 이미 오래된 발상이지만, 새 실험은 spline 자체가 아니라 펜촉의 움직임이 외곽선을 만드는 과정을 함수화한다.
   2. Knuth의 METAFONT와 비슷한 방식으로 초성·중성·종성 공간을 조절해 조합형 한글을 만든다.
   3. 생성된 글자는 조합은 되지만 아직 예쁘거나 실제로 쓸 수 있는 폰트가 아니다.
   4. 특정 글자에서 모음의 위치를 고치면 다른 글자가 무너지는 상호 의존성이 있고, 사람은 감각적으로 알지만 자동 측정으로 옮기기 어렵다.
   5. Noto·Noto KR 같은 reference font와 생성 결과의 공간적 유사도를 학습시키는 시도가 진행 중이지만, 구색을 맞추는 것과 유용한 폰트를 만드는 것은 다른 문제다.

3. 평가자의 역량

   1. 디자인 경험이 없는 사람은 좋은 디자인에 scalar 점수를 매길 내부 evaluator가 없어 결과가 나쁜지조차 즉시 알아채기 어렵다.
   2. 반대로 심미안이 뛰어난 사람도 DP·backprop 같은 개념을 모르면 모델에게 원하는 작업을 지시하지 못한다.
   3. 좋은 결과를 만들려면 도메인 감각과 AI를 조종할 기술 언어가 모두 필요하다.
   4. 대형 프론티어 모델이 새로운 디자인 요소를 평가하는 기반 감각을 갖추면 hill climbing으로 좋은 폰트를 만들 가능성은 커지지만, 현재 regime에서는 non-verifiable 영역의 자동 판단이 어렵다.

7. Auto research, control plane, 그리고 사람의 역할

목적과 평가 지표가 명확하면 agent가 만들고 측정하고 고치는 loop를 오래 돌릴 수 있지만, 그 지표를 정의하고 큰 그림을 판단하는 역할은 아직 사람에게 남아 있다.

7.1. 현재 아키텍처를 버리지 않는 이유

1. 예측의 시간 범위

   1. 5~10년 뒤 Sutton식 저전력 continual learner가 등장할 수 있어도, 지금 1~2년의 투자를 중단하는 것은 위험하다.
   2. AI winter를 지나온 사람들은 새로운 접근을 시도하되 현재 regime이 곧 사라진다고 가정하지 않는다.
   3. A100이 아직 완전히 퇴역하지 않았듯이, 새로운 아키텍처가 나와도 기존 계산 자원과 시스템은 한동안 함께 사용된다.

2. 계산 총량과 구조

   1. 최신 프론티어 모델이 있어도 말이 안 되는 작은 도구와 agent를 100개씩 엮어 사용하는 현실은 computation 총량이 여전히 중요하다는 점을 보여 준다.
   2. Transformer 중심 인프라가 즉시 무용해지지는 않으며, 새로운 방식이 등장해도 계산·평가·최적화의 문제는 계속 남는다.

7.2. Auto research의 동형 반복

1. 일의 loop

   1. 목적을 정하고 결과물을 만들고 평가하고 다시 만드는 과정은 auto research와 같다.
   2. vibe coding도 목표를 정해 무언가를 만들고 evaluation metric을 보고 잘못된 부분을 되돌리는 반복으로 볼 수 있다.
   3. 모델 내부의 objective·optimization·evaluation과 회사 경영, 영상 편집, 폰트 생성의 과정은 서로 다른 층위에 있는 동형 반복으로 해석할 수 있다.

2. 상위 설계의 성격

   1. loop를 오래 돌릴 수 있게 하는 설계는 단순한 engineering이 아니라 철학과 경영의 문제다.
   2. 무엇을 목적물로 삼고 어떤 품질을 인정할지 정하는 순간, artifact·code·제품은 하나의 최적화 대상인 model처럼 취급된다.
   3. domain의 경계가 넓다면 두 점 사이의 interpolation도 인간에게는 novelty나 extrapolation처럼 보일 수 있어, 새로움의 기준 자체가 불확실하다.

7.3. Control plane과 부산물의 네트워크

1. 평가를 통과하는 작업 시스템

   1. 현재 사람들은 단일 agent와 대화하는 수준을 넘어 multi-agent를 중첩하고, 작업 trace를 읽혀 대신 의사결정과 평가까지 하게 만든다.
   2. control plane은 정해진 evaluation metric을 모두 충족했는지 확인하고, 기준을 통과하지 못한 결과물을 거부한다.
   3. 거부된 sub-agent는 부족한 항목을 보완하기 위해 다시 loop를 돌며, 최종 결과가 일정한 routine을 거쳤는지 보장한다.
   4. 품질 기준이 강해질수록 token 사용량도 늘어 최근에는 일주일치 token을 2~3일 만에 소진할 만큼 반복 평가를 수행하게 된다.

2. 예상 밖 발견

   1. agent가 반복 과정에서 많은 중간 산출물과 부산물의 network를 남기면, 사람이 한 번 보고 끝낼 일을 일부러 오래 돌리는 대신 예기치 않은 발견을 얻을 수 있다.
   2. agent가 발견한 방법이 더 낫다고 판단되면 사람의 내부 기준, 즉 사람의 weight도 거꾸로 업데이트된다.
   3. 사람은 “이런 개념이나 알고리즘이 없을까?”라고 대략 말하고, 모델은 관련 논문과 codebase를 찾아 도구에 연결한다.
   4. Matrix에서 지식 잭을 꽂듯 원하는 도구를 즉시 확장할 수 있다는 감각은 현재 모델이 제공하는 상상력의 레버리지다.

8. 웹 인터페이스의 에이전트화와 남는 역할

에이전트 작업은 CLI나 로컬 desktop app에만 갇히지 않고, 브라우저·컨테이너·클라우드 자원을 통해 일반적인 웹 인터페이스에서도 확장된다.

8.1. Chat interface에서의 개발

1. 웹 기반 작업의 범위

   1. 3D 모델 작업을 제외한 대부분의 실험은 웹 인터페이스에서 수행됐다.
   2. ChatGPT Work나 Claude Cowork는 단순한 대화창이 아니라 컨테이너를 제공하고, Claude는 브라우저를 띄워 결과를 확인할 수 있다.
   3. CLI·desktop app을 직접 설치하지 않아도 파일·브라우저·도구를 연결해 상당한 개발과 디자인 작업을 수행할 수 있다.
   4. 많은 개발자가 이 가능성을 아직 충분히 인식하지 못하지만, 웹 환경도 계속 발전하고 있다.

2. 클라우드로 이동하는 컴퓨팅

   1. 약 1년 뒤에는 집에 고성능 로컬 컴퓨터를 구매할 필요가 줄고, 클라우드 컨테이너에 작업을 넣으면 남는 연산 자원이 동적으로 할당되어 결과를 완성할 수 있다는 전망이 나왔다.
   2. OpenClaw·Hermes Agent 같은 always-on 시스템은 집의 DGX에 설치할 수 있지만, 텍스트 지시만 필요한 일은 컴퓨터 화면을 직접 켜지 않고 Operator Agent가 처리한다.
   3. UI 확인과 동영상 편집처럼 실시간 시각 판단이 필요한 작업을 제외하면, 많은 업무는 웹 인터페이스를 통한 원격 위임으로 바뀔 수 있다.

8.2. 사람에게 남는 일

1. 목적과 평가

   1. 사람은 여전히 목적을 설정하고, 무엇이 좋은 결과인지 평가하고, 시스템이 탐색할 공간을 선택한다.
   2. 모델의 output 품질은 사람이 설정한 목표와 evaluator의 품질에 직접 연결된다.
   3. 사람의 도메인 감각이 부족하면 모델이 잘못된 proxy를 최적화하고, AI 도구 지식이 부족하면 좋은 감각이 있어도 모델을 제대로 밀어붙이지 못한다.

2. 프론티어에 올라온 사용자

   1. 모델 성능이 오르면서 사용자도 기대치·작업량·품질 기준을 함께 높이고 있다.
   2. 예전에는 agent 한 개와 티키타카했지만, 이제는 multi-agent·trace·control plane·반복 evaluation으로 시간당 산출량을 극대화한다.
   3. 모델에게 “이건 될 거야”라고 상상하고 시작하게 하는 능력이 곧 새로운 생산성의 원천이 되며, 동시에 너무 쉽게 된다는 감각이 게으름을 만들 위험도 있다.
   4. 궁극적인 목표는 사람이 직접 하지 않아도 자신의 방식으로 일을 처리하는 시스템을 만드는 것이며, 현재의 비선형적 탐색과 부산물도 그 과정의 일부다.

주요 발언 모음

“벤치마크 점수가 좋은 것들이 반드시 좋은 모델을 의미하는 건 아니다.”

“모델을 만드는 일은 엄청난 규모의 GPU와 돈이 필요한 일이지만, 인력 자체는 그렇게까지 많지 않아도 된다.”

“공공의 입장에서는 고점을 보는 게 아니라 저점을 본다고 느껴진다. 최대한 모든 국민이 누릴 수 있고 전체 수준을 끌어올리는 쪽이다.”

“파운데이션 모델을 만들었다면 지금 당장 일을 잘하는 모델이 좋은 모델인지, 아니면 남들이 가져가 자기 목적에 맞게 튜닝할 때 좋은 기반이 되는 모델인지 물어야 한다.”

“구색을 맞추는 것과 실제로 쓸모 있는 폰트를 만드는 건 굉장히 다른 차원의 일이다.”

“hill climbing은 잘하지만, 너무 좁은 공간에서 최적화하다 보면 local minimum에 빠지고 큰 그림을 놓친다.”

“어떤 목적과 evaluation metric을 명확히 할 수 있다면, 그 사이에서 스스로 답을 찾아가며 계속 진화하는 loop를 만들 수 있다.”

“제가 원하는 게 있으면 ‘이건 될 거야’라는 게 된다. 상상력의 문제다.”

핵심 데이터 & 수치

• 녹화 시점: 2026년 8월 22일 토요일 아침에 녹화됐다.
• 본선 진출: 네 후보 중 세 팀이 선택됐고 Motif가 탈락했다.
• AAII 격차: Motif와 2위권의 점수 차이는 약 10점이며, GPT-5.6 Sol과 Luna 차이도 약 10점으로 비교됐다.
• 모델 규모: Motif 약 300B, Solar 약 750B, A.X K2 약 680B, K-EXAONE 약 200B로 언급됐다.
• Context size: Solar는 1M, 나머지 모델은 대체로 256K였다.
• Pre-training: 네 모델 모두 약 1T 토큰 안팎으로 추정됐다. Kimi K2는 약 20T 토큰 사례로 비교됐다.
• GPU 자원: B200 기준 약 500~700장이 지원됐다.
• Motif 인력: 약 30명 규모의 소규모 팀으로 소개됐다.
• 독파모 벤치마크: 전체 평가에서 공개·자체 벤치마크가 약 40점으로 설명됐고, AAII 35점이라는 세부 언급도 있었다.
• 장기 연구 목표: 5~10년 안에 continual learning을 하는 1T 모델, 20W로 구동되는 1T 모델이 상상됐다.
• 현재 작업 속도: 반복 평가 시스템이 주간 token을 2~3일 만에 소진할 정도로 multi-agent loop를 확장했다.

결론 및 시사점

1. Motif의 탈락은 “AAII 1위 모델이 나쁘다”는 뜻이 아니라, 공공사업의 목적 함수가 모델 지능 하나보다 넓다는 뜻이다.
2. 공개 벤치마크, 비공개 한국형 벤치마크, 전문가·국민 평가가 서로 다른 순위를 만들 수 있으므로 하나의 점수로 모델의 가치를 단정하면 안 된다.
3. 파운데이션 모델의 잠재력과 사용자용 서비스의 실행력은 다른 문제이며, 하네스·SFT·post-training이 실제 체감 성능을 크게 바꾼다.
4. Motif는 낮은 서비스 완성도와 한영 혼용을 후속 튜닝으로 보완할 수 있는 높은 지능의 기반 모델이라는 평가를 받을 여지가 있다.
5. 독파모의 가장 큰 성과는 특정 1등 모델보다 GPU 학습 경험, 데이터 처리 지식, 컨소시엄, 인재 이동, 국내 하드웨어 연계를 한국에 남기는 것이다.
6. 소버린 AI의 진짜 기준은 weight 파일의 소유만이 아니라 데이터·인프라·인재·서비스·지속 투자·국민 접근성의 결합이다.
7. 정부는 초기 민간이 감당하기 어려운 계산 자원과 경험을 제공하고, 기업은 그 기반 위에서 더 빠른 출시와 글로벌 경쟁을 이어가야 한다.
8. 모델 업계의 순위는 2주 단위로 바뀔 수 있으므로 현재 1위나 탈락을 장기 승패로 읽는 것은 위험하다.
9. continual learning과 20W 1T 모델 같은 급진적 연구는 5~10년 뒤를 준비하게 하지만, 향후 1~2년의 Transformer·GPU·오토리서치 투자를 중단할 이유는 되지 않는다.
10. 현재 agent가 가장 잘하는 것은 지표가 있는 좁은 공간의 hill climbing이며, 큰 그림·취향·추상화를 스스로 선택하는 능력은 여전히 핵심 병목이다.
11. 조판과 폰트처럼 미감을 완전히 수치화하기 어려운 영역에서는 좋은 결과를 대표할 proxy 지표를 설계하는 일이 먼저다.
12. 자동화가 깊어질수록 사람의 역할은 직접 산출물을 만드는 일에서 목적 설정, 평가 기준 설계, 탐색 방향 결정으로 이동한다.
13. control plane은 sub-agent가 정해진 품질 루틴을 통과할 때까지 반복시키며, 중간 산출물의 network에서 예상 밖 발견을 끌어낸다.
14. 웹 컨테이너와 Cowork형 인터페이스는 CLI를 모르는 사람도 브라우저와 자연어로 개발·디자인·리서치를 수행하게 만든다.
15. 로컬 고성능 컴퓨터의 필요성은 줄어들 수 있지만, 실시간 시각 판단이 필요한 작업은 여전히 사람과 로컬 환경의 직접 개입을 요구한다.
16. 프론티어 모델이 사람의 역량을 넘어서는 결과를 내려면 도메인 감각과 모델 조종 능력을 함께 갖춘 평가자가 필요하다.
17. 좋은 모델을 “당장 잘하는 모델”로 볼지 “남들이 튜닝해 확장할 수 있는 모델”로 볼지는 제품과 정책의 목적에 따라 달라진다.
18. 소수 정예 팀도 대규모 자원과 검증된 학습 recipe를 결합하면 세계적 오픈 웨이트 모델을 만들 수 있다는 점이 Motif의 가장 강한 신호다.
19. AI의 범용재화는 독점 기업의 초과 이익을 줄일 수 있지만, 값싸고 널리 쓰이는 모델을 통해 사회 전체의 생산성과 선택권을 키운다.
20. 독파모 경쟁의 최종 성과는 이번 탈락·선정 결과보다 한국이 프론티어 AI를 직접 만들고 계속 개선할 수 있다는 임계점을 넘었다는 경험에 있다.