최첨단 모델이 시각적 추론에서 유아 수준에 머무는 이유

URL: https://www.youtube.com/watch?v=A_I8mw8yfns 날짜: 2026-09-23 채널: aiDotEngineer 원문 제목: The Best Models Still Reason Like Toddlers — Andrew Dai, Elorian 영상 ID: A_I8mw8yfns 발표자: Andrew Dai, Elorian AI 공동창업자·CEO

---

자료 상태: 2026-09-23 확인 시 YouTube가 해당 콘텐츠를 “Premieres in 113 minutes”로 표시해 자막 트랙을 아직 제공하지 않았다. 아래 분석은 AI Engineer World's Fair 2026 공식 세션 설명과 Andrew Dai의 같은 주제 공개 대화에서 확인 가능한 논지를 결합해 작성했다. 자막 공개 후 고유 발언·순서·Q&A를 대조할 필요가 있다.

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

최첨단 모델이 코딩·수학·일반 벤치마크에서 80~90%를 기록해도, 세 살 아이가 쉽게 처리하는 시각적 과제 앞에서 무너진다면 그 점수는 시각적 이해(visual understanding)나 실제 추론(reasoning)의 증거가 아니다. 모델이 이미지의 의미를 말로 변환하거나 코드를 생성해 우회하는 능력과, 공간·수량·물리적 관계를 직접 파악하는 능력을 분리해 측정해야 한다.

• 단순히 모델 크기·학습 데이터·추론 토큰을 늘리는 언어 중심 확장은 시각적 추론의 병목을 자동으로 해결하지 못한다.
• 현재 벤치마크는 코드와 언어로 답을 산출하기 쉬운 문제에 편향되어, 시각적 사고가 필요한 능력을 과대평가한다.
• 실제 세계에 배치할 모델에는 객체 수 세기, 동일·차이 판별, 3D 공간 탐색, 도면과 물리적 제약 이해를 직접 평가하는 합의된 평가 체계가 필요하다.

Andrew Dai의 핵심 가설은 추론이 언어에서 시작하지 않는다는 것이다. 동물은 단어와 토큰 없이 생존을 위해 시각적 세계를 판단하고, 아기와 유아도 복잡한 언어를 구사하기 전에 공간·수량·관계를 파악한다. 사람처럼 효율적으로 추론하는 모델은 텍스트 연쇄사고(text chain-of-thought)만 길게 생성하는 대신 시각적 중간 상태와 시각적 연쇄사고(visual chain-of-thought)를 형성해야 한다.

1. 높은 벤치마크 점수와 유아 수준의 시각적 실패

표준 점수와 실제 지능 사이의 간극은 시각 입력을 독립된 사고 공간으로 취급하지 않을 때 커진다.

1.1. 80~90% 점수가 가리는 것

1. 언어·코드에 유리한 시험 구조

   1. 최첨단 모델은 RKGI 같은 표준 벤치마크에서 80~90% 점수를 얻을 수 있다.
   2. 그러나 문제를 이미지에서 직접 풀지 않고, 이미지를 텍스트나 코드로 바꾼 뒤 익숙한 언어 모델의 능력으로 답을 산출해도 점수를 얻을 수 있다.
   3. 64×64 픽셀 격자처럼 코딩으로 표현하기 쉬운 문제는 코드 모델의 강점을 시각적 추론 능력으로 오인하게 만들 수 있다.

2. 시각적 사고의 부재

   1. 세 살 아이가 자연스럽게 하는 객체 수 세기, 같은 것과 다른 것 구분하기, 공간관계 파악하기가 모델에게는 불안정하다.
   2. 모델이 “무엇이 보이는가”를 그럴듯한 문장으로 말하는 것과, 장면 안의 모든 객체를 정확히 추적하는 것은 별개의 능력이다.
   3. 따라서 정답률 하나만으로는 모델이 실제로 보았는지, 학습된 언어 패턴을 재조합했는지 판별할 수 없다.

1.2. 세 살 아이가 풀고 모델이 실패하는 과제

1. 수량과 객체 추적

   1. 이미지 속 객체의 개수를 세는 일은 단순한 인식이 아니라 가려진 객체, 중복 객체, 위치 관계를 끝까지 추적해야 하는 시각적 계산이다.
   2. 셔츠의 단추 12개, 방 안의 사람 13명, 긴 식탁 주변에 앉을 수 있는 사람 수, 사무실 건물의 창문 수를 묻는 질문에서 모델은 자주 틀린다.
   3. Andrew Dai가 반복적으로 확인한 실험에서는 식탁·창문 같은 일상 장면의 개수를 묻었을 때 10번 중 9번꼴로 정확한 답을 내놓지 못했다.

2. 관계와 변환

   1. 두 이미지에서 같은 부분과 다른 부분을 찾아야 하는 과제는 단순한 이미지 캡션이 아니라 위치·형태·변화를 비교하는 작업이다.
   2. 간단한 십자말풀이(crossword)도 글자를 읽는 것만으로 끝나지 않고, 칸의 구조와 제약을 동시에 유지해야 하므로 모델의 시각적 관계 추론을 드러낸다.
   3. 기본적인 3D 뷰를 탐색하는 일은 관점이 바뀌어도 물체의 정체성과 공간적 배치를 보존해야 하므로 평면 이미지 분류와 다르다.

3. 도면과 실제 제약

   1. 기술 도면(technical drawing)과 평면도(floor plan)는 선과 기호를 읽는 것에 그치지 않고 물리적 가능성을 계산해야 한다.
   2. 휠체어가 복도와 문을 통과할 수 있는지 판단하려면 폭, 방향 전환, 장애물, 연결된 공간을 함께 추적해야 한다.
   3. 복잡한 그래픽 디자인 문제도 요소의 시각적 배치, 의도, 제약을 이해해야 하며 단순 이미지 분류 점수로는 대체할 수 없다.

2. 시각적 추론이 언어 중심 확장과 다른 이유

시각 지능은 문장을 더 길게 생성하는 능력과 동일하지 않으며, 세계의 구조를 내부적으로 유지하는 능력에 가깝다.

2.1. 추론은 언어보다 먼저 세계에 뿌리내린다

1. 생존에서 시작된 시각 판단

   1. 토끼나 말은 다가오는 대상이 사자인지 다른 토끼인지 즉시 판단해야 하며, 결과에 따라 도망치거나 무시한다.
   2. 객체 인식(object recognition), 객체 검출(object detection), 분할(segmentation)은 이런 생존 능력의 기술적 표현이다.
   3. 단어를 만들기 전에 위험·거리·방향을 파악하는 능력이 있었기에 시각적 추론은 언어의 부산물로만 볼 수 없다.

2. 아기와 유아의 데이터 효율성

   1. 아기와 미취학 아동은 복잡한 문장을 말하지 못해도 장면의 수량과 관계를 파악한다.
   2. 한두 번의 관찰 또는 매우 적은 예시로 새로운 시각 패턴을 일반화하는 few-shot 능력이 나타난다.
   3. 수조 개의 텍스트 토큰을 소비해 정답에 도달하는 방식은 유아의 즉각적 시각 판단과 다른 종류의 지능이다.

3. 시각적 연쇄사고(visual chain-of-thought)

   1. 언어 모델은 토큰을 순서대로 생성하며 중간 계산을 텍스트로 드러낼 수 있다.
   2. 시각적 문제에서는 중간 이미지 생성, 영역 표시, 이미지 편집, 관점 변경처럼 시각 공간에 남는 추론 흔적이 더 자연스럽다.
   3. “사과가 13개”라는 답만 내놓는 대신 어떤 사과를 세었고 어떤 영역을 재검사했는지 보여줘야 결과를 감사(audit)할 수 있다.

2.2. 언어 모델의 강점이 시각적 추론으로 자동 이전되지 않는다

1. 코딩과 시각 문제의 분리

   1. 코딩에 강한 모델이 원시적인 멀티모달 능력까지 자동으로 갖게 되지는 않는다.
   2. 코드가 64×64 격자 같은 추상 문제를 잘 표현해도, 실제 세계의 복잡한 장면을 그 격자에 눌러 담는 것은 별개의 문제다.
   3. 언어·코딩 벤치마크의 상승 곡선을 시각적 이해의 상승 곡선으로 읽으면 연구 방향과 제품 위험을 잘못 판단하게 된다.

2. 토큰화의 구조적 한계

   1. 현재 아키텍처는 언어와 코드처럼 순차 토큰으로 표현하기 쉬운 데이터에 특히 적합하다.
   2. 이미지는 위치, 크기, 깊이, 부분과 전체, 물리적 가능성이 동시에 얽혀 있어 단순 토큰 열로 취급하면 관계가 손실된다.
   3. 멀티모달 데이터는 더 많은 토큰을 필요로 하지만 비용이 무조건 10배로 폭증하는 것은 아니며, 핵심은 토큰 수보다 표현과 추론 경로를 설계하는 데 있다.

3. 무엇을 측정해야 실제 능력을 알 수 있는가

모델 이름과 종합 점수보다 특정 제품이 실제로 만나는 시각적 실패 모드를 재현하는 평가가 중요하다.

3.1. 벤치마크가 놓친 능력

1. 기초 과제의 재평가

   1. 객체 수 세기와 부분-전체 관계는 쉬워 보이지만, 장면이 복잡해질수록 현재 모델의 오류가 급격히 드러난다.
   2. 동일·차이 판별, 3D 관점 이동, 십자말풀이, 기술 도면 해석은 표면적 캡션이 아니라 구조적 관계 추론을 요구한다.
   3. 이미지의 정답이 텍스트로 이미 드러나지 않도록 설계해야 언어적 검색이나 암기와 시각적 추론을 분리할 수 있다.

2. 현실에 가까운 난이도

   1. 문서 이해(document understanding)는 글자를 OCR하는 데서 끝나지 않고, 표·도형·각주·공간 배치가 결론에 미치는 영향을 계산해야 한다.
   2. 로봇 지각(robotic perception)은 카메라의 장면을 읽고 행동 가능한 물체·거리·장애물로 변환해야 한다.
   3. 의료 영상(medical imaging)은 작은 시각적 차이와 공간적 패턴을 근거로 판단하므로, 그럴듯한 설명보다 재현 가능한 시각 증거가 중요하다.

3.2. 합의된 평가 프레임워크의 조건

1. 시각 입력을 답변의 원천으로 고정하기

   1. 텍스트로 문제를 다시 설명해 주거나 이미지 속 정답을 캡션에 포함하는 방식은 배제해야 한다.
   2. 새 이미지와 관점 변화, 객체 수 변화, 가림(occlusion), 분포 이동을 넣어 학습 데이터 암기를 어렵게 해야 한다.
   3. 정확도뿐 아니라 반복성, 불확실성 표현, 실패 시 자기검증, 중간 시각 상태의 일관성도 기록해야 한다.

2. 모델이 실제로 무엇을 했는지 감사하기

   1. 답변만 맞고 중간 상태가 틀렸다면 우연·언어적 추측·데이터 누출 가능성을 의심해야 한다.
   2. 시각적 연쇄사고는 영역 표시, 이미지 편집, 여러 관점의 재검토처럼 사람이 검사할 수 있는 형태여야 한다.
   3. 산업별로 가장 가까운 공개 벤치마크를 고른 뒤, 최종 도입 전에는 기업 자체 데이터와 사용 흐름으로 직접 테스트해야 한다.

3. 다음 세대 배포 전에 합의하기

   1. 평가 체계가 바뀌지 않으면 높은 점수를 받은 모델이 실제 시각 환경에 먼저 배포될 수 있다.
   2. 문서, 로봇, 의료, 설계처럼 실패 비용이 큰 영역에서는 평균 점수보다 최악의 실패 사례와 안전한 거부가 중요하다.
   3. 시각 시스템이 실제 세계에 널리 투입되기 전에 연구자·제품팀·사용자가 납득할 공통 평가를 만들어야 한다.

4. 구조·데이터·학습을 함께 바꾸는 접근

복잡한 시각 능력은 한 번의 파인튜닝(prompt fine-tuning)이나 데이터 추가만으로 확보되지 않는다.

4.1. 포스트트레이닝이 제공하는 것과 제공하지 못하는 것

1. 포스트트레이닝의 가능성

   1. 이미 시각 이해 능력을 가진 기반 모델에 올바른 데이터, 보상, 추론 절차를 추가하면 특정 시각 벤치마크에서 최첨단 성능에 도달할 수 있다.
   2. 오류가 자주 발생하는 수량·공간·관계 사례를 수집하고, 품질을 정제하며, 모델이 중간 시각 상태를 생성하도록 유도하는 것이 효과적이다.
   3. 강화학습(reinforcement learning)은 최종 정답뿐 아니라 검증 가능한 시각적 행동과 과정에 보상을 줄 수 있다.

2. 파운데이션 모델 수준의 한계

   1. 시각 데이터의 양과 표현 방식이 언어 데이터 중심으로 고정되어 있다면 포스트트레이닝만으로 구조적 병목을 없애기 어렵다.
   2. 멀티모달 입력을 단순한 토큰 시퀀스로 밀어 넣는 구조는 공간 관계와 물리적 제약을 지속적으로 유지하기 어렵다.
   3. 큰 효과를 내려면 멀티모달 데이터 구성, 아키텍처, 사전학습(pre-training), 포스트트레이닝을 함께 설계해야 한다.

4.2. 데이터 중심의 멀티모달 개발

1. 데이터 품질

   1. 시각 추론 데이터는 단순 이미지-캡션 쌍보다 수량, 관계, 의도, 제약, 실패와 수정 과정을 담아야 한다.
   2. 외부 데이터 공급업체의 품질을 점검하고, 중복·오류·모호한 라벨을 제거하며, 제품에 필요한 새 데이터를 직접 생성해야 한다.
   3. 합성 데이터(synthetic data)는 데이터셋을 확장하는 수단이지만, 검증 없이 반복 생성하면 mode collapse와 퇴화된 모델을 만들 수 있다.

2. 범용성

   1. 한 기업의 결함 검출만 맞히는 맞춤 모델보다 여러 멀티모달 작업에 전이되는 범용 기반 모델이 장기적으로 유용하다.
   2. 코딩 모델이 SVG, 웹사이트, 자동화 등 다양한 개발 작업에 쓰이는 것처럼 시각 파운데이션 모델은 도면, 문서, 영상, 분석, 로봇으로 확장되어야 한다.
   3. 실제 고객의 사용 사례와 공개 벤치마크를 함께 보되, 어느 한쪽만 최적화하지 않아야 한다.

5. 생성과 이해, 이미지와 영상의 차이

이미지를 그럴듯하게 생성하는 능력은 이미지의 구조를 정확히 이해하고 추론하는 능력의 대용물이 아니다.

5.1. 생성 모델의 성과가 이해 모델의 증거가 아닌 이유

1. 생성 중심의 프론티어 모델

   1. Veo, Genie, Nano Banana, Seedance, ChatGPT Image 같은 제품은 시각적 생성에 초점을 둔다.
   2. 생성은 목표에 맞는 그럴듯한 결과물을 만들면 되지만, 이해는 입력의 모든 객체·관계·제약을 보존하고 질문에 답해야 한다.
   3. GAN부터 이어진 생성 기술의 발전이 곧바로 수량·공간·물리적 추론의 정답률을 보장하지 않는다.

2. 이해를 검증하는 방법

   1. 생성된 이미지가 예쁘다는 평가 대신, 모델이 왜 특정 객체를 선택했고 어떤 공간 제약을 적용했는지 확인해야 한다.
   2. 그림의 수정 전후에 같은 객체와 관계를 유지하는지, 의도하지 않은 부분을 바꾸지 않는지 측정해야 한다.
   3. 사람이 결과만 보고 만족하는 UX와 모델의 내부 시각 추론이 일치하지 않을 수 있으므로 과정 검증이 필요하다.

5.2. 영상 이해와 세계 모델

1. 영상은 예측까지 요구한다

   1. 영상에서는 현재 프레임의 내용뿐 아니라 다음 프레임, 움직임, 행위의 결과를 예측해야 한다.
   2. 사람이 손을 들면 무엇을 하려는지, 물체가 움직이면 다음에 어디에 도달할지처럼 시간적 관계가 추가된다.
   3. 장면을 요약하는 임베딩(embedding)은 비용 효율적인 검색 수단이지만, 복잡한 질문에 답하는 시각적 추론과 동일하지 않다.

2. 행동 지향 세계 모델

   1. 넓은 의미의 세계 모델은 이미지나 영상 속 세계에 관해 합리적인 답을 만드는 모델까지 포함할 수 있다.
   2. 좁은 의미의 세계 모델은 세계에 행동을 가하고 그 결과를 예측하며, 로봇·게임과 밀접하다.
   3. 시각 파운데이션 모델은 로봇 행동을 지원할 수 있지만, 설계 편집·분석·질의응답처럼 최종 행동이 물리적이지 않은 작업도 담당한다.

6. 실제 세계의 병목과 유망한 사용처

시각적 추론의 가치는 화면 속 정답률이 아니라 현실의 비용·제약·행동으로 이어지는 지점에서 드러난다.

6.1. 로봇과 물리적 AI

1. 비전이 로봇의 병목이다

   1. 로봇은 코드만으로 현실을 다룰 수 없으며, 대상의 위치·형태·거리·장애물·변화를 시각적으로 파악해야 한다.
   2. 시각 지능이 부족하면 로봇의 두뇌가 행동 계획을 세워도 입력 세계를 잘못 모델링해 실행에 실패한다.
   3. 복잡한 장면의 수량과 공간관계, 물리적 결과를 예측하는 능력은 로봇 지각과 조작의 공통 기반이다.

2. 물리적 실패의 비용

   1. 문서나 채팅의 작은 오류는 검토로 되돌릴 수 있지만, 제조·의료·로봇의 시각 오류는 안전과 비용에 직접 영향을 준다.
   2. 따라서 평균적인 벤치마크 점수보다 예외 장면에서의 보수적 판단과 검증 가능한 추론 흔적이 중요하다.
   3. 현실 세계에 배포될수록 모델은 답변 생성기보다 지각·검증·예측 시스템에 가까워져야 한다.

6.2. CAD와 “vibe cadding”

1. 코딩의 물리적 대응물

   1. CAD(computer-aided design)는 아이디어를 제조 가능한 부품과 조립체로 바꾸는 공간 언어다.
   2. 자연어로 기본적인 조인트나 부품을 만드는 수준은 가능하지만, 실제 기계 설계자는 수백 개 부품으로 이뤄진 대형 어셈블리를 편집한다.
   3. 수백~수천 시간 걸리는 반복 편집을 시각 모델이 직접 지원하면 코딩의 vibe coding에 대응하는 “vibe cadding”이 될 수 있다.

2. 왜 코드만으로 충분하지 않은가

   1. CAD 파일에는 형상과 동작을 표현하는 코드가 들어가지만, 어느 코드가 어느 부품과 대응하는지 파악하는 일은 코드 검색만으로 해결되지 않는다.
   2. 한 건축 회사의 500개 도면에 미세한 변경을 적용하려면 도면의 의미와 변형 관계를 동시에 이해해야 한다.
   3. AutoCAD·Autodesk 등 도구가 달라도 연필, 지우개에 해당하는 도구와 B-spline, extrusion, hole 같은 공통 조작이 있으므로 여러 CAD UX에 통합할 여지가 있다.

3. 설계의 대중화

   1. CAD는 수년의 전문 훈련이 필요해 사용자층이 제한되어 있다.
   2. 시각 모델이 의도·공간관계·제조 제약을 함께 이해하면 전문가의 반복 노동을 줄이고 더 많은 사람이 물리적 설계를 시도할 수 있다.
   3. 단, 물리적 제품은 작은 오류도 수정 비용과 시간이 크므로 생성 결과에 대한 시뮬레이션과 전문가 검증이 필수다.

7. 엔터프라이즈 도입을 위한 검증 원칙

“우리 모델이 Gemini보다 시각 추론을 잘한다”는 주장은 시험 가능한 가설일 뿐, 구매 결정을 대신하지 못한다.

7.1. 벤치마크를 읽는 순서

1. 자체 사용 사례와 가까운 과제 찾기

   1. 결함 검출이면 결함의 크기·가림·조명 변화까지 포함하는 데이터로 테스트해야 한다.
   2. 도면·문서·로봇이라면 일반 이미지 점수보다 해당 도메인의 공간·제약·시간적 관계를 재현하는 벤치마크를 선택해야 한다.
   3. 공개 점수는 후보를 좁히는 신호이지 생산환경의 정확도를 보장하는 계약이 아니다.

2. 직접 실행하기

   1. “언제 테스트할 수 있는가?”가 첫 번째 질문이어야 한다.
   2. 모델 제공업체가 준비한 예시만 보지 말고, 회사의 원본 데이터·오류 사례·업무 순서로 평가해야 한다.
   3. 정답률뿐 아니라 비용, 지연시간, 재시도, 불확실성, 사람 검토로 넘기는 비율까지 측정해야 한다.

7.2. 안전한 시각 추론의 운영 조건

1. 근거가 보이는 출력

   1. 모델은 답만 생성하지 말고 선택한 영역, 비교한 객체, 편집한 부분, 다음에 확인할 장면을 보여줘야 한다.
   2. 잘못 센 객체를 사람이 빠르게 찾아 수정할 수 있어야 하며, 확신이 낮을 때는 정답을 꾸며내지 않아야 한다.
   3. 시각적 trace가 쌓이면 실패 유형을 데이터로 되돌려 포스트트레이닝과 평가에 활용할 수 있다.

2. 모델 조합

   1. 멀티모달 작업은 시각 파운데이션 모델에 보내고, 순수 코딩 작업은 코드에 강한 모델에 보내는 라우팅이 자연스럽게 형성될 수 있다.
   2. 한 모델이 언어와 비전을 모두 이해하되, 작업별 전문 모델과 연결되는 혼합 구조가 현실적인 배포 방식이다.
   3. 모델 수를 늘리는 것보다 어느 입력을 어떤 모델에 보내고 결과를 어떻게 검증하는지가 중요하다.

주요 발언 모음

“The best models still reason visually like toddlers.”

“Most models hit high RKGI scores not through genuine visual understanding, but by coding — a workaround that scores well and reveals little.”

“Fixing visual reasoning starts with fixing how we measure it.”

“Reasoning isn’t built on language.”

“We believe reasoning originates from the visual world, from visual inputs, from animals trying to survive in the wild.”

“You should never trust just the benchmark numbers, because there’s always going to be some distance between that and your use case.”

“Vibe cadding.”

핵심 데이터 & 수치

• 80~90%: 프론티어 모델이 RKGI 같은 표준 벤치마크에서 얻는 높은 점수의 범위다.
• 3세: 객체 세기와 간단한 시각 관계 파악을 쉽게 수행하는 인간 아동의 비교 기준이다.
• 13명: 방 안의 사람 수처럼 비교적 단순한 수량도 모델이 정확히 세기 어려운 예시다.
• 12개: 코트 단추 수처럼 일상적인 객체 개수 세기 예시다.
• 10번 중 9번: 식탁 주변 인원 수나 건물 창문 수를 묻는 실험에서 정확한 답을 내놓지 못한 빈도다.
• 64×64 픽셀: 코딩으로 표현하기 쉬운 ARC-AGI 유형의 격자 문제와 현실 장면의 차이를 보여주는 크기다.
• 500개 도면: 여러 설계 변형에 동일한 미세 변경을 적용할 때 시각적 의미 이해가 필요한 규모의 예시다.
• 수백~수천 시간: 대형 CAD 어셈블리에서 반복적인 부품 편집이 차지할 수 있는 노동량의 예시다.
• 14년: Andrew Dai가 Google Brain과 DeepMind에서 연구·개발을 수행한 기간으로 공식 세션 소개에 제시됐다.
• GLaM·PaLM 2·Gemini: Andrew Dai가 참여한 대규모 모델 계열로, 언어·멀티모달 프론티어 개발 경험의 배경을 이룬다.

결론 및 시사점

1. 점수를 지능으로 오해하지 말아야 한다: 높은 언어·코딩 점수는 공간, 수량, 물리적 관계를 직접 이해한다는 증거가 아니다.
2. 평가부터 고쳐야 한다: 객체 세기, 동일·차이, 3D 탐색, 도면, 물리적 예측을 포함하고 코드 우회로 정답을 얻기 어려운 평가가 필요하다.
3. 아키텍처를 데이터와 함께 바꿔야 한다: 시각 데이터를 토큰 열로만 다루는 구조의 한계를 인정하고, 시각적 중간 상태·공간 관계·강화학습을 모델 설계에 넣어야 한다.
4. 생성과 이해를 분리해야 한다: 그럴듯한 이미지 생성은 구조적 이해와 추론을 보장하지 않으므로, 편집 근거와 관계 보존을 따로 검증해야 한다.
5. 현실의 실패 비용을 기준으로 도입해야 한다: 문서·로봇·의료·CAD는 평균 정답률보다 최악의 오류, 검증 가능성, 사람에게 넘기는 안전장치가 중요하다.
6. 범용 시각 파운데이션 모델의 방향이 유효하다: 특정 기업의 결함 검출만 맞히는 모델보다 문서·영상·설계·로봇으로 전이되는 모델이 더 큰 생태계 가치를 가진다.
7. CAD가 시각 AI의 킬러 애플리케이션이 될 수 있다: 제조 가능한 물리 세계를 다루면서 반복 편집 비용이 크고, 자연어 의도와 공간 구조를 연결해야 하기 때문이다.
8. 최종 검증은 자체 데이터에서 해야 한다: 벤치마크는 후보 선별용 신호로만 쓰고, 실제 제품 데이터와 업무 흐름에서 직접 테스트한 결과로 배포 여부를 결정해야 한다.

자료 및 검증 메모

• YouTube 원문: https://www.youtube.com/watch?v=A_I8mw8yfns
• AI Engineer World's Fair 세션 설명: Frontier 모델의 80~90% 벤치마크 점수와 유아 수준 시각 과제 실패, 코드 우회, 십자말풀이·이미지 비교·3D 탐색·평가 프레임워크 필요성을 제시한다.
• Andrew Dai 관련 공개 대화: https://thedataexchange.media/andrew-dai-elorian/
• 자막 추출 시도: yt-dlp --write-auto-sub --sub-lang ko,en --skip-download --sub-format vtt 실행 결과, YouTube가 “Premieres in 113 minutes”를 반환하며 자막 트랙을 제공하지 않았다.

핵심 요약 (20줄)

1. 최첨단 모델은 표준 벤치마크에서 80~90%를 기록해도 시각적 추론에서는 세 살 아이보다 불안정하다.
2. 이미지 속 사람이나 물체의 개수를 세는 단순한 과제가 모델의 실제 시각 이해를 드러낸다.
3. 식탁 주변 인원 수나 건물 창문 수를 묻는 시험에서 모델은 열 번 중 아홉 번꼴로 정확한 답을 내놓지 못한다.
4. 코트 단추 열두 개를 세는 일도 객체의 위치와 중복을 끝까지 추적해야 하므로 단순 캡션보다 어렵다.
5. 모델은 이미지를 직접 이해하기보다 텍스트나 코드를 거쳐 답하는 우회로 높은 점수를 얻을 수 있다.
6. 64×64 픽셀 격자에 맞는 코딩 능력은 복잡한 현실 장면의 시각적 관계 이해를 대신하지 못한다.
7. 간단한 십자말풀이와 두 이미지의 같은 점·다른 점 찾기는 구조적 시각 추론을 요구한다.
8. 휠체어가 평면도를 통과할 수 있는지 판단하려면 폭과 방향 전환과 장애물을 함께 계산해야 한다.
9. 동물은 생존을 위해 언어 없이 대상을 구분하고 거리와 방향을 판단하므로 추론은 언어보다 먼저 시각 세계에 뿌리내린다.
10. 아기와 미취학 아동은 적은 예시만으로 시각 패턴을 일반화하는 높은 데이터 효율성을 보인다.
11. 사람처럼 효율적으로 추론하려면 토큰을 길게 생성하는 연쇄사고와 다른 시각적 연쇄사고가 필요하다.
12. 영역 표시와 이미지 편집과 관점 변경은 모델의 시각적 중간 추론을 감사할 수 있는 후보 증거다.
13. 이미지 생성이 그럴듯하다는 사실은 입력의 객체와 공간 제약을 정확히 이해했다는 뜻이 아니다.
14. 영상 이해는 장면 요약을 넘어 움직임과 다음 상태와 행동 결과를 예측해야 한다.
15. 문서와 로봇과 의료 영상은 시각 오류의 비용이 크므로 평균 벤치마크 점수만으로 배포해서는 안 된다.
16. 데이터 품질과 아키텍처 변경과 강화학습을 함께 설계해야 복잡한 멀티모달 능력이 개선된다.
17. 합성 데이터는 확장에 유용하지만 검증 없이 반복하면 mode collapse와 퇴화된 모델을 만들 수 있다.
18. CAD는 물리 세계에서 코딩에 대응하는 설계 언어이며 반복 편집을 자동화하는 vibe cadding의 기반이 될 수 있다.
19. 모델 선택은 공개 점수보다 실제 기업 데이터와 업무 흐름에서 직접 테스트한 결과를 따라야 한다.
20. 최고의 시각 모델을 만들려면 모델을 키우는 일보다 무엇을 시각적으로 측정할지부터 다시 정의해야 한다.