URL: https://www.youtube.com/watch?v=j1bhs3_VZDU
날짜: 2026-08-26
채널: Tech Bridge
원문 제목: [한영자막] 안드레이 카파시가 걸어온 길 | 그는 어떻게 AI 최고의 인재가 됐을까요?
메타데이터
- source.name: Tech Bridge
- category_slug: ai-llm
- video_id: j1bhs3_VZDU
- video_url: https://www.youtube.com/watch?v=j1bhs3_VZDU
- drop_date: 2026-08-26
- slug: techbridge-andrej-karpathy-career-2026-08-26
- 처리 언어: 영어 자동 자막을 기반으로 한국어 작성
- 핵심 인물: Andrej Karpathy, Geoffrey Hinton, Fei-Fei Li, Elon Musk, Ilya Sutskever
📌 핵심 질문 / 핵심 논점
==안드레이 카파시는 패턴을 집요하게 파고드는 호기심, 손으로 직접 만드는 태도, 뛰어난 연구자에게 배우는 선택, 현실 문제에 적용하는 실행력으로 AI의 한계를 따라잡고 다시 넓혀 왔다.==
- 22세 무렵 루빅스 큐브를 16초 이내에 풀 정도로 패턴을 해독하는 데 집착했다.
- 양자컴퓨팅(quantum computing)의 추상성이 맞지 않자 기계학습(machine learning)으로 옮겨 가며, 기계가 자신 대신 방대한 지식을 학습하도록 만들고 싶다는 발상을 붙잡았다.
- 이미지 분류(classification)를 넘어 이미지와 자연어를 연결하고, Tesla에서는 여러 카메라를 하나의 신경망에 함께 넣어 통합된 3D 세계 표현을 만들었다.
- AI가 코드를 직접 생성하는 시대에도 그는 교육과 새로운 모델의 사전학습(pre-training)에 뛰어들었지만, 자신조차 프로그래머로서 뒤처졌다고 느낀다고 말했다.
카파시의 경력은 한 분야를 처음부터 끝까지 고수한 직선이 아니다. 물리학과 컴퓨터과학에서 출발해 기계학습, 컴퓨터 비전(computer vision), 이미지 캡셔닝(image captioning), 자율주행(autonomous driving), 대중 교육, 대규모 언어 모델(large language model)로 관심을 옮겼다. 각 단계에서 “더 많이 아는 것”에 머물지 않고, 직접 만들고 관찰하며 다음 문제를 선택했다.
1. 패턴을 해독하려는 집요함이 AI로 향하다
복잡한 구조를 빠르게 파악하는 놀이와 가족의 이주 경험이, 손으로 부딪혀 결과를 만드는 연구 태도로 이어졌다.
1.1. 어린 시절의 성향과 이주 경험
-
루빅스 큐브에서 드러난 패턴 집착
- 16초 이내의 기록: 카파시는 22세 무렵 루빅스 큐브(Rubik’s Cube)를 16초 안에 풀 수 있었다.
- AI로 이어진 능력: 큐브의 뒤섞인 상태에서 규칙과 패턴을 찾아내는 집요함은 인공지능의 패턴 인식 문제를 파고드는 데 도움이 됐다.
- 초기 인물 평가: 동료는 카파시를 세계 최고의 컴퓨터 비전 연구자 가운데 한 명, 어쩌면 최고라고 평가했다. 카파시는 “Okay, thank you”라고 짧게 받아넘겼다.
-
브라티슬라바에서 토론토로
- 출생과 가족: Andrej Karpathy는 1986년 10월 23일 슬로바키아 브라티슬라바(Bratislava)에서 태어났다.
- 15세의 이주: 15세 때 가족은 안정적이고 편안한 삶을 뒤로하고, 카파시와 여동생에게 더 나은 기회를 주기 위해 캐나다 토론토(Toronto)로 이주했다.
- 부모의 도박에 대한 책임감: 카파시는 부모의 희생과 결단을 헛되게 하지 않고 부모를 자랑스럽게 만드는 것이 자신의 야망을 움직이는 큰 힘이라고 말했다.
1.2. 양자컴퓨팅에서 기계학습으로 방향을 틀다
-
토론토대학교의 출발점
- 전공: University of Toronto에서 컴퓨터과학(computer science)과 물리학(physics)을 공부했다.
- 처음 세운 계획: 처음에는 양자컴퓨팅 분야에서 일하려고 했다.
- 손을 더럽힐 수 없었던 추상성: 양자역학(quantum mechanics) 수업에 깊이 들어갈수록 즐겁지 않다는 감각이 분명해졌다. 양자 분야가 너무 멀리 떨어져 있고 제한적이라 실제로 손을 더럽혀 직접 만들어 볼 수 없다고 느꼈다.
-
도서관에서 얻은 발상
- 끝없는 책장 앞의 문제: 도서관을 걷다가 모든 책에 담긴 지식을 배우고 싶다는 욕망을 느꼈지만, 한 사람이 그 모든 정보를 흡수하는 것은 불가능했다.
- 자신이 배우지 못하면 기계를 만든다: “내가 알아야 할 모든 것을 직접 배울 수 없다면, 어쩌면 그렇게 할 수 있는 무언가를 만들 수 있지 않을까?”라는 방향 전환이 일어났다.
- 기계학습의 선택: 기계학습은 컴퓨터가 패턴을 인식하고 데이터에서 학습하도록 가르치는 AI의 한 분야다. 카파시는 인간 지식의 한계를 기계의 학습 능력으로 확장할 수 있다는 점에 끌렸다.
1.3. 뛰어난 스승과 기초 연구를 거치다
-
Geoffrey Hinton과 AlexNet
- 첫 입문 수업: University of Toronto에서 AI의 대부로 불리는 Geoffrey Hinton 교수가 가르치는 수업을 통해 기계학습에 입문했다.
- 2012년 AlexNet: Hinton과 학생들은 AlexNet이라는 신경망(neural network)을 학습시켰다.
- ImageNet의 충격: AlexNet은 ImageNet에서 압도적인 성과를 내며 AI 업계를 놀라게 했다. 이미지 인식 오류율(image recognition error rate)이 경쟁 시스템보다 극적으로 낮았다.
-
University of British Columbia에서 물리 시뮬레이션 로봇을 연구하다
- 석사 연구: 카파시는 University of British Columbia에서 석사 과정을 마치며 물리적으로 시뮬레이션된 로봇(physically simulated robots)을 연구했다.
- 일일이 움직임을 코딩하지 않는 방식: 모든 움직임을 사람이 수동으로 프로그래밍하는 대신, 시스템이 물리 법칙을 따르는 법을 학습하게 했다.
- 살아 있는 것 같은 움직임: 로봇은 균형을 잡고, 넘어지고, 움직이는 과정을 학습하며 살아 있는 생명체처럼 행동했다.
-
Fei-Fei Li에게 배운 사고법
- Stanford 박사 과정: Stanford University에서 컴퓨터 비전 분야의 영향력 있는 연구자 Fei-Fei Li 교수 밑에서 박사 과정을 밟았다.
- 핵심 교육: 카파시는 훗날 Fei-Fei Li가 자신에게 “생각하는 법(how to think)”을 가르쳐 주었다고 감사했다.
- 연구자의 선택: Hinton에게는 신경망과 기계학습의 기초를, Li에게는 문제를 구조화하고 생각하는 방식을 배웠다.
2. 이미지를 분류하는 기계에서 이미지를 이해하는 기계로
카파시는 컴퓨터가 사물의 이름만 맞히는 수준에서 장면의 관계와 맥락을 자연어로 표현하는 수준으로 넘어가야 한다고 보았다.
2.1. 이미지와 자연어를 연결하다
-
분류에서 묘사로
- 기존 시스템의 답: 초기 AI 시스템은 이미지를 주로 분류했다. 결과는 “코끼리”, “아기”, “구세주 그리스도(Christ the Redeemer)” 같은 단어 목록에 가까웠다.
- 새로운 질문: 기계가 보고 있는 것을 인간의 언어로 설명할 수 있다면 무엇을 말할 수 있을지 탐구했다.
- 이미지 캡셔닝의 의미: 컴퓨터가 이미지를 인식하는 것뿐 아니라, 장면의 의미를 문장으로 연결하도록 가르치는 문제였다.
-
Luffy 사진으로 드러낸 차이
- 분류 모델: 카파시의 개 Luffy 사진에 초기 AI는 “허스키(husky)”라는 라벨만 붙일 수 있었다.
- 문장 생성 모델: 더 발전한 시스템은 “한쪽 다리를 어색하게 공중으로 뻗은 채 개 침대에서 완전히 곯아떨어진 허스키 믹스”라고 묘사할 수 있다.
- 현재의 활용: 오늘날 이런 이미지 이해(image understanding)는 ChatGPT 같은 시스템의 기반 기능이 됐다.
-
초기에는 마법처럼 보였던 능력
- 2010년대 초의 거리: 2010년대 초에는 컴퓨터가 이미지를 보고 자연스럽게 설명한다는 발상이 마법처럼 느껴졌다.
- 진보는 자동으로 일어나지 않는다: AI의 발전은 저절로 보장된 과정이 아니었고, 연구자들이 한계를 밀어붙여 앞으로 나아가게 해야 했다.
- 연구 방향의 확장: 이미지를 언어로 설명하려면 사물의 정체뿐 아니라 장면 안의 관계, 행동, 배경 지식까지 다뤄야 했다.
2.2. 오바마의 저울 장난이 드러낸 상식의 벽
-
2012년의 비관적 글
- 글의 제목: 카파시는 2012년 “The State of Computer Vision and AI, We Are Really, Really Far Away”라는 블로그 글을 썼다.
- 문제의식: 주요 돌파구가 나오기 전, 컴퓨터 비전과 AI가 실제 세계를 이해하는 데 얼마나 뒤처져 있는지 답답함을 느꼈다.
- 핵심 진단: 이미지를 제대로 이해하는 일은 픽셀에서 물체 이름을 뽑는 것보다 훨씬 복잡하며, 인간이 당연하게 처리하는 숨은 지식이 필요하다.
-
저울 사진의 농담
- 장면: 한 남자가 체중계에 올라가 있고, Barack Obama가 몰래 발로 체중계 판을 누르고 있다.
- 사람의 즉각적 이해: 인간은 사진을 보는 순간 Obama가 체중계의 숫자를 올려 남자를 속이는 장난임을 알아차리고 웃는다.
- 대통령이라는 반전: 장난을 치는 사람이 미국 대통령이라는 사실이 상황을 더 우습게 만든다.
-
기계가 알아야 하는 숨은 지식
- 시각적 구조: 사진 속 일부 인물은 실제 인물이 아니라 거울에 비친 반사(reflection)라는 사실을 판별해야 한다.
- 물리적 인과: Obama의 발이 체중계에 힘(force)을 가하고, 그 힘이 체중계의 측정값을 올린다는 물리 관계를 이해해야 한다.
- 심리적 맥락: 사람은 자신의 체중을 의식할 수 있고, 체중계 위의 남자는 무슨 일이 벌어지는지 모르며, 주변 사람들은 그의 혼란을 재미있어한다는 심리와 관찰자 관점을 파악해야 한다.
- 사회적 맥락: 장난의 실행자가 대통령이라는 사실이 왜 더 재미있는지까지 이해해야 한다.
- 인간의 압축 처리: 인간은 이런 정보를 자신도 의식하지 못하는 사이 1초의 아주 작은 일부 안에 대량으로 처리한다.
-
알고리즘으로 옮기기 어려운 문제
- 카파시의 질문: “내가 장면을 추론한 것처럼 추론할 수 있는 알고리즘을 도대체 어떻게 쓰기 시작할 수 있을까?”라고 물었다.
- 당시의 결론: 그는 “어쨌든 우리는 정말, 정말 멀리 떨어져 있고, 이것이 나를 우울하게 한다. 앞으로 나아갈 길은 무엇인가?”라고 글을 맺었다.
- 비관의 근거: 저울 사진은 AI 시스템이 물체를 보는 것과 장면의 의미를 이해하는 것 사이에 거대한 간극이 있음을 노골적으로 드러냈다.
3. 기계가 인간의 시각 능력을 따라잡고 자율주행으로 이어지다
2012년의 비관적 전망과 달리, 이후 10년 동안 비전 모델은 급격히 향상됐고 실제 세계를 지각하는 능력이 자율주행의 토대가 됐다.
3.1. GoogleNet과 인간의 대결
-
2014년 ImageNet 실험
- 비교 대상: Karpathy는 Google이 ImageNet을 위해 만든 신경망 GoogleNet과 직접 경쟁했다.
- 어려운 이미지 1,500장: 카파시는 판별하기 어려운 이미지 약 1,500장을 손으로 직접 라벨링했다.
- 오류율: 카파시의 오류율은 5.1%, GoogleNet의 오류율은 6.8%였다.
-
인간이 이겼지만 거의 비겼다
- 기술적 승리: 수치만 보면 인간인 카파시가 이겼다.
- 간발의 차이: 승리는 아주 근소했고, 일부 사례에서는 기계가 실제로 더 나은 성능을 보였다.
- 기계의 강점: 신경망은 거대한 데이터셋에서 미세한 시각적 차이를 감지하는 데 매우 뛰어났고, 개 품종처럼 인간이 자주 헷갈리는 분류에서 인간을 앞섰다.
-
카파시가 읽은 방향성
- 인간의 우위가 비싸졌다: 인간이 최첨단 이미지 분류 모델(state-of-the-art image classification model)을 이기려면 상당한 노력, 전문성, 시간이 필요해질 것이 분명했다.
- 무서운 속도의 추격: 기계는 인간을 무섭도록 빠르게 따라잡고 있었다.
- 지각 능력의 임계점: 신경망이 마침내 세계를 지각할 만큼 좋아지면서, AI의 가장 야심 찬 목표 가운데 하나인 자율주행차(self-driving car)가 훨씬 현실적인 목표가 됐다.
3.2. OpenAI에서 Tesla Autopilot으로
-
OpenAI의 창립 멤버
- 조직의 초기 단계: 카파시는 OpenAI의 창립 멤버 가운데 한 명이 됐다.
- 다음 이동: Elon Musk가 그를 영입해 Tesla의 Autopilot 뒤에 있는 컴퓨터 비전 팀을 이끌게 했다.
- 영입의 평가: Musk는 엔지니어 Jim Keller에게 보낸 이메일에서 카파시를 Ilya Sutskever 다음으로 세계 컴퓨터 비전 분야의 2위 인물이라고 평가했다.
-
Musk의 노골적인 영입 메시지
- 핵심 발언: Musk는 “Andre is arguably the number two guy in the world in computer vision after Ilya Sutskever”라고 썼다.
- 농담 섞인 긴박감: “OpenAI 사람들이 나를 죽이려 하겠지만, 해야만 했다”라고 덧붙였다.
- 의미: 당시 AI 인재 확보 경쟁에서 뛰어난 연구자 한 명의 이동이 회사의 핵심 역량을 바꿀 만큼 중요했다.
-
8개 카메라로 3D 세계를 만들다
- 입력: Tesla의 차량은 8개의 카메라에서 비디오를 받아들였다.
- 출력: 신경망은 비디오 입력을 차량 주변 세계에 대한 3차원(3D) 이해로 변환했다.
- 인식 대상: 차선(lanes), 차량(vehicles), 보행자(pedestrians), 정지 표지판(stop signs), 신호등(traffic lights) 등을 해석해야 했다.
3.3. 카메라를 따로 처리하던 방식에서 통합 표현으로
-
초기 설계의 문제
- 분리 처리: Tesla는 처음에 각 카메라 피드를 별도의 경로로 처리했다.
- 사후 결합: 각 카메라의 결과를 만든 뒤 나중에 하나로 합치려 했다.
- 망가진 3D 표현: 카메라마다 세계를 조금씩 다르게 해석했기 때문에, 사후 결합된 3D 표현은 형편없이 보였다.
-
카파시가 이끈 구조 변경
- 동시 입력: 모든 카메라의 입력을 분리된 이미지로 처리하지 않고 하나의 신경망에 동시에 넣었다.
- 학습 대상: 신경망은 모든 입력에서 직접 일관되고 통합된 3D 표현(unified consistent 3D representation)을 학습했다.
- 융합 시점의 변화: 결과를 나중에 억지로 융합하는 대신 처음부터 공동으로 추론하게 만들어 카메라 사이의 불일치를 줄였다.
-
현실에서 쓸 수 있는 차이
- “밤과 낮”의 변화: 개선 전후의 결과는 “밤과 낮(night and day)”만큼 달랐다.
- 주행 가능성: 시연을 보며 “이제 실제로 이 위에서 운전할 수 있다”고 평가할 정도로 표현 품질이 향상됐다.
- 연구의 실용화: 추상적인 이미지 인식 연구가 차량의 안전한 주행 판단이라는 물리적 시스템으로 연결됐다.
4. 연구자에서 교육자와 AI 산업의 핵심 인재로
Tesla에서의 성과 뒤에도 카파시는 한 조직에 머무르지 않고, 교육과 모델 사전학습이라는 새로운 층위로 활동을 넓혔다.
4.1. Tesla 이후의 재출발과 Eureka Labs
-
OpenAI로의 짧은 복귀
- 5년의 Tesla: Tesla에서 AI를 이끄는 일을 5년간 수행했다.
- 복귀와 이탈: 이후 OpenAI로 잠시 돌아갔지만 오래 머물지는 않았다.
- 독립 선택: 곧 자신의 길을 개척하기 위해 조직 밖으로 나왔다.
-
AI 교육 회사 Eureka Labs
- 설립: AI 교육 회사 Eureka Labs를 출범했다.
- 목표: 다음 세대의 학습을 가르치는 데 에너지를 쏟았다.
- 활동 방식: “Hi everyone”으로 시작해 ChatGPT 같은 대규모 언어 모델을 일반 청중에게 설명하는 교육 시리즈를 이어 갔다.
-
대중 교육의 확장
- 심층 교육 영상: YouTube 채널에 깊이 있는 교육 영상을 올렸고, 영상들은 수백만 회의 조회수를 기록했다.
- 접근성: 고급 AI 주제를 연구자만 이해하는 언어에 가두지 않고 일반 학습자에게 전달했다.
- 지식의 재생산: 연구 성과를 직접 보유하는 데서 그치지 않고, 다음 세대가 AI를 이해하고 만들 수 있도록 교육 인프라로 바꾸려 했다.
4.2. “Vibe coding”이 바꾼 프로그래밍의 역할
-
개념의 탄생
- AI의 수준 변화: AI가 코드를 작성할 수 있을 만큼 좋아지면서 개발자의 역할이 변했다.
- 용어: 카파시는 이 변화를 “vibe coding”이라고 불렀다.
- 새로운 작업 방식: 개발자가 모든 코드 한 줄을 직접 작성하는 대신, AI 시스템에 원하는 결과와 방향을 안내하는 방식이다.
-
키보드에서 의도 설계로
- 생성 주체의 이동: 반복적인 코드 생성은 AI가 맡고, 사람은 목표·제약·수정 방향을 제시한다.
- 카파시의 표현: “I barely even touch the keyboard”라고 말했다.
- 역설: 컴퓨터 비전과 AI의 최전선에 있던 사람조차 직접 타이핑하는 시간이 줄어드는 변화가 개발의 새로운 표준이 될 수 있음을 보여준다.
4.3. Anthropic과 계속되는 인재 경쟁
-
Claude의 사전학습 팀
- 영입: Claude를 만드는 Anthropic이 카파시를 사전학습(pre-training) 팀의 일원으로 영입했다.
- 팀의 역할: 사전학습 팀은 Claude가 세계를 이해하도록 가르치는 일을 담당한다.
- 현재의 과제: 카파시는 한층 더 강력한 차세대 Claude를 만드는 일을 돕고 있다.
-
AI 인재 확보전의 과열
- 보상액은 불명: 카파시가 Anthropic에서 얼마를 받는지는 공개되지 않았다.
- Meta의 제안: Meta가 OpenAI 직원에게 진영을 옮기라는 조건으로 최대 1억 달러(100 million)의 사이닝 보너스(signing bonus)를 제안했다는 보도가 나왔다.
- 인재의 전략적 가치: 모델과 컴퓨팅 자원만큼이나 최상위 연구자 한 명의 지식과 판단력이 경쟁 우위로 여겨지고 있다.
-
최고의 인재도 느끼는 뒤처짐
- 속도를 따라가기 어려운 시대: 세계 최고의 AI 엔지니어 가운데 한 명으로 평가받는 카파시조차 AI 발전의 속도를 따라가기 어렵다고 느낀다.
- 직접 남긴 문장: “I've never felt this much behind as a programmer”라고 적었다.
- 메시지: AI의 발전은 정상에 오른 사람에게도 학습의 끝을 허락하지 않는다. 탁월함은 완성된 지위가 아니라 계속 따라가야 하는 이동 상태다.
주요 발언 모음
“부모님의 도약을 정당화하고 부모님을 자랑스럽게 만드는 것이 내 야망을 움직이는 큰 부분이다.”
“즐겁지 않다는 것이 분명해졌다. 너무 멀리 있고, 너무 제한적이었다. 손을 더럽힐 수 없었다.”
“내가 알아야 할 모든 것을 직접 배울 수 없다면, 어쩌면 그렇게 할 수 있는 무언가를 만들 수 있지 않을까?”
“내가 장면을 추론한 것처럼 추론할 수 있는 알고리즘을 도대체 어떻게 쓰기 시작할 수 있을까?”
“어쨌든 우리는 정말, 정말 멀리 떨어져 있고, 이것이 나를 우울하게 한다. 앞으로 나아갈 길은 무엇인가?”
“인간은 상당한 노력, 전문성, 시간을 들여야만 최첨단 이미지 분류 모델을 이길 수 있게 될 것이 분명하다.”
“이제 실제로 이 위에서 운전할 수 있다.”
“나는 키보드를 거의 건드리지도 않는다.”
“프로그래머로서 이렇게까지 뒤처졌다고 느껴 본 적이 없다.”
Elon Musk: “Andre is arguably the number two guy in the world in computer vision after Ilya Sutskever. The OpenAI guys are going to want to kill me, but it had to be done.”
핵심 데이터 & 수치
- 22세 무렵: 루빅스 큐브를 16초 이내에 풀었다.
- 1986년 10월 23일: 슬로바키아 브라티슬라바에서 태어났다.
- 15세: 가족과 함께 슬로바키아에서 캐나다 토론토로 이주했다.
- 2012년: Geoffrey Hinton과 학생들의 AlexNet이 ImageNet에서 경쟁 모델보다 극적으로 낮은 이미지 인식 오류율을 기록했다.
- 2012년: 카파시가 컴퓨터 비전과 AI가 아직 매우 멀리 떨어져 있다고 진단한 블로그 글을 썼다.
- 2014년: 약 1,500장의 어려운 이미지를 사람이 직접 라벨링해 GoogleNet과 비교했다.
- 5.1% 대 6.8%: 카파시의 이미지 분류 오류율과 GoogleNet의 오류율이다.
- 5년: Tesla에서 AI를 이끌었다.
- 8개 카메라: Tesla Autopilot 신경망이 차량 주변을 인식하기 위해 처리한 카메라 수다.
- 수백만 회: 카파시의 심층 AI 교육 영상들이 기록한 조회수 규모다.
- 최대 1억 달러: Meta가 OpenAI 직원에게 제안했다고 보도된 사이닝 보너스 규모다.
결론 및 시사점
-
호기심을 제작 문제로 바꿔라
- 도서관의 모든 책을 읽을 수 없다는 좌절을 “그 일을 대신할 기계를 만들자”는 제작 문제로 전환했다.
- 지식을 많이 소비하는 데서 멈추지 말고, 자신의 한계를 드러내는 도구와 시스템을 만들어야 한다.
-
추상성과 현실의 거리를 점검하라
- 양자역학이 지나치게 멀고 제한적으로 느껴졌던 이유는 직접 조작하고 실험할 여지가 부족했기 때문이다.
- 카파시는 로봇의 물리 시뮬레이션과 Tesla 차량의 3D 인식처럼 실제 세계에서 피드백을 얻는 문제를 선택했다.
-
좋은 스승에게서 지식뿐 아니라 사고법을 배워라
- Hinton의 신경망 연구와 AlexNet은 기계학습의 가능성을 보여줬다.
- Fei-Fei Li에게서는 문제를 바라보고 생각하는 방식을 배웠다.
- 최고 수준의 환경은 정답을 전달하는 곳이 아니라, 더 좋은 질문을 만드는 곳이다.
-
분류 결과보다 세계의 구조를 이해하게 하라
- “허스키”라는 라벨과 “개 침대에서 한쪽 다리를 든 채 곯아떨어진 허스키 믹스”라는 문장 사이에는 사물·행동·관계·맥락을 연결하는 큰 차이가 있다.
- 오바마의 저울 장난은 지능이 단순한 물체 인식이 아니라 물리학, 심리학, 사회적 맥락의 통합임을 보여준다.
-
모델을 개별 센서의 사후 결합에 가두지 마라
- Tesla는 카메라별 결과를 나중에 합치는 방식의 불일치를 겪었다.
- 모든 입력을 하나의 신경망에 동시에 넣어 통합된 3D 표현을 학습하게 하자 실용적으로 주행 가능한 수준에 가까워졌다.
-
AI가 발전할수록 사람의 역할은 상위 수준으로 이동한다
- Vibe coding은 사람이 코드 한 줄을 모두 작성하는 역할에서 목표와 방향을 설계하고 AI를 조종하는 역할로 이동하는 사례다.
- 카파시가 교육과 사전학습에 집중한 흐름은 직접 구현, 지식 전달, 모델의 세계 이해가 서로 다른 층위에서 계속 중요하다는 점을 보여준다.
-
최고 수준에 도달해도 학습 속도를 멈추지 마라
- 카파시는 세계적인 컴퓨터 비전 연구자, OpenAI 창립 멤버, Tesla AI 리더, Eureka Labs 창업자, Anthropic 사전학습 팀 연구자로 역할을 바꿔 왔다.
- 그럼에도 프로그래머로서 뒤처졌다고 느낀다고 공개했다. 빠르게 변하는 분야에서 겸손함은 약점이 아니라 계속 배우게 하는 감각이다.
핵심 요약 (20줄)
- Andrej Karpathy는 22세 무렵 루빅스 큐브를 16초 이내에 풀며 패턴 해독에 강한 집요함을 보였다.
- 그는 1986년 슬로바키아 브라티슬라바에서 태어나 15세에 가족과 함께 토론토로 이주했다.
- 부모의 희생을 정당화하고 부모를 자랑스럽게 만드는 일이 그의 야망을 움직이는 동력이 됐다.
- University of Toronto에서 컴퓨터과학과 물리학을 공부하며 처음에는 양자컴퓨팅을 계획했다.
- 양자역학의 추상성과 제한성 때문에 직접 손을 움직여 만들 수 있는 AI로 관심을 옮겼다.
- 도서관의 모든 지식을 배울 수 없다는 깨달음은 지식을 학습하는 기계를 만들겠다는 발상으로 이어졌다.
- Geoffrey Hinton의 수업을 통해 기계학습과 신경망의 가능성을 접했다.
- Hinton과 학생들의 2012년 AlexNet은 ImageNet에서 극적으로 낮은 이미지 인식 오류율을 기록했다.
- University of British Columbia에서는 물리 법칙을 스스로 학습하는 시뮬레이션 로봇을 연구했다.
- Stanford에서는 Fei-Fei Li에게 컴퓨터 비전과 문제를 생각하는 법을 배웠다.
- 그는 컴퓨터가 이미지를 분류하는 것을 넘어 자연어로 장면을 설명하도록 만드는 문제를 연구했다.
- Luffy의 사진은 “허스키”라는 라벨과 맥락이 담긴 문장 사이의 차이를 보여줬다.
- 오바마가 체중계를 몰래 누르는 장난 사진은 AI가 물리·심리·사회적 상식을 통합해야 함을 드러냈다.
- 2014년 카파시는 약 1,500장의 이미지에서 5.1% 오류율로 GoogleNet의 6.8%를 앞섰다.
- 그러나 일부 사례에서 기계가 더 잘했고, 인간의 우위에는 상당한 노력과 전문성이 필요했다.
- 이 급격한 추격은 신경망이 세계를 지각하고 자율주행을 실현할 기반이 됐음을 뜻했다.
- OpenAI 창립 멤버였던 그는 Elon Musk의 영입으로 Tesla Autopilot 컴퓨터 비전 팀을 5년간 이끌었다.
- Tesla는 8개 카메라를 하나의 신경망에 동시에 넣어 일관된 3D 세계 표현을 학습했다.
- 이후 Eureka Labs와 대중 교육, vibe coding을 거쳐 Anthropic Claude의 사전학습 팀에 합류했다.
- 세계 최고 수준의 AI 연구자도 뒤처졌다고 느끼는 시대에, 계속 배우고 만들며 방향을 바꾸는 태도가 핵심 경쟁력이 된다.
