1시간 압축) AI 기술 1도 모르는 초심자가 전문 AI SaaS 구축하는 모든 과정

URL: https://www.youtube.com/watch?v=JK1S6FvAdZQ
채널: 양실장의 바이브코딩대학
강의: 정석강의 3강 — 모델과 도구
재생 시간: 50분 39초

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI를 처음 배우는 사람도 프로젝트를 먼저 만들고, 막히는 순간 필요한 모델·도구·기초 개념을 역으로 학습하면 전문적인 AI SaaS까지 설계할 수 있는가?==

• 학력이나 선행 지식보다 실제 결과물을 만들고 코드 리뷰를 받으며 빠르게 배우는 능력이 중요하다.
• skills.sh의 Find Skills와 Hugging Face를 이용하면 필요한 스킬과 모델을 직접 탐색할 수 있다.
• 쇼츠 자동 생성기를 만들면서 사람 검출, 추적, 바운딩 박스, 크롭 중심 계산, 평활화 같은 비전 개념을 문제 해결 과정에서 학습한다.
• GPU 추론 서비스는 모델 선택만으로 끝나지 않으며, 배포 인프라·원가·크레딧·구독 과금까지 함께 설계해야 한다.

이 강의는 코딩 문법이나 모델 이론을 먼저 다 외운 뒤 제품을 만드는 전통적 순서를 뒤집는다. 작은 AI 기능을 먼저 구현하고, 결과가 부족하거나 실패한 지점에서 필요한 개념을 질문하고 실험한다. 영상에서 만든 쇼츠 생성기는 완성된 상용 서비스라기보다 이 학습법을 보여 주는 실습 장치다. 최종 목표는 “AI에게 만들어 달라고 말하는 것”이 아니라, 어떤 모델과 도구가 필요한지 스스로 찾고, 결과를 검수하고, 실제 서비스의 비용과 인프라까지 판단하는 능력을 얻는 데 있다.

1. 먼저 만들고 막히면서 배우는 AI 학습법

1.1. 대학 중퇴자에서 OpenAI 연구 참여자로

1. Gabriel Petersson 사례

   1. 스웨덴의 Gabriel Petersson은 17세에 고등학교를 중퇴했고 대학 학위나 고등학교 졸업장도 없었다.
   2. 이후 여러 스타트업에서 실제 제품을 만들며 실력을 쌓고, 뛰어난 엔지니어들의 코드 리뷰를 받으며 경력을 증명했다.
   3. 결국 OpenAI에서 Sora 관련 연구에 참여하는 단계까지 도달했다.

2. 핵심은 학력이 아니라 학습 순서다

   1. 머신러닝을 배우기 위해 교과서와 수학부터 읽지 않고, “머신러닝으로 무엇을 만들어 볼까?”라는 프로젝트 질문에서 출발했다.
   2. AI의 도움으로 먼저 제품을 만들고, 모르는 코드와 개념이 등장했을 때 “왜 필요한가?”, “없애면 어떻게 되는가?”, “이 개념 아래에는 무엇이 필요한가?”를 거슬러 올라갔다.
   3. 이해했다고 생각한 뒤에는 AI에게 자신의 설명을 다시 들려주고 틀린 부분을 찾아 달라고 했다. AI를 정답 생성기가 아니라 개인 과외 선생님이자 구두시험관으로 사용한 것이다.

1.2. 전통적 학습 순서와 역순 학습

1. 박사식 순서

   1. 수학, 프로그래밍, 통계, 머신러닝, 논문, 프로젝트 순으로 기초를 쌓는다.
   2. 이 방식은 체계적이지만 실제로 무언가를 만들기 전에 학습량이 커져 초심자가 시작하기 어렵다.

2. 프로젝트식 역순

   1. 프로젝트를 먼저 시작하고, 코드에서 막히면 필요한 개념을 배우며 알고리즘과 수학까지 내려간다.
   2. 강의자는 자신은 대체로 알고리즘 단계까지 공부해 보지만, 어디까지 내려갈지는 사람과 프로젝트에 따라 달라진다고 설명한다.
   3. 한 문장으로는 “공부하고 나서 만드는 것이 아니라, 먼저 만들고 막히면서 공부한다”는 방식이다.

3. 이번 강의의 성공 기준

   1. 수강생이 모델과 도구를 찾고 학습하고 활용하는 과정 자체를 두려워하지 않게 만드는 것이 목표다.
   2. 단순히 LLM에게 명령해 에이전트를 만드는 수준을 넘어, 자신에게 필요한 모델과 스킬을 직접 찾고 조합하는 수준으로 나아간다.

2. 모델과 도구를 찾는 두 개의 출발점

2.1. skills.sh와 Find Skills

1. skills.sh의 역할

   1. skills.sh는 LM 스킬 생태계의 빌보드 또는 인기 차트처럼 스킬을 설치 수와 함께 보여 주는 웹사이트다.
   2. 강의 시점인 2026년 8월 24일에는 Find Skills가 최상위에 있었고, 플랫폼에는 약 130만 개의 스킬이 등록되어 있다고 소개한다.
   3. 인기 순위는 현재 유행을 파악하는 데 유용하지만, 내 문제에 맞는 스킬을 찾으려면 키워드와 작업 목적을 함께 사용해야 한다.

2. Find Skills의 가치

   1. 예전에는 필요한 자동화 스킬을 찾기 위해 직접 여러 저장소를 검색하고 검증해야 했다.
   2. Find Skills는 사용자가 하려는 일을 설명하면 그 작업에 적합하고 이미 검증된 스킬 후보를 찾아준다.
   3. 따라서 자동화 구축 전의 리서치 시간을 줄이고, 스킬을 기반으로 프로젝트 설계를 시작할 수 있다.

3. 설치와 사용

   1. skills.sh에서 설치 명령을 복사해 터미널에 붙여 넣고, 전역(global) 설치를 선택하면 된다.
   2. 설치 후 Claude, Codex 등에서 슬래시 커맨드로 스킬을 호출할 수 있다.
   3. 명시적으로 호출하지 않아도 에이전트가 요청과 스킬의 적합성을 판단해 사용할 수 있지만, 시연에서는 /find를 직접 입력해 의도를 분명히 했다.

2.2. Hugging Face를 모델 탐색의 인스타그램으로 보기

1. 모델 생태계의 폭

   1. 강의자는 skills.sh를 스킬계 빌보드 차트, Hugging Face를 AI 모델의 인스타그램에 비유한다.
   2. Hugging Face에는 텍스트 생성뿐 아니라 멀티모달, 이미지, 오디오, 비전, 강화학습 등 다양한 모델이 등록되어 있다.
   3. 우리가 흔히 LLM이라고 부르는 것은 거대한 모델 생태계 중 일부에 불과하다.

2. 탐색에서 실행까지

   1. 모델의 용도, 특징, 사용법, 관련 문서와 예제 코드를 확인할 수 있다.
   2. 플랫폼 안에서 추론을 시험해 보며 실제 과업에 맞는지 검증할 수 있다.
   3. 이 강의에서 중요한 태도는 “모델을 바로 가져다 쓰는 것”이 아니라, 필요한 이유와 작동 방식을 알아가며 선택하는 것이다.

3. 1차 시연: Find Skills로 쇼츠 생성기 만들기

3.1. 실습 목표와 후보 스킬

1. 만들려는 MVP

   1. 유튜브 원본 영상이나 로컬 파일을 입력하면 재미있는 구간을 찾아 쇼츠로 잘라내는 기능이다.
   2. 원본의 재미있는 부분을 선택하고, 필요하면 배속을 적용하고, 한글 자막을 붙여 세로형 쇼츠를 만든다.
   3. 결과를 사람이 먼저 검토하고 승인한 뒤 렌더링하는 승인 게이트를 둔다.

2. 첫 번째 검색의 오해

   1. 처음에는 에이전트가 Remotion 계열 스킬과 그래프 애니메이션 중심의 구조를 추천했다.
   2. 강의자가 원한 것은 새 애니메이션을 만드는 것이 아니라 유튜브 원본에서 재미있는 구간을 잘라 재편집하는 것이었으므로 방향이 어긋났다.
   3. 요청을 다시 명확히 하자 Remotion 편집·렌더링, 무음 탐지·배속·자막, 원본 기반 리컷 워크플로우, 트랜스크립트 기반 재미 구간 분석 스킬이 후보로 제시됐다.

3. 최종 선택

   1. Talking Head Podcast Recut 계열의 원본 기반 재편집 흐름을 핵심 구성으로 삼았다.
   2. Remotion Best Practices는 자막·편집·렌더링에 활용하고, 트랜스크립트 인텔리전스 계열 스킬은 재미 구간과 감정 피크 탐색 후보로 검토했다.
   3. 모든 후보를 억지로 사용하지 않고 실제 MVP에 필요한 세 가지 핵심 스킬을 선택했다.

3.2. 로컬 MVP의 실행과 디버깅

1. 입력 경로 문제

   1. 유튜브 링크를 직접 넣으려 했지만 실행 환경에서 yt-dlp가 감지되지 않아 링크 등록이 막혔다.
   2. 실습 시간상 링크 다운로드부터 해결하지 않고 로컬 원본 파일을 업로드하는 방식으로 전환했다.
   3. 절대 경로를 입력하는 UX가 불편하다는 사실을 발견하고 파일 탐색기에서 선택하는 UI를 추가하도록 요청했다.

2. 재미 구간 탐지와 진행성

   1. 원본 등록 후 “재미 구간 찾기”를 실행했지만 처음에는 오류가 발생했다.
   2. 오류 메시지를 에이전트에 전달해 수정한 뒤 다시 실행했고, 처리 시간이 길어져 실제 분석이 진행되는 것을 확인했다.
   3. 디버깅 과정에서 진행 프로세스가 보이지 않고 GPU를 사용하지 않는 문제가 발견되어 진행률 표시와 GPU 활용 개선을 추가로 요청했다.

3. 첫 결과와 렌더 오류

   1. 분석이 끝난 뒤 쇼츠 후보 영상이 생성됐고, 처음에는 재생 위치가 이어지는 등 플레이어 상태 문제가 있었지만 결과 자체는 그럴듯했다.
   2. 검토본 렌더 버튼을 눌러 MP4를 만들려 했을 때 추가 오류가 발생했다.
   3. 에이전트가 계속 디버깅하면서 결과물을 실제로 작동하는 수준으로 끌어올렸고, 최종적으로 검토 후 렌더링해 업로드 가능한 파일로 저장하는 흐름을 만들었다.

4. 원격 사용과 실습 과제

4.1. 데스크톱 Codex를 휴대폰에서 확인하기

1. Codex 프로필의 설정에서 연결 메뉴로 들어가 다른 기기를 추가하고 인증할 수 있다.
2. 연결하면 PC에서 실행 중인 Codex 작업을 휴대폰에서 원격으로 확인할 수 있다.
3. 강의자는 이를 Claude에서도 비슷하게 활용할 수 있으므로, 사용하는 도구에 맞춰 원격 접속 환경을 구성해 보라고 권한다.

4.2. AI SaaS 실습 과제

1. 영상 아바타: Google Veo, Flow, Runway 같은 서비스를 참고하고 관련 모델을 조합하거나 단독으로 사용한다.
2. 음성·오디오: ElevenLabs처럼 자신의 음성을 복제·생성하는 도구에서 출발해 음성 AI 서비스를 설계한다.
3. 회의·AI 노트: 회의 녹음과 정리, 지식베이스 연결에 사용할 모델을 Hugging Face에서 찾고 직접 기능으로 조합한다.
4. 이 세 가지는 예시일 뿐이며, 수강생은 자신의 문제와 도메인에 맞는 AI SaaS를 직접 정하고 모델과 도구를 찾아야 한다.

5. 2차 시연: Hugging Face에서 비전 모델을 찾기

5.1. 쇼츠의 화면 문제를 기술 요구사항으로 바꾸기

1. 문제의 출발점

   1. 가로형 롱폼을 세로형 쇼츠로 바꾸면 휴대폰 화면에서 인물이 작게 보인다.
   2. 원본 자막이 세로 프레임 안에서 흉하게 보일 수 있고, 사람이 움직이면 고정 크롭으로는 주인공을 중앙에 유지하기 어렵다.

2. 필요한 기능

   1. 영상 속 주인공이나 주제 사물을 인식한다.
   2. 대상의 크기와 위치를 계산해 세로 프레임에서 크게 보여 준다.
   3. 대상이 좌우로 움직여도 화면 중앙을 따라가며, 갑작스러운 점프나 프레임 이탈이 없도록 가상 카메라 경로를 부드럽게 만든다.

3. 모델 조합으로 문제를 분해하기

   1. 얼굴·사람 검출, 동일 인물 추적, 주인공 선택, 부드러운 카메라 경로 생성, 9:16 크롭을 별도 단계로 나눈다.
   2. MediaPipe는 얼굴 위치와 크기를 빠르게 얻는 데 적합하고, 얼굴이 가려지거나 화면 밖으로 나가면 RT-DETR 계열 사람 검출로 보완한다.
   3. 장면 전환 감지와 흔들림 제거까지 포함해야 결과가 단순한 얼굴 확대를 넘어 실제 시청 가능한 리프레이밍이 된다.

5.2. 학습의 범위를 먼저 정하기

1. 최소 결과물

   1. 얼굴 검출을 우선 사용하고 실패하면 사람 영역 검출로 보완하는 자동 쇼츠 크롭이다.
   2. 이 단계에서 모든 비전 이론을 배우는 것이 아니라, 현재 기능을 만드는 데 필요한 최소 개념부터 확인한다.

2. 현재 병목은 바운딩 박스다

   1. 영상 한 프레임을 입력하면 AI는 사람이 존재할 확률과 사람을 둘러싼 사각형의 좌표를 출력한다.
   2. 바운딩 박스는 (x1, y1, x2, y2) 형태로 저장하며, 예를 들어 사람일 확률 95%와 네 좌표가 함께 JSON에 들어간다.
   3. 얼굴 검출이 실패했을 때 어디를 확대할지 결정하려면 이 박스가 반드시 필요하다.

6. 바운딩 박스에서 자동 카메라 중심 계산하기

6.1. 10~30초 테스트와 첫 구현

1. 움직임이 포함된 10~20초 구간을 테스트 영상으로 준비한다. 시연에서는 약 42초 원본에서 10초부터 30초까지 잘라 20초짜리 입력을 만들었다.
2. RT-DETR 계열 검출기로 영상 전체에서 강사를 박스로 검출하고, 검출 결과를 표시한 영상을 생성했다.
3. 실제 그래픽카드로 약 600프레임의 사람 박스를 생성했으며, 초기 검출은 강사의 움직임을 상당히 정확하게 따라갔다.

6.2. 중심점과 9:16 크롭

1. 박스의 가로 중심은 cx = (x1 + x2) / 2로 계산한다.
2. 세로 중심은 cy = (y1 + y2) / 2로 계산한다.
3. 이 (cx, cy)를 세로 쇼츠 프레임의 카메라 중심으로 사용하면, 프레임마다 사람 위치를 따라가도록 크롭할 수 있다.
4. 즉 모델의 출력은 단순히 “사람을 찾았다”에서 끝나지 않고, 편집기의 가상 카메라가 어디를 바라볼지 결정하는 좌표가 된다.

7. 프레임 간 흔들림과 평활화

7.1. 원시 좌표의 문제

1. 사람의 중심점은 프레임마다 조금씩 달라진다.
2. 검출 좌표를 그대로 사용하면 카메라 중심이 좌우로 흔들리고, 사람이 잠깐 움직이는 것에도 화면이 튀어 쇼츠 시청 경험이 나빠진다.
3. 따라서 검출된 위치와 이전 카메라 위치 사이를 일정 비율만큼만 이동시키는 보정이 필요하다.

7.2. 보정식과 계산 예시

1. 기본 보정식은 새 위치 = 이전 위치 + α × (검출 위치 - 이전 위치)로 설명할 수 있다.
2. 이전 중심이 500, 새 검출 중심이 600, α = 0.2라면 이동량은 0.2 × 100 = 20이므로 새 보정 위치는 520이다.
3. 같은 상황에서 α = 0.8이면 이동량이 80이므로 보정 위치는 580이다.
4. 이전 보정 위치가 520이고 사람이 계속 600에 있다고 할 때 α = 0.2이면 차이 80의 20%인 16만큼 이동해 다음 위치는 536이 된다.

7.3. 안정성과 추적 지연의 교환

1. α가 작으면 박스와 카메라가 천천히 움직여 원래 검출 박스보다 안정적인 결과를 얻는다.
2. 사람이 멈추었을 때 카메라가 완전히 멈추는 데드존이 생기고, 사람이 갑자기 빠르게 움직이면 카메라가 뒤늦게 따라가 프레임 밖으로 놓칠 수 있다.
3. α가 크면 빠르게 따라가지만 원시 검출의 흔들림이 더 많이 남는다.
4. 따라서 영상의 움직임과 대상의 속도에 따라 평활화 강도를 조절하거나, 정지·추적·장면 전환을 구분하는 추가 로직이 필요하다.

8. 만들면서 배우는 검증 루프

8.1. AI에게 설명하고 시험받기

1. 에이전트는 구현 후 “이 원리를 본인의 말로 설명해 보라”고 요구했다.
2. 강의자는 바운딩 박스 좌표에서 중심점을 계산하고, 그 중심을 기준으로 프레임을 움직이면 사람이 따라오는 영상이 된다고 답했다.
3. 이후 에이전트는 보정식의 숫자를 직접 계산하게 하며 단순 사용자가 아니라 개념을 이해했는지 확인했다.

8.2. 초록 박스와 파란 박스 비교

1. 초록색은 원래 검출된 박스, 파란색은 평활화를 적용한 박스로 비교 영상을 만들었다.
2. 파란 박스는 한 번에 새 위치로 점프하지 않고 일정 비율만 움직여 흔들림이 줄었다.
3. 대신 사람이 빠르게 이동하면 파란 박스가 늦게 따라가는 추적 지연이 생긴다.
4. 이 비교 영상은 수식만 읽을 때 놓치기 쉬운 안정성과 반응성의 trade-off를 눈으로 확인하게 한다.

9. 1차 시연의 결과와 한계

9.1. 목표는 달성했지만 완성품은 아니다

1. 최종 결과는 인물을 크게 확대하고 움직임을 따라가며 중앙에 배치하는 기능을 갖추었다.
2. 다만 따라가는 움직임이 지나치게 재미있거나 거슬리게 보이는 구간이 있어, “검출·추적 기능은 붙었지만 곧바로 개선됐다고 말할 수는 없다”는 평가가 나온다.
3. 첫 번째 쇼츠 생성기에는 검토와 렌더링이 있고, 렌더된 MP4를 저장할 수 있지만 유튜브 계정 연결과 자동 업로드까지는 구현하지 않았다.

9.2. 다음 개선을 위한 검수

1. 실제 서비스 품질을 판단하려면 여러 영상, 다양한 움직임, 여러 크롭 조건을 넣어 반복 검수해야 한다.
2. 재미 구간 선택, 자막 품질, 추적 안정성, 렌더 오류를 각각 확인해야 하며 한 번의 데모 결과만으로 품질을 확정하면 안 된다.
3. 이번 강의의 목적은 완성된 상용 쇼츠 서비스가 아니라, 모델을 찾고 배우고 구축하는 전 과정을 보여 주는 것이다.

10. AI SaaS로 확장할 때 필요한 설계

10.1. 서비스 차별화와 배포

1. 로컬에서 혼자 사용하는 기능을 SaaS로 만들려면 먼저 반복 사용을 통해 부족한 점을 찾아야 한다.
2. 외부 사용자가 쓸 수 있도록 온라인 배포 환경을 만들고, 기존 서비스보다 어떤 점이 더 나은지 차별화해야 한다.
3. 자체 비전 모델 추론과 GPU 사용이 들어가면 일반 웹 대시보드와 다른 하드웨어·인프라 선택이 필요하다.

10.2. 크레딧 기반 과금

1. AI SaaS는 구독 요금제 안에 일정 크레딧을 제공하고, 크레딧이 소진되면 추가 구매를 허용하는 구조가 일반적인 BM이 될 수 있다.
2. 영상 분석, 재미 구간 추출, 인물 추적, 리프레이밍, 렌더링을 각각 비용 단위로 보고 크레딧을 차감할 수 있다.
3. 모델 추론의 전력·GPU 비용, 스토리지·전송·마케팅 비용을 합산하고 원가 안전 계수를 둔 뒤 가격을 역산해야 한다.
4. 그래서 서비스 설계와 인프라 설계를 따로 보지 않고, 사용자 효용과 사용량에 따른 원가·수익을 함께 계산해야 한다.

10.3. 인프라 후보와 의존성 점검

1. Find Skills에 서비스 설계, 수익화 전략, 가격 전략, AI 인프라 관련 스킬을 함께 요청해 제품·과금·배포 설계를 연결했다.
2. Google의 GKE Inference 계열 스킬이 추천됐지만, 이는 Google Kubernetes Engine을 전제로 한 인프라일 수 있어 특정 클라우드 종속성을 검토해야 한다.
3. 시연에서는 GPU 추론 비용이 분당 약 0.041달러, 한화로 약 60원 수준이며 100원 미만의 실비라는 계산이 언급됐다. 실제 가격은 모델, GPU, 대기 시간, 스토리지와 전송 조건에 따라 다시 검증해야 한다.
4. 초기에는 사용자 수가 적은 환경, GPU 작업 큐, 원본 분석과 리프레이밍 작업의 분리, 데이터 보안 정책까지 단계적으로 설계할 수 있다.

11. 이 강의의 최종 메시지

11.1. 비전공자에게 열리는 연구·구축 경로

1. AI 기술을 전혀 모른다고 가정해도 작은 결과물을 만들고, 부족한 결과를 근거로 필요한 개념을 찾아 배우는 과정은 가능하다.
2. skills.sh는 작업에 맞는 스킬을 찾는 출발점이고, Hugging Face는 모델과 추론 방식을 탐색하는 출발점이다.
3. 모델을 선택하는 능력은 모델 이름을 많이 아는 데 있지 않고, 해결하려는 문제를 검출·추적·평활화·렌더·배포 같은 단계로 나누는 데 있다.

11.2. 강의에서 실습생에게 기대하는 것

1. 강의자의 쇼츠 생성기를 그대로 복제하는 것보다 자신만의 AI SaaS 과제를 정하는 것이 중요하다.
2. 3강부터는 강의자가 하나의 사례를 보여 주는 것보다 수강생이 직접 100가지 방식으로 실습하는 것이 더 의미 있다고 강조한다.
3. 모델과 도구를 찾는 법, 모르는 것을 학습하는 법, 기능을 구축하는 법, GPU 서비스의 인프라와 과금을 설계하는 법을 직접 반복해 보라는 것이 과제다.

주요 발언 모음

“공부하고 나서 만드는 게 아니라 먼저 만들고 막히면서 공부한다.”

“AI를 단순한 정답 생성기가 아니라 개인 과외 선생님이자 구두 시험관처럼 사용한다.”

“현재 병목은 바운딩 박스 하나다.”

“검출 위치를 그대로 쓰면 쇼츠의 중심점이 흔들릴 수 있다.”

“AI SaaS는 인프라와 유지비와 사용료를 함께 보고 과금 체계를 생각해야 한다.”

핵심 데이터 & 수치

• 17세: Gabriel Petersson이 스웨덴에서 고등학교를 중퇴한 시점.
• 약 130만 개: 강의에서 설명한 skills.sh 등록 스킬 규모.
• 10~30초: 첫 비전 모델 테스트에 사용한 약 20초 구간.
• 약 600프레임: 그래픽카드로 사람 바운딩 박스를 생성한 실험 규모.
• 500 → 600, α=0.2: 평활화 보정 위치가 520이 되는 예시.
• 500 → 600, α=0.8: 평활화 보정 위치가 580이 되는 예시.
• 520 → 600, α=0.2: 두 번째 보정 위치가 536이 되는 예시.
• 약 0.041달러/분: 시연에서 언급한 GPU 추론 비용 예시. 실제 배포 비용은 환경별 재검증이 필요하다.

결론 및 시사점

1. 학습은 프로젝트 뒤에 붙일 수 있다: 완벽한 선행 지식을 기다리지 말고 작은 결과물을 만들며 필요한 이론을 역으로 채운다.
2. AI를 검수자로 사용한다: 자신의 설명을 AI에게 다시 평가받고, 수식과 원리를 직접 답하게 하면 단순 복사와 이해를 구분할 수 있다.
3. 도구 탐색을 구조화한다: skills.sh에서 스킬을 찾고 Hugging Face에서 모델을 찾되, 검색 결과의 클라우드 종속성과 실제 적합성을 비판적으로 확인한다.
4. 모델 출력은 제품 기능으로 이어진다: 바운딩 박스의 좌표와 확률은 곧 카메라 중심·크롭·추적 경로를 결정하는 제품 데이터가 된다.
5. 정확도와 안정성은 별도 문제다: 사람을 잘 찾는 것만으로는 충분하지 않으며 프레임 간 흔들림, 추적 지연, 장면 전환과 편집 UX를 함께 해결해야 한다.
6. GPU SaaS는 하드웨어 사업이기도 하다: 모델 기능을 온라인으로 제공할 때 GPU 비용, 큐, 스토리지, 전송, 보안을 일반 웹서비스와 별도로 설계해야 한다.
7. 과금은 인프라에서 역산한다: 크레딧과 구독 가격은 사용자가 느끼는 효용뿐 아니라 추론·렌더링 원가와 안전 계수를 반영해야 한다.
8. 완성보다 반복 검수가 중요하다: 한 번의 데모가 아니라 다양한 원본을 넣고 결과를 비교하면서 차별화된 SaaS 기능을 찾는다.
9. 3강의 실질적 과제: 자신이 필요한 AI 기능을 정하고, 모델·스킬을 찾아 학습한 뒤, 로컬 프로토타입과 배포·과금 설계까지 연결한다.
10. 다음 강의 예고: 이후에는 LLM의 작동 원리와 딥러닝·강화학습 등 AI 리터러시를 다룬다.

핵심 요약 (40줄)

1. 이 강의는 AI 초심자가 모델과 도구를 찾아 전문 AI SaaS를 만드는 전체 사고 과정을 보여 준다.
2. 중심 학습법은 공부를 끝낸 뒤 만들기가 아니라 먼저 만들고 막히면서 공부하는 방식이다.
3. Gabriel Petersson은 고등학교 중퇴 후 실제 제품과 코드 리뷰로 실력을 증명해 OpenAI 연구에 참여했다.
4. 그의 사례에서 중요한 것은 학력보다 문제에서 출발해 필요한 기초를 역으로 내려가는 학습 순서다.
5. AI에게 자신의 설명을 다시 평가받으면 정답 복사와 개념 이해를 구분할 수 있다.
6. skills.sh는 AI 작업에 필요한 스킬을 검색하고 설치하는 출발점이다.
7. Find Skills는 인기 스킬 목록을 넘어 특정 작업에 맞는 검증된 후보를 찾도록 돕는다.
8. Hugging Face는 텍스트·이미지·오디오·비전·멀티모달 모델을 탐색하는 플랫폼이다.
9. 첫 번째 실습의 목표는 유튜브 원본에서 재미있는 구간을 찾아 쇼츠로 재편집하는 MVP다.
10. MVP에는 재미 구간 분석, 배속, 한글 자막, 사람의 검토와 렌더링 승인 게이트가 포함된다.
11. 처음 추천된 Remotion 중심 구조는 원본 리컷이라는 요구와 달라 다시 정정했다.
12. 최종적으로 원본 기반 리컷, 편집·렌더링, 트랜스크립트 분석 스킬을 조합했다.
13. 유튜브 링크 입력은 yt-dlp가 감지되지 않아 막혔고 로컬 파일 업로드로 전환했다.
14. 절대 경로 입력의 불편함을 발견해 파일 탐색기 선택 UI를 추가했다.
15. 재미 구간 탐지에서 오류와 진행률·GPU 사용 문제가 발견되어 반복 디버깅했다.
16. 첫 결과는 그럴듯했지만 플레이어 상태와 MP4 렌더링 오류가 남았다.
17. 쇼츠 품질은 여러 영상과 움직임을 넣어 반복 검수해야 판단할 수 있다.
18. 2차 실습은 가로형 영상의 주인공을 세로 쇼츠에서 크게 보이게 하는 문제로 시작한다.
19. 해결에는 사람 검출, 동일 인물 추적, 주인공 선택, 카메라 경로와 9:16 크롭이 필요하다.
20. MediaPipe는 얼굴 위치를 빠르게 찾고 RT-DETR은 가려진 사람 영역을 보완하는 후보가 된다.
21. 첫 최소 개념은 영상 프레임에서 사람을 둘러싸는 바운딩 박스다.
22. 바운딩 박스는 사람 확률과 x1·y1·x2·y2 좌표를 함께 출력한다.
23. 박스 중심은 x 좌표와 y 좌표의 양 끝점을 각각 더해 2로 나누어 계산한다.
24. 중심점을 쇼츠 크롭의 카메라 중심으로 쓰면 프레임이 사람을 따라간다.
25. 실습에서는 움직임이 있는 10초부터 30초까지의 20초 테스트 영상을 만들었다.
26. 그래픽카드로 약 600프레임의 사람 박스를 생성해 검출 결과를 시각적으로 확인했다.
27. 원시 좌표를 그대로 쓰면 프레임마다 카메라 중심이 흔들리는 문제가 생긴다.
28. 평활화는 이전 위치와 검출 위치의 차이에 α를 곱해 일부만 이동시키는 방식이다.
29. 이전 500과 검출 600에서 α가 0.2면 보정 위치는 520이다.
30. 같은 조건에서 α가 0.8이면 보정 위치는 580이다.
31. 이전 보정 520에서 검출 600과 α 0.2를 적용하면 다음 위치는 536이다.
32. α를 작게 하면 안정적이지만 사람이 빠르게 움직일 때 추적 지연이 생긴다.
33. 초록 원시 박스와 파란 평활화 박스를 비교하면 안정성과 반응성의 교환을 확인할 수 있다.
34. 최종 쇼츠는 사람 확대와 추적에는 성공했지만 움직임이 거슬리는 개선 과제를 남겼다.
35. 로컬 기능을 SaaS로 만들려면 반복 사용을 통해 차별화할 기능을 찾아야 한다.
36. GPU 추론 서비스는 일반 대시보드와 다른 배포 인프라와 하드웨어 선택을 요구한다.
37. 구독과 크레딧을 결합하고 추론 원가에 안전 계수를 적용해 가격을 설계해야 한다.
38. 시연에서는 GPU 추론 비용 예시로 분당 약 0.041달러가 언급됐다.
39. Find Skills 검색 결과는 유용하지만 GKE 같은 특정 클라우드 종속성을 비판적으로 점검해야 한다.
40. 강의의 최종 과제는 자신만의 AI 문제를 찾아 모델·도구 탐색부터 구축·배포·과금 설계까지 연결하는 것이다.