중앙값을 넘어서는 AI 소프트웨어의 참신성

URL: https://www.youtube.com/watch?v=0JZy5AuuQzc 날짜: 2026-10-15 채널: aiDotEngineer

---

📌 핵심 질문 / 이 글이 다루는 핵심 논점

==AI 코딩 도구는 결정론적(Deterministic) 소프트웨어를 훨씬 싸고 빠르게 만들지만, 같은 모델·도구·문제에서 출발한 결과는 중앙값(Median)으로 수렴하므로, 공개 시장에서 살아남으려면 제품이 아닌 ‘참신성(Novelty)’에 판단력과 예산을 써야 한다.==

• 현대 세계를 움직이는 핵심 산출물은 여전히 매번 같은 일을 안정적으로 수행하는 결정론적 소프트웨어다.
• 모델(Model), 하네스(Harness), 제품(Product)은 서로 다르며, 모델과 하네스가 모두 대여 가능해지면서 구현 능력 자체의 차별성이 약해졌다.
• AI가 만든 결과는 대체로 유용하고 내부 도구로 충분하지만, 경쟁자도 같은 결과를 얻을 수 있으므로 공개 시장의 방어력이 되지 못한다.
• 누구도 복사하지 않아도 같은 모델과 비슷한 문제에서 같은 설계로 수렴할 수 있다. 무료에 가까워진 중앙값을 넘어설 단 하나의 참신성을 먼저 이름 붙이고, 로드맵에서 예산처럼 관리해야 한다.

Hariprasad Sudharshan(이하 Hari)은 약 2년 동안 여러 애플리케이션을 혼자 만들며 이 사실을 체감했다. 그는 검색하고 기존 해법을 검토하는 대신 코딩 에이전트를 먼저 여는 습관을 ‘빌드 우선 반사(Build-first reflex)’라고 부른다. 이 반사는 빠른 데모와 실제로 쓸 수 있는 결과를 주지만, 결과가 이미 수백·수천 번 만들어진 중앙값인지 확인하지 못하게 한다. 따라서 가장 먼저 기존 해법과 배포 경로를 확인하고, 경쟁자가 갖지 못한 한 가지를 정한 뒤, 그 한 가지 문제를 세계 최고 수준으로 풀겠다는 의도를 제품의 출발점으로 삼아야 한다.

1. 현대 세계의 바닥에는 결정론적 소프트웨어가 있다

AI의 시대에도 경제와 인프라를 최종적으로 지탱하는 것은 확률적 모델이 아니라 신뢰할 수 있는 결정론적 소프트웨어다.

1.1. 뉴욕의 모든 것이 멈추는 가정

1. 도시가 갑자기 기능을 잃는 장면

   1. 뉴욕의 JFK 공항에서 비행기가 한 편도 출발하지 않는다.
   2. 지하철이 다음 역에서 갑자기 멈춘 뒤 그대로 머문다.
   3. 모든 탭 결제(Tap-to-pay)가 작동하지 않는다.
   4. 탑승한 엘리베이터가 어느 층으로 가야 하는지 알지 못한다.
   5. 전화가 울리지 않고, 월스트리트와 전 세계가 동시에 정지한다.
   6. 이 모든 현상을 설명할 가장 그럴듯한 원인은 소프트웨어다. 지구 전체에 영향을 주는 소프트웨어 장애가 아니라면 현대 세계를 멈출 다른 힘은 거의 없다.

2. 보이지 않는 기반

   1. 뉴욕과 지구 전체는 눈에 잘 보이지 않는 소프트웨어에 의해 구동된다.
   2. 여기서 핵심은 주로 이야기되는 AI 소프트웨어가 아니라, 전통적인 규칙 기반(rule-based)·결정론적(deterministic)·신뢰성 높은(reliable) 소프트웨어다.
   3. 이 소프트웨어는 70년 넘게 인간이 손으로 설계하고 구현해 왔다.

1.2. 소프트웨어는 인류 역사에서 새로운 산업이다

1. Hari의 출발점

   1. Hari는 거의 20년 동안 소프트웨어를 만들어 온 제품 담당자다.
   2. 그는 인류 역사에서 진정으로 새로운 산업을 하나 꼽으라면 소프트웨어 산업이라고 주장한다.
   3. 내비게이션(navigation), 농업(agriculture), 건설(construction), 천문학(astronomy)은 과거에도 서로 다른 형태로 존재했다. 오늘날 더 정교해졌을 뿐 완전히 새로 생긴 활동은 아니다.

2. 125조 달러 경제의 공통 요소

   1. 출근하는 일부터 콘텐츠를 보는 일까지 소프트웨어가 개입한다.
   2. 원자로(nuclear reactor)에서 우주정거장(space station)에 이르기까지 소프트웨어가 작동한다.
   3. Hari는 소프트웨어가 약 125조 달러 규모의 경제를 움직이는 공통 요소라고 설명한다.
   4. 따라서 소프트웨어가 멈추면 Y2K와 같은 사건보다도 더 큰 재앙이 된다.
   5. 심장박동기(pacemaker)와 747 항공기처럼 사람의 생명과 이동을 맡기는 시스템은 매번 같은 동작을 안정적으로 수행해야 한다.

1.3. 도구 체인과 인간의 판단이 제품의 차이를 만들었다

1. 엔지니어가 가진 원천

   1. 제품의 왼쪽에는 엔지니어가 있다.
   2. 엔지니어는 제품의 모든 부분에 판단(judgment)을 제공하며, 각자의 고유한 취향(taste)이 그 판단에 들어간다.
   3. 엔지니어의 신념 체계(belief system)와 가치 체계(value system)는 그들이 출시한 소프트웨어에 반영된다.

2. 결정론적 도구 체인의 상호 피드백

   1. 어셈블러(assembler)가 C를 만들고, C가 Unix를 만들고, Unix가 그 이후의 모든 것을 만드는 식으로 도구 체인이 이어졌다.
   2. 그 위에서 Kafka, ZooKeeper를 만들었고, 오늘날 세계를 실행하는 Kubernetes까지 이어졌다.
   3. 소프트웨어와 그 소프트웨어를 만드는 도구 체인은 서로를 발전시키는 교차 피드백 루프(cross-feedback loop)를 형성한다.
   4. 각 블록이 도구 체인의 다음 단계가 더 높은 수준으로 확장되도록 돕는다.

3. 제품 우위의 원천

   1. 이 그림에서 판단을 제공하는 주체는 인간뿐이다.
   2. 인간은 서로 매우 다르며, 바로 그 변이가 모든 제품의 우위(product edge)를 만들어 왔다.
   3. 이 구조는 소프트웨어 산업과 세계 경제를 높은 수준에서 표현한다. 지식재산권(IP)이 누구에게 있는지, 지속적인 루프가 어디에 있는지, 도구 체인의 어느 벽돌이 성장을 만드는지가 핵심 질문이다.
   4. 이 산출물이 결정론적인지 확률적인지는 별도의 질문으로 남는다.

1.4. AI는 결정론적 산출물을 만드는 확률적 기어다

1. ‘대여한 모델’의 등장

   1. AI 시대의 엔지니어는 모델에 의해 보조되거나, 모델에 의해 이끌리거나, 때로는 완전히 자율적으로 대체된다고 주장되는 방식으로 일한다.
   2. Hari는 이 모델을 ‘대여한 모델(rented model)’이라고 부른다.
   3. 모든 팀이 최첨단 모델과 하네스에 거의 동등하게 접근할 수 있다는 점은 긍정적이다.
   4. 예전에는 현대 소프트웨어를 손으로 만들던 Google과 Meta의 인재 풀을 감당할 수 없던 팀도 이제 API를 통해 지능을 빌릴 수 있다.

2. 모델 주변은 여전히 결정론적이다

   1. 모델을 둘러싼 하네스(harness), 에이전트(agent), 도구(tool), MCP(Model Context Protocol)는 여전히 전통적인 결정론적 소프트웨어다.
   2. 이 요소들은 모델을 통해 만들어졌을 수 있지만, 그 자체가 마법 같은 AI 제품으로 바뀐 것은 아니다.
   3. 최종 사용자가 세계에서 필요로 하는 것은 결국 매번 같은 일을 안정적으로 수행하는 소프트웨어다.

3. AI가 맡을 두 가지 역할

   1. 첫째, 결정론적 소프트웨어 개발을 가능한 한 낮은 비용으로 가속한다.
   2. 둘째, 예산이 부족해서 지금까지 만들어지지 못했던 흥미롭고 어려운 문제를 해결하는 결정론적 소프트웨어를 새로 만든다.
   3. Hari는 이 두 사용 사례가 향후 5~10년 동안 전개될 것이라고 본다.
   4. 한 문장으로는 확률적 기어(probabilistic gear)를 돌려 신뢰할 수 있는 결정론적 소프트웨어를 만들며, 인간 판단을 보조하거나 언젠가는 대체하려는 구조다.

2. 모델의 작은 차이와 모델·하네스·제품의 구분

최첨단 모델의 순위는 빠르게 바뀌지만, 그 작은 순위 차이를 제품의 장기적인 우위로 착각해서는 안 된다.

2.1. 100미터 달리기로 보는 모델 비교

1. 2015년 결승의 촘촘한 차이

   1. 2015년에 아홉 명의 선수가 경쟁했고, 선수들 사이의 전체 차이는 고작 27/100초였다.
   2. Justin Gatlin은 금메달을 1/100초 차이로 놓쳤다.
   3. 과학적 측정은 그날 밤 Usain Bolt가 Gatlin을 이긴 정확한 이유를 보여 주지만, 다른 밤에는 순서가 완전히 달라질 수 있다.
   4. Hari 자신은 100미터를 10초가 아니라 10~13초에 달린다고 농담하며, 일반인과 인간 능력의 끝에서 경쟁하는 초월적인 선수 사이의 차이를 부각한다.

2. 전문가의 판단과 팬의 판단

   1. 팬으로서는 자신이 좋아하는 선수가 최고라고 주장하기 쉽다.
   2. 그러나 해당 종목의 전문가들은 그 격차가 너무 작아서 경기장에 들어선 순간 이전 최고 기록이나 세계 기록 보유자가 큰 의미를 갖지 않는다고 말한다.
   3. 주어진 날에는 누구나 누구를 이길 수 있다.
   4. Hari는 같은 잣대를 모델에 적용한다.

3. 모델 리더보드의 변동

   1. Stanford에서 여섯 개 연구소(lab)를 비교한 연구가 나왔고, 모델 간 차이는 수십 Elo 포인트 수준이다.
   2. 새 릴리스가 나올 때마다 리더보드가 바뀐다.
   3. “어떤 모델을 쓰고 있으며, 그 모델을 써서 얼마나 더 똑똑해졌다고 느꼈는가?”라는 질문은 식탁에서 벌이는 재미있는 논쟁이 될 수 있다.
   4. 하지만 감정이 이사회나 제품 회의로 들어오면 안 된다. 팬보이의 감정이 회의실까지 들어오는 순간, 작은 격차가 전략처럼 보이기 때문이다.

2.2. Elo 점수는 절대 지능 척도가 아니다

1. Anthropic과 Mistral의 예

   1. 예시로 Anthropic 1503, Mistral 1460이라는 수치가 제시된다.
   2. 수십 점 또는 87점의 차이가 Anthropic이 Mistral보다 절대적으로 87점만큼 더 똑똑하다는 뜻은 아니다.
   3. Elo 점수는 모델 간 비교에서 도출한 상대 평가(relative rating)다.
   4. 특정 평가 환경에서 서로 어떤 순서로 서는지를 말해 줄 뿐, 절대적인 지능의 척도는 아니다.

2. 제품 로드맵에서의 금지선

   1. 모델을 비교하지 말라는 뜻이 아니다.
   2. 움직이는 최전선(frontier)의 작은 차이를 제품 로드맵의 지속적인 우위로 만들지 말라는 뜻이다.
   3. 다음 릴리스에서 순위가 뒤집힐 수 있는 수십 Elo 포인트를 제품의 핵심 방어력으로 삼으면, 제품 전략이 모델 업데이트에 종속된다.

2.3. 모델이 아니라 하네스와 제품을 비교하는 착시

1. 잘못된 비교

   1. 여러 조직은 모델을 비교한다고 생각하지만 실제로는 모델용 하네스나 제품을 비교하는 경우가 많다.
   2. Claude Code와 Cursor와 Codex의 비교는 순수한 모델 비교가 아니다.
   3. 이는 자메이카와 미국을 비교하는 것에 가깝다. 운동선수와 그 선수 주변의 훈련 시스템을 함께 비교하기 때문이다.

2. 세 층의 역할

   1. 모델은 운동선수 또는 엔진(engine)이다. 기본적인 능력을 제공한다.
   2. 하네스는 엔진을 사용하는 방법을 정한다. 도구, 컨텍스트(context), 지시(instruction), 오케스트레이션(orchestration), 메모리(memory), 워크플로(workflow), MCP 도구 호출이 하네스를 구성한다.
   3. 제품은 최종 산출물이며, 고객이 왜 관심을 가져야 하는지에 답한다.

3. 대여 가능한 공통 소스

   1. 오늘날 누구나 엔진을 빌릴 수 있고, 엔진에 붙어 제공되는 하네스도 대부분 빌릴 수 있다.
   2. 어떤 하네스는 엔진과 강하게 결합되어 있고, 어떤 하네스는 느슨하게 결합되어 있다.
   3. 모두가 같은 원천을 사용한다면 차별화는 어디에서 나오는가라는 질문이 생긴다.
   4. 과거 서로 다른 회사가 서로 다른 영역에서 성장한 첫 원칙은 엔지니어의 정신이 가진 다양성과 변이였다.
   5. 모델과 하네스는 누가 입력하는지, 세계 어느 곳에서 입력하는지, E6·E7·E1 중 어떤 레벨의 엔지니어인지 신경 쓰지 않는다. 같은 문제와 같은 도구를 주면 다음 사람에게도 앞사람에게 준 것과 비슷한 결과를 준다.

2.4. 중앙값(Median)의 형성

1. 중앙값의 정의

   1. Hari는 같은 문제에 같은 도구를 적용했을 때 모델과 하네스가 내놓는 대표적인 답을 ‘중앙값’이라고 부른다.
   2. 중앙값은 새 릴리스가 나올 때마다 바뀐다.
   3. 이미 해결된 문제들이 LLM에 들어가고, 그 지식이 다음 릴리스에 조금씩 누적되며, 소프트웨어 릴리스처럼 중앙값의 기준선이 이동한다.

2. 좋은 점과 함정

   1. 중앙값이 앞으로 움직이는 것은 좋은 일이다. 더 많은 사람이 더 나은 출발점에 접근할 수 있기 때문이다.
   2. 동시에 중앙값은 충분히 출하할 수 있을 정도로 좋아서 함정이 된다.
   3. 내가 만든 다음 제품과 다른 사람이 만들 다음 제품을 구분하기 어려워진다.
   4. 경쟁자도 비슷하거나 정확히 같은 결과를 출하할 수 있다.

3. 2023년 이후 비용 구조의 변화

   1. 2023년 전에는 중앙값 수준의 제품도 팀·시간·기술 스택이 필요해 비쌌다.
   2. 오늘날 해결된 문제의 중앙값은 무료에 가까워졌다.
   3. 한 사람에게 무료인 해결책은 모든 사람에게 무료다.
   4. 비슷한 제품이 시장을 가득 채우면 제품 자체가 아니라 유통(distribution)이 해자(moat)가 된다.

3. AI 개발의 확산은 ‘슬롭’이 아니라 중앙값의 민주화다

AI가 만든 제품이 모두 가치 없다는 뜻은 아니다. 유용한 결과가 널리 퍼지는 것과 공개 시장에서 차별화되는 것은 서로 다른 문제다.

3.1. 같은 답으로 수렴하는 좋은 소프트웨어

1. GitHub의 증가와 수렴

   1. GitHub 자체의 수치는 모델과 하네스가 막대한 양의 새 소프트웨어를 만들고 있음을 보여 준다.
   2. Hari가 보기에 그 소프트웨어는 실제로 좋은 소프트웨어다.
   3. 다만 산출물의 결과는 비슷해진다.
   4. 이것은 서로 베낀 카피캣(copycat) 무리가 아니다. 같은 원천, 즉 같은 쿠키 커터(cookie cutter)에서 출발한 사람들이 같은 답에 도달한 무리다.

2. AI slop이라는 말의 재정의

   1. 업계는 이런 소프트웨어를 AI slop이라고 부른다.
   2. ‘slop’은 부정적인 단어지만, 경험적 분석 없이 AI가 만든 모든 것을 싸잡아 그렇게 부르는 것은 공정하지 않다.
   3. 이 현상에는 좋은 소프트웨어가 많이 생기고 처음 개발하는 사람이 유입된다는 긍정적인 측면이 있다.

3.2. 모든 사람이 개발자가 되는 효과

1. 경계의 해체

   1. 오래 개발한 사람도 AI 보조 개발을 처음 접하면 검은 상자에 문제를 넣었는데 “정말 잘했다”는 결과가 나오는 마법 같은 순간을 겪는다.
   2. Hari는 개발자였지만, 과거에는 임베디드 개발자와 앱 개발자처럼 전문 영역의 경계가 있었기 때문에 앱을 직접 만들 생각을 해 본 적이 없었다.
   3. 2주 전 그는 AI를 이용해 iOS 앱을 출하했고, AI가 이제 모두를 개발자로 만들고 있다고 말한다.
   4. Hari는 이것을 진심으로 좋은 변화라고 평가한다.

2. 성공 기준은 만든 사람에게 달려 있다

   1. 약 10만 개의 저장소와 AI 보조 개발의 확산은 한 번도 개발해 본 적 없는 사람들을 분야로 끌어들인다.
   2. 이 제품들을 기존 전문가의 렌즈로만 평가할 수 없다.
   3. 수백만 개의 AI 앱은 만든 사람의 성공을 충족하면 성공으로 정의할 수 있다.
   4. 어떤 사람에게 성공은 매출이고, 다른 사람에게 성공은 동료 옆에서 “내가 이 멋진 웹사이트를 만들었다”고 보여 주는 일이다.
   5. Lovable과 Replit으로 수백만 명이 그런 일을 했으며, 그 자체로 멋진 결과다. 그들을 AI 속물(AI snob)처럼 취급할 필요가 없다.

3. 중앙값과 차별화의 구분

   1. 좋은 문제를 코딩 에이전트에 넣으면 오늘날 대부분 유용한 결과를 얻는다.
   2. 완성된 산출물이 비슷해지는 이유는 같은 커터를 같은 반죽에 사용했기 때문이다.
   3. 이런 경로로 만들어진 대부분의 소프트웨어는 중앙값에 속한다.
   4. 중앙값 제품을 개발하거나 출하하지 말라는 뜻은 아니다. 내부 사용(internal consumption)이라면 완벽하게 괜찮다.
   5. 다만 중앙값 제품을 차별화 요소로 세는 일은 멈춰야 한다.

3.3. 1990년대 검색 사례와 참신성

1. 반복되는 문제

   1. 1990년대에는 모두가 검색 문제를 풀려고 했다.
   2. 대부분의 검색 엔진이 기본 크롤러와 인덱스를 갖고 있었다.

2. 검색을 넘어선 한 가지

   1. 그 문제를 정말 잘 풀거나 참신한 요소를 가진 서비스가 위로 올라갔다.
   2. 검색 시장에서 차별화 요소는 기본 크롤러와 인덱스가 아니라 문제를 푸는 독특한 방식이었다.
   3. 오늘날 만들 수 있는 대부분의 소프트웨어에서 중앙값은 실제로 무료다.
   4. 공개 시장에서 경쟁하려면 검색 사례처럼 참신성이라는 요소가 필요하다.

4. ‘빌드 우선 반사’가 만든 2년의 경험

Hari는 모델이 좋아진 뒤 처음 개발한 사람이 아니다. 그는 공개적으로 12개가 넘는 애플리케이션을 만들었고 LlamaIndex를 비롯한 저장소에도 기여했다. 지난 3년은 흥미로웠지만 동시에 지치는 시간이었고, 실제 문제를 해결하려다 중앙값에 도달하는 경험이 이 논의를 만들었다.

4.1. 검색보다 에이전트를 먼저 여는 습관

1. 비용이 높던 시절의 순서

   1. 과거에는 개발이 비싸고 어려웠기 때문에 무엇인가를 만들기 전에 검색을 더 많이 했다.
   2. 기존 해법을 읽고 판단한 뒤에야 구현했다.

2. 순서의 역전

   1. AI 시대에는 검색하고 긴 결과를 읽어 결정을 내리는 것보다 문제를 코딩 에이전트에 던지는 일이 쉬워졌다.
   2. 사람들은 더 이상 결정을 내리고 싶어 하지 않는다.
   3. 문제를 열고 에이전트를 여는 행동이 새로운 개발 습관이 되었다.
   4. Hari는 이를 ‘빌드 우선 반사(Build-first reflex)’라고 이름 붙인다.

3. 속도가 만드는 착시

   1. 에이전트를 연 지 2분이면 스캐폴딩(scaffolding)이 나온다.
   2. 익숙한 사람은 2시간 안에 거친 부분이 있어도 작동하는 데모를 만들 수 있다.
   3. 지원 기능까지 갖춘 꽤 좋은 제품을 4주 안에 출시할 수도 있다.
   4. 그때서야 이미 400번째 또는 4,000번째 RAG(Retrieval-Augmented Generation) 시스템을 만들었다는 사실을 발견한다.

4.2. RAG 사례: 흥분을 주는 해결된 문제

1. 같은 문제를 그대로 구현한 과정

   1. PDF를 넣고 백엔드 LLM에 연결한 뒤 질문을 던진다.
   2. 청킹(chunking), 벡터 데이터베이스(vector DB), 그 밖의 세부 요소를 정확히 이해하든 이해하지 못하든 시스템이 대신 해결해 준다.
   3. 처음 만드는 사람에게는 실제로 답이 나오는 순간이 매우 흥미롭다.

2. 기존 해법을 먼저 확인해야 하는 이유

   1. 이미 수천 개의 별(star)을 받고 충분히 성숙한 오픈소스 RAG 시스템이 있다.
   2. 그렇다면 새 RAG를 처음부터 만들기보다 기존 것을 활용하거나 포크(fork)하는 편이 낫다.
   3. “왜 이미 성숙하고 기능이 풍부한 시스템이 있는데 n번째 RAG를 만들었는가?”라는 질문에 코딩 에이전트는 “만들어 달라고 해서 만들었다. 그런 조건을 알려 줬다면 다르게 했을 것”이라고 답한다.
   4. 중앙값 RAG는 이미 해결된 문제다. 하지만 처음 만드는 사람에게는 PDF와 LLM과 벡터 DB가 연결되어 답을 내놓는 작은 승리가 큰 도파민을 준다.
   5. Hari도 같은 작은 승리에 빠진다고 인정한다.

4.3. 계산기와 2년간의 고립된 몰입

1. 빌드에 몰두한 대가

   1. Hari는 여러 애플리케이션을 만든 첫 2년을 대표하는 프로젝트로 계산기를 보여 준다.
   2. 만들기 위해 외출과 놀이를 희생했고, 사교 모임과 영화의 밤을 많이 건너뛰었다.
   3. 체스 게임에 중독된 것처럼 미친 듯이 만들었다.
   4. 상상할 수 있는 모든 AI 플랫폼을 사용했으며, Max 요금제를 결제하기도 하고 때로는 무료 플랜도 사용했다.

2. 소프트 런치 전의 자신감

   1. 오랜 노력 끝에 계산기를 소프트 런치했다.
   2. 완벽주의자인 Hari는 아이디어가 순식간에 실제 물건이 된다는 사실에 크게 고무됐다.
   3. 제품 관리자로서 같은 결과를 내려면 큰 팀과 아키텍트가 필요했겠지만, AI 덕분에 혼자 해냈다.
   4. 그는 현실에 맞게 보정(calibration)하기 전까지 자신감에 차 있었다.

3. 현실의 피드백

   1. 주변 사람들이 비슷한 계산기를 다른 곳에서 봤다고 말했다.
   2. Hari가 훔쳤거나 누군가가 Hari의 아이디어를 훔쳤다고 생각할 수 있지만, 놀랍게도 아무도 서로를 베끼지 않았다.
   3. 공개 계산기와 비공개 계산기를 분석하자 서로 비슷한 정도가 아니라 때로는 똑같았다.
   4. 서로 다른 사람들이 어떻게 같은 해법에 도달했는지 의문이 생겼다. LLM 라우팅을 살펴봐도 모든 곳이 수렴하고, 모델이 수렴하는 것처럼 해법도 수렴했다.
   5. 같은 개발자를 내 팀과 경쟁자 팀에 동시에 배치한 것과 같은 상황이다.

4. 붐비는 차선

   1. 직관은 실제로 만들어 보는 과정에서만 쌓인다.
   2. 2년 동안 거의 모든 시간을 쏟고 지친 이유는 흥미로운 아이디어가 생길 때마다 빌드 우선 반사에 따라 바로 만들었기 때문이다.
   3. 거의 매번 이미 두세 명이 있는 붐비는 차선에 도착했다.
   4. 처음에는 자신이 최초인 것 같아 한 달 쉬고 돌아오면 비슷한 제품이 60개나 생겨 있었다.
   5. 그 전투에서는 더 나은 유통 능력을 가진 쪽이 이긴다.

5. 중앙값을 넘어서는 ‘참신성 예산(Novelty Budget)’

AI 소프트웨어 개발 수명주기에서 구현 속도보다 먼저 관리해야 할 것은 참신성이다.

5.1. 페이지랭크와 하나의 진짜 새로움

1. 중앙값을 넘는 최소 단위

   1. Google의 PageRank가 검색에서 가졌던 역할처럼, 진짜 참신성 한 단위만 있어도 상당 기간 중앙값을 넘어설 수 있다.
   2. 문제를 하나 고르고 세계에서 가장 뛰어난 해결책이 되겠다는 목표를 세우면 군중을 이길 가능성이 생긴다.

2. 첫 2년의 잘못된 투자

   1. Hari는 낮과 밤을 아키텍처, 에이전트 설계, 프롬프트 체인(prompt chain), 스킬(skill)에 썼다.
   2. 누군가 “내 Claude 새 워크플로는 이것”이라고 공유하면 자신도 같은 종류의 워크플로를 만들었다.
   3. 그런 작업을 모두 해 보았지만 결과는 대부분 비슷하거나 완전히 같았다.
   4. 모델에서 나오는 중앙값은 특정한 의견을 갖지 않는다. 여러 사람의 관행이 합쳐진 수렴된 모범 사례(converged best practices)다.

3. 계산기의 재작업

   1. Hari는 계산기를 다시 만들며 거의 모든 시간을 차별화에 썼다.
   2. 예전처럼 Claude Code나 코드 스킬을 과시하는 데는 거의 시간을 쓰지 않았다.
   3. 이전에는 AI가 마법처럼 느껴졌지만, 이제 마법 같은 구현 자체는 누구나 얻을 수 있는 중앙값이 됐다.

5.2. 참신성을 비용처럼 계획한다

1. 투자수익률이 가장 높은 항목

   1. 2년 동안 여러 Max 플랜에서 수백만 토큰을 태운 뒤 Hari는 나머지 구현 요소가 모두 무료처럼 느껴진다고 말한다.
   2. 이제 가장 높은 투자수익률(ROI)을 주는 것은 참신성 예산이다.
   3. 비용 청구가 시작되기 전에 무엇이 참신한지 한 가지를 먼저 이름 붙여야 한다.

2. 로드맵과 프로젝트 관리

   1. 참신성 계획을 로드맵과 프로젝트 계획에 넣는다.
   2. 다른 프로젝트 지출을 검토하듯 참신성 지출도 검토한다.
   3. 프로젝트에서 참신한 점을 한 문장으로 말할 수 없다면 그 프로젝트는 학습 연습이라고 인정해야 한다.
   4. 학습 연습인 것은 괜찮다. 문제는 학습 프로젝트를 시장의 차별화된 제품인 것처럼 착각하는 일이다.

5.3. 제품 로드맵에 적용할 네 가지 방향

Hari는 2년의 실패와 학습에서 중앙값을 이기는 네 가지 규칙을 얻었다고 말하며, 이를 사이드 프로젝트가 아닌 다음 분기의 로드맵으로 실행하라고 권한다. 제품에는 반드시 쌍둥이(twin)가 생기고 때로는 그 쌍둥이가 오픈소스이므로, 같은 것을 처음부터 다시 만들 필요 없이 활용하거나 포크해야 한다.

1. 강하게 의견을 내라

   1. AI 어시스턴트는 무엇을 물어도 확률적으로 가장 가능성 높은 답을 주는 경향이 있다.
   2. 그 답은 거의 모든 사람에게 같거나 비슷하며, 이미 해결된 문제의 범위에 놓인다.
   3. 중앙값의 세계에서 의견(opinion)은 소유할 수 있는 가장 값싼 참신성이다.
   4. 모델은 어떤 의견을 선택할지 공급할 수 없으므로 사람이 강한 방향을 정해야 한다.

2. 프롬프트에서 프로덕션까지는 중앙값의 경로다

   1. 프롬프트를 입력해 프로덕션 결과를 얻는 것은 중앙값 경로다.
   2. 내부 소비를 위해 팀이 사용할 도구라면 그 경로를 택해도 아무 문제가 없다.
   3. 내부 도구에 시장의 독창성까지 요구할 필요는 없다.
   4. 다만 공개 경쟁용 제품이라면 중앙값 경로를 차별화로 오해하지 않아야 한다.

3. AI가 ‘완료’라고 말할 때 작업을 시작하라

   1. 코딩 에이전트의 ‘완료’는 AI가 자기 중앙값 제품을 내놓았다는 뜻이다.
   2. 인간의 작업은 그때부터 시작된다.
   3. 코딩 에이전트는 지금까지 마지막으로 훌륭한 설계(last great design)를 무료로 제공했다.
   4. 그러나 다음 Kubernetes, ZooKeeper, Kafka 같은 새로운 기반 블록을 발명하지는 않는다.
   5. 에이전트는 여러 곳에서 훌륭한 스캐폴딩을 만들지만, 그 이상으로 시장을 바꿀 다음 설계를 찾는 일은 인간의 과제다.

4. 한 문제에 세계 최고가 되겠다는 방향을 제품 중심으로 둬라

   1. 특정 문제 하나를 선택하고 그 문제를 세계에서 가장 잘 해결하는 제품을 목표로 삼아야 한다.
   2. 실제로 최고에 도달하지 못하더라도 그 의도 자체가 중앙값보다 높은 수준으로 끌어올린다.
   3. 모델과 하네스의 일반적인 모범 사례를 조합하는 데 모든 시간을 쓰지 말고, 선택한 문제의 특수한 가치와 시장 도달 경로에 참신성 예산을 써야 한다.

6. 리더가 AI 데모를 평가하는 세 가지 질문

AI를 직접 만들지 않는 리더는 매주 쏟아지는 데모를 보고 직관을 재보정해야 한다. 예전에는 팀과 분기가 필요했던 결과를 이제 신입 엔지니어 한 명이 만들었다고 말하기 때문에, 어디에 자원을 걸지 판단하기가 특히 어렵다.

6.1. 데모만으로는 판단력을 보정할 수 없다

1. 과거의 기준이 깨지는 이유

   1. 리더가 직관을 만들던 시절에는 지금 보는 산출물을 팀과 한 분기 이상의 시간으로 만들었다.
   2. 오늘날에는 새 엔지니어 한 명이 그와 같은 결과를 만들었다고 주장한다.
   3. AI 기술에 깊이 몰입하지 않은 상태에서 이런 데모를 보면 결과가 실제 제품 우위처럼 보인다.

2. 직접 만들어야 하는 이유

   1. 읽기만 하거나 YouTube·LinkedIn 글을 보는 것만으로는 직관을 재보정할 수 없다.
   2. 실제로 만들어 봐야 한다.
   3. 만드는 과정에서 모델의 중앙값, 하네스의 역할, 숨은 운영 비용, 제품의 차이를 체감해야 한다.

6.2. 세 질문

1. 누가 이미 이것을 했는가?

   1. 이 질문은 검색을 강제한다.
   2. AI의 흥분이 만든 빌드 우선 반사를 먼저 길들인다.
   3. 기존 오픈소스와 성숙한 제품을 찾으면 불필요한 재구현을 피할 수 있다.

2. 다음 팀·경쟁자·같은 팀의 다른 사람이 갖지 못한 우리는 무엇을 갖고 있는가?

   1. 이 질문은 참신성을 팀의 일급 시민(first-class citizen)으로 만든다.
   2. 더 좋은 프롬프트는 중앙값 문제에 중앙값 해법을 내놓을 뿐이라는 점을 드러낸다.
   3. 답할 수 없는 팀은 구현 속도는 빠를 수 있어도 차별화된 이유를 갖고 있지 않다.

3. 이 애플리케이션은 어디에 존재할 것인가?

   1. 사용자가 실제로 만나는 유통 경로와 배포 장소를 묻는다.
   2. 모두가 빌드에 흥분한 상태에서 결과(outcome) 중심 사고를 강제한다.
   3. 유통의 해자가 없다면 데모는 그것을 확인하기 위한 비싼 방법에 불과하다.

7. 오픈 웨이트와 오픈 추론 사이의 숨은 비용

참신성을 확인한 뒤 Hari는 계산기를 엔터프라이즈가 오픈 모델을 실제로 운영할 때 부담해야 할 비용을 보여 주는 방향으로 바꿨다. 이 구체적인 문제는 기존 244개 계산기에서 다루지 않았다.

7.1. 오픈 웨이트가 곧 오픈 추론은 아니다

1. 프로젝트를 다시 정의한 질문

   1. 중앙값보다 높은 가치를 제공하려면 오픈 모델과 토큰을 생성하는 시스템 사이에 무엇이 있는지 물어야 한다.
   2. 기업이 그 시스템에 지불해야 하는 비용도 물어야 한다.
   3. 오픈 웨이트(open weights)가 유행하지만 오픈 웨이트가 곧 오픈 추론(open inference)은 아니다.

2. 10개 층의 운영 현실

   1. 오픈 웨이트와 토큰을 생성하는 시스템 사이에는 10개의 층이 있다.
   2. 사람들은 AI 연구소가 제공하는 운영 기반을 당연하게 여기지만, 실제로는 대규모 머신러닝 운영(ML Ops)과 사이트 신뢰성 엔지니어링(SRE)이 필요하다.
   3. 이 규모의 ML Ops와 SRE는 기존 업계가 경험해 보지 못한 전혀 다른 규모다.

7.2. 인프라 요소와 구조적 활용률

1. 구현해야 하는 세부 요소

   1. 정밀한 KV 캐시(precision KV cache)가 필요하다.
   2. 배칭(batching)과 실행 병렬화(execution parallelism)가 필요하다.
   3. 이 요소들에는 여러 가지 분할과 조합이 있으며, 각각의 선택이 비용과 성능에 영향을 준다.

2. 전문가와 활용률

   1. 일부 층은 전문가를 고용해야 한다.
   2. 이 기술과 역량은 업계에 이미 충분히 존재하지 않기 때문에 그런 전문가가 어디에서 올지조차 불분명하다.
   3. 9번째 층으로 언급된 활용률(utilization)은 구조적인 문제라서 돈으로 살 수 없다.
   4. 단순히 오픈 모델을 가져오고 AI 도구를 사용한다고 해서 이런 층을 건너뛸 수 없다.

7.3. 기업용 비용 계산기로의 전환

1. 기존 계산기와의 차별화

   1. Hari가 조사한 244개의 계산기 중 이 질문을 다루는 것은 하나도 없었다.
   2. 그는 계산기 전체를 동일한 모델 가중치를 기업 내부에서 실행할 때의 비용과, Neo 클라우드에서 토큰을 구매할 때의 비용을 비교하는 도구로 바꿨다.
   3. 오픈 모델을 가져와 직접 운영하려는 조직이라면 두 경로 사이의 차이를 계산할 수 있다.

2. 실제 사용

   1. 오픈 웨이트 모델 도입을 검토하는 여러 기업으로부터 좋은 피드백을 받았다.
   2. 오픈 모델이라는 말만 들으면 흥분하기 쉽지만, 가중치가 무료인 것과 실제 워크로드의 총비용이 무료인 것은 다르다.
   3. 공개된 오픈소스·무료 계산기에 자신의 워크로드를 넣고 어느 경로가 유리한지 확인하라는 제안이 제시된다.
   4. QR 코드를 스캔해 워크로드를 넣어 보라는 실용적인 사용 방법도 함께 제시된다.

8. 결론 및 시사점

1. 소프트웨어의 본질은 당분간 바뀌지 않는다

   1. LLM이 하네스에 제공하는 힘으로 지난 3년 동안 구축은 기하급수적으로 쉬워졌다.
   2. 그러나 소프트웨어 개발의 변화와 역학 자체가 끝에서 바뀐 것은 아니다.
   3. 프롬프트 기반 중앙값 제품은 유용하며 Hari 자신도 그런 제품을 출하한다.
   4. 그런 제품을 AI slop이라고 폄하할 필요는 없다.

2. 공개 경쟁에서 중앙값의 내구성은 작다

   1. 중앙값 제품은 공개 경쟁에 들어가면 오래 버티기 어렵다.
   2. 거대한 유통 해자가 있으면 살아남을 수 있지만, 그 경우 방어력은 구현이 아니라 유통이다.
   3. 내부 도구와 학습 프로젝트에서는 중앙값 경로가 합리적이지만, 공개 시장의 차별화로 계산해서는 안 된다.

3. 세계 최고를 목표로 하는 집중

   1. 살아남고 싶다면 한 가지 문제를 고르고 그 문제를 세계에서 가장 잘 해결하겠다는 의도로 추구해야 한다.
   2. 실제로 완전히 해결하지 못하더라도 그 의도가 중앙값 위에 제품을 올려놓는다.
   3. 한 문제에 깊게 들어간 판단, 독특한 관점, 특정 고객과 유통 경로가 경쟁자가 쉽게 복제할 수 없는 참신성을 만든다.

4. 두 질문에 대한 최종 답

   1. “소프트웨어에 무슨 일이 일어나는가?”라는 질문에 대한 답은, 100조 달러 규모의 경제를 움직이는 소프트웨어에는 아무 일도 일어나지 않는다는 것이다. 결론부에서는 앞서 언급한 125조 달러와 별도로 약 100조 달러(100 trillion dollars) 경제라는 표현이 사용된다.
   2. 가까운 미래에도, 어쩌면 영원히, 세계는 결정론적 소프트웨어 위에서 돌아간다.
   3. AI는 결정론적 소프트웨어를 더 빠르게 작성하게 하지만 그것을 없애지는 않는다.

5. 참신성은 희소하고 중앙값은 무료다

   1. Hari는 가진 모든 것을 참신성이라는 한 가지에 쓰라고 권한다.
   2. 두뇌의 모든 힘과 모든 에너지를 참신성에 쏟아야 한다.
   3. 참신성은 희소하고 중앙값은 무료이므로, 어느 쪽을 선택할지는 만드는 사람에게 달려 있다.
   4. Hari가 중앙값에 2년을 쓴 시간은 교육이었다. 그는 태운 모든 토큰이 그 교육의 대가로 가치 있었다고 말한다.

주요 발언 모음

“세계가 필요로 하는 것은 매번 같은 일을 안정적으로 수행하는 소프트웨어다.”

“같은 문제에 같은 도구를 주면 다음 사람에게도 앞사람에게 준 것을 준다. 나는 그 답을 중앙값이라고 부른다.”

“중앙값 제품은 출하하기에 충분히 좋지만, 다음 사람이 출하할 것과 구분하기는 어렵다.”

“중앙값의 세계에서 의견은 소유할 수 있는 가장 값싼 참신성이다. 모델은 의견을 공급할 수 없다.”

“AI가 완료라고 말하는 순간, AI는 자기 중앙값 제품을 준 것이다. 내 작업은 거기서 시작한다.”

“코딩 에이전트는 지금까지 마지막으로 훌륭한 설계를 무료로 주었지만, 다음 Kubernetes나 ZooKeeper나 Kafka를 발명하지는 않는다.”

“프로젝트에서 참신한 점을 이름 붙일 수 없다면, 그것이 학습 연습이라는 사실을 인정해야 한다. 괜찮다.”

“오픈 웨이트는 오픈 추론이 아니다.”

“참신성은 희소하고 중앙값은 무료다. 선택은 당신에게 달려 있다.”

핵심 데이터·수치

• 70년 이상: 현대 세계를 움직이는 전통적 결정론적 소프트웨어가 인간에 의해 수작업으로 발전해 온 기간.
• 약 20년: Hari가 제품 담당자로 소프트웨어를 만들어 온 기간.
• 125조 달러: 도입부에서 소프트웨어가 움직인다고 설명한 세계 경제 규모.
• 약 100조 달러: 결론부에서 결정론적 소프트웨어가 계속 움직인다고 표현한 경제 규모. 두 표현은 원문에서 각각 제시된 수치다.
• Y2K: 소프트웨어 중단이 현대 사회에 미칠 재앙의 비유.
• 5~10년: AI가 결정론적 소프트웨어 개발을 가속하고, 예산 때문에 존재하지 못했던 어려운 소프트웨어를 만들 두 사용 사례가 전개될 기간.
• 2015년 / 9명 / 27/100초: 100미터 경쟁에 참가한 아홉 선수 사이의 전체 시간 차이.
• 1/100초: Justin Gatlin이 금메달을 놓친 차이.
• 10~13초: Hari가 100미터를 달리는 데 걸리는 시간이라고 농담한 범위.
• 6개 연구소 / 수십 Elo 포인트: Stanford 모델 비교 연구의 규모와 관찰된 격차.
• Anthropic 1503 / Mistral 1460 / 87점 언급: 모델 순위 수치는 절대 지능이 아닌 상대 평가라는 점을 설명한 예.
• 2023년 전후: 중앙값 제품을 팀·시간·스택으로 비싸게 만들던 시대와 해결된 문제가 모두에게 무료에 가까워진 시대의 경계.
• 10만 개 저장소: AI 보조 개발이 만든 저장소 확산을 설명한 수치.
• 수백만 개 AI 앱 / 수백만 명: 만든 사람의 성공 기준으로 평가해야 한다고 말한 AI 앱과 Lovable·Replit 이용자의 규모 표현.
• 2분 / 2시간 / 4주: 에이전트 스캐폴딩, 작동하는 데모, 지원 기능을 갖춘 출시까지 가능한 시간의 예.
• 400번째 또는 4,000번째: 같은 문제를 푼 RAG 시스템이 이미 얼마나 많이 존재하는지 강조한 수치.
• 한 달 / 60개: 최초라고 생각해 한 달 쉬고 돌아오면 비슷한 제품이 60개 생길 수 있다는 경험.
• 2년 / 수백만 토큰: Hari가 빌드 우선 반사와 여러 Max 플랜에 쓴 기간과 토큰.
• 1 단위의 참신성: Google의 PageRank 같은 참신성 하나가 중앙값을 넘는 출발점이 될 수 있다는 비유.
• 244개 계산기: 기존에 조사했지만 오픈 모델의 기업 내부 실행 비용과 클라우드 추론 비용을 함께 계산하지 않았던 계산기 수.
• 10개 층: 오픈 웨이트에서 토큰 생성 시스템으로 가는 사이에 존재하는 운영·인프라 층.
• 9번째 층: 활용률(utilization)로, 구조적이라 구매할 수 없다고 설명된 층.
• 3년: LLM이 하네스에 힘을 제공하며 구축이 기하급수적으로 쉬워진 최근 기간.

용어 정리

• 결정론적 소프트웨어(Deterministic software): 같은 입력에 같은 결과를 내고, 원자로·항공기·결제·교통처럼 신뢰성이 핵심인 소프트웨어.
• 확률적 모델(Probabilistic model): 여러 가능성 중 그럴듯한 결과를 생성하는 모델. 결정론적 최종 산출물을 만드는 기어로 사용된다.
• 모델(Model): 엔진 또는 운동선수처럼 기본 능력을 제공하는 LLM.
• 하네스(Harness): 도구, 컨텍스트, 지시, 오케스트레이션, 메모리, 워크플로, MCP 호출로 모델을 실제 작업에 연결하는 층.
• 제품(Product): 고객이 실제로 사용하는 최종 결과이자 고객이 관심을 가져야 하는 이유.
• 중앙값(Median): 누구나 대여할 수 있는 같은 모델·하네스·관행이 같은 문제에서 만들어 내는 대표적인 결과.
• 참신성(Novelty): 경쟁자가 같은 출발점에서 쉽게 얻지 못하는 관점·기술·문제 해결 방식·유통상의 고유성.
• 참신성 예산(Novelty budget): 구현 비용과 별도로 제품의 진짜 차이를 사전에 이름 붙이고 로드맵과 지출 검토에 포함하는 관리 방식.
• 빌드 우선 반사(Build-first reflex): 기존 해법을 검색하고 판단하기 전에 코딩 에이전트를 열어 즉시 구현하는 습관.
• RAG: 문서를 청킹하고 벡터 DB에 저장한 뒤 검색 결과를 백엔드 LLM에 제공해 질문에 답하게 하는 시스템.
• 오픈 웨이트(Open weights): 모델 가중치를 공개한 상태. 실제 기업 운영에 필요한 추론·ML Ops·SRE가 무료라는 뜻은 아니다.
• 오픈 추론(Open inference): 공개 가중치를 실제 워크로드에 적용해 토큰을 생성하는 운영 체계.