물리학을 만나는 순간 트랜스포머가 한계에 부딪히는 이유

URL: https://www.youtube.com/watch?v=79mIutht1f4 날짜: 2026-08-27 채널: latentspacepod

📌 핵심 질문 / 핵심 논점

==언어·이미지용 트랜스포머를 물리 세계에 그대로 확대할 수 없는 이유는 무엇이며, 물리 법칙·다중 스케일 구조·데이터를 결합한 Neural Operator가 어떻게 시뮬레이션과 설계를 바꿀 수 있는가?==

• 물리 데이터는 3D 공간과 시간의 고해상도·다중 스케일 구조를 가지므로 고정 해상도와 이차 복잡도(Quadratic Complexity)를 가진 표준 Transformer와 맞지 않는다.
• 물리 세계의 데이터는 언어 데이터보다 훨씬 적지만, 자연법칙이 만드는 잠재 구조(Latent Structure)가 강해 적은 샘플로도 정확한 예측이 가능하다.
• Neural Operator는 함수 공간(Function Space) 사이의 사상(Mapping)을 학습하고, Fourier 공간·비선형성·잔차 연결·물리 제약을 결합해 해상도를 바꿔 가며 추론한다.

언어 모델이 가설과 아이디어를 만들어 내는 능력만으로는 과학적 발견이 완성되지 않는다. 실제 세계에서 검증되고 물리 법칙을 지키며 작동하는 시스템이 필요하다. Neural Operator, 물리 정보 신경망(Physics-Informed Neural Network, PINN), 형식 검증(Formal Verification)을 결합하면 빠른 데이터 기반 예측과 물리적·수학적 보증을 함께 얻을 수 있다. Weather 모델 ForecastNet과 핵융합 플라즈마 디지털 트윈(Digital Twin)은 이 접근이 수십억~수조 규모의 고해상도 상태 공간과 복잡한 동역학을 다루는 실제 사례다.

1. AI와 과학을 연결하는 원칙

AI 과학의 목표는 아이디어 생성에서 멈추지 않고, 물리 세계에서 검증 가능하고 신뢰할 수 있는 예측·설계·제어를 만드는 것이다.

1.1. Anima Anandkumar의 배경과 연구 관점

1. 이론과 산업을 오간 경력

   1. Anima Anandkumar는 20년 넘게 AI를 연구했으며, Deep Learning 이전에 확률 모델(Probabilistic Model)의 이론적 토대를 만드는 시기부터 활동했다.
   2. Caltech에서 수학과 물리학에 대한 관심을 AI와 연결하는 연구를 시작했고, 최근까지 산업과 학계를 병행했다.
   3. Amazon Web Services(AWS)에서 클라우드 AI 팀을 공동 설립하고 약 10년 전 최초의 클라우드 AI 제품을 만들었으며, NVIDIA에서는 AI 연구를 이끌었다.
   4. 이론을 실제 규모의 시스템으로 옮기는 경험과 대규모 실무를 다시 원리 중심의 설계로 연결하는 관점이 연구 방향을 형성했다.

2. 아이디어와 검증의 간극

   1. 언어 모델은 과학적 가설과 아이디어를 많이 만들 수 있지만, 아이디어의 양만으로는 과학이 진전되지 않는다.
   2. 진짜 병목은 아이디어가 현실에서 작동하는지 시험하고 검증하는 단계다.
   3. 물리 세계를 정확히 모델링하고 물리 법칙을 보존하는 일, 그리고 AI 시스템이 무엇을 보장하는지 증명하는 일이 최근 연구의 중심이다.
   4. 과학용 AI에는 시뮬레이션(Simulation), 설계(Design), 제어(Control)가 함께 필요하며, 단순한 텍스트 생성은 이 전체 고리의 외부 래퍼(Wrapper)에 가깝다.

1.2. TorchLean과 신경망의 형식 검증

1. Lean 안에서 신경망을 정의하는 프레임워크

   1. TorchLean은 PyTorch와 비슷한 방식으로 신경망 층(Layer)을 작성하되, Lean 안에서 완전히 형식화할 수 있게 한다.
   2. 신경망의 동작과 신경망이 주장하는 성질을 같은 형식 검증 환경에서 기술하고 증명한다.
   3. Certified Robustness를 계산하는 CROWN 같은 알고리즘도 이 프레임워크 아래에 구현되고 있다.

2. 안전성·강건성·안정성의 보증

   1. 입력이 일정 범위로 섭동(Perturbation)되었을 때 출력이 얼마나 변하는지 상한(Bound)을 구하는 것이 자연스러운 예다.
   2. 이러한 민감도 분석(Sensitivity Analysis)은 드론이나 원자로처럼 신경망이 제어 루프(Control Loop)에 들어가는 시스템에서 안전성·강건성·안정성을 점검하게 한다.
   3. Physics-Informed Neural Network가 편미분방정식(Partial Differential Equation, PDE)을 풀거나 물리 법칙을 만족하도록 학습하더라도, 유한 정밀도(Finite Precision) 계산의 오차와 한계를 별도로 검증해야 한다.
   4. 입력·출력 섭동, 수치 정밀도, 아키텍처별 오차 등 여러 종류의 경계를 Lean 기반 알고리즘으로 검증 루프에 넣을 수 있다.

3. 현재의 확장성 제약

   1. Transformer처럼 큰 신경망의 성질을 증명하는 일은 프레임워크의 표현력과 별개로 계산 확장성(Scalability)이 어렵다.
   2. Lean은 현재 CPU 기반이며 GPU에 올리는 과정에도 여러 세부 문제가 있어, 대규모 모델의 효율화에는 상당한 작업이 남아 있다.
   3. TorchLean은 최종 해답이라기보다 신경망을 형식 검증의 대상이자 구성 요소로 끌어들이는 출발점이다.

2. PINN의 한계와 Neural Operator의 발상

물리 제약만 처음부터 최적화하는 방식은 시간 의존적이고 난류적인 문제에서 흔들리며, 관측·시뮬레이션 데이터와 법칙을 함께 써야 실용적인 해를 얻을 수 있다.

2.1. Physics-Informed Neural Network가 어려운 이유

1. PDE를 손실 함수로 푸는 기본 방식

   1. PINN은 PDE를 적고 그 잔차(Residual)를 손실 함수에 넣어, 최적화가 성공하면 방정식의 해를 얻는 방식이다.
   2. 최적화가 항상 성공한다면 거의 모든 문제를 풀 수 있겠지만, 실제 최적화 지형(Loss Landscape)은 그렇지 않다.
   3. 시간에 의존하는 문제는 정지 상태(Stationary)가 아니며, 유체 역학(Fluid Dynamics)처럼 난류가 생기면 장시간 후 혼돈(Chaos)이 된다.

2. 작은 스케일의 효과가 장기 해를 무너뜨림

   1. 혼돈계에서는 아주 작은 미세 규모(Fine-Scale) 효과도 중요해진다.
   2. 모든 시간에 대해 PDE를 처음부터 최적화하는 일은 이러한 문제에서 다루기 어려운 최적화 지형을 만든다.
   3. 따라서 PINN은 모든 곳에서 작동하는 범용 해법이 아니며, 특정 문제의 수렴 보장과 적용 범위를 미리 알기 어렵다.

2.2. 데이터와 법칙을 함께 쓰는 Neural Operator

1. 학습 단계와 추론 단계의 차이

   1. PINN은 매번 특정 방정식 인스턴스(Instance)를 처음부터 풀지만, Neural Operator는 여러 방정식 인스턴스의 해를 데이터로 학습한다.
   2. 훈련 중 다양한 입력과 정답을 보았으므로, 시험 시점에는 새로운 입력에 대한 해를 빠르게 제시할 가능성이 커진다.
   3. 물리 제약을 추가해 데이터 기반 학습(Data-Driven)과 물리 정보(Physics-Informed)를 동시에 사용할 수 있다.

2. 함수 공간 사이의 사상

   1. 일반 신경망은 고정된 크기의 입력과 출력에 맞춰진다. 언어는 고정 어휘와 토큰 형식을, 이미지와 비디오는 고정 해상도를 사용한다.
   2. Neural Operator는 신경망의 일반화로 볼 수 있으며, 입력 함수와 출력 함수 사이의 사상을 학습한다.
   3. 실제 세계는 본질적으로 다중 스케일(Multiscale)이고 이상적으로는 무한 해상도에 존재하므로, 처음부터 하나의 해상도를 고정하면 관측되지 않은 미세 현상을 다루기 어렵다.
   4. 연속 함수(Continuous Function)를 표현하면 추론 시 입력과 출력의 해상도를 바꾸고, 같은 모델에서 확대·축소(Zoom In/Out)할 수 있다.

3. 제로샷 초해상도와 정규화

   1. 학습 데이터보다 높은 해상도를 예측하는 Zero-Shot Super-Resolution은 본질적으로 모델의 추정이며, 여러 함수가 같은 저해상도 데이터를 설명할 수 있다.
   2. 모델은 더 높은 해상도로 부드럽게 확장되도록 정규화(Regularization)하지만, 그것만으로는 유일한 정답을 보장하지 않는다.
   3. 더 미세한 해상도에서 PDE 제약, 보존 법칙(Conservation Law), 재료 변형 법칙 등을 손실로 추가하면 관측 데이터보다 높은 해상도에도 물리적 안내가 생긴다.
   4. 물리 제약을 강제 제약(Hard Constraint)으로 넣는 것은 계산상 어렵기 때문에, 데이터 손실과 법칙 손실의 가중치를 적절히 조절하는 방식이 현실적이다.

3. Fourier Neural Operator와 트랜스포머의 구조적 차이

Fourier Neural Operator는 비선형 신경망의 표현력과 Fourier 공간의 전역 연결·효율성을 결합해, 고해상도 물리 현상에 필요한 비국소 상호작용을 처리한다.

3.1. Fourier 공간이 주는 효율성과 물리적 편향

1. 비국소 현상을 표현하는 이중 공간

   1. Fourier 공간은 입력 전체에 걸친 이중 공간(Dual Space)으로, 국소 미분과 달리 전체 영역의 관계를 효율적으로 표현한다.
   2. 미분 방정식의 미분은 국소적이지만, 방정식을 역으로 풀어 얻는 해는 적분에 가까워 비국소적이다.
   3. 유체 역학, 재료 변형, 양자 화학(Quantum Chemistry)처럼 자연에서 멀리 떨어진 지점들이 함께 영향을 주는 현상은 이러한 표현과 잘 맞는다.

2. 순수 Fourier 표현을 넘어서는 비선형성

   1. 고전 수치해석처럼 전체 세계를 선형 Fourier 기저 하나로 표현하는 것이 아니다.
   2. Fourier 층 사이에 비선형성(Nonlinearity)과 잔차 연결(Residual Connection)을 넣고, 입력 신호를 더 높은 채널 차원으로 들어 올리는 Lifting을 적용한다.
   3. 제한된 주파수 모드만으로 표현하기 어려운 신호도 비선형 변환을 통해 더 적합한 기저와 잠재 공간(Latent Space)을 학습한다.
   4. 원래 2D나 3D인 신호를 더 높은 차원으로 올린 뒤 여러 Fourier 변환을 적용하므로, 제한된 모드의 한계를 완화한다.

3.2. 고해상도에서 Transformer가 부딪히는 벽

1. 복잡도와 전역 연결

   1. Transformer는 모든 토큰의 연결을 attention으로 계산하므로 해상도가 높아질수록 이차 복잡도와 메모리 부담이 폭증한다.
   2. Fourier 변환은 준선형(Quasilinear) 복잡도로 전역 연결을 확보해, 비국소 현상을 포착하면서도 비용을 낮춘다.
   3. 시카고의 날씨가 샌프란시스코의 날씨에 단기·장기적으로 영향을 줄 수 있듯, 공간과 시간 모두에서 멀리 떨어진 의존성을 모델링할 수 있다.

2. 날씨와 기후의 시간 규모

   1. 단기 예보는 다음 며칠·몇 주의 구체적 상태를 예측하는 문제이고, 기후는 장기간의 평균·분포를 다루는 문제다.
   2. 혼돈계에서 시카고의 특정 사건이 한 달 뒤 샌프란시스코의 특정 상태로 이어진다고 정밀하게 말할 수는 없지만, 넓은 지역의 폭염 평균이 평년보다 높을 가능성은 추정할 수 있다.
   3. Fourier 공간이 시간까지 항상 표현한다는 뜻은 아니다. ForecastNet 사례는 공간을 Fourier로 다루고 시간은 자기회귀(Autoregressive) 방식으로 롤아웃한다.

3.3. 주파수 절단과 잠재 공간

1. 선형 모델의 주파수 한계

   1. 선형 Fourier 표현은 선택한 최대 주파수 위의 세부 사항을 표현할 수 없다.
   2. 매우 미세한 격자까지 선형 기저로 직접 표현하면 고전 수치 시뮬레이션의 계산량이 커진다.

2. 학습된 기저의 장점

   1. Deep Learning의 핵심인 특징 학습은 신호에 가장 알맞은 기저를 데이터에서 찾게 한다.
   2. Fourier 공간에서 전역 상호작용을 처리하면서도 비선형 층이 필요한 표현을 만들고, 이 조합이 효율성과 표현력을 절충한다.
   3. “잠재 공간에서 세계가 더 효율적으로 표현될 수 있다”는 관점은 공간을 더 높은 차원으로 올리고 그 안에서 전역 변환을 수행하는 설계로 이어진다.

4. 물리 데이터의 희소성과 숨은 구조

물리 문제의 데이터는 적고 상태 차원은 매우 높지만, 자연법칙이 허용하는 상태의 공간은 임의의 데이터보다 훨씬 구조화되어 있다.

4.1. 언어·비전과 다른 데이터 규모

1. 관측 데이터의 부족

   1. ForecastNet의 날씨 모델은 고해상도 전 지구 날씨 지도 약 5만 개로 학습했다.
   2. 물리 데이터는 시뮬레이션 비용이 높고 실제 관측 자체가 불가능한 경우도 있어, 언어 모델에 쓰이는 데이터 규모를 기대할 수 없다.
   3. 그러므로 물리 제약과 도메인 구조를 데이터의 대체재이자 강한 Inductive Bias로 활용해야 한다.

2. 고해상도 상태 공간

   1. 언어는 1차원 맥락에서도 수백만 토큰을 처리하며 어려움을 겪는데, 물리 시스템은 2D·3D·4D(공간과 시간)다.
   2. 각 차원에 수백 개의 격자점만 잡아도 실제 산업 규모에서는 각 차원 약 1,000개 격자점이 필요하다.
   3. 네 차원의 격자 조합은 수백억에서 1조 개에 이르는 문맥 길이를 만들며, 모든 토큰을 공동 배치해 Transformer로 처리하려면 지구상의 모든 계산 자원으로도 부족할 수 있다.

3. 비디오 모델과 고정밀 시뮬레이션의 차이

   1. 비전·비디오 언어 모델은 대체로 낮은 해상도에서 보기 좋은 결과를 만들고, 자기회귀 방식으로 다음 단계를 예측한다.
   2. 잠재 코드북(Codebook)이 물리 세계를 압축할 수 있다면 이 전략이 가능하지만, 고정밀 시뮬레이션은 압축 과정에서 버린 세부 정보가 결과를 좌우한다.
   3. 유체 역학, 플라즈마, 재료 변형은 50~100개 격자점만으로는 충분하지 않으며, 고해상도 데이터를 읽고 추론하는 과정 자체가 병목이다.

4.2. 자연의 잠재 구조가 주는 이점

1. 희귀 사건도 학습 가능한 이유

   1. 허리케인 같은 극단적 사건은 드물지만, 매우 특정한 물리적 특징을 가진다.
   2. 물리 세계가 강한 구조를 갖기 때문에, 극단 사건을 전형적 사건보다 훨씬 많이 보지 않아도 모델이 패턴을 배울 수 있다.
   3. 단백질 구조 예측이 물리적 제약을 많이 받는 영역에서 큰 성과를 낸 AlphaFold의 사례도 같은 직관을 제공한다.

2. 수치해석과 AI의 차이

   1. 전통적 수치해석은 어떤 시나리오에서도 방정식을 풀 수 있는 보편적 정확성에 초점을 맞춘다.
   2. AI는 관측·시뮬레이션 데이터에서 실제로 자주 나타나는 구조와 문제의 난이도·다루기 쉬운 부분을 발견한다.
   3. 이 차이 때문에 적은 샘플로도 플라즈마의 핵심 사건을 정확히 예측하고, 기존 시뮬레이션보다 훨씬 빠르게 실행하는 결과가 가능하다.

5. ForecastNet이 바꾼 날씨 예측

공개 재분석 데이터와 Neural Operator를 사용한 날씨 모델은 수십 년 동안 축적된 물리 기반 예보를 정확도에 가깝게 따라가면서 속도를 수만 배 높였고, 예보 기술을 민주화했다.

5.1. 2021년의 회의론과 첫 번째 전환

1. 공개 데이터에서 시작한 실험

   1. ECMWF(European Centre for Medium-Range Weather Forecasts)의 전 지구 재분석 데이터 ERA5가 공개되어 있었기 때문에 날씨를 첫 응용 분야로 선택했다.
   2. 2021년 당시 많은 기상 과학자는 수십 년간 발전한 정교한 상향식(Bottom-Up) 물리 기반 모델을 AI가 능가하기 어렵다고 경고했다.
   3. 기존 모델은 유체 역학을 바탕으로 다음 날의 날씨를 계산하므로, 단순한 패턴 학습이 그 작업을 대체하기 어렵다는 것이 당시의 통념이었다.

2. 정확도·속도·하드웨어의 동시 개선

   1. Neural Operator로 날씨 현상을 학습한 결과, 전통적 모델에 거의 가까운 정확도를 얻었다.
   2. 전통적 슈퍼컴퓨터 계산보다 수만 배 빠른 추론이 가능했다.
   3. 작은 모델이 소비자용 GPU 한 장에서 돌아가면서도 빠르고 정확했다.
   4. 이 결과는 AI가 날씨 예측을 신뢰할 수 있는 방식으로 수행할 수 있다는 인식을 바꾸었다.

3. 공개와 확산

   1. ForecastNet을 최초로 허용적 라이선스로 공개해 기업과 기상 기관이 자유롭게 기반을 확장할 수 있게 했다.
   2. DeepMind, Huawei 등 여러 조직이 약 1년 뒤 자체 모델을 발표했고, 기상 기관의 도입이 이어졌다.
   3. 대형 기관만 수행할 수 있던 수준의 정밀도를 글로벌 사우스의 소규모 기상 기관도 활용할 수 있게 되어 날씨 모델링이 민주화됐다.

5.2. ForecastNet 3: 하나의 지구, 단기 예보에서 기후까지

1. 서로 다른 시간대를 하나의 모델로 통합

   1. 전통적으로 2주 안팎의 단기 날씨, 계절·계절 내(Subseasonal) 예측, 기후 모델링에는 서로 다른 모델을 사용했다.
   2. “지구는 하나”라는 관점에서 하나의 기초 모델이 짧은 시간과 긴 시간을 모두 다뤄야 한다.
   3. ForecastNet 3은 Neural Operator를 발전시키고 지구의 구면 기하(Spherical Geometry)를 포함해 이러한 목표를 추구한다.

2. 평면 투영의 불안정성

   1. 지구를 직사각형으로 취급하는 표준 투영은 단기 예보에서는 허용되지만, 수개월·수년 롤아웃에서는 오차가 빠르게 폭발한다.
   2. 구면 위에서 계산하면 위도·경도 투영의 왜곡을 피하고 장기 롤아웃의 안정성을 높일 수 있다.
   3. 구면 가정은 특히 기후처럼 반복적인 장기 예측을 해야 할 때 필수적인 구조적 정보다.

3. 좁은 대리 모델과 물리 파운데이션 모델

   1. 몇 가지 지표만 예측하는 Narrow Surrogate라면 여러 아키텍처가 단기 날씨 문제에 쓸 수 있다.
   2. 하나의 모델이 여러 현상과 시간 범위를 처리하는 Foundation Model이 되려면 지구가 구라는 사실과 같은 도메인 구조를 내장해야 한다.
   3. Allen Institute for AI는 이 Neural Operator 아키텍처를 기반으로 기후 모델을 만들었으며, 대화에서 언급된 다른 아키텍처는 AI 에뮬레이터로서 기후 문제를 제대로 처리하지 못했다.

5.3. 입력·출력과 앙상블 예측

1. 전 지구 자기회귀 예측

   1. 지역 일부가 아니라 전 지구 날씨 정보가 입력이며, 현재의 바람·습도 등 상태에서 다음 상태를 예측한다.
   2. 한 단계는 6시간이며, 모델은 6시간 뒤 상태를 예측하고 그 출력을 다시 입력으로 넣는 방식으로 롤아웃한다.
   3. 원칙적으로 같은 모델을 계속 굴릴 수 있지만, 날씨의 예측 가능성은 제한적이므로 장기 예측은 분포와 평균을 보는 앙상블로 전환한다.

2. 기후의 확률적 정의

   1. 여러 초기 조건에 작은 노이즈를 넣고 각각의 궤적(Trajectory)을 독립적으로 롤아웃한다.
   2. 카리브해에서 허리케인이 발생할 때 측정값과 초기 상태가 이미 불확실하므로, 노이즈를 추가한 여러 궤적이 가능한 허리케인 경로를 만든다.
   3. 여러 경로를 모으면 지역별 상륙 확률과 위험을 산출할 수 있고, 수개월에서 수년의 기후 분포도 추정할 수 있다.
   4. ForecastNet 3의 현재 예시는 앙상블 구성원 수가 수십 개 수준이지만, 목적에 맞춰 더 큰 앙상블을 만들 수 있다.

3. 앙상블의 물리성과 평균의 순서

   1. 각 앙상블 구성원을 별도로 예측하고, 각 구성원이 물리 제약을 만족하게 하는 것이 목표다.
   2. 먼저 평균을 내어 세부 정보를 없애는 방식이 아니며, 구성원별 고해상도 상태를 유지한 뒤 필요할 때 통계적 평균을 낸다.
   3. 평균된 장(field)이 개별 구성원과 같은 물리 법칙을 만족한다고 가정할 수 없으므로 이 구분이 중요하다.

5.4. 극단 기상과 검증의 미해결 문제

1. 극단 사건에서 확률적 보정이 필요한 이유

   1. 최근 미국 남서부의 극심한 폭염 같은 특정 사건 하나를 정확히 맞혔는지보다, 다양한 극단 사건에 대한 확률 예측의 보정(Calibration)이 중요하다.
   2. ForecastNet 3 논문은 극단 기상과 앙상블 예측 지표를 보고하며, 모델도 확률 예측이 맞도록 훈련됐다.
   3. 초기 시각화 실험에서 허리케인과 폭풍을 잘 재현한 결과는, 드문 사건에 AI가 약할 것이라는 예상과 달랐다.

2. 대기 강과 허리케인 Lee

   1. 캘리포니아에서 수천 마일에 걸쳐 형성되는 대기 강(Atmospheric River)은 넓은 비국소 현상이며, Neural Operator의 전역 연결과 잘 맞는다.
   2. 2023년 가을부터 공개된 ECMWF의 AI 날씨 모델 흐름 속에서 허리케인 Lee의 상륙을 표준 예보보다 며칠 일찍 정확히 예측한 사례가 대중과 기상 과학자의 신뢰를 높였다.
   3. 조기 예측은 인명 피해와 경제적 비용을 줄이는 데 직접적인 가치를 가진다.

3. 장기 검증의 긴장

   1. 완벽한 날씨 모델도 지역의 정확한 궤적은 대략 2주 후 혼돈 때문에 잃을 수 있으므로, 기후는 많은 롤아웃의 집계적 성질을 검증해야 한다.
   2. 전통적 기후 모델은 고해상도 장기 궤적 하나도 비싸기 때문에 많은 앙상블을 만들기 어렵다.
   3. AI가 수만 배 빠르면 큰 앙상블과 위험 평가가 가능하지만, 장기 롤아웃에서 미세한 세부를 유지하면 물리적으로 무효가 될 수 있고, 세부를 씻어내면 정확도가 떨어진다.
   4. 각 롤아웃에 어떤 물리 제약을 언제 적용할지, 구성원마다 물리 법칙을 보장하면서도 정밀도를 보존할지는 아직 열린 연구 문제다.

5.5. 재분석 데이터와 구면 Fourier 모델의 세부

1. 재분석(Reanalysis) 데이터의 구성

   1. 위성 원자료, 지상 관측 등 세계의 기상 측정치를 물리 솔버의 결과와 결합해 동화(Assimilation)한 역사적 데이터가 재분석 데이터다.
   2. 세계 각지의 저해상도 관측을 모은 뒤, 고전 물리 시뮬레이션으로 짧은 시간 동안 세부를 채운다.
   3. 긴 시간으로 갈수록 고전 시뮬레이션의 오차가 빠르게 누적되지만, 기상 기관이 이 과정을 한 번 수행해 준비한 데이터를 여러 연구자가 활용한다.
   4. 이 물리 기반 전처리 자체가 모델에 물리 정보를 암묵적으로 제공하므로 극단 기상 성능을 돕는 한 요인이 될 수 있다.

2. 해상도와 구면 기저

   1. 사용 가능한 전 지구 데이터 해상도는 약 0.25도(0.25°)다.
   2. 이는 대략 700 × 수천 격자 규모로 볼 수 있으며, 이 데이터가 현재 모델의 해상도 상한을 정한다.
   3. 구면 조화(Spherical Harmonics) 또는 그에 맞는 구면 기저를 사용하면 지구의 기하를 자연스럽게 반영할 수 있다.
   4. 더 높은 해상도의 합성 기후 시뮬레이션도 Neural Operator로 계산할 수 있지만, 관측 데이터가 없는 세부가 물리적으로 유효한지 확인하려면 더 많은 제약이 필요하다.

3. 극점과 장기 안정성

   1. 직사각형 지구 가정은 장기 롤아웃에서 빠르게 발산하지만, 구면을 가정한 모델은 훨씬 오래 안정적으로 진행된다.
   2. 구면 모델도 물리적 가드레일 없이 극도로 긴 외삽을 하면 극점 부근의 특이성 등 문제가 남는다.
   3. 극점은 구면 좌표 계산에서 특히 어려운 영역이며, 구면 기하가 문제를 없애는 것이 아니라 불안정성을 크게 줄이는 역할을 한다.

6. 플라즈마, 디지털 트윈, 역문제

Neural Operator는 날씨 대리 모델에 그치지 않고, 핵융합 제어와 복잡한 형상·재료·전자기 시스템의 시뮬레이션·역설계에 적용된다.

6.1. 토카막 플라즈마 디지털 트윈

1. MHD 동역학의 빠른 근사

   1. 토카막(Tokamak)에서 자기유체역학(Magnetohydrodynamics, MHD) 방정식으로 복잡한 플라즈마 진화를 모델링한다.
   2. Neural Operator 기반 모델은 전통적 시뮬레이션보다 약 100만 배 빠르게 실행되어 플라즈마의 디지털 트윈을 만든다.
   3. 값비싼 실제 실험을 반복하기 전에 디지털 공간에서 조건을 탐색하고 설계를 비교할 수 있다.

2. Disruption과 제어

   1. Disruption은 플라즈마 전체가 작은 빔으로 모여 강한 에너지와 함께 격납 용기(Containment Vessel)를 향해 쏘는 현상이다.
   2. 이 현상은 원자로를 손상시키고 플라즈마를 지속 가능한 핵융합 상태에서 벗어나게 하므로, 발생 전에 시스템을 정지하거나 억제해야 한다.
   3. 다음 연구 단계는 물리적으로 유효한 시뮬레이션과 제어를 함께 설계해 자기장을 조정하고 플라즈마를 가두며 안정화하는 것이다.

3. 여러 핵융합 설계를 동시에 탐색

   1. 해당 작업은 UK Atomic Energy Agency와 수행했고, 미국의 다른 기관들과도 협력해 다양한 핵융합 접근의 정보를 모으고 있다.
   2. 토카막뿐 아니라 복잡한 Stellarator도 다루며, 어느 한 접근을 미리 승자로 정하지 않는다.
   3. AI가 각 설계를 저렴한 디지털 실험으로 비교하게 하면, 실제 장치를 만들기 전에 위험한 접근을 배제하지 않고 더 많은 선택지를 탐색할 수 있다.

6.2. 탄소 저장과 형상 일반화

1. 지하 탄소 격리

   1. 이산화탄소를 지하에 격리할 때 저장소 내부에서 압력이 어떻게 쌓이고, 이산화탄소가 수십 년 동안 어떻게 이동하는지 모델링할 수 있다.
   2. Neural Operator는 이러한 장기 확산·압력 문제를 전통적 시뮬레이션보다 훨씬 빠르게 계산한다.

2. 차·비행기·복잡한 형상의 유체

   1. 자동차와 비행기의 공기역학처럼 형상이 계속 바뀌는 문제도 잠재 공간에서 다룰 수 있다.
   2. 자동차나 다른 형상을 위상적으로 다루기 쉬운 도넛(Torus)으로 변환해 계산한 뒤, 결과를 원래 형상으로 되돌리는 방식이 한 예다.
   3. 도넛을 커피잔으로 바꾸는 고전적 위상수학 농담이 오갔지만, 핵심은 서로 다른 형상을 공통 잠재 표현으로 옮겨 물리를 학습한다는 점이다.

6.3. 물리 파운데이션 모델과 역설계

1. 멀티피직스 파운데이션 모델

   1. 언어와 비전에는 파운데이션 모델이 있지만, 여러 물리 현상을 함께 다루는 물리 파운데이션 모델은 아직 발전 단계다.
   2. 미래에는 특정 현상 하나의 Narrow Surrogate를 넘어, 열·변형·유체·전자기 등 결합된 Multiphysics를 하나의 모델에서 처리해야 한다.
   3. 설계와 시뮬레이션을 함께 하고, 실제 세계의 결합된 법칙을 모델에 반영하는 것이 범용 물리 모델의 방향이다.

2. Forward Model에서 Inverse Design으로

   1. 전통적인 흐름은 사람이 설계를 고안하고, 물리 시뮬레이션·풍동·실험으로 검증하는 방식이었다.
   2. 역문제(Inverse Problem)는 원하는 물리 결과를 먼저 정하고, 그 결과를 내는 최적의 설계를 찾는 문제다.
   3. 정확한 Forward Model을 최적화 루프에 넣으면 AI가 물리 가드레일 안에서 설계를 제안하고, 시뮬레이션으로 작동 여부를 검증할 수 있다.

3. 실제 역설계 사례

   1. 반도체의 역 리소그래피(Inverse Lithography)에서 마스크를 설계하는 문제를 다뤘다.
   2. 양자점(Quantum Dot)의 게이트 설계와 비선형 광학(Nonlinear Photonics)에서도 같은 구조를 사용했다.
   3. 사람이 전자의 흐름을 만드는 수많은 게이트 조합을 직관으로 찾기는 어렵지만, AI는 시뮬레이션을 반복하며 효율적인 설계를 찾는다.
   4. 결과가 단순히 그럴듯한 도형이 아니라 실제 물리 모델을 통과한 설계라는 점이 핵심이며, 시뮬레이션과 발견의 경계가 좁아진다.

6.4. 전이 학습의 경계와 커리큘럼

1. 완전히 보지 못한 물리의 불가능성

   1. 표준 모델을 넘어 완전히 새로운 물리처럼 데이터가 전혀 없는 현상은 Neural Operator도 전이할 수 없다.
   2. 데이터가 없는 미지의 법칙을 단지 여러 기존 사례에서 자동으로 추론할 수 있다는 주장은 과도하다.

2. 결합 현상의 부분 전이

   1. 열이 퍼지는 현상과 재료가 늘어나는 현상을 각각 학습했다면, 열 때문에 재료가 변형되는 결합 현상을 더 적은 샘플로 미세 조정할 수 있다.
   2. 결합은 고도로 비선형이고 처음부터 학습하기에는 어렵지만, 구성 요소를 개별적으로 익힌 모델이 출발점이 될 수 있다.
   3. 여러 논문에서 물리 현상을 모듈로 쪼개고 단계별 커리큘럼(Curriculum)으로 합치는 전략이 샘플 효율을 높이는 증거를 얻었다.

3. 공개 라이브러리

   1. Neural Operator 구현은 오픈 소스 라이브러리로 공개됐고 PyTorch 생태계에 포함되어 연구자와 기업이 사용한다.
   2. 다양한 아키텍처, 예제, 레시피와 문서가 제공되므로 도메인 전문가는 기존 물리 문제에 맞는 모델부터 실험할 수 있다.

7. 이론에서 실용으로, 그리고 다시 원리로

AI가 실제 규모에서 작동하는 단계에 도달한 뒤, 데이터 포화·에너지 비용·물리 세계의 외삽 요구가 다시 이론과 구조적 설계를 필요하게 만들고 있다.

7.1. 경력의 순환과 원리 중심의 재발견

1. 초기 이론의 역할

   1. 신경망이 데이터 부족과 여러 현실적 문제로 잘 작동하지 않던 시기에는 이론적 토대를 세우고 알고리즘이 언젠가 작동할 조건을 찾는 일이 중요했다.
   2. Tensor Method는 Latent Dirichlet Allocation 같은 확률 모델을 실용적이고 병렬화 가능한 규모로 풀면서도 이론적 기반을 유지하려는 접근이었다.

2. 딥러닝 확산 이후의 실무

   1. 딥러닝이 실제로 강력하다는 사실이 확인된 뒤에는 이론이 완벽해질 때까지 기다리기보다 Amazon Web Services와 NVIDIA에서 대규모 시스템을 만들며 실무 문제를 해결했다.
   2. 이론은 제약이 아니라 실무를 가능하게 하는 도구여야 한다는 관점이 유지됐다.

3. 데이터 중심 AI의 포화

   1. 순수 데이터 기반 접근은 점점 포화되고 있으며, 다음 단계는 더 낮은 에너지와 더 효율적인 하드웨어에서 작동하게 만드는 것이다.
   2. 새로운 과학적 발견은 정의상 아직 데이터가 없는 영역으로 외삽하는 일이므로, 데이터만으로는 해결할 수 없다.
   3. 아키텍처·알고리즘·손실 함수에 물리적 원리를 다시 넣고, 딥러닝의 강점을 원리와 결합해야 한다.

7.2. UN 과학자문과 AI 규제의 구분

1. 과학적 증거를 국제 논의에 넣기

   1. Anima Anandkumar는 UN 과학자문위원회에 참여하게 된 것을 영예로 여기며, 지정학적 갈등이 큰 시기일수록 과학자가 논의의 방 안에 있어야 한다고 말했다.
   2. AI가 세계적으로 주는 이익을 확산하고, 접근을 민주화하며, 의도하지 않은 결과와 해로운 영향을 통제하는 데 편향 없는 과학적 증거를 제공하려 한다.
   3. 더 정확한 날씨·기후 모델을 농업과 식량 생산에 연결하는 일도 UN 기관과 현장 인력이 함께 추진할 수 있는 영역이다.

2. 언어 모델과 과학용 AI를 같은 규제로 다루지 않기

   1. 사람을 조작할 수 있는 언어 모델의 위험은 통제해야 하지만, AI for Science는 물리 현상·시뮬레이션·설계·발견을 다루는 다른 성격의 기술이다.
   2. 모든 AI를 언어 모델과 동일시하는 일률적 규제(One-Size-Fits-All)는 과학용 AI의 이익과 위험을 모두 잘못 다룰 수 있다.
   3. 새로운 발견을 만들고 세계 각지의 연구자가 혁신하도록 하는 접근성을 보장하면서, 각 영역의 실제 위험에 맞춰 통제해야 한다.

7.3. 가장 큰 병목과 실천적 행동

1. 연구용 계산 자원

   1. 가장 즉시 제거하고 싶은 병목은 더 많은 Compute다.
   2. NVIDIA 등의 발전으로 계산 자원이 몇 년 전보다 크게 늘었지만, 연구자가 실험하고 혁신하려면 국가 연구소의 슈퍼컴퓨터를 포함해 더 많은 자원이 필요하다.
   3. AI 과학에서는 계산 자원이 단순한 편의가 아니라 새로운 가설을 시험할 수 있게 하는 연구 인프라다.

2. 연구자에게 주어진 시작점

   1. Neural Operator 라이브러리에서 다양한 아키텍처와 레시피를 직접 실행하고, 자신의 도메인 데이터와 물리 제약을 결합하는 것이 첫 단계다.
   2. 어떤 물리 현상을 손실 함수로 넣을 수 있는지, 데이터의 해상도와 모델이 생성할 해상도 사이의 차이를 어떻게 검증할지부터 점검해야 한다.
   3. 장기 롤아웃이나 역설계에서는 정확도만이 아니라 물리적 유효성·확률 보정·수치 안정성을 함께 평가해야 한다.

3. 물리 세계를 이해하는 AI의 정의

   1. 에이전트와 언어 모델은 AI for Science의 한 부분이며, 물리 세계를 실제로 이해하려면 기호를 조작하는 수준을 넘어 시뮬레이션할 수 있어야 한다.
   2. 시뮬레이션 결과에 근거해 설계를 만들고, 제어 루프에서 안전하게 행동하는 능력이 물리 AI의 완성 조건이다.
   3. Neural Operator, 형식 검증, 물리 제약, 고성능 계산은 그 방향으로 가는 상호 보완적 요소다.

주요 발언 모음

“아이디어는 충분하지 않다. 병목은 아이디어가 현실 세계에서 작동하는지 시험하는 데 있다.”

“이 세계는 본질적으로 다중 스케일이다. 해상도를 미리 하나로 결정해서는 안 된다.”

“Neural Operator는 데이터 기반이면서 동시에 물리 정보 기반일 수 있다.”

“지구는 하나다. 기초 모델이라면 아주 짧은 시간과 아주 긴 시간을 함께 다뤄야 한다.”

“자연에는 잠재 공간 구조가 많아서, 기존 수치 방법이 드러내지 못한 문제의 구조를 AI가 발견할 수 있다.”

“완전히 보지 못한 물리는 전이할 수 없다. 데이터가 전혀 없다면 요구할 수 있는 일이 아니다.”

“이론은 제약이 아니라 가능하게 만드는 도구여야 한다.”

“언어 모델과 에이전트는 AI for Science의 외부 래퍼일 뿐이며, 물리 세계를 시뮬레이션하고 설계하고 제어하는 부분이 아직 크게 남아 있다.”

핵심 데이터 & 수치

• AI 연구 경력: 20년 이상이며, Caltech에서 AI와 과학을 연결하는 연구를 거의 10년간 진행했다.
• 날씨 훈련 데이터: 고해상도 전 지구 날씨 지도 약 50,000개.
• ForecastNet 속도: 전통적 날씨 모델보다 정확도는 거의 비슷한 수준을 유지하면서 수만 배 빠르다.
• 플라즈마 디지털 트윈 속도: 전통적 플라즈마 시뮬레이션보다 약 1,000,000배 빠르다.
• 날씨 시간 간격: 자기회귀 예측 한 단계가 6시간이며, ForecastNet은 이 단계를 반복해 롤아웃한다.
• 앙상블 규모: 현재 공개 예시는 수십 개 구성원이며, 필요하면 더 크게 구성할 수 있다.
• 재분석 해상도: 전 지구 데이터가 약 0.25° 해상도이며, 대략 700 × 수천 격자 규모다.
• 물리 상태 공간: 3D 공간과 시간을 포함한 4D에서 각 차원 약 1,000개 격자점만 잡아도 수백억~1조 토큰 규모가 된다.
• 극단 기상: ForecastNet은 허리케인 Lee의 상륙을 표준 예보보다 며칠 일찍 예측했다.
• 핵융합 협력: UK Atomic Energy Agency 및 미국의 여러 기관과 토카막·Stellarator 연구를 진행한다.

결론 및 시사점

1. 물리 세계의 고해상도·다중 스케일·고차원 상태를 고정 해상도와 이차 복잡도의 Transformer에 그대로 넣는 전략은 계산량과 정확도 모두에서 한계가 있다.
2. 물리 데이터는 적지만 자연법칙이 만드는 잠재 구조가 강하므로, 데이터만 늘리는 전략보다 구조적 Inductive Bias와 물리 제약이 중요하다.
3. PINN은 PDE를 처음부터 최적화하는 방식의 불안정성 때문에 만능이 아니며, Neural Operator는 여러 문제의 데이터를 학습해 이 한계를 완화한다.
4. Fourier 공간의 전역 연결, 비선형 잠재 표현, 잔차 연결은 물리 현상의 비국소성과 해상도 변화에 맞는 효율적인 절충안이다.
5. ForecastNet은 공개 재분석 데이터와 Neural Operator가 전통적 예보에 가까운 정확도와 수만 배의 속도를 동시에 달성할 수 있음을 보여줬다.
6. 구면 기하를 모델에 넣으면 단기 날씨부터 장기 기후까지 같은 구조를 확장할 수 있지만, 장기 롤아웃의 물리 보존과 확률 보정은 여전히 검증해야 한다.
7. 앙상블은 한 번 평균낸 결과를 굴리는 것이 아니라 각 초기 조건의 구성원을 고해상도로 독립 예측한 뒤 통계를 내야 위험을 정직하게 표현할 수 있다.
8. 플라즈마 디지털 트윈과 역설계는 빠른 예측을 넘어 제어·재료·핵융합 장치의 실제 설계를 바꾸는 단계로 Neural Operator를 확장한다.
9. 완전히 새로운 물리는 데이터 없이 전이할 수 없지만, 열·변형처럼 구성 요소가 알려진 결합 현상은 모듈과 커리큘럼을 통해 적은 데이터로 학습할 가능성이 있다.
10. AI for Science의 다음 병목은 더 큰 언어 모델이 아니라, 더 많은 연구용 계산 자원과 물리적으로 검증 가능한 시뮬레이션·설계·제어 시스템이다.