주말에 1만 건의 신약 발견 실험을 RL 환경으로 전환한 과정

URL: https://www.youtube.com/watch?v=hQSBJVreLms 날짜: 2026-10-15 채널: latentspacepod (Latent Space AI for Science Podcast)

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==대규모 DNA-encoded library(DEL) 실험을 물리적으로 검증된 데이터베이스와 언어 모델 기반 reinforcement-learning 환경으로 바꾸면, 인간 medicinal chemist가 경력 전체에 수행하는 수십 건의 구조-활성 관계(SAR) 캠페인을 주말에 1만 건 규모로 실행할 수 있는가?==

• Leash Bio는 수백~수천 개의 단백질과 각 단백질당 650만 개 안팎의 소분자를 반복 측정해, 단순히 많이 모은 데이터가 아니라 activity cliff와 counterfactual을 포함한 인과적 데이터를 만들려고 한다.
• 공개 화학 데이터는 어떤 화학자가 무엇을 만들고 무엇을 만들지 않았는지에 대한 사회학적 흔적을 포함한다. ChEMBL 화학자 분류의 top-five 정확도가 60%에 달한 사례처럼, 모델이 물리학 대신 연구자의 선택을 학습할 수 있으므로 데이터 분할·음성 대조군·metadata 검증이 필수다.
• Hermes는 ESM 단백질 embedding과 SMILES token 기반 화학 embedding을 cross-attention으로 결합하지만, 단백질의 “별명”을 외우는 문제를 드러냈다. 포켓 돌연변이와 activity cliff를 대규모로 추가해 모델이 실제 결합 원인에 집중하도록 유도한다.
• 최근에는 소분자와 단백질의 구조·차이·결합 이유를 읽기 쉬운 영어로 표현하고, 수백만 개 catalog에서 다음 실험을 고르는 reasoning agent를 만든다. 실험 결과가 이미 데이터베이스에 있으므로 agent는 빠른 보상 신호를 받으며 6.5 million개 후보에서 최적 binder를 찾는다.

Ian Quigley는 소분자 결합 측정, 단백질 변이, 실험 batch 관리, 언어 기반 추론을 하나의 확장 가능한 발견 엔진으로 묶고, 장기적으로는 신약뿐 아니라 농업·수의학·재료과학의 분자 문제에도 일반화할 수 있는 물리적 substrate를 만들려 한다.

1. Leash Bio가 풀려는 소분자 결합 측정 문제

Leash Bio는 대규모 소분자-단백질 결합 데이터를 만들고 이를 machine learning으로 이해해, 실제 환자용 약물 후보로 전달하는 machine-learning small-molecule company다.

1.1. 회사의 출발점과 소분자의 역할

1. 출발점은 부족한 결합 데이터다

   1. Ian Quigley와 공동창업자 Andrew Blevins는 단백질 표적에 결합하는 소분자를 예측하려다 공개 데이터의 질과 양이 충분하지 않다는 문제를 만났다.
   2. 두 사람은 Recursion에서 고차원 생물학(high-dimensional biology)의 실패 모드와 측정 잡음을 다룬 경험을 활용해, 더 큰 규모의 데이터 생산 체계를 만들기로 했다.

2. 소분자는 세포 안으로 들어가는 약물 형식이다

   1. 항체(antibody)와 GLP-1 같은 단백질 치료제는 크기가 커서 세포 안으로 들어가기 어렵고 알약으로 만들기 힘들어 주사 투여가 일반적이다.
   2. 소분자(small molecule)는 작고 알약으로 만들 수 있으며 세포 안의 단백질에 접근한다. 혈액-뇌 장벽(blood-brain barrier)을 넘거나 종양 방어를 통과하기도 쉬워, 시판 알약의 대부분을 차지한다.
   3. 광범위하게 이동하는 장점은 독성·부작용 위험이기도 하다. 간 손상(liver toxicity), 심장 부정맥(cardiac arrhythmia) 등 off-target 문제가 생길 수 있어, medicinal chemist는 결합력과 안전성 사이에서 반복 최적화해야 한다.

3. 결합 데이터는 독성 예측의 출발점이다

   1. 특정 표적 하나뿐 아니라 가능한 모든 인간 단백질, 나아가 다른 종의 단백질과 소분자의 결합을 측정하면 off-target 독성을 미리 찾을 수 있다.
   2. 같은 분자가 사람·생쥐·쥐의 단백질에서 다르게 행동할 수 있으므로, 종간 단백질 변이를 측정하면 어떤 동물 모델이 적절한지도 판단할 수 있다.
   3. 세포막 투과성·세포 내 복합 반응·심장세포의 부정맥처럼 단일 단백질만으로 설명되지 않는 ADMET/세포 수준 현상은 후속 세포 assay와 모델 fine-tuning의 대상이다.

1.2. DNA-encoded library(DEL)의 작동 원리

1. 수많은 튜브를 하나의 barcode 혼합물로 바꾼다

   1. 전통적 방식은 단백질을 서로 다른 튜브·well·plate의 소분자와 하나씩 반응시켜야 하므로 규모가 커질수록 물류 부담과 시간이 급증한다.
   2. DEL은 한 튜브에 많은 소분자를 넣고 각 소분자에 물리적으로 연결된 짧은 DNA barcode를 붙인다.
   3. 단백질 표적을 magnetic bead 같은 고체 지지체에 붙여 혼합물에 넣으면, 모양과 전기적 성질이 맞는 소수의 소분자가 단백질에 걸린다. bead를 꺼내 세척한 뒤 남은 분자의 DNA를 sequencing해 어떤 분자가 enrichment됐는지 읽는다.

2. combinatorial chemistry가 library 규모를 만든다

   1. 수천~수만 개의 building block을 한 번에 모두 조합하는 것이 아니라, building block을 단계별로 붙여 수십만~수백만 개의 조합을 만든다.
   2. 예를 들어 최종 분자는 세 개의 spoke가 달린 hub일 수 있고, building block 수보다 최종 조합 수가 훨씬 크다.
   3. 개별 튜브를 쓰는 세계 최대 library가 low single-digit millions 수준인 반면, DEL에서 생산된 가장 큰 library는 40 trillion molecules에 이른다. 이 극단적 규모에는 품질·해석 문제가 따라온다.
   4. 비슷한 분자가 한 building block만 바뀐 채 반복되므로, 어떤 작은 부위의 변화가 결합을 바꾸는지 비교할 수 있다. 이 반복 구조가 machine learning에 특히 유리하다.

3. DNA sequencing은 싸고 확장 가능한 readout이다

   1. Leash의 원칙은 생명과학 문제를 사진 또는 DNA sequencing으로 읽을 수 있는 형태로 바꾸는 것이다. Sequencing은 정보를 읽는 또 하나의 “사진”이며, 비용이 계속 하락하고 이미 매우 잘 확립된 기술이다.
   2. Recursion은 세포의 실제 이미지를 찍고, spatial-omics·proteomics 등은 이미지와 sequencing을 조합한다. 단백질체 분야에는 아직 규모가 충분하지 않은 접근도 있다는 것이 Ian의 견해다.
   3. 초기 인간 genome이 약 10억 달러였던 반면 현재 인간 genome은 약 1,000달러 또는 그보다 낮은 수준까지 내려왔다. 과거에는 sequencing 비용 하락이 Moore’s law보다 빨랐던 구간도 있었으며, Leash는 이 추세가 더 많은 측정을 가능하게 할 것으로 본다.

4. 결합 여부를 읽을 때 필요한 대조군과 barcode 설계

   1. bead만 넣었을 때의 신호, 단백질 일반 stickiness, 특정 chemical library가 비특이적으로 끌려 나오는 현상을 파악하려면 정교한 negative control이 필요하다.
   2. PCR에서는 어떤 DNA가 더 빠르게 증폭되는 작은 편향이 생긴다. 고유 서열(unique sequence)을 넣어 여러 copy를 하나의 원래 event로 collapse하고 증폭 편향을 통제한다.
   3. DNA와 결합하는 것이 본래 역할인 단백질이 많기 때문에, 단백질-DNA 상호작용은 false positive가 될 수 있다. 하나의 소분자를 32개 또는 48개의 서로 다른 barcode로 표현하면, 동일한 화학 구조 중 특정 barcode만 과도하게 enrichment되는지 확인할 수 있다.
   4. 하나의 barcode만 유독 강하면 소분자가 아니라 DNA 서열을 잡고 있을 가능성이 있다. 반대로 특정 단백질이 선호하는 DNA motif 자체를 회수해 transcription factor의 consensus binding motif를 찾는 식으로, 이 현상은 단백질-DNA 결합을 발견하는 정보가 되기도 한다.

5. DNA tag의 물리적 왜곡은 숨기지 않고 모델에 넣는다

   1. DNA barcode는 소분자에 비해 상당히 크고 무겁다. DNA가 결합 포켓을 가리거나, barcode가 붙은 상태와 약물 후보로 합성한 상태가 다르게 행동할 수 있다.
   2. 실제 약물 후보로 진행할 때는 DNA를 제거해 소분자를 다시 합성하고 functional assay를 한다. 쉬운 표적에서는 약 90%, 어려운 표적에서는 약 50%가 barcode가 없어진 조건에서도 성능을 유지하는 경험적 attrition이 있다.
   3. machine-learning training에서는 barcode의 존재를 결함으로 숨기지 않고 위치 placeholder로 명시한다. 측정된 값은 DNA가 달린 분자의 실제 세계 신호이며, DNA가 없다고 가정한 허구의 신호로 바꾸지 않는다.
   4. 같은 단백질을 새 batch로 만들고 library도 새로 만들어 수개월 간 반복해도 상위 hit와 순서가 대체로 재현된다. Leash는 이 반복성이 ground signal의 신뢰성을 뒷받침한다고 본다.

1.3. 왜 DEL이 악명 높고 Leash가 다른 방식으로 다루는가

1. 고전적 DEL screening의 부담

   1. 전통적으로는 특별히 어려운 표적 하나를 골라 2~6개월 동안 대량 단백질을 생산·정제하고 functional assay로 품질을 확인한 뒤 한 번의 큰 DEL screen을 한다.
   2. 한 번의 기회를 최대화하려고 CRO나 내부 팀은 더 크고 다양한 DEL을 원한다. 그러나 하나의 표적과 하나의 대형 library만 보면 library의 제조 편향과 단백질 batch 문제를 알아내기 어렵다.
   3. DEL을 만져 본 사람 대부분이 “더 많이 하자”고 말하지 않는다는 농담이 나왔다. DNA가 달린 분자, PCR bias, 단백질-DNA stickiness, 합성 후 attrition이 모두 악몽의 원인이다.

2. Leash는 한 표적의 hit보다 library의 성격을 먼저 측정한다

   1. Leash는 하나의 단백질에서 최고의 binder 하나를 찾는 대신 수백 개의 단백질에 같은 library를 반복 적용해, library가 어떤 chemistry와 artifact를 갖는지 학습한다.
   2. 같은 library를 여러 번 제조했는데도 batch마다 행동이 달랐고, 수백 개 단백질의 결과를 본 뒤에야 그 motif를 알아냈다. 이 데이터는 library 제조·단백질 생산 과정의 troubleshooting에도 쓰인다.
   3. 사용 가능한 예산은 소분자 수와 단백질 수라는 두 축 사이에서 배분된다. 단백질 3개에 10억 개 분자를 쓰거나, 수천 개 단백질에 single-digit millions를 쓰는 선택이 가능하다. Leash는 한 축만 극단화하지 않고 두 축 모두에 변이를 확보하려 한다.
   4. 가장 작은 custom DEL은 약 50,000 molecules까지 만들 수 있고, building block 수·library size·barcode 설계의 “bells and whistles”를 목적에 맞게 조절할 수 있다.

3. Recursion에서 배운 epistemic rigor

   1. Ian, Andrew Blevins와 Leash 팀의 여러 구성원은 Recursion에서 고차원 imaging data의 cheating mode를 직접 겪었다. 모델이 실험 장비, batch, 이미지의 잡음을 예측하면 실제 생물학이 아니라는 원칙을 체득했다.
   2. Leash는 측정 장비·batch·단백질 생산 조건을 예측할 수 있는지부터 의심하고, 어떤 noise source가 있는지 찾아 제거하는 문화를 DEL assay에 적용했다.
   3. Recursion 출신 창업팀으로 Leash 외에 Ron Alpha의 Noetic, Vishaluru·August Allen·Hana Gordon·Dave Healey가 관여한 Invita, Katy Rose Scully의 Known Medicine(후에 PathAI에 인수됨)이 언급됐다. 이 조직들은 모두 noisy measurement에서 신호를 뽑는다는 공통점을 가진다. Leash는 소분자 chemistry, Invita는 natural-product mixture와 mass spectrometry 등을 다룬다.

2. 대규모 측정이 필요한지 검증한 Kaggle 실험

Leash는 데이터 규모를 키우기 전에 공개 평가를 설계해, 소분자-단백질 결합 예측이 실제로 얼마나 어려운지와 모델이 어떤 분할에서 무너지는지를 공개했다.

2.1. 지하실에서 만든 40억 interaction dataset

1. 기존 데이터와 비교할 수 없는 크기

   1. 당시 가장 큰 소분자-단백질 결합 집계 데이터베이스 BindingDB는 physical interaction이 300만 건보다 조금 적었다.
   2. Leash는 지하실 아파트에서 한 사람이 측정한 약 40억 physical interaction dataset을 만들었다. 천장이 7피트라 비좁아 보이는 지하실이었고, “garage startup”보다 더 지하에 가까운 biotech 출발이었다.
   3. 이 데이터는 약 2년 전 Kaggle competition으로 공개됐다. 단순한 random train/test split 대신, 실제 일반화 난이도를 드러내도록 chemical library의 조합 구조를 이용했다.

2. 분자 표현에 대한 사전 가설도 시험했다

   1. SMILES, 3D graph, spherical convolutional network 등 여러 molecule representation이 논쟁의 대상이었다.
   2. 참가자들이 원하는 표현을 사용하도록 두었고, basic SMILES가 다른 화려한 표현보다 약간이지만 일관되게 나았다. SMILES는 3D 구조를 직접 담지 않는 graph traversal의 텍스트 문자열이며, 출발점에 따라 canonical/non-canonical 형태가 달라질 수 있다.
   3. 이 결과는 “복잡한 representation이 반드시 더 낫다”는 믿음을 지지하지 않았고, Leash는 단순한 representation으로 빠르게 반복하는 방식을 유지했다.

2.2. triazine hub와 세 단계 난이도

1. 평가 library 구성

   1. 상하이에서 AlphaMol이라는 회사를 운영하는 후원자 Xiaoji Lou에게서 약 130 million molecules의 library를 받았다.
   2. 분자 중심은 모든 molecule에 공통인 triazine hub이고, hub에서 세 개의 spoke가 뻗는 구조였다.

2. 쉬운 분할

   1. 일부 train/test 분할에서는 한 building block 또는 한 spoke가 공유되고 나머지 두 spoke만 달랐다.
   2. 공통 부분이 많아 building block을 보고 유사한 결과를 추론하기 쉬운, 가장 낮은 난이도였다.

3. 중간 난이도 분할

   1. building block은 공유하지 않지만 같은 triazine hub가 남고, spoke가 비슷하되 동일하지 않은 조건을 만들었다.
   2. 표면적 유사성은 남아 있지만 직접 암기할 수 있는 block identity는 줄어든 조건이다.

4. 최고 난이도 분할

   1. Leash가 별도로 설계한 완전히 다른 chemical library를 사용했다. 공통 hub, 공통 building block, attachment chemistry가 모두 없었다.
   2. 세 조건의 비율은 공개하지 않고 평가만 제시해, 참가자가 난이도 설계를 역추적하기 어렵게 했다.

2.3. 2,000팀이 보여준 일반화 한계

1. 공통 구조가 남으면 성능이 올라간다

   1. 약 2,000팀이 참여했고, shared building block 조건에서는 성능이 가장 좋았다.
   2. 공통 building block이 없고 hub만 같은 조건에서는 표적에 따라 약간의 성능 향상이 있었지만, hub가 완전히 달라진 최난도 조건에서는 어떤 팀도 chance보다 나아지지 못했다.
   3. 우승자 Victor Schlapov의 접근은 좋았지만 역시 최난도에서 유의미한 초과 성능을 보이지 못했다. 상위 5팀 중 3팀은 noisy tutorial notebook이었다.

2. 평가를 숨긴 private test

   1. 일반적인 Kaggle처럼 공개 점수로 연습하고 private leaderboard로 최종 평가했지만, Leash는 핵심 library를 private에 숨겨 “spicy”한 평가를 만들었다.
   2. 누구도 잘하지 못한다는 결과에 “경쟁자가 모두 초보였던 것 아니냐”는 반론이 나오자, Leash는 raw read count, binary label, 모든 evaluation을 포함한 전체 데이터를 공개했다.
   3. 자료는 Recursion이 운영한 비영리 Polaris에 올라가 누구나 재현할 수 있다. Leash는 문제를 해결할 사람이 있다면 직접 보여 달라고 요청했다.

3. Kaggle이 준 전략적 결론

   1. 40억 interaction을 공개하면서 최근 co-folding 계열 발전이 회사를 쓸모없게 만들 가능성을 약 5%로 걱정했지만, 그런 일은 일어나지 않았다.
   2. 잘못된 결론이더라도 10년을 투자하기 전에 알 수 있어야 한다는 태도가 있었다. 결합 예측이 예상보다 훨씬 어렵다는 사실은 오히려 scalable measurement를 가진 Leash의 기회로 해석됐다.
   3. 완벽한 구조·물리 모델이 있다면 학습 분포가 달라도 성능을 낼 수 있어야 한다. 따라서 내부 분자로만 학습한 모델이 진짜 구조 이해를 갖는지, 외부 분자에서 평가하는 것이 중요하다.

3. Hermes: 단순한 결합 모델과 “Clever Hans” 검증

Hermes는 최신 최고 성능보다 반복 가능한 실험을 빠르게 수행하려고 만든 작은 모델이며, 모델이 물리학이 아닌 데이터의 편향을 외우는지 확인하는 장치이기도 하다.

3.1. Hermes의 구조와 inductive bias

1. 두 개의 embedding

   1. 단백질 쪽은 Meta에서 시작해 독립 회사를 거쳐 Chan Zuckerberg에 합류한 팀의 Evolutionary Scale Modeling(ESM) embedding을 쓴다.
   2. 화학 쪽은 SMILES token을 예측하는 chemistry embedding(Kvera로 불린 representation)을 쓴다.
   3. 두 embedding을 cross-attention으로 결합하고 binary binding label을 예측한다. 작고 단순해 실험 iteration을 많이 돌릴 수 있게 설계했다.

2. 왜 단순한 MLP가 아니라 cross-attention인가

   1. 그래프 모델의 좌표를 섞어도 성능이 유지되는 경험은 모델이 구조 전체보다 개별 local feature에 의존할 수 있음을 보여줬다.
   2. Picasso problem처럼 코의 위치와 눈의 회전을 뒤섞어도 CNN이 “Picasso”라고 맞히는 현상은 global topology를 이해하지 못하고 local motif를 외우는 사례다.
   3. DEL의 세 building block을 독립적으로 외워 단순 합산하면 어떤 부분이 어떤 단백질 residue와 상호작용하는지 알 수 없다. Cross-attention은 분자 조각과 단백질 residue가 서로 보도록 하는 inductive bias를 제공한다.

3.2. 구조적으로 공정한 split과 baseline

1. building block identity를 넘어 similarity cluster로 분할한다

   1. 공통 building block이 train/test에 겹치면 memorization으로 성능이 부풀 수 있다.
   2. 비슷한 building block을 similarity 기준으로 clustering한 뒤 cluster 전체를 train 또는 test에만 넣어, 가까운 유사체조차 겹치지 않게 했다.
   3. 이 split에서 성능이 떨어지는 것은 모델이 단순 identity뿐 아니라 가까운 유사성도 cheat mode로 사용할 수 있음을 뜻한다.

2. XGBoost를 항상 baseline으로 둔다

   1. 복잡한 모델을 6개월 최적화한 뒤 누군가 XGBoost나 random forest를 돌려 바로 이기는 일이 있다는 농담처럼, Leash는 모든 평가에 XGBoost 같은 상식적인 baseline을 둔다.
   2. building block 두 개, 하나, 없음으로 멀어질수록 XGBoost 성능은 꾸준히 떨어졌다.
   3. Hermes 성능은 여러 split에서 비교적 안정적이었다. XGBoost가 완전히 out-of-distribution이 되어서야 무너지고 Hermes가 버틴다는 점은, 적어도 이 평가 범위에서 Hermes가 단순 block memorization에 덜 의존했음을 시사한다.

3.3. Clever Hans: ChEMBL에서 배운 “화학자의 별명”

1. 화학자를 맞히는 것이 너무 쉽다

   1. Leash는 ChEMBL에서 30편 이상 논문과 600개 이상 molecule을 발표한 1,815명의 화학자 데이터를 모았다.
   2. 분자 구조만 보고 어느 화학자가 만들었는지 분류했을 때 top-five accuracy가 60%였다.
   3. 같은 논문·기관에서 함께 일한 화학자끼리 가장 많이 헷갈렸고, 개인마다 building block 선택·반응·구조의 독특한 “chemical signature style”이 있다는 해석이 가능했다. 후배와 trainee가 선배의 일부 스타일을 물려받는 흔적도 보였다.

2. 공개 activity label은 선택의 흔적을 포함한다

   1. 화학자는 비용·제조 가능성·실험실 일정·보유 building block 때문에 수많은 후보를 만들지 않는다. 만들지 않은 선택은 기록되지 않지만, 실제로 만들어진 후보의 분포에 지문처럼 남는다.
   2. 이미 임상까지 간 building block을 선호하거나 용해도를 높일 것이라고 믿는 개인적 경험·습관도 구조에 반영된다. 같은 화학자가 유사한 문제를 계속 풀면 모델은 문제의 물리보다 연구자의 sociology를 학습한다.
   3. hit를 찾은 뒤에는 결합 부위라는 가설을 시험하려고 functional group을 계속 붙이고, 용해도나 다른 properties를 보정하려고 친수성 group을 추가한다. 잘 작동한다고 믿는 series일수록 더 복잡하고 비싸며 무거워진다.

3. 모델이 배우는 것은 chemistry가 아니라 사람의 선택이다

   1. Leash는 molecule 자체를 쓰지 않고 1,800차원의 “creator probability” vector로 바꿔 activity를 예측했다.
   2. 이 vector는 chemical formula를 쓰는 것만큼 잘 맞혔고, 두 표현을 합쳐도 의미 있게 좋아지지 않았다. 모델이 화학 대신 누가 만들었는지의 사회학을 학습한다는 강한 경고다.
   3. Kaggle·공개 데이터에서 molecular weight만 정렬해도 가장 강한 예측자가 되는 사례가 있었다. CAST-16에서는 단순 정렬이 1위와 동률 또는 2위 수준이었다.
   4. 무거운 분자가 본질적으로 더 잘 결합해서가 아니다. 잘 작동한다고 믿은 molecule에 chemist가 더 많은 functional group과 복잡한 합성을 추가했기 때문에, “작동함 → 더 많이 만듦 → 무거워짐”이라는 dataset sociology가 생긴다.

4. Clever Hans 비유

   1. 19세기 말 독일의 말 Clever Hans는 칠판의 산수를 발굽으로 맞히는 천재처럼 보였다.
   2. 정답을 모르는 사람이 문제를 내자 말은 실패했다. 말은 숫자를 계산한 것이 아니라 정답에 가까워질 때 주인의 자세와 미세한 표정을 읽었다.
   3. 구조적 화학 모델이 화학을 이해한다고 말하면서 사실은 화학자의 지문을 읽을 수 있다. 말이 수학을 이해하지 않은 것처럼, 모델도 물리학을 이해하지 않을 수 있다.

4. 인과적 activity cliff와 단백질 변이

모델이 포켓의 모양이나 단백질 이름을 암기하지 않고 결합 원인을 배우려면, 분자·단백질 양쪽에 작은 변화와 큰 결과를 반복적으로 넣어야 한다.

4.1. 외부 데이터와 구조 모델의 공정한 비교

1. 내부 데이터로만 학습하고 외부에서 테스트한다

   1. Leash는 외부 데이터를 training set에 섞지 않고 내부적으로 만든 데이터만으로 학습했다.
   2. 외부 molecule collection을 여러 단백질에 예측하고, 신중하게 고른 positive/negative를 포함해 약 500 protein target에서 총 약 13 million test를 수행했다.
   3. 당시 state-of-the-art structural model인 Boltz와 비교했을 때 Hermes는 구조 모델이 할 수 있는 모든 일을 하지는 못했지만, 공개 binding dataset에서는 비슷한 수준의 성능을 보였다.

2. BRD4 사례는 training leakage를 드러낸다

   1. 내부에서 사용했지만 모델이 보지 못한 orthogonal chemical library에 BRD4 target을 넣었다.
   2. 내부 molecule과 동일한 molecule이 PDB crystal-structure training set에도 있었을 가능성이 높았다.
   3. Hermes는 먼 chemical library의 해당 molecule을 잘 맞히지 못했지만 Boltz는 완벽하게 맞혔다. Boltz가 동일 단백질과 molecule의 crystal을 이미 봤기 때문일 가능성이 크며, 구조 모델의 성능도 암기·분포에 의해 달라질 수 있음을 보여준다.

4.2. activity cliff는 작은 변화로 큰 행동 차이를 만드는 데이터다

1. 분자 쪽 activity cliff

   1. 서로 거의 같은 두 molecule에서 single atom 수준의 차이가 큰 결합 차이를 만들 수 있다.
   2. Medicinal chemistry의 “magic methyl”은 작은 methyl thorn 하나의 유무가 활성을 켜거나 끄는 신화적 사례다.
   3. 한 building block이 6~30개 정도의 heavy atom을 포함할 수 있지만, 서로 매우 비슷한 두 block 사이에는 single-atom substitution만 있을 수도 있다.

2. 거친 다양성과 미세한 다양성의 긴장

   1. 서로 매우 다른 단백질에 binder를 찾으려면 coarse한 chemical diversity가 필요하다.
   2. 모델이 한 atom·한 side group의 의미를 배우게 하려면 fine-grained variation이 필요하다.
   3. Leash는 많은 단백질을 커버하는 큰 변화와 activity cliff를 만드는 미세 변화를 같은 library 체계 안에서 모두 확보해야 한다.

3. 단백질 쪽 activity cliff

   1. 잘 알려진 단백질의 amino-acid sequence에서 포켓을 cement로 메우듯 채우거나 없애고, 포켓을 이루는 residue를 바꾸는 디지털 조작을 해도 최신 co-folding 모델은 molecule을 예전 포켓 위치에 밀어 넣을 수 있다.
   2. 이 모델들은 실제로 hydrogen bond 위치·pi-stacking·side-chain 전자 구조가 깨졌다는 물리적 사실보다, “이 protein에는 이 molecule이 들어간다”는 큰 구조를 외우는 것으로 보인다.
   3. 구조 training set에는 결합하지 않는 negative와 포켓을 깨는 변이가 부족하다. 그런 crystal structure를 만들 사람이 많지 않기 때문이다.

4.3. DEL로 포켓을 깨고 결합 원인을 분리한다

1. 경쟁 ligand로 양성 결합을 먼저 확인한다

   1. intact protein을 DEL screen해 hit를 얻는다.
   2. 이미 결합 위치가 알려진 chemical을 높은 농도로 넣어 경쟁시키면, 포켓에 들어가던 chemical series가 displacement되어 사라진다.
   3. 이 결과로 해당 series가 그 포켓을 사용한다는 근거를 얻은 뒤, 단백질 construct의 포켓 residue 하나를 bulky side chain 등으로 실제 mutate한다.

2. 돌연변이가 단백질 전체를 망가뜨리지 않았는지 확인한다

   1. mutant에서 경쟁 ligand가 밀어낸 series만 사라지고 다른 위치에 결합하던 series는 그대로면, 단백질 전체가 접히지 않은 것이 아니라 특정 포켓이 바뀐 것이다.
   2. 단백질의 3~5개 residue를 각각 또는 조합으로 바꾸고 매번 screen하면, 어떤 amino acid가 어떤 chemical 변화와 연결되는지 반복해서 볼 수 있다.
   3. 포켓을 바꾸면 새로운 모양에 맞는 다른 binder가 생길 수도 있다. 이 새 binder 역시 단백질 구조 변이가 제공하는 정보다.

3. 조합 반복이 인과성을 강화한다

   1. DEL은 하나의 chemical hit가 아니라 수백 개 molecule로 된 series를 제공한다.
   2. 여러 series가 동일한 backbone을 공유하면서 한 building block만 달라지므로, 작은 side group 변화가 전체 population behavior를 바꾸는 사례를 다섯 번 이상 독립적으로 볼 수 있다.
   3. 같은 small-molecule 변이와 protein mutation을 반복 측정하면, 특정 side group과 특정 amino acid residue 사이 상호작용이라는 인과 가설이 강해진다.

4. wild type 대 mutant plot

   1. 각 점은 설계·제조한 chemical-library molecule이고, 축은 두 target에서의 binding 수준이다. 아래쪽일수록 잘 결합하고 원점 쪽일수록 결합하지 않는다.
   2. 색깔이 다른 blob은 비슷한 chemical series이며, 차이는 특정 위치에 붙은 작은 구조다.
   3. 한 mutant에서는 빨간 series가 wild type보다 더 잘 결합했고, 다른 mutation에서는 모든 blob이 포켓에서 쫓겨나 거의 전부 결합하지 않았다.
   4. 이 방식은 compound space와 protein space 양쪽에서 activity cliff를 지도화한다. 서로 중요한 binding-site residue가 한두 개만 다른 약 100개의 kinase처럼 표적군이 비슷한 경우 특히 유용하다.

4.4. attention map이 보여준 “단백질 별명”과 교정

1. 처음 기대한 attention 위치와 실제 위치가 달랐다

   1. Leash는 Hermes가 기능성 binding pocket 또는 보존된 protein domain을 볼 것이라고 예상했다.
   2. 실제 attention은 기능 부위에서도, 여러 단백질에 공통인 conserved domain에서도 떨어진 짧은 amino-acid sequence에 집중됐다.
   3. 이 비보존 영역은 단백질마다 다르므로 모델이 “이 단백질의 nickname”처럼 10~12개 residue를 외우기 좋다. 결합 physics가 아니라 식별자만 읽은 것이다.

2. 포켓 변이를 training data로 넣어 암기를 막는다

   1. 거의 같은 단백질 두 개에서 단 하나의 포켓 차이가 결합 행동을 크게 바꾸도록 만들면, 모델은 비보존 nickname만 읽어서는 성능을 낼 수 없다.
   2. Hermes를 mutation data와 함께 다시 학습하자 attention이 포켓을 포함한 여러 residue에 더 고르게 분산됐다.
   3. attention map은 단순 해석 도구가 아니라 어떤 종류의 mutation을 더 만들어야 하는지 결정하는 데이터 설계 도구가 됐다. 모델에게 “별명 전략은 쓰지 말라”고 가르치는 셈이다.

5. Hermes에서 자연어 reasoning agent와 RL environment로

Leash는 구조를 embedding에만 넣는 대신 소분자·단백질·결합 차이를 읽을 수 있는 영어로 표현해, language model이 가설을 세우고 데이터베이스 안에서 다음 실험을 선택하게 한다.

5.1. 분자와 결합을 영어로 표현하는 이유

1. 언어는 memorization의 regularizer가 된다

   1. 모델 parameter를 늘리고 mutant를 추가하면 모델이 mutant identity를 또 외울 수 있다.
   2. 자연어로 구조·변화·행동을 설명하게 하면, 표현 공간이 사람이 읽고 검토할 수 있으며 단순한 ID memorization을 억제하는 regularizer가 된다.
   3. single-cell 분야에서 gene 설명의 textual embedding을 쓰면 인간이 오랫동안 축적한 gene knowledge가 embedding에 들어간다는 사례가 있다. Leash도 비슷한 이점을 기대한다.

2. open-source language model에 medicinal chemistry를 가르친다

   1. Qwen, GLM 등 open-source model에 구조를 자연어로 설명하게 한다.
   2. 두 molecule의 차이를 자연어로 쓰게 하고, binder와 non-binder를 제시해 왜 한쪽이 결합하는지 말하게 한다.
   3. hard negative도 함께 넣어, 단순히 “이 계열은 좋다”가 아니라 거의 같은데 결합하지 않는 사례를 설명하게 한다.

5.2. agent가 수행하는 database-grounded rollout

1. 가설에서 선택으로

   1. agent에 binder 10개와 non-binder 10개를 주고, 결합 원인에 대한 가설을 쓰게 한다.
   2. 수백만 molecule catalog에서 가설을 검증할 후보 5~10개를 고르게 한다.
   3. Leash의 기존 측정 database를 coding sandbox처럼 조회하면 결과가 즉시 돌아온다.
   4. agent는 결과를 받아 hypothesis를 업데이트하고 다음 선택을 한다. 목표는 가능한 적은 step으로 최선의 binder를 찾는 것이다.

2. reinforcement rollout의 본질

   1. agent가 선택한 후보가 실제로 새로운 wet-lab을 기다리는 것이 아니라, 이미 측정된 activity cliff와 protein variation 데이터에서 즉시 reward를 받는다.
   2. 따라서 큰 규모의 reinforcement rollout이면서, causal하게 작은 mutation이 행동을 바꾼다는 근거와 reasoning trace를 함께 만든다.
   3. 현재 설정에서는 binder 10개와 non-binder 10개를 주고 molecule budget 100을 허용한다. agent 한 번의 긴 문제 풀이에는 대략 100~200회 정도의 model call이 들어간다.
   4. 650만 개 molecule의 공간에서 고른 100개 안에 최선의 binder를 찾도록 하는 방식이며, 이 구조 덕분에 주말에 10,000개가 넘는 SAR campaign을 실행했다.

3. 인간 medicinal chemist와의 비교

   1. 제약회사 chemist가 하는 structure-activity relationship(SAR) campaign은 “이 구조를 바꾸면 행동이 어떻게 달라지는가”를 보고 molecule을 개선하는 과정이다.
   2. 한 chemist가 경력 동안 경험하는 campaign은 수십 건, 많아도 약 50건 수준이다.
   3. Leash는 빠른 database reward와 광범위한 counterfactual로 같은 탐색 구조를 10,000건 이상 병렬 실행한다. 단순 생성 모델이 아니라 선택→결과→가설 갱신의 loop다.

5.3. counterfactual이 없으면 agent도 화학자의 사회학을 배운다

1. 사람이 하지 않았을 선택을 포함한다

   1. 기존 chemist data만 쓰면 비용·시간 때문에 만들지 않은 분자가 사라진다.
   2. Leash는 수백만 분자를 여러 단백질에 모두 측정했기 때문에 인간이 고르지 않았을 법한 counterintuitive choice에도 feedback을 줄 수 있다.
   3. agent가 실수하고도 왜 틀렸는지 볼 수 있어야 하며, future mistake를 포함한 data가 있어야 chemist fingerprint를 모방하지 않는다.

2. 자연어 priors와 빠른 실험 reward의 결합

   1. pretraining corpus에서 얻은 basic chemistry intuition과 reasoning ability가 초기 가설을 제공한다.
   2. database는 무한히 빠른 lab-in-the-loop처럼 작동해, agent가 이전 campaign에서 배운 것을 다음의 더 어려운 선택에 사용하게 한다.
   3. 회사는 현재 10명 규모의 작은 팀이며, 실험 corpus가 2배·10배·100배 빨라지면 agent가 탐색할 공간도 극적으로 넓어진다고 기대한다.

5.4. chemical space의 빈틈과 library 설계

1. DEL geometry는 building block이 결정한다

   1. library는 일반적으로 두세 building block을 이어 붙여 만든다. Leash는 Y자 forked molecule, linear molecule, circular macrocycle 등 다양한 geometry를 사용한다.
   2. DNA가 어디에 붙어야 하는지, attachment가 pocket을 방해하는지, 상업적으로 building block과 연결 chemistry를 구할 수 있는지를 함께 고려한다.
   3. custom synthesis는 더 오래 걸리므로 빠른 측정과 상충한다. 현재 library가 특정 protein shape에는 좋고 다른 shape에는 나쁠 수 있어, 어떤 chemical/protein space의 모서리를 커버하는지 계속 추적해야 한다.

2. 향후 library는 두 종류의 다양성을 모두 넓혀야 한다

   1. fine-grained library는 ring의 여러 위치로 nitrogen을 옮기는 것처럼 한 atom의 차이를 촘촘히 만든다.
   2. coarse-grained library는 서로 다른 geometry와 building block으로 새로운 단백질군을 덮는다.
   3. 현재 보유한 6.5 million molecules가 충분하다고 생각하지 않는다. 내부 데이터만으로도 ChEMBL의 먼 chemical corner까지 어느 정도 일반화했지만, “충분하다”와는 거리가 멀다.

6. 어려운 질문: 약물성, 동물 검증, 사업 모델

6.1. out-of-library 일반화와 합성 가능성

1. 쉬운 조립이 약물성을 제한한다는 비판

   1. DEL에서 잘 조립되는 결합은 몸에서도 잘 분해될 수 있고, 이미 조합 가능한 building block을 소모하면 약물성 최적화 여지가 줄 수 있다.
   2. 포켓 주변 ring의 모든 위치에 nitrogen을 옮기는 fine-grained analog는 상업 catalog에 존재하지 않을 가능성이 높다.
   3. Leash는 이 한계를 인정하고 custom synthesis 역량을 늘리려 한다.

2. DNA-friendly chemistry의 진전

   1. 과거에는 amide/protein bond가 DEL building block 연결의 흔한 방식이었고 체내에서 소화되기 쉬웠다.
   2. 최근 약 4년 동안 DNA를 파괴하지 않으면서 carbon-carbon, carbon-nitrogen bond를 만드는 DNA-friendly chemistry가 크게 발전했다.
   3. 따라서 Ian은 단순 결합 안정성보다 building-block diversity가 더 큰 병목이라고 본다.

6.2. ADMET와 mouse PKPD

1. 결합에서 동물 약물성으로 이동한다

   1. Leash는 binding만 하는 회사로 남지 않으려고 ADMET·PK/PD 모델과 더 emergent한 cell-level model을 library design에 결합하려 한다.
   2. 지금까지 일부 chemical series는 library hit에서 mouse의 좋은 PKPD까지 6개월 안에, 적은 수의 medicinal-chemistry cycle로 도달했다.
   3. 초기 library를 설계할 때부터 drug-likeness를 최적화 함수에 넣은 것이 속도의 한 원인이다. binding·회피할 off-target·ADMET predictor를 점수화해, 가능한 합성 library 중 목표에 맞는 작은 subset을 선택했다.

2. 염증 compound의 동물 결과

   1. compound를 mouse에 투여하고 체내 조직으로 이동하는 pharmacokinetics와 약리 작용(pharmacodynamics)을 확인했다.
   2. 염증 표적 compound에서 혈액 cytokine level을 biomarker로 추적했으며, 목표 단백질의 작용에 예상한 방향으로 cytokine이 변했다.
   3. 이런 hit 중 일부는 파트너와 논의하고 새 법인으로 spin out해 development candidate 이후의 제조·추가 안전성 시험을 진행하려 한다.

6.3. 작은 발견 비용과 큰 개발 비용

1. 경제적 비대칭

   1. 단일 신약 후보를 성공적으로 완주하는 비용은 낮게 잡아도 약 2억 달러, 높게는 10억 달러일 수 있다.
   2. discovery 자체는 수백만 달러에 불과하지만 실패하는 후보가 많아 누적 비용이 커진다.
   3. Leash는 초기 discovery가 전체 비용의 작은 비중이라는 사실을 인정하면서도, 유전적 근거가 좋고 소분자로는 어려운 표적을 빠르게 공략하는 데 충분한 경제적 가치가 있다고 본다.

2. 항체를 알약으로 대체할 기회

   1. cytokine 염증 질환은 항체가 이미 효과적으로 표적하지만 주사·냉장 유통(cold chain)이 필요하다.
   2. 같은 표적을 small-molecule pill로 다룰 수 있으면 냉장 트럭이 필요한 지역과 환자에게도 접근성이 높아진다.
   3. 이런 표적은 어렵지만 Leash는 여러 cytokine에 선택적인 chemical material을 이미 확보했다고 말한다. 성공하면 일부 항체 시장과 경쟁할 수 있지만, 임상 전환에는 훨씬 더 많은 자본과 시간이 필요하다.

6.4. lamp-post problem과 AI oracle

1. 현재 측정 가능한 층에서 시작한다

   1. 생명과학에서 수백만 마리의 mouse나 수백만 건의 phase-one trial을 실행할 수는 없다.
   2. 현재 가장 확장 가능한 것은 early discovery의 binding·구조·sequencing 측정이다. Leash는 이를 lamp-post problem으로 인식한다.
   3. 데이터·reasoning·physics model이 좋아지면 cell, animal, clinical abstraction으로 올라가야 하지만, 지금 당장은 초기 단계에서 큰 수의 측정을 확보하는 것이 현실적이다.

2. oracle filter의 미래

   1. target이 맞는지, ADMET가 좋은지, off-target이 없는지, 특정 환자군에 일반화되는지를 알려주는 AI oracle이 있다면 clinical failure를 줄일 수 있다.
   2. 새 target에 대해 곧바로 mouse study로 갈 만큼 편안한 small-molecule material을 oracle이 만들어 주는 세계를 상상할 수 있다.
   3. 이를 위해 mouse·clinical data까지 반드시 모두 학습해야 하는지에 대해서는 아직 열려 있다. target이 확실하다면 우선 ADMET와 off-target 정보만으로도 mouse study를 결정할 수 있다는 관점이 있다.

6.5. Kasari paradox와 machine learning의 사업 가치

1. 질문 자체의 역설

   1. Shri Kasari의 질문은 “좋은 drug-discovery ML model을 만들려면 대규모 고품질 데이터가 필요한데, 그렇게 좋은 데이터를 직접 모을 수 있다면 model이 왜 필요한가?”다.
   2. 특정 target 하나의 좋은 chemical을 찾는 것이 목적이라면 ML 없이도 측정을 계속해 시작할 수 있다는 지적은 맞다.

2. Leash의 답

   1. 여러 protein target에 넓게 퍼진 chemical behavior를 먼저 측정하면, 개별 target 최적화보다 깊은 분자 이해를 만들고 이후의 early material을 더 빨리 고를 수 있다.
   2. 적은 자본으로 대규모 screening을 해 온 Leash는 data engine 자체와 model을 함께 쌓아, 반복되는 screen 비용을 줄이려 한다.
   3. 충분한 engineered activity cliff와 reasoning이 쌓이면 모든 새 target을 다시 screen하지 않고도 generalize할 수 있다. 이 지점에서 model의 가치가 data collection을 넘어선다.
   4. 화학 reasoning이 충분히 일반화되면 농업·수의학·재료과학으로 확장할 수 있다. 각 분야의 모든 단백질을 다시 screen하지 않아도 기본 분자 이해를 전이할 수 있다는 가설이다.

7. 현재 규모, 정량적 한계, 경쟁 우위

7.1. Leash가 만든 실험 규모

1. 회사 역사상 누적 측정

   1. 약 2,000개의 서로 다른 protein construct를 만들고 평가했다.
   2. 최소 6.5 million molecules가 들어가는 screen을 회사 역사상 약 5,000회 수행했다.
   3. mutation의 총량은 세계 어느 조직과 비교해도 매우 큰 편일 가능성이 있으며, 6.5 million molecule combinatorial screen을 CRO에서 하나씩 하면 건당 약 10만 달러가 들 수 있다.

2. 6.5 million은 목적에 따라 충분하지만 전체 chemical space에는 부족하다

   1. 10의 40승 같은 전체 화학 공간을 모두 이해할 필요는 없다. 목표는 반복해서 실제 약물을 만드는 것이다.
   2. 내부 데이터로 학습한 모델이 ChEMBL의 다른 chemical corner에서 일반화되는 것은 고무적이다.
   3. 그러나 Leash 스스로 현재 chemical space가 충분하다고 보지 않으며, coarse/fine library를 추가해 먼 영역과 미세 activity cliff를 함께 확장할 계획이다.

7.2. potency와 KD로의 번역

1. 현재 강점은 상대 순위다

   1. 동일 screen을 반복하면 hit가 대체로 같은 순서로 돌아와 relative ranking에는 자신이 있다.
   2. read count를 그대로 KD로 변환할 수는 없다. DNA barcode 자체를 결합하는 단백질이 있고, 알려진 DNA binder가 아닌 단백질에서도 이런 현상이 발견돼 KD 해석을 방해한다.

2. SPR과 potency ladder

   1. Leash는 surface plasmon resonance(SPR) 같은 biophysics measurement로 직접적인 potency를 보정하려 한다.
   2. chemical material에 potency ladder를 포함해 DEL rank와 실제 affinity 사이의 관계를 만들 계획이다.
   3. 현재 상대 순위는 실용적이지만 KD로의 sloppy translation도 아직 개발 중이며, 이미 해결했다고 말할 단계는 아니다.

7.3. 더 많은 자본보다 먼저 필요한 실험 문화

1. better-funded lab가 복제하기 어려운 이유

   1. Leash와 Recursion은 laboratory work에서 자연스럽게 생기는 cheating mode를 수없이 겪었다.
   2. batch effect를 metadata로 추적하고, 현장 연구자가 실제로 기록할 수 있도록 frictionless tool을 만들어야 한다.
   3. 회사 설립 초기부터 모든 데이터를 다시 훑어 큰 변화의 원인을 찾아야 하며, selection·protein expression process를 처음부터 재구축하고 품질 proxy와 filter를 만들어야 한다.

2. 단백질 misfolding 필터

   1. gel로 단백질 크기와 명백한 misfolding을 볼 수 있지만, 약한 misfolding은 감지하기 어렵다.
   2. cystic fibrosis에 쓰이는 lumacaftor(자막상 lumicaptor)는 misfolded protein을 refold하는 molecular chaperone이다.
   3. Leash library에는 lumacaftor와 비슷한 molecule이 있고, 이 series가 여러 단백질에서 반복적으로 hit가 됐다. 단백질이 잘못 접히면 chaperone-like molecule이 나타난다는 사실을 역으로 이용해, 해당 protein expression을 training data로 쓰지 않는 filter를 만들었다.
   4. lumacaftor-like hit가 많으면 조건을 바꿔 단백질을 다시 만들고, 다시 screen해 정상적인 결합 profile을 얻어야 한다.

3. 문화적 진입 장벽

   1. 한두 개의 멋진 hit로 drug program을 시작하려는 조직은 assay의 모든 이상 현상을 추적할 유인이 작다.
   2. machine-learning fodder로 쓸 데이터를 만들려면 이상치를 숨기지 않고 끝까지 추적하는 인내심, 도구, 전문적인 “코”가 필요하다.
   3. 더 많은 자금만으로 이 경험을 즉시 복제하기 어렵고, 실험이 틀어지는 방식을 알아차리는 팀 문화가 핵심 자산이다.

8. 마지막 병목과 결론

8.1. sequencing 비용보다 병렬 purification이 더 큰 바람

1. 현재 가장 원하는 것

   1. Ian은 sequencing 비용이 이미 계속 하락하는 흐름을 없애고 싶지 않다. 더 싼 sequencing으로 더 많은 molecule과 더 높은 resolution의 measurement를 얻고 싶다.
   2. sequencing 비용 하락은 “by fiat로 제거할 bottleneck”이 아니라 이미 진행 중인 가장 좋은 추세다.

2. 정말 제거하고 싶은 병목

   1. 합성 후 소분자를 대규모로 정제하는 과정은 현재 HPLC 같은 장비에 의존하며, 충분히 parallelizable하지 않다.
   2. 반응 pot에서 나온 molecule이 효율적으로 만들어졌든 불순물이 많든, 대규모로 깨끗하게 분리할 수 있는 장비가 필요하다.
   3. DEL screen 뒤에 독립적으로 깨끗한 assay에 많은 molecule을 넣어 결과를 orthogonal validation하면, 현재 측정의 신뢰도를 크게 높일 수 있다.
   4. GPU는 모두가 불평하는 기본 답이었고, 웃음과 함께 purification이 더 현실적인 병목으로 제시됐다.

8.2. 주요 발언 모음

“생명과학 문제를 machine learning과 결합하려면, 확장 가능한 기술은 결국 사진을 찍는 것이다. DNA sequencing도 정보를 읽는 또 하나의 사진이다.”

“모델은 chemistry가 아니라, molecule을 만든 사람들의 sociology와 fingerprint를 학습할 수 있다.”

“Clever Hans는 수학을 이해한 것이 아니라 주인의 자세와 미세한 표정을 읽었다. 모델도 chemistry 대신 그에 해당하는 흔적을 읽을 수 있다.”

“Counterfactual이 필요하다. 모델이 사람이 하지 않았을 선택을 하고, 그 실수에 대한 feedback을 받아야 한다.”

“우리에게는 물리적으로 grounded된 reasoning을 위한 아주 흥미로운 substrate가 있다.”

8.3. 핵심 데이터 & 수치

• DEL 최대 사례: 약 40 trillion molecules.
• 일반 tube/plate library: low single-digit millions; Leash가 사용한 한 screen: 약 6.5 million molecules.
• barcode 반복: 소분자 하나당 32 또는 48개 barcode.
• barcode 제거 후 기능 assay 유지율 경험치: 쉬운 표적 약 90%, 어려운 표적 약 50%.
• ChEMBL 화학자 분류: 1,815명, 각 30편 이상 논문·600개 이상 molecule, top-five 정확도 60%.
• Kaggle library: 약 130 million molecules, 공통 triazine hub와 세 spoke, 약 2,000팀 참여.
• 공개 데이터 규모: 당시 BindingDB 300만 건 미만 대비 Leash 약 40억 physical interaction.
• Hermes 외부 평가: 약 500 protein target에서 총 약 13 million test.
• Leash 누적: 약 2,000 protein construct, 약 5,000 screen.
• Hermes/agent rollout: binder 10개와 non-binder 10개, molecule budget 약 100개, 6.5 million 후보 공간.
• agent가 실행한 SAR campaign: 한 주말 10,000건 이상; 인간 medicinal chemist의 경력 전체 수십 건, 약 50건 수준.
• mouse PKPD: 일부 series에서 library hit부터 좋은 mouse PKPD까지 약 6개월, 적은 medicinal-chemistry cycle.
• 신약 1건의 전체 개발 비용: 낮게 약 2억 달러, 높게 약 10억 달러.
• CRO 단일 screen의 대략적 비용: 약 10만 달러.

결론 및 시사점

1. DEL의 핵심 가치는 40조 개라는 headline 규모만이 아니라, 비슷한 분자와 변이 단백질을 반복 측정해 activity cliff라는 인과적 비교를 만드는 데 있다.
2. 대규모 데이터는 자동으로 좋은 training set이 되지 않는다. 화학자의 선택, 제조 가능성, batch effect, protein misfolding, DNA stickiness가 label에 섞이므로 metadata와 negative control이 모델보다 먼저다.
3. 공통 building block을 무작위로 섞은 평가에서는 memorization이 일반화처럼 보인다. similarity cluster split, 비공개 library, 외부 molecule 평가가 실제 out-of-distribution 성능을 드러낸다.
4. Hermes의 attention map은 모델이 포켓보다 단백질의 비보존 nickname을 보는 문제를 찾아냈고, 포켓 mutation을 추가해 관심을 물리적으로 중요한 위치로 되돌렸다.
5. 언어 모델은 구조를 예쁜 설명으로 바꾸는 데 그치지 않는다. binder·hard negative·activity cliff를 자연어로 추론하고 database에서 다음 counterfactual을 고르는 RL rollout의 인터페이스가 된다.
6. 10,000 SAR campaign은 실제 wet-lab 10,000회를 뜻하는 것이 아니라, 이미 측정된 6.5 million molecule landscape를 빠른 보상 환경으로 제공해 agent가 수천 개의 선택 경로를 병렬 탐색했다는 뜻이다.
7. 가장 큰 미해결 문제는 상대 binding rank를 절대 KD·potency와 ADMET·임상 결과로 변환하는 것이다. SPR, potency ladder, cell·animal data가 이 간극을 줄여야 한다.
8. chemical space 전체를 덮을 필요는 없지만 반복적으로 약물을 만들 만큼 coarse diversity와 fine activity cliff를 동시에 넓혀야 한다. 현재 6.5 million molecule은 출발점이지 종착점이 아니다.
9. Leash의 경쟁우위는 더 큰 자본만으로 복제되는 screen 수가 아니다. 수년 동안 실패 모드를 찾아 metadata·단백질 생산·정제·filter를 다시 만든 실험 문화가 데이터의 질을 결정한다.
10. 저렴한 sequencing과 병렬 purification이 결합하면, wet lab에서 얻은 실제 물리 신호가 더 넓은 reasoning model과 agent의 substrate가 된다. 충분히 일반화된 분자 reasoning은 신약을 넘어 농업·수의학·재료과학으로 확장될 수 있다.