論文タイトル
Language Modeling Materializes a World Model of Protein Biology
出典
https://biohub.ai/papers/esm_protein.pdf要旨
本研究は、大規模タンパク質言語モデルを用いて、タンパク質の配列・構造・機能を統合的に表現する「世界モデル」の構築を目指した研究です。
解説など
本研究では、タンパク質配列に対して大規模言語モデルを学習させることで、タンパク質生物学全体を表現できる統一的な潜在表現（latent representation）の獲得を目指しています。著者らはこの表現を「タンパク質生物学の世界モデル」と位置付けています。
ESMCによる表現学習
研究の基盤となるモデルは ESMC（ESM Cambrian） と呼ばれるタンパク質言語モデルです。本文によると、
- 3億、6億、60億パラメータのモデルを学習
- マスク付き言語モデリング（Masked Language Modeling）を採用
- UniRefに加えて大規模メタゲノム配列を利用
- 学習データは約28億配列
という大規模な学習が行われています。
ESM2と比較すると、UniRef50に由来する約5,000万配列に加え、メタゲノム情報が訓練データとして追加されています。論文では、学習計算量を増やすほどタンパク質構造に関する情報がモデル内部表現に対数線形的に向上することが示されています。
また、モデル内部の異なる層では異なる生物学的情報が表現されていました。
- 中間層では機能情報が強く表現される
- 後半層では立体構造情報が強く表現される
ことが確認されています。
ESMFold2による構造予測
ESMCの表現を利用して、著者らは ESMFold2 という新しい構造予測モデルを開発しています。
ESMFold2の特徴は、
- 単一配列から構造予測可能
- MSA（多重配列アラインメント）をオプションとして利用可能
- タンパク質複合体予測にも対応
- 抗体―抗原相互作用予測を高精度に実施
できる点です。
論文本文では、FoldBenchベンチマークでの抗体-抗原予測において、
ESMFold2: 50% ± 2%
AlphaFold3: 47% ± 2%
MSAなしでAlphaFold3を超えるという、高い予測性能を示したと記載されています。
タンパク質結合分子の設計
本研究の大きな特徴の一つが、構造予測だけでなく分子設計まで行っている点です。
著者らは、
- PDGFRβ
- EGFR
- PD-L1
- CD45
- CTLA-4
の5種類の標的に対して、
- ミニタンパク質（minibinder）
- 単鎖抗体（scFv）
を設計しました。
設計では、
- 候補配列を大量生成 ：15,000~117,000
- ESMFold2で複合体構造を予測
- 結合界面の信頼度でランキング ：各標的84配列を選抜
- 上位候補を実験検証
という手順を用いています。
本文によると、高計算量条件では、
- ミニバインダーで36〜88%のヒット率
- scFvで15〜29%のヒット率
が得られました。
さらに結合親和性は、
- 68 pM
- ～70 nM
の範囲に達したと報告されています。
