【タンパク質デザイン】13種のタンパク質生成モデルの性能を比較検証してみた

論文タイトル

Systematic comparison of Generative AI-Protein Models reveals fundamental differences between structural and sequence-based approaches 

出典

Systematic comparison of Generative AI-Protein Models reveals fundamental differences between structural and sequence-based approaches

Recent advances in artificial intelligence have led to the development of generative models for de novo protein design. We compared 13 state-of-the-art generati...

www.biorxiv.org

要旨

タンパク質の構造・配列生成モデルの性能や特徴を同一試験上で比較評価した論文です。

解説など

筆者らは、これまでに公開された 13 種類のタンパク質生成モデルの性能や特徴をパラレルに比較検証しています。モデルの種類は、実験結果とともに下記の表にまとめていますのでご参照ください。

本論文ではこれらのモデルに対して、以下４つの指標で各モデルの性能を評価しました。

• Designability：設計可能性
  • 生成されたBackbone構造に対して、ProteinMPNNで複数の配列（10種類）を設計。
  • 各配列をOmegaFoldで構造予測し、元の構造との一致度（scTM-score）を測定。
  • また、scRMSD（原子間距離の平均偏差）も評価。
• Feasibility：物理的妥当性
  • PyRosettaを用いて、生成構造の物理化学的エネルギー（REF2015スコア）を計算。
  • 比較対象：PISCESデータベースの天然タンパク質。
  • 以下のような詳細指標も分析：
    • fa_rep（原子間斥力）
    • hbond_sr_bb（短距離水素結合）
    • rama_prepro（二面角の妥当性）
    • Φ/Ψ/Ω/χ角度の分布
    • 二次構造モチーフ（α-ヘリックス、β-シートなど）の頻度
• Diversity：構造的多様性
  • 生成配列をESM-Large言語モデルで埋め込み（embedding）。
  • t-SNEで2次元に可視化し、自然タンパク質（UniRef50, PISCES）との分布比較。
  • また、MaxClusterを使って構造クラスタ数をカウント。
• Novelty（新規性）
  • Foldseekで、生成された構造をESMAtlas構造データベースと照合。
  • 最も似ている構造とのTM-scoreや一致率（LDDT）、ヒットの有無を調査。

詳細は下表に譲りますが、全体的な傾向としては、拡散生成モデル由来と配列生成モデル由来の間に大きな溝がある印象です。前者の方が生成された構造の信頼性は高いものの、構造の多様性は乏しく、また出現するアミノ酸配列分布が天然と異なります。

また conditional な生成が可能な以下５つのモデルについて、TEVプロテアーゼの再設計を行い活性評価を行いました。一応実績としては、RFdiffusion と Protpardelle から活性をもつデザインがひとつずつ得られましたが、例数が少なく、機能デザインに対して統計的な性能を評価するには、より多くのスクリーニング数が必要そうです。

• RFdiffusion
• Chroma
• Protpardelle
• ProteinGenerator
• EvoDiff