論文タイトル
One protein is all you need
出典
要旨
本論文では、タンパク質言語モデル（Protein Language Model, PLM）を「1つのタンパク質」に対してテスト時に自己教師ありで適応させる「ProteinTTT（Protein Test-Time Training）」が提案されています。
解説など
近年のタンパク質AIでは、ESM、ESMFold、AlphaFold系モデルのような大規模なタンパク質言語モデル（PLM）が広く使われています。これらのモデルは大量のタンパク質配列を学習しているため、未知タンパク質にもある程度汎化できます。
一方で、実際の生物学研究では「平均的にうまく動くモデル」よりも、「自分が研究している特定の1タンパク質に対して正確な予測をしてくれるモデル」が重要になる場面が多くあります。論文では、このギャップに注目しています。
ProteinTTTとは
ProteinTTTは、「推論時（test time）」に対象タンパク質そのものを使ってPLMを微調整する方法です。ここで重要なのは、追加ラベルや追加実験データを必要としない点です。
手法は非常にシンプルで、対象タンパク質配列に対して masked language modeling（MLM）を再度実行します。MLMは、タンパク質配列中の一部アミノ酸を隠し、その隠されたアミノ酸を予測する自己教師あり学習です。論文では、モデルが特定タンパク質に対して「驚かなくなる（perplexityが下がる）」ことで、そのタンパク質の内部表現が改善され、下流タスクでも性能が上がるという仮説に基づいています。
学習方法について
ProteinTTTでは、下流タスクヘッドは固定したまま、PLMバックボーンのみを対象タンパク質向けに調整します。つまり、構造予測ヘッドなどは更新しません。更新されるのは、あくまでタンパク質表現を作るPLM部分だけです。
論文では、大規模モデルにも適用できるように、LoRA（Low-Rank Adaptation）を利用して軽量な適応を行っています。また、最適化にはAdamではなくSGDを使用したと記載されています。
性能評価
構造予測、やFitness prediction で ProteinTTT の性能を評価されています。
構造予測では、
- ESMFold
- HelixFold-Single
- ESM3
にProteinTTTを適用しています。
CAMEOベンチマーク上で、低信頼予測ターゲットを対象に評価した結果、すべてのモデルで改善が報告されています。
例えばESMFoldに対して、
- ESMFold：TM-score 0.4649
- ESMFold + ProteinTTT：TM-score 0.5047
となっています。
論文では、抗体-抗原複合体に対するケーススタディも紹介されています。抗体のCDRは柔軟性が高く、構造多様性も大きいため、従来モデルでは予測が難しいことで知られています。SAbDabデータセットを使った実験では、ESMFoldで低信頼だったサンプルに対してProteinTTTを適用した結果、
- 抗体CDRの66%
- 抗原鎖の60%
でLDDT改善が報告されています。
本手法は、方法がとても単純で、応用範囲が広いことが特徴です。一方で改善幅はそこまで大きくありません。既報ではMSAを利用してモデルを更新する手法が採用されているケースもあるので、進化情報が乏しいタンパク質において、別手法に比べてどれくらい有効か検証する必要がありそうです。
