論文タイトル
Scaling antibody language models improves structure aware representation for antibody engineering
出典
要旨
著者らは、最大17億パラメータ、14億件の抗体配列で事前学習した抗体特化言語モデル「AbLingua」を開発しました。独自のトークナイズ手法と事前学習戦略により、抗体の構造的特徴を反映した表現を獲得し、パラトープ予測、中和能予測、抗体設計など複数の抗体工学タスクで高い性能を示したと報告しています。
解説など
近年、抗体配列を学習する抗体言語モデル（Antibody Language Model）が、抗体設計や抗体探索に活用されるようになっています。しかし既存モデルの多くは、アミノ酸を1文字ずつ独立したトークンとして扱っており、抗体構造を生み出す局所的なアミノ酸相互作用を十分に表現できないという課題がありました。
そこで本研究では、抗体専用言語モデル群「AbLingua」を開発しました。
本研究の特徴は、大きく2つあります。
1. TripleAAトークナイザー
既存モデルは20種類のアミノ酸をそのままトークンとして扱います。
一方AbLinguaでは、「3残基（トリペプチド）」を1つの単位として扱うTripleAAというトークナイズ手法を導入しました。例えば、
- QVT
- VTL
- TLR
- LRE
のような3残基単位で配列を表現します。
これにより語彙数は約20,000種類まで拡張されました。著者らは、この表現がβターンやループ構造など、抗体の局所構造モチーフをより反映できると説明しています。
2. Context Residue Transformation（CRT）
通常のMasked Language Modeling（MLM）では、一部のトークンをマスクして予測させます。
AbLinguaではTripleAAに合わせてCRTという独自学習方式を導入しました。
CRTでは、
- 関連する複数トークンを同時にマスクする
- アミノ酸置換も局所文脈を維持したまま行う
ことで、単独残基ではなく周辺残基との相互依存関係を学習できるよう設計されています。
筆者らは、AbLinguaを以下の用途に活用した事例を紹介しています。
- パラトープ予測への応用
- SARS-CoV抗体の中和能予測
- 抗体結合予測への応用
いずれも既存の抗体言語モデルに比べて優れた性能を示しています。
