論文タイトル
Finetuning ESM3 with Contrastive Preference Optimization for Antigen-Specific Antibody Design
出典
要旨
Contrastive Preference Optimization (CPO) を活用してタンパク質言語モデルをファインチューニングし、抗体デザインに適用した事例です。
解説など
イリノイ大学からのレポートです。筆者らは鋳型抗体に対する大量のバリアントと活性データで ESM3 をファインチューニングして、標的抗原に対する高親和性の配列を生成することを試みています。彼らの手法の特徴は、言語モデルのファインチューニングに、Contrastive Preference Optimization (CPO) を活用していることです。CPO はオフライン強化学習の一種です。正例と負例のサンプルをペアセットで用意して学習させる手法で、効果的に正例に対してのみ報酬を与えることができます。タンパク質のデザインに置き換えると、高活性と低活性の配列、かつ配列の類似したペア配列を用意することで、少数のアミノ酸置換の効果を精度高く学習させることができます。
以下に筆者らが開発したデザインプロセスを解説します。
- データセットの準備
- Chinery et al. 2024 由来の トラスツズマブ (抗 HER2) 配列変異体群
- 各配列は、high /medium / low affinity に分類されている
- CDR3 の埋め込みベクトルを作成
- ESM3 を活用
- データセットから “high” 結合活性を示す配列と、”medium” または “low” 結合活性を示す配列の中で、コサイン類似度が高い配列ペアをセットでサンプリング
- コサイン類似度の観点からトップ 100 万ペア配列を選抜
- ペアデータを使って CPO を ESM3 に適用
- 構造や機能を表現するパラメータは固定し、配列特有のパラメータのみをチューニング
インシリコ指標のみの評価結果が公開されています。既存の ESM3 ベースモデルや IgLM と比べると高親和性配列の予測成績は改善されていますが、効果は微弱でほとんど効果はありません。ESM3 や IgLM と比べて正例との編集距離が近い配列が生成されていることが示されていますが、公開されていない負例とも配列が類似している可能性があり、高親和性・低親和性を分類する力は不十分な可能性があります。
筆者らは、オープンソースの最も小さい ESM3 モデルを活用していることや、配列関連のパラメータチューニングのみにフォーカスしていることが、この改善効果の低さの原因であると考察しています。
CPO は比較的最近公開された手法で、その実装を学ぶには良い事例かもしれません。
コードこちら。
