論文タイトル
Generative Language Modeling for Antibody CDR Grafting and Alignment-driven De Novo Design
出典
要旨
フレームワーク全体を「プロンプト」として読み込み、すべてのCDRを一括で「応答」として生成する言語モデルGenCDRを提案し、既存モデルを上回るCDR復元精度と、対話AIの調整手法を使った目的指向のCDRアライメントを実現しています。
用語
- 自己回帰（AR）言語モデル: 直前までの文字列から次の１文字（アミノ酸）を予測し、左から右へ順番に配列を生成するモデルです。ChatGPTのような対話AIと同じ仕組みで、既存の抗体配列生成モデルの多くもこの方式を使っています。
- DPO（Direct Preference Optimization）/ 重み付きDPO: 対話AIを人間の好みに合わせて調整する際に使われる手法の１つです。複数の生成候補にスコア（報酬）を与え、スコアが高い候補を出しやすいようにモデルを更新します。本論文では複数候補をまとめて扱う「重み付きDPO」を使い、この一連の調整プロセスを「アライメント」と呼んでいます。
解説など
背景
既存の自己回帰の抗体言語モデルには、構造上の弱点がありました。左から右に生成するため、CDR1を作る時点で後続のフレームワークやCDR2・CDR3の情報を使えません。またCDRとフレームワークの「もっともらしさ」のスコア（尤度）が混ざってしまい、報酬をCDRだけに紐づけるアライメントがしづらいという課題もありました。
IgLMは配列中の１箇所だけをマスクして埋める方式でこの一部を解消しますが、３つのCDRを同時に、互いを踏まえて設計することはできません。一方、BoltzGenのような構造ベースの拡散・ハルシネーション系パイプラインは抗原の立体構造を扱える利点がありますが、学習・推論の両方で構造情報が必要なため、配列データベース（数億件規模）ほどのデータ量を活用できず、また設計するCDRの長さを事前に指定する必要があります。
本論文の特徴
GenCDRは、４つのフレームワーク（FR1〜FR4）をすべて先に読ませる「プロンプト」とし、CDR1・CDR2・CDR3を一括で生成する「応答」とする入力順序（framework-first）を採用します。これにより、CDR生成時に常にフレームワーク全体を参照できるうえ、CDR部分の尤度だけを切り出せるようになります。
アーキテクチャはLLaMA系のデコーダのみtransformer（４層、約2,500万パラメータ）で共通で、学習データだけを変えた３種類のモデルを用意しています。
- IgGenCDR: ヒト由来の非ペア（重鎖/軽鎖単独）配列 約2億5,400万件（OAS由来）で事前学習
- p-IgGenCDR: IgGenCDRから、ペアになった重鎖-軽鎖配列 約180万件でファインチューニング
- NanoGenCDR: IgGenCDRから、ラクダ科ナノボディ配列 約650万件とヒトOAS配列を1:1で混ぜてファインチューニング（ヒト配列を混ぜるのは、ヒト化されたラクダ科フレームワーク上での設計でヒトらしさを保つため）
フレームワークとCDRの尤度が分離されているため、CDR生成に対して重み付きDPOで報酬を与え、モデルを結合性・開発可能性などの目的に沿わせる「アライメント」を直接適用できます。著者らは、これを既存の自己回帰抗体モデルにはなかった特徴だとしています。
結果
① CDR復元精度は既存の自己回帰モデルを上回る
CDR復元率（実際のCDRを、直前までの文脈からどれだけ正しく予測できるか）を、既存手法と同規模（約25M）のモデルで比較しました（IMGT numbering、held-outテストセット）。なお表中の「左右版（LTR）」は、著者ら自身がframework-firstの効果だけを切り分けるために用意した比較用モデルです。アーキテクチャ・学習データ・学習設定はGenCDRと完全に同一にしたうえで、CDRの生成順序だけを通常の並び（FR1→CDR1→FR2→…）に戻して学習し直しています。
| モデル | 重鎖CDR1 | 重鎖CDR2 | 重鎖CDR3 | 軽鎖CDR1 | 軽鎖CDR2 | 軽鎖CDR3 |
|---|---|---|---|---|---|---|
| IgGenCDR（framework-first） | 91.47% | 89.81% | 49.75% | 85.63% | 84.25% | 58.54% |
| IgGenCDR（LTR） | 88.56% | 90.31% | 48.76% | 82.19% | 84.15% | 58.10% |
| p-IgGen（左右） | 85.89% | 85.39% | 40.20% | 77.61% | 76.22% | 50.38% |
| ProGen2-OAS | 85.64% | 85.59% | 41.38% | 58.40% | 43.88% | 39.38% |
| IgLM（CDR穴埋めモード） | 88.52% | 86.00% | 39.09% | 80.68% | 77.81% | 53.17% |
framework-first方式は、同一設定の左右版（LTR）に対して６つのループ中５つで上回り、特に下流フレームワークの情報が効くCDR1で伸びが大きくなっています（重鎖+2.91pt）。また公開されている全ベースラインに対して、全ループで上回りました。
② アライメントによるde novoナノボディ設計 ― BoltzGen並みを約半分のコストで
最後に、PD-L1を標的として、NanoGenCDRを起点に４ラウンドの重み付きDPOでアライメントし、構造ベースの拡散モデルパイプラインBoltzGenと同一条件（４つのナノボディフレームワーク、同じliability・長さルール、同じBoltz-2による20,000複合体分の計算予算）で比較しました。
標的抗原への条件付けは、モデルの入力ではなく報酬を介して行う
ここで注意したいのは、GenCDR自体は「フレームワークだけ」をプロンプトとしてCDRを生成するモデルであり、標的抗原（PD-L1）の配列や立体構造を入力として一切受け取らないという点です。標的への条件付けは、以下のようなアライメントのループの中で、報酬（スコア）を介して間接的に行われます。
- 現在のモデルが、４つのフレームワークそれぞれにCDRを生成する（この時点では抗原情報を使わない）
- liability・長さのルールで生成配列をふるいにかける
- 基準を通過した配列だけを、Boltz-2でPD-L1と共折りたたみ（co-folding）し、複合体構造を予測する ― ここで初めて抗原情報が登場する
- 予測された複合体構造から、結合界面の信頼度（ipSAE）などを組み合わせた報酬を計算する
- その報酬をもとに重み付きDPOでモデルを更新し、次ラウンドのモデルとする
これを４ラウンド繰り返すことで、モデルは「PD-L1とよく結合するCDRとはどんな配列か」を、抗原の構造を直接見ることなく、報酬というフィードバックだけを通じて学習していきます。抗原の立体構造を拡散モデルへ直接入力するBoltzGenとは対照的な設計だと著者らは位置付けています。
アライメントされたモデルは、探索に必要な生成数をBoltzGenよりおよそ43%少なく抑えながら、結合界面の信頼度（ipSAE）や結合接触のCDR局在度（fCDR）といった指標でBoltzGenを上回り、生成される配列も天然配列に近い性質を保っていました。ただし、これらの評価はすべてBoltz-2による計算機上の予測（in silico）に基づくもので、発現・安定性・実際の結合能を確かめるウェット実験による検証はまだ行われていません。
