論文タイトル
Large Discovery Models: Empirically-Grounded Model-Based Open-Ended Search
出典
要旨
本論文は、LLMによる生成モデルとベイズ最適化のガウス過程サロゲートを組み合わせた「Large Discovery Model（LDM）」を提案し、AI研究コード探索・抗体CDRH3配列デザイン・小分子創薬という3つの異なる領域で、LLM単体やベイズ最適化単体を上回る性能を報告しています。
用語
- ベイズ最適化・ガウス過程サロゲート：評価コストの高いブラックボックス関数を、少数の観測から確率的にモデル化する枠組み。各候補について「予測される良さ」（予測平均）と「まだどれだけ自信がないか」（予測不確実性）を返します。
- 獲得関数（EI・UCB・EHVI）：予測平均と不確実性から「次にこの候補を試す価値」を計算する指標。EIは現状のベストからの期待改善量、UCBは平均と不確実性を足し合わせて楽観的に評価する方式、EHVIは複数の目的を同時に持つ場合（多目的最適化）にパレートフロントの拡張量を評価する方式です。
- Absolut!：抗体と抗原の結合エネルギーを格子モデルで計算する構造ベースのシミュレータ。本論文ではウェットラボ実験の代わりに使うオラクル（ブラックボックス評価関数）として利用されています。
- AntBO：CDRH3配列設計に特化した既存の組合せベイズ最適化手法。本論文では汎用手法であるLDMの比較対象（ドメイン特化ベースライン）として登場します。
解説など
背景
LLMを使った自動リサーチエージェントでは、生成される提案の多様性が乏しいこと、そしてLLM自身が自分のアイデアの良し悪しを正しく評価できないことが繰り返し指摘されています。
一方でベイズ最適化は、少数の実験観測から較正された不確実性を持つ代理モデル（サロゲート）を構築し、探索と活用のバランスを取れる強力な枠組みです。しかしこちらは、分子・タンパク質配列・プログラムのような構造化かつ実質的に無限の設計空間に対して、候補そのものを生成する力を持ちません。
つまり両者は相補的な弱点を抱えています。LLMは「候補は作れるが良し悪しを測れない」、ベイズ最適化は「良し悪しは測れるが候補を作れない」。本論文は、この2つを1つのループに統合しようとする試みです。
本論文の特徴
LDMは3つの要素からなります。
- 生成モデル（LLM）：これまでの評価履歴を踏まえて候補を提案する
- 確率的サロゲート（ガウス過程）：各候補について「予測される良さ」と「不確実性」を返す
- 獲得関数：サロゲートの出力から「この候補を試す価値」をスコア化する
LDMでは、この3つを組み合わせる数式を利用します。「LLMが元々提案しやすい候補分布から大きく離れすぎない」という制約と、「獲得関数のスコアが高い候補を優先したい」という目的を同時に満たす最適な探索方針を求めます。
本手法の特徴は、探索を「活用（exploitation）」「探索（exploration）」に加えて「発見（discovery）」の3種類に分けている点です。活用と探索は、あらかじめLLMが提案できる範囲（探索の射程）の中で最善を尽くす操作ですが、発見はその射程自体を広げ、これまで提案されていなかった候補群を新たに探索対象に加える操作です。LDMでは、LLMが候補を直接生成させる代わりに、「どこを探すべきか」という探索領域そのものを出力させ、その領域内で外部サンプラーが多数の候補を生成する方式を採用しています。
結果
論文では抗体CDRH3配列デザインに応用しています。
Absolut!シミュレータをオラクルとし、5つの抗原標的に対して200回の評価予算で結合エネルギーを最適化する課題です。LDMは、ドメイン特化のベイズ最適化手法AntBOと同等の結合エネルギーに到達しました。
さらに、要因分解実験（アブレーション）では、
- テスト時の探索予算（候補提案数）を増やすほど性能が上がること
- 探索空間を動的に拡張する「発見」の仕組みを外すと性能がより低い水準で頭打ちになること
- 獲得関数を使わずサロゲートの予測平均だけで選ぶ場合はEIやUCBより性能が劣ること
- 獲得関数もサロゲートも持たないAIエージェントのみのループでは、LDMに及ばないこと
が示されています。
