論文タイトル
Benchmarking and behavioral characterization of LLM agents for protein design
出典
要旨
本研究では、LLMエージェントによるタンパク質設計を評価するためのベンチマーク「BioDesignBench」が提案されました。評価の結果、最新のLLMは適切な設計ツールを選択できる一方で、生成した候補を十分に比較・評価せずに設計を終了してしまう傾向があり、この「評価の浅さ」が性能向上を妨げる主要因であることが示されました。
解説など
近年では、LLM（大規模言語モデル）が単なるチャットAIではなく、さまざまなソフトウェアを自律的に操作する「AIエージェント」として利用されるようになっています。タンパク質設計の分野でも、構造予測、配列設計、物理評価など複数の専門ツールを組み合わせて設計を進める試みが増えています。
しかし、「LLMエージェントは本当に人間の研究者のように設計できているのか」を体系的に評価する方法はこれまで十分に整備されていませんでした。
そこで本研究では、BioDesignBenchという評価ベンチマークが開発されました。
BioDesignBenchには、抗体、酵素、ミニタンパク質バインダー、足場タンパク質（スキャフォールド）、蛍光タンパク質を対象とした76種類の専門家が作成した設計課題が収録されています。課題は、新規設計（de novo design）と既存タンパク質の改変（redesign）の両方を含んでいます。
各種タンパク質設計ツール群が扱える基盤として、筆者らは Protein Design MCP を活用しています。
本研究では、
- DeepSeek V3
- GPT-5
- Claude Sonnet 4.5
- Gemini 2.5 Pro
の4種類のLLMエージェントが評価されました。
評価では、人間の専門家、理想的な人間オラクル、およびLLMを用いない固定パイプラインとも比較されています。
結果として、DeepSeek V3とGPT-5は固定パイプラインを上回る性能を示しました。しかし、人間の専門家には及びませんでした。
興味深い点は、その理由でした。論文ではエージェントの行動ログを詳細に解析し、
- 必要なツールを選べているか（Tool Coverage）
- 候補をどれだけ丁寧に評価しているか（Evaluation Depth）
を分けて解析しています。
その結果、多くのLLMは適切なツール自体は選択できていることが分かりました。
一方で、
- 少数の候補しか作らない
- 評価指標をほとんど使わない
- 候補同士を比較しない
- 良くない候補を捨てない
という行動パターンが共通して観察されました。
論文では、LLMは確率的に生成された候補を「比較すべき候補群」ではなく、「最初に得られた正解」のように扱ってしまう傾向があると考察しています。
この仮説を検証するために、研究者らはForced-depthという介入実験を行いました。
これは、
- 複数候補を必ず生成する
- それぞれを構造・界面・物理・学習ベース指標など複数の観点で評価する
- ランキングして最良候補のみ提出する
ことをLLMに義務付けるものです。
その結果、
- DeepSeek V3はベースラインより9.3点
- GPT-5は15.9点
スコアが向上しました。著者らは、この結果から性能向上の要因は計算量そのものではなく、「多面的な評価」を行う行動様式にあると結論付けています。
