【バイオインフォ】アカデミア発のバイオインフォツールは信頼性が高いのか?

論文タイトル

A Bioinformatician, Computer Scientist, and Geneticist lead bioinformatic tool development – which one is better?

出典

A Bioinformatician, Computer Scientist, and Geneticist lead bioinformatic tool development - which one is better?
The development of accurate bioinformatic software tools is crucial for the effective analysis of complex biological data. This study examines the relationship ...

要旨

バイオインフォマティクスツールの corresponding author の所属と、そのツールの予測精度の関連性を解析したメタアナリシス結果を報告しています。

解説など

本記事ではメタアナリシス論文を紹介します。世の中に公開されたバイオインフォツールは玉石混交で、その性能から保守レベルに至るまで様々です。特にインフォマティクス分野は進歩が激しく、査読なしで公開された手法も存在します。またアカデミアの研究という観点では、その研究に携わる個人のスキル取得や評価がツール開発の動機として大きな要素を占めますので、必ずしも実応用に適した精度や運用体制を伴わないツールが公開されていても致し方ありません。

そこで筆者らは、開発したバイオインフォマティクスツールの corresponding author の所属と、そのツールの予測精度に何らかの相関があると考えて調査を行いました。

解析のためのデータコーパスは下記のレポートを参照しています。

OSF

所属は下記のとおりに分類しています。

  • Expertise
    • Development:ツールの開発担当者
    • Domain:生命科学のドメイン知識に対する専門家、ウェット研究員
    • Interdisciplinary:学際分野、共同研究など
  • General fields
    • Technologies
    • Math/Statistics
    • Computer sciences
    • Biological sciences
    • Health sciences
    • Engineering
  • Specific fields
    • Medical informatics
    • Molecular medicine
    • Mathematics
    • Biostatistics
    • Biology
    • Computer science
    • Genetics
    • Statistics
    • Informatics
    • Molecular biology
    • Biochemistry
    • Bioinformatics

各カテゴリには、最低10以上の研究成果がアノテートされています。

結果としては、統計学的に有意な差がでるカテゴリは、そこまで多くありませんでした。 General fields のなかでは Technologies が、Specific fields の中では Medical informatics が優位に優れた成績を収めていたとのことです。しかし研究対象にも依存する部分がありますので、その程度も考慮すると特質したレベルではないと考えます。

既存の報告からは、長期間コミットされているツールは信頼性が高いと言われています。ツールの保守やアルゴリズム自体の改良にはコミュニティの存在も大きな役割を果たすと考えられます。ツール自体の予測性能より多くの研究員の継続的な貢献が重要と感じました。