EBMでAIを活用する際に考えておくべきこと(2025/7/3現在)
AIが発達してくるとさまざまな分野で活用されるが,当然,EBMの実践においてもAIを活用したいと思うようになる.ただ,AIをEBMに取り入れることについて,なんとなく物足りなさを感じていたが,豊橋医療センターの湯浅先生とディスカッションしていて,そういうことかと合点がいった.
つまりは,AIによる情報検索は,大きく3つのレベルに分かれる.
1.一般的な情報検索
通常の一般的な検索では,ネット上にあるあらゆる情報を拾ってきて要約・整理する一般的なLLM(大規模言語モデル)が十分に使える.しかし,学術情報以外にもネット調査や企業の情報,そのへんの人(私も含む)が書いたブログなども拾ってくるため,情報の信頼性はほとんど考慮されていない.
2.学術的な情報検索
医学以外の分野では,研究における学術的な情報検索においても情報の質は問われるが,主に先行研究や事例の調査が中心である.「学術雑誌に掲載された査読付き論文」であることが一定の質を担保するため,学術論文だけを検索対象とするDeep ResearchやConsensusといった情報検索特化型AI検索ツールが役に立つ.
3.医学分野における情報検索(EBM)
他の学術分野と異なり,医学分野ではかなり厳密な手法で事実を検証することが求められる.たとえば,ある介入方法が有益かどうかは,単にやってみてデータを取って良くなったから効いたとは即断できない.だから,ランダム化比較試験(RCT)が必要である.ただし,1本のRCTで有意差が得られたからといって,その治療を行うべきと即断することはできない.たまたま得られたチャンピオンデータだけを採用するのでは真実とは言えず,判断を誤る可能性があるからだ.そのため,網羅的に全体を評価したシステマティックレビューが必要とされる.その際に,エビデンスの質が問題となる.したがって,単に世界最大の医学文献データベースであるPubMedを検索したとしても,他の学術分野における「査読付き論文」を検索した状態(2)と同じではあるが,それだけでは不十分である.
これは,他の学術分野ではシステマティックレビューはほとんど行われておらず,RCTすら実施されていない(教育分野でようやくRCTが行われるようになってきたが,システマティックレビューまでは至っていない.あるいは私が知らないだけかもしれないが)ことと,治療効果そのものがかなり繊細で微妙(=効果が不確実であまり大きくない)なものであるという,医学の特殊性・先進性のために起こる問題でもあるのだろう.
それに,PubMedはMeSHを用いた検索式を自分で作成したり,Clinical Queriesのフィルターの設定も確認できるが,情報検索特化型AIは検索方法がブラックボックス化されており,検証もできず,何をやっているのか分からず不安になる.おまけに再現性も乏しい.
例えばConsensusは学術論文のみを対象とするが,人気投票のような形で文字通り「コンセンサス」を示すため,もし集められた論文の結論が間違っていれば,その影響をもろに受ける.Elicitも同様に過去の文献レビューに強みはあるが,査読誌を検索対象としているに過ぎず,個別の論文の批判的吟味は行っていない.Perplexityに至っては,学術論文以外も拾ってくるため,製薬会社のサイトなども含まれ,情報が偏っていないか心配になる.
HarvardやMITが開発したOpenevidenceはNEJM,JAMA,Mayo Clinic Platformが参加しており,これらのグループのコンテンツが情報源に含まれているので,少なくともトップジャーナルについてはPaywall(課金しないと見られない壁)の後ろまで拾ってくれるので群を抜く.ただ,批判的吟味はほとんどされておらず,結果を鵜呑みにしてしまう点は,他の文献検索特化型AIと変わらない.
EBMにおけるAI活用は,情報検索から
第16回日本プライマリ・ケア連合学会学術大会(北海道大会/JPCA2025)のオンデマンド教育講演「AIでEBMの5つのステップは変わるのか?」でも述べたが,疑問の定式化と情報検索はいいところまで来ているものの,批判的吟味とStep4の患者への適用(✕適応)は,現時点ではAIにはまだまだ不十分であると言える.
批判的吟味については,個別に指示をすればある程度は可能だが,方法についての吟味だけで,臨床現場で使う上で重要な研究結果の批判的吟味については,特に論文に書いてある以上の読み込みはまだまだ難しいようだ.
なんでEBMでAIを使おうとするとこんなしっくり来ないんだろうと思ったのは,こういうことかと納得がいった.
現時点では,AIにより(情報検索の時短で)EBMerに近づくことは可能なので,世の中全体の底上げは可能だが,EBMerと同じように診療方針を決められるようになるまでは,もう少し時間が必要なようだ.
参考になった湯浅先生のノート
