読者はどこでつまずく？生成多肢選択式問題を用いた医学研究データセット

科学の成果を一般読者に分かりやすく伝達することは，科学コミュニケーションにおける重要な課題である[1,2]．特に医学分野の研究成果は患者の意思決定に直結するが，公開されている研究成果報告は高度な専門用語や複雑な論理構造を含み，一般読者には理解困難な場合が多い．こうした文書を一般読者向けに改善する際，「読者はどこでつまづくか」を正確に特定する必要がある．この課題に対して，可読性指標により文書の難易度を見積もる研究[3]や，機械学習やLLMを用いて理解困難性を推定する試みも進んでいる[4,5]．しかし，既存手法の多くは文書全体の評価にとどまっており，文書内のどの情報の理解が困難であるかを特定するには至っていない．執筆者が効果的に推敲を行うためには，「どの論理構成（方法や限界など）が伝わりにくいのか」という要素レベルのフィードバックが不可欠である．本研究ではこの課題に対処するため，医学研究成果報告書の概要（以下，医学研究概要）から，文書全体ではなく情報の構成要素単位で一般読者の理解の難しさを定量化したデータセットを構築・公開する．本研究の特徴は，論文の構成要素に基づき「目的・方法・結果・解釈・結論・限界・語彙」という7つの要素から多肢選択式問題(MCQ)を生成する点にある．これにより，単なる文章の複雑さだけでなく，研究内容を理解する上で重要な情報が正しく伝わっているかを検証可能にする．具体的には，大規模言語モデル(LLM)を用いて医学研究概要からMCQを生成し，クラウドソーシングにより一般読者からの回答を収集する．さらに，項目反応理論(IRT)[6]を用いて一般読者の回答の正誤データを元に設問ごとの難易度を推定することで，テキスト中の「理解されにくさ」を定量的に示す．さらに，応用としてLLMがMCQの難易度を推定できるのかを調査する．本研究の主な貢献は以下の3点である．•日本語医学研究概要を対象に，情報の構成要素ごとのMCQと一般読者の回答からなる難易度評価データセットを構築・公開1）した点•一般読者の回答に基づき，どのような種類の情報（例：研究目的や用語など）が理解の妨げになりやすいかを設問レベルで明らかにした点•構築したデータセットを用いてLLMによる難易度推定を行い，一般読者が用いる「消去法」や「表層的な手がかり」による解きやすさを過小評価するという，人間との認知的な乖離を明らかにした点本研究の成果は，将来的には研究者が執筆した研究概要に対し，「この情報が伝わりにくい」「この用語は補足が必要」といった具体的な修正提案を行うシステムの基盤となり，患者と医療者のより良いコミュニケーションに寄与することが期待される．1）https://github.com/sociocom/MedtextMCQThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).3データセット構築3.1医学研究概要本研究では，医学研究概要の設問難易度を調査するため，AMEDﬁnd2）に収録された研究成果報告（研究課題の概要・成果に関する公開記述）をデータソースとして，GPT-4.1miniを用いて医学研究概要を生成した．本研究ではこのうち50文書の研究成果報告から研究概要を生成した．生成した医学研究概要の例を表1に示す．3.2MCQ生成・品質評価LLMを用い，生成した50件の医学研究概要に対し7問ずつ，計350問のMCQを生成した．モデルには，LLMによるMCQ生成の品質を調査した先行研究[12]を参考に，GPT-4ominiを使用した．MCQの例を表1に示す．選択肢と解答に加え，そのMCQを作る元となった文をevidencephraseとして出力させた．付録表A.1に生成時に用いたプロンプトを示す．1文書あたり7問としたのは，概要文に含まれる情報を目的，方法，結果，解釈，限界，結論，語彙の7要素に分解し，1問ずつ問うことで，どの情報がどの程度理解されにくいかを要素ごとに定量化するためである．生成したMCQの品質評価にあたっては，先行研究[13,14]を参考に，以下の4つの観点でGemini2.0Flashを用いた自動評価を行った．各観点について，条件を満たす場合は1，満たさない場合は0とする二値評価を行った．•文脈依拠性：正答の根拠が本文内に示されており，外部知識に依存せず解答可能であるか．•一義性：正答が論理的に唯一に定まり，選択肢間に解釈の揺れや，正誤の境界を曖昧にする過度な類似性が生じていないか．•選択肢妥当性：誤答選択肢がトピックとしてもっともらしく，無関係な内容や不自然な表現を含んでいないか．•消去可能性：誤答選択肢が容易に排除されず，一定の誤答を誘発する力を有しているか．評価の結果，350問の平均得点は3.8点（4点満点），分散は0.2であった．350設問中346設問（98.9%）が4点，3点が2設問（0.6%），1点が2設問（0.6%）であった.自動評価の範疇では，得点が全体として2）https://amedfind.amed.go.jp/amed/算出した，各設問の難易度近似値の分布．横軸は難易度，縦軸は頻度を示しており，低い値の設問ほど易しい問題であることを示す.高くばらつきも小さいことから，生成された問題の多くが上記の4つの観点を安定して満たしており，MCQとしての品質が確保されていると考え，今回評価したMCQを全て使用した．3.3回答データ収集と設問難易度算出この節では，一般読者のMCQの正誤データを収集し，そのデータを用いて各設問の難易度を算出する．MCQ設問難易度推定に必要な正解データを得るため，Yahoo!クラウドソーシングを用いて一般読者の回答を収集した．調査では，1フォームあたり医学研究概要5文書と対応するMCQ35問を提示し，計50文書について回答を収集した．フォーム間の尺度接続のため，隣接フォーム間で概要1文書分の設問を共有するアンカー設計を採用し，計12種類のフォームを作成した．参加者には1フォームを割り当て，各MCQにつき約50名分の回答が得られるようにした．収集した二値回答（正答=1，誤答=0）に対し，Raschモデル（1PL）を適用して設問ごとの難易度を推定した．推定値ˆ𝑏𝑖を本研究の「設問難易度」として以降の分析に用いた．定式化・推定手順は付録A.2に記載した．本実験は，奈良先端科学技術大学院大学の倫理審査委員会にて承認を受けたものである（承認番号:2025-I-15）．3.4データセット分析一般読者の正答率は平均0.85であり，難易度は全体的に低い．各フォームのCronbachの𝛼係数は中央値で0.84となり，多くのフォームで0.80を超える高い内的整合性が確認された．これは，クラウドソーシングにより収集された回答データが一貫したorg/licenses/by/4.0/).るevidencephrase，およびLLMが難しいと判断した理由を示す．設問例選択肢Evidencephrase一般読者正答率（設問難易度）LLM推定正答率LLMが難しいと判断した理由CXCL17とは何の略称ですか？(A)C-X-Cモチーフケモカイン,(B)細胞増殖因子,(C)腫瘍抑制因子,(D)マクロファージ活性化因子新規微小環境制御分子「CXCL17」の役割を解明し(A)GoodManufacturingPrac-tice,(B)GeneralMedicalProto-col,(C)GlobalMedicalProgram,(D)GoodMedicalPractice測定尺度として機能しており，十分な信頼性を有していることを裏付けている．また，算出された難易度𝑏𝑖の分布を図1に示す．分布の平均値は−2.95と負の方向に偏っており，一般読者にとって今回作成されたMCQの多くは比較的回答が容易であったことがわかる．MCQ自体は平易な表現で作問されていることに起因する可能性がある．医学研究概要のMCQと一般読者の回答に基づく設問難易度を表1に示す．結論に関する設問は，設問難易度が-13.81であり，易しい問題である．この問題の選択肢には，「(C)TAMの研究は無駄である」といった，妥当性の低い選択肢が含まれている．つまり，この設問は，選択肢を選びやすい問題である可能性が高い．この設問の品質評価は，「消去可能性（誤答選択肢が容易に排除されず，一定の誤答を誘発する力を有しているか）」が0と判定されていたため，MCQの特徴による影響が考えられる．一方，難易度の高い設問は限界についてであり，設問難易度は3.89であった．この設問は「TAM特性の横断的比較」という解答が文章内にあるものの，他の選択肢も大きな目的としては含むことが可能であるため，解答が難しかった可能性がある．この設問の品質評価は，評価基準を満たしていたことから，文章から正解を見つけ出すこと自体が困難であった可能性がある．4応用：人間とLLMによる難易度認識の比較分析構築したMCQデータセットの応用可能性を検討するため，一般読者の回答に基づき設問の難易度を基準とし，LLMによる難易度推定がどの程度機能するかを調査する．具体的には，LLMに一般読者の正答率を推定させ，一般読者の回答データから得られた設問難易度との対応関係を比較し，LLMの推0.98(-3.8)0.2CXCL17が何の略称であるかは本文中に明記されていないため、一般読者には難しく、正答率は低いと予想される。「GMP」とは何の略ですか？治験製剤のGMP製造体制の構築0.58(-0.3)0.3GMPは専門用語であり、本文に定義がないため、一般読者には非常に難しい。定傾向とその限界を観察する．評価には，スピアマンの順位相関係数を用いる．使用モデルはGemini