LLMはASD小児と定型発達小児が作成したストーリーを識別できるか？

2022年現在，世界の小児のうち1/100がASD（AutismSpectrumDisorder，自閉スペクトラム症）と診断されている[1]．ASDは，社会的コミュニケーション障害と反復的な感覚運動行動を特徴とする[2]．早期発見と早期介入が，長期的な成果の向上に寄与する[3,4]．ASDの症例ではコミュニケーションの困難が顕著であることから，言語スキルに焦点を当てた介入が行われることが一般的である[5]．また，小児の家族や教師など，直接的に関わる人々の支援の仕方が，介入の成否に大きく影響を与える[2]．しかし，ASDの小児がどのように言語や事物を認識しているかを理解することは容易ではなく，支援の適切性を評価するための課題である．従来，ASDに関する研究は当事者やその家族を対象とする研究や生物学的研究を中心に行われてきた[6,7,8]．しかし，ヒトや生物を対象とするため，将来的な研究への活用LLMLLM+ASD小児のペルソナQAタスク回答回答pBigFivep性別p年齢…比較LLMの識別精度LLMの識別精度•ASDを特徴づけるパーソナリティ•ASDを特徴づける認知特性発見ASD小児の認知メカニズムの解明人的コストや倫理的制約などの課題が存在する．一方、急速に進歩を遂げているLLM（LargeLanguageModel、大規模言語モデル）は、工学的観点からヒトの模倣可能性が注目を集めている[9]．特に，LLMにペルソナを付与することで，人間の行動や振る舞いを模倣する試みが進められており，この手法がさまざまな応用につながる可能性がある．LLMはヒトや生物とは異なるものの，人的コストや倫理的制約が伴わない点で優位性を持つ．実際，ASDとは異なるものの，LLMのパラメータを削減することで，統合失調症の言語・思考障害をシミュレーションした研究がある[10]．我々はこの研究に着想を得て，従来の当事者を対象とする手法や生物学的手法とLLMを活用した手法を組み合わせることで，ASDの小児における言語認知メカニズムの解明を目指す．言語認知メカニズムが明らかになれば，ASDの小児と親や教師，またASD以外の小児とのコミュニケーションの向上に寄与できる．さらに，ASDの小児の学習支援デバイスや，ASDの小児との関わり方を助言するチャットボットの開発などへ応用が可能である．先行研究[10]のように，LLMのネットワーク構造から探索する手法は，プロンプトエンジニアリン.グと比較して透明性が高い反面，計算資源コストが高い．一方，LLMにプロンプトエンジニアリングでパーソナリティを持たせる研究が活発に行われている[11]．我々はこの研究に着想を得て，LLMに対してプロンプトエンジニアリングを用いてASDの小児のペルソナを与えることで，LLMがASD様の振る舞いを再現することを目指している(図1)．LLMがASDの小児に関する知識を既に有している場合にはペルソナの有無に関わらずASD様の振る舞いを再現する可能性がある．よって，LLMがペルソナを与える以前に，どの程度ASDの小児に関する知識を持っているかを調べることは，ペルソナを与えた場合の効果を測定する上で重要である．本稿では，第一歩として，LLMにASDの小児と定型発達の小児のストーリーを識別する能力があるかを調査する．ASDの小児と定型発達の小児が6コマのイラストを見てストーリーを生成するタスクに着目し，5択のQAデータセットを構築してLLMにASDの小児が作ったストーリーを回答させることで調査した．その結果，現状のLLMにおけるASDの小児と定型発達の小児のストーリーの識別精度は22%であることを明らかにした．本研究の成果は以下の通りである．•LLMがASDの小児と定型発達の小児のストーリーを識別する能力を持つ可能性を調査した．•ASDの専門家が不在の環境でも，定量的に評価可能なQAタスクによる実験手法を提案した．•現状のLLMでは識別精度は22%であることを明らかにした．