専門家と非専門家はどう問うか歴史調査における対話システムへの質問の定量分析

大規模言語モデル（LLM）の発展により，歴史研究をはじめとする人文学分野でも調査支援システムが実用化されつつある．特に書籍や史料を対象としたRetrieval-AugmentedGeneration（RAG）[1]は，膨大な文献を効率的に探索することで，研究者の調査効率を大幅に向上させる可能性がある．しかしRAGを用いる対話システムでは，同じ要求であっても質問の表現によって得られる結果が大きく異なることが知られている．歴史調査における問いは，単なる情報検索のみならず，専門知識と調査能力を駆使して行われる総合的な営みである[2]．こうした質問のスタイルの違いは長年の経験を通じて習得される暗黙知として存在しており，明示的に教えられることは少ない．そこで本研究では我々が先に提案し[3]，実際に歴史調査で使用しているLeonardの対話ログを用いて，専門家と非専門家の質問の違いを解析する．本システムは約1,800冊の歴史に関する書籍の情報をベクトルDBに保持して，ユーザーからの質問にRAGを用いて回答するもので，COTENRADIO[4]のコンテンツ制作時などに利用されている．図1にLeonardoの概要を示す．本研究の目的は実運用されている対話システムのログを用いて，歴史調査における専門家と非専門家の質問の差異を構造・語彙・品詞の観点から定量的に明らかにすることである．これにより，これまで暗黙知として存在していた「問いの立て方」の違いを可視化し，初学者への教育支援やRAGをベースとした対話システムの設計にも応用可能な知見を提供する．