質問応答は，自然言語処理における重要な研究テーマの一つである．質問応答の研究は，自然言語処理研究の黎明期である1960年代から継続的に取り組まれてきた\cite{green-1961,simmons-1964}．どのような質問に対しても的確に答えられるシステムを実現することは，多くの自然言語処理研究者が目指す究極的なゴールの一つと言える．質問応答研究は，深層学習技術の進展と言語資源の充実により世界的に盛り上がりを見せている．特に，SQuAD\cite{rajpurkar-etal-2016-squad}のような大規模な質問応答データセットや，BERT\cite{devlin-etal-2019-bert}に代表される大規模言語モデルの登場は，ここ数年の質問応答研究の飛躍的な進展を後押ししている．実際に，自然言語処理および人工知能分野の難関国際会議では，毎年質問応答に関する研究成果が多数報告されており，そのほぼ全てで大規模言語モデルや質問応答データセットがシステムの構築や評価に利用されている．ただし，これらの研究の多くは英語で作成されたデータを用いて実施されており，日本語での質問応答の評価はほとんどなされていない．そのため，日本語での質問応答技術がどの程度発展しているのか，その到達点は明らかになっていない．昨今の深層学習技術を質問応答に適用する方法では，言語の違いによる達成度の差異はあまり着目されてこなかったが，扱える言語表現の違い，学習データなどの知識源の質や量の違いなど，言語が異なることによる影響は十分に考慮すべき課題と考えられる．また，近年では汎用大規模言語モデルが登場しており，このようなモデルの中には日本語での質問応答が可能なものも存在する．しかし，これらのモデルのほとんどは，その大部分が英語で書かれた学習データを用いて事前学習が行われている．言語にはその言語を用いる文化圏の内容が色濃く反映されていると考えられるため，学習に用いる言語によってモデルが獲得する知識に含まれる文化的な内容は大きく異なると考えられる．従って，日本語を用いた質問応答タスクに取り組むことは，日本語圏の文化に関する内容に通じている質問応答システムを作ることに繋がると考えられる．実用的な観点からも，日常的に日本語を使用する人にとって，日本語を用いたやりとりが可能かつ，日本に関する内容について精度の高い回答を行うことができる質問応答システムの実現は望ましいことである．このような背景のもと，日本語での質問応答技術が今後発達していくためには，まず日本語を用いた質問応答技術の現状を明らかにした上で，解決するべき課題を明確にすることが必要である．そこで本論文では，日本語による質問応答技術の現在の到達点と課題を明らかにし，その上で日本語質問応答システムの今後の改善の方向性を示すことを目的とする．これまで日本語の質問応答技術を評価するための評価データは整備されてこなかったが，本論文では評価のための日本語の質問応答のデータセットとして，著者らが企画しこれまで運営してきた日本語質問応答のコンペティション「AI王～クイズAI日本一決定戦～」\footnote{\url{https://sites.google.com/view/project-aio/home}}のために作成したデータセットを用いる．このデータセットに含まれるクイズ問題には，人名や場所名を問う基本的な問題の他，数量推論や計算を必要とする問題や日本語版Wikipediaに記述が無いような言葉が正解となる問題などが含まれており，それら問題文の多様性は，日本語を用いた質問応答タスクを検証するために相応しいものと考えられる．なお，「AI王」とは，日本語を用いた質問応答研究を促進させるという目的のもと，日本語のクイズを題材とした質問応答データセットを用いてクイズの正解率の高い質問応答システムを作成するコンペティションである．また，評価対象の質問応答システムとしては，過去に実施されたAI王のコンペティションのうち，第2回および第3回に提出されたシステムと，汎用の質問応答システムとして利用できるChatGPTおよびGPT-4を用いる．これらのシステムが出力した全解答に対して，それぞれのシステムの特徴と，正解した問題文または不正解の問題文の中に共通した傾向があるかといった全数チェックを人手にて行い，現在の質問応答技術でどのような問題が正答できてどのような問題は正答できていないかを検証する．同様に，問題文の特性に基づいて問題を分類し，それぞれのカテゴリに属する問題をどの程度正解しているかで達成度を分析する．また，システムの特徴に応じた正解の傾向なども調査し，そこから一般化できる知見がないか考察する．以上の分析や考察を踏まえた上で，日本語質問応答システムの改善の方向性を示す．これらの人手分析の結果，質問応答システムの構成にはRetriever-Reader方式と呼ばれる形式が多く採用されていることや，正解率の高いシステムにはRerankerという構成要素が使われている傾向があることが分かった．また，問題文の特性については，正答するために数量推論や計算を必要とするような問題にはうまく解答できない場合が多いことが明らかになり，今後の質問応答技術の課題の一つと考えられる．本論文の主な貢献は以下のとおりである．\begin{itemize}\item日本語質問応答システムの構成やその構成要素を分析し，クイズ問題の正解率が高いシステムの理由を明らかにした\item現状の質問応答システムにとって課題となっている，難易度が高い問題の特性を明らかにした\itemそれら難易度が高い問題を正答できるようにするための，質問応答システムの改善の方向性を示した\item汎用の質問応答システムとして利用可能な大規模言語モデルが，どの程度日本語のクイズ問題を解くことができるのかを調査した\end{itemize}本論文の構成は以下の通りである：第2章にて日本語を対象とした質問応答研究や，コンペティションに対する分析についての関連研究を，第3章にてAI王プロジェクトの概要を述べる．第4章では，本論文で用いる評価データの詳細を述べる．その後，第5章にて検証対象となる質問応答システムの詳細，およびシステムとクイズ問題の分析方法を述べ，第6章にて分析結果を述べる．最後に，第7章にて本論文で得られた知見や考察をまとめ，今後の展望について述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%