質問応答タスクにおいて、大規模言語モデル(LLM)の知識を補うために検索拡張生成(RAG)がよく使われるが、Retrieverにより得られた複数の異なるコンテキストを活用する方法に課題がある。一般的にはコンテキストを逐次的に入力しながら前の答えを書き直すかどうかをLLM自身に判定させる(逐次RAG)。一方でfusion-in-decoderと呼ばれる方法では得られたコンテキストをすべて結合してデコーダーに入力し、デコーダーに回答を生成させる。ここではLLMを並列に用いて質問応答を行う方法(fusion-in-LLM)を提案し、AI王を用いたクイズのための質問応答タスクの実験により、逐次RAGよりもfusion-in-LLMのほうが質問応答タスクに回答する性能が高いことを示す。

大規模言語モデル(largelanguagemodel:LLM)に内在にする知識だけでは答えられない質問に回答するためには、検索拡張生成(retrieval-augmentedgeneration:RAG)[1]が有効である。質問応答タスクに利用する際[2]には、Retrieverにより得られた複数の異なるコンテキストを活用する方法に課題がある。例えば、コンテキストには回答の参考になるものとならないものがあるため、回答の参考にならないものにより偽の回答が生成されるという過大がある。一般的なRAGには、逐次的に上位のコンテキストから順番に入力し、前のコンテキストの答えをもとにして新しいコンテキストに基づいて答えを書き直すかどうかをLLM自身に判定させる逐次RAGがよく用いられる。しかしながらこの方法を質問応答タスクに適用すると、top-1のコンテキストのみを入力した場合に比べて、top-2,3を用いると回答の正解率が大きく低下することが分かった。一方でfusion-in-decoder(FiD)と呼ばれる方法[3]では、得られたコンテキストをすべて結合してdecoderに入力し、デコーダーに回答を生成させる。ここではこの方法と同様にLLMを並列に用いて質問応答を行う方法fusion-in-LLMの方法を提案する。逐次的に書き直すのではなく、各コンテキストに対応する回答を一つのコンテキストに基づき生成し、回答を後から多数決を取ったり、LLM自身に適切な回答を選ばせたりする。AI王を用いたクイズのための質問応答タスクの実験により、本報告では一般的に使われている逐次RAGよりもfusion-in-LLMのほうが質問応答タスクに回答する性能が高いことを示す。