言語処理学会 第30回年次大会 発表論文集（2024年3月）

Dynamic Inference Thought in Large Language Models
鈴木 拓真 川本 樹 三山 航
目黒 拓己 鈴木 中穂美 高木 友博
明治大学大学院
stakuma9912@gmail.com tatsuki.00.0306@gmail.com chinpanzi914@gmail.com
takumimeguro1321@gmail.com nsuzuki1900@gmail.com takagit@gmail.com

概要
本論文では、LLM が必要に応じて事前知識を参照しながら動的に推論を進める新しいフレームワー
クを提案する。私たちのアプローチでは、LLM による推論とその推論を改善するプロセス、そして現在の思考が十分かを LLM により判断して最終的な回答を推論する。高度な推論を複数の単純な推論に分割すること、多段推論を動的に行うことにより、推論精度の向上を達成する。ANLI データセットを用いて、このフレームワークの有効性を検証しており、先行研究と比較して、最大で 32%の精度向上を達成した。また、定性的評価も行い、本アプローチが従来手法よりも論理的に推論を行えていることを確認した。

1

はじめに

近年、ChatGPT などの大規模言語モデル (LLM)
は、多くの自然言語処理や関連分野において素晴らしい性能を示しており、特に推論タスクにおいて、推論能力向上のための様々なプロンプトエンジニアリングに関する研究がなされている [1, 2, 3]。
依然として、LLM は人間には問題のない一般的な計画/推論タスクで受け入れ可能なパフォーマンスを持っておらず、それは現在最も優れた LLM である GPT-4 においても同様である [4, 5]。
これは、推論を多段で行う機構を持っておらず、このような推論プロセスを一回の呼び出しのみで実行することが求められる通常のアプローチでは、不十分なパフォーマンスを引き起こす。そして、その課題解決のために、様々な推論精度向上のための研究が行われている。
例 え ば、推 論 過 程 を 例 示 す る Chain ofThought(CoT)[6] や、外部メモリを活用して、LLM が事前に推論した大量の問題と推論結果を利用する

Memory of Thought(MoT)[7] などがある。しかし、これらのアプローチによる推論のサポートは暗黙的であり、LLM に求められる処理の難しさは単一呼び出しのアプローチと同じため、問題は本質的に解決されていない。
そこで、私たちはこの課題に対処するために、新しいフレームワークを導入し、LLM の推論過程を明示的かつ多段にし、各推論を単純化することによる推論精度の向上を達成する。私たちのフレームワー
クの考え方は主に 2 つの既存研究にインスパイアされている。複雑な 1 つのタスクを複数の単純なタスクに分割して解いていくことによって精度を向上する Least-to-Most Prompting(L2M)[8] と与えられたコンテキストから文を選択する選択モジュールと、選択された文から 1-hop 推論を行う推論モジュールを使用し、二つのモジュールを交互に繰り返すことで multi-hop 推論を行う Selection-Inference(SI)[9]である。
SI では、選択と推論の反復回数をハイパーパラメータとして事前に設定する必要があるが、適切な解を出すのに必要な推論ステップ数は事前に決まることはなく、ステップ数の過不足は推論精度低下の原因となる。そのためステップ数は推論過程で動的に決定する必要があり、これは SI の本質的な欠点であるといえる。
私たちは、SI における反復のような思考の改善をいつ止めるべきかについてを、LLM に判断させ、思考の改善に関しても、必要に応じて LLM が持つ事前知識を利用し、補完することにより上記の課題に対処した。
これにより、例えば、「X はイギリスで生まれた」という仮説に対して、コンテキスト中に「X はロンドンで生まれた」というような記述しかない場合においても、「X はロンドンで生まれた」という事実と、「ロンドンはイギリスにある」という事実を組― 3004 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 1 提案フレームワークの概要

み合わせて「X はイギリスで生まれた」と推論することができる。

2

Graph of Thoughts（GoT）[12] は、LLM によって生成された情報を任意のグラフとしてモデル化するフレームワークである。このフレームワークにより、関連研究

思考の改善、思考の分解、思考の集約により柔軟に

Chain of Thoughts（CoT）[6] は、モデルが問題を解組み合わせて答えに至ることが可能になり、より人決する際に、中間ステップや推論の過程を明示的に間の思考プロセスに近づけている。GoT では、思考生成し、最終的な答えに至るまでの思考の流れをトの単位をノードとしてグラフ内に表し、これらの思レース可能にするアプローチである。これにより、考間の依存関係や接続をエッジとして描く。この構精度向上とモデルの判断基準や推論プロセスの透明造は、人間の思考プロセスを線形のチェーンだけで化を達成している。一方で、100 億パラメータ以上なく、人間が考えるより複雑で非線形な方法を反映のモデルサイズやメモリ機能が要求されており、本するネットワークとしてもモデル化が可能である。
一方で、ToT、GoT では、どのタイミングで推論を質的な解決には至っていない。
Selection Inference（SI）[9] は、LLM を複数回呼び止めるかについては動的に判断することを行なって出すシンボリックアプローチである。しかし、反復いない。推論の手順を事前に生成することで対応し回数は固定されており、事前に設定する必要があるているが、プランの生成には GPT-4 のような高度な推論スキルが必要であるため、CoT と同様に本質的ため、タスクには必要な推論ホップの固定回数を持つ必要がある。これに対して、Faithful Reasoning[10]は SI がステップ数において反復をいつ停止するかを判断できない問題を解決し、推論が十分であるかな解決には至っていない。

モデル

3

どうかを判断する LLM「Halter」を用意した。Halter

このセクションでは、私たちが提案する、論理的は自身で停止反復を決定することができるが、各タで正確な推論のためのフレームワークについて記述

スクごとに追加で Language Model をファインチューする。提案手法の主な考え方に関しては図 1 に示しニングする必要があり、Halter では様々なタスクにており、問題から結論までのプロセスは以下の 4 ス

対して動的に対応することができない。

テップに分けられる。

Tree of Thoughts（ToT）[11] は、タスク解決までの

1. 中間推論ステップ

中間プロセスをツリー構造で表現し、同時並行で複与えれた入力に対する推論（ここでは中間推論数の思考を追求するアプローチである。CoT のようとよぶ）を行う。

な線形推論経路では、各サブ問題には複数の適切な2. 改善の必要性判断ステップ

オプションがある場合に思考を制限してしまう問題に対処しており、各サブ問題に対して可能なオプションを考慮して、外部のツリーサーチメカニズム問題に回答するために十分な結論が得られているかどうかを LLM が判断する。
3. 改善ステップ（例：BFS、DFS）によって決定木を探索できる。ま(2) で改善が必要だと判断された場合に、問題た、LLM の評価能力を効率性向上のためのノードに付属するコンテキストもしくは、事前知識を刈り込みに使用している。

用いて中間結論を改善する。

― 3005 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 2 実験上における実装モデル

4. 最終推論ステップ

Neutral の場合、多段推論の必要がないため、最(2) で改善が必要なしと判断された場合に、それまでの中間結論を最終的な結論とする。

初の段階で判断する。
2. 中間推論モジュール
文脈を参照し、仮説に対して推論を行う。

4

Experiment

4.1

実験設定

3. 判断モジュール
現在の中間推論が、仮説とコンテキストとの整合性を推論するために十分な情報を持っている提案するフレームワークの有効性を確認するたかを判断する。

めに、ANLI データセット [13] を用いて実験を行っ

4. 改善モジュール

た。各データでは、コンテキスト c と仮説 h、そし中間推論が不十分であると判断された場合に、て答え a が与えられており、コンテキスト c には仮コンテキスト中もしくは、LLM が持つ事前知説 h に関する記述がある場合 (Entailment)、関係する識を利用して中間推論の改善に必要な情報を生成する。

記述がない場合 (Neutral)、対立する記述がある場合(Contradiction) の 3 つのパターンが存在し、モデルは各データがどのパターンに該当するかをに関して推論を行う。コンテキスト中には、回答をサポートする文章だけでなく回答には不必要な情報も含まれ5. 整形モジュール
中間推論に、改善モジュールで生成した情報を組み込み、新たな中間推論として整形する。
6. 回答モジュール

る。また、コンテキスト c と仮説 h の整合性判断の中間推論を用いて、最終的な仮説とコンテキスためには、コンテキスト中に記述された情報だけでトの内容との整合性判断の推論を行う。

は不十分で、一般的知識を用いて補完する必要がある場合も存在する。

4.3

私たちは、このデータセットから A1 の 1000 個比較手法• IO：モデルには仮説とコンテキストが入力さのデータを使用し、評価実験を行った。モデルは、れ、モデルが回答のみを生成する。

LLaMA2-13b-chat[14] を利用している。各モジュー• CoT：仮説とコンテキストがモデルに入力され、ルに関しては、3 ショットプロンプトを使用しておモデルが推論過程と回答を生成する。

り、例題に関しては訓練データからサンプルして• SI：モデルはコンテキスト中から 2 つの文を選いる。

択し、選択した 2 つの文から 1 つの推論を行4.2

う。この選択と推論を 1 ステップとして扱われ実験における提案モデルる。SI ではステップ数はハイパーパラメータであり、今回は 3 ステップとして設定している。

NLI タスクを用いた実験時には、精度向上のため細かい処理をいくつか追加しており、詳細を図 2 に比較するすべての手法において、3-shot で推論を示す。各モジュールに関しては以下の通りである。

行っている。

1. Neutral 判定モジュール仮説に関する文が文脈中に存在するかを推論。

― 3006 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図34.4

各アプローチによる出力の違いていることがわかる。

定性評価

各方法の出力を検証することによって、私たちの表 1 実験結果フレームワークが動的に推論を進めることができる

MethodANLI(A1)

かを確認する。例題と、それに対する各手法の出力

IO

0.39の違いは図 3 に示す。IO、CoT では、誤った回答をCoT

0.416しており、その原因も不明、または曖昧な状態であSI0.361

る。SI では、回答は誤ったままであるが、推論過程Ours

0.478は明確である。最初に BFS に資金提供しているのはアメリカであることをコンテキストから推論している。しかし、コンテキストに含まれない「アメリカがメキシコの上側にある国である」という一般常

結論と展望

5

識的な知識を利用できず、推論が発展せず、結果と本論文では、LLM が必要に応じてコンテキスト中して最後の推論時に誤った回答をしてしまっていもしくは、事前知識を参照しながら動的に推論を進る。一方で、提案手法では、思考の改善段階で、仮説の表現に従って「アメリカがメキシコの上側にあめる新たなフレームワークを提案した。このフレーる国」という必要な情報を付加することにより推論分割することによる各推論の簡易化や、動的な思考を改善を行えることが確認された。の改善により LLM がより精度の高い推論を行うことをサポートしている。ANLI データセットを用い

4.5

定量評価

ムワークでは、推論プロセスを複数のモジュールにた精度による定量評価や、実際の推論過程を確認す生成された回答が真実の回答と一致するかにより精度を測定した。定量的評価の結果を表 1 に示す。

る定性評価を通して本フレームワークの有効性を示した。

私たちが提案したフレームワークが最良の精度を一方で、提案するフレームワークでは、現状単一達成し、本フレームワークの有効性を示している。の推論過程のために、思考が大幅に制限されていCoT の精度は IO よりも精度が上がっており、これる。関連研究にある ToT[12]、GoT[13] のように複数は LLaMA2-13b-chat の推論精度が高いことを示しており、簡単なタスクであれば十分な推論能力を持っの思考を展開することは、推論精度の観点から重要な要素である。そのため、将来的に本フレームワー
クの複数思考への拡張を考えている。

― 3007 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Yejin Bang, Samuel Cahyawijaya, Nayeon Lee, Wenliang Dai, Dan Su, Bryan Wilie, Holy Lovenia, Ziwei
Ji, Tiezheng Yu, Willy Chung, Quyet V. Do, Yan Xu,and Pascale Fung. A multitask, multilingual, multimodal
evaluation of chatgpt on reasoning, hallucination, and interactivity, 2023.
[2] Vedant Gaur and Nikunj Saunshi. Reasoning in large
language models through symbolic math word problems,
2023.
[3] Jie Huang and Kevin Chen-Chuan Chang. Towards reasoning in large language models: A survey, 2023.
[4] Karthik Valmeekam, Alberto Olmo, Sarath Sreedharan,and Subbarao Kambhampati. Large language models still
can’t plan (a benchmark for llms on planning and reasoning
about change), 2023.
[5] Konstantine Arkoudas. Gpt-4 can’t reason, 2023.
[6] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten
Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and DennyZhou. Chain-of-thought prompting elicits reasoning inlarge language models, 2023.
[7] Xiaonan Li and Xipeng Qiu. Mot: Memory-of-thought
enables chatgpt to self-improve, 2023.
[8] Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei,
Nathan Scales, Xuezhi Wang, Dale Schuurmans, ClaireCui, Olivier Bousquet, Quoc Le, and Ed Chi. Least-tomost prompting enables complex reasoning in large language models, 2023.
[9] Antonia Creswell, Murray Shanahan, and Irina Higgins.
Selection-inference: Exploiting large language models forinterpretable logical reasoning, 2022.
[10] Antonia Creswell and Murray Shanahan. Faithful reasoning using large language models, 2022.
[11] Jieyi Long. Large language model guided tree-of-thought,
2023.
[12] Maciej Besta, Nils Blach, Ales Kubicek, Robert Gerstenberger, Lukas Gianinazzi, Joanna Gajda, Tomasz
Lehmann, Michal Podstawski, Hubert Niewiadomski, Piotr Nyczyk, and Torsten Hoeﬂer. Graph of thoughts: Solving elaborate problems with large language models, 2023.
[13] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal,
Jason Weston, and Douwe Kiela. Adversarial nli: A newbenchmark for natural language understanding, 2020.
[14] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer,Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao,Vedanuj Goswami, Naman Goyal, Anthony Hartshorn,
Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann,
Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux,
Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu,
Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar
Mishra, Igor Molybog, Yixin Nie, Andrew Poulton,
Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan

― 3008 ―Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor,Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan,Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic,
Sergey Edunov, and Thomas Scialom. Llama 2: Openfoundation and ﬁne-tuned chat models, 2023.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).