# 大規模言語モデルへの定量的推論機能の組み込み

伊東恵美 ${ }^{1}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学 理学部情報科学科
\{g2020508, koba\}@is.ocha.ac.jp

## 概要

本研究は，大規模言語モデルに実世界に対応した定量的推論（特にファジィ推論）機能を組み込むことを目的とし，二つの物体が衝突した後の予測状態を自然言語で推論可能であることを示す. 衝突後の状態として推論される帰結を自然言語で表現すると同時に，定量的な状態変化をファジィ推論によるメンバーシップ関数の推定により導き出すことによって，大規模言語モデルを用いた曖昧な表現を含む推論を実現する。

## 1 はじめに

十分な大きさを持つ大規模言語モデルには, Chain of thought [1] など多段の手続きによる人間の思考過程の模倣を始めとし様々な推論能力が備わっていることが確認されている $[2,3]$. 推論の種類としては,基礎的な四則演算に関する数値計算を対象とするもの [4] や論理推論を扱うもの [5] といった演繹推論に関するものや帰納的推論に関する表現能力を検証するもの [6,7]，アブダクションに関する推論能力を検証する研究 $[8,9]$ などが進められている。これらの推論能力は，ヒトが言語を用いて思考をする際に欠かせない基礎能力である。一方で，大規模言語モデルにおいて言語による定性的・定量的な推論能力の検証は十分になされていない。言語によるそれらの推論は，ヒトが実世界において日常生活を送る上で欠かせない能力であり，物理的な事象が生起する実世界環境とヒトの持つ言語による認知機能を結ぶ重要な能力である。このことから，本研究では大規模言語モデルに実世界における物理的推論能力を組み込む課題を考え，推論のなかでも，実世界で観測された現象をあいまいな表現を用いて定量的に推論を行うファジィ推論を組み込み対象として主に取り扱い，具体的な課題として物理環境における因果性にまつわる常識が記述された自然言語データセッ卜[10]を用いて提案手法を検証する.

## 2 ファジィ推論

ファジィ推論は，曖昧な言葉を含む命題から構成された“規則”と実際の状況を与える“事実”を前提として，“結論”を導くプロセスである. ファジィ推論の一般的形態を図 1 に示す.

規則： If $x$ is $P$ then $y$ is $Q$.

事実： $x$ is $\tilde{P}$.

結論： $y$ is $\tilde{Q}$.

図 1 ファジィ推論の一般的形態

$x$ が $P$ ならば $y$ は $Q$ であるとした規則のうち, $「 x$ が $P 」$ の部分を前件部，「 $y$ は $Q 」$ の部分を後件部とする。表 1 に示された例から分かるように事実と前件部が一致している必要はなく，各事実と前件部の類似度から判断して，後件部を導き出す. $P$ や $Q$ という概念にどの程度属しているかを主観的に決定し， $\{0,1\}$ の值として与える関数をメンバーシップ関数と呼ぶ。

本研究では二つの物体が衝突する際の条件を与えて衝突後の様子を描写させるため，図 2 に示すような推論が行われる。規則として物体が衝突する際の物理常識を与えた上で，事実として衝突の条件を与え，結論として衝突後の様子を描写させる.

図 2 本研究におけるファジィ推論の例

また，衝突後に飛ばされる距離をメンバーシップ関数で表し，ニューラルネットワークによって学習させることで，結論として出てくる衝突後の様子に対応した，飛ばされる距離のメンバーシップ関数が導き出される。

## 3 大規模言語モデルを用いたファ ジィ推論

本研究では大規模言語モデル $\mathrm{T} 5$ に二つの物体が衝突する際の条件を入力し, 衝突後の様子の描写を出力として得ると同時に，衝突した際に飛ばされる距離のメンバーシップ関数を推測する.

メンバーシップ関数は入力情報となる観測された物体の状態を表す言語記述が T5 のエンコーダによって文脈情報を捉えつつ理解され，デコーダによってその後の状態を推定した文生成が行われる. その際，生成文中に表現される物体の予測状態を表す曖昧な定量的表現（例：「かなり弾き飛ばされる」等）に対するメンバーシップ関数をガウス分布として近似し，その平均と分散を回帰型ニューラルネットワークを用いて予測しメンバーシップ関数を文脈に応じて動的に決定する。これにより，曖昧な言語表現に対して実世界での定量的な物理量が対応づけられる。

図 3 に概要を示す。

図 3 学習概要

T5 の学習において，入力データとして観測した物体の状態や環境の情報を記述した自然言語文を用い，出力データとしてそれら入力データと状態を映し出す画像をクラウドワーカーに与え衝突後の様子を記述してもらった自然言語文をぺアデータとして用いる. また，出力となる衝突後の様子を記述した自然言語文に含まれる物理状態を示す言語表現に対応するメンバーシップ関数をガウス分布として表現し，平均・分散との回帰予測値と正解データとの平均二乗誤差をとり，T5 の出力と正解データの損失との和が小さくなるように学習していく，学習対象となるガウス分布の平均と分散の正解データは, 物理的常識を踏まえて予め設定したものを用いる. 推論においては，観測した物体の状態と環境情報の自然言語記述が学習した T5 モデルに入力として与え
られ，推論の帰結として観測物体の衝突後の予測状態を記述する自然言語文が生成される. 同時に生成文中の物理量を示す表現に対するメンバーシップ関数の推定が学習した回帰モデルによりなされる.

ファジィ推論を行う際，規則の前件部と後件部における定量的な物理量と結びつく曖昧表現に対するメンバーシップ関数を決めておく必要がある. メンバーシップ関数は以下の手順で決定した. 使用するデータ [10] に含まれる回答を参考に，衝突によって弾き飛ぶ距離が伸びる条件を以下のように数える。

・飛ばされる側の物体の質量が大きい

・飛ばされる側の物体の質量が小さい +1

・飛ばされる側の物体のスピードが速い -1

・飛ばされる側の物体のスピードが遅い +1

・床がツルツルしている

$+1$

・床がザラザラしている

・飛ばされる側の物体が球である

$-1$

合計值からメンバーシップ関数をニューラルネットワークで学習する際の正解値をガウス分布の平均と分散に対応する二つの値として決める。メンバー シップ関数における台集合の分布範囲は，一般的な物理常識に基づいて設定する.

・合計值が+4 ならメンバーシップ関数は $(14,1)$

最小値は 12、最大値は 16

・合計值が+3 ならメンバーシップ関数は $(12,1)$

最小値は 10、最大値は 14

・合計值が+2ならメンバーシップ関数は $(10,1)$

最小值は 8 、最大值は 12

・合計値が+1 ならメンバーシップ関数は $(8,1)$

最小値は 6、最大値は 10

・合計値が 0 ならメンバーシップ関数は $(6,1)$

最小値は 4 、最大値は 8

・合計値が-1 ならメンバーシップ関数は $(4,1)$

最小値は 2、最大値は 6

## 4 実験

## 4.1 データセット

本研究では物理環境における因果性にまつわる常識が記述された自然言語データセット [10] で事前学習済みの T5 をファインチューニングすることで実験を行なう．[10] は，環境や物体の状態を考慮した上で，物体同士の衝突状況を言語で記述したデータセットであり，主データと補助データに分かれている. 主データは「立方体と円柱が衝突する」というような衝突する二つの物体を記述した文と衝突時の条件を与え，クラウドワーカーに衝突後の様子を描写してもらった 5 つの文が一つのセットとして与えられている。

本研究では衝突の条件をもとに，衝突の際に物体

ベースとする文：立方体と円柱が衝突する。

が飛ぶ距離を示すメンバーシップ関数をガウス分布の平均・分散で表現した。一例を表 1 に示す.

先行研究において主データは 2,000 データ存在するが，本研究では金属製・ゴム製と衝突する物体の材質が与えられているものは推論を簡単にするために除いた。主データの 1,380 データのうち， 1,040 データを学習用， 170 データを検証用， 170 データをテスト用とした。

補助データは環境・物体の属性による衝突時の影響に関する質問とクラウドワーカーによる回答例がまとめられている。上述の理由で，物体の材質に対し言及したデータも主データ同様に除き，その上で床の状態や物体の質量・スピードに対し「かなり」「とても」「やや」「少し」という程度の表現を追加した. 補助データの 1,095 データのうち, 885 データを学習用，105 データを検証用，105 データをテスト用とした。一例を表 2 に示す。

実験においては補助データを学習済み $\mathrm{T} 5$ モデルで学習させた後，さらに主データで学習させる. 補助データはファジィ推論における規則に相当し，先に補助データを学習させることで環境・物体の状態から推論によって得られる帰結を用いることが可能となり，その規則を通じて得られた情報と観察された物体の情報を示す主データの前件部を入力情報として，ファジィ推論を行わせる。

## 4.2 評価指標

生成文の自動評価指標には言語生成タスクで用いられている，BLEU[11], ROUGE[12]を使用す
る. BLEU は 4-gram の一致を用い，学習時の検証データの評価にも使用した. ROUGE は ROUGE-2, ROUGE-L の 2 つを使用し，いずれの指標も値が大きい方が高精度であることを意味する．評価時には，クラウドワーカーによる回答 5 文それぞれに対して評価を実施し，平均の値を評価結果とする。また，各評価指標は 0-100 にスケールして記載する。

メンバーシップ関数の評価指標にはカルバック・ ライブラー情報量を用いる. カルバック・ライブラー情報量は二つの確率分布の差異を図る指標で，

$
D_{K L}[P \| Q]=\int_{-\infty}^{\infty} p(x) \log \frac{p(x)}{q(x)} d x
$

の形で表される．回帰型ニューラルネットワークで推定されたメンバーシップ関数を $p(x)$, メンバー シップ関数の正解值を $q(x)$ として計算する. 分布が完全に一致していれば 0 をとり，分布の類似度が低いほど大きな値をとる.

## 4.3 実験設定

いる日本語のテキストデータで事前学習済みの $\mathrm{T}_{5}{ }^{2}$ を用いる．T5 のファインチューニングの設定として, 先行研究 [10] と同じく, 学習率は $5 \times 10^{-5}$, バッチサイズは 32 ，エポック数は 100 ，最適化手法は AdamW [13] を用いた。また，始めの 10 エポックで，学習率を 0 から設定した学習率まで線形に学習率を増加させる warm up を用いた。学習時の損失関

1) https://pytorch.org/

2) https://huggingface.co/sonoisa/t5-base-japanese
表 3 生成結果

 &  & & \\

数には交差エントロピーを使用した。検証用データに対する BLEU 值が最も高いモデルのパラメータを用いて，テスト用データで評価した。

一般に，副詞や形容詞で表される程度の表現を追加した補助データで学習させた後, 主データで学習させる. 主データで学習させる際に学習させて出てきた文を 768 次元の埋め込みべクトルに変換3) し, メンバーシップ関数を推定する回帰型ニューラルネットワークに入力する. ニューラルネットワークの構成は, 入力層のニューロン数が 768 個, 一つ目の中間層のニューロン数が 64 個, 二つ目の中間層のニューロン数が 32 個, 出力層のニューロン数が 2 個となっている. Keras によって実装し、中間層の活性化関数には ReLU 関数を, 出力層の活性化関数には恒等関数を用いている。また，最適化アルゴリズムには RMSProp オプティマイザを指定している.各エポックごとに 50 回回帰させた平均をとり, 交差エントロピーによって得た損失との和が小さくなるように学習させていく.

## 4.4 実験結果

生成文の評価において，エポック数が 75 のとき検証用データに対する BLEU スコアが最も高くなった. そのモデルのパラメータを用いてテスト用データで評価し, BLEU スコアが 95.2, ROUGE-2 スコアが 61.5, ROUGE-L スコアが 71.9 という結果になった.

メンバーシップ関数の評価において，170 件のテストデータに対して求めたカルバック・ライブラー 情報量の和が 348.7，1 件あたりの平均値は 2.1 という結果になった。

生成結果の一部を表 3 に示す. ニューラルネットワークで学習させたガウス分布は小数点以下第二位で四捨五入している. 生成文を見ると，物体の質

3) https://huggingface.co/sonoisa/sentence-t5-base-ja-mean-tokens量と速さが一致している場合は反対の方向へ弾かれることや，床がツルツルしている場合は勢いよく衝突し, 遠くへ弾き飛ばすことが学習出来ている.

2-3 行目のガウス分布に着目する. 条件はどちらも床がツルツルしている状態で，赤い円柱の質量が小さく, 球体の質量が大きい. 2 行目ではさらに円柱のスピードが

図 4 2-3 行目のメンバー シップ関数遅く, 球体のスピードが速いという条件が追加され，3行目より勢いよく球体が円柱に衝突している.図 4 に 2-3 行目のメンバーシップ関数を示す. 2 行目のガウス分布の平均の方が大きく, 3 行目の分布がそのまま右にずれる形で 2 行目のメンバーシップ関数が分布し, 衝突後に飛ばされる距離が長くなることが推論できている.

## 5 まとめと今後の課題

本研究では物体が衝突するという物理現象に焦点を当て，大規模言語モデル T5 をファインチューニングすることで自然言語を用いて衝突後の状態を推論させると同時に，ニューラルネットワークを学習させてファジィ推論のメンバーシップ関数を意に沿った形で導き出させることで，大規模言語モデルを用いてファジィ推論を行った。

今回は後件部にあたる衝突後の距離のメンバー シップ関数のみを推測させたが，今後，前件部の物体の質量・スピードに対してもメンバーシップ関数を推測させてファジィ推論を実行したい，最終的に円柱や立方体に限らず任意の物体に対しメンバー シップ関数を動的に推測させ，ファジィ推論を行いたい.

## 謝辞

本研究は JSPS 科研費 $23 \mathrm{H} 03453 \mathrm{~J}$ の助成を受けたものです.

## 参考文献

[1] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. 2022. cite arxiv:2201.11903.

[2] Jason Wei, et al. Emergent abilities of large language models. Trans. Mach. Learn. Res., Vol. 2022, , 2022.

[3] Jie Huang and Kevin Chen-Chuan Chang. Towards reasoning in large language models: A survey. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 1049-1065, Toronto, Canada, July 2023. Association for Computational Linguistics.

[4] Karl Cobbe, et al. Training verifiers to solve math word problems. CoRR, Vol. abs/2110.14168, , 2021.

[5] Antonia Creswell, Murray Shanahan, and Irina Higgins. Selection-inference: Exploiting large language models for interpretable logical reasoning, 2022.

[6] Zonglin Yang, Li Dong, Xinya Du, Hao Cheng, Erik Cambria, Xiaodong Liu, Jianfeng Gao, and Furu Wei. Language models as inductive reasoners, 2022.

[7] Kanishka Misra, Julia Taylor Rayz, and Allyson Ettinger. A property induction framework for neural language models, 2022.

[8] Andrew Lampinen, et al. Can language models learn from explanations in context? In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 537-563, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[9] Sarah Wiegreffe, Jack Hessel, Swabha Swayamdipta, Mark Riedl, and Yejin Choi. Reframing human-AI collaboration for generating free-text explanations. In Marine Carpuat, Marie-Catherine de Marneffe, and Ivan Vladimir Meza Ruiz, editors, Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 632-658, Seattle, United States, July 2022. Association for Computational Linguistics.

[10] 田屋侑希, 小林一郎. 実世界における物理制約を踏まえた言語による推論. 人工知能学会全国大会論文集第 37 回 (2023), pp. 1E4GS603-1E4GS603. 一般社団法人人工知能学会, 2023.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[12] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pp.
74-81, 2004.

[13] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.