大規模言語モデルへの定量的推論機能の組み込み伊東 恵美

1(指導教員：小林 一郎)

はじめにが衝突する際の条件を記述した自然言語文を用い，出力データとしてそれら入力データと状態を映し出す画像をクラウドワーカーに与え衝突後の様子を記述してもらった自然言語文をペアデータとして得る．
また，出力となる衝突後の様子を記述した自然言語
文を 768 次元の埋め込みベクトルに変換1 し，衝突後に飛ぶ距離を表すメンバーシップ関数を推定する回帰型ニューラルネットワークに入力する．メンバーシップ関数はガウス分布の平均・分散として表現し，ニューラルネットワークの出力として得た回帰予測値と正解値との平均二乗誤差をとり，T5 の損失とニューラルネットワークの損失との和が小さくなるように学習していく．図 1 に概要を示す．

十分な大きさを持つ大規模言語モデルには，Chainof thought [1] など多段の手続きによる人間の思考過程の模倣を始めとし，様々な推論能力が備わっていることが確認されている [2, 3]．一方で，言語による定性的・定量的な推論能力の検証は十分になされていな
い．言語によるそれらの推論は，ヒトが実世界において日常生活を送る上で欠かせない能力であり，物理的な事象が生起する実世界環境とヒトの持つ言語による認知機能を結ぶ重要な能力である．
このことから，本研究では大規模言語モデルに実世界における物理的推論能力を組み込む課題を考え，推論のなかでも，実世界で観測された現象をあいまいな表現を用いて定量的に推論を行うファジィ推論を組み込み対象として主に取り扱い，具体的な課題として物理環境における因果性にまつわる常識が記述された自然言語データセット [4] を用いて提案手法を検証する．

2

研究概要

本研究は，大規模言語モデルに実世界に対応した定量的推論（特にファジィ推論 [5]）機能を組み込むことを目的とし，二つの物体が衝突した後の予測状態を自然言語で推論可能であることを示す．衝突後の状態として推論される帰結を自然言語で表現すると同時に，定量的な状態変化をファジィ推論によるメンバーシップ関数の推定により導き出すことによって，大規模言語モデルを用いた曖昧な表現を含む推論を実現する．

図 1: 学習概要

3実験

3.3

3.1

データセット

生成文の自動評価指標には言語生成タスクで用いられている，BLEU[6]，ROUGE[7] を使用する．BLEU
は 4-gram の一致を用い，学習時の検証データの評価にも使用した．ROUGE は ROUGE-2，ROUGE-L の2 つを使用し，いずれの指標も値が大きい方が高精度であることを意味する．また，各評価指標は 0-100 にスケールして記載する．
メンバーシップ関数の評価指標にはカルバック・ライブラー情報量を用いる．カルバック・ライブラー情報量は二つの確率分布の差異を図る指標で，∫ ∞p(x)p(x) log
DKL [P ∥ Q] =
dx
q(x)
−∞

本研究では物理環境における因果性にまつわる常識が記述された自然言語データセット [4] で事前学習済
みの T5 をファインチューニングすることで実験を行
なう．[4] は，環境や物体の状態を考慮した上で，物体同士の衝突状況を言語で記述したデータセットであり，主データと補助データに分かれている．主データ
は「立方体と円柱が衝突する」というような衝突する二つの物体を記述した文と衝突時の条件を与え，クラウドワーカーに衝突後の様子を描写してもらった 5 つの文が一つのセットとして与えられている．本研究では衝突の条件をもとに，衝突の際に物体が飛ぶ距離を示すメンバーシップ関数の正解値をガウス分布の平均・分散で表現し，主データに追加した．
補助データは環境・物体の属性による衝突時の影響に関する質問とクラウドワーカーによる回答例がまとめられている．床の状態や物体の質量・スピードに対し「かなり」「とても」「やや」「少し」という程度の表現を追加した．

3.2

評価指標の形で表される．回帰型ニューラルネットワークで推定されたメンバーシップ関数を p(x)，正解値を q(x)として計算する．分布が完全に一致していれば 0 をとり，分布の類似度が低いほど大きな値をとる．

3.4

実験設定

実験には PyTorch2 を用い，ウェブ上で公開されている日本語のテキストデータで事前学習済みの T53 を用

実験概要

本研究では大規模言語モデル T5 の学習において，補助データで学習させた後，主データで学習させる．主データで学習させる際は入力データとして二つの物体

1 https://huggingface.co/sonoisa/sentence-t5-base-jamean-tokens
2 https://pytorch.org/
3 https://huggingface.co/sonoisa/t5-base-japanese1表 1: 生成結果
ベースとする文: 赤い円柱と球体がぶつかる。
床 円柱球体生成文
ガウス分布13,74,6
球体は勢いよく赤い円柱に衝突して、球体は遠くに弾かれ転がっていく。
[8.4, 1.0]
14,73,6
球体は勢いよく赤い円柱に衝突して、赤い円柱は遠くに弾き飛ばされる。
[12.2, 1.0]143
赤い円柱と球体が衝突して、赤い円柱が遠くに弾き飛ばされる。
[10.6, 1.0]
25,85,8
赤い円柱と球体は衝突して、両方とも反対の方向へ少し弾かれて停止する。 [6.0, 1.0]
4,83,8
赤い円柱と球体は衝突して、赤い円柱は弾き飛ばされる。
[10.2, 1.0]67
赤い円柱は勢いよく球体に衝突して、球体は弾かれ転がる。
[9.8, 1.0]
〈床・円柱・球体のパターン〉
床の条件：1. 床がツルツルしている。2. 床がザラザラしている。
物体の質量の条件 ：3. 質量が大きい。4. 質量が小さい。5. 質量が等しい。
物体の速さの条件 ：6. スピードが速い。7. スピードが遅い。8. スピードが等しい。

いる．T5 のファインチューニングの設定として，先行研究 [4] と同じく，学習率は 5 × 10−5 ，バッチサイズ
は 32，エポック数は 100，最適化手法は AdamW [8] を用いた．また，始めの 10 エポックで，学習率を 0 から設定した学習率まで線形に学習率を増加させる warmup を用いた．学習時の損失関数には交差エントロピーを使用した．
メンバーシップ関数を推定する回帰型ニューラルネッ
トワークの構成は，入力層のニューロン数が 768 個，一つ目の中間層のニューロン数が 64 個，二つ目の中間層のニューロン数が 32 個，出力層のニューロン数が 2 個となっている．Keras によって実装し、中間層の活性化関数には ReLU 関数を，出力層の活性化関数には恒等関数を用いている．また，最適化アルゴリズ
ムには RMSProp オプティマイザを指定している．各
エポックごとに 50 回回帰させた平均をとり，交差エントロピーによって得た損失との和が小さくなるように学習させていく．

3.5

加され，3 行目より勢いよく球体が円柱に衝突している．図 2 に 2-3 行目のメンバーシップ関数を示す．2行目のガウス分布の平均の方が大きく，3 行目の分布がそのまま右にずれる形で 2 行目のメンバーシップ関数が分布し，衝突後に飛ばされる距離が長くなることが推論できている．

4

まとめ

本研究では物体が衝突するという物理現象に焦点を当て，大規模言語モデル T5 をファインチューニングすることで自然言語を用いて衝突後の状態を推論させると同時に，ニューラルネットワークを学習させてファジィ推論のメンバーシップ関数を意に沿った形で導き出させることで，大規模言語モデルを用いてファジィ推論を行った．
今回は後件部にあたる衝突後の距離のメンバーシッ
プ関数のみを推測させたが，今後，前件部の物体の質量・スピードに対してもメンバーシップ関数を推測させてファジィ推論を実行したい．最終的に円柱や立方体に限らず任意の物体に対しメンバーシップ関数を動的に推測させ，ファジィ推論を行いたい．

実験結果

生成文の評価において，エポック数が 75 のとき検証用データに対する BLEU スコアが最も高くなった．そのモデルのパラメータを用いてテスト用データで評価し，BLEU スコアが 95.2，ROUGE-2 スコアが 61.5，
ROUGE-L スコアが 71.9 という結果になった．
メンバーシップ関数の評価において，170 件のテス
トデータに対して求めたカルバック・ライブラー情報量の和が 348.7 という結果になった．

3.6

正解値
[8, 1][14, 1][12, 1][6, 1][10, 1][8, 1]

参考文献[1] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten
Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and DennyZhou. Chain-of-thought prompting elicits reasoning inlarge language models. 2022. cite arxiv:2201.11903.
[2] Jason Wei, et al. Emergent abilities of large language models. Trans. Mach. Learn. Res., Vol. 2022, , 2022.
[3] Jie Huang and Kevin Chen-Chuan Chang. Towards reasoning in large language models: A survey. In AnnaRogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 1049–1065, Toronto, Canada, July2023. Association for Computational Linguistics.

考察

生成結果の一部を表 1 に示す．ガウス分布の値は小数点以下第二位で四捨五入している．生成文を見ると，物体の質量と速さが一致している場合は反対の方向へ弾かれることや，床がツルツルしている場合は遠くへ弾き飛ばすことが学習出来ていると分かる．
2-3 行目のガウス分布に着目する．
どちらも床がツルツルしている状態
で，赤い円柱の質量が小さく，球体の質量が大きい．2 行目
ではさらに円柱のスピードが遅く，球図 2: 2-3 行目のメンバーシップ関数
体のスピードが速いという条件が追[4] 田屋侑希, 小林一郎. 実世界における物理制約を踏まえた言語による推論. 人工知能学会全国大会論文集 第 37 回 (2023), pp.
1E4GS603–1E4GS603. 一般社団法人 人工知能学会, 2023.
[5] 坂和正敏. ファジィ理論の基礎と応用. 森北出版, 1989.
[6] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation ofmachine translation. In Proceedings of the 40th annual
meeting of the Association for Computational Linguistics,
pp. 311–318, 2002.
[7] Chin-Yew Lin. Rouge: A package for automatic evaluationof summaries. In Text summarization branches out, pp.
74–81, 2004.
[8] Ilya Loshchilov and Frank Hutter. Decoupled weight decay
regularization. arXiv preprint arXiv:1711.05101, 2017.

2