MCMCを用いた前提検索によるLLMの仮説推論能力の強化

本稿では，大規模言語モデル（LLMs）の推論能力，特に仮説推論能力を向上させるため，モンテカルロ・マルコフ連鎖（MCMC）を活用した新しいアルゴリズムパイプラインをを提案する．観察を最も適切に説明する仮説と，それを支持する関連前提を効率的かつ計算コストを抑えて探索するため，完全教師なしのMCMCアルゴリズムを導入した．本手法は，関連性の高い前提の順序を優先することで，LLMsにおける正当な仮説を効果的に構築し，生成文の精度と前提知識の再現率の向上を確認し，仮説推論能力を向上させることを実証している．