Single-SLMにおける推論フレームワークの分析

昨今，大規模言語モデル（LLM）は自然言語処理タスクにおいて人間と同等以上の性能を示し，単なる情報検索だけでなく，意思決定支援を行う自律型エージェントとしての応用が進んでいる．また，情報セキュリティの観点から，ローカル環境で動作する小規模言語モデル（SLM）も注目されている．しかし，SLMは信頼性と安定性に課題を抱えている．言語モデルにおける信頼性の課題として，ハルシネーションと呼ばれる事実に基づかない嘘の生成があげられる．これらの問題の解決策としてSingle-Agent（SA）フレームワークのChain-of-Thought（CoT）[1]や自己反省（Self-Reﬂection）[2]などの手法が提案されてきた．しかし，これらの提案手法ではモデルが自身の誤った初期回答に固執し，修正が機能しなくなる思考の退化（Degeneration-of-Thought:DoT）という問題が指摘されている．一方で，計算資源の限られた環境ではGPT-4などのLLMを動作させるのは難しい．家庭用計算機では，パラメータ数の少ないモデルの実装が現実的である．しかし，パラメータ数の少ないSLMは知識量や推論の安定性に課題がある．近年，これらの問題の解決手法として，Multi-Agent（MA）フレームワークが有効とされる．本研究の目的は，S-SLMのMAシステムの議論型フレームワークが有効に機能するかを明らかにすることである．モデル本来の生成と，エージェント同士を議論させる議論型，タスクを分割して順次処理する分業型を比較する．具体的には，常識推論とマルチホップ推論という性質の異なる2つの推論タスクを用いて正答率を比較する．また，議論中の発言の類似度で，推論フレームワークの違いが思考の多様性に与える影響を考察する．