大規模言語モデルによる自己説明の忠実性は改善するか？

大規模言語モデル（LLM）は高度な言語生成能力を有し，自身の挙動の過程や根拠の説明（自己説明）を生成する能力をも備えている．このような自己説明は，本来ブラックボックスであるLLMの挙動を人間に解釈可能な表現に変換する試みとして注目されている[1]．しかし，近年の研究により，LLMの自己説明が実際の挙動を忠実に反映していないことが指摘されている．具体的には，自己説明においてモデルが有する社会的バイアスが隠蔽される[2,3]，自己説明に従い入力を編集しても期待された挙動が得られない[1,4]，挙動に影響を及ぼしたと推定された重要内容が自己説明に反映されない[1,4,5]，などの課題が確認されている．自己説明は高い説明性を提供し得る一方で，前述のような非忠実な自己説明はモデルに関する誤った理解を助長する危険性があり，忠実な自己説明能力の確立が求められている．本研究では，自己説明の忠実性の改善に向けた継続学習のフレームワークとして「自己説明学習」を提案する．自己説明学習では，忠実な自己説明を生成するタスク（自己説明タスク）を，入力文章中でデータのイメージ．本研究では，未学習の分類タスクおよび説明様式での自己説明タスク（青背景）への汎化の有無についても検証する．予測に最も影響を与える語を特定するタスクとして定式化する．その上で，モデルが既に学習したデータに自己説明タスクのデータを混ぜて継続学習を行うことで，自己説明の忠実性改善を図る．実験では，指示チューニング済みLLM（7B，13B）について，複数の分類タスク（感情分析，自然言語推論，短文読解の多選択肢問題）および説明様式（1語，2語）の条件下で，自己説明学習の有効性を検証する．実験の結果，学習データと同一設定での自己説明だけでなく，未学習の分類タスクや説明様式での自己説明においても，忠実性が改善することを確認した（図1）．