LLMにおける内部表現を用いた日本語スタイル制御メカニズムの分析

大規模言語モデル（LLM）は質問応答や要約文生成などで従来技術を大きく上回る性能を示しており，企業での実用化が進んでいる．その応用例として企業のAIチャットボットが挙げられるが，ブランドイメージやユーザー嗜好に合わせた「ペルソナ」を実現するため，LLMの生成文の文体制御が求められている．LLMの文体を制御する手法として，プロンプトの工夫に基づくアプローチやモデルの再学習が考えれる．しかし，プロンプトでは確実な制御が難しく，モデルの微調整は計算コストが高いという課題がある．そこで近年，モデル内部の表現を直接操作する手法が注目されている[1,2,3]．これらの手法は，低コストで効果的な制御を実現でき，さらにLLMの内部表現の解釈性向上にも寄与する．本研究では，この内部表現への介入がスタイル制御にどのように寄与するのかに着目する．既存研究では主に英語を対象としたスタイル制御が検討されてきたが，日本語特有の言語的特徴（方言や語尾な入力スタイルベクトルの適用LLM第𝑖層第𝑗層第𝑘層制御できるスタイル制御できないスタイルPCAによる次元削減クラスタ:明確ノルム分布ノルム：小LLMの内部表現から抽出したスタイルベクトルに基づき，制御可能・困難なスタイルを分析する．両者の違いは内部表現レベルで定量的に識別可能である．ど）に対する内部表現操作の効果は十分に検討されていない．本研究の目的は，LLMが生成する文体が，内部表現を操作することでどの程度制御可能かを明らかにすることである．具体的には，特定のスタイル（例：方言，語尾）を持つ文章群から，そのスタイルを特徴づける表現をベクトルとして抽出し，そのベクトル（以下，スタイルベクトル）による制御の有効性を検証する．さらに，制御の成功・失敗事例を特徴量レベルで分析することで，日本語スタイル制御メカニズムの理解を深めることを目指す．.②スタイルベクトルの抽出①データセットの作成③スタイルの制御指示文ランニングを始めるにはどうしたらいいのでしょうか？通常文ランニングシューズや服装は、使い慣れたものを⽤意し、5kmの⾛⾏のような達成可能な⽬標から始めましょう。…LLM第第スタイル文（関西弁）𝑖層𝑗層ランニングシューズとか服装は、使い慣れたもんを⽤意しやんとな。まずは5kmの⾛⾏みたいな、達成できる⽬標から始めたらええんちゃう？…本研究では，日本語口調に関して抽出したスタイルベクトルを用いてLLMの出力を制御する実験を行い，その効果を定量的・定性的に評価する．これにより，どのようなスタイルが制御可能かを明らかにする．得られた結果から制御可能性がスタイルベクトルにどのように現れるかを分析する（図1）．本論文の貢献は大きく二つある．第一に，日本語における特徴的な口調を対象にスタイルベクトルの操作を体系的に検討し，その効果を実証的に分析する点である．第二に，スタイルベクトルで制御可能・困難なスタイルを分類し，それらの違いを内部表現という観点から明らかにする点である．この試みは，LLMの出力をより精密に制御する際の基盤的手法となりうる．