短い表現を学習させることで生成トークン数を削言語モデルの計算量削減を目的とした従来の手法減する新たな計算量削減手法を検討する．具体的には，1トークンあたりの計算コストを削減することは，次を調査する．(1)言語モデルに短い言語表現に焦点を当ててきた．本研究では，文章生成にかかを学習させることが可能であるか．(2)生成文の短るコストが生成トークン数にも影響されることに注縮がどの程度性能へ影響するか．目し，言語モデルの生成文を短縮することで計算量言語モデルに短い文章表現を学習させる方法としを削減する方法を検討する．これを実現する学習方て，生成した文章全体に対して長さに応じた損失を法として，文章全体に長さに応じた報酬を与える強与える方法と，1つのトークンに対してその後に続化学習と短い文章を誘発するトークンを正解データく文の長さに応じた損失を与える方法の2つが考えとする教師あり学習の2つを検証する．さらに，生られる．本研究では，前者を実現する手法として強成文の短縮率と性能の関係を調査することで，生成化学習に基づく手法を，後者を実現する手法として文の短縮が言語モデルの性能にどのように影響する教師あり学習に基づく手法を検討する．かを示す．Phi-3-mini，Zamba2-2.7Bにおける実験の強化学習に基づく手法では，ReinforcementLearning結果，強化学習と教師あり学習の両手法において生fromHumanFeedback（RLHF）[11]を応用する．通成文の短縮に成功した．また，5%以下の性能低下の常，RLHFは言語モデルに安全な出力やユーザがもとでは，Phi-3-miniは約15%～20%，Zamba2-2.7B好む出力を学習させるために用いられるが，報酬は約30%の短縮が可能であることが示された．関数を適切に設定することで，生成の質を維持したまま短い言語表現を学習させることができる

と考えられる．具体的には，学習中の言語モデル大規模言語モデル（LargeLanguageModels,LLMs）（ActiveModel）の生成文が，手法適用前の言語モを活用したアプリケーションが急速に普及する中，デル（ReferenceModel）の生成文に類似しているほLLMsが環境に与える影響への懸念が広がっていど，かつ短いほど高い報酬を与える報酬関数を定義る．2022年にChatGPTが登場したことを皮切りに，する．多くのLLMsが開発され，社会的な応用が拡大して教師あり学習に基づく手法では，生成文内の1ついる．しかし，LLMsを開発および運用するためにのトークンに注目し，より短い文章を誘発するようは，電力消費[1,2]や水資源の利用[3]，二酸化炭素なトークンを正解ラベルとして学習させる．具体的の排出[2]といったさまざまな環境問題が伴う．には，ReferenceModelの生成文内のトークンを別のこうした状況の中，LLMsの計算量を削減するたトークンに置き換え，続きをActiveModelに生成さめに枝刈り[4,5]や量子化[6,7]などのモデル圧縮手せることで，置き換え前後の文章の長さを比較す法やプロンプト圧縮[8,9,10]が提案されている．る．生成文が短くなった場合は，置き換えたトーク多くの言語モデルは自己回帰モデルであるため，ンを正解データとして学習させる．文章生成にかかる計算量は1トークンあたりの計Phi-3-mini，Zamba2-2.7Bにおける実験の結果，強算コストと生成トークン数によって決まる．そのた化学習および教師あり学習の両手法において，言め既存の計算量削減手法は，1トークンあたりの計語モデルの生成文を短縮することに成功した．ま算コストを削減することに焦点を当てている．一方た，ユーザ指示に基づくベンチマークテストの結で，生成トークン数に注目した計算量削減手法は提果，生成文の短縮率と性能のトレードオフが観測さ―3108―.れ，短縮率の上昇に伴い，性能が低下していく様子が見られた．一方，5%以下の性能低下のもとでは，Phi-3-miniで約15%～20%，Zamba2-2.7Bで約30%の短縮に成功した．さらに，強化学習に基づく手法は報酬関数のハイパーパラメータを操作することで，トレードオフを容易にコントロールできることが特徴的であり，教師あり学習に基づく手法は短縮率のコントロールが難しいものの，強化学習よりも性能への影響が少ないことが特徴的であることが示された．本手法はモデル圧縮とは異なり，モデルサイズを変えないため，言語モデルが保有する知識に影響を与えることなく計算量を削減することができる．また，プロンプト圧縮とは異なり，言語モデルの出力を短縮するため，入力に対して出力が長い場面においても効果的である．