生成文の短縮による言語モデルの計算量削減

短い表現を学習させることで生成トークン数を削言語モデルの計算量削減を目的とした従来の手法減する新たな計算量削減手法を検討する．具体的には，1トークンあたりの計算コストを削減することは，次を調査する．(1)言語モデルに短い言語表現に焦点を当ててきた．本研究では，文章生成にかかを学習させることが可能であるか．(2)生成文の短るコストが生成トークン数にも影響されることに注縮がどの程度性能へ影響するか．目し，言語モデルの生成文を短縮することで計算量言語モデルに短い文章表現を学習させる方法としを削減する方法を検討する．これを実現する学習方て，生成した文章全体に対して長さに応じた損失を法として，文章全体に長さに応じた報酬を与える強与える方法と，1つのトークンに対してその後に続化学習と短い文章を誘発するトークンを正解データく文の長さに応じた損失を与える方法の2つが考えとする教師あり学習の2つを検証する．さらに，生られる．本研究では，前者を実現する手法として強成文の短縮率と性能の関係を調査することで，生成化学習に基づく手法を，後者を実現する手法として文の短縮が言語モデルの性能にどのように影響する教師あり学習に基づく手法を検討する．かを示す．Phi-3-mini，Zamba2-2.7Bにおける実験の強化学習に基づく手法では，ReinforcementLearning結果，強化学習と教師あり学習の両手法において生fromHumanFeedback（RLHF）[11]を応用する．通成文の短縮に成功した．また，5%以下の性能低下の常，RLHFは言語モデルに安全な出力やユーザがもとでは，Phi-3-miniは約15%～20%，Zamba2-2.7B好む出力を学習させるために用いられるが，報酬は約30%の短縮が可能であることが示された．関数を適切に設定することで，生成の質を維持したまま短い言語表現を学習させることができる