対話モデルにおけるキャラクター特性の実現法の探索

1.1本研究の背景近年，ChatGPT[1]のような自然言語処理モデルが注目されている．ChatGPTは，OpenAIによって開発された大規模言語モデルで，同社の開発したGenerativePre-trainedTransformer（GPT）[2]と呼ばれる言語モデルによる文章生成によって，人間のような対話の生成を実現している．GPTをはじめとする大規模言語モデル（LargeLanguageModel，以下，LLM）では，基本構造としてTransformer[3]というネットワークが使われている．Transformerは深層ニューラルネットワークを用いた言語モデルで，従来のモデルであるLongShortTermMemory（LSTM）等で用いられていた再帰構造を避け，代わりに単語間の依存関係を表現する注意機構と呼ばれるメカニズムを導入したアーキテクチャである．Transformerは自然言語処理にとどまらず，画像処理[4]やマルチモーダル信号[5]など，多岐にわたるタスクで優れた性能を発揮している．対話型AIによって生成される文章のキャラクター特性は学習に用いたデータに依存しているが，学習のための文章量が豊富な英語の処理においては，入力を調整することによってキャラクター特性をある程度コントロールできることが知られている．日本語の場合においても，雑談対話においてLLMを利用することは有効[6]であることが示されており，学習データの前処理を適切に行うことで，その応答の生成にキャラクターの口調や個性が反映されることが示されている[7]．しかし，日本語特有の語尾によるキャラクター特性の表現に関しては，その特殊性から十分な研究がなされていない．本研究ではLLMにおいて，会話の語尾を変更させることでキャラクター特性を実現することを試みる．1.2本研究の目的例えば多数のNon-PlayerCharacter（NPC）が登場するゲームにおいて，NPCとの対話を実現するためには，NPCごとに特徴付けされたキャラクター特性が必要とされる．しかし，LLMにキャラクターごとに適した会話やセリフを学習させるために必要なファインチューニングは，膨大な手間とリソースを要する．また，キャラクターごとに独立したモデルを用いるとすると，極めて多くのハードウェアリソースを必要とするという問題もある．そこで，本研究では，GPTのような汎用の大規模言語モデルを使用しつつも，メモリの使用量を抑えたキャラクター特性を実現する方法を探索する．具体的には，ファインチューニングをせずに，単一のモデルで効率良くキャラクター付けを可能にする方法を提案する．対話モデルへの入力を制御することによって，生成される文章の語尾を変更させ，キャラクター特性の実現，その実現度合いを感性評価によって検証する．.