タスク指示プロンプトによる大規模言語モデル内部のユーザー表現変化と汎用性の分析

ユーザー埋め込みとは，ユーザーが過去に行った一連の行動（映画の視聴，商品の購入など）を時系列に記録したユーザー行動履歴（以降，ユーザー履歴）に基づき，ユーザー間の類似性や関係性をベクトル空間上で扱えるようにした表現である[1]．近年，ユーザー埋め込みの有用性は推薦性能の向上にとどまらず，ユーザークラスタリングやパーソナライゼーションの高度化など，ユーザー理解を要する幅広いタスクにおいて高まっている[2]．しかし，既存のユーザー埋め込み手法の多くは，特定の下流タスクに最適化されており，他のタスクへの転用が困難であるという汎用性の課題がある[3]．一方，マルチタスク学習に基づく汎用的な手法[4]も提案されているものの，タスクによらず単一のベクトルでユーザーを表現するため，各タスクに対する最適性が十分でない場合が多い．このようにユーザー埋め込み手法における課題は，多様な下流タスクに対応可能な汎用性を確保しきれていない点にある．さらに実運用の観点では，複雑なモデル構造や追加学習を要しない簡便な手法が望まれ，個別タスクにおいても十分な性能が期待される．そこで本研究では，LLMの内部表現を埋め込みとして利用する先行研究[5,6]に着想を得て，同一のユーザー履歴に対してタスク指示プロンプトを変更することで，LLMの内部表現が下流タスクに応じたユーザー埋め込みとして動的に制御可能かを検証する．LLMによってタスク特化した埋め込みを得られれば，単一モデルによる柔軟かつ汎用的なユーザーモデリングが可能となる．具体的には，図1のようにタスク指示（例：Predictthegenderbasedonuserhistory.）とユーザー履歴をプロンプトとして与え，ユーザー埋め込みとして用いるhiddenstateの抽出位置を(i)入力最終トークン，(ii)生成最終トークンの2方式から比較し，それらが下流タスク性能および汎用性に与える影響を，複数の下流タスクに対する評価を通じて分析した．実験結果から，タスク指示プロンプトのみを変更することで，同一ユーザー履歴からタスク特化したユーザー埋め込みを動的に生成可能であることを確認し，特に生成最終トークンの内部表現が汎用的なユーザー埋め込み手法となりうることが示された．