心理学では感情を円形構造として定義する考えが一般的で，深層学習においてもこの考え方に沿ってモデルの感情表現の分析・解釈が行われてきた．しかし，言語モデルの埋め込み表現に直接取り入れた研究は少なく，多様体構造としての有効性は未知のままである．本研究では超球面上で対照学習を行うことで，言語モデルの埋め込み空間に明示的に感情円環を表現し，円形構造の是非を検討する．従来手法と比較することで解釈性と識別精度のトレードオフを実験・理論的に示し，人間の解釈をモデル設計に取り入れる際のジレンマを明らかにする．

線形表現仮説[1]と重ね合わせ仮説[2]は言語モデルが概念をどのように表現するか解釈する上で広く用いられてきた．これらの仮説は言語モデルが様々な概念を，互いに干渉し合わないように直交する部分空間上で線形に表現するというものであり，実際に特定の方向のベクトルを推論時に加算することでモデルの振る舞いに介入できることが報告されている[3,4]．一方で非線形な構造を持つ概念も発見されており，代表例として週や月などの周期性を持つ概念やmod加算における数値表現は円形に表現されることがあげられる[5,6,7]．こうした非線形的な概念が他にも存在するかどうかについて，近年注目が集まっている[8]．心理学では人間の感情構造をモデル化したものとして，円環感情モデルが広く用いられてきた(図1(a))[9,10]．このモデルは機械学習モデルが人間の感情構造を反映しているかどうか検証するために，分析時の参照モデルとしてよく利用されている．しかし，既存研究は各感情表現の重心間距離や感情ラベルの共起予測確率をもとに感情間の関係性を分析するものが多く，事後的な分析かつ巨視的な考察にとどまっている[11,12,13]．言語モデルが人例1）(b)(c)(d)本研究で訓練した言語モデルの埋め込み空間をPCAにより次元削減したプロット図間の感情構造を反映しているか，また反映すべきかを議論するには，埋め込み空間上に多様体構造を明示的に構成する必要がある．そこで，本研究では言語モデルの埋め込み空間上に円環感情モデルを表現するように誘導し，その有効性を検討する．超球面上で学習を行うように設計されたnGPTヘッドと感情ラベル間のペアワイズ距離を取り入れた損失関数CircularCSEを組み合わせて学習を行い，識別精度および人間の認識に沿うかどうかの異なる観点で，従来手法との比較を行う．結果として円環感情モデルを明示的に再現したモデルは高い解釈性や可視性を持つが，従来手法と比べて感情ラベルの識別精度が低下することを示す(図1(d))．この現象を識別マージンの観点から説明1）ラッセルの円環感情モデルに基づく．図はWikimediaCommonsから引用(https://en.wikipedia.org/wiki/File:Circumplexmodelofemotion.svg).Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).