単語埋め込みの独立成分分析の軸が解釈できる粒度はどれくらいか？

言語や画像，音声などをベクトルや行列，テンソルなどで低次元で表現する技術を表現学習と呼ぶ．この表現学習によって得られた数値列を埋め込み表現と呼ぶ．埋め込み表現の登場により，様々な自然言語処理のタスクを数値的な処理で扱えるようになった．本研究では単語の埋め込み表現（単語埋め込み）に着目して分析を行う．単語埋め込みはさまざまなタスクに有用だが，各次元が何を表現しているかを理解するのは困難である．本研究では単語埋め込みの各次元の値が上位の単語からカテゴリを類推することを解釈と呼ぶ．単語埋め込みの軸の解釈性とは，単語埋め込みの中で解釈できる次元の割合と定義する．単語埋め込みの軸の解釈性を高めることは，埋め込みを用いた手法の信頼性を分析するのに有用である．単語埋め込みの軸の解釈性を向上させるために，際の独立成分数を変えて，軸の解釈性の評価をLLMを用いて実施する．独立成分分析（IndependentComponentAnalysis;ICA）を用いる研究が存在する[1,2]．独立成分分析とは，独立成分数を指定し入力された行列が各列ごとに独立になるように線形変換する手法である．先行研究ではICAを用いた変換の際の独立成分数として単語埋め込みと同じ次元数を用いているものの，独立成分数を変えた場合の振る舞いは明らかではない．解釈性が最大となるような独立成分数が分かれば，単語埋め込みにICAを適応する際の最適な粒度を用いることができる．そこで，本研究ではICAで変換する独立成分数を変えた際に単語埋め込みの軸の解釈性がどのように変化するかを分析する．具体的には，ICAの独立成分数を変えた際に次元ごとに値が上位の単語から大規模言語モデル（LLM）によって軸が解釈できる独立成分数を調査する．さらに解釈できた/できなかった独立成分数の傾向についての分析をする．本研究の貢献は以下となる．•LLMによる軸の解釈の妥当性を人手評価に.top-10単語生成カテゴリmicrosoft,windows,unix,os,linux,desktop,macintosh,operating,kde,guiOperatingSystemsproteins,cell,cells,protein,membrane,cytoplasm,eukaryotic,dna,mrna,eukaryotesCellbiologyheart,j,units,ec,cathar,transparency,televised,nist,priscilla,cravenNocategoryよって示した．特に，LLMが解釈できると判断した軸は人手評価とほぼ一致し，解釈できないと判断した軸の一部は人間によって解釈できる軸だと判定された．•ICAを適応する際の独立成分の粒度が大きいほど軸の解釈性が低下することを示した．一方で，独立成分数が大きくなるほど軸の独立性が失われる傾向がわかった．また，解釈できる/できない軸の違いは単語の概念の類似度に関連することを示した．