埋め込み表現の独立成分の言語内・言語間一貫性の分析

単語埋め込みは，自然言語の単語を多次元の実数ベクトル空間（たとえばユークリッド空間）に表現し，データとして扱いやすくする手法である．このような埋め込みは，単語や文を連続的に表現するため，データの解析や処理を容易にする．しかし，単語埋め込みは学習データや埋め込み空間の次元数によって値が大きく変化するため，解釈が難しいという課題がある[1]．たとえば，「Argentina」の埋め込みベクトルが[0.0088871,−0.02218,...]であると言っても，その意味が具体的に何を示すのか分かりにくい．この解釈可能性の問題に対処するため，主成分分析（PCA）や独立成分分析（ICA,[2]）などの手法が提案されてきた．ICAは，PCAよりも「意味軸」の解釈性が高い表現を提供するとされている[3]．ここで「意味軸」とは，単語埋め込み空間において概した様子を示す図．Icassoによって生成されたクラスタが円で表され，各クラスタの品質指数は数字で表されている．品質指数が高いクラスタには単語を用いて解釈を付与した．また，直線で結ばれたものは，言語間一貫性があるとしてまとめられた独立成分のグループを示す．念や特徴を共有する単語群をひとつの軸として表す独立成分のことである．たとえば，ある独立成分が「apple」「banana」「peach」といった単語に対して高いスコアを示す場合，その意味軸を果物という概念として解釈し，[applebananapeach]というラベルを付与できる．[4]は，ICAを用いることで，多言語単語埋め込みを解釈可能な軸に分解できることを示し，特定の意味軸が言語を超えて普遍的に存在する可能性を示唆した．しかし，この研究には大きく二つの限界があった．一つは，言語間の意味軸の対応を相関係数の計算のみに基づいて評価していた点である．もう一つは，言語内および言語間における独立成分の一貫性について検証を行っていなかった点である．本研究において，一貫性とは，一つの言語内で複数回の実行にわたって出現する独立成分の安定性（言語.内一貫性）と，複数の言語間で正しく対応が確認できる意味軸（言語間一貫性）を指す．[3]や[4]によって，単一言語内での意味軸発見は示唆されるが，これらの軸がどの程度言語を超えて共有されるのかは明らかでない．本研究では，多言語間にわたる意味軸の類似性を定量的に示すことで，この問題に取り組む．具体的には，まず各言語における独立成分の信頼性をIcasso[5]を用いて検証する．IcassoはICAアルゴリズムを複数回実行し，その結果をクラスタリングすることで一貫性を担保する手法である．次に，クラスタ中心の独立成分に単語ラベルを付与し意味軸を得た後，統計的手法を用いて意味軸の対応関係を分析する．さらに，脳科学の分野で開発された[6]の手法を活用し，複数の言語に共通する独立成分を特定する．本研究の貢献は，単語埋め込みの解釈性と一貫性を向上させる点にある．言語内ではIcassoを用いてロバストな独立成分を抽出し，言語間では統計的検定により対応を検証することで，多言語単語埋め込みの意味構造をより厳密に分析できるフレームワークを提案する．1）