多言語文埋め込みの意味と言語の分離のための損失関数の分析

多言語文埋め込み[1–4]は機械翻訳の品質推定[5]や言語横断的な文類似度推定[6]および情報検索[7]など，多様な自然言語処理タスクで活用されている．しかし，埋め込みには言語に依存する情報が強く含まれる言語特異性の問題[8]があり，対訳コーパスを用いた訓練により，言語情報とは独立な意味情報の獲得に向けた研究が進められてきた[8–10]．これらは複数の損失関数を用いたマルチタスク学習により，意味情報（以下，意味表現）と言語情報（以下，言語表現）を独立した要素として分離することで意味情報の抽出を図っている．これらの一連の分離手法の中で，SEED[10]が最も高い性能を示している．図1のように，SEEDの訓練における損失関数は2種類に分類できる．1つ目は要素内制約である．これは意味表現または言語表現のいずれかの要素内で定義される損失関数である．具体的には，対訳文間では意味表現同士の類似度を最大化する一方で，同一言語文間では言語表現同士の類似度を最大化する．この制約により対訳文要素内制約要素間制約同一言語文対訳文同一言語文対訳文言語表現意味表現類似させる類似させないの意味表現同士および同一言語文の言語表現同士が類似するよう促される．2つ目は要素間制約である．これは意味表現と言語表現の両者に跨って定義される損失関数である．具体的には，文埋め込みが意味表現と言語表現の和で構成される前提のもと，意味表現を対訳文間で置換したり，言語表現を同一言語間で置換したりする．この制約により置換関係にある対訳文の意味表現同士および同一言語文の言語表現同士が類似するよう促される．そのため，両制約は同様の役割を果たすと考えられるが，表現分離への影響の違いや，従来のエンコーダ由来および近年のLLM由来のモデルといったアーキテクチャの違いとの相性については不明である．そこで本研究では，機械翻訳の品質推定タスク(QualityEstimation;QE[5])と言語横断の文間類似度推定タスク(SemanticTextualSimilarity;STS[6])を対象に，両者の違いの傾向を探る．また，得られた意味表現の幾何学的特性[11]の観点から，各制約が埋め込み空間に与える影響を分析する．評価実験の結果，エンコーダ由来のモデル[1,2]には両制約の併用が有効であるのに対し，LLM由来のモデル[3,4]には要素間制約のみが有効であることが示された．また，幾何学的特性の観点では，要素内制約は埋め込み空間の一様性(Uniformity)を改善する傾向があり，要素間制約は対訳文が空間上の近くに配置される性質(Alignment)を改善する傾向があることを確認した．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).WMT20QESemEval-2017STS言語対文対数言語対文対数en–de,en–zh100万en–it,en–tr50万ro–en,et–en20万en–de,en–es,en–fr20万ne–en,si–en5万en–ar,en–nl3万多資源中資源少資源モデル名手法en–dero–enne–enAvg.訓練なし0.0840.7050.5470.396要素内制約0.1870.7260.6340.481要素間制約0.1430.6980.5170.401両方0.1910.7250.6330.482LaBSE訓練なし0.1430.7670.5490.446要素内制約0.2130.7580.5920.493要素間制約0.1960.7660.6020.485両方0.2150.7610.5960.497mE5-large-instruct訓練なし0.1590.7890.6990.515要素内制約0.2190.7880.6810.529要素間制約0.2040.7980.7010.536両方0.2180.7920.6860.534GeminiEmbedding訓練なし0.1860.7550.6260.456要素内制約0.2220.7540.6160.473要素間制約0.2180.7630.6320.481両方0.2220.7570.6250.478Qwen3-Embedding-8Bタスクで利用可能な対訳コーパスの一部3）を使用した．SemEval-2017STSタスクには7つの言語対4）が含まれる．各言語対において250文対と人手評価値の組が評価用に提供されている．モデルの訓練には，先行研究[8,10]と同様に対訳コーパスのTatoeba5）から訓練用データを抽出した．内訳を表1に示す．モデル本実験における訓練の対象はMLPのみであり，1層の線形層のみで構成される．文埋め込みの獲得には，エンコーダ由来の埋め込みモデルとしてLaBSE6）[1]およびmE5-large-instruct7）[2]を，3）http://www.statmt.org/wmt20/quality-estimation-task.htmlから先行研究[8–10]と同程度の量を無作為抽出した．4）内訳は，多資源言語対の英語–イタリア語（en–it）および英語–トルコ語（en–tr），中資源言語対の英語–ドイツ語（en–de），英語–スペイン語（en–es），英語–フランス語（en–fr），少資源言語対の英語–アラビア語（en–ar）および英語–オランダ語（en–nl）である．https://public.ukp.informatik.tu-darmstadt.de/reimers/sentence-transformers/datasets/5）https://tatoeba.org/ja/6）https://huggingface.co/sentence-transformers/LaBSE7）https://huggingface.co/intfloat/multilingual-e5-large-instruct多資源中資源少資源モデル名手法en–iten–fren–nlAvg.訓練なし0.7600.7590.7550.734要素内制約0.7780.7820.7760.751要素間制約0.7500.7490.7530.727両方0.7800.7830.7760.753LaBSE訓練なし0.9080.9010.8990.886要素内制約0.9030.8950.8960.886要素間制約0.9130.9060.9050.893両方0.9080.9010.9000.890GeminiEmbeddingLLM由来のモデルとしてGeminiEmbedding8）[3]およびQwen3-Embedding-8B9）[4]を使用した．文埋め込みの獲得時には，エンコーダ由来のモデルでは単に入力文のみをモデルに与え，LaBSEでは最終層のCLSトークンを，mE5-large-instructでは最終層の各トークンの平均プーリングを用いた．GeminiEmbeddingではAPIを使用し，埋め込み取得時のTasktypeにはSTSを指定した．Qwen3-Embedding-8Bは評価リポジトリ10）を参考に，STSのタスク時の指示“Retrievesemanticallysimilartext”を入力文に付与し，最終層のEOSトークンを文埋め込みとした．LLM由来の2つのモデルは複数の埋め込み次元数に対応したMatryoshkaRepresentationLearning[14]のモデルであるが，本実験ではそれぞれ最大次元数の3,072次元および4,096次元を使用した．比較手法本研究の分析対象である要素内制約と要素間制約，そして両制約の併用（SEED[10]と同じ構成）により訓練した場合を比較する．ハイパーパラメータ訓練にはHuggingFaceTransformers[15]を使用し，バッチサイズを512，最適化手法をAdam[16]，学習率を1𝑒−4とした．検証用データとして訓練データの10%を無作為抽出した．検証用データにおける損失が3エポック連続で改善しない場合に訓練を終了した．3.2実験結果WMT20QEタスク言語対の結果と全6言語対の平均性能(Avg.)を記載した．いずれの単一の制約においても，訓練なしと比較して平均性能が向上しており，表現分離が適切に実行された．エンコーダ由来のモデル(LaBSEとmE5-large-instruct)では全6言語対の中で，どちら8）https://ai.google.dev/gemini-api/docs/embeddings9）https://huggingface.co/Qwen/Qwen3-Embedding-8B10）https://github.com/QwenLM/Qwen3-Embeddingorg/licenses/by/4.0/).も3言語対において両方の制約を課した場合が最も高く，次いで要素内制約が高かった．平均性能も同様の順位関係である．一方で，LLM由来のモデル(GeminiEmbeddingとQwen3-Embedding-8B)では，平均性能を含めどちらも3言語対で要素間制約に基づくモデルが最も高かった．SemEval-2017STSタスククと同様に各資源区分から1言語対の結果と全7言語対の平均性能(Avg.)を記載した．エンコーダ由来のLaBSEでは全7言語対のうちのすべての言語対において両方の制約を課した場合が最も高く，LLM由来のGeminiEmbeddingについては6つの言語対において要素間制約が高い性能となった．平均性能も同様の傾向だった．以上より，WMT20QEとSemEval-2017STSの実験結果には共通して，エンコーダ由来のモデルには両制約を用いる手法が有効で，LLM由来のモデルには要素間制約のみを用いる手法が有効であることが明らかとなった．4幾何学的特性に関する分析各制約が埋め込み空間に与える影響を明らかにするために，幾何学的特性を評価するAlignmentおよびUniformity[11]の指標を用いて分析する．これらの指標は，対照学習をはじめとする表現学習手法を，埋め込み空間の観点から評価するために用いられる[17–19]．ここでは，入力文𝑥の意味表現に対してL2正規化した埋め込み˜ℎ(𝑥)を用いる．AlignmentAlignmentは対訳文間の意味表現が，正規化された埋め込み空間上でどの程度近接しているかを表す指標である．本研究では，言語𝑋の文を𝑥，言語𝑌の文を𝑦とし，対訳ペア(𝑥,𝑦)の分布を𝑝posとしたとき以下の式(5)で定義される．˜ℎ(𝑥)−˜ℎ(𝑦)