同一条件下におけるEncoder/Decoderアーキテクチャによる文埋め込みの性能分析

自然言語生成タスクにおいて，外部コーパスを検索し回答を生成するRetrieval-AugmentedGeneration(RAG)[1]が注目を集めている．RAGでは検索時において，文やクエリをベクトル化する文埋め込みモデルの性能がシステム全体に影響するため，優れた文埋め込みモデルが不可欠である．BERT[2]など従来用いられてきたTransformerのEncoderモデルに対し，LLM2Vec[3]を代表とするLlama[4]などDecoderモデルを用いた学習手法が提案されている[5,6]．これは大規模事前学習済みモデルを用い，知識転用による性能向上が見込めることへの期待である．しかし，この学習済みモデルはパラメータ数や学習データが従来のEncoderモデルと大きく異なり，利点や実用性が明らかでない．タ）下でのEncoder・Decoderモデルと，学習済みDecoderモデルをベースとした文埋め込みモデルの比較．本研究では，EncoderとDecoderアーキテクチャの違いが文埋め込み性能に与える影響を明らかにし，実用的な選択指針を提供するため，同一条件下で両モデルを構築・学習し，性能・計算効率・文埋め込み表現の品質の観点から定量的に比較を行う．学習データで構築したEncoderモデルとDecoderモデル，さらに大規模事前学習済みDecoderモデルを比較することで，アーキテクチャの違いと知識転用の効果を明らかにする．具体的には，以下の3つの観点から評価を行う．•下流タスクにおける文埋め込み性能の比較•運用時の処理速度とメモリ効率の比較•埋め込み表現の品質評価また，本研究で用いたソースコード1）とモデルチェックポイント2）を公開している．1）https://github.com/iamtatsuki05/MIREI2）https://huggingface.co/collections/iamtatsuki05/mireiThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ModelAvgRetrievalSTSClassiﬁcationRerankingClusteringSentence-Sarashina-Bi-0.5B(Decoder-Pretrained)66.8459.0083.5074.3577.3649.40Sentence-ModernBERT-JP-0.5B(Encoder)65.3157.9580.7871.7375.5050.03Sentence-Llama-Bi-JP-0.5B(Decoder)61.0251.5578.0168.5171.9648.69ModelThroughputMemorySpeedup(samples/s)(MB)vs.DecoderSentence-ModernBERT-JP-0.5B220528771.55×Sentence-Llama-Bi-JP-0.5B142138851.00×3.5評価設定構築したモデルの性能評価には，日本語文埋め込みベンチマークであるJMTEBを用いる．JMTEBは，Retrieval，STS，Classiﬁcation，Reranking，Clusteringの5タスクで構成され，文埋め込みモデルを多面的に測定できる．また，運用時の処理速度とメモリ効率を評価するため，wiki40b_jaを用いて系列長128トークンの条件下でスループットとGPUメモリ使用量を測定する．この系列長はModernBERTにおけるローカルアテンションのサイズに対応しており，対称的に比較可能である．処理速度とメモリ効率の詳細な測定条件は付録Bに示す．さらに，埋め込み表現の品質評価として，Wikipedia8）とMIRACL9）を用いたAlignmentとUniformityの分析も行う．4実験結果4.1下流タスク性能JMTEBによる評価結果を表1に示す．同一条件で構築したEncoderモデルとDecoderモデルを比較すると，平均スコアでEncoderモデルがDecoderモデルを4.29pt上回った．特に，Retrievalタスクでは6.40ptの差が見られ，検索タスクにおいてEncoderモデルの優位性が顕著である．一方，大規模事前学習済みのDecoderモデルは，同規模のランダム初期化Decoderモデルを5.82pt上回り，さらに同一条件で文埋め込み学習をしたEncoderモデルも1.53pt上回った．これは，10Tトークンの大規模事前学習により獲得した知識が文埋め込みタスクにも有効に転用できることを示している．8）https://huggingface.co/datasets/wikimedia/wikipedia9）https://huggingface.co/datasets/miracl/miracl4.2処理速度とメモリ効率運用を想定した処理速度とメモリ効率の評価結果を表2に示す．系列長128トークン，バッチサイズ128の条件下で測定した結果，Encoderモデルは2205samples/sのスループットを達成し，Decoderモデルの1421samples/sに比べて約1.55倍高速であった．GPUメモリ使用量については，Encoderモデルが2877MBであるのに対し，Decoderモデルは3885MBを消費している．この系列長128トークンは，ModernBERTにおけるローカルアテンションのサイズに対応しており，公平な比較となっている．詳細な測定結果は付録Bに示す．これらの結果から，RAGシステムの運用においてEncoderモデルが計算効率面で有利であり，大規模コーパスの高速な埋め込みに効果的であることがわかる．4.3埋め込み表現の品質現の品質評価結果を示す．も良好なAlignmentとUniformityを示し，次いで事前学習済みDecoderモデル，Encoderモデルの順となった．しかし，この順序が下流タスクの性能順序と一致していない．表1で示したように，下流タスクでは事前学習済みDecoder，Encoder，同一条件Decoderの順となっている．この乖離は，AlignmentとUniformityが埋め込み表現の性質を測定する指標であり，下流タスクで要求される意味的な関係性を完全に捉えきれていない可能性を示唆している．org/licenses/by/4.0/).文埋め込みを学習したモデル，丸は事前学習のみを行ったモデルを示す．右下ほど良好な表現品質を示す．5考察5.1アーキテクチャの性能差同一条件下ではEncoderモデルが下流タスク性能の面でDecoderモデルを上回った．この性能差の要因として，事前学習の目的関数の違いが挙げられる．EncoderモデルのMaskedLanguageModelingは文中の双方向的な依存関係を学習するのに対し，DecoderモデルのCausalLanguageModelingは次単語予測に特化している．文埋め込みでは文全体の意味を単一ベクトルで表現する必要があり，双方向的な文脈理解が重要となる．LLM2Vecでは文埋め込み学習時にAttentionを双方向化するが，事前学習で獲得された因果的な表現パターンは容易には変化しない．事前学習で学習された中間層の表現は次単語予測に最適化されており，文全体の意味的統合とは根本的に異なる．この目的関数の乖離が，Attention機構の変更だけでは解消できず，性能差として現れたと考えられる．5.2表現品質指標の限界AlignmentとUniformityによる評価では，同一条件Decoderモデルが最も良好な値を示したが，この順序は下流タスク性能と一致しなかった．これらは埋め込み空間の性質を測定する指標であり，類似サンプルの近接性や特徴分布の均一性を捉える．しかし，下流タスクで要求される意味的関連性や異なるクラス間の区別能力とは必ずしも一致しない．5.3大規模事前学習の効果学習済みDecoderモデルが同一条件のEncoderモデルを1.53pt上回った要因として，事前学習データ量の差が挙げられる．同一条件モデルは11Bトークンで事前学習されているのに対し，学習済みDecoderモデルは約10Tトークン，すなわち約1000倍のデータ量で事前学習されている．この大規模コーパスで獲得された豊富な言語知識が，文埋め込みタスクに効果的に転用されたと考えられる．新規に大規模事前学習を行うには膨大な計算コストが必要となるが，既存の学習済みモデルを活用すれば，追加の文埋め込み学習のみで高性能なモデルを構築できる．文埋め込みの学習コストは事前学習に比べると低く，費用対効果の観点からも学習済みモデルの転用は有効な手法である．5.4実用的な指針本研究の結果から，新規学習の場合はEncoderモデルを基本方針とし，学習済みモデルが利用可能な場合はDecoderモデルの転用を検討するという選択指針が得られた．新規にモデルを構築する場合はEncoderモデルが推奨される．同一の学習データ・コストでより高い性能を達成でき，推論時のスループットも約1.55倍優れている．コスト・処理速度を重視する場合に適している．一方，大規模事前学習済みDecoderモデルが利用可能な場合は，追加学習コストを抑えつつ高性能なモデルを実現でき，汎用的なタスクで最高精度を目指す場合には学習済みDecoderモデルの転用が推奨される．6おわりに本研究では，EncoderとDecoderアーキテクチャの違いが文埋め込み性能に与える影響を明らかにするため，同一のパラメータ数・学習データ・学習手法で両モデルを構築し，性能・計算効率・表現品質を定量的に比較した．その結果，同一条件下ではEncoderモデルがDecoderモデルを上回り，処理速度でも優位であることが示された．一方，大規模事前学習済みDecoderモデルの転用は，追加コストを抑えて性能向上をもたらす有効な手法であることを確認した．これらの知見は，実用的な文埋め込みモデルの選択指針を提供するだけでなく，アーキテクチャ選択が性能に与える影響の理解を深める重要な示唆となる．org/licenses/by/4.0/).