同一条件下におけるEncoder/Decoderアーキテクチャによる文埋め込みの性能分析

Retrieval-AugmentedGeneration(RAG)の実用化が進む中，文埋め込みモデルの重要性が増している．近年，大規模事前学習済みDecoderモデルを文埋め込みに転用する手法が提案されているが，従来のEncoderモデルとの性能・実用性の比較は十分でない．本研究では，同一のパラメータ数・学習データ・学習手法で構築したEncoderモデルとDecoderモデルを定量的に比較した．その結果，同一条件下ではEncoderモデルが下流タスク性能の面でDecoderモデルを上回った．また処理速度やメモリ効率の面でも優位であることを示した．一方，大規模事前学習済みDecoderモデルの知識転用は，追加コストを抑えつつ性能向上をもたらす有効な手法であることも確認された．これらの知見は，実用的な文埋め込みモデルの選択指針を提供するだけでなく，アーキテクチャ選択が性能に与える影響の理解を深める重要な示唆となる．