人材領域特化のLLM教師付き長文BERT埋め込みモデルの構築

近年，ChatGPTに代表される大規模言語モデル（LLM）は，高精度なテキスト理解を実現し，多様なタスクで高い性能を発揮している．一方で，膨大なパラメータ数に起因する推論コストの高さや応答速度の低下，さらに外部API利用時にはデータ送信に伴うセキュリティ上の懸念も指摘されている．一方，人材業界では求人文書やレジュメ（職務経歴書）などの大量のテキストデータが日々蓄積されており，これらの意味的類似度を効率的に計算する技術が求められている．特に，推薦システムにおける新規ユーザや新規求人へのマッチングでは，テキスト内容に基づく特徴量が重要となる．このような問題に対し，これまではTF-IDFやLDA（LatentDirichletAllocation）[1]などの統計的手法や，汎用BERTモデルが用いられてきた．しかし，統計的手法では文脈を十分に捉えられず，汎用BERTモデルでは業界特有の専門用語や表現への対応が難しいという課題がある．本研究では，LLMを教師とした知識蒸留（Knowl-edgeDistillation）[2]により，人材マッチング領域の支援に特化した軽量で高速な長文BERT埋め込みモデルを構築した．具体的には，企業内で蓄積された求人文書のテキストペアに対し，LLMを用いて意味的類似度スコアを付与した．この大規模なソフトラベルデータセットを用いて，長文処理に対応したBERT埋め込みモデルを訓練した．評価実験では，複数のモデルサイズを構築し，OSS埋め込みモデルおよびOpenAIEmbeddingAPIとの比較を実施した．その結果，提案モデルは総合評価で最高値を達成し，OSSモデルを大幅に上回り，OpenAIEmbeddingAPIと同等以上の性能を実現した．本研究の主な貢献は以下の3点である．•ドメイン特化型軽量BERT埋め込みモデルのLLM知識蒸留による構築フレームワーク•サンプリング戦略とLLM自動ラベリングを統合した効率的な意味的類似度（SemanticTextualSimilarity,STS）データセット生成手法•軽量モデルによる商用API同等性能の達成とその有効性の実証