人材領域特化のLLM教師付き長文BERT埋め込みモデルの構築

大規模言語モデル（LLM）は高精度なテキスト理解を実現する一方，大量の文書処理では推論コストと応答速度が課題となり，外部API利用時にはデータ送信に伴うセキュリティ懸念も生じる．本研究では，LLMを教師とした知識蒸留（Knowl-edgeDistillation）により，求人マッチングの機会創出に特化した高性能かつ軽量なBERT埋め込みモデルを構築する手法を提案する．提案手法では，企業内で蓄積された求人文書のテキストペアに対してLLMを用い意味的類似度スコアを付与し，生成された大規模ソフトラベルデータセットで長文処理に特化したBERTモデルを訓練する．評価実験の結果，提案モデルは総合性能で最高値を達成し，OSS埋め込みモデルを大幅に上回り，OpenAIEmbeddingAPIとも同等以上の性能を示すことを確認した．