検索クエリの意図をよく反映した埋め込み表現は,検索エンジンの様々なクエリ理解(QueryUnder-standing,QU)タスクに活用できる.しかし,検索クエリは短く表層形の変化が生じやすいため,既存手法では意図を十分に捉えられない.本研究ではユーザ行動ログから抽出した,検索意図が類似するクエリペアを正例とする対照学習手法を提案する.このペアは表層形の類似性に依らず意図が類似するため,表層形の差異に頑健でクエリに内在する意図を的確に捉える埋め込みモデルを実現できる.提案モデルは複数のQUタスク評価でRuriやSimCSEなどの最先端テキスト埋め込みモデルを大幅に上回った.

クエリ推薦やクエリ分類などのクエリ理解(QU)タスクは,検索エンジンにおける検索体験向上の要となる技術である[1,2].このQUタスクに対して近年,表層形の不一致に頑健な埋め込みに基づく手法が盛んに適用されている[3].しかし,個々のQUタスクに応じて埋め込みモデルを学習するのはコストが高く,多様なQUタスクに適用可能な汎用クエリ埋め込みの需要がある.しかし,一般的に検索クエリは短く簡潔に表されるため,文脈情報が乏しくその意図を正確に捉えるのは難しい[4].また,検索クエリは短いため同義語置換のような軽微な編集で表層形が大きく変化しやすい.例えば「ディズニー最寄り」と「TDLアクセス」は類似する意図を持つが,表層形は大きく異なる.これらの性質を考慮し,検索クエリに適した埋め込みの学習法を検討する必要がある.テキスト埋め込みの学習において対照学習に基づ*Equalcontribution.(a)クリックログ(b)セッションログく手法が広く成功を収めている[5,6,7,8,9].特に最先端の手法は,Q&Aサイトの質問・回答のペアやWikipediaのタイトル・節のペアなど,大規模なウェブ由来の弱教師ペアを活用する[6,7,8].しかし,これらは主に長く文脈が豊富なテキストで構成され,短く文脈に乏しい検索クエリには十分に適用できない.また,検索クエリコーパスを使用し,教師なし対照学習を適用する方法がある.代表的かつ強力な手法である教師なしSimCSE[5]では同一文を異なるドロップアウトノイズを用いて2回符号化することで擬似正例ペアを生成する.しかし,このような正例ペアで学習されたモデルは表層形を重視して類似性判定する傾向にあり,表層形は異なるが意図は一致するペアを同定できないことが観測された(§5).以上より,既存手法に基づく正例ペアはクエリ埋め込み用の学習データとして不十分だと考えられる.本研究ではユーザ行動ログから抽出された意図が類似するクエリペアを対照学習の擬似正例として活用し,ユーザの意図に基づく埋め込みを学習するUBIQUE(UserBehavior-drivencontrastivelearningwithIntentalignmentforsearchQUeryEmbeddings)を提案.する.UBIQUEでは二種類のユーザ行動ログを活用する(図1).•クリックログ：クエリ入力後に検索結果のURLをクリックした記録.同一URLをクリックしたクエリペアは類似する検索意図を持つ.•セッションログ：同一ユーザが一定時間内に検索したクエリ列の記録.同じセッション内のクエリペアは類似する検索意図を持つ.UBIQUEではこれらのログから抽出した意図が類似するクエリペアで対照学習[10]を行い,検索クエリに内在する意図を的確に捉える埋め込みモデルを構築する.また,正例ペアは表層形の類似性に依存せず構築されるため,モデルが表層形の差異に頑健になることが期待される.実験では,4種類の実践的なQUタスクでUBIQUEを多面的に評価した(§4).クリックログに基づく提案モデル(UBIQUEclick)およびセッションログに基づく提案モデル(UBIQUEsession)は,Rurilargeや教師なしSimCSEなどのベースラインを大きく上回る性能を示した.また,提案モデルを精査した結果,表層形の異同に対して頑健で,内在的な意図を適切に捉えられている点が確認された(§5).