RecipeSTS:レシピのための類似性評価

BERT[1]やT5[2]をはじめとした言語モデルの性能評価において，テキストの意味的な類似性を反映した振る舞いが見られるかどうかは重要な観点のひとつである．STS(SemanticTextualSimilarity)[3]は自然言語で書かれた2つの文がどの程度意味的に似ているかを定量的に評価するタスクであり，現在では言語モデルの性能を測るためのベンチマークタスクとして広く利用されている．レシピは自然言語で書かれる文書の一種であり，その意味的な類似性を適切に捉えることはレシピの検索や推薦といった応用において重要な役割を果たす．しかし，レシピは後述するように一般的な文書と異なる特有の性質をもつため，既存のSTSベンチマークで高い性能を達成するモデルがレシピの類似性を適切に扱うことができるかどうかについては議論の余地がある．レシピは通常，タイトル・材料欄・調理手順・写真といった複数の要素からなる構造をもち，各要素は互いの情報を参照している．表1にCookpadRecipeDataset[4]に収録されているレシピの例を示す．この例では材料欄に記載されているいくつかの∗現在はLINEヤフー株式会社タイトル和風な♪もやしの和え物材料欄もやし1袋きゅうり1/2本人参1/2本カニカマ3本☆オリーブオイルひとまわし☆めんつゆひとまわし☆塩コショウ少々☆うまみ調味料少々手順1.もやしは茹でて水で冷ます