STS(SemanticTextualSimilarity)は異なる2つのテキストの意味的な類似性を評価するための基本的なタスクである．レシピは自然言語で書かれる文書の一種であるものの，既存のSTSデータセットが対象とするテキストとは異なる性質を多く有するため，既存のSTSベンチマークで高い性能を達成するモデルがレシピデータにおいても高い性能を示すかどうかは明らかでない．本研究では日本語のレシピタイトルの意味的な類似性を評価するために新たなデータセットを作成し，学習済み言語モデルのレシピにおける性能評価を行った．

BERT[1]やT5[2]をはじめとした言語モデルの性能評価において，テキストの意味的な類似性を反映した振る舞いが見られるかどうかは重要な観点のひとつである．STS(SemanticTextualSimilarity)[3]は自然言語で書かれた2つの文がどの程度意味的に似ているかを定量的に評価するタスクであり，現在では言語モデルの性能を測るためのベンチマークタスクとして広く利用されている．レシピは自然言語で書かれる文書の一種であり，その意味的な類似性を適切に捉えることはレシピの検索や推薦といった応用において重要な役割を果たす．しかし，レシピは後述するように一般的な文書と異なる特有の性質をもつため，既存のSTSベンチマークで高い性能を達成するモデルがレシピの類似性を適切に扱うことができるかどうかについては議論の余地がある．レシピは通常，タイトル・材料欄・調理手順・写真といった複数の要素からなる構造をもち，各要素は互いの情報を参照している．表1にCookpadRecipeDataset[4]に収録されているレシピの例を示す．この例では材料欄に記載されているいくつかの∗現在はLINEヤフー株式会社タイトル和風な♪もやしの和え物材料欄もやし1袋きゅうり1/2本人参1/2本カニカマ3本☆オリーブオイルひとまわし☆めんつゆひとまわし☆塩コショウ少々☆うまみ調味料少々手順1.もやしは茹でて水で冷ます