日本語レシピデータセットの継続的な構築と複合的な利用
原島純、平松淳、深澤祐援、山口泰弘（クックパッド株式会社）

NLP2022 Workshop on Japanese Evaluation Dataset (JED2022)

1

背景
インターネットやスマートフォンの普及によりインターネット上のレシピが増加
・日本語だと 70 万レシピ（2010）→ 500 万レシピ（2020）＊1
レシピに関する研究やデータセットも増加
・研究：言語理解 [Kiddon+ 15]、文書生成 [Kiddon+ 16]、情報検索 [Salvador+ 17]、質問応答 [Yagcioglu+ 18]、…
・データセット：Recipe1M+ [Marin+ 19]、RISeC [Jiang+ 20]、ARA [Donatelli+ 21]、…
研究にしろデータセットにしろ、メインはやはり英語（特にトップカンファレンス）→ 日本語も負けてられない！

＊1 クックパッドと楽天レシピに投稿されたレシピの総数（発表者調べ）

2

目次

日本語レシピデータセットの継続的な構築
日本語レシピデータセットの複合的な利用
まとめと今後の展望3

クックパッド
インターネット上でレシピの投稿・検索ができる日本最大＊1のレシピサービス
・レシピ投稿数：365 万品
・国内月間利用者数：5,600 万人・プレミアム会員数：183 万人
・展開国・地域数：74 カ国
・対応言語数：32 言語＊1 それぞれ 2021 年 12 月 31 日時点のデータ

4

レシピ
料理の材料や作り方を記述した文書
多くの場合、以下の要素で構成される
・タイトル
・作者のコメント・作者の名前
・材料・作り方・調理後の写真（場合によっては動画）
・調理中の写真（場合によっては動画）
・…

5

Cookpad Dataset
クックパッド株式会社が継続的に構築・公開しているデータセット
・Cookpad Recipe Dataset（2015 年公開）
・Cookpad Image Dataset（2017 年公開）
・Cookpad Comparable Corpus（2017 年公開）
・Cookpad Parsed Corpus（2020 年公開）

6

Cookpad Recipe Dataset
2014 年 9 末までに投稿された約 172 万レシピのテキスト（タイトル、作者のコメント、材料、作り方、…）を収録 [Harashima+ 16]
一部のレシピにはカテゴリや献立の情報もある（逆に言うと、全てのレシピにはない）
2015 年に公開、レシピ関連のテキストデータセットとしては世界最大

7

Cookpad Recipe Dataset
後述する他のデータセットと違い、NII＊1 経由で公開
2022 年 3 月時点で全国 110 大学 212 研究室＊2が利用＊1 https://www.nii.ac.jp/dsc/idr/cookpad/＊2 NLP 以外の研究室も多数

8Cookpad Image Dataset
Recipe Dataset と同じ 172 万レシピの画像（調理後の写真、調理中の写真）を収録 [Harashima+ 17]
2017 年に公開、レシピ関連の画像データセットとしては世界最大

9Cookpad Image Dataset

調理後の写真数で世界最大調理中の写真数でも世界最大

Recipe Dataset と紐付け可能
10

Cookpad Comparable Corpus
16,000 レシピに対する翻訳データ（日→英）を収録
・過去に開発していたサービス（クローズ済み）で使用していたデータ
翻訳プロセス
・1. 日本語ネイティブ 1 名＊1＊2 が翻訳
・2. 英語ネイティブ 2 名＊2 が修正
WAT 2017 と 2018＊3 の subtask として提供＊1 英語に精通している人を採用＊2 料理に精通している人を採用＊3 http://lotus.kuee.kyoto-u.ac.jp/WAT/WAT{2017,2018}/index.html

••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•

ja: {
title: 卵豆腐のすまし汁,ingredients: [卵豆腐,…
],
steps: [たけのこは上のやわらかい部分だけを薄く切る。,
…
],},
en: {
title: Clear Broth with Egg Tofu,ingredients: [Egg tofu,…
],
steps: [Take the soft part of the top of the bamboo shoot and thinly slice.,…
],}
簡単のため、実際のデータを改変・省略

11

Cookpad Comparable Corpus

ベンチマークの結果や実験用のスクリプトが閲覧・取得可能

12

Cookpad Parsed Corpus
500 レシピ（タイトルと作り方）に対する形態素解析と構文解析、固有表現認識の正解データを収録 [Harashima&Hiramatsu 20]
・形態素解析：MeCab（ipadic）の結果を人手で修正・構文解析：CaboCha の結果を人手で修正・固有表現認識：独自の 17 タグを人手で付与
企業による日本語解析済みコーパスの公開は初？

# Step-ID:1# Sentence-ID:1-1* 0 4D 1/2 .7
13:,,?,35,*,*,*,*,1,,,B-Fi+?,,<,*,*,*,*,+, , ,I-Fi
0,,$0,,*,*,*,*,,,,O* 1 2D 1/2 =4'
( ?,,<,*,*,*,*,(, , ,B-Sf6?,,<,*,*,*,*,6, , ,I-Sf0,, 0,,<,*,*,*,,,,O* 2 4P 0/0 /'2 ;,,-A,*,*,&8),B@%,2, , ,B-Ap* 3 4D 0/1 =4'
?,,<,*,*,*,*,, ,,B-Fi

0,, 0,,<,*,*,*,,,,O
* 4 -1O 0/0 /';,,-A,*,*,&8),!>%,,,,B-Ap



"*,#9,*,*,*,*,,,,OEOS

13

Cookpad Parsed Corpus
新聞記事の解析と比べると…

形態素解析器（MeCab）の性能＊1
適合率

再現率

F値

なし

94,82

95,1895,00

あり

95,6995,84

95,77

なし

88,6989,02

88,85あり

90,91

91,06

90,98

単語分割のみ・形態素解析は難しい（未知語が多いため）・構文解析は易しい（文が短いため）

再学習

単語分割＋
品詞タグ付け・固有表現認識は不明（同じタグが付いてないため）
構文解析器（CaboCha）の性能＊1
正解率
再学習
文節単位

文単位

なし

91,49

70,36あり

94,2078,04

固有表現認識器の性能＊1＊1 実験用のスクリプトは https://github.com/cookpad/cpc1.0 で公開

正解率

適合率

再現率

F値

[Sasada + 15]

87,48

73,61

81,37

77,30

[Lample+ 16]

90,1385,95

85,5685,75

14たべみる（ついでに紹介）

クックパッドの検索データを蓄積、法人向けに展開している分析ツール
2016 年に公開・データセットとして公開しているわけではなくアカウントを無償で提供（研究者のみ）

15

目次

日本語レシピデータセットの継続的な構築
日本語レシピデータセットの複合的な利用
まとめと今後の展望16複合的な利用？

各データセットは個別に利用可能（当たり前）
一方、複合的に利用することで初めて取り組めるタスクや手法も17個別の利用Recipe Dataset
・文書推薦（主菜推薦・副菜推薦）
・文書生成（タイトル・作り方生成）
・キーワード推薦（材料推薦）
・…

Comparable Corpus
・機械翻訳（日英）Image Dataset
・超解像・…

Parsed Corpus
・形態素解析
・構文解析
・固有表現認識18

複合的な利用
Recipe Dataset
・文書推薦（主菜推薦・副菜推薦）
・文書生成（タイトル・作り方生成）
・キーワード推薦（材料推薦）
・…

視覚的質問応答

Image Dataset

マルチモーダル検索
キャプション生成・超解像・…

画像認識（料理認識・材料認識）
マルチモーダル翻訳

Comparable Corpus
・機械翻訳（日英）Parsed Corpus
・形態素解析
・構文解析
・固有表現認識19

複合的な利用（手法の観点）
Recipe Dataset
事前学習・Masked Language Model・Next Sentence Prediction
・…

ファインチューニング

Comparable Corpus
・機械翻訳（日英）ファインチューニング

Parsed Corpus
・形態素解析
・構文解析
・固有表現認識20

事前学習モデルの構築

既に取り組みはじめてくださっている方もHCG シンポジウム 2021

21

さらなる併用も？
・楽天データセット・フローグラフコーパス [Mori+ 14]
・料理オントロジー [Nanba+ 14]
・基本料理知識ベース [清丸+ 18]

いずれもレシピや料理に関する日本語のデータセット

・r-FG-BB データセット [Nishimura+ 20]
・…
22

目次

日本語レシピデータセットの継続的な構築
日本語レシピデータセットの複合的な利用
まとめと今後の展望

23まとめ
日本語レシピデータセットの継続的な構築
・Cookpad Recipe Dataset（2015 年公開）
・Cookpad Image Dataset（2017 年公開）
・Cookpad Comparable Corpus（2017 年公開）
・Cookpad Parsed Corpus（2020 年公開）
日本語レシピデータセットの複合的な利用・タスク：視覚的質問応答、マルチモーダル検索、キャプション生成、…
・手法：事前学習＋ファインチューニング
24

今後の展望Cookpad Video Dataset with OMRON SINIC X 鋭意開発中！
Video Dataset

Parsed Corpus# Step-ID:1# Sentence-ID:1-1* 0 4D 1/2 .7
13:,,?,35,*,*,*,*,1,,,B-Fi+


解析済みレシピと調理動画を紐付け?,,<,*,*,*,*,+, , ,I-Fi
0,,$0,,*,*,*,*,,,,O* 1 2D 1/2 =4'
( ?,,<,*,*,*,*,(, ,6?,,<,*,*,*,*,6, , ,I-Sf

,B-Sf…

0,, 0,,<,*,*,*,,,,O* 2 4P 0/0 /'2 ;,,-A,*,*,&8),B@%,2, , ,B-Ap* 3 4D 0/1 =4'?,,<,*,*,*,*,, , ,B-Fi
0,, 0,,<,*,*,*,,,,O
* 4 -1O 0/0 /';,,-A,*,*,&8),!>%,,,,B-Ap

25

参考文献
• [Donatelli+ 21] Aligning Actions Across Recipe Graphs• [Harashima+ 16] A Large-Scale Recipe and Meal Data Collection as Infrastructure for Food Research• [Harashima+ 17] Cookpad Image Dataset: An Image Collection as Infrastructure for Food Research• [Harashima&Hiramatsu 20] Cookpad Parsed Corpus: Linguistic Annotations of Japanese Recipes• [Jiang+ 20] Recipe Instruction Semantics Corpus (RISeC): Resolving Semantic Structure and Zero Anaphora in Recipes• [Kiddon+ 15] Mise en Place: Unsupervised Interpretation of Instructional Recipes• [Kiddon+ 16] Globally Coherent Text Generation with Neural Checklist Models• [Lample+ 16] Neural Architectures for Named Entity Recognition• [Marin+ 19] Recipe1M+: A Dataset for Learning Cross-Modal Embeddings for Cooking Recipes and Food Images• [Mori+ 14] Flow Graph Corpus from Recipe Texts• [Nanba+ 14] Construction of a Cooking Ontology from Cooking Recipes and Patents• [Nishimura+ 20] Visual Grounding Annotation of Recipe Flow Graph• [Salvador+ 17] Learning Cross-modal Embeddings for Cooking Recipes and Food Images• [Sasada+ 15] Named Entity Recognizer Trainable from Partially Annotated Data
• [Yagcioglu+ 18] RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking Recipes• [香川+ 21] クックパッドデータセットで学習した BERT 及び GPT-2 の活用法
• [清丸+ 18] 料理レシピとクラウドソーシングに基づく基本料理知識ベースの構築

26