意味と形状の分離によるマルチモーダルレシピ検索及び画像生成
杉山 優 岡本 開夢 柳井 啓司
電気通信大学大学院
情報理工学研究科情報学専攻

2020/7/10© 2020 UEC Yanai Lab. Tokyo.

1

はじめに
• 食と健康への意識から、料理に関する技術への関心が高まっている• レシピの検索は、生活に密接に関わっている• ネット上にはレシピのデータが大量に存在

https://www.allrecipes.com

https://cookpad.com
2020/7/10© 2020 UEC Yanai Lab. Tokyo.

2

研究背景
• Recipe1M大規模データセットの登場により、画像とテキストのマルチモーダル検索の研究が盛んに

Recipe1M+[Salvador, CVPR2017]より引用、改変
2020/7/10© 2020 UEC Yanai Lab. Tokyo.

3

研究背景: マルチモーダル検索のイメージ• マルチモーダル検索は画像とテキストを同じ空間にエンベッディングすることで実現することができる
Harriet's Bran Muffins- 2 12 cups flour, sifted- 2 12 teaspoons baking soda
- …
1. 'Preheat oven to 400F andlightly spray muffin pans withcooking spray or line withcupcake papers.
2. …

テキスト
エンコーダ
共有のベクトル空間
画像
エンコーダ

2020/8/2© 2020 UEC Yanai Lab. Tokyo.

4

関連研究
• ACME[Hao, CVPR2019]• Adversarial Cross-Modal Embedding• 検索器に画像生成器を追加することが有効だと示した• 生成器の生成する画像が安定しない

ACME[Hao, CVPR2019]より引用
2020/7/10© 2020 UEC Yanai Lab. Tokyo.

6

関連研究
• ACME[Hao, CVPR2019]• Adversarial Cross-Modal Embedding• 検索器に画像生成器を追加することが有効だと示した• 生成器の生成する画像が安定しない

ACME[Hao, CVPR2019]より引用
2020/7/27© 2020 UEC Yanai Lab. Tokyo.

7

提案手法概要• 画像に含まれる成分• 意味的で検索に利用できる情報• 形状的で検索に利用できない情報

意味的な情報•••••形状的な情報
•••
•
•

チリソース
スープ
トマトが使われている
煮込み料理…

2020/7/27© 2020 UEC Yanai Lab. Tokyo.

丸皿
白い皿
画面中央で撮影
明るい場所で撮影…

8

提案手法概要• ACMEを改良し、画像の特徴を分離

ACME[Hao, CVPR2019]より引用、改変
2020/7/10© 2020 UEC Yanai Lab. Tokyo.

9

提案手法概要• ACMEを改良し、画像の特徴を分離

画像のエンコード/デコードを改良!

ACME[Hao, CVPR2019]より引用、改変
2020/7/10© 2020 UEC Yanai Lab. Tokyo.

10

提案手法
• 画像特徴を形状と意味に分離• 意味を検索に• 形状を画像生成に

Retrieval Space

ℒ&'(

56
Input Text

ℒ"#/4

578
579 ’

Input Image
2020/7/27

Share
d FC
layer%$TitleClassifier
IngredientClassifier

1048 class[0, 0, …, 0]ℒ)*+,,

4102 multi class[0, 0, …, 0]

578-Generated Image /© 2020 UEC Yanai Lab. Tokyo.

ℒ/(,012+13*0ℒ- , ℒ/
11

提案手法• 画像特徴を形状と意味に分離• 意味を検索に• 形状を画像生成に

Retrieval Space

ℒ&'(

56
Input Text

ℒ"#/4

578
579 ’

Input Image
2020/7/10

Share
d FC
layer

%
$TitleClassifier
IngredientClassifier

1048 class[0, 0, …, 0]ℒ)*+,,

4102 multi class[0, 0, …, 0]

578-

Generated Image /© 2020 UEC Yanai Lab. Tokyo.

ℒ/(,012+13*0ℒ- , ℒ/12

提案手法 - 画像のエンコード• 意味と形状で全く別のネットワークを使用• 形状は浅いネットワーク、意味は深いネットワーク• 形状が特徴マップなので、空間的な意味を多く含んでいる!#"ResNet50

Input Image!$" ’&MLP

1024

MeaningFeature Vector

1024

8

AdaIN Parameter %Residual
Block

UpSampling

8

Shape
Feature Map
2020/7/10© 2020 UEC Yanai Lab. Tokyo.

Generated Image13

提案手法まとめ画像の特徴を意味と形状に分離する
1. 画像の意味特徴のみをレシピ検索に利用

2. 画像の意味特徴と形状特徴を合わせて画像生成に利用

この手法をRDEGAN(Recipe Disentangled Embedding GAN)と呼称する

2020/7/10© 2020 UEC Yanai Lab. Tokyo.

14

実験 – 検索精度
• 既存手法よりも高い精度を記録• 中央値ランク(MedR)とリコール率で比較
サイズ

画像からレシピ

MedR↓

R@1↑

R@1↑

R@10↑

JE

5.2

25.6

65.0

5.1

25.0

65.0

ACME

1.0

51.8

87.5

1.0

56.3

85.9

Ours

1.0

59.4

87.4

1.0

61.2

87.2

JE

41.9

-----

ACME

6.7

22.9

57.9

6.0

24.4

59.0

Ours

3.5

36.0

64.4

3.0

38.2

65.8

手法

1k10k

2020/7/10

レシピから画像

R@10↑ MedR↓© 2020 UEC Yanai Lab. Tokyo.

15

実験 - 検索の例
Query Text#1#2#3

Ainsley Harriott's baked mussels
recipe- 350 g (12.3oz) Cherry tomatoes- 1 Red onion, finely chopped- …
1. Pre-heat the oven 200 degrees
C/400 degrees F gas mark 6.
2. Place the cherry tomatoes in alarge roasting tin and scatter overthe onions.
3. …

I Cant Believe Its Cutty: Victory Is
Mine Cocktail- 2 ounces Cutty Sark Prohibition
Edition- 3/4 ounce Marie Brizard Apry
- …
1.
2.
3.

Combine liquid ingredients in one
small shaker tin, and only the egg
white (no ice) in another.
Shake vigorously to froth egg
whites and other ingredients.
…
2020/7/10© 2020 UEC Yanai Lab. Tokyo.

16

実験 - 検索の例
#1

Query Image

Chicken Mushroom Barley Soup
- 4 garlic cloves- 1 leek
- …
1.
2.
3.

Mince garlic; slice leek longways
then chop.
Place a standard dutch oven(orsoup pot if you don't have a dutch "'oven) on the stove top.
…

Ultimate Green Beans- 2 slices bacon, diced- 1/2 white onion, minced
- …
1.
2.
3.
2020/7/10

Cook the bacon in a large, deepskillet over medium-high heat untilcrisp, about 10 minutes.
Remove the bacon with a slottedspoon and drain on a paper towellined plate…
© 2020 UEC Yanai Lab. Tokyo.

#2Tonjiru (Miso Soup with Veggiesand Pork)- 100 g pork
- 1/2 carrot
- …
1.
2.
3.

Chop all vegetables and pork intosmall pieces.
(Since I have a small child, I cut
them into a child-sized pieces, ' 'but
you can cut as you wish.)…

Herbed Green Beans andMushrooms- 2 lbs fresh green beans, trimmed- 3 cups water
- …
1.
2.
3.

Bring salted water to boil.
Add trimmed green beans cook
until tender but still crisp.
…

17

考察 – 検索精度
• 検索精度は既存手法に比べて向上した• 形状特徴を分離することによって検索精度が向上した• 一つの特徴量で画像生成と検索を兼ね備えることには無理があった• 形状特徴が検索に必要のない特徴を肩代わりする→意味特徴は検索に使用する情報のみを表現できるように→検索精度が向上した

2020/7/10© 2020 UEC Yanai Lab. Tokyo.

18

実験 – 生成画像
• 生成画像の品質を比較• 既存手法• RDEGAN(提案手法)• 提案手法で生成クオリティを大きく改善
ACME

RDEGAN

Input
Image

Image2Image

Text2Image

2020/7/31© 2020 UEC Yanai Lab. Tokyo.

19

既存手法

提案手法

実験 – 生成画像• 生成画像の品質を比較入力画像• 既存手法• RDEGAN(提案手法)• 提案手法で生成クオリティを大きく改善
ACME

Input
Image

画像から画像生成

RDEGAN

Image2Image

Text2Image
2020/8/2

テキストから画像生成© 2020 UEC Yanai Lab. Tokyo.

20

実験 – 生成画像
• 生成画像の品質をFIDで評価• どれだけ元の画像分布に近い画像を生成したかの指標• 分布間の近さなので小さいほど実画像に近い• 定量評価でも提案手法が良い画像を生成した
手法

ACME
RDEGAN(提案手法)

2020/7/10

FID↓@
画像から再構成

FID↓@
テキストから再構成
183.8
182.9
158.9
158.6

© 2020 UEC Yanai Lab. Tokyo.

21

実験 – 空間の変化• 表現空間の評価• 3つの実験を行なった• 画像A → 画像Bに生成画像の形状のみを変化させる• 画像A → 画像Bに生成画像の意味のみを変化させる• テキストA → テキストBに生成画像の意味のみを変化させる

2020/8/2© 2020 UEC Yanai Lab. Tokyo.

24実験 – 形状特徴の空間の変化• 形状特徴をある画像からある画像に連続的に変化させた際の生成画像• 形状特徴を変化させていくと画像の外見が変化していく
Input
Image

2020/7/10

Target
Image

Shape

© 2020 UEC Yanai Lab. Tokyo.

25

実験 – 形状特徴の空間の変化• 形状特徴をある画像からある画像に連続的に変化させた際の生成画像• 形状特徴を変化させていくと画像の外見が変化していく• サラダ→ミートスパでは、サラダのまま皿だけ丸くなる
Input
Image

2020/7/10

Target
Image

Shape

© 2020 UEC Yanai Lab. Tokyo.

26

実験 – 形状特徴の空間の変化• 形状特徴をある画像からある画像に連続的に変化させた際の生成画像• 形状特徴を変化させていくと画像の外見が変化していく• 丸皿→四角皿でも形状が変化していくが、具が増えたりはしない
Input
Image

2020/7/10

TargetImage

Shape© 2020 UEC Yanai Lab. Tokyo.

27

実験 – 意味特徴の空間の変化• 意味特徴をある画像からある画像に連続的に変化させた際の生成画像• 意味特徴を変化させていくと具材やテクスチャなどが変化する• 上画像のように左から右に具材が増えていく

Input
Image

2020/7/10

TargetImage

Meaning© 2020 UEC Yanai Lab. Tokyo.

28

実験 – 意味特徴の空間の変化• 意味特徴をある画像からある画像に連続的に変化させた際の生成画像• 意味特徴を変化させていくと具材やテクスチャなどが変化する• サラダ→ミートスパでは、大まなかな形状をそのままに、具材が変わる

Input
Image

2020/7/10

TargetImage

Meaning© 2020 UEC Yanai Lab. Tokyo.

29

実験 – 意味特徴の空間の変化• 意味特徴をある画像からある画像に連続的に変化させた際の生成画像• 意味特徴を変化させていくと具材やテクスチャなどが変化する• スープ→ヌードルでは丸皿のまま、具材と麺が増える

Input
Image

2020/7/10

TargetImageMeaning© 2020 UEC Yanai Lab. Tokyo.

30

実験 – 意味特徴の空間の変化 – テキストで• 意味特徴の変化をレシピテキストでも行なった• 画像の代わりにレシピテキストからエンコードした意味特徴でモーフィングRob and Lisa's
Island-Escape
Salad

Harriet's Bran
Muffins- 2 12 cups flour,
sifted- …

- 1/2 of a medium
pineapple, cored- …

Rob and Lisa's
Island-Escape
Salad

Four Alarm Chili- 2 lbs groundsirloin- …

- 1/2 of a medium
pineapple, cored- …

Udon-BeefNoodle Bowl

Chili Blanco- 1 tablespoon
vegetable oil- …

2020/7/10- 8 ounces
uncooked udon
noodles- …
© 2020 UEC Yanai Lab. Tokyo.

31

実験 – 意味特徴の空間の変化 – テキストで• 意味特徴の変化をレシピテキストでも行なった• 画像の代わりにレシピテキストからエンコードした意味特徴でモーフィングRob and Lisa's
Island-Escape
Salad

Harriet's Bran
Muffins- 2 12 cups flour,
sifted- …

- 1/2 of a medium
pineapple, cored- …

Rob and Lisa's
Island-Escape
Salad

Four Alarm Chili- 2 lbs groundsirloin- …

- 1/2 of a medium
pineapple, cored- …

Udon-Beef
Noodle Bowl

Chili Blanco- 1 tablespoon
vegetable oil- …

2020/7/10- 8 ounces
uncooked udon
noodles- …
© 2020 UEC Yanai Lab. Tokyo.

32

まとめと考察 – 画像生成と空間の変化• 画像生成のクオリティがよくなった• 画像生成には画像の形状特徴を使用するとよい• 意味ベクトルが生成画像の色やテクスチャを制御する• 画像からできた意味ベクトルでも• テキストからできた意味ベクトルでも同様に制御ができる• 形状マップが生成画像の形を制御する• 皿の形や、盛り付けの形が変化する

2020/7/29© 2020 UEC Yanai Lab. Tokyo.

34

まとめと今後の課題[まとめ]• 形状と意味を分離することによってレシピ検索と画像生成の精度を向上• 形状と意味を分離できているため、中間特徴を形状と意味でそれぞれ操作可能[今後の課題]• 生成画像のサイズが128x128と高画質ではないので、より高解像度の画像生成• テキストにも専用の特徴量を使用
2020/7/10© 2020 UEC Yanai Lab. Tokyo.

35