社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

意味と形状の分離によるマルチモーダルレシピ検索及び画像生成杉山優†柳井 啓司†† 電気通信大学 大学院情報理工学研究科 情報学専攻
E-mail: †sugiya-y@mm.inf.uec.ac.jp
あらまし 近年のレシピに関する情報技術は大きく発展しており，Cookpad や AllRecipes など，レシピ投稿サイトが多く存在している．この膨大なデータを利用したディープラーニングによるレシピ検索が広く研究されている．特にRecipe1M [11] データセットが提供されてからは大規模なテキストと画像を利用した検索手法が多く提案されている．
本研究ではこのマルチモーダル検索タスクに対して，テキスト情報と画像情報の両者同じ空間へのエンベッディングを行い，さらに画像生成を用いることで高精度で中間表現が確認できる検索を可能にする手法である RDEGAN(Recipe

Disentangled Embedding GAN) を提案した．マルチモーダル検索を共有空間へのエンベッディングを通して行うことで，テキストと画像の双方向の検索が可能になる．また，学習の過程において，料理画像の形状と意味を分離する
ことで，検索の精度を改善するとともに生成する画像を実画像により近づけた．さらに，生成した形状と意味の画像
中間表現が意味空間において連続的であることを実験で示した．
キーワード マルチモーダル検索，画像生成，画像特徴の意味と形状の分離

Multimodal Recipe Search and Image Generation
by Disentangling Contents and Styles
Yu SUGIYAMA† and Keiji YANAI†† Department of Informatics, The University of Electro-Communications, Tokyo
E-mail: †sugiya-y@mm.inf.uec.ac.jp

1. は じ め に
昨今のウェブサービスの発展により，人の暮らしにおいてイ
ンターネットを通してレシピを検索したり，推薦されたりする

R2GAN [15] や ACME [14] ではエンコードするだけでなく，共有空間からの画像やテキストの再構成を行うことによって共有空間での意味の表現がより高レベルな情報を含むようになり，
検索精度が改善することを示した．

ことが広まっている．Cookpad や AllRecipes などのサービス

しかしこれらの手法では画像の検索と生成を全く同じ特徴量を利用してユーザーはレシピテキストと画像を含む投稿を行うから行っており，異なるタスクでの中間表現の違いについて考ことができる．この多くのデータは各サービスのフォーマット

慮されていない．レシピ画像にはテキストで表現される意味的に則って作成されているため，スクレイピングを行うことで大な特徴である具材の色や形などの情報と，画像のみでしか表現

規模なデータセットを作成することができる．

されない盛り付けの形や皿の形状，カメラの画角などの情報がRecipe1M [11] データセットでは 12 のレシピ投稿サイトから両方含まれている．これらを分離し，テキストと画像で共有さ料理画像と調理手順や材料を含むテキストのデータを収集した．

れる情報を検索に使用し，画像のみでしか使用しない情報を画

この大規模データセットの登場によって，テキストと画像のマ像生成に使用するようなアイデアが必要とされる．

ルチモーダル学習を行う研究が盛んに行われるようになった．

本研究では，マルチモーダルレシピ検索タスクに対して，テJoint Embedding [13] や AdaMine [1] ではテキストと画像をキスト意味ベクトルと画像意味ベクトルの両者を共有空間へと同じ形のベクトルにエンコードし，その潜在空間内でのテキス

エンベッディングを行う RDEGAN を提案する．この際，画ト意味ベクトルと画像意味ベクトル間のユークリッド距離を最像を検索に使用する意味ベクトルと画像再構成に使用する形状

小化することによって共有空間を学習し，両意味ベクトル間の特徴の二つにエンコードすることによって，画像からの検索と距離によって検索を行った．

画像からの再構成のそれぞれのタスクに適応した特徴量を学習—1—

し，検索精度と画像生成のどちらにおいても品質を向上させる

ンコーダを用いて，再構成された画像をエンコードした結果がことが目的である．

元のエンコードと同一になるよう学習する点で共通しており，

2. 関 連 手 法

本研究での形状と意味の分離においてもこれを踏襲したアーキ
テクチャを用いる．

2. 1 マルチモーダルレシピ検索

2. 3 画像の生成

初めて Recipe1M [11] を使用するマルチモーダル画像検索

2. 3. 1 Generative Adversarial Netを提案したのは JE(Joint Embedding) を用いる im2recipe [13]近年の画像生成の手法としては，多くのものが GAN [2] をで，画像とテキストをそれぞれエンコードし，それらをコサイ利用している．GAN は画像を生成するジェネレータと画像をン類似度の尺度で最適化することで共有空間を学習した．

判別するディスクリミネータの二つからなる学習手法である．

AdaMine [1] ではトリプレットロスを用いて共有空間を学習

ジェネレータは本物らしい画像を生成することが目的で，ディすることで検索精度が向上することを示した．トリプレット学

スクリミネータはジェネレータの生成した画像と実画像の判別

習は正のサンプル同士の距離を近く，負のサンプルの距離を遠をすることを目的とする．この二つのネットワークが対立的にくすることでベクトル表現がより意味を捉えたものになる学習

学習を重ねることでジェネレータが高い表現能力を獲得するよである．この手法から，レシピ検索においてトリプレットロス

うになるため，GAN は画像生成をはじめとして，画像変換やを用いたり，トリプレットの作成の際に意味的には遠くなるは

超解像，他にも多数のタスクで応用されている．

ずだが空間的な距離が近く，分割の難しいサンプルを選ぶ [4]GAN の発展の一つとして，画像生成のための事前分布 z かことで効率的に学習を促進することができることを示した．

らの生成の際，ランダムに画像生成を行うのではなく，ある程R2GAN [15] では，検索を行う共有空間への写像の際，画像度の制御を可能にするものがある．cGAN [12] ではクラスラベとテキストをエンコードしてエンベッディングベクトルにする

ルなどの画像の属性を示すベクトルによって生成画像の制御をだけでなく，そこからさらにデコードし画像を生成した．これ行うことが可能である手法を示した．また，GAN での学習のを GAN によって画像生成ネットワークとして学習することで問題点として学習の不安定さがあり，これを解決する学習の安生成画像が実際の料理写真らしくなるように学習を行うと，画定か手法として SNGAN [9] や LSGAN [10]，WGANGP [3] な像の中間表現がより意味的に正しいものになり，検索精度が向どがある．これらの手法でより安定した学習を行い，また高品上することを示した．

質な画像を生成することが可能になった．

現在の State-of-The-Art な手法である ACME [14] では，マGAN は既存のマルチモーダルレシピ検索でも用いられておルチモーダルレシピ検索の改良手法としてエンベッディングかり，ACME では画像の生成には [12] を使用しており，レシピ

ら画像の再構成を行い，潜在空間ではトリプレット学習を行う

エンベッディングによって生成する画像を制御している．つまものを提案した．画像の生成によって検索精度が向上する手法

り，レシピに対応した画像を生成するようにジェネレータを学に加え，テキストと画像から作られた検索用ベクトルが，それ習している．ACME での GAN の応用は画像生成だけではな

ぞれどちらから生成されたものなのかを判別しづらくするよう

く，中間表現であるレシピエンベッディングがテキストと画像な仕組みを追加した．さらに，画像の再構成だけではなく，テのどちらから生成されたものかを判別しづらくする仕組みとキストの再構成としてレシピに含まれていた材料と，料理のカして，WGANGP [3] を使用してテキストから生成されたエン

テゴリに対してそれぞれのクラス分類問題を検索用エンベッ

ベッディングと画像から生成されたエンベッディングを近づけディングから行うことで，より精度を向上させた．

ている．

本手法での提案は ACME と同様に画像の再構成によってマ

本研究では画像の生成には cGAN と LSGAN を用い，またルチモーダル検索を行うが，一つの潜在表現から画像の検索とエンベッディングの学習にも ACME と同様に WGANGP を

生成の両方を行うのではなく，それぞれに対応した

用いる．

2. 2 画像の形状と意味の分離
画像の生成を行う際に，潜在空間の解釈性に欠ける問題点に

3. 手

法

対して，画像の意味的な特徴と形状的な特徴を分離するという手法の研究が行われている．DRIT [8] では意味と形状の分離のためにそれぞれのエンコーダを用意し，一つの画像を 2 つのエンコーダに通して意味特徴と形状特徴を抽出し，他の入力画像から抽出した特徴と入れ替えて画像の再構成を行い，再構成された画像を再びエンコーダに入力した際の意味特徴と形状特徴が元画像のエンコード結果と近づくように学習を行うことで，意味と形状の分離を行った．MUNIT [6] では，意味特徴の抽出の際，空間的な特徴量を潰すためにグローバルアベレージプー
リングを行い，形状特徴と合わせて画像再構成を行った．
どの手法においても，形状と意味のエンコードには異なるエ

図 1 本手法 RDEGAN でのネットワークの概要図．

—2—

本手法の概要を図 1 に示す．ACME など既存のマルチモーダ
ル検索モデルと同様に，テキストエンコーダ ER と画像の意味
エンコーダ EVm と重みを共有された全結合層 FC により共有空間へエンベッディングを行い，テキスト意味エンベッディング

R = FC(ET (t)) と画像意味エンベッディング V = FC(EIm (i))
の両者から画像の生成とクラス分類を行う．テキストエンコー
ダの出力と画像意味エンコーダの出力は，対応するテキストと画像の場合同じになるべきであるため，これらを近づけるためのディスクリミネータ DM を使用して敵対的に学習する．画像生成の際にはレシピの意味を示す R と V のどちらかと画像
形状エンコーダ EVs の出力を組み合わせて画像を生成することで，意味と形状の両方を利用した生成を行い，ディスクリミ
ネータ D と対立的に学習することで画像生成を学習する．
テキストと画像のエンコーダにより共有空間に写像を行い，

図 2 (a) は Encode Vector での，(b) は Encode Map での画
像エンコーダとデコーダ．

そのエンベッディングから画像の生成とクラス分類を行う．この際に画像をエンベッディングに使用するエンコーダと，画像生成に使用するエンコーダの二種でそれぞれエンコードする．

3. 1 二種類の画像エンコード
本手法での画像エンコーダの学習は二段階に分けて学習し，それぞれの概要を図 2 に示す．第一段階 (Encode Vector) では
画像の検索に形状的な画像の生成に使用するような特徴を使用
しないことを学習し，第二段階 (Encode Map) で分離された特徴を使用した画像生成を学習する．
画像のエンコーダの形状に合わせて画像生成器のアーキテク
チャも変化しており，それぞれ学習する．画像の意味特徴をベ
クトルで表現する手法 (Encode Vector) では，意味特徴と形状
特徴を同じエンコーダから同じ形状でエンコードする．ただし，形状特徴は意味特徴に比べて低レベルな表現であることが多い
ため，意味エンコーダの中間出力に FC 層を 1 層追加し意味特徴と同じ形にエンコードしている．この第一段階の学習の目的
は，意味エンコーダが低レイヤの特徴である形状特徴を使用せずにレシピの意味だけを表現するように学習することで，画像の意味が十分に表現され，検索精度を向上させる．
画像の意味特徴を特徴マップで表現する手法 (Encode Map)
では，Encode Vector の学習で作成された形状を分離した意味
特徴エンベッディングから画像を生成することを学習する．特徴マップは空間的で，形状的な特徴を示すため，これと意味をあらわすエンベッディングを組み合わせて学習することで意味と形状を分離した画像生成を学習する．形状特徴を表す特徴
マップは空間的な情報を含み，ベクトルで表現され空間的な表
現を持たない意味ベクトルや，Encode Vector で学習した形状
特徴ベクトルなどと比べて，画像の形状に関する情報を多量にいた ImageNet で訓練済みのモデルに全結合層を追加したモデルを使用する．これによってエンコードされた画像の特徴を意
味特徴として利用する．テキストのエンコードは Recipe1M やACME と同様に材料リストを双方向性 LSTM，調理手順を階層 LSTM で意味ベクトルまでエンコードしたものを使用する．
エンコードされた二つの意味ベクトルを，重みを共有した全結合層 FC を通すことで共有空間へのエンベッディングを行う．共有空間への写像を行う際に，二つのドメインのベクトルを重み共有した層に入力することにより，共有空間内でベクトルの距離学習することが直接意味同士の距離を最小化することにつながる．

3. 3 クラスの判別
どちらのモダリティから生成されたエンベッディングでも，クラス分類器に入力し，正しくレシピの分類ができるようにクラス分類損失を最小化する．これによってエンベッディングがテキストの意味情報を保持していることを保証し，中間表現を改善する．レシピのクラスは，タイトルで作成した 1048 クラスの分類と，材料リストで作成した 4102 クラスのマルチクラ
ス分類を行う．タイトルの分類器と材料の分類器によるクロス
エントロピーロスをそれぞれ LT itle ，LIngr ，クラス分類器をC ，画像からエンコードされたエンベッディングを V ，テキス
トからエンコードされたエンベッディングを R，タイトル分類の正解ラベルを lt ，材料分類の正解ラベルを li として下のように損失関数を最小化する．

LClass = LT itle (V, lt ) + LT itle (R, lt )+LIngr (V, li ) + LIngr (R, li )(1)含むため，画像を生成する際に必要な情報を多く含んでいる．

3. 4 モダリティの判別

この形状エンコーダと画像生成器を学習することで，意味と形

共有空間のエンベッディングがテキストと画像のどちらのモ状を分離して表現する画像生成を行えるようにネットワークをダリティから作られたものなのかを判別するようなディスクリ

学習することが第二段階の学習の目的である．

ミネータ DM を用意し，各モダリティのエンコーダをジェネ

3. 2 画像とテキストの共有空間へのエンベッディング

レータに見立て GAN を用いた学習を行うことで，各エンコー

共有空間へのエンベッディングは ACME と同様に行う．まダが生成するエンベッディングが近づくように学習を行う．こず画像とテキストの両者を 1024 次元の意味ベクトルにまでエの GAN の学習には WGANGP を利用して，学習の発散や，ンコードする．画像のエンコードには ResNet50 の最終層を除モード崩壊を防ぐように学習を行う．このモダリティの判別—3—

(Modality Alignment) ロスは下のように表せる．
LM A =Ei∼p(i) [log DM (EVm (i))]+Et∼p(t) [log(1 − DM (ER (t)))]を学習するための画像生成である．

3. 5. 2 Encode Map での生成
(2)

アーキテクチャは MUNIT でも用いられた，オートエンコー
ダ構造 [7] で，エンコーダは意味特徴エンコーダ EVm と形状特3. 4. 1 距 離 学 習

徴エンコーダ EVs の二つで，全ての層で別のものを用意し，そ

エンベッディング同士の距離学習は ACME と同様にハードれぞれ意味特徴と形状特徴をエンコードする．ジェネレータ G

サンプルでのトリプレット学習 [4] によって行う．あるレシピ

は画像 i を入力とした形状特徴エンコーダの出力 EVs (i) を受け

エンベッディングと画像エンベッディングのペアで，対応する取り，形状特徴からデコードしていく中で，意味特徴を AdaIN

ものはポジティブなサンプル，対応しないものはネガティブとで中間層に加えて最終的に画像を生成する．この学習によって，して，ネガティブの中から分離の難しいものを選択し距離学習

画像の意味や形状を操作した際の画像生成が行えるように画像を行う．

生成の品質を向上させることが目的である．

本研究でのトリプレット学習は，あるレシピテキストエン
ベッディング Ra に対して対応する画像特徴を正のサンプル，

3. 5. 3 画像生成の学習
第一段階の学習である Encode Vector では画像生成の目的関対応しないものの中で空間的には近いものを負のサンプルと数は cGAN [12] でも用いられた，クラス分類とアドバーサリア

して，またその逆もサンプルをとり，それぞれ正のサンプルを

ル損失の二つを用いる．LSGAN や WGAN など，高品質に画(Vp , Rp )，負のサンプルを (Vn , Rn ) で表し，あるアンカー a に像を生成する手法での学習は特徴を反映した画像を生成するよ

おいてコサイン距離 d を用いて損失関数を下のように計算する．

うになるのが遅く，検索機の学習のための画像生成には向かな

LT ri =∑

いことが実験的に分かったため，第一段階の学習では単純な構[d(Va , Rp ) − d(Va , Rn ) + α]+

造である cGAN を用いる．

V

+

∑

第 二 段 階 の 学 習 で あ る Encode Map で は 画 像 生 成 に は[d(Ra , Vp ) − d(Ra , Vn ) + α]+

SNGAN [9] や WGANGP [3] と比較して，実験的に精度が高い

R

where [z]+ = max(z, 0)(3)

ことがわかったので，LSGAN [10] を利用する．画像生成の精度の向上にはテキストのエンベッディング R から生成した画

3. 5 画像の生成

像を用い，画像を本物と生成画像の 2 クラスに分類するディス

3. 5. 1 Encode Vector での画像生成

クリミネータ D と，画像を生成するジェネレータ G を用い，

ACME で使用されていた意味ベクトルからの画像の生成とデータセットに存在する実画像 i と LSGAN で提示された定数同様のアーキテクチャで，入力するベクトルを意味ベクトルから，意味ベクトルと形状特徴ベクトルを結合したベクトルに変更する．
意味特徴エンコーダ EVm と形状特徴エンコーダ EVs は大部分で共通のものを使用し，ResNet50 の ImageNet 訓練済みモデルを使用する．意味特徴エンコーダでは，ResNet50 の最終層のみを検索用エンベッディングのサイズに変更したものを使用する．形状特徴エンコーダでは，ResNet50 の最終層から 4 層

a，b，c を使って本研究の目的関数は下の通りに示す．
LD = Ei∼pdata (i) [(D(i) − b)2 ]+ ER∼pdata (R) [(D(G(R, EVs (i))) − a)2 ]LG = Ei∼pdata (i) [(D(i) − c)2 ]+ ER∼pdata (R) [(D(G(R, EVs (i))) − c)2 ](4)

3. 6 画像の意味特徴と形状特徴の分離を使用せず，この中間表現からサイズを意味特徴ベクトルと合

画像を意味的にエンコードするだけではなく，形状的な特徴

わせる FC 層を追加しランダムな初期値から学習を行う．形状もエンコードするようにエンコーダをそれぞれ用意し，意味的特徴エンコーダの最終層の出力のベクトルのサイズは意味特徴な特徴を重み共有レイヤに入力する．画像の意味特徴はレシピ

エンコーダと同じで，どちらも FC に入力した後タイトルクラ

分類問題を解くことでレシピの意味とテキストとの距離を学習

ス分類器，材料クラス分類器に入力できるサイズに定義する．

を行う．形状特徴は画像生成の際のみに利用し，レシピの検索

形状特徴エンコーダでベクトルを生成した場合には，3. 6 章でには使用しないが画像の生成には必要な特徴として利用する．

述べる LV ector を計算することができるため，この損失関数を追加で最適化する．

特徴のもつれの解消のために，生成された画像が中間表現が保持するべき特徴を正しく保持しているかを制約として設ける．

二つのエンコーダで作成された特徴ベクトルを cGAN [12] の2 枚の画像から意味特徴と形状特徴を計算し，画像の空間特徴

ように結合し，まとめて Up-Sampling することで両特徴を使と，意味特徴をそれぞれ合わせて画像を再構成し，もう一度エ用した画像生成を行う．これは後述の Encode Map での画像

ンコードを行い，画像意味特徴を計算する．これをクラス分類

生成よりも情報が少なく，Noise からの再構成に頼る部分が多することで，意味特徴が保存されるように学習を進める．

くなってしまうため，特徴を操作したり，中間画像を生成する

また，異なる意味特徴や形状特徴を持つように生成した画像ことに向いた手法ではなく，両特徴を反映した画像を作成し，と実画像をそれぞれエンコーダに入れた出力が近づくような損形状の特徴を使用せずに意味を表現するように意味エンコーダ

失を，MUNIT で使用されていた損失を採用して，L1 距離によって最適化を行う．データセットからサンプルされたある画—4—

像 i1 と異なる意味と形状を持つ別の画像 i2 を用意する．それら

で Encode Map でさらに 50 エポック学習した．

からエンコードされた画像特徴をそれぞれ V1 = FC(EVm (i1 ))，V2 = FC(EVm (i2 )) とし，これらに対応するタイトル，材料ク

検索を行った例を図 3 に示す．バタークッキーに関するテキ

ラス分類用の正解ラベルをそれぞれ l1 ，l2 と置いて損失関数はストを入力すると，バターや砂糖などに関係の深いバタークッ

下のように計算する．

キーの画像やケーキなどの画像が検索上位に挙げられ，サラダの画像を入力すると材料リストに葉やトマトなどが含まれていLDisentangle = LClass ((G(V1 , EVs (i1 ))), l1 )るテキストが上位に挙げられた．

+ LClass ((G(V1 , EVs (i2 ))), l1 )+ LClass ((G(V2 , EVs (i1 ))), l2 )4. 1 検索の評価

次に，定量評価を行った．既存手法と提案手法でレシピ検索(5)の精度がどれだけ変化したかを MedR とリコール率で評価した．MedR は全データの検索順位を良い順に並べ，その中央値

LRecon = Ei∼pdata (i) [|EVs (i1 ) − EVs (G(V2 , EVs (i1 )))|1 ]を表す指標で，リコール率は全データの検索の内，ある順位以+ Ei∼pdata (i) [|EVm (i1 ) − EVm (G(V1 , EVs (i2 )))|1 ](6)内に正解データが存在した割合を示す指標である．この結果を表 1 に示す．既存の手法よりも提案手法が高い精度で検索が行

Encode Vector の学習の際には，形状特徴ベクトルを意味ベク

えており，特に 10,000 サンプルでの実験で精度を大きく向上

トルの学習に使用していたクラス分類器に入力することができさせることができた．

るため，形状特徴には意味特徴が含まれないことを保証するた
表 1 本手法と既存手法の検索精度比較．

めの損失関数として，形状特徴ベクトルを分類した際に，すべてのクラスに対して均一な出力を行うような損失関数を適用する．ターゲットを長さ N ，すべての要素が 1.0/N のベクトルとし，このターゲットととの MSE ロスを損失関数 LV ector と1kする．これを形状特徴にベクトルを使用したアーキテクチャでの学習の際に LDisentangle と足し合わせ，形状と意味の分離の10k

ための損失関数とする．

画像からレシピ#

3. 7 学習プロセス

レシピから画像

手法

MedR↓

R@1↑

R@5↑

MedR↓

R@1↑

R@5↑

JE

5.2

25.6

51.0

5.1

25.0

52.0

R2GAN

2.0

39.1

71.0

2.0

40.6

72.6

ACME

1.0

55.3

78.6

1.0

56.3

79.1

RDEGAN

1.0

59.4

81.0

1.0

61.2

81.0

JE

41.9

-

-

-

-

-

R2GAN

13.9

13.5

33.5

12.6

14.2

35.0

ACME

6.7

22.9

46.8

6.0

24.4

47.9

RDEGAN

3.5

36.0

56.1

3.0

38.2

57.7

これまでに述べた損失関数を合計し，全体の損失関数は下のように書き表せる．

LT otal = λ1 LClass + λ2 LM A + λ3 LT ri+ λ4 LG + λ5 LDisentangle + λ6 LRecon(7)

これをディスクリミネータ DM ，D を用い GAN の学習過程で最小化することで全体の学習を行う．ただし，学習はまずEncode Vector で学習を行い，その学習で得られる訓練済みの画像とテキストの意味エンコーダ ER と EVm のパラメータを固定し，次に Encode Map で学習を行う．この学習過程で得たモデルを提案手法である RDEGAN の学習済みモデルとする．
この学習過程をとる理由は，最初から形状特徴を特徴マップとした手法を学習しようとすると，生成画像を特徴マップのみか

図 3 テキストからの画像検索 (左) と画像からのテキスト検索(右) の一例．

らある程度の精度で再構成できてしまうため，意味特徴ベクト
ルがノイズだったとしても損失関数が下がり，結果検索のため

4. 2 画像生成の評価の表現をよく学習することができなくなってしまうことが実験

生 成 画 像 の 例 を 図 4 に 示 す ．提 案 手 法 で 既 存 手 法 の的にわかっているためである．

4. 実

験

ACME [14] よりも入力画像に近い画像を再構成することができた．
生成画像がどれだけもっともらしく作られたかの評価を，本実験に使用するモデルは，Recipe1M [11] データセットの学FID [5] を用いて ACME と比較した．FID というのは，元の分

習データセットで学習し，テストデータセットで評価した．学習

布と生成した画像の分布がどれだけ近いかを示す尺度で，つまりの際のハイパーパラメータは学習率を 0.0001 から 20 エポック

どれだけもっともらしい画像を幅広く生成したかを示す．本手経過後は 0.00001 とした．損失関数のパラメータは λ1 = 0.02，

法と既存手法で，Encode Vector(EV) での生成画像と Encode

λ2 = 0.01，λ3 = 1.0，λ4 = 0.02，λ5 = 0.005，λ6 = 0.5 としMap(EM) での生成画像の分布について，Recipe1M データセッて，Encode Vector で 50 エポック学習してから，同様の条件

トの画像との分布を計測したものを表 2 に示す．全ての場合において，提案手法が最も元の分布に近い画像を生成したことが—5—検証できた．

を検索に使用する部分と使用しない部分で分離することが検索

表 2 本手法と既存手法の生成画像の FID 比較．
手法

FID@画像から再構成 ↓FID@テキストから再構成 ↓
182.9

ACME

183.8

EV(ours)

162.8

168.2

EV+EM(ours)

158.9

158.6

精度の向上に役立つことを示し，Recipe1M データセットでの検索精度において State-of-The-Art を達成した．将来的にはさらなる画像生成品質の向上や学習過程の簡易化などを検討している．
謝辞 本研究は JSPS 科研費 15H05915, 17H01745, 19H04929,

17H06100 の助成を受けたものです．
文

図 4 既存手法と提案手法の，Encode Vector の生成画像 (a)と Encode Vector + Encode Map(RDEGAN) の生成画像の比較 (b)．

4. 3 画像特徴の表現空間の評価
本手法での画像生成は形状特徴を変化させることで画像生成
生成結果を含まれる材料などの意味を保ちつつ変化させることができる．
意味特徴と形状特徴をそれぞれ連続的に変化させた際の生成
画像の変化について実験を図 5 に示す．意味特徴を変化させた
際には色やテクスチャなどの画像的な変化が，形状特徴を変化させた際には背景や皿や盛り付けなどの情報が変化することがわかる．

図 5 (a) は意味特徴ベクトルを連続的に変化させた際の生成
画像の変化，(b) は形状特徴マップを連続的に変化させた際の生成画像の変化．

5. お わ り に本手法では，既存のレシピ検索ではレシピの意味とは異なる情報を意味と同列に扱ってしまっていた問題を解決するために，
画像の意味と形状を分離することで検索精度と画像生成品質を改善する手法である RDEGAN を提案した．レシピ画像の情報

献[1] M. Carvalho, R. Cadène, D. Picard, L. Soulier, N. Thome,and M. Cord. Cross-modal retrieval in the cooking context: Learning semantic text-image embeddings. In The
41st International ACM SIGIR Conference on Research &Development in Information Retrieval, pp. 35–44, 2018.
[2] I. Goodfellow, A. J. Pouget, M. Mirza, B. Xu, F. D. Warde,
S. Ozair, A. Courville, and Y. Bengio. Generative adversarial nets. In Advances in Neural Information Processing
Systems, pp. 2672–2680, 2014.
[3] I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and
A. C. Courville. Improved training of wasserstein gans. In
Advances in Neural Information Processing Systems, pp.
5767–5777, 2017.
[4] A. Hermans, L. Beyer, and B. Leibe. In Defense of the
Triplet Loss for Person Re-Identiﬁcation. arXiv preprint
arXiv:1703.07737, 2017.
[5] M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, andS. Hochreiter. GANs Trained by a Two Time-Scale Update
Rule Converge to a Local Nash Equilibrium. In Advancesin Neural Information Processing Systems, 2017.
[6] X. Huang, M. Liu, S. Belongie, and J. Kautz. Multimodal
Unsupervised Image-to-Image Translation. In Proc.of European Conference on Computer Vision, pp. 172–189, 2018.
[7] P. D. Kingma and M. Welling. Auto-encoding variational
bayes. In Proc.of International Conference on Learning
Representations, 2014.
[8] H. Lee, H. Tseng, J. Huang, M. Singh, and M. Yang. Diverse Image-to-Image Translation via Disentangled Representations. In Proc.of European Conference on Computer
Vision, pp. 35–51, 2018.
[9] Takeru M., Toshiki K., Masanori K., and Yuichi Y. Spectral Normalization for Generative Adversarial Networks. In
Proc.of International Conference on Learning Representations, 2018.
[10] X. Mao, Q. Li, H. Xie, R. Y. Lau, Z. Wang, and S. S. Paul.
Least squares generative adversarial networks. In Proc.ofIEEE International Conference on Computer Vision, pp.
2794–2802, 2017.
[11] J. Marin, A. Biswas, F. Oﬂi, N. Hynes, A. Salvador, Y. Aytar, I. Weber, and A. Torralba. Recipe1M+: A Dataset
for Learning Cross-Modal Embeddings for Cooking Recipes
and Food Images. IEEE Trans. Pattern Anal. Mach. Intell.,
2019.
[12] M. Mirza and S. Osindero. Conditional Generative Adversarial Nets. arXiv:1411.1784, 2014.
[13] A. Salvador, N. Hynes, Y. Aytar, J. Marin, F. Oﬂi, I. Weber, and A. Torralba. Learning Cross-modal Embeddings
for Cooking Recipes and Food Images. In Proc.of IEEE
Computer Vision and Pattern Recognition, 2017.
[14] H. Wang, D. Sahoo, C. Liu, E. Lim, and S. CH, Hoi. Learning Cross-Modal Embeddings with Adversarial Networks for
Cooking Recipes and Food Images. In Proc.of IEEE Computer Vision and Pattern Recognition, 2019.
[15] C. Zhu, B.and Ngo, J. Chen, and Y. Hao. R2GAN: CrossModal Recipe Retrieval With Generative Adversarial Network. In Proc.of IEEE Computer Vision and Pattern
Recognition, pp. 11477–11486, 2019.

—6—