社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

クロスモーダルレシピエンベディングによるマスクに基づく食事画像生成
陳

仲涛†

本部

勇真†

柳井

啓司†

† 電気通信大学 大学院情報理工学研究科 情報学専攻
E-mail: †{chen-z,honbu-y}@mm.inf.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし 近年、GAN をベースにした画像生成や変換などの技術は急速に進んでおり、本物らしい画像の生成を実現している。しかし、食事の場合は食材や作り方によって、見た目や形は大きく変わるため、リアルな食事画像を生成することは容易ではない。本研究では、準備した食器に盛り付けをするように、複数の食事領域を含むマスク画像を用意し、各領域にユーザが指定した料理画像を生成する Mask-based Recipe Embedding GAN (MRE-GAN) を提案する。

MRE-GAN では、最先端のクロスモーダルレシピ検索 RDE-GAN をベースに、画像生成に SEAN 正規化を使用することで、レシピエンベディングによる形状マスクに基づく食事画像生成を行う。実験によって、提案手法はより高画質の画像生成を示し、複数品を含む任意の形状マスクに基づいたレシピからの画像生成を実現した。
キーワード

クロスモーダルレシピ検索、クロスモーダルエンベディング、食事画像生成

1. は じ め に
近年、深層学習技術の発展により、画像生成や変換などの技術が盛んに研究されるようになってきている。その中でも、GAN (Generative Adversarial Networks) をベースにした画像生成の技術は急速に進んでおり、本物らしい画像の生成を実現している。しかし、食事の場合は食材や作り方によって、見た目や形は大きく変わるため、リアルな食事画像を生成することは容易ではない。
一方、健康とダイエットへの関心が高まり、食事画像認識に関する研究は大きな注目を集めている。特に、大規模な食事デー
タセット Recipe1M の公開により、食事画像と料理レシピの間のクロスモーダルレシピ検索が盛んに研究されるようになってきている。クロスモーダルレシピ検索は画像とテキストを同じ埋め込みスペースに投影することで、モダリティ不変な表現を学習し、高精度なレシピ検索を実現した。
本研究では、準備した食器に盛り付けをするように、複数の食事領域を含むマスク画像を用意し、各領域にユーザが指定した料理画像を生成する Mask-based Recipe Embedding GAN (MREGAN) を提案する。MRE-GAN では、画像生成モデル GAN をベースにした正規化技術 SEAN [1] と最先端のクロスモーダル
レシピ検索の技術 RDE-GAN [2] を融合することで、リアルな食事画像の生成を実現する。実験によって、レシピ情報と形状
マスクを用いた高品質な食事画像の生成が可能であることを示す。

2. 関 連 研 究
2. 1 クロスモーダルレシピ検索
図 1 に示すように、クロスモーダルレシピ検索とは、画像からレシピへおよびレシピから画像へのモダリティを跨いだ相互の検索を行うことである。初期の研究 JE (Joint Embedding) [3]
では大規模のデータセット Recipe1M を作成し、ペアワイズコ
サイン損失とセマンティック正則化制約を組み合わせることによる共同埋め込み学習アプローチを提案した。

図1

クロスモーダルレシピ検索の概要

一般的なクロスモダール共同埋め込み学習を行う際には画像を画像の意味的ベクトルにエンコードするための CNN を用意する。一方、レシピテキスト情報に対して、材料リストを双方
向性 LSTM [4] で、調理手順を階層 LSTM でエンコードし、この二つを結合したものをテキストの意味的ベクトルとする。そして、画像の意味的ベクトルとテキストの意味的ベクトルをジョイントスペースにエンベディングするように距離学習を行うことにより、画像とテキストのマルチモーダル検索を実現した。JE [3] で実装した Word2Vec [5] でレシピのテキスト情報をエンコード済みのベクトルを本研究の実験で使用した。
上記の JE [3] を改良した手法として、SAN [6] は、画像内の食事領域を特定するためにスタックアテンションネットワーク
を適用し、共同埋め込み特徴を学習するようにした。その後、いくつかの改良手法では、正弦損失オプティマイザーを置き換えることでパフォーマンスの向上を示した。AMSR [7] は、レ
シピの階層的アテンションを単純なトリプレット損失で使用した。AdaMine [8] は、共同潜在空間のレシピと画像の埋め込みの両方ですべてのトリプレット損失をバッチ処理化し、クラスガイドな特徴を活用した。また、最近の Modality-Consistent

Embedding Network (MCEN) [9] は学習と推論の手順を簡素化
し、階層的なアテンションに基づいたテキストレシピ用のタス
ク固有のエンコーダーを導入した。

—1—

2. 2 レシピテキストからの食事画像生成
レシピテキストから画像を生成することは、本質的に難しい問題であるが、Zhu らの R2GAN [10] はクロスモダールレシピ
検索と GAN 画像生成を連携し、互換性のあるクロスモーダル
エンベディング特徴を敵対的に学習することによって、レシピ
から食事画像への生成を実現した。
同年に Wang らの ACME [11](Adversarial Cross-Modal Embedding) でも、クロスモーダルレシピ検索の改良手法として、クロスモーダル埋め込みと敵対的学習を組み合わせたバッチハード
トリプレット損失 [12] を提案し、レシピエンベッディングから画像の再構成を実現した。この手法は R2GAN [10] と同様に画像生成の敵対的学習によって検索精度を向上したが、２つの違いが存在している。一つ目、ACME [11] では学習時にテキスト
エンベディングのみを画像再構成に使用することであり、代わりに画像エンベディングは multi-label classiﬁer によって、レシピのカテゴリや食材を予測することで、より精度を向上させた。
二つ目、ハードサンプルマイニング [13] の戦略を利用したトリプレット損失では異なるモダリティのエンベディングから、正のペア或は負のペアを作って正のサンプル同士の距離を近く、負のサンプルの距離を遠くすることでベクトル表現がより意味を捉えたものになり、より効率的に距離学習を行なった。
これらの研究による画像生成の視覚的品質の改善を目標とした杉山らの RDE-GAN [2] は ACME のアイデアを発展させ、画像の特徴をスタイルとシェープに分離させるような項目を追加することで、さらなる検索精度の向上と直感的な可視化を実現した。しかし、画像の特徴を分離させるように、RDE-GAN [2]モデルの学習は two-stage に分けなければならないため、モデル全体の学習が不安定になる可能性がある。そこで、本研究は特徴分離の考え方を参考に、形状マスクに基づく一つの画像エンコーダを使用し、安定的な one-stage 学習と更なる可視化の品質と解像度を向上することを目指す。
同じくレシピテキストからの食事画像を目的とした CookGAN [14] は R2GAN を発展させ、食材と調理方法の相互作用に基づいて、段階的に料理の画像をアップサンプリングし、高解像度で生成することができた。更に、CookGAN [14] はレシピのテキスト情報に含まれた因果関係を探究することで、生成画像により詳細な視覚効果を保持できるようにした。
2. 3 セマンテックマスクからの画像生成
本研究では、さまざまな画像から画像への変換の問題の中で、セマンティック画像合成は、入力セマンティックレイアウト画
像を変更することでユーザーが簡単に制御できるため、特に有用な研究であると考えられる。
レイアウトから画像合成の代表的な研究として、Park らのSPADE [15] では、マスクを最初に埋め込みスペースに投影され、次に conv 層を通して変調パラメータ 𝛼 と 𝛽 を計算する。
以前の条件付き正規化の方法とは異なり、𝛼 と 𝛽 はベクトルではなく、空間次元のテンソルである。この計算された 𝛼 と 𝛽 はそれぞれ要素ごとに正規化されたアクティベーションに乗算、加算される。しかし、SPADE [15] は、画像の全体的なスタイルを制御するために 1 つのスタイルコードのみを使用する。
続いて Zhu らの SEAN [1] は SPADE [15] を改良し、領域ごとのスタイルコードを計算することを可能にし、更なる高品質な画像合成を示した。つまり、セマンティック領域適応正規化（SEAN）と呼ばれる新しい条件付き正規化手法はスタイル入力
画像を使用してセマンティック領域ごとに空間的に異なる正規化パラメーターを作成できる。この空間的に異なる正規化パラ
メータがセマンティックレイアウトと入力スタイル画像に依存することである。本研究は、SEAN [1] のセマンティック領域ごとのエンコーディングを参考に、食事画像の食事領域と背景領域の画像特徴を分離できるようにした。異なる点として、画像生成の時に用いられるのは画像から直接的に抽出された特徴ではなく、レシピ検索用のエンベディングである。

3. 手
3. 1 概法
要図2

提案手法の概要図

本研究では、準備した食器に盛り付けをするように、複数の食事領域を含むマスク画像を用意し、各領域にユーザが指定した料理画像を生成する Mask-based Recipe Embedding GAN (MRE-

GAN) を提案する。MRE-GAN では、杉山らの RDE-GAN [2] をベースに、画像生成に SEAN [1] 正規化を使用することで、レシピエンベッティングを用いて、形状マスクに基づく食事画像の生成を実現する。MRE-GAN では、複数品食事画像を自由なレイアウトで生成することが可能となる。
提案モデルは図 2 の示すように、左側のレシピ検索と右側のテキスト予測と画像再構成の構造になっている。食事領域の特徴のみを共有空間への埋め込みを行うことで、生成画像の品質の向上に繋がるという考えから、画像特徴を形状マスクに基づいて、食事領域と背景領域の２つに分離する手法を提案する。その理由は食事画像の特徴には料理の領域と、皿やフォー
クなどの無関係な背景が含まれていることが問題点であるため、料理部分のマスクを提供することで、料理の特徴のみをク
ロスモーダル検索の学習に使う。画像とテキストの共有空間への埋め込み表現を求め、その間の距離学習を通じてレシピ検索を行う。画像とテキストは共有空間へエンベッディングされた
後、画像エンベディングからテキストの再構成にあたるタイト
ルと材料をそれぞれラベルのクラス分類器による予測と、テキストエンベディングから画像の再構成にあたる Generator にSEAN [1] 正規化で画像生成を行う。
先行研究より提案手法は一つの Per-Region Style 画像エンコー
ダ Ev を使用することで、one-stage で安定的な学習が可能にした。また、従来の RDE-GAN では画像のスタイルと形状の分離が不十分である問題に対し、形状マスクを学習データとして提供することで、マスクから Shape に関する情報を獲得する。

—2—

遅くなってしまう。そこで、エンコードされた特徴の分布を調整するために、識別器 𝐷 𝑀 を用意し、特徴表現が画像から取得されたかレシピから取得されたかを区別できないように、学習させる。この Modality Alignment loss は以下のように表す。

𝐿 𝑀 𝐴 = 𝐸 𝑖∼ 𝑝𝑖𝑚𝑎𝑔𝑒 [log(𝐷 𝑀 (𝐸 𝑉 (𝑖)))]+ 𝐸𝑟∼ 𝑝𝑟𝑒𝑐𝑖 𝑝𝑒 [log(1 − 𝐷 𝑀 (𝐸 𝑅 (𝑟)))](2)

テキストエンコーダ 𝐸𝑇 の出力，画像エンコーダ 𝐸 𝐼 の出力を
共有全結合層 𝐹𝐶 に入力し，その出力のレシピエンベディング

𝑅 と画像エンベディング 𝑉 がクロスモーダル共有エンベディン
グとなるように学習する。ACME [11] と同様にハードサンプルのトリプレット損失を使う。トリプレット損失 [12] は、トレー

図 3 画像生成の流れ図

ニングサンプルのトリプレット (𝑥 𝑎 , 𝑥 𝑝 , 𝑥 𝑛 ) で計算される。こ3. 2 提案手法: Mask-based Recipe Embedding GAN
提案手法は Mask-based Recipe Embedding GAN(Mask-based
RE-GAN) と命名する。Mask-based RE-GAN は画像とテキストの 2 つのモダリティの分布を調整してモダリティ不変な特徴表
現かつ、画像生成タスクに適したエンベディング表現を取得し、クロスモーダル変換の一貫性を実現する。４つの目的関数で最適化され、全体の目的関数は下のように書き表せる。

こで、𝑥 𝑎 は一つのモダリティのアンカーポイントであり、対応するモダリティの埋め込みを評価するためのグラウンドトゥ
ルースとして使用される。𝑥 𝑝 と 𝑥 𝑛 は他のモダリティからの正と負の特徴の埋め込みを示す。トリプレット損失により、一方のモダリティの正のインスタンスがもう一方のモダリティのア
ンカーポイントに近くなり、一方のモダリティの負のインスタ
ンスがもう一方のモダリティのアンカーポイントから離れていることが確保される。Hermans ら [13] は、トリプレット損失を

𝐿 𝑇𝑜𝑡 𝑎𝑙 = 𝜆 1 𝐿 𝑇𝑟𝑖 + 𝜆 2 𝐿 𝑀 𝐴 + 𝜆 3 𝐿 𝐺𝑟2𝑖 + 𝜆 4 𝐿 𝐶𝑙𝑎𝑠𝑠(1)

本研究の実験では各損失にかかる重みλはそれぞれ 𝜆 1 =1.0, 𝜆 2 = 0.005, 𝜆 3 = 0.002, 𝜆 4 = 0.002 とする。検索学習コン
ポーネントは、画像の V とレシピの R の 2 つの高レベルの特徴
ベクトルを受け取り、検索損失 𝐿 𝑇𝑟𝑖 (𝑉, 𝑅) を計算する。モダリ
ティアライメントコンポーネント 𝐿 𝑀 𝐴 (𝑉𝑚 , 𝑅𝑚 ) は最後から 2番目のレイヤーの特徴 𝑉𝑚 と 𝑅𝑚 を入力として、敵対的な損失を使用してモダリティ不変性を実現し、2 つの分布をアラインメ
ントさせることを目的としている。クロスモーダル translationconsistency コンポーネント 𝐿 𝐺𝑟2𝑖 は、さらに image2recipe (V に基づいて成分を予測) と recipe2image (R からの画像生成) の 2
つのサブコンポーネントに分割される。それぞれ敵対的損失と分類損失を使用して最適化される。
3. 3 画像とテキストの共有空間へのエンベディングペアとなった食事画像と形状マスクを Per-Region スタイルエ
ンコーダに入力し、画像特徴は食事と背景の二つに分離する。
この特徴量はそれぞれ 1024 次元のベクトルである。レシピテ
キストは RDE-GAN [2] と同様に材料リストを双方向性 LSTM、調理手順を階層 LSTM で意味ベクトルにエンコードする。その後、食事スタイルコードとテキストからの意味ベクトルを、重み共有の全結合層を通すことで各モダリティの表現を相互に関連付け、共有空間にエンベッディングされる。エンベッディン
グ同士の距離学習は ACME [11] の提案した hard sample mining
トリック [13] で triplet loss を計算する。これによって、レシピ
検索用のレシピエンベディング 𝑅 と画像エンベディング 𝑉 を求める。次に、レシピのエンベディング表現 𝑅 を使用して食品画像を生成し、画像のエンベディング表現 𝑉 を使用して特定のインスタンスの材料を予測する。
最初のクロスモーダル最適化ステップでは、textual-visual の情報の早期アラインメント学習を実行することを目的とし、正のペアとなったレシピと画像から潜在的な特徴を抽出する。異なるモダリティからのエンコードされた特徴は分布が大きく異なる可能性があり、その結果、一般化が不十分になり、収束が計算するときに各バッチ内の各アンカーポイントに対して最もハードな正と負のサンプルを選択することにより、パフォーマンスの向上を示した。トリプレット損失は以下の式により表す。
∑
𝐿 𝑇𝑟𝑖 =[𝑑 (𝑉𝑎 , 𝑅 𝑝 ) − 𝑑 (𝑉𝑎 , 𝑅𝑛 ) + 𝛼] +𝑉+∑[𝑑 (𝑅 𝑎 , 𝑉 𝑝 ) − 𝑑 (𝑅 𝑎 , 𝑉𝑛 ) + 𝛼] +(3)𝑅

3. 4 画像生成とテキスト予測
先行研究によって、一方のモダリティの学習された埋め込みが、もう一方のモダリティの対応する情報を回復できるようにし、セマンティックアラインメントを向上させることが示されている [11]。これにより、クロスモーダル変換の一貫性が強化
され、学習されたエンベディングの表現を向上することが示された。具体的には、レシピエンベディング R を使用して食品画像を生成し、視覚的なエンベディング 𝑉 を使用してレシピの成分を予測することである。そこで、本研究は高い表現力の持つレシピエンベディングを用いて、条件付き GAN を追加し、形状マスクに基づいた高品質な食事画像の生成を目指す。各意味的領域の特徴抽出元画像から食事領域と背景領域のそれぞれの特徴を抽出するために、入力画像の各セマンティック領域から対応するスタイルコードを同時に抽出する新しいスタイルエン
コーダネットワークを使用する。
図 3 の示すように、スタイルエンコーダの入力は食事画像と対応するマスク画像であり、スタイルエンコーダの出力は、1024 次元のスタイル行列 𝑆𝑇 である。ここで、単純なダウンス
ケーリング畳み込みニューラルネットワークで構築された標準のエンコーダーとは異なり、領域ごとのスタイルエンコーダー
は、「ボトルネック」構造を採用し、入力画像からスタイルに関係のない情報を削除する。また、スタイルはセマンティック
領域の形状に依存しないという事前の知識を取り入れてネッ
トワークブロック TConv-Layers によって生成された中間特徴
マップ（1024 チャネル）を領域ごとの平均プーリング層に渡し、1024 次元ベクトルに減される。
—3—

3. 5 レシピエンベディングと形状マスクからの画像生成
クロスモーダルレシピ検索で獲得したレシピエンベディングからの画像生成はまず、画像生成に使用するスタイル特徴は食事スタイルベクトル（検索のレシピエンベディング）と背景ス
タイルベクトルを結合した行列に変更する。そして、既存の別の方法とは対照的に、SEAN によって学習される変調パラメー
タは、スタイルコードとセグメンテーションマスクの両方に依存するため、最終的にジェネレータは結合した行列と形状マスクを入力として、セマンティック領域適応正規化（SEAN）と呼ばれる条件付き正規化手法を使用することで、各セマンティッ
ク領域に画像のスタイルの詳細な制御を可能にする。
画像再構成のトレーニングではスタイルエンコーダは、対応するセグメンテーションマスクに従って、入力画像から領域ごとのスタイルコードを抽出するようにトレーニングされている。 ジェネレータは、結合した領域ごとのスタイルコードと対応するセマンティックマスクを入力として、対応する食事画像を再構成するようにトレーニングされている。 SPADE [15] とSEAN [1] に続いて、入力画像と再構成された画像は Adversarial
loss、Feature matching loss、Perceptual loss の 3 つの損失項で構成される損失関数 𝐿 𝐺𝑟2𝑖 によって定義される。
損失関数 𝐿 𝐺𝑟2𝑖 の詳細は以下の式に示す。
∑∑
𝐿 𝐺𝑟2𝑖 = min (( max
𝐿 𝐺 𝐴𝑁 ) + 𝛾1
𝐿 𝐹 𝑀 + 𝛾2 𝐿 𝑝𝑒𝑟 𝑐𝑒 𝑝𝑡 )
𝐸,𝐺

𝐷1,𝐷2

𝑘=1,2

𝑘=1,2

(4)
先行研究の SPADE [15] と SEAN [1] によって、𝛾1 = 𝛾2 = 10 と設置する。
𝐿 𝐺𝑟2𝑖 を更に３つのサブロスに分けて説明する。
Adversarial loss について、E をスタイルエンコーダー、G を
SEAN の生成器、D1 と D2 を異なるスケールの 2 つの識別器、R を与えられたスタイル画像、M を R の対応するセグメンテー
ションマスク、ST をレシピエンベディングを用いたスタイル
コードとする。条件付き敵対学習を定式化すると、次のように表す。
∑
min max
𝐿 𝐺 𝐴𝑁 (𝐸, 𝐺, 𝐷 𝑘 ) = 𝐸 [max (0, 1 − 𝐷 𝑘 (𝑅, 𝑀))]𝐸,𝐺 𝐷1,𝐷2

𝑘=1,2+𝐸 [max(0, 1 + 𝐷 𝑘 (𝐺 (𝑆𝑇, 𝑀), 𝑀))]

(5)

Feature matching loss について、T を弁別器、𝐷 𝑘 を層の総数、(𝑖)
𝐷 𝑘 を出力特徴マップ、 𝑁𝑖 を i 番目の層の要素数としてする。

特徴マッチング損失 𝐿 𝐹 𝑀 を次のように表す。

𝐿𝐹 𝑀 = 𝐸

𝑇
∑
1
𝑖=1

𝑁𝑖

(𝑖)

(𝑖)

[∥ 𝐷 𝑘 (𝑅, 𝑀) − 𝐷 𝑘 (𝐺 (𝑆𝑇, 𝑀), 𝑀) ∥ 1 ] (6)Perceptual loss について、N を知覚損失の計算に使用される層の総数、 𝐹（𝑖 ）を VGG ネットワークの i 番目の層の出力特徴
マップ、 𝑀𝑖 を 𝐹（𝑖 ）の要素数とする。知覚損失 𝐿 𝑝𝑒𝑟 𝑐𝑒 𝑝𝑡 を次のように表す。

𝐿 𝑝𝑒𝑟 𝑐𝑒 𝑝𝑡 = 𝐸

𝑁
∑
1
𝑖=1

𝑀𝑖

[∥ 𝐹 (𝑖) (𝑅) − 𝐹 (𝑖) (𝐺 (𝑆𝑇, 𝑀)) ∥ 1 ](7)

3. 6 クラス分類損失
敵対的損失はリアルな画像を生成できるが、変換の一貫性を確保することができないため、food-category classiﬁer を使用する。これによって、ジェネレータが適切な対応するフードカテ

ゴリの食事を生成できるように促す。
もう一方、食品画像の成分を予測する視覚的特徴 V に multilabel classiﬁer を適用することによって、画像エンベディングを正しい食品カテゴリに分類できるようにすることで、変換の一貫性を維持する。
レシピのクラスは、タイトルで作成した 1048 クラスの分類と、材料リストで作成した 4102 クラスのマルチクラス分類を行う。タイトルの分類器と材料の分類器によるクロスエントロ
ピーロスをそれぞれ 𝐿 𝑇𝑖𝑡𝑙𝑒 、𝐿 𝐼𝑛𝑔𝑟 、クラス分類器を C、画像からエンコードされたエンベッディングを V 、テキストからエンコードされたエンベッディングを R、タイトル分類の正解ラベ
ルを 𝐿 𝑡 、材料分類の正解ラベルを 𝐿 𝑖 として、損失関数を下のように表す

𝐿 𝐶𝑙𝑎𝑠𝑠 = 𝐿 𝑇𝑖𝑡𝑙𝑒 (𝑉, 𝐿 𝑡 )+𝐿 𝑇𝑖𝑡𝑙𝑒 (𝑅, 𝐿 𝑡 )+𝐿 𝐼𝑛𝑔𝑟 (𝑉, 𝐿 𝑖 )+𝐿 𝐼𝑛𝑔𝑟 (𝑅, 𝐿 𝑖 )
(8)

4. 実

験

4. 1 データセットと評価指標
実験では 100 万件以上のレシピとその画像からなる Recipe1M[3] データセットを使用する。形状マスクデータセットは２つの画像領域分割手法によって自動的に Recipe1M の全画像について作成する。１つ目は食事画像領域分割データセット UECFoodPix Complete [16] で学習した DeepLabV3+ モデル [17] による領域分割された Recipe1M の形状マスクである。２つ目は本部ら [18] の Few-Shot Segmentaion 手法による領域分割された Recipe1M の形状マスクである。こちらでも，UEC-FoodPix
Complete を学習データとして利用している．
生成された画像の品質評価にはフレシェ開始距離（FID）を用いる。FID は実際の画像と生成された画像の間の特徴距離を測定するための最も一般的なメトリックの 1 つである。
4. 2 実験設定とベースライン手法
本実験では提案モデルを学習して実験を行う。モデルの学習に関しては学習率を初期値 0.0001 とし、50 エポック経過後は0.00001 とし、合計 100 エポック学習を行った。各 loss 関数のパラメータは 𝜆 1 = 1.0, 𝜆 2 = 0.005, 𝜆 3 = 0.002, 𝜆 4 = 0.002 とする。生成画像の解像度は 256x256x3 である。すべてのディープ
ニューラルネットワークは Pytorch プラットフォームにおいて実装される。
生 成 画 像 の 品 質 評 価 の 実 験 で は 、ベ ー ス ラ イ ン 手 法 のACME [11]、RDE-GAN [2] の画像生成と比較する。これらのベースライン手法は全て公式ホームページで公開した学習済み
モデルを用いて、実装した。
4. 3 画像生成の評価
生成画像の品質を定量的に評価するために、FID を用いて、元画像の分布と生成画像の分布がどれだけ近いかを測る尺度であり、ベースラインと比較した。また、提案モデル
Ours(𝑀𝑎𝑠𝑘 𝐷𝑒𝑒 𝑝𝐿𝑎𝑏𝑉3+ ) の学習には大量の食事データで学習した DeepLabV3+ モデルによる領域を分割された Recipe1M の形状マスクを使用した。提案モデル Ours(𝑀𝑎𝑠𝑘 𝐹𝑒𝑤−𝑆ℎ𝑜𝑡 ) の学習には本部ら手法によって作成した Recipe1M の形状マスクを使用した。
既存手法と公平な比較をするために、提案手法による生成画
像は 256x256 の解像度であるが、既存手法と同じの 128x128 の解像度にリサイズした後、FID を計算する。実験ではテキスト

—4—

表1

本手法と既存手法の FID 比較

手法

ACME
RDE-GAN
Ours(𝑀 𝑎𝑠𝑘𝐷𝑒𝑒 𝑝𝐿𝑎𝑏𝑉3+ )Ours(𝑀 𝑎𝑠𝑘𝐹𝑒𝑤−𝑆ℎ𝑜𝑡 )FID ↓@画像から FID ↓@テキストから
183.8
182.9
158.9
158.6
165.4
166.9
126.2
127.8

と四列目の生成画像を比較すると、テキストエンベディングと対応する画像エンベディングによる生成された画像は同じ食事であると考えられる。また、生成された画像の豊富な視覚的良さから、高次元意味的エンベディングの表現力が反映されていると考えられる。

4. 4 様々な食事画像生成

エンベディングからの画像再構成と画像エンベディングからの画像再構成の両方を行う。これらの結果を表 1 に示すように、

Few-shot segmentation の手法による生成した形状マスクを用いた場合の提案手法は他の手法よりも FID が小さく、従来手法を上回る画像品質を達成したと言える。

図6

異なる形状マスクによる食事画像生成

異なる形状マスクから食事画像の生成を行う。その結果を図図4

ベースライン手法による生成画像との比較

生成画像を定量的に評価するために、ベースライン手法と生成画像の視覚的品質の評価として、図 4 のような比較実験を

6 に示す。この結果から、提案モデルによる画像生成の際は形状と意味的特徴を同時に考慮した生成結果を示している。しかし、食器の領域マスクは提供していないため、食器は食事マス
クを囲むように生成され、生成された食器は歪んだケースが存在する。

行なった。一列目は画像生成に使用するレシピエンベディン
グに対応する現実の食事画像であり、二列目はベースライン
手法 ACME [11] による生成画像である。右からのの二列は異なる形状マスクで学習した提案モデルによる生成画像であり、この形状マスクに関してはそれぞれ DeepLabV3+ [17] によるRecipe1M [3] の形状マスクデータセットと本部ら [18] の作成した Recipe1M [3] の形状マスクデータセットである。二列目と四列目を比較すると、提案手法の方が食事の形状を保ちながら、リアルな食事画像を生成できることが示されている。

図7

入力テキストの操作による生成画像の変化

次に、入力の食材の変更による生成画像へどんな影響があるのかを検証するための実験を行う。図 7 の結果により、入力の食材のテキストからそれぞれ左の枝豆、或は、右のキャベツを削除した場合に、生成された画像もこの変更に応じて変わった
外観の食事画像を生成していることが確認できる。
そして、レシピエンベディングを連続的に変化させた際に生成画がどのように変化するのかを検証する。レシピエンベディ
ングの空間を連続的に表現できていれば、生成した補完画像は
図5

双方向からの食事画像生成

滑らかに変化する。この結果を図 8 に示す。入力としてレシピ
エンベディングと対応する形状マスクであり、目標として右側学習した提案モデルは意味的エンベディングと視覚的エンベの列目に示す画像である。三行目では、入力の形状マスクを保ディングの間の距離学習はどの程度進められたのかを視覚的にちながら、ピザの色や質感などの要素が意味的エンベディング検証するために、それぞれ意味的エンベディングと視覚的エンの変化と同時に、生成画像は滑らかで連続的に変化したことがベディングを用いて、対応する形状マスクに基づいた食事画像分かる。むしろ画像生成に必要な高レベルな特徴の表現力も提の生成を行う。双方向からの食事画像を生成した結果を図 5 に案のモデルによって、得られていることが考えられる。

示すように、ここでは画像のみを表示しているが、対応したテ

複数品の食事画像生成を行なった結果は図 9 に示す。事前にキストからの意味的エンベディングもあわせて行った。三列目

人工で作成した複数のセマンティック領域のあるマスク画像を

—5—

文

図8

スタイルミックスによる生成画像

図 9 複数品の食事画像生成

用いて、それぞれレシピ１からのエンベディングを緑色領域のスタイルとして、レシピ２からのエンベディングをピンク色領域のスタイルとして、複数品の食事画像生成を行なった。この結果から、複数料理の画像生成が成功したことが示されている。

5. お わ り に本研究では、準備した食器に盛り付けをするように、複数の食事領域を含むマスク画像を用意し、各領域にユーザが指定した料理画像を生成する Mask-based Recipe Embedding GAN (MRE-

GAN) を提案した。MRE-GAN では、杉山らの RDE-GAN [2] をベースに、画像生成に SEAN [1] 正規化を使用することで、クロスモーダルレシピエンベッティングによる、形状マスクに基づく料理の画像生成を実現した。既存研究に存在している画像の意味と形状の分離が不十分である問題を解決し、One-Stage
で安定的な学習を可能にした。実験から、提案手法は複数品を含む任意の形状マスクに基づいたレシピからの画像生成を実現
し、より高画質の画像生成を示した。
今後の課題として、複数品の生成画像には全体の一貫性を保持できないため、レシピ間の関係性を考慮することから検討していく必要がある。また、現在は食器の形状を指定することができないので、Recipe1M の画像に食器領域のアノテーションを付与することで、食事と食器の形状を両方指定可能とすることを検討している。

献[1] Peihao Zhu, Rameen Abdal, Yipeng Qin, and Peter Wonka. Sean:
Image synthesis with semantic region-adaptive normalization. In
Proc. of the IEEE/CVF Conference on Computer Vision and Pattern
Recognition, 2020.
[2] Yu Sugiyama and Keiji Yanai. Cross-modal recipe embeddings bydisentangling recipe contents and dish styles. In Proc. of ACM Multimedia, 2021.
[3] Amaia Salvador, Nicholas Hynes, Yusuf Aytar, Javier Marin, Ferda
Oﬂi, Ingmar Weber, and Antonio Torralba. Learning cross-modal embeddings for cooking recipes and food images. In Proc. of the IEEE
Conference on Computer Vision and Pattern Recognition, 2017.
[4] Alex Graves and Jürgen Schmidhuber. Framewise phoneme classiﬁcation with bidirectional lstm and other neural network architectures.
Neural networks, Vol. 18, No. 5-6, pp. 602–610, 2005.
[5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeﬀ
Dean. Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems,
pp. 3111–3119, 2013.
[6] Jingjing Chen, Lei Pang, and Chong-Wah Ngo. Cross-modal recipe
retrieval: How to cook this dish? In International Conference on
Multimedia Modeling, pp. 588–600. Springer, 2017.
[7] Jing-Jing Chen, Chong-Wah Ngo, Fu-Li Feng, and Tat-Seng Chua.
Deep understanding of cooking procedure for cross-modal recipe retrieval. In Proc. of the 26th ACM international conference on Multimedia, pp. 1020–1028, 2018.
[8] Micael Carvalho, Rémi Cadène, David Picard, Laure Soulier, Nicolas Thome, and Matthieu Cord. Cross-modal retrieval in the cooking
context: Learning semantic text-image embeddings. In The 41st International ACM SIGIR Conference on Research & Development inInformation Retrieval, pp. 35–44, 2018.
[9] Han Fu, Rui Wu, Chenghao Liu, and Jianling Sun. Mcen: Bridging
cross-modal gap between cooking recipes and dish images with latentvariable model. In Proc. of the IEEE/CVF Conference on Computer
Vision and Pattern Recognition, June 2020.
[10] Bin Zhu, Chong-Wah Ngo, Jingjing Chen, and Yanbin Hao. R2gan:
Cross-modal recipe retrieval with generative adversarial network. In
Proc. of the IEEE/CVF Conference on Computer Vision and Pattern
Recognition, June 2019.
[11] Hao Wang, Doyen Sahoo, Chenghao Liu, Ee-peng Lim, and Steven
C. H. Hoi. Learning cross-modal embeddings with adversarial networks for cooking recipes and food images. In Proc. of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition, 2019.
[12] Florian Schroﬀ, Dmitry Kalenichenko, and James Philbin. Facenet:
A uniﬁed embedding for face recognition and clustering. In Proc. of
the IEEE Conference on Computer Vision and Pattern Recognition,
pp. 815–823, 2015.
[13] Alexander Hermans, Lucas Beyer, and Bastian Leibe. In defense of the triplet loss for person re-identiﬁcation. arXiv preprint
arXiv:1703.07737, 2017.
[14] Bin Zhu and Chong-Wah Ngo. Cookgan: Causality based text-toimage synthesis. In Proc. of the IEEE/CVF Conference on Computer
Vision and Pattern Recognition, June 2020.
[15] Taesung Park, Ming-Yu Liu, Ting-Chun Wang, and Jun-Yan Zhu.
Semantic image synthesis with spatially-adaptive normalization. In
Proc. of the IEEE/CVF Conference on Computer Vision and Pattern
Recognition, 2019.
[16] Kaimu Okamoto and Keiji Yanai. UEC-FoodPix Complete: A largescale food image segmentation dataset. In Proc. of ICPR Workshop
on Multimedia Assisted Dietary Management (MADIMA), 2021.
[17] Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroﬀ,
and Hartwig Adam. Encoder-decoder with atrous separable convolution for semantic image segmentation. In Proc. of the European
conference on computer vision (ECCV), pp. 801–818, 2018.
[18] Yuma Honbu and Keiji Yanai. Few-shot and zero-shot semantic
segmentation for food images. In Proc. of the 13th International
Workshop on Multimedia for Cooking and Eating Activities, 2021.

—6—