社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

Transformer を用いたクロスモーダルレシピ検索・画像生成楊景†柳井 啓司††† 電気通信大学 情報理工学域 I 類†† 電気通信大学 大学院情報理工学研究科 情報学専攻
E-mail: †yang-j@mm.inf.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし

インターネットの発展により，マルチモーダルデータが指数的に増大している．その中でも，食物は人間の生活で重要な役割を果たしているため，料理レシピサイトに多数存在している，料理画像と調理レシピテキストからなるマルチモーダルデータの研究が近年注目されている．特に，画像からテキスト，テキストから画像の相互検索を行うクロスモーダルレシピ検索は，多くの研究が行われている．本研究は，当研究室で行われた研究で，現在，最高精度のクロスモーダルレシピ検索を実現している RDEGAN [16] の啓発の下で，Transformer を用いたレシピ検索フ
レームワークを提案する．実験では，提案手法はレシピ検索・画像生成の二つのタスクにおいてともに従来の手法を上回った結果を得られたことが示された．
キーワード Transformer，クロスモーダル検索，自己教師あり学習，画像生成

1. は じ め にの区別はレシピ検索システムには難しいのである．本研究は，上記の問題点を解決すべく，Hierarchical Transformer (H-T) [13]近年インターネットの発展により，膨大な量のデータが人はと Adversarial Cross-Modal Embedding (ACME) [18] を組み合わ利用できるようになった．この膨大な量のデータを利用すべく，せたフレームワークを提案する．レシピテキストのエンコード

クロスモーダル検索の研究が盛んでいる．クロスモーダル検索に自己教師あり学習を導入するほか，GAN [5] を画像を再構成の目的は，異なる情報源からの関連のある情報の，互いの検索することで，現存手法を上回る現時点での最高精度を達成したを可能とすることである．クロスモーダル検索は通常の検索とことが実験で確認された．

は違い，明確かつ一意的対応関係がないため，良い精度の検索システムの開発は一般的には困難である．クロスモーダル検索

2. 関 連 研 究を実現する手法の一つとしては，二つのモダリティからの情報

2. 1 Joint Embedding によるレシピ検索

をそれぞれのエンコーダーを通してから，ネットワークでそのクロスモーダルレシピ検索の一つの発端として，Salvador ら

対応関係を学習することである．異なるモダリティの特徴を，の研究 [14] があげられる．この研究で Salvador らは，Recipe1M

同じ空間に埋め込み，なるべく分布を近づけることで，画像・レシピデータセットを提示すると同時に，クロスモーダルエン

テキストの互いの検索が可能となった [7]．

ベディングによるレシピ検索の手法 (Joint Embedding) を提案しクロスモーダル検索における応用タスクの一つとして，レシた．Salvador らは，レシピ画像・レシピテキストをそれぞれの

ピ検索が挙げられる．レシピのクロスモーダルレシピ検索の目

ネットワークと通して特徴ベクトルを生成する．この二つの特的は，与えられたクエリー画像に対して対応するレシピテキス

徴ベクトルを共有空間に埋め込む同時に，互いの分布を近づけト，逆にクエリーレシピテキストに対して対応するレシピ画像

させることで，レシピ画像・レシピテキストの互いの検索を可を，それぞれ検索結果として返すことである．多くのレシピ検能にした．

索の研究において，Recipe1M [14] がデータセットとして使用

2. 2 画像生成が伴うレシピ検索

されている．

Joint Embedding (JE) [14] のフレームワークをさらに発展さRecipe1M は，レシピテキストとその対応のレシピ画像を含せ，敵対的学習を導入したことで検索を可能にしたほか，レシむデータセットである．レシピの方は，タイトル・成分・調理

ピテキストからの画像生成を可能としたのが R2GAN [20] であ

手順が含まれている．同時に，それぞれのレシピに対応するレる．この敵対的学習のフレームワークを Wang らがさらに発展

シピ画像が付いている．

させ，一致性損失関数などの導入で高い検索精度を実現した手

ただし，クロスモーダル検索におけるレシピ検索タスクの問

法 ACME [18] を提案した．ACME はレシピエンベディングを題点の一つとして挙げられることは，似ているレシピテキスト・

用いた画像再構成に GAN [5] を導入するほか，画像エンベディ

レシピ料理画像の間の区別が困難なことである．レシピ画像がングを用いた成分予測などを導入し，画像の中間表現のエンベ似ているが，レシピテキストは全く違うサンプル同士や，レシディングの信頼性を上げた．本研究のレシピ検索システムは，

ピテキストが似ているが，レシピ画像が全く違うサンプル同士

ACME をベースのアーキテクチャーとする．

—1—

同時に，上記の過程で学習された埋め込みが正しく本来のレシ
ピ情報を保持するために，エンベディングの一致性を確保する
損失関数 𝐿 𝑡𝑟 𝑎𝑛𝑠 を導入する．以上の点に従って，全体的ロス関数は以下のように定式化できる．𝜆 1 , 𝜆 2 , 𝜆 3 は学習の度合いを制御するためのハイパーパラメータである．

𝐿 𝑡𝑜𝑡 𝑎𝑙 = 𝜆1 𝐿 𝑟 𝑒𝑐 + 𝜆2 𝐿 𝑀 𝐴 + 𝜆3 𝐿 𝑡𝑟 𝑎𝑛𝑠 + 𝐿 𝑟 𝑒𝑡(1)

3. 1 テキストエンコーダー
より信頼性のあるレシピエンベディングを得るために，本研
究ではテキストエンコーダーは H-T [13] のテキストエンコー
図 1 提案ネットワーク図

ダーを利用する．
レシピテキスト埋め込みを学習するため，レシピテキストに同じレシピであっても，料理の盛りつけの仕方や料理写真の含まれる三つの要素ータイトル，成分と調理手順をそれぞれ撮影の方法によって様々な料理写真が考えられるため，レシピ

階層的 Transformer のエンコーダー 𝐸 𝑡𝑡𝑙 , 𝐸 𝑖𝑛𝑔 , 𝐸 𝑖𝑛𝑠 で先にエンエンベディングから直接，料理画像を生成する ACME には問題があると杉山らは考え，この問題点を対策とした ACME をさらに発展させた手法 RDEGAN [16] を提案した．RDEGAN は，

コードし，タイトル，成分と調理手順それぞれのエンベディ
ング 𝑒 𝑡𝑡𝑙 , 𝑒 𝑖𝑛𝑔 , 𝑒 𝑖𝑛𝑠 を得る．その後，この三つエンベディング

𝑒 𝑡𝑡𝑙 , 𝑒 𝑖𝑛𝑔 , 𝑒 𝑖𝑛𝑠 を連結して，レシピテキストエンコーダー 𝐸𝑟 𝑒𝑐

MUNIT [10] の啓発で ACME のネットワークを改良した上で，でエンコードし，最終のレシピテキストエンベディングを得る．

レシピ画像から画像意味情報と皿や盛り付け方などの情報を含

ここでは，レシピテキストに含まれる，タイトル，成分と調む形状情報を別々にして抽出し，検索精度・画像生成の二つに理手順の間の補完的意味を掘るために，[13] と同様に損失関数

タスクにおいて当時最高精度を達成した．

の自己教師あり損失関数を導入する．自己教師あり損失関数の2. 3 クロスモーダル検索における Transformer の利用導入により，Recipe1M [14] に含まれる 7 割弱の text-only サン

近年 Transformer [17] というテキストエンコーダーの新しいプルを学習に利用できる [13]．

ネットワークが提案され，テキスト処理の多くのタスクにおい

3. 1. 1 タイトルのエンコーディングて良いパフォーマンスを達成している．Recipe1M データセッ

すべてのレシピテキストにおいて，タイトルは一つに定まっト作成者でもある Salvador らは，データセットは 7 割近くのているため，タイトルに対するエンコードは実際一つの文に対データはレシピテキストしか含まない問題点を提示し，このするエンコードである．我々は二つの Transformer を，文レベ問題点に対する対策を考慮したクロスモーダルレシピ検索手

ルのエンコーディングに利用する (図 2(a))．最初の層の前には

法 [13] を提案した．この方法では，テキストエンコーダーに階

位置エンベディング (Positional Embedding) を適用し，モデルに層的 Transformer を導入する同時に，自己教師あり学習も適用

レシピテキストの位置情報も学習してもらう．次元数 𝐷 = 512，

し，レシピテキストの間にある補完関係をより良く利用した．

2 つの層はそれぞれ 4 つの attention head が付く．文のエンベ本研究では，この Transformer に基づくテキストエンコーダー

ディングは Transformer エンコーダー最終層の出力の和の平均を利用することとする．

となる．タイトルエンベディング 𝑒 𝑡𝑡𝑙 は，このように得られる．

3. 提 案 手 法

3. 1. 2 調理手順・成分レベルのエンコーディング
レシピテキストにあるタイトルはすべて一つに定まる一方，

本研究では，画像生成を行うマルチモーダルレシピ検索のモデルである ACME [18] に，Salvador らの階層的 Transformer 構
造を用いたレシピ検索フレームワーク [13] (以下では，本研究をH-T と記載する) で用いられている Transformer 型のテキストエ
ンコーダと自己教師学習を組み合わせ，さらに画像エンコーダに Vision Transformer (ViT) [3] を利用することを提案する．図

1 は，本研究が提案したネットワーク図である．
H-T [13] と同様に，本研究はレシピテキストにある補完的関係を探るために自己教師あり学習のトリプレットロス 𝐿 𝑟 𝑒𝑐 を適用する．画像エンコーダーは，ResNet50 [8] や ViT [3] を利用する．検索精度を上げるため，学習されたテキスト埋め込み・
画像埋め込みに検索用のトリプレットロス 𝐿 𝑟 𝑒𝑡 を適用した距離学習を行う．また，モダリティ間のギャップ問題を緩和するた
めに，我々は ACME [18] と同様に損失関数 𝐿 𝑀 𝐴 を導入する．

サンプルに含まれる調理手順・成分の文が複数含まれる．本研
究は，H-T [13] と同様に二つの Transformer(図 2(a)) をもつ，階層的 Transformer(HTR)(図 2(b)) を調理手順・成分の学習に導入する．調理手順と成分の処理は同じで，ここでは便宜上，成分を例として本研究において複数の文をもつサンプルの処理手法を紹介する．
レシピテキストの成分として与えられた 𝑀 個の文に対して，最初の Transformer (𝑇 𝑅 𝐿=1 ) はそれを先に 𝑀 個のサイズが固定されたエンベディング 𝑒 𝑖𝑛𝑔0 , 𝑒 𝑖𝑛𝑔1 , ..., 𝑒 𝑖𝑛𝑔𝑀 に変換させ，二つ目の Transformer(𝑇 𝑅 𝐿=2 ) は変換されたすべての成分の文のエン
ベディングを一つ統一されたエンベディング 𝑒 𝑖𝑛𝑔 に変換させる．調理手順のエンベディング 𝑒 𝑖𝑛𝑠 も上述の方法で得る．次は，得られた三つの成分のエンベディング 𝑒 𝑡𝑡𝑙 , 𝑒 𝑖𝑛𝑔 , 𝑒 𝑖𝑛𝑠 を，一つ統合されたレシピテキストエンベディング 𝑅 にエンコードす—2—

図 2 Transformer と階層的 Transformer( [13] より引用)
図 3 タイトル・成分・調理手順エンベディング間の線形変換と自己教師あり学習ロス計算 ( [13] より引用)，異なる色のドットは各レる手法を紹介する．

シピテキスト成分のロス項目を示す

3. 1. 3 タイトル・成分・調理手順の間の補完関係本研究では信頼性のあるレシピテキストエンベディング 𝑅 を得るために，H-T [13] と同様に自己教師ありレシピテキスト損

空間から集合 𝑏 の空間への線形変換である．例えば，𝑒 𝑡𝑡𝑙 が失のトリプレットロス 𝐿 𝑟 𝑒𝑐 を導入する．この損失の導入によ

𝑔𝑡𝑡𝑙−>𝑖𝑛𝑔 ( ・ ) を用いてタイトルエンベディングが成分エンベ

り，レシピ画像がない text-only のサンプルも利用でき，レシピ

ディング空間における投影 𝑒 𝑡𝑡𝑙−>𝑖𝑛𝑔 に変換してから，成分エ

テキストに含まれるタイトル・成分・調理手順の間の補完的関

ンベディング 𝑒 𝑖𝑛𝑔 との損失の式は 4 の通りに定式化できる．

係を学習することが可能になる．対象のエンベディングは三つ

′

(𝑖)

(𝑖)

あるため，双方向のトリプレットロス関数 (Bi-directional Triplet

𝐿 𝑟 𝑒𝑐 (𝑖𝑛𝑔, 𝑡𝑡𝑙) = 𝐿 𝑏𝑖 (𝑒 𝑡𝑡𝑙 , 𝑒 𝑡𝑡𝑙→𝑖𝑛𝑔 )Loss Function) を導入する．

式 4 を一般化すると，以下のようになる:

′

(𝑖)

( 𝑗)

(𝑖)

′

(𝑖)

(𝑖) (𝑖)(𝑖) ( 𝑗)[𝑐(𝑒 𝑏 , 𝑒 𝑎 ) − 𝑐(𝑒 𝑏 , 𝑒 𝑎 ) + 𝛼] +

(𝑖)

(2)

ここでは，𝑒 𝑎 , 𝑒 𝑏 は異なるエンベディング集合で，上付き文(𝑖) (𝑖)字の要素は互いにポジティブ (𝑒 𝑎 , 𝑒 𝑏 )，そうではない要素は(𝑖) ( 𝑗)(𝑖) ( 𝑗)
互いにネガティブ (𝑒 𝑎 , 𝑒 𝑏 や 𝑒 𝑏 , 𝑒 𝑎 )． また，𝑐[ ・] はコサ

イン類似度， [𝑧] + = 𝑚𝑎𝑥(0, 𝑧) ，マージン 𝛼 は 0.3 に設定する．
所属集合を表す下付き文字は 𝑎, 𝑏 ∈ {𝑡𝑡𝑙, 𝑖𝑛𝑔, 𝑖𝑛𝑠}．式 2 をさらに発展させ，以下の通りにタイトル・成分・調理手順の任意のできる．

トル，成分，調理手順）のエンベディングを取り，コサイン類
似度の距離学習を行う三つのエンベディング空間（タイトル，
成分，調理手順）があるため，その変換は合計 6 種類あり (図3)，ロスも 6 種類計算する．式 6 にようにまとめられる：
𝐿 𝑟 𝑒𝑐 =1 ∑∑𝐿 𝑏𝑖 (𝑎, 𝑏)𝛿(𝑎, 𝑏),
6 𝑎𝐿 𝑏𝑖 (𝑎𝛿(𝑖, 𝑗) =

,𝑏

𝐵

1∑ ′
)=
𝐿 𝑏𝑖 (𝑖, 𝑗)𝛿(𝑖, 𝑗),
𝐵

(3)

𝑗=0

(6)

𝑏

𝛿(𝑖, 𝑗) =(𝑖)(5)

ここでは，𝑎, 𝑏 はすべての異なるレシピテキストの成分（タイ二つに適用する，一つバッチ内のトリプレットロス関数を定式

(𝑖)

(𝑖)

𝐿 𝑟 𝑒𝑐 (𝑎, 𝑏) = 𝐿 𝑏𝑖 (𝑒 𝑎 , 𝑒 𝑏→𝑎 )𝐿 𝑏𝑖 (𝑖, 𝑗) = [𝑐(𝑒 𝑎 , 𝑒 𝑏 ) − 𝑐(𝑒 𝑎 , 𝑒 𝑏 ) + 𝛼] + +

(4)



0


if 𝑖 = 𝑗 1,otherwise

繰り返しになるが，タイトル・成分・調理手順の三つの空間を対象とするため，𝑎, 𝑏 ∈ {𝑡𝑡𝑙, 𝑖𝑛𝑔, 𝑖𝑛𝑠}．合計 6 種類のロスが



0


if 𝑖 = 𝑗

計算されるため，レシピテキストロスの式 6 は 6 で割る．この


 1,


otherwise

自己教師あり学習ロスで学習を行った後，学習された三つのエ

𝐵 はバッチサイズで，𝛿 は相関関数を表し，𝑎, 𝑏 ∈ {𝑡𝑡𝑙, 𝑖𝑛𝑔, 𝑖𝑛𝑠}．
学習時にすべてのエンベディングが等しくなることを防ぐために，H-T [13] と同様に本研究では線形レイヤーを利用しエンベディング間の写像を適用してから損失関数を計算する．図 3の示した通りに，線形レイヤーを用いて目標エンベディング空間に適用してからロスを計算する．𝑔𝑎−>𝑏 ( ・) は，集合 𝑎 のンベディンググ 𝑒 𝑡𝑡𝑙 , 𝑒 𝑖𝑛𝑔 , 𝑒 𝑖𝑛𝑠 をエンコーダー 𝐸 𝑚𝑟𝑔 を通して，最終のレシピテキストエンベディング 𝑅 を得る．

3. 2 画像エンコーダー
画像エンコーダー 𝐸 𝑉 を用いて，レシピ画像を画像ーテキス
ト共有埋め込み空間への写像関数を学習することが目的とする．
本研究では，最新研究の ViT [3] を画像エンコーダーに利用し—3—

た．具体的には，同じく [2] の事前学習済みの ViT ベースサイ

Et∼ 𝑝 (𝑡) [log(1 − 𝐷 𝑟2𝑖 (𝐺 (FC(𝐸𝑇 (t)))))]

ズモデルを利用した．また，同時に，ImageNet [2] で事前学習済みの ResNet-50 [8] を利用する実験も行った．ResNet-50 の分
類器直前のレイヤーの次元数 𝐷 = 1024 の出力を画像埋め込みとして利用した．

以上の二つのロスをまとめると，最終のレシピエンベディン
グの一致性を確保するためのロスである：

𝐿 𝑡𝑟 𝑎𝑛𝑠𝑟 = 𝐿 𝑟2𝑖 + 𝐿 𝑐𝑙𝑠𝑟2𝑖

3. 3 モダリティ間の埋め込み学習
本 研 究 で は ，モ ダ リ テ ィ 間 の ギ ャ ッ プ を 緩 和 す る た め ，ACME [18] と同様にモダリティ間の融合に敵対的学習を導

(10)

(11)

3. 5. 2 画像埋め込みからのレシピ成分予測
画像エンベディング一致性ロス 𝐿 𝑡𝑟 𝑎𝑛𝑠𝑖 も同様に，二つのロス 𝐿 𝑖2𝑟 , 𝐿 𝑐𝑙𝑠𝑖2𝑟 を取り組んだロスである． 𝐿 𝑖2𝑟 は，画像エンベ

入し，モダリティ間のギャップ問題を緩和する．
ここでは，テキストと画像の二つのモダリティからの埋め込

ディングを用いて成分予測のロスである．従来の研究 [1], [18]

みをよりよく融合するために弁別器を導入する．この弁別器では，マルチラベル分類で料理の成分を予測する手法がある．

は，与えられた埋め込みの元は画像とテキストのどちらかを判

ここでは，ACME [18] と同様に，レシピ画像埋め込 𝑉 みをマル

別するものである．弁別器が与えられた埋め込みの元が判別でチラベルネットワークに入れることで，予測した成分を表す次

きないまで学習させることで，画像・テキストからの埋め込み

元数 4102 の one-hot ベクトル (4102 次元は 4102 種類の成分を(𝐸 𝑉 (i), 𝐸𝑇 (t)) をよりよく融合できる．このモダリティを融合表す) を得り，このロスを 𝐿 𝑖2𝑟 とする． 𝐿 𝑐𝑙𝑠𝑖2𝑟 は，料理のカテ(Modality Alignment) する損失関数は式 7 のように定義できる．

ゴリーを正しく得るためのクロスエントロピーロスである．以
上により，最終の画像埋め込みの一致性を確保するためのロス

𝐿 𝑀 𝐴 = Ei∼ 𝑝 (𝑖) [log(1 − 𝐷 𝑀 (𝐸 𝑉 (i)))]+
Et∼ 𝑝 (𝑡) [log(1 − 𝐷 𝑀 (𝐸𝑇 (t)))]が定式化できる：(7)

𝐿 𝑡𝑟 𝑎𝑛𝑠𝑖 = 𝐿 𝑖2𝑟 + 𝐿 𝑐𝑙𝑠𝑖2𝑟(12)

3. 4 画像・テキストクロスモーダル検索の距離学習
以上の手順を踏まえて，画像・テキスト埋め込み 𝑉 = 𝐸 𝑉 (i), 𝑅 =𝐸𝑇 (t) を得られた．サンプル間の検索の距離学習のためのトリ
プレットロス [15] を式 8 のように導入する．マージン 𝛼 = 0.3，

𝑑 ( ・) はユークリッド距離で， [𝑥] + = 𝑚𝑎𝑥(𝑥, 0) である．
𝐿 𝑟 𝑒𝑡 =∑𝑉験

ここでは，提案手法のレシピクロスモーダル検索フレーム
ワークの有効性を検証するための実験を紹介する．検索精度の確認のほか，敵対的学習による生成画像の結果も紹介する．

4. 1 データセット[𝑑 (𝑉𝑎 , 𝑅 𝑝 ) − 𝑑 (𝑉𝑎 , 𝑅𝑛 ) + 𝛼] + +∑4. 実

データセットは，前述の通りで Recipe1M [14] を利用する．

[𝑑 (𝑅 𝑎 , 𝑉 𝑝 ) − 𝑑 (𝑅 𝑎 , 𝑉𝑛 ) + 𝛼] +(8)𝑅

我々は学習データ，検証データ，テストデータにはそれぞれ

238,999，51,119，51,303 の画像-レシピペアを利用する．また，

3. 5 埋め込みと元情報の一致性

レシピの自己教師あり学習の適用のため，データセットの残り

ACME [18] により時折，検索には有用なエンベディングが得の 482,231 の画像が含まれないレシピだけのサンプルを学習にられたが，元のモダリティにおける固有情報が失われたことが使用する．

ある．この状況を防ぐため，ACME [18] と同様にエンベディン

4. 2 学 習 設 定

グの一致性を持つロスを導入する．このロスは，レシピエンベ

学習の最適化目標は，式 1 を最小化することである．実験でディング一致性ロス 𝐿 𝑡𝑟 𝑎𝑛𝑠𝑟 と，画像エンベディング一致性ロは，𝜆 1 を 0.05，𝜆 2 を 0.005，𝜆 3 を 0.002 に設定した．また，学ス 𝐿 𝑡𝑟 𝑎𝑛𝑠𝑖 の二つの部分をまとめたロスとなる：

習率・バッチサイズをそれぞれ 256，10−4 に設定し，Adam [11]𝐿 𝑡𝑟 𝑎𝑛𝑠 = 𝐿 𝑡𝑟 𝑎𝑛𝑠𝑟 + 𝐿 𝑡𝑟 𝑎𝑛𝑠𝑖

(9)

optimizer を適用して学習を行う．学習時は，1k サイズにおけ3. 5. 1 テキスト埋め込みからのレシピ画像生成
レシピエンベディング一致性ロス 𝐿 𝑡𝑟 𝑎𝑛𝑠𝑟 は，二つのロス

𝐿 𝑟2𝑖 , 𝐿 𝑐𝑙𝑠𝑟2𝑖 を取り組んだロスである． 𝐿 𝑟2𝑖 は，生成画像がなるべく本物料理に見えるために導入したロスである．GAN [5] を用
いて，FC レイヤーを通ったレシピエンベディング (FC(𝐸𝑇 (t)))
から画像を生成する．式 10 のように定式化できる． 𝐿 𝑐𝑙𝑠𝑟2𝑖 は，生成画像が目的の「正しい料理画像」を制限するために導入するロスである．ここでは料理タイトル分類器を適用し，クロス
エントロピーロス 𝐿 𝑐𝑙𝑠𝑟2𝑖 を導入する．

𝐿 𝑟2𝑖 = Ei∼ 𝑝 (𝑖) [log(1 − 𝐷 𝑟2𝑖 (i))]+

図 4 検索例 (Ours+ViT)．

—4—

表 1 検索性能比較．太字の結果が最上位結果で，アンダーラインがついている結果が 2 位

1k

10k

Image-to-Recipe

Recipe-to-Image

Image-to-Recipe

Recipe-to-Image

medR R@1 R@5 R@10 medR R@1 R@5 R@10 medR R@1 R@5 R@10 medR R@1 R@5 R@10
JE [14]

5.2

24.0

51.0

65.0

5.1

25.0

52.0

65.0

41.9

-

-

-

39.2

-

-

-

R2GAN [20]

2

39.1

71

81.7

2

40.6

72.6

83.3

13.9

13.5

33.5

44.9

12.6

14.2

35.0

46.8

MCEN [4]

2

48.2

75.8

83.6

1.9

48.4

76.1

83.7

7.2

20.3

43.3

54.4

6.6

21.4

44.3

55.2

ACME [18]

1

51.8

80.2

87.5

1

52.8

80.2

87.6

6.7

22.9

46.8

57.9

6

24.4

47.9

59.0

SCAN [19]

1

54.0

81.7

88.8

1

54.9

81.9

89.0

5.9

23.7

49.3

60.6

5.1

25.3

50.6

61.6

IMHF [12]

1

53.2

80.7

87.6

1

54.1

82.4

88.2

6.2

23.4

48.2

58.4

5.8

24.9

48.3

59.4

RDEGAN [16]

1

59.4

81.0

87.4

1

61.2

81.0

87.2

3.5

36.0

56.1

64.4

3

38.2

57.7

65.8

H-T [13]

1

60.0

87.6

92.9

1

60.3

87.6

93.2

4

27.9

56.4

68.1

4

28.3

56.5

68.1

X-MRS [6]

1

64.0

88.3

92.6

1

63.9

87.6

92.6

3

32.9

60.6

71.2

3

33

60.4

70.7

Ours

1

66.5

89.1

93.3

1

66.2

89.3

93.6

3

36.4

63.6

73.8

3

36.6

63.6

73.7

Ours+ViT

1

73.0

91.8

95.2

1

72.9

91.9

95.2

2

44.3

70.9

79.7

2

44.6

70.8

79.5

表 2 バッチサイズが提案手法における影響の比較（バックボーン：

表 3 バッチサイズが提案手法における影響の比較（バックボーン：

ResNet50)

ViT-B)

test set size

Image-to-Recipe

Recipe-to-Image

test set size

batch size medR R@1 R@5 R@10 medR R@1 R@5 R@10

1k

10k

64

1

61.6

87.8

92.4

1

62.3

87.8

92.8

128

1

65.0

89.0

93.3

1

65.4

89.1

93.5

256

1

66.5

89.1

93.3

1

66.2

89.3

93.6

64

3.7

31.2

58.3

69.2

3.4

31.9

58.7

69.5

128

3.0

35.0

62.6

73.6

3.0

35.4

62.6

73.1

256

3.0

36.4

63.6

73.8

3.0

36.6

63.6

73.7

Image-to-Recipe

Recipe-to-Image

batch size medR R@1 R@5 R@10 medR R@1 R@5 R@10

1k

10k

64

1.0

64.0

88.0

92.8

1.0

64.3

88.0

92.8

128

1.0

70.8

91.3

94.9

1.0

70.8

91.4

95.0

256

1.0

73.0

91.8

95.2

1.0

72.9

91.9

95.2

64

3.0

34.0

60.8

71.1

3.0

34.0

60.5

70.8

128

2.0

41.3

68.3

77.5

2.0

41.5

68.5

77.7

256

2.0

44.3

70.9

79.7

2.0

44.6

70.8

79.5

表 4 FID score の比較

る R ＠ 1 を基準として，エポックの最後に best model を更新する．また，本研究は 2 種類の画像エンコーダー，ResNet50 [8]MethodFIDと ViT [3] を利用し，その結果を比較する．

ACME [18]30.7

X-MRS [6]

28.6

Ours

23.3

Ours + ViT

27.1

4. 3 評 価 指 標以前の研究に従って，本研究は median rank (medR)， Re-

call@{1,5,10}の基準で検索精度を評価する．また，テストサイズを 1k，10k に分けて結果をまとめる．検索精度は，テストデータから 5 回ランダムにデータを選択し，得られた結果の平比較結果である．FID スコアは，生成画像の質を評価するため均を実験結果として報告する．

の基準であり，低ければ低いほど生成画像の質が良いと示され4. 4 検索精度の比較
実験結果は表 1 の示した通り，提案手法が一番優れた結果を得る．結果の示した通りに，提案手法もすぐれた結果が得られた．

4. 6 バッチサイズがタスクにおける影響についてられた．Ours は我々の提案手法の画像エンコーダーが ResNet50

我々はレシピテキストの学習と，検索するための距離学習のである場合で，Ours+ViT は提案手法の画像エンコーダーが ViT

二箇所のところにトリプレットロスを適用している．以上の二のベースパッチを使った場合である．二つの実験結果はともにつはすべて一つのバッチ内で距離学習を行うので，バッチサイ

優れた結果が得られた．特に ViT を適用した場合は，従来の手ズが増えると，モデルの距離学習もより適切に行えると考え法を大幅に上回った検索精度を得られた．図 4 は提案手法の検る．表 2，3 は，バッチサイズを変えて記録した実験結果であ索例である．上位にある画像は，少なくとも似たような外観をる．画像エンコーダーが ResNet50 か ViT であるかにかかわらもつ料理である．

ず，バッチサイズが増えるにつれて検索精度も上がった．特に，

4. 5 画 像 生 成

ViT での精度改善が ResNet50 の 2 倍となった．

図 5 は生成画像の一部の例である．生成画像が，ベースライ

また，一番優れた結果を得た実験設定 (バッチサイズ 256，画

ンの ACME と比べて，質のよりよい画像が生成できたと考え

像エンコーダーバックボーン:ViT ベースパッチ) では，TITAN

る．表 4 は，オープンソースコード 1 を用いた FID スコア [9] のRTX (24GB)×4，合計で 96GB のメモリーを利用した．一番軽量な実験設定 (バッチサイズ 64，画像エンコーダーバックボー（注 1）：https://github.com/mseitzer/pytorch-fid

—5—

[4]

[5]

[6]

図 5 生成画像の比較[7]

ン:ResNet50) では，GeForce GTX 1080 Ti (11GB)×2，合計で[8]

22GB のメモリーを利用した．
[9]

5. お わ り に
ここでは，レシピ検索についての研究の分析を行い，ACME [18]と H-T [13] に基づいたレシピ検索・画像生成フレームワークを提案し，その有効性を検証した．特に，H-T [13] に ACME の[10]

GAN [5] に基づく画像生成を追加したことで，検索においてのレシピエンベディングを画像で可視化することができ，レシピ[11]

テキストにおいての自己教師あり学習の効果をより直観的に観察できた．画像生成において，レシピテキストにおける自己教[12]

師あり学習を追加しただけで，生成画像の質 (FID スコア) も大幅に改善された．したがって，画像生成とレシピテキストにおいての自己教師あり学習の間には補完的関係が強いと我々は[13]

考える．実験では，我々の提案手法は画像生成・レシピ検索の二つのタスクにおいてともに従来手法を上回る最高精度を達成
[14]

した．
このほか，本研究はレシピクロスモーダル検索おいて，バッ
チサイズに注目した初めての研究である．考察では，提案フレームワークの有効性を検証すべく，バッチサイズを変更して[15]実験を行った．実験結果では，バッチサイズが大きくなること
につれて，検索精度も大幅に改善された．原因として一つ考え[16]られるのは，提案フレームワークで 2 つのトリプレットロスを適用したからである．レシピエンベディングの学習と画像−テ[17]

キストペア学習の二つのところに異なるトリプレットロスを導入したことで，バッチサイズが大きくなることにつれて，その距離学習の影響が深くなったと考える．この結論をさらに検証[18]するため，今後は二つのトリプレットロスを一つずつ取り除いて比較実験を行う予定である．
文

献[1] Jingjing Chen and Chong-wah Ngo. Deep-based ingredient recognition for cooking recipe retrieval. In Proc.of ACM International
Conference Multimedia, p. 32–41, 2016.
[2] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li FeiFei. Imagenet: A large-scale hierarchical image database. In Proc.ofIEEE Computer Vision and Pattern Recognition, 2009.
[3] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weis-

[19]

[20]

senborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani,
Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit,
and Neil Houlsby. An image is worth 16x16 words: Transformers forimage recognition at scale. CoRR, Vol. abs/2010.11929, , 2020.
Han Fu, Rui Wu, Chenghao Liu, and Jianling Sun. Mcen: Bridging
cross-modal gap between cooking recipes and dish images with latent variable model. In Proc.of IEEE Computer Vision and Pattern
Recognition, June 2020.
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David
Warde-Farley, Sherjil Ozair, Aaron C. Courville, and Yoshua Bengio.
Generative adversarial networks. Commun. ACM, Vol. 63, No. 11,
pp. 139–144, 2020.
Ricardo Guerrero, Hai Pham Xuan, and Pavlovic Vladimir. Crossmodal retrieval and synthesis (x-mrs): Closing the modality gap inshared representation learning. In Proc.of ACM International Conference Multimedia, 2021.
Wenzhong Guo, Jianwen Wang, and Shiping Wang. Deep multimodal representation learning: A survey. IEEE Access, Vol. 7, pp.
63373–63394, 2019.
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep
residual learning for image recognition. CoRR, Vol. abs/1512.03385,, 2015.
Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard
Nessler, and Sepp Hochreiter. Gans trained by a two time-scale
update rule converge to a local nash equilibrium. In Proceedings ofthe 31st International Conference on Neural Information Processing
Systems, p. 6629–6640, 2017.
Xun Huang, Ming-Yu Liu, Serge Belongie, and Jan Kautz. Multimodal unsupervised image-to-image translation. In Proc.of European
Conference on Computer Vision, 2018.
Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proc. of International Conference on Learning
Representation, 2015.
Jiao Li, Jialiang Sun, Xing Xu, Wei Yu, and Fumin Shen. Cross-modal
image-recipe retrieval via intra- and inter-modality hybrid fusion.
Proc. of ACM International Conference on Multimedia Retrieval, p.
173–182, 2021.
Amaia Salvador, Erhan Gundogdu, Loris Bazzani, and Michael
Donoser. Revamping cross-modal recipe retrieval with hierarchicaltransformers and self-supervised learning. In Proc.of IEEE Computer
Vision and Pattern Recognition, 2021.
Amaia Salvador, Nicholas Hynes, Yusuf Aytar, Javier Marin, Ferda
Oﬂi, Ingmar Weber, and Antonio Torralba. Learning cross-modal
embeddings for cooking recipes and food images. In Proc.of IEEE
Computer Vision and Pattern Recognition, 2017.
Florian Schroﬀ, Dmitry Kalenichenko, and James Philbin. Facenet:
A uniﬁed embedding for face recognition and clustering. In Proc.ofIEEE Computer Vision and Pattern Recognition, 2015.
Yu Sugiyama and Keiji Yanai. Cross-modal recipe embeddings bydisentangling recipe contents and dish styles. In Proc.of ACM International Conference Multimedia, 2021.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion
Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing
Systems, pp. 5998–6008, 2017.
Hao Wang, Doyen Sahoo, Chenghao Liu, Ee-peng Lim, andSteven CH Hoi. Learning cross-modal embeddings with adversarial networks for cooking recipes and food images. In Proc.of IEEE
Computer Vision and Pattern Recognition, pp. 11572–11581, 2019.
Hao Wang, Doyen Sahoo, Chenghao Liu, Ke Shu, Palakorn
Achananuparp, Ee-Peng Lim, and Steven C. H. Hoi. Cross-modal
food retrieval: Learning a joint embedding of food images and recipes
with semantic consistency and attention mechanism. CoRR, Vol.
abs/2003.03955, , 2020.
Bin Zhu, Chong-Wah Ngo, Jingjing Chen, and Yanbin Hao. R2gan:
Cross-modal recipe retrieval with generative adversarial network. In
Proc.of IEEE Computer Vision and Pattern Recognition, June 2019.

—6—