社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

食事画像領域分割データセットの作成とその活用
岡本開夢†

Cho Jaehyeong†

會下 拓実†

柳井 啓司†† 電気通信大学大学院情報理工学研究科 〒 182–8585 東京都調布市調布ヶ丘 1-5-1
E-mail: †{okamoto-ka,cho,ege-t}@mm.inf.uec.ac.jp, ††yanai@mm.inf.uec.ac.jp
あらまし

現在、領域分割の画像データセットは多数公開されているが、そのなかで食事におけるカテゴリは少数に限られている。また、食事画像データセットも多数公開されているが、画像毎に単独の食事名がアノテーションされたものが大部分である。また、画像に複数の食事がバウンディングボックス付きでアノテーションされているのは

UECFood などごく少数に留まっており、さらに詳細に画素毎にアノテーションされたデータセットで大規模なものは存在していない。一方、食事画像における正確な食事量やそのカロリー量の推定には、画像内における食事領域の面積に対して関連しており、食事領域の領域分割が不可欠である．そこで、本研究では UECFood-100 のうち１万枚の画像に画素単位のアノテーションを付加しマスク画像を作成することで、領域分割モデルの学習データセットとして利用できるようにした。GrabCut を用いることでアノテーションコストを削減した。さらに、555 枚のラーメン画像だけスープやトッピングを考慮し詳細にアノテーションを行い、ラーメン画像に対して細かな領域分割及び領域マスクからの食事画像生成することで、食事マスク画像における活用例を示した。
キーワード

深層学習, 食事領域分割データセット, ラーメンデータ・セット, 画像生成

1. は じ め に
現在、深層学習の発達により画像認識の精度が飛躍的に向上した他、画像生成や領域分割といったタスクにおいても優れた成果を残している。深層学習による教師あり領域分割においては、学習画像に画素ごとにアノテーションされたマスク画像データセットが必要となる。
領域分割に必要な大規模データセットとして PASCALVOC

2012 [1] や MS COCO [2] が挙げられるが、これらに含まれる画像は動物や乗り物のラベル付けされたものが大半を占めており、食事については少数のカテゴリに限られている。また単体の食事データセットにおいては単独の食事名がアノテーションされたものが大部分で、UECFood-100 [3] といった画像内の複数の食事に対してバウンディングボックスがアノテーションされているものは少数であり、画像ごとにアノテーションされたデータセットで大規模なものは存在していない。
一方、食事においては人々の生活に不可欠なものであり健康面を意識した食事量やカロリー量の推定が盛んにおこなわれている。それに伴い、現在食事画像からカロリー量を推定するようなアプリケーションが存在している。これら多くの場合には、食事画像から推定したカテゴリをもとに標準的なサイズにおけるカロリーや、ユーザーが入力したサイズをもとにカロリーを算出しており、直接画像から面積を算出しているものは限られている。しかし、カロリー量と食事量はともに密接に関連しており、食事画像の領域分割による食事量の推定なくしては正確なカロリー量を推定することは困難である。
また画像生成分野においては、実際の画像に近しい画像が生成することのできる Generative AdversarialNetworks(GAN) [4]

図 1 バウンディングボックスをもとに GrabCut を適用した例の登場により大幅に改善されている。GAN はノイズから画像を生成するジェネレータとその画像の真偽を判定するディスクリミネータを敵対的に学習することで画像を生成を行っている
他、その注目度の高さから様々な画像で使用されている。数文
字や顔画像の生成が有名であるが、食事画像においてもマスク画像からの生成や、ある料理から別の料理の変換が行われている。
本研究では既存の UECFood-100 のうちの 1 万枚の画像に画素単位でのアノテーションを付加し、領域分割モデルの学習用食事データセットとして作成を行う。まず UECFood-100 に既存のバウンディングボックスから新たに複数品目を考量したバウンディングボックスを付加する。次に、作学習成したバウンディングボックス内の領域に対して、GrabCut [5] を用いて初期マスク画像を作成する。GrabCut は領域の短形を与えることで前景と背景を分割する手法であり、これにより作成したマスク画像を精査することで領域分割用の食事データセットの作成を行う。図 1 は UECFood-100 に GrabCut を適用した例である。
また、別に食事マスク画像の活用例として画像生成を行う。

—1—

生成する画像は食事画像のなかで代表的なものとしてラーメン

おり、エッジ画像と実画像のペア画像を入力し学習したのちスとし、作成する食事学習データとは別にアノテーションしたケッチ画像と実画像のペア画像を用いてスケジューリングする

555 枚のうち 500 枚を学習画像として用いる。ここではマスクことで、50 クラスの画像の生成を行っている。

画像から画像生成を行うタスクに注目し、実画像から領域分割によって得られたマスクを元に画像の生成を行う。用いる学習

3. データセット

画像は食事領域に対してさらにスープやトッピングなどを考慮

本研究では既存の UECFOOD-100 [3] に対してインスタンスした 15 クラスのアノテーションを付加していることから、生を考慮した新たなバウンディングボックスを付加した画像を成されるマスク画像は各クラスの領域を考量したマスク画像でもとにマスク画像 (UECFoodPIX) の生成を行う。マスク画像あり、このマスクを修正することで自由なラーメン画像も作成の生成には GrabCut [5] を用いる。また、SNS から収集した可能である。本研究で作成した画像データセットは近日中にラーメン画像に対して、スープやトッピングを考慮したアノ

http://foodcam.mobi/dataset/にて公開予定である。

テーションを行うことで領域分割、画像生成用ラーメンデータ

2. 関 連 研 究(UEC-Ramen555) の作成を行う。
3. 1 UECFoodPIX

領域分割に用いられるデータセットとして PASCALVOC

現在、多くの食事画像データセットが公開されており、食2012 [1] や MS COCO [2] がベンチマークとして頻繁に用いら事分類タスクにおいては Food-101 [10]、UECFood-100 [3] やれている。PASCALVOC は 2005 年から 2012 年に行われたコUECFood-256 [11] などが標準的なベンチマークとして用いらンペティションに用いられたデータセットで 2012 年版では飛れている。しかしその中でも、画像内の複数の食事に対してバウ行機や自転車を含む 22 クラス 9,993 枚を含む。MS COCO はンディングボックスを持つものに関しては、UECFood-100/256

Microsofot 社が提供するデータセットで 80 クラス 33 万枚のなど少数に限られている。またこれらのバウンディングボック

画像を含む。しかし食事クラスに着目した際に MS COCO にスは、UECFood-100/256 の食事カテゴリに含まれる 100 種類含まれるピザやホットドックといったわずか 10 クラスしか存にとどまっており、この 100 カテゴリに含まれない食事部分に在しておらず、食事領域分割モデルの学習画像としては限られはバウンディングボックスが付けられていない。例としてパンたクラスにしか対応出来ていない。

トーストとバターを含む画像の場合、バターは 100 カテゴリ

一方、食事画像を用い食事量やカロリー量を考慮した研究がに含まれていないことから、パントーストの領域のみにバウンなされているが、岡元ら [6] の研究が挙げられる。これは、大きディングボックスが設けられており、バターの領域にはバウンさが既知の基準物体とともに食品を上から撮影することでカロディングボックスが設けらていない。またこのバウンディングリー量を推定するシステムを考案している。まず、GrabCut [5]ボックスはインスタンスを考慮しておらず、図 2 のように画像を使用し、画像内の基準物体と食事の領域を抽出し、それらをに多数の寿司が含まれている場合には、多数の寿司を含む形で比較することで食事領域の実面積を推定する。その後、事前に1 個のバウンディングボックスのみが与えられているのが現状作成したカロリーと面積の回帰式をもとにカロリー量の推定である。セグメンテーションマス付きの大規模な食事画像デーを行っている。本研究においてもマスク画像を作成する際にタセットに関しては、現状存在しておらず、UNIMIB2016 デー

GrabCut [5] を用いる。次に、Myers らによる Im2Calories [7]タセット [12] のみがセグメンテーションマスクにあたる食事領が挙げられる。これはＣＮＮベースのカロリー量推定の研究で域情報をポリゴンとして提供している。

あり、単一の画像からネットワークを用いて食事領域と深度情

そこで本研究では、従来の UECFood-100 を拡張しインスタ報を抽出し、それをもとにボクセル化した食事領域からカロンスベースのバウンディングボックスとセグメンテーションマ

リー量の推定を試みている。しかし３次元ベースの大規模なカスクを付与した食事画像データセットの作成を行った。

ロリー量付きデータセットが不足していたため、実際には３種類程度の食事のカロリー量の推定しか実現されなかった．

まず初めに、UECFood-100 に含まれる 10,000 枚の画像に対して、新たに手動でインスタンスベースのバウンディングボッ

またマスク画像から画像を生成す研究として Park [8] らのクスを付与した。新たに作成したバウンディングボックスの数研究が挙げられる。これは、conditional normalization 手法、は従来に比べて 2 倍以上となったため、アノテーションコスト

Spatially-Adaptive Denormalization(SPADE) を提案した研を抑えるため手動での作業は、バウンディングボックスを付与

究で、セグメンテーションマスク画像からの情報をネットワーするだけにとどまり食事カテゴリの割り当ては行わなかった。

クの noramlization に与えることで、よりリアルな画像を生成その代わりに、新しいバウンディングボックス内の領域と元のすることが可能となっている。マスク画像を用いる点で、本研

UECFood-100 データセットに含まれるバウンディングボック

究で用いるラーメン画像生成と類似な研究である。また、本研

スの内の領域の比 ao をとり、その比 ao をもとに、新たなバウ究で用いるラーメン画像生成はユーザーが自由に修正でき、そンディングボックスに対して自動的に食事カテゴリを付与した。の際に用いるマスク画像は輪郭があいまいなスケッチ画像ともしきい値を 0.5 に設定し、ao の値がこの値よりも上回る場合にとらえることができる。そこで、スケッチ画像から画像を生成

は元 UECFood-100 の食事カテゴリを、下回る場合には’ そのした研究として、Chen らの SketchyGAN [9] が挙げられる。こ他の食事’ カテゴリを割り当てた。ao の式は以下の通りである。

れは Masked Resifual Unit(MRU) と呼ばれる構造を提案して—2—∩

ao =area(Buecf oodseg Buecf ood100 )min{Buecf oodseg , Buecf ood100 }(1)

図 2 に示すように、新しいバウンディングボックスは 100 カテ
ゴリ以外の食品を含めた全ての食品に対して付与されており、複数個の食品に対して一個ずつに適用されている。クロワッサ
ンの画像では、元の UECFOOD では手前のクロワッサンのみにバウンディングボックスが付けられているがが、新たに作成したバウンディングボックスでは奥のクロワッサンにもバウンディングボックスを設けられている。次に、GrabCut [5] を用
いて学習用に 9,000 枚、評価用に 1,000 枚の画像に対してセグメンテーションマスクを付与した。全てのセグメンテーション
マスクを手作業で付与するにはアノテーションコストがかかりすぎるため、新たに作成したバウンディングボックスをもとにGrabCut [5] を使用して食事領域を抽出することでマスク画像を自動的に作成した。図 3 では作成したセグメンテーションマ
スク画像の例を示す。自動生成したマスクにおいては、単品品目であるチャーハンの画像のように綺麗に食事領域を抽出されているものも多いが、カツオのたたきやとんかつの画像のように、つまみやキャベツといった領域に対しては画像分類タスクにおける食事のクラス (ここではカツオととんかつ) のマスクが別の領域に付いている場合がある。そのため、図 3 のように作成したマスクを人手で精査することで食事領域分割用データセットとした。

3. 2 UEC-Ramen555
現在、公開されている多くの食事画像データセットは食事カテゴリによる分類されたデータセットがほとんどである。しかし、食事は同じカテゴリ内の食事でも用いられる材料が違う場合があり、それによって異なる形や色をしている食事が存在する。その中で、ラーメンは代表な的食事カテゴリであると共に多様なスープと具で構成されている食事で、その材料によって様々な種類に分類される。例えば、一口にラーメンといっても醤油、味噌やとんこつといったスープの種類が豊富である
他、チャーシューや卵といった具材の個数も調理の仕方によって異なる。そこで、本研究ではラーメン画像の各要素のカテゴリごとにセグメンテーションマスクを作成して、ラーメン画像とラーメンの要素がピクセルレベルのラベルが付いているマスク画像に構成される画像データセットを作成した。これによ

図2

バウンディングボックスの例．左:UECFood-100 [3], 右:新たにり、スープや具材を考慮した領域分類や画像生成が可能とな作成したバウンディングボックス．番号は UECFood の食事カる。データセットは SNS によって収集した 555 枚のラーメンテゴリー番号．101 は新たに追加した「その他」カテゴリー．

画像とマスク画像のペアであり、マスク画像では背景・5 種類のスープ・レンゲ・箸・チャーシュー・卵・切れた卵・海苔・メンマ・ナルトの 15 クラスで構成されている。マスク画像は人4. 実験

で作成し、図 4 に作成したラーメンデータセットの例を示す。

まず、作成した食事領域分割のデータセット (UECFoodPix)

各ラーメン画像のスープはそれぞれ異なってマスクが付加してを用いた領域分割を行う。領域分割用のモデルは Deeplab

いる他、左の画像と右の画像における卵、切れた卵に関してもV3+ [13] と し Accuracy と mean Intersection over Union

それぞれ別々のマスクを付加している。555 枚のうち 500 枚を(mIoU) による定量評価を行い、評価用データを用いて分類

学習用画像に、残りを評価用画像として、領域分割と画像生成された食事領域を示す。次に、ラーメンマスク画像を用いた領のモデルに用いる。

域分割と画像生成を行う。領域分割には同じく DeeplabV3+を、画像生成には pix2pix [14] 使用し抽出された食事領域と生—3—

状に分割しそれぞれの画像に対して畳み込みを行うピラミッド構造とエンコーダデコーダモデルを組み合わせたセマンティッ
クセグメンテーションモデルであり、領域分割手法として頻繁に使われる手法である。今回のこの Deeplab V3+の画像特徴量を抽出するモデルとして ResNet-101 [15] を用いる。学習画像には、自動生成したマスク画像を使用した場合と、9.000 枚のうち 2,000 枚のマスク画像を人手で精査した場合を用いており、評価画像には自動生成したマスク画像 1,000 枚を精査したものを用いた。評価には各クラスにおける Accuracy と mIoUを用いた。結果として、自動生成マスク画像のみの場合にはAccuracy が 0.560、mIoU が 0.416、人手で 2000 枚精査した場合には Accuracy が 0.597、mIoU が 0.436 となった。また、図5 は評価画像における食事領域抽出の結果の一例であり、右が入力画像、中が精査したマスク画像、右がモデルが推定したマスク画像である。たこ焼きや酢豚の画像のように単品品目やまた複数品目の領域分割は行うことができたが、定食の野菜の部分やカツオのたたきのレモンの部分を誤ったクラスに分割していることが分かる。これは、自動生成したマスク画像と精査したマスク画像における違いから起きるものと考えられる。図 3のように画像におい自動生成したマスクには食事領域以外の領域や別の食事領域に対してもマスクが設けられている場合があることから、モデルが各クラスの領域を学習する際に誤った分類がなされたと考えられる。表 1 から自動生成マスク画像を精査することで精度が向上することが示されたことから、9,000枚すべての画像に対して精査を行うことで、ある程度の改善が期待される。このデータセットについてはすべての学習画像に対して精査したマスク画像を付加をしたものを学習画像として
図 3 バウディングボックスの例(左:実画像, 中:自動生成したマス公開予定である。

ク画像, 右:作成したマスク画像

表 1 領域分割の精度
学習画像

AccmIoU

自動生成マスク画像のみ (9000 枚)

0.560

0.416

自動生成マスク画像 (7000 枚) + マスク画像 (2000 枚) 0.597

0.436

4. 2 ラーメン画像の領域分割とスケッチ画像をもとにした画像生成
まずはじめに、UECFoodPix と同様に作成したマスク画像と実画像を学習画像として Deeplab V3+を用いた領域抽出とpix2pix [14] を用いた画像生成を行った。各タスクには、作成したラーメン画像データセットの中で 500 枚のラーメン画像とマスク画像のペアを用いて各タスクのモデル学習を行い、残りペア画像はテストに使用した。pix2pix は conditional GAN [16]図 4 ラーメン画像のデータセットの例 (上：元画像、下：各要素を領域分割したマスク画像)を拡張したネットワークで２つの画像ドメインのペアになった画像からドメイン間の関係を学習し、ドメイン間の画像変換をする手法である。入力には、画像から取得した 15 チャンネルの成画像を示す。

バイナリマスクを用いて学習を行い、画像生成に使用したネッ4. 1 領 域 分 割

トワークを図 6 に示す。また実験結果は図 7 の通りとなり、左作成した食事画像データセットのベンチマークテストとしは入力した画像、中は入力から領域分割されたマスク画像、右て、Chen らによって提案された Deeplab V3+ [13] による食は中のマスク画像を元にして生成した画像の結果である。入力

事領域抽出を行った。Deeplab V3+は複数のスケールで格子画像のレンゲやトッピングが、生成画像では同じ位置に生成で—4—

図 7 入力画像の領域分割と領域分割したマスク画像から画像生成を行った結果 (左：入力画像、中：領域分割結果、右：マスク画像から生成結果)

図 5 食事領域の抽出結果(左:入力画像, 中:正解マスク画像, 左:推定したマスク画像)

図 8 ユーザーがスケッチしたマスク画像からリアルな画像生成の結図 6 画像生成に使用した生成ネットワーク

果 (上：入力したスケッチ画像、下：スケッチ画像を基にして生成した結果)きていることが分かる。また、領域分割されたマスク画像を修正することで任意のラーメン画像を生成することも可能あり、

5. お わ り にラーメンのトッピングや箸の追加、除去や変更することが出来た。図 8 と図 9 にその結果を示す。しかしラーメンのどんぶり本研究では、既存の UECFOOD-100 [3] に新たにインスタンの模様やレンゲの色が入力画像と異なってことなっておりこれスを考量したバウンディングボックスを付加し、そのバウンらのスタイルを考慮して画像を生成することは出来なかった。

ディングボックスに対して GrabCut を用いることで領域分割今回学習したモデルを用いて、ユーザーがラーメン画像を修正用の食事データセットを作成した。また、食事領域分割用デーできる Web ベースシステムである “RamenAsYouLike” [17] のタセットの活用例として領域分割、画像生成やユーザーによる実装も行った。

修正からトッピングや食器の追加、変更などが簡単に可能であ—5—

図 9 入力画像のマスク画像をユーザーが修正した後、画像生成を行った結果ることを示した。
今後の課題として食事領域分割用のデータセットを今回作成したが、食事量やカロリー量推定におけるベンチマークとなるデータセットが未だ存在していないことから、これらの「量」データに対する対応が必要である。またラーメン画像生成においては、今回入力画像のレンゲ、模様や色といったスタイルを維持した画像生成を行うことが出来なかったことから、入力画像の各要素のスタイルを維持するようなスタイル抽出とスタイルを考慮した画像生成が課題として挙げられる。
謝辞: 本研究は, JSPS 科研費 15H05915, 17H01745, 19H04929,17H06100 の助成を受けたものです。
文献[1] M. Everingham, S. Eslami, L. Van Gool, C. Williams,J. Winn, and A. Zisserman, “The PASCAL visual object
classes challenge: A retrospective,” International Journal ofComputer Vision, vol.111, no.1, pp.98–136, 2015.
[2] T. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollár, and C. Zitnick, “Microsoft coco: Common objects in context,” Proc. of European Conference on
Computer Vision, 2014.
[3] Y. Matsuda, H. Hajime, and K. Yanai, “Recognition ofmultiple-food images by detecting candidate regions,” Proc.
of IEEE International Conference on Multimedia and Expo,
pp.25–30, 2012.
[4] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D.
Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, “Generative adversarial nets,” Advances in neural information
processing systems, 2014.
[5] C. Rother, V. Kolmogorov, and A. Blake, “GrabCut: Interactive foreground extraction using iterated graph cuts,”
ACM Trans. Graph., vol.23, no.3, pp.309–314, 2004.
[6] K. Okamoto and K. Yanai, “An automatic calorie estimation system of food images on a smartphone,” Proc. of ACM
MM Workshop on Multimedia Assisted Dietary Manage-ment, 2016.
[7] A. Myers, N. Johnston, V. Rathod, A. Korattikara, A.
Gorban, N. Silberman, S. Guadarrama, G. Papandreou, J.
Huang, and P.K. Murphy, “Im2Calories: towards an automated mobile vision food diary,” Proc. of IEEE International Conference on Computer Vision, pp.1233–1241, 2015.
[8] T. Park, M. Liu, and J. Zhu, “Semantic image synthesis
with spatiallyadaptive normalization,” Proc. of IEEE Computer Vision and Pattern Recognition, 2019.
[9] W. Chen and J. Hays, “Towards diverse and realistic sketch
to image synthesis,” Proc. of IEEE Computer Vision andPattern Recognition, 2018.
[10] L. Bossard, M. Guillaumin, and L. Van Gool, “Food-101– mining discriminative components with random forests,”
Proc. of European Conference on Computer Vision, 2014.
[11] Y. Kawano and K. Yanai, “Automatic expansion of a foodimage dataset leveraging existing categories with domain
adaptation,” Proc. of ECCV Workshop on Transferring andAdapting Source Knowledge in Computer Vision (TASKCV), 2014.
[12] G. Ciocca, P. Napoletano, and R. Schettini, “Food recognition: a new dataset, experiments and results,” IEEE
Journal of Biomedical and Health Informatics, vol.21, no.3,pp.588–598, 2017.
[13] L. Chen, Y. Zhu, G. Papandreou, F. Schroﬀ, and H. Adam,“Encoder-decoder with atrous separable convolution for semantic image segmentation,” Proc. of European Conference
on Computer Vision, 2018.
[14] P. Isola, T. Zhu, and A. Efros, “Image-to-image translation with conditional adversarial networks,” Proc. of IEEE
Computer Vision and Pattern Recognition, 2017.
[15] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” Proc. of IEEE Computer Vision
and Pattern Recognition, 2016.
[16] M. Mirza and S. Osindero, “Conditional generative adversarial nets,” arXiv preprint arXiv:1411.1784, 2014.
[17] J. Cho and K. Yanai, “Ramen as You Like: Sketch-based
food image generation and editing,” Proc. of ACM International Conference Multimedia, 2019.

—6—