CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 24 回 画像の認識・理解シンポジウム

食事画像に対する Few/Zero-shot Segmentation
本部 勇真 ,a)

概要柳井 啓司 ,b)

本研究では，学習と検証カテゴリ間の分布変化が小さいと考えられる食事ドメインの画像をターゲットとした健康管理アプリケーションが流行し，食事管理の意識がFew-shot，Zero-shot Segmentation を適用することで，新高まっている．料理のカロリー量計算をする際には食事

たな食事クラスに対するセグメンテーションの有効性を示

領域の判別が大事な要素である．しかし，深層学習を用いし，食事学習データセットの量の不十分さを解消する．まる際，学習には大量のデータが必要となり，無数に存在すた，同じ食材を使用しているカテゴリは，見た目が類似するる食事カテゴリのデータ収集は非実用的であるといえる．という着想を基に，食材の共起関係をモデルに組み込むこ

近年では，少数学習データを用いて領域分割モデルを学とで新たな Few-shot Segmentation モデルの提案をする．

習する Few-shot Segmentation という方法が研究されている．本研究では，食事ドメインの画像をターゲットとした

Few-shot 及び Zero-shot Segmentation を適用することで，2. 関連研究
2.1 問題設定

食事学習データの量の不十分さを解消し，新たな食事クラ

Few-shot Segmentation では少数学習データによる領域

スに対する領域分割の有効性を示す．また，単語埋め込み分割をタスクとしている．学習時と検証時のカテゴリには用いた新しい手法を提案し，従来手法よりも精度が向上す共通部分が存在しない．そのため，検証時の入力には未知る結果となった．のカテゴリのクエリ画像と，同カテゴリのサポート画像と，1. はじめに近年のセグメンテーションタスクでは，CNN ベースのモデルによって，セグメンテーションの性能を大幅に進歩そのマスク画像がサポートセットとして与えられる．また，単語埋め込みの特徴量や，事前学習済みの特徴量同士の類似度を用いて，未知のカテゴリを領域分割する Zero-shotSegmentation というタスクも存在する．

させている．既存の領域分割食事データセットとして 102
種類のカテゴリ，合計 1 万枚で構成される UEC-FoodPix

2.2 Few-shot Segmentation

Complete [9] がある．しかし，無数に存在する食事カテゴ

Tian らの提案した Prior Guided Feature Enrichment

リに対して，深層学習モデルの学習データには不十分であ

Network (PFENet) [10] では，サポートとクエリの高レベるといえる．近年研究されている Few-shot Segmentation

ル特徴量の類似度で対象領域を推定する学習に依存しない

では，ターゲットドメインクラスに関しての大量の学習画

Prior Mask を生成し，対象物の空間的な位置情報を与えて像を使用できる場合，数枚のサポートセット画像の情報をいる．また，空間的解像度を増強する手法として，局所特用いることで，未学習のクラスを正しくセグメンテーショ徴から大域的な特徴マップを順に畳み込む Feature Enrich-ンすることを目的としている．そのため，データ量の問題

ment Module (FEM) を提案している．また，Zero-shot モを解決するとともに，既存データセットを少量の追加デー

デルも提案しており，FEM で使用されるサポート画像の対タで拡張することができると考えられる．Few-shot 及び象領域で平均を取った Masked Average Pooling (MAP) ベ

Zero-shot Segmentation では，学習データと検証データ間クトルを 1 × 1 convolution と Relu で変換した単語ベクトに共通カテゴリは存在しないため，推論の際に学習カテゴ

ルに置換している．本研究では，PFENet をベースラインリの領域を誤って推論する場合があり通常の Segmentationとして使用する．理由としては，使用する UEC-FoodPix

タスクと比較すると難解なタスクである．そのため，モデComplete [9] の画像には複数の食品が存在する場合があル学習の手法やサポートセットの扱い方が重要なタスクとり，対象領域の空間的位置が重要であると考えられることなっている．と，Pascal-5i を使用した実験において PFENet は One-shot1a)b)

電気通信大学 大学院情報理工学研究科 情報学専攻
honbu-y@mm.inf.uec.ac.jp
yanai@cs.uec.ac.jp

Segmentation タスクで最高精度を達成しているためである．FEM のアーキテクチャの詳細は図 1 に示す．

1

第 24 回 画像の認識・理解シンポジウム

案する．また，単語埋め込みを用いた Zero-shot モデルを提案する．提案ネットワークの詳細図は図 2 に示す．

3.1 単語埋め込み手法
単語埋め込みモデルとして word2vec [8] を使用する．日
本語 wiki で学習された word2vec モデルでは，今回使用するデータセットである岡本 [9] らの作成した UEC-FoodPix

Complete には存在しない単語があるため使用はできない．
そのため，NII で公開されているクックパッドデータセッ
図 1

単語処理を加えた Feature Enrichment Module のアーキテ
クチャ．

トに含まれる約 16 万のレシピテキストを利用して，料理単語の word2vec を学習した．料理の食材単語を使用することで同じ食材を使う料理が表現空間上の近くに埋め込まれる．料理の見た目は調味料や食材の色に左右されると考えたため，食材単語の埋め込みを生成することは，学習デー
タとテストデータに同一のドメイン部分が存在する場合に効果的であると考えたため，これを Few-shot と Zero-shotに組み込む手法を提案する．

3.2 Few-shot 手法
Few-shot の提案手法のアーキテクチャの詳細は，図 2の通りである．本研究では，PFENet [10] のネットワーク
図 2 One-shot タスクに対して本研究で提案するネットワーク図．
青い点線は Zero-shot タスクに対応する部分．

2.3 Zero-shot Segmentation

をベースラインとして使用している．Backbone は Food-

101 [1] で事前学習された ResNet50 [4] を特徴抽出器として用いる．ここでは通常の ResNet50 とは異なり dilation，

Zero-shot タスクでは埋め込んだ単語を視覚的特徴量に変padding，stride を調節し layer2,3,4 の出力サイズは元の換する手法が存在する．Bucher らは [2] ノイズを連結した1/8 である．PFENet と同様に layer4 で出力される高次元埋め込み単語ベクトルに対して，全結合層と Leaky ReLU特徴を用いて Prior Mask を生成する．クエリの特徴は，で構成されている Generative Moment Matching Networks

layer2,3 の特徴を連結させ，1 × 1 Convolution と Relu 関(GMMN) [7] で変換したものを Maximum Mean Discrep-数で 256 次元に圧縮したものをクエリ特徴とする．同じく

ancies (MMD) を用いた再構成損失を使用して視覚的特サポートの特徴を圧縮し，MAP を行ったものをサポート徴量への変換を促す手法を取っている．Kato ら [5] は，ベクトルとする．これら Prior Mask，サポートベクトル，Variational Autoencoder (VAE) [6] で潜在的空間の特徴とクエリ特徴を FEM で使用する．

して変換し視覚特徴特徴と連結し，畳み込むことで視覚的PFENet とは異なる点として，図 2 の赤色で囲う部分の単特徴量として扱っている．本研究でもこれらと同様の変換語処理ブランチを追加している点である．word2vec [8] で手法と損失関数を使用する．

埋め込まれたベクトルは VAE [6] を用いて潜在変数として3. 手法単語ベクトルへと変換され，MMD [7] を用いた損失によってクエリの MAP ベクトルを再構成するように学習される．

学習カテゴリと検証カテゴリ間の分布シフトは，通常のこの単語ベクトルを，FEM の Inter-Source Enrichment の一般的な物体ではカテゴリ間の大きく，見た目や形状の変部分で使用され，プーリングされたクエリ特徴に MAP ベ化が大きなものが多い．そのため数枚のサポートセットのクトルと Prior Mask を連結したものと，クエリ特徴に単みでは，正確な領域分割を予測することは困難であること

語ベクトルと Prior Mask を連結したものを別々に畳み込が知られている．そのため本研究では，一般物体とは異なむ構成になっている．

る特性を持ち，見た目や形状が近いものが多い食事画像を使用することで，データを食事ドメインに限定し，カテゴ3.3 Zero-shot 手法

リ間の分布シフトに対処する．また，サポートセットに加Few-shot の手法に加えて，サポートセットを使用しない

えて，単語埋め込みの特徴も加えることによって検証カテ手法の Zero-shot のモデルも提案する．アーキテクチャのゴリに対する情報を強化させることで，対象領域と無関係

詳細は図 2 の青い点線で囲まれている部分である．Few-な領域がより識別的に扱える新たな Few-shot モデルを提shot で提案した手法と異なる点としてはサポートセット2

第 24 回 画像の認識・理解シンポジウムを使用しない点である．また，Prior Mask も生成されな評価指標として mIoU(mean Intersection over Union) をいため，FEM の Inter-Source Enrichment では，クエリの使用した．学習は，3 つの Fold で学習し 1 つの Fold でテ特徴量と生成された単語ベクトルが連結し，処理される構ストを行った．サポートセットはランダムに選択し，5 回造となっている．Tian らの PFENet [10] で提案されていの平均スコアを使用した．実験 (1) の結果は表 1，実験 (2)た Zero-shot モデルとの相違点は，単語ベクトルを 1 × 1の結果は表 2，定性分析の結果は図 3，図 4 である．
表 1

convolution+Relu で変換し，再構成はせずに FEM でクエ定性的評価による実験結果

UECFoodPix-25i

リ特徴に直接連結する点と提案手法では再構成ベクトルに再構成損失を追加している点である．

3.4 損失関数

One-shotPascal-5i

Zero-shot

One-shotZero-shotwPFE

PFENetzPFE

PFENetKatowPFE

PFENetzPFE

PFENet(Ours)[10](Ours)

[10]

[5]

(Ours)[10](Ours)

[10]

Kato
[5]

Fold0

0.847

0.832

0.808

0.781

0.738

0.599

0.617

0.524

0.522

0.420

Fold1

0.865

0.855

0.857

0.822

0.767

0.681

0.695

0.637

0.690

0.583

Fold2

0.818

0.807

0.788

0.766

0.715

0.523

0.554

0.465

0.524

0.450

Fold3

0.842

0.832

0.811

0.776

0.722

0.541

0.563

0.442

0.467

0.364

Mean

0.843

0.832

0.816

0.786

0.736

0.586

0.607

0.517

0.5510.454

本研究の損失関数では ZS3Net [2] で用いられていたMaximum Mean Discrepancy(MMD) [7] を使用し，サンプリングした単語ベクトル xG が Masked Average Poolingしたクエリ特徴ベクトル yQ を生成するように学習させる．

表 2 左:学習データによる比較

右:単語再構成手法の比較

CookPad(10K)

CookPad(160K)

wiki(40M)+GMMN [7]+MMD+VAE [6]+MMD

None

Fold00.798

0.808

0.807

Fold00.831

0.847

0.828

Fold10.823

0.857

0.827

Fold10.846

0.865

0.859

Fold20.780

0.788

0.772

Fold20.813

0.818

0.814

Fold30.783

0.8110.801

Fold30.846

0.8420.826

Mean0.796

0.816

0.802

Mean0.834

0.843

0.832

MMD では 2 つの分布の差異を 2 つの分布 x, y を Gaussian
カーネルで再生核ヒルベルト空間に写像した (mx , my ) 分
布間の平均 2 乗誤差 LM M D2 = ∥mx − my ∥2H を利用して，分布間の違いを定量している．Li [7] らは，LM M D2 の平方根を損失関数に使用することで，値が小さくなった際に効率よく 0 に近づける学習ができることを示している．本研究でも同様に LM M D2 の平方根を用いた．全体の損失はクロスエントロピー損失を使用する LP F EN et を用いてLtotal = LP F EN et + LM M D と表される．

4. 実験

図 3

UECFoodPix-25i での定性的実験の結果

4.1 データセット
Few-shot デ ー タ セ ッ ト と し て ，UEC-FoodPix Complete [9] を 4 つの Fold に 4 等分したものを UECFoodPix25i と定義した．また，一般的な物体データセットとして従来手法で使用されていた Pascal-5i も使用した．

4.2 実験詳細Few-shot モデル (wPFE) と Zero-shot モデル (zPFE) の

図 4 Pascal-5i での定性的実験の結果

提案手法の有効性を検証するために，(1) 各データセッ
トによる定量分析，(2) 埋め込み単語の有効性の検証を4.3 実験結果行った．(1) では，一般的な物体で構成されている Few-実験 (1) について，提案手法は，UECFoodPix-25i デー

shot 用の Pascal-5i と UECFoodPix-25i で実験を行った．

タセットを用いた場合，全 Fold においてベースラインよPascal-5i を用いた実験では backbone に ImageNet で事前りも有効であることを示す結果となった．一方，Pascal-5i学習したものを使用した．(2) の実験では，UECFoodPix-を用いた実験では Zero-shot，One-shot 共に精度が低下す

i25 データセットを使用した．word2vec [8] に用いる学習る結果となった．wiki を用いた埋め込みは，レシピの食材データに wiki の 4 千万文を用いる場合と，CookPad のレ単語で学習した word2vec [8] モデルと比べて，文章で学習シピ量 (1 万と 16 万) の違いによる実験を zPFE モデルしたモデルは，図 7 で見られるように潜在空間内に視覚情で行った．さらに，埋め込んだ単語を視覚特徴に変換す報を反映していない埋め込みがされると考えられる．そのる再構成手法の比較の実験を Few-shot で行った．比較しため再構成したベクトルにも影響を与え，精度が低下した

た手法は，PFENet [10]+Generator(GMMN) [7]+MMD，と考えられる．また，カテゴリ数が少ないために食事デー

PFENet+VAE [6]+MMD(提案手法) と PFENet の One-

タセットに比べて類似カテゴリの数が少なくなっているの

shot モデルに埋め込み単語を再構成せずに直接 FEM で用も，精度向上が難しい原因となっていると思われる．

いる手法 (“None”) を使用した．結果は表 2 である．

実験 (2) について，表 2 の結果から，word2vec [8] の学

3

第 24 回 画像の認識・理解シンポジウム

図 7 Pascal-5i のカテゴリ散布図

BERT [3] の利用が考えられる．
図 5 UECFoodPix-25i のカテゴリ散布図 ( 囲っている部分は同じ食材が使用されている )謝辞：本研究では NII 情報学研究データリポジトリで公開されている CookPad データセットを利用している．
参考文献[1][2]

図 6 新規カテゴリの再構成ベクトル（赤色が再構成した特徴量，青[3]色がクエリの対象領域の特徴量で平均を取った MAP ベクト
ル

上：酢豚，下：けんちん汁）

習には 16 万レシピを使用し，再構成には VAE [6] を用いたモデルが有効であることが分かった．word2vec の学習[4]で用いる単語はレシピから抽出した食材単語であるため，
図 5 で見られるように料理の食材的に近いもの同士が同じ[5]位置に分布し，見た目に影響する食材を用いる料理同士の分布も近くなる．そのため，単語ベクトルに視覚的特徴量が反映され，新規カテゴリの単語で，学習カテゴリの対象[6]領域に似た料理の特徴量を組み合わせたベクトルを生成するようになる．このことによって，図 6 で見られるように，再構成手法による対象領域の視覚的特徴量への変換が容易[7]になったと言える．また，表 2 の左表のようにレシピ量を増やすとより多くの視覚的情報を扱うことが可能となるた[8]

め精度が向上し，表 1 や図 3 にあるようにベースラインよりも識別的な領域分割ができたと考えられる．

5. おわりに[9]

本研究では，PFENet をベースに単語埋め込みを加えた新しい手法を提案した．実験では，食事データセットではFew-shot，Zero-shot ともに従来手法を上回る性能を達成し，食事データセットにおける提案手法の有効性を示した．
今後の展望としては，一般物体にも適応可能な汎用性の[10]

Bossard, L., Guillaumin, M. and Van Gool, L.: Food-101
Mining Discrimi-native Components with Random Forest, Proc.of European Conferenceon Computer Vision(ECCV) (2014).
Bucher, M., Vu, T., Cord, M. and Pérez, P.: ZeroShot Semantic Segmentation, Proc.of IEEE Conference
on Computer Vision and Pattern Recognition (CVPR)(2019).
Devlin, J., Chang, M., Lee, K. and Toutanova, K.:
BERT: Pre-training of Deep Bidirectional Transformers
for Language Understanding, Proc.of Annual Conference of the North American Chapter of the Associationfor Computational Linguistics (NAACL) (2019).
He, K., Zhang, X., Ren, S. and Sun, J.: Deep Residual Learning for Image Recognition, Proc.of IEEE Conference on Computer Vision and Pattern Recognition(CVPR) (2015).
Kato, N., Yamasaki, T. and Aizawa, K.: Zero-Shot Semantic Segmentation via Variational Mapping, Proceedings of the IEEE/CVF International Conference onComputer Vision (ICCV) Workshops (2019).
Kingma, P. and Welling, M.: Auto-Encoding VariationalBayes, Proc.of International Conference on Machine
Learning (ICML) (2014).
Li, Y., Swersky, K. and Zemel, R.: Generative Moment Matching Networks, Proc.of Proceedings of International Conference on Machine Learning (ICML)(2015).
Mikolov, T., Chen, K., Corrado, G. and Dean, J.: Efﬁcient Estimation of Word Representations in Vector
Space, Proc.of International Conference on Learning
Representations (ICLR) (2013).
Okamoto, K. and Yanai, K.: UEC-FoodPix Complete: A
Large-scale Food Image Segmentation Dataset, Proc.of
the ICPR Workshop on Multimedia Assisted Dietary
Management (MADIMA) (2021).
Tian, Z., Zhao, H., Shu, M., Yang, Z., Li, R. and Jia, J.:
Prior Guided Feature Enrichment Network for Few-Shot
Segmentation, Proc.of IEEE Transactions on PatternAnalysis and Machine Intelligence (TPAMI) (2020).

高いモデルの構築や，よりよい単語埋め込み手法として

4