DEIM Forum 2018 F3-3

位置情報付き Twitter 画像を用いた世界の食事傾向分析
岡本 開夢†

柳井 啓司†† 電気通信大学情報理工学部総合情報学科 〒 182–8585 東京都調布市調布ヶ丘 1-5-1
E-mail: †okamoto-ka@mm.inf.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらましTwitter は現在、世界中で普及しておりそれに伴って多くの画像が Twitter 上に投稿されている。Twitter

上の画像のなかでも食事画像は、Twiiter 上に投稿されている画像種類の大きな要素の一つである。また、この食事画
像は地域傾向があるとされており、Twitter のログデータをもとに画像の位置情報からこの食事画像を分析すること
で、地域傾向における新たな発見をする可能性がある。そこで、本研究では、まず、Twitter 上の画像とログデータから位置情報付き食事画像を抽出し、位置情報から 9 つの地域に食事画像を割り当てる。その後、食事画像の CNN 特
徴量からクラスタリングを行うことで 17 料理カテゴリに分類し、料理カテゴリと 9 つのうち 6 つの地域をもとに分析することで、地域別の食事傾向と食事画像別の地域傾向の発見を行った。また、食事画像特徴量を可視化させること
で地域特徴が表れている箇所の発見を行った。
キーワード Twitter，食事画像,CNN 特徴量, クラスタリング

1. は じ め にに比較することで、地域ごとの食事傾向の発見を行う。代表的な料理の地域分布の分析では、料理ごとに地域割合を求め、こSNS は現在、世界中で普及しており、それに伴って多くの画の料理ごとの地域割合を観察することで、どの地域がどれだけ像が SNS 上に投稿されている。SNS のなかでも、特に Twitter

その料理に対して影響を与えるののを発見を行う。最後に可視は若者を中心に普及しており、ツイートとともに多くの画像が化では、画像特徴量をもとに料理画像において画像のどの部分

投稿されている。また、Twitter にはログデータが存在しておが地域特有な箇所の発見を行う。

り、投稿されたツイートの文章、画像、時間、場所といったメ
タデータを取得できることから、長野ら [1] の Twitter 画像の

2. 関 連 研 究

地域的傾向分析といった多くの分析に使用されている。さらに、

2. 1 地 域 分 析

Twitter 画像のカテゴリのなかで食事画像は地域的傾向がある

現在、様々な SNS やインターネット上でユーザーが画像デーとされている。日本では白米の画像が多く、アメリカでは油がタを投稿しており、これらの画像をもちいた研究が行われてい多く使われた肉料理の画像が多いと予想することができるが、る。先行研究として、これらの画像を用いて地域分析を行った、

それらがどのような地域的傾向があるのかは明確になっていな研究として長野ら [1] と Chang ら [2] の研究がある。

い。そこで、本研究ではこのような地域的傾向を発見するため、

長野ら [1] の研究では、テキスト情報を用いずに Twitter 画

Twitter のログデータか取得した位置情報をもとに、食事画像

像の特徴量のみを用いて、クラスタリング分析を行うことで、の分析を行う。位置情報付き食事画像の分析を行う際に、優れ各地域における画像カテゴリの傾向の発見を行っている。このた表現力をもつ CNN 特徴量を用いる。CNN 特徴量は、ネッ

研究では、ユーザーが、画像とテキスト情報が異なるツイート

トワークの中間層から抽出した特徴量のことで、物体の形状やを行う場合が存在するため、テキスト情報を用いていない。ま模様を幅広く表現できるとされている。CNN 特徴量を用いた

ず初めに、2016 年の 1 月から 6 月までに収集した Twitter 画

研究は多くなされており、画像認識、分析や生成といった幅広像を用いて CNN 特徴量の抽出を行い、クラスタリングを用いく活用されている。また、分析を行う際に本研究では、テキスて画像のカテゴリ名をクラスタに割り当ている。クラスタリン

ト情報を使わずに、画像特徴のみで分析を行っていく。これは、グには K-means を用いておりカテゴリ名をもとに、続いて、地画像とともにツイートに付随するタグといったテキスト情報が、域別に画像傾向、時期別傾向、時間別傾向の 3 つの分析を行っ

必ずしも適切に画像を表現しているとは限らない。場合によっている。図 1 は地域別における画像傾向の結果であり、9 つのて、画像とはまったく関係のないテキスト情報が付随している地域で 5 つの画像カテゴリの割合を示している。南米、アフリからである。

カでは人の画像が最も大きな割合を占めており、本研究で注目分析を行う項目は、次の項目の通りに分析を行っていく。

する食事画像カテゴリーに関しては東アジアが最も大きな割合（ 1 ） 地域ごとの食事傾向分析を示しており、続いて東南アジア、北米といった順となってい（ 2 ） 代表的な料理の地域分布の分析る。この研究では、各地域における画像カテゴリの抽出にとど（ 3 ） 食事の地域特有の特徴を表す箇所の可視化

まっており、ひとつの画像カテゴリに注目したときの傾向につ

地域ごとの食事傾向分析では、地域ごとにおける上位 5 項目

いては考慮されていない。そこで、本研究では食事画像に対しの料理の割合を求め、この地域における料理の割合を地域ごとて、さらに詳細なカテゴリ分類をし分析を行う他、同様にテキスト情報を用いずに行っていく。

Chang [2] らの研究では、地域特有の代表な服装の抽出とそれを用いた Fashion World Map を作成した。手法として、深層学習を用いて都市ごとに代表する全身を映したファッショ

きくなるように最適化を行っていく。モデル図は図 3 となっており、 Triplet loss LT の定義式は以下のようになっている。

LT = max(0, g + ||f+ − f ||2 − ||f− − f ||2 )(1)

ン画像の抽出を行う。抽出した画像から、都市を代表するアf, f+ , f− はそれぞれ、クエリ画像、正画像、負画像の CNN 特徴

イテムを中間層の特徴マップと最適化手法を用いて各都市に量である。定数 g は二種類の距離間のマージンであり、g = 0.3

おける代表的なアイテムを抽出している。画像は Web サイト

を用いており、本研究でもこの値を用いる。會下ら [3] の研究

Lookbook.nu(https://lookbook.nu) の画像を用いている。図では、クラス分類学習と距離学習を用いることで画像検索精度

2 は各地域の代表画像が示されており、例として、東京では代が向上することを図 1 にて示している。そこで、この研究を参

表的な服装が黒色のジャケットであることが示されている。こ考に、クラス分類学習と距離学習を行った CNN 特徴量を用いの研究では、各地域の代表的な服装を抽出することに重点を置ることで、より適切な地域特徴量の発見を試みる。

いており、代表的な服装が複数あった場合にはより代表的であるほうの服装が抽出されるよう最適化が行われている。
そこで本研究では、これらの研究を参考に食事画像に注目して特徴量抽出による分析を行うことで、各地域における食事画
像に対する地域的な特徴の発見を行う。長野ら [1] の研究では、

5 つの画像カテゴリーを用いていたが、本研究では、食事画像に限定することで食事画像のみの詳細な分析や、クラスタリン
グを行うことで、複数料理における地域的傾向の発見を行う。

図 3 triplet loss の学習モデル (會下ら [3] から引用)

表 1 画像検索結果 (會下ら [3] から引用)

図 1 各地域ごとにおける画像カテゴリーの分布 (長野ら [1] から引用)

図 2 fashion map(Chang et al. [2] から引用)

3. 手 法 概 要
本研究では次の手順で、食事画像の地域特徴の分析を行った。

2. 2 CNN 特徴量を用いた研究

図 4 は食事・非食事分類から地域分類までの流れ図である。

CNN 特徴量を用いた研究として、會下ら [3] の研究がある。

（ 1 ） 食事画像データセットを用いて、CNN をファイン

この研究では、クラス分類学習と距離学習を用いたネットワー

チューニングし食事・非食事分類器の作成。

クの CNN 特徴を用いることで、カロリー量推定精度の向上を（ 2 ） 作成した分類器を用いて Twitter 画像から食事画像を行った研究である。距離学習は Triplet loss [4] を用いており、抽出。

入力画像をクエリ画像、正画像、負画像の三枚組とし学習を行（ 3 ） 画像データセットを用いて、Triplrt loss で CNN をう。Triplet loss [4] は、クエリ画像と正画像のユークリッド距

ファインチューニングし食事特徴量抽出器の作成。

離が小さくなり、クエリ画像と負画像のユークリッド距離が大（ 4 ） 食事画像の特徴量の抽出。

（ 5 ） 特徴量を用いた、クラスタリング。

CNN、食事画像を学習させた Food CNN、距離学習を用いて（ 6 ） クラスリング結果を用いた各地域分析。

食事画像学習させた Triplet Food CNN とする。ImageNet には、Python の機械学習用フレームワークである PyTorch の学
習済みモデルを用いる。Food CNN と Tripltet Food CNN の学習には、UECFOOD100 [6] と FOOD101 [7] の画像の中からあらかじめ分類しやすいと思われる 106 種類の食事画像を用いる。Food CNN は、VGG16 ネットワークの最終層の出力を

106 クラスとしてファインチューニングを行い食事画像を学習させたネットワークを用いる。Triplet Food CNN は、最終層を Food CNN と同じ 106 クラスとして距離学習とクラス分類
学習を同時に行ったネットワークを用いる。距離学習に使用す
図 4 食事・非食事分類から地域分析までの流れ図

る食事画像は、クエリ画像に対してランダムに選択した同じクラスの画像を正画像、異なるクラスの画像を負画像とした 3 枚

1 組の画像とした。それぞれ学習を行った特徴量抽出器から食4. 手 法 詳 細4. 1 Twitter 画像における食事画像抽出
Twitter にはログデータが存在しており、このログデータから画像の投稿された時間や場所が取得できる。我々の研究室では、2011 年から現在に至るまでのログデータを保持しており、このログデータをもとに収集した 2016 年の 1 月から 12月までの位置情報付き Twitter 画像を本研究では用いる。このTwitter 画像には、食事画像の他、人物、風景といったさまざ
まな種類の画像が含まれるため、食事画像のみを抽出する必要があり、そこで、食事・非食事分類器を作成した。食事・非食事分類器は、事前に食事・非食事画像を用いてネットワークを学習させることで、未知の画像に対しても高い精度で、食事か非食事を分類することができる。本研究では、食事・非食事
分類器には ResNet [5] を用い、食事画像を UECFOOD100 [6]
データセットと FOOD101 [7] データセットの画像、非食事画
像には ImageNet [8] の 1000 種類分類タスクにもちられた画像と、河野ら [9] の研究で用いられた食事と誤認されやすい画像
約 1 万 3 千枚を使用した。UECFOOD100 と FOOD101 はそ
れぞれ、約１万 4 千枚の画像と約 10 万枚の画像を含んでおり、これらの全ての画像と、ImageNet1000 はランダムに抽出した
約 12 万枚の画像を使用する。UECFOOD100 [6] は東アジアの食事画像を、また FOOD101 [7] はスイーツの食事画像を多く含むことから、2 つの食事画像データセットを食事・非食事分
類器に学習させることで、多様な食事画像に対応できると考えられる。食事・非食事分類器を作成したのち、これを用いてTwitter 画像から食事画像の抽出を行う。
4. 2 食事特徴量の抽出抽出された食事画像から地域分析を行うために、CNN 特徴
量を用いた食事特徴量を抽出する。CNN 特徴量は、一般的に、事前に学習したネットワークの中間層の活性値が用いられ、従来の特徴量よりも画像の意味を考慮した特徴量を得ることができる。地域傾向分析に用いる食事特徴量は、3 つのそれぞれ学習させたネットワークから抽出した食事特徴量を用いてクラスタ
リングを行い、どの食事特徴量がより地域傾向を分析しやすいかを調べることで決定する。食事特徴量の抽出に使用するネッ
トワークは、VGG16 [10] に対してそれぞれ ImageNet [8] の1000 種類分類タスクに用いられた画像を学習させた ImageNet

事特徴量を抽出、その後、食事特徴量のクラスタリングを行い、どれほどクラスタ内の画像間の非類似度を調べることで、分析に用いる食事特徴量を決定する。特徴量は VGG16 [10] の fc7の 4096 次元のベクトルを L2 ノルムで正規化し、長野らの研究 [1] を参考に、Python のオープンソースの scikit-learn のラ
イブラリにある PCA を用いて次元圧縮を行い、128 次元の特徴量を用いる。

4. 3 食事画像のクラスタリングと画像の比較抽出された食事画像の特徴量を分析するため、クラスタリン
グを行う。クラスタリングを行うことで、食事画像をある程度まとまった料理クラスタ−に分けることができる。まず初めに、各特徴量抽出器から抽出された食事特徴量の中から、地域傾向分析に用いる食事特徴量を決定するため、特徴量抽出器ごとの平均画像非類似度とその分散を求める。クラスタ内に含まれる
画像間の非類似度をユークリッド距離を用いて求めたのち、クラスタ内の画像非類似度の平均値とその分散値を求める。ユー
クリッド距離を用いた非類似度は、特徴量を L2 ノルムで正規化していることから、０に近いほど類似した画像同士であり同一の画像で距離を求めた場合は値がほぼ 0 となる。また、分散が低いほど、特徴量にばらつきがなくクラスタ−内に類似した画像多く含まれており、分散が大きいほど、類似しない画像が多く含まれる。まとめると、平均画像非類似度と分散値がともに小さいほど、よりまとまったクラスタと言える。そこで本研究では、クラスタ内の平均非類似度と分散値の平均をとることで、各食事特徴量抽出器の平均非類似度と平均分散値とし、この２つの値を見ることで、分析に用いる食事特徴量を決定する。次に、食事特徴量を用いたクラスタリング結果から、作成されたクラスタに料理カテゴリを手作業でつける。その後、料理カテゴリごとに地域割合を調べることで各地域における地域傾向の発見を試みる。クラスタリングに用いた手法として、

K-means を使用する。K-means は、あらかじめクラスタ数を決め、与えられたベクトルに対するクラスタ割り当てとクラス
タ中心の計算を繰り返すことでクラスタリングを行う手法で、クラスタリングにおいて一般的に使用されている手法である。
本実験ではクラスタ数を 100、150、200 に設定し、各特徴量抽出器ごとにクラスタリングを行う。

4. 4 VisualRank

LcGrad−CAM = ReLU (∑ c

クラスタリングから算出されたクラスタに対して、料理カテ
ゴリを割り当てる際に、類似しない画像が含まれており、適当な料理カテゴリを割り当てるのが難しい場合がある。そこで、本研究では VisualRank [11] を用いてクラスタ内の画像のラン

ak Ak )

(4)

k

5. 実

験

5. 1 食 事 画 像

ク付けを行う。VisualRank [11] は画像間の類似度をもとに画まず初めに、作成した食事・非食事分類器を用いて、画像分

像のランク付けを行う手法である。各画像の VisualRank 値か類を行う。ログデータをもとに収集した、2016 年 1 月から 12らなるランキングベクトル R を、繰り返し更新させ、収束させ月までの 1 年間の位置情報付きツイートに含まれていた画像約ることで得られる。S は、クラスタの画像数 × クラスタの画像

378 万枚を分類器を用いて食事画像の抽出を行う。約 22 万枚

数 次元の画像間距離行列であり、要素の値が大きいほど、画像の画像が抽出された後、そこから分析を正確にするため画像のの類似度が高くなる。ユークリッド距離を用いた非類似度は小カラーヒストグラムをもとに、重複する画像を取り除いた。最

さいほど類似することから、クラスタ内の画像非類似のうち最終的に約 19 万枚の食事画像が抽出され、これらの画像を用い大値から、各距離を引き類似度として、S に用い、各列の合計て特徴量抽出を行う。各地域ごとの全画像の枚数は表 2、各地が１になるように正規化を行い VisualRank 値が変化しないよ

域ごとの画像枚数は表 3 の通りである。

うにして用いる。P は補正ベクトルとされ、今回はクラスタ内の画像数の逆数を要素とする列ベクトルを用いる。α は補正値であり、本研究では、α = 0.8 とする。クラスタ内の画像にラ

表 2 各地域ごとの全画像の枚数
地域

画像枚数 (枚)表 3 各地域ごとの食事画像の枚数
地域

画像枚数 (枚)東アジア

488,609

東アジア

南アジア

79,179

南アジア

999

東南アジア

609,671

東南アジア

59,459北アメリカ

786,093

北アメリカ

23,867

南アメリカ

410,086

南アメリカ

8,211

ヨーロッパ

791,095

ヨーロッパ

14,572

クラスタリング結果から料理名を割り振ったクラスタをもと

アフリカ

150,550

アフリカ

1,229

に、画像の位置情報をもとに分析を行う。まず初めに、料理ごオセアニア

34,543

オセアニアとの食事画像における地域傾向を分析する。クラスタリングに中東

434,790

中東

14,115

よって作成したクラスタは、料理ごとにある程度のまとまりの合計

3,784,616

合計

193,192

ンク付けを行うことで、クラスタ内に含まれる類似画像を確認
しやすく、容易に料理カテゴリを割り振ることができる。

R = α(S × R) + (1 − α)P, (0 <
=α<
= 1)

(2)

4. 5 地 域 分 析69,826914

ある画像を含んでいる。そこで、クラスタに料理カテゴリーを割り当て、料理ごとにクラスタ内の画像の位置情報を集計する。

5. 2 特徴量抽出と比較

その後、各料理における地域ごとの傾向を求めることで、料理抽出された食事画像に対して、ImageNet CNN、Food CNN、ごとの食事画像の地域傾向を分析する。また、地域ごとにクラTriplet Food CNN の 3 種類のネットワークを用いて特徴量抽スタごとの割合も求めることで、地域ごとの食事画像傾向を分出を行い、K-means を用いてクラスタリングを行った。クラ析する。

スタリングを行う際に、全食事画像に対してクラスタリング

4. 6 Grad-CAMを行った場合と、食事画像を各地域に分けてクラスタリングを最後に食事画像の特徴箇所の可視化を行い、どの部分が地域行った場合の平均画像非類似値と平均分散値を求め、比較を特徴を示しているかを調べる。本研究では、可視化に用いる手行った。平均画像類似値は０に近いほど、よりクラスタ内に類法として、Grad-CAM [12] を用いる。Grad-CAM は、ネット似した画像を含んでおり、平均分散値が低いほど、クラスタ内

ワークの最終章で出力されたクラススコアに対して、画像のどに類似した画像が含まれている。評価は、平均画像非類似度との部分が影響を与えているかを、畳み込み層の最終出力値にお平均分散値を考慮し行った。

ける勾配情報をもとに特定する手法である。初めに、式 3 でネッc

クラスタリングを行った際に、全食事画像を用いてクラスタ

トワークの最終層で出力されるクラス c におけるスコア y に対リングを行った場合よりも、食事画像を各地域ごとに分けてクして、最終畳み込み層の特徴量マップ Akij について微分した値

ラスタリングを行ったほうが、平均分散値が低いという結果とである勾配 ∂Akij を、チャンネル k ごとに全ピクセル i, j において平均をとり重み αkc を求める。その後、式 4 により、チャンネ
ルにおける ack Ak の合計値に対して関数 ReLU (x) ＝ max(x, 0)cなった。食事画像を各地域ごとに分けてクラスタリングを行っをかけることで、マスク画像 L が生成し、元画像と掛け合わいたクラスタリングでは、別々のクラスタおよびそれぞれ食事せることで、画像のどの位置が活性しているかを見ることがでカテゴリが異なるクラスタに割り当てられた。

たほうが類似した画像の割合が多いクラスタを生成することが分かった。このクラスタ内に含まれる画像は、全食事画像を用きる。Grad-CAM [12] に用いるネットワークは、出力を各地域

各特徴量ごとに、結果を見た際に、平均分散値が最も低い特クラスとしたネットワークに各地域から、（ある料理、または徴量は ImageNet CNN を用いた場合となった。しかし、Ima-

全料理）の食事画像を学習させたネットワークを用い、食事画

geNet CNN を用いた特徴量の場合、平均非類似度が高い結果像のより詳細な地域分析を行う。
1 ∑ ∑ ∂y c
αkc =
Z
∂Akij

となり、クラスタ内の画像が類似しているのかは信憑性に欠け

i

j

(3)

る。また、Food CNN を用いた特徴量は平均分散値が最も高い値を示しており、クラスタ内の類似画像にばらつきがある。そ表4

各特徴量ごとの平均類似度と平均分散値
全画像

各地域ごと

クラスタリング

平均画像非類似度 平均分散値

平均画像非類似度 平均分散値

ImageNet CNN(クラスタ数 100)

1.13660.01391.11860.0141

Food CNN (クラスタ数 100)

1.08980.0172

1.08280.0165

Triplet Food CNN (クラスタ数 100)

1.09310.01711.08880.0163

ImageNet CNN(クラスタ数 150)

1.11930.0135

1.09800.0133

Food CNN (クラスタ数 150)

1.07150.01651.05690.0158Triplet Food CNN (クラスタ数 150)

1.07050.0161

1.06730.0154

ImageNet CNN(クラスタ数 200)

1.10810.01311.08140.0127

Food CNN (クラスタ数 200)

1.05640.01611.03870.0149Triplet Food CNN (クラスタ数 200)

1.05680.01561.04960.0145

こで、分析には 2 番目に平均分散値が低く、會下ら [3] の研究た食事画像に対してチーズカテゴリと分類を行った。結果としから画像検索精度が高かった、Triplet Food CNN の特徴量をて 17 種類の料理カテゴリを分析に用いた。

用い、食事画像を各地域ごとに分けて行ったクラスタリング結
表 5 食事カテゴリの一覧

果に対して分析を行った。クラスタ数は、食事画像を分割して食事カテゴリ

クラスタリングを行うため、クラスタ内の画像数をある程度保

飲料

デザート

パン類

ご飯類

揚げ物

炒め物

5. 3 クラスタリング結果の分析

焼き物

中華

カレー

Triplet Fodd CNN から抽出した特徴量から、K-means によ

肉料理

麺類

卵料理

る地域別のクラスタリングをし、分析を行った。K-means の

サラダ

魚貝類

スープ

クラスタ−数は 100 を用いた。クラスタリングによって求めら

チーズ

ファストフード

つ必要があることから 100 とした結果を分析に使用した。

れたクラスタに対して、料理カテゴリを割り振る際に、クラス
タ内の画像に対して VisualRank [11] を求めた。これにより、

5. 3. 1 地域別傾向分析

VisualRank 値の大きい画像を見ることで、より適切な料理カ

まず初めに、地域別にどの料理カテゴリが多いかを分析しテゴリを割り振ることができる。また、分析の際に VisualRank

た。分析結果は図 5 に示しており、上位 5 位までの料理カテゴ

値が低い画像は、分析結果に対して影響を与える可能性があリの割合を太字で表している。東アジアの結果では、麺類の食るため、画像の VisualRank 値にクラスタに含む画像枚数の値

事画像が最も多く、29.3%という結果となった。麺類の中でも、をかけたものに対して、閾値を設け、その値よりも大きい画像

ラーメンの画像が非常に多く 14 つのクラスタ内でラーメンのを分析に用いた。閾値は、各地域ごとの画像の減り方を考慮し画像が見られた。2 番目に多い画像はご飯類の画像で 14.5%と0.821 とした。クラスタ内の画像が、散々しており料理カテゴいう結果となった。東南アジアの結果では、肉料理が最も多く

リが特定できないクラスタは分析を行わなかった。また、分析

16.6%続いてデザートが 14.8%という結果となった。北アメリを行う際に、南アジア、アフリカとオセアニアの画像はクラスカの結果では、アジアの食事傾向とは違い、パン類が 18.6%、

タリングを行った際にクラスタ内の画像数が分析に使用できる

続いてサラダが 15.2%という結果になった。南アメリカの結果

ほど確保できなかったため、これら３地域を除いた、東アジア、では、デザートが最も多く 25.1%、続いてパン類が 22.5%とい

東南アジア、北アメリカ、南アメリカ、ヨーロッパ、オセアニ

う結果になった。ヨーロッパの結果として、北アメリカと南ア

アの 6 地域で分析を行った。分析を行った地域は図 6 で色を付

メリカと上位４項目が等しく、また、最も多いカテゴリはパンけた箇所である。クラスタに割り当てた料理カテゴリは表 5 の類で 18.7%、次に多いのがデザートで 25.1%となった。中東で

17 カテゴリである。当初、料理カテゴリは飲料、デザート、パは、ヨーロッパと上位 5 項目が同じ項目となり、最も多いカテ

ン類、ご飯類、肉料理、麺類、魚貝類、サラダ、スープ類の 9

ゴリは飲料で 23.2%、次に多いのがデザートで 22.0%という結種類に定め分析を行った。しかし、クラスタリング画像を観察

果となった。

していく際に、ポテトやハンバーガーといったファストフード

5. 3. 2 料理別における地域分布の分析と思われるクラスタが多数できることを確認し、ファストフー

次に、料理カテゴリごとにおける地域分析を行った。料理カ

ドを料理カテゴリに追加した。カレーに関して東アジア以外のテゴリごとに各地域の画像枚数を計算し、その料理の合計枚数

地域でご飯が含まれていない画像が見られたため、ご飯類と分を表 7 に、その料理における各地域の割合を表 6 にまとめた。

離した。また、既存の料理カテゴリでは分類できないものを追料理カテゴリのなかで最も多い画像は肉料理となり、続いて麺加していった他、中華、チーズに関しては当初予定したの料理類、デザートの順となった。また、料理カテゴリごとに地域ごカテゴリで分類できないが、クラスタ内に料理カテゴリを割りとの割合を求めた。その中で、全画像における地域内の画像割当てれるほど、画像がまとまっていたために料理カテゴリに追合よりも 10%以上高いものに関して注目した。東アジアにお加した。中華とチーズに関しては、麻婆豆腐や酢豚といった食いて、最も高い割合を示している料理カテゴリは、麺類、ご飯

事画像に対して中華カテゴリ、ライスやパスタにチーズを和え類、揚げ物、焼き物、魚貝類、卵料理、カレー、中華となって図 5 地域における料理カテゴリ割合（白文字は、上位 5 項目の割合を示す）
表 6 食事における地域傾向 (太文字は全料理よりも 10%以上高い割合を示す)
料理カテゴリ

東アジア (%) 東南アジア (%) 北アメリカ (%) 南アメリカ (%) ヨーロッパ (%)

中東 (%)

全料理

38.77

30.71

12.52

3.72

7.41

6.85

肉料理

36.32

38.34

11.65

1.87

5.76

6.03

麺類

81.00

12.90

3.44

0.60

1.37

0.70

デザート

18.68

38.37

10.75

7.87

11.00

13.34

ご飯類

57.49

33.98

4.25

1.53

1.71

1.05

パン類

18.60

21.92

23.85

8.71

14.41

12.50

飲料

22.92

26.02

13.50

5.72

11.86

19.97

サラダ

16.21

21.15

35.10

3.72

15.07

8.74

揚げ物

43.50

37.66

8.13

2.32

5.00

3.39

焼き物

43.49

37.66

8.13

2.32

5.00

3.39

魚貝類

45.13

26.45

13.29

1.95

9.25

3.92

スープ

14.67

66.26

8.39

1.82

5.23

3.63

ファストフード

15.17

30.92

25.71

9.23

10.09

8.87

炒め物

32.98

50.30

9.71

0.00

7.00

0.00

卵料理

46.34

29.25

15.0

1.49

6.10

1.79

カレー

64.19

21.33

7.56

2.79

4.12

0.00

中華

100.00

0.00

0.00

0.00

0.00

0.00

チーズ

0.00

0.00

33.72

12.03

23.08

31.16

おり、そのなかで全画像の割合よりも 10%以上高いものは、麺調べるため、Grad-CAM [12] における可視化を行った。出力層

類、ご飯類、カレー、中華となった。東南アジアにおいて最もを東アジア、東南アジア、北アメリカ、南アメリカ、ヨーロッ高い割合を示しているものは料理カテゴリは、肉料理、デザー

パ、中東の 6 地域とした VGG16 [10] ネットワークに対して、

ト、飲料、スープ、炒め物となっており、そのなかで全画像のそれぞれの料理カテゴリの画像を学習させ、そのモデルを用い割合よりも 10%以上高い割合を示しているものは、スープと炒て Grad-CAM [12] を用いて可視化をさせた。本研究では、肉め物となった。北アメリカにおいて最も高い割合を示している

料理とパン類に絞り小規模に実験を行った。図 7 と図 8 は実際ものは、パン類、サラダ類、チーズとなっており、その中で、に地域特徴箇所が表示された例である。それぞれの画像は、地全画像の割合よりも 10%以上高い割合を示しているものは、パ

域別のクラスタリング結果においてその地域にしか現れなかっン類、サラダ、ファストフード、チーズとなった。南アメリカ、

たクラスタ内の画像である。図 7 は、東南アジアにおける肉類

ヨーロッパでは、最も高い料理カテゴリは存在せず、また全画の画像である。丸い部分が特徴的であり、Grad-CAM [12] を用像の割合よりも 10%以上高い割合を示しているものも、存在しいた結果、肉の丸い部分に地域特徴が表れているのが分かる。

なかった。中東で、最も高い料理カテゴリは存在しないが、全

図 8 は、中東におけるデザートの画像である。バクラバァとい

画像の割合よりも 10%以上高い割合を示しているものは、飲料

われるデザートで、中東において人気のある食べ物であり、実となった。

験の結果パイ生地の緑色の部分に地域特徴が表れた。

5. 3. 3 特徴量の可視化
最後に食事画像のどの部分に地域特徴量が表れているのかをラダは東アジアよりも多様性に富んだ料理が含まれていることが分かった。一方、南アメリカ、ヨーロッパと比較した際には、料理の上位 5 項目のうち 4 項目が同じカテゴリであり、類似した食事傾向をもつことが分かった。また、北アメリカ、南アメ
リカの両方にファストフードが上位 5 項目に入っており、他地域よりもアメリカにおいてファストフードが人気を誇っていることが伺える他、南アメリカにおいては、北アメリカと比べた際にデザートがチョコレートを用いたデザートがより多く見受けられた。中東においては、料理カテゴリ 5 項目がヨーロッパ
図 6 分析を行った地域マップと等しくなったが、この地域では、図 13 のような茶色のコー
ヒーといった料理が多くみられ、ヨーロッパと類似しながらも、

表 7 各料理における画像枚数
料理カテゴリ

画像枚数 (枚)料理カテゴリ

画像枚数 (枚)肉料理

20,998

魚貝類

7,797

麺類

22,143

スープ

7,445

デザート

18,682 ファストフード

ご飯類

15,404

炒め物

5,330

パン類

15,165

卵料理

3,413

6,355

飲料

11,902

カレー

2,935

サラダ

8,526

中華

1,017

揚げ物

8,173

チーズ

507

焼き物

8,173

6. 考

独特な地域傾向を持つことが分かった。

察

図 7 東南アジアにおける肉類の画像に対する Grad-CAM の適用例

6. 1 地域別傾向分析について
5. 3. 1 項の実験では、地域別にどの料理カテゴリが多いかを調べた。図 9 から図 13 までの図は各地域における特徴的な食事画像の一例である。東アジアの上位 5 項目を見た際に、麺類、ご飯類、肉料理、揚げ物、魚貝類といった他地域と比べあまり見られない料理カテゴリが挙げられている。麺類が 29.3%という高い割合になった理由として、図 9 といったラーメンの画像非常に多いことが挙げられ、東アジアのクラスタのうち 14 ク

図 8 中東のデザートの画像に対する Grad-CAM の適用例

ラスタでラーメン画像が見られた。また、ラーメン以外にもうどん、そば、パスタといった様々な画像が多くみられたため、

6. 2 料理別における地域分布について

東アジアを代表とする料理カテゴリであるといえる。次に、ご5. 3. 2 項の実験では、料理別にどの地域の割合を調べており、飯類の割合が高い理由として、アジアの主食であることから、全体の画像割合から 10%以上を上昇したものに関して注目し定食といった複数食材に対してもご飯類の画像が含まれておりた。まず初めに、麺類であるが、東アジアにおける割合が最もご飯類の割合が高いものとなったと考えられる。これは、東南

高くなり 81.0%となった。多くのラーメンが食されている他、アジアにも同じことが言える。また、上位 5 項目を他の地域とラーメン以外の麺類も食されていることが要因であると考え比較したときに、東アジアの傾向は他の地域と類似しておらずられる。ご飯類も東アジアの割合が最も高い値となる。麺類と独特な傾向を示していることが分かった。東南アジアの食事傾比較した際に、ご飯類は東南アジアでも 34.0%あるが、麺類に向において最も注目したい点は、スープが上位に入っているこ

関しては、東南アジアの割合が 12.8%と小さくなってことが分とである。このスープの多くは、図 10 のような汁に野菜や肉をかる。東南アジアではスープの一部が麺類として食べられてお煮た料理が多く、東南アジアの特徴的な料理カテゴリであるとり、麺類の割合が低くなっているからである。また、ご飯類といえる。また、肉料理において、他地域では見られない、丸い

カレーを比較すると、東アジアの割合が最も高いといった類似

肉にポテトサラダとった図 11 のような料理も見られた。それの傾向が得られる。東アジアや東南アジアではご飯類とカレー以外の部分に関しては、他の地域と類似した食事傾向が表れては一緒に食べられることが多い料理であることが要因として考いる。北アメリカの傾向とアジアの傾向を比較した際に、パンえられる。スープに関しては、東南アジアが最も割合が高く、類とサラダのカテゴリが多い傾向となった。北アメリカのパン

66.3%となった。これは、東南アジアのスープは野菜、肉や麺類の料理には、ピザが最も多く含まている他、サラダはグリー類といった他のカテゴリの食材を多く使った画像が見られ、他

ンサラダやトマト、チーズを和えたものが多くなった。東アジの地域と比べて幅広く多様性に含んだ料理となったと考えられ

アでは、図 12 のようなサラダしか見られず、北アメリカのサる。中華に関しては、東南アジアが 100%となった。これは、この中華料理そのものが東南アジア独特の料理であり、地域特有の料理であることが分かる。パン類とサラダ類は、北アメリカ
における割合が最も高くなり 23.9%と 35.1%になっており、東アジアと東南アジアよりも高い割合となった。全画像に対して図 9 東アジアにおける麺類の画像例の割合と比較する際に、ヨーロッパではパン類、サラダ類がともに増加傾向にあるのに対して、南アメリカでは、パン類のみ
増加傾向を示すことが分かった。チーズに関して言えば、北ア

図 10 東南アジアにおけるスープの画像例

メリカが最も高くなり、33.7%となっている。また、注目すべき点としては、画像枚数の多い東アジア、東南アジアに見られていない点であり、北アメリカやヨーロッパといった欧米付近で

図 11 東南アジアにおける地域特有の肉料理の画像例

人気のある料理といえる。飲料において、東南アジアが最も高い割合となった。しかし中東の割合を見てみると 20.0%と全画像に対する割合よりも大きい結果となり、少なからず飲料にお図 12 北アメリカにおけるサラダの画像例

いての地域分布に影響を与えているのが分かる。ファストフー
ドにおいては、東南アジアが 30.9%と最も多い割を占めているが、北アメリカも 25.7%と競争力のあることが示している。

図 13 中東における地域特有の飲料の画像例

6. 3 可視化について
5. 3. 3 章の実験では、料理における地域特徴量箇所の可視化を行った。実験に使った画像に対して顕著に地域特徴量が表れる結果となった。これは、Grad-CAM に用いた画像がその地域にしか存在しない画像であったからである。今回行った分析
は、小規模にとどまっており、2 つの地域間における分析を行うことでより食事画像のより詳細な部分の分析が可能だと考えられる。

7. ま と め
今回、テキスト情報を使わず、位置情報付き食事画像のみをもとに CNN 特徴量を用いたクラスタリング手法により、食事画像における地域傾向の発見を行うことができた。CNN 特徴に関しては Triplet loss [4] を用いており、クラスタリングに

K-means を用いた。また、Grad-CAM [12] を用いた可視化手法により地域特徴を表している部分の発見を行うこともできた。分析の結果から、地域別に独自的な食事画像傾向や他の地域と類似した食事画像傾向を見られたほか、食事画像ごとに割合を占める地域を確認できたことや、食事の形、食材といった部分に地域特徴をみることができた。

8. 今後の課題
今回、分析を行う地域数を絞って行ったため、南アジア、アフリカ、オセアニアの 3 地域の地域傾向を発見することが出来なかった。これは、3 つの地域において食事画像が極端に少ないことに起因しており、画像枚数の偏りをなくすためこれら 3 地域の位置情報付き画像を集める必要がある。しかし、長野ら [1]研究から、これらの 3 地域において Twitter に投稿されている
食事画像が極めて少ないことが分かっており、課題の一つである。また、より詳細な分析を行うためには、料理カテゴリを細分化する必要がある。しかし、カテゴリ数が多いほど、データの精査に時間と手間がかかる他、より表現力のある CNN 特徴
量が求められるため、テータ精査の効率化と、より分析に適切な CNN 特徴が必要となる。

文

献[1] 長野哲也, 柳井啓司. Twitter 画像の大規模時空間分析. データ
工学と情報マネジメントに関するフォーラム (DEIM), 2017.
[2] Y. T. Chang, W. H. Cheng, B. Wu, and K. L. Hua. Fashion World Map: Understanding Cities Through Streetwear.
In Proc.of ACM International Conference Multimedia, pp.
91–99, 2017.
[3] 會下拓実, 下田和, 柳井啓司. CNN 特徴量学習に基づく画像検索による食事画像カロリー量推定. 電子情報通信学会論文誌 D,
No. 8, pp. 1099–1109, 2018.
[4] J. Wang, Y. Song, T. Leung, C. Rosenberg, J. Wang,
B. Philbin, J. Chen, and Y. Wu. Learning finegrained image
similarity with deep ranking. In Proc.of IEEE Computer
Vision and Pattern Recognition, 2014.
[5] K. He, X. Zhang, and J Ren, S.and Sun. Deep Residual
Learning for Image Recognition. In Proc.of IEEE Computer Vision and Pattern Recognition, 2015.
[6] Y. Matsuda, H. Hoashi, and K. Yanai. Recognition ofmultiple-food images by detecting candidate regions. In
Proc. of IEEE International Conference on Multimedia andExpo (ICME), 2012.
[7] B. Lukas, G. Matthieu, and V.G. Luc. Food-101 – mining
discriminative components with random forests. In Proc.of
European Conference on Computer Vision, 2014.
[8] A. Krizhevsky, I Sutskever, and G.E. Hinton. Imagenet
classification with deep convolutional neural networks. In
Advances in Neural Information Processing Systems, 2012.
[9] 河野憲之, 柳井啓司. ラーメン vs カレー：２年分のログデータと高速食事画像認識エンジンを用いた twitter 食事画像分析とデータセット自動構築. 電子情報通信学会 パターン認識・メディ
ア理解研究会（PRMU）, 2013.
[10] K. Simonyan and A. Zisserman. Very deep convolutional
networks for large-scale image recognition. CoRR, Vol.
abs/1409.1556, , 2015.
[11] Y. Jing and S. Baluja. Visualrank: Applying pagerank tolarge-scale image search. IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol. 30, No. 11, pp.
1870–1890, 2008.
[12] R.R. Selvaraju, A. Cogswell, M.and Das, R. Vedantam,
D. Parikh, and D. Batra. Grad-CAM: Visual Explanations
from Deep Networks via Gradient-based Localization. In
Proc.of IEEE Computer Vision and Pattern Recognition,2016.