第 16 回画像の認識・理解シンポジウム

Fisher Vector を用いたスマートフォン上でのリアルタイム高精度物体認識システム
河野 憲之1,a)

柳井 啓司1,b)

線形識別器に適用している。そのため、視覚的変化が大き1. はじめにい一般物体認識では認識精度が極めて低い。我々は以前、近年、クアッドコアのスマートフォンが主流になり性能SURF-BoF と色特徴を用い、χ2 kernel feature map を適が大きく向上している。従来の画像認識を行うシステムは、用し、非線形識別器と同等の精度で食事画像認識をするシサーバ上でコストの高い画像認識を行うためユーザ数の増ステムを提案した [2, 3]。SURF は強力であるがコストが加に対応できない。そこで、複数コアあるスマートフォン高いためクアッドコアで並列化している。だが、認識時間の計算資源のみを活用し、リアルタイムにかつ高精度に画のほとんどを SURF の特徴記述とコードワード割り当てに像認識を行う手法が望まれている。さらに、スマートフォ消費し、50 種類の認識で 0.26 秒かかっていた。そのため、ン上で画像認識を行うことにより、ネットワーク環境に依同時に認識する対象が多くなるとリアルタイムに認識する存しない、通信コストがかからないという利点がある。

ことができない。また、認識精度についても従来のサーバ

また、近年、高速な線形識別器に適した画像表現が提案サイドの認識手法に劣っていたため改善の余地がある。

されている。従来の一般物体認識は識別に非線形識別器を本研究では、スマートフォン上でリアルタイムかつ高精用いることが一般的であり、コストが非常に大きかった。

度に画像認識をする手法として、局所特徴量に計算コストだが、画像表現を改良することにより、従来の画像表現にの小さい HoG と色特徴を用い、画像表現に Fisher Vector

非線形識別器を用いるよりも大幅に性能が向上することがを用いる。

示されてる。特に、Fisher Vector が認識性能が高い結果になっている [1]。

3. 提案手法

しかし、スマートフォン上で Fisher Vector を用い、高速画像特徴量には、色と勾配 2 種類の局所特徴量を用いる。

かつ高精度に物体認識をするシステムは存在しない。そこ

色特徴は、局所パッチを 2×2 に分割したサブ領域から各ピで、複数コアを活用しスマートフォンの計算資源のみを用

クセルの RGB 値それぞれについて平均と分散とした。ゆい、リアルタイムかつ高精度に認識を行う手法を提案する。

えに、24 次元特徴ベクトルとなった。勾配特徴は、HoG

従来のスマートフォン上で認識するシステムよりも大幅を局所パッチから抽出することで 32 次元の特徴ベクトルに性能が高く、さらに高速であることを実験により示す。

を得た。HoG は、SIFT と類似しているが、SIFT、SURFまた、コストの非常に大きい従来のシステムと比較し本手よりも高速に抽出することが可能であり、その分特徴点を法の有用性を示す。

密にとることが可能である。画像が大きい場合には 3K ピクセルにリサイズし、局所特徴はともに 2 スケール、6 ピ2. 関連研究

クセルごとの dense sampling で抽出した。そして、得られスマートフォンから利用できる画像認識アプリケーショた局所特徴群は、Fisher Vector [6] で表現した。

ンを紹介する。Google Goggles*1 は物体認識システムとFisher Vector は、BoF と異なり局所特徴群の 1 次と 2 次して有名なアプリケーションである。しかし、認識対象はの統計量も含めることにより量子化誤差を軽減している。

視覚的変化のない特定物体であり、本研究では、一般物確率密度関数に GMM を仮定し、局所特徴群をモデル化し体を認識対象にしている。Maruyama ら [4] は、特徴量はた。そして、認識性能を高めるために L2 正規化とパワー

144 個のみ局所色ヒストグラムの BoF 一つであり、直接正規化を適用した [6]。GMM の混合数はともに 32、局所1

特徴はともに PCA を適用し 24 次元にした。ゆえに、とも

a)
b)
*1

電気通信大学大学院 情報理工学研究科 総合情報学専攻
182–8585 東京都調布市調布ヶ丘 1–5–1
kawano-y@mm.inf.uec.ac.jp
yanai@cs.uec.ac.jp
http://www.google.com/mobile/goggles/〒に 1536 次元の特徴ベクトルとなった。また、学習画像を増やすために左右反転した画像も学習データに加えた。
分類は、one-vs-rest 線形 SVMs により多クラス分類を1

第 16 回画像の認識・理解シンポジウム

徴のみで以前の手法よりも高い分類率となり、食事画像認

10.9

識において色特徴を Fisher Vector で表現することにより0.8

ศ㢮⋡0.7

認識性能が大きく向上することがわかった。また組み合わ

0.6
0.5

HoG(FV)

0.4

Color(FV)

0.3

ColorHistogram+SURF(soft BoF)[2]0.2

Color+HoG(FV)

0.1

MKL(5✀≉ᚩ㔞)[5]0123456789

表 1 平均実行時間
実行時間 [sec]せることで性能が向上し、実験データは異なるがコストが従来手法 [2]0.26

非常に高い [5] の結果と同等以上の性能であった。ゆえに、提案手法0.065

本手法の有効性が示された。

10

ೃ⿵ᩘ

次に、平均認識時間について実験結果を表 1 に示した。
実験結果より、以前の手法が 0.26 秒に対して本手法では図 1 各手法による分類率行った。

0.065 秒とより高速に認識可能であった。ゆえに、リアルタイム認識に適していることがことが示された。
認識精度と速度の実験により、本手法の有効性が示され

3.1 実装た。また、極めて高速かつサーバサイドの認識手法 [5] と実装は、クアッドコアデバイスを想定し並列処理を行っ同等以上の性能を示す結果となりスマートフォン上でのリた。色特徴、HoG それぞれ 2 コアずつ用い並列化した。

アルタイム高精度物体認識が可能であることを示した。

HoG は最初に勾配方向と勾配強度を算出しておくことで高速に局所特徴を抽出した。GMM により負担率を求める

5. まとめ際や、平均や分散に関する勾配を求める際に必要になる項

スマートフォン上でリアルタイムかつ高精度に画像認識で、オフラインに計算可能な部分はあらかじめ計算しておを行う手法として、局所特徴量に HoG と色特徴を用い、き、ルックアップテーブルを作成しておいた。また、SVM

Fisher Vector で表現し、線形識別器で分類する手法を提案

はオフラインで学習しておいた。そして、認識時に用いるした。

値は全てメモリにロードしておいた。

4. 実験

100 種類の食事に対して正しい食事領域が与えられた時、候補を 5 つ提示した際に 79.2%の認識精度であった。それは、以前の手法と比較して 11.0%の精度向上である。また、データセットは我々で構築している各 100 枚以上あるサーバサイドのコストが非常に高い認識手法 [5] と同等以100 種類、合計 12,905 枚からなる食事画像を使用し評価上の性能が示された。そして、認識速度は、0.065 秒であっ実験を行った。特徴量を抽出する領域は、人手で与えられた。それは、従来の 0.26 秒と比較して 75.0%高速化であた正しい食事領域とした。検証、テストに各 20 枚、残りる。実験により本手法の有効性と、スマートフォン上でのを学習に使用し評価することを、ランダムにデータを入れリアルタイム高精度物体認識が可能であることを示した。

換え 5 回繰り返しその平均値で評価した。次に、画像デー

提案手法は、応用例として我々が開発しているモバイル

タが与えられ、全ての識別器の評価値を得るまでの時間

食事画像認識アプリケーション (http://www.foodcam.jp)、(認識時間) を計測した。今回実験に使用したデバイスは、

食事画像認識 Twitter Bot(@foodimg bot) に取り入れられGalaxy NoteII(1.6GHz 4 コア Android4.1) であり、[2] とている。

同様である。
実験結果を図 1 に示した。提案手法 (Color+HoG (FV))と、比較として特徴量単体の場合 (Color(FV)、HoG(FV))、参考文献[1]以前の手法 (ColorHistogram+SURF(soft BoF))、また、

Matsuda ら [5] は複数品の食事の認識が主であるが、単品[2]の食事においても分類率を評価している。そのため、[5] で示されている単品の食事において食事領域が与えられた際[3]の食事 100 種類の分類率を示した (MKL)。[5] では、3 種類の局所特徴と 2 種類の大域特徴を使用し局所特徴は hard

[4]

BoF で表現し、5 種の特徴量 (合計 46,452 次元) を非線形
χ2 RBF カーネル MKL-SVM により分類している。そのため、非常にコストが高い。実験結果は、候補を 5 つ提示し[5]た際、本手法では 79.2%を達成した。色特徴のみの場合では、70.6%、HoG のみの場合では 63.2%、以前の手法では68.2%、[5] らの手法は 76.8%であった。実験結果より色特[6]Chatfield, K., Lempitsky, V., Vedaldi, A. and Zisserman,
A.: The devil is in the details: an evaluation of recentfeature encoding methods, BMVC (2011).
Kawano, Y. and Yanai, K.: Real-time Mobile Food Recognition System, CVPR International Workshop on Mobile
Vision (IWMV) (2013).
河野憲之, 柳井啓司.: 料理画像認識を用いたモバイル食事記録システム. 情報処理学会コンピュータビジョン・イメー
ジメディア研究会, (2013).
Maruyama, T., Kawano, Y. and Yanai, K.: Real-time
Mobile Recipe Recommendation System Using Food Ingredient Recognition, ACM MM Workshop on IMMPD(2012).
Matsuda, Y., Hoashi, H. and Yanai, K.: Recognition ofMultiple-Food Images by Detecting Candidate Regions,
ICME (2012).
Perronnin, F., Sánchez, J. and Mensink, T.: Improving
the Fisher Kernel for Large-Scale Image Classification,
ECCV (2010).

2