DEIM Forum 2012 B5-4

物体認識技術を用いたモバイル物品管理システム
望月 宏史†

柳井 啓司†† 電気通信大学 電気通信学部 情報工学科 〒 182-8585 東京都調布市調布ヶ丘 1-5-1
E-mail: †mochizu-h@mm.cs.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし

本論文では，物品管理サービスにおいて，特定物体認識技術を利用することにより簡単に物品を検索する手法を提案する．そのためにスマートフォン上で動作するモバイル物品管理システムを作成した。このシステムは，ユーザが所持品をスマートフォンのカメラで撮影し，その物体についてのテキスト情報を付加して登録する．その後同じ物体を再度撮影すると，登録された物体と撮影中の物体が同一であるかを判定する．その結果が同一物体であれば，付加したテキスト情報をリアルタイムで表示することが出来るというシステムである．また，ネットワークを通じて他のユーザが登録した物品の情報を共有することが出来る．これにより，モノを介した新しいコミュニケーションを提案する．従来の所持品管理サービスでは，テキストやカテゴリによる検索，あるいはバーコードを読み取って登録するものが主流であった．それらに対して，本手法ではカメラに写すだけで所持品を検索することが出来る，バーコードの無い所持品も登録することが出来るという利点がある．本研究による利便性の向上を調べるために，物品認識を用いずに検索を行うベースライン機能を作成し，認識を用いた場合との比較評価を行った．
キーワード[モバイル],[特定物体認識]

Hirofumi MOCHIZUKI† and Keiji YANAI†† Department of Information, The University of Electro-Communications
1-5-1 Chofugaoka, Chofu, Tokyo 182-8585 Japan
E-mail: †mochizu-h@mm.cs.uec.ac.jp, ††yanai@cs.uec.ac.jp

1. 背景と目的

そこで本論文では，物品管理サービスにおいて，特定物体認識技術を利用することにより簡単に物品を検索する手法を提案

近年，スマートフォンが普及し多くの人が利用するようにする．物品に対してカメラを向けるだけで簡単に物品情報を検なった．また，それに伴いスマートフォンの性能も年々向上し索することが出来るモバイル物品管理システムを作成した．こている．これにより多くのスマートフォン向けアプリケーショのシステムはユーザが所持品をスマートフォンのカメラで撮影ン開発が行われるようになり，これまでの従来型の携帯電話でし，物品名・日時・位置情報・物品についてのコメントなどのは難しかった複雑で時間のかかる処理も可能となった．さらに，テキスト情報を付加して登録する．その後，同じ物品を再度撮画像処理ライブラリである OpenCV がバージョン 2.3 より大影すると，登録された物品と撮影中の物品が同一であるかを判きな変更があり，スマートフォン OS のひとつである Android定し，同一であれば付加したテキスト情報をリアルタイムで表での利用がしやすいものとなった．これにより，Android のカ示することが出来るというシステムである．また，ネットワー

メラを使った物体認識アプリケーションの作成が可能になった．

クを通じて他のユーザが登録した物品の情報を共有することがまた，身の回りに多くのものが溢れるようになった現代では出来る．これにより，モノを介した新しいコミュニケーション同じ商品を 2 度購入してしまうという問題や，それをいつどうが可能となった．スクリーンショットを図 1 に示す．従来の物して買ったのか，使ってみて評価がどうであったかといった情品管理サービスにおける物品検索に対して，本手法は報を忘れてしまうという問題が発生している．こうした問題を•解決するために，所持品を管理するサービスが存在している．

可能

たとえばモノをコレクションするはてなモノリス [1] や，蔵書•検索時にテキスト入力が必要ない管理サービスであるブクログ [2] などである．しかし，これら•

バーコードの無い所持品も登録可能

従来の所持品管理サービスはテキストやカテゴリによる検索，あるいはバーコードを読み取って登録するものが主流である．

カメラに写すだけで所持品をリアルタイムで高速に検索という利点がある．
また，本研究による利便性の向上を調べるために，物品認識

を用いずに検索を行うベースライン機能を作成し，認識を用いモリな局所特徴として Leutenegger らの提案した BRISK [6]，た場合との比較評価を行った．

Rublee らの提案した ORB [7] がある．これらは特徴量の記述がバイナリになっており，AR やリアルタイム処理などでの利用を想定している．本研究では特定物体認識に OpenCV に実装されている ORB を用いている．

図 1 提案システム

2. 関 連 研 究
2. 1 スマートフォンと画像認識
スマートフォン上での特定物体認識アプリケーションでは，

Google の Google Goggle [3] がある．このアプリでは，カメラ

図 2 Google Goggle による絵画の認識で撮影した文字情報，著名な建造物や美術作品，本や DVD，バーコードなどの情報を認識して提供された情報を得ることが

2. 2 物品管理サービス出来る．また，これら以外のものでも Google の画像による類

物品管理サービスとして有名なものには，はてなモノリス [1]

似画像検索機能により商品の名前を取得することが出来ることがある．はてなモノリスは，スマートフォンを利用してバーがある．これは Google の持つ巨大なデータベースとサーバをコードをスキャンし物品名を調べ，その物品を自分のモノとし用いているので，非常に高い精度で物体を特定することが出来てコレクション出来るサービスである．また，モノについてコる．たとえば図 2 に示すように有名な絵画の認識を行うことがメントを投稿することが出来る．登録した物品は図 3 に示した出来る．しかし，自分で物体を新規に登録することや，認識しように表示され，モノを持っているユーザのコメントを見るこた結果を他のことに利用することは出来ない．とが出来る．はてなモノリスでの登録作業の流れは以下のよう

その他にスマートフォンでの画像認識の研究では，Takacs らになる．

によるスマートフォンの GPS による位置情報を用いて撮影し（ 1 ） バーコードを撮るた建物画像をデータベース中から検索する方法を提案した研（ 2 ） バーコードから物品情報が取得される

究 [4] がある．位置情報を用いることによって比較する対象の（ 3 ） コメントを入力画像を少なくすることが可能となり高速化を実現した．

（ 4 ） コレクションに登録

これらの研究では物体認識にネットワークの利用が不可欠でバーコードを用いているので物品の認識は正確であるが，バーあるが，本研究では他ユーザとの情報同期のみにネットワークコードがついていない物品を登録することは出来ない．また，を利用し，物体認識処理はスマートフォンのみで行うことが出登録したモノを探そうとする場合は，コレクション一覧の中か来る．

ら探して選ぶことになる．そのため，登録した物品の数が多くまた，スマートフォンでの画像認識を行う場合では認識処理なった場合に探し出すのが難しくなると考えられる．しかし，の軽さとメモリ消費量を抑えることが重要となる．近年のス

提案システムではバーコードではなく物品の画像特徴を利用す

マートフォンは CPU の高速化およびメモリの大容量化が進んるので，バーコードがない物品でも自由に登録することが出来でいるが，従来の画像認識処理で使われる計算機に比べればる．また，提案システムでは物品にカメラをかざすだけで検索ハードウェア資源に乏しい．そのため，従来手法よりも速度をすることが出来るので，リストから選ぶよりも早く見つけ出す重視する必要がある．たとえば Ta らは携帯電話で AR を行うことが期待出来る．

ために，物体追跡手法である SURFTrac [5] を提案した．これは，連続した画像の認識やビデオのトラッキングのための効率3. 提案システム詳細的なアルゴリズムであり，SURF の特徴点を検出する空間を注

提案システムの全体図を図 4 に示した．システムのおおま目空間のみに減らすことで高速化を実現した．これにより，実かな流れは，まず画像描画スレッドからカメラから取得した画験で NOKIA の携帯電話 (CPU:330Mhz) において 6-7FPS で像と選択領域を取得する．物品登録については，特定物体認識物体を追跡することを示した．

により登録済みかを確認した上で登録画面を表示する．認識ス

さらに近年では，SIFT や SURF よりも高速かつ低消費メ

レッドについては，取得した画像と領域から特定物体認識を行3. 1. 1 局所特徴量
局所特徴とは，画像の特徴的な点に注目し，注目点周辺の情報を特徴ベクトルとして表現したものである．有名なものとして，SIFT(Scale Invariant Feature Transform) [8] や，SIFTを高速化した SURF(Speeded-Up Robust Features) [9] などがある．しかし，これらの特徴量をハードウェア資源の貧しいス
マートフォン上で計算するのは時間がかかる．そこで，より動作の早い特徴量として ORB [7] を用いた．
図3

はてなモノリス

3. 1. 2 ORB
ORB(Oriented FAST and Rotated Brief) [7] とは FAST [10]う．その結果をテキスト描画スレッドで画面に表示する．このによる特徴点検出と BRIEF 記述子 [11] をもとに提案された章では，各処理について詳細を記述する．

256bit のバイナリ特徴量である．BRIEF に比べ弱点であった回転不変に対する不変性を改善している．また特徴点の検出と記述子の計算はともに高速であり，SURF よりも 10 倍以上

SIFT よりも 100 倍以上の速度での計算を可能にしている．
3. 1. 3 本実験で用いる特徴点の検出
本研究では，特徴点の検出に ORB を用いて空間ピラミッドから検出する方法と一定間隔ごとに特徴点をとる DENSE を用いた．空間ピラミッドは 3 段階分を利用している．DENSE については，画像サイズが機種によって異なるので，固定された幅を使うと解像度の高い機種で点が多くなり，低い機種で少な
xくなってしまう．そこで，画像の横幅を x ピクセル として 10ピクセル ごとに特徴点をとることで機種ごとの点の数の大きな変化をなくす．各格子点から得た点は，2 つのスケールを特徴点として利用する．DENSE を加えることで PyramidORBによる特徴点検出で特徴点の出にくい物品も登録することが
図 4 提案システム全体の流れ出来るようになるが，背景の特徴の影響を受けやすくなってしまう．それを防ぐために DENSE による特徴点検出の割合は3. 1 特定物体認識

PyramidORB よりも低く抑えている．

特定物体認識とは，画像から抽出する局所特徴量を比較する

また，背景による影響を受けにくくするために，タッチパネことで，画像中に同一の物体が写っているかを判定する手法でルをドラッグすることで四角形の領域を描けるようにし，そのある．特定物体認識は，認識する対象に多くの形状がある一般領域からのみ特徴点を検出することが出来るようにした．図 6

物体認識と違い，形が定まっているので認識しやすいとされてに示すように，背景に物体が多く特徴が対象物体以外からも検いる．例として “携帯電話” の認識を考えると，図 5 に示すよ

出されてしまいそうな場合でも，対象物体からのみ特徴点を抽うに，一般物体認識では携帯電話全般の認識を目的とするのに出することが出来る．

対し，特定物体認識では “iPhone” のような特定の機種を認識することを目的とする．本論文では “登録した物品” を特定物体として特定物体認識技術を利用する．

図 6 特徴点抽出領域の選択

3. 1. 4 特徴点の投票による認識
特定物体認識は，与えられた画像から検出した特徴点につい
図 5 特定物体認識と一般物体認識の例て投票を行い，その結果から認識結果を決める．投票方法は，

図 7 に示したように登録済み物体の全特徴点とマッチングを余分な時間がかかるうえに，認識結果もあまり良くなかった．

行い，最も近い点を持つ登録済み物体に対して投票をする．こそこで各フレームから ORB を 180，DENSE を 20 ずつランダのとき，最も近い点との距離が閾値以上であった場合は似た点ムで選び，これを 2 フレーム分の 400 点を用いて認識を行うこがどの登録済み物体にも存在しなかったとみなし，投票は行わととした。2 フレーム分の点を検出すると，同じ物品であってない．これを全特徴点に対して行うと，与えられた画像の持つも，角度や大きさの違いによって 2 フレーム目では 1 フレーム

特徴と似た特徴を持つ物体に投票が集まる．この投票が閾値以目と異なる点が検出されると期待される．これにより処理速度

上であれば，与えられた画像に写っている物体と，投票数の最と認識結果の改善が見られたため，ランダムで選ぶこととした．

も多かった登録済み物体を同一物体として認識する．閾値以下

また，認識結果をそのまま用いるのではなく，5 回分の認識だった場合は，同じ物体が存在しなかったとみなす．閾値につの投票を 3 位まで考慮する．5 回分のそれぞれの物品の認識投

いては，値を大きくした方が物体の認識率は上がるが，そのか票数を足し合わせ，その中で最も投票数が多かったものを認識

わりに登録した物品が写っていない状態でも何か物品があると物品として選ぶ．たとえば投票数が誤認識してしまう率が高まってしまう．本システムでは実際に（ 1 ） 物品 B(40) 物品 A(35) 物品 C(0)

物品を撮影した時のデータを見て，正しい結果となるように閾（ 2 ） 物品 B(33) 物品 A(30) 物品 C(10)値を定めた．

（ 3 ） 物品 A(34) 物品 C(20) 物品 B(19)

本論文で行う特定物体認識処理の流れを図 8 に示す．物品へ（ 4 ） 物品 C(20) 物品 A(18) 物品 B(16)の投票は自分の登録した物品だけではなく，他ユーザの登録し（ 5 ） 物品 A(40) 物品 B(20) 物品 C(18)た物品に対しても行う．となった場合は，•物品 A(35+30+34+18+40=157)•物品 B(40+33+19+16+20=128)•物品 C(0+10+20+20+18=68)となり，物品 A が選ばれることとなる．こうすることにより，1 位だけの多数決をとる場合に比べ，わずかな投票差で 2 位になった場合と多くの投票差で 2 位になった場合との違いを考慮することが出来る．これにより認識精度が 20%ほど向上した．

3. 2 物 品 管 理
3. 2. 1 物品への情報付加物品の管理は，写真（サムネイル）
・テキストデータ・局所特
図 7 特徴点の物体への投票徴量を登録する．物品へ付加するテキスト情報を以下に示す．

•物品名

•

物品登録日

•

物品撮影場所•

登録者の ID•

物品に対するコメント・情報など自由記入欄

物品登録日・物品撮影場所については，システム側で自動で入力する．撮影場所については，他のユーザと共有するにあたってプライバシーの問題があるので，保存するかどうかは任意で選べるようにした．位置情報は Android の GPS か基地局情報による位置情報から緯度経度を取得し，逆ジオコーディングで地域名を取得する．これらの情報をテキストとして Android のストレージに保存し，認識時に表示させる．

3. 2. 2 ユーザ間での物品情報共有
自分が保存した物品情報を記述したファイルをサーバに送信して Android のストレージとサーバのファイルを同期させる．
図 8 本システムでの特定物体認識

また，サーバに保存されている他ユーザの物品情報を記述したファイルも同期させる．同期については更新されるたびに自動

3. 1. 5 複数フレームの利用で行われるようにするのが望ましいが，通信するファイル量が当初は，2 つのフレームから特徴を抽出し両フレームから同多いので，ユーザのボタン操作によって同期を開始するようにじように検出される点のみを利用することを考えていた．これした．サーバと Android 間のファイルのやりとりについては，によってより検出されやすい点を選ぶことが出来ると考えたか

HTTP 通信の POST と GET で行う．他ユーザの物品についらである．しかし実際には両フレームの点のマッチング処理にても認識スレッドで別途認識を行っており，その結果を図 1 に示したように，画面中の右下に表示する．

4. システムの使用例

5. 評

価

持ち物管理サービスに特定物体認識を用いたことによる利便

実際にどのようにシステムを使うのか例を図 9 から図 12 で性が向上したかを調べるために，評価実験を行った．評価実験示す．ここでは例として，Twitter プログラミング本の登録とを行うにあたって，比較として認識を用いずに物品を探すベー認識を行う．登録対象の本を図 9 に示す．

スライン機能を追加した．スクリーンショットを図 13 に示す．

まず，図 10 に示したように登録ボタンを押して物品を撮影•年月する．その後図 11 のようにテキスト情報の入力を行う．ここで•登録者の ID

は “TwitterAPI” を物品名とし，物品の情報として “Twitter•

位置情報

プログラミングの参考に” というコメントを付与している．認•

物品名識モードに切り替え，登録済み物品を写すと物体認識が行われ，•物品に対するコメント・情報など自由記入欄

図 12 に示すように左上に認識結果のテキスト情報が表示されから絞り込み検索を行うことが出来る．

るという仕組みである．ここでは先程入力した “TwitterAPI”が表示されているのがわかる．

図 9 システムの動作例 登録対象

図 13
図 10

テキスト検索による登録物品検索システムシステムの動作例 登録ボタン

5. 1 評 価 項 目
あらかじめ 30 物品をテストデータとして登録した．テスト
データの画像一覧を図 14 に示す．さらに追加で各自 10 物品を追加してもらい，計 40 物品の状態で評価を行った．評価内容
は，5 人に以下の項目について評価してもらった．物品認識とベースラインとで，

図 11

システムの動作例 テキスト入力•検索にかかる時間•

使いやすさの 5 段階評価を比較し評価する．

5. 2 評 価 結 果
検索にかかる時間の結果を表 1 に示した．認識を用いた場合に 13.6 秒，ベースラインで 10.6 秒となりベースラインのほうがやや早い結果となった．
また，検索の使いやすさを，1 が使いにくい，5 が使いやすいとした 5 段階で評価もらった結果を表 2 に示した．認識の使いやすさの平均が 3.4，ベースラインの使いやすさの平均が 3.2
図 12システムの動作例 認識の様子となり，認識のほうがやや良い結果となった．

図 14

図 15 登録した 5 物品

あらかじめ登録したテストデータの画像一覧
表 1 検索にかかった時間（秒）

被験者 A (HTC DesireHD)
認識

9

平均

14 22 13 24

ベースライン 11

認識精度の計測結果を図 16 に示した．複数フレームの結果か9.4

ムの多数決をとったほうが精度が大きく向上していることがわ

47 50

25.6

かった．

10 13 11 11

11

物品については，認識しやすい物品とまったく認識できない

平均物品とがあった．雑誌，コーヒー，筆箱，消しゴムはロゴや絵77

ベースライン 10

16.4
平均

816

果

ら多数決をとった場合とそのままの場合を見ると，複数フレー

7

14

被験者 B (GALAPAGOS 003SH)認識

6. 2 結8

被験者 C (IS11T)
認識

710 12 12 17

11.6

ベースライン

82111.8

911 10

被験者 D (GalaxySII)

平均などで特徴的な部分が多いため，特徴点の検出がしやすく認識の精度も良かったと考えられる．一方，携帯電話は色が単一で344554.2

特徴的な部分が少なく，光沢を持つため光の影響を受けやすい．

ベースライン 19812 11711.4

こうした理由から，認識がうまくいかなかったのではないかと平均考えられる．

認識

被験者 E (HTC EVO)
認識

21 12 16 14 11

ベースライン 1814.8

次に，複数フレームを利用した場合に，1 位に選ばれた物品10.4だけでなく 3 位までを正解として含めた場合の結果を図 17 に認識平均時間 14.52示した．3 位まで含めたほうが認識精度があがっているので，171377

ベースライン平均時間

10.8

位が不正解であった場合でも，正解の物品にある程度の投票が行われていることがわかる．特に携帯について 1 位にはまった

表 2 使いやすさの 5 段階評価

A B C D E 平均

く現れなかったが，3 位まで含ませると 40 ％は認識に成功して認識

234443.4いることがわかった．

ベースライン

342253.2

6. 認識精度の計測
6. 1 認識精度の評価実験
実際にどの程度の割合で正しく認識が行えるかを調べるために，評価に用いたテストデータ 30 物品が登録されている状態で 5 物品を追加した．その 5 物品について認識を 50 フレーム行い，正しい認識結果が得られた割合を調べた．5 物品は（ 1 ） 雑誌
（ 2 ） コーヒー

図 16 認識に成功した割合 (フレーム利用による違い)（ 3 ） 筆箱（ 4 ） 消しゴム

7. 考察（ 5 ） 携帯を登録した．画像を図 15 に示す．3. 1. 5 節で述べた複数フレー
ムの結果から多数決をとった場合と，1 枚ずつ認識した結果の場合との両方を調べた．また，特徴点の投票において 1 位ではなかったが 2 位，3 位以内に正しい結果が出る場合についても調べた．

7. 1 評価実験について
評価結果は認識を用いるよりもベースラインのほうが早く検索出来たという結果になった．特定物体認識が遅くなってしまった原因は，特定物体認識によって認識しにくい物品があり，それらを検索する場合に時間がかかってしまい平均を下げていることがあげられる．認識しにくい物品が出てしまうのは，特徴点のとりにくい物品であったことや，背景の影響を受けてし果の 1 位だけを表示する場合ではまったく認識出来ない物品もあったが，3 位まで考慮すればその中に含まれていた．35 物品が登録されている状態であるので，3 位以内に入っていればある程度は同じ点が検出され投票されていると考えられる．よって，1 位だけでなく上位の物品をいくつか表示し，その中から選ぶ方式にすることで検索の簡単化という目的を果たせるのではないかと考えられる．たとえば 100 個の物品が登録されている場合を考えると，単純な登録順のリストから選択するよりも，認識結果の上位いくつかを提示し，その中から選択してもらう方がより短い時間で登録物品を探すことが出来るだろう．
図 17

認識に成功した割合 (3 位まで考慮した場合)

まったことが考えられる．また，登録物品が少なかったため，ベースラインの手動選択でも十分簡単に選ぶことが出来てしまったことが考えられる．
検索しやすさの 5 段階評価については，認識を用いるほうが良いという結果となった．リストから選ぶ場合やテキストを入力するよりもカメラで撮るという動作の方が楽である，さらに物品数が増えてきたときにリストから選んで探すのは難しくなるだろうなどの意見があった．

7. 2 認識について
他人のスマートフォンで登録したものを自分のスマートフォンでも同様に認識させることはうまくいかない場合が多かった．
これはユーザによって物品を撮影する撮り方や室内環境などの条件が異なることや，Android のカメラ性能の違いによるところが大きいと思われる．図 18 に示したように，同じ環境下で撮影しても写真の撮れ方が異なっている．

8. お わ り に本研究では，特定物体認識を用いた物品管理サービスを作成した．また，ハードウェア資源の貧しいスマートフォンでも高速な特定物体認識が可能であることを示した．評価実験により，物品管理サービスに物体認識技術を利用することで簡単に物品検索が出来るようになったことを示した．
今後の課題としては，物品数をさらに増やした場合の性能評価をすることである．物品数を増やすことによってベースラインシステムの検索時間は増加すると考えられるが，特定物体認識の精度も低下してしまうだろう．大規模なデータベースに適応した場合でも同じような評価結果となるか調べる必要がある．また，一部物品について認識しにくいものがあったので，認識精度の向上が必要である．そのためには，処理速度は遅くなるが精度のよい SURF などの特徴の導入や，色情報の考慮，OCR によるテキスト情報の利用などが考えられる．
文
[1]
[2]
[3]
[4]

[5]

[6]

[7]

[8]

[9]

[10]

図 18 Android のカメラによる違い

自分で登録した物品については，“携帯” のように投票の結

[11]

献

はてなモノリス. http://mono.hatena.ne.jp/.
ブクログ. http://booklog.jp/.
Google Goggle. http://www.google.com/mobile/goggles/.
G. Takacs, V. Chandrasekhar, N. Gelfand, Y. Xiong, W. C.
Chen, T. Bismpigiannis, R. Grzeszczuk, K. Pulli, andB. Girod. Outdoors augmented reality on mobile phoneusing loxel-based visual feature organization. In Proc. ofACM International Conference on Multimedia Information
Retrieval, 2008.
D. N. Ta, W. C. Chen, N. Gelfand, and K. Pulli. SURFTrac:Efficient Tracking and Continuous Object Recognition using Local Feature Descriptors. In Proc. of IEEE Computer
Vision and Pattern Recognition, pp. 20–25, 2009.
S. Leutenegger, M. Chli, and R. Y. Siegwart. BRISK: Binary Robust Invariant Scalable Keypoints. In Proc. of IEEE
International Conference on Computer Vision, 2011.
E. Rublee, V. Rabaud, K. Konolige, and G. Bradski. ORB:
an effficient alternative to SIFT or SURF. In Proc. of IEEE
International Conference on Computer Vision, 2011.
D. Lowe. Distinctive image features from scale-invariant
keypoints. International Journal of Computer Vision, pp.
91–110, 2004.
H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool. SURF:
Speeded Up Robust Features. In Computer Vision and Image Understanding, pp. 346–359, 2008.
E. Rosten and T. Drummond. Machine learning for highspeed corner detection. Proc.of European Conference on
Computer Vision, pp. 430–443, 2006.
M. Calonder, V. Lepetit, C. Strecha, and P. Fua. Brief: Binary robust independent elementary features. Proc.of European Conference on Computer Vision, pp. 778–792, 2010.