高速特定物体認識手法を用いたモバイルデバイスでのリアルタイム AR
吉田 悠一†安倍満 †モバイルデバイス上でリアルタイムで動作する “Augmented Reality” を実現する，高速でメモリ効率の良い特定物体認識手法を提案する．特定物体認識とは，入力画像に映る対象と，同一の物体が映っている画像をデータベース内から探し出す処理のことであり，中でもデータベース中の参照画像と，入力画像との対応点を求めることで画像検索を行う手法がよく知られる．この対応点の情報から，参照画像に対する入力画像の相対位置関係が計算できるため，この手法はマーカーレス AR に広く応用されている．しかしながら，計算能力の低いモバイルデバイス上で実現するためには，次の２つの課題が残っている．一つ目の課題は，対応点の探索のために必要な局所特徴量の計算コストが大きい点である．二つ目の課題は，特定物体認識に要するデータベースのサイズや検索時間が大きくなり過ぎる点である．提案手法は，これらの 2 つの課題を解決する．提案手法を実装し，実行速度，メモリ効率について評価実験を行った．結果，モバイルデバイス上で実装した提案手法は，サーバ側で物体認識を行うタイプの既存のクライアント/サーバ型 AR システムと同等の性能を示した．

Realtime mobile AR with fast object recognition framework
Yuichi Yoshida† and Mitsuru Ambai†
We propose a new fast object recognition method for mobile and realtime AR, which ishighly eﬃcient in computational cost and memory usage. Image-based object recognition isa problem of ﬁnding an image that contains the same object appeared in an input image,from image database. One of the well known methods of object recognition uses point correspondence between input and reference images. Recently, such method has been applied
to makerless AR because the corresponding points could be also used to calculate relative
position of the object between input and reference images. But, one has to overcome two
problems for implementing such AR system on mobile devices. First, computational cost is
too large for mobile devices to calculate local descriptors such as SIFT, which are used to ﬁnd
corresponding points. Second, a database is too large and searching the right object takes toomuch time. Our proposed method resolves both problems so as to make AR with image-based
object recognition feasible. We evaluate execution time and eﬃciency of memory usage about
our method. As a result, our method implemented on a mobile device is shown to have thesame level of performance computing with the existing client/server AR system.

1. は じ め に現する手法が提案されるようになった．
特定物体認識はマーカーレス AR を実現する上で非

近年，iPhone や Android 端末の登場により，カメ常に重要な技術といえるが，メモリ使用量や計算コスラを備え，従来より計算能力が高いモバイルデバイス

トが非常に大きい．このため，計算資源の限られるモが普及してきた．このため，対象の物体を端末のカメバイルデバイス上で AR アプリケーションを動作させラ越しに覗き込むことで，その解説が重畳表示されるるためには，より省メモリ，低計算コスト，低消費電ような AR アプリケーションの実現性が高まってきた．

力であることを特徴とする実現手法が重要となってく

多くの AR 技術が提案されているが，中でも画像処ると考えられる．

理に基づくマーカーレス AR 技術は適用範囲が広く，そこで本研究では，モバイルデバイス上で AR を実AR アプリケーションを実現する上で有効な方向性で現するための，高速でメモリ効率の良い特定物体認識あるといえる．特に近年では，特定物体認識の技術を手法を提案する．提案手法では，特定物体認識に必要応用することにより，マーカーレス AR を高精度で実な局所特徴量の計算コストを大幅に削減することで，高速化を実現した．また，局所特徴量のデータを単精† 株式会社デンソーアイティーラボラトリ
DENSO IT Laboratory, Inc.

度実数のベクトルからデータ量の小さいバイナリコード列に変換することで，特徴量同士の比較における計情報処理学会 インタラクション 2011

算コストを削減するとともに，データベースサイズのかしながら，情報を重畳したい対象，もしくはその付削減を実現した．本文では，実行速度，メモリ効率，近に 2 次元コードを付与する必要があるため，適用範画像検索精度の３点についての評価結果を述べる．

囲が限られる．例えば，屋外のランドマークや大きな看板等に情報を提示するような AR アプリケーションには不向きである．
さらに，画像処理を用いた手法の中には，前述の 2次元コードを使わず，撮影対象を画像を用いて識別し，AR を実現する手法が提案されている．Taketa らは，テンプレートマッチングで対象を識別し，その後，特徴点をトラッキングすることで，絵本の上に 3 次元仮図 1 画像認識によるマーカーレス AR システム
Fig. 1 Markerless AR system based on computer vision

想物体を重畳表示する手法を提案した4) ．この手法は，対象物に 2 次元コードを付与する必要性がなく応用範囲が広い．

2.2 特定物体認識に基づく AR
マーカーレス AR の究極的な目標を，『カメラをかざすだけで，対象の情報が取得できる』こととするならば，より多くの対象を識別できる対象識別能力と，画像中の対象の位置を同定する能力が必要となる．そこで近年では，局所特徴量を用いた特定物体認識手法に基づく AR システムが提案されている．特定物体認識
図 2 従来の AR システム
Fig. 2 Well-known AR systemsとは，データベース中の参照画像と，入力画像に共通して含まれる対応点を求めることで画像検索を行う手法であり，大規模な画像検索に成功した事例が多く報告されている15) ．また，対応点の情報から，参照画像

2. 関 連 研 究に対する入力画像の相対位置関係が計算できるため，カメラで撮影した画像に情報を重畳するためには，マーカーレス AR に広く応用されている．

何らかの方法で対象を識別し，その対象の画像中の位Lowe により提案された SIFT 特徴量は画像の局所置を特定しなければならない．本節では，その既存手特徴量として最も成功した事例であり，あらかじめ登法と本研究の位置づけについて述べる．

録された複数の対象物を，高精度で検出および識別することに成功している8) ．多くの特定物体認識は，こ

2.1 既 存 手 法
画像を用いない単純な実現方法としては，GPS と電の SIFT や，SIFT を高速化した SURF 特徴量7) に基2)子コンパスを併用する手法が挙げられる (図 2-(a)) ．

づいている．Chen らは，モバイル端末で撮影した画

この手法は，あらかじめデータベース上に対象物体の像から SURF 特徴量を抽出し，ネットワークを通じ位置を記憶しておき，ユーザの位置とカメラの向きにてサーバ側に特徴量を送信することで，物体認識をす基づいて，現在のカメラの画角内にある対象物の位置る AR アプリケーションを構築した9) ．この研究では，を推定する．センサーを搭載していれば実装は比較的

20000 種類の本と CD を識別する AR アプリケーショ容易であるが，ユーザの位置とカメラの向きの推定精ンを実現している．このように，SIFT，SURF など度は，GPS と電子コンパスの精度に依存するため，例の局所特徴量を用いた物体認識手法は，色ヒストグラ

えば図 1 のように，撮影対象に正確に情報を重畳するム等を利用するテンプレートマッチングと比較し，画ことができないという欠点がある．

像の特徴を記述する能力が高く，多くの対象を識別す画像処理を用いた成功例として，2 次元コードを用るのに有効である．

いた手法が挙げられる (図 2-(b))3) ．この手法では，2しかしながら，局所特徴量をベースにしたマーカレ

次元コードが印刷されている平面に対する自分のカメ

ス AR をモバイルデバイス上で実現するには以下の 3

ラの姿勢を，高速かつ高精度に推定することが可能でつの問題点がある．

ある．また，2 次元コードは大量のコードパターンを(1)容易に作成できるため，多様な対象を識別できる．し局所特徴量抽出の計算コストが高い

SIFT は計算コストが高く，モバイルデバイス

高速特定物体認識手法を用いたモバイルデバイスでのリアルタイム AR(2)上での実装に不向きである．SURF は SIFT よ

小さなメモリやストレージ上でも動作可能としりも高速であるが，それでもなお AR のためにた．また，バイナリコード化に必要な変換行列は不十分である．

を疎行列とすることで，高速なバイナリコード局所特徴量のサイズが大きい化を実現した．

局所特徴量は，単精度実数で表現された数百次元のベクトルで表現される．一枚の画像から数(3)3. 提 案 手 法

百〜数千の局所特徴量が抽出されるため，その最初に，提案手法の処理の概要を説明し (図 3)，次データ量は数十キロ〜数メガバイトになる．モに本手法を具体的に処理の段階に分けて説明する．

バイルデバイス上での主記憶領域にデータベー3.1 概スを保持することは非常に困難である．

まず始めに，入力画像から局所特徴量を抽出する．

局所特徴量のマッチングの計算コストが大きい

要

局所特徴量を用いた対応点探索は，局所特徴量スケール不変な局所特徴量を得るために入力画像を√
1/ 2 ずつ縮小し，4 層のピラミッド画像を構築する．

同士の L2 距離を計算する．この高次元のベク

そして，各層の画像に対して特徴点抽出手法10) を適

トル同士の距離計算は計算負荷が極めて高い．

用する．各層の特徴点周辺（半径 25 ピクセル）領域

k-d tree などの近似最近傍探索アルゴリズムをについて回転に不変な FAST GLOH 特徴量を計算用いて高速化することもできるが，それでもなし，Sparse Projection によってバイナリコードに変お，その計算コストは大きい．

換する．
次に，入力画像に含まれるバイナリコードに最も近2.3 本研究の位置づけ
そこで本論文では，モバイル端末上でも高速に計算いバイナリコードをデータベースの中から検索し，対できる FAST GLOH 特徴量と，局所特徴量のデータ応付ける．バイナリコード間の距離としては，ハミンサイズを削減するバイナリコード化処理を備えた，ARグ距離を用いる．データベースには，あらかじめ識別のための特定物体認識手法を提案する．提案手法は計

対象を撮影した参照画像から抽出したバイナリコード算負荷が低くメモリ効率が良いため，モバイル端末単を登録しておく．データベース中において，最も多く体で動作する．従って，Chen らのシステムのように，類似した対応点を持つ画像を検索結果とする．最後に，サーバーサイドの識別処理が不要である．表 1 に関連

この対応点の情報から，検索結果画像に対する入力画研究との比較をまとめる．

像の相対位置関係を記述するホモグラフィー行列を計算する．ホモグラフィー行列に基づき，入力画像に対

表 1 既存手法と提案手法の比較
Table 1 Cmparison with related works手法重畳の精度

GPS
2 次元コード
テンプレート
局所特徴量
提案手法

×識別数

計算量/メモリ量

して情報の重畳表示を行う．
マーカー

(不要)
×(要)
44×

3.2 FAST GLOH 特徴量
FAST GLOH 特徴量は，GLOH(Gradient locationorientation histogram) 特徴量12) を元にした高速に計算可能な局所特徴量である．局所特徴量の中でも，GLOH は patch を円形にし，さらに subpatch の形状を扇型にすることによって回転不変性を高めたものであり，SIFT よりも画像特徴の記述能力が高いこと

本論文の特徴をまとめる．

(1)

(2)

FAST GLOH 特徴量が知られている．
従来の SIFT11) や SURF7) ，GLOH などのエッジ方向ヒストグラムに基づく局所特徴量抽出にお方向ヒストグラムに基づく局所特徴量は，次のようないて，ボトルネックであった特徴点周辺のパッ手順で求められている．

チの回転演算および微分の演算を大幅に削減す(1)

特徴点の周辺領域（patch）を微分する．

ることにより，高速化を実現した．

(2)

patch 内のエッジ方向ヒストグラムのピークをSparse projection によるバイナリコード化
単精度実数で表現された数百次元のベクトルか求め，主軸とする (図 4-(a))．

(3)

らなる局所特徴量を 64〜128bit 程度のバイナ

主軸が上を向くように patch を回転させる(図 4-(b))．

リコードに変換し，局所特徴量のデータサイズ(4)

再び patch 内を微分する．

を圧縮することで，モバイルデバイスのような(5)

patch 内を複数の subpatch に分割し，sub-情報処理学会 インタラクション 2011

図 5 FAST GLOH 特徴量
Fig. 5 FAST GLOH

め 40 通りの subpatch の回転パターンを計算しておき，メモリ上に保存しておけば，周辺ピクセルがどのsubpatch に属するかを一度のメモリアクセスだけで
図 3 提案手法の概要
Fig. 3 proposed system

決定できる．また，微分方向の補正量についても，あらかじめ補正パターンを用意しておけば，こちらも一度のメモリアクセスだけで決定できる．

patch ごとにエッジ方向ヒストグラムを求める．

3.3 バイナリコード変換：Sparse Projection

以上の処理は，patch 内で微分が 2 回行われており，次に，FAST GLOH 特徴量をバイナリコード化す冗長である．また主軸が上を向くように patch を回転る．バイナリコード化することにより，実数からなるさせるとき，サブピクセル単位での画像変換に伴い膨

ベクトルデータよりも小さなデータ量で特徴量を表現大な浮動小数点演算が行われるため，非常に計算コスできるようになる．また，局所特徴量同士の距離計算トが高い．

を単純なハミング距離計算で置き換えられるようになるため，後段のマッチングの速度を高速化できる．このバイナリコード化の最も古典的な方法として，次のrandom projection が広く用いられている．
入力ベクトル v ∈ RD に対して，d 次元 (ビット) のバイナリコードは，次式 1 で与えられる．

sgn[wkT v] + 1, k = 1, ...d(1)2hk (v) は，バイナリコードの k 番目のビット値であり，hk (v) =図 4 GLOH 特徴量
Fig. 4 GLOH

D は局所特徴量の次元数である．入力ベクトル v は，事前にデータの平均が原点になるようにオフセットを加え，さらに原点からの L2 距離が 1 になるように正一方で，FAST GLOH 特徴量は，主軸が上を向くよ規化しておく．wk は，D 次元空間において，中心がうに patch を回転させるのではなく，subpatch のパ原点の半径 1 の超球上の点から，一様分布に従ってラターン自体を回転させる (図 5)．このとき，subpatchンダムにサンプリングしたベクトルである．

内のエッジ方向は，主軸の傾き分だけずれていること

バイナリコードのハミング距離は，その極限においになるため，それぞれ微分方向から主軸の傾きを引くて，元の入力ベクトルの空間におけるコサイン距離とことで補正する．この方法は微分の計算が一度だけで一致する．任意の二つのベクトル v1 , v2 を hk (v) に済み，patch のサブピクセル単位での回転変換も不要

よって変換したとき，それぞれのビットが異なる値にであるため，非常に高速である．

なる確率が，v1 と v2 のベクトルが成す角度 θ に比例以上の手順は，ルックアップテーブルを用いることで，さらなる高速化が可能である．例えば，あらかじすることが知られている13) ．

高速特定物体認識手法を用いたモバイルデバイスでのリアルタイム AR

arccos(v1 T v2 )(2)π左辺の確率の値は，バイナリコードのハミング距離とLocality Sensitive Hashing(LSH) を用いた．LSH にみなせる．このため，十分長いビット列を求めれば，参照画像のヒストグラムに 1 票投票する．入力画像

元の空間におけるベクトルのコサイン距離とそのハミに含まれる全ての局所特徴量に対して投票処理を適用ング距離が一致するのである．FAST GLOH 特徴量し，類似する特徴点を最も多く持つ参照画像を検索結の場合，128 ビット程度で十分であることを実験的に果画像とする．

Pr(hk (v1 ) 6= hk (v2 )) =確かめた．これについては次節で詳しく述べる．

よって，類似する局所特徴量が見つかった場合，その特徴点が含まれる画像 ID をデータベースから調べ，3.6 重 畳 表 示

また，w を一様分布からサンプリングするのではな
く，次のようにサンプリングしても，式 2 が近似的に成立することが知られている14) ．

wi =



 +1

with prob.

1√
2 D0with prob.

1 − √1D

 −1 with prob.

(3)

1
√
2 D

これは，very sparse random projection と呼ばれる．

図 6 入力画像と検索結果画像間における対応点
Fig. 6 Corresponding points between query image andretrieved image

このときの w は疎行列であり，かつ非ゼロの要素が-1または+1 のみで構成されているため，wT v の計算に特定物体認識が完了すると，入力画像と検索結果画おいて乗算が不要であり，また加減算の回数が非常に像間における，対応点のリストが得られる (図 6)．こ少なくてすむという利点がある．この特徴を活かし，のリストを用いて，検索結果画像 (x, y) から入力画像

Fast GLOH 特徴量を式 1,3 に基づいてバイナリコー座標 (X, Y ) へ写像するホモグラフィー行列 H を計算ド化する．D = 136, d = 128 であるときのバイナリする．この行列 H を用いることで，データベースのコード化による計算コスト削減の効果を表 2 にまとめ参照画像上の座標を，入力画像における座標に変換でる．表 2 から特徴ベクトルの次元数 D が大きいほど，きる．そこで，あらかじめ重畳したい情報を座標位置計算コスト削減に有効であることがわかる．

とともにデータベースに登録しておくことで，入力画表 2 バイナリコード化の計算回数の比較
Table 2 Comparison of computation steps for binary
encoding
計算方法

乗算

加算

乗算と加算回数の総和

random proj.
sparse proj.

d×D
0d × (D − 1)

34688
1482

d×(D−1)√D

像にアノテーションを加えることができる．

4. 評 価 実 験
提案手法の有効性を検証するため，その特徴である

FAST GLOH 特徴量，Sparse Projection およびシステム全体の評価を行った．

4.1 FAST GLOH 特徴量および Sparse Projection の計算速度

3.4 データベースの構築

SIFT，SURF，FAST GLOH の計算時間と，FASTあらかじめデータベースに登録する検出対象を撮影

GLOH を Sparse Projection によってバイナリコードした参照画像も同様にバイナリコードに変換された特に変換したときの計算時間を比較した結果を，図 7 に徴量で表現する．このため，参照画像 Ii に含まれる特示す．横軸は画像サイズ，縦軸はフレームレートであ徴点の数を Mi と定義すると，データベースのレコー

る．1024 × 768 ピクセルの画像を 5 枚用意し，計算時ド数は，Mi となる．それぞれの特徴点ごとに，そi間の平均をプロットした．低解像度の画像は，画像をの特徴点が属する参照画像の ID と，その特徴点の参縮小して生成した．実験に用いた計算機は Intel Core∑

照画像中での位置をデータとして付加しておく．

2 6400 2.13GHz, メモリ 3GB のデスクトップ PC で3.5 特定物体認識あり，開発環境は Matlab および Visual C++ 2008

データベースに含まれる局所特徴量の中から最も類を用いた．

似する局所特徴量を検索し，投票による原理で近しい提案手法は，SIFT，SURF よりも 2 倍以上高速に参照画像をデータベースから探し出す15) ．ここでは，特徴量を計算できることが示された．また，Sparse

ハミング距離用の近似最近傍探索アルゴリズムとして，Projection によってバイナリコード変換を行っても，

情報処理学会 インタラクション 2011

処理速度はほとんど変化しなかった．このことから，

Sparse Projection 手法は，特徴量の計算時間に影響を与えない程度の計算量でバイナリコードに特徴量を変換できることが示された．

図 8 Sparse Projection と Random Projection の性能比較
Fig. 8 Computational performances between S.P. andR.P.

が向上することが分かった．このことから，提案手法
図 7 局所特徴量の計算速度
Fig. 7 Computational performances of obtaining localdescriptorsの Sparse Projection は，画像検索の精度と速度を両立させる優れた手法であるといえる．

4.3 特定物体認識の性能評価
4.2 Sparse Projection のハミング距離精度

次に，提案手法の特定物体認識の性能評価について

Sparse Projection および Random Projection に述べる．まずはじめに，一般的な雑誌の誌面やポスよって得られたバイナリコードのハミング距離は，元ターなど 2 次元コンテンツを 50 枚程度データベースの特徴空間におけるベクトル間角度を近似したものでに登録し，認識精度を評価したところ，SIFT を用いたある．Sparse Projection は，射影ベクトルが疎であ従来手法，提案手法いずれの場合においても 100% のるという制約を加えているため，Random Projeciton

True Positve が達成された．この予備実験の結果から，よりもハミング距離の近似性能が劣化する可能性があ

提案する局所特徴量の記述能力の高さがが伺えるが，る．そこで，Sparse Projection によって作成される従来手法との性能比較を精査するために，3 次元の物バイナリコードの性能を評価した．

体画像データベースである Recognition Benchmark

関連文献17) で採用されている評価方法に従い，近Images16) を用いて性能を追試した．このデータセッ

傍探索性能を評価した結果を図 8 に示す．横軸は

トは，3 次元物体がいくつかの方向から撮影されていビットコードの長さであり，縦軸は近傍探索性能をるため，2 次元コンテンツよりもはるかに認識が困難MAP(mean average precision) で評価した結果であであるという特徴を持つ．

る．以下，評価の方法を簡潔に記載する．評価用に準Recognition Benchmark Images の中から，同一対備した複数枚の画像から 20000 点の局所特徴量をラン

象の 4 枚の画像を 1 セットとし，合計 100 セットを評ダムに選択し，1000 点をテストデータ，19000 点を訓価対象とした (図 9)．1 セットの中から 1 枚をデータ練データとして抽出した．局所特徴量をバイナリコーベース用の画像とし，残りを 3 枚をクエリ画像として，ド化する前に，訓練データの局所特徴量の平均を求めそれぞれデータベース画像合計 100 枚，クエリ画像合ておき，テストデータの重心を補正した．テストデー

計 300 枚を準備した．評価は，SIFT，FAST GLOH，タに対して，もともとの特徴空間 (RD ) で，上位 2%128bit にバイナリコード化した FAST GLOH，64bitの近傍にある局所特徴量を正しい近傍点であると定義にバイナリコード化した FAST GLOH の 4 つの特徴し，ハミング距離空間内においても正しい近傍が得ら量を用いて行った．実験環境は，前述の二つの評価実れるかを評価した．なお，実験環境は，前述の評価実験と同条件とした．4 つの特徴量を用いた認識結果の験と同条件とした．

ROC 曲線を図 10 に示す．

結果，図 8 に見られるように Sparse Projection と

図 10 から分かるように，SIFT 特徴量には及ばぬもRandom Projection に顕著な性能差は見られず，両のの，128bit 表現による Fast GLOH 特徴量は False

方ともビットコードを長くすればするほど，近似性能

Positive が 1% のときに True Positive が 40% 以上と高速特定物体認識手法を用いたモバイルデバイスでのリアルタイム ARはメモリ使用量という観点から非常に優れているといえる．

図 9 特定物体認識の精度評価のためのデータセット
Fig. 9 Image dataset for evaluation

表 3 提案手法におけるメモリ使用量
Table 3 Memory usage of our proposing method
内訳

提案手法

SIFT

データベース中の特徴量のサイズの総和

1.7MB
2.2MB

54MB
-LSH に必要なメモリサイズ

4.4 AR アプリケーションとしての評価
従 来 環 境 Windows PC と モ バ イ ル デ バ イ ス(iPhone4) 上で，提案手法による AR アプリケーションを実装し，その応答速度を評価した．データベースに約 50 ページ分程度の本や表紙を登録し，各ページ上にコンテンツを重畳表示する AR アプリケーションを実装した．図 11 に，iPhone4 で動作するアプリ
ケーションの例を示す．図 11 から，データベース上に登録されている画像上の適切な位置に複数のコンテンツを重畳表示できていることがわかる．表 4 にアプリケーションの実行時の計算速度を示す．Windows
図 10 ROC 曲線
Fig. 10 ROC curve

PC の実験環境は前述の 3 つの実験と同条件で，モバイルデバイスは iPhone4(iOS4.1) を利用した．

いう高い性能を達成することができた．なお，SIFT特徴量よりも性能が劣った主要な原因として，主軸の回転パターンの粒度を 40 通りに制限したことから生じた，量子化誤差の影響があると考える．従って，主軸の回転パターンの粒度を 360 通りにするなど，量子化誤差の影響を極力回避することで，更なる性能改善が達成できると考える．

128bit にバイナリコード化した FAST GLOH 特徴

図 11 iPhone で動作するテスト AR アプリケーション
Fig. 11 Prototype of AR application on iPhone

量は，バイナリコード化を適用しない FAST GLOH特徴量と同等の性能であった．一方，64bit の場合は顕著な性能劣化が見られた．従って，FAST GLOH 特徴量のバイナリコード長としては 128bit 程度が適切であると考えられる．
次にメモリ使用量の観点から考察する．この実験と同条件で 100 枚の画像を登録したデータベース中の特表 4 応答速度
Table 4 Speed of response
環境

1 フレームの画像の認識にかかる時間

Windows PC
iPhone4

84 msec(11.9Hz)
500msec(2Hz)

徴量のサイズ，物体認識時に必要なメモリ量を表 3 に示す．提案手法の特徴量が 128bit のバイナリコード

本システムは，表 4 に示した程度の性能で，認識結であるのに対し，SIFT 特徴は 128 次元の実数ベクト果をオンラインで重畳表示できることがわかった．特ルである．SIFT 特徴を単精度の実数で表現した場合，に，モバイルデバイスである iPhone4 では，デバイスデータベースサイズは，提案手法の 32 倍の 54MB に単体で 2Hz の速度で物体認識が可能であった．Chenも達し，モバイルデバイス上での実装は困難である．

らの実験結果では9) ，リモートサーバー上でほとんど一方，表 3 からわかるように提案手法は，実行時のメの計算を実行しているにも関わらず，特徴量抽出と認モリ使用量も少なく，モバイルデバイスの主記憶領域識に合計で 650msec の計算時間を要している．この上に十分展開可能なサイズである．従って，提案手法関連研究と本研究の結果を比較すると，計算リソース

情報処理学会 インタラクション 2011がかなり限定された iPhone4 でこの応答速度を実現できる提案手法は，非常に有用であるといえる．
今回の実験では，50 ページの画像をデータベースに登録した．このデータベースへの登録画像の数が増えると LSH によるマッチングの処理時間が長くなる．
提案手法によって大規模な画像検索を実現するために，LSH の近傍探索性能を向上させることが今後の課題である．LSH の高速化に関する研究は文書検索や Webサービスの分野を中心に多く行われており，これらの研究成果を取り入れてゆく予定である．

5. ま と め
計算資源が限られたモバイルデバイス上で AR アプリケーションを実現する手法を提案した．提案手法は，高速に計算できる局所特徴量 FAST GLOH，特徴量を高速にバイナリコードに変換する Sparse Projectionの二つの仕組みから成り立っており，iPhone に代表されるようなモバイルデバイスでも動作が可能であることを示した．提案手法を用いて iPhone4 の実機上でAR アプリケーションを実装し，認識速度を評価した
結果，従来研究のサーバーサイドでの物体認識速度と同レベルの速度で動作することを示した．今後は，上述の大規模な画像検索の実現とともに，提案手法を用いて実装した AR アプリケーションのユーザビリティ評価等も行っていく予定である．

参 考文献

1) Gionis, A., Indyk, P. and Motwani, R.:Similarity
Search in High Dimensions via Hashing, Proceedings of the 25th International Conference
on Very Large Data Bases table of contents,
pp.518-529(1999)
2) セカイカメラ, http://sekaicamera.com/
3) 暦本純一:2 次元マトリックスコードを利用した拡張現実感の構成手法, Workshop on Interactive
Systems and Software(1996)
4) Taketa, N., Hayashi, K., Kato, H. andNoshida, S.:Virtual Pop-Up Book Based on
Augmented Reality, HUMAN INTERFACE
AND THE MANAGEMENT OF INFORMATION. INTERACTING IN INFORMATIONENVIRONMENTS, Lecture Notes in Computer Science, Volume 4558, pp.475-484(2007)
5) Sivic, J. and Zisserman, A.:Video Google:A
Text retrieval Approach to Object Matchingin Videos, Proceedings, IEEE International
Conference on Computer Vision, pp.14701477(2003)
6) Lowe, D. G.:Object recognition from local

scale-invariant features, International Conference on Computer Vision, Corfu, Greece,
pp.1150-1157(September 1999)
7) Bay, H., Ess, A., Tuytelaars, T. and Gool,
L. V.:Speeded-Up Robust Features (SURF),
Computer Vision and Image Understandingarchive, Volume 110, Issue 3, pp.346-359(2008)8) Lowe, D. G.:Distinctive image features fromscale-invariant keypoints, International Journal of Computer Vision, Volume 60, No.2,
pp.91-110(2004)
9) Chen, M. D., Tsai, S. S., Vedantham, R.,
Grzeszczuk, R. and Girod, B.:Streaming Mobile Augmented Reality on Mobile Phones,
8th International Symposium on Mixed andAugmented Reality, Orlando, Florida, (October 2009)10) Shi, J. and Tomasi, C.:Good features to track,
Computer Vision and Pattern Recognition,
Proceedings, IEEE Computer Society Conference, pp.593-600(1994)
11) Rosten, E. and Drummond, T.:Fusing points
and lines for high performance tracking, IEEEInternational Conference on Computer Vision,
Volume 2, pp.1508-1511(2005)12) Mikolajczyk, K. and Schmid, C.:A Performance Evaluation of Local Descriptors, IEEE
TRANSACTIONS ON PATTERN ANALYSISAND MACHINE INTELLIGENCE, Volume
27, No.10, pp.1615-1630(2005)
13) Goemans, M. X. and Williamson, D.,
P.:Improved approximation algorithms formaximum cut and satisfiability problems using semidefinite programming, Journal of theACM 42, Volume 6, pp.1115-1145(1995)
14) Li, P., Hastie, J. T. and Church, W. K.:Verysparse random projections, Proceedings of the12th ACM SIGKDD international conferenceon Knowledge discovery and data mining,pp.287-296(2006)
15) Jegou, H., Douze, M. and Schmid, C.:Improving
Bag-of-Features for Large Scale Image Search,
International Journal of Computer Vision, Volume 87, Issue 3, pp.316-336(2010)16) Nister, D. and Stewenius, H.:Scalable recognition with a vocabulary tree. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Volume 2, pp2161-2168(2006).
17) Wang, J., Kumar, S. and Chang, S.:SequentialProjection Learning for Hashing with Compact
Codes, In Proc. of the 27th International Conference on Machine Learning, (2010)