名 称及び氏名

博士（工学）

学位授与の日付

平成 24 年 3 月 31 日論

局所特徴量を用いた特定物体認識に関する研究

文

名論文審査委員

井上勝文

主査

黄瀬浩一

副査

汐崎陽

副査

吉岡理文

論文要旨
近年，スマートフォン等の携帯端末が，多くの人々に普及してきている．また，このよ
うな携帯端末機器の高性能化が著しく，特にカメラ機能の性能には目を見張るものがある．
近年これらの携帯端末機器を用いて撮影された画像を入力キーとした，新しい情報検索サービスが開始されつつある．このようなサービスの一つに，ユーザがある物体に関して十分な知識を有していなくも，ユーザがその物体を携帯端末機器で撮影することにより，インターネットから有益な情報を入手できるものがある．このようなサービスを提供する場
合，撮影対象物体が何であるかを認識する物体認識技術が必須となる．
物体認識は，一般物体認識と特定物体認識に大別される．前者は，椅子，自動車などの物体のクラスを結果として返すのに対して，後者は例えば自動車の特定のモデルなど，インスタンスを結果として返すものである．本論文では，上述のようなある特定物体の情報を得るサービスを実現するために，後者の特定物体認識に焦点を当てて話を進める．その中でも特に，SIFT(Scale-Invariant Feature Transform)に代表される局所特徴量を用いる手法に着目する．この手法は，高い認識精度を得ることができるため，近年コンピュータビジョンの分野で盛んに研究されているものである．
我々の周囲には無数の物体インスタンスが存在するため，上述のサービスを真に実用的なものにするには，識別できる物体数の大規模化が必須である．SIFT 等の局所特徴量は，物体の各部位（局所領域）を数十次元以上の実数値ベクトルで表現するものであり，高い識別性を有しているため，多数の物体を識別する目的に適している．従来の局所特徴量を用いた物体認識手法では，局所特徴量を組み合わせて「物体モデル」を作成する．そして，作成された各物体の物体モデルと検索質問画像とを照合し，最も類似度の高い物体を認識結果とする．

このようなアプローチを用いた最も単純な物体認識手法に，最近傍探索と投票処理に基づくものがある．この手法では，あらかじめ既知の局所特徴量にどの物体から抽出されたかを示す物体 ID を付与しておき，検索質問画像から得られる局所特徴量との距離を計算し，最も距離の近い局所特徴量の物体 ID を得る．そして，その物体 ID を持つ物体に投票する．
この処理を繰り返し，最も得票数の多い物体を認識結果とする．本論文で提案する手法は全てこの概念に基づく．この手法は，単純であるが高い認識精度を得ることができる．しかし，大規模な物体認識を行うには，まだいくつかの障害を乗り越える必要がある．考えられる最も大きな障害は，以下の三つである．
一つ目の障害は，処理時間である．一般的に，局所特徴量は一枚の画像より数百個以上抽出される．このため，大規模な物体認識を行うには，局所特徴量の最近傍探索の効率化が必須である．幸いこれまでに，近似的に局所特徴量の最近傍を求める近似最近傍探索手法が多数提案されている．本研究では，処理時間に関する問題は，既存のハッシュ表に基づく近似最近傍探索を導入することにより対処する．
二つ目の障害は，メモリ使用量である．上述のように，認識対象物体が増加すると，認識に関与する局所特徴量の数が膨大となるため，これらの保存に莫大なメモリが必要となる．これまでに，局所特徴量を量子化するなどのメモリ削減法が提案されている．これらの手法は，複数の局所特徴量を一つの代表となる局所特徴量でまとめて表現することによりメモリ使用量を削減している．しかしこの手法では，個々の局所特徴量を詳細に区別することが難しくなる．本論文では，この問題に対して，以下のアプローチに基づくメモリ削減法を提案する．
第一のアプローチは，局所特徴量の取捨選択である．上述したように，一般的な特定物体認識手法では，最近傍探索によって局所特徴量を照合する．提案手法ではこの点に着目し，局所特徴量の物体認識に対する貢献度の違いを見つけ，この性質を利用して局所特徴量の保存に必要なメモリ使用量を削減する．具体的には，物体モデル構築用画像から得られた全ての局所特徴量を用いて物体認識シミュレーションを行い，どの物体の局所特徴量に対応付いたかを調べる．この情報をもとに，局所特徴量の物体認識に対する貢献度の違いを調べ，より貢献度の高いものから順にメモリ使用量が限度に到達するまで物体モデルへ登録する．
第二のアプローチは，局所特徴量の照合手法を距離計算に基づかないものに変更することである．具体的には，各局所特徴量に対して ID を割り振り，この ID が一致するかで照合を行う．本研究では，このような局所特徴量の照合方法を，局所特徴量の「一致検索」と呼ぶ．一致検索では，局所特徴量自体ではなく，局所特徴量の ID のみを記録するため，局所特徴量の保存に必要なメモリ使用量を大幅に削減できる．この考えのもと，本論文では空間効率の良い Bloomier Filter と呼ばれる確率的データ構造を用いる手法を提案する．
Bloomier Filter とは，登録される要素に関連する値を返す連想配列である．提案手法では，これを用い局所特徴量を符号化し，この符号が一致するかどうかで局所特徴量を照合する．

この手法では，小さなハッシュ表を用いることで，認識処理全体に必要なメモリ使用量も削減しつつ，複数のハッシュ関数を用いて局所特徴量の識別性を高めている．
三つ目の障害は，認識精度である．認識精度を低下させる要因は，物体の類似性である．
認識対象物体が増加すると，それらの中に互いの見た目が酷似するものが含まれる可能性が高くなる．これらの個体差を区別するには，物体モデルに登録される局所特徴量の数は多い方が良い．しかし，局所特徴量の登録数が増加すると，処理時間やメモリ使用量に影響する．このため，これらにできるだけ影響を与えずに多くの局所特徴量の情報を扱う必要がある．上述した提案手法のような局所特徴量の一致検索に基づく認識手法は，小容量でリアルタイム認識が可能である．ところが，特に三次元物体を対象とした従来の研究では，上述のような手法の検証に用いられている三次元物体データセットは小規模なものが多い．例えば，COIL-100 等の一般的なデータセットには，100 物体程度しか含まれておらず，物体数の違いが手法に与える影響を検証するには十分であるとは言い難い．このため，上述の影響を議論するには，より大規模な三次元物体データセットが必要である．そこで，
本研究では独自に 1002 個の三次元物体データセットを作成し，検証に用いる．また，COIL-100 に含まれる物体に着目すると，COIL-100 には物体構造の単純なものが多い．しかし，一般的に物体データセットを構成する物体が構造の単純なものに偏るとは限らない．
そこで，本研究では作成する 1002 個の三次元物体データセットの構成を COIL-100 と異なるものとし，物体データセットの構成の違いが手法に与える影響についても検証する．
本論文の構成は以下の通りである．
まず第 1 章では，本研究の背景や従来の物体認識手法におけるメモリ使用量の問題について言及する．
第 2 章では，局所特徴量の取捨選択に基づくメモリ削減法について詳しく説明する．提案手法のアプローチは，物体認識に有効な局所特徴量のみを物体モデルに登録することである．提案手法では，物体モデル構築用画像から得られる局所特徴量を用いて，物体認識シミュレーションを行い，局所特徴量の物体認識に対する貢献度の違いを調べる．そして，貢献度の高いものから順に物体モデルへ登録する．これにより，認識精度をできるだけ落とすことなく，局所特徴量の保存に必要なメモリ使用量を削減する． 55 個の三次元物体データセット及び COIL-100 を対象とした実験より，メモリ使用量をそれぞれ約 1/140，約1/18 に削減した物体モデルで，92.9%，93.6%の認識率を得た．
第 3 章では，Bloomier Filter を用いたメモリ削減法について詳しく説明する．Bloomier
Filter を用いた提案手法は，特徴ベクトルの照合に一致検索を用いてメモリ削減を実現するものである．提案手法では，Bloomier Filter を用い特徴ベクトルを符号化し，この符号が一致するかどうかで特徴ベクトルの照合する．1 万個の二次元物体を用いた実験より，木構造及びハッシュ表を用いた従来のメモリ削減法と比較して，同程度の認識率を得るのに必要なメモリ使用量を，それぞれ約 1/7，1/3 に削減することができた．また，55 個の三次元物体を用いた実験では，従来手法と比較し，同程度の認識率を得るのに必要なメモリ使用量を，それぞれ約 1/20，1/8 にできることも分かった．
第 4 章では，物体数の違いや，物体データセットの構成の違いが，第 3 章で提案した一致検索に基づく物体認識手法に対して与える影響について検証する．本論文では，物体データセットの違いを，物体数及び物体データセットの構成の違いと定義し，これらが物体認識手法に与える影響について議論する．本研究では，COIL-100 に加え，独自に作成した1002 個の三次元物体データセットも用いて，これらの影響について検証する．実験結果より，物体形状の複雑さよりもテクスチャの豊富さの方が，局所特徴量の一致検索に基づく物体認識手法の認識精度に大きく影響を与えることが分かった．また，物体数が増加すると，形状の類似する物体は，互いに誤認識しやすいことが分かった．
最後に第 5 章では，本研究で得られた結果を総括すると共に，今後の研究課題について述べる．

審査結果の要旨
本論文は，局所特徴量と呼ばれる画像特徴量を用いて特定物体を認識する手法に関する研究成果をまとめたものであり，次の成果を得ている．
（１） 局所特徴量を用いた特定物体認識では，局所特徴量を記録するために必要なメモリ量の増大が大きな問題であること，特に局所特徴量どうしの距離計算に必要となるデータ量がその主因であることを指摘した．また，削減のための一方策として，距離計算を排除し，量子化した局所特徴量が一致するかどうかを試す「一致検索」が有効であることを示した．
（２） 局所特徴量の中には認識に有効なものとそうでないものがあることに着目し，物体認識シミュレーションを通して算出した認識への「貢献度」に基づいて，有効な局所特徴量を取捨選択する手法を考案した．また，実験を通して無作為選択に対して大幅な改善効果があることを示した．
（３） 局所特徴量を記録するデータ構造として，従来のハッシュ表に比べて大幅にメモリ量を削減可能な Bloomier filter に着目し，それを用いた物体認識手法を提案した．また，提案手法の有効性を大規模な物体認識実験によって検証した．
（４） 特定物体認識を真に有効なものにするには，大規模な物体認識実験が必要である
こと，しかし従来から用いられてきたデータセットではこれを実現できないことを指摘し，問題解決のため，独自に 1002 物体からなるデータセットを構築した．

また，物体認識実験を通して，物体数の違いや物体データセットの構成の違いが，物体認識手法に与える影響について検証した．その結果，物体形状の複雑さよりも物体表面のテクスチャの豊富さが認識精度に影響を与えることがわかった．
以上の諸成果は，局所特徴量を用いた特定物体認識において，必要なメモリ量の大幅な削減を実現するものであり，画像に基づく物体認識の発展に貢献するところ大である．また，申請者が自立して研究活動を行うのに必要な能力と学識を有することを証したものである．