(57)【要約】【課題】画像内の被写体を認識する際に、認識精度を向上させることができる被写体認識装置を提供する。【解決手段】被写体を撮影した映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって被写体上の同一箇所から抽出した複数の特徴点を統合した映像特徴量を出力するクエリ特徴量出力手段と、データベースに記憶されている全ての画像のそれぞれから特徴点を抽出し、抽出した特徴点を統合したデータベース画像特徴量を出力するデータベース特徴量出力手段と、映像特徴量と、データベース画像特徴量とを照合し、データベースに記憶されている画像の中から被写体の画像の候補を選択して出力する照合手段とを備えた。【選択図】図１
2014102810.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影した映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の前記特徴点を統合した映像特徴量を出力するクエリ特徴量出力手段と、
データベースに記憶されている全ての画像のそれぞれから特徴点を抽出し、抽出した前記特徴点を統合したデータベース画像特徴量を出力するデータベース特徴量出力手段と、
前記映像特徴量と、前記データベース画像特徴量とを照合し、前記データベースに記憶されている画像の中から前記被写体の画像の候補を選択して出力する照合手段と
を備えたことを特徴とする被写体認識装置。
【請求項２】
前記クエリ特徴量出力手段は、
抽出した前記特徴点の特徴量から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記映像特徴量を求めることを特徴とする請求項１記載の被写体認識装置。
【請求項３】
前記クエリ特徴量出力手段は、
抽出した前記特徴点の中で最も時系列順で最後に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記映像特徴量を求めることを特徴とする請求項２に記載の被写体認識装置。
【請求項４】
前記クエリ特徴量出力手段は、
抽出した前記特徴点のうち時系列順で中央に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記映像特徴量を求めることを特徴とする請求項２に記載の被写体認識装置。
【請求項５】
前記クエリ特徴量出力手段は、
抽出した前記特徴点の特徴量を用いた加重平均によって前記箇所の特徴量を算出することにより前記映像特徴量を求めることを特徴とする請求項２に記載の被写体認識装置。
【請求項６】
前記クエリ特徴量出力手段は、前記特徴点の移動距離に基づき各特徴点の３次元座標位置を求め、
前記データベース特徴量出力手段は、前記特徴点の移動距離に基づき各特徴点の３次元座標位置を求め、
前記照合手段は、前記クエリ特徴量出力手段が求めた各特徴点の前記３次元座標位置と、前記データベース特徴量出力手段が求めた各特徴点の前記３次元座標位置とを照合することを特徴とする請求項１から５のいずれか１項に記載の被写体認識装置。
【請求項７】
前記クエリ特徴量出力手段は、
前記被写体を撮影した映像を構成する画像から映像特徴量を算出・出力する際に、鏡面反射成分の影響を取り除くことを特徴とする請求項１記載の被写体認識装置。
【請求項８】
前記クエリ特徴量出力手段は、
前記鏡面反射成分を除去した画像を生成し、該画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記映像特徴量を求めることを特徴とする請求項７記載の被写体認識装置。
【請求項９】
前記クエリ特徴量出力手段は、
前記鏡面反射成分が発生している画像を処理対象画像群から省き、残りの画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記映像特徴量を求めることを特徴とする請求項７記載の被写体認識装置。
【請求項１０】
前記クエリ特徴量出力手段は、
前記鏡面反射成分の発生箇所情報を特定し、すべての画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を、前記鏡面反射成分の発生箇所情報を用いて統合することにより前記映像特徴量を求めることを特徴とする請求項７記載の被写体認識装置。
【請求項１１】
被写体を撮影した映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の前記特徴点を統合した第１の映像特徴量を出力するクエリ特徴量出力手段と、
データベースに記憶されている複数の映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の特徴点を統合した第２の映像特徴量を求め、前記データベースに記憶されているすべての映像から求めた前記第２の映像特徴量を統合したデータベース映像特徴量を出力するデータベース特徴量出力手段と、
前記第１の映像特徴量と、前記データベース映像特徴量とを照合し、前記データベースに記憶されている画像の中から前記被写体の画像の候補を選択して出力する照合手段と
を備えたことを特徴とする被写体認識装置。
【請求項１２】
前記クエリ特徴量出力手段は、
抽出した前記特徴点の特徴量から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記第１の映像特徴量を求め、
前記データベース特徴量出力手段は、
抽出した前記特徴点の特徴量から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記第２の映像特徴量を求める
ことを特徴とする請求項１１に記載の被写体認識装置。
【請求項１３】
前記クエリ特徴量出力手段は、
抽出した前記特徴点の中で最も時系列順で最後に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記第１の映像特徴量を求め、
前記データベース特徴量出力手段は、
抽出した前記特徴点の中で最も時系列順で最後に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記第２の映像特徴量を求める
ことを特徴とする請求項１２に記載の被写体認識装置。
【請求項１４】
前記クエリ特徴量出力手段は、
抽出した前記特徴点のうち時系列順で中央に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記第１の映像特徴量を求め、
前記データベース特徴量出力手段は、
抽出した前記特徴点のうち時系列順で中央に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記第２の映像特徴量を求める
ことを特徴とする請求項１２に記載の被写体認識装置。
【請求項１５】
前記クエリ特徴量出力手段は、
抽出した前記特徴点の特徴量を用いた加重平均によって前記箇所の特徴量を算出することにより前記第１の映像特徴量を求め
前記データベース特徴量出力手段は、
抽出した前記特徴点の特徴量を用いた加重平均によって前記箇所の特徴量を算出することにより前第２の記映像特徴量を求める
ことを特徴とする請求項１２に記載の被写体認識装置。
【請求項１６】
前記クエリ特徴量出力手段は、前記特徴点の移動距離に基づき各特徴点の３次元座標位置を求め、
前記データベース特徴量出力手段は、前記特徴点の移動距離に基づき各特徴点の３次元座標位置を求め、
前記照合手段は、前記クエリ特徴量出力手段が求めた各特徴点の前記３次元座標位置と、前記データベース特徴量出力手段が求めた各特徴点の前記３次元座標位置とを照合することを特徴とする請求項１１から１５のいずれか１項に記載の被写体認識装置。
【請求項１７】
前記データベース特徴量出力手段は、
前記被写体を撮影した映像を構成する画像から映像特徴量を算出・出力する際に、鏡面反射成分の影響を取り除くことを特徴とする請求項１１記載の被写体認識装置。
【請求項１８】
前記データベース特徴量出力手段は、
前記鏡面反射成分を除去した画像を生成し、該画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記映像特徴量を求めることを特徴とする請求項１７記載の被写体認識装置。
【請求項１９】
前記データベース特徴量出力手段は、
前記鏡面反射成分が発生している画像を処理対象画像群から省き、残りの画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記映像特徴量を求めることを特徴とする請求項１７記載の被写体認識装置。
【請求項２０】
前記データベース特徴量出力手段は、
前記鏡面反射成分の発生箇所情報を特定し、すべての画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を、前記鏡面反射成分の発生箇所情報を用いて統合することにより前記映像特徴量を求めることを特徴とする請求項１７記載の被写体認識装置。
【請求項２１】
被写体を撮影した映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の前記特徴点を統合した映像特徴量を出力するクエリ特徴量出力ステップと、
データベースに記憶されている全ての画像のそれぞれから特徴点を抽出し、抽出した前記特徴点を統合したデータベース画像特徴量を出力するデータベース特徴量出力ステップと、
前記映像特徴量と、前記データベース画像特徴量とを照合し、前記データベースに記憶されている画像の中から前記被写体の画像の候補を選択して出力する照合ステップと
を有することを特徴とする被写体認識方法。
【請求項２２】
被写体を撮影した映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の前記特徴点を統合した第１の映像特徴量を出力するクエリ特徴量出力ステップと、
データベースに記憶されている複数の映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の特徴点を統合した第２の映像特徴量を求め、前記データベースに記憶されているすべての映像から求めた前記第２の映像特徴量を統合したデータベース映像特徴量を出力するデータベース特徴量出力ステップと、
前記第１の映像特徴量と、前記データベース特徴量とを照合し、前記データベースに記憶されている画像の中から前記被写体の画像の候補を選択して出力する照合ステップと
を有することを特徴とする被写体認識方法。
【請求項２３】
コンピュータを、請求項１から２０のいずれか１項に記載の被写体認識装置として機能させるための被写体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮影した被写体を認識する被写体認識装置、被写体認識方法および被写体認識プログラムに関する。
【背景技術】
【０００２】
従来からユーザが撮像装置で撮影した被写体を認識する技術が広く研究されている。一般に、ユーザによって入力される画像データとデータベース中の検索対象画像データとの照合を行うためには、入力画像データから得られる被写体の情報と検索対象画像データの少なくとも一部が一致判定可能であることが求められる。しかし、被写体が３次元物体の場合、撮影方向によって入力される画像中の被写体の見え方が変化するため、上記の条件を満たすことは難しい。検索対象画像データの拡充によって解決する場合、被写体になり得る物体すべてにおいてそれぞれの３次元モデル、若しくはあらゆる方向から撮影した多数の画像群を事前に辞書データとして準備する必要があり、この作業に多大な手間がかかるという問題がある。
【０００３】
そこで、入力画像データに対してデータベース内にある僅少な検索対象画像データ（例えばある場所から被写体を撮影した１枚の画像）のみと一致判定し被写体認識を実現する必要がある。このため、前述したように元来データベース側で保持した撮像方向の違いによって起こる３次元物体の見え方の変化に対応するための密な情報（３次元モデルやあらゆる方向から撮影した多数の画像群）を、入力側に保持し、入力画像データを動画像（複数画像）とし、この動画像から得た情報と検索対象画像データの一致判定から被写体認識を行う技術がある。入力動画像と検索対象画像データの一致判定方法として、被写体を撮影した一連の画像群から、被写体のテクスチャ付き３次元モデルを推定する方法がある（非特許文献１参照）。これは、３次元モデルを球面投影および展開等の変換を行うことによって２次元の１枚画像で表現し、この画像から被写体の全周囲の特徴を取得し、この特徴と検索対象画像データの特徴とを一致判定するものである。
【０００４】
非特許文献１の技術は、被写体上の同一箇所から複数の特徴量が取得されることを避け、この同一箇所からは唯一の特徴量が取得でき、かつ変換前の座標値と展開画像の座標値を紐づけておくことで、特徴点の位置関係を正確に取得できるという利点がある。しかし、３次元モデルから２次元画像に変換合成する処理において画像上に幾何的な歪みが発生し、この歪みのある合成画像と検索対象である撮像画像とは性質が異なるため、双方から取得した特徴量間では照合精度が落ちるという問題がある。これに対して、動画像の各画像から得られるすべての特徴量を用いたＢａｇ−ｏｆ−Ｆｅａｔｕｒｅｓ表現によって、検索対象画像データと一致判定する技術がある（非特許文献２参照）。非特許文献２の技術は動画像を為す各画像における特徴量を抽出するため、照合先の検索対象画像と性質が同じであり、非特許文献１と比較し照合する特徴量として優位である。
【０００５】
なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】薮下浩子，島村潤，森本正志，“被写体形状・テクスチャの球面展開に基づく３次元物体認識”，信学技報，ｖｏｌ．１１１，ｎｏ．３７９，ＰＲＭＵ２０１１−１５３，ｐｐ．７３−７８，２０１２
【非特許文献２】樋爪和也，柳井啓司，“マルチフレーム認識を用いた動画像認識の分析”，情報処理学会研究報告，ＣＶＩＭ，１７７，２８，ｐｐ．１−８，２０１１
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献２では各画像から得られる特徴量をＢａｇ−ｏｆ−Ｆｅａｔｕｒｅｓによって表現することで、被写体上で同一の箇所から取得した複数の特徴点を重複して利用する、各特徴点の位置に関する情報を失うといった短所を持つ。そのため、画像の一部ごとのテクスチャ類似度の合算としての評価はできるが全体形状を評価できず、入力映像（画像群）のテクスチャの組成がデータベース内に存在する他の画像のテクスチャの組成と偶然類似してしまうと、認識率が低下する。また撮影するカメラの移動スピードの変化によって各被写体の各部位を写したフレーム数が均一でないとき被写体上で同一の箇所から取得できる特徴点数に偏りができてしまい、検索対象画像に写っていない被写体の部位に重複して大量の特徴点が抽出されてしまうとこの大量の特徴点が照合処理時に特徴点間の誤対応付けの可能性を増やしてしまう。そのため動画像の複数フレーム間において得られた特徴点群の被写体上の位置が重複することを避けて特徴点を統合処理し、被写体上の各部位から重複なく唯一の特徴量を利用し、かつこの特徴量群を特徴点の位置に関する情報を失わずに照合時に利用することで被写体の形状を考慮し誤認識を防ぐこと必要である。
【０００８】
本発明は、このような事情に鑑みてなされたもので、画像内の被写体を認識する際に、認識精度を向上させることができる被写体認識装置、被写体認識方法および被写体認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、被写体を撮影した映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の前記特徴点を統合した映像特徴量を出力するクエリ特徴量出力手段と、データベースに記憶されている全ての画像のそれぞれから特徴点を抽出し、抽出した前記特徴点を統合したデータベース画像特徴量を出力するデータベース特徴量出力手段と、前記映像特徴量と、前記データベース画像特徴量とを照合し、前記データベースに記憶されている画像の中から前記被写体の画像の候補を選択して出力する照合手段とを備えたことを特徴とする。
【００１０】
本発明は、前記クエリ特徴量出力手段は、抽出した前記特徴点の特徴量から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記映像特徴量を求めることを特徴とする。
【００１１】
本発明は、前記クエリ特徴量出力手段は、抽出した前記特徴点の中で最も時系列順で最後に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記映像特徴量を求めることを特徴とする。
【００１２】
本発明は、前記クエリ特徴量出力手段は、抽出した前記特徴点のうち時系列順で中央に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記映像特徴量を求めることを特徴とする。
【００１３】
本発明は、前記クエリ特徴量出力手段は、抽出した前記特徴点の特徴量を用いた加重平均によって前記箇所の特徴量を算出することにより前記映像特徴量を求めることを特徴とする。
【００１４】
本発明は、前記クエリ特徴量出力手段は、前記特徴点の移動距離に基づき各特徴点の３次元座標位置を求め、前記データベース特徴量出力手段は、前記特徴点の移動距離に基づき各特徴点の３次元座標位置を求め、前記照合手段は、前記クエリ特徴量出力手段が求めた各特徴点の前記３次元座標位置と、前記データベース特徴量出力手段が求めた各特徴点の前記３次元座標位置とを照合することを特徴とする。
【００１５】
本発明は、前記クエリ特徴量出力手段は、前記被写体を撮影した映像を構成する画像から映像特徴量を算出・出力する際に、鏡面反射成分の影響を取り除くことを特徴とする。
【００１６】
本発明は、前記クエリ特徴量出力手段は、前記鏡面反射成分を除去した画像を生成し、該画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記映像特徴量を求めることを特徴とする。
【００１７】
本発明は、前記クエリ特徴量出力手段は、前記鏡面反射成分が発生している画像を処理対象画像群から省き、残りの画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記映像特徴量を求めることを特徴とする。
【００１８】
本発明は、前記クエリ特徴量出力手段は、前記鏡面反射成分の発生箇所情報を特定し、すべての画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を、前記鏡面反射成分の発生箇所情報を用いて統合することにより前記映像特徴量を求めることを特徴とする。
【００１９】
本発明は、被写体を撮影した映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の前記特徴点を統合した第１の映像特徴量を出力するクエリ特徴量出力手段と、データベースに記憶されている複数の映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の特徴点を統合した第２の映像特徴量を求め、前記データベースに記憶されているすべての映像から求めた前記第２の映像特徴量を統合したデータベース映像特徴量を出力するデータベース特徴量出力手段と、前記第１の映像特徴量と、前記データベース特徴量とを照合し、前記データベースに記憶されている画像の中から前記被写体の画像の候補を選択して出力する照合手段とを備えたことを特徴とする。
【００２０】
本発明は、前記クエリ特徴量出力手段は、抽出した前記特徴点の特徴量から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記第１の映像特徴量を求め、前記データベース特徴量出力手段は、抽出した前記特徴点の特徴量から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記第２の映像特徴量を求めることを特徴とする。
【００２１】
本発明は、前記クエリ特徴量出力手段は、抽出した前記特徴点の中で最も時系列順で最後に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記第１の映像特徴量を求め、前記データベース特徴量出力手段は、抽出した前記特徴点の中で最も時系列順で最後に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記第２の映像特徴量を求めることを特徴とする。
【００２２】
本発明は、前記クエリ特徴量出力手段は、抽出した前記特徴点のうち時系列順で中央に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記第１の映像特徴量を求め、前記データベース特徴量出力手段は、抽出した前記特徴点のうち時系列順で中央に出現した特徴点の特徴量を前記箇所の特徴量として選択することにより前記第２の映像特徴量を求めることを特徴とする。
【００２３】
本発明は、前記クエリ特徴量出力手段は、抽出した前記特徴点の特徴量を用いた加重平均によって前記箇所の特徴量を算出することにより前記第１の映像特徴量を求め前記データベース特徴量出力手段は、抽出した前記特徴点の特徴量を用いた加重平均によって前記箇所の特徴量を算出することにより前第２の記映像特徴量を求めることを特徴とする。
【００２４】
本発明は、前記クエリ特徴量出力手段は、前記特徴点の移動距離に基づき各特徴点の３次元座標位置を求め、前記データベース特徴量出力手段は、前記特徴点の移動距離に基づき各特徴点の３次元座標位置を求め、前記照合手段は、前記クエリ特徴量出力手段が求めた各特徴点の前記３次元座標位置と、前記データベース特徴量出力手段が求めた各特徴点の前記３次元座標位置とを照合することを特徴とする。
【００２５】
本発明は、前記データベース特徴量出力手段は、前記被写体を撮影した映像を構成する画像から映像特徴量を算出・出力する際に、鏡面反射成分の影響を取り除くことを特徴とする。
【００２６】
本発明は、前記データベース特徴量出力手段は、前記鏡面反射成分を除去した画像を生成し、該画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記映像特徴量を求めることを特徴とする。
【００２７】
本発明は、前記データベース特徴量出力手段は、前記鏡面反射成分が発生している画像を処理対象画像群から省き、残りの画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を統合することにより前記映像特徴量を求めることを特徴とする。
【００２８】
本発明は、前記データベース特徴量出力手段は、前記鏡面反射成分の発生箇所情報を特定し、すべての画像から抽出した特徴点から前記箇所の特徴量を選択もしくは算出し、得られたすべての前記箇所の特徴量を、前記鏡面反射成分の発生箇所情報を用いて統合することにより前記映像特徴量を求めることを特徴とする。
【００２９】
本発明は、被写体を撮影した映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の前記特徴点を統合した映像特徴量を出力するクエリ特徴量出力ステップと、データベースに記憶されている全ての画像のそれぞれから特徴点を抽出し、抽出した前記特徴点を統合したデータベース画像特徴量を出力するデータベース特徴量出力ステップと、前記映像特徴量と、前記データベース画像特徴量とを照合し、前記データベースに記憶されている画像の中から前記被写体の画像の候補を選択して出力する照合ステップとを有することを特徴とする。
【００３０】
本発明は、被写体を撮影した映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の前記特徴点を統合した第１の映像特徴量を出力するクエリ特徴量出力ステップと、データベースに記憶されている複数の映像を構成する画像のそれぞれから特徴点を抽出し、複数の画像にわたって前記被写体上の同一箇所から抽出した複数の特徴点を統合した第２の映像特徴量を求め、前記データベースに記憶されているすべての映像から求めた前記第２の映像特徴量を統合したデータベース映像特徴量を出力するデータベース特徴量出力ステップと、前記第１の映像特徴量と、前記データベース特徴量とを照合し、前記データベースに記憶されている画像の中から前記被写体の画像の候補を選択して出力する照合ステップとを有することを特徴とする。
【００３１】
本発明は、コンピュータを、前記被写体認識装置として機能させるための被写体認識プログラムである。
【発明の効果】
【００３２】
本発明によれば、予め画像または映像が記憶されており、被写体が撮像された入力画像または入力映像と、記憶されている画像または映像とを照合することによって被写体の認識を行う際に、被写体の全体形状を照合することができるため、被写体の認識精度を向上することができるという効果が得られる。
【図面の簡単な説明】
【００３３】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】第１の実施形態おけるクエリ特徴表現部１１が画像入力部２から入力したクエリ映像を為す画像群から特徴点を抽出し、各特徴点のＮ次元ベクトルで表現される特徴量を算出し、クエリ特徴量リストを生成する動作を示すフローチャートである。
【図３】クエリ特徴量リストの構成と更新方法を示す図である。
【図４】特徴点連結情報の一例を示す図である。
【図５】図２に示す処理動作の変形例を示すフローチャートである。
【図６】図１に示すＤＢ特徴表現部１２が記憶部３に格納されているすべてのデータベース画像から特徴点を抽出し、この特徴点すべての特徴量を算出し、ＤＢ特徴量リストを生成する動作を示すフローチャートである。
【図７】図１に示す記憶部３内の検索対象データベースのテーブル構成を示す図である。    である。
【図８】ＤＢ特徴量リストのテーブル構成を示す図である。
【図９】図１に示す照合部１３が、クエリ特徴表現部１１が算出したクエリ特徴量リストとＤＢ特徴表現部１２が算出したＤＢ特徴量リストとを比較し、データベース画像群の中からクエリ映像の被写体を特定し、認識結果として出力する動作を示すフローチャートである。
【図１０】図１０は、照合処理動作を示す図である。
【図１１】第２の実施形態おけるＤＢ特徴表現部１２が記憶部３に格納されている各データベース映像を為す画像群から特徴点を抽出し、特徴点の特徴量を算出し、ＤＢ特徴量リストを生成する動作を示すフローチャートである。
【図１２】第２の実施形態における記憶部３内の検索対象データベースのテーブル構成を示す図である。
【図１３】図１１に示す処理動作の変形例を示すフローチャートである。
【図１４】クエリ特徴表現部１１が画像群から鏡面反射成分を除去してクエリ特徴量リストを生成する動作を示すフローチャートである。
【図１５】鏡面反射箇所を用いる際の特徴点連結情報生成を行う処理動作を示すフローチャートである。
【図１６】映像から抽出した鏡面反射箇所の情報を利用した特徴点統合方法を示す説明図である。
【図１７】クエリ特徴表現部１１の処理動作の変形例を示すフローチャートである。
【図１８】第４の実施形態におけるＤＢ特徴表現部１２の処理動作を示すフローチャートである。
【図１９】ＤＢ特徴表現部１２の処理動作の変形例を示すフローチャートである。
【発明を実施するための形態】
【００３４】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による被写体認識装置を説明する。図１は本実施形態の構成を示すブロック図である。被写体認識装置はコンピュータ装置によって構成する。図１において、符号１は被写体認識処理を行う被写体認識部である。符号２は、カメラ等で撮影して得られた画像（２次元画像群）を入力する画像入力部である。
符号３は被写体認識処理に必要なデータを記憶する記憶部である。符号４はキーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。
【００３５】
符号１１は、画像入力部２を介して入力したクエリ映像を為す各画像から特徴点を抽出し、特徴点の特徴量を算出し、クエリ特徴量リストを生成するクエリ特徴表現部である。
符号１２は記憶部３に予め用意してある検索対象データベース（ＤＢ）内画像の特徴点を抽出し、特徴点の特徴量を算出し、ＤＢ特徴量リストを生成するＤＢ特徴表現部である。
符号１３はクエリ特徴表現部１１で生成したクエリ特徴量リストと、ＤＢ特徴表現部１２で生成したＤＢ特徴量リスト間で比較を行い、投票の上被写体認識結果を出力する照合部である。
【００３６】
次に、図１に示す被写体認識装置の処理動作を説明する。第１の実施形態における被写体認識装置は、検索対象が「画像」である。ここではクエリとして映像（２次元画像群）を入力し、１物体あたり１枚若しくは複数の２次元画像を物体検索対象データベースとして予め記憶部３に記憶されているものとして説明する。
【００３７】
次に、図２を参照して、図１に示すクエリ特徴表現部１１が画像入力部２を介して入力したクエリ映像を為す画像群から、例えば、文献「H.Bay,T.Tuytelaars, and L.V.Gool,"SURF:SpeedUp Robust Features",Proc. of Int. Conf. of ECCV,(2006)」に記載の方法（ＳＵＲＦ）や、ヒストグラム等の公知の方法を用いて画像上のエッジやコーナー等の特徴点を抽出し、各特徴点のＮ次元ベクトルで表現される特徴量を算出し（ＳＵＲＦの場合はＮ＝６４）、クエリ特徴量リストを生成する動作を説明する。図２は、画像入力部２から入力したクエリ映像を為す画像群からＳＵＲＦや、ヒストグラム等の公知の方法を用いて画像上のエッジやコーナー等の特徴点を抽出し、各特徴点のＮ次元ベクトルで表現される特徴量を算出し、クエリ特徴量リストを生成する動作を示すフローチャートである。
【００３８】
まず、ユーザが入力部４を操作して、クエリ映像（２次元画像群）の入力を指示すると、クエリ特徴表現部１１は画像入力部２からクエリ映像を入力する（ステップＳ１）。そして、クエリ特徴表現部１１は入力した映像を構成するＭ枚の画像群のうち、時系列順にｎフレーム目とｎ＋１フレーム目の連続する２枚の画像を対象として、この２枚の画像から特徴点を抽出し（ステップＳ２）、抽出したすべての特徴点で特徴量を算出する（ステップＳ３）。なお、２回目（ｎ≧２）以降はｎフレーム目の特徴点およびその特徴量は既に１つ前の画像ペアであるｎ−１フレーム目とｎフレーム目の２枚の画像を対象として算出済みのため再計算の必要は無く、ｎ＋１フレーム目画像のみ処理する。このとき、各特徴点が属す画像番号およびこの画像中の特徴点番号と各特徴量を紐づけて保存しておく。
【００３９】
そして、クエリ特徴表現部１１は、ｎフレーム目の画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、またｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、相互に最近傍特徴点関係にあるペアのみを特徴点ペアとすることで特徴点ペアを算出する（ステップＳ４）。続いて、クエリ特徴表現部１１は、この特徴点ペアをもとに、ペアを為す各々の特徴点が属す画像番号、および各特徴点番号、各座標値、各特徴量を紐づけて、クエリ特徴量リストを生成する。ｎ＝１のときに算出した特徴ペアは新規特徴ペアとしてすべてクエリ特徴量リストに挿入する。一方、ｎ≧２では、各特徴ペアとクエリ特徴量リストに格納された特徴ペアの比較を行う（ステップＳ５）。
【００４０】
図３は、クエリ特徴量リストの構成と更新方法を示す図である。図３（ａ）に示すように、クエリ特徴表現部１１は、クエリ特徴量リストに同じ画像番号、特徴点番号の行が存在しなければ新規特徴としてクエリ特徴量リストに挿入する（ステップＳ６）。一方、図３（ｂ）に示すように、クエリ特徴表現部１１は、画像番号および特徴点番号が同じ行が存在している場合は既出特徴ペアとして、クエリ特徴量リストの情報を書き換える（ステップＳ７）。この一連の処理を画像ペア数分Ｍ−１回分繰り返し、クエリ特徴表現部１１は、クエリ特徴量リストを更新する。そして最後に、クエリ特徴表現部１１は、クエリ特徴量リストを出力する（ステップＳ８）。これによって、被写体物体上の各特徴箇所から重複なく特徴量を取得したクエリ特徴量リストが取得できる。
【００４１】
なおこの時、処理に用いる画像群は、映像を構成するすべてのフレームを対象としてもよいし、事前に設定した固定フレーム分ずつ（例えば３フレームずつ）間引いたものを利用してもよい。また撮像装置に付属するその他のセンサによって計測、もしくはクエリ映像を為すフレーム画像から因子分解法等の方法によって算出した撮像装置の移動量に応じて、フレームの間引き数を変えてもよい。例えば移動量が大きい場合は間引くフレーム数を減らし、移動量が小さい場合は間引くフレーム数を増やすことによって、利用する画像群の各々に写る被写体姿勢の角度間隔を均一に近づけることが期待できる。
【００４２】
また、上記の方法で最終的に出力されるクエリ特徴量リストの特徴量は、被写体物体上の各特徴箇所から１つずつ、その特徴箇所が取得されたフレームのうち最も後のフレームで取得された特徴量が保存されているが、対応特徴点の連結情報を図４に示すように時系列順に保存しておくことでそれぞれの被写体物体上の各特徴箇所が映るフレームのうち時系列順で真ん中にあるフレームから取得された特徴量を最終的な特徴量としても出力してもよい。図４は、特徴点連結情報の一例を示す図である。こうすることで、図４に示すような連結情報を持つ必要は発生するが、この特徴箇所を最も正面に近い箇所から撮影した際の特徴量を取得することが期待でき、データベース画像内に写るこの特徴箇所がどのような角度で取得されるか分からないという条件下では、照合時の特徴量間のズレを最小限に抑えることができ、最終的な認識精度を向上させることが可能となる。
【００４３】
また、各被写体上の同一箇所を示す特徴点を取得したフレームのうち、前述した時系列順で真ん中のフレームに、重みづけをした加重平均によって特徴量を再計算し、この特徴量をリストとして出力してもよい。例えば、今６４次元の特徴量が被写体の同一箇所の特徴としてｅ個得られたとする。このときこのｅ個の特徴量をｄｉ（０＜ｉ≦ｅ）と表現し、各特徴量の要素をｄｉｆと表現する（０＜ｆ≦６４）。算出する特徴量Ｄのｆ番目の要素Ｄｆは重みづけ項ｗを用いて、以下の（１）式によって求めてもよい。なお、重みづけ項ｗはすべて１としてもよいし、正規分布で設定してもよい。
【数１】
2014102810.tif 000003
【００４４】
また、特徴点ペアを算出する際は、２画像から算出した特徴量をもとにｎフレーム目画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、特徴点ペアとしてもよい。また、その逆にｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、特徴点ペアとしてもよい。ただし撮像装置で撮影された映像のｎフレーム目とｎ＋１フレーム目画像には片方にしか存在しない被写体物体上の特徴箇所が存在する可能性が高いため、相互に最近傍特徴点関係にあるペアのみに絞った方がノイズの誤対応や、ある特徴点に複数の特徴点が最近傍として重複して対応付くことを防ぐことができ、クエリ特徴量リストを正しく更新できる。
【００４５】
また、上記の方法ではクエリ特徴量リストとして出力する各特徴点の座標は、各特徴点が抽出されたフレーム画像上の２次元座標をもとに、１番初めのフレーム画像の座標値を原点として、各フレーム画像との特徴点群の移動距離をもとに補正して算出した２次元座標を用いてもよい。またある画像ペア上の特徴点ペアの画像上移動距離から３次元座標を推定し、この３次元座標を出力してもよい。例えば撮像装置から近い点と遠い点を比較すると、近い点ほどオプティカルフローの差分値が大きくなることを利用し、同一画像ペア間に存在する特徴点ペアのオプティカルフロー長の差分の逆数を利用し、算出した値を奥行として与えてもよい。また、文献「清水慶行，金谷健一，”未校正カメラによるオプティカルフローからの３次元復元とその信頼度評価”，情報処理学会研究報告．ＣＶＩＭ，２０００（３３），３３−４０，２０００−０３−２３（２０００）．」に記載の方法によって求めてもよい。３次元座標を用いることで照合精度を向上させることができる。
【００４６】
さらに、図２に示すクエリ特徴表現部１１の処理動作は、図５に示す処理動作としてもよく、処理の順序やアルゴリズム構成は上記の限りではない。すなわち、クエリ映像を入力し（ステップＳ１１）、処理に用いる画像すべてから特徴点を抽出し（ステップＳ１２）、その特徴量を求めてから（ステップＳ１３）、隣接する２フレーム間で特徴点ペアを算出し（ステップＳ１４）、前述した処理動作と同様にクエリ特徴量リストを生成して（ステップＳ１５〜Ｓ１７）、クエリ特徴量リストを出力する（ステップＳ１８）ようにしてもよい。
【００４７】
次に、図６を参照して、図１に示すＤＢ特徴表現部１２が記憶部３に格納されているすべてのデータベース画像から特徴点を抽出し、この特徴点すべての特徴量を算出し、ＤＢ特徴量リストを生成する動作を説明する。図６は、図１に示すＤＢ特徴表現部１２が記憶部３に格納されているすべてのデータベース画像から特徴点を抽出し、この特徴点すべての特徴量を算出し、ＤＢ特徴量リストを生成する動作を示すフローチャートである。図７は、記憶部３内の検索対象データベースのテーブル構成を示す図である。記憶部３内には、Ｐ枚（Ｐ≧１）のデータベース画像群と、この画像群の情報を保存したデータベース画像対応表が保存されている。このデータベース画像対応表には、ＤＢ画像ｉｄ、データベース画像が保存されているＤＢ画像パス、各々の画像に写る被写体の詳細情報（例えば商品名、価格、ブランド名等）を紐づけて保存されている。
【００４８】
まず、ＤＢ特徴表現部１２は、記憶部３に格納されているデータベース画像（２次元画像）を入力する（ステップＳ２１）。そして、ＤＢ特徴表現部１２は、このデータベース画像から特徴点抽出を行い（ステップＳ２２）、抽出した特徴点の特徴量を算出する（ステップＳ２３）という動作を入力した画像枚数分繰り返す。そして、図８に示すＤＢ特徴量リストのように、データベース画像の通し番号であるＤＢ画像ｉｄ、このデータベース画像から抽出した特徴点の通し番号である特徴点ｉｄ、この特徴点から得られた特徴量を紐づけて、すべてのデータベース画像分を順に保存し、最後にＤＢ特徴量リストを出力する（ステップＳ２４）。図８は、ＤＢ特徴量リストのテーブル構成を示す図である。
【００４９】
次に、図９を参照して、図１に示す照合部１３が、クエリ特徴表現部１１が算出したクエリ特徴量リストとＤＢ特徴表現部１２が算出したＤＢ特徴量リストとを比較し、データベース画像群の中からクエリ映像の被写体を特定し、認識結果として出力する動作を説明する。図９は、図１に示す照合部１３が、クエリ特徴表現部１１が算出したクエリ特徴量リストとＤＢ特徴表現部１２が算出したＤＢ特徴量リストとを比較し、データベース画像群の中からクエリ映像の被写体を特定し、認識結果として出力する動作を示すフローチャートである。
【００５０】
まず、照合部１３は、クエリ特徴表現部１１が算出したクエリ特徴量リストと、ＤＢ特徴表現部１２が算出したすべてのデータベース画像の特徴量を含むＤＢ特徴量リストを入力する（ステップＳ３１、Ｓ３２）。そして、照合部１３は、クエリ特徴量リストの１つの特徴点の特徴量と、ＤＢ特徴量リストの特徴量のすべてとを比較して（ステップＳ３３）、最もベクトル間距離の近い特徴量を有するデータベース画像の最近傍画像ｉｄを特定してスコアを投票する。このスコアを求める際は、特徴量のベクトル間距離が最近傍であるベクトル間距離およびクエリ特徴量リストに保存された各特徴点の座標値を利用して算出する。
【００５１】
例えば、図１０に示すようにクエリ特徴量リストの中で１つの特徴点（１行分）を注目特徴点として設定し、注目特徴点以外のクエリ特徴点を周囲点と称する。図１０は、照合処理動作を示す図である。図１０（１）に示すように、この注目特徴点に対して特徴量ベクトル間距離が最近傍のＤＢ特徴量リストの特徴量（１行）を求め、この特徴量の抽出されたデータベース画像を投票対象画像とし、この特徴量ベクトル間距離を用いて（２）式により算出したスコアを投票する。
【数２】
2014102810.tif 000004
【００５２】
このとき注目特徴点と注目点以外の各特徴点の空間距離Ｄは、注目特徴点のスコアを算出する際は本来Ｄ＝０となるが、スコアＳの発散を防ぐため事前に与えたｏｆｆｓｅｔ値を用い、Ｄ＝ｏｆｆｓｅｔ（＞０）とする。さらに、図１０（２）に示すように、注目点が最近傍として算出した特徴量が属すデータベース画像から抽出された特徴量群のみを対象として、各周囲点特徴量から最近傍特徴量を求め、この画像に（２）式によってスコアを算出し、投票対象画像に投票する。なお周囲点から注目特徴点までの空間距離はＤ＝Ｄ＋ｏｆｆｓｅｔとすることとする。ｏｆｆｓｅｔは例えば０．０００１と設定する。ここで説明した（２）式では、スコア算出に注目特徴点との空間距離Ｄおよびベクトル間距離に対して逆数を用いたが、ガウス関数や指数関数を用いてスコア算出式を設定してもよい。
【００５３】
また、上記の例では注目点の特徴量ベクトル間距離が最近傍となる特徴点を有する１枚の投票対象画像にのみ投票を行ったが、特徴量ベクトル間距離が事前に与えたｎに基づき、第ｎ近傍点となる特徴点群をそれぞれ有す複数の投票対象画像を設定し、それぞれに注目点および周囲点から投票を行ってもよいし、上記の限りではない。なお、ここでスコア算出式に「特徴ベクトル間距離」を入れたのは、クエリ特徴量リストとＤＢ特徴量リストの特徴点間で、テクスチャの類似度をスコアに反映するためである。また、スコア算出式に「注目特徴点との空間距離Ｄ」を入れたのは、クエリ入力映像中で取得された特徴点座標が空間的に近い位置に存在するとき、この特徴点群に対応する特徴点群は、任意の視点から撮影された検索対象画像内においても一緒に写る可能性が高いであろうことを利用したもので、ベクトル間距離によるテクスチャ類似度に対する重みづけの役割を担っている。また他の要素によって重みをつけてもよい。
【００５４】
そして、すべてのクエリ特徴量リスト中の特徴点（すべての行）を、１つずつ注目点として前述した投票を繰り返す。そして、ＤＢ特徴量リストの中で、クエリ特徴量リストに最も類似するデータベース画像を合計スコア値から、最近傍画像ｉｄを特定して（ステップＳ３４）、このデータベース画像を検索対象画像とし、若しくは検索対象画像候補としてクエリ特徴量リストに類似する順にデータベース画像名をソートして、認識結果として出力する（ステップＳ３５）。また認識結果の形式としてはこの検索対象画像に写る被写体の詳細情報（商品名、価格、ブランド名等）を出力してもよい。
【００５５】
また、２画像間で対応する特徴点ペアのみを集めたクエリ特徴量リストを照合に用いるのは、１画像のみで抽出された特徴点にはノイズを含みやすいからである。例えば映像から処理に用いるフレーム画像を間引く際の間引き数が多いときには、フレーム画像群の中で被写体上の同一箇所から抽出される重複特徴点が少ないため、ペアに含まれない特徴量も利用した方がよい。また上記では特徴量ペアを作ることによりオプティカルフローを求め、オプティカルフローの差から推定した３次元座標を利用する方法を示したが、ペアを生成できなかった特徴点を利用する場合は、この特徴点に関しては周囲の特徴点ペアから推定した奥行から３次元座標を推定してもよい。
【００５６】
また、前述した説明ではすべての場合で検索対象映像がデータベース中に含まれることを仮定しているが、すべてのデータベース映像において、事前に与えた閾値よりも合計スコア値が低ければ、認識結果として「該当なし」と出力してもよい。
【００５７】
＜第２の実施形態＞
次に、本発明の第２の実施形態による被写体認識装置を説明する。第２の実施形態による被写体認識装置の構成は、図１に示す装置構成と同様であるため、詳細な説明を省略する。第２の実施形態における被写体認識装置は、検索対象が「映像」である。ここではクエリとして映像（２次元画像群）を入力し、１物体あたり１つ若しくは複数の映像を複数物体分、検索対象を含むデータベース映像群として予め記憶部３に記憶しておく。
【００５８】
次に、図１に示す第２の実施形態におけるクエリ特徴表現部１１が画像入力部２を介して入力したクエリ映像を為す画像群から特徴点を抽出し、特徴点の特徴量を算出し、クエリ特徴量リストを生成する動作を説明する。第２の実施形態におけるクエリ特徴表現部１１の処理動作は、図２に示す処理動作と同様であるため、ここでは簡単に説明する。
【００５９】
まず、ユーザが入力部４を操作して、クエリ映像（２次元画像群）の入力を指示すると、クエリ特徴表現部１１は画像入力部２からクエリ映像を入力する。そして、クエリ特徴表現部１１は入力した映像を構成するＭ枚の画像群のうち、時系列順にｎフレーム目とｎ＋１フレーム目の２枚の画像を対象として、この２枚の画像から特徴点を抽出し、抽出したすべての特徴点で特徴量を算出する。なお２回目（ｎ≧２）以降はｎフレーム目の特徴点およびその特徴量は既に１つ前の画像ペアであるｎ−１フレーム目とｎフレーム目の２枚の画像を対象として算出済みのため再計算の必要は無く、ｎ＋１フレーム目画像のみ処理する。このとき、各特徴点が属す画像番号およびこの画像中の特徴点番号と各特徴量を紐づけて保存しておく。
【００６０】
そして、ｎフレーム目の画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、またｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、相互に最近傍特徴点関係にあるペアのみを特徴点ペアとする。そしてこの特徴点ペアをもとに、ペアを為す各々の特徴点が属す画像番号、および各特徴点番号、各座標値、各特徴量を紐づけて、クエリ特徴量リストを生成する。まずｎ＝１のときに算出した特徴ペアは新規特徴ペアとしてすべてクエリ特徴量リストに挿入する。ｎ≧２では、各特徴ペアとクエリ特徴量リストに格納された特徴ペアの比較を行う。図３（ａ）のようにクエリ特徴量リストに同じ画像番号、特徴点番号の行が存在しなければ新規特徴としてクエリ特徴量リストに挿入し、図３（ｂ）のように画像番号および特徴点番号が同じ行が存在している場合は既出特徴ペアとして、クエリ特徴量リストの情報を書き換える。この一連の処理を画像ペア数分Ｍ−１回分繰り返し、クエリ特徴量リストを更新する。そして最後にクエリ特徴量リストを出力する。これによって、被写体物体上の各特徴箇所から重複なく特徴量を取得したクエリ特徴量リストが取得できる。
【００６１】
なおこの時、処理に用いる画像群は、映像を構成するすべてのフレームを対象としてもよいし、事前に設定した固定フレーム分ずつ（例えば３フレームずつ）間引いたものを利用してもよい。また撮像装置に付属するその他のセンサによって計測、もしくはクエリ映像を為すフレーム画像から因子分解法等の方法によって算出した撮像装置の移動量に応じて、フレームの間引き数を変えてもよい。例えば移動量が大きい場合は間引くフレーム数を減らし、移動量が小さい場合は間引くフレーム数を増やすことによって、利用する画像群の各々に写る被写体姿勢の角度間隔を均一に近づけることが期待できる。
【００６２】
また、上記の方法で最終的に出力されるクエリ特徴量リストの特徴量は、被写体物体上の各特徴箇所から１つずつ、その特徴箇所が取得されたフレームのうち最も後のフレームで取得された特徴量が保存されているが、対応特徴点の連結情報を図４のように時系列順に保存しておくことでそれぞれの被写体物体上の各特徴箇所が映るフレームのうち時系列的に真ん中にあるフレームから取得された特徴量を最終的な特徴量としても出力してもよい。こうすることで、図４のような連結情報を持つ必要は発生するが、この特徴箇所を最も正面に近い箇所から撮影した際の特徴量を取得することが期待でき、ＤＢ画像内に写るこの特徴箇所がどのような角度で取得されるか分からないという条件下では、照合時の特徴量間のズレを最小限に抑えることができ、最終的な認識精度を向上させることが可能となる。
【００６３】
また、各被写体上の同一箇所を示す特徴点を取得したフレームのうち、前述した時系列順で真ん中のフレームに、重みづけをした加重平均によって特徴量を再計算し、この特徴量をリストとして出力してもよい。例えば、今６４次元の特徴量が被写体の同一箇所の特徴としてｅ個得られたとする。このときこのｅ個の特徴量をｄｉ（０＜ｉ≦ｅ）と表現し、各特徴量の要素をｄｉｆと表現する（０＜ｆ≦６４）。算出する特徴量Ｄのｆ番目の要素Ｄｆは重みづけ項ｗを用いて、上記の（１）式によって求めてもよい。なお、重みづけ項ｗはすべて１としてもよいし、正規分布で設定してもよい。
【００６４】
また、特徴点ペアを算出する際は、２画像から算出した特徴量をもとにｎフレーム目画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、特徴点ペアとしてもよい。また、その逆にｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、特徴点ペアとしてもよい。ただし撮像装置で撮影された映像のｎフレーム目とｎ＋１フレーム目画像には片方にしか存在しない被写体物体上の特徴箇所が存在する可能性が高いため、相互に最近傍特徴点関係にあるペアのみに絞った方がノイズの誤対応や、ある特徴点に複数の特徴点が最近傍として重複して対応付くことを防ぐことができ、クエリ特徴量リストを正しく更新できる。
【００６５】
また、上記の方法ではクエリ特徴量リストとして出力する各特徴点の座標は、各特徴点が抽出されたフレーム画像上の２次元座標をもとに、１番初めのフレーム画像の座標値を原点として、各フレーム画像との特徴点群の移動距離をもとに補正して算出した２次元座標を用いてもよい。またある画像ペア上の特徴点ペアの画像上移動距離から３次元座標を推定し、この３次元座標を出力してもよい。例えば撮像装置から近い点と遠い点を比較すると、近い点ほどオプティカルフローの差分値が大きくなることを利用し、同一画像ペア間に存在する特徴点ペアのオプティカルフロー長の差分の逆数を利用し、算出した値を奥行として与えてもよい。また文献「清水慶行，金谷健一，”未校正カメラによるオプティカルフローからの３次元復元とその信頼度評価”，情報処理学会研究報告．ＣＶＩＭ，２０００（３３），３３−４０，２０００−０３−２３（２０００）．」に記載の方法によって求めてもよい。３次元座標を用いることで照合精度を向上させることができる。
【００６６】
さらに、図２に示すクエリ特徴表現部１１の処理動作は図３に示すように、まず処理に用いる画像すべてから特徴点を抽出しその特徴量を求めてから、隣接する２フレーム間で特徴点ペアを算出しクエリ特徴量リストを生成してもよく、処理の順序やアルゴリズム構成は上記の限りではない。
【００６７】
次に、図１１を参照して、第２の実施形態におけるＤＢ特徴表現部１２の処理動作を説明する。図１１は、図１に示すＤＢ特徴表現部１２が記憶部３に格納されている各データベース映像を為す画像群から特徴点を抽出し、特徴点の特徴量を算出し、ＤＢ特徴量リストを生成する動作を示すフローチャートである。図１２は、第２の実施形態における記憶部３内の検索対象データベースのテーブル構成を示す図である。記憶部３内には、図１２に示すように、Ｐ個（Ｐ≧１）のデータベース映像群と、この映像群の各被写体情報を保存したデータベース画像対応表が保存されている。このデータベース画像対応表には、ＤＢ映像ｉｄ、データベース映像が保存されているＤＢ映像パス、各々の映像に写る被写体の詳細情報（例えば商品名、価格、ブランド名等）が紐づけられて保存されている。
【００６８】
まず、ＤＢ特徴表現部１２は、記憶部３に格納されているＰ個のデータベース映像のうち、１つのデータベース映像を入力し（ステップＳ４１）、この映像を構成するＭｐ枚の画像群のうち、時系列順にｎフレーム目とｎ＋１フレーム目の２枚の画像を対象として、この２枚の画像から特徴点を抽出し（ステップＳ４２）、抽出したすべての特徴点で特徴量を算出する（ステップＳ４３）。この処理をすべてのデータベース映像に対して繰り返し実施する。そして、データベース映像の通し番号であるＤＢ映像ｉｄ、このデータベース画像から抽出した特徴点の通し番号である特徴点ｉｄ、この特徴点から得られた特徴量を紐づけて、すべてのデータベース画像分を順に保存する。なお、ＤＢ特徴量リストのテーブル構成は、図８に示すＤＢ特徴量リストと同様である。
【００６９】
そして、ｎフレーム目の画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、またｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、相互に最近傍特徴点関係にあるペアのみを特徴点ペアを算出する（ステップＳ４４）。そしてこの特徴点ペアをもとに、ペアを為す各々の特徴点が属す画像番号、および各特徴点番号、各座標値、各特徴量を紐づけて、各データベース映像のＤＢ特徴量部分リストを生成する。まずｎ＝１のときに算出した特徴ペアは新規特徴ペアとしてすべてＤＢ特徴量部分リストに挿入する。ｎ≧２では、各特徴ペアとＤＢ特徴量部分リストに格納された特徴ペアの比較を行う（ステップＳ４５）。ＤＢ特徴量リストに同じ画像番号、特徴点番号の行が存在しなければ新規特徴としてクエリ特徴量リストに挿入する（ステップＳ４６）。一方、ＤＢ特徴量リストに画像番号および特徴点番号が同じ行が存在している場合は既出特徴ペアとして、ＤＢ特徴量部分リストの情報を書き換える（ステップＳ４７）。なお、ＤＢ特徴量部分リストのテーブル構成は、図３に示すクエリ特徴量リストと同様のテーブル構成である。
【００７０】
この一連の処理を画像ペア数分Ｍ−１回分繰り返し、ＤＢ特徴量部分リストを更新する。そしてこのＤＢ特徴量部分リストの生成処理をデータベース映像個数分行い、各ＤＢ特徴量部分リストを映像ｉｄ順に統合し、映像ｉｄとＤＢ特徴量部分リストを紐づけて、ＤＢ特徴量リストを生成する（ステップＳ４８）。そして最後にこのＤＢ特徴量リストを出力する（ステップＳ４９）。これによって、被写体物体上の各特徴箇所から重複なく特徴量を取得したＤＢ特徴量リストが取得できる。
【００７１】
なおこの時、処理に用いる画像群は、各映像を構成するすべてのフレームを対象としてもよいし、事前に設定した固定フレーム分ずつ（例えば３フレームずつ）間引いたものを利用してもよい。また撮像装置に付属するその他のセンサによって計測、もしくは各データベース映像を為すフレーム画像から因子分解法等の方法によって算出した撮像装置の移動量に応じて、フレームの間引き数を変えてもよい。例えば移動量が大きい場合は間引くフレーム数を減らし、移動量が小さい場合は間引くフレーム数を増やすことによって、利用する画像群の各々に写る被写体姿勢の角度間隔を均一に近づけることが期待できる。
【００７２】
また、上記の方法で最終的に出力されるＤＢ特徴量リストの特徴量は、被写体物体上の各特徴箇所から１つずつ、その特徴箇所が取得されたフレームのうち最も後のフレームで取得された特徴量が保存されているが、対応特徴点の連結情報を図４のように時系列順に保存しておくことでそれぞれの被写体物体上の各特徴箇所が映るフレームのうち時系列的に真ん中にあるフレームから取得された特徴量を最終的な特徴量としても出力してもよい。こうすることで、図４のような連結情報を持つ必要は発生するが、この特徴箇所を最も正面に近い箇所から撮影した際の特徴量を取得することが期待でき、データベース画像内に写るこの特徴箇所がどのような角度で取得されるか分からないという条件下では、照合時の特徴量間のズレを最小限に抑えることができ、最終的な認識精度を向上させることが可能となる。
【００７３】
また、各被写体上の同一箇所を示す特徴点を取得したフレームのうち、前述した時系列順で真ん中のフレームに、重みづけをした加重平均によって特徴量を再計算し、この特徴量をリストとして出力してもよい。例えば、今６４次元の特徴量が被写体の同一箇所の特徴としてｅ個得られたとする。このときこのｅ個の特徴量をｄｉ（０＜ｉ≦ｅ）と表現し、各特徴量の要素をｄｉｆと表現する（０＜ｆ≦６４）。算出する特徴量Ｄのｆ番目の要素Ｄｆは重みづけ項ｗを用いて、（１）式によって求めてもよい。なお、重みづけ項ｗはすべて１としてもよいし、正規分布で設定してもよい。
【００７４】
また、特徴点ペアを算出する際は、２画像から算出した特徴量をもとにｎフレーム目画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち特徴量のベクトル間距離が最近傍となる特徴点を求め、特徴点ペアとしてもよい。また、その逆にｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、特徴点ペアとしてもよい。ただしあるデータベース映像のｎフレーム目とｎ＋１フレーム目画像には片方にしか存在しない被写体物体上の特徴箇所が存在する可能性が高いため、相互に最近傍特徴点関係にあるペアのみに絞った方がノイズの誤対応や、ある特徴点に複数の特徴点が最近傍として重複して対応付くことを防ぐことができ、ＤＢ特徴量部分リストを正しく更新できる。
【００７５】
また、上記の方法ではＤＢ特徴量リストとして出力する各特徴点の座標は、各特徴点が抽出されたフレーム画像上の２次元座標をもとに、１番初めのフレーム画像の座標値を原点として、各フレーム画像との特徴点群の移動距離をもとに補正して算出した２次元座標を用いてもよい。またある画像ペア上の特徴点ペアの画像上移動距離から３次元座標を推定し、この３次元座標を出力してもよい。撮像装置から近い点と遠い点を比較すると、近い点ほどオプティカルフローの差分値が大きくなることを利用し、同一画像ペア間に存在する特徴点ペアのオプティカルフロー長の差分の逆数を利用し、算出した値を奥行として与えてもよい。また文献「清水慶行，金谷健一，”未校正カメラによるオプティカルフローからの３次元復元とその信頼度評価”，情報処理学会研究報告．ＣＶＩＭ，２０００（３３），３３−４０，２０００−０３−２３（２０００）．」に記載の方法によって求めてもよい。３次元座標を用いることで照合精度を向上させることができる。
【００７６】
さらに、図１１に示すＤＢ特徴表現部１２の処理動作は、図１３に示す処理動作としてもよく、処理の順序やアルゴリズム構成は上記の限りではない。すなわち、データベース映像を入力し（ステップＳ５１）、各データベース映像の映像処理に用いるすべての画像から特徴点を抽出し（ステップＳ５２）その特徴量を求めてから（ステップＳ５３）、隣接する２フレーム間で特徴点ペアを算出しＤＢ特徴量部分リストを生成して出力する（ステップＳ５４〜Ｓ５９）ようにしてもよい。
【００７７】
次に、図１に示す第２の実施形態における照合部１３が、クエリ特徴表現部１１が算出したクエリ特徴量リストとＤＢ特徴表現部１２が算出したＤＢ特徴量リストを比較し、データベース映像群の中からクエリ映像の被写体を特定し、認識結果として出力する動作を説明する。第２の実施形態における照合部１３の処理動作は、図９に示す処理動作と同様であるため、ここでは簡単に説明する。
【００７８】
まず、クエリ特徴表現部が算出したクエリ特徴量リストと、ＤＢ特徴表現部が算出したすべてのデータベース映像の特徴量を含むＤＢ特徴量リストを入力する。そして、クエリ特徴量リストの１つの特徴点の特徴量と、ＤＢ特徴量リストの特徴量のすべてを比較して、最もベクトル間距離の近い特徴量を有するデータベース映像に（若しくはベクトル間距離の近い順に指定数分のデータベース映像に）スコアを投票する。このスコアを求める際は、特徴量のベクトル間距離が最近傍であるベクトル間距離およびクエリ特徴量リストに保存された各特徴点の座標値を利用して算出する。
【００７９】
例えば、図１０に示すようにクエリ特徴量リストの中で１つの特徴点（１行分）を注目特徴点として設定し、注目特徴点以外のクエリ特徴点を周囲点と呼ぶこととする。図１０（１）に示すように、この注目特徴点に対して特徴量ベクトル間距離が最近傍のＤＢ特徴量リストの特徴量（１行）を求め、この特徴量の抽出されたデータベース映像を投票対象映像とし、この特徴量ベクトル間距離を用いて（２）式により算出したスコアを投票する。このとき注目特徴点と注目点以外の各特徴点の空間距離Ｄは、注目特徴点のスコアを算出する際は本来Ｄ＝０となるが、スコアＳの発散を防ぐため事前手に与えたｏｆｆｓｅｔ値を用い、Ｄ＝ｏｆｆｓｅｔ（＞０）とする。
【００８０】
さらに、図１０（２）に示すように、注目点が最近傍として算出した特徴量が属すデータベース映像から抽出された特徴量群のみを対象として、各周囲点特徴量から最近傍特徴量を求め、この映像に（２）式によってスコアを算出し、投票対象映像に投票する。なお周囲点から注目特徴点までの空間距離はＤ＝Ｄ＋ｏｆｆｓｅｔとすることとする。ｏｆｆｓｅｔは例えば０．０００１と設定する。ここで説明した（２）式では、スコア算出に注目特徴点との空間距離Ｄおよびベクトル間距離に対して逆数を用いたが、ガウス関数や指数関数を用いてスコア算出式を設定してもよい。
【００８１】
また、上記の例では注目点の特徴量ベクトル間距離が最近傍となる特徴点を有す１枚の投票対象画像にのみ投票を行ったが、特徴量ベクトル間距離が事前に与えたｎに基づき、第ｎ近傍点となる特徴点群をそれぞれ有す複数の投票対象画像を設定し、それぞれに注目点および周囲点から投票を行ってもよいし、上記の限りではない。なお、ここでスコア算出式に「特徴ベクトル間距離」を入れたのは、クエリ特徴量リストとＤＢ特徴量リストの特徴点間で、テクスチャの類似度をスコアに反映するためである。また、スコア算出式に「注目特徴点との空間距離Ｄ」を入れたのは、クエリ入力映像中で取得された特徴点座標が空間的に近い位置に存在するとき、この特徴点群に対応する特徴点群は、任意の視点から撮影された検索対象画像内においても一緒に写る可能性が高いであろうことを利用したもので、ベクトル間距離によるテクスチャ類似度に対する重みづけの役割を担っている。
また他の要素によって重みをつけてもよい。
【００８２】
そしてすべてのクエリ特徴量リスト中の特徴点（すべての行）を、１つずつ注目点として前述の投票を繰り返す。そしてＤＢ特徴量リストの中で、クエリ特徴量リストに最も類似するデータベース映像を合計スコア値から特定してこのデータベース画像を検索対象画像とし、若しくは検索対象画像候補としてクエリ特徴量リストに類似する順にデータベース画像名をソートして、認識結果とする。また認識結果の形式としてはこの検索対象画像に写る被写体の詳細情報（商品名、価格、ブランド名等）を出力してもよい。
【００８３】
また、映像を構成する画像のうち隣接する２画像間で対応する特徴点ペアのみを集めたクエリ特徴量リスト、およびＤＢ特徴量リストを照合に用いるのは、１画像のみで抽出された特徴点にはノイズを含みやすいからである。例えば映像から処理に用いるフレーム画像を間引く際の間引き数が多いときには、フレーム画像群の中で被写体上の同一箇所から抽出される重複特徴点が少ないため、ペアに含まれない特徴量も利用した方がよい。
【００８４】
また、上記では、特徴量ペアを作ることによりオプティカルフローを求め、オプティカルフローの差から推定した３次元座標を利用する方法を示したが、ペアを生成できなかった特徴点を利用する場合は、この特徴点に関しては周囲の特徴点ペアから推定した奥行から３次元座標を推定してもよい。
【００８５】
また、上記ではすべての場合で検索対象映像がデータベース中に含まれることを仮定しているが、すべてのデータベース映像において、事前に与えた閾値よりも合計スコア値が低ければ、認識結果を「該当なし」と出力してもよい。
【００８６】
＜第３の実施形態＞
次に、本発明の第３の実施形態による被写体認識装置を説明する。第３の実施形態による被写体認識装置は、鏡面反射の影響を除去して被写体の認識精度を向上するものである。被写体を撮影した入力動画像を構成する画像列と、検索対象画像データ中において、光源の反射による強いハイライトによって、被写体表面上のテクスチャが損なわれることがある（以降、この現象を「鏡面反射」と呼ぶ）。映像を入力とすることで、被写体のあらゆる方向の画像を撮影することとなるため、鏡面反射の発生の可能性は高まると考えられる。しかしこれは、照合時の情報量の減少を招く。加えて、鏡面反射部分とテクスチャの境目がテクスチャのパターンとして判別されてしまう可能性や、被写体上の位置が重複する複数特徴点の統合処理を失敗する可能性を増大させる。すなわち、入力動画像を構成する画像列と、検索対象画像データの双方もしくは片方のデータに鏡面反射箇所を含むと、入力動画像を構成する画像列と、検索対象画像データを照合する際に、照合不可能な領域や、誤った画像特徴が増加してしまう。そのため、入力動画像と検索対象画像データの双方、もしくは片方のデータから、鏡面反射成分を除去することが必要である。
【００８７】
以下の説明においては、画像内の被写体を認識する際に、鏡面反射箇所から取得される画像特徴を、被写体特徴として混入させず、鏡面反射成分を除去することで、拡散反射成分のみの画像を再構成し、認識精度を向上させる処理について説明する。
【００８８】
第３の実施形態による被写体認識装置の構成は、図１に示す構成と同様であるので、ここでは詳細な説明を省略する。次に、図１４を参照して、図１に示すクエリ特徴表現部１１が画像入力部２を介して入力したクエリ映像を為す画像群から、鏡面反射成分を除去し、鏡面反射成分除去後の画像から、画像上のエッジやコーナー等の特徴点を抽出し、各特徴点のＮ次元ベクトルで表現される特徴量を算出し（ＳＵＲＦの場合はＮ＝６４）、クエリ特徴量リストを生成する動作を説明する。クエリ映像を為す画像群から、鏡面反射成分を除去する処理動作として、例えば、文献「肥後、宮崎大輔、池内克史、”二色性反射モデルに基づくリアルタイム鏡面反射成分除去”」に記載の方法や、文献「阪野貴彦，池内克史，”ＥＰＩ  解析に基づく動画像からの鏡面反射成分の分離”，画像の認識・理解シンポジウム（ＭＩＲＵ２００４）」に記載の方法を用いることができる。
【００８９】
図１４は、画像入力部２から入力したクエリ映像を為す画像群から鏡面反射成分を除去し、ＳＵＲＦや、ヒストグラム等の公知の方法を用いて画像上のエッジやコーナー等の特徴点を抽出し、各特徴点のＮ次元ベクトルで表現される特徴量を算出し、クエリ特徴量リストを生成する動作を示すフローチャートである。図１４において、図２に示す処理動作と同一の部分には同一の符号を付してある。図１４に示す処理動作が、図２に示す処理動作と異なる点は、ステップＳ９が新たに設けられている点である。
【００９０】
まず、ユーザが入力部４を操作して、クエリ映像（２次元画像群）の入力を指示すると、クエリ特徴表現部１１は画像入力部２からクエリ映像を入力する（ステップＳ１）。そして、クエリ映像を構成するＭ枚の画像群から鏡面反射成分を除去する（ステップＳ９）。そして、クエリ特徴表現部１１は前記鏡面反射成分除去後のＭ枚の画像群のうち、時系列順にｎフレーム目とｎ＋１フレーム目の連続する２枚の画像を対象として、この２枚の画像から特徴点を抽出し（ステップＳ２）、抽出したすべての特徴点で特徴量を算出する（ステップＳ３）。なお、２回目（ｎ≧２）以降はｎフレーム目の特徴点およびその特徴量は既に１つ前の画像ペアであるｎ−１フレーム目とｎフレーム目の２枚の画像を対象として算出済みのため再計算の必要は無く、ｎ＋１フレーム目画像のみ処理する。このとき、各特徴点が属す画像番号およびこの画像中の特徴点番号と各特徴量を紐づけて保存しておく。
【００９１】
そして、クエリ特徴表現部１１は、ｎフレーム目の画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、またｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、相互に最近傍特徴点関係にあるペアのみを特徴点ペアとすることで特徴点ペアを算出する（ステップＳ４）。続いて、クエリ特徴表現部１１は、この特徴点ペアをもとに、ペアを為す各々の特徴点が属す画像番号、および各特徴点番号、各座標値、各特徴量を紐づけて、クエリ特徴量リストを生成する。ｎ＝１のときに算出した特徴ペアは新規特徴ペアとしてすべてクエリ特徴量リストに挿入する。一方、ｎ≧２では、各特徴ペアとクエリ特徴量リストに格納された特徴ペアの比較を行う（ステップＳ５）。
【００９２】
図３は、クエリ特徴量リストの構成と更新方法を示す図である。図３（ａ）に示すように、クエリ特徴表現部１１は、クエリ特徴量リストに同じ画像番号、特徴点番号の行が存在しなければ新規特徴としてクエリ特徴量リストに挿入する（ステップＳ６）。一方、図３（ｂ）に示すように、クエリ特徴表現部１１は、画像番号および特徴点番号が同じ行が存在している場合は既出特徴ペアとして、クエリ特徴量リストの情報を書き換える（ステップＳ７）。この一連の処理を画像ペア数分Ｍ−１回分繰り返し、クエリ特徴表現部１１は、クエリ特徴量リストを更新する。そして最後に、クエリ特徴表現部１１は、クエリ特徴量リストを出力する（ステップＳ８）。これによって、被写体物体上の各特徴箇所から重複なく特徴量を取得したクエリ特徴量リストが取得できる。
【００９３】
なお、この時、処理に用いる画像群は、映像を構成するすべてのフレームを対象としてもよいし、事前に設定した固定フレーム分ずつ（例えば３フレームずつ）間引いたものを利用してもよい。また、事前に設定する固定フレームではなく、入力映像から除去した鏡面反射成分量が多い画像を避けて、間引き数を決定／もしくはなるべく間引き間隔が均一になるように選択してもよい。もしくは、撮像装置に付属するその他のセンサによって計測、またはクエリ映像を為すフレーム画像から因子分解法等の方法によって算出した撮像装置の移動量に応じて、フレームの間引き数を変えてもよい。例えば移動量が大きい場合は間引くフレーム数を減らし、移動量が小さい場合は間引くフレーム数を増やすことによって、利用する画像群の各々に写る被写体姿勢の角度間隔を均一に近づけることが期待できる。なお、上記間引き数決定に際し、鏡面反射成分量が多い画像を避けるようにしたのは、鏡面反射成分除去処理で合成された画像ではなく、入力映像を構成する未編集画像を対象とした生の画像を扱うことで、合成ノイズを処理対象から省き、最終的な認識精度が劣化する要因を省くためである。
【００９４】
前述した説明では、鏡面反射成分の対応（ステップＳ９）は、鏡面反射成分を画像中から除去することで拡散反射成分画像を生成したが、処理時間がかかる上に、合成画像は生の画像とは特徴的に変化が生じる可能性があり、認識劣化を招く可能性もある。そのため鏡面反射成分の発生箇所（フレーム番号と座標値群）のみを算出し、特徴点統合時に用いるようにしてもよい。図１５は、鏡面反射箇所を用いる際の特徴点連結情報生成を行う処理動作を示すフローチャートである。図１５に示す処理動作は、図１４に示すステップＳ５〜Ｓ９の処理動作に相当する。図１６は、映像から抽出した鏡面反射箇所の情報を利用した特徴点統合方法を示す説明図である。図１５、図１６を参照して、鏡面反射箇所を用いる際の特徴点連結情報生成の処理動作を説明する。
【００９５】
まず、鏡面反射成分の発生箇所を算出した後、前述の方法と同様にして、隣接２フレーム間で特徴点ペアを算出する（ステップＳ＿ａ）。そして特徴点の画像上の代表的移動距離ｒを算出し、鏡面反射発生前後の各フレームにおける鏡面反射成分発生箇所±ｒ１，±ｒ２の範囲でそれぞれ周辺領域を決定する（ステップＳ＿ｂ）。なお代表的移動距離ｒ１，ｒ２は、例えば鏡面反射発生前フレームと鏡面反射発生フレーム間、もしくは鏡面反射発生フレームと鏡面反射発生後フレーム間の全特徴点ペアの移動距離の中間値から求めてもよいし、Ｒａｎｓａｃ等の公知の方法によって、特徴点ペアの移動距離からノイズを省いた上で、その平均値を用いてもよい。また、予め数値を与えておいてもよいし、その限りではない。
【００９６】
鏡面反射発生前後２フレームにおける鏡面反射成分発生箇所の周辺領域箇所から抽出された特徴点以外からなる特徴点ペアにおいて、前述した特徴点統合処理を実施する（ステップＳ＿ｃ）。図１６（２）中の周辺領域の○で囲んだ特徴点のように、鏡面反射発生前後フレームの周辺領域内特徴点はここでは処理対象外とする。そのあとで、鏡面反射発生前後の２フレームの各周辺領域中の特徴点を、相互に最近傍特徴点関係にある特徴点ペアを算出する（ステップＳ＿ｄ、図１６（３））。さらに各フレームの周辺領域内の特徴点と、鏡面反射成分発生フレーム特徴点において、相互に最近傍特徴点関係にある特徴点ペアが見つかった場合は、特徴点連結情報を更新し（ステップＳ＿ｅ、Ｓ＿ｆ，図１６（４））、出力する（ステップＳ＿ｇ）。このようにすることで、鏡面反射成分の発生フレーム（図１６中ｔ＝２、ｔ＝４）で途切れていた、被写体上で同一箇所の特徴点の連結情報を接続し、被写体上の同一箇所から唯一の特徴点を取得することができる。
【００９７】
また、図１４に示すクエリ特徴表現部１１の処理動作は、図５に示す処理動作と同様に、図１７に示す処理動作としてもよく、処理の順序やアルゴリズム構成は上記の限りではない。図１７において、図５に示す処理動作と同一の部分には同一の符号を付してある。すなわち、クエリ映像を入力し（ステップＳ１１）、処理に用いる画像すべてから鏡面反射成分を除去し（ステップＳ１９）、この画像群から特徴点を抽出し（ステップＳ１２）、その特徴量を求めてから（ステップＳ１３）、隣接する２フレーム間で特徴点ペアを算出し（ステップＳ１４）、前述した処理動作と同様にクエリ特徴量リストを生成して（ステップＳ１５〜Ｓ１７）、クエリ特徴量リストを出力する（ステップＳ１８）ようにしてもよい。
【００９８】
＜第４の実施形態＞
次に、本発明の第４の実施形態による被写体認識装置を説明する。第４の実施形態による被写体認識装置の構成は、図１に示す装置構成と同様であるため、詳細な説明を省略する。第４の実施形態における被写体認識装置は、検索対象が「映像」である。ここではクエリとして映像（２次元画像群）を入力し、１物体あたり１つ若しくは複数の映像を複数物体分、検索対象を含むデータベース映像群として予め記憶部３に記憶しておく。
【００９９】
次に、図１に示す第４の実施形態におけるクエリ特徴表現部１１が画像入力部２を介して入力したクエリ映像を為す画像群から特徴点を抽出し、特徴点の特徴量を算出し、クエリ特徴量リストを生成する動作を説明する。第４の実施形態におけるクエリ特徴表現部１１の処理動作は、図１４に示す処理動作と同様であるため、ここでは簡単に説明する。
【０１００】
まず、ユーザが入力部４を操作して、クエリ映像（２次元画像群）の入力を指示すると、クエリ特徴表現部１１は画像入力部２からクエリ映像を入力する。そして、クエリ特徴表現部１１は入力した映像を構成するＭ枚の画像群から、鏡面反射成分を除去し、該Ｍ枚の画像群のうち、時系列順にｎフレーム目とｎ＋１フレーム目の２枚の画像を対象として、この２枚の画像から特徴点を抽出し、抽出したすべての特徴点で特徴量を算出する。なお２回目（ｎ≧２）以降はｎフレーム目の特徴点およびその特徴量は既に１つ前の画像ペアであるｎ−１フレーム目とｎフレーム目の２枚の画像を対象として算出済みのため再計算の必要は無く、ｎ＋１フレーム目画像のみ処理する。このとき、各特徴点が属す画像番号およびこの画像中の特徴点番号と各特徴量を紐づけて保存しておく。
【０１０１】
そして、ｎフレーム目の画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、またｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、相互に最近傍特徴点関係にあるペアのみを特徴点ペアとする。そしてこの特徴点ペアをもとに、ペアを為す各々の特徴点が属す画像番号、および各特徴点番号、各座標値、各特徴量を紐づけて、クエリ特徴量リストを生成する。まずｎ＝１のときに算出した特徴ペアは新規特徴ペアとしてすべてクエリ特徴量リストに挿入する。ｎ≧２では、各特徴ペアとクエリ特徴量リストに格納された特徴ペアの比較を行う。図３（ａ）のようにクエリ特徴量リストに同じ画像番号、特徴点番号の行が存在しなければ新規特徴としてクエリ特徴量リストに挿入し、図３（ｂ）のように画像番号および特徴点番号が同じ行が存在している場合は既出特徴ペアとして、クエリ特徴量リストの情報を書き換える。この一連の処理を画像ペア数分Ｍ−１回分繰り返し、クエリ特徴量リストを更新する。そして最後にクエリ特徴量リストを出力する。これによって、被写体物体上の各特徴箇所から重複なく特徴量を取得したクエリ特徴量リストが取得できる。
【０１０２】
なお、この時、処理に用いる画像群は、映像を構成するすべてのフレームを対象としてもよいし、事前に設定した固定フレーム分ずつ（例えば３フレームずつ）間引いたものを利用してもよい。また、事前に設定する固定フレームではなく、入力映像から除去した鏡面反射成分量が多い画像を避けて、間引き数を決定／もしくはなるべく間引き間隔が均一になるように選択してもよい。もしくは、撮像装置に付属するその他のセンサによって計測、またはクエリ映像を為すフレーム画像から因子分解法等の方法によって算出した撮像装置の移動量に応じて、フレームの間引き数を変えてもよい。例えば移動量が大きい場合は間引くフレーム数を減らし、移動量が小さい場合は間引くフレーム数を増やすことによって、利用する画像群の各々に写る被写体姿勢の角度間隔を均一に近づけることが期待できる。なお、上記間引き数決定に際し、鏡面反射成分量が多い画像を避けるようにしたのは、鏡面反射成分除去処理で合成された画像ではなく、入力映像を構成する未編集画像を対象とした生の画像を扱うことで、合成ノイズを処理対象から省き、最終的な認識精度が劣化する要因を省くためである。
【０１０３】
また、上記の方法で最終的に出力されるクエリ特徴量リストの特徴量は、被写体物体上の各特徴箇所から１つずつ、その特徴箇所が取得されたフレームのうち最も後のフレームで取得された特徴量が保存されているが、対応特徴点の連結情報を図４のように時系列順に保存しておくことでそれぞれの被写体物体上の各特徴箇所が映るフレームのうち時系列的に真ん中にあるフレームから取得された特徴量を最終的な特徴量としても出力してもよい。こうすることで、図４のような連結情報を持つ必要は発生するが、この特徴箇所を最も正面に近い箇所から撮影した際の特徴量を取得することが期待でき、ＤＢ画像内に写るこの特徴箇所がどのような角度で取得されるか分からないという条件下では、照合時の特徴量間のズレを最小限に抑えることができ、最終的な認識精度を向上させることが可能となる。
【０１０４】
また、各被写体上の同一箇所を示す特徴点を取得したフレームのうち、前述した時系列順で真ん中のフレームに、重みづけをした加重平均によって特徴量を再計算し、この特徴量をリストとして出力してもよい。例えば、今６４次元の特徴量が被写体の同一箇所の特徴としてｅ個得られたとする。このときこのｅ個の特徴量をｄｉ（０＜ｉ≦ｅ）と表現し、各特徴量の要素をｄｉｆと表現する（０＜ｆ≦６４）。算出する特徴量Ｄのｆ番目の要素Ｄｆは重みづけ項ｗを用いて、上記の（１）式によって求めてもよい。なお、重みづけ項ｗはすべて１としてもよいし、正規分布で設定してもよい。
【０１０５】
また、特徴点ペアを算出する際は、２画像から算出した特徴量をもとにｎフレーム目画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、特徴点ペアとしてもよい。また、その逆にｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、特徴点ペアとしてもよい。ただし撮像装置で撮影された映像のｎフレーム目とｎ＋１フレーム目画像には片方にしか存在しない被写体物体上の特徴箇所が存在する可能性が高いため、相互に最近傍特徴点関係にあるペアのみに絞った方がノイズの誤対応や、ある特徴点に複数の特徴点が最近傍として重複して対応付くことを防ぐことができ、クエリ特徴量リストを正しく更新できる。
【０１０６】
また、上記の方法ではクエリ特徴量リストとして出力する各特徴点の座標は、各特徴点が抽出されたフレーム画像上の２次元座標をもとに、１番初めのフレーム画像の座標値を原点として、各フレーム画像との特徴点群の移動距離をもとに補正して算出した２次元座標を用いてもよい。またある画像ペア上の特徴点ペアの画像上移動距離から３次元座標を推定し、この３次元座標を出力してもよい。例えば撮像装置から近い点と遠い点を比較すると、近い点ほどオプティカルフローの差分値が大きくなることを利用し、同一画像ペア間に存在する特徴点ペアのオプティカルフロー長の差分の逆数を利用し、算出した値を奥行として与えてもよい。また文献「清水慶行，金谷健一，”未校正カメラによるオプティカルフローからの３次元復元とその信頼度評価”，情報処理学会研究報告．ＣＶＩＭ，２０００（３３），３３−４０，２０００−０３−２３（２０００）．」に記載の方法によって求めてもよい。３次元座標を用いることで照合精度を向上させることができる。
【０１０７】
さらに、図１４に示すクエリ特徴表現部１１の処理動作は図１７に示すように、まず処理に用いる画像すべてから特徴点を抽出しその特徴量を求めてから、隣接する２フレーム間で特徴点ペアを算出しクエリ特徴量リストを生成してもよく、処理の順序やアルゴリズム構成は上記の限りではない。
【０１０８】
図１７に示す処理動作において、鏡面反射成分の対応（ステップＳ１９）は、鏡面反射成分を画像中から除去することで拡散反射成分画像を生成したが、処理時間がかかる上に、合成画像は生の画像とは特徴的に変化が生じる可能性があり、認識劣化を招く可能性もある。そのため鏡面反射成分の発生箇所（フレーム番号と座標値群）のみを算出し、特徴点統合時に用いる方法を以降記載する。例えば、図１５、１６に示すように、鏡面反射成分の発生箇所を算出した後、前述の方法と同様にして、隣接２フレーム間で特徴点ペアを算出する（ステップＳ＿ａ）。そして特徴点の画像上の代表的移動距離ｒを算出し、鏡面反射発生前後の各フレームにおける鏡面反射成分発生箇所±ｒ１，±ｒ２の範囲でそれぞれ周辺領域を決定する（ステップＳ＿ｂ）。なお代表的移動距離ｒ１，ｒ２は、たとえば鏡面反射発生前フレームと鏡面反射発生フレーム間、もしくは鏡面反射発生フレームと鏡面反射発生後フレーム間の全特徴点ペアの移動距離の中間値から求めてもよいし、Ｒａｎｓａｃ等の公知の方法によって、特徴点ペアの移動距離からノイズを省いた上で、その平均値を用いてもよい。また、予め数値を与えておいてもよいし、その限りではない。
【０１０９】
鏡面反射発生前後２フレームにおける鏡面反射成分発生箇所の周辺領域箇所から抽出された特徴点以外からなる特徴点ペアにおいて、前述した特徴点統合処理を実施する（ステップＳ＿ｃ）。図１６（２）中の周辺領域の○で囲んだ特徴点のように、鏡面反射発生前後フレームの周辺領域内特徴点はここでは処理対象外とする。そのあとで、鏡面反射発生前後の２フレームの各周辺領域中の特徴点を、相互に最近傍特徴点関係にある特徴点ペアを算出する（ステップＳ＿ｄ、図１６（３））。さらに各フレームの周辺領域内の特徴点と、鏡面反射成分発生フレーム特徴点において、相互に最近傍特徴点関係にある特徴点ペアが見つかった場合は、特徴点連結情報を更新し（ステップＳ＿ｅ、Ｓ＿ｆ，図１６（４））、出力する（ステップＳ＿ｇ）。このようにすることで、鏡面反射成分の発生フレーム（図１６中ｔ＝２、４）で途切れていた、被写体上で同一箇所の特徴点の連結情報を接続し、被写体上の同一箇所から唯一の特徴点を取得することができる。
【０１１０】
次に、図１８を参照して、第４の実施形態におけるＤＢ特徴表現部１２の処理動作を説明する。図１８は、図１に示すＤＢ特徴表現部１２が記憶部３に格納されている各データベース映像を為す画像群から特徴点を抽出し、特徴点の特徴量を算出し、ＤＢ特徴量リストを生成する動作を示すフローチャートである。図１８において、図１１に示す処理動作と同一の部分には同一の符号を付してある。第４の実施形態における記憶部３内の検索対象データベースのテーブル構成は図１２に示す通りである。記憶部３内には、Ｐ個（Ｐ≧１）のデータベース映像群と、この映像群の各被写体情報を保存したデータベース画像対応表が保存されている。このデータベース画像対応表には、ＤＢ映像ｉｄ、データベース映像が保存されているＤＢ映像パス、各々の映像に写る被写体の詳細情報（例えば商品名、価格、ブランド名等）が紐づけられて保存されている。
【０１１１】
まず、ＤＢ特徴表現部１２は、記憶部３に格納されているＰ個のデータベース映像のうち、１つのデータベース映像を入力し（ステップＳ４１）、この映像を構成するＭｐ枚の画像群から鏡面反射成分を除去する（ステップＳ５０）。そして該鏡面反射成分を除去したＭｐ枚の画像群のうち、時系列順にｎフレーム目とｎ＋１フレーム目の２枚の画像を対象として、この２枚の画像から特徴点を抽出し（ステップＳ４２）、抽出したすべての特徴点で特徴量を算出する（ステップＳ４３）。この処理をすべてのデータベース映像に対して繰り返し実施する。そして、データベース映像の通し番号であるＤＢ映像ｉｄ、このデータベース画像から抽出した特徴点の通し番号である特徴点ｉｄ、この特徴点から得られた特徴量を紐づけて、すべてのデータベース画像分を順に保存する。なお、ＤＢ特徴量リストのテーブル構成は、図８に示すＤＢ特徴量リストと同様である。
【０１１２】
そして、ｎフレーム目の画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、またｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、相互に最近傍特徴点関係にあるペアのみを特徴点ペアを算出する（ステップＳ４４）。そしてこの特徴点ペアをもとに、ペアを為す各々の特徴点が属す画像番号、および各特徴点番号、各座標値、各特徴量を紐づけて、各データベース映像のＤＢ特徴量部分リストを生成する。まずｎ＝１のときに算出した特徴ペアは新規特徴ペアとしてすべてＤＢ特徴量部分リストに挿入する。ｎ≧２では、各特徴ペアとＤＢ特徴量部分リストに格納された特徴ペアの比較を行う（ステップＳ４５）。ＤＢ特徴量リストに同じ画像番号、特徴点番号の行が存在しなければ新規特徴としてクエリ特徴量リストに挿入する（ステップＳ４６）。一方、ＤＢ特徴量リストに画像番号および特徴点番号が同じ行が存在している場合は既出特徴ペアとして、ＤＢ特徴量部分リストの情報を書き換える（ステップＳ４７）。なお、ＤＢ特徴量部分リストのテーブル構成は、図３に示すクエリ特徴量リストと同様のテーブル構成である。
【０１１３】
この一連の処理を画像ペア数分Ｍ−１回分繰り返し、ＤＢ特徴量部分リストを更新する。そしてこのＤＢ特徴量部分リストの生成処理をデータベース映像個数分行い、各ＤＢ特徴量部分リストを映像ｉｄ順に統合し、映像ｉｄとＤＢ特徴量部分リストを紐づけて、ＤＢ特徴量リストを生成する（ステップＳ４８）。そして最後にこのＤＢ特徴量リストを出力する（ステップＳ４９）。これによって、被写体物体上の各特徴箇所から重複なく特徴量を取得したＤＢ特徴量リストが取得できる。
【０１１４】
なお、この時、処理に用いる画像群は、映像を構成するすべてのフレームを対象としてもよいし、事前に設定した固定フレーム分ずつ（例えば３フレームずつ）間引いたものを利用してもよい。また、事前に設定する固定フレームではなく、ＤＢ映像から除去した鏡面反射成分量が多い画像を避けて、間引き数を決定／もしくはなるべく間引き間隔が均一になるように選択してもよい。もしくは、撮像装置に付属するその他のセンサによって計測、またはＤＢ映像を為すフレーム画像から因子分解法等の方法によって算出した撮像装置の移動量に応じて、フレームの間引き数を変えてもよい。例えば移動量が大きい場合は間引くフレーム数を減らし、移動量が小さい場合は間引くフレーム数を増やすことによって、利用する画像群の各々に写る被写体姿勢の角度間隔を均一に近づけることが期待できる。なお、上記間引き数決定に際し、鏡面反射成分量が多い画像を避けるようにしたのは、鏡面反射成分除去処理で合成された画像ではなく、ＤＢ映像を構成する未編集画像を対象とした生の画像を扱うことで、合成ノイズを処理対象から省き、最終的な認識精度が劣化する要因を省くためである。
【０１１５】
また、上記の方法で最終的に出力されるＤＢ特徴量リストの特徴量は、被写体物体上の各特徴箇所から１つずつ、その特徴箇所が取得されたフレームのうち最も後のフレームで取得された特徴量が保存されているが、対応特徴点の連結情報を図４のように時系列順に保存しておくことでそれぞれの被写体物体上の各特徴箇所が映るフレームのうち時系列的に真ん中にあるフレームから取得された特徴量を最終的な特徴量としても出力してもよい。こうすることで、図４のような連結情報を持つ必要は発生するが、この特徴箇所を最も正面に近い箇所から撮影した際の特徴量を取得することが期待でき、データベース画像内に写るこの特徴箇所がどのような角度で取得されるか分からないという条件下では、照合時の特徴量間のズレを最小限に抑えることができ、最終的な認識精度を向上させることが可能となる。
【０１１６】
また、各被写体上の同一箇所を示す特徴点を取得したフレームのうち、前述した時系列順で真ん中のフレームに、重みづけをした加重平均によって特徴量を再計算し、この特徴量をリストとして出力してもよい。例えば、今６４次元の特徴量が被写体の同一箇所の特徴としてｅ個得られたとする。このときこのｅ個の特徴量をｄｉ（０＜ｉ≦ｅ）と表現し、各特徴量の要素をｄｉｆと表現する（０＜ｆ≦６４）。算出する特徴量Ｄのｆ番目の要素Ｄｆは重みづけ項ｗを用いて、（１）式によって求めてもよい。なお、重みづけ項ｗはすべて１としてもよいし、正規分布で設定してもよい。
【０１１７】
また、特徴点ペアを算出する際は、２画像から算出した特徴量をもとにｎフレーム目画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち特徴量のベクトル間距離が最近傍となる特徴点を求め、特徴点ペアとしてもよい。また、その逆にｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、特徴点ペアとしてもよい。ただしあるデータベース映像のｎフレーム目とｎ＋１フレーム目画像には片方にしか存在しない被写体物体上の特徴箇所が存在する可能性が高いため、相互に最近傍特徴点関係にあるペアのみに絞った方がノイズの誤対応や、ある特徴点に複数の特徴点が最近傍として重複して対応付くことを防ぐことができ、ＤＢ特徴量部分リストを正しく更新できる。
【０１１８】
また、上記の方法ではＤＢ特徴量リストとして出力する各特徴点の座標は、各特徴点が抽出されたフレーム画像上の２次元座標をもとに、１番初めのフレーム画像の座標値を原点として、各フレーム画像との特徴点群の移動距離をもとに補正して算出した２次元座標を用いてもよい。またある画像ペア上の特徴点ペアの画像上移動距離から３次元座標を推定し、この３次元座標を出力してもよい。撮像装置から近い点と遠い点を比較すると、近い点ほどオプティカルフローの差分値が大きくなることを利用し、同一画像ペア間に存在する特徴点ペアのオプティカルフロー長の差分の逆数を利用し、算出した値を奥行として与えてもよい。また文献「清水慶行，金谷健一，”未校正カメラによるオプティカルフローからの３次元復元とその信頼度評価”，情報処理学会研究報告．ＣＶＩＭ，２０００（３３），３３−４０，２０００−０３−２３（２０００）．」に記載の方法によって求めてもよい。３次元座標を用いることで照合精度を向上させることができる。
【０１１９】
また、鏡面反射成分の対応（ステップＳ５０）は、鏡面反射成分を画像中から除去することで拡散反射成分画像を生成したが、処理時間がかかる上に、合成画像は生の画像とは特徴的に変化が生じる可能性があり、認識劣化を招く可能性もある。そのため鏡面反射成分の発生箇所（フレーム番号と座標値群）のみを算出し、特徴点統合時に用いる方法を以降記載する。例えば、図１５、１６に示すように、鏡面反射成分の発生箇所を算出した後、前述の方法と同様にして、隣接２フレーム間で特徴点ペアを算出する（ステップＳ＿ａ）。そして特徴点の画像上の代表的移動距離ｒを算出し、鏡面反射発生前後の各フレームにおける鏡面反射成分発生箇所±ｒ１，±ｒ２の範囲でそれぞれ周辺領域を決定する（ステップＳ＿ｂ）。なお代表的移動距離ｒ１，ｒ２は、たとえば鏡面反射発生前フレームと鏡面反射発生フレーム間、もしくは鏡面反射発生フレームと鏡面反射発生後フレーム間の全特徴点ペアの移動距離の中間値から求めてもよいし、Ｒａｎｓａｃ等の公知の方法によって、特徴点ペアの移動距離からノイズを省いた上で、その平均値を用いてもよい。また、予め数値を与えておいてもよいし、その限りではない。
【０１２０】
鏡面反射発生前後２フレームにおける鏡面反射成分発生箇所の周辺領域箇所から抽出された特徴点以外からなる特徴点ペアにおいて、前述した特徴点統合処理を実施する（ステップＳ＿ｃ）。図１６（２）中の周辺領域の○で囲んだ特徴点のように、鏡面反射発生前後フレームの周辺領域内特徴点はここでは処理対象外とする。そのあとで、鏡面反射発生前後の２フレームの各周辺領域中の特徴点を、相互に最近傍特徴点関係にある特徴点ペアを算出する（ステップＳ＿ｄ、図１６（３））。さらに各フレームの周辺領域内の特徴点と、鏡面反射成分発生フレーム特徴点において、相互に最近傍特徴点関係にある特徴点ペアが見つかった場合は、特徴点連結情報を更新し（ステップＳ＿ｅ、Ｓ＿ｆ，  図１６（４））、出力する（ステップＳ＿ｇ）。このようにすることで、鏡面反射成分の発生フレーム（図１６中ｔ＝２、４）で途切れていた、被写体上で同一箇所の特徴点の連結情報を接続し、被写体上の同一箇所から唯一の特徴点を取得することができる。
【０１２１】
さらに、図１８に示すＤＢ特徴表現部１２の処理動作は、図１９に示す処理動作としてもよく、処理の順序やアルゴリズム構成は上記の限りではない。すなわち、データベース映像を入力し（ステップＳ５１）、各データベース映像の映像処理に用いるすべての画像から鏡面手反射成分を除去し（ステップＳ６０）、データベース映像を構成する各画像から特徴点を抽出し（ステップＳ５２）その特徴量を求めてから（ステップＳ５３）、隣接する２フレーム間で特徴点ペアを算出しＤＢ特徴量部分リストを生成して出力する（ステップＳ５４〜Ｓ５９）ようにしてもよい。
【０１２２】
次に、第４の実施形態における照合部１３が、クエリ特徴表現部１１が算出したクエリ特徴量リストとＤＢ特徴表現部１２が算出したＤＢ特徴量リストを比較し、データベース映像群の中からクエリ映像の被写体を特定し、認識結果として出力する動作を説明する。第４の実施形態における照合部１３の処理動作は、図９に示す処理動作と同様であるため、ここでは簡単に説明する。
【０１２３】
まず、クエリ特徴表現部が算出したクエリ特徴量リストと、ＤＢ特徴表現部が算出したすべてのデータベース映像の特徴量を含むＤＢ特徴量リストを入力する。そして、クエリ特徴量リストの１つの特徴点の特徴量と、ＤＢ特徴量リストの特徴量のすべてを比較して、最もベクトル間距離の近い特徴量を有するデータベース映像に（若しくはベクトル間距離の近い順に指定数分のデータベース映像に）スコアを投票する。このスコアを求める際は、特徴量のベクトル間距離が最近傍であるベクトル間距離およびクエリ特徴量リストに保存された各特徴点の座標値を利用して算出する。
【０１２４】
例えば、図１０に示すようにクエリ特徴量リストの中で１つの特徴点（１行分）を注目特徴点として設定し、注目特徴点以外のクエリ特徴点を周囲点と呼ぶこととする。図１０（１）に示すように、この注目特徴点に対して特徴量ベクトル間距離が最近傍のＤＢ特徴量リストの特徴量（１行）を求め、この特徴量の抽出されたデータベース映像を投票対象映像とし、この特徴量ベクトル間距離を用いて（２）式により算出したスコアを投票する。このとき注目特徴点と注目点以外の各特徴点の空間距離Ｄは、注目特徴点のスコアを算出する際は本来Ｄ＝０となるが、スコアＳの発散を防ぐため事前手に与えたｏｆｆｓｅｔ値を用い、Ｄ＝ｏｆｆｓｅｔ（＞０）とする。
【０１２５】
さらに、図１０（２）に示すように、注目点が最近傍として算出した特徴量が属すデータベース映像から抽出された特徴量群のみを対象として、各周囲点特徴量から最近傍特徴量を求め、この映像に（２）式によってスコアを算出し、投票対象映像に投票する。なお周囲点から注目特徴点までの空間距離はＤ＝Ｄ＋ｏｆｆｓｅｔとすることとする。ｏｆｆｓｅｔは例えば０．０００１と設定する。ここで説明した（２）式では、スコア算出に注目特徴点との空間距離Ｄおよびベクトル間距離に対して逆数を用いたが、ガウス関数や指数関数を用いてスコア算出式を設定してもよい。
【０１２６】
また、上記の例では注目点の特徴量ベクトル間距離が最近傍となる特徴点を有す１枚の投票対象画像にのみ投票を行ったが、特徴量ベクトル間距離が事前に与えたｎに基づき、第ｎ近傍点となる特徴点群をそれぞれ有す複数の投票対象画像を設定し、それぞれに注目点および周囲点から投票を行ってもよいし、上記の限りではない。なお、ここでスコア算出式に「特徴ベクトル間距離」を入れたのは、クエリ特徴量リストとＤＢ特徴量リストの特徴点間で、テクスチャの類似度をスコアに反映するためである。また、スコア算出式に「注目特徴点との空間距離Ｄ」を入れたのは、クエリ入力映像中で取得された特徴点座標が空間的に近い位置に存在するとき、この特徴点群に対応する特徴点群は、任意の視点から撮影された検索対象画像内においても一緒に写る可能性が高いであろうことを利用したもので、ベクトル間距離によるテクスチャ類似度に対する重みづけの役割を担っている。また他の要素によって重みをつけてもよい。
【０１２７】
そしてすべてのクエリ特徴量リスト中の特徴点（すべての行）を、１つずつ注目点として前述の投票を繰り返す。そしてＤＢ特徴量リストの中で、クエリ特徴量リストに最も類似するデータベース映像を合計スコア値から特定してこのデータベース画像を検索対象画像とし、若しくは検索対象画像候補としてクエリ特徴量リストに類似する順にデータベース画像名をソートして、認識結果とする。また認識結果の形式としてはこの検索対象画像に写る被写体の詳細情報（商品名、価格、ブランド名等）を出力してもよい。
【０１２８】
また、映像を構成する画像のうち隣接する２画像間で対応する特徴点ペアのみを集めたクエリ特徴量リスト、およびＤＢ特徴量リストを照合に用いるのは、１画像のみで抽出された特徴点にはノイズを含みやすいからである。例えば映像から処理に用いるフレーム画像を間引く際の間引き数が多いときには、フレーム画像群の中で被写体上の同一箇所から抽出される重複特徴点が少ないため、ペアに含まれない特徴量も利用した方がよい。
【０１２９】
また、上記では、特徴量ペアを作ることによりオプティカルフローを求め、オプティカルフローの差から推定した３次元座標を利用する方法を示したが、ペアを生成できなかった特徴点を利用する場合は、この特徴点に関しては周囲の特徴点ペアから推定した奥行から３次元座標を推定してもよい。
【０１３０】
また、上記ではすべての場合で検索対象映像がデータベース中に含まれることを仮定しているが、すべてのデータベース映像において、事前に与えた閾値よりも合計スコア値が低ければ、認識結果を「該当なし」と出力してもよい。
【０１３１】
また、上記ではすべてのクエリ特徴量リスト中の特徴点（すべての行）を注目点として、ＤＢ特徴量リストの画像への投票を実施したが、逆にすべてのＤＢ特徴量リストの特徴点に対して、クエリ特徴量リスト中の特徴点を比較してもよい。例えばクエリとして入力される動画像を構成する画像が１枚〜少数枚であるような短い動画像である場合は、３次元推定精度が落ちることが想定されるため、ＤＢ特徴量リストを構成する特徴点をそれぞれを注目点として、３次元座標推定結果を用いて、クエリ特徴量リストへ投票を行い、その投票数値によって照合を実現してもよい。
【０１３２】
以上説明したように、特徴点の座標値を失わずに被写体全体形状を評価した照合ができるため、入力映像（画像群）のテクスチャの組成がデータベース内に存在する他の画像のテクスチャの組成と偶然類似してしまった際の認識精度を向上することができる。また同時に、撮影するカメラの移動スピードの変化や被写体形状等の理由により、各被写体の各部位を写したフレーム数が均一でないとき被写体上で同一の箇所から取得できる特徴点数に偏りができるが、被写体上の同一箇所に重複して特徴点が抽出・利用されることを防ぎ、各箇所から唯一の特徴量を選定もしくは算出するようにしたため、従来技術と比較し認識精度を向上することができる。さらに、映像を構成する各画像中の鏡面反射成分が認識精度に与える悪影響を取り除くため、事前に該画像群から鏡面反射成分を除去、または鏡面反射成分の発生箇所情報に基づく、特徴点の連結情報生成方法をとり、認識精度を向上することができる。
【０１３３】
また、予め画像または映像が記憶されており、被写体が撮像された入力画像または入力映像と、記憶されている画像または映像とを照合することによって被写体の認識を行う際に、鏡面反射による被写体テクスチャ特徴情報の減少や、誤った画像特徴が抽出されることを防ぐことができるため、被写体の認識精度を向上することができる
【０１３４】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより被写体認識を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１３５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１３６】
以上、本発明を実施形態例に基づき具体的に説明したが、上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或いは範囲を減縮する様に解すべきではない。また、本発明の各部の構成は、上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【産業上の利用可能性】
【０１３７】
予め画像（または映像）が記憶されており、入力画像（または映像）と、記憶されている画像（または映像）とを照合することによって被写体の認識を行うことが不可欠な用途に適用できる。
【符号の説明】
【０１３８】
１・・・被写体認識部、２・・・画像入力部、３・・・記憶部、４・・・入力部、５・・・表示部、１１・・・クエリ特徴表現部、１２・・・ＤＢ特徴表現部、１３・・・照合部
【図１】
2014102810.tif 000005
【図２】
2014102810.tif 000006
【図３】
2014102810.tif 000007
【図４】
2014102810.tif 000008
【図５】
2014102810.tif 000009
【図６】
2014102810.tif 000010
【図７】
2014102810.tif 000011
【図８】
2014102810.tif 000012
【図９】
2014102810.tif 000013
【図１０】
2014102810.tif 000014
【図１１】
2014102810.tif 000015
【図１２】
2014102810.tif 000016
【図１３】
2014102810.tif 000017
【図１４】
2014102810.tif 000018
【図１５】
2014102810.tif 000019
【図１６】
2014102810.tif 000020
【図１７】
2014102810.tif 000021
【図１８】
2014102810.tif 000022
【図１９】
2014102810.tif 000023