(57)【要約】認識精度を維持しながら、映像中の認識対象物に対してリアルタイムで認識結果を報知すること。認識対象物と、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶しておき、映像中の画像内からｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する。そして、ｉ次元とｊ次元とのうち、より少ない次元を選択して、選択した次元数までの特徴ベクトルからなるｎ個の第２局所特徴量に対して、選択した次元数までの特徴ベクトルからなるｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、映像中の画像内に認識対象物が存在すると認識し、認識対象物を示す情報を映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする。
2013088994.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像内に表示する表示手段と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記認識対象物に対応付けて、前記認識対象物に関連する関連情報を記憶する関連情報記憶手段をさらに備え、
前記表示手段は、さらに、前記関連情報を前記映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記認識対象物に対応付けて、前記認識対象物に関連する関連情報にアクセスするためのリンク情報を記憶するリンク情報記憶手段をさらに備え、
前記表示手段は、さらに、前記リンク情報を前記映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記認識対象物に対応付けて、前記認識対象物に関連する関連情報にアクセスするためのリンク情報を記憶するリンク情報記憶手段と、
前記リンク情報に従って、前記関連情報にアクセスするダウンロード手段と、
をさらに備え、
前記表示手段は、さらに、前記関連情報を前記映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする請求項１または２に記載の映像処理装置。
【請求項５】
前記第１局所特徴量記憶手段は、前記ｍ個の第１局所特徴量と、前記認識対象物の画像内における前記ｍ個の特徴点の位置座標との組を記憶し、
前記第２局所特徴量生成手段は、前記ｎ個の第２局所特徴量と、前記映像中の画像内における前記ｎ個の特徴点の位置座標との組みを保持し、
前記認識手段は、前記ｎ個の第２局所特徴量とその位置座標との組の集合と、前記ｍ個の第１局所特徴量とその位置座標との組の所定割合以上の集合とが線形変換の関係であると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識することを特徴とする請求項１乃至４のいずれか１項に記載の映像処理装置。
【請求項６】
前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成されることを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
【請求項７】
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする請求項６に記載の映像処理装置。
【請求項８】
前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した前記複数の特徴点から、重要度のより小さいと判断された特徴点を削除することにより生成されることを特徴とする請求項６または７に記載の映像処理装置。
【請求項９】
前記特徴ベクトルの複数次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定の次元数ごとに前記局所領域をひと回りするよう配列することを特徴とする請求項６乃至８のいずれか１項に記載の映像処理装置。
【請求項１０】
認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理装置の制御方法であって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示ステップと、
を含むことを特徴とする映像処理装置の制御方法。
【請求項１１】
認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を前記認識対象物に対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理装置において、制御方法を実施するための制御プログラムであって、前記制御方法は、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示ステップと、
を含むことを特徴とする映像処理装置の制御プログラム。
【請求項１２】
ネットワークを介して接続される携帯端末用の映像処理装置とサーバ用の映像処理装置とを有する映像処理システムであって、
認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記認識対象物に対応付けて記憶する第１局所特徴量記憶手段と、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、前記第２局所特徴量生成手段が生成した前記選択した次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、前記第１局所特徴量記憶手段に記憶された前記選択した次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示手段と、
を備えることを特徴とする映像処理システム。
【請求項１３】
前記携帯端末用の映像処理装置は、
前記第２局所特徴量生成手段と、
前記ｎ個の第２局所特徴量を符号化し、前記ネットワークを介して前記サーバ用の映像処理装置に送信する第２局所特徴量送信手段と、
前記サーバ用の映像処理装置において認識された認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する認識対象物受信手段と、
受信した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示手段と、
を備え、
前記サーバ用の映像処理装置は、
前記第１局所特徴量記憶手段と、
符号化された前記ｎ個の第２局所特徴量を、前記携帯端末用の映像処理装置から受信して復号する第２局所特徴量受信手段と、
前記認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を、前記ネットワークを介して前記携帯端末用の映像処理装置に送信する認識対象物送信手段と、
を備えることを特徴とする請求項１２に記載の映像処理システム。
【請求項１４】
前記認識対象物に対応付けて、前記認識対象物に関連する関連情報にアクセスするためのリンク情報を記憶するリンク情報記憶手段をさらに備え、
前記表示手段は、さらに、前記リンク情報を前記映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする請求項１２または１３に記載の映像処理システム。
【請求項１５】
前記認識対象物に対応付けて、前記認識対象物に関連する関連情報にアクセスするためのリンク情報を記憶するリンク情報記憶手段と、
前記リンク情報に従って、前記関連情報にアクセスするダウンロード手段と、
をさらに備え、
前記表示手段は、さらに、前記関連情報を前記映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする請求項１２または１３に記載の映像処理システム。
【請求項１６】
請求項１２乃至１５のいずれか１項に記載の映像処理システムにおける携帯端末用の映像処理装置であって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記ｎ個の第２局所特徴量を符号化し、ネットワークを介してサーバ用の映像処理装置に送信する第２局所特徴量送信手段と、
前記サーバ用の映像処理装置において認識された認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する認識対象物受信手段と、
受信した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示手段と、
を備えることを特徴とする映像処理装置。
【請求項１７】
請求項１２乃至１５のいずれか１項に記載の映像処理システムにおける携帯端末用の映像処理装置の制御方法であって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｎ個の第２局所特徴量を符号化し、ネットワークを介してサーバ用の映像処理装置に送信する第２局所特徴量送信ステップと、
前記サーバ用の映像処理装置において認識された認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する認識対象物受信ステップと、
受信した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示ステップと、
を含むことを特徴とする携帯端末用の映像処理装置の制御方法。
【請求項１８】
請求項１２乃至１５のいずれか１項に記載の映像処理システムにおける携帯端末用の映像処理装置の制御プログラムであって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｎ個の第２局所特徴量を符号化し、ネットワークを介してサーバ用の映像処理装置に送信する第２局所特徴量送信ステップと、
前記サーバ用の映像処理装置において認識された認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する認識対象物受信ステップと、
受信した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
【請求項１９】
請求項１２乃至１５のいずれか１項に記載の映像処理システムにおけるサーバ用の映像処理装置であって、
認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
符号化された前記ｎ個の第２局所特徴量を、携帯端末用の映像処理装置から受信して復号する第２局所特徴量受信手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、前記選択された次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を、ネットワークを介して前記携帯端末用の映像処理装置に送信する認識対象物送信手段と、
を備えることを特徴とするサーバ用の映像処理装置。
【請求項２０】
請求項１２乃至１５のいずれか１項に記載の映像処理システムにおける、認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えたサーバ用の映像処理装置の制御方法であって、
符号化された前記ｎ個の第２局所特徴量を、携帯端末用の映像処理装置から受信して復号する第２局所特徴量受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した前記認識対象物を示す情報を、ネットワークを介して前記携帯端末用の映像処理装置に送信する認識対象物送信ステップと、
を含むことを特徴とするサーバ用の映像処理装置の制御方法。
【請求項２１】
請求項１２乃至１５のいずれか１項に記載の映像処理システムにおける、認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えたサーバ用の映像処理装置の制御プログラムであって、
符号化された前記ｎ個の第２局所特徴量を、携帯端末用の映像処理装置から受信して復号する第２局所特徴量受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択して、前記第２局所特徴量生成手段において生成した前記選択した次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した前記認識対象物を示す情報を、ネットワークを介して前記携帯端末用の映像処理装置に送信する認識対象物送信ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
【請求項２２】
ネットワークを介して接続される携帯端末用の映像処理装置とサーバ用の映像処理装置とを有し、認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記認識対象物に対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理システムにおける映像処理方法であって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択して、前記第２局所特徴量生成手段が生成した前記選択した次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、前記第１局所特徴量記憶手段に記憶された前記選択した次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示手段と、
を備えることを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中に存在する物をリアルタイムに認識するための技術に関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、あらかじめモデル画像から生成されたモデル辞書を使用して、クエリ画像を認識する場合に、特徴量をクラスタリングすることにより認識速度を向上した技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２２１６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術による認識速度の向上は、映像中のクエリ画像内の認識対象物に対してリアルタイムで認識結果を報知することを可能にするものではない。【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像内に表示する表示手段と、
を備えることを特徴とする。【０００７】
上記目的を達成するため、本発明に係る方法は、
認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理装置の制御方法であって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示ステップと、
を含むことを特徴とする。【０００８】
上記目的を達成するため、本発明に係るプログラムは、
認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を前記認識対象物に対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理装置の制御プログラムであって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示ステップと、
を含むことを特徴とする。【０００９】
上記目的を達成するため、本発明に係るシステムは、
ネットワークを介して接続される携帯端末用の映像処理装置とサーバ用の映像処理装置とを有する映像処理システムであって、
認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記認識対象物に対応付けて記憶する第１局所特徴量記憶手段と、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、前記第２局所特徴量生成手段が生成した前記選択した次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、前記第１局所特徴量記憶手段に記憶された前記選択した次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示手段と、
を備えることを特徴とする。【００１０】
上記目的を達成するため、本発明に係る方法は、
ネットワークを介して接続される携帯端末用の映像処理装置とサーバ用の映像処理装置とを有し、認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記認識対象物に対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理システムにおける映像処理方法であって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択して、前記第２局所特徴量生成手段が生成した前記選択した次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、前記第１局所特徴量記憶手段に記憶された前記選択した次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示手段と、
を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、認識精度を維持しながら、映像中の認識対象物に対してリアルタイムで認識結果を報知できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る映像処理装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る映像処理装置による映像処理を説明する図である。
【図３】本発明の第２実施形態に係る映像処理装置の機能構成を示すブロック図である。
【図４Ａ】本発明の第２実施形態に係る局所特徴量生成部の構成を示すブロック図である。
【図４Ｂ】本発明の第２実施形態に係る局所特徴量生成部の処理を示す図である。
【図４Ｃ】本発明の第２実施形態に係る局所特徴量生成部の処理を示す図である。
【図４Ｄ】本発明の第２実施形態に係る局所特徴量生成部の処理を示す図である。
【図４Ｅ】本発明の第２実施形態に係る局所特徴量生成部の処理を示す図である。
【図４Ｆ】本発明の第２実施形態に係る局所特徴量生成部の処理を示す図である。
【図４Ｇ】本発明の第２実施形態に係る照合部の処理を示す図である。
【図４Ｈ】本発明の第２実施形態に係る照合部の処理を示す図である。
【図５】本発明の第２実施形態に係る局所特徴量生成データの構成を示す図である。
【図６】本発明の第２実施形態に係る局所特徴量ＤＢの構成を示す図である。
【図７】本発明の第２実施形態に係る映像処理装置のハードウェア構成を示すブロック図である。
【図８】本発明の第２実施形態に係る映像処理装置の処理手順を示すフローチャートである。
【図９Ａ】本発明の第２実施形態に係る局所特徴量生成処理の処理手順を示すフローチャートである。
【図９Ｂ】本発明の第２実施形態に係る照合処理の処理手順を示すフローチャートである。
【図１０】本発明の第３実施形態に係る映像処理装置による映像処理を説明する図である。
【図１１】本発明の第３実施形態に係る映像処理装置の機能構成を示すブロック図である。
【図１２】本発明の第３実施形態に係る関連情報ＤＢの構成を示す図である。
【図１３】本発明の第４実施形態に係る映像処理装置による映像処理を説明する図である。
【図１４】本発明の第４実施形態に係る映像処理装置の機能構成を示すブロック図である。
【図１５】本発明の第３実施形態に係るリンク情報ＤＢの構成を示す図である。
【図１６】本発明の第５実施形態に係る映像処理システムによる映像処理を説明する図である。
【図１７】本発明の第５実施形態に係る映像処理システムの映像処理手順を示すシーケンス図である。
【図１８Ａ】本発明の第５実施形態に係る携帯端末用の映像処理装置の機能構成を示すブロック図である。
【図１８Ｂ】本発明の第５実施形態に係る符号化部の構成を示すブロック図である。
【図１８Ｃ】本発明の第５実施形態に係る伝送データ量削減部の第１の構成を示すブロック図である。
【図１８Ｄ】本発明の第５実施形態に係る伝送データ量削減部の第２の構成を示すブロック図である。
【図１８Ｅ】本発明の第５実施形態に係る伝送データ量削減部の第２の構成による処理を説明する図である。
【図１８Ｆ】本発明の第５実施形態に係る伝送データ量削減部の第３の構成を示すブロック図である。
【図１８Ｇ】本発明の第５実施形態に係る伝送データ量削減部の第４の構成を示すブロック図である。
【図１９】本発明の第５実施形態に係るサーバ用の映像処理装置の機能構成を示すブロック図である。
【図２０】本発明の第５実施形態に係る携帯端末用の映像処理装置のハードウェア構成を示すブロック図である。
【図２１】本発明の第５実施形態に係る携帯端末用の映像処理装置の処理手順を示すフローチャートである。
【図２２Ａ】本発明の第５実施形態に係る符号化の処理手順を示すフローチャートである。
【図２２Ｂ】本発明の第５実施形態に係る差分値の符号化の処理手順を示すフローチャートである。
【図２３】本発明の第５実施形態に係るサーバ用の映像処理装置のハードウェア構成を示すブロック図である。
【図２４】本発明の第５実施形態に係るリンク情報ＤＢの構成を示す図である。
【図２５】本発明の第５実施形態に係るサーバ用の映像処理装置の処理手順を示すフローチャートである。
【図２６Ａ】本発明の第５実施形態に係る局所特徴量ＤＢ生成処理の処理手順を示すフローチャートである。
【図２６Ｂ】本発明の第５実施形態に係る認識対象物／リンク情報取得処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１４】
［第１実施形態］
本発明の第１実施形態としての映像処理装置１００について、図１を用いて説明する。映像処理装置１００は、映像中に存在する対象物をリアルタイムに認識するための装置である。
【００１５】
図１に示すように、映像処理装置１００は、第１局所特徴量記憶部１１０と、第２局所特徴量生成部１２０と、認識部１３０と、表示部１４０と、を含む。第１局所特徴量記憶部１１０は、認識対象物１１１と、ｍ個の第１局所特徴量１１２とを対応付けて記憶する。当該ｍ個の第１局所特徴量１１２は、認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなる。第２局所特徴量生成部１２０は、映像中の画像１０１内からｎ個の特徴点１２１を抽出し、ｎ個の特徴点１２１のそれぞれを含むｎ個の局所領域１２２について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量１２３を生成する。
【００１６】
認識部１３０は、第１局所特徴量の特徴ベクトルの次元数ｉおよび第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択する。認識部１３０は、選択された次元数までの特徴ベクトルからなるｎ個の第２局所特徴量１２３に、選択された次元数までの特徴ベクトルからなるｍ個の第１局所特徴量１１２の所定割合以上が対応するか否かを判定する。認識部１３０は、対応すると判定した場合に、映像中の画像１０１内に認識対象物が存在すると認識する。表示部１４０は、認識部１３０が認識した認識対象物を示す情報を映像中の認識対象物が存在する画像内に表示する。
【００１７】
本実施形態によれば、認識精度を維持しながら、映像中の認識対象物に対してリアルタイムで認識結果を報知できる。
【００１８】
［第２実施形態］
次に、本発明の第２実施形態に係る映像処理装置について説明する。本実施形態においては、携帯端末としての映像処理装置が、撮像中の映像内の物を認識して、映像中の認識対象物に対してリアルタイムに認識結果を表示する映像処理を説明する。本実施形態では、認識対象物の名称をリアルタイムに表示する例を説明する。なお、本実施形態においては、携帯端末により撮像した映像に対する処理について説明するが、映像は映像コンテンツの再生処理や、放送番組の視聴においても同様に適応される。
【００１９】
本実施形態によれば、ユーザが映像を視聴中、その映像内の物についての認識結果を、認識精度を維持しながら映像上でリアルタイムにユーザに知らせることができる。
【００２０】
《本実施形態に係る映像処理の説明》
図２は、本実施形態に係る映像処理装置２００による映像処理を説明する図である。図２には、２つの処理例を示すがこれに限定されない。
【００２１】
まず、図２の上段は、野山で遊ぶ子供たちが携帯端末で動植物を撮像すると、映像中に存在する虫や花をリアルタイムに認識して、認識対象の虫や花の名前を表示する例を示したものである。携帯端末としての映像処理装置２００の表示画面２１０には、図２上段の左図に示すように、撮像中の映像表示領域２１１とタッチパネルの指示ボタン表示領域２１２とが表示されている。なお、映像表示領域２１１に表示されている虫や花は、撮像中の映像がそのまま表示されたものであり、静止画（写真）ではない。本実施形態においては、その表示映像に対してリアルタイムの認識処理が行なわれ、右の表示画面２２０の映像表示領域２２１には、それぞれの虫や花の名前２２２〜２２５が表示される。子供たちは、自然の中の動植物を採取して家庭で図鑑などを見るのではなく、また、野山に図鑑を持ってくる手間もなく、それら自然の中の動植物の名称を知ることができる。なお、本実施形態においては、動植物に限定されることはなく、鉱物などの自然の非生物、あるいは乗り物などの人工物に対しても適用できる。
【００２２】
図２の下段は、観光客などユーザが、視界内の搭やビルなどの建築物を知りたい場合や、行き先や自分の現在地を知りたい場合に、携帯端末で認識対象物を含む映像を撮像した例を示すものである。携帯端末としての映像処理装置２００の表示画面２３０には、図２下段の左図に示すように、撮像中の映像表示領域２３１とタッチパネルの指示ボタン表示領域２１２とが表示されている。なお、映像表示領域２３１に表示されている建築物は、撮像中の映像がそのまま表示されたものであり、静止画（写真）ではない。本実施形態においては、その表示映像に対してリアルタイムの認識処理が行なわれ、右の表示画面２４０の映像表示領域２４１には、それぞれの建築物の名前２４２〜２４５が表示される。ユーザは、かかる映像表示領域２４１から、例えば、観光案内などが無くても、目的地や自分の現在地を知ることができる。
【００２３】
《映像処理装置の機能構成》
図３は、本実施形態に係る映像処理装置２００の機能構成を示すブロック図である。
【００２４】
映像処理装置２００は、映像を取得する撮像部３１０を有する。撮像された映像は、表示部３６０に表示されると共に、局所特徴量生成部３２０に入力される。局所特徴量生成部３２０は、撮像された映像から局所特徴量を生成する（詳細は図４Ａ参照）。局所特徴量ＤＢ３３０には、あらかじめ個々の認識対象物、図２の虫／花やタワー／ビルなど単体、から局所特徴量生成部３２０と同様のアルゴリズムで生成された局所特徴量が、認識対象物と対応付けられて格納されている。かかる局所特徴量ＤＢ３３０の内容は、通信制御部３９０を介して局所特徴量受信部３８０が受信してもよい。
【００２５】
照合部３４０は、撮像された映像から局所特徴量生成部３２０で生成された局所特徴量中に、局所特徴量ＤＢ３３０に格納されている局所特徴量に対応するデータがあるか否かを照合する。照合部３４０は、対応するデータがあれば、撮影された映像中に認識対象物があると判定する。なお、局所特徴量が対応するというのは、同じ局所特徴量が在るというだけでなく、その順序や配置が同じ対象物から取得し得るか否かを判断することを含んでもよい（図４Ｇおよび図４Ｈ参照）。
【００２６】
照合結果生成部３５０は、照合部３４０の照合結果から表示部３６０に表示するためのデータを生成する。かかるデータには、認識対象物の名称や認識エラーなどのデータも含まれる。表示部３６０は、撮像部３１０で撮像された映像に照合結果を重畳して表示する。また、照合結果生成部３５０が生成したデータは、通信制御部３９０を介して外部に送信されてもよい。操作部３７０は、映像処理装置２００のキーやタッチパネル（図２の指示ボタンなど）を含み、撮像部３１０などの映像処理装置２００の動作を操作する。
【００２７】
なお、本実施形態の映像処理装置２００は、撮像中の映像に限定されず、再生中の映像や放送中の映像においても適用可能である。その場合には、撮像部３１０を映像再生部や映像受信部に置き換えればよい。
【００２８】
《局所特徴量生成部》
図４Ａは、本実施形態に係る局所特徴量生成部３２０の構成を示すブロック図である。
【００２９】
局所特徴量生成部３２０は、特徴点検出部４１１、局所領域取得部４１２、サブ領域分割部４１３、サブ領域特徴ベクトル生成部４１４、および次元選定部４１５を含んで構成される。
【００３０】
特徴点検出部４１１は、画像データから特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、および角度を出力する。
【００３１】
局所領域取得部４１２は、検出された各特徴点の座標値、スケール、および角度から、特徴量抽出を行う局所領域を取得する。
【００３２】
サブ領域分割部４１３は、局所領域をサブ領域に分割する。例えば、サブ領域分割部４１３は、局所領域を１６ブロック（４×４ブロック）に分割することも、局所領域を２５ブロック（５×５ブロック）に分割することもできる。なお、分割数は限定されない。本実施形態においては、以下、局所領域を２５ブロック（５×５ブロック）に分割する場合を代表して説明する。
【００３３】
サブ領域特徴ベクトル生成部４１４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。
【００３４】
次元選定部４１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元を選定する（例えば、間引きする）。また、次元選定部４１５は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部４１５は、例えば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部４１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部４１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。
【００３５】
《局所特徴量生成部の処理》
図４Ｂ〜図４Ｆは、本実施形態に係る局所特徴量生成部３２０の処理を示す図である。
【００３６】
まず、図４Ｂは、局所特徴量生成部３２０における、特徴点検出／局所領域取得／サブ領域分割／特徴ベクトル生成の一連の処理を示す図である。かかる一連の処理については、米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110を参照されたい。
【００３７】
（特徴点検出部）
図４Ｂの４２１は、図４Ａの特徴点検出部４１１において、映像中の画像から特徴点を検出した状態を示す図である。以下、１つの特徴点４２１ａを代表させて局所特徴量の生成を説明する。特徴点４２１ａの矢印の起点が特徴点の座標位置を示し、矢印の長さがスケール（大きさ）を示し、矢印の方向が角度を示す。ここで、スケール（大きさ）や方向は、対象映像に従って輝度や彩度、色相などを選択できる。また、図４Ｂの例では、６０度間隔で６方向の場合を説明するが、これに限定されない。
【００３８】
（局所領域取得部）
図４Ａの局所領域取得部４１２は、例えば、特徴点４２１ａの起点を中心にガウス窓４２２ａを生成し、このガウス窓４２２ａをほぼ含む局所領域４２２を生成する。図４Ｂの例では、局所領域取得部４１２は正方形の局所領域４２２を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。
【００３９】
（サブ領域分割部）
次に、サブ領域分割部４１３において、上記特徴点４２１ａの局所領域４２２に含まれる各画素のスケールおよび角度をサブ領域４２３に分割した状態が示されている。なお、図４Ｂでは４×４＝１６画素をサブ領域とする５×５＝２５のサブ領域に分割した例を示す。しかし、サブ領域は、４×４＝１６や他の形状、分割数であってもよい。
【００４０】
（サブ領域特徴ベクトル生成部）
サブ領域特徴ベクトル生成部４１４は、サブ領域内の各画素のスケールを８方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル４２４とする。すなわち、特徴点検出部４１１が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部４１４は、サブ領域ごとに量子化された８方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部４１４は、各特徴点に対して生成される２５サブ領域ブロック×６方向＝１５０次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を８方向に量子化するだけに限らず、４方向、８方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値Ｑq（q＝０，...，Ｄ−１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。
【００４１】
Ｑq＝floor(Ｇ×Ｄ／２π）       ...（１）
Ｑq＝round(Ｇ×Ｄ／２π）modＤ  ...（２）
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部４１４は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部４１４は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部４１４は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。
【００４２】
（次元選定部）
次に、図４Ｃ〜図４Ｆに従って、局所特徴量生成部３２０における、次元選定部４１５に処理を説明する。
【００４３】
次元選定部４１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部４１５は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、次元選定部４１５は近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。
【００４４】
図４Ｃは、局所領域を５×５ブロックのサブ領域に分割し、勾配方向を６方向４３１ａに量子化して生成された１５０次元の勾配ヒストグラムの特徴ベクトル４３１から次元を選定する場合の一例を示す図である。図４Ｃの例では、１５０次元（５×５＝２５サブ領域ブロック×６方向）の特徴ベクトルから次元の選定が行われている。
【００４５】
（局所領域の次元選定）
図４Ｃは、局所特徴量生成部３２０における、特徴ベクトルの次元数の選定処理の様子を示す図である。
【００４６】
図４Ｃに示すように、次元選定部４１５は、１５０次元の勾配ヒストグラムの特徴ベクトル４３１から半分の７５次元の勾配ヒストグラムの特徴ベクトル４３２を選定する。この場合、隣接する左右、上下のサブ領域ブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。
【００４７】
この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、ｑ＝０，２，４の要素を選定するブロックと、ｑ＝１，３，５の要素を選定するサブ領域ブロックとが交互に並んでいる。そして、図４Ｃの例では、隣接するサブ領域ブロックで選定された勾配方向を合わせると、全６方向となっている。
【００４８】
また、次元選定部４１５は、７５次元の勾配ヒストグラムの特徴ベクトル４３２から５０次元の勾配ヒストグラムの特徴ベクトル４３３を選定する。この場合、斜め４５度に位置するサブ領域ブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。
【００４９】
また、次元選定部４１５は、５０次元の勾配ヒストグラムの特徴ベクトル４３３から２５次元の勾配ヒストグラムの特徴ベクトル４３４を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、選定される勾配方向が一致しないように次元を選定することができる。図４Ｃに示す例では、次元選定部４１５は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。
【００５０】
このように、隣接するサブ領域ブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図４Ｃに示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図４Ｃに示した次元選定方法は一例であり、この選定方法に限らない。
【００５１】
（局所領域の優先順位）
図４Ｄは、局所特徴量生成部３２０における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。
【００５２】
次元選定部４１５は、単に次元を選定するだけではなく、特徴点の特徴に寄与する次元から順に選定するように、選定の優先順位を決定することができる。すなわち、次元選定部４１５は、例えば、隣接するサブ領域ブロック間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部４１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部４１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。
【００５３】
すなわち、次元選定部４１５は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、例えば図４Ｄの４４１に示すようなサブ領域ブロックの順番で次元を追加するように選定していってもよい。図４Ｄの４４１に示す優先順位を用いる場合、次元選定部４１５は、中心に近いサブ領域ブロックの優先順位を高くして、勾配方向を選定していくことができる。
【００５４】
図４Ｅの４５１は、図４Ｄの選定順位に従って、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｐ（ｐ＝０，１，...，２５）で表し、量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号を６×ｐ＋ｑとしている。
【００５５】
図４Ｆの４６１は、図４Ｅの選定順位による１５０次元の順位が、２５次元単位に階層化されていることを示す図である。すなわち、図４Ｆの４６１は、図４Ｄの４４１に示した優先順位に従って図４Ｅに示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部４１５は、図４Ｆに示す順序で次元要素を出力することができる。具体的には、次元選定部４１５は、例えば１５０次元の局所特徴量を出力する場合、図４Ｆに示す順序で全１５０次元の要素を出力することができる。また、次元選定部４１５は、例えば２５次元の局所特徴量を出力する場合、図４Ｆに示す１行目（７６番目、４５番目、８３番目、...、１２０番目）の要素４７１を図４Ｆに示す順（左から右）に出力することができる。また、次元選定部４１５は、例えば５０次元の局所特徴量を出力する場合、図４Ｆに示す１行目に加えて、図４Ｆに示す２行目の要素４７２を図４Ｆに示す順（左から右）に出力することができる。
【００５６】
ところで、図４Ｆに示す例では、局所特徴量は階層的な構造となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素４７１〜４７６の並びは同一となっている。このように、次元選定部４１５は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部４１５が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。
【００５７】
なお、図４Ｄの４４１から図４Ｆに示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図４Ｄの４４１の例の他に、図４Ｄの４４２や図４Ｄの４４３に示すような順番でもよい。また、例えば、すべてのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。
【００５８】
また、次元選定部４１５は、サブ領域ブロックを１つ飛びに選択して、次元の選定を行ってもよい。すなわち、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定される。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。
【００５９】
また、局所領域やサブ領域の形状は、正方形に限られず、任意の形状とすることができる。例えば、局所領域取得部４１２が、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部４１３は、円状の局所領域を例えば複数の局所領域を有する同心円に９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部４１５は、各サブ領域において、次元を選定することができる。
【００６０】
以上、図４Ｂ〜図４Ｆに示したように、本実施形態の局所特徴量生成部３２０によれば、局所特徴量の情報量を維持しながら生成された特徴ベクトルの次元が階層的に選定される。この処理により、認識精度を維持しながらリアルタイムでの対象物認識と認識結果の表示が可能となる。なお、局所特徴量生成部３２０の構成および処理は本例に限定されない。認識精度を維持しながらリアルタイムでの対象物認識と認識結果の表示が可能となる他の処理が当然に適用できる。
【００６１】
《照合部》
図４Ｇと図４Ｈは、本実施形態に係る照合部３４０の処理を示す図である。
【００６２】
図４Ｇは、図２の上段の映像中の動植物を認識する照合例を示す図である。あらかじめ認識対象物（本例では、クマゼミ、おにやんま、ヒナゲシ、ひまわりを含む動植物）から本実施形態に従い生成された局所特徴量は、局所特徴量ＤＢ３３０に格納されている。一方、左図の携帯端末としての映像処理装置２００の表示画面２１０中の映像表示領域２１１からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ３３０に格納された局所特徴量のそれぞれが、映像表示領域２１１から生成された局所特徴量中にあるか否かが照合される。
【００６３】
図４Ｇに示すように、照合部３４０は、局所特徴量ＤＢ３３０に格納されている局所特徴量４８１〜４８４と局所特徴量が合致する各特徴点を細線のように関連付ける。なお、照合部３４０は、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、照合部３４０は、関連付けられた特徴点の集合間の位置関係が線形関係であれば、認識対象物であると認識する。このような認識を行なえば、サイズの大小や向きの違い（視点の違い）、あるいは反転などによっても認識が可能である。また、所定数以上の関連付けられた特徴点があれば認識精度が得られるので、一部が視界から隠れていても認識対象物の認識が可能である。
【００６４】
図４Ｈは、図２の下段の映像中の建築物を認識する照合例を示す図である。あらかじめ認識対象物（本例では、□□ツリー、○○ビル、××鉄道、△△体育館を含む建物）から本実施形態に従い生成された局所特徴量は、局所特徴量ＤＢ３３０に格納されている。
一方、左図の携帯端末としての映像処理装置２００の表示画面２３０中の映像表示領域２３１からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ３３０に格納された局所特徴量のそれぞれが、映像表示領域２３１から生成された局所特徴量中にあるか否かが照合される。
【００６５】
図４Ｈに示すように、局所特徴量ＤＢ３３０に格納されている局所特徴量４９１〜４９４と局所特徴量が合致する各特徴点を細線にように関連付ける。なお、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、関連付けられた特徴点の位置関係が線形関係であれば、認識対象物であると認識する。ここで、認識のための局所特徴量の合致条件や特徴点数の条件は、図４Ｇと同様であってもよいし、認識対象が異なるので異なる条件を設定してもよい。
【００６６】
なお、本実施形態の照合部３４０の照合処理では、特徴点座標と局所特徴量とに基づいて照合が行なわれるが、合致する認識対象物から生成された局所特徴量と映像中の画像から生成された局所特徴量との配列順序の線形関係のみによっても、認識が可能である。一方、本実施形態では、２次元画像によって説明されているが、３次元の特徴点座標を使用しても、同様の処理が可能である。
【００６７】
（局所特徴量生成データ）
図５は、本実施形態に係る局所特徴量生成データ５００の構成を示す図である。これらのデータは、図７のＲＡＭ７４０に記憶保持される。
【００６８】
局所特徴量生成データ５００には、入力画像ＩＤ５０１に対応付けて、複数の検出された検出特徴点５０２，特徴点座標５０３および特徴点に対応する局所領域情報５０４が記憶される。そして、各検出特徴点５０２，特徴点座標５０３および局所領域情報５０４に対応付けて、複数のサブ領域ＩＤ５０５，サブ領域情報５０６，各サブ領域に対応する特徴ベクトル５０７および優先順位を含む選定次元５０８が記憶される。
【００６９】
以上のデータから各検出特徴点５０２に対して生成された局所特徴量５０９が記憶される。
【００７０】
（局所特徴量ＤＢ）
図６は、本実施形態に係る局所特徴量ＤＢ３３０の構成を示す図である。
【００７１】
局所特徴量ＤＢ３３０は、認識対象物ＩＤ６０１と認識対象物名６０２に対応付けて、第１番局所特徴量６０３、第２番局所特徴量６０４、...、第ｍ番局所特徴量６０５を記憶する。各局所特徴量は、図４Ｆにおける５×５のサブ領域に対応して、２５次元ずつに階層化された１次元から１５０次元の要素からなる特徴ベクトルを記憶する。
【００７２】
なお、ｍは正の整数であり、認識対象物に対応して異なる数でよい。また、本実施形態においては、それぞれの局所特徴量と共に照合処理に使用される特徴点座標が記憶される。
【００７３】
《映像処理装置のハードウェア構成》
図７は、本実施形態に係る映像処理装置２００のハードウェア構成を示すブロック図である。
【００７４】
図７で、ＣＰＵ７１０は演算制御用のプロセッサであり、プログラムを実行することで携帯端末である映像処理装置２００の各機能構成部を実現する。ＲＯＭ７２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部３９０は通信制御部であり、本実施形態においては、ネットワークを介して他の装置と通信する。なお、ＣＰＵ７１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。
【００７５】
ＲＡＭ７４０は、ＣＰＵ７１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ７４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力映像７４１は、撮像部３１０が撮像して入力された入力映像を記憶する領域である。特徴点データ７４２は、入力映像７４１から検出した特徴点座標、スケール、角度を含む特徴点データを記憶する領域である。局所特徴量生成テーブル５００は、図５で示した局所特徴量生成テーブルを記憶する領域である。照合結果７４３は、入力映像から生成された局所特徴量と局所特徴量ＤＢ３３０に格納された局所特徴量との照合から認識された、照合結果を記憶する領域である。照合結果表示データ７４４は、照合結果７４３をユーザに報知するための照合結果表示データを記憶する領域である。なお、音声出力をする場合には、照合結果音声データが含まれてもよい。入力映像／照合結果重畳データ７４５は、入力映像７４１に照合結果７４３を重畳した表示部３６０に表示される入力映像／照合結果重畳データを記憶する領域である。入出力データ７４６は、入出力インタフェース７６０を介して入出力される入出力データを記憶する領域である。送受信データ７４７は、通信制御部３９０を介して送受信される送受信データを記憶する領域である。
【００７６】
ストレージ７５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量ＤＢ３３０は、図６に示した局所特徴量ＤＢが格納される領域である。照合結果表示フォーマット７５１は、照合結果を表示するフォーマットを生成するために使用される照合結果表示フォーマットが格納される領域である。
【００７７】
ストレージ７５０には、以下のプログラムが格納される。携帯端末制御プログラム７５２は、本映像処理装置２００の全体を制御する携帯端末制御プログラムが格納される領域である。局所特徴量生成モジュール７５３は、携帯端末制御プログラム７５２において、入力映像から図４Ｂ〜図４Ｆに従って局所特徴量を生成する局所特徴量生成モジュールが格納される領域である。照合制御モジュール７５４は、携帯端末制御プログラム７５２において、入力映像から生成された局所特徴量と局所特徴量ＤＢ３３０に格納された局所特徴量とを照合する照合制御モジュールが格納される領域である。照合結果報知モジュール７５５は、照合結果を表示または音声によりユーザに報知するための照合結果報知モジュールが格納される領域である。
【００７８】
入出力インタフェース７６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース７６０には、表示部３６０、操作部３７０であるタッチパネルやキーボード、スピーカ７６４、マイク７６５、撮像部３１０が接続される。入出力機器は上記例に限定されない。また、ＧＰＳ(Global Positioning System)位置生成部７６６は、ＧＰＳ衛星からの信号に基づいて現在位置を取得する。
【００７９】
なお、図７には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。
【００８０】
《映像処理装置の処理手順》
図８は、本実施形態に係る映像処理装置２００の処理手順を示すフローチャートである。このフローチャートは、図７のＣＰＵ７１０によってＲＡＭ７４０を用いて実行され、図３の各機能構成部を実現する。
【００８１】
まず、ステップＳ８１１において、対象物認識を行なうための映像入力があったか否かを判定する。また、携帯端末の機能として、ステップＳ８２１においては受信を判定し、ステップＳ８３１においては送信を判定する。いずれでもなければ、ステップＳ８４１において他の処理を行なう。
【００８２】
映像入力があればステップＳ８１３に進んで、入力映像から局所特徴量生成処理を実行する（図９Ａ参照）。次に、ステップＳ８１５において、照合処理を実行する（図９Ｂ参照）。ステップＳ８１７においては、照合処理の結果を入力映像に重畳して映像／照合結果重畳表示処理を実行する。ステップＳ８１９において、対象物認識を行なう処理を終了するかを判定する。終了は、例えば図２の指示ボタン表示領域２１２にあるリセットボタンで行なわれる。終了でなければステップＳ８１３に戻って、映像入力の対象物認識を繰り返す。
【００８３】
受信であり、局所特徴量ＤＢ用のデータをダウンロードする場合は、ステップＳ８２３において局所特徴量ＤＢ用データを受信して、ステップＳ８２５において局所特徴量ＤＢに記憶する。一方、その他の携帯端末としてのデータ受信であれば、ステップＳ８２７において受信処理を行なう。また、送信であり、局所特徴量ＤＢ用のデータをアップロードする場合は、ステップＳ８３３において入力映像から生成した局所特徴量を局所特徴量ＤＢ用データとして送信する。一方、その他の携帯端末としてのデータ送信であれば、ステップＳ８３５において送信処理を行なう。携帯端末としてのデータ送受信処理については、本実施形態の特徴ではないので詳細な説明は省略する。
【００８４】
（局所特徴量生成処理）
図９Ａは、本実施形態に係る局所特徴量生成処理Ｓ８１３の処理手順を示すフローチャートである。
【００８５】
まず、ステップＳ９１１において、入力映像から特徴点の位置座標、スケール、角度を検出する。ステップＳ９１３において、ステップＳ９１１で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ９１５において、局所領域をサブ領域に分割する。ステップＳ９１７においては、各サブ領域の特徴ベクトルを生成して局所領域の特徴ベクトルを生成する。ステップＳ９１１からＳ９１７の処理は図４Ｂに図示されている。
【００８６】
次に、ステップＳ９１９において、ステップＳ９１７において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図４Ｄ〜図４Ｆに図示されている。
【００８７】
ステップＳ９２１においては、ステップＳ９１１で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ９１３に戻って、次の１つの特徴点について処理を繰り返す。
【００８８】
（照合処理）
図９Ｂは、本実施形態に係る照合処理Ｓ８１５の処理手順を示すフローチャートである。
【００８９】
まず、ステップＳ９３１において、初期化として、パラメータｐ＝１，ｑ＝０を設定する。次に、ステップＳ９３３において、ステップＳ８１３において生成した局所特徴量の次元数ｊを取得する。
【００９０】
ステップＳ９３５〜Ｓ９４５のループにおいて、ｐ＞ｍ（ｍ＝認識対象物の特徴点数）となるまで各局所特徴量の照合を繰り返す。まず、ステップＳ９３５において、局所特徴量ＤＢ３３０に格納された認識対象物の第ｐ番局所特徴量の次元数ｊのデータを取得する。すなわち、最初の１次元からｊ次元を取得する。次に、ステップＳ９３７において、ステップＳ９３５において取得した第ｐ番局所特徴量と入力映像から生成した全特徴点の局所特徴量を順に照合して、類似か否かを判定する。ステップＳ９３９においては、局所特徴量間の照合の結果から類似度が閾値αを超えるか否かを判断し、超える場合はステップＳ９４１において、局所特徴量と、入力映像と認識対象物とにおける合致した特徴点の位置関係との組みを記憶する。そして、合致した特徴点数のパラメータであるｑを１つカウントアップする。ステップＳ９４３においては、認識対象物の特徴点を次の特徴点に進め（ｐ←ｐ＋１）、認識対象物の全特徴点の照合が終わってない場合には（ｐ≦ｍ）、ステップＳ９３５に戻って合致する局所特徴量の照合を繰り返す。なお、閾値αは、認識対象物によって求められる認識精度に対応して変更可能である。ここで、他の認識対象物との相関が低い認識対象物であれば認識精度を低くしても、正確な認識が可能である。
【００９１】
認識対象物の全特徴点との照合が終了すると、ステップＳ９４５からＳ９４７に進んで、ステップＳ９４７〜Ｓ９５３において、認識対象物が入力映像に存在するか否かが判定される。まず、ステップＳ９４７において、認識対象物の特徴点数ｐの内で入力映像の特徴点の局所特徴量と合致した特徴点数ｑの割合が、閾値βを超えたか否かを判定する。超えていればステップＳ９４９に進んで、認識対象物候補として、さらに、入力映像の特徴点と認識対象物の特徴点との位置関係が、線形変換が可能な関係を有しているかを判定する。すなわち、ステップＳ９４１において局所特徴量が合致したとして記憶した、入力映像の特徴点と認識対象物の特徴点との位置関係が、回転や反転、視点の位置変更などの変化によっても可能な位置関係なのか、不可能な位置関係なのかを判定する。かかる判定方法は幾何学的に既知であるので、詳細な説明は省略する。ステップＳ９５１において、整形変換可能か否かの判定結果により、線形変換可能であればステップＳ９５３に進んで、照合した認識対象物が入力映像に存在すると判定する。なお、閾値βは、認識対象物によって求められる認識精度に対応して変更可能である。ここで、他の認識対象物との相関が低い、あるいは一部分からでも特徴が判断可能な認識対象物であれば合致した特徴点が少なくても、正確な認識が可能である。すなわち、一部分が隠れて見えなくても、あるいは特徴的な一部分が見えてさえいれば、対象物の認識が可能である。
【００９２】
ステップＳ９５５においては、局所特徴量ＤＢ３３０に未照合の認識対象物が残っているか否かを判定する。まだ認識対象物が残っていれば、ステップＳ９５７において次の認識対象物を設定して、パラメータｐ＝１，ｑ＝０に初期化し、ステップＳ９３５に戻って照合を繰り返す。
【００９３】
なお、かかる照合処理の説明からも明らかなように、あらゆる分野の認識対象物を局所特徴量ＤＢ３３０に記憶して、全認識対象物を携帯端末で照合する処理は、負荷が非常に大きくなる。したがって、例えば、入力映像からの対象物認識の前にユーザが対象物の分野をメニューから選択して、その分野を局所特徴量ＤＢ３３０から検索して照合することが考えられる。また、局所特徴量ＤＢ３３０にユーザが使用する分野（例えば、図２の例であれば、動植物あるいは虫花や、建築物など）の局所特徴量のみをダウンロードすることによっても、負荷を軽減できる。
【００９４】
［第３実施形態］
次に、本発明の第３実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置としての携帯端末は、上記第２実施形態と比べると、認識対象物の名称に加えて、その関連情報を報知する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００９５】
本実施形態によれば、ユーザが映像を視聴中、その映像内の物についての認識結果及び関連情報を、認識精度を維持しながら映像上でリアルタイムにユーザに知らせることができる。
【００９６】
《本実施形態に係る映像処理》
図１０は、本実施形態に係る映像処理装置１０００による映像処理を説明する図である。なお、入力映像は第２実施形態の図２と同様であるので、同じ構成要素には同じ参照番号を付し、説明は省略する。
【００９７】
まず、上段は、野山で遊ぶ子供たちが携帯端末で動植物を撮像すると、映像中に存在する虫や花をリアルタイムに認識して、認識対象の虫や花の名前と共に、その解説などの関連情報を表示する例を示したものである。本実施形態においては、その表示映像に対してリアルタイムの認識処理が行なわれ、右の表示画面１０２０の映像表示領域１０２１には、それぞれの虫や花の名前および関連情報１０２２〜１０２５が表示される。あるいは、図１０においては、スピーカである音声発生部１０３０から解説が音声出力されてもよい。子供たちは、採取して家庭で図鑑などを見るのではなく、また、野山に図鑑を持ってくる手間もなく、自然の中の動植物の名称とその解説などの関連情報を知ることができる。なお、動植物に限定されることはなく、鉱物などの自然の非生物、あるいは乗り物などの人工物に対しても適用できる。
【００９８】
下段は、観光客などユーザが、視界内の搭やビルなどの建築物を知りたい場合や、行き先や自分の現在地を知りたい場合に、携帯端末で認識対象物を含む映像を撮像した例を示すものである。本実施形態においては、その表示映像に対してリアルタイムの認識処理が行なわれ、右の表示画面１０４０の映像表示領域１０４１には、それぞれの建築物の名前とその解説などの関連情報１０４２〜１０４５が表示される。上段同様に、スピーカである音声発生部１０３０から解説が音声出力されてもよい。かかる映像表示領域１０４１から、例えば、観光案内などが無くても、目的地や自分の現在地を知ることができる。
【００９９】
《映像処理装置の機能構成》
図１１は、本実施形態に係る映像処理装置１０００の機能構成を示すブロック図である。なお、映像処理装置１０００の機能構成は、第２実施形態の映像処理装置２００に関連情報を表示する構成が追加された構成であるので、同じ構成要素には同じ参照番号を付し、説明は省略する。
【０１００】
映像処理装置１０００は、関連情報を格納する関連情報記憶部である関連情報ＤＢ１１１０を有する（図１２参照）。照合部３４０の照合結果に従って、関連情報ＤＢ１１１０から検索された関連情報は、照合結果生成部１１５０において、照合結果の認識対象物名と共に報知情報が生成され、表示部３６０に表示されると共に、音声出力があれば音声発生部１０３０から出力される。また、関連情報ＤＢ１１１０に格納される関連情報は、通信制御部３９０を介してダウンロードされ、局所特徴量／関連情報受信部１１８０により受信される構成であってもよい。
【０１０１】
（関連情報ＤＢ）
図１２は、本実施形態に係る関連情報ＤＢ１１１０の構成を示す図である。
【０１０２】
関連情報ＤＢ１１１０は、認識対象物ＩＤ１２０１および認識対象名１２０２に対応付けて、関連表示データ１２０３と関連音声データ１２０４が記憶される。
【０１０３】
なお、本実施形態においては、関連情報ＤＢ１１１０を局所特徴量ＤＢ３３０と別に設けたが、２つのＤＢを共通の１つのＤＢとして用意してもよい。
【０１０４】
［第４実施形態］
次に、本発明の第４実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態と比べると、認識結果の認識対象物に関連する情報をアクセス可能なリンク情報を提供する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０１０５】
本実施形態によれば、ユーザが映像を視聴中、その映像内の物についての認識結果及びリンク情報を、認識精度を維持しながら映像上でリアルタイムにユーザに知らせることができる。
【０１０６】
なお、本実施形態においては、リンク情報を表示し、ユーザの指示を待ってアクセスを開始する例を示すが、自動的にリンク先をアクセスして関連情報をユーザに提供する構成も容易に実現できる。
【０１０７】
《本実施形態に係る映像処理》
図１３は、本実施形態に係る映像処理装置１３００による映像処理を説明する図である。なお、入力映像は第２実施形態の図２と同様であるので、同じ構成要素には同じ参照番号を付し、説明は省略する。
【０１０８】
まず、図１３の上段は、野山で遊ぶ子供たちが携帯端末で動植物を撮像すると、映像中に存在する虫や花をリアルタイムに認識して、認識対象の虫や花の名前と共に、その解説などの関連情報にアクセス可能なリンク情報（例えば、ＵＲＬ(Uniform Resource Locator)アドレスなど）を表示する例を示したものである。本実施形態においては、その表示映像に対してリアルタイムの認識処理が行なわれ、右の表示画面１３２０の映像表示領域１３２１には、それぞれの虫や花の名前およびリンク情報１３２２〜１３２５が表示される。子供たちは、自然の中の動植物を採取して家庭で図鑑などを見るのではなく、また、野山に図鑑を持ってくる手間もなく、それら自然の中の動植物の名称を知ることができる。さらに、リンク情報をタッチすることにより、関連情報をダウンロード可能である。なお、本実施形態においては、動植物に限定されることはなく、鉱物などの自然の非生物、あるいは乗り物などの人工物に対しても適用できる。
【０１０９】
図１３の下段は、観光客などユーザが、視界内の搭やビルなどの建築物を知りたい場合や、行き先や自分の現在地を知りたい場合に、携帯端末で認識対象物を含む映像を撮像した例を示すものである。本実施形態においては、その表示映像に対してリアルタイムの認識処理が行なわれ、右の表示画面１３４０の映像表示領域１３４１には、それぞれの建築物の名前とリンク情報１３４２〜１３４５が表示される。ユーザは、かかる映像表示領域１３４１から、例えば、観光案内などが無くても、目的地や自分の現在地を知ることができる。
【０１１０】
《映像処理装置の機能構成》
図１４は、本実施形態に係る映像処理装置１３００の機能構成を示すブロック図である。なお、映像処理装置１３００の機能構成は、第２実施形態の映像処理装置２００に関連情報を表示する構成が追加された構成であるので、同じ構成要素には同じ参照番号を付し、説明は省略する。
【０１１１】
映像処理装置１３００は、関連情報を格納するリンク情報記憶部であるリンク情報ＤＢ１４１０を有する（図１５参照）。照合部３４０の照合結果に従って、リンク情報ＤＢ１４１０から検索されたリンク情報は、照合結果生成部１４５０において、照合結果の認識対象物名と共に報知情報が生成され、表示部３６０に表示される。また、リンク情報ＤＢ１４１０に格納されるリンク情報は、通信制御部３９０を介してダウンロードされ、局所特徴量／リンク情報受信部１４８０により受信される構成であってもよい。
【０１１２】
（リンク情報ＤＢ）
図１５は、本実施形態に係るリンク情報ＤＢ１４１０の構成を示す図である。
【０１１３】
リンク情報ＤＢ１４１０は、認識対象物ＩＤ１５０１および認識対象物名１５０２に対応付けて、リンク情報として、例えばＵＲＬ１５０３とその表示データ１５０４が記憶される。
【０１１４】
なお、本実施形態においては、リンク情報ＤＢ１４１０を局所特徴量ＤＢ３３０と別に設けたが、２つのＤＢを共通の１つのＤＢとして用意してもよい。
【０１１５】
［第５実施形態］
次に、本発明の第５実施形態に係る映像処理システムについて説明する。本実施形態に係る映像処理システムは、上記第２実施形態乃至第４実施形態と比べると、携帯端末は、映像の局所特徴量を生成してサーバに送信し、サーバによって認識された認識対象物の認識結果を受信する点で異なる。本実施形態の携帯端末とサーバ間の通信において、本実施形態の局所特徴量生成における容量削減がリアルタイム処理に有効となる。
【０１１６】
本実施形態によれば、携帯端末の負荷を軽減して、ユーザが映像を視聴中、その映像内の物についての認識結果あるいはリンク情報を、認識精度を維持しながら映像上でリアルタイムにユーザに知らせることができる。
【０１１７】
《本実施形態に係る映像処理》
図１６は、本実施形態に係る映像処理システム１６００による映像処理を説明する図である。
【０１１８】
映像処理システム１６００は、第２実施形態乃至第４実施形態において示した携帯端末である映像処理装置のように、映像入力と局所特徴量生成処理と照合処理とを自己完結的に行なわない。すなわち、携帯端末である映像処理装置１６１０は映像入力と局所特徴量生成処理とを行ない、ネットワーク１６５０で接続された照合サーバである映像処理装置１６２０が照合などの負荷の大きな処理を行なう。かかる処理においては、ネットワーク１６５０上を転送する局所特徴量の容量の大小が照合速度や通信のトラフィックに影響する。本実施形態の図４Ａ〜図４Ｆに従って生成した精度を保った局所特徴量の容量削減により、入力映像内の対象物認識と認識結果の入力映像への重畳表示がリアルタイムに可能となる。なお、本実施形態においては、さらに、符号化処理により、入力映像内の対象物認識と認識結果の入力映像への重畳表示がより高速に可能とする。
【０１１９】
図１６の映像処理システム１６００は、端末装置である映像処理装置１６１０と、映像処理装置１６１０とネットワーク１６５０を介して接続する照合サーバである映像処理装置１６２０とを有する。また、ネットワーク１６５０には、動植物に関する情報を保持してリンク情報によりユーザに提供する動植物図鑑サーバ１６３０や、土木建築物に関する情報を保持してリンク情報によりユーザに提供する土木建築物サーバ１６４０も接続されている。なお、情報提供サーバは、図１６の映像処理装置１６１０表示画面に対応したものであり、上記に限定されない。
【０１２０】
照合サーバである映像処理装置１６２０は、照合処理に使用する局所特徴量ＤＢ１６２１と、リンク情報の提供に使用するリンク情報ＤＢ１６２２とを有する。また、動植物図鑑サーバ１６３０は、動植物情報ＤＢ１６３１を有し、土木建築物サーバ１６４０は、土木建築物情報ＤＢ１６４１を有する。
【０１２１】
図１６には、端末装置である映像処理装置１６１０の２つの処理例を示す。しかし、これに限定されない。
【０１２２】
下方の映像処理装置１６１０は、野山で遊ぶ子供たちが携帯端末で動植物を撮像すると、映像中に存在する虫や花をリアルタイムに認識して、認識対象の虫や花の名前とリンク情報とを表示する例を示したものである。表示画面１６１１〜１６１３は、映像入力画面と、認識対象物名とリンク情報を重畳表示した画面と、リンク情報からアクセスした関連情報を重畳表示した画面とを示す。図１６においては、入力映像の表示画面１６１１中の対象物１６１１ａが認識されて、表示画面１６１２には"クマゼミ"との認識対象物名およびリンク情報（ＵＲＬ）１６１２ａが重畳表示されている。さらに、リンク情報（ＵＲＬ）１６１２ａをタッチすると、表示画面１６１３にはダウンロードされた関連情報１６１３ａが重畳表示される。同時に、音声情報１６１４があれば、スピーカから出力される。子供たちは、自然の中の動植物を採取して家庭で図鑑などを見るのではなく、また、野山に図鑑を持ってくる手間もなく、それら自然の中の動植物の名称を知ることができる。なお、本実施形態においては、動植物に限定されることはなく、鉱物などの自然の非生物、あるいは乗り物などの人工物に対しても適用できる。
【０１２３】
一方、上方の映像処理装置１６１０は、観光客などユーザが、視界内の搭やビルなどの建築物を知りたい場合や、行き先や自分の現在地を知りたい場合に、携帯端末で認識対象物を含む映像を撮像した例を示すものである。表示画面１６１５〜１６１７は、映像入力画面と、認識対象物名とリンク情報を重畳表示した画面と、リンク情報からアクセスした関連情報を重畳表示した画面とを示す。図１６においては、入力映像の表示画面１６１５中の対象物１６１５ａが認識されて、表示画面１６１６には"□□ツリー"との認識対象物名およびリンク情報（ＵＲＬ）１６１６ａが重畳表示されている。さらに、リンク情報（ＵＲＬ）１６１６ａをタッチすると、表示画面１６１７にはダウンロードされた関連情報１６１７ａが重畳表示される。同時に、音声情報１６１８があれば、スピーカから出力される。ユーザは、かかる表示画面１６１３から、例えば、観光案内などが無くても、目的利や自分の現在地を知ることができる。
【０１２４】
なお、図１６においては、煩雑さを避けるために、それぞれ１つの対象物の認識を代表させて説明したが、図２や図１０、図１２と同様に、入力映像中の複数の対象物を同時に認識してリアルタイムに重畳表示する。
【０１２５】
《映像処理システムの映像処理手順》
図１７は、本実施形態に係る映像処理システム１６００の映像処理手順を示すシーケンス図である。なお、ステップＳ１７００において、必要であれば、照合サーバから本実施形態に係るアプリケーションをダウンロードする。
【０１２６】
まず、ステップＳ１７０１においては、携帯端末および照合サーバのアプリケーションを起動し、初期化する。携帯端末は、ステップＳ１７０３において、撮像部３１０により映像を撮影する。携帯端末は次にステップＳ１７０５において、局所特徴量を生成する。そして、携帯端末は、ステップＳ１７０７において、生成した局所特徴量と特徴点の位置座標を符号化して、ステップＳ１７０９において、ネットワークを介して照合サーバに送信する。
【０１２７】
照合サーバでは、ステップＳ１７１１において、局所特徴量ＤＢ１６２１の認識対象物の局所特徴量と受信した局所特徴量との照合により、映像中の対象物を認識する。次に、照合サーバは、ステップＳ１７１３において、リンク情報ＤＢ１６２２を参照して、認識対象物に対応するリンク情報を取得する。そして、ステップＳ１７１５において、認識対象物名とリンク情報とを携帯端末に返信する。
【０１２８】
携帯端末は、ステップＳ１７１７において、入力映像に受信した認識対象物とリンク情報とを重畳して表示する（図１６の表示画面１６１２や１６１６に相当）。ステップＳ１７１９においては、リンク情報をタッチすることでリンク先を指示したか否かを判定する。リンク先が指示されればステップＳ１７２１に進んで、図１６の動植物図鑑サーバ１６３０や土木建築物サーバ１６４０などのリンク先サーバに、認識対象物ＩＤに基づいてアクセスを行なう。
【０１２９】
リンク先サーバは、ステップＳ１７２３において、動植物情報ＤＢ１６３１や土木建築物情報ＤＢ１６４１などの関連情報ＤＢから認識対象物関連情報（文書や音、または画像）を読み出す。そして、ステップＳ１７２５において、認識対象物関連情報を携帯端末にダウンロードする。
【０１３０】
携帯端末では、ステップＳ１７２７において、受信した認識対象物関連情報を入力映像に重畳表示したり、音声再生したりして、ユーザに入力映像の対象物を報知する。
【０１３１】
本実施形態においては、かかる一連の処理がリアルタイムで実現され、ユーザは入力映像に認識対象物名や関連情報の表示を見ることができる。
【０１３２】
《携帯端末用の映像処理装置の機能構成》
図１８Ａは、本実施形態に係る携帯端末用の映像処理装置１６２０の機能構成を示すブロック図である。なお、映像処理装置１６２０の機能構成は、第２実施形態の映像処理装置２００から照合処理に関連する構成を無くし、代わりに、局所特徴量の送信構成と照合結果の受信構成を追加した構成であるので、図３と同じ構成要素には同じ参照番号を付し、説明は省略する。
【０１３３】
映像処理装置１６１０は、通信制御部３９０を介して局所特徴量生成部３２０で生成した局所特徴量および特徴点座標を送信するために、それらを符号化する符号化部１８１１を有する（図１８Ｂ参照）。また、局所特徴量生成部３２０で生成する局所特徴量のデータ量を、図４Ａに示した次元選定部４１５による削減に加えて、精度を保持して伝送データ量を削減する伝送データ量削減部１８１２を有する。
【０１３４】
一方、通信制御部３９０を介して受信部１８１３で受信したデータから、照合サーバにおいて認識した認識対象物名などを受信する認識対象物受信部１８１４と、リンク情報を受信するリンク情報受信部１８１５とを有する。また、リンク先サーバからダウンロードされた認識対象物の関連情報を受信する認識対象物関連情報受信部１８１６を有する。表示画面生成部１８１７は、各取得部で取得されたデータに従って、入力映像に重畳した表示画面を生成して、表示部３６０に表示する。また、認識対象物関連情報受信部１８１６で所得した関連情報に音声データがある場合には、音声生成部１８１８で音声生成して、スピーカ７６４から出力される。
【０１３５】
（符号化部）
図１８Ｂは、本実施形態に係る符号化部１８１１を示すブロック図である。なお、符号化部は本例に限定されず、他の符号化処理も適用可能である。
【０１３６】
符号化部１８１１は、局所特徴量生成部３２０の特徴点検出部４１１から特徴点の座標を入力して、座標値を走査する座標値走査部１８２１を有する。座標値走査部１８２１は、画像をある特定の走査方法に従って走査し、特徴点の２次元座標値（Ｘ座標値とＹ座標値）を１次元のインデックス値に変換する。このインデックス値は、走査に従った原点からの走査距離である。なお、走査方向については、制限はない。
【０１３７】
また、特徴点のインデックス値をソートし、ソート後の順列の情報を出力するソート部１８２２を有する。ここでソート部１８２２は、例えば昇順にソートする。また降順にソートしてもよい。
【０１３８】
また、ソートされたインデックス値における、隣接する２つのインデックス値の差分値を算出し、差分値の系列を出力する差分算出部１８２３を有する。
【０１３９】
そして、差分値の系列を系列順に符号化する差分符号化部１８２４を有する。差分値の系列の符号化は、例えば固定ビット長の符号化でもよい。固定ビット長で符号化する場合、そのビット長はあらかじめ規定されていてもよいが、これでは考えられうる差分値の最大値を表現するのに必要なビット数を要するため、符号化サイズは小さくならない。そこで、差分符号化部１８２４は、固定ビット長で符号化する場合、入力された差分値の系列に基づいてビット長を決定することができる。具体的には、例えば、差分符号化部１８２４は、入力された差分値の系列から差分値の最大値を求め、その最大値を表現するのに必要なビット数（表現ビット数）を求め、求められた表現ビット数で差分値の系列を符号化することができる。
【０１４０】
一方、ソートされた特徴点のインデックス値と同じ順列で、対応する特徴点の局所特徴量を符号化する局所特徴量符号化部１８２５を有する。ソートされたインデックス値と同じ順列で符号化することで、差分符号化部１８２４で符号化された座標値と、それに対応する局所特徴量とを１対１で対応付けることが可能となる。局所特徴量符号化部１８２５は、本実施形態においては、１つの特徴点に対する１５０次元の局所特徴量から次元選定された局所特徴量を、例えば１次元を１バイトで符号化し、次元数のバイトで符号化することができる。
【０１４１】
《伝送データ量削減部》
以下、図１８Ｃ〜図１８Ｇを参照して、伝送データ量削減部１８１２の数例の構成を説明する。
【０１４２】
（第１の構成）
図１８Ｃは、本実施形態に係る伝送データ量削減部１８１２の第１の構成１８１２−１を示すブロック図である。伝送データ量削減部１８１２の第１の構成１８１２−１においては、次元数決定部１８３１で次元数を決定可能である。
【０１４３】
次元数決定部１８３１は、次元選定部４１５において選定される次元数を決定することができる。例えば、次元数決定部１８３１は、次元数を示す情報をユーザから受け付けることにより、次元数を決定することができる。なお、次元数を示す情報は、次元数そのものを示すものである必要はなく、例えば、検索精度や検索速度などを示す情報であってもよい。具体的には、次元数決定部１８３１は、例えば、局所特徴量生成速度、通信速度および照合速度を速くすることを要求する入力を受け付けた場合には、次元数が少なくなるように次元数を決定する。
【０１４４】
なお、次元数決定部１８３１は、画像から検出されるすべての特徴点に対して同じ次元数を決定することとしてもよいし、特徴点ごとに異なる次元数を決定してもよい。例えば、次元数決定部１８３１は、外部情報によって特徴点の重要度が与えられた場合に、重要度の高い特徴点は次元数を多くし、重要度の低い特徴点は次元数を少なくしてもよい。このようにして、精度を維持して、局所特徴量生成速度、通信速度および照合速度を速くするために、次元数が少なくなるように次元数を決定することができる。
【０１４５】
（第２の構成）
図１８Ｄは、本実施形態に係る伝送データ量削減部１８１２の第２の構成１８１２−２を示すブロック図である。伝送データ量削減部１８１２の第２の構成１８１２−２においては、特徴ベクトル拡張部１８４１が複数次元の値をまとめることで、精度を維持しながら次元数を削減することが可能である。
【０１４６】
特徴ベクトル拡張部１８４１は、サブ領域特徴ベクトル生成部４１４から出力された特徴ベクトルを用いて、より大きなスケール（拡張分割領域）における次元を生成することにより、特徴ベクトルを拡張することができる。なお、特徴ベクトル拡張部１８４１は、サブ領域特徴ベクトル生成部４１４から出力される特徴ベクトルのみの情報を用いて特徴ベクトルを拡張することができる。したがって、特徴ベクトルを拡張するために元の画像に戻って特徴抽出を行う必要がないため、元の画像から特徴ベクトルを生成する処理時間と比較すると、特徴ベクトルの拡張にかかる処理時間はごくわずかである。例えば、特徴ベクトル拡張部１８４１は、隣接するサブ領域の勾配方向ヒストグラムを合成することにより、新たな勾配方向ヒストグラムを生成してもよい。
【０１４７】
図１８Ｅは、本実施形態に係る伝送データ量削減部の第２の構成１８１２−２による処理を説明する図である。図１８Ｅでは、２×２＝４ブロックの勾配ヒストグラムの総和を拡張した各ブロックとすることにより、精度を向上させながら次元数を削減できる。
【０１４８】
図１８Ｅに示すように、特徴ベクトル拡張部１８４１は、例えば、５×５×６次元（１５０次元）の勾配方向ヒストグラム１８５１を拡張することにより、４×４×６次元（９６次元）の勾配方向ヒストグラム１８５３を生成することができる。すなわち、１８５１ａの太線で示す４ブロックが１８５３ａの１ブロックにまとめられる。また、１８５１ｂの破線で示す４ブロックが１８５３ｂの１ブロックにまとめられる。
【０１４９】
同様に、特徴ベクトル拡張部１８４１は、５×５×６次元（１５０次元）の勾配方向ヒストグラム１８５３から、隣接する３×３ブロックの勾配方向ヒストグラムの総和をとることにより、３×３×６次元（５４次元）の勾配方向ヒストグラム１８５５を生成することも可能である。すなわち、１８５３ｃの太線で示す４ブロックが１８５５ｃの１ブロックにまとめられる。また、１８５３ｄの破線で示す４ブロックが１８５５ｄの１ブロックにまとめられる。
【０１５０】
なお、次元選定部４１５が、５×５×６次元（１５０次元）の勾配方向ヒストグラム１８５１を５×５×３次元（７５次元）の勾配方向ヒストグラム１８５２に次元選定する場合には、４×４×６次元（９６次元）の勾配方向ヒストグラム１８５３は、４×４×６次元（９６次元）の勾配方向ヒストグラム１８５４となる。また、３×３×６次元（５４次元）の勾配方向ヒストグラム１８５５は、３×３×３次元（２７次元）の勾配方向ヒストグラム１８５６となる。
【０１５１】
（第３の構成）
図１８Ｆは、本実施形態に係る伝送データ量削減部１８１２の第３の構成１８１２−３を示すブロック図である。伝送データ量削減部１８１２の第３の構成１８１２−３においては、特徴点選定部１８６１が特徴点選定で特徴点を削除して特徴点数を削減することで、精度を維持しながら局所特徴量のデータ量を削減することが可能である。
【０１５２】
特徴点選定部１８６１は、例えば、選定される特徴点の「指定数」を示す指定数情報をあらかじめ保持しておくことができる。また、指定数情報は、指定数そのものを示す情報であってもよいし、画像における局所特徴量のトータルサイズ（例えばバイト数）を示す情報であってもよい。指定数情報が、画像における局所特徴量のトータルサイズを示す情報である場合、特徴点選定部１８６１は、例えば、トータルサイズを、１つの特徴点における局所特徴量のサイズで割ることにより、指定数を算出することができる。また、全特徴点に対してランダムに重要度を付与し、重要度が高い順に特徴点を選定することができる。そして、指定数の特徴点を選定した時点で、選定した特徴点に関する情報を選定結果として出力することができる。また、特徴点情報に基づいて、全特徴点のスケールの中で、特定のスケール領域に含まれる特徴点のみを選定することができる。そして、選定された特徴点が指定数よりも多い場合、例えば、重要度に基づいて特徴点を指定数まで削減し、選定した特徴点に関する情報を選定結果として出力することができる。
【０１５３】
（第４の構成）
図１８Ｇは、本実施形態に係る伝送データ量削減部１８１２の第４の構成１８１２−４を示すブロック図である。伝送データ量削減部１８１２の第４の構成１８１２−４においては、次元数決定部１８３１と特徴点選定部１８６１とが協働しながら、精度を維持しながら局所特徴量のデータ量を削減する。
【０１５４】
第４の構成１８１２−４における次元数決定部１８３１と特徴点選定部１８６１との関係は種々考えられる。例えば、特徴点選定部１８６１は、次元数決定部１８３１により決定された特徴点数に基づいて、特徴点を選定することができる。また、次元数決定部１８３１は、特徴点選定部１８６１が選定した指定特徴量サイズおよび決定した特徴点数に基づいて、特徴量サイズが指定特徴量サイズになるように、選定次元数を決定することができる。また、特徴点選定部１８６１は、特徴点検出部４１１から出力される特徴点情報に基づいて特徴点の選定を行う。そして、特徴点選定部１８６１は、選定した各特徴点の重要度を示す重要度情報を次元数決定部１８３１に出力し、次元数決定部１８３１は、重要度情報に基づいて、次元選定部４１５で選定される次元数を特徴点ごとに決定することができる。
【０１５５】
《サーバ用の映像処理装置の機能構成》
図１９は、本実施形態に係るサーバ用の映像処理装置１６１０の機能構成を示すブロック図である。
【０１５６】
サーバ用の映像処理装置１６１０は、通信制御部１９２３を有する。復号部１９２４は、通信制御部１９２３を介して携帯端末から受信した、符号化された局所特徴量および特徴点座標を復号する。そして、照合部１９２５において、局所特徴量ＤＢ１６２１の認識対象物の局所特徴量と照合する。照合結果の認識対象物名と対応してリンク情報ＤＢ１６２２から取得されたリンク情報とから、送信データ生成部１９２６において送信データが生成される。送信データは、認識対象物送信部でもある送信部１９２７から通信制御部１９２３を介して携帯端末に返信される。
【０１５７】
《携帯端末用の映像処理装置のハードウェア構成》
図２０は、本実施形態に係る携帯端末用の映像処理装置１６２０のハードウェア構成を示すブロック図である。なお、携帯端末用の映像処理装置１６２０のハードウェア構成は、第２実施形態の映像処理装置２００から照合処理に関連する構成を無くし、代わりに、局所特徴量の送信構成と照合結果の受信構成を追加した構成であるので、図７と同じ構成要素には同じ参照番号を付し、説明は省略する。
【０１５８】
ＲＡＭ２０４０は、ＣＰＵ７１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。照合結果／リンク情報２０４３は、照合サーバから受信した照合結果／リンク情報を記憶する領域である。照合結果／リンク情報表示データ２０４４は、照合結果／リンク情報２０４３をユーザに報知するための照合結果／リンク情報表示データを記憶する領域である。なお、音声出力をする場合には、照合結果音声データが含まれてもよい。入力映像／照合結果重畳データ２０４５は、入力映像７４１に照合結果／リンク情報２０４３を重畳した表示部３６０に表示される入力映像／照合結果重畳データを記憶する領域である。
【０１５９】
ストレージ７５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。照合結果／リンク情報表示フォーマット２０５１は、照合結果／ロンク情報を表示するフォーマットを生成するために使用される照合結果／リンク情報表示フォーマットが格納される領域である。
【０１６０】
ストレージ２０５０には、以下のプログラムが格納される。携帯端末制御プログラム７５２は、本映像処理装置２００の全体を制御する携帯端末制御プログラムが格納される領域である。局所特徴量送信モジュール２０５４は、携帯端末制御プログラム７５２において、生成された局所特徴量および特徴点座標を符号化して照合サーバに送信する局所特徴量送信モジュールが格納される領域である。照合結果受信報知モジュール２０５５は、照合結果／リンク情報を受信して表示または音声によりユーザに報知するための照合結果受信報知モジュールが格納される領域である。リンク先アクセスモジュール２０５６は、表示されたリンク情報を指示された場合に、リンク先をアクセスして関連情報をダウンロードするための、リンク先アクセスモジュールが格納される領域である。
【０１６１】
なお、図２０には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。
【０１６２】
《携帯端末用の映像処理装置の処理手順》
図２１は、本実施形態に係る携帯端末用の映像処理装置１６２０の処理手順を示すフローチャートである。このフローチャートは、図２０のＣＰＵ７１０によってＲＡＭ２０４０を用いて実行され、図１８Ａの各機能構成部を実現する。
【０１６３】
まず、ステップＳ２１１１において、対象物認識を行なうための映像入力があったか否かを判定する。また、携帯端末の機能として、ステップＳ２１２１においては受信を判定する。いずれでもなければ、ステップＳ２１３１においてその他の処理を行なう。なお、通常の送信処理については説明を省略する。
【０１６４】
映像入力があればステップＳ２１１３に進んで、入力映像から局所特徴量生成処理を実行する（図９Ａ参照）。次に、ステップＳ２１１５において、局所特徴量および特徴点座標を符号化する（図２２Ａおよび図２２Ｂ参照）。ステップＳ２１１７においては、符号化されたデータを照合サーバに送信する。
【０１６５】
データ受信の場合はステップＳ２１２３に進んで、照合サーバからの認識結果の受信か／リンク先サーバからの関連情報の受信かを判定する。認識結果であればステップＳ２１２５に進んで、受信した認識結果とリンク先情報を入力映像に重畳して表示する。一方、関連情報であればステップＳ２１２７に進んで、リンク先サーバからの関連情報を表示あるいは音声出力する。
【０１６６】
（符号化処理）
図２２Ａは、本実施形態に係る符号化処理Ｓ２１１５の処理手順を示すフローチャートである。
【０１６７】
まず、ステップＳ２２１１において、特徴点の座標値を所望の順序で走査する。次に、ステップＳ２２１３において、走査した座標値をソートする。ステップＳ２２１５において、ソートした順に座標値の差分値を算出する。ステップＳ２２１７においては、差分値を符号化する（図２２Ｂ参照）。そして、ステップＳ２２１９において、座標値のソート順に局所特徴量を符号化する。なお、差分値の符号化と局所特徴量の符号化とは並列に行なってもよい。
【０１６８】
（差分値の符号化処理）
図２２Ｂは、本実施形態に係る差分値の符号化処理Ｓ２２１７の処理手順を示すフローチャートである。
【０１６９】
まず、ステップＳ２２２１において、差分値が符号化可能な値域内であるか否かを判定する。符号化可能な値域内であればステップＳ２２２７に進んで、差分値を符号化する。そして、ステップＳ２２２９へ移行する。符号化可能な値域内でない場合（値域外）はステップＳ２２２３に進んで、エスケープコードを符号化する。そしてステップＳ２２２５において、ステップＳ２２２７の符号化とは異なる符号化方法で差分値を符号化する。そして、ステップＳ２２２９へ移行する。ステップＳ２２２９では、処理された差分値が差分値の系列の最後の要素であるかを判定する。最後である場合は、処理が終了する。最後でない場合は、再度ステップＳ２２２１に戻って、差分値の系列の次の差分値に対する処理が実行される。
【０１７０】
《サーバ用の映像処理装置のハードウェア構成》
図２３は、本実施形態に係るサーバ用の映像処理装置１６１０のハードウェア構成を示すブロック図である。
【０１７１】
図２３で、ＣＰＵ２３１０は演算制御用のプロセッサであり、プログラムを実行することで照合サーバである映像処理装置１６２０の各機能構成部を実現する。ＲＯＭ２３２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部１９２３は通信制御部であり、本実施形態においては、ネットワークを介して他の装置と通信する。なお、ＣＰＵ２３１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。
【０１７２】
ＲＡＭ２３４０は、ＣＰＵ２３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２３４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。受信した局所特徴量２３４１は、携帯端末から受信した特徴点座標を含む局所特徴量を記憶する領域である。読出した局所特徴量２３４２は、局所特徴量ＤＢ１６２１から読み出した特徴点座標を含むと局所特徴量を記憶する領域である。対象物照合結果２３４３は、受信した局所特徴量と局所特徴量ＤＢ３３０に格納された局所特徴量との照合から認識された、対象物照合結果を記憶する領域である。リンク情報２３４４は、認識対象物に対応してリンク情報ＤＢ１６２２から検索されたリンク情報を記憶する領域である。送受信データ２３４５は、通信制御部１９２３を介して送受信される送受信データを記憶する領域である。
【０１７３】
ストレージ２３５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量ＤＢ１６２１は、図６に示したと同様の局所特徴量ＤＢが格納される領域である。なお、照合サーバにおいては処理能力や記憶容量は十分であるので、全分野の局所特徴量を格納してもよい。ストレージ２３５０には、以下のプログラムが格納される。照合サーバ制御プログラム２３５１は、本映像処理装置２００の全体を制御する照合サーバ制御プログラムが格納される領域である。局所特徴量モジュール２３５２は、照合サーバ制御プログラム２３５１において、認識対象部の画像から局所特徴量モジュールが格納される領域である。対象物認識制御モジュール２３５３は、照合サーバ制御プログラム２３５１において、受信した局所特徴量と局所特徴量ＤＢ３３０に格納された局所特徴量とを照合して対象物を認識する対象物認識制御モジュールが格納される領域である。
【０１７４】
なお、図２３には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。
【０１７５】
（リンク情報ＤＢ）
図２４は、本実施形態に係るリンク情報ＤＢ１６２２の構成を示す図である。基本的には、図１５のリンク情報ＤＢ１４１０と同様である。
【０１７６】
リンク情報ＤＢ１６２２は、認識対象物ＩＤ２４０１と認識対象物名２４０２とに対応付けて、リンク先表示データとリンク咲くアドレスとからなるリンク情報２４０３が記憶される。なお、かかるリンク情報ＤＢ１６２２も局所特徴量ＤＢ１６２１と一体に準備されてもよい。
【０１７７】
《サーバ用の映像処理装置の処理手順》
図２５は、本実施形態に係るサーバ用の映像処理装置１６１０の処理手順を示すフローチャートである。このフローチャートは、図２３のＣＰＵ２３１０によりＲＡＭ２３４０を使用して実行され、図１９の各機能構成部を実現する。
【０１７８】
まず、ステップＳ２５１１において、局所特徴量ＤＢの生成か否かを判定する。また、ステップＳ２５２１において、携帯端末からの局所特徴量受信かを判定する。いずれでもなければ、ステップＳ２５３１において他の処理を行なう。
【０１７９】
局所特徴量ＤＢの生成であればステップＳ２５１３に進んで、局所特徴量ＤＢ生成処理を実行する（図２６Ａ参照）。また、局所特徴量の受信であればステップＳ２５２３に進んで、認識対象物／リンク情報取得処理を実行する（図２６Ｂ参照）。そして、ステップＳ２５２５において、認識対象物とリンク情報とを携帯端末に送信する。
【０１８０】
（局所特徴量ＤＢ生成処理）
図２６Ａは、本実施形態に係る局所特徴量ＤＢ生成処理Ｓ２５１３の処理手順を示すフローチャートである。
【０１８１】
まず、ステップＳ２６１１において、認識対象物の画像を取得する。ステップＳ２６１３においては、特徴点の位置座標、スケール、角度を検出する。ステップＳ２６１５において、ステップＳ２６１３で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ２６１７において、局所領域をサブ領域に分割する。ステップＳ２６１９においては、各サブ領域の特徴ベクトルを生成して局所療育の特徴ベクトルを生成する。ステップＳ２６１３からＳ２６１９の処理は図４Ｂに図示されている。
【０１８２】
次に、ステップＳ２６２１において、ステップＳ２６１９において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図４Ｄ〜図４Ｆに図示されている。しかしながら、局所特徴量ＤＢ１６２１の生成においては、次元選定における階層化を実行するが、生成されたすべての特徴ベクトルを格納するのが望ましい。
【０１８３】
ステップＳ２６２３においては、ステップＳ２６１３で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ２６１３に戻って、次の１つの特徴点について処理を繰り返す。全特徴点について終了した場合はステップＳ２６２５に進んで、認識対象物に対応付けて局所特徴量と特徴点座標を局所特徴量ＤＢ１６２１に登録する。
【０１８４】
ステップＳ２６２７においては、他の認識対象物があるか否かを判定する。他の認識対象物があればステップＳ２６１１に戻って、認識対象物の画像を取得して処理を繰り返す。
【０１８５】
（認識対象物／リンク情報取得処理）
図２６Ｂは、本実施形態に係る認識対象物／リンク情報取得処理Ｓ２５２３の処理手順を示すフローチャートである。
【０１８６】
まず、ステップＳ２６３１において、局所特徴量ＤＢ１６２１から１つの認識対象物の局所特徴量を取得する。そして、ステップＳ２６３３において、認識対象物の局所特徴量と携帯端末から受信した局所特徴量との照合を行なう。なお、ステップＳ２６３３の照合処理は、携帯端末が行なう図９Ｂの照合処理と基本的に同様であり、詳細な説明は省略する。
【０１８７】
ステップＳ２６３５において、合致したか否かを判定する。合致していればステップＳ２６３９に進んで、合致した認識対象物を記憶する。そして、ステップＳ２６４１において、リンク情報ＤＢ１６２２から認識対象物に対応するリンク情報を取得する。
【０１８８】
ステップＳ２６３７においては、全認識対象物を照合したかを判定し、残りがあればステップＳ２６３１に戻って次の認識対象物の照合を繰り返す。なお、かかる照合においても、分野の限定を行なってもよい。
【０１８９】
［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【０１９０】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【０１９１】
この出願は、２０１１年１２月１４日に出願された日本出願特願２０１１−２７３９３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０１９２】
本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像内に表示する表示手段と、
を備えることを特徴とする映像処理装置。
（付記２）
前記認識対象物に対応付けて、前記認識対象物に関連する関連情報を記憶する関連情報記憶手段をさらに備え、
前記表示手段は、さらに、前記関連情報を前記映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする付記１に記載の映像処理装置。
（付記３）
前記認識対象物に対応付けて、前記認識対象物に関連する関連情報にアクセスするためのリンク情報を記憶するリンク情報記憶手段をさらに備え、
前記表示手段は、さらに、前記リンク情報を前記映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする付記１または２に記載の映像処理装置。
（付記４）
前記認識対象物に対応付けて、前記認識対象物に関連する関連情報にアクセスするためのリンク情報を記憶するリンク情報記憶手段と、
前記リンク情報に従って、前記関連情報にアクセスするダウンロード手段と、
をさらに備え、
前記表示手段は、さらに、前記関連情報を前記映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする付記１または２に記載の映像処理装置。
（付記５）
前記第１局所特徴量記憶手段は、前記ｍ個の第１局所特徴量と、前記認識対象物の画像内における前記ｍ個の特徴点の位置座標との組を記憶し、
前記第２局所特徴量生成手段は、前記ｎ個の第２局所特徴量と、前記映像中の画像内における前記ｎ個の特徴点の位置座標との組みを保持し、
前記認識手段は、前記ｎ個の第２局所特徴量とその位置座標との組の集合と、前記ｍ個の第１局所特徴量とその位置座標との組の所定割合以上の集合とが線形変換の関係であると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識することを特徴とする付記１乃至４のいずれか１つに記載の映像処理装置。
（付記６）
前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成されることを特徴とする付記１乃至５のいずれか１つに記載の映像処理装置。
（付記７）
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする付記６に記載の映像処理装置。
（付記８）
前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した前記複数の特徴点から、重要度のより小さいと判断された特徴点を削除することにより生成されることを特徴とする付記６または７に記載の映像処理装置。
（付記９）
前記特徴ベクトルの複数次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定の次元数ごとに前記局所領域をひと回りするよう配列することを特徴とする付記６乃至８のいずれか１つに記載の映像処理装置。
（付記１０）
認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理装置の制御方法であって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示ステップと、
を含むことを特徴とする映像処理装置の制御方法。
（付記１１）
認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を前記認識対象物に対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理装置において、制御方法を実施するための制御プログラムであって、前記制御方法は、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示ステップと、
を含むことを特徴とする映像処理装置の制御プログラム。
（付記１２）
ネットワークを介して接続される携帯端末用の映像処理装置とサーバ用の映像処理装置とを有する映像処理システムであって、
認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記認識対象物に対応付けて記憶する第１局所特徴量記憶手段と、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、前記第２局所特徴量生成手段が生成した前記選択した次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、前記第１局所特徴量記憶手段に記憶された前記選択した次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示手段と、
を備えることを特徴とする映像処理システム。
（付記１３）
前記携帯端末用の映像処理装置は、
前記第２局所特徴量生成手段と、
前記ｎ個の第２局所特徴量を符号化し、前記ネットワークを介して前記サーバ用の映像処理装置に送信する第２局所特徴量送信手段と、
前記サーバ用の映像処理装置において認識された認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する認識対象物受信手段と、
受信した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示手段と、
を備え、
前記サーバ用の映像処理装置は、
前記第１局所特徴量記憶手段と、
符号化された前記ｎ個の第２局所特徴量を、前記携帯端末用の映像処理装置から受信して復号する第２局所特徴量受信手段と、
前記認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を、前記ネットワークを介して前記携帯端末用の映像処理装置に送信する認識対象物送信手段と、
を備えることを特徴とする付記１２に記載の映像処理システム。
（付記１４）
前記認識対象物に対応付けて、前記認識対象物に関連する関連情報にアクセスするためのリンク情報を記憶するリンク情報記憶手段をさらに備え、
前記表示手段は、さらに、前記リンク情報を前記映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする付記１２または１３に記載の映像処理システム。
（付記１５）
前記認識対象物に対応付けて、前記認識対象物に関連する関連情報にアクセスするためのリンク情報を記憶するリンク情報記憶手段と、
前記リンク情報に従って、前記関連情報にアクセスするダウンロード手段と、
をさらに備え、
前記表示手段は、さらに、前記関連情報を前記映像中の前記認識対象物が存在する画像に重畳して表示することを特徴とする付記１２または１３に記載の映像処理システム。
（付記１６）
付記１２乃至１５のいずれか１つに記載の映像処理システムにおける携帯端末用の映像処理装置であって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記ｎ個の第２局所特徴量を符号化し、ネットワークを介してサーバ用の映像処理装置に送信する第２局所特徴量送信手段と、
前記サーバ用の映像処理装置において認識された認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する認識対象物受信手段と、
受信した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示手段と、
を備えることを特徴とする映像処理装置。
（付記１７）
付記１２乃至１５のいずれか１つに記載の映像処理システムにおける携帯端末用の映像処理装置の制御方法であって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｎ個の第２局所特徴量を符号化し、ネットワークを介してサーバ用の映像処理装置に送信する第２局所特徴量送信ステップと、
前記サーバ用の映像処理装置において認識された認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する認識対象物受信ステップと、
受信した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示ステップと、
を含むことを特徴とする携帯端末用の映像処理装置の制御方法。
（付記１８）
付記１２乃至１５のいずれか１つに記載の映像処理システムにおける携帯端末用の映像処理装置の制御プログラムであって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｎ個の第２局所特徴量を符号化し、ネットワークを介してサーバ用の映像処理装置に送信する第２局所特徴量送信ステップと、
前記サーバ用の映像処理装置において認識された認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する認識対象物受信ステップと、
受信した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
（付記１９）
付記１２乃至１５のいずれか１つに記載の映像処理システムにおけるサーバ用の映像処理装置であって、
認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
符号化された前記ｎ個の第２局所特徴量を、携帯端末用の映像処理装置から受信して復号する第２局所特徴量受信手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、前記選択された次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を、ネットワークを介して前記携帯端末用の映像処理装置に送信する認識対象物送信手段と、
を備えることを特徴とするサーバ用の映像処理装置。
（付記２０）
付記１２乃至１５のいずれか１つに記載の映像処理システムにおける、認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えたサーバ用の映像処理装置の制御方法であって、
符号化された前記ｎ個の第２局所特徴量を、携帯端末用の映像処理装置から受信して復号する第２局所特徴量受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した前記認識対象物を示す情報を、ネットワークを介して前記携帯端末用の映像処理装置に送信する認識対象物送信ステップと、
を含むことを特徴とするサーバ用の映像処理装置の制御方法。
（付記２１）
付記１２乃至１５のいずれか１つに記載の映像処理システムにおける、認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えたサーバ用の映像処理装置の制御プログラムであって、
符号化された前記ｎ個の第２局所特徴量を、携帯端末用の映像処理装置から受信して復号する第２局所特徴量受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択して、前記第２局所特徴量生成手段において生成した前記選択した次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に対して、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した前記認識対象物を示す情報を、ネットワークを介して前記携帯端末用の映像処理装置に送信する認識対象物送信ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
（付記２２）
ネットワークを介して接続される携帯端末用の映像処理装置とサーバ用の映像処理装置とを有し、認識対象物と、前記認識対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記認識対象物に対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理システムにおける映像処理方法であって、
映像中の画像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択して、前記第２局所特徴量生成手段が生成した前記選択した次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、前記第１局所特徴量記憶手段に記憶された前記選択した次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像内に前記認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を前記映像中の前記認識対象物が存在する画像に重畳して表示する表示手段と、
を備えることを特徴とする映像処理方法。
【図１】
2013088994.tif 000003
【図２】
2013088994.tif 000004
【図３】
2013088994.tif 000005
【図４Ａ】
2013088994.tif 000006
【図４Ｂ】
2013088994.tif 000007
【図４Ｃ】
2013088994.tif 000008
【図４Ｄ】
2013088994.tif 000009
【図４Ｅ】
2013088994.tif 000010
【図４Ｆ】
2013088994.tif 000011
【図４Ｇ】
2013088994.tif 000012
【図４Ｈ】
2013088994.tif 000013
【図５】
2013088994.tif 000014
【図６】
2013088994.tif 000015
【図７】
2013088994.tif 000016
【図８】
2013088994.tif 000017
【図９Ａ】
2013088994.tif 000018
【図９Ｂ】
2013088994.tif 000019
【図１０】
2013088994.tif 000020
【図１１】
2013088994.tif 000021
【図１２】
2013088994.tif 000022
【図１３】
2013088994.tif 000023
【図１４】
2013088994.tif 000024
【図１５】
2013088994.tif 000025
【図１６】
2013088994.tif 000026
【図１７】
2013088994.tif 000027
【図１８Ａ】
2013088994.tif 000028
【図１８Ｂ】
2013088994.tif 000029
【図１８Ｃ】
2013088994.tif 000030
【図１８Ｄ】
2013088994.tif 000031
【図１８Ｅ】
2013088994.tif 000032
【図１８Ｆ】
2013088994.tif 000033
【図１８Ｇ】
2013088994.tif 000034
【図１９】
2013088994.tif 000035
【図２０】
2013088994.tif 000036
【図２１】
2013088994.tif 000037
【図２２Ａ】
2013088994.tif 000038
【図２２Ｂ】
2013088994.tif 000039
【図２３】
2013088994.tif 000040
【図２４】
2013088994.tif 000041
【図２５】
2013088994.tif 000042
【図２６Ａ】
2013088994.tif 000043
【図２６Ｂ】
2013088994.tif 000044
【国際調査報告】
2013088994.tif 000045
2013088994.tif 000046
2013088994.tif 000047
2013088994.tif 000048