(57)【要約】【課題】認識精度を維持しながら、映像中の複数の認識対象物に対してリアルタイムで認識結果を報知すること。【解決手段】複数の認識対象物と、それぞれ１次元からｉ１〜ｉｋ次元までの特徴ベクトルからなるｍ１〜ｍｋ個の第１局所特徴量とを、対応付けて記憶しておき、映像中の画像からｎ個の特徴点を抽出し、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成して、次元数ｉ１からｉｋおよび次元数ｊのうち、より少ない次元数を選択し、選択した次元数までの特徴ベクトルからなるｎ個の第２局所特徴量に、選択した次元数までの特徴ベクトルからなるｍ１〜ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、映像中の前記画像に所定割合以上が対応した複数の認識対象物が存在すると認識し、複数の認識対象物を示す情報を映像中の複数の認識対象物が存在する画像に表示することを特徴とする。【選択図】  図１
2015062090.tif 000002
【特許請求の範囲】
【請求項１】
複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した複数の認識対象物を示す情報を前記映像中の前記複数の認識対象物が存在する画像に表示する表示手段と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記映像中の前記複数の認識対象物が存在する画像に基づいて、前記映像を識別する識別手段をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記認識手段により識別した映像に対応付けて、前記映像に関連する関連情報をアクセスするためのリンク情報を記憶するリンク情報記憶手段をさらに備え、
前記表示手段は、さらに、前記リンク情報を前記映像中の画像に重畳して表示することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記認識手段により識別した映像に対応付けて、前記映像に関連する関連情報をアクセスするためのリンク情報を記憶するリンク情報記憶手段と、
前記リンク情報に従って、前記関連情報をアクセスするダウンロード手段と、
をさらに備え、
前記表示手段は、さらに、前記関連情報を前記映像中の画像に重畳して表示することを特徴とする請求項１または２に記載の映像処理装置。
【請求項５】
前記第１局所特徴量記憶手段は、前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量と、前記複数の認識対象物のそれぞれの画像内における前記ｍ１，ｍ２，…，ｍｋ個の特徴点の位置座標との組を記憶し、
前記第２局所特徴量生成手段は、前記ｎ個の第２局所特徴量と、前記映像中の画像内における前記ｎ個の特徴点の位置座標との組みを保持し、
前記認識手段は、前記ｎ個の第２局所特徴量とその位置座標との組の集合と、前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とその位置座標との組の所定割合以上の集合とが線形変換の関係であると判定した場合に、前記映像中の前記画像内に前記複数の認識対象物が存在すると認識することを特徴とする請求項１乃至４のいずれか１項に記載の映像処理装置。
【請求項６】
前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成されることを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
【請求項７】
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする請求項６に記載の映像処理装置。
【請求項８】
前記特徴ベクトルの複数の次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度に応じて第１次元から順に選択できるよう、所定の次元数ごとに前記局所領域をひと回りするよう配列することを特徴とする請求項６または７に記載の映像処理装置。
【請求項９】
複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理装置の制御方法であって、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した複数の認識対象物を示す情報を前記映像中の前記複数の認識対象物が存在する画像に表示する表示ステップと、
を含むことを特徴とする映像処理装置の制御方法。
【請求項１０】
複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理装置の制御プログラムであって、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した複数の認識対象物を示す情報を前記映像中の前記複数の認識対象物が存在する画像に表示する表示ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
【請求項１１】
ネットワークを介して接続される携帯端末用の映像処理装置とサーバ用の映像処理装置とを有する映像処理システムであって、
複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した複数の認識対象物を示す情報を前記映像中の前記複数の認識対象物が存在する画像に表示する表示手段と、
を備えることを特徴とする映像処理システム。
【請求項１２】
前記携帯端末用の映像処理装置は、
前記第２局所特徴量生成手段と、
前記ｎ個の第２局所特徴量を符号化し、前記ネットワークを介して前記サーバ用の映像処理装置に送信する第１送信手段と、
前記サーバ用の映像処理装置において認識された認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する第１受信手段と、
を備え、
前記サーバ用の映像処理装置は、
前記第１局所特徴量記憶手段と、
符号化された前記ｎ個の第２局所特徴量を、前記携帯端末用の映像処理装置から受信して復号する第２受信手段と、
前記認識手段と、
前記認識手段が認識した前記認識対象物を示す情報を、前記ネットワークを介して前記携帯端末用の映像処理装置に送信する第２送信手段と、
を備えることを特徴とする請求項１２に記載の映像処理システム。
【請求項１３】
請求項１１または１２に記載の映像処理システムにおける携帯端末用の映像処理装置であって、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記ｎ個の第２局所特徴量を符号化し、前記ネットワークを介して前記サーバ用の映像処理装置に送信する第１送信手段と、
前記サーバ用の映像処理装置において認識された複数の認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する第１受信手段と、
受信した前記複数の認識対象物を示す情報を前記映像中の前記対象物が存在する画像に表示する表示手段と、
を備えることを特徴とする映像処理装置。
【請求項１４】
請求項１１または１２に記載の映像処理システムにおける携帯端末用の映像処理装置の制御方法であって、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｎ個の第２局所特徴量を符号化し、前記ネットワークを介して前記サーバ用の映像処理装置に送信する第１送信ステップと、
前記サーバ用の映像処理装置において認識された複数の認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する第１受信ステップと、
受信した前記複数の認識対象物を示す情報を前記映像中の前記対象物が存在する画像に表示する表示ステップと、
を含むことを特徴とする映像処理装置の制御方法。
【請求項１５】
請求項１１または１２に記載の映像処理システムにおける携帯端末用の映像処理装置の制御プログラムであって、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｎ個の第２局所特徴量を符号化し、前記ネットワークを介して前記サーバ用の映像処理装置に送信する第１送信ステップと、
前記サーバ用の映像処理装置において認識された複数の認識対象物を示す情報を、前記サーバ用の映像処理装置から受信する第１受信ステップと、
受信した前記複数の認識対象物を示す情報を前記映像中の前記対象物が存在する画像に表示する表示ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
【請求項１６】
請求項１１または１２に記載の映像処理システムにおけるサーバ用の映像処理装置であって、
複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
符号化された前記ｎ個の第２局所特徴量を、前記携帯端末用の映像処理装置から受信して復号する第２受信手段と、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した複数の認識対象物を示す情報を、前記ネットワークを介して前記携帯端末用の映像処理装置に送信する第２送信手段と、
を備えることを特徴とするサーバ用の映像処理装置。
【請求項１７】
請求項１１または１２に記載の映像処理システムにおける、複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えたサーバ用の映像処理装置の制御方法であって、
符号化された前記ｎ個の第２局所特徴量を、前記携帯端末用の映像処理装置から受信して復号する第２受信ステップと、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した複数の認識対象物を示す情報を、前記ネットワークを介して前記携帯端末用の映像処理装置に送信する第２送信ステップと、
を含むことを特徴とするサーバ用の映像処理装置の制御方法。
【請求項１８】
請求項１１または１２に記載の映像処理システムにおける、複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えたサーバ用の映像処理装置の制御プログラムであって、
符号化された前記ｎ個の第２局所特徴量を、前記携帯端末用の映像処理装置から受信して復号する第２受信ステップと、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した複数の認識対象物を示す情報を、前記ネットワークを介して前記携帯端末用の映像処理装置に送信する第２送信ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
【請求項１９】
ネットワークを介して接続される携帯端末用の映像処理装置とサーバ用の映像処理装置とを有し、複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理システムにおける映像処理方法であって、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した複数の認識対象物を示す情報を前記映像中の前記複数の認識対象物が存在する画像に表示する表示ステップと、
を含むことを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中に存在する複数の物をリアルタイムに同定するための技術に関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、売り場の写真画像の色補正、サイズ補正および歪み補正を行なって、個々の商品の商品マスターとマッチングすることにより、商品の棚割モデルを短時間に精度良く作成する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１８７４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、売り場の写真画像の色補正、サイズ補正および歪み補正が必要なので、複数の商品をリアルタイムに同定して報知することはできない。
【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した複数の認識対象物を示す情報を前記映像中の前記複数の認識対象物が存在する画像に表示する表示手段と、
を備えることを特徴とする。
【０００７】
上記目的を達成するため、本発明に係る方法は、
複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理装置の制御方法であって、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した複数の認識対象物を示す情報を前記映像中の前記複数の認識対象物が存在する画像に表示する表示ステップと、
を含むことを特徴とする。
【０００８】
上記目的を達成するため、本発明に係るプログラムは、
複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理装置の制御プログラムであって、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した複数の認識対象物を示す情報を前記映像中の前記複数の認識対象物が存在する画像に表示する表示ステップと、
をコンピュータに実行させることを特徴とする。
【０００９】
上記目的を達成するため、本発明に係るシステムは、
ネットワークを介して接続される携帯端末用の映像処理装置とサーバ用の映像処理装置とを有する映像処理システムであって、
複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識手段と、
前記認識手段が認識した複数の認識対象物を示す情報を前記映像中の前記複数の認識対象物が存在する画像に表示する表示手段と、
を備えることを特徴とする。
【００１０】
上記目的を達成するため、本発明に係る方法は、
ネットワークを介して接続される携帯端末用の映像処理装置とサーバ用の映像処理装置とを有し、複数の認識対象物と、前記複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた映像処理システムにおける映像処理方法であって、
映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび前記第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択した前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択した前記次元数までの特徴ベクトルからなる前記ｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記所定割合以上が対応した複数の認識対象物が存在すると認識する認識ステップと、
前記認識ステップにおいて認識した複数の認識対象物を示す情報を前記映像中の前記複数の認識対象物が存在する画像に表示する表示ステップと、
を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、認識精度を維持しながら、映像中の複数の認識対象物に対してリアルタイムで認識結果を報知できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る映像処理装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る映像処理装置による映像処理を説明する図である。
【図３】本発明の第２実施形態に係る映像処理装置の機能構成を示すブロック図である。
【図４Ａ】本発明の第２実施形態に係る局所特徴量生成部の構成を示すブロック図である。
【図４Ｂ】本発明の第２実施形態に係る局所特徴量生成部の処理を示す図である。
【図４Ｃ】本発明の第２実施形態に係る局所特徴量生成部の処理を示す図である。
【図４Ｄ】本発明の第２実施形態に係る局所特徴量生成部の処理を示す図である。
【図４Ｅ】本発明の第２実施形態に係る局所特徴量生成部の処理を示す図である。
【図４Ｆ】本発明の第２実施形態に係る局所特徴量生成部の処理を示す図である。
【図４Ｇ】本発明の第２実施形態に係る照合部の処理を示す図である。
【図５】本発明の第２実施形態に係る局所特徴量生成データの構成を示す図である。
【図６】本発明の第２実施形態に係る局所特徴量ＤＢの構成を示す図である。
【図７】本発明の第２実施形態に係る映像処理装置のハードウェア構成を示すブロック図である。
【図８】本発明の第２実施形態に係る映像処理装置の処理手順を示すフローチャートである。
【図９Ａ】本発明の第２実施形態に係る局所特徴量生成処理の処理手順を示すフローチャートである。
【図９Ｂ】本発明の第２実施形態に係る照合処理の処理手順を示すフローチャートである。
【図１０】本発明の第３実施形態に係る映像処理装置による映像処理を説明する図である。
【図１１】本発明の第３実施形態に係る映像処理装置の機能構成を示すブロック図である。
【図１２】本発明の第３実施形態に係る複数照合結果保持部の構成を示す図である。
【図１３】本発明の第３実施形態に係る組み合わせ識別ＤＢの構成を示す図である。
【図１４】本発明の第３実施形態に係る映像処理装置のハードウェア構成を示すブロック図である。
【図１５】本発明の第３実施形態に係る映像処理装置の処理手順を示すフローチャートである。
【図１６】本発明の第３実施形態に係る映像照合処理の処理手順を示すフローチャートである。
【図１７】本発明の第４実施形態に係る映像処理システムによる映像処理を説明する図である。
【図１８】本発明の第４実施形態に係る映像処理システムの映像処理手順を示すシーケンス図である。
【図１９Ａ】本発明の第４実施形態に係る携帯端末用の映像処理装置の機能構成を示すブロック図である。
【図１９Ｂ】本発明の第４実施形態に係る符号化部の構成を示すブロック図である。
【図２０】本発明の第４実施形態に係るサーバ用の映像処理装置の機能構成を示すブロック図である。
【図２１】本発明の第４実施形態に係るリンク情報ＤＢの構成を示す図である。
【図２２】本発明の第４実施形態に係る携帯端末用の映像処理装置のハードウェア構成を示すブロック図である。
【図２３】本発明の第４実施形態に係る携帯端末用の映像処理装置の処理手順を示すフローチャートである。
【図２４Ａ】本発明の第４実施形態に係る符号化の処理手順を示すフローチャートである。
【図２４Ｂ】本発明の第４実施形態に係る差分値の符号化の処理手順を示すフローチャートである。
【図２５】本発明の第４実施形態に係るサーバ用の映像処理装置のハードウェア構成を示すブロック図である。
【図２６】本発明の第４実施形態に係るサーバ用の映像処理装置の処理手順を示すフローチャートである。
【図２７Ａ】本発明の第４実施形態に係る局所特徴量ＤＢ生成処理の処理手順を示すフローチャートである。
【図２７Ｂ】本発明の第４実施形態に係る認識対象物／リンク情報取得処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１４】
［第１実施形態］
本発明の第１実施形態としての映像処理装置１００について、図１を用いて説明する。映像処理装置１００は、映像中の画像内の複数の認識対象物を、認識精度を維持してリアルタイムに認識する装置である。
【００１５】
図１に示すように、映像処理装置１００は、第１局所特徴量記憶部１１０と、第２局所特徴量生成部１２０と、認識部１３０と、表示部１４０と、を含む。第１局所特徴量記憶部１１０は、複数の認識対象物１１１−１〜１１１−ｋと、複数の認識対象物の画像内のそれぞれｍ１，ｍ２，…，ｍｋ個の特徴点のそれぞれを含むｍ１，ｍ２，…，ｍｋ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ１，ｉ２，…，ｉｋ次元までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量１１２−１〜１１２−ｋとを、対応付けて記憶する。第２局所特徴量生成部１２０は、映像中の画像１０１からｎ個の特徴点を１２１抽出し、ｎ個の特徴点のそれぞれを含むｎ個の局所領域１２２について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量１２３を生成する。認識部１３０は、第１局所特徴量の次元数ｉ１，ｉ２，…，ｉｋおよび第２局所特徴量の次元数ｊのうち、より少ない次元数を選択する。認識部１３０は、選択した次元数までの特徴ベクトルからなるｎ個の第２局所特徴量に、選択した次元数までの特徴ベクトルからなるｍ１，ｍ２，…，ｍｋ個の第１局所特徴量のそれぞれについて所定割合以上が対応するか否かを判定する。認識部１３０は、対応すると判定した場合に、映像中の画像１０１に所定割合以上が対応した複数の認識対象物が存在すると認識する。表示部１４０は、認識部１３０が認識した複数の認識対象物を示す情報１４１を映像中の複数の認識対象物が存在する画像に表示する。
【００１６】
本実施形態によれば、認識精度を維持しながら、映像中の複数の認識対象物に対してリアルタイムで認識結果を報知できる。
【００１７】
［第２実施形態］
次に、本発明の第２実施形態に係る映像処理装置について説明する。本実施形態においては、携帯端末としての映像処理装置が、撮像中の映像内の複数の認識対象物を認識して、映像中の認識対象物に対してリアルタイムに認識結果を表示する映像処理を説明する。本実施形態では、認識対象物の名称をリアルタイムに表示する例を説明する。なお、本実施形態においては、携帯端末により撮像した映像に対する処理について説明するが、映像は映像コンテンツの再生処理や、放送番組の視聴においても同様に適応される。
【００１８】
本実施形態によれば、ユーザが映像を視聴中、その映像内の複数の認識対象物についての認識結果を、認識精度を維持しながら映像上でリアルタイムにユーザに知らせることができる。
【００１９】
《本実施形態に係る映像処理の説明》
図２は、本実施形態に係る映像処理装置２００による映像処理を説明する図である。図２には、１つの処理例を示すがこれに限定されない。
【００２０】
図２においては、観光客などユーザが、視界内の搭やビルなどの建築物を知りたい場合や、行き先や自分の現在地を知りたい場合に、携帯端末で認識対象物を含む映像を撮像した例を示すものである。携帯端末としての映像処理装置２００の表示画面２１０には、図２の左図に示すように、撮像中の映像表示領域２１１とタッチパネルの指示ボタン表示領域２１２とが表示されている。なお、映像表示領域２１１に表示されている建築物は、撮像中の映像がそのまま表示されたものであり、静止画（写真）ではない。本実施形態においては、その表示映像に対してリアルタイムの認識処理が行なわれ、図２の右の表示画面２２０の映像表示領域２２１には、複数の建築物のそれぞれの名前２２２〜２２４が表示される。ユーザは、かかる映像表示領域２２１から、例えば、観光案内などが無くても、目的地や自分の現在地を知ることができる。
【００２１】
《映像処理装置の機能構成》
図３は、本実施形態に係る映像処理装置２００の機能構成を示すブロック図である。
【００２２】
映像処理装置２００は、映像を取得する撮像部３１０を有する。撮像された映像は、表示部３６０に表示されると共に、局所特徴量生成部３２０に入力される。局所特徴量生成部３２０は、撮像された映像から局所特徴量を生成する（詳細は図４Ａ参照）。局所特徴量ＤＢ３３０には、あらかじめ個々の認識対象物、図２のスカイツリー／ビルなど単体、から局所特徴量生成部３２０と同様のアルゴリズムで生成された局所特徴量が、認識対象物と対応付けられて格納されている。かかる局所特徴量ＤＢ３３０の内容は、通信制御部３９０を介して局所特徴量受信部３８０が受信してもよい。
【００２３】
照合部３４０は、撮像された映像から局所特徴量生成部３２０で生成された局所特徴量中に、局所特徴量ＤＢ３３０に格納されている局所特徴量に対応するデータがあるか否かを照合する。照合部３４０は、対応するデータがあれば、撮影された映像中に認識対象物があると判定する。なお、局所特徴量が対応するというのは、同じ局所特徴量が在るというだけでなく、その順序や配置が同じ対象物から取得し得るか否かを判断することを含んでもよい（図４Ｇ参照）。
【００２４】
照合結果生成部３５０は、照合部３４０の照合結果から表示部３６０に表示するためのデータを生成する。かかるデータには、認識対象物の名称や認識エラーなどのデータも含まれる。表示部３６０は、撮像部３１０で撮像された映像に照合結果を重畳して表示する。また、照合結果生成部３５０が生成したデータは、通信制御部３９０を介して外部に送信されてもよい。操作部３７０は、映像処理装置２００のキーやタッチパネル（図２の指示ボタンなど）を含み、撮像部３１０などの映像処理装置２００の動作を操作する。
【００２５】
なお、本実施形態の映像処理装置２００は、撮像中の映像に限定されず、再生中の映像や放送中の映像においても適用可能である。その場合には、撮像部３１０を映像再生部や映像受信部に置き換えればよい。
【００２６】
《局所特徴量生成部》
図４Ａは、本実施形態に係る局所特徴量生成部３２０の構成を示すブロック図である。
【００２７】
局所特徴量生成部３２０は、特徴点検出部４１１、局所領域取得部４１２、サブ領域分割部４１３、サブ領域特徴ベクトル生成部４１４、および次元選定部４１５を含んで構成される。
【００２８】
特徴点検出部４１１は、画像データから特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、および角度を出力する。
【００２９】
局所領域取得部４１２は、検出された各特徴点の座標値、スケール、および角度から、特徴量抽出を行う局所領域を取得する。
【００３０】
サブ領域分割部４１３は、局所領域をサブ領域に分割する。例えば、サブ領域分割部４１３は、局所領域を１６ブロック（４×４ブロック）に分割することも、局所領域を２５ブロック（５×５ブロック）に分割することもできる。なお、分割数は限定されない。本実施形態においては、以下、局所領域を２５ブロック（５×５ブロック）に分割する場合を代表して説明する。
【００３１】
サブ領域特徴ベクトル生成部４１４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。
【００３２】
次元選定部４１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元を選定する（例えば、次元の削除や間引きをする）。また、次元選定部４１５は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部４１５は、例えば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部４１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部４１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。
【００３３】
《局所特徴量生成部の処理》
図４Ｂ〜図４Ｆは、本実施形態に係る局所特徴量生成部３２０の処理を示す図である。
【００３４】
まず、図４Ｂは、局所特徴量生成部３２０における、特徴点検出／局所領域取得／サブ領域分割／特徴ベクトル生成の一連の処理を示す図である。かかる一連の処理については、米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110を参照されたい。
【００３５】
（特徴点検出部）
図４Ｂの４２１は、図４Ａの特徴点検出部４１１において、映像中の画像から特徴点を検出した状態を示す図である。以下、１つの特徴点４２１ａを代表させて局所特徴量の生成を説明する。特徴点４２１ａの矢印の起点が特徴点の座標位置を示し、矢印の長さがスケール（大きさ）を示し、矢印の方向が角度を示す。ここで、スケール（大きさ）や方向は、対象映像に従って輝度や彩度、色相などを選択できる。また、図４Ｂの例では、６０度間隔で６方向の場合を説明するが、これに限定されない。
【００３６】
（局所領域取得部）
図４Ａの局所領域取得部４１２は、例えば、特徴点４２１ａの起点を中心にガウス窓４２２ａを生成し、このガウス窓４２２ａを略含む局所領域４２２を生成する。図４Ｂの例では、局所領域取得部４１２は正方形の局所領域４２２を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。
【００３７】
（サブ領域分割部）
次に、サブ領域分割部４１３において、上記特徴点４２１ａの局所領域４２２に含まれる各画素のスケールおよび角度をサブ領域４２３に分割した状態が示されている。なお、図４Ｂでは４×４＝１６画素をサブ領域とする５×５＝２５のサブ領域に分割した例を示す。しかし、サブ領域は、４×４＝１６や他の形状、分割数であってもよい。
【００３８】
（サブ領域特徴ベクトル生成部）
サブ領域特徴ベクトル生成部４１４は、サブ領域内の各画素のスケールを８方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル４２４とする。すなわち、特徴点検出部４１１が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部４１４は、サブ領域ごとに量子化された８方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部４１４は、各特徴点に対して生成される２５サブ領域ブロック×６方向＝１５０次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を８方向に量子化するだけに限らず、４方向、８方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値Ｑq（q＝０，…，Ｄ−１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。
【００３９】
Ｑq＝floor(Ｇ×Ｄ／２π）       …（１）
Ｑq＝round(Ｇ×Ｄ／２π）modＤ  …（２）
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部４１４は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部４１４は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部４１４は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。
【００４０】
（次元選定部）
次に、図４Ｃ〜図４Ｆに従って、局所特徴量生成部３２０における、次元選定部４１５に処理を説明する。
【００４１】
次元選定部４１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部４１５は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、次元選定部４１５は近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。
【００４２】
図４Ｃは、局所領域を５×５ブロックのサブ領域に分割し、勾配方向を６方向４３１ａに量子化して生成された１５０次元の勾配ヒストグラムの特徴ベクトル４３１から次元を選定する場合の一例を示す図である。図４Ｃの例では、１５０次元（５×５＝２５サブ領域ブロック×６方向）の特徴ベクトルから次元の選定が行われている。
【００４３】
（局所領域の次元選定）
図４Ｃは、局所特徴量生成部３２０における、特徴ベクトルの次元数の選定処理の様子を示す図である。
【００４４】
図４Ｃに示すように、次元選定部４１５は、１５０次元の勾配ヒストグラムの特徴ベクトル４３１から半分の７５次元の勾配ヒストグラムの特徴ベクトル４３２を選定する場合に、隣接する左右、上下のサブ領域ブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。
【００４５】
この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、ｑ＝０，２，４の要素を選定するブロックと、ｑ＝１，３，５の要素を選定するサブ領域ブロックとが交互に並んでいる。そして、図４Ｃの例では、隣接するサブ領域ブロックで選定された勾配方向を合わせると、全６方向となっている。
【００４６】
また、次元選定部４１５は、７５次元の勾配ヒストグラムの特徴ベクトル４３２から５０次元の勾配ヒストグラムの特徴ベクトル４３３を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。
【００４７】
また、次元選定部４１５は、５０次元の勾配ヒストグラムの特徴ベクトル４３３から２５次元の勾配ヒストグラムの特徴ベクトル４３４を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、選定される勾配方向が一致しないように次元を選定することができる。図４Ｃに示す例では、次元選定部４１５は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。
【００４８】
このように、隣接するサブ領域ブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図４Ｃに示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図４Ｃに示した次元選定方法は一例であり、この選定方法に限らない。
【００４９】
（局所領域の優先順位）
図４Ｄは、局所特徴量生成部３２０における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。
【００５０】
次元選定部４１５は、単に次元を選定するだけではなく、特徴点の特徴に寄与する次元から順に選定するように、選定の優先順位を決定することができる。すなわち、次元選定部４１５は、例えば、隣接するサブ領域ブロック間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部４１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部４１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。
【００５１】
すなわち、次元選定部４１５は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、例えば図４Ｄの４４１に示すようなサブ領域ブロックの順番で次元を追加するように選定していってもよい。図４Ｄの４４１に示す優先順位を用いる場合、次元選定部４１５は、中心に近いサブ領域ブロックの優先順位を高くして、勾配方向を選定していくことができる。
【００５２】
図４Ｅの４５１は、図４Ｄの選定順位に従って、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｐ（ｐ＝０，１，…，２５）で表し、量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号を６×ｐ＋ｑとしている。
【００５３】
図４Ｆの４６１は、図４Ｅの選定順位による１５０次元の順位が、２５次元単位に階層化されていることを示す図である。すなわち、図４Ｆの４６１は、図４Ｄの４４１に示した優先順位に従って図４Ｅに示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部４１５は、図４Ｆに示す順序で次元要素を出力することができる。具体的には、次元選定部４１５は、例えば１５０次元の局所特徴量を出力する場合、図４Ｆに示す順序で全１５０次元の要素を出力することができる。また、次元選定部４１５は、例えば２５次元の局所特徴量を出力する場合、図４Ｆに示す１行目（７６番目、４５番目、８３番目、…、１２０番目）の要素４７１を図４Ｆに示す順（左から右）に出力することができる。また、次元選定部４１５は、例えば５０次元の局所特徴量を出力する場合、図４Ｆに示す１行目に加えて、図４Ｆに示す２行目の要素４７２を図４Ｆに示す順（左から右）に出力することができる。
【００５４】
ところで、図４Ｆに示す例では、局所特徴量は階層的な構造となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素４７１〜４７６の並びは同一となっている。このように、次元選定部４１５は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部４１５が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。
【００５５】
なお、図４Ｄの４４１から図４Ｆに示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図４Ｄの４４１の例の他に、図４Ｄの４４２や図４Ｄの４４３に示すような順番でもよい。また、例えば、すべてのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。
【００５６】
また、次元選定部４１５は、サブ領域ブロックを１つ飛びに選択して、次元の選定を行ってもよい。すなわち、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定される。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。
【００５７】
また、局所領域やサブ領域の形状は、正方形に限られず、任意の形状とすることができる。例えば、局所領域取得部４１２が、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部４１３は、円状の局所領域を例えば複数の局所領域を有する同心円に９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部４１５は、各サブ領域において、次元を選定することができる。
【００５８】
以上、図４Ｂ〜図４Ｆに示したように、本実施形態の局所特徴量生成部３２０によれば、局所特徴量の情報量を維持しながら生成された特徴ベクトルの次元が階層的に選定される。この処理により、認識精度を維持しながらリアルタイムでの対象物認識と認識結果の表示が可能となる。なお、局所特徴量生成部３２０の構成および処理は本例に限定されない。認識精度を維持しながらリアルタイムでの対象物認識と認識結果の表示が可能となる他の処理が当然に適用できる。
【００５９】
《照合部》
図４Ｇは、本実施形態に係る照合部３４０の処理を示す図である。
【００６０】
図４Ｇは、図２の映像中の建築物を認識する照合例を示す図である。あらかじめ認識対象物（本例では、スカイツリー、○○ビル、××鉄道、△△体育館を含む建物）から本実施形態に従い生成された局所特徴量は、局所特徴量ＤＢ３３０に格納されている。一方、左図の携帯端末としての映像処理装置２００の表示画面２３０中の映像表示領域２３１からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ３３０に格納された局所特徴量のそれぞれが、映像表示領域２３１から生成された局所特徴量中にあるか否かが照合される。
【００６１】
図４Ｇに示すように、照合部３４０は、局所特徴量ＤＢ３３０に格納されている局所特徴量４８１〜４８４と局所特徴量が合致する各特徴点を細線にように関連付ける。なお、照合部３４０は、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、照合部３４０は、関連付けられた特徴点の位置関係が線形関係であれば、認識対象物であると認識する。このような対応する特徴点の集合による認識を行なえば、サイズの大小や向きの違い（視点の違い）、あるいは反転などによっても認識が可能である。また、所定数以上の関連付けられた特徴点があれば認識精度が得られるので、一部が視界から隠れていても認識対象物の認識が可能である。ここで、認識のための局所特徴量の合致条件や特徴点数の条件は、同じであってもよいし、認識対象が異なる場合は異なる条件を設定してもよい。
【００６２】
なお、本実施形態の照合部３４０の照合処理では、特徴点座標と局所特徴量とに基づいて照合が行なわれるが、合致する認識対象物から生成された局所特徴量と映像中の画像から生成された局所特徴量との配列順序の線形関係のみによっても、認識が可能である。一方、本実施形態では、２次元画像によって説明されているが、３次元の特徴点座標を使用しても、同様の処理が可能である。
【００６３】
（局所特徴量生成データ）
図５は、本実施形態に係る局所特徴量生成データ５００の構成を示す図である。これらのデータは、図７のＲＡＭ７４０に記憶保持される。
【００６４】
局所特徴量生成データ５００には、入力画像ＩＤ５０１に対応付けて、複数の検出された検出特徴点５０２，特徴点座標５０３および特徴点に対応する局所領域情報５０４が記憶される。そして、各検出特徴点５０２，特徴点座標５０３および局所領域情報５０４に対応付けて、複数のサブ領域ＩＤ５０５，サブ領域情報５０６，各サブ領域に対応する特徴ベクトル５０７および優先順位を含む選定次元５０８が記憶される。
【００６５】
以上のデータから各検出特徴点５０２に対して生成された局所特徴量５０９が記憶される。
【００６６】
（局所特徴量ＤＢ）
図６は、本実施形態に係る局所特徴量ＤＢ３３０の構成を示す図である。
【００６７】
局所特徴量ＤＢ３３０において、それぞれの認識対象物の局所特徴量は、認識対象物の認識に適切な、異なる特徴点数および／または異なる特徴ベクトルの次元数で格納されている。
【００６８】
例えば、局所特徴量ＤＢ３３１は、他の認識対象物との相関が低いので特徴点数２５／次元数２５により局所特徴量が格納されている。また、局所特徴量ＤＢ３３２は、他の認識対象物との相関が少しあるので特徴点数５０／次元数２５により局所特徴量が格納されている。また、局所特徴量ＤＢ３３３は、他の認識対象物との相関があるで特徴点数１００／次元数５０により局所特徴量が格納されている。また、局所特徴量ＤＢ３３４は、他の認識対象物との相関が高いので特徴点数１５０／次元数５０により局所特徴量が格納されている。
【００６９】
各局所特徴量ＤＢ３３１〜３３４には、認識対象物ＩＤと認識対象物名に対応付けて、第１番局所特徴量から第ｍ番局所特徴量を記憶する。なお、ｍは正の整数であり、認識対象物に対応して異なる数でよい。また、本実施形態においては、それぞれの局所特徴量と共に照合処理に使用される特徴点座標が記憶される。
【００７０】
《映像処理装置のハードウェア構成》
図７は、本実施形態に係る映像処理装置２００のハードウェア構成を示すブロック図である。
【００７１】
図７で、ＣＰＵ７１０は演算制御用のプロセッサであり、プログラムを実行することで携帯端末である映像処理装置２００の各機能構成部を実現する。ＲＯＭ７２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部３９０は通信制御部であり、本実施形態においては、ネットワークを介して他の装置と通信する。なお、ＣＰＵ７１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。
【００７２】
ＲＡＭ７４０は、ＣＰＵ７１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ７４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力映像７４１は、撮像部３１０が撮像して入力された入力映像を記憶する領域である。特徴点データ７４２は、入力映像７４１から検出した特徴点座標、スケール、角度を含む特徴点データを記憶する領域である。局所特徴量生成テーブル５００は、図５で示した局所特徴量生成テーブルを記憶する領域である。照合結果７４３は、入力映像から生成された局所特徴量と局所特徴量ＤＢ３３０に格納された局所特徴量との照合から認識された、複数の認識対象物を含む照合結果を記憶する領域である。照合結果表示データ７４４は、照合結果７４３をユーザに報知するための照合結果表示データを記憶する領域である。なお、音声出力をする場合には、照合結果音声データが含まれてもよい。入力映像／照合結果重畳データ７４５は、入力映像７４１に照合結果７４３を重畳した表示部３６０に表示される入力映像／照合結果重畳データを記憶する領域である。入出力データ７４６は、入出力インタフェース７６０を介して入出力される入出力データを記憶する領域である。送受信データ７４７は、通信制御部３９０を介して送受信される送受信データを記憶する領域である。
【００７３】
ストレージ７５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量ＤＢ３３０は、図６に示した局所特徴量ＤＢが格納される領域である。照合結果表示フォーマット７５１は、照合結果を表示するフォーマットを生成するために使用される照合結果表示フォーマットが格納される領域である。
【００７４】
ストレージ７５０には、以下のプログラムが格納される。携帯端末制御プログラム７５２は、本映像処理装置２００の全体を制御する携帯端末制御プログラムが格納される領域である。局所特徴量生成モジュール７５３は、携帯端末制御プログラム７５２において、入力映像から図４Ｂ〜図４Ｆに従って局所特徴量を生成する局所特徴量生成モジュールが格納される領域である。照合制御モジュール７５４は、携帯端末制御プログラム７５２において、入力映像から生成された局所特徴量と局所特徴量ＤＢ３３０に格納された局所特徴量とを照合する照合制御モジュールが格納される領域である。照合結果報知モジュール７５５は、照合結果を表示または音声によりユーザに報知するための照合結果報知モジュールが格納される領域である。
【００７５】
入出力インタフェース７６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース７６０には、表示部３６０、操作部３７０であるタッチパネルやキーボード、スピーカ７６４、マイク７６５、撮像部３１０が接続される。入出力機器は上記例に限定されない。また、ＧＰＳ(Global Positioning System)位置生成部７６６は、ＧＰＳ衛星からの信号に基づいて現在位置を取得する。
【００７６】
なお、図７には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。
【００７７】
《映像処理装置の処理手順》
図８は、本実施形態に係る映像処理装置２００の処理手順を示すフローチャートである。このフローチャートは、図７のＣＰＵ７１０によってＲＡＭ７４０を用いて実行され、図３の各機能構成部を実現する。
【００７８】
まず、ステップＳ８１１において、対象物認識を行なうための映像入力があったか否かを判定する。また、携帯端末の機能として、ステップＳ８２１においては受信を判定し、ステップＳ８３１においては送信を判定する。いずれでもなければ、ステップＳ８４１において他の処理を行なう。
【００７９】
映像入力があればステップＳ８１３に進んで、入力映像から局所特徴量生成処理を実行する（図９Ａ参照）。次に、ステップＳ８１５において、照合処理を実行する（図９Ｂ参照）。ステップＳ８１７においては、照合処理の結果を入力映像に重畳して映像／照合結果重畳表示処理を実行する。ステップＳ８１９において、対象物認識を行なう処理を終了するかを判定する。終了は、例えば図２の指示ボタン表示領域２１２にあるリセットボタンで行なわれる。終了でなければステップＳ８１３に戻って、映像入力の対象物認識を繰り返す。
【００８０】
受信であり、局所特徴量ＤＢ用のデータをダウンロードする場合は、ステップＳ８２３において局所特徴量ＤＢ用データを受信して、ステップＳ８２５において局所特徴量ＤＢに記憶する。一方、その他の携帯端末としてのデータ受信であれば、ステップＳ８２７において受信処理を行なう。また、送信であり、局所特徴量ＤＢ用のデータをアップロードする場合は、ステップＳ８３３において入力映像から生成した局所特徴量を局所特徴量ＤＢ用データとして送信する。一方、その他の携帯端末としてのデータ送信であれば、ステップＳ８３５において送信処理を行なう。携帯端末としてのデータ送受信処理については、本実施形態の特徴ではないので詳細な説明は省略する。
【００８１】
（局所特徴量生成処理）
図９Ａは、本実施形態に係る局所特徴量生成処理Ｓ８１３の処理手順を示すフローチャートである。
【００８２】
まず、ステップＳ９１１において、入力映像から特徴点の位置座標、スケール、角度を検出する。ステップＳ９１３において、ステップＳ９１１で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ９１５において、局所領域をサブ領域に分割する。ステップＳ９１７においては、各サブ領域の特徴ベクトルを生成して局所領域の特徴ベクトルを生成する。ステップＳ９１１からＳ９１７の処理は図４Ｂに図示されている。
【００８３】
次に、ステップＳ９１９において、ステップＳ９１７において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図４Ｄ〜図４Ｆに図示されている。
【００８４】
ステップＳ９２１においては、ステップＳ９１１で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ９１３に戻って、次の１つの特徴点について処理を繰り返す。
【００８５】
（照合処理）
図９Ｂは、本実施形態に係る照合処理Ｓ８１５の処理手順を示すフローチャートである。
【００８６】
まず、ステップＳ９３１において、初期化として、パラメータｐ＝１，ｑ＝０を設定する。次に、ステップＳ９３３において、ステップＳ８１３において生成した局所特徴量の次元数ｊを取得する。
【００８７】
ステップＳ９３５〜Ｓ９４５のループにおいて、ｐ＞ｍ（ｍ＝認識対象物の特徴点数）となるまで各局所特徴量の照合を繰り返す。まず、ステップＳ９３５において、局所特徴量ＤＢ３３０に格納された認識対象物の第ｐ番局所特徴量の次元数ｊのデータを取得する。すなわち、最初の１次元からｊ次元を取得する。次に、ステップＳ９３７において、ステップＳ９３５において取得した第ｐ番局所特徴量と入力映像から生成した全特徴点の局所特徴量を順に照合して、類似か否かを判定する。ステップＳ９３９においては、局所特徴量間の照合の結果から類似度が閾値αを超えるか否かを判断し、超える場合はステップＳ９４１において、局所特徴量と、入力映像と認識対象物とにおける合致した特徴点の位置関係との組みを記憶する。そして、合致した特徴点数のパラメータであるｑを１つカウントアップする。ステップＳ９４３においては、認識対象物の特徴点を次の特徴点に進め（ｐ←ｐ＋１）、認識対象物の全特徴点の照合が終わってない場合には（ｐ≦ｍ）、ステップＳ９３５に戻って合致する局所特徴量の照合を繰り返す。なお、閾値αは、認識対象物によって求められる認識精度に対応して変更可能である。ここで、他の認識対象物との相関が低い認識対象物であれば認識精度を低くしても、正確な認識が可能である。
【００８８】
認識対象物の全特徴点との照合が終了すると、ステップＳ９４５からＳ９４７に進んで、ステップＳ９４７〜Ｓ９５３において、認識対象物が入力映像に存在するか否かが判定される。まず、ステップＳ９４７において、認識対象物の特徴点数ｐの内で入力映像の特徴点の局所特徴量と合致した特徴点数ｑの割合が、閾値βを超えたか否かを判定する。超えていればステップＳ９４９に進んで、認識対象物候補として、さらに、入力映像の特徴点と認識対象物の特徴点との位置関係が、線形変換が可能な関係であるか否かを判定する。すなわち、ステップＳ９４１において局所特徴量が合致したとして記憶した、入力映像の特徴点と認識対象物の特徴点との位置関係が、回転や反転、視点の位置変更などの変化によっても可能な位置関係なのか、不可能な位置関係なのかを判定する。かかる判定方法は幾何学的に既知であるので、詳細な説明は省略する。ステップＳ９５１において、整形変換可能か否かの判定結果により、線形変換可能であればステップＳ９５３に進んで、照合した認識対象物が入力映像に存在すると判定する。なお、閾値βは、認識対象物によって求められる認識精度に対応して変更可能である。ここで、他の認識対象物との相関が低い、あるいは一部分からでも特徴が判断可能な認識対象物であれば合致した特徴点が少なくても、正確な認識が可能である。すなわち、一部分が隠れて見えなくても、あるいは特徴的な一部分が見えてさえいれば、対象物の認識が可能である。
【００８９】
ステップＳ９５５においては、局所特徴量ＤＢ３３０に未照合の認識対象物が残っているか否かを判定する。まだ認識対象物が残っていれば、ステップＳ９５７において次の認識対象物を設定して、パラメータｐ＝１，ｑ＝０に初期化し、ステップＳ９３５に戻って照合を繰り返す。
【００９０】
なお、かかる照合処理の説明からも明らかなように、あらゆる分野の認識対象物を局所特徴量ＤＢ３３０に記憶して、全認識対象物を携帯端末で照合する処理は、負荷が非常に大きくなる。したがって、例えば、入力映像からの対象物認識の前にユーザが対象物の分野をメニューから選択して、その分野を局所特徴量ＤＢ３３０から検索して照合することが考えられる。また、局所特徴量ＤＢ３３０にユーザが使用する分野（例えば、図２の例であれば建築物など）の局所特徴量のみをダウンロードすることによっても、負荷を軽減できる。
【００９１】
［第３実施形態］
次に、本発明の第３実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態と比べると、映像中から認識した複数の認識対象物を組み合わせることによって、映像全体が何を表わすかを認識する点で異なる。例えば、複数の建築物の認識から現在地や行き先を認識する。あるいは、複数の部品の認識から製品を認識する。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については説明を省略する。
【００９２】
本実施形態によれば、ユーザが映像を視聴中、その映像全体が表わす認識対象物についての認識結果を、認識精度を維持しながら映像上でリアルタイムにユーザに知らせることができる。
【００９３】
《本実施形態に係る映像処理》
図１０は、本実施形態に係る映像処理装置１０００による映像処理を説明する図である。
【００９４】
まず、図１０の上段は、観光客などユーザが、視界内の搭やビルなどの建築物を知りたい場合や、行き先や自分の現在地を知りたい場合に、携帯端末で認識対象物を含む映像を撮像した例を示すものである。
【００９５】
携帯端末としての映像処理装置１０００の表示画面１０１０には、図１０上段の左図に示すように、撮像中の映像表示領域１０１１とタッチパネルの指示ボタン表示領域１０１２とが表示されている。なお、映像表示領域１０１１に表示されている建築物は、撮像中の映像がそのまま表示されたものであり、静止画（写真）ではない。
【００９６】
本実施形態においては、その表示映像に対してリアルタイムの認識処理が行なわれ、図１０上段の中央の表示画面１０２０の映像表示領域１０２１には、それぞれの建築物の名前１０２２が表示される。
【００９７】
さらに、本実施形態においては、認識された複数の建築物の映像内の配置や距離、角度などから、映像処理装置１０００で撮像しているユーザの現在地を認識して、図１０上段の右の表示画面１０３０の映像表示領域１０３１には、現在地周囲の地図上の現在地マーク１０３３と現在地の住所１０３２とがリアルタイムに表示されている。あるいは、スピーカから音声出力されてもよい。ユーザは、かかる映像表示領域１０３１から、例えば、観光案内などが無くても、目的地や自分の現在地を知ることができる。
【００９８】
図１０の下段は、製品を撮像すると、映像中の各部品を認識すると共に、それら複数部品を有する製品を認識して表示する例を示したものである。
【００９９】
携帯端末としての映像処理装置１０００の表示画面１０４０には、図１０下段の左図に示すように、撮像中の映像表示領域１０４１とタッチパネルの指示ボタン表示領域１０４２とが表示されている。なお、映像表示領域１０４１に表示されている製品は、撮像中の映像がそのまま表示されたものであり、静止画（写真）ではない。
【０１００】
本実施形態においては、その表示映像に対してリアルタイムの認識処理が行なわれ、図１０下段の中央の表示画面１０５０の映像表示領域１０５１には、それぞれの部品の名前１０５２が表示される。
【０１０１】
さらに、本実施形態においては、認識された複数の部品の映像内の配置や距離、角度などから、映像処理装置１０００で撮像している製品を認識して、図１０下段の右の表示画面１０６０の映像表示領域１０６１には、製品名１０６２がリアルタイムに表示されている。あるいは、スピーカから音声出力されてもよい。かかる映像表示領域１０６１から、例えば、製品を知ることができる。
【０１０２】
なお、認識対象は上記例に限定されない。全体映像を認識対象物の配置から認識できるものであれば、いずれにも適用できる。
【０１０３】
《映像処理装置の機能構成》
図１１は、本実施形態に係る映像処理装置１０００の機能構成を示すブロック図である。なお、映像処理装置１０００の機能構成は、第２実施形態の映像処理装置２００に関連情報を表示する構成が追加された構成であるので、同じ構成要素には同じ参照番号を付し、説明は省略する。
【０１０４】
映像処理装置１０００は、照合部３４０による映像中の複数の照合結果を保持する複数照合結果保持部１１１０を有する（図１２参照）。また、複数の照合結果の組み合わせから、映像を認識するための組み合わせ識別ＤＢ１１２０を有する（図１３参照）。
【０１０５】
なお、音声出力があればスピーカから出力される。また、組み合わせ識別ＤＢ１１２０に格納される組み合わせ情報は、通信制御部３９０（図１１には不図示）を介してダウンロードされる構成であってもよい。
【０１０６】
（複数照合結果保持部）
図１２は、本実施形態に係る複数照合結果保持部１１１０の構成を示す図である。
【０１０７】
複数照合結果保持部１１１０は、照合結果の認識対象物ＩＤ１２０１および認識対象物名１２０２に対応付けて、映像中の位置１２０３、向き（角度）１２０４、サイズ（距離）１２０５を記憶する。
【０１０８】
（組み合わせ識別ＤＢ１１２０）
図１３は、本実施形態に係る組み合わせ識別ＤＢ１１２０の構成を示す図である。
【０１０９】
組み合わせ識別ＤＢ１１２０には、２つの種類がある。１つは組み合わせ識別ＤＢ１３１０であり、複数の認識対象物の位置関係が分からなくても、映像が認識可能なものが格納される。組み合わせ識別ＤＢ１３１０は、複数の認識対象物１３１１の組み合わせに対応付けて、照合映像ＩＤ１３１２と照合映像名１３１３とが記憶される。
【０１１０】
もう１つは組み合わせ識別ＤＢ１３２０であり、複数の認識対象物の位置関係を考慮して、映像を認識するものが格納される。組み合わせ識別ＤＢ１３２０は、複数の認識対象物と位置１３２１の組み合わせに対応付けて、照合映像ＩＤ１３２２と照合映像名１３２３とが記憶される。
【０１１１】
《映像処理装置のハードウェア構成》
図１４は、本実施形態に係る映像処理装置１０００のハードウェア構成を示すブロック図である。なお、映像処理装置１０００の構成の、第２実施形態の図７の構成との相違点は、複数の認識対象物の組み合わせ照合の構成である。他の構成は同様であるので、図７と同じ参照番号を付し説明は省略する。
【０１１２】
ＲＡＭ１４４０の１１１０には、図１２に示した複数照合結果が保持される。また、組み合わせ照合結果１４４１は、組み合わせ照合結果を記憶する領域である。そして、ストレージ１４５０の組み合わせ識別ＤＢ１１２０は、図１３に示した組み合わせ識別ＤＢが格納される猟奇である。組み合わせ識別ＤＢ１４５２は、本実施形態の携帯端末制御プログラムか格納される領域である（図１５参照）。映像照合制御モジュール１４５６は、携帯端末制御プログラム１４５２において、複数の認識対象物から映像照合を行なう映像照合制御モジュールが格納される領域である（図１６参照）。
【０１１３】
《映像処理装置の処理手順》
図１５は、本実施形態に係る映像処理装置１０００の処理手順を示すフローチャートである。このフローチャートは、図１４のＣＰＵ７１０によってＲＡＭ７４０を用いて実行され、図１１の各機能構成部を実現する。
【０１１４】
なお、図１５において、第２実施形態の図８との相違は、複数認識対象物による映像照合処理の追加である。他の処理は図８と同様であるので、同じステップには同じステップ番号を付し、説明は省略する。
【０１１５】
ステップＳ８１５における照合処理の後に、ステップＳ１５０１において、複数認識対象物による映像照合処理が行なわれる（図１６参照）。
【０１１６】
（映像照合処理）
図１６は、本実施形態に係る映像照合処理Ｓ１５０１の処理手順を示すフローチャートである。
【０１１７】
まず、ステップＳ１６０１において、映像中から認識した複数の認識対象物（また位置）を取得する。そして、ステップＳ１６０３において、組み合わせ識別ＤＢ１１２０を参照して、複数の認識対象物（位置）の組み合わせから映像の照合を行なう。
【０１１８】
ステップＳ１６０５において、照合する映像があるか否かを判定する。照合映像があればステップＳ１６０７に進んで、照合映像に関連する情報を取得してリターンする。
［第４実施形態］
次に、本発明の第４実施形態に係る映像処理システムについて説明する。本実施形態に係る映像処理システムは、上記第２実施形態および第３実施形態と比べると、携帯端末は、映像の局所特徴量を生成してサーバに送信し、サーバによって認識された認識対象物や映像全体の認識結果を受信する点で異なる。本実施形態の携帯端末とサーバ間の通信において、本実施形態の局所特徴量生成における容量削減がリアルタイム処理に有効となる。
【０１１９】
本実施形態によれば、携帯端末の負荷を軽減して、ユーザが映像を視聴中、その映像内の認識対象物および映像についての認識結果あるいはさらにリンク情報を、認識精度を維持しながら映像上でリアルタイムにユーザに知らせることができる。
【０１２０】
《本実施形態に係る映像処理》
図１７は、本実施形態に係る映像処理システム１７００による映像処理を説明する図である。
【０１２１】
映像処理システム１７００は、第２実施形態および第３実施形態において示した携帯端末である映像処理装置のように、映像入力と局所特徴量生成処理と照合処理とを自己完結的に行なわない。すなわち、携帯端末である映像処理装置１７１０は映像入力と局所特徴量生成処理とを行ない、ネットワーク１７７０で接続された照合サーバである映像処理装置１７２０が照合などの負荷の大きな処理を行なう。かかる処理においては、ネットワーク１７７０上を転送する局所特徴量の容量の大小が照合速度や通信のトラフィックに影響する。本実施形態の図４Ａ〜図４Ｆに従って生成した精度を保った局所特徴量の容量削減により、入力映像内の対象物認識や映像認識と認識結果の入力映像への重畳表示がリアルタイムに可能となる。なお、本実施形態においては、さらに、符号化処理により、入力映像内の対象物認識と認識結果の入力映像への重畳表示がより高速に可能とする。
【０１２２】
図１７の映像処理システム１７００は、端末装置である映像処理装置１７１０と、映像処理装置１７１０とネットワーク１７７０を介して接続する照合サーバである映像処理装置１７２０とを有する。また、ネットワーク１７７０には、サービス情報を保持してリンク情報によりユーザに提供するサービス提供サーバ１７３０も接続されている。
【０１２３】
照合サーバである映像処理装置１７２０は、認識対象物の照合処理に使用する局所特徴量ＤＢ１７２１と、映像の照合処理に使用する組み合わせ識別ＤＢ１７２２と、リンク情報の提供に使用するリンク情報ＤＢ１７２３とを有する。
【０１２４】
図１７には、端末装置である映像処理装置１７１０の１つの処理例が示されている。図１０にも示した、製品を撮像すると、映像中の各部品を認識すると共に、それら複数部品を有する製品を認識して表示する例を示したものである。
【０１２５】
携帯端末としての映像処理装置１７１０の表示画面１７４０には、左図に示すように、撮像中の映像表示領域１７４１とタッチパネルの指示ボタン表示領域１７４２とが表示されている。なお、映像表示領域１７４１に表示されている製品は、撮像中の映像をそのまま表示したものであり、静止画（写真）ではない。
【０１２６】
本実施形態においては、その表示映像に対してリアルタイムの認識処理が行なわれ、中央の表示画面１７５０の映像表示領域１７５１には、それぞれの部品の名前１７５２が表示される。
【０１２７】
さらに、本実施形態においては、認識された複数の部品の映像内の配置や距離、角度などから、映像処理装置１７１０で撮像している製品を認識して、右の表示画面１７６０の映像表示領域１７６１には、製品名１７６２およびその関連情報へのリンク情報１７６３がリアルタイムに表示されている。あるいは、スピーカから音声出力されてもよい。かかる映像表示領域１７６１から、例えば、製品の情報を知ることができる。
【０１２８】
《映像処理システムの映像処理手順》
図１８は、本実施形態に係る映像処理システム１７００の映像処理手順を示すシーケンス図である。なお、ステップＳ１８００において、必要であれば、照合サーバから本実施形態に係るアプリケーションをダウンロードする。
【０１２９】
まず、ステップＳ１８０１においては、携帯端末および照合サーバのアプリケーションを起動し、初期化する。携帯端末は、ステップＳ１８０３において、撮像部３１０により映像を撮影する。携帯端末は次にステップＳ１８０５において、局所特徴量を生成する。そして、携帯端末は、ステップＳ１８０７において、生成した局所特徴量と特徴点の位置座標を符号化して、ステップＳ１８０９において、ネットワークを介して照合サーバに送信する。
【０１３０】
照合サーバでは、ステップＳ１８１１において、局所特徴量ＤＢ１７２１の認識対象物の局所特徴量と受信した局所特徴量との照合により、映像中の対象物を認識する。ステップＳ１８１３においては、複数の認識対象物の照合が終了するまで照合処理を繰り返す。次に、ステップＳ１８１５において、組み合わせ識別ＤＢ１７２２を参照して照合結果の複数の認識対象物による映像照合を行なう。そして、照合サーバは、ステップＳ１８１７において、リンク情報ＤＢ１７２３を参照して、認識対象物に対応するリンク情報を取得する。そして、ステップＳ１８１９において、絵認識対象物と映像の照合結果とリンク情報とを携帯端末に返信する。
【０１３１】
携帯端末は、ステップＳ１８２１において、入力映像に受信した認識対象物とリンク情報とを重畳して表示する（図１７の製品名１７６２やリンク情報１７６３に相当）。ステップＳ１８２３においてリンク先が指示されればステップＳ１８２５に進んで、図１７のサービス提供サーバ１７３０などのリンク先サーバに、照合映像ＩＤに基づいてアクセスを行なう。
【０１３２】
サービス提供サーバは、ステップＳ１８２７において、関連情報ＤＢから照合映像の関連情報（文書や音、または画像）を読み出す。そして、ステップＳ１８２９において、照合映像の関連情報を携帯端末にダウンロードする。携帯端末では、受信した照合映像の関連情報を入力映像に重畳表示したり、音声再生したりして、ユーザに入力映像の対象物を報知する。
【０１３３】
本実施形態においては、かかる一連の処理がリアルタイムで実現され、ユーザは入力映像に認識対象物名および照合映像名や関連情報の表示を見ることができる。
【０１３４】
《携帯端末用の映像処理装置の機能構成》
図１９Ａは、本実施形態に係る携帯端末用の映像処理装置１７１０の機能構成を示すブロック図である。なお、映像処理装置１７１０の機能構成は、第２実施形態の映像処理装置２００から照合処理に関連する構成を無くし、代わりに、局所特徴量の送信構成と照合結果の受信構成を追加した構成であるので、図３と同じ構成要素には同じ参照番号を付し、説明は省略する。
【０１３５】
映像処理装置１７１０は、通信制御部３９０を介して局所特徴量生成部３２０で生成した局所特徴量および特徴点座標を送信するために、それらを符号化する符号化部１９３０を有する（図１９Ｂ参照）。
【０１３６】
一方、通信制御部３９０を介して照合結果／リンク情報受信部１９５０で受信したデータから、照合サーバにおいて認識した認識対象物名や照合映像などやリンク情報を取得する。取得されたデータを入力映像に重畳した表示画面を生成して、表示部３６０に表示する。また、音声データがある場合には、スピーカから出力される。
【０１３７】
（符号化部）
図１９Ｂは、本実施形態に係る符号化部１９３０を示すブロック図である。なお、符号化部は本例に限定されず、他の符号化処理も適用可能である。
【０１３８】
符号化部１９３０は、局所特徴量生成部３２０の特徴点検出部４１１から特徴点の座標を入力して、座標値を操作する座標値走査部１９３１を有する。座標値走査部１９３１は、画像をある特定の走査方法に従って走査し、特徴点の２次元座標値（Ｘ座標値とＹ座標値）を１次元のインデックス値に変換する。このインデックス値は、走査に従った原点からの走査距離である。なお、走査方向については、制限はない。
【０１３９】
また、特徴点のインデックス値をソートし、ソート後の順列の情報を出力するソート部１９３２を有する。ここでソート部１９３２は、例えば昇順にソートする。また降順にソートしてもよい。
【０１４０】
また、ソートされたインデックス値における、隣接する２つのインデックス値の差分値を算出し、差分値の系列を出力する差分算出部１９３３を有する。
【０１４１】
そして、差分値の系列を系列順に符号化する差分符号化部１９３４を有する。差分値の系列の符号化は、例えば固定ビット長の符号化でもよい。固定ビット長で符号化する場合、そのビット長はあらかじめ規定されていてもよいが、これでは考えられうる差分値の最大値を表現するのに必要なビット数を要するため、符号化サイズは小さくならない。そこで、差分符号化部１９３４は、固定ビット長で符号化する場合、入力された差分値の系列に基づいてビット長を決定することができる。具体的には、例えば、差分符号化部１９３４は、入力された差分値の系列から差分値の最大値を求め、その最大値を表現するのに必要なビット数（表現ビット数）を求め、求められた表現ビット数で差分値の系列を符号化することができる。
【０１４２】
一方、ソートされた特徴点のインデックス値と同じ順列で、対応する特徴点の局所特徴量を符号化する局所特徴量符号化部１９３５を有する。ソートされたインデックス値と同じ順列で符号化することで、差分符号化部１９３４で符号化された座標値と、それに対応する局所特徴量とを１対１で対応付けることが可能となる。局所特徴量符号化部１９３５は、本実施形態においては、１つの特徴点に対する１５０次元の局所特徴量から次元選定された局所特徴量を、例えば１次元を１バイトで符号化し、次元数のバイトで符号化することができる。
【０１４３】
《サーバ用の映像処理装置の機能構成》
図２０は、本実施形態に係るサーバ用の映像処理装置１７２０の機能構成を示すブロック図である。
【０１４４】
サーバ用の映像処理装置１７２０は、通信制御部２０１０を有する。復号部２０２０は、通信制御部２０１０を介して携帯端末から受信した、符号化された局所特徴量および特徴点座標を復号する。そして、照合部２０３０において、局所特徴量ＤＢ１７２１の認識対象物の局所特徴量と照合する。複数照合結果保持部２０４０は、照合部２０３０の照合結果の複数の認識対象物を映像中の位置などと共に保持する。映像照合部２０５０は、組み合わせ識別ＤＢ１７２２を参照して、複数の認識対象物から映像を照合する。リンク情報所得部２０６０は、照合結果の映像と対応してリンク情報ＤＢ１７２３から取得されたリンク情報を取得する。これら照合部２０３０の認識対象物と、映像照合部２０５０の照合映像と、リンク情報取得部２０６０のリンク情報とから、送信データ生成部２０７０において、送信データが生成される。送信データは、送信部２０８０から通信制御部２０１０を介して携帯端末に返信される。
【０１４５】
（リンク情報ＤＢ）
図２１は、本実施形態に係るリンク情報ＤＢ１７２３の構成を示す図である。
【０１４６】
リンク情報記憶部であるリンク情報ＤＢ１７２３は、照合映像ＩＤ２１０１に対応付けて、リンク先アドレス２１０２とリンク先表示画像２１０３とからなるリンク情報が記憶される。なお、かかるリンク情報ＤＢ１７２３は、組み合わせ識別ＤＢ１７２２や局所特徴量ＤＢ１７２１と一体に準備されてもよい。
【０１４７】
《携帯端末用の映像処理装置のハードウェア構成》
図２２は、本実施形態に係る携帯端末用の映像処理装置１７１０のハードウェア構成を示すブロック図である。なお、携帯端末用の映像処理装置１７１０のハードウェア構成は、第２実施形態の映像処理装置２００から照合処理に関連する構成を無くし、代わりに、局所特徴量の送信構成と照合結果の受信構成を追加した構成であるので、図７と同じ構成要素には同じ参照番号を付し、説明は省略する。
【０１４８】
ＲＡＭ２２４０は、ＣＰＵ７１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２２４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。組み合わせ照合結果２２４１は、照合サーバから受信した組み合わせ照合結果を記憶する領域である。リンク情報２２４２は、照合サーバから受信したリンク情報を記憶する領域である。入力映像／照合結果／リンク情報重畳データ２２４５は、入力映像／照合結果／リンク情報を重畳した入力映像／照合結果／リンク情報重畳データを記憶する領域である。
【０１４９】
ストレージ２２５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。表示フォーマット２２５１は、認識対象物や映像の照合結果／リンク情報を表示するフォーマットを生成するために使用される表示フォーマットが格納される領域である。ストレージ２２５０には、以下のプログラムが格納される。携帯端末制御プログラム２２５２は、本映像処理装置１７１０の全体を制御する携帯端末制御プログラムが格納される領域である。局所特徴量送信モジュール２２５３は、携帯端末制御プログラム２２５２において、生成された局所特徴量および特徴点座標を符号化して照合サーバに送信する局所特徴量送信モジュールが格納される領域である。照合結果受信モジュール２２５４には、照合結果／リンク情報を受信して表示または音声によりユーザに報知するための照合結果受信モジュールが格納される領域である。リンク先アクセスモジュール２２５５は、表示されたリンク情報を指示された場合に、リンク先をアクセスして関連情報をダウンロードするための、リンク先アクセスモジュールが格納される領域である。
【０１５０】
なお、図２２には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。
【０１５１】
《携帯端末用の映像処理装置の処理手順》
図２３は、本実施形態に係る携帯端末用の映像処理装置１６２０の処理手順を示すフローチャートである。このフローチャートは、図２２のＣＰＵ７１０によってＲＡＭ２２４０を用いて実行され、図１９Ａの各機能構成部を実現する。
【０１５２】
まず、ステップＳ２３１１において、対象物認識を行なうための映像入力があったか否かを判定する。また、携帯端末の機能として、ステップＳ２３２１においては受信を判定する。いずれでもなければ、ステップＳ２３３１においてその他の処理を行なう。なお、通常の送信処理については説明を省略する。
【０１５３】
映像入力があればステップＳ２３１３に進んで、入力映像から局所特徴量生成処理を実行する（図９Ａ参照）。次に、ステップＳ２３１５において、局所特徴量および特徴点座標を符号化する（図２４Ａおよび図２４Ｂ参照）。ステップＳ２３１７においては、符号化されたデータを照合サーバに送信する。
【０１５４】
データ受信の場合はステップＳ２３２３に進んで、照合サーバからの認識結果の受信か／リンク先サーバからの関連情報の受信かを判定する。認識結果であればステップＳ２３２５に進んで、受信した認識結果とリンク先情報を入力映像に重畳して表示する。一方、関連情報であればステップＳ２３２７に進んで、リンク先サーバからの関連情報を表示あるいは音声出力する。
【０１５５】
（符号化処理）
図２４Ａは、本実施形態に係る符号化処理Ｓ２３１５の処理手順を示すフローチャートである。
【０１５６】
まず、ステップＳ２４１１において、特徴点の座標値を所望の順序で走査する。次に、ステップＳ２４１３において、走査した座標値をソートする。ステップＳ２４１５において、ソートした順に座標値の差分値を算出する。ステップＳ２４１７においては、差分値を符号化する（図２４Ｂ参照）。そして、ステップＳ２４１９において、座標値のソート順に局所特徴量を符号化する。なお、差分値の符号化と局所特徴量の符号化とは並列に行なってもよい。
【０１５７】
（差分値の符号化処理）
図２４Ｂは、本実施形態に係る差分値の符号化処理Ｓ２４１７の処理手順を示すフローチャートである。
【０１５８】
まず、ステップＳ２４２１において、差分値が符号化可能な値域内であるか否かを判定する。符号化可能な値域内であればステップＳ２４２７に進んで、差分値を符号化する。そして、ステップＳ２４２９へ移行する。符号化可能な値域内でない場合（値域外）はステップＳ２４２３に進んで、エスケープコードを符号化する。そしてステップＳ２４２５において、ステップＳ２４２７の符号化とは異なる符号化方法で差分値を符号化する。そして、ステップＳ２４２９へ移行する。ステップＳ２４２９では、処理された差分値が差分値の系列の最後の要素であるかを判定する。最後である場合は、処理が終了する。最後でない場合は、再度ステップＳ２４２１に戻って、差分値の系列の次の差分値に対する処理が実行される。
【０１５９】
《サーバ用の映像処理装置のハードウェア構成》
図２５は、本実施形態に係るサーバ用の映像処理装置１７２０のハードウェア構成を示すブロック図である。
【０１６０】
図２５で、ＣＰＵ２５１０は演算制御用のプロセッサであり、プログラムを実行することで照合サーバである映像処理装置１６２０の各機能構成部を実現する。ＲＯＭ２５２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部２０１０は通信制御部であり、本実施形態においては、ネットワークを介して他の装置と通信する。なお、ＣＰＵ２５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。
【０１６１】
ＲＡＭ２５４０は、ＣＰＵ２５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。受信した局所特徴量２５４１は、携帯端末から受信した特徴点座標を含む局所特徴量を記憶する領域である。読出した局所特徴量２５４２は、局所特徴量ＤＢ１７２１から読み出した特徴点座標を含むと局所特徴量を記憶する領域である。複数の認識対象物照合結果２５４３は、受信した局所特徴量と局所特徴量ＤＢ３３０に格納された局所特徴量との照合から認識された、複数の認識対象物照合結果を記憶する領域である。映像認識結果２５４４は、組み合わせ識別ＤＢ１７２２を参照して、複数の認識対象物の組み合わせから映像認識した映像認識結果を記憶する領域である。リンク情報２５４５は、認識対象物に対応してリンク情報ＤＢ１７２３から検索されたリンク情報を記憶する領域である。送受信データ２５４６は、通信制御部２０１０を介して送受信される送受信データを記憶する領域である。
【０１６２】
ストレージ２５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量ＤＢ１７２１は、図６に示したと同様の局所特徴量ＤＢが格納される領域である。なお、照合サーバにおいては処理能力や記憶容量は十分であるので、全分野の局所特徴量を格納してもよい。組み合わせ識別ＤＢ１７２２は、図１３に示したと同様の組み合わせ識別ＤＢが格納される領域である。リンク情報ＤＢ１７２３は、図２１に示したリンク情報ＤＢが格納される領域である。
【０１６３】
ストレージ２５５０には、以下のプログラムが格納される。照合サーバ制御プログラム２３５１は、本映像処理装置１７２０の全体を制御する照合サーバ制御プログラムが格納される領域である。局所特徴量モジュール２５５２は、照合サーバ制御プログラム２５５１において、認識対象部の画像から局所特徴量モジュールが格納される領域である。対象物認識制御モジュール２５５３には、照合サーバ制御プログラム２５５１において、受信した局所特徴量と局所特徴量ＤＢ３３０に格納された局所特徴量とを照合して対象物を認識する対象物認識制御モジュールが格納される領域である。映像認識制御モジュール２５５４には、複数の認識対象物の組み合わせから組み合わせ識別ＤＢ１７２２を参照して映像を認識する映像認識制御モジュールが格納される領域である。リンク情報取得モジュール２５５５には、認識された映像に対応してリンク情報ＤＢ７２３からリンク情報を取得するリンク情報取得モジュールが格納される領域である。
【０１６４】
なお、図２５には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。
【０１６５】
《サーバ用の映像処理装置の処理手順》
図２６は、本実施形態に係るサーバ用の映像処理装置１７２０の処理手順を示すフローチャートである。このフローチャートは、図２５のＣＰＵ２５１０によりＲＡＭ２５４０を使用して実行され、図２０の各機能構成部を実現する。
【０１６６】
まず、ステップＳ２６１１において、局所特徴量ＤＢの生成か否かを判定する。また、ステップＳ２６２１において、携帯端末からの局所特徴量受信かを判定する。いずれでもなければ、ステップＳ２６３１において他の処理を行なう。
【０１６７】
局所特徴量ＤＢの生成であればステップＳ２６１３に進んで、局所特徴量ＤＢ生成処理を実行する（図２７Ａ参照）。また、局所特徴量の受信であればステップＳ２６２３に進んで、対象物認識／映像認識／リンク情報取得処理を実行する（図２７Ｂ参照）。そして、ステップＳ２６２５において、認識対象物とリンク情報とを携帯端末に送信する。
【０１６８】
（局所特徴量ＤＢ生成処理）
図２７Ａは、本実施形態に係る局所特徴量ＤＢ生成処理Ｓ２６１３の処理手順を示すフローチャートである。
【０１６９】
まず、ステップＳ２７１１において、認識対象物の画像を取得する。ステップＳ２７１３においては、特徴点の位置座標、スケール、角度を検出する。ステップＳ２７１５において、ステップＳ２７１３で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ２７１７において、局所領域をサブ領域に分割する。ステップＳ２７１９においては、各サブ領域の特徴ベクトルを生成して局所療育の特徴ベクトルを生成する。ステップＳ２７１３からＳ２７１９の処理は図４Ｂに図示されている。
【０１７０】
次に、ステップＳ２７２１において、ステップＳ２７１９において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図４Ｄ〜図４Ｆに図示されている。しかしながら、局所特徴量ＤＢ１７２１の生成においては、次元選定における階層化を実行するが、生成されたすべての特徴ベクトルを格納するのが望ましい。
【０１７１】
ステップＳ２７２３においては、ステップＳ２７１３で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ２７１３に戻って、次の１つの特徴点について処理を繰り返す。全特徴点について終了した場合はステップＳ２７２５に進んで、認識対象物に対応付けて局所特徴量と特徴点座標を局所特徴量ＤＢ１７２１に登録する。
【０１７２】
ステップＳ２７２７においては、他の認識対象物があるか否かを判定する。他の認識対象物があればステップＳ２７１１に戻って、認識対象物の画像を取得して処理を繰り返す。
【０１７３】
（認識対象物／リンク情報取得処理）
図２７Ｂは、本実施形態に係る認識対象物／リンク情報取得処理Ｓ２６２３の処理手順を示すフローチャートである。
【０１７４】
まず、ステップＳ２７３１において、局所特徴量ＤＢ１７２１から１つの認識対象物の局所特徴量を取得する。そして、ステップＳ２７３３において、認識対象物の局所特徴量とッ携帯端末から受信した局所特徴量との照合を行なう。なお、ステップＳ２７３３の照合処理は、携帯端末が行なう図９Ｂの照合処理と基本的に同様であり、詳細な説明は省略する。
【０１７５】
ステップＳ２７３５において、合致したか否かを判定する。合致していればステップＳ２７３７に進んで、合致した認識対象物を記憶する。そして、ステップＳ２７３９においては、映像中の全認識対象物を照合したかを判定し、まだであればステップＳ２７３１に戻って、映像中の対象物認識処理を繰り返す。
【０１７６】
全認識対応物を照合したと判定すればステップＳ２７４１に進んで、組み合わせ識別ＤＢ１７２２を参照して、複数の認識対象物の組み合わせから映像を認識する。次に、リンク情報ＤＢ１６２２から認識映像に対応するリンク情報を取得する。
【０１７７】
［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【０１７８】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【図１】
2015062090.tif 000003
【図２】
2015062090.tif 000004
【図３】
2015062090.tif 000005
【図４Ａ】
2015062090.tif 000006
【図４Ｂ】
2015062090.tif 000007
【図４Ｃ】
2015062090.tif 000008
【図４Ｄ】
2015062090.tif 000009
【図４Ｅ】
2015062090.tif 000010
【図４Ｆ】
2015062090.tif 000011
【図４Ｇ】
2015062090.tif 000012
【図５】
2015062090.tif 000013
【図６】
2015062090.tif 000014
【図７】
2015062090.tif 000015
【図８】
2015062090.tif 000016
【図９Ａ】
2015062090.tif 000017
【図９Ｂ】
2015062090.tif 000018
【図１０】
2015062090.tif 000019
【図１１】
2015062090.tif 000020
【図１２】
2015062090.tif 000021
【図１３】
2015062090.tif 000022
【図１４】
2015062090.tif 000023
【図１５】
2015062090.tif 000024
【図１６】
2015062090.tif 000025
【図１７】
2015062090.tif 000026
【図１８】
2015062090.tif 000027
【図１９Ａ】
2015062090.tif 000028
【図１９Ｂ】
2015062090.tif 000029
【図２０】
2015062090.tif 000030
【図２１】
2015062090.tif 000031
【図２２】
2015062090.tif 000032
【図２３】
2015062090.tif 000033
【図２４Ａ】
2015062090.tif 000034
【図２４Ｂ】
2015062090.tif 000035
【図２５】
2015062090.tif 000036
【図２６】
2015062090.tif 000037
【図２７Ａ】
2015062090.tif 000038
【図２７Ｂ】
2015062090.tif 000039