(57)【要約】【課題】太陽や雲などの自己位置推定に不要な特徴点を除去することで、自己位置推定の処理負荷を低減し、確度を向上する画像処理装置を提供する。【解決手段】上記課題を解決するために、移動体に搭載されたカメラによって撮像された画像上の特徴点を検出して自己位置を推定する画像処理装置であって、前記カメラで撮像した画像上を所定の大きさの注目領域単位で探索して特徴点候補を検出し、さらに前記注目領域の大きさを変更して再度探索を行い、前記特徴点候補を検出する処理を繰り返す特徴点検出手段と、前記特徴点検出処理により繰り返し検出される前記特徴点候補の検出位置の移動方向に等方性があるか判定する等方性判定手段と、検出された前記特徴点候補の中から、移動方向に等方性のない前記特徴点候補を除いて自己位置推定に用いる特徴点を決定する特徴点決定手段と、を有することを特徴とする。【選択図】図１
2016122309.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載されたカメラによって撮像された画像上の特徴点を検出して自己位置を推定する画像処理装置であって、
前記カメラで撮像した画像上を所定の大きさの注目領域単位で探索して特徴点候補を検出し、さらに前記注目領域の大きさを変更して再度探索を行い、前記特徴点候補を検出する処理を繰り返す特徴点検出手段と、
前記特徴点検出処理により繰り返し検出される前記特徴点候補の検出位置の移動方向に等方性があるか判定する等方性判定手段と、
検出された前記特徴点候補の中から、移動方向に等方性のない前記特徴点候補を除いて自己位置推定に用いる特徴点を決定する特徴点決定手段と、
を有する画像処理装置。
【請求項２】
請求項１において、
前記特徴点検出手段は、
Ｈａｒｒｉｓ検出器の前記注目領域を所定の大きさに設定して前記特徴点候補を検出し、
前記Ｈａｒｒｉｓ検出器の前記注目領域の大きさを縮小して前記特徴点候補を検出する処理を、前記注目領域が既定値になるまで繰り返すことを特徴とする画像処理装置。
【請求項３】
請求項１において、
前回の特徴点候補検出処理で検出した前記特徴点候補の情報が記憶される前処理の特徴点候補格納スペースと、今回の特徴点検出処理で検出した前記特徴点候補の情報が記憶される現処理の特徴点候補格納スペースと、を有する記憶部を有し、
前記特徴点候補の情報とは、検出した画像上位置、特徴量、前記注目領域の大きさを変化した際の特徴点検出位置の移動方向を含むことを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記特徴点検出手段は、
前記Ｈａｒｒｉｓ検出器の前記注目領域を最大に設定して前記特徴点候補を検出し、
検出した前記特徴点候補の特徴量をそれぞれ算出し、
前記特徴点候補の画像上の位置と特徴量を、前処理の特徴点候補格納スペースに格納することを特徴とする画像処理装置。
【請求項５】
請求項３において、
前記特徴点検出手段は、前処理の特徴点候補格納領域に記憶された前記特徴点候補に対応する前記特徴点候補を前記注目領域の大きさを変更して探索し、
前記等方性判定手段は、前記注目領域の大きさを変更して検出された前記特徴点候補のうち、検出位置の移動方向に等方性があるものを選択して前記現処理の特徴点候補格納領域にその前記特徴点候補の情報を記憶することを特徴とする画像処理装置。
【請求項６】
請求項１において、
前記特徴点検出手段は、前回検出した各特徴点候補の近傍で、再度前記注目領域の大きさを変化させて前記特徴点候補を検出し、
前記等方性判定手段は、前回検出した前記特徴点候補と、今回検出した前記特徴点候補とをマッチングし、マッチング尤度が高い前記特徴点候補を抽出し、前回検出した前記特徴点候補の検出位置から今回検出した前記特徴点候補の検出位置へのベクトルを用いて移動方向を求めることを特徴とする画像処理装置。
【請求項７】
請求項１において、
前記特徴点検出手段は、
前回検出した前記特徴点候補の検出位置の移動方向から、次の探索で検出が予想される前記特徴点候補の移動予測領域を求め、
前記移動予測領域内で前記特徴点候補の検出を行い、
前記等方性判定手段は、
検出された前記特徴点候補の中から、前回検出した前記特徴点候補の移動方向と近いものを選択し、
選択した前記特徴点候補と、前回検出した前記特徴点候補のマッチング尤度が大きい場合に、当該特徴点候補に対してさらに前記注目領域の大きさを変化させて対応する前記特徴点候補を探索することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを搭載した移動体が自己位置推定するときの、画像処理技術に関する。
【背景技術】
【０００２】
従来から、ロボットや自動車などの移動体にカメラを搭載し、カメラで撮像した画像から周囲の特徴点を検出し、前記特徴点の配置をもとに移動体の自己位置を推定する装置が種々提案されている。
【０００３】
例えば、下記特許文献１（特開２０１２−１８５０１１）は、移動体位置測定装置であって、地図上で撮影された実画像のデータを入力して当該実画像から特徴を検出して測定計算で用いる特徴情報を出力する処理を行う特徴検出部を有し、前記特徴検出部は、領域分割部、特徴抽出部、不要物除去部を有し、前記領域分割部は、画像解析処理により、前記実画像の領域から、道路領域、路側領域、及び他領域を分割により検出し、当該道路領域、路側領域、及び他領域を含む情報を出力する処理を行い、前記特徴抽出部は、画像解析処理により、前記実画像の領域から、直線や角点を含む特徴部群を抽出して特徴情報を出力する処理を行い、前記不要物除去部は、前記実画像における前記道路領域または路側領域の少なくとも一方から、前記測位計算で用いないようにするための不要物に対応する特徴部を検出して除去し、当該除去後の特徴情報を出力する処理を行うことを特徴としている。当文献によれば、安価かつ高精度な測位を実現でき、特に、仮想画像処理を用いない実時間即位を実現し、地図ＤＢの製作・維持を効率化・低コスト化でき、測位時（撮像時）の道路周囲状況などの要因・変動に対しても適応できる、としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１８５０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像処理技術を用いた自己位置推定では、撮像画像から特徴点を検出し、座標が既知の特徴点で構成される地図と前記検出の特徴点を照合することにより、前記検出の特徴点の座標を把握し、前記検出の特徴点の配置をもとに自己位置を推定する。
【０００６】
特許文献１の移動体位置測定装置は、移動体前方を道路を含むように撮像した画像から特徴点を検出し、自己位置推定を実施する前に、複数の横線や角点が高密度で集まっている領域にある特徴点を、自己位置推定において不要な点として除去することにより、前方を走行する車などの遮蔽物によって見え方が変動する環境でも高精度に自己位置推定ができる。
【０００７】
しかし、特に、屋外環境では、太陽や雲などの自己位置推定に不要な特徴点が多く存在しているが、これらは、必ずしも複数の横線や角点が高密度で集まっているとは限らない。そのためこれら不要特徴点を除去し、自己位置推定精度を向上するような必要な特徴点を残すことが課題となっている。
【０００８】
本発明は、カメラを搭載する移動体において前記課題を解決する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、代表的な本発明の画像処理装置の一つは、移動体に搭載されたカメラによって撮像された画像上の特徴点を検出して自己位置を推定する画像処理装置であって、前記カメラで撮像した画像上を所定の大きさの注目領域単位で探索して特徴点候補を検出し、さらに前記注目領域の大きさを変更して再度探索を行い、前記特徴点候補を検出する処理を繰り返す特徴点検出手段と、前記特徴点検出処理により繰り返し検出される前記特徴点候補の検出位置の移動方向に等方性があるか判定する等方性判定手段と、検出された前記特徴点候補の中から、移動方向に等方性のない前記特徴点候補を除いて自己位置推定に用いる特徴点を決定する特徴点決定手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、自己位置推定の処理負荷を低減し、確度を向上する画像処理装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１の形態による移動体の構成を示すブロック図である。
【図２】実施例１の形態による等方性判定部のフローチャートである。
【図３】実施例１の形態による特徴点候補データの内容を示す図である。
【図４】実施例１の形態による特徴点候補データの内容を示す図である。
【図５】実施例１の形態による特徴点候補データの内容を示す図である。
【図６】実施例１の形態による特徴点候補データの内容を示す図である。
【図７】実施例１の形態による等方性判定部の処理内容を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を用いて実施例を説明する。
【００１３】
本実施例では、自動車やロボットなどの移動体が自己位置を推定するとき、カメラを搭載し、本発明の画像処理装置により、自己位置推定に不要な太陽や雲の特徴点を除去し、自己位置推定の処理負荷を低減し、確度を向上する。
【００１４】
図１は、本実施例による移動体１０１の構成を示し、移動体１０１は、カメラ２００を搭載し、ＣＰＵ１０２、メモリ１０３を有し、ＣＰＵ１０２では、初期特徴点検出部２０１、注目領域縮小部２０２、等方性判定部２０３、特徴点決定部２０５が演算され、メモリ１０３では特徴点候補データ２０６と特徴点データ２０７を格納し、移動体１０１とＣＰＵ１０２とメモリ１０３により画像処理装置１００は構成される。
【００１５】
ＣＰＵ１０２は、初期特徴点検出部２０１、注目領域縮小部２０２、等方性判定部２０３、条件分岐２０４、特徴点決定部２０５を有し、これらはＣＰＵ１０２が実行するプログラムである。また、メモリ１０３には、特徴点候補データ２０６と特徴点データ２０７が記憶されている。それぞれの詳細は後述する。
【００１６】
カメラ２００は、移動体１０１の位置推定に必要な位置固定の特徴点や規則的に移動・変化する特徴点を撮像画像から多く検出するため、遠方まで撮像できるような姿勢、例えば地面に対して水平な向きに設置したり、地面に対して垂直上向きに設置したりするのが望ましいが、前記特徴点を多く検出できる姿勢であれば、それ以外の設置方法でもよい。前記特徴点をさらに多く検出するため、広角レンズや超広角レンズを搭載したカメラを用いてもよい。
【００１７】
初期物体検出部２０１は、前記カメラ２００で撮像した画像から特徴点候補を検出し、検出した前記特徴点候補を特徴点候補データ２０６に格納する。特徴点検出には、Ｈａｒｒｉｓ検出器を用い、円形窓、または円形のガウス窓として設定した注目領域で撮像画像の全画素を走査する。前記注目領域の大きさは、画像サイズの１／９程度に設定する。また、本発明の画像処理装置を実施した後の移動体１０１の位置推定によっては、特徴点の特徴を定量化した特徴量を利用するため、特徴点の検出と同時に特徴量を抽出してもよい。後述の等方性判定部２０３にて特徴点同士のマッチングを実施する場合は、特徴量の抽出が必要である。前記特徴量は、ＯＲＢ（Ｏｒｉｅｎｔｅｄ−ＢＲＩＥＦ）等があるが、どの特徴量を抽出してもよい。
【００１８】
注目領域縮小部２０２は、前処理の特徴点検出で設定したＨａｒｒｉｓ検出器の前記円形窓の大きさを１段階小さくする。縮小量は画像サイズの１／９０程度に設定する。
【００１９】
等方性判定部２０３は、注目領域縮小部２０２で１段階小さくしたＨａｒｒｉｓ検出器の前記円形窓を用いて、初期特徴点検出部で用いた撮像画像から新たに特徴点候補を検出する。さらに、注目領域を小さくしたことによる特徴点検出位置の画像上での移動方向が、注目領域の大きさによらず等方的かどうか判定し、前記移動方向が等方的でない特徴点候補を除去する。等方性判定部２０３の詳細は図２で説明する。
【００２０】
条件分岐２０４は、前記注目領域の最小サイズを画像サイズの１／１８０程度に設定し、前記注目領域が前記最小サイズ以下の大きさになったかどうか判定し、前記条件を満たさない場合は注目領域縮小部２０２に移動し、前記条件を満たす場合は特徴点決定部２０５に移動する。
【００２１】
特徴点決定部２０５は、注目領域縮小部２０２から条件分岐２０４までのループ処理で除去されずに特徴点候補データに残った特徴点候補を、自己位置推定に必要な特徴点として採用し、特徴点を特徴点データ２０７に保存する。
【００２２】
特徴点候補データ２０６は、特徴点候補の画像上検出位置、特徴量および画像上の移動方向を格納する。特徴点候補データ２０６の詳細は図３、図４および図５で説明する。
【００２３】
特徴点データ２０７は、特徴点決定部２０５から出力された特徴点の画像上検出位置と特徴量を格納する。
【００２４】
図２は図１の等方性判定部２０３の詳細を示している。また、図３、図４、図５および図６は特徴点候補データ２０６の詳細を示している。さらに、図７は等方性判定部２０３における特徴点検出の詳細を示している。
【００２５】
特徴点データ２０６は、図３に示すように、前処理で検出した特徴点候補の格納スペースＤ１００と現処理で検出した特徴点候補の格納スペースＤ１０１で構成される。前処理で検出した特徴点候補の格納スペースＤ１００には、Ｄ１０２のように前処理で検出した特徴点候補Ｐ（ｉ）（ｉ＝０、１、・・・）の画像上の検出位置（ｕｉ、ｖｉ）、特徴量Ｍｉ、後述の画像上移動方向ｔｉが格納される。現処理で検出した特徴点候補の格納スペースＤ１０１には、Ｄ１０３のように現処理で検出した特徴点候補Ｐ’（ｊ）（ｊ＝０、１、・・・）の画像上の検出位置（ｕ’ｊ、ｖ’ｊ）、特徴量Ｍ’ｊ、後述の画像上移動方向ｔ’ｊが格納される。
【００２６】
Ｓ１００は、前処理で既に特徴点候補データ２０６に格納されている特徴点候補をそれぞれＰ（ｉ）（ｉ＝０、１、・・・）としたときのｉに０を代入し、以降の処理を開始する。
【００２７】
Ｓ１０１は、特徴点候補データ２０６に、前処理の等方性判定部２０３で算出された後述の画像上移動方向が格納されているか判別し、画像上移動方向が格納されていない場合はＳ１０２に移動し、画像上移動方向が格納されている場合はＳ１０８に移動する。
【００２８】
Ｓ１０２は、特徴点候補データ２０６に画像上移動方向が格納されていないとき、すなわち、図４に示すように、初期特徴点検出部２０１で検出した特徴点候補がＤ１０４のように格納された直後であるとき、前処理の特徴点候補Ｐ（ｉ）の近傍領域で特徴点候補Ｐ’（ｊ）（ｊ＝０、１、・・・）の検出およびその特徴量Ｍ’ｊの抽出を行う。 特徴点候補Ｐ（ｉ）の近傍領域は、特徴点候補Ｐ（ｉ）を検出したときのＨａｒｒｉｓ検出器の注目領域とする。
【００２９】
Ｓ１０３は、Ｓ１０２において特徴点候補Ｐ（ｉ）の近傍領域で特徴点候補Ｐ’（ｊ）が検出されたか確認し、特徴点候補Ｐ（ｉ）の近傍領域で特徴点候補Ｐ’（ｊ）が１点も検出されなかった場合はＳ１０４に移動し、特徴点候補Ｐ’（ｊ）が検出された場合はＳ１０５に移動する。
【００３０】
Ｓ１０４は、Ｓ１０２で特徴点候補Ｐ（ｉ）の近傍領域で特徴点候補が検出されなかったとき、次の特徴点候補Ｐ（ｉ＋１）についてＳ１０２から処理を行う。
【００３１】
Ｓ１０５は、Ｓ１０２で特徴点候補Ｐ（ｉ）の近傍領域で特徴点候補Ｐ’（ｊ）（ｊ＝０、１、・・・）が検出されたとき、特徴点候補Ｐ（ｉ）に対応する１点の特徴点候補Ｐ’（ｊ）を抽出し、図５に示すＤ１０５のように、現処理で検出した特徴点候補の格納スペースに、抽出した前記特徴点候補Ｐ’（ｊ）の画像上検出位置（ｕ’ｊ、ｖ’ｊ）と特徴量Ｍ’ｊを格納する。特徴点候補Ｐ’（ｊ）の抽出方法として、例えば、特徴点候補Ｐ（ｉ）の画像上での最近傍点をＰ（ｉ）の対応点Ｐ’（ｊ）とするマッチング方法や、特徴点候補Ｐ（ｉ）の特徴量Ｍｉと特徴点候補Ｐ’（ｊ）の特徴量Ｍ’ｊのユークリッド距離またはその２乗が最小になるような特徴点候補をＰ（ｉ）の対応点Ｐ’（ｊ）とするマッチング方法があるが、他のマッチング手法でもよい。
【００３２】
Ｓ１０６は、特徴点候補Ｐ（ｉ）からＳ１０６で抽出した特徴点候補Ｐ’（ｊ）への単位ベクトル、すなわち（ｕ’ｊ−ｕｉ、ｖ’ｊ−ｖｉ）の単位ベクトルを算出し、前記単位ベクトルを特徴点検出位置の画像上移動方向ｔ’ｊとして図５に示すＤ１０５のように格納する。
【００３３】
Ｓ１０７は、前処理で検出した全特徴点候補Ｐ（ｉ）（ｉ＝０、１、・・・）についてＳ１０２からＳ１０７までの処理を適用したか判別し、前処理で検出した全特徴点候補の処理が終了していない場合はＳ１０４に移動し、前処理で検出した全特徴点候補の処理が完了した場合はＳ１０８に移動する。
【００３４】
Ｓ１０８は、図６のＤ１０６のように、現処理で検出した特徴点候補の格納スペースに格納した特徴点候補Ｐ’（ｊ）（ｊ＝０、１、・・・）をＰ（ｉ）（ｉ＝０、１、・・・）として前処理の特徴点候補の格納スペースに上書きする。さらに、現処理で検出した特徴点候補の格納スペースに格納した特徴点候補Ｐ’（ｊ）（ｊ＝０、１、・・・）は全て消去する。
【００３５】
Ｓ１０９は、特徴点候補データ２０６に画像上移動方向が格納されているとき、すなわち、１度、等方性判定部２０３の処理を通過し、Ｓ１０２からＳ１０８までの処理が適用済みであるとき、特徴点候補データ２０６の前処理で検出した特徴点候補の格納スペースに格納したＤ１０６の特徴点候補Ｐ（ｉ）の移動予測領域を設定し、前記の移動予測領域内で特徴点候補Ｐ’（ｊ）（ｊ＝０、１、・・・）の検出を行う。前記の移動予測領域は、図７に示すように、特徴点候補Ｐ（ｉ）の画像上位置１０から前記画像上移動方向１１に延ばした線分からみて左右３０度までの偏角かつ２０２で設定した注目領域サイズの動径で囲まれる領域１２である。図７の場合、２０、２１および２２のような特徴点のうち、移動予測領域内にある２１と２２を検出する。
【００３６】
Ｓ１１０は、Ｓ１１０において特徴点候補Ｐ（ｉ）の移動予測領域で特徴点候補Ｐ’（ｊ）が検出されたか確認し、特徴点候補Ｐ（ｉ）の移動予測領域で特徴点候補Ｐ’（ｊ）が１点も検出されなかった場合はＳ１１１に移動し、特徴点候補Ｐ’（ｊ）が検出された場合はＳ１１２に移動する。
【００３７】
Ｓ１１１は、Ｓ１０９で特徴点候補Ｐ（ｉ）の移動予測領域で特徴点候補が検出されなかったとき、次の特徴点候補Ｐ（ｉ＋１）についてＳ１０９から処理を行う。
【００３８】
Ｓ１１２は、Ｓ１０９で特徴点候補Ｐ（ｉ）の移動予測領域で特徴点候補Ｐ’（ｊ）（ｊ＝０、１、・・・）が検出されたとき、特徴点候補Ｐ（ｉ）に対応する１点の特徴点候補Ｐ’（ｊ）を抽出する。特徴点候補Ｐ’（ｊ）の抽出は、Ｐ（ｉ）からＰ（ｊ）への単位ベクトルを算出し、前記単位ベクトルとＰ（ｉ）の画像上移動方向ｔｉの余弦を算出したとき、前記余弦が最小となる特徴点候補Ｐ’（ｊ）を探索することで実施する。例えば、図７においては、特徴点候補２２が移動予想領域１２のなかで最も前記余弦を小さくするため、特徴点候補２２が特徴点候補１０の対応点として抽出される。
【００３９】
Ｓ１１３は、Ｓ１１２で抽出した特徴点候補Ｐ’（ｊ）の特徴量Ｍ’ｊを算出し、特徴点候補Ｐ（ｉ）の特徴量Ｍｉと前記抽出した特徴点候補Ｐ’（ｊ）の特徴量Ｍ’ｊのユークリッド距離またはその２乗を算出したとき、前記算出距離が十分小さい値をもつとき、両特徴点候補のマッチングに成功したとして、図３に示すＤ１０３のように、現処理で検出した特徴点候補の格納スペースに、抽出した前記特徴点候補Ｐ’（ｊ）の画像上検出位置（ｕ’ｊ、ｖ’ｊ）と特徴量Ｍ’ｊを格納し、Ｓ１１４に移動する。また、前記算出距離が十分小さいとはいえない値をもつとき、両特徴点候補のマッチングに失敗したとして、Ｓ１１１に移動する。
【００４０】
Ｓ１１４は、前処理で検出した全特徴点候補Ｐ（ｉ）（ｉ＝０、１、・・・）についてＳ１０９からＳ１１４までの処理を適用したか判別し、前処理で検出した全特徴点候補の処理が終了していない場合はＳ１１１に移動し、前処理で検出した全特徴点候補の処理が完了した場合はＳ１０８に移動する。
【００４１】
このように、Ｓ１０９〜Ｓ１１４の処理によって、前処理で検出された特徴点候補のうち、等方性があるもののみが選択されて現処理の特徴点候補の格納スペースＤ１０１に格納することができる。そして、前処理の特徴点候補の格納スペースＤ１００上に情報は、これら現処理の特徴点候補の格納スペース１０１に格納された特徴点候補の情報で上書きされる。その後、現処理で検出した特徴点候補の格納スペースＤ１０１の情報は消去され、次の特徴点候補検出の処理で更新される。このような処理を注目領域が最小となるまで繰り返すことで、残った特徴点候補を自己位置推定に必要な特徴点とすることができる。これによって、雲や太陽等の等方性のない特徴点候補を除き、自己位置推定に必要な特徴点を抽出すことができる。
【００４２】
以上のような構成により、本発明の画像処理装置は、Ｈａｒｒｉｓ検出器の注目領域を徐々に小さくしながら特徴点の検出位置の移動方向の等方性を判定することにより、従来の自己位置推定を目的とした画像処理装置とは異なり、画像処理の段階で自己位置推定には不要となる太陽や雲などの特徴点を除去でき、自己位置推定の処理負荷を低減し、確度を向上できる。
つまり、本実施例の画像処理装置では、自己位置推定に必要な特徴点を選別するために一時的に特徴点候補を記憶するための特徴点候補データを有し、Ｈａｒｒｉｓ検出器の注目領域最大で特徴点を検出する初期特徴点検出処理と、Ｈａｒｒｉｓ検出器の注目領域の大きさを１段階縮小する注目領域縮小処理と、縮小した注目領域で特徴点を検出し、注目領域を縮小したことによって変化する特徴点検出位置の移動方向に等方性があるか判定し、等方性のない特徴点を除去する等方性判定処理と、注目領域が最小でない場合は再度、前記注目領域縮小部と前記等方性判定部を行う繰り返し処理と、注目領域が最小となった場合に前記ループ処理により残った特徴点候補を自己位置推定に必要な特徴点とする処理と、実行する。これによって、１枚の撮像画像から自己位置推定に有用な特徴点のみを抽出できるため、自己位置推定の処理負荷を低減し、確度を向上できる。さらに、特徴点の画像上の検出位置精度をピクセル精度まで向上できるため、自己位置推定の精度を向上できる。
【００４３】
さらに本実施例の画像処理装置では、特徴点候補データは、ループ処理において前処理で検出した特徴点候補の格納スペースと、現処理で検出した特徴点候補の格納スペースを有し、前処理で検出した特徴点候補の格納スペースに、前処理で検出した特徴点候補の画像上位置、特徴量、およびＨａｒｒｉｓ検出器の注目領域の大きさを縮小した際の特徴点検出位置の移動方向を格納し、現処理で検出した特徴点候補の格納スペースに、現処理で検出した特徴点候補の画像上位置、特徴量、およびＨａｒｒｉｓ検出器の注目領域の大きさを縮小した際の特徴点検出位置の移動方向を格納する。これによって、ループ処理の回数によらず確保すべきメモリ領域を最小化できる。
【００４４】
さらに本実施例の画像処理装置では、初めの特徴点検出処理では、Ｈａｒｒｉｓ検出器の注目領域を最大に設定して特徴点候補を検出し、検出した特徴点候補の特徴量をそれぞれ算出し、特徴点候補の画像上位置と特徴量を、特徴点候補データの前処理で検出した特徴点候補の格納スペースに格納する。これによって、初期に注目領域を最大に設定するため、輝度値変化にばらつきがある太陽や雲などの不要な特徴点を初期の段階で除去しやすくなる。
【００４５】
さらに本実施例の画像処理装置では、初めの特徴点検出処理後、初めて等方性判定部を実施する場合、初めの特徴点検出処理にて検出したそれぞれの特徴点候補の近傍で、１段階縮小した注目領域を用いて特徴点候補を検出し、初めの特徴点検出にて検出した特徴点候補と今回検出した特徴点候補とをマッチングし、今回検出した特徴点候補のなかでマッチング尤度が最大となる特徴点候補をそれぞれ抽出し、初めの特徴点検出にて検出した特徴点候補から今回抽出した特徴点候補への単位ベクトルを、注目領域が縮小することにより変化した特徴点候補検出位置の画像上移動方向とし、特徴点候補データに今回検出した特徴点候補の画像上位置、特徴量、および前記画像上移動方向を格納し、以上の処理を初めの特徴点検出にて検出した全特徴点候補について実施したとき、特徴点候補データの前処理で検出した特徴点候補の格納スペースに格納した全特徴点候補の情報を、現処理で検出した特徴点候補の格納スペースに格納した全特徴点候補の情報で上書きし、現処理で検出した特徴点候補の格納スペースに格納した全特徴点候補の情報を消去する。このようにマッチング尤度を用いるため、高確度に特徴点候補の検出位置の移動方向を算出できる。
【００４６】
さらに本実施例の画像処理装置では、等方性判定を１回以上実施済みの場合、前処理で検出した特徴点候補の検出位置が前記注目領域の縮小により移動する領域を、特徴点候補の前処理で検出した特徴点候補の格納スペースに格納した画像上移動方向をもとに予測し、移動予測領域で特徴点候補を検出し、検出した特徴点候補のなかで、画像上移動方向に最も近い方向に移動した特徴点候補を抽出し、抽出した特徴点候補と、前処理で検出した特徴点候補のマッチング尤度が大きい場合に、特徴点候補データの現処理で検出した特徴点候補の格納スペースに、前記抽出した特徴点候補の画像上位置、特徴量、および画像上移動方向を算出して格納し、以上の処理を前処理で検出した全特徴点候補について実施したとき、特徴点候補データの前処理で検出した特徴点候補の格納スペースに格納した全特徴点候補の情報を、現処理で検出した特徴点候補の格納スペースに格納した全特徴点候補の情報で上書きし、現処理で検出した特徴点候補の格納スペースに格納した全特徴点候補の情報を消去する。これによって、等方性のある特徴点を抽出できるという効果が得られるほか、注目領域を徐々に小さくすることにより、高精度な特徴点の画像上位置を算出できる。
【符号の説明】
【００４７】
１００  画像処理装置
１０１  移動体
２００  カメラ
２０１  初期特徴点検出部
２０２  注目領域縮小部
２０３  等方性判定部
２０５  特徴点決定部
２０６  特徴点候補データ
２０７  特徴点データ
【図１】
2016122309.tif 000003
【図２】
2016122309.tif 000004
【図３】
2016122309.tif 000005
【図４】
2016122309.tif 000006
【図５】
2016122309.tif 000007
【図６】
2016122309.tif 000008
【図７】
2016122309.tif 000009