(57)【特許請求の範囲】
【請求項１】
カメラによる撮像画像に基づいて物体を認識する画像処理装置であって、
第１時点の第１撮像画像について複数の第１線分を抽出するとともに、前記第１時点より後の第２時点の第２撮像画像について複数の第２線分を抽出する線分抽出部と、
前記第１線分それぞれの第１特徴点を抽出するとともに、前記第２線分それぞれの第２特徴点を抽出する特徴点抽出部と、
前記第１線分それぞれの前記第１撮像画像内での位置に対して、前記第１線分それぞれに対応する前記第２線分それぞれの前記第２撮像画像内での位置の変化量を算出する変化量算出部と、
前記変化量が変化量閾値以上である前記第１線分及び前記第２線分の前記第１特徴点及び前記第２特徴点と、前記変化量が前記変化量閾値未満である前記第１線分及び前記第２線分の前記第１特徴点及び前記第２特徴点とを分けて抽出し、前記変化量が前記変化量閾値以上である前記第１線分の前記第１特徴点の前記第２撮像画像内での対応点を、前記変化量が前記変化量閾値以上である前記第１線分に対応する前記第２線分の前記第２特徴点に決定することにより前記物体を認識する物体認識部と、を備え、
前記物体認識部は、
前記変化量が前記変化量閾値未満である前記第１線分の前記第１特徴点として、
前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点を抽出することにより前記物体を認識する、画像処理装置。
【請求項２】
前記物体認識部は、
前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点と、前記変化量が前記変化量閾値以上である前記第１線分の前記第１特徴点との前記第１撮像画像内での位置関係に基づいて、
前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点の前記第２撮像画像内での前記対応点を決定する、請求項１に記載の画像処理装置。
【請求項３】
カメラによる撮像画像に基づいて物体を認識する画像処理装置を用いた画像処理方法であって、
画像処理装置の線分抽出部により、第１時点の第１撮像画像について複数の第１線分を抽出するとともに、前記第１時点より後の第２時点の第２撮像画像について複数の第２線分を抽出する線分抽出工程と、
画像処理装置の特徴点抽出部により、前記第１線分それぞれの第１特徴点を抽出するとともに、前記第２線分それぞれの第２特徴点を抽出する特徴点抽出工程と、
画像処理装置の変化量算出部により、前記第１線分それぞれの前記第１撮像画像内での位置に対して、前記第１線分それぞれに対応する前記第２線分それぞれの前記第２撮像画像内での位置の変化量を算出する変化量算出工程と、
画像処理装置の物体認識部により、前記変化量が変化量閾値以上である前記第１線分及び前記第２線分の前記第１特徴点及び前記第２特徴点と、前記変化量が前記変化量閾値未満である前記第１線分及び前記第２線分の前記第１特徴点及び前記第２特徴点とを分けて抽出し、前記変化量が前記変化量閾値以上である前記第１線分の前記第１特徴点の前記第２撮像画像内での対応点を、前記変化量が前記変化量閾値以上である前記第１線分に対応する前記第２線分の前記第２特徴点に決定することにより前記物体を認識する物体認識工程と、を備え、
前記物体認識工程では、
前記変化量が前記変化量閾値未満である前記第１線分の前記第１特徴点として、
前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点を抽出することにより前記物体を認識する、画像処理方法。
【請求項４】
前記物体認識工程では、
前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点と、前記変化量が前記変化量閾値以上である前記第１線分の前記第１特徴点との前記第１撮像画像内での位置関係に基づいて、
前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点の前記第２撮像画像内での前記対応点を決定する、請求項３に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一側面及び他の側面は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
カメラによる撮像画像に基づいて物体を認識する技術が提案されている。例えば、特許文献１には、物体をそれぞれ異なる視点から撮影した２つの撮像画像それぞれから物体の輪郭線等の直線を抽出する装置が開示されている。特許文献１の装置は、２つの撮像画像それぞれから抽出された直線同士の交点（角点）等の特徴点を抽出する。特許文献１の装置は、２つの撮像画像それぞれから抽出された特徴点同士を対応付けることにより物体を認識する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１０２８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１のような装置においては、認識の対象となる物体の輪郭線による特徴点と、認識の対象とはならない遠景の輪郭線による特徴点とが一緒に抽出される。物体がカメラに対して相対的に移動している場合には、物体の輪郭線は撮像画像内で移動するのに対して、遠景の輪郭線は撮像画像内で移動しない。この場合、例えば、物体の輪郭線と遠景の輪郭線との交点が物体の輪郭線による特徴点とされると、当該特徴点が物体の輪郭線上で移動してしまうために、実際には物体上の同一位置ではない位置を同一位置として誤認識する場合や、物体の位置や移動量を正確に認識できない場合がある。そのため、物体を認識する精度が低下する場合があり、改善が望まれている。
【０００５】
そこで本発明は、カメラによる撮像画像に基づいた物体の認識において、物体を認識する精度を向上させることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面は、カメラによる撮像画像に基づいて物体を認識する画像処理装置であって、第１時点の第１撮像画像について複数の第１線分を抽出するとともに、第１時点より後の第２時点の第２撮像画像について複数の第２線分を抽出する線分抽出部と、第１線分それぞれの第１特徴点を抽出するとともに、第２線分それぞれの第２特徴点を抽出する特徴点抽出部と、第１線分それぞれの第１撮像画像内での位置に対して、第１線分それぞれに対応する第２線分それぞれの第２撮像画像内での位置の変化量を算出する変化量算出部と、変化量が変化量閾値以上である第１線分及び第２線分の第１特徴点及び第２特徴点と、変化量が変化量閾値未満である第１線分及び第２線分の第１特徴点及び第２特徴点とを分けて抽出し、変化量が変化量閾値以上である第１線分の第１特徴点の第２撮像画像内での対応点を、変化量が変化量閾値以上である第１線分に対応する第２線分の第２特徴点に決定することにより物体を認識する物体認識部とを備えた画像処理装置である。
【０００７】
この構成によれば、物体認識部により、変化量が変化量閾値以上である第１線分及び第２線分の第１特徴点及び第２特徴点と、変化量が変化量閾値未満である第１線分及び第２線分の第１特徴点及び第２特徴点とを分けて抽出し、変化量が変化量閾値以上である第１線分の第１特徴点の第２撮像画像内での対応点を、変化量が変化量閾値以上である第１線分に対応する第２線分の第２特徴点に決定することにより物体が認識される。これにより、認識の対象となる物体のみによる第１特徴点及び第２特徴点と、認識の対象とはならない遠景による第１特徴点及び第２特徴点とが区別され、認識の対象となる物体のみによる第１特徴点と第２特徴点とが対応付けられるため、物体を認識する精度を向上させることができる。
【０００８】
この場合、物体認識部は、変化量が変化量閾値未満である第１線分の第１特徴点として、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点を抽出することにより物体を認識してもよい。
【０００９】
この構成によれば、物体認識部により、変化量が変化量閾値未満である第１線分の第１特徴点として、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点が抽出されることにより物体が認識される。これにより、認識の対象となる物体のみによる第１特徴点と、認識の対象となる物体の輪郭線と認識の対象とならない遠景の輪郭線との交点とが区別されるため、誤認識を低減することができる。
【００１０】
また、この場合、物体認識部は、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点と、変化量が変化量閾値以上である第１線分の第１特徴点との第１撮像画像内での位置関係に基づいて、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点の第２撮像画像内での対応点を決定してもよい。
【００１１】
この構成によれば、物体認識部により、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点と、変化量が変化量閾値以上である第１線分の第１特徴点との第１撮像画像内での位置関係に基づいて、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点の第２撮像画像内での対応点が決定される。これにより、認識の対象となる物体のみによる第１特徴点及び第２特徴点に基づいて、第１撮像画像内での認識の対象となる物体の輪郭線と認識の対象とならない遠景の輪郭線との交点の第２撮像画像内での対応点が決定されるため、物体を認識する精度をさらに向上させることができる。
【００１２】
また、本発明の他の側面は、カメラによる撮像画像に基づいて物体を認識する画像処理装置を用いた画像処理方法であって、画像処理装置の線分抽出部により、第１時点の第１撮像画像について複数の第１線分を抽出するとともに、第１時点より後の第２時点の第２撮像画像について複数の第２線分を抽出する線分抽出工程と、画像処理装置の特徴点抽出部により、第１線分それぞれの第１特徴点を抽出するとともに、第２線分それぞれの第２特徴点を抽出する特徴点抽出工程と、画像処理装置の変化量算出部により、第１線分それぞれの第１撮像画像内での位置に対して、第１線分それぞれに対応する第２線分それぞれの第２撮像画像内での位置の変化量を算出する変化量算出工程と、画像処理装置の物体認識部により、変化量が変化量閾値以上である第１線分及び第２線分の第１特徴点及び第２特徴点と、変化量が変化量閾値未満である第１線分及び第２線分の第１特徴点及び第２特徴点とを分けて抽出し、変化量が変化量閾値以上である第１線分の第１特徴点の第２撮像画像内での対応点を、変化量が変化量閾値以上である第１線分に対応する第２線分の第２特徴点に決定することにより物体を認識する物体認識工程とを備えた画像処理方法である。
【００１３】
この場合、物体認識工程では、変化量が変化量閾値未満である第１線分の第１特徴点として、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点を抽出することにより物体を認識してもよい。
【００１４】
また、この場合、物体認識工程では、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点と、変化量が変化量閾値以上である第１線分の第１特徴点との第１撮像画像内での位置関係に基づいて、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点の第２撮像画像内での対応点を決定してもよい。
【発明の効果】
【００１５】
本発明の一側面及び他の側面によれば、カメラによる撮像画像に基づいた物体の認識において、物体を認識する精度を向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態の画像処理装置を示すブロック図である。
【図２】図１の画像処理装置の動作を示すフローチャートである。
【図３】（ａ）は第１時点の第１撮像画像を示す図であり、（ｂ）は第１時点より後の第２時点の第２撮像画像を示す図である。
【図４】（ａ）は第１撮像画像について複数の第１線分を抽出した状態を示す図であり、（ｂ）は第２撮像画像について第１線分それぞれに対応する複数の第２線分を抽出した状態を示す図である。
【図５】（ａ）は第１線分それぞれの第１特徴点を抽出した状態を示す図であり、（ｂ）は第２線分それぞれの第２特徴点を抽出した状態を示す図である。
【図６】（ａ）は変化量が変化量閾値以上である第１線分の第１特徴点を抽出した状態を示す図であり、（ｂ）は変化量が変化量閾値以上である第２線分の第２特徴点を抽出した状態を示す図である。
【図７】第２撮像画像において変化量が変化量閾値未満である第２線分を抽出した状態を示す図である。
【図８】（ａ）は変化量が変化量閾値未満である第１線分の第１特徴点を抽出した状態を示す図であり、（ｂ）は変化量が変化量閾値未満である第２線分の第２特徴点を抽出した状態を示す図である。
【図９】（ａ）は第１線分において変化量が変化量閾値以上である第１特徴点に対する変化量が変化量閾値未満である第１特徴点の位置関係を算出する状態を示す図であり、（ｂ）は（ａ）の位置関係に基づいて第２撮像画像での変化量が変化量閾値未満である第１特徴点に対応する位置を算出した状態を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の実施形態に係る画像処理装置及び画像処理方法について説明する。
【００１８】
図１に示すように、第１実施形態に係る画像処理装置１は、カメラ１１、車速センサ１２、ジャイロセンサ１３、ＥＣＵ２０、ディスプレイ３１、スピーカ３２及びアクチュエータ３３を備えている。画像処理装置１は、自動車等の車両に搭載され、車両の走行中に、カメラ１１による撮像画像に基づいて物体を認識する装置である。
【００１９】
カメラ１１は、例えば、車両のフロントガラスの裏面に設けられた一つの撮像部を有する単眼カメラである。カメラ１１は、車両前方の撮像画像に関する情報をＥＣＵ２０へ送信する。カメラ１１は、モノクロカメラ及びカラーカメラのいずれでもよい。また、カメラ１１は、ステレオカメラでもよい。
【００２０】
車速センサ１２は、車両の速度を検出するためのセンサである。車速センサ１２としては、例えば、車両の車輪又は車輪と一体に回転する車軸等に対して設けられ、車輪の回転速度を信号として検出する車輪速センサが用いられる。車速センサ１２は、車輪の回転速度に応じた信号をＥＣＵ２０に送信する。
【００２１】
ジャイロセンサ１３は、方位角センサ又はヨーレートセンサを含む。方位角センサは、車両の進行方向を検出するためのセンサである。方位角センサは、車両の進行方向に応じた信号をＥＣＵ２０に送信する。ヨーレートセンサは、車両の重心の鉛直軸周りのヨーレート（回転角速度）を検出することにより、車両の向きを検出するためのセンサである。ヨーレートセンサは、検出した車両のヨーレートに応じた信号をＥＣＵ２０へ出力する。
【００２２】
ＥＣＵ２０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。ＥＣＵ２０では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、ＥＣＵ２０のハードウェアが線分抽出部２１、特徴点抽出部２２、変化量算出部２３、物体認識部２４及び車両制御部２５として機能する。ＥＣＵ２０は、複数のＥＣＵから構成されていてもよい。
【００２３】
線分抽出部２１は、第１時点の第１撮像画像について複数の第１線分を抽出するとともに、第１時点より後の第２時点の第２撮像画像について複数の第２線分それぞれを抽出する。第１時点と第２時点との間隔は、例えば、５０〜１００ｍｓｅｃとすることができる。線分抽出部２１は、例えば、ハフ変換により、第１撮像画像について第１線分を抽出し、第２撮像画像について第２線分を抽出する。また、線分抽出部２１は、他の手法により第１線分及び第２線分を抽出してもよい。
【００２４】
特徴点抽出部２２は、第１線分それぞれの第１特徴点を抽出し、第１線分それぞれに当該第１特徴点を関連付けて登録するとともに、第２線分それぞれの第２特徴点を抽出し、第２線分それぞれに当該第２特徴点を関連付けて登録する。第１線分の第１特徴点とは、例えば、第１特徴点から予め設定された距離以内の位置に存在する予め設定された輝度以上の点を意味する。また、第１線分の第１特徴点とは、例えば、第１線分の端点を意味する。第１線分の端点には、一つの第１線分の端点であって、他の第１線分との交点（角点）をとなる端点を含む。第１線分の端点には、第１撮影画像の外周との交点となる端点を含む。特徴点抽出部２２は、例えばHarris、ＦＡＳＴ（Features from Accelerated SegmentTest）、ＳＵＲＦ（Speeded Up Robust Features）又はＳＩＦＴ（Scale-Invariant Feature Transform）の手法により、第１線分それぞれの第１特徴点を抽出する。複数の第１線分それぞれに重複して一つの第１特徴点が抽出され、複数の第１線分それぞれに重複して一つの第１特徴点が関連付けられて登録されてもよい。第２線分の第２特徴点も、上述した第１線分の第１特徴点と同様にして抽出される。また、特徴点抽出部２２は、他の手法により第１特徴点及び第２特徴点を抽出してもよい。
【００２５】
変化量算出部２３は、第１線分それぞれの第１撮像画像内での位置に対して、第１線分それぞれに対応する第２線分それぞれの第２撮像画像内での位置の変化量を算出する。第１線分と第２線分とが対応しているか否かは、例えば、第１線分に含まれる第１特徴点の画素と第２線分に含まれる第２特徴点の画素とを比較することにより、判定することができる。変化量算出部２３は、例えば、第１線分それぞれの第１撮像画像内での端点の座標と、第２線分それぞれの第２撮像画像内での端点の座標との差から変化量を算出する。変化量算出部２３は、例えば、第１線分それぞれの第１撮像画像内での傾きと、第２線分それぞれの第２撮像画像内での傾きとの差から変化量を算出してもよい。また、変化量算出部２３は、例えば、第１線分それぞれの第１撮像画像内での中点の座標と、第２線分それぞれの第２撮像画像内での中点の座標との差から変化量を算出してもよい。
【００２６】
物体認識部２４は、後述するように、変化量が変化量閾値以上である第１線分及び第２線分の第１特徴点及び第２特徴点と、変化量が変化量閾値未満である第１線分及び第２線分の第１特徴点及び第２特徴点とを分けて抽出し、変化量が変化量閾値以上である第１線分の第１特徴点の第２撮像画像内での対応点を、変化量が変化量閾値以上である第１線分に対応する第２線分の第２特徴点に決定することにより物体を認識する。変化量閾値は、第１線分及び第２線分が認識の対象である物体の輪郭線等によるものか否かを判定するための変化量の閾値である。変化量閾値は、例えば、車速センサ１２で検出された車速や、ジャイロセンサ１３で検出されたヨーレートが大きいほど、大きな値に設定されてもよい。
【００２７】
車両制御部２５は、物体認識部２４で認識された物体をディスプレイ３１に表示する車両制御を行う。また、車両制御部２５は、認識された物体との距離が予め設定された閾値未満になったときに、ディスプレイ３１又はスピーカ３２から車両のドライバーに必要な警報を報知する車両制御を行う。また、車両制御部２５は、認識された物体との距離が予め設定された閾値未満になったときに、アクチュエータ３３により、車両の加速、制動及び操舵のいずれかの動作を制御する車両制御を行う。
【００２８】
ディスプレイ３１は、例えば、コンビネーションメータのＭＩＤ（MultiInformation Display）、インストルメントパネルのセンターディスプレイ、ＨＵＤ(Head-upDisplay)等のうち少なくとも一つを含んでいる。ディスプレイ３１は、複数の種類のディスプレイから構成されていてもよい。ディスプレイ３１は、ＥＣＵ２０の車両制御部２５からの制御信号に応じて表示を行う。
【００２９】
スピーカ３２は、車両のインストルメントパネル裏に設けられたスピーカ、車両の運転席のドア内側に設けられたスピーカ、ＥＣＵ２０の内蔵スピーカ等のうち少なくとも一つを含んでいる。スピーカ３２は、ＥＣＵ２０の車両制御部２５からの制御信号に応じて音声の出力及び警報の報知を行う。
【００３０】
アクチュエータ３３は、車両の加速、制動及び操舵のいずれかの動作を制御する装置である。アクチュエータ３３は、スロットルアクチュエータ、ブレーキアクチュエータ及びステアリングアクチュエータを少なくとも含む。スロットルアクチュエータは、ＥＣＵ２０からの制御信号に応じてエンジンに対する空気の供給量（スロットル開度）を制御し、車両の駆動力を制御する。なお、車両がハイブリッド車又は電気自動車である場合には、スロットルアクチュエータを含まず、動力源としてのモータにＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。
【００３１】
ブレーキアクチュエータは、ＥＣＵ２０からの制御信号に応じてブレーキシステムを制御し、車両の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。ステアリングアクチュエータは、電動パワーステアリングシステムのうちステアリングトルクを制御するアシストモータの駆動を、ＥＣＵ２０からの制御信号に応じて制御する。これにより、ステアリングアクチュエータは、車両のステアリングトルクを制御する。
【００３２】
以下、本実施形態の画像処理装置１の動作について説明する。図２に示すように、画像取得工程として、車両の走行中に、カメラ１１による車両前方の撮像画像がＥＣＵ２０の線分抽出部２１により取得される（Ｓ１）。線分抽出部２１は、例えば、図３（ａ）に示すような第１時点の第１撮像画像Ｆ１と、図３（ｂ）に示すような第２時点の第２撮像画像Ｆ２とを取得する。第１時点の第１撮像画像Ｆ１に写った建物、樹木及び路面の白線等は、第１時点よりも後の第２時点の第２撮像画像Ｆ２では、車両のより手前側に写っている。一方、第１撮像画像Ｆ１に写った遠景の山等は、第２撮像画像Ｆ２でも位置が変化していない。
【００３３】
図２に示すように、線分抽出工程として、線分抽出部２１により、第１時点の第１撮像画像Ｆ１について複数の第１線分が抽出されるとともに、第２時点の第２撮像画像Ｆ２について複数の第２線分が抽出される（Ｓ２）。図４（ａ）に示すように、第１時点ｔ１の第１撮像画像Ｆ１について、樹木の輪郭線である第１線分Ｌ１（ｔ１）が抽出される。また、遠景の山の輪郭線である第１線分Ｌ２（ｔ１）が抽出される。同様にして、図４（ｂ）に示すように、第２時点ｔ２の第２撮像画像Ｆ２について、樹木の輪郭線である第２線分Ｌ１（ｔ２）等が抽出される。また、遠景の山の輪郭線である第２線分Ｌ２（ｔ２）が抽出される。
【００３４】
図２に示すように、特徴点抽出工程として、ＥＣＵ２０の特徴点抽出部２２により、第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）等それぞれの第１特徴点が抽出され、第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）等それぞれと関連付けられて登録されるとともに、第２線分Ｌ１（ｔ２），Ｌ２（ｔ２）等それぞれの第２特徴点が抽出され、第２線分Ｌ１（ｔ２），Ｌ２（ｔ２）等それぞれと関連付けられて登録される（Ｓ３）。図５（ａ）に示すように、第１線分Ｌ１（ｔ１）の端点である第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）が抽出される。また、第１線分Ｌ２（ｔ１）の端点と第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）が抽出される。同様にして、図５（ｂ）に示すように、第２線分Ｌ１（ｔ２）の端点である第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）が抽出される。また、第２線分Ｌ２（ｔ２）の端点と第２線分Ｌ１（ｔ２）との交点である第２特徴点Ｐ２（ｔ２）が抽出される。なお、上述したように、複数の第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）それぞれに重複して一つの第１特徴点Ｐ２（ｔ１）が抽出され、複数の第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）それぞれに重複して関連付けられて登録されてもよく、複数の第２線分Ｌ１（ｔ２），Ｌ２（ｔ２）それぞれに重複して一つの第２特徴点Ｐ２（ｔ２）が抽出され、複数の第２線分Ｌ１（ｔ２），Ｌ２（ｔ２）それぞれに重複して関連付けられて登録されてもよい。
【００３５】
図２に示すように、変化量算出工程として、ＥＣＵ２０の変化量算出部２３により、第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）等それぞれの第１撮像画像Ｆ１内での位置に対して、第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）等それぞれに対応する第２線分Ｌ１（ｔ２），Ｌ２（ｔ２）等それぞれの第２撮像画像Ｆ２内での位置の変化量が算出される（Ｓ４）。図５（ａ）（ｂ）に示すように、樹木の輪郭線である第１線分Ｌ１（ｔ１）に対する第２線分Ｌ１（ｔ２）の変化量は大きい。一方、遠景の山の輪郭線である第１線分Ｌ２（ｔ１）に対する第２線分Ｌ２（ｔ２）の変化量は０である。
【００３６】
図２に示すように、物体認識工程として、ＥＣＵ２０の物体認識部２４により、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）及び第２線分Ｌ１（ｔ２）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）及び第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）等と、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）及び第２線分Ｌ２（ｔ２）の第１特徴点Ｐ２（ｔ１）及び第２特徴点Ｐ２（ｔ２）等とを分けて抽出し、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）の第２撮像画像Ｆ２内での対応点を、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）に対応する第２線分Ｌ１（ｔ２）の第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）に決定することにより物体が認識される（Ｓ５）。
【００３７】
図６（ａ）に示すように、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）等の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）等が物体のみによる特徴点として抽出される。同様に、図６（ｂ）に示すように、変化量が変化量閾値以上である第２線分Ｌ１（ｔ２）等の第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）等が物体のみによる特徴点として抽出される。物体認識部２４は、物体上の同一位置である第１特徴点Ｐ１ａ（ｔ１）と第２特徴点Ｐ１ａ（ｔ２）とを対応付け、物体上の同一位置である第１特徴点Ｐ１ｂ（ｔ１）と第２特徴点Ｐ１ｂ（ｔ２）とを対応付ける。物体認識部２４は、第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）の画素の輝度と第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）の画素の輝度とを比較することにより、互いの対応付けを行うことができる。物体認識部２４は、上記対応付けを例えばＫＬＴ trackerの手法やエピポーラ線上の探索等の手法で行うことができる。
【００３８】
図７に示すように、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）等が遠景の山等の輪郭線として抽出される。図７に示すように、物体認識部２４は、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）等において、変化量が変化量閾値以上である第２線分Ｌ１（ｔ２）等により遮断された部位が存在すると考えられる部位を補間することにより、遠景のみを示す撮像画像を形成してもよい。上記補間は、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）等それぞれの第２撮像画像Ｆ２内での傾き、端点の座標及び画素の輝度等を比較することにより行うことができる。
【００３９】
図８（ａ）に示すように、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）等の第１特徴点Ｐ２（ｔ１）等が遠景による特徴点として抽出される。同様に、図８（ｂ）に示すように、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）等の第２特徴点Ｐ２（ｔ２）等が遠景による特徴点として抽出される。
【００４０】
なお、第１特徴点Ｐ２（ｔ１）が、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）に関連付けられて登録されている場合であっても、第１特徴点Ｐ２（ｔ１）が、変化量が変化量未満である第１線分Ｌ２（ｔ１）にも重複して関連付けられて登録されている場合は、第１特徴点Ｐ２（ｔ１）は、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の特徴点として取り扱われる。同様に、第２特徴点Ｐ２（ｔ２）が、変化量が変化量閾値以上である第２線分Ｌ１（ｔ２）に関連付けられて登録されている場合であっても、第２特徴点Ｐ２（ｔ２）が、変化量が変化量未満である第２線分Ｌ２（ｔ２）にも重複して関連付けられて登録されている場合は、第２特徴点Ｐ２（ｔ２）は、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）の特徴点として取り扱われる。
【００４１】
しかし、変化量が変化量閾値以上である第１線分と変化量未満である第１線分とに重複して関連付けられて登録されている第１特徴点であって、変化量が変化量閾値以上である第１線分が鉛直方向に伸びる線分であり、当該第１特徴点が、変化量が変化量閾値以上である第１線分の下端点である場合は、当該第１特徴点は路面との接地点である可能性が高く、特徴点が物体の輪郭線上で移動する問題が生じないため、例外的に、変化量が変化量閾値以上である第１線分の特徴点として取り扱ってもよい。変化量が変化量閾値以上である第２線分と変化量未満である第２線分とに重複して関連付けられて登録されている第２特徴点についても同様である。
【００４２】
本実施形態では、図９（ａ）に示すように、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）が抽出される。また、図９（ｂ）に示すように、物体認識部２４により、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）の端点と変化量が変化量閾値以上である第２線分Ｌ１（ｔ２）との交点である第２特徴点Ｐ２（ｔ２）が抽出される。
【００４３】
図９（ａ）に示すように、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）と、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）との第１撮像画像Ｆ１内での位置関係が算出される。具体的には、例えば、同一の第１線分Ｌ１（ｔ１）上の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１），Ｐ２（ｔ１）について、第１特徴点Ｐ１ｂ（ｔ１）と第１特徴点Ｐ２（ｔ１）と間の距離に対する第１特徴点Ｐ２（ｔ１）と第１特徴点Ｐ１ａ（ｔ１）との間の距離の比が算出される。
【００４４】
図９（ｂ）に示すように、上記の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１），Ｐ２（ｔ１）の位置関係に基づいて、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）の第２撮像画像Ｆ２内での対応する位置の点である対応点Ｐが決定される。具体的には、例えば、同一の第２線分Ｌ１（ｔ２）上において、第１特徴点Ｐ１ｂ（ｔ１）と第１特徴点Ｐ２（ｔ１）と間の距離に対する第１特徴点Ｐ２（ｔ１）と第１特徴点Ｐ１ａ（ｔ１）との間の距離の比と、第２特徴点Ｐ１ｂ（ｔ２）と対応点Ｐと間の距離に対する対応点Ｐと第２特徴点Ｐ１ａ（ｔ２）との間の距離の比とが等しくなるような対応点Ｐが決定される。物体認識部２４により、第１特徴点Ｐ２（ｔ１）に対応する第２特徴点として、第２特徴点Ｐ２（ｔ２）ではなく対応点Ｐが対応付けられる。
【００４５】
上記のようにして対応付けられた第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）及び第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）と、第１特徴点Ｐ２（ｔ１）及び対応点Ｐとに基づいて、物体認識部２４により物体が認識される。
【００４６】
図２に示すように、自車運動推定工程として、車両制御部２５により、物体認識部２４により認識された物体のみによる第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１），Ｐ２（ｔ１）、第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）及び対応点Ｐに関する情報と、車速センサ１２により検出された車速とに基づいて、車両の速度、加速度、方向等の運動状態が推定される（Ｓ６）。車両の運動状態の推定は、例えば、第１特徴点Ｐ１ａ（ｔ１）等に関する情報に基づいて８点アルゴリズムでＦ行列を推定し、特異値分解で回転及び並進成分を算出し、車速センサ１２により検出された車速によりスケールを合せる手法により行うことができる。これにより、車速センサ１２やジャイロセンサ１３の検出結果のみに基づいて車両の運動状態を検出する場合よりも、高い精度で車両の運動状態を推定することができる。
【００４７】
三次元位置推定工程として、物体認識部２４により、物体認識工程による認識結果と自車運動推定工程による車両の運動状態とに基づいて、例えば、三角測量等の原理により、物体の三次元空間での位置が算出される（Ｓ７）。物体の三次元空間での位置に応じて、ＥＣＵ２０の車両制御部２５は、ディスプレイ３１、スピーカ３２又はアクチュエータ３３により、必要な車両制御を行う。
【００４８】
本実施形態によれば、画像処理装置１の物体認識部２４により、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）及び第２線分Ｌ１（ｔ２）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）及び第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）と、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）及び第２線分Ｌ２（ｔ２）の第１特徴点Ｐ２（ｔ１）及び第２特徴点Ｐ２（ｔ２）とを分けて抽出し、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）の第２撮像画像Ｆ２内での対応点を、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）に対応する第２線分Ｌ１（ｔ２）の第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）に決定することにより物体が認識される。これにより、認識の対象となる物体のみによる第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）及び第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）と、認識の対象とはならない遠景による第１特徴点Ｐ２（ｔ１）及び第２特徴点Ｐ２（ｔ２）とが区別され、認識の対象となる物体のみによる第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）と第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）とが対応付けられるため、物体を認識する精度を向上させることができる。
【００４９】
また、本実施形態によれば、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の第１特徴点Ｐ２（ｔ１）として、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）が抽出されることにより物体が認識される。これにより、認識の対象となる物体のみによる第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）と、認識の対象となる物体の輪郭線と認識の対象とならない遠景の輪郭線との交点とが区別されるため、誤認識を低減することができる。
【００５０】
また、本実施形態によれば、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）と、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）との第１撮像画像Ｆ１内での位置関係に基づいて、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）の第２撮像画像Ｆ２内での対応点Ｐが決定される。これにより、認識の対象となる物体のみによる第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）及び第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）に基づいて、第１撮像画像Ｆ１内での認識の対象となる物体の輪郭線と認識の対象とならない遠景の輪郭線との交点の第２撮像画像Ｆ２内での対応点Ｐが決定されるため、物体を認識する精度をさらに向上させることができる。
【００５１】
すなわち、単に特徴点同士の輝度等に基づいて特徴点同士を対応付けた場合は、図９（ａ）（ｂ）に示すように、第１撮像画像Ｆ１における変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）と、第２撮像画像Ｆ２における変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）とが対応付けられる恐れがある。
【００５２】
この場合、物体の輪郭線である第１線分Ｌ１（ｔ１）及び第２線分Ｌ１（ｔ２）は第１撮像画像Ｆ１及び第２撮像画像Ｆ２で移動するのに対して、遠景の輪郭線である第１線分Ｌ２（ｔ１）及び第２線分Ｌ２（ｔ２）は第１撮像画像Ｆ１及び第２撮像画像Ｆ２で移動しないために、第１特徴点Ｐ２（ｔ１）及び第２特徴点Ｐ２が物体の輪郭線上で移動する。このため、実際には物体上の同一位置ではない位置を同一位置として誤認識する場合や、物体の位置や移動量を正確に認識できない場合がある。一方、本実施形態では、第１撮像画像Ｆ１における第１特徴点Ｐ２（ｔ１）に対して、第２撮像画像Ｆ２における実際の物体上の同一位置の点である対応点Ｐが対応付けられるため、物体を認識する精度を向上させることができる。
【００５３】
尚、本発明の実施形態の画像処理装置及び画像処理方法は、上記した実施の形態に限定されるものではなく、本発明の実施形態の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００５４】
例えば、物体認識部２４により、変化量が変化量閾値未満である第１線分及び第２線分の第１特徴点及び第２特徴点として、変化量が変化量閾値未満である第１線分同士の交点である第１特徴点、及び変化量が変化量閾値未満である第２線分同士の交点である第２特徴点が抽出されることにより物体が認識されてもよい。この場合、遠景による特徴点を抽出し、第１撮像画像Ｆ１及び第２撮像画像Ｆ２から遠景を除去することにより、物体を認識してもよい。
【００５５】
また、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の第１特徴点Ｐ２（ｔ１）として、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）が抽出されることにより物体が認識される場合においても、第１特徴点Ｐ２（ｔ１）の対応点Ｐを算出せずに、第１特徴点Ｐ２（ｔ１）及び第２特徴点Ｐ２（ｔ２）を対応付けの対象から除くことにより物体を認識し、演算負荷を軽減してもよい。
【００５６】
また、本実施形態の画像処理装置１は必ずしも車両に搭載されている必要は無く、画像処理装置は固定されており、移動する物体を認識するために適用されてもよい。
【符号の説明】
【００５７】
１…画像処理装置、１１…カメラ、１２…車速センサ、１３…ジャイロセンサ、２０…ＥＣＵ、２１…線分抽出部、２２…特徴点抽出部、２３…変化量算出部、２４…物体認識部、２５…車両制御部、３１…ディスプレイ、３２…スピーカ、３３…アクチュエータ、Ｆ１…第１撮像画像、Ｆ２…第２撮像画像、Ｌ１（ｔ１），Ｌ２（ｔ１）…第１線分、Ｌ１（ｔ２），Ｌ２（ｔ２）…第２線分、Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１），Ｐ２（ｔ１）…第１特徴点、Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２），Ｐ２（ｔ２）…第２特徴点、Ｐ…対応点。
【図１】
0006337811.tif 000002
【図２】
0006337811.tif 000003
【図３】
0006337811.tif 000004
【図４】
0006337811.tif 000005
【図５】
0006337811.tif 000006
【図６】
0006337811.tif 000007
【図７】
0006337811.tif 000008
【図８】
0006337811.tif 000009
【図９】
0006337811.tif 000010