(57)【特許請求の範囲】
【請求項１】
入力された入力映像信号に対して遅延した遅延映像信号を出力する遅延部と、
前記入力映像信号を基に障害物の輪郭を抽出する第１の輪郭抽出部と、前記入力映像信号から白線を第１の白線情報として検出する第１の白線検出部と、前記第１の輪郭抽出部から出力される第１の輪郭情報に基づいて前記障害物の前面側の下部のエッジ部分を第１の前面エッジとして抽出する第１の前面エッジ抽出部と、前記第１の前面エッジの線分を延長した直線と前記第１の白線情報に含まれる白線との第１の交点を算出する第１の交点算出部とを有し、前記第１の交点を第１の基準位置情報として出力する第１の基準位置推定部と、
前記遅延映像信号を基に前記障害物の輪郭を抽出する第２の輪郭抽出部と、前記遅延映像信号から白線を第２の白線情報として検出する第２の白線検出部と、前記第２の輪郭抽出部から出力される第２の輪郭情報に基づいて前記障害物の前面側の下部のエッジ部分を第２の前面エッジとして抽出する第２の前面エッジ抽出部と、前記第２の前面エッジの線分を延長した直線と前記第２の白線情報に含まれる白線との第２の交点を算出する第２の交点算出部とを有し、前記第２の交点を第２の基準位置情報として出力する第２の基準位置推定部と、
前記第１の基準位置情報と前記第２の基準位置情報とに基づいてフレーム間の前記障害物の動きを予測し動き予測情報を出力する動き予測部と、
前記動き予測情報と前記入力映像信号と前記遅延映像信号とに基づいて前記障害物の動きベクトルを検出する動きベクトル検出部とを備え、
前記動きベクトル検出部は、前記動き予測情報に基づいて前記入力映像信号の内の一部の領域のみに限定して演算処理を行う
ことを特徴とする動き検出装置。
【請求項２】
前記動きベクトル検出部は、ブロックマッチング手法を用い、前記第１の輪郭情報と第２の輪郭情報と前記動き予測情報とに基づいて演算対象領域を限定して演算を行う
ことを特徴とする請求項１に記載の動き検出装置。
【請求項３】
前記第１の前面エッジ抽出部は、前記第１の輪郭情報に含まれる線分の端点の座標及び前記第１の輪郭情報に含まれる線分と前記第１の白線情報に含まれる白線とのなす角度に基づいて前記第１の前面エッジを抽出し、
前記第２の前面エッジ抽出部は、前記第２の輪郭情報に含まれる線分の端点の座標及び前記第２の輪郭情報に含まれる線分と前記第２の白線情報に含まれる白線とのなす角度に基づいて前記第２の前面エッジを抽出する
ことを特徴とする請求項１または２に記載の動き検出装置。
【請求項４】
前記第１の前面エッジ抽出部は、前記第１の輪郭情報に含まれる線分と前記第１の白線情報に含まれる白線とのなす角度が９０度に近い線分を前記第１の前面エッジとみなし、
前記第２の前面エッジ抽出部は、前記第２の輪郭情報に含まれる線分と前記第２の白線情報に含まれる白線とのなす角度が９０度に近い線分を前記第２の前面エッジとみなす
ことを特徴とする請求項３に記載の動き検出装置。
【請求項５】
前記第１の交点算出部は、前記第１の前面エッジの線分を含む直線と前記第１の白線情報に含まれる白線との交点を算出して前記第１の交点として出力し、
前記第２の交点算出部は、前記第２の前面エッジの線分を含む直線と前記第２の白線情報に含まれる白線との交点を算出して前記第２の交点として出力する
ことを特徴とする請求項１または２に記載の動き検出装置。
【請求項６】
対象となる障害物の動きの予測に基づいて動きベクトルを検出する障害物動き検出方法において、
入力された入力映像信号を所定のフレーム数だけ遅延した遅延映像信号を出力する遅延ステップと、
前記入力映像信号を基に前記障害物の第１の輪郭情報を抽出し、前記入力映像信号から第１の白線情報を検出し、前記第１の輪郭情報に基づいて前記障害物の前面側の下部のエッジ部分を第１の前面エッジとして抽出し、前記第１の前面エッジの線分を延長した直線と前記第１の白線情報に含まれる白線との第１の交点を算出し、前記第１の交点を第１の基準位置情報として出力する第１の基準位置推定ステップと、
前記遅延映像信号を基に前記障害物の第２の輪郭情報を抽出し、前記遅延映像信号から第２の白線情報を検出し、前記第２の輪郭情報に基づいて前記障害物の前面側の下部のエッジ部分を第２の前面エッジとして抽出し、前記第２の前面エッジの線分を延長した直線と前記第２の白線情報に含まれる白線との第２の交点を算出し、前記第２の交点を第２の基準位置情報として出力する第２の基準位置推定ステップと、
前記第１の基準位置情報と前記第２の基準位置情報とに基づいてフレーム間の前記障害物の動きを予測し動き予測情報を出力する動き予測ステップと、
前記動き予測情報に基づいて前記入力映像信号の内の一部の領域のみに限定して演算処理を行い、前記入力映像信号と前記遅延映像信号とに基づいて前記障害物の動きベクトルを検出する動きベクトル検出ステップと
を備えることを特徴とする動き検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによって撮影された画像から、車両に障害となりうる物体の動きを検出する動き検出装置及び動き検出方法に関するものである。
【背景技術】
【０００２】
自動車などの車両の運転を支援するため、例えば車の周囲にカメラを設置し、カメラで撮影された画像から車両の障害となりうる物体を検出する技術がある。物体を検出するための画像処理技術としては、撮像された複数の画像間の動きベクトルを検出し、障害となる物体の動きベクトルと背景物の動きベクトルとの差異で障害物を検知する技術がある。
【０００３】
特許文献１に記載された技術は、複数画像の動きベクトルを検出し、車両の動きパラメータと背景画像のベクトルとを算出し、異なる動きを示す一群の動きベクトルを障害物と推定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−９７３９０号公報（第５−７頁、第１図）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述の特許文献１に記載された技術における動きベクトルの検出は、ブロックマッチング法又は勾配法を用いて動きベクトルを検出する。例えば、ブロックマッチング法では、最もマッチングするブロックを探索するために、検索しているブロックの近傍の全てのブロックとのマッチング演算を行って最適なベクトルを算出する。そのため、特許文献１における動きベクトルの検出は、計算量が多くなるという課題がある。特許文献１における動きベクトルの検出は、計算量が多いため、自分の車両の速度又は検出対象となる車両の速度が速い場合には、対象車両の動きを十分に捕捉できるサンプリング間隔で計算を完了することができない。また、特許文献１における動きベクトルの検出は、背景画像を障害物として誤検出する場合がある。
【０００６】
本発明は、上述のような課題を解決するためになされたものであり、車の周囲にカメラを設置、または、車に周囲を観察するカメラを搭載し、カメラで撮影された画像から車両の障害となり得る物体の動きベクトルを検出する際に、より少ない演算量で検出精度の低下を抑えて障害物の動きベクトルを検出することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る動き検出装置においては、入力された入力映像信号に対して遅延した遅延映像信号を出力する遅延部と、入力映像信号を基に障害物の輪郭を抽出する第１の輪郭抽出部と、入力映像信号から白線を第１の白線情報として検出する第１の白線検出部と、第１の輪郭抽出部から出力される第１の輪郭情報に基づいて障害物の前面側の下部のエッジ部分を第１の前面エッジとして抽出する第１の前面エッジ抽出部と、第１の前面エッジの線分を延長した直線と第１の白線情報に含まれる白線との第１の交点を算出する第１の交点算出部とを有し、第１の交点を第１の基準位置情報として出力する第１の基準位置推定部と、遅延映像信号を基に障害物の輪郭を抽出する第２の輪郭抽出部と、遅延映像信号から白線を第２の白線情報として検出する第２の白線検出部と、第２の輪郭抽出部から出力される第２の輪郭情報に基づいて障害物の前面側の下部のエッジ部分を第２の前面エッジとして抽出する第２の前面エッジ抽出部と、第２の前面エッジの線分を延長した直線と第２の白線情報に含まれる白線との第２の交点を算出する第２の交点算出部とを有し、第２の交点を第２の基準位置情報として出力する第２の基準位置推定部と、第１の基準位置情報と第２の基準位置情報とに基づいてフレーム間の障害物の動きを予測し動き予測情報を出力する動き予測部と、動き予測情報と入力映像信号と遅延映像信号とに基づいて障害物の動きベクトルを検出する動きベクトル検出部とを備え、動きベクトル検出部は、動き予測情報に基づいて入力映像信号の内の一部の領域のみに限定して演算処理を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、障害物の動きを検出する際に、一部の領域のみに限定して演算処理を行うため、演算量を低減して検出精度の低下を抑えて障害物の動きを検出することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る動き検出装置１０の構成を示す図である。
【図２】本発明の実施の形態１に係る第１の基準位置推定部３又は第２の基準位置推定部４の構成を示す図である。
【図３】本発明の実施の形態１に係る輪郭抽出部３１又は輪郭抽出部４１の動作を説明する図である。
【図４】本発明の実施の形態１に係る白線検出部３２又は白線検出部４２の動作を説明する図である。
【図５】本発明の実施の形態１に係る前面エッジ抽出部３３又は前面エッジ抽出部４３の動作を説明する図である。
【図６】本発明の実施の形態１に係る交点算出部３４又は交点算出部４４の動作を説明する図である。
【図７】本発明の実施の形態１に係る動き予測部５の動作を説明する図である。
【図８】本発明の実施の形態１に係る動きベクトル検出部６の動作を説明する図である。
【図９】本発明の実施の形態１に係る動き検出装置１０を有する障害物検出装置１４の構成を示す図である。
【図１０】本発明の実施の形態１に係る障害物検出方法のフローチャートを示す図である。
【図１１】本発明の実施の形態１に係る基準位置推定部３，４の処理工程を示すフローチャートである。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１に係る動き検出装置１０の構成を示す図である。図１に示す動き検出装置１０は、遅延部２、第１の基準位置推定部３、第２の基準位置推定部４、動き予測部５及び動きベクトル検出部６を備えている。
【００１１】
＜動き検出装置１０＞
動き検出装置１０には、映像信号が入力映像信号Ｄａ１として入力される。入力映像信号Ｄａ１は、例えば、車に搭載されたカメラ又は車外に設置されたカメラ等の撮像機器により車外のシーンを撮影した映像信号である。動き検出装置１０は、例えば、自車付近を走行する車と自車との相対速度を一定のサンプリング間隔で画素ごとにベクトルとして検出する。動き検出装置１０は、検出したベクトルを動きベクトル信号Ｄｄ１として出力する。「自車」とは本発明に記載された動き検出装置及び動き検出方法が搭載された車のことである。
【００１２】
＜遅延部２＞
動き検出装置１０における入力映像信号Ｄａ１は、遅延部２に入力される。遅延部２は、入力映像信号Ｄａ１を所定のフレーム数だけ遅延する。そして、遅延部２は、遅延映像信号Ｄａ２を出力する。
遅延するフレーム数は、カメラのサンプリングレート又は検出すべき障害物と自車との相対速度の範囲に応じて予め定めておく。「障害物」とは、例えば、自車以外の走行する車両である。
【００１３】
＜基準位置推定部３，４＞
図２は、第１の基準位置推定部３又は第２の基準位置推定部４の構成を示す図である。図２中の符合は第１の基準位置推定部３の構成要素を示し、括弧内の符合は第２の基準位置推定部４の構成要素を示している。第１の基準位置推定部３は、輪郭抽出部３１、白線検出部３２、前面エッジ抽出部３３及び交点算出部３４を有する。第１の基準位置推定部３には、入力映像信号Ｄａ１が入力される。輪郭抽出部３１には、第１の基準位置推定部３への入力信号である入力映像信号Ｄａ１が入力される。また、輪郭抽出部３１は、前面エッジ抽出部３３に輪郭情報Ｔ３１を出力する。白線検出部３２には、第１の基準位置推定部３への入力信号である入力映像信号Ｄａ１が入力される。また、白線検出部３２は、前面エッジ抽出部３３及び交点算出部３４に白線情報Ｔ３２を出力する。前面エッジ抽出部３３には、輪郭情報Ｔ３１及び白線情報Ｔ３２が入力される。また、前面エッジ抽出部３３は、交点算出部３４に前面エッジＴ３３を出力する。交点算出部３４には、白線情報Ｔ３２及び前面エッジＴ３３が入力される。また、交点算出部３４は、交点情報Ｔ３４を出力する。交点情報Ｔ３４は、第１の基準位置推定部３の出力信号として出力される。
【００１４】
第２の基準位置推定部４の構成も、第１の基準位置推定部３と同様である。第２の基準位置推定部４は、輪郭抽出部４１、白線検出部４２、前面エッジ抽出部４３及び交点算出部４４を有する。第２の基準位置推定部４における輪郭抽出部４１は、第１の基準位置推定部３における輪郭抽出部３１に対応する。第２の基準位置推定部４における白線検出部４２は、第１の基準位置推定部３における白線検出部３２に対応する。第２の基準位置推定部４における前面エッジ抽出部４３は、第１の基準位置推定部３における前面エッジ抽出部３３に対応する。第２の基準位置推定部４における交点算出部４４は、第１の基準位置推定部３における交点算出部３４に対応する。第２の基準位置推定部４における入力映像信号Ｄａ２は、第１の基準位置推定部３における入力映像信号Ｄａ１に対応する。
【００１５】
第１の基準位置推定部３は、入力映像信号Ｄａ１に含まれる障害物の基準となる位置情報を検出する。つまり、第１の基準位置推定部３は、入力映像信号Ｄａ１から障害物の位置を推定し第１の基準位置情報を出力する。そして、第１の基準位置推定部３は、検出した位置情報を基準位置情報Ｄｂ１として出力する。第１の基準位置推定部３の詳細な説明は後述する。第２の基準位置推定部４は、検出した位置情報を基準位置情報Ｄｂ２として出力する。つまり、第２の基準位置推定部４は、入力映像信号Ｄａ２から障害物の位置を推定し第２の基準位置情報を出力する。第２の基準位置推定部４の動作は、第１の基準位置推定部３と同様である。
【００１６】
＜動き予測部５＞
動き予測部５には、第１の基準位置情報Ｄｂ１と第２の基準位置情報Ｄｂ２とが入力される。動き予測部５は、第１の基準位置情報Ｄｂ１と第２の基準位置情報Ｄｂ２とに基づいて、フレーム間の障害物の座標変化を推定する。つまり、フレーム間の障害物の動きを推定する。そして、動き予測部５は、推定した結果を動き予測情報Ｄｃ１として出力する。
【００１７】
＜動きベクトル検出部６＞
動きベクトル検出部６には、入力映像信号Ｄａ１、遅延映像信号Ｄａ２及び動き予測情報Ｄｃ１が入力される。そして、動きベクトル検出部６は、入力映像信号Ｄａ１と遅延映像信号Ｄａ２とを用いて動きベクトル検出を行う。その際に、動きベクトル検出部６は、動きベクトルを検出する対象領域を動き予測情報Ｄｃ１に基づいて限定する。動きベクトル検出部６の詳細な説明は後述する。
【００１８】
図３は、輪郭抽出部３１又は輪郭抽出部４１の動作を説明する図である。図３は、輪郭抽出部３１及び輪郭抽出部４１の動作の一例を示している。図３（Ａ）は、遅延映像信号Ｄａ２の一例を模式的に示した図である。図３（Ａ）は、手前から右側にカーブした道路の奥側にある車が手前側に向かっている画像が描かれている。画像は物体の輪郭で描かれている。図３（Ｂ）は、入力映像信号Ｄａ１の一例を模式的に示した図である。図３（Ｂ）は、手前から右側にカーブした道路の手前側にある車が手前側に向かっている画像が描かれている。車は、図３（Ａ）で描かれている車と同じである。画像は物体の輪郭で描かれている。図３（Ｃ）は、第２の位置推定部４の輪郭抽出部４１から出力される輪郭情報Ｔ４１を示した図である。図３（Ｃ）は、図３（Ａ）で描かれた車の輪郭のみ抽出された画像である。図３（Ｄ）は、第１の位置推定部３の輪郭抽出部３１から出力される輪郭情報Ｔ３１を示した図である。図３（Ｄ）は、図３（Ｂ）で描かれた車の輪郭のみ抽出された画像である。
【００１９】
＜基準位置推定部３，４の動作＞
第１の基準位置推定部３及び第２の基準位置推定部４の動作を詳細に説明する。入力映像信号Ｄａ１は、第１の基準位置推定部３に入力される。つまり、入力映像信号Ｄａ１は、輪郭抽出部３１に入力される。輪郭抽出部３１は、図３（Ｂ）のような入力映像信号Ｄａ１に含まれる物体の輪郭情報を抽出する。そして、輪郭抽出部３１は、抽出された輪郭情報Ｔ３１を出力する。輪郭抽出部３１は、入力映像信号Ｄａ１に輪郭抽出処理を行う。
【００２０】
遅延映像信号Ｄａ２は、第２の基準位置推定部４に入力される。つまり、遅延映像信号Ｄａ２は、輪郭抽出部４１に入力される。輪郭抽出部４１は、図３（Ａ）のような遅延映像信号Ｄａ２に含まれる物体の輪郭情報を抽出する。そして、輪郭抽出部４１は、抽出された輪郭情報Ｔ４１を出力する。輪郭抽出部４１は、遅延映像信号Ｄａ２に輪郭抽出処理を行う。
【００２１】
第１の基準位置推定部３及び第２の基準位置推定部４は、輪郭抽出のために輝度差分の大きい部分を抽出する。図３（Ｃ）及び図３（Ｄ）は、車の境界部分が抽出された例を示している。輝度差分の大きい部分の抽出には、Ｓｏｂｅｌフィルタなどの微分フィルタなどを用いる。「微分フィルタ」とは、画素値の変化に対して微分演算を行うことで輪郭を抽出するものである。なお、本発明は、輪郭抽出手法を限定するものではなく、どのような方法を用いても構わない。本発明は、得られた輝度差分から障害物領域を抽出する。本発明は、輪郭形状又は輪郭空間の大きさなどから障害物領域を抽出して輪郭情報Ｔ３１を出力する。
【００２２】
図４は、本発明の実施の形態１に係る白線検出部３２又は白線検出部４２の動作を説明する図である。図４（Ａ）は、図３（Ａ）で例示した映像が入力された場合の白線情報Ｔ４２を示す図である。図４（Ｂ）は、図３（Ｂ）で例示した映像が入力された場合の白線情報Ｔ３２を示す図である。白線情報Ｔ３２は、白線検出部３２が入力映像に含まれる白線を検出し出力するものである。白線情報Ｔ４２は、白線検出部４２が入力映像に含まれる白線を検出し出力するものである。図４（Ａ）及び図４（Ｂ）は、道路の両端に描かれた白線情報Ｔ３２，Ｔ４２を抽出している。本例では、説明のために自車が動いていない場合の例を挙げたために図４（Ａ）と図４（Ｂ）とは同じものとなる。
【００２３】
図４（Ａ）に示すように、白線検出部４２は、直線状の車線、又は曲線状の車線に引かれている白線を検出する。図４（Ｂ）に示すように、白線検出部３２は、直線状の車線、又は曲線状の車線に引かれている白線を検出する。白線検出部３２及び白線検出部４２は、例えば、カメラの設置状態によって入力映像信号に含まれる路面部分を限定する。つまり、白線検出部３２，４２は、例えば、カメラの設置状態によって入力映像の中から空の部分を除いた部分を路面部分として限定できる。そして、白線検出部３２及び白線検出部４２は、限定されたエリアの中から輝度分布によって白線の領域を特定することで白線の検出を行う。本発明は、白線検出の方法を限定するものではなく、輝度分布以外の方法を用いても構わない。
【００２４】
図５は、前面エッジ抽出部３３及び前面エッジ抽出部４３の動作の一例を示す図である。図５（Ａ）は、線分Ｅ１、線分Ｅ２、接線Ｅ３及び端点Ｐ１を示す図である。図５（Ｂ）は、前面エッジＴ４３を示す図である。図５（Ｃ）は、前面エッジＴ３３を示す図である。なお、図５中で、前面エッジとして抽出された線分を矢印付きの太線で示している。
【００２５】
前面エッジ抽出部３３は、障害物の前面側の下部におけるエッジを検出する。前面エッジ抽出部３３は、まず、輪郭情報Ｔ３１に含まれる輪郭情報の中から線分の情報を抽出する。例えば、画像の左下を原点とした場合に、前面エッジ抽出部３３は、抽出された線分から、線分の端点の垂直座標が最も小さい線分を選択する。図５（Ａ）の例では、選択される線分は線分Ｅ１及び線分Ｅ２となる。そして、垂直座標が最も小さい端点は端点Ｐ１となる。前面エッジ抽出部３３は、次に、端点Ｐ１に最も近い白線上の点における白線の接線を求める。図５（Ａ）の例では接線は接線Ｅ３となる。また、図５（Ａ）の例では接線Ｅ３となす角は角度θとなる。そして、前面エッジ抽出部３３は、線分Ｅ１と線分Ｅ２とのうち、角度θが９０度に近い方、つまり直交に近い方を前面下部のエッジとみなす。そして、前面エッジ抽出部３３は、線分Ｅ１を前面エッジＴ３３として出力する。図５（Ａ）の例では、線分Ｅ１が前面エッジとなる。
【００２６】
図５（Ｂ）は、図３（Ｃ）で例示した輪郭情報Ｔ４１が入力された場合の前面エッジＴ４３を示している。図５（Ｃ）は、図３（Ｄ）で例示した輪郭情報Ｔ３１が入力された場合の前面エッジＴ３３を示している。図５（Ｂ）及び図５（Ｃ）は、いずれも、前面エッジとして抽出される線分を太矢印の線分で示している。このように抽出方法で、白線と直交関係に最も近い線分を前面エッジとして抽出することができる。
【００２７】
図６は、交点算出部３４の動作の一例を示す図である。図６（Ａ）は、交点情報Ｔ４４を示す図である。図６（Ｂ）は、交点情報Ｔ３４を示す図である。図６（Ｃ）は、交点情報Ｔ４４を示す図である。
【００２８】
交点算出部３４は、前面エッジの線分を含む直線と白線との交点を算出する。交点の算出は、白線情報Ｔ３２及び前面エッジＴ３３に基づく。図６（Ａ）の例では、前面エッジＴ４３の線分を右側に延長した直線と白線Ｔ４２との交点（白抜き丸印で図示）が交点情報Ｔ４４として示されている。交点情報Ｔ４４は、交点算出部３４から出力される。
【００２９】
図６（Ａ）は、図４（Ａ）で例示した白線情報Ｔ４２と図５（Ｂ）で例示した前面エッジＴ４３とが入力された場合の交点情報Ｔ４４を示している。図４（Ｂ）で例示した白線情報Ｔ３２と図５（Ｃ）で例示した前面エッジＴ３３とが入力された場合の交点は、図６（Ｂ）の交点情報Ｔ３４となる。図４（Ａ）で例示した白線情報Ｔ４２と図５（Ｂ）で例示した前面エッジＴ４３とが入力された場合の交点は、図６（Ｃ）の交点情報Ｔ４４となる。
【００３０】
以上が、基準位置推定部３，４の詳細な動作説明である。第１の基準位置推定部３は、交点算出部３４から出力された交点情報Ｔ３４を、障害物の基準位置情報Ｄｂ１として出力する。第２の基準位置推定部４は、交点算出部４４から出力された交点情報Ｔ４４を、障害物の基準位置情報Ｄｂ２として出力する。
【００３１】
異なる映像フレームにおける同一障害物上の特徴点を追跡することは容易ではない。しかし、上述のように、障害物の輪郭から比較的正確な検出が容易な白線上の点を基準位置とすることで、正確に障害物の基準位置を推定することができる。
【００３２】
図７は、動き予測部５の動作の一例を説明するための図である。図７において、基準位置情報Ｄｂ１及び基準位置情報Ｄｂ２は、動き予測部５に入力される信号である。また、図７において、動き予測情報Ｄｃ１は、動き予測部５から出力される信号である。図７は、図６（Ｂ）で例示した基準位置情報Ｄｂ１及び図６（Ｃ）で例示した基準位置情報Ｄｂ２が入力された場合の例である。
【００３３】
＜動き予測部５の動作＞
動き予測部５の詳細な動作を説明する。動き予測部５は、Ｄｂ２が始点であり、Ｄｂ１が終点であるベクトルを算出する。動き予測部５は、算出したベクトルを動き予測情報Ｄｃ１として出力する。図７においては、動き予測情報Ｄｃ１は、点線矢印で示されている。
【００３４】
＜動きベクトル検出部６動作＞
動きベクトル検出部６の詳細な動作を説明する。図８は、動きベクトル検出部６の動作の一例を説明するための図である。図８（Ａ）は、遅延映像信号Ｄａ２を示す図である。遅延映像信号Ｄａ２は、所定の大きさの領域（ブロック）に分割されている。遅延映像信号Ｄａ２は、遅延部２が出力する信号である。図８（Ａ）では、映像の横方向を１０ブロックに分割して、映像の縦方向を７ブロックに分割している。ブロックの大きさは、撮影される映像等により定められる。図８（Ｂ）は、映像入力信号Ｄａ１を示す図である。映像入力信号Ｄａ１は、遅延映像信号Ｄａ２と演算される信号である。図８（Ｃ）は、入力映像信号Ｄａ１と遅延映像信号Ｄａ２の一部とを重ね合わせた図である。図８（Ｄ）は、入力映像信号Ｄａ１と遅延映像信号Ｄａ２の一部とを重ね合わせ、動き予測情報Ｄｃ１を記載した図である。図８（Ｅ）は、動きベクトル信号Ｄｄ１を示す図である。
【００３５】
図８では、２フレームの画像を用いてブロックマッチングによって動きベクトルを求める手法を用いている。ブロックマッチングによって動きベクトルを求める手法では、まず画像を所定の大きさの領域（ブロック）に分割する。図８（Ａ）のように、遅延映像信号Ｄａ２を所定の大きさの領域（ブロック）に分割する。本例では、遅延映像信号Ｄａ２から入力映像信号Ｄａ１への動きベクトルを検出する。
【００３６】
動きベクトル検出部６は、遅延映像信号Ｄａ２をブロックに分割した後に、分割したブロックごとに動きベクトルを検出する。図８（Ａ）中に斜線で示した対象ブロックＢ１の動きベクトルを検出する処理について説明する。図８（Ａ）で示した遅延映像信号Ｄａ２から図８（Ｂ）で示した映像入力信号Ｄａ１への動きベクトルを求めるため、動きベクトル検出部６は、以下の処理を行う。動きベクトル検出部６は、遅延映像信号Ｄａ２中の対象ブロックＢ１の画素値に、最も近い画素値を有するブロックを映像入力信号Ｄａ１中から抽出する。ただし、画面全体を演算対象とするのではなく、検出する障害物の速度等を考慮して対象ブロックを中心とした一定の範囲を演算対象とする。
【００３７】
図８（Ｃ）は、一般的な演算処理の説明のために、入力映像信号Ｄａ１に遅延映像信号Ｄａ２のうち対象ブロックＢ１の画像のみを重ね合わせて図示している。対象ブロックＢ１の画像は、遅延映像信号Ｄａ２と同じ座標位置に表示している。図８（Ｃ）は、対象ブロックＢ１を斜線網掛けで示している。また、図８（Ｃ）は、演算対象となる領域を点状網掛けで示している。図８（Ｃ）では、例えば、演算対象となる領域を、対象ブロックＢ１を中心として、映像の横方向の長さの半分の正方形としている。そのために、演算対象領域Ｂ５内（点状網掛け）の中で、対象ブロックＢ１と同じ大きさのブロック領域（比較ブロックＢ２，Ｂ３，Ｂ４）と対象ブロックＢ１とのそれぞれ対応する画素の差分の総和を算出する。「対応する画素の差分の総和の算出」をブロック比較演算と呼ぶ。演算対象領域Ｂ５内をどれだけ細かくサンプリングするかは、求められる演算精度によって設定すればよい。ブロックの座標を水平と垂直とに１画素ずつ変化させて演算を行う処理が最もサンプリングが多い処理である。図８（Ｃ）中に横線網掛けで示したブロックＢ２，Ｂ３，Ｂ４は、入力映像信号Ｄａ１中の演算対象となるブロック（比較ブロックＢ２，Ｂ３，Ｂ４）の例である。
【００３８】
図８（Ｃ）から分かるように、一つのブロックの画素の差分の総和を算出するためにはブロックに含まれる画素数に応じた演算量が必要である。また、演算対象領域の大きさとサンプリング量とに応じてブロック比較演算の回数が決まる。そのため、演算精度を高めるためにサンプリング量を大きくし、より動きの速い障害物を検出するために演算対象領域を大きくすると、演算量は著しく大きくなる。
【００３９】
図８（Ｄ）は、本発明の実施の形態１における動きベクトル検出部６の動作の一例を示す図である。図８（Ｄ）は、図８（Ｃ）と同様に、対象ブロックＢ１を斜線網掛けで示している。また、図８（Ｄ）は、演算対象となる領域（演算対象領域）Ｂ６を点状網掛けで示している。さらに、図８（Ｄ）は、動き予測部５から入力される動き予測情報Ｄｃ１を点線矢印で示している。動きベクトル検出部６は、輪郭抽出部３１で検出された輪郭情報Ｔ３１を含むブロックの動きベクトルのみを検出対象とする。さらに、動き予測情報Ｄｃ１に基づいてブロック比較演算の演算対象領域Ｂ６を限定する。動き予測情報Ｄｃ１によって、対象ブロックＢ１に含まれる画素のおおよその動きベクトルは予測可能である。このため、対象ブロックＢ１に含まれる障害物が移動する先の座標値は、対象ブロックＢ１の座標値に動き予測情報Ｄｃ１を加算することによって推定される。このようにして得られた座標値の周辺ブロックのみを演算対象領域Ｂ６とする。どの程度の周辺ブロックを演算対象領域Ｂ６とするかは予め定めておけばよい。限定された演算対象領域Ｂ６は点状網掛けで示されている。
【００４０】
図８（Ｅ）は、検出された動きベクトル信号Ｄｄ１を示している。図８（Ｅ）の点線矢印が検出された動きベクトル信号Ｄｄ１である。図８（Ｄ）で示したように、限定された演算対象領域Ｂ６は動き予測情報Ｄｃ１に基づいて決定されている。このため、入力映像信号Ｄａ１には、遅延映像信号Ｄａ２の障害物に対応する障害物が含まれており、動きベクトルを正確に検出することが可能である。
【００４１】
以上のように、本発明の実施の形態１の動き検出装置１０によれば、輪郭情報Ｔ３１、輪郭情報Ｔ３２及び動き予測情報Ｄｃ１に基づいて演算対象領域Ｂ６を大幅に削減することができる。このため、本発明は、動きベクトル検出のための演算量を大幅に削減することが可能である。
【００４２】
また、図８（Ｃ）に示したような演算対象領域Ｂ５を用いて動きベクトル検出を行い、かつ、局所的に画素値が近いブロックが演算対象領域Ｂ５に含まれていると、動きベクトルを誤検出してしまう場合がある。本発明の実施の形態１の障害物動き検出装置は、輪郭情報及び白線情報に基づいて障害物の動きを予測した結果に応じて演算対象領域Ｂ６を限定するため、動きベクトルの誤検出が少ない。
【００４３】
＜障害物検出装置１４＞
図９は、動き検出装置１０を有する障害物検出装置１４の構成を示す図である。図９に示す障害物検出装置１４は、映像入力部１、障害物解析部１１、表示部１２及び警告部１３をさらに有することができる。障害物検出装置１４について説明する。映像入力部１は、例えば、車に搭載されるカメラ、又は車外に設置されるカメラ等の撮像機器により構成される。
映像入力部１は、車外のシーンを撮影した画像を入力映像Ｄａ１として出力する。動き検出装置１０は、例えば、自車付近を走行する車と自車との相対速度を一定のサンプリング間隔で画素ごとにベクトルとして検出する。動き検出装置１０は、検出したベクトルを動きベクトル信号Ｄｄ１として出力する。障害物解析部１１は、自車のシステム内に存在する自車の車速情報と前記動きベクトル信号Ｄｄ１とに基づいて、自車と障害物との相対速度を算出する。また、障害物解析部１１は、自車のシステム内に存在する自車の車速情報と前記動きベクトル信号Ｄｄ１とに基づいて、自車から障害物までの距離を算出する。また、障害物解析部１１は、自車の走行に障害となるか否かの解析を行う。障害物解析部１１は、解析した結果を解析情報Ｄｅ１として出力する。
【００４４】
表示部１２は、運転者から視認可能な位置に設置されるディスプレイである。表示部１２は、解析情報Ｄｅ１に基づいて自車に向かって障害物が接近していることなどを運転者に提示する。表示部１２のディスプレイは、ダッシュボードに組み込まれた液晶ディスプレイ又はヘッドアップディスプレイ等であり、運転者に提示することができればディスプレイの種類を問わない。
【００４５】
警告部１３は、解析情報Ｄｅ１に基づいて自車に向かって障害物が接近していることなどを運転者に警告する。警告の方法は、例えばビープ音等で実現することができる。「ビープ音」とは、電子機器が通知のために発する音である。本発明では、警告の方法についてビープ音に限定するものではない。
【００４６】
＜動き検出装置１０の処理工程＞
図１０は、以上に説明した本発明の動き検出装置１０の処理工程を示すフローチャートである。まず、遅延部２は、入力映像信号Ｄａ１を所定のフレーム数だけ遅延し、遅延映像信号Ｄａ２を出力する（Ｓｔ１）。第１の基準位置推定部３は、入力映像信号Ｄａ１に含まれる障害物の基準となる位置を検出し、第１の基準位置情報Ｄｂ１を出力する（Ｓｔ２）。第２の基準位置推定部４は、遅延映像信号Ｄａ２に含まれる障害物の基準となる位置を検出し、第２の基準位置情報Ｄｂ２を出力する（Ｓｔ３）。動き予測部５は、第１の基準位置情報Ｄｂ１と第２の基準位置情報Ｄｂ２とから障害物の動きを予測して動き予測情報Ｄｃ１を出力する（Ｓｔ４）。動きベクトル検出部６は、入力映像信号Ｄａ１と遅延映像信号Ｄａ２とに基づいて、前記動き予測情報Ｄｃ１に応じて演算領域を限定して障害物の動きベクトルを検出し、動きベクトル信号Ｄｄ１を出力する（Ｓｔ５）。
【００４７】
＜第１の基準位置情報推定部３の処理工程＞
図１１は、本発明の第１の基準位置情報推定部３の処理工程を示すフローチャートである。輪郭抽出部３１は、入力映像に含まれる障害物の輪郭を抽出し、輪郭情報Ｔ３１を出力する（Ｓｔ１１）。白線検出部３２は、入力映像に含まれる路面上の白線を検出し、白線情報Ｔ３２を出力する（Ｓｔ１２）。前面エッジ抽出部３３は、輪郭情報に含まれる障害物の前面下部のエッジを抽出し前面エッジＴ３３を出力する（Ｓｔ１３）。交点算出部３４は、前面エッジと白線情報に基づいて、それらの交点を算出し交点情報Ｔ３４を出力する（Ｓｔ１４）。なお、第２の基準位置情報推定部４の処理工程を示すフローチャートも同様であるため、説明は省略する。
【００４８】
以上において説明したように、本発明の実施の形態１に係る画像処理方法によれば、輪郭情報Ｔ３１、輪郭情報Ｔ４１及び動き予測情報Ｄｃ１に基づいて演算対象領域を大幅に削減することができる。このため、本発明は動きベクトル検出のための演算量を大幅に削減することが可能である。
【００４９】
また、図８（Ｃ）に示したような演算対象領域Ｂ５を用いて動きベクトル検出を行い、かつ、局所的に画素値が近いブロックが演算対象領域Ｂ５に含まれていると、動きベクトルを誤検出してしまう場合がある。本発明の実施の形態１の障害物動き検出装置は、輪郭情報および白線情報に基づいて障害物の動きを予測した結果に応じて演算対象領域Ｂ６を限定するため、動きベクトルの誤検出が少ない。
【００５０】
本発明の実施の形態における障害物を、車両を例として説明したが、路上を移動し、自車の障害となりうる物体であれば、車両に限るものではない。
【００５１】
また、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。
【符号の説明】
【００５２】
１  映像入力部、  ２  遅延部、  ３  第１の基準位置推定部、  ４  第２の基準位置推定部、  ５  動き予測部、  ６  動きベクトル検出部、  １０    動き検出装置、  １１  障害物動き解析部、  １２  表示部、  １３  警告部、  １４  障害物検出装置、  ３１，４１  輪郭抽出部、  ３２，４２  白線検出部、  ３３，４３  前面エッジ抽出部、  ３４，４４  交点算出部、  Ｂ１  対象ブロック、  Ｂ２，Ｂ３，Ｂ４  比較ブロック、  Ｂ５，Ｂ６  演算対象領域、  Ｄａ１  入力映像信号、  Ｄａ２  遅延映像信号、  Ｄｂ１  第１の基準位置情報、  Ｄｂ２  第２の基準位置情報、  Ｄｃ１  動き予測情報、  Ｄｄ１  動きベクトル信号、  Ｄｅ１  解析情報、  Ｔ３１，Ｔ４１  輪郭情報、  Ｔ３２，Ｔ４２  白線情報、  Ｔ３３，Ｔ４３  前面エッジ、  Ｔ３４，Ｔ４４  交点情報、  Ｅ１，Ｅ２  線分、  Ｅ３  接線、  Ｐ１  端点、  Ｓｔ１  遅延ステップ、  Ｓｔ２  第１の基準位置推定ステップ、  Ｓｔ３  第２の基準位置推定ステップ、  Ｓｔ４  動き予測ステップ、  Ｓｔ５  動きベクトル検出ステップ  Ｓｔ１１  輪郭抽出ステップ、  Ｓｔ１２  白線検出ステップ、  Ｓｔ１３  前面エッジ抽出ステップ、  Ｓｔ１４  交点算出ステップ。
【図１】
0006323207.tif 000002
【図２】
0006323207.tif 000003
【図３】
0006323207.tif 000004
【図４】
0006323207.tif 000005
【図５】
0006323207.tif 000006
【図６】
0006323207.tif 000007
【図７】
0006323207.tif 000008
【図８】
0006323207.tif 000009
【図９】
0006323207.tif 000010
【図１０】
0006323207.tif 000011
【図１１】
0006323207.tif 000012