(57)【特許請求の範囲】
【請求項１】
車載カメラで撮像された画像内に第１領域を特定する第１領域設定部と、
前記第１領域内に前記第１領域よりも小さい第２領域を特定する第２領域設定部と、
前記撮像された画像の画像変化に基づき移動体を検出し、前記第１領域内で検出された前記移動体から特徴点を抽出する特徴点抽出部と、
前記第１領域内に第１閾値より大きい第２閾値以上の数の前記特徴点を検出し、かつ、前記第２領域内で前記第１閾値以上の数の特徴点を検出すると、前記移動体の検出信号を出力する検出部と
を備えることを特徴とする移動体検出装置。
【請求項２】
請求項１に記載の移動体検出装置において、
前記第２領域は、車両の後退経路を反映して後方確認の範囲を示す領域であって、
前記第１領域は、前記第２領域を含んで前記車両の車幅方向に前記後退経路から離れる方向に拡張した領域である
ことを特徴とする移動体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置や運転支援装置、ナビゲーション装置などに組み込まれる移動体検出装置に関する。
【背景技術】
【０００２】
特許文献１は車両周辺監視装置を開示する。車両周辺監視装置は対象エリアで画像認識の動作を実行する。画像認識に基づき対象エリア内で例えば障害物の輪郭や複数の特徴点は抽出される。対象エリアで十分な数の特徴点が特定されると、検出信号は出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１５６９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば自動車や歩行者が対象エリアに進入するとき、進入初期の段階では自動車や歩行者は対象エリア内においてせいぜい１つの特徴点しか持たない。時間の経過とともに対象エリア内の特徴点は増加していく。したがって、自動車や歩行者が対象エリアに進入すると、対象エリアで十分な数の特徴点が認識されるまでに時間が費やされる。こうして移動体の検出は遅れる。
【０００５】
このとき、対象エリアが拡張されれば、自動車や歩行者の検出は早まる。しかし対象エリアが拡張されてしまうと、十分に接近してこない自動車まで検出されてしまう可能性が生じてしまい、不要な警報が増加してしまう。すばやい自動車や歩行者の検出と誤検出の防止とが同時に要求されている。
【０００６】
本発明は、できる限り移動体の検出の遅れおよび誤検出を回避することができる移動体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一形態は、車載カメラで撮像された画像内に第１領域を特定する第１領域設定部と、前記第１領域内に前記第１領域よりも小さい第２領域を特定する第２領域設定部と、前記撮像された画像の画像変化に基づき移動体を検出し、前記第１領域内で検出された前記移動体から特徴点を抽出する特徴点抽出部と、前記第１領域内に第１閾値より大きい第２閾値以上の数の前記特徴点を検出し、かつ、前記第２領域内で前記第１閾値以上の数の特徴点を検出すると、前記移動体の検出信号を出力する検出部とを備える移動体検出装置に関する。
【０００８】
特徴点抽出部は第１領域で画像認識の動作を実行する。画像認識に基づき第１領域内で移動体の特徴点は抽出される。第１領域で第２閾値以上の数の特徴点が認識され、かつ、第２領域内で第１閾値以上の数の特徴点が認識されると、検出信号は出力される。たとえ第２領域で十分な数の特徴点が認識されなくても、移動体は瞬時に検出されることができる。仮に第２領域だけで画像認識が実行されると、第２領域で十分な数の特徴点が認識されるまで移動体は検出されない。移動体が十分に第２領域に進入して、十分な数の特徴点が第２領域内に現れるまで、移動体は検出されない。こうして移動体の検出は遅れてしまう。
【０００９】
前記第２領域は、車両の後退経路を反映して後方確認の範囲を示す領域であって、前記第１領域は、前記第２領域を含んで前記車両の車幅方向に前記後退経路から離れる方向に拡張した領域であればよい。移動体は後方確認の範囲を示す第２領域から左右に離れた位置から接近してくる。移動体が第１領域内に進入すると、移動体の特徴点が検出される。その後、特徴点抽出部が第２領域内に図形画像を検出すると、検出信号は出力される。第２領域への移動体の進入は運転者に通知されることができる。運転者は後退経路に接近してくる移動体の存在を知ることができる。
【００１０】
以上のような移動体検出装置は運転支援装置に組み込まれることができる。こうした運転支援装置は例えば車両に搭載されて利用されることができる。
【００１１】
その他、以上のような移動体検出装置はナビゲーション装置に組み込まれることができる。こうしたナビゲーション装置は例えば車両に搭載されて利用されることができる。
【００１２】
その他、以上のような移動体検出装置はカメラ装置に組み込まれることができる。こうしたカメラ装置は車両に搭載されて利用されることができる。
【発明の効果】
【００１３】
以上のように開示の装置によれば、できる限り移動体の検出の遅れおよび誤検出を回避することができる移動体検出装置は提供される。
【図面の簡単な説明】
【００１４】
【図１】一実施形態に係る車両すなわち自動車の全体像を概略的に示す斜視図である。
【図２】運転支援装置の構成を概略的に示すブロック図である。
【図３】検出域および警告域を概略的に示す概念図である。
【図４】画像の一具体例を概略的に示す概念図である。
【図５】画像の一具体例を概略的に示す拡大概念図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照しつつ本発明の一実施形態を説明する。
【００１６】
図１は一実施形態に係る車両すなわち自動車１１を概略的に示す。自動車１１の車体１２には運転支援装置１３が搭載される。運転支援装置１３はナビゲーション装置１４を備える。ナビゲーション装置１４はディスプレイパネル１５を有する。ディスプレイパネル１５は例えば６４０ｘ４８０の解像度を有する。ディスプレイパネル１５は例えばダッシュボードに組み込まれることができる。ディスプレイパネル１５の表示画面には地図その他の情報が表示されることができる。
【００１７】
運転支援装置１３はカメラ装置１６を備える。カメラ装置１６は例えば車体１２の後部に設置される。カメラ装置１６は例えばリアバンパーの上方に取り付けられる。カメラ装置１６の光軸１７は例えば水平面に対して所定の角度に設定される。光軸１７は、車体１２から後方に離れるにつれて地面に近づくように傾斜する。カメラ装置１６は車体１２後方を撮像する。ここでは、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で被写体の撮像画像は取得される。
【００１８】
カメラ装置１６は撮像画像に基づき表示画像の画像信号（以下「表示用画像信号」という）を生成する。表示用画像信号は車体後方に関してカメラ視点の画像や地面の俯瞰画像を特定する。画像や俯瞰画像は任意に切り替えられればよい。カメラ装置１６はナビゲーション装置１４に接続される。ナビゲーション装置１４にはカメラ装置１６から表示用画像信号が供給される。ディスプレイパネル１５の表示画面には表示用画像信号に基づき車体１２後方の映像が表示されることができる。この運転支援装置１３では、例えば駐車場で駐車スペースに後進で進入する際に運転手は車体１２の後方を確認することができる。こうして運転支援装置１３は運転手の後方確認を支援することができる。
【００１９】
図２に示されるように、カメラ装置１６は魚眼レンズ２１を備える。被写体から反射する光は光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で入射する。被写体の画像は円形の輪郭で撮像素子２２に結像する。画像では円の中心から外側に遠ざかるにつれて被写体は縮小する。
【００２０】
カメラ装置１６は撮像素子２２を備える。撮像素子２２は、魚眼レンズ２１から投影される被写体の画像を電気信号に変換する。撮像素子２２はマトリクス状に配置された画素を備える。撮像素子２２の撮像面に設定される二次元座標系に従って個々の画素の位置は特定される。例えばベイヤー配列ではＲＧＧＢ（赤緑緑青）の電気信号で被写体の色が表現される。
【００２１】
カメラ装置１６は画像処理部２３を備える。画像処理部２３は撮像素子２２に電気的に接続される。画像処理部２３は画素の位置すなわちアドレスを順次指定しながら画素の電気信号を読み出す。画像処理部２３はデジタルの撮像信号すなわち撮像データを出力する。撮像データは画素ごとに画像情報を特定する。
【００２２】
カメラ装置１６には移動体検出装置２４が組み込まれる。移動体検出装置２４は画像処理部２３から撮像データを受信する。移動体検出装置２４は撮像データに対して画像認識の動作を実行する。画像認識の結果、車両の後退経路を反映する後方確認域に左右から接近する移動体が検出される。移動体検出装置２４は、移動体を検出すると、移動体の検出信号を出力する。
【００２３】
カメラ装置１６は重畳処理部２５および通信処理部２６を備える。重畳処理部２５には、画像処理部２３から撮像信号が供給され、移動体検出装置２４から検出信号が供給される。重畳処理部２５は検出信号の受信に基づき特定の画像を生成する。生成された画像は撮像データの画像に重ねられることができる。こうした重ね合わせに応じて表示用画像信号は形成されればよい。通信処理部２６には移動体検出装置２４から検出信号が供給される。通信処理部２６はナビゲーション装置１４に検出信号を送信することができる。ナビゲーション装置１４は検出信号の受信に応じて音声その他の通知手段を通じて運転手に移動体の接近を通知することができる。
【００２４】
ナビゲーション装置１４は演算処理部２７を備える。演算処理部２７は移動体検出装置２４に電気的に接続される。演算処理部２７は例えばＭＰＵ（マイクロプロセッサユニット）およびメモリを有することができる。例えばメモリに格納されるソフトウェアに従ってＭＰＵは動作することができる。演算処理部２７はソフトウェアで実行される処理に従ってカメラ装置１６から歪み補正等の座標変換後の画像情報を取得することができる。演算処理部２７はナビゲーション装置１４のナビゲーション動作と運転支援動作とを切り替えることができる。例えば自動車１１のギアがバックに入れられると、演算処理部２７はナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替えることができる。演算処理部２７は、例えばナビゲーション装置１４の操作に応じて、通常画像および俯瞰画像のいずれか一方または両者の画像を選択することができる。
【００２５】
ディスプレイパネル１５は演算処理部２７に電気的に接続される。ディスプレイパネル１５には演算処理部２７から画像情報が入力される。入力される画像情報に応じてディスプレイパネル１５の表示画面には地図や車体１２後方の映像が映し出されることができる。
【００２６】
移動体検出装置２４は領域設定部３１を備える。領域設定部３１は画像処理部２３に接続される。領域設定部３１は第１領域設定部３２および第２領域設定部３３を有する。第１領域設定部３２および第２領域設定部３３には画像処理部２３から撮像データが供給される。第１領域設定部３２は撮像データの画像内に第１領域を特定する。第２領域設定部３３は、第１領域に含まれて第１領域よりも小さい第２領域を特定する。第１領域および第２領域の詳細は後述される。
【００２７】
移動体検出装置２４は特徴点抽出部３５を備える。特徴点抽出部３５は領域設定部３１に接続される。特徴点抽出部３５には第１領域設定部３２から第１領域の画像範囲が入力される。特徴点抽出部３５は画像認識の技術に基づき移動体の特徴点を抽出する。具体的には例えば移動体の撮像画像の縦方向のエッジと横方向のエッジの交点が特徴点として抽出されればよい。移動体の特徴点は移動体の画像変化に応じて第１領域内で検出される。特徴点の抽出にあたって撮像画像の前後のフレームで特徴点の候補が特定される。前フレームから候補の周囲の画像が例えばメモリ（図示されず）に記憶される。画像は後フレームの画像に照らし合わせられ、特徴点の候補がどのように移動したか、検出される。特徴点の候補が車両自体または車両の進路に接近していれば、それらの候補は正式に特徴点として検出される。こうして特徴点抽出部３５は、第２領域を含む第１領域内で抽出された特徴点の数と各座標を出力する。
【００２８】
移動体検出装置２４は検出部３７を備える。検出部３７は領域設定部３１および特徴点抽出部３５に接続される。検出部３７には第２領域設定部３３から第２領域の画像範囲が入力される。検出部３７には特徴点抽出部３５から特徴点の情報が供給される。検出部３７は第２領域内で特徴点を抽出する。第２領域内で予め定めた第１閾値以上の数の特徴点が検出され、かつ第１領域内で第１閾値より大きい予め定めた第２閾値以上の特徴点が検出されると、検出部３７から移動体の検出信号は出力される。検出信号は重畳処理部２５や通信処理部２６に送信される。
【００２９】
図３に示されるように、移動体検出装置２４内では地面に後方確認域４１が区画される。後方確認域４１は車両４２の後退経路を反映する。後方確認域４１は車幅方向に右輪郭線４３ａおよび左輪郭線４３ｂで仕切られる。右輪郭線４３ａおよび左輪郭線４３ｂは車両４２の前後方向中心線４４に平行に描かれればよい。右輪郭線４３ａおよび左輪郭線４３ｂの間隔は車両４２の車幅に応じて自動車１１の種類ごとに設定されることができる。
【００３０】
後方確認域４１の左右両側には検出域４５が配置される。検出域４５は後方確認域の右輪郭線４３ａおよび左輪郭線４３ｂからそれぞれ左右に広がればよい。検出域４５の前端は車両４２の後端に合わせられればよい。左右方向に検出域４５の幅Ｗや前後方向に検出域４５の奥行きＤは任意の値に設定される。
【００３１】
検出域４５には警告域４６が含まれる。警告域４６は、検出域４５内で後方確認域４１から左右に最も離れた輪郭線４７ａ、４７ｂに沿って予備域４８を残す。左右方向に警告域４６の幅や前後方向に警告域４６の奥行きは任意の値に設定される。ただし、警告域４６の大きさは検出域４５の大きさよりも小さく設定される。ここでは、検出域４５は例えば５ｍ(Ｄ)×７ｍ（Ｗ）の長方形に形成され、警告域４６は例えば５ｍ×５ｍの正方形に形成される。
【００３２】
図４に示されるように、第１領域設定部３２は検出域４５に基づき画像上で第１領域５１を生成する。第２領域設定部３３は警告域４６に基づき画像上で第２領域５２を生成する。第１領域５１内で第２領域５２の外側５５は予備域４８に対応する。特徴点抽出部３５は第１領域５１内で移動体Ｍの特徴点５３を検出する。
【００３３】
次に移動体検出装置２４の動作を説明する。歩行者といった移動体Ｍは例えば予備域４８から検出域４５に進入する。移動体Ｍは撮像素子２２で撮像される。移動体Ｍの像は画像中の第１領域５１に進入する。特徴点抽出部３５は移動体Ｍの像に基づき特徴点５３を抽出する。第２閾値以上の数の特徴点５３が抽出されると、特徴点抽出部３５はそれら特徴点５３の数を出力する。ここでは、例えば第２閾値には「２」以上の数値が設定されればよい。例えば画像のフレームごとに特徴点５３は抽出される。
【００３４】
移動体Ｍは後方確認域４１に向かって前進する。画像内では移動体Ｍの前進に伴って移動体Ｍの像は移動する。特徴点５３は刻々と移動していく。いずれかの特徴点５３が第２領域５２に進入すると、検出部３７は第２領域５２内で特徴点５３を検出する。第１閾値以上の数の特徴点５３が検出されると、検出部３７から移動体Ｍの検出信号は出力される。ここでは、第１閾値には「１」が設定される。重畳処理部２５は検出信号の受信に応じて警告用の画像を生成する。生成された警告用の画像は撮像データの画像に重ねられる。こうしてディスプレイパネル１５の画像から運転手に移動体Ｍの接近は知らされる。その他、通信処理部２６はナビゲーション装置１４に向けて検出信号を送信する。ナビゲーション装置１４は検出信号の受領に応じてスピーカから音声で運転手に移動体Ｍの接近を知らしてもよい。
【００３５】
特徴点抽出部３５は第１領域５１で画像認識の動作を実行する。画像認識に基づき第１領域５１内で移動体Ｍの特徴点５３は抽出される。第１領域５１で第１閾値より大きい第２閾値以上の数の特徴点５３が認識され、かつ、第２領域５２内で第１閾値以上の数の特徴点５３が認識されると、検出信号は出力される。第２閾値が第１閾値より大きいということは、検出信号を出力するために必要な特徴点５３の数として第１領域５１で検出される特徴点５３の数の方が第２領域５２で検出される特徴点５３の数より大きいということである。この大小関係になる例としては第２領域５２で特徴点５３が１点以上検出され、かつ予備域４８でも特徴点５３が１点以上検出される場合である。第２領域５２と予備域４８との双方で１点以上の特徴点５３が抽出されたときに検出信号が出力される。少ない特徴点５３で検出信号が出力されるため検出遅れが防止できる。また、第２領域５２と予備域４８の双方で特徴点５３の検出を行うため、誤検出が防止できる。よってこれらから適切なタイミングで検出信号は出力されることができる。
【００３６】
画像の第１領域５１は後方確認域４１の左右両側に配置される検出域４５に一致する。画像の第２領域５２は、検出域４５内で後方確認域４１から最も離れた輪郭線４７ａ、４７ｂに沿って予備域４８を残して検出域４５に重なる警告域４６に一致する。移動体Ｍは後方確認域４１から最も左右に離れた位置から接近してくる。移動体Ｍが検出域４５内の予備域４８に進入すると、特徴点抽出部３５は特徴点５３を抽出する。その後、検出部３７が警告域４６内に第１閾値以上の数の特徴点５３を検出すると、検出信号は出力される。警告域４６への移動体Ｍの進入は運転者に通知される。運転者は後退経路に接近してくる移動体Ｍの存在を知ることができる。
【００３７】
図５に示されるように、移動体Ｍが検出域４５の予備域４８に進入すると、画像の第１領域５１では特徴点５３が認識される。この時点では特徴点５３は第２領域５２に進入していない。したがって、検出部３７から検出信号は出力されない。その後、検出部３７が警告域４６内に特徴点５３を検出すると、検出信号は出力される。警告域４６への移動体Ｍの進入は運転者に通知される。運転者は後退経路に接近してくる移動体Ｍの存在を知ることができる。
【符号の説明】
【００３８】
１１  車両（自動車）、１３  運転支援装置、１４  ナビゲーション装置、１６  カメラ装置、２４  移動体検出装置、３２  第１領域設定部、３３  第２領域設定部、３４  移動体特定部、３７  検出部、４１  後方確認域、４２  車両、４５  検出域、４６  警告域、４７ａ  輪郭線、４７ｂ  輪郭線、４８  予備域、５１  第１領域、５２  第２領域、５３  特徴点、Ｍ  移動体。
【図１】
0006439913.tif 000002
【図２】
0006439913.tif 000003
【図３】
0006439913.tif 000004
【図４】
0006439913.tif 000005
【図５】
0006439913.tif 000006