(57)【特許請求の範囲】
【請求項１】
車載カメラの撮像素子で撮像された画像内に第１領域を特定する第１領域設定部と、
前記第１領域内に前記第１領域よりも小さい第２領域を特定する第２領域設定部と、
前記撮像素子で撮像された画像の画像変化に基づいて移動体を検出し、前記第１領域内で検出された複数の前記移動体の特徴点によって図形画像を形成する移動体特定部と、
前記第２領域内で前記図形画像の一部を検出すると、前記移動体の検出信号を出力する検出部とを備え、
前記図形画像は、複数の前記特徴点に基づき形成され、前記撮像素子で撮像された画像の縦辺および横辺に平行な辺で構成された矩形像であることを特徴とする移動体検出装置。
【請求項２】
請求項１に記載の移動体検出装置において、前記移動体特定部は、個々の前記特徴点に予め決められた形状の第１矩形像を関連づける図形生成部と、２つ以上の前記第１矩形像の重複域で形成される第２矩形像で前記矩形像を形成する矩形像生成部とを備えることを特徴とする移動体検出装置。
【請求項３】
請求項１または２に記載の移動体検出装置において、
前記第２領域は、車両の後退経路を反映して後方確認の範囲を示す領域であって、
前記第１領域は、前記第２領域を含み、前記第２領域を前記車両から離れる方向に拡張した領域であることを特徴とする移動体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置や運転支援装置、ナビゲーション装置などに組み込まれる移動体検出装置に関する。
【背景技術】
【０００２】
特許文献１は車両周辺監視装置を開示する。車両周辺監視装置は対象エリアで画像認識の動作を実行する。画像認識に基づき対象エリア内で例えば障害物の輪郭や複数の特徴点は抽出される。対象エリアで十分な数の特徴点が特定されると、検出信号は出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１５６９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば自動車や歩行者が対象エリアに進入するとき、進入初期の段階では自動車や歩行者は対象エリアの内においてせいぜい１つの特徴点しか持たない。時間の経過とともに対象エリア内の特徴点は増加していく。したがって、自動車や歩行者が対象エリアに進入すると、対象エリアで十分な数の特徴点が認識されるまでに時間が費やされる。こうして移動体の検出は遅れる。
【０００５】
このとき、対象エリアが拡張されれば、自動車や歩行者の検出は早まる。しかし対象エリアが拡張されてしまうと、十分に接近してこない自動車まで検出されてしまう可能性が生じてしまい、不要な警報が増加してしまう。すばやい自動車や歩行者の検出と誤検出の防止とが同時に要求されている。
【０００６】
本発明は、できる限り移動体の検出の遅れおよび誤検出を回避することができる移動体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一形態は、車載カメラで撮像された画像内に第１領域を特定する第１領域設定部と、前記第１領域内に前記第１領域よりも小さい第２領域を特定する第２領域設定部と、前記撮像された画像の画像変化に基づいて移動体を検出し、前記第１領域内で検出された複数の前記移動体の特徴点によって図形画像を生成する移動体特定部と、前記第２領域内で前記図形画像の一部を検出すると、前記移動体の検出信号を出力する検出部とを備える移動体検出装置に関する。
【０００８】
移動体特定部は第１領域で画像認識の動作を実行する。画像認識に基づき第１領域内で移動体の特徴点は抽出される。第１領域で複数の特徴点が特定されると、移動体特定部は図形画像を生成する。第２領域で図形画像の一部が認識されると、検出信号は出力される。したがって、たとえ第２領域で十分な数の特徴点が認識されなくても、移動体は瞬時に検出されることができる。仮に第２領域だけで画像認識が実行されると、第２領域で十分な数の特徴点が認識されるまで移動体は検出されない。移動体が十分に第２領域に進入して、十分な数の特徴点が第２領域内に現れるまで、移動体は検出されない。こうして移動体の検出は遅れてしまう。
【０００９】
前記図形画像は、複数の前記特徴点に基づいて生成され、撮像素子が撮像した画像の縦辺および横辺に平行な辺で構成された矩形像であればよい。ここで撮像素子が撮像した画像とは、撮像した画像の全体を指し、一般的に横辺と縦辺の比（アスペクト比）が４：３あるいは１６：９の長方形である。矩形像の生成にあたって複数の特徴点が抽出される。検出対象の移動体は一般に複数の特徴点を有することから、矩形像は確実に生成され、生成された矩形像によって検出対象の移動体が検出される。
【００１０】
前記移動体特定部は、個々の前記特徴点に予め決められた形状の第１矩形像を関連づける図形生成部と、２つ以上の前記第１矩形像の重複域で形成される第２矩形像で前記矩形像を形成する矩形像生成部とを備えてもよい。矩形像の生成にあたって複数の特徴点が抽出される。検出対象の移動体は一般に複数の特徴点を有することから、矩形像は確実に生成され、生成された矩形像によって検出対象の移動体が検出される。
【００１１】
前記第２領域は、車両の後退経路を反映して後方確認の範囲を示す領域であって、前記第１領域は、前記第２領域を含み、前記第２領域を前記車両から離れる方向に拡張した領域であればよい。移動体は後方確認の範囲を示す第２領域から左右に離れた位置から接近してくる。移動体が第１域内の予備域に進入すると、移動体特定部は図形画像を生成する。その後、検出部が第２域内に図形画像の一部を検出すると、検出信号は出力される。第２域への移動体の進入は運転者に通知されることができる。運転者は後退経路に接近してくる移動体の存在を知ることができる。
【００１２】
以上のような移動体検出装置は運転支援装置に組み込まれることができる。こうした運転支援装置は例えば車両に搭載されて利用されることができる。
【００１３】
その他、以上のような移動体検出装置はナビゲーション装置に組み込まれることができる。こうしたナビゲーション装置は例えば車両に搭載されて利用されることができる。
【００１４】
その他、以上のような移動体検出装置はカメラ装置に組み込まれることができる。こうしたカメラ装置は車両に搭載されて利用されることができる。
【発明の効果】
【００１５】
以上のように開示の装置によれば、できる限り移動体の検出の遅れおよび誤検出を回避することができる移動体検出装置は提供される。
【図面の簡単な説明】
【００１６】
【図１】一実施形態に係る車両すなわち自動車の全体像を概略的に示す斜視図である。
【図２】運転支援装置の構成を概略的に示すブロック図である。
【図３】検出域および警告域を概略的に示す概念図である。
【図４】画像の一具体例を概略的に示す概念図である。
【図５】画像の一具体例を概略的に示す拡大概念図である。
【図６】他の実施形態に係る移動体特定部の構成を概略的に示すブロック図である。
【図７】図６の移動体特定部の動作を概略的に示す概念図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照しつつ本発明の一実施形態を説明する。
【００１８】
図１は一実施形態に係る車両すなわち自動車１１を概略的に示す。自動車１１の車体１２には運転支援装置１３が搭載される。運転支援装置１３はナビゲーション装置１４を備える。ナビゲーション装置１４はディスプレイパネル１５を有する。ディスプレイパネル１５は例えば６４０ｘ４８０の解像度を有する。ディスプレイパネル１５は例えばダッシュボードに組み込まれることができる。ディスプレイパネル１５の表示画面には地図その他の情報が表示されることができる。
【００１９】
運転支援装置１３はカメラ装置１６を備える。カメラ装置１６は例えば車体１２の後部に設置される。カメラ装置１６は例えばリアバンパーの上方に取り付けられる。カメラ装置１６の光軸１７は例えば水平面に対して所定の角度に設定される。光軸１７は、車体１２から後方に離れるにつれて地面に近づくように傾斜する。カメラ装置１６は車体１２後方を撮像する。ここでは、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で被写体の撮像画像は取得される。
【００２０】
カメラ装置１６は撮像画像に基づき表示画像の画像信号（以下「表示用画像信号」という）を生成する。表示用画像信号は車体後方に関してカメラ視点の画像や地面の俯瞰画像を特定する。画像や俯瞰画像は任意に切り替えられればよい。カメラ装置１６はナビゲーション装置１４に接続される。ナビゲーション装置１４にはカメラ装置１６から表示用画像信号が供給される。ディスプレイパネル１５の表示画面には表示用画像信号に基づき車体１２後方の映像が表示されることができる。この運転支援装置１３では、例えば駐車場で駐車スペースに後進で進入する際に運転手は車体１２の後方を確認することができる。こうして運転支援装置１３は運転手の後方確認を支援することができる。
【００２１】
図２に示されるように、カメラ装置１６は魚眼レンズ２１を備える。被写体から反射する光は光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で入射する。被写体の画像は円形の輪郭で撮像素子２２に結像する。画像では円の中心から外側に遠ざかるにつれて被写体は縮小する。
【００２２】
カメラ装置１６は撮像素子２２を備える。撮像素子２２は、魚眼レンズ２１から投影される被写体の画像を電気信号に変換する。撮像素子２２はマトリクス状に配置された画素を備える。撮像素子２２の撮像面に設定される二次元座標系に従って個々の画素の位置は特定される。例えばベイヤー配列ではＲＧＧＢ（赤緑緑青）の電気信号で被写体の色が表現される。
【００２３】
カメラ装置１６は画像処理部２３を備える。画像処理部２３は撮像素子２２に電気的に接続される。画像処理部２３は画素の位置すなわちアドレスを順次指定しながら画素の電気信号を読み出す。画像処理部２３はデジタルの撮像信号すなわち撮像データを出力する。撮像データは画素ごとに画像情報を特定する。
【００２４】
カメラ装置１６には移動体検出装置２４が組み込まれる。移動体検出装置２４は画像処理部２３から撮像データを受信する。移動体検出装置２４は撮像データに対して画像認識の動作を実行する。画像認識の結果、車両の後退経路を反映する後方確認域に左右から接近する移動体が検出される。移動体検出装置２４は、移動体を検出すると、移動体の検出信号を出力する。
【００２５】
カメラ装置１６は重畳処理部２５および通信処理部２６を備える。重畳処理部２５には、画像処理部２３から撮像信号が供給され、移動体検出装置２４から検出信号が供給される。重畳処理部２５は検出信号の受信に基づき特定の画像を生成する。生成された画像は撮像データの画像に重ねられることができる。こうした重ね合わせに応じて表示用画像信号は形成されればよい。通信処理部２６には移動体検出装置２４から検出信号が供給される。通信処理部２６はナビゲーション装置１４に検出信号を送信することができる。ナビゲーション装置１４は検出信号の受信に応じて音声その他の通知手段を通じて運転手に移動体の接近を通知することができる。
【００２６】
ナビゲーション装置１４は演算処理部２７を備える。演算処理部２７は移動体検出装置２４に電気的に接続される。演算処理部２７は例えばＭＰＵ（マイクロプロセッサユニット）およびメモリを有することができる。例えばメモリに格納されるソフトウェアに従ってＭＰＵは動作することができる。演算処理部２７はソフトウェアで実行される処理に従ってカメラ装置１６から歪み補正等の座標変換後の画像情報を取得することができる。演算処理部２７はナビゲーション装置１４のナビゲーション動作と運転支援動作とを切り替えることができる。例えば自動車１１のギアがバックに入れられると、演算処理部２７はナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替えることができる。演算処理部２７は、例えばナビゲーション装置１４の操作に応じて、通常画像および俯瞰画像のいずれか一方または両者の画像を選択することができる。
【００２７】
ディスプレイパネル１５は演算処理部２７に電気的に接続される。ディスプレイパネル１５には演算処理部２７から画像情報が入力される。入力される画像情報に応じてディスプレイパネル１５の表示画面には地図や車体１２後方の映像が映し出されることができる。
【００２８】
移動体検出装置２４は領域設定部３１を備える。領域設定部３１は画像処理部２３に接続される。領域設定部３１は第１領域設定部３２および第２領域設定部３３を有する。第１領域設定部３２および第２領域設定部３３には画像処理部２３から撮像データが供給される。第１領域設定部３２は撮像データの画像内に第１領域を特定する。第２領域設定部３３は、第１領域に重なって第１領域よりも小さい第２領域を特定する。第１領域および第２領域の詳細は後述される。
【００２９】
移動体検出装置２４は移動体特定部３４を備える。移動体特定部３４は領域設定部３１に接続される。移動体特定部３４には第１領域設定部３２から第１領域の画像範囲が入力される。移動体特定部３４は特徴点抽出部３５および矩形像生成部３６を有する。特徴点抽出部３５は画像認識の技術に基づき移動体の特徴点を抽出する。具体的には例えば移動体の撮像画像の縦方向のエッジと横方向のエッジの交点が特徴点として抽出されればよい。移動体の特徴点は移動体の画像変化に応じて第１領域内で検出される。特徴点の抽出にあたって撮像画像の前後のフレームで特徴点の候補が特定される。前フレームから候補の周囲の画像が例えばメモリ（図示されず）に記憶される。画像は後フレームの画像に照らし合わせられ、特徴点の候補がどのように移動したか、検出される。特徴点の候補が車両自体または車両の進路に接近していれば、それらの候補は正式に特徴点として検出される。こうして抽出された特徴点は特徴点抽出部３５から矩形像生成部３６に渡される。矩形像生成部３６は複数の特徴点に基づき図形画像を形成する。後述されるように、図形画像には矩形像が用いられる。移動体の特徴点によって図形画像は形成される。
【００３０】
移動体検出装置２４は検出部３７を備える。検出部３７は領域設定部３１および移動体特定部３４に接続される。検出部３７には第２領域設定部３３から第２領域の画像範囲が入力される。検出部３７には矩形像生成部３６から特徴点の図形画像が入力される。検出部３７は第２領域内で図形画像を抽出する。抽出にあたって検出部３７は第２領域と図形画像との重なりを検出する。第２領域内で図形画像の一部が検出されると、検出部３７から移動体の検出信号は出力される。検出信号は重畳処理部２５や通信処理部２６に送信される。
【００３１】
図３に示されるように、移動体検出装置２４内では地面に後方確認域４１が区画される。後方確認域４１は車両４２の後退経路を反映する。後方確認域４１は車幅方向に右輪郭線４３ａおよび左輪郭線４３ｂで仕切られる。右輪郭線４３ａおよび左輪郭線４３ｂは車両４２の前後方向中心線４４に平行に描かれればよい。右輪郭線４３ａおよび左輪郭線４３ｂの間隔は車両４２の車幅に応じて自動車１１の種類ごとに設定されることができる。
【００３２】
後方確認域４１の左右両側には検出域４５が配置される。検出域４５は後方確認域の右輪郭線４３ａおよび左輪郭線４３ｂからそれぞれ左右に広がればよい。検出域４５の前端は車両４２の後端に合わせられればよい。左右方向に検出域４５の幅Ｗや前後方向に検出域４５の奥行きＤは任意の値に設定される。
【００３３】
検出域４５には警告域４６が含まれる。警告域４６は、検出域４５内で後方確認域４１から最も離れた輪郭線４７ａ、４７ｂに沿って予備域４８を残す。左右方向に警告域４６の幅や前後方向に警告域４６の奥行きは任意の値に設定される。ただし、警告域４６の大きさは検出域４５の大きさよりも小さく設定される。ここでは、検出域４５は例えば５ｍ(Ｄ)×７ｍ（Ｗ）の長方形に形成され、警告域４６は例えば５ｍ×５ｍの正方形に形成される。
【００３４】
図４に示されるように、第１領域設定部３２は検出域４５に基づき画像上で第１領域５１を生成する。第２領域設定部３３は警告域４６に基づき画像上で第２領域５２を生成する。第１領域５１内で第２領域５２の外側５５は予備域４８に対応する。特徴点抽出部３５は第１領域５１内で移動体Ｍの特徴点５３を検出する。矩形像生成部３６は、複数の特徴点５３に基づき、図形画像は縦辺および横辺に平行な辺で構成される矩形像５４を形成する。
【００３５】
次に移動体検出装置２４の動作を説明する。歩行者といった移動体Ｍは例えば予備域４８から検出域４５に進入する。移動体Ｍは撮像素子２２で撮像される。移動体Ｍの像は画像中の第１領域５１に進入する。特徴点抽出部３５は移動体Ｍの像に基づき特徴点５３を抽出する。複数の特徴点５３が抽出されると、それを基に矩形像生成部３６は矩形像５４を形成する。例えば画像のフレームごとに矩形像５４は形成される。
【００３６】
移動体Ｍは後方確認域４１に向かって前進する。画像内では移動体Ｍの前進に伴って移動体Ｍの像は移動する。矩形像５４は刻々と移動していく。矩形像５４が第２領域５２に進入すると、検出部３７は第２領域５２内で矩形像５４を検出する。検出部３７から移動体Ｍの検出信号は出力される。重畳処理部２５は検出信号の受信に応じて警告用の画像を生成する。生成された警告用の画像は撮像データの画像に重ねられる。こうしてディスプレイパネル１５の画像から運転手に移動体Ｍの接近は知らされる。その他、通信処理部２６はナビゲーション装置１４に向けて検出信号を送信する。ナビゲーション装置１４は検出信号の受領に応じてスピーカから音声で運転手に移動体Ｍの接近を知らせてもよい。
【００３７】
移動体特定部３４は第１領域５１で画像認識の動作を実行する。画像認識に基づき第１領域５１内で移動体Ｍの特徴点５３は抽出される。第１領域５１で複数の特徴点５３が特定されると、それを基に移動体特定部３４は矩形像５４を形成する。第２領域５２で矩形像５４が認識されると、検出信号は出力される。したがって、たとえ第２領域５２で十分な数の特徴点５３が認識されなくても、移動体Ｍは瞬時に検出されることができる。仮に第２領域５２だけで画像認識が実施されると、第２領域５２で十分な数の特徴点５３が認識されるまで移動体Ｍは検出されない。移動体Ｍが十分に第２領域５２に進入して、十分な数の特徴点５３が第２領域５２内に現れるまで、移動体Ｍは検出されない。こうして移動体Ｍの検出は遅れてしまう。
【００３８】
画像の第１領域５１は後方確認域４１の左右両側に配置される検出域４５に一致する。画像の第２領域５２は、検出域４５内で後方確認域４１から最も離れた輪郭線４７ａ、４７ｂに沿って予備域４８を残して検出域４５に重なる警告域４６に一致する。移動体Ｍは後方確認域４１から最も左右に離れた位置から接近してくる。移動体Ｍが検出域４５内の予備域４８に進入すると、移動体特定部３４は矩形像５４を生成する。その後、検出部３７が警告域４６内に矩形像５４を検出すると、検出信号は出力される。警告域４６への移動体Ｍの進入は運転者に通知される。運転者は後退経路に接近してくる移動体Ｍの存在を知ることができる。
【００３９】
矩形像５４は複数の特徴点５３に基づき生成される。撮像素子が撮像した画像の縦辺および横辺に平行な辺で矩形像５４の矩形像は構成される。矩形像５４の生成にあたって複数の特徴点５３が抽出される。検出対象の移動体Ｍは一般に複数の特徴点５３を有することから、矩形像は確実に生成され、生成された矩形像によって検出対象の移動体Ｍが検出される。
【００４０】
図５に示されるように、移動体Ｍが検出域４５の予備域４８に進入すると、画像の第１領域５１では特徴点５３が認識される。この時点では特徴点５３の矩形像５４は第２領域５２に進入していない。したがって、検出部３７から検出信号は出力されない。その後、検出部３７が警告域４６内に矩形像５４を検出すると、検出信号は出力される。警告域４６への移動体Ｍの進入は運転者に通知される。運転者は後退経路に接近してくる移動体Ｍの存在を知ることができる。
【００４１】
図６に示されるように、移動体検出装置２４では、移動体特定部３４は前述の矩形像生成部３６に代えて図形生成部５６および矩形像生成部５７を備えてもよい。図形生成部５６は特徴点抽出部３５に接続される。図形生成部５６には特徴点抽出部３５から抽出された特徴点が渡される。図形生成部５６は特徴点ごとに予め決められた図形を関連づける。矩形像生成部５７は図形生成部５６に接続される。矩形像生成部５７には図形生成部５６から特徴点ごとの図形が渡される。矩形像生成部５７は、少なくとも２つ以上の数の図形の重複域で形成される矩形像を特定する。特定された矩形像は検出部３７に通知される。
【００４２】
図７に示されるように、図形生成部５６は個々の特徴点５８に予め決められた形状の第１矩形像５９をそれぞれ関連づける。第１矩形像５９の大きさは画面の画素数で決定されればよい。ここでは、第１矩形像５９には例えば８ドット×８ドットの正方形が用いられる。矩形像生成部５７は、２つ以上の第１矩形像５９の重複域で形成される第２矩形像６１で図形画像を形成する。検出対象の移動体Ｍは一般に複数の特徴点５８を有することから、第２矩形像６１の生成によって検出対象の移動体は確実に特定されることができる。特徴点５８の数は２以上であればよく、好ましくは３以上であればよい。
【符号の説明】
【００４３】
１１  車両（自動車）、１３  運転支援装置、１４  ナビゲーション装置、１６  カメラ装置、２４  移動体検出装置、３２  第１領域設定部、３３  第２領域設定部、３４  移動体特定部、３７  検出部、４１  後方確認域、４２  車両、４５  検出域、４６  警告域、４７ａ  輪郭線、４７ｂ  輪郭線、４８  予備域、５１  第１領域、５２  第２領域、５３  特徴点、５４  矩形像、５６  図形生成部、５７  矩形像生成部、５８  特徴点、５９  第１矩形像、６１  第２矩形像、Ｍ  移動体。
【図１】
0006425014.tif 000002
【図２】
0006425014.tif 000003
【図３】
0006425014.tif 000004
【図４】
0006425014.tif 000005
【図５】
0006425014.tif 000006
【図６】
0006425014.tif 000007
【図７】
0006425014.tif 000008