(57)【要約】【課題】移動物を検知する際に、暗い部分での特徴点の検知精度を向上させること。【解決手段】撮影した映像に基づいて、移動する物を検知する移動物検知装置は、周辺を撮影するカメラと、カメラにより撮影した映像から移動する物を検知する検知エリアを設定し、カメラのレンズの歪み特性から求められる検知エリアの座標に基づいて、映像の暗い領域の位置を特定し、暗い領域の映像を平滑化する際に使用する平滑化フィルタにおける注目画素の重み付け量と、暗い領域以外の領域の映像を平滑化する際に使用する平滑化フィルタにおける注目画素の重み付け量とを設定する制御部とを有する。【選択図】図３
2015076633.tif 000002
【特許請求の範囲】
【請求項１】
撮影した映像に基づいて、移動する物を検知する移動物検知装置であって、
周辺を撮影するカメラと、
前記カメラにより撮影した映像から移動する物を検知する検知エリアを設定し、
前記カメラのレンズの歪み特性から求められる前記検知エリアの座標に基づいて、前記映像の暗い領域の位置を特定し、
前記暗い領域の映像を平滑化する際に使用する平滑化フィルタにおける注目画素の重み付け量と、前記暗い領域以外の領域の映像を平滑化する際に使用する平滑化フィルタにおける注目画素の重み付け量とを設定する制御部と
を有する、移動物検知装置。
【請求項２】
前記制御部は、前記映像の暗い領域の位置と前記移動物検知装置との間の位置関係に基づいて、前記平滑化フィルタにおける注目画素の重み付け量を設定する、請求項１に記載の移動物検知装置。
【請求項３】
前記制御部は、前記検知エリアの水平方向および垂直方向の両方またはいずれか一方の方向を複数に分割し、分割された領域を構成する画素の輝度値に基づいて、前記映像の暗い領域の位置を特定する、請求項１または２に記載の移動物検知装置。
【請求項４】
前記制御部は、前記検知エリアを構成する画素の輝度値に基づいて、該検知エリアの映像が明るい所であるか暗い所であるかを判定し、
明るい所であると判定した検知エリアについて、前記カメラのレンズの歪み特性から求められる前記検知エリアの座標に基づいて、前記映像の暗い領域の位置を特定する、請求項１ないし３のいずれか１項に記載の移動物検知装置。
【請求項５】
前記制御部は、前記暗い領域の映像を平滑化する際に使用する平滑化フィルタにおける注目画素の重み付け量と、前記暗い領域以外の領域の映像を平滑化する際に使用する平滑化フィルタにおける注目画素の重み付け量とを異なるように設定する、請求項１ないし４のいずれか１項に記載の移動物検知装置。
【請求項６】
前記制御部は、前記平滑化フィルタにより平滑化処理された映像から特徴点を抽出し、時間の経過に従って撮影される映像における前記特徴点の動きを求め、前記特徴点の動きに基づいて、移動する物を検知する、請求項１ないし５のいずれか１項に記載の移動物検知装置。
【請求項７】
撮影した映像に基づいて、移動する物を検知する移動物検知装置における移動物検知方法であって、
カメラにより撮影した映像から移動する物を検知する検知エリアを設定し、
前記カメラのレンズの歪み特性から求められる前記検知エリアの座標に基づいて、前記映像の暗い領域の位置を特定し、
前記暗い領域の映像を平滑化する際に使用する平滑化フィルタにおける注目画素の重み付け量と、前記暗い領域以外の領域の映像を平滑化する際に使用する平滑化フィルタにおける注目画素の重み付け量とを設定する、移動物検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲の移動物を検知する技術に関する。
【背景技術】
【０００２】
車両が移動している状況下で、その移動方向に対して横切るように移動する物体を検出する装置が知られている。このような装置では、カメラにより撮影された映像から移動物の特徴点を抽出し、オプティカルフロー法を適用して特徴点の移動量を求め、特徴点の移動量に基づいて、特徴点をグルーピングし、移動物を検知する。カメラは、車両周辺の死角を撮影するように設置されることもある。車両周辺の死角を撮影するように設置されたカメラにより撮影された映像を使用することにより、車両周辺の死角の物を検知できるとともに、表示できる。
【０００３】
移動物を検知する装置に関して、映像信号の積分結果から日中であるか夜間であるかを判定し、判定結果に基づいて感度を切替える技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１０１９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
夜間や、建物・障害物の影などの暗い所で撮影された映像は、昼間などの明るい所で撮影された映像と比較して、移動物の特徴点を抽出するのが難しい。
【０００６】
また、撮影された映像に明るい部分と暗い部分がある場合、例えば、晴天である場合に光と影とが混在する場所では、明るい部分では移動物の特徴点が検知されやすいが、暗い部分では移動物の特徴点が検知されにくい。
【０００７】
本発明の目的は、移動物を検知する際に、暗い部分での特徴点の検知精度を向上させることである。
【課題を解決するための手段】
【０００８】
開示の一実施例の移動物検知装置は、
撮影した映像に基づいて、移動する物を検知する移動物検知装置であって、
周辺を撮影するカメラと、
前記カメラにより撮影した映像から移動する物を検知する検知エリアを設定し、
前記カメラのレンズの歪み特性から求められる前記検知エリアの座標に基づいて、前記映像の暗い領域の位置を特定し、
前記暗い領域の映像を平滑化する際に使用する平滑化フィルタにおける注目画素の重み付け量と、前記暗い領域以外の領域の映像を平滑化する際に使用する平滑化フィルタにおける注目画素の重み付け量とを設定する制御部と
を有する。
【発明の効果】
【０００９】
開示の実施例によれば、移動物を検知する際に、暗い部分での特徴点の検知精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】移動物検知装置の一実施例を示す図である。
【図２】画像処理ECUの一実施例を示す図である。
【図３】画像処理ECUの一実施例を示す機能ブロック図である。
【図４】移動物検知装置の動作の一実施例を示すフローチャートである。
【図５】平滑化処理の一例を示す図である。
【図６】平滑化処理の一例を示す図である。
【図７】画像処理ECUの一実施例を示す機能ブロック図である。
【図８】カメラと物との間の位置関係を示す図である。
【図９】図８の状態で撮影される映像の一例を示す図である。
【図１０】レンズの歪み特性の一例を示す図である。
【図１１】明暗位置判定処理の一実施例を示す図である。
【図１２】移動物検知装置の動作の一実施例を示すフローチャートである。
【図１３】平滑化処理の一例を示す図である。
【図１４】移動物検知装置の動作の一変形例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。以下で説明する実施例は一例に過ぎず、本発明が適用される実施の形態は、以下の実施例に限られない。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
【００１２】
＜第１の実施例＞
＜移動物検知装置１００＞
図１は、移動物検知装置１００の一実施例を示す。
【００１３】
移動物検知装置１００は、カメラ１０２と、画像処理電子制御ユニット(ECU: Electronic Control Unit)１０４とを備える。
【００１４】
移動物検知装置１００は、画像処理により得られるオプティカルフロー(Optical Flow)の情報に基づいて、移動物を検知する。例えば、移動物検知装置１００は、カメラ１０２により撮影した映像内に検知エリアを設定し、その検知エリアにおける映像から移動物を検知する。移動物検知装置１００の一実施例は、車両などの移動体に搭載される。
【００１５】
カメラ１０２は、例えば、電荷結合素子(CCD: charge-coupled device）などの固体撮像素子により構成される。カメラ１０２は、車室内の天井近傍や、車両の先端、例えばフロントバンパなどに設置される。カメラ１０２を車両に設置する際に、カメラ１０２の光軸（Ｚ軸）が車両の進行方向と一致し、カメラ１０２によって撮影された映像の水平方向である横軸（Ｘ軸）が地面と平行になるように、カメラ１０２の設置角度などが調整される。カメラ１０２の設置角度などが調整されることにより、映像の水平方向と垂直方向である縦軸（Ｙ軸）は、地面から垂直な方向に一致する。移動物検知装置１００は、１つのカメラを有するようにしてもよいし、複数のカメラを有するようにしてもよい。例えば、複数のカメラを有する場合には、車両の前方に設置されたフロントカメラと、車両の後方に設置されたバックカメラにより構成されてもよい。さらに、カメラは、広い視野角のもので構成してもよい。
【００１６】
カメラ１０２は、車両の走行中に、定期的または不定期的に車両の周辺を撮影し、その撮影した映像を画像処理ECU１０４に出力する。
【００１７】
図２は、画像処理ECU１０４の一実施例を示す。
【００１８】
画像処理ECU１０４は、カメラ１０２と接続される。
【００１９】
画像処理ECU１０４は、マイクロコントローラ２０２と、A/D変換器２１０と、画像メモリ２１２と、トランシーバ２１４とを備える。
【００２０】
マイクロコントローラ２０２は、CPU２０４と、ROM２０６と、RAM２０８とを備える。
【００２１】
画像処理ECU１０４が２個以上のトランシーバを有するようにしてもよい。また、画像処理ECU１０４が２個以上のマイクロコントローラを有するようにしてもよい。
【００２２】
CPU２０４は、カメラ１０２から出力された映像から、移動物を検知する。
【００２３】
ROM２０６は、CPU２０４が実行する移動物を検知するためのプログラムを格納する。
【００２４】
RAM２０８は、CPU２０４が移動物を検知する処理を実行する際に、データを一時的に格納する。
【００２５】
A/D変換器２１０は、カメラ１０２から出力された映像をデジタル画像に変換する。
【００２６】
画像メモリ２１２は、A/D変換器２１０によりデジタル画像に変換された映像を保存する。画像メモリ２１２は、複数のデジタル画像を保存できる記憶容量を有する。
【００２７】
トランシーバ２１４は、マイクロコントローラ２０２、通信バスと接続される。トランシーバ２１４は、カメラ１０２からの映像を受信する。また、トランシーバ２１４は、制御装置２００にデジタル画像を出力するとともに、移動物の検知結果を出力する。
【００２８】
図３は、画像処理ECU１０４を示す機能ブロック図である。図３の機能ブロック図により表される機能は、主に、マイクロコントローラ２０２により実行される。つまり、マイクロコントローラ２０２は、検知エリア設定部２０４２と、輝度判定部２０４４と、平滑化処理部２０４６と、特徴点抽出部２０４８と、特徴点追跡部２０５０と、移動物検知部２０５２として機能する。
【００２９】
マイクロコントローラ２０２に搭載されたCPU２０４が、ROM２０６に記憶されたアプリケーションプログラムおよびCPU２０４に格納されたファームウェアの一方または両方に従って、検知エリア設定部２０４２と、輝度判定部２０４４と、平滑化処理部２０４６と、特徴点抽出部２０４８と、特徴点追跡部２０５０と、移動物検知部２０５２としての機能が実行される。
【００３０】
CPU２０４は、検知エリア設定部２０４２として機能する。検知エリア設定部２０４２には、画像メモリ２１２に格納されたデジタル画像が入力される。検知エリア設定部２０４２は、画像メモリ２１２から入力されたデジタル画像内で、移動物を検知する検知エリアを設定する。例えば、検知エリア設定部２０４２は、デジタル画像の横軸（Ｘ軸）と、縦軸（Ｙ軸）について検知エリアを設定する。ここで、上述したように、横軸は地面と平行な方向に一致し、縦軸は地面から垂直な方向に一致する。
【００３１】
CPU２０４は、輝度判定部２０４４として機能する。輝度判定部２０４４は、検知エリア設定部２０４２と接続される。輝度判定部２０４４は、検知エリア設定部２０４２により設定された検知エリアが「暗い所」であるか「明るい所」であるかを判定する。つまり、「暗い所」は暗い領域を示し、「明るい所」は明るい領域を示す。
【００３２】
輝度判定部２０４４は、検知エリア設定部２０４２により設定された検知エリアを構成する各画素について、その輝度値が輝度閾値Ｂより大きいか否かを判定する。画素の輝度値が輝度閾値Ｂより大きい場合にはその画素は明るいと判定され、画素の輝度値が輝度閾値Ｂ以下である場合にはその画素は暗いと判定される。
【００３３】
輝度判定部２０４４は、検知エリアを構成する全画素について輝度値を判定し、輝度閾値Ｂ以下の画素数を合計する。輝度判定部２０４４は、検知エリアを構成する全画素数に対する画素の輝度値が輝度閾値Ｂ以下と判定された画素数の割合（以下、「輝度閾値以下の画素の割合（N）」という）を求める。
【００３４】
輝度判定部２０４４は、輝度閾値以下の画素の割合（N）が第１の明暗判定閾値（α１）以上であるか否かを判定する。輝度閾値以下の画素の割合（N）が第１の明暗判定閾値（α１）より大きい場合にはその検知エリアは「暗い所」と判定され、輝度閾値以下の画素の割合（N）が第１の明暗判定閾値（α１）未満である場合にはその検知エリアは「明るい所」と判定される。
【００３５】
輝度判定部２０４４が検知エリアを「暗い所」であるか「明るい所」であるかを判定する際の処理は、上記の例に限られず、検知エリアを構成する画素の輝度値に種々の演算を行うことにより求めることができる。例えば、輝度判定部２０４４は、検知エリアを構成する全画素について輝度値を判定し、輝度値の平均値を求めるようにしてもよい。この場合、輝度判定部２０４４は、輝度値の平均値に基づいて、検知エリアが「暗い所」であるか「明るい所」であるかを判定できる。
【００３６】
輝度判定部２０４４は、平滑化処理部２０４６に、検知エリアが「暗い所」であるか「明るい所」であるかの判定結果（以下、「明暗判定結果」という）を入力する。
【００３７】
輝度判定部２０４４は、照度センサ（図示なし）により測定された照度に基づいて、検知エリアが「暗い所」であるか「明るい所」であるかを判定するようにしてもよい。
【００３８】
また、輝度判定部２０４４は、ヘッドライトをオンまたはオフするためのイルミネーション信号などの制御信号に基づいて、検知エリアが「暗い所」であるか「明るい所」であるかを判定するようにしてもよい。例えば、夕方など車両周辺が暗くなってきた場合には、イルミネーション信号によりヘッドライトがオンにされる。したがって、イルミネーション信号を検出した場合には、車両周辺が暗くなったと想定される。したがって、イルミネーション信号が検出された場合に、暗い所であると判定する。
【００３９】
CPU２０４は、平滑化処理部２０４６として機能する。平滑化処理部２０４６は、輝度判定部２０４４と接続される。また、平滑化処理部２０４６には、デジタル画像に変換された映像が入力される。平滑化処理部２０４６は、検知エリアを構成する各画素に平滑フィルタをかけることにより、ノイズを除去する。平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果に基づいて、平滑フィルタを選択する。例えば、平滑化処理部２０４６は、注目画素を重み付ける第１の平滑化フィルタ、注目画素を重み付けない第２の平滑化フィルタのいずれか一方を選択する。注目画素とは、平滑フィルタをかける画素である。第１の平滑化フィルタの一実施例はガウシアンフィルタであり、第２の平滑化フィルタの一実施例は平均化フィルタ（移動平均フィルタ）である。
【００４０】
平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果が「明るい所」を示す場合、第２の平滑化フィルタを選択する。第２の平滑化フィルタを選択した場合、平滑化処理部２０４６は、注目画素について、その注目画素の周辺の輝度値を平均し、その平均した値を注目画素の輝度値とすることにより平滑化する。つまり、明暗判定結果が「明るい所」を示す場合、注目画素に重み付けを行わず、平滑化処理を行う。
【００４１】
平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果が「暗い所」を示す場合、第１の平滑化フィルタを選択する。第１の平滑化フィルタを選択した場合、平滑化処理部２０４６は、注目画素について、その注目画素に近いほど、平均値を計算するときの重みを大きくし、遠くなるほど重みが小さくなるように所定の関数、例えばガウス分布の関数を用いてレートを計算することにより平滑化処理を行う。
【００４２】
平滑化処理部２０４６は、平滑化処理後の画像を特徴点抽出部２０４８に入力する。
【００４３】
CPU２０４は、特徴点抽出部２０４８として機能する。特徴点抽出部２０４８は、平滑化処理部２０４６と接続される。特徴点抽出部２０４８は、平滑化処理部２０４６からの画像から、特徴点を抽出する。特徴点抽出部２０４８は、平滑化処理された画像をエッジ抽出フィルタにより処理することによりエッジを抽出し、特徴点とする。特徴点抽出部２０４８は、１または複数の特徴点を抽出する。
【００４４】
CPU２０４は、特徴点追跡部２０５０として機能する。特徴点追跡部２０５０は、特徴点抽出部２０４８と接続される。特徴点追跡部２０５０は、特徴点抽出部２０４８により抽出された特徴点の移動量を検出することにより、特徴点を追跡する。特徴点追跡部２０５０は、特徴点抽出部２０４８から順次入力される複数の映像について、特徴点を追跡することにより、特徴点のオプティカルフローを算出する。
【００４５】
ここで、オプティカルフローとは、画素毎に定義される速度場のことであり、映像上のある位置にあった特徴点が時間的に連続する次の映像でどこに移動したかを画素毎に表現したものである。すなわち、時系列の映像間で、映像中の各特徴点が、時間と共にどのように変化したかを、ベクトルで表したものである。オプティカルフローから、映像中の特徴点がどのような動きをしていたかを推定することができる。オプティカルフローを算出する方法として、２枚の映像間で対応点を探索する方法や映像中の各点の明度勾配と明度の時間勾配により推定する方法などの方法を適用できる。
【００４６】
特徴点追跡部２０５０は、特徴点のオプティカルフローに基づいて、特徴点を含む特徴点の近傍のエリアで、既定のフロー以上の速さで移動する特徴点を追跡する。
【００４７】
CPU２０４は、移動物検知部２０５２として機能する。移動物検知部２０５２は、特徴点追跡部２０５０と接続される。移動物検知部２０５２は、特徴点追跡部２０５０により追跡された特徴点をグルーピングし、移動物として検知する。
【００４８】
図１に戻り、制御装置２００について説明する。
【００４９】
制御装置２００は、移動物検知装置１００と接続される。制御装置２００は、移動物検知装置１００からデジタル画像に変換した映像が入力される。制御装置２００は、デジタル画像を描画する処理を行う。
【００５０】
制御装置２００には、画像処理ECU１０４から移動物の検知結果が入力される。移動物の検知結果は、移動物が検知されたか否かを示す情報である。制御装置２００は、画像処理ECU１０４からの移動物の検知結果が、移動物が検知されたことを示す場合、カメラ１０２からの映像を表示装置３００に入力する。制御装置２００は、移動物が検知された部分を切り出して表示装置３００に入力してもよいし、歪み補正を実行し、歪み補正後の映像を表示装置３００に入力してもよい。
【００５１】
また、制御装置２００は、カメラ１０２からの映像を表示装置３００に表示する際に、検知対象となる移動物を強調して表示したり、接近する方向を表示したりしてもよい。
【００５２】
また、制御装置２００は、移動物が検知されたことをドライバーに通知する制御を行う。例えば、音声により移動物が検知されたことを通知する。
【００５３】
また、制御装置２００は、車両周囲を撮影した映像を表示装置３００に入力するようにしてもよい。
【００５４】
また、制御装置２００は、移動物の検知状況を示す情報を表示装置３００に入力するようにしてもよい。移動物の検知状況を示す情報を表示装置３００に表示するか否かはユーザにより設定できるのが好ましい。また、表示方法や、検知対象となる移動物の検知する際の条件もユーザにより設定できるのが好ましい。
【００５５】
表示装置３００は、制御装置２００と接続される。表示装置３００は、マルチメディアディスプレイなどにより構成される。表示装置３００は、制御装置２００からの映像を表示する。
【００５６】
＜移動物検知装置１００の動作＞
図４は、移動物検知装置１００の動作を示す。
【００５７】
ステップＳ４０２では、移動物検知装置１００のカメラ１０２は、移動物検知装置１００が搭載された車両の周辺を撮影する。
【００５８】
ステップＳ４０４では、移動物検知装置１００の画像処理ECU１０４は、検知エリアを設定する。検知エリア設定部２０４２は、カメラ１０２により撮影された映像に基づいて検知エリアを設定する。例えば、検知エリア設定部２０４２は、検知エリアとして、Ｘ１≦ｘ≦Ｘ２、Ｙ１≦ｙ≦Ｙ２を設定する。これにより、カメラ１０２により撮影された映像のうち、検知エリアが、Ｘ軸方向でＸ１からＸ２、Ｙ軸方向でＹ１からＹ２に設定される。
【００５９】
ステップＳ４０６では、移動物検知装置１００の画像処理ECU１０４は、検知エリアが「暗い所」であるか否かを判定する。輝度判定部２０４４は、検知エリア内の輝度値P(x,y)が輝度閾値Ｂ以下である画素数を求め、輝度閾値以下の画素の割合（N）を算出する。輝度判定部２０４４は、輝度閾値以下の画素の割合（N）が第１の明暗判定閾値(α１)以上であるか否かを判定することにより、検知エリアが「暗い所」であるか否かを判定する。輝度閾値以下の画素の割合（N）が明暗判定閾値(α)以上である場合には、検知エリアが「暗い所」であると判定される。
【００６０】
ステップＳ４０８では、ステップＳ４０８で検知エリアが「暗い所」であると判定された場合、移動物検知装置１００の画像処理ECU１０４は、注目画素を重み付ける第１の平滑化フィルタで平滑化処理を行う。平滑化処理部２０４６は、第１の平滑化フィルタＦ１を選択する。
【００６１】
図５は、第１の平滑化フィルタＦ１で平滑化処理を行う処理例を示す。第１の平滑化フィルタＦ１を選択し、注目画素に重み付けし、検知エリアの画素値に平滑化処理を行う。
【００６２】
ステップＳ４１０では、ステップＳ４０８で検知エリアが「暗い所」であると判定されない場合、つまり、検知エリアが「明るい所」であると判定された場合、移動物検知装置１００の画像処理ECU１０４は、注目画素を重み付けない第２の平滑化フィルタで平滑化処理を行う。平滑化処理部２０４６は、第２の平滑化フィルタＦ０を選択する。
【００６３】
図６は、第２の平滑化フィルタＦ０で平滑化処理を行う処理例を示す。第２の平滑化フィルタＦ０を選択し、注目画素に重み付けせず、検知エリアの画素値に平滑化処理を行う。
【００６４】
ステップＳ４１２では、移動物検知装置１００の画像処理ECU１０４は、特徴点を抽出する。特徴点抽出部２０４８は、ステップＳ４０８で平滑化処理された映像（デジタル画像）またはステップ４１０で平滑化処理された映像（デジタル画像）から、エッジ抽出フィルタにより特徴点を抽出する。
【００６５】
ステップＳ４１４では、移動物検知装置１００の画像処理ECU１０４は、ステップＳ４１２で抽出した特徴点の移動量を求めることにより特徴量を追跡する。特徴点追跡部２０５０は、特徴点抽出部２０４８から順次入力される平滑化処理された映像について、特徴点を追跡することにより、特徴点のオプティカルフローを算出する。特徴点追跡部２０５０は、特徴点のオプティカルフローに基づいて、特徴点および特徴点の近傍のエリアの両方またはいずれか一方で、既定のフロー以上の速さで移動する特徴点を追跡する。
【００６６】
ステップＳ４１６では、移動物検知装置１００の画像処理ECU１０４は、ステップＳ４１４で追跡した特徴点をグルーピングする。移動物検知部２０５２は、特徴点追跡部２０５０から追跡された特徴点をグルーピングする。
【００６７】
ステップＳ４１８では、移動物検知装置１００の画像処理ECU１０４は、ステップＳ４１６でグルーピングした特徴点を移動物として検知する。移動物検知部２０５２は、グルーピングした特徴点を移動物として検知（検出）する。
【００６８】
移動物検知装置１００は、明るい所でも、注目画素に重み付ける平滑化フィルタにより平滑化処理を行うようにしてもよい。この場合、暗い所の重み付け量よりも低い重み付け量で重み付けを行うのが好ましい。
【００６９】
移動物検知装置の一実施例によれば、暗い所でも、注目画素に重み付ける平滑化フィルタにより平滑化処理を行うため、移動物を検知できる。
【００７０】
また、検知エリアを構成する各画素について、その輝度が輝度閾値Ｂより大きいか否かを判断し、検知エリアの明るさを判定するため、検知エリアの一部に光が差し込んで明るい部分があったとしても、暗いと判定される画素が支配的となるため、暗い所と判定できる。つまり、各画素について輝度を判定できるため、明暗の誤判定を低減できる。
【００７１】
また、暗い所と判定された場合に注目画素に重み付ける平滑化フィルタを使用するため、明るい所の特徴点の抽出に影響を与えることなく、暗い所における特徴点の抽出精度を向上できる。
【００７２】
なお、暗い所では、路面ペイントなども暗く撮影されるため、特徴点を抽出しづらい。この点は、注目画素に重み付ける平滑化フィルタを使用しても同等であると想定される。つまり、路面ペイントなどに対する検知精度は、明るい所と同等であると想定される。
【００７３】
＜第２の実施例＞
＜移動物検知装置１００＞
移動物検知装置１００の一実施例は、図１を参照して説明した移動物検知装置を適用できる。
【００７４】
画像処理ECU１０４の一実施例は、図２を参照して説明した画像処理ECU１０２を適用できる。
【００７５】
図７は、画像処理ECU１０４を示す機能ブロック図である。図７の機能ブロック図により表される機能は、主に、マイクロコントローラ２０２により実行される。つまり、マイクロコントローラ２０２は、検知エリア設定部２０４２と、輝度判定部２０４４と、明暗位置判定部２０５４と、平滑化処理部２０４６と、特徴点抽出部２０４８と、特徴点追跡部２０５０と、移動物検知部２０５２として機能する。
【００７６】
マイクロコントローラ２０２に搭載されたCPU２０４が、ROM２０６に記憶されたアプリケーションプログラムおよびCPU２０４に格納されたファームウェアの一方または両方に従って、検知エリア設定部２０４２と、輝度判定部２０４４と、明暗位置判定部２０５４と、平滑化処理部２０４６と、特徴点抽出部２０４８と、特徴点追跡部２０５０と、移動物検知部２０５２としての機能が実行される。
【００７７】
つまり、第１の実施例の移動物検知装置と、明暗位置判定部２０５４としての機能が実行される点で異なる。
【００７８】
CPU２０４は、明暗位置判定部２０５４として機能する。明暗位置判定部２０５４は、輝度判定部２０４４と、平滑化処理部２０４６と接続される。明暗位置判定部２０５４には、輝度判定部２０４４から明暗判定結果が入力される。明暗位置判定部２０５４は、輝度判定部２０４４からの明暗判定結果が「暗い所」を示す場合、平滑化処理部２０４６へ、その明暗判定結果を入力する。
【００７９】
明暗位置判定部２０５４は、輝度判定部２０４４からの明暗判定結果が「明るい所」を示す場合、検知エリア内に、明暗の輝度差があるか否かを判定する。明暗位置判定部２０５４は、検知エリア内に明暗の輝度差がないと判定した場合、平滑化処理部２０４６に「明るい所」を示す明暗判定結果を入力する。
【００８０】
明暗位置判定部２０５４は、検知エリア内に明暗の輝度差があると判定した場合、平滑化処理部２０４６に「明暗がある所」を示す明暗判定結果を入力するとともに、「暗い所」と判定した座標範囲を入力する。
【００８１】
明暗位置判定部２０５４は、検知エリア内に、明暗の輝度差があるか否かを判定する際に、カメラ１０２のレンズの歪特性に基づいて、カメラ１０２からの映像の中心から周辺に向かう方向の距離を求め、その距離を示す座標を路面、つまりデジタル画像に投影する。
【００８２】
図８は、カメラ１０２と物Ａ、物Ｂとの間の位置関係を示す。図８には、カメラ本体１０２４と、カメラ本体１０２４に取り付けられたレンズ１０２２が示される。物Ａ、物Ｂは、カメラ１０２のレンズ１０２２の中心から同一線上にある。ここで、レンズ１０２２の中心から物Ａ（物Ｂ）までの角度を「θ」により表す。
【００８３】
図９は、図８の状態で撮影される映像を示す。物Ａ、物Ｂは、カメラ１０２のレンズ１０２２の中心から同一線上にあるため、カメラ１０２により撮影された映像では、物Ａ、物Ｂは、同じ位置にあるように撮影される。ここで、映像の中心「Ｏ」から物Ａ（物Ｂ）までの映像上での距離を「ｌ」により表す。
【００８４】
図１０は、映像上での距離とレンズの中心からの角度との間の関係を示す。つまり、図１０には、映像の中心「Ｏ」から物Ａ（物Ｂ）までの映像上での距離ｌと、レンズ１０２２の中心から物Ａ（物Ｂ）までの角度θとの間の関係を示す。この関係は、レンズの歪み特性とも呼ばれる。
【００８５】
明暗位置判定部２０５４は、Ｘ軸について、カメラ１０２のレンズの歪特性に基づいて、カメラ１０２からの映像の中心から周辺に向かう方向に、図１０に、「ｌ」により表される座標を表示する。この座標により、映像の中心からの距離が表される。明暗位置判定部２０５４は、カメラ１０２からの映像の中心から周辺に向かう距離を示す座標に基づいて、その距離を複数に区分する。検知エリアを複数に区分したエリアを区分エリアという。隣接する区分エリアにおけるＸ軸方向の距離の増加量を距離σにより表す。明暗位置判定部２０５４は、区分エリアを構成する各画素について輝度値を求め、求めた輝度値の平均値を算出する。
【００８６】
明暗位置判定部２０５４は、Ｙ軸について、カメラ１０２のレンズの歪特性に基づいて、カメラ１０２からの映像の中心から周辺に向かう方向に、座標を投影することにより表示するようにしてもよい。この座標により、映像の中心からの距離が表される。明暗位置判定部２０５４は、カメラ１０２からの映像の中心から周辺に向かう距離を示す座標に基づいて、その距離を複数に区分するようにしてもよい。
【００８７】
明暗位置判定部２０５４は、隣接する区分エリアについて、輝度値の平均値の差分を求めることにより輝度の変化を算出する。明暗位置判定部２０５４は、輝度の変化と第２の明暗判定閾値（α２）とを比較することにより、明るい所と暗い所との境界の位置を求める。明暗位置判定部２０５４は、輝度の変化が第２の明暗判定閾値（α２）より大きい位置を求めることにより、明るい所と暗い所との境界の位置を求める。
【００８８】
図１１は、明暗位置判定部２０５４の処理の一例を示す。明暗位置判定部２０５４は、映像の水平方向のＸ１≦Ｘ≦Ｘ２の区間Ｘ［ｍ］とＸ＋σ［ｍ］について、区間エリアを構成する画素毎に輝度を求め、各区分エリアについて輝度値を平均化する。明暗位置判定部２０５４は、区間エリアの輝度値の平均値の変化分を算出し、該変化分が第２の明暗判定閾値（α２）より大きい位置を求めることにより、暗い所の位置を判定する。具体的には、明暗位置判定部２０５４は、式（１）を満たす場合に、明るい所から暗い所へ変化したと判定する。
【００８９】
ΣＰ（Ｘ＋σ，ｙ）−ΣＰ（Ｘ，ｙ）＞α２      （１）
式（１）により、座標がＸ＋σの画素の輝度値の合計値と座標がＸの画素の輝度値の合計値との間の差分が求められ、その差分が第２の明暗閾値（α２）より大きいか否かが判定される。式（１）では、座標がＸ＋σの画素の数と座標がＸの画素の数は同じである場合について示す。この場合、画素数に基づいて、第２の明暗閾値（α２）が設定される。
【００９０】
図１１の左図では、左側の検知エリアでは｜Ｘ｜＞Ｎ［ｍ］に暗い所があると判定され、右側の検知エリアでは暗い所がないと判定される例を示す。
【００９１】
図１１の右図では、左側の検知エリアでは｜Ｘ｜≦Ｎ［ｍ］に暗い所があると判定され、右側の検知エリアでは暗い所がないと判定される例を示す。
【００９２】
明暗位置判定部２０５４は、平滑化処理部２０４６に、暗い所と判定した座標を入力する。明暗位置判定部２０５４は、図１１の左図では、平滑化処理部２０４６に、｜Ｘ｜＞Ｎ［ｍ］を表す情報を入力する。明暗位置判定部２０５４は、図１１の右図では、平滑化処理部２０４６に、｜Ｘ｜≦Ｎ［ｍ］を表す情報を入力する。
【００９３】
平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果に基づいて、平滑フィルタを選択する。例えば、平滑化処理部２０４６は、注目画素を重み付ける第１の平滑化フィルタＦ１、注目画素を重み付けない第２の平滑化フィルタＦ０のいずれか一方を選択する。
【００９４】
平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果が「明るい所」を示す場合、第２の平滑化フィルタＦ０を選択する。第２の平滑化フィルタＦ０を選択した場合、平滑化処理部２０４６は、注目画素について、その注目画素の周辺の輝度値を平均し、その注目画素の輝度値とすることにより平滑化する。つまり、明暗判定結果が「明るい所」を示す場合、注目画素に重み付けを行わず、検出エリアの画素値の平滑化処理を行う。
【００９５】
平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果が「暗い所」を示す場合、第１の平滑化フィルタＦ１を選択する。第１の平滑化フィルタＦ１を選択した場合、平滑化処理部２０４６は、注目画素について、その注目画素に近いほど、平均値を計算するときの重みを大きくし、遠くなるほど重みが小さくなるように所定の関数、例えばガウス分布の関数を用いてレートを計算することにより平滑化処理を行う。
【００９６】
平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果が「明暗がある所」を示す場合、「暗い所」と判定した座標範囲については第１の平滑化フィルタＦ１を選択し、「暗い所」と判定した座標範囲以外の座標範囲については第２の平滑化フィルタＦ０を選択する。
【００９７】
平滑化処理部２０４６は、平滑化処理後の画像を特徴点抽出部２０４８に入力する。
【００９８】
＜移動物検知装置１００の動作＞
図１２は、移動物検知装置１００の動作を示す。
【００９９】
ステップＳ１２０２−Ｓ１２０８は、図４を参照して説明したステップＳ４０２−Ｓ４０８を適用できる。
【０１００】
ステップＳ１２１０では、ステップＳ１２０６で検知エリアが「暗い所」であると判定されない場合、移動物検知装置１００の画像処理ECU１０４は、検知エリア内に明暗の輝度差が明暗閾値以上の部分があるか否かを判定する。明暗位置判定部２０５４は、隣接する区分エリアについて、輝度値の平均値の差分を求めることにより輝度の変化を算出し、輝度の変化と第２の明暗判定閾値（α２）とを比較することにより、明るい所と暗い所との境界の位置を求める。
【０１０１】
ステップＳ１２１２では、輝度の変化が第２の明暗判定閾値（α２）よりも大きい場合、移動物検知装置１００の画像処理ECU１０４は、検知エリアの明暗の輝度差が大きいと判定する。平滑化処理部２０４６は、「暗い所」は注目画素を重み付ける第１の平滑化フィルタＦ１で平滑化処理を行い、「明るい所」は注目画素を重み付けない第２の平滑化フィルタＦ０で平滑化処理を行う。平滑化処理部２０４６は、第１の平滑化フィルタＦ１を選択するとともに、第２の平滑化フィルタＦ０を選択する。
【０１０２】
ステップＳ１２１４では、輝度の変化が第２の明暗判定閾値（α２）以下である場合、移動物検知装置１００の画像処理ECU１０４は、検知エリアの明暗の輝度差が小さいと判定する。平滑化処理部２０４６は、注目画素を重み付けない第２の平滑化フィルタＦ０で平滑化処理を行う。平滑化処理部２０４６は、第２の平滑化フィルタＦ０を選択する。
【０１０３】
ステップＳ１２１６−Ｓ１２２２は、図４を参照して説明したステップＳ４１２−Ｓ４１８を適用できる。
【０１０４】
移動物検知装置の一実施例によれば、第１の実施例と同様に、暗い所でも、注目画素に重み付ける平滑化フィルタにより平滑化処理を行うため、移動物を検知できる。
【０１０５】
また、検知エリアを構成する各画素について、その輝度が輝度閾値Ｂより大きいか否かを判断し、検知エリアの明るさを判定するため、検知エリアの一部に光が差し込んで明るい部分があったとしても、暗い所と判定できる。つまり、各画素について輝度を判定できるため、明暗の誤判定を低減できる。
【０１０６】
また、暗い所と判定された場合に注目画素に重み付ける平滑化フィルタを使用するため、明るい所の特徴点の抽出に影響を与えることなく、暗い所における特徴点の抽出精度を向上できる。
【０１０７】
さらに、レンズの歪み特性に基づいて、車両周辺の明るさを精度よく判定できる。つまり、明るい所と判定された検知エリアであっても、その検知エリア内の暗い所を特定できる。例えば、昼間に移動物を検知している際に、検知エリアに影があり、コントラストが低いことにより「明るい所」と判定された場合でも、影の部分については、注目画素に重み付ける平滑化フィルタにより平滑化処理を行うことができる。
【０１０８】
＜変形例＞
移動物検知装置１００の一変形例は、図１を参照して説明した移動物検知装置を適用できる。
【０１０９】
画像処理ECU１０４の一変形例は、図２を参照して説明した画像処理ECU１０２を適用できる。
【０１１０】
画像処理ECU１０４の機能の一変形例は、図７を参照して説明した機能ブロック図を適用できる。
【０１１１】
移動物検知装置１００の一変形例は、平滑化処理部２０４６の処理が、上述した第２の実施例と異なる。
【０１１２】
平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果に基づいて、平滑フィルタを選択する。例えば、平滑化処理部２０４６は、注目画素を重み付ける第１の平滑化フィルタＦ１、注目画素を重み付けない第２の平滑化フィルタＦ０のいずれか一方を選択する。
【０１１３】
平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果が「明るい所」を示す場合、第２の平滑化フィルタＦ０を選択する。第２の平滑化フィルタＦ０を選択した場合、平滑化処理部２０４６は、注目画素について、その注目画素の周辺の輝度値を平均し、その注目画素の輝度値とすることにより検知エリアの画素値を平滑化する。つまり、明暗判定結果が「明るい所」を示す場合、注目画素に重み付けを行わず、検知エリアの画素値の平滑化処理を行う。
【０１１４】
平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果が「暗い所」を示す場合、第１の平滑化フィルタＦ１を選択する。第１の平滑化フィルタＦ１を選択した場合、平滑化処理部２０４６は、注目画素について、その注目画素に近いほど、平均値を計算するときの重みを大きくし、遠くなるほど重みが小さくなるように所定の関数、例えばガウス分布の関数を用いてレートを計算することにより検知エリアの画素値の平滑化処理を行う。
【０１１５】
平滑化処理部２０４６は、輝度判定部２０４４からの明暗判定結果が「明暗がある所」を示す場合、「暗い所」と判定した座標範囲に基づいて、第１の平滑化フィルタＦ０または第２の平滑化フィルタＦ１を選択する。平滑化処理部２０４６は、「暗い所」と判定した座標範囲については第１の平滑化フィルタＦ１を選択し、「暗い所」と判定した座標範囲については第２の平滑化フィルタＦ０を選択する。
【０１１６】
図１３は、平滑化フィルタの選択例を示す。
【０１１７】
「暗い所」と判定した座標範囲がカメラ１０２からの映像の中心からＮ［ｍ］以下である場合、つまり、カメラ１０２により撮影された映像の中心からＸ軸方向にＮ［ｍ］の範囲である場合には、車両の近傍に暗い所があると想定されるため、移動物の検知精度を向上させるのが好ましい。したがって、図１３の左図に示すように、平滑化処理部２０４６は、「暗い所」と判定した座標範囲がカメラ１０２からの映像の中心からＮ［ｍ］以下である場合には、第１の平滑化フィルタＦ１を選択する。Ｎの値は、レンズの特性などに基づいて予め設定される。
【０１１８】
一方、「暗い所」と判定した座標範囲がカメラ１０２からの映像の中心からＮ［ｍ］より大きい場合、つまり、カメラ１０２により撮影された映像の中心からＸ軸方向にＮ［ｍ］の範囲よりも外部である場合には、車両から遠い所に暗い所があると想定されるため、移動物の検知精度を向上させなくても影響は小さいと想定される。したがって、図１３の右図に示すように、平滑化処理部２０４６は、「暗い所」と判定した座標範囲がカメラ１０２からの映像の中心からＮ［ｍ］より大きい場合には、第２の平滑化フィルタＦ０を選択する。
【０１１９】
平滑化処理部２０４６は、平滑化処理後の画像を特徴点抽出部２０４８に入力する。
【０１２０】
＜移動物検知装置１００の動作＞
図１４は、移動物検知装置１００の動作を示す。
【０１２１】
ステップＳ１４０２−Ｓ１４１０は、図１２を参照して説明したステップＳ１２０２−Ｓ１２１０を適用できる。
【０１２２】
ステップＳ１４１２では、輝度の変化が第２の明暗判定閾値（α２）よりも大きい場合、移動物検知装置１００の画像処理ECU１０４は、検知エリアの明暗の輝度差が大きいと判定する。平滑化処理部２０４６は、「暗い所」は、カメラ１０２の近傍であるか否かを判定する。平滑化処理部２０４６は、「暗い所」と判定した座標範囲がカメラ１０２からの映像の中心からＮ［ｍ］以下であるか否かを判定する。
【０１２３】
ステップＳ１４１４では、「暗い所」と判定した座標範囲がカメラ１０２からの映像の中心からＮ［ｍ］以下である場合、移動物検知装置１００の画像処理ECU１０４は、「暗い所」がカメラ１０２の近傍であると判定する。平滑化処理部２０４６は、「暗い所」は注目画素を重み付ける第１の平滑化フィルタＦ１で平滑化処理を行い、「明るい所」は注目画素を重み付けない第２の平滑化フィルタＦ０で平滑化処理を行う。平滑化処理部２０４６は、第１の平滑化フィルタＦ１を選択するとともに、第２の平滑化フィルタＦ０を選択する。
【０１２４】
ステップＳ１４１６では、「暗い所」と判定した座標範囲がカメラ１０２からの映像の中心からＮ［ｍ］より大きい場合または輝度の変化が第２の明暗判定閾値（α２）以下である場合、移動物検知装置１００の画像処理ECU１０４は、「暗い所」がカメラ１０２の近傍でないまたは検知エリアの明暗の輝度差が小さいと判定する。平滑化処理部２０４６は、注目画素を重み付けない第２の平滑化フィルタＦ０で平滑化処理を行う。平滑化処理部２０４６は、第２の平滑化フィルタＦ０を選択する。
【０１２５】
ステップＳ１４１８−Ｓ１４２４は、図１２を参照して説明したステップＳ１２１６−Ｓ１２２２を適用できる。
【０１２６】
移動物検知装置の一変形例によれば、上述した実施例と同様に、暗い所でも、注目画素に重み付ける平滑化フィルタにより平滑化処理を行うため、移動物を検知できる。
【０１２７】
また、検知エリアを構成する各画素について、その輝度が輝度閾値Ｂより大きいか否かを判断し、検知エリアの明るさを判定するため、検知エリアの一部に光が差し込んで明るい部分があったとしても、暗い所と判定できる。つまり、各画素について輝度を判定できるため、明暗の誤判定を低減できる。
【０１２８】
また、暗い所と判定された場合に注目画素に重み付ける平滑化フィルタを使用するため、明るい所の特徴点の抽出に影響を与えることなく、暗い所における特徴点の抽出精度を向上できる。
【０１２９】
さらに、レンズの歪み特性に基づいて、車両周辺の明るさを精度よく判定できる。つまり、明るい所と判定された検知エリアであっても、その検知エリア内の暗い所を特定できる。例えば、昼間に移動物を検知している際に、検知エリアに影があり、コントラストが低いことにより「明るい所」と判定された場合でも、影の部分については、注目画素に重み付ける平滑化フィルタにより平滑化処理を行うことができる。
【０１３０】
また、明るい所と判定された検知エリアであり、且つその検知エリア内に暗い部分があると判定されても、その暗い部分が車両から遠方である場合には、明るい所と同様の処理を行ってもその影響は小さいと想定される。明るい所と判定された検知エリアについて、暗い部分があると判定されても、車両から遠方である場合には、明るい所と同様の処理を行うことにより、検知性能は維持しつつ演算負荷を低減できる。つまり、重点的に監視したい車両周辺の明るさに合わせて、検知精度を向上できる。
【０１３１】
以上、本発明は特定の実施例及び変形例を参照しながら説明されてきたが、各実施例及び変形例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。説明の便宜上、本発明の実施例に従った装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウェアで又はそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が包含される。
【符号の説明】
【０１３２】
１００  移動物検知装置
１０２  カメラ
１０４  画像処理ECU
２００  制御装置
２０２  マイクロコントローラ
２０４  CPU
２０６  ROM
２０８  RAM
２１０  A/D変換器
２１２  画像メモリ
２１４  トランシーバ
３００  表示装置
２０４２  検知エリア設定部
２０４４  輝度判定部
２０４６  平滑化処理部
２０４８  特徴点抽出部
２０５０  特徴点追跡部
２０５２  移動物検知部
２０５４  明暗位置判定部
【図１】
2015076633.tif 000003
【図２】
2015076633.tif 000004
【図３】
2015076633.tif 000005
【図４】
2015076633.tif 000006
【図７】
2015076633.tif 000007
【図８】
2015076633.tif 000008
【図９】
2015076633.tif 000009
【図１０】
2015076633.tif 000010
【図１２】
2015076633.tif 000011
【図１４】
2015076633.tif 000012
【図５】
2015076633.tif 000013
【図６】
2015076633.tif 000014
【図１１】
2015076633.tif 000015
【図１３】
2015076633.tif 000016