(57)【要約】【課題】内部配線数を従来よりも削減することができるブレーキ操作検知装置を提供すること。【解決手段】ブレーキ操作検知装置２０は、前処理部１３の出力信号から撮像画像の輝度値、Ｒ成分、Ｇ成分、Ｂ成分の強度値のデータを取得して評価値の各データとする評価値取得部２１と、前処理部１３の出力信号から撮像画像の輝度値と、前処理部１３が設定したシャッタ値及びゲイン値のデータとを取得し、これらに基づいてしきい値Ａ、Ｂ、Ｃを動的に決定するしきい値決定部２２と、ブレーキ操作判定部２３は、現フレーム評価値と、しきい値Ａ及びＢとを比較してブレーキランプの点灯の検知を行うことができるか否かについて判定するとともに、ブレーキランプの点灯の検知を行うことができる場合にフレーム間評価値差分の絶対値がしきい値Ｃ以上か否かを判定するブレーキ操作判定部２３と、を備える。【選択図】図１
2011251600.tif 000002
【特許請求の範囲】
【請求項１】
予め定められたフレーム間隔で自車両の外部の被写体を撮像するとともに自車両のブレーキランプの点灯光を感知可能な撮像装置が搭載された車両において運転者のブレーキ操作の有無を検知するブレーキ操作検知装置であって、
前記撮像装置が撮像した撮像画像に含まれる複数の色成分のうち少なくとも１つの色成分の強度のフレーム間変化量が予め定められたしきい値を超えたときに前記ブレーキ操作が行われたと判定するブレーキ操作判定部を備えたことを特徴とするブレーキ操作検知装置。
【請求項２】
前記しきい値を動的に決定するしきい値決定部を備え、
前記撮像装置は、前記被写体を撮像する撮像素子と、前記撮像素子の出力信号に対して利得補正を行う利得補正部と、前記撮像素子のシャッタ値及び前記利得補正部のゲイン値を決定する露光制御部と、を備え、
前記しきい値決定部は、前記シャッタ値、前記ゲイン値、前記利得補正部が出力する撮像画像のデータの輝度値に基づいて前記しきい値を動的に決定するものであることを特徴とする請求項１に記載のブレーキ操作検知装置。
【請求項３】
前記しきい値決定部は、前記シャッタ値、前記ゲイン値、前記利得補正部が出力する撮像画像のデータの輝度値に基づいて前記被写体の明るさを認識するものであり、
前記ブレーキ操作判定部は、前記被写体の明るさが予め定められた範囲外にあると前記しきい値決定部が認識したとき、前記ブレーキ操作の検知を停止するものであることを特徴とする請求項１又は請求項２に記載のブレーキ操作検知装置。
【請求項４】
前記しきい値決定部は、前記少なくとも１つの色成分の強度が増加する方向において前記ブレーキ操作の有無を判定する第１しきい値と、前記少なくとも１つの色成分の強度が減少する方向において前記ブレーキ操作の有無を判定する第２しきい値とを決定するものであることを特徴とする請求項１から請求項３までのいずれか１項に記載のブレーキ操作検知装置。
【請求項５】
前記ブレーキ操作判定部は、前記撮像装置が撮像した撮像画像を複数のブロックに分割した画像において、前記複数のブロックのうち前記少なくとも１つの色成分の強度のフレーム間変化量が前記しきい値を超えたブロックがあるとき前記ブレーキ操作が行われたと判定するものであることを特徴とする請求項１から請求項４までのいずれか１項に記載のブレーキ操作検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の外部を撮像する車載用撮像装置の出力信号を利用して運転手のブレーキ操作を検知するブレーキ操作検知装置に関する。
【背景技術】
【０００２】
従来、車載用撮像装置の出力信号を利用して運転手のブレーキ操作を検知するものとしては、自車両前方の撮像画像から先行車両のブレーキランプ点灯を検出して先行車両のブレーキ操作を検出する衝突防止装置が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示されたものは、ＣＣＤカメラで撮像した画像をイメージプロセッサで処理して距離分布情報を算出する手段と、距離分布情報をコントローラに読み込んで道路形状や複数の立体物の３次元位置を検出して先行車を特定する手段と、先行車の位置情報とＣＣＤカメラで撮像した画像とから先行車のブレーキランプ点灯の有無を検出して先行車の減速状態を判断する手段と、先行車の減速状態と自車両の走行状態とから衝突可能性を判断し、その結果をディスプレイに表示する手段と、を備え、先行車両と自車両との衝突可能性を正確に判断することができるようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３９５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されたものは、前方を走行する他車のブレーキ操作を検出することを目的としており、自車両のブレーキ操作を検出するものではないので、自車両の運転者のブレーキ操作に連動させて所定の制御を行いたい場合、ブレーキ操作を示す信号を伝達するための内部配線が必要となるという課題があった。
【０００６】
具体的には、例えば、自車両の運転者のブレーキ操作に連動させて車載用撮像装置を動作させたい場合、従来の手法ではブレーキ操作を示す信号を車載用撮像装置に伝達するため、ブレーキセンサから車載用撮像装置までの内部配線が必要となる。この内部配線の配線作業は、煩雑で手間が掛かるほか、配線部品点数が多くなるのでコストアップの一要因になるという課題があった。
【０００７】
本発明は、従来の課題を解決するためになされたものであり、内部配線数を従来よりも削減することができるブレーキ操作検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のブレーキ操作検知装置は、予め定められたフレーム間隔で自車両の外部の被写体を撮像するとともに自車両のブレーキランプの点灯光を感知可能な撮像装置が搭載された車両において運転者のブレーキ操作の有無を検知するブレーキ操作検知装置であって、前記撮像装置が撮像した撮像画像に含まれる複数の色成分のうち少なくとも１つの色成分の強度のフレーム間変化量が予め定められたしきい値を超えたときに前記ブレーキ操作が行われたと判定するブレーキ操作判定部を備えた構成を有している。
【０００９】
この構成により、本発明のブレーキ操作検知装置は、撮像装置が撮像した撮像画像に含まれる色成分の強度の変化量に基づいてブレーキ操作が行われたか否かを判定するので、ブレーキセンサから撮像装置までの内部配線が不要となる。したがって、本発明のブレーキ操作検知装置は、内部配線数を従来よりも削減することができる。
【００１０】
また、本発明のブレーキ操作検知装置は、前記しきい値を動的に決定するしきい値決定部を備え、前記撮像装置は、前記被写体を撮像する撮像素子と、前記撮像素子の出力信号に対して利得補正を行う利得補正部と、前記撮像素子のシャッタ値及び前記利得補正部のゲイン値を決定する露光制御部と、を備え、前記しきい値決定部は、前記シャッタ値、前記ゲイン値、前記利得補正部が出力する撮像画像のデータの輝度値に基づいて前記しきい値を動的に決定するものである構成を有している。
【００１１】
この構成により、本発明のブレーキ操作検知装置は、被写体の明るさに応じてブレーキランプの点灯又は消灯を検知することができる。
【００１２】
さらに、本発明のブレーキ操作検知装置は、前記しきい値決定部は、前記シャッタ値、前記ゲイン値、前記利得補正部が出力する撮像画像のデータの輝度値に基づいて前記被写体の明るさを認識するものであり、前記ブレーキ操作判定部は、前記被写体の明るさが予め定められた範囲外にあると前記しきい値決定部が認識したとき、前記ブレーキ操作の検知を停止するものである構成を有している。
【００１３】
この構成により、本発明のブレーキ操作検知装置は、被写体が所定の明るさよりも暗い場合又は明るい場合でのブレーキ操作の検知を停止し、被写体が暗すぎる場合や明るすぎる場合での誤検出を防止することができる。
【００１４】
さらに、本発明のブレーキ操作検知装置は、前記しきい値決定部は、前記少なくとも１つの色成分の強度が増加する方向において前記ブレーキ操作の有無を判定する第１しきい値と、前記少なくとも１つの色成分の強度が減少する方向において前記ブレーキ操作の有無を判定する第２しきい値とを決定するものである構成を有している。
【００１５】
この構成により、本発明のブレーキ操作検知装置は、特定の色成分の強度のフレーム間変化量がブレーキランプの点灯時と消灯時とで異なる場合でもブレーキ操作の有無を判定することができる。
【００１６】
さらに、本発明のブレーキ操作検知装置は、前記ブレーキ操作判定部は、前記撮像装置が撮像した撮像画像を複数のブロックに分割した画像において、前記複数のブロックのうち前記少なくとも１つの色成分の強度のフレーム間変化量が前記しきい値を超えたブロックがあるとき前記ブレーキ操作が行われたと判定するものである構成を有している。
【００１７】
この構成により、本発明のブレーキ操作検知装置は、所定ブロックの色成分の強度の変化量に基づいてブレーキ操作の検知を行うことができる。
【００１８】
また、この構成により、本発明のブレーキ操作検知装置は、撮像装置から被写体までの距離が比較的遠い範囲ではブレーキランプの点灯、消灯の影響を受けにくいため、撮像装置から被写体までの距離が比較的近い範囲に対応する撮像画像のブロックのみにおいて色成分の強度の変化量に基づいてブレーキ操作の検知を行うことができる。
【発明の効果】
【００１９】
本発明は、内部配線数を従来よりも削減することができるという効果を有するブレーキ操作検知装置を提供することができるものである。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態におけるブレーキ操作検知システムのブロック構成図
【図２】本発明の一実施形態におけるブレーキ操作検知システムが有するブレーキ操作検知装置のフローチャート
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について図面を用いて説明する。
【００２２】
まず、本実施形態におけるブレーキ操作検知システムの構成について説明する。
【００２３】
図１に示すように、本実施形態におけるブレーキ操作検知システム１は、撮像装置１０と、ブレーキ操作検知装置２０と、を備えている。
【００２４】
撮像装置１０は、レンズ部１１、撮像素子１２、前処理部１３、露光制御部１４、駆動処理部１５、信号処理部１６を備え、予め定められたフレーム間隔で被写体を撮像するようになっている。この撮像装置１０は、自車両の外部の被写体を撮像することができるとともに、自車両のブレーキランプの点灯光を感知することができるものである。例えば、撮像装置１０は、自車両の後方を撮像するバックモニタ用のデジタルビデオカメラであって、左右のブレーキランプの間に設置され、自車両のブレーキランプの点灯光を直接的又は間接的に感知できる構成となっている。ここで、ブレーキランプの点灯光を間接的に感知する例としては、自車両から比較的近い道路からの反射光、自車両を車庫に入庫させる際の車庫の壁からの反射光などによる感知がある。
【００２５】
レンズ部１１は、被写体の光を集光し、被写体の像を撮像素子１２の撮像面に結像するようになっている。
【００２６】
撮像素子１２は、レンズ部１１が結像する被写体の像を撮像して、被写体の撮像画像を生成するようになっている。撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）により構成され、撮像面にマトリクス状に配置されたフォトダイオードを備え、それぞれのフォトダイオードによって画素が構成されている。また、撮像素子１２は、画素ごとに異なるカラーフィルタを備え、これらのカラーフィルタによって分光されたアナログ信号を出力するようになっている。この構成において、撮像素子１２が、例えば、赤色、緑色、青色の光を透過する可視光フィルタを備えている場合、被写体に含まれる可視光成分の強度を得ることができる。なお、撮像素子１２は、ＣＭＯＳ(Complementary Metal-Oxide-Semiconductor)型撮像素子であってもよい。
【００２７】
前処理部１３は、例えば、相関二重サンプリング回路、自動利得補正回路、ＡＤコンバータ回路等により構成されている。相関二重サンプリング回路は、撮像素子１２により生成された撮像画像の雑音を除去するものである。自動利得補正回路は、相関二重サンプリング回路からの信号に対して自動的に利得補正を行うものである。ＡＤコンバータ回路は、自動利得補正回路からのアナログ信号をデジタル信号に変換するものである。
【００２８】
露光制御部１４は、前処理部１３でデジタル化された撮像画像のデータに基づいて、撮像素子１２の露光量を算出するようになっている。そして、露光制御部１４は、算出した露光量に従って、駆動処理部１５に対してシャッタ値の調整等の制御を行うとともに、前処理部１３に対してゲイン値調整等の制御を行うようになっている。この露光制御部１４を備えたことにより、撮像装置１０は、自動露光（ＡＥ）制御が可能となる。
【００２９】
駆動処理部１５は、垂直転送駆動回路やタイミングジェネレータ回路等により構成されている。駆動処理部１５は、露光制御部１４の制御に従って、シャッタ値の調整等を行い、撮像素子１２を駆動するものである。
【００３０】
信号処理部１６は、前処理部１３によってＡＤ変換されたデジタル信号に対して映像信号を生成するための信号処理を行うようになっている。例えば、信号処理部１６は、主に、輝度信号生成、色信号生成、アパーチャ信号生成を行うものであって、その他、ＯＢ（Optical black）減算やホワイトバランス調整、ノイズ低減など一般的な映像用の信号処理も行うことができるものである。
【００３１】
ブレーキ操作検知装置２０は、評価値取得部２１、しきい値決定部２２、ブレーキ操作判定部２３を備え、撮像装置１０が撮像する被写体の明るさが予め定められた範囲にあるとき、撮像装置１０の撮像画像に基づいてブレーキ操作を検知するようになっている。
【００３２】
評価値取得部２１は、前処理部１３の出力信号から撮像画像の輝度値、赤色成分（Ｒ成分）、緑色成分（Ｇ成分）、青色成分（Ｂ成分）の強度値のデータをフレームごとに取得するようになっている。ここで、評価値取得部２１は、例えば、ＲＧＢ各成分の各強度値Ｒ、Ｇ、Ｂを求めて、輝度値＝（Ｒ＋２Ｇ＋Ｂ）／４の数式により輝度値を算出する。また、評価値取得部２１は、取得した各データをブレーキ操作の有無を判定するための評価値の各データとしてブレーキ操作判定部２３に出力するようになっている。
【００３３】
なお、評価値取得部２１は、評価値の各データを、撮像画像を構成する画素ごとに取得してもよいし、撮像画像を複数のブロックに分割してブロックごとに取得する構成としてもよい。また、評価値取得部２１は、例えば、ブレーキランプ光の主成分であるＲ成分のみの強度値のデータを取得するものであってもよい。
【００３４】
しきい値決定部２２は、前処理部１３の出力信号から撮像画像の輝度値をフレームごとに取得するようになっている。例えば、しきい値決定部２２は、前述の輝度値算出の数式により、ＲＧＢ各成分の各強度値Ｒ、Ｇ、Ｂから輝度値を算出する。また、しきい値決定部２２は、前処理部１３が設定したシャッタ値及びゲイン値のデータをフレームごとに取得するようになっている。そして、しきい値決定部２２は、現フレームにおける撮像画像の輝度値、シャッタ値、ゲイン値より、撮像装置１０が撮像する被写体の明るさを認識するようになっている。
【００３５】
また、しきい値決定部２２は、被写体の明るさが予め定められた範囲にあるか否かを判断するためのしきい値Ａ及びＢを、現フレームにおける撮像画像の輝度値、シャッタ値、ゲイン値により動的に決定するようになっている。しきい値Ａ及びＢは、それぞれ、被写体の明るさの下限値及び上限値を決定するものであって、撮像画像の輝度値、Ｒ成分、Ｇ成分、Ｂ成分について個々に定められる。このしきい値Ａ及びＢによる判定により、ブレーキ操作検知装置２０は、被写体が所定の明るさよりも暗い場合又は明るい場合でのブレーキ操作の検知を停止し、被写体が暗すぎる場合や明るすぎる場合での誤検知を防止することができる。
【００３６】
さらに、しきい値決定部２２は、現フレームにおける撮像画像の輝度値、シャッタ値、ゲイン値により被写体の明るさを認識し、これらの値に応じてブレーキランプが点灯したか否かをフレーム間の評価値の変化量により判定するためのしきい値Ｃを動的に決定するようになっている。このしきい値Ｃにより、被写体の明るさに影響を受けることなく、ブレーキランプの点灯、消灯の状態を検出することができることとなる。例えば、しきい値決定部２２は、被写体が明るいほどしきい値Ｃを小さく決定し、被写体が暗いほどしきい値Ｃを大きく決定する。
【００３７】
なお、しきい値Ａ、Ｂ、Ｃの動的な決定手法は、被写体の明るさに応じて、実験やシミュレーションなどによって予め定めておくことができる。
【００３８】
ブレーキ操作判定部２３は、評価値取得部２１が取得した評価値の各データと、しきい値決定部２２が決定したしきい値Ａ、Ｂ、Ｃとに基づいて、車両の運転者がブレーキ操作を行ったか否かを判定するようになっている。
【００３９】
具体的には、ブレーキ操作判定部２３は、まず、ブレーキランプの点灯の検知を行うことができるか否かについて判定する。すなわち、ブレーキ操作判定部２３は、現フレームの撮像画像の輝度値、Ｒ成分、Ｇ成分、Ｂ成分の評価値（以下「現フレーム評価値」という。）と、しきい値Ａ及びＢとを比較してブレーキランプの点灯の検知を行うことができるか否かについて判定する。例えば、ブレーキ操作判定部２３は、現フレーム評価値がしきい値Ａ未満のときは被写体が暗すぎると判定し、ブレーキ操作の有無の判定をしない。また、ブレーキ操作判定部２３は、現フレーム評価値がしきい値Ｂより大きいときは被写体が明るすぎると判定し、ブレーキ操作の有無の判定をしない。すなわち、ブレーキ操作判定部２３は、現フレーム評価値がしきい値Ａ以上Ｂ以下のときにブレーキ操作の有無を判定する。
【００４０】
また、ブレーキ操作判定部２３は、ブレーキランプの点灯の検知を行うことができると判定したとき、フレーム間の評価値の変化量に基づいてブレーキ操作の有無を判定する。
【００４１】
具体的には、ブレーキ操作判定部２３は、現フレーム評価値と、現フレームの１つ前のフレームの評価値（以下「前フレーム評価値」という。）との差分（以下「フレーム間評価値差分」という。）の絶対値がしきい値Ｃよりも小さいとき、ブレーキ操作が行われていないと判定する。一方、ブレーキ操作判定部２３は、フレーム間評価値差分の絶対値がしきい値Ｃよりも大きいとき、ブレーキ操作が行われたと判定する。
【００４２】
なお、ブレーキ操作判定部２３は、評価値取得部２１が撮像画像を複数のブロックに分割してブロックごとに評価値の各データを取得する構成であるとき、複数のブロックのうち例えばＲ成分のブロック平均強度のフレーム間変化量がしきい値Ｃを超えたブロックがあるときにブレーキ操作が行われたと判定する構成としてもよい。この構成により、ブレーキ操作判定部２３は、撮像装置１０から被写体までの距離が比較的遠い範囲（例えば、空や遠方の建物など）ではブレーキランプの点灯、消灯の影響を受けにくいため、撮像装置１０から被写体までの距離が比較的近い範囲（例えば、自車両から近い道路の部分や車庫の壁など）に対応する撮像画像のブロックのみにおいて、所定の色成分の強度の変化量に基づいてブレーキ操作の検知を行うことができる。
【００４３】
また、しきい値Ｃについて、特定の色成分の強度が増加する方向と減少する方向とにおいて別個に定めておくことにより、特定の色成分の強度のフレーム間変化量がブレーキランプの点灯時と消灯時とで異なる場合でも、ブレーキ操作判定部２３は、ブレーキランプの点灯時と消灯時とを判別することができる。
【００４４】
次に、本実施形態におけるブレーキ操作検知システム１の動作について図２を用いて説明する。図２は、ブレーキ操作検知システム１におけるブレーキ操作検知装置２０の動作を示すフローチャートである。以下の説明では、撮像装置１０は、ＡＥ制御を行いながら被写体を撮像し、所定のフレーム間隔で撮像画像のデータをブレーキ操作検知装置２０に出力しているものとし、撮像装置１０の動作説明は省略する。
【００４５】
評価値取得部２１は、前処理部１３の出力信号から撮像画像の輝度値、Ｒ成分、Ｇ成分、Ｂ成分の強度値のデータをフレームごとに取得し、取得した各データをブレーキ操作の有無を判定するための評価値の各データとする（ステップＳ１１）。また、評価値取得部２１は、評価値の各データをブレーキ操作判定部２３に出力する。
【００４６】
しきい値決定部２２は、前処理部１３の出力信号から撮像画像の輝度値と、前処理部１３が設定したシャッタ値及びゲイン値のデータとをフレームごとに取得し、被写体の明るさが予め定められた範囲にあるか否かを判断するためのしきい値Ａ及びＢと、ブレーキランプが点灯したか否かを判定するためのしきい値Ｃとを動的に決定する（ステップＳ１２）。
【００４７】
ブレーキ操作判定部２３は、現フレーム評価値（図２では「現評価値」と記す。）と、しきい値Ａ及びＢとを比較してブレーキランプの点灯の検知を行うことができるか否かについて判定する（ステップＳ１３）。
【００４８】
ステップＳ１３において、ブレーキ操作判定部２３は、現フレーム評価値がしきい値Ａ未満のときは被写体が暗すぎると判定し、また、現フレーム評価値がしきい値Ｂより大きいときは被写体が明るすぎると判定し、ブレーキ操作の有無の判定を行わず処理を終了する。
【００４９】
一方、ステップＳ１３において、ブレーキ操作判定部２３は、現フレーム評価値がしきい値Ａ以上Ｂ以下のときにステップＳ１４に進みブレーキ操作の有無を判定する。
【００５０】
ブレーキ操作判定部２３は、現フレーム評価値と、前フレーム評価値（図２では「前評価値」と記す。）とのフレーム間評価値差分の絶対値がしきい値Ｃ以上か否かを判定する（ステップＳ１４）。
【００５１】
ステップＳ１４において、ブレーキ操作判定部２３は、フレーム間評価値差分の絶対値がしきい値Ｃ未満であると判定したときはブレーキ操作が行われていないと判定して処理を終了する。
【００５２】
一方、ステップＳ１４において、ブレーキ操作判定部２３は、フレーム間評価値差分の絶対値がしきい値Ｃ以上と判定したときはブレーキ操作が行われたと判定し、ステップＳ１５に進む。
【００５３】
ブレーキ操作判定部２３は、現フレーム評価値が前フレーム評価値よりも大きいか否かを判定する（ステップＳ１５）。
【００５４】
ステップＳ１５において、ブレーキ操作判定部２３は、現フレーム評価値が前フレーム評価値よりも大きいと判定したときは、ブレーキランプが消灯状態から点灯状態になったことを示すブレーキ点灯信号を出力する（ステップＳ１６）。
【００５５】
一方、ステップＳ１５において、ブレーキ操作判定部２３は、現フレーム評価値が前フレーム評価値よりも大きいと判定しなかったときは、ブレーキランプが点灯状態から消灯状態になったことを示すブレーキ消灯信号を出力する（ステップＳ１７）。
【００５６】
以上のように、本実施形態におけるブレーキ操作検知装置２０によれば、撮像装置１０が撮像した撮像画像に含まれる色成分の変化量に基づいてブレーキ操作の有無を判定する構成としたので、ブレーキセンサから撮像装置１０までの内部配線が不要となる。したがって、本実施形態におけるブレーキ操作検知装置２０は、内部配線数を従来よりも削減することができる。
【００５７】
また、本実施形態におけるブレーキ操作検知装置２０は、評価値取得部２１が、ブレーキランプの主成分であるＲ成分のみでなく、Ｇ成分、Ｂ成分の強度値のデータも取得する構成としたので、スペクトルの異なる種々のブレーキランプに対応することができる。
【産業上の利用可能性】
【００５８】
以上のように、本発明に係るブレーキ操作検知装置は、内部配線数を従来よりも削減することができるという効果を有し、車両の外部を撮像する車載用撮像装置の出力信号を利用して、運転手のブレーキ操作を検知するブレーキ操作検知装置等として有用である。
【符号の説明】
【００５９】
１  ブレーキ操作検知システム
１０  撮像装置
１１  レンズ部
１２  撮像素子
１３  前処理部
１４  露光制御部
１５  駆動処理部
１６  信号処理部
２０  ブレーキ操作検知装置
２１  評価値取得部
２２  しきい値決定部
２３  ブレーキ操作判定部
【図１】
2011251600.tif 000003
【図２】
2011251600.tif 000004