(57)【特許請求の範囲】
【請求項１】
道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分を検出する輝度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分を検出する色相変化検出手段と、
昼間で所定照度以上のときに前記輝度変化検出手段で検出された画像部分と、同じときに前記色相変化検出手段で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する重複抽出判定手段と、
を有することを特徴とする道路監視用事象検知装置。
【請求項２】
道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分を検出する輝度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分を検出する色相変化検出手段と、
昼間で所定照度以下のときに前記輝度変化検出手段で検出された画像部分と、同じときに前記色相変化検出手段で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する包括抽出判定手段と、
を有することを特徴とする道路監視用事象検知装置。
【請求項３】
道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段と、
前記指定色画像検出手段で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分である色強度差分を検出する色強度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分である輝度差分を検出する輝度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分である色相差分を検出する色相変化検出手段と、
照度センサから昼夜及び照度の強弱を検知する照度検知手段と、
前記色強度差分、前記輝度差分、前記色相差分に対して、検出モード、昼夜、照度の強弱を対応付けてマトリックス化したマトリックステーブルを有し、夜間で車両検出モードの場合には、前記マトリックステーブルから前記色強度差分を選択し、夜間で静止物体検出モードの場合には、前記輝度差分と前記色相差分との論理和を選択するマトリックス処理手段と、
選択された前記色強度差分による検出画像または前記論理和による検出画像を、道路上に存在する被検出物体の画像であると判定する判定手段と、
を有することを特徴とする道路監視用事象検知装置。
【請求項４】
前記カラー撮像カメラから送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、前記指定色画像検出手段で検出された画像部分から当該画素を取り除く取除手段
を更に有することを特徴とする請求項３記載の道路監視用事象検知装置。
【請求項５】
前記指定色画像検出手段は、前記カラー撮像カメラから送られた画像データより、車両のテールライトの色を有する画像部分を検出することを特徴とする請求項３記載の道路監視用事象検知装置。
【請求項６】
前記色強度変化検出手段で検出された画像部分を、道路の横断方向に膨張収縮させて車両の左右のテールライト相当の画像を１つにする画像処理手段
を更に有することを特徴とする請求項５記載の道路監視用事象検知装置。
【請求項７】
道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データを、道路の車線毎に分割するとともに、前記カラー撮像カメラの手前の分割面積を大きく、遠方へいくにつれて分割面積を小さくするように、道路の車線に沿って複数の画像部分に分割する分割手段と、
前記分割手段によって分割された各分割画像部分における輝度の空間的平均値をそれぞれ算出する輝度平均手段と、
前記輝度平均手段によりそれぞれ算出された各平均値に基づき各分割画像部分における閾値を自動的に設定する閾値設定手段と、
前記分割手段によって分割された各分割画像部分における画素毎の輝度の時間的平均値を求め、各分割画像部分の背景画像を作成する背景画像作成手段と、
前記分割手段によって分割された各分割画像部分と、前記背景画像作成手段によって作成された各背景画像との画素毎の輝度の差分をそれぞれ算出する差分算出手段と、
前記差分算出手段で算出された各差分を、前記閾値設定手段で設定された対応分割画像部分における閾値を用いてそれぞれ２値化する２値化手段と、
前記２値化手段で得られた情報に基づき、道路上に存在する被検出物体を検出する物体検出手段と、
を有することを特徴とする道路監視用事象検知装置。
【請求項８】
道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データを、道路の車線毎に分割するとともに、道路の車線に沿って複数の画像部分に分割する分割手段と、
前記分割手段によって分割された各分割画像部分における色相の空間的平均値をそれぞれ算出する色相平均手段と、
前記色相平均手段によりそれぞれ算出された各平均値に基づき各分割画像部分における閾値を設定する閾値設定手段と、
前記分割手段によって分割された各分割画像部分における画素毎の色相の時間的平均値を求め、各分割画像部分の背景画像を作成する背景画像作成手段と、
前記分割手段によって分割された各分割画像部分と、前記背景画像作成手段によって作成された各背景画像との画素毎の色相の差分をそれぞれ算出する差分算出手段と、
前記差分算出手段で算出された各差分を、前記閾値設定手段で設定された対応分割画像部分における閾値を用いてそれぞれ２値化する２値化手段と、
前記２値化手段で得られた情報に基づき、道路上に存在する被検出物体を検出する物体検出手段と、
を有することを特徴とする道路監視用事象検知装置。
【請求項９】
道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段と、
前記指定色画像検出手段で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分である色強度差分を検出する色強度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分である輝度差分を検出する輝度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分である色相差分を検出する色相変化検出手段と、
照度センサから昼夜及び照度の強弱を検知する照度検知手段と、
前記色強度差分、前記輝度差分、前記色相差分に対して、検出モード、昼夜、照度の強弱を対応付けてマトリックス化したマトリックステーブルを有し、昼間で照度が所定値よりも大きい場合には、前記マトリックステーブルから、前記輝度差分と前記色相差分との論理積を選択するマトリックス処理手段と、
選択された前記論理積による検出画像を、道路上に存在する被検出物体の画像であると判定する判定手段と、
を有することを特徴とする道路監視用事象検知装置。
【請求項１０】
道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段と、
前記指定色画像検出手段で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分である色強度差分を検出する色強度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分である輝度差分を検出する輝度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分である色相差分を検出する色相変化検出手段と、
照度センサから昼夜及び照度の強弱を検知する照度検知手段と、
前記色強度差分、前記輝度差分、前記色相差分に対して、検出モード、昼夜、照度の強弱を対応付けてマトリックス化したマトリックステーブルを有し、昼間で照度が所定値よりも小さい場合には、前記マトリックステーブルから、前記輝度差分と前記色相差分との論理和を選択するマトリックス処理手段と、
選択された前記論理和による検出画像を、道路上に存在する被検出物体の画像であると判定する判定手段と、
を有することを特徴とする道路監視用事象検知装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、道路監視用事象検知装置に関し、特に、道路付近に設置したテレビカメラから得た画像情報を基に、道路上の車両の走行状態（渋滞、停車等）を検知したり、落下物の検知を行う道路監視用事象検知装置に関する。
【０００２】
道路の車両渋滞状況や事故等による車両停車状態、また車両からの落下物の存在等を、道路管理者が素早く把握して、後続の車両等に注意を促したり、しかるべき処置をとったりすることは、安全上、重要なことである。特に、高速道路上では非常に重要なことである。上記の各状態の把握は、広範囲にわたって常時行われねばならないので、これを人手に頼らず自動的にできることが望ましい。
【０００３】
【従来の技術】
図１０は、従来の道路監視用事象検知装置の構成の一例を示す図である。すなわち、道路付近に道路上を撮影する白黒テレビカメラが設置され、そのテレビカメラが撮影した映像がビデオボードを介してマスク／背景／差分処理部１０１に入力される。テレビカメラは、道路の片側を走行する車両を後方から見る位置に設置される。マスク／背景／差分処理部１０１は、入力した画像情報（輝度情報）に対して、まず処理対象画像範囲だけを切り出すためのマスク処理を行う。通常、道路の車線毎に処理を行うので、ある１車線分の画像を切り出す。その切り出された画像を構成する各画素の輝度を、第１の所定時間（例えば数秒から１０数秒）にわたって平均化して、被検出物体のいない状態に相当する背景画像を作成する。すなわち、入力した画像情報（輝度情報）は、画素毎の２５６階調からなる輝度情報で構成され、それまでに作成された背景画像におけるある画素の輝度と、入力画像における同一画素の輝度とを比べ、後者が前者よりも大きいときには階調を１だけ大きくし、後者が前者よりも小さいときには階調を１だけ小さくする。こうした処理を第１の所定時間行って得られた画像は、被検出物体画像成分を殆ど含まない道路面だけのいわゆる背景画像となる。
【０００４】
マスク／背景／差分処理部１０１は、新たに入力された画像と背景画像との画素毎の輝度の差分を求め、この差分（２５６階調）の絶対値を所定の閾値と比較し、閾値を越えていれば、その画素に値１を与え、閾値以下であれば、その画素に値０を与える。値１の画素からなる画像が、背景画像にはなかった被検出物体の画像である。所定の閾値は固定値である。
【０００５】
渋滞抽出部１０２は、マスク／背景／差分処理部１０１から２値化された画像情報をもらい、車両の特徴を抽出しやすくするために、エッジ部分を検出し、Ｙ方向（ほぼ車両の移動方向）への投影値を求める。そして、これを判定処理部１０４へ送る。
【０００６】
一方、静止物体抽出部１０３は、マスク／背景／差分処理部１０１から背景画像を受け取り、第２の背景画像を作成する。すなわち、第１の所定時間にわたって平均化して得られた背景画像を、第１の所定時間よりも長い第２の所定時間（例えば数分）にわたって更に平均化して第２の背景画像を作成する。そして、先の背景画像と第２の背景画像との画素毎の輝度の差分を算出し、この差分（２５６階調）の絶対値を所定の閾値と比較して２値化を行う。こうして得られた２値化画像は、道路上の停車車両の画像か、または車両からの落下物の画像であると推定される。つまり、短い第１の所定時間で平均化されて得られた背景画像には停車車両や車両落下物が含まれていても、長い第２の所定時間にわたって平均化されて得られた第２の背景画像には停車車両や車両落下物の画像が含まれていない。したがって、第１の所定時間で平均化されて得られた背景画像と、第２の背景画像との差分をとれば、そこには停車車両や車両落下物の画像が現れる。
【０００７】
判定処理部１０４は、渋滞抽出部１０２から送られた投影値を基に、個々の車両を検出し、その台数と最後尾の車両の速度を算出する。そして、台数と速度とから渋滞状況を把握する。また、判定処理部１０４は、静止物体抽出部１０３から送られた２値化画像を基に、停車車両や車両落下物の存在を把握する。
【０００８】
こうした判定処理部１０４の判定結果に基づき、モニタ表示部１０５は車両の渋滞・停車状況や落下物の存在等について表示を行う。
【０００９】
【発明が解決しようとする課題】
しかし、通常の昼間で、路面の輝度が一定している場合には、従来の道路監視用事象検知装置でも、検知漏れや誤検知が比較的少ないが、夜間や、昼間でも路面の輝度が雲の動きで変化する場合などに、検知漏れや誤検知が多くなるという問題点があった。こうした検知漏れや誤検知が多くなるケースを、３つに分けて以下に説明する。
【００１０】
（ａ）夜間に車両を検出する場合
従来の道路監視用事象検知装置は、移動する車両のヘッドライトで照らされた路面を、車両として誤って検出してしまう。これにより、車両の前方や、車両が入ってくる前の監視車線領域や、隣の監視車線領域において、車両が存在しないにも拘わらず、車両が存在すると誤検出する。
【００１１】
（ｂ）夜間に、照明施設がない路面に存在する落下物やテールライトを消した停止車両を検出する場合
背景画像と検出対象画像との輝度差分が殆どないので、検知漏れを発生する。閾値を下げれば検出できる可能性はあるが、閾値を下げることにより、今度は昼間の誤検知の可能性を高めてしまう虞がある。
【００１２】
（ｃ）昼間に車両や静止物体を検出する場合
雲のはっきりした陰が路面にできて、それが移動するときには、その陰を車両として誤検出してしまう。また、昼間でも曇り空の時や朝夕には、背景画像と検出対象物との輝度差が減少するから、検出漏れが発生する可能性が高まる。例えば、路面とほぼ同じ輝度の車両などは検出漏れになる可能性がある。
【００１３】
本発明はこのような点に鑑みてなされたものであり、検知漏れや誤検知を減少させた道路監視用事象検知装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明では上記目的を達成するために、図１に示すように、道路上を撮影するカラー撮像カメラ１と、カラー撮像カメラ１から送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分を検出する輝度変化検出手段２と、カラー撮像カメラ１から送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分を検出する色相変化検出手段３と、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する重複抽出判定手段４と、を有することを特徴とする道路監視用事象検知装置が提供される。
【００１５】
また道路監視用事象検知装置は、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する包括抽出判定手段５を有する。
【００１６】
更に、道路監視用事象検知装置は、カラー撮像カメラ１から送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段６と、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する色強度変化検出手段７と、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する判定手段８とを有する。
【００１７】
昼間で所定照度以上のときに路上にできる雲の陰は、輝度変化検出手段２だけで検出した場合には被検出物体として誤検出されてしまう。しかし、この雲の陰とその背景画像との間には、大きな輝度差があるが、色相差は殆どない。そこに着目して、以上のような構成において、重複抽出判定手段４が、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、昼間で所定照度以上の、雲の陰に起因した誤検出を招きそうなときには、輝度差があっても色相差がなければ被検出物体とは判定しないようにする。
【００１８】
また、昼間で所定照度以下のときには、輝度差だけで被検出物体を検出することは難しくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、包括抽出判定手段５が、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。
【００１９】
更に、夜間には、車両のテールライトの色を頼りに車両を検知するようにする。すなわち、指定色画像検出手段６が、カラー撮像カメラ１から送られた画像データから、指定の色（車両のテールライトの色）を有する画像部分を検出する。そして、色強度変化検出手段７が、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する。判定手段８は、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する。なお、カラー撮像カメラ１から送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、指定色画像検出手段６で検出された画像部分から当該画素を取り除くようにする。つまり、車両のヘッドライトの当たっている路面部分の画像を構成する各画素には、全色のスペクトラムが含まれている。そこで、全色のスペクトラムが含まれている画素については、指定色画像検出手段６で検出された画像部分から取り除くようにする。こうすることにより、ヘッドライトで照らされた路面を被検出物体と誤認することがなくなる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
まず、図１を参照して本発明の実施の形態の原理構成を説明する。本発明の実施の形態における原理構成は、道路上を撮影するカラー撮像カメラ１と、カラー撮像カメラ１から送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分を検出する輝度変化検出手段２と、カラー撮像カメラ１から送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分を検出する色相変化検出手段３と、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する重複抽出判定手段４とからなる。
【００２１】
また、本発明の実施の形態は、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する包括抽出判定手段５を有する。
【００２２】
更に、本発明の実施の形態は、カラー撮像カメラ１から送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段６と、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する色強度変化検出手段７と、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する判定手段８とを有する。
【００２３】
昼間で所定照度以上のときに路上にできる雲の陰は、輝度変化検出手段２だけで検出した場合には被検出物体として誤検出されてしまう。しかし、この雲の陰とその背景画像との間には、大きな輝度差があるが、色相差は殆どない。そこに着目して、以上のような構成において、重複抽出判定手段４が、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、昼間で所定照度以上の、雲の陰に起因した誤検出を招きそうなときには、輝度差があっても色相差がなければ被検出物体とは判定しないようにする。
【００２４】
また、昼間で所定照度以下のときには、輝度差だけで被検出物体を検出することは難しくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、包括抽出判定手段５が、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。
【００２５】
更に、夜間には、車両のテールライトの色を頼りに車両を検知するようにする。すなわち、指定色画像検出手段６が、カラー撮像カメラ１から送られた画像データから、指定の色（車両のテールライトの色）を有する画像部分を検出する。そして、色強度変化検出手段７が、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する。判定手段８は、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する。なお、カラー撮像カメラ１から送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、指定色画像検出手段６で検出された画像部分から当該画素を取り除くようにする。つまり、車両のヘッドライトの当たっている路面部分の画像を構成する各画素には、全色のスペクトラムが含まれている。そこで、全色のスペクトラムが含まれている画素については、指定色画像検出手段６で検出された画像部分から取り除くようにする。こうすることにより、ヘッドライトで照らされた路面を被検出物体と誤認することがなくなる。
【００２６】
図２は、本発明に係る道路監視用事象検知装置の一実施の形態についての詳しい全体構成を示すブロック図である。
図中、道路付近に道路上を撮影するカラーテレビカメラ（図示せず）が設置され、そのテレビカメラが撮影したカラー映像（３原色データ）がビデオボード（図示せず）を介してマトリックス演算部１１に入力される。テレビカメラは、道路の片側を走行する車両を後方から見る位置に設置される。マトリックス演算部１１は、画素毎の赤、緑、青の各強度データ（２５６階調）を基に、輝度情報（Ｙ）、色情報（θc ）、指定色情報（Ｉc ）を演算する。
【００２７】
図３はマトリックス演算部１１の内部構成を示す図である。図中、乗算器３１〜３３及び加算器３４を使用し、下記式（１）に基づき、画素毎に輝度情報（Ｙ）を算出する。
【００２８】
【数１】
Ｙ＝0.299 ×Ｒ＋0.578 ×Ｇ＋0.114 ×Ｂ                ・・・（１）
すなわち、乗算器３１で、ある１つの画素の赤の強度Ｒに係数0.299 を乗算し、乗算器３２で、同一の画素の緑の強度Ｇに係数0.578 を乗算し、乗算器３３で、同一の画素の青の強度Ｂに係数0.114 を乗算し、それらの３つの乗算結果を加算器３４で合算して、ある１つの画素の輝度情報Ｙを出力する。
【００２９】
色情報（θc ）については、ある１つの画素の赤の強度Ｒ、同一の画素の青の強度Ｂ、及び同一の画素の輝度情報Ｙを用いて、演算部３５において下記式（２）に基づき、ある１つの画素の色情報θc を算出する。この算出を各画素に対して行う。
【００３０】
【数２】
θc ＝tan -1｛1.78×（Ｒ−Ｙ）／（Ｂ−Ｙ）｝×256 ／360 ・・・（２）
ここで、値（256 ／360 ）は３６０度の色相情報を２５６階調の強度情報に変換するための係数である。
【００３１】
指定色情報（Ｉc ）については、画素毎に、乗算器３１〜３３で得られた各値に対して乗算器３６〜３８によって係数Ａ，Ｂ，Ｃをそれぞれ乗算し、得られた各値をスイッチ４０〜４２を介して加算器４３で合算する。加算器４３で合算された値はスイッチ４４を介して指定色情報Ｉc として出力される。乗算器３１〜３３で得られた各値は、コンパレータ３９において所定値と比較され、３つの値ともが所定値を越えているときに、コンパレータ３９はスイッチ４４をオフする。乗算器３６〜３８に対してそれぞれ設定される係数Ａ，Ｂ，Ｃの各値及びスイッチ４０〜４２の動作は、外部ＭＰＵ（Micro Processing Unit)からの色指定に従い、色指定部１８（図２）によって制御される。
【００３２】
図４は、色指定部１８によるスイッチ４０〜４２の動作制御を説明する図である。例えば、色指定部１８が「赤」の色指定を受けると、図４を参照してスイッチ４０をオンし、スイッチ４１及びスイッチ４２をオフする。また、例えば、色指定部１８が「黄」の色指定を受けると、図４を参照してスイッチ４０及びスイッチ４１をオンし、スイッチ４２をオフする。なおその際に、係数Ａ，Ｂ，Ｃの各値は値１に設定しておく。そして、図４に示された色以外の中間の色を指定された場合には、係数Ａ，Ｂ，Ｃの各値を調整する。
【００３３】
図３に戻って、指定色として車両のテールライトの色が指定されると、それに応じて、スイッチ４０〜４２の動作が決定され、また乗算器３６〜３８によって乗算される係数Ａ，Ｂ，Ｃの各値が決定される。これにより、加算器４３から出力される値は、ある画素が持つ指定色の強度となる。ただし、この画素が白色に近い色を持っている場合には、つまり、ヘッドライトで照らされた路面等の画像を構成する画素である場合には、コンパレータ３９によりスイッチ４４がオフされるので、その画素に関する指定色情報Ｉc は零となる。これによって、指定色情報Ｉc としては、車両のテールライトの色を有する画像部分だけが出力され、ヘッドライトで照らされた路面等の画像部分は出力されないことになる。
【００３４】
図２に戻って、自動しきい値部１２及びマスク／背景／差分部１３は、入力した輝度情報Ｙを基に、輝度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。これらの動作を、図５を参照して説明する。
【００３５】
図５は、自動しきい値部１２及びマスク／背景／差分部１３の動作を示すフローチャートである。このフローチャートの処理は、１フレーム分の画像が入力される度に実行される。以下、ステップ番号に沿って説明する。
【００３６】
〔Ｓ１〕まずマスク／背景／差分部１３が、処理対象画像範囲だけを切り出すためのマスク処理を行う。
図６は処理対象画像範囲の一例を示す図である。すなわち、マスク／背景／差分部１３には、図６に示す画像５１に関する輝度情報Ｙが入力される。この画像５１は片側３車線の道路の路面を示しており、この画像において、１車線目を領域Ａ１，Ｂ１，Ｃ１，Ｄ１に分割し、同様に、２車線目を領域Ａ２，Ｂ２，Ｃ２，Ｄ２に、３車線目を領域Ａ３，Ｂ３，Ｃ３，Ｄ３に分割する。各分割領域はいずれも、例えば車両４台位の面積に相当する領域にする。したがって、図６に示す分割領域は遠方ほど小さくなる。
【００３７】
ステップＳ１では、これらの分割領域のうちの１つを選択して、その選択された領域の輝度情報Ｙを切り出す。
〔Ｓ２〕後述のステップＳ４〜Ｓ６を第１の所定時間（例えば数秒から１０数秒）にわたって繰り返し実行することによって既に得られた分割領域毎の背景画像において、自動しきい値部１２は、背景画像を構成する各画素が持つ輝度値の平均輝度値を算出し、この平均輝度値に応じて、次のステップＳ３で必要となる閾値を決定する。平均輝度値が大きければ閾値も大きく設定する。閾値は、第１の所定時間毎に更新されるとともに、分割領域毎に個別に設定される。
【００３８】
〔Ｓ３〕マスク／背景／差分部１３は、選択分割領域の画像を構成する各画素の輝度と、選択分割領域の背景画像を構成する対応画素の輝度との差分を算出する。そして、算出された画素毎の差分（２５６階調）の絶対値を、ステップＳ２で決定された選択分割領域の閾値と比較し、その絶対値が閾値を越えていれば、その画素に値１を与え、閾値以下であれば、その画素に値０を与える。値１の画素からなる画像が、背景画像にはなかった被検出物体の画像である。
【００３９】
〔Ｓ４〕マスク／背景／差分部１３は、選択分割領域の背景画像を構成するある１つの画素の輝度から、選択分割領域の入力画像を構成する同一の画素の輝度を差し引いて得られた輝度差分が、負の値であればステップＳ５へ進み、正の値であればステップＳ６へ進み、零であればステップＳ７へ進む。
【００４０】
〔Ｓ５〕マスク／背景／差分部１３は、選択分割領域の背景画像の対応画素の輝度を１階調分だけ下げる。
〔Ｓ６〕マスク／背景／差分部１３は、選択分割領域の背景画像の対応画素の輝度を１階調分だけ上げる。
【００４１】
ステップＳ４〜Ｓ６を、選択分割領域の全画素に対して実行する。
〔Ｓ７〕別の分割領域に対してステップＳ１〜Ｓ６を実行すべく、未実行の分割領域を選択する。
【００４２】
〔Ｓ８〕画像５１の中の領域Ａ１，Ｂ１，Ｃ１，Ｄ１、Ａ２，Ｂ２，Ｃ２，Ｄ２、Ａ３，Ｂ３，Ｃ３，Ｄ３の全てに対して、ステップＳ１〜Ｓ６の実行が完了していれば図５の処理を終了する。完了していなければステップＳ１へ戻る。
【００４３】
以上のように、新たなフレームの画像が入力される度に図５の処理が実行され、第１の所定時間が経過することにより、背景画像から被検出物体の画像が殆ど消え、道路面だけの画像となる。そうした第１の所定時間後に得られた背景画像を用いて、マスク／背景／差分部１３が、ステップＳ３に示すようにして、背景画像と輝度が異なる画像部分（被検出物体の画像）を検出し、２値化データとして出力する。
【００４４】
図２に戻って、自動しきい値部１４及びマスク／背景／差分部１５は、入力した色情報θc を基に、色相に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。これらの自動しきい値部１４及びマスク／背景／差分部１５の動作は、図５に示す自動しきい値部１２及びマスク／背景／差分部１３の動作と基本的に同じである。そのため、説明を省略する。ただし、輝度情報Ｙを色情報θc に、輝度を色相に、３６０度の色相差分を２５６階調の輝度差分に読み替える必要がある。
【００４５】
また、自動しきい値部１６及びマスク／背景／差分部１７は、入力した指定色情報Ｉc を基に、色強度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。これらの自動しきい値部１６及びマスク／背景／差分部１７の動作は、図５に示す自動しきい値部１２及びマスク／背景／差分部１３の動作と基本的に同じである。ただし、輝度情報Ｙを指定色情報Ｉc に、輝度を色強度に読み替える必要がある。
【００４６】
マトリックス処理部１９は、マスク／背景／差分部１３，１５，１７からそれぞれ、２値化された輝度差分、色相差分、指定色強度差分を受け取る。また、照度検知部２６から昼夜の区別情報及び昼間の照度情報を受け、ＭＰＵから車両検出モードか、静止物体検出モードかの指定を受ける。照度検知部２６には、道路近辺で自然界の照度だけを測定できる場所に設置された照度センサ２５が接続されており、照度検知部２６は、照度センサ２５から送られる電気信号に基づき、昼夜の区別情報及び昼間の照度の強弱を示す情報を出力する。なお、照度検知部２６の制御には、切替時にハンチングを繰り返さないように、ヒステリシスを設ける。車両検出モードは渋滞状態の車両を検出するためのモードであり、静止物体検出モードは、停止車両や落下物を検出するためのモードである。
【００４７】
マトリックス処理部１９は、２値化された輝度差分、色相差分、指定色強度差分に対して、検出モード、昼夜、照度の強弱に応じて、図７で示すような論理処理を行う。
【００４８】
図７は、マトリックス処理部１９で行われる論理処理を示す図である。すなわち、昼間において照度が所定値よりも大きい場合、マトリックス処理部１９は、輝度差分と色相差分との論理積（ＡＮＤ）をとり、車両検出モードならば膨張収縮部２０へ、静止物体検出モードならば静止物体抽出部２１へ出力する。つまり、昼間において照度が所定値よりも大きいときに路上にできる雲の陰は、輝度差分だけで検出した場合には被検出物体として誤検出してしまう。しかし、この雲の陰とその背景画像との間には、大きな輝度差があるが、色相差は殆どない。そこに着目して、輝度差分が検出された画像部分と、色相差分が検出された画像部分との重なっている部分を抽出する。この抽出された画像部分は、雲の陰の画像を含まないことになる。なおこの場合、指定色強度差分については破棄する。
【００４９】
昼間において照度が所定値よりも小さい場合、マトリックス処理部１９は、輝度差分と色相差分との論理和（ＯＲ）をとり、車両検出モードならば膨張収縮部２０へ、静止物体検出モードならば静止物体抽出部２１へ出力する。つまり、昼間において照度が所定値よりも小さいときには、輝度差だけで路面上の被検出物体を検出すると検出漏れを発生しやすくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、輝度差分が検出された画像部分と、色相差分が検出された画像部分との包括的部分を抽出する。なおこの場合、指定色強度差分については破棄する。
【００５０】
夜間において車両検出モードである場合、マトリックス処理部１９は、指定色強度差分だけを選択して膨張収縮部２０へ出力する。すなわち、夜間において車両検出モードである場合には、色指定部１８からの制御により、車両のテールライトの色だけを有し、移動している画像部分だけが指定色強度差分として出力される。輝度差分及び色相差分については破棄する。
【００５１】
夜間において静止物体検出モードである場合、マトリックス処理部１９は、輝度差分と色相差分との論理和（ＯＲ）をとって静止物体抽出部２１へ出力する。つまり、夜間において路面を照らす照明施設が無く、落下物やテールライトを消した停止車両等を検出するときには、輝度差だけに頼って路面上の被検出物体を検出すると検出漏れを発生しやすくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、輝度差分が検出された画像部分と、色相差分が検出された画像部分との包括的部分を抽出する。なおこの場合、指定色強度差分については破棄する。
【００５２】
夜間において路面を照らす照明施設が無く、落下物やテールライトを消した停止車両等を検出するときには、輝度差分が２値化されるときに使用された閾値が、背景画像の輝度平均値（この場合かなり小さい値）に応じて小さい値に設定されているはずであるので、輝度差分の検出精度が向上する。また、検出領域の分割により、他の分割領域に譬え明るいところがあっても閾値はその影響を受けないので、検出精度が低下することがない。なお、背景画像の輝度平均値に応じて閾値を設定することによって検出精度が向上することや、検出領域を分割することによって閾値が他の分割領域の影響を受けないようになることは、どの検出状態（昼夜、各検出モード）においても得られる効果である。
【００５３】
さらに、背景画像の輝度平均値に応じて閾値を設定することや、閾値が他の分割領域の影響を受けないように図って検出領域を分割することは、マトリックス処理部１９を備えない道路監視用事象検知装置にも適用できる技術である。
【００５４】
図２に戻って、膨張収縮部２０は、マトリックス処理部１９から、昼間の場合に輝度差分と色相差分との論理積及び輝度差分と色相差分との論理和、夜間の場合に指定色強度差分を受け取るとともに、照度検知部２６から昼夜の区別情報を受け取る。膨張収縮部２０は、夜間の場合に指定色強度差分に対して膨張収縮処理を施して渋滞抽出部２２へ出力し、昼間の場合には上記論理積及び論理和に対して何らの処理もせずそのまま、渋滞抽出部２２へ転送する。膨張収縮処理とは、指定色強度差分ではテールライトが通常２つ、Ｘ方向（車線の横断方向）に並んで検出されるので、この２つの画像を１つにする画像処理であり、Ｘ方向に膨張と収縮を数回繰り返す。
【００５５】
渋滞抽出部２２は、膨張収縮部２０から膨張収縮処理された指定色輝度差分、輝度差分と色相差分との論理積、または輝度差分と色相差分との論理和を受け取り、車線毎に車両の特徴を抽出しやすくするために、エッジ部分を検出し、Ｙ方向（ほぼ車両の移動方向）への投影値を求める。そして、これを判定処理部２３へ送る。
【００５６】
図８（Ａ）は１車線目のエッジ画像の例を示し、図８（Ｂ）はＹ方向への投影値の例を示す。
静止物体抽出部２１は、マトリックス処理部１９から輝度差分と色相差分との論理積または輝度差分と色相差分との論理和を受け取り、また更に、マスク／背景／差分部１３，１５からマトリックス処理部１９を介して各背景画像を受け取る。静止物体抽出部２１は、マスク／背景／差分部１３，１５で第１の所定時間にわたって平均化して得られた各背景画像を、第１の所定時間よりも長い第２の所定時間（例えば数分）にわたって更にそれぞれ平均化して各第２の背景画像を作成する。そして、これらを用いて画素毎の差分を算出し、この差分（２５６階調）の絶対値を所定の閾値と比較して２値化を行う。こうして得られた２値化画像は、道路上の停車車両の画像か、または車両からの落下物の画像であると推定される。つまり、短い第１の所定時間で平均化されて得られた背景画像には停車車両や車両落下物が含まれていても、長い第２の所定時間にわたって平均化されて得られた第２の背景画像には停車車両や車両落下物の画像が含まれていない。したがって、第１の所定時間で平均化されて得られた背景画像と、第２の背景画像との差分をとれば、そこには停車車両や車両落下物の画像が現れる。
【００５７】
判定処理部２３は、渋滞抽出部２２から送られた投影値を基に、個々の車両を検出し、その台数と最後尾の車両の速度を算出する。投影値はＹ方向の値１の画素の数であり、この画素数が所定値を越えていれば、この画素が被検出物体を示していると判定する。そして、Ｙ方向の長さから個々の車両を特定し、その台数と最後尾の車両の速度を算出する。そして、台数と速度とから渋滞状況を把握する。また、判定処理部２３は、静止物体抽出部２１から送られた２値化画像を基に、停車車両や車両落下物の存在を把握する。渋滞抽出部２２から送られた投影値を利用すれば、静止物体が画面の端から入って画面内で徐々に停止したか、または画面内で突然検知されたかの違いによって、停車車両か車両落下物かの区別がつく。
【００５８】
こうした判定処理部２３の判定結果に基づき、モニタ表示部２４は車両の渋滞・停車状況や落下物の存在等について表示を行う。すなわち、車両の渋滞・停車画発生したり落下物が発見されたときに、それらの映像を表示したり、それらを示す文字や数値の表示を行う。
【００５９】
図９は、図２に示す道路監視用事象検知装置の動作概要を示すフローチャートである。以下、ステップ番号に沿って説明する。
〔Ｓ１１〕マトリックス演算部１１が、画素毎の赤、緑、青の各強度データ（２５６階調）を基に、輝度情報（Ｙ）、色情報（θc ）、指定色情報（Ｉc ）を演算する。
【００６０】
〔Ｓ１２〕照度検知部２６が、昼夜の区別情報及び昼間の照度の強弱を示す情報を出力する。
〔Ｓ１３〕マスク／背景／差分部１３は、入力した輝度情報Ｙを基に、輝度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。
【００６１】
〔Ｓ１４〕マスク／背景／差分部１５は、入力した色情報θc を基に、色相に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。
【００６２】
〔Ｓ１５〕マスク／背景／差分部１７は、入力した指定色情報Ｉc を基に、色強度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。
【００６３】
〔Ｓ１６〕マトリックス処理部１９は、ステップＳ１３〜Ｓ１５で得られた各画像部分に対して、検出モード、昼夜、照度の強弱に応じて論理処理を行う。
〔Ｓ１７〕入力した指定色情報Ｉc を基にマスク／背景／差分部１７が検出した画像部分に対して、膨張収縮部２０が膨張収縮処理を行う。
【００６４】
〔Ｓ１８〕渋滞抽出部２２が、エッジ検出及びＹ方向への投影を行う。
〔Ｓ１９〕静止物体抽出部２１が、第２の背景画像を作成するとともに、差分を算出する。
【００６５】
〔Ｓ２０〕判定処理部２３が、渋滞抽出部２２から送られた投影値を基に、個々の車両を検出し、その台数と最後尾の車両の速度を算出する。そして、台数と速度とから渋滞状況を判定する。また、判定処理部２３は、静止物体抽出部２１から送られた差分情報を基に、停車車両や車両落下物の存在を判定する。
【００６６】
〔Ｓ２１〕判定処理部２３の判定結果に基づき、モニタ表示部２４は車両の渋滞・停車状況や落下物の存在等について表示を行う。
【００６７】
【発明の効果】
以上説明したように本発明では、カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって背景画像を求め、当該背景画像と色相が異なる入力画像の画像部分を検出する色相変化検出手段を設ける。そして、重複抽出判定手段が、昼間で所定照度以上のときに輝度変化検出手段で検出された画像部分と、同じときに色相変化検出手段で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、昼間で所定照度以上の、雲の陰に起因した誤検出を招きそうなときには、輝度差があっても色相差がなければ被検出物体とは判定しないようにする。これにより、昼間で所定照度以上のときに路上にできる雲の陰は、輝度変化検出手段だけで検出した場合には被検出物体として誤検出されてしまうが、この誤検出を防止できる。
【００６８】
また、包括抽出判定手段が、昼間で所定照度以下のときに輝度変化検出手段で検出された画像部分と、同じときに色相変化検出手段で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、輝度差だけでなく、色相差も検出に利用することにより、昼間で所定照度以下のときに、検出漏れを防止できる。
【００６９】
また、夜間には、車両のテールライトの色を頼りに車両を検知するようにする。すなわち、指定色画像検出手段が、カラー撮像カメラから送られた画像データから、指定の色（車両のテールライトの色）を有する画像部分を検出する。そして、色強度変化検出手段が、指定色画像検出手段で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する。判定手段は、夜間に色強度変化検出手段で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する。これによって、夜間の車両の誤検出を防止できる。
【００７０】
なお、カラー撮像カメラから送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、指定色画像検出手段で検出された画像部分から当該画素を取り除くようにする。これにより、ヘッドライトで照らされた路面を被検出物体と誤認することがなくなる。
【００７１】
さらに、輝度差分、色相差分、及び指定色強度差分が２値化されるときに使用される各閾値を、背景画像の空間平均値に応じて設定し、また、背景画像の空間平均値を、車線方向に複数に分割した画像領域において算出するようにする。これにより、輝度差分、色相差分、及び指定色強度差分の検出精度が向上する。
また、色強度差分、輝度差分、色相差分に対して、検出モード、昼夜、照度の強弱をマトリックス化したマトリックステーブルを有するので、監視条件に応じて適切な画像差分情報を選択して、被検出物体の判定処理を高精度に行うことが可能になる。
さらに、カラー撮像カメラから送られた画像データを、道路の車線毎に分割するとともに、カラー撮像カメラの手前の分割面積を大きく、遠方へいくにつれて分割面積を小さくするように、道路の車線に沿って複数の画像部分に分割することで、分割面積が車両より小さくて、差分検出ができないといった検知漏れをなくし、かつ適切な閾値を設定することが可能になる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】本発明に係る道路監視用事象検知装置の一実施の形態についての詳しい全体構成を示すブロック図である。
【図３】マトリックス演算部の内部構成を示す図である。
【図４】色指定部によるスイッチの動作制御を説明する図である。
【図５】自動しきい値部及びマスク／背景／差分部の動作を示すフローチャートである。
【図６】処理対象画像範囲の一例を示す図である。
【図７】マトリックス処理部で行われる論理処理を示す図である。
【図８】（Ａ）は１車線目のエッジ画像の例を示す図であり、（Ｂ）はＹ方向への投影値の例を示す図である。
【図９】本発明の道路監視用事象検知装置の動作概要を示すフローチャートである。
【図１０】従来の道路監視用事象検知装置の構成の一例を示す図である。
【符号の説明】
１  カラー撮像カメラ
２  輝度変化検出手段
３  色相変化検出手段
４  重複抽出判定手段
５  包括抽出判定手段
６  指定色画像検出手段
７  色強度変化検出手段
８  判定手段
【図１】
0003759280.tif 000002
【図２】
0003759280.tif 000003
【図３】
0003759280.tif 000004
【図４】
0003759280.tif 000005
【図５】
0003759280.tif 000006
【図６】
0003759280.tif 000007
【図７】
0003759280.tif 000008
【図８】
0003759280.tif 000009
【図９】
0003759280.tif 000010
【図１０】
0003759280.tif 000011