(57)【特許請求の範囲】
【請求項１】
撮像装置で撮影した画像を入力する画像入力手段と、
前記画像内の特定の指定領域の輝度平均値を求める輝度検出手段と、
前記撮像装置の露出情報を補助情報として用いて、前記指定領域の輝度平均値から昼夜の判定を行う昼夜判定手段と、
前記昼夜判定手段での判定結果に基づいて昼間時と夜間時とで異なる画像処理技術を用いて前記画像から対象物を認識する認識手段と、
を備えることを特徴とする監視装置。
【請求項２】
撮像装置で撮影した画像を入力する画像入力手段と、
前記画像内の特定の指定領域の輝度平均値および輝度分散値を求める輝度検出手段と、
前記撮像装置の露出情報を補助情報として用いて、前記指定領域の輝度平均値および輝度分散値の２次元的な分布位置から昼夜の判定を行う昼夜判定手段と、
前記昼夜判定手段での判定結果に基づいて昼間時と夜間時とで異なる画像処理技術を用いて前記画像から対象物を認識する認識手段と、
を備えることを特徴とする監視装置。
【請求項３】
撮像装置で撮影した画像を入力する画像入力手段と、
前記画像内の特定の指定領域の輝度平均値および輝度分散値を求める輝度検出手段と、
前記指定領域の輝度平均値から昼と早朝・薄暮とを判定すると共に、当該昼と早朝・薄暮を判定した場合、前記輝度平均値および輝度分布値の二次元的な分布位置から補正輝度平均値を求め、この補正輝度平均値から２値化閾値を決定する閾値決定手段と、
前記２値化閾値を用いて前記画像を２値化処理し２値化画像を得る２値化処理手段と、
前記２値化画像から対象物を認識する認識手段と、
を備えることを特徴とする監視装置。
【請求項４】
閾値決定手段は、補正輝度平均値から２値化閾値を決定する際に過去の２値化閾値に対して設定した範囲内で決定することを特徴とする請求項３記載の監視装置。
【請求項５】
撮像装置で撮影した画像を入力する画像入力手段と、
前記画像内の特定の指定領域の輝度平均値および輝度分散値を求める輝度検出手段と、
前記撮像装置の露出情報を補助として用いて、前記指定領域の輝度平均値から昼と早朝・薄暮とを判定してそれらに適した２値化閾値を決定する閾値決定手段と、
前記２値化閾値を用いて前記画像を２値化処理し２値化画像を得る２値化処理手段と、
前記２値化画像から対象物を認識する認識手段と、
を備えることを特徴とする監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置によって撮影した画像から対象物を認識して監視する画像処理技術を用いた監視装置に関する。
【０００２】
【従来の技術】
屋外等で終日稼働が要求される画像処理技術を用いた監視装置では、監視カメラ等の撮像装置で撮影した画像を背景差分等の画像処置技術を用いて対象物の特徴を抽出し、それに基づいて対象物を認識して監視するようにしている。
【０００３】
この場合、画像の輝度平均値は昼間と夜間とでは大きく異なるため、撮影した画像から昼夜の判定を行い、その判定結果に基づいて昼と夜とで異なる画像処理技術を用いて対象物の監視を行っている。昼夜の判定方法としては、画像全体の輝度平均値を求め、この輝度平均値の大きさから判断している。
【０００４】
【発明が解決しようとする課題】
ところが、従来の画像全体の輝度平均値による昼夜の判定方法では、周囲の環境などによって対象物が影響を受けやすい場所や地域では、判定精度が低下するという不都合が生じる。
【０００５】
また、昼と早朝・薄暮とで異なる２値化閾値（固定値）を設定して画像を２値化処理し、対象物を認識する場合、早朝・薄暮時のような輝度平均値が急激に変化する時間帯では、２値化閾値が低すぎるとノイズを抽出したり、逆に高すぎると対象物を認識できないといった不都合が生じる。
【０００６】
本発明は、このような従来の課題を解決するためになされたもので、画像から昼夜を判定する際の判定精度を向上させ、かつ早朝・薄暮時のような輝度平均値が急変する時間帯でも対象物を精度よく認識して監視することができる画像処理技術を用いた監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明による監視装置の第１の発明は、撮像装置で撮影した画像を入力する画像入力手段と、この画像内の特定の指定領域の輝度平均値を求める輝度検出手段と、撮像装置の露出情報を補助情報として用いて、指定領域の輝度平均値から昼夜の判定を行う昼夜判定手段と、昼夜判定手段での判定結果に基づいて昼間時と夜間時とで異なる画像処理技術を用いて画像から対象物を認識する認識手段とを備える。
【０００８】
第１の発明によれば、画像の全体領域ではなく特定の指定領域の輝度平均値から昼夜の判定を行い、この判定結果に基づいて昼夜で異なる画像処理技術を用いて対象物を認識する。従って、指定領域を適切に設定すれば指定領域以外は昼夜の判定の対象とならないため、対象物に対する周囲の環境の影響を低減させることができ、それによって昼夜の判定精度が向上するので、対象物の認識精度および監視精度の向上を図ることができる。さらに、昼夜の切り替え付近（早朝・薄暮）では撮像装置の絞りは解放となり、シャッタ速度は最低となるので、この情報を用いることによって昼間で輝度分散値が大きくなったときの誤判定を低減することができる。
【０００９】
本発明による監視装置の第２の発明は、撮像装置で撮影した画像を入力する画像入力手段と、画像内の特定の指定領域の輝度平均値および輝度分散値を求める輝度検出手段と、撮像装置の露出情報を補助情報として用いて、指定領域の輝度平均値および輝度分散値の２次元的な分布位置から昼夜の判定を行う昼夜判定手段と、昼夜判定手段での判定結果に基づいて昼間時と夜間時とで異なる画像処理技術を用いて画像から対象物を認識する認識手段とを備える。
【００１０】
第２の発明によれば、指定領域によって昼夜の判定を行い、しかも輝度平均値および輝度分散値の２つの情報から昼夜の判定を行うので、さらなる判定精度の向上を図ることができる。さらに、昼夜の切り替え付近（早朝・薄暮）では撮像装置の絞りは解放となり、シャッタ速度は最低となるので、この情報を用いることによって昼間で輝度分散値が大きくなったときの誤判定を低減することができる。
【００１１】
本発明による監視装置の第３の発明は、撮像装置で撮像した画像を入力する画像入力手段と、画像内の特定の指定領域の輝度平均値および輝度分散値を求める輝度検出手段と、指定領域の輝度平均値から昼と早朝・薄暮とを判定すると共に、当該昼と早朝・薄暮を判定した場合、輝度平均値および輝度分布値の二次元的な分布位置から補正輝度平均値を求め、この補正輝度平均値から２値化閾値を決定する閾値決定手段と、２値化閾値を用いて前記画像を２値化処理し２値化画像を得る２値化処理手段と、２値化画像から対象物を認識する認識手段とを備えるように構成されている。
【００１２】
第３の発明によれば、指定領域内のデータで昼と早朝・薄暮との判定を行うので、指定領域を適切に設定すれば対象物に対する周囲の環境の影響を低減させて判定精度の向上を図ることができる。また、輝度平均値および輝度分散値の２つの情報から判定を行うので、判定精度の向上を図ることができる。さらに、輝度平均値が急変する早朝・薄暮のような時間帯では２値化閾値を自動的に可変するので、最適な２値化閾値で２値化画像を得ることができる。
【００１３】
本発明による監視装置の第４の発明は、第３の発明における閾値決定手段が、補正輝度平均値から２値化閾値を決定する際に過去の２値化閾値に対して設定した範囲内で決定するように構成されている。
【００１４】
第４の発明によれば、過去の２値化閾値を考慮して今回の２値化閾値を決定するので、輝度平均値の急激な変動に対しても２値化閾値を安定化できる。
【００１５】
本発明による監視装置の第５の発明は、撮像装置で撮影した画像を入力する画像入力手段と、この画像内の特定の指定領域の輝度平均値および輝度分散値を求める輝度検出手段と、撮像装置の露出情報を補助として用いて、指定領域の輝度平均値から昼と早朝・薄暮とを判定してそれらに適した２値化閾値を決定する閾値決定手段と、２値化閾値を用いて画像を２値化処理し２値化画像を得る２値化処理手段と、２値化画像から対象物を認識する認識手段とを備える。
【００１６】
第５の発明によれば、指定領域内のデータで昼と早朝・薄暮との判定を行うので、指定領域を適切に設定すれば対象物に対する周囲の環境の影響を低減させて判定精度の向上を図ることができる。また、輝度平均値および輝度分散値の２つの情報から判定を行うので、判定精度の向上を図ることができる。さらに、昼夜の切り替え付近である早朝・薄暮時では、撮像装置の絞りが解放となり、シャッタ速度が最低となるので、この情報を用いることにより不要な２値化閾値の変動を低減することができる。
【００２６】
【発明の実施の形態】
（実施の形態１）
図１は、本発明の実施の形態１による監視装置のブロック図である。この装置は対象物の認識を昼と夜とで異なる認識方法を用いて行うもので、昼夜の判定精度を向上させることによって対象物の認識方法の選択精度を向上させ、それによって対象物の監視精度の向上を図るものである。
【００２７】
図１において、画像入力部１は屋外に設置した監視カメラ等の撮像装置（図示せず）によって撮影した画像を、監視画像として取り込み、内部の画像メモリに一時的に記憶するものである。
【００２８】
輝度検出部２は画像メモリに記憶した監視画像の中から予め定めた指定領域内の各画素の輝度を求め、その総和を指定領域内の画素数で割った値を輝度平均値として求め、さらに各画素の輝度分布から輝度分散値を求めるものである。
【００２９】
図２に、画像メモリに記憶した監視画像の全体領域Ｅ１と指定領域Ｅ２との関係を示す。従来は実線で示す全体領域Ｅ１の各画素の輝度から輝度平均値を求めて昼夜の判定を行っていたが、本実施の形態では、一点鎖線で示す指定領域Ｅ２の輝度平均値、または輝度平均値と輝度分散値とから昼夜の判定を行っている。監視カメラは固定されているので、指定領域Ｅ２を適切に設定すれば、指定領域Ｅ２以外の画素は昼夜の判定の対象とならないため、対象物に対する周囲の環境の影響を低減させることができ、昼夜の判定精度の向上を図ることができる。
【００３０】
また、図に破線で示すように、指定領域Ｅ２内を複数の小領域Ｅ３に分割した場合は、各小領域Ｅ３毎に輝度平均値および輝度分散値を求め、その中から代表値を定めて指定領域Ｅ２の輝度平均値および輝度分散値とする。代表値としては中間値、最小値、または最大値以外の平均等がある。これにより指定領域Ｅ２内のノイズを低減することができる。
【００３１】
昼夜判定部３は輝度検出部２で求めた輝度平均値、または輝度平均値と輝度分散値とから昼夜の判定を行うものである。輝度平均値から昼夜判定する場合は、輝度平均値と予め定めた判定閾値とを比較し、輝度平均値が判定閾値より大きければ昼間と判定し、小さければ夜間と判定する。輝度平均値および輝度分散値から昼夜判定する場合は、輝度平均値および輝度分散値の２次元的な分布位置から判定する。これらの詳細については後述する。
【００３２】
昼間用認識部４ａおよび夜間用認識部４ｂは昼夜判定部３での判定結果に基づいて、昼間と夜間とで異なる画像処理技術を用いて画像入力部１に記憶されている監視画像の画像処理を行い、対象物を認識する。昼間の場合は、昼間用認識部４ａによって例えば背景差分、フレーム差分、エッジ抽出によるパターンマッチング等により対象物の認識を行う。夜間の場合は、夜間用認識部４ｂによって例えば対象が車両であればヘッドライト部分のパターンマッチングにより対象物である車両を認識する。
【００３３】
出力部５は昼間用認識部４ａおよび夜間用認識部４ｂで生成したデータを通信回線を介して中央の監視装置（図示せず）に伝送する。例えば、対象物が通行人であればその人数を伝送し、自動車であればその通過台数を伝送する。
【００３４】
次に、昼夜判定部３における昼夜判定の詳細について説明する。図３は、昼間から夜間にかけての各時刻における輝度平均値の変化を示すグラフ図である。この図から明らかなように、時刻ＴＭで輝度平均値が判定閾値ＴＨより小さくなるので、時刻ＴＭ以前は昼間と判定し、以後は夜間と判定する。
【００３５】
なお、各時刻毎の輝度平均値を取ると変動が激しいので、所定時間毎の平均を取ることで時間的に平滑化すれば、図４に示すように、急激な変動が少なくなり昼夜の境界付近での判定のバラツキが低減するので、昼夜処理の切り替えが安定化する。
【００３６】
次に、輝度平均値および輝度分散値から昼夜判定を行う場合は、図５に示すように、各時刻における輝度平均値および輝度分散値の２次元的な分布位置を座標上にプロットする。図において、黒丸は昼間の各時刻におけるデータであり、白丸は夜間の各時刻におけるデータである。
【００３７】
次いで、座標上に判定関数Ｆを描く。この判定関数Ｆは輝度平均値をｘ座標、輝度分散値をｙ座標とすれば「ｙ＝ａｘ−ｂ」（ａ，ｂは正の定数）と表せる。データが判定関数Ｆの直線よりも低輝度平均値側（図で左側）に位置する場合は夜間と判定し、高輝度平均値側（図で右側）に位置する場合は昼間と判定する。従って、例えば対象物が自動車である場合に、ヘッドライトによって輝度平均値が明るくなっても輝度分散値が大きければ夜間と判定する。このように輝度平均値と輝度分散値とを利用して昼夜を判定するので、精度の高い昼夜判定を行うことができる。
【００３８】
なお、早朝時の昼夜判定と、薄暮時の昼夜判定とを精度よく行うために、図６に示すように、昼間から夜間への移行を検出する判定閾値ＴＨＤＮと、夜間から昼間への移行を検出する判定閾値ＴＨＮＤとの２つの判定閾値を設定して判定するようにしてもよい。
【００３９】
また、輝度平均値および輝度分散値から昼夜判定を行う場合も、図７に示すように、昼間から夜間への移行を検出する判定関数ＦＤＮと、夜間から昼間への移行を検出する判定関数ＦＮＤとの２つの判定関数を用いて判定するようにしてもよい。
【００４０】
（実施の形態２）
図８は、本発明の実施の形態２による監視装置のブロック図である。この装置は２値化閾値によって原画像または背景画像などを２値化処理し、得られた２値化画像から対象物を認識するもので、とくに早朝・薄暮時のような輝度平均値が急変する時間帯では、２値化閾値を自動的に可変し、最適な２値化閾値で２値化画像を得ることによって対象物の監視精度の向上を図るものである。
【００４１】
図８において、画像入力部１１は屋外に設置した監視カメラ等の撮像装置（図示せず）によって撮影した画像を、監視画像として取り込み、内部の画像メモリに一時的に記憶する。
【００４２】
輝度検出部１２は画像メモリに記憶した監視画像の中から予め定めた指定領域Ｅ２（図２）の各画素の輝度を求め、その総和を指定領域Ｅ２の画素数で割って輝度平均値を求める。また、指定領域Ｅ２の各画素の輝度分布から指定領域Ｅ２の輝度分散値を求める。
【００４３】
指定領域Ｅ２を複数の小領域Ｅ３に分割した場合は、各小領域Ｅ３毎に輝度平均値および輝度分散値を求め、その中から代表値を決めて指定領域Ｅ２の輝度平均値および輝度分散値とする。このように監視領域を指定することによって指定領域Ｅ２以外の画素は判定の対象としないことにより、周囲の環境の影響を低減させることができる。これらのことは前述した輝度検出部２と同様である。
【００４４】
閾値決定部１３は輝度検出部１２で求めた輝度平均値および輝度分散値から２値化閾値を決定する。２値化閾値としては、昼間用の閾値（固定値）と、早朝・薄暮用の閾値（可変値）とがある。２値化閾値の決定方法の詳細については後述する。
【００４５】
２値化処理部１４はこうして決定した２値化閾値によって画像メモリに記憶されている監視画像を２値化して２値化画像を得る。２値化閾値は、原画像の２値化、背景差分後の２値化、フレーム差分後の２値化、微分後の２値化などに用いる。
【００４６】
認識部１５は２値化処理部１４で得た２値化画像からパターンマッチングなどによって対象物を認識し、これに基づいて対象物に関するデータを生成する。出力部１６は認識部１５で生成したデータを通信回線を介して中央の監視装置（図示せず）に伝送する。例えば、対象物が通行人であればその人数を計数し、対象物が車両であればその台数を計数し、それぞれ通信回線を介して中央の監視装置に伝送する。
【００４７】
次に、閾値決定部１３における２値化閾値の決定方法について説明する。図９は、昼間から夜間にかけての各時刻における輝度平均値の変化を示すグラフ図である。輝度平均値が輝度上限値ＢＵより大きい場合は昼間と判定して昼間用の２値化閾値を決定し、輝度平均値が輝度下限値ＢＬより小さい場合は早朝・薄暮用の下限２値化閾値を決定する。
【００４８】
輝度平均値が上限値ＢＵと下限値ＢＬとの間の領域ＢＲ内に位置する場合は、早朝・薄暮時と判定し、以下に述べる手順によって２値化閾値を決定する。なお、各時刻毎の輝度平均値を取ると変動が激しいので、所定時間毎の平均を取ることで時間的に平滑化すれば、図１０に示すように急激な変動が少なくなる。
【００４９】
図１１は、各時刻における輝度平均値および輝度分散値の２次元的な分布位置を座標上にプロットした図である。図の右上位置は晴れの昼間のデータであり、その下の位置は曇りの昼間のデータである。図の左下に移行するにつれて夕闇が深まったときのデータとなる。
【００５０】
次いで、座標上に上限関数ＦＵと下限関数ＦＬとを描く。この関数ＦＵ，ＦＬは輝度平均値をｘ座標、輝度分散値およびｙ座標とすれば、上限関数ＦＵは「ｙ＝−ｃｘ＋ｄ」、下限関数ＦＬは「ｙ＝−ｃｘ＋ｅ」（ｅ＜ｄ）と表せる。データが上限関数ＦＵと下限関数ＦＬとの間に位置するときは、各データ毎に２値化閾値を決定するために、図１２に示すように、上限関数ＦＵおよび下限関数ＦＬと平行にデータＤを通過する関数ＦＤを想定する。この関数ＦＤは「ｙ＝−ｃｘ＋ｆ」（ｅ＜ｆ＜ｄ）と表せる。そして、輝度分散値が０のときの関数ＦＤ上の輝度平均値を補正輝度平均値ＢＤとする。
【００５１】
次いで、図１３に示すように、輝度平均値と２値化閾値との関係を示す閾値算出関数Ｆｔｈを用いて補正輝度平均値ＢＤから２値化閾値ＴＨＤを決定する。補正輝度平均値ＢＤは輝度平均値の上限値ＢＵと下限値ＢＬとの間の可変領域ＢＲ内に位置し、決定される２値化閾値ＴＨＤは昼間用の２値化閾値ＴＨＵと早朝・薄暮用の下限２値化閾値ＴＨＬとの間を線形に変動するように設定されている。こうして求めた２値化閾値ＴＨＤにより２値化処理部１４で画像を２値化処理して２値化画像を得る。
【００５２】
なお、過去の２値化閾値を考慮するため、図１４に示すように、過去の２値化閾値（図の黒丸）に対して閾値変動有効領域ＴＨＲを設定し、今回求めた２値化閾値ＴＨＤが有効領域ＴＨＲ内にある場合はそのまま決定し、有効領域ＴＨＲの上限値ＴＨＲＵを上回った場合はこの上限値を２値化閾値と決定し、下限値ＴＨＲＬを下回った場合はこの下限値を２値化閾値と決定する。これによって輝度平均値の急激な変動を抑えることができる。
【００５３】
また、輝度平均値の急激な変動を抑える他の方法としては、図１５に示すように、過去の２値化閾値が昼間用の２値化閾値ＴＨＵであったとすると、今回の２値化閾値は第１の閾値算出関数Ｆｔｈ１から算出する。次いで、算出した２値化閾値が夜間用の２値化閾値ＴＨＬになると、次からは第２の閾値算出関数Ｆｔｈ２から算出する。算出した２値化閾値が昼間用の２値化閾値ＴＨＵになるまで閾値算出関数Ｆｔｈ２を使用する。以後はこの繰り返しである。
【００５４】
この場合、可変領域は閾値算出関数Ｆｔｈ１のときの可変領域ＢＲ１（輝度平均値ＢＬ１〜ＢＵ１）と、閾値算出関数Ｆｔｈ２のときの可変領域ＢＲ２（輝度平均値ＢＬ２〜ＢＵ２）との２つの可変領域が設定される。
【００５５】
なお、前述の実施の形態では、昼夜の判定、あるいは昼と早朝・薄暮との判定を監視画像のみから行うようにしたが、昼夜の切り替え付近である早朝・薄暮時は監視カメラの絞りが解放となり、シャッタ速度が最低となるので、この情報を補助情報として用いることにより、不要な２値化閾値の変動を低減することができる。
【００５６】
【発明の効果】
本発明によれば、対象物の認識を昼夜で異なる認識方法を用いて行う場合、指定領域によって昼夜の判定を行うようにしたので、指定領域を適切に設定することによって対象物に対する周囲の環境の影響を低減させることができ、判定精度の向上を図ることができる。また、昼夜の判定を輝度平均値および輝度分散値の２つの情報から行うようにしたので、さらなる判定精度の向上を図ることができる。これにより対象物の監視精度の向上が図れる。
【００５７】
また、本発明によれば、２値化閾値によって原画像等を２値化処理し、得られた２値化画像から対象物を認識する場合、早朝・薄暮のような輝度平均値が急変する時間帯では２値化閾値を自動的に可変するようにしたので、昼間時および早朝・薄暮時のいかなる時間帯でも対象物の認識精度を向上させることができ、これにより対象物の監視精度の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による監視装置のブロック図である。
【図２】監視画像の全体領域、指定領域および小領域を示す図である。
【図３】輝度平均値の変化を示すグラフ図である。
【図４】図３に示す輝度平均値の変化を時間的に平滑化したグラフ図である。
【図５】各時刻における輝度平均値および輝度分散値の２次元的な分布位置をプロットした図で、黒丸は昼間のデータ、白丸は夜間のデータである。
【図６】輝度平均値の変化を示すグラフ図で、２つの判定閾値によって昼夜を判定するためのグラフ図である。
【図７】各時刻における輝度平均値および輝度分散値の２次元的な分布位置をプロットした図で、２つの判定関数によって昼夜を判定するための図である。
【図８】本発明の実施の形態２による監視装置のブロック図である。
【図９】輝度平均値の変化を示すグラフ図である。
【図１０】図９に示す輝度平均値の変化を時間的に平滑化したグラフ図である。
【図１１】各時刻における輝度平均値および輝度分散値の２次元的な分布位置をプロットした図である。
【図１２】早朝・薄暮時のデータから補正輝度平均値を求めるための説明図である。
【図１３】輝度平均値と２値化閾値との関係を表す閾値算出関数を示す図である。
【図１４】過去の２値化閾値を考慮して２値化閾値を決定するための説明図である。
【図１５】過去の２値化閾値を考慮して２値化閾値を決定するための説明図である。
【符号の説明】
１  画像入力部
２  輝度検出部
３  昼夜判定部
４ａ  昼間用認識部
４ｂ  夜間用認識部
５  出力部
１１  画像入力部
１２  輝度検出部
１３  閾値決定部
１４  ２値化処理部
１５  認識部
１６  出力部
Ｅ１  全体領域
Ｅ２  指定領域
Ｅ３  小領域
【図１】
0003550874.tif 000002
【図２】
0003550874.tif 000003
【図３】
0003550874.tif 000004
【図４】
0003550874.tif 000005
【図５】
0003550874.tif 000006
【図６】
0003550874.tif 000007
【図７】
0003550874.tif 000008
【図８】
0003550874.tif 000009
【図９】
0003550874.tif 000010
【図１０】
0003550874.tif 000011
【図１１】
0003550874.tif 000012
【図１２】
0003550874.tif 000013
【図１３】
0003550874.tif 000014
【図１４】
0003550874.tif 000015
【図１５】
0003550874.tif 000016