(57)【特許請求の範囲】
【請求項１】
映像の監視を行う映像監視装置において、
物体を撮影するカメラと、
発光素子を有する発光手段と、前記発光素子の発光制御を行う発光制御手段と、から構成される照明制御部と、
前記カメラからの映像のＡ／Ｄ変換を行って、ディジタル化した画像信号を生成し、前記画像信号を記憶する画像信号取得手段と、前記カメラの撮像面への光蓄積量が最適であるか否かを、前記画像信号の輝度にもとづいて判定する輝度判定手段と、最適でない場合には、前記カメラまたは前記照明制御部の少なくとも一方に対し、前記光蓄積量が最適となるように設定制御する最適設定制御手段と、から構成される画像処理部と、
を有し、
前記最適設定制御手段は、前記カメラのシャッタースピードを発光時間以上の範囲まで短くし、かつ前記カメラのアイリスを最大に広げるような、フィードバック制御を行う、
ことを特徴とする映像監視装置。
【請求項２】
映像の監視を行う映像監視装置において、
物体を撮影するカメラと、
発光素子を有する発光手段と、前記発光素子の発光制御を行う発光制御手段と、から構成される照明制御部と、
前記カメラからの映像のＡ／Ｄ変換を行って、ディジタル化した画像信号を生成し、前記画像信号を記憶する画像信号取得手段と、前記カメラの撮像面への光蓄積量が最適であるか否かを、前記画像信号の輝度にもとづいて判定する輝度判定手段と、最適でない場合には、前記カメラまたは前記照明制御部の少なくとも一方に対し、前記光蓄積量が最適となるように設定制御する最適設定制御手段と、から構成される画像処理部と、
を有し、
前記最適設定制御手段は、前記カメラのシャッタースピードを発光時間以上の範囲まで短くし、かつ前記カメラのアイリスを最大に広げた際に、前記シャッタースピードを発光時間と同一になるまで短くしても、前記輝度が良好とならない場合は、前記発光素子の発光量を増加させ、かつ前記カメラのアイリスを絞るような、フィードバック制御を行う、
ことを特徴とする映像監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像監視装置に関し、特に映像の監視を行う映像監視装置に関する。
【０００２】
【従来の技術】
近年、映像監視は、複数地点に設置したカメラからの映像を、センタで集中監視する傾向があり、道路、鉄道等広範囲な区域で監視ニーズが高まっている。また、夜間の監視では、明かりの少ない区域を監視するために、高感度カメラと照明装置を使用した映像監視が必要とされる。
【０００３】
【発明が解決しようとする課題】
従来の高感度カメラと照明装置を使用した映像監視では、例えば、夜間に懐中電灯や車のライトが、高感度カメラに直接向いた場合には、画面が真っ白になったり、ブルーミング／スミアが発生するといった問題があった。この場合、単純にアイリスを絞る（光路を絞る）と、照明装置からの発光による効果が抑えられてしまい、外部照明の光源以外の周囲映像まで暗くなってしまう。
【０００４】
このように、高感度カメラは、カメラに対する直接光等、カメラ映像上の外乱を通常のカメラより顕著に受けやすい。このため、安定した映像を得るためには、外乱に対する適切なフィードバック制御を行う必要がある。
【０００５】
本発明はこのような点に鑑みてなされたものであり、外乱を抑制して、高品質な映像監視を行う映像監視装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明では上記課題を解決するために、図１に示すような、映像の監視を行う映像監視装置１において、物体を撮影するカメラ１０と、発光素子を有する発光手段２１と、発光素子の発光制御を行う発光制御手段２２と、から構成される照明制御部２０と、カメラ１０からの映像のＡ／Ｄ変換を行って、ディジタル化した画像信号を生成し、画像信号を記憶する画像信号取得手段３１と、カメラ１０の撮像面への光蓄積量が最適であるか否かを、画像信号の輝度にもとづいて判定する輝度判定手段３２と、最適でない場合には、カメラ１０または照明制御部２０の少なくとも一方に対し、光蓄積量が最適となるように設定制御する最適設定制御手段３３と、から構成される画像処理部３０と、を有することを特徴とする映像監視装置１が提供される。
【０００７】
ここで、カメラ１０は、物体を撮影する。発光手段２１は、発光素子を有する。発光制御手段２２は、発光素子の発光制御を行う。画像信号取得手段３１は、カメラ１０からの映像のＡ／Ｄ変換を行って、ディジタル化した画像信号を生成し、画像信号を記憶する。輝度判定手段３２は、カメラ１０の撮像面への光蓄積量が最適であるか否かを、画像信号の輝度にもとづいて判定する。最適設定制御手段３３は、最適でない場合には、カメラ１０または照明制御部２０の少なくとも一方に対し、光蓄積量が最適となるように設定制御する。また、最適設定制御手段３３は、カメラ１０のシャッタースピードを発光時間以上の範囲まで短くし、かつカメラ１０のアイリスを最大に広げるような、フィードバック制御を行う。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。図１は映像監視装置の原理図である。映像監視装置１は、カメラ１０（以下、高感度カメラ１０）、夜間等に対象物を照らす照明制御部２０、撮影した映像の画像処理を行う画像処理部３０から構成され、広範囲での映像監視を行う。
【０００９】
高感度カメラ１０は、物体を撮影して映像を入力する。映像信号としては、ＮＴＳＣ，ＰＡＬ等の規格にのっとったものでも、規格外のものでもよい。
照明制御部２０は、発光素子を有する発光手段２１と、発光制御手段２２から構成される。発光制御手段２２は、発光素子の発光制御を行う（図２で後述）。
【００１０】
画像処理部３０に対し、画像信号取得手段３１は、Ａ／Ｄ変換手段３１ａと画像メモリ３１ｂから構成される。Ａ／Ｄ変換手段３１ａは、高感度カメラ１０が撮影したアナログ映像を受信し、例えば、１／６０秒毎のフィールド単位でＡ／Ｄ変換を行って、ディジタル化した画像信号を生成する。画像メモリ３１ｂは、その画像信号を記憶する。
【００１１】
輝度判定手段３２は、画像メモリ３１ｂに記憶されている画像信号を読み出し、輝度が良好な状態か否かを判定する。これにより、高感度カメラ１０の撮像面への光蓄積量が最適であるか否かを判断できる。
【００１２】
最適設定制御手段３３は、最適でない場合、すなわち、輝度判定手段３２が輝度の状態を良好でないと判定した場合には、高感度カメラ１０または照明制御部２０の少なくとも一方に対し、光蓄積量が最適となるように設定制御する。詳細は図３以降で後述する。
【００１３】
画像処理手段３４は、最適設定後の画像信号を、画像メモリ３１ｂから読み出して画像処理を行う。画像処理としては例えば、人物検知処理を行い、人物を検知した場合には、映像と共にその旨をセンタへ送信したりする。
【００１４】
次に照明制御部２０について説明する。図２は発光手段２１を示す図である。発光手段２１は、複数の発光素子を有し、その発光素子は、例えば図に示すように、Ａ列、Ｂ列と分類されている。
【００１５】
そして、発光制御手段２２は、このような発光素子の発光制御を行う。例えば、Ａ列またはＢ列の発光素子を交互に発光させたり、Ａ列とＢ列の発光素子を同時に発光させたりする。また、高感度カメラ１０による映像取り込みタイミングに発光タイミングが合うように調整制御する。
【００１６】
次に映像監視装置１の全体動作（第１の実施の形態とする）について説明する。図３は第１の実施の形態の動作手順を示すフローチャートである。
〔Ｓ１〕最適設定制御手段３３は、高感度カメラ１０に対し初期設定を行う。具体的には、高感度カメラ１０のシャッタースピードは、なるべくシャッターのオープン区間が長くなるように設定する。これは、オープン区間が長ければ、照明制御部２０からの発光がない間でも、外部明かり（周囲のライト／月明かり等）による光が得られるためである。また、アイリスについては、得られている光量の中で最適な映像が撮影できるように、オートアイリスとしておく。
【００１７】
〔Ｓ２〕最適設定制御手段３３は、照明制御部２０に対し初期設定を行う。具体的には、発光時間は、画像処理に必要な明るさが提供される範囲でなるべく短くする。これは、発光時間は、長ければ長いほど光量が大きくなるが、同時に発光素子の寿命が短くなってしまうためである。
【００１８】
〔Ｓ３〕初期設定の完了後、高感度カメラ１０は映像を取り込む。そして、画像信号取得手段３１は、取り込まれた映像のＡ／Ｄ変換を行って、画像メモリ３１ｂに格納する。
【００１９】
〔Ｓ４〕輝度判定手段３２は、画像メモリ３１ｂに格納された画像信号の輝度が良好なものであるか否かの判定を行う。例えば、人が手に持っている懐中電灯や車のライトのような外部照明が、高感度カメラ１０に直接入る場合には、強力な光が高感度カメラ１０の撮像面に蓄積され、取り込まれる映像全体が真っ白になってしまうことがある。
【００２０】
ここで、座標（ｉ，ｊ）における輝度をｙ（ｉ，ｊ）として、全画素の輝度値総和をＹとする。この場合、例えば、ＮＴＳＣ信号の１フィールドのＹは、
【００２１】
【数１】
0003907397.tif 000002
【００２２】
と表される。この全画素の輝度値総和Ｙが、あらかじめ設定してあるしきい値よりも大きければ全体的に真っ白な（輝度の高い）映像であるので、外部照明の影響が大きいと判断する。
【００２３】
また、しきい値より小さければ、画像処理に適した映像であると判断する。輝度が良好でないと判定した場合はステップＳ５へ、良好と判断した場合はステップＳ６へ行く。
【００２４】
〔Ｓ５〕最適設定制御手段３３は、高感度カメラ１０へフィードバックによる再設定を行う。まず、アイリスは最大限に広げる。これにより、照明制御部２０からの発光量による効果を最大にできる。次に外部照明の影響を少なくするために、シャッタースピードを短くする。これにより、外部照明の撮像面への光蓄積量を抑えつつ、照明制御部２０からの発光を最大限に利用することが可能になる。再設定後はステップＳ３へ戻り、再度高感度カメラ１０から映像取り込みを行う。
【００２５】
そして、ステップＳ４による再度の映像輝度判定の結果、外部照明の影響がまだ大きいと判断した場合には、カメラアイリスは最大限に広げたまま、シャッタースピードをさらに短くする。ただし、シャッタースピードが発光時間より短くなると、照明制御部２０からの発光の効果が薄くなり、外部照明以外の部分が暗くなる可能性があるので、シャッタースピードは発光時間以上になる範囲にとどめる。
【００２６】
このように、外部照明の影響が大きくないと判断するまで（輝度が良好となるまで）ステップＳ３〜ステップＳ５のフィードバック制御を繰り返す。
〔Ｓ６〕画像処理手段３４は、輝度が良好と判断された画像信号の画像処理を行う。前処理として、高感度カメラ１０の設定を最適にしているので、良好な画像信号を取得でき、正しい画像処理を行うことが可能になる。
【００２７】
〔Ｓ７〕最適設定制御手段３３は、高感度カメラ１０の再設定制御後、一定時間が経過したか否かを判断する。一定時間が経過していない場合、または再設定を行っていない場合にはステップＳ３へ戻る。また、一定時間が経過した場合は、外乱（高感度カメラ１０に車のライトが向いていた場合等）がなくなったものとみなし、ステップＳ１へ戻って再度初期設定を行う。
【００２８】
次に第１の実施の形態の最適設定制御についてタイムチャートを用いて説明する。図４は第１の実施の形態の最適設定制御を示すタイムチャートである。
ＮＴＳＣの片フィールドのみを画像処理に使用する場合を考える。初期設定では、映像取り込みタイミングを１／６０ｓ、発光時間を１／４８０ｓ、発光量は発光素子Ａ、Ｂを交互に点灯、シャッタースピードは１／６０ｓ、アイリスはオートにしておく。
【００２９】
輝度判定を行った結果、外部照明の影響が大きいと判断した場合は、アイリスは最大限に広げる設定であるＦMINとする。また、シャッタースピードは１／１２０ｓとする。その他の設定は初期設定時と同じである。
【００３０】
その後、輝度判定を行った結果、まだ外部照明の影響が大きいと判断した場合は、シャッタースピードを１／２倍にしていく。ただし、シャッタースピードが発光時間より短くなると、照明制御部２０からの発光の効果が薄くなり、外部照明以外の部分が暗くなる可能性があるため、発光時間の１／４８０ｓに到達したら、その設定で映像を取り込む。
【００３１】
このように、第１の実施の形態では、アイリスとシャッタースピードをフィードバック制御することにより、外部照明の撮像面への光蓄積量を抑えつつ、照明制御部２０からの発光を最大限に利用して映像監視を行う。
【００３２】
次に第２の実施の形態について説明する。シャッタースピードを発光時間まで短くする第１の実施の形態を行っても、まだ外部照明の影響が大きいと判断した場合には、第２の実施の形態では、さらに発光量及びアイリスについてフィードバック制御する。
【００３３】
発光制御手段２２は、最適設定制御手段３３からの指示にもとづき、一度に点灯させる発光素子の量を増やすように発光手段２１を制御する。また、発光量が増えるので、高感度カメラ１０は、最適設定制御手段３３からの指示にもとづき、アイリスを絞って照明制御部２０からの発光を第１の実施の形態の状態と同等になるように保つ。このような、発光量とアイリスのフィードバック制御を、外部照明の影響が大きくないと判断するまで繰り返す。
【００３４】
そして、フィードバック制御を行って、外部照明の影響をなくした後に、映像監視を実行する。その後、一定時間が経過したら外部照明の影響を大きくしていた外乱がなくなったものとみなし、高感度カメラ１０及び照明制御部２０の初期設定を再度行って初期化する。
【００３５】
このような初期化動作を再度行うことにより、発光素子を効率よく点灯させることができる。すなわち、外乱が消失した状態で、発光量を増加して点灯しているなどといった不経済な状態をなくすことができるので、発光素子の長寿命化を図ることが可能になる。
【００３６】
次に第２の実施の形態のフィードバック制御についてタイムチャートを用いて説明する。図５は第２の実施の形態の最適設定制御を示すタイムチャートである。
【００３７】
第１の実施の形態での処理を施した後（シャッタースピードは１／４８０ｓ）、まだ外部照明の影響が大きい場合、最適設定制御手段３３は、発光量は発光素子Ａ、Ｂを同時に点灯し、アイリスは、１／２倍に狭めてＦMIN／２となるように設定制御する。
【００３８】
このように、第２の実施の形態では、第１の実施の形態で行った処理に加えて、さらに発光量とアイリスを制御して、外乱を抑制する。
次に第３の実施の形態について説明する。映像監視では、映像を取り込むたびに、画像処理を行う必要がない場合がある。したがって、２フレームや３フレームに１回のタイミングで画像処理を行うだけでよいならば、読み飛ばすフレームに対しては、照明制御部２０からの発光を行う必要はない。
【００３９】
第３の実施の形態では、このような映像監視に対して、画像処理時に必要なフレームの映像を撮影する場合のみに、発光素子を発光させるようにフィードバック制御する。
【００４０】
図６は第３の実施の形態の最適設定制御を示すタイムチャートである。映像取り込みタイミングが１／３０ｓの時に、発光タイミングも１／３０ｓに合わせる。また、アイリスを１／２倍に狭めてＦMIN／２とし、発光素子Ａ、Ｂを同時に点灯する。
【００４１】
次にブルーミングの自動認識制御について説明する。外部照明によっては、画面全体が真っ白になる現象の他に、ブルーミング（外部照明の周囲がぼやける）が生じる場合がある。輝度判定手段３２は、このブルーミングを自動認識し、最適設定制御手段３３は、ブルーミング現象が消失するようにフィードバック制御を行う。
【００４２】
ここで、ブルーミングの特徴は、光源の点を中心に円状に白い（輝度が高い）点が分散され、徐々にぼやける（輝度が低くなる）ことにある。そこで、ブルーミングの認識制御として、高輝度部分を抽出した後に、その周囲の画素がぼやけているか否かの判定を行う。
【００４３】
なお、高輝度部分のサイズが小さいものに関しては、画像処理に悪影響を及ぼさないとみなして無視する。また、周囲の画素がぼやけていない場合は、ブルーミングでなく、高輝度な物体が存在しているとみなす。
【００４４】
図７はブルーミングの認識手順を示すフローチャートである。
〔Ｓ１０〕中心の高輝度部分を判定するための輝度しきい値Ｃと周囲のぼやけている部分を判定するための輝度しきい値Ｄとをあらかじめ設定しておく。そして、高感度カメラ１０から取り込まれた映像の全画素に対して、輝度しきい値Ｃによる二値化処理を行う。すなわち、Ｃ以上の輝度は１に、Ｃ未満の輝度は０に変換する。
【００４５】
〔Ｓ１１〕二値化された画像に対してラベリング処理を施して、固まり部分の抽出を行う（ラベリング：二値化されたデータに対して、ラベル（番号）を付けながらデータ内の物体の抽出を行う処理）。
【００４６】
〔Ｓ１２〕ラベル付けされた抽出物体の中で、固定面積Ｓ未満のサイズのものは破棄する。
〔Ｓ１３〕ラベル付けされた抽出物体があるか否かを判断する。あればステップＳ１４へ、なければステップＳ１７へ行く。
【００４７】
〔Ｓ１４〕抽出された物体に隣接する縦横方向のＮ画素に対して、輝度しきい値Ｃ未満かつＤ以上の画素となる画素数の割合を計算する。
〔Ｓ１５〕ステップＳ１４で計算した割合を、あらかじめ設定してある固定割合Ｐ％と比較する。Ｐ％以上ならステップＳ１６へ、そうでなければステップＳ１３へ戻る。
〔Ｓ１６〕抽出物体をブルーミングと認識する。
〔Ｓ１７〕この画像中にはブルーミングが存在しないと認識する。
【００４８】
図８はブルーミング認識手順の様子を示す図である。高輝度部分として二値化された画素が白い点で、輝度Ｃ未満かつＤ以上の画素は灰色の点とし、その他の画素は黒の点とする。
【００４９】
まず、高輝度部分としてラベリングされる領域を実線でくくる。ここで、固定面積Ｓ＝１０とすると、ラベリングされた領域のうち、右上にある２画素の領域Ｒ１はノイズとして破棄される。
【００５０】
次に残った領域Ｒ２に対して、隣接する画素及びその画素に隣接する画素（隣接２画素と呼ぶ）の領域を点線でくくる。図の場合、隣接２画素の数は、２８画素ある。そして、２８画素の中で、輝度Ｃ未満かつＤ以上の画素（灰色の点）数を数えると２５画素ある。
【００５１】
したがって、割合としては、（２５／２８）×１００＝８９％となる。これを固定割合Ｐ％と比較することにより、ブルーミングか否かの判定を行う。例えば、Ｐ＝８０ならばブルーミングが発生していると判定される。
【００５２】
次にスミアの自動認識制御について説明する。外部照明によっては、スミア（外部照明の縦方向に白いラインが入る）が生じる場合がある。輝度判定手段３２は、このスミアを自動認識し、最適設定制御手段３３は、スミア現象が消失するようにフィードバック制御を行う。
【００５３】
ここで、スミアの特徴は、光源の点を中心に縦方向に白い（輝度が高い）点が分散されることにある。そこで、各縦ライン毎の輝度値総和を算出し、その大きさでスミアがあるかどうかを判定する。
【００５４】
座標（ｉ，ｊ）における輝度をｙ（ｉ，ｊ）とし、縦ｉライン目の輝度値総和をＹ（ｉ）とする。この場合、例えば、ＮＴＳＣ信号では
【００５５】
【数２】
0003907397.tif 000003
【００５６】
と表される。この縦ｉライン目の輝度値総和が固定しきい値Ａより大きければ、縦方向に真っ白な映像であると考えられるため、スミアであると判定し、Ａ以下であればスミアでないと判定する。
【００５７】
このような判定処理を全縦ライン（例えば、ＮＴＳＣ信号では６４０ライン）に対して行い、全縦ラインにてスミアの検出ができなければ、その画像中にはスミアが存在しないと判断する。
【００５８】
以上説明したように、映像監視装置１は、高感度カメラ１０の撮像面への光蓄積量が最適であるか否かを、画像信号の輝度情報にもとづいて判定し、最適でない場合には、高感度カメラ１０または照明制御部２０の少なくとも一方に対し、フィードバック制御を行う構成とした。
【００５９】
これにより、高感度カメラ１０に対する直接光の影響を低減させ、安定した映像を取得することが可能になる。また、照明制御部２０の照明量、照明時間に無駄を発生させないように制御するので、発光素子の寿命を延ばし、効率のよい映像監視が可能になる。
【００６０】
【発明の効果】
以上説明したように、本発明の映像監視装置は、カメラの撮像面への光蓄積量が最適であるか否かを、画像信号の輝度情報にもとづいて判定し、最適でない場合には、カメラまたは照明制御部の少なくとも一方に対し、フィードバック制御を行う構成とした。これにより、外乱の影響が抑制された安定した映像を取得することができ、高品質で信頼性の高い映像監視を行うことが可能になる。
【図面の簡単な説明】
【図１】  映像監視装置の原理図である。
【図２】発光手段を示す図である。
【図３】第１の実施の形態の動作手順を示すフローチャートである。
【図４】第１の実施の形態の最適設定制御を示すタイムチャートである。
【図５】第２の実施の形態の最適設定制御を示すタイムチャートである。
【図６】第３の実施の形態の最適設定制御を示すタイムチャートである。
【図７】ブルーミングの認識手順を示すフローチャートである。
【図８】ブルーミング認識手順の様子を示す図である。
【符号の説明】
１  映像監視装置
１０  高感度カメラ
２０  照明制御部
２１  発光手段
２２  発光制御手段
３０  画像処理部
３１  画像信号取得手段
３１ａ  Ａ／Ｄ変換手段
３１ｂ  画像メモリ
３２  輝度判定手段
３３  最適設定制御手段
３４  画像処理手段
【図１】
0003907397.tif 000004
【図２】
0003907397.tif 000005
【図３】
0003907397.tif 000006
【図４】
0003907397.tif 000007
【図５】
0003907397.tif 000008
【図６】
0003907397.tif 000009
【図７】
0003907397.tif 000010
【図８】
0003907397.tif 000011