(57)【要約】【課題】環境光の状況に応じて、被写体の実際の色が明瞭に現れた適切なカラー画像を、低コストな構成で出力できるようにする。【解決手段】環境光により監視エリアを撮影するカラーカメラ１１と、赤外光により監視エリアを撮影するモノクロカメラ１２と、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部２１と、を備え、信号処理部は、カラー画像において近接する複数の画素ごとの信号値を加算して、カラー画像の画素数を削減する解像度変換部５４と、カラー画像の信号レベルを検出する信号レベル検出部５２と、信号レベルに基づいて、解像度変換部の動作を制御する信号処理制御部５３と、を有する。【選択図】図４
2018129672.tif 000002
【特許請求の範囲】
【請求項１】
監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を出力する動体監視装置であって、
環境光により前記監視エリアを撮影するカラーカメラと、
赤外光により前記監視エリアを撮影するモノクロカメラと、
前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、
を備え、
前記信号処理部は、
前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、
前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、
を有することを特徴とする動体監視装置。
【請求項２】
前記カラー画像の信号レベルを検出する信号レベル検出部を備え、
前記撮影環境の判断のため、前記信号レベルを参照することを特徴とする請求項１に記載の動体監視装置。
【請求項３】
前記信号処理制御部は、前記信号レベルが所定のしきい値以上と判定された場合に、前記解像度変換部の動作を休止することを特徴とする請求項１または請求項２に記載の動体監視装置。
【請求項４】
前記信号処理制御部は、前記信号レベルを複数のしきい値と比較して、その比較結果に基づいて、前記解像度変換部での解像度変換の度合を段階的に変更することを特徴とする請求項１から請求項３のいずれかに記載の動体監視装置。
【請求項５】
さらに、前記解像度変換部から出力される前記カラー画像の信号に対して平均化による縮小処理を行う平均化縮小部を備え、
前記信号処理制御部は、前記解像度変換部での解像度変換の度合に応じて、同一サイズの前記カラー画像が得られるように、前記平均化縮小部での平均化縮小の度合を設定することを特徴とする請求項１から請求項４のいずれかに記載の動体監視装置。
【請求項６】
動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して画像蓄積装置に送信する動体監視システムであって、
前記動体監視装置は、
環境光により前記監視エリアを撮影するカラーカメラと、
赤外光により前記監視エリアを撮影するモノクロカメラと、
前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、
この信号処理部で処理されたカラー画像およびモノクロ画像を前記画像蓄積装置に送信する通信部と、
を備え、
前記信号処理部は、
前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、
前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、
を有することを特徴とする動体監視システム。
【請求項７】
前記通信部は、設置場所、カメラ属性、撮影時刻、撮影条件の少なくとも１つを含む撮影情報を、前記カラー画像および前記モノクロ画像に付加して送信することを特徴とする請求項６に記載の動体監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象となる動体が出現する監視エリアを撮影した画像を出力する動体監視装置、および監視エリアを撮影した画像を動体監視装置からネットワークを介して画像蓄積装置に送信する動体監視システムに関するものである。
【背景技術】
【０００２】
監視エリアを撮影するカメラを設置して、監視対象となる人物などの動体の状況を監視する監視システムが広く普及している。このような監視システムでは、夜間でも監視を継続できるように、被写体に赤外光を照射して被写体を撮影するカメラを用いることがある。
【０００３】
このような赤外光による撮影では、鮮明な画像を得ることができる反面、モノクロ画像となるため、被写体の色を判別できない。特に、輝度が反転した状態で写り、例えば人物の青色の服が白色に写ることから、監視対象となる動体の誤認が発生するという問題がある。このため、夜間に撮影された画像でも、被写体の色を判別できるようにする技術が望まれる。
【０００４】
このような要望に対して、赤外光により被写体を撮影するとともに、三原色に対応する可視レーザー光を所定の投影パターンで被写体に照射して、各色の反射光の強度に基づいて被写体の色情報を取得して、その色情報を用いて赤外画像に色づけする技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２１９５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この従来技術では、被写体の色を判別可能な画像を得ることができるが、レーザー光を照射するために高価なレーザー光源を用いる必要があるため、装置の製造コストが増大するといった問題があった。
【０００７】
そこで、本発明は、環境光の状況に応じて、被写体の実際の色が明瞭に現れた適切なカラー画像を、低コストな構成で出力することができる動体監視装置および動体監視システムを提供することを主な目的とする。
【課題を解決するための手段】
【０００８】
本発明の動体監視装置は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を出力する動体監視装置であって、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、を備え、前記信号処理部は、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有する構成とする。
【０００９】
また、本発明の動体監視システムは、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して画像蓄積装置に送信する動体監視システムであって、前記動体監視装置は、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、この信号処理部で処理されたカラー画像およびモノクロ画像を前記画像蓄積装置に送信する通信部と、を備え、前記信号処理部は、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有する構成とする。
【発明の効果】
【００１０】
本発明によれば、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。また、信号レベル、すなわち環境光の明るさに基づいて、解像度変換部の動作を制御するため、環境光の状況に関係なく、適切なカラー画像を出力することができる。また、レーザー光源などの高価な部品が不要であるため、製造コストを抑えることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る動体監視システムの全体構成図
【図２】カメラ装置１による撮影状況を示す説明図
【図３】カメラ装置１の概略構成を示すブロック図
【図４】信号処理部２１の概略構成を示す機能ブロック図
【図５】解像度変換部５４で行われる解像度変換の要領を示す説明図
【図６】解像度変換前後のヒストグラムを示す説明図
【図７】信号処理制御部５３で設定される処理モードを示す説明図
【図８】信号処理制御部５３で行われる処理の手順を示すフロー図
【図９】階調色調補正部５５で行われるホワイトバランス補正の手順を示すフロー図
【図１０】階調色調補正部５５で行われる階調補正の状況を示す説明図
【発明を実施するための形態】
【００１２】
前記課題を解決するためになされた第１の発明は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を出力する動体監視装置であって、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、を備え、前記信号処理部は、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有する構成とする。
【００１３】
これによると、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。また、信号レベル、すなわち環境光の明るさに基づいて、解像度変換部の動作を制御するため、環境光の状況に関係なく、適切なカラー画像を出力することができる。また、レーザー光源などの高価な部品が不要であるため、製造コストを抑えることができる。
【００１４】
また、第２の発明は、前記カラー画像の信号レベルを検出する信号レベル検出部を備え、前記撮影環境の判断のため、前記信号レベルを参照する構成とする。
【００１５】
これによると、前記カラー画像の信号レベルにしたがって、適切な解像度変換を行うことができる。
【００１６】
また、第３の発明は、前記信号処理制御部は、前記信号レベルが所定のしきい値以上と判定された場合に、前記解像度変換部の動作を休止する構成とする。
【００１７】
これによると、信号レベルが十分に大きい、すなわち環境光が十分にある状態では、解像度変換を行う必要がないため、このような場合に解像度変換を省略することで、無駄な処理を避けることができる。
【００１８】
また、第４の発明は、前記信号処理制御部は、前記信号レベルを複数のしきい値と比較して、その比較結果に基づいて、前記解像度変換部での解像度変換の度合を段階的に変更する構成とする。
【００１９】
これによると、信号レベル、すなわち環境光の明るさに応じて、解像度変換の度合を変更するため、信号値の飽和を抑制して、適切なカラー画像を出力することができる。
【００２０】
また、第５の発明は、さらに、前記解像度変換部から出力される前記カラー画像の信号に対して平均化による縮小処理を行う平均化縮小部を備え、前記信号処理制御部は、前記解像度変換部での解像度変換の度合に応じて、同一サイズの前記カラー画像が得られるように、前記平均化縮小部での平均化縮小の度合を設定する構成とする。
【００２１】
これによると、解像度変換の度合に関係なく、均一なサイズのカラー画像を出力することができる。
【００２２】
また、第６の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して画像蓄積装置に送信する動体監視システムであって、前記動体監視装置は、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、この信号処理部で処理されたカラー画像およびモノクロ画像を前記画像蓄積装置に送信する通信部と、を備え、前記信号処理部は、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有する構成とする。
【００２３】
これによると、第１の発明と同様に、環境光の状況に応じて、被写体の実際の色が明瞭に現れた適切なカラー画像を、低コストな構成で出力することができる。
【００２４】
また、第７の発明は、前記通信部は、設置場所、カメラ属性、撮影時刻、撮影条件の少なくとも１つを含む撮影情報を、前記カラー画像および前記モノクロ画像に付加して送信する構成とする。
【００２５】
これによると、画像蓄積装置で行われるカラー画像およびモノクロ画像の管理が容易になり、また、画像を閲覧するユーザに撮影情報を提示することができる。
【００２６】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２７】
図１は、本実施形態に係る動体監視システムの全体構成図である。
【００２８】
動体監視システムは、カメラ装置１（動体監視装置）と、サーバ装置２（画像蓄積装置）と、閲覧装置３と、を備えている。カメラ装置１とサーバ装置２と閲覧装置３とはネットワークを介して接続されている。
【００２９】
カメラ装置１は、施設や道路などに設定された監視エリアを撮影し、監視エリアに存在する人物などの動体が写る撮影画像を出力する。サーバ装置２は、カメラ装置１から取得した撮影画像を蓄積する。閲覧装置３は、ＰＣやタブレット端末やスマートフォンなどであり、サーバ装置２にアクセスすることで、サーバ装置２に蓄積された撮影画像をユーザが閲覧することができる。
【００３０】
次に、カメラ装置１について説明する。図２は、カメラ装置１による撮影状況を示す説明図である。
【００３１】
カメラ装置１は、カラーカメラ１１と、モノクロカメラ１２と、を備えている。このカラーカメラ１１およびモノクロカメラ１２により、監視エリアに存在する被写体、すなわち、人物などの動体、建物、施設の敷地、道路などが撮影される。
【００３２】
カラーカメラ１１は、赤外光カットフィルタを備え、可視光により被写体をカラーで撮影して、カラー画像を出力する。モノクロカメラ１２は、可視光カットフィルタを備え、赤外光により被写体をモノクロで撮影して、モノクロ画像を出力する。なお、モノクロカメラ１２で撮影する際には、赤外光投光器１３（図３参照）により被写体に近赤外光が照射される。
【００３３】
ここで、夜間や、日の入りまたは日の出の時間帯で、環境光が十分にない状態において、カラーカメラ１１による撮影を行うと、撮影されたカラー画像では、被写体となる動体や背景が暗く写り、特に動体の色、例えば人物の服の色や車体の色を判別しにくいという問題がある。また、モノクロカメラ１２により近赤外光により撮影したモノクロ画像では、輝度が反転した状態で写り、例えば人物の青色の服が白色に写るというという問題がある。このため、動体の誤認が発生する。
【００３４】
そこで、本実施形態では、カラーカメラ１１から出力されるカラー画像の信号に対して信号処理を行うことで、環境光が十分にない状態で撮影された場合でも、被写体の実際の色が明瞭に現れた高画質なカラー画像を生成することができるようにしている。
【００３５】
なお、本実施形態では、カラーカメラ１１およびモノクロカメラ１２を設けるようにしたが、昼夜で撮影モードを切り替え可能な、いわゆるデイナイトカメラを１つ設けるようにしてもよい。このデイナイトカメラでは、例えば、赤外光カットフィルタを抜き差しすることで、可視光によるカラー画像を撮影するモードと、赤外光によるモノクロ画像を撮影するモードとを切り替えることができる。
【００３６】
また、図２では、屋外を監視エリアとした例を示しているが、屋内を監視エリアとしてもよい。この場合、日照の他に照明器具の点灯・消灯により監視エリアの環境光の明るさが変化する。
【００３７】
次に、カメラ装置１の概略構成について説明する。図３は、カメラ装置１の概略構成を示すブロック図である。
【００３８】
カメラ装置１は、カラーカメラ１１およびモノクロカメラ１２の他に、赤外光投光器１３と、通信部１４と、制御部１５と、記憶部１６と、を備えている。
【００３９】
赤外光投光器１３は、モノクロカメラ１２で被写体を撮影する際に、被写体に近赤外光を投光する。
【００４０】
通信部１４は、ネットワークを介してサーバ装置２との間で通信を行う。本実施形態では、制御部１５から出力される処理済みのカラー画像およびモノクロ画像をサーバ装置２に送信する。
【００４１】
このとき、設置場所、カメラ属性、撮影時刻、撮影条件などに関する撮影情報を、属性情報としてカラー画像およびモノクロ画像に付加して送信する。なお、カメラ属性は、カラーおよびモノクロの別や、カメラ装置１の識別情報（ＭＡＣアドレスなど）などに関するものである。また、撮影条件は、露光時間やゲインなどに関するものである。
【００４２】
なお、モノクロ画像に対して文字認識処理を行って、モノクロ画像内の文字情報を取得して、その文字情報をモノクロ画像に付加するようにしてもよい。
【００４３】
記憶部１６は、制御部１５で生成したカラー画像およびモノクロ画像などを記憶する。また、記憶部１６は、制御部１５で実行されるプログラムを記憶する。
【００４４】
制御部１５は、信号処理部２１と、ＬＥＤ制御部２２と、を備えている。この制御部１５は、プロセッサで構成され、制御部１５の各部は、記憶部１６に記憶されたプログラムを実行することで実現される。
【００４５】
信号処理部２１は、カラーカメラ１１およびモノクロカメラ１２からそれぞれ出力される画信号を処理する。
【００４６】
ＬＥＤ制御部２２は、赤外光投光器１３の光源となるＬＥＤを制御する。
【００４７】
次に、信号処理部２１について説明する。図４は、信号処理部２１の概略構成を示す機能ブロック図である。
【００４８】
信号処理部２１は、同期信号生成部３１と、モノクロ信号処理部３２と、カラー信号処理部３３と、を備えている。
【００４９】
同期信号生成部３１は、カラーカメラ１１およびモノクロカメラ１２を同期させる同期信号を生成する。この同期信号により、カラーカメラ１１およびモノクロカメラ１２は同一のタイミングで被写体を撮影することができる。
【００５０】
モノクロ信号処理部３２は、カメラインタフェイス４１と、階調補正部４２と、ガンマ補正４３と、を備えている。
【００５１】
カメラインタフェイス４１では、モノクロカメラ１２から出力されるモノクロ画像の画信号が入力される。
【００５２】
階調補正部４２は、カメラインタフェイス４１に入力されたモノクロ画像の画信号に対して階調補正を行う。
【００５３】
ガンマ補正部５６は、階調補正部４２から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
【００５４】
カラー信号処理部３３は、カメラインタフェイス５１と、信号レベル検出部５２と、信号処理制御部５３と、解像度変換部５４と、階調色調補正部５５と、ガンマ補正部５６と、Ｙ成分生成部５７と、ＵＶ成分生成部５８と、平均化縮小部５９と、を備えている。
【００５５】
カメラインタフェイス５１では、カラーカメラ１１から出力されるカラー画像の画信号が入力される。
【００５６】
信号レベル検出部５２は、カメラインタフェイス５１に入力されたカラー画像の画信号に基づいて、信号レベルを検出する。この信号レベルは、監視エリアの撮影環境である画像全体の明るさ、すなわち、監視エリアの環境光の明るさを表すものであり、輝度の最大値や分布状況（ヒストグラム）に基づいて検出される。
【００５７】
信号処理制御部５３は、信号レベル検出部５２で取得した信号レベルを参照して、解像度変換部５４で行われる解像度変換の度合（縮小率）を設定する。また、信号処理制御部５３は、解像度変換の度合に応じて、平均化縮小部５９で行われる平均化縮小の度合（縮小率）を設定する。なお、解像度変換の度合には、解像度変換部５４の動作を休止して解像度変換を行わない場合も含まれ、また、平均化縮小の度合には、平均化縮小部５９の動作を休止して平均化縮小を行わない場合も含まれる。ここでは、監視エリアの撮影環境として、信号レベル検出部５２で取得した信号レベルに基づいて、解像度変換部５４で行われる解像度変換の度合（縮小率）を設定するようにしたが、信号レベル検出部５２を省略し、日ごとに定められた昼時間、夜時間の設定にしたがい、夜時間の時間帯（１以上）ごとに解像度変換の度合を設定する制御テーブルを保持するようにしてもよい。
【００５８】
解像度変換部５４は、カメラインタフェイス５１に入力されたカラー画像の画信号に対して、近接する複数の画素の信号値を統合して画素数を削減する解像度変換を行う。
【００５９】
階調色調補正部５５は、解像度変換部５４から出力されるカラー画像の画信号に対して階調補正および色調補正を行う。階調補正としては、例えば、画像を明るくするゲイン調整が行われる。色調補正としては、例えば、環境光の色合いの影響を抑えるホワイトバランス補正が行われる。
【００６０】
ガンマ補正部５６は、階調色調補正部５５から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
【００６１】
Ｙ成分生成部５７は、ガンマ補正部５６から出力される画信号から、Ｙ成分の画信号（輝度信号）を生成する。ＵＶ成分生成部５８は、ガンマ補正部５６から出力される画信号から、Ｕ成分およびＶ成分の画信号（色差信号）を生成する。
【００６２】
平均化縮小部５９は、Ｙ成分生成部５７およびＵＶ成分生成部５８からそれぞれ出力される画信号に対して、所定数の画素の信号値を平均化することにより、カラー画像を所定のサイズに縮小する処理を行う。
【００６３】
次に、解像度変換部５４で行われる解像度変換について説明する。図５は、解像度変換の要領を示す説明図である。図６は、解像度変換前後のヒストグラムを示す説明図である。
【００６４】
カラーカメラ１１の撮影素子では、図５（Ａ）に示すように、Ｒ，Ｂ，Ｇの各色の画素がベイヤーパターンで配列されている。
【００６５】
解像度変換部５４では、図５（Ｂ）に示すように、同一の色の画素を対象にして、近接する所定数の画素の信号値を加算して、その合計値を、図５（Ｃ）に示すように、１つの画素の信号値とする。
【００６６】
図５に示す例では、４×４の合計１６個の画素の信号値を加算している。これにより、撮影感度が１６倍になる。また、解像度が１／１６に低下して、データ量が１／１６に削減される。
【００６７】
なお、図５では、Ｒについて示すが、Ｂ，Ｇについても同様である。
【００６８】
このような解像度変換を行うことにより、図６（Ａ）に示すように、解像度変換前では、信号値が暗い範囲に偏っているのに対して、図６（Ｂ）に示すように、解像度変換後では、信号値が広い範囲に広がった状態になる。
【００６９】
このように本実施形態では、複数の画素の信号値を加算することでカラー画像の画素数を削減する解像度変換が行われる。これにより、街灯や建物の照明などにより、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。特に動体の判別が容易になり、例えば人物の場合には服の色が明瞭に現れ、車両の場合には車体の色を明瞭に現れ、動体の誤認を避けることができる。
【００７０】
ところで、カメラ装置１で生成したカラー画像を、ネットワークを介してサーバ装置２に送信するため、通信負荷を軽減する目的でカラー画像のデータ量を削減することが望まれる。
【００７１】
ここで、ＪＰＥＧなどの圧縮処理を行うことが考えられるが、夜間のように環境光が十分にない状態で撮影されたカラー画像に対して圧縮処理を行うと、昼間のように環境光が十分にある状態で撮影されたカラー画像で生じなかった圧縮ノイズが顕著に表れ、画質が大幅に低下する。
【００７２】
一方、本実施形態では、解像度変換を行うことで、カラー画像の画素数が減少するため、カラー画像のデータ量を削減することができる。また、解像度変換を行ったカラー画像に対してさらに圧縮処理を行うようにしてもよく、この場合、解像度変換を行わないまま圧縮処理を行った場合に比較して、圧縮ノイズを大幅に低減することができる。
【００７３】
次に、信号処理制御部５３で行われる処理について説明する。図７は、信号処理制御部５３で設定される処理モードを示す説明図である。図８は、信号処理制御部５３で行われる処理の手順を示すフロー図である。
【００７４】
信号処理制御部５３では、信号レベル検出部５２で取得した信号レベルを複数のしきい値と比較して、その比較結果に基づいて、解像度変換部５４で行われる解像度変換の度合を段階的に変更する。
【００７５】
図７に示す例では、信号レベルに基づいて、３つの処理モードに場合分けして、解像度変換の度合として、３つのレベル（最小、中間、最大）が設定される。これにより、各画素の信号値が飽和しないように、適切な解像度変換を行うことができる。
【００７６】
第１の処理モードは、昼間の明るい状態である場合に実施されるものである。この第１の処理モードでは、解像度変換のレベルは最小となり、解像度変換の縮小率を１、すなわち、解像度変換を行わない。
【００７７】
第２の処理モードは、日の入りまたは日の出の時間帯で薄暗い状態である場合に実施されるものである。この第２の処理モードでは、解像度変換のレベルは中間となり、解像度変換の縮小率を１／４とする。すなわち、２×２の合計４個の画素の信号値を加算することで、解像度を１／４とする解像度変換を行う。
【００７８】
第３の処理モードは、夜間の暗い状態である場合に実施されるものである。この第３の処理モードでは、解像度変換のレベルは最大となり、解像度変換の縮小率を１／１６とする。すなわち、４×４の合計１６個の画素の信号値を加算することで、解像度を１／１６とする解像度変換を行う。
【００７９】
また、信号処理制御部５３では、解像度変換部５４で行われる解像度変換の度合に関係なく最終的に同一サイズのカラー画像が得られるように、解像度変換の度合に応じて、平均化縮小部５９で行われる平均化縮小の度合を設定する。
【００８０】
すなわち、第１の処理モードで解像度変換の縮小率が１の場合には、平均化縮小のレベルは最大となり、平均化縮小の縮小率を１／１６とする。また、第２の処理モードで解像度変換の縮小率が１／４の場合には、平均化縮小のレベルは中間となり、平均化縮小の縮小率を１／４とする。また、第３の処理モードで解像度変換の縮小率が１／１６の場合には、平均化縮小のレベルは最小となり、平均化縮小の縮小率を１とする。すなわち、平均化縮小を行わない。これにより、全ての処理モードで同様に１／１６に縮小されたカラー画像が得られる。
【００８１】
具体的には、図８に示すように、信号レベル検出部５２で取得した信号レベルＬを２つのしきい値ａ，ｂ（ａ＜ｂ）と比較して、信号レベルＬがしきい値ａ未満であるか否かの判定（ＳＴ１０１）と、信号レベルＬがしきい値ｂ未満であるか否かの判定（ＳＴ１０２）と、を行う。これにより、３つの処理モードに場合分けして、解像度変換および平均化縮小のレベルが決定される。
【００８２】
すなわち、信号レベルＬがしきい値ｂ以上である場合（ＳＴ１０２でＮｏ）、すなわち、昼間の明るい状態である場合には、第１の処理モードとなり、解像度変換のレベルを最小に設定し（ＳＴ１０３）、平均化縮小のレベルを最大に設定する（ＳＴ１０４）。
【００８３】
また、信号レベルＬがしきい値ａ以上で且つしきい値ｂ未満である場合（ＳＴ１０２でＹｅｓ）、すなわち、日の入りまたは日の出の時間帯で薄暗い状態である場合には、第２の処理モードとなり、解像度変換のレベルを中間に設定し（ＳＴ１０５）、平均化縮小のレベルを中間に設定する（ＳＴ１０６）。
【００８４】
また、信号レベルＬがしきい値ａ未満である場合（ＳＴ１０１でＹｅｓ）、すなわち、夜間の暗い状態である場合には、第３の処理モードとなり、解像度変換のレベルを最大に設定し（ＳＴ１０７）、平均化縮小のレベルを最小に設定する（ＳＴ１０８）。
【００８５】
なお、図７および図８に示す例では、信号レベルに応じて３通り（第１〜第３の処理モード）に場合分けするようにしたが、２通り、または４通り以上に場合分けするようにしてもよい。また、解像度変換の縮小率を１，１／４、１／１６としたが、８×８の合計６４個の画素の信号値を加算することで、解像度を１／１６とする解像度変換を行うなど、種々の縮小率の解像度変換が可能である。
【００８６】
次に、階調色調補正部５５で行われるホワイトバランス補正について説明する。図９は、ホワイトバランス補正の手順を示すフロー図である。
【００８７】
階調色調補正部５５では、解像度変換部５４から出力されるカラー画像の画信号に対してホワイトバランス補正が行われる。ホワイトバランス補正では、最も明るい（輝度が高い）領域を白色とみなして、色調を補正する。このため、夜間でライト、例えば街灯や車両のヘッドライトが写る画像では、ライトの領域が最も明るくなるため、この領域を白色とみなして色調を補正する。このとき、ライトの光が白色でない場合、画像の色が全体的にずれる色かぶりが発生する。
【００８８】
そこで、本実施形態では、ライトの領域を除外してホワイトバランス補正を行う。
【００８９】
具体的には、まず、信号レベル検出部５２で取得した信号レベルが所定のしきい値未満であるか否かを判定する（ＳＴ２０１）。このしきい値は、夜間と昼間とを識別するものとなる。
【００９０】
ここで、信号レベルがしきい値未満である場合（ＳＴ２０１でＹｅｓ）、すなわち、夜間である場合には、カラー画像内のライトの領域を検出して、そのライトの領域に含まれる画素を集計対象から除外する（ＳＴ２０２）。
【００９１】
次に、集計対象となる各画素の信号値をＲＧＢの色ごとに合計して、各色の合計値（RSUM、GSUM、BSUM）を算出する（ＳＴ２０３）。そして、各色の合計値に基づく各色のゲインを、各色の入力値（Rin、Gin、Bin）に乗算して、各色の出力値（Rout、Gout、Bout）を算出する（ＳＴ２０４）。このとき、Ｇを基準にした補正が行われる。
【００９２】
一方、信号レベルがしきい値以上である場合（ＳＴ２０１でＮｏ）、すなわち、昼間である場合には、カラー画像内の全ての画素を集計対象として、各色の合計値を算出し（ＳＴ２０３）、各色の出力値を算出する（ＳＴ２０４）。
【００９３】
次に、階調色調補正部５５で行われる階調補正について説明する。図１０は、階調色調補正部５５で行われる階調補正の状況を示す説明図である。
【００９４】
階調色調補正部５５では、解像度変換部５４から出力されるカラー画像の画信号に対してゲインを付加して、カラー画像を明るくする階調補正（ゲイン調整）が行われる。
【００９５】
図１０に示す例は、街灯のライトが写る夜間のカラー画像であり、図１０（Ａ）に示すように、元画像は全体的に暗く被写体が見えにくい。
【００９６】
ここで、元画像の画信号に対して均一に大きなゲインを与えると、図１０（Ｂ）に示すように、画像全体が明るくなり、ライトから離れた領域では被写体が見えやすくなるが、ハレーションが顕著になるため、ライトの近くの領域では被写体が逆に見えにくくなる。
【００９７】
一方、元画像の画信号に対して均一に小さなゲインを与えると、図１０（Ｃ）に示すように、ハレーションは低減するが、画像全体がわずかに明るくなるだけで、被写体が見えにくい状態はあまり改善されない。
【００９８】
そこで、本実施形態では、領域に応じて最適化された階調補正を行う。すなわち、ライトから離れた暗い領域には大きなゲインを与え、ライトの近くの明るい領域では小さいゲインを与える。
【００９９】
これにより、図１０（Ｄ）に示すように、ライトから離れた領域では被写体が見えやすくなり、また、ハレーションが低減するため、ライトの近くの領域でも被写体が見えやすくなる。このように、領域に応じて異なるゲインを与えることで、ハレーションの影響を受けない最適な画像を取得することができる。
【０１００】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【０１０１】
例えば、前記の実施形態では、監視対象となる動体を主に人物とした例について説明したが、監視対象となる動体は人物に限定されるものではなく、動物や車両などでもよい。
【０１０２】
また、前記の実施形態では、環境光の明るさを表す信号レベルに基づいて制御を行うようにしたが、季節や時刻に応じた日照時間の変化により、環境光の明るさが規則的に変化するため、時間情報に基づいて制御することも可能である。ただし、環境光の明るさは天気に応じて変化するため、信号レベルに基づいた制御の方が、精度の高い制御を行うことができる。
【０１０３】
また、前記の実施形態では、解像度変換などの種々の画像処理（信号処理）をカメラ装置で行うようにしたが、これらの画像処理の全部あるいは一部をサーバ装置で行うようにしてもよい。もっとも、解像度変換や平均化縮小の処理は、画像のデータ量を削減して通信負荷を軽減するものであるため、カメラ装置で行うことが望ましい。
【０１０４】
また、前記の実施形態では、カメラ装置から処理済みのカラー画像およびモノクロ画像を出力するようにしたが、夜間に撮影されたカラー画像とモノクロ画像とを合成して、合成画像を生成する画像合成を行うようにしてもよい。なお、この画像合成は、カメラ装置およびサーバ装置のいずれで行うようにしてもよい。
【０１０５】
画像合成では、例えば、カラー画像から色情報を取得し、その色情報を用いてモノクロ画像に色付けする処理が行われる。本実施形態では、解像度変換により、被写体の実際の色が明瞭に現れたカラー画像が得られ、このカラー画像から、夜間に出現した動体の色情報を精度よく取得することができる。また、近赤外光による撮影により、高精細なモノクロ画像が得られ、このモノクロ画像に、カラー画像から取得した色情報を用いて色付けすることにより、高精細で動体の色を忠実に再現した夜間のカラー画像を生成することができる。
【産業上の利用可能性】
【０１０６】
本発明に係る動体監視装置および動体監視システムは、環境光の状況に応じて、被写体の実際の色が明瞭に現れた適切なカラー画像を、低コストな構成で出力することができる効果を有し、監視対象となる動体が出現する監視エリアを撮影した画像を出力する動体監視装置、および監視エリアを撮影した画像を動体監視装置からネットワークを介して画像蓄積装置に送信する動体監視システムなどとして有用である。
【符号の説明】
【０１０７】
１  カメラ装置（動体監視装置）
２  サーバ装置（画像蓄積装置）
１１  カラーカメラ
１２  モノクロカメラ
１４  通信部
１５  制御部
２１  信号処理部
５２  信号レベル検出部
５３  信号処理制御部
５４  解像度変換部
５９  平均化縮小部
【図１】
2018129672.tif 000003
【図２】
2018129672.tif 000004
【図３】
2018129672.tif 000005
【図４】
2018129672.tif 000006
【図５】
2018129672.tif 000007
【図６】
2018129672.tif 000008
【図７】
2018129672.tif 000009
【図８】
2018129672.tif 000010
【図９】
2018129672.tif 000011
【図１０】
2018129672.tif 000012
【手続補正書】
【提出日】平成30年5月9日(2018.5.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を出力する動体監視装置であって、
環境光により前記監視エリアを撮影するカラーカメラと、
赤外光により前記監視エリアを撮影するモノクロカメラと、
前記カラーカメラから出力されるカラー画像の色の明瞭化処理、および前記モノクロカメラから出力されるモノクロ画像の鮮明化処理をそれぞれ実行する信号処理部と、
を備え、
前記信号処理部は、
前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、
前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有し、
前記カラー画像から取得される色情報により、前記モノクロ画像に写る前記動体の色を判別可能としたことを特徴とする動体監視装置。
【請求項２】
前記カラー画像の信号レベルを検出する信号レベル検出部を備え、
前記撮影環境の判断のため、前記信号レベルを参照することを特徴とする請求項１に記載の動体監視装置。
【請求項３】
前記信号処理制御部は、前記信号レベルが所定のしきい値以上と判定された場合に、前記解像度変換部の動作を休止することを特徴とする請求項１または請求項２に記載の動体監視装置。
【請求項４】
前記信号処理制御部は、前記信号レベルを複数のしきい値と比較して、その比較結果に基づいて、前記解像度変換部での解像度変換の度合を段階的に変更することを特徴とする請求項１から請求項３のいずれかに記載の動体監視装置。
【請求項５】
さらに、前記解像度変換部から出力される前記カラー画像の信号に対して平均化による縮小処理を行う平均化縮小部を備え、
前記信号処理制御部は、前記解像度変換部での解像度変換の度合に応じて、同一サイズの前記カラー画像が得られるように、前記平均化縮小部での平均化縮小の度合を設定することを特徴とする請求項１から請求項４のいずれかに記載の動体監視装置。
【請求項６】
動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して画像蓄積装置に送信する動体監視システムであって、
前記動体監視装置は、
環境光により前記監視エリアを撮影するカラーカメラと、
赤外光により前記監視エリアを撮影するモノクロカメラと、
前記カラーカメラから出力されるカラー画像の色の明瞭化処理、および前記モノクロカメラから出力されるモノクロ画像の鮮明化処理をそれぞれ実行する信号処理部と、
この信号処理部で処理されたカラー画像およびモノクロ画像を前記画像蓄積装置に送信する通信部と、
を備え、
前記信号処理部は、
前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、
前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有し、
前記カラー画像から取得される色情報により、前記モノクロ画像に写る前記動体の色を判別可能としたことを特徴とする動体監視システム。
【請求項７】
前記通信部は、設置場所、カメラ属性、撮影時刻、撮影条件の少なくとも１つを含む撮影情報を、前記カラー画像および前記モノクロ画像に付加して送信することを特徴とする請求項６に記載の動体監視システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の動体監視装置は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を出力する動体監視装置であって、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の色の明瞭化処理、および前記モノクロカメラから出力されるモノクロ画像の鮮明化処理をそれぞれ実行する信号処理部と、を備え、前記信号処理部は、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有し、前記カラー画像から取得される色情報により、前記モノクロ画像に写る前記動体の色を判別可能とした構成とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明の動体監視システムは、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して画像蓄積装置に送信する動体監視システムであって、前記動体監視装置は、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の色の明瞭化処理、および前記モノクロカメラから出力されるモノクロ画像の鮮明化処理をそれぞれ実行する信号処理部と、この信号処理部で処理されたカラー画像およびモノクロ画像を前記画像蓄積装置に送信する通信部と、を備え、前記信号処理部は、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有し、前記カラー画像から取得される色情報により、前記モノクロ画像に写る前記動体の色を判別可能とした構成とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明によれば、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができ、鮮明なモノクロ画像上に写る動体の色を把握することが可能となる。また、信号レベル、すなわち環境光の明るさに基づいて、解像度変換部の動作を制御するため、環境光の状況に関係なく、適切なカラー画像を出力することができる。また、レーザー光源などの高価な部品が不要であるため、製造コストを抑えることができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
前記課題を解決するためになされた第１の発明は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を出力する動体監視装置であって、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の色の明瞭化処理、および前記モノクロカメラから出力されるモノクロ画像の鮮明化処理をそれぞれ実行する信号処理部と、を備え、前記信号処理部は、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有し、前記カラー画像から取得される色情報により、前記モノクロ画像に写る前記動体の色を判別可能とした構成とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
これによると、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができ、鮮明なモノクロ画像上に写る動体の色を把握することが可能となる。また、信号レベル、すなわち環境光の明るさに基づいて、解像度変換部の動作を制御するため、環境光の状況に関係なく、適切なカラー画像を出力することができる。また、レーザー光源などの高価な部品が不要であるため、製造コストを抑えることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
また、第６の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して画像蓄積装置に送信する動体監視システムであって、前記動体監視装置は、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の色の明瞭化処理、および前記モノクロカメラから出力されるモノクロ画像の鮮明化処理をそれぞれ実行する信号処理部と、この信号処理部で処理されたカラー画像およびモノクロ画像を前記画像蓄積装置に送信する通信部と、を備え、前記信号処理部は、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有し、前記カラー画像から取得される色情報により、前記モノクロ画像に写る前記動体の色を判別可能とした構成とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
これによると、第１の発明と同様に、環境光の状況に応じて、被写体の実際の色が明瞭に現れた適切なカラー画像を出力することができ、鮮明なモノクロ画像上に写る動体の色を把握することが可能となる。