(57)【要約】【課題】夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力できるようにする。【解決手段】環境光で撮影するカラーカメラ１１と、赤外光で撮影するモノクロカメラ１２と、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部２１と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像から生成された位置合わせ情報を記憶する記憶部１６と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像に写る被写体の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部２４と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部２５と、を備えたものとする。【選択図】図３
2018142895.tif 000002
【特許請求の範囲】
【請求項１】
監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、
環境光により前記監視エリアを撮影するカラーカメラと、
赤外光により前記監視エリアを撮影するモノクロカメラと、
前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、
環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、
を備えたことを特徴とする動体監視装置。
【請求項２】
前記記憶部は、形状が異なる動体の種類別に複数の前記位置合わせ情報を記憶し、
前記位置合わせ部は、前記モノクロ画像から動体を検出するとともに、その動体の種類を判別して、その動体の種類に応じた前記位置合わせ情報に基づいて、位置合わせを行うことを特徴とする請求項１に記載の動体監視装置。
【請求項３】
さらに、前記位置合わせ情報を生成する位置合わせ情報生成部を備え、
前記記憶部は、前記位置合わせ情報生成部で生成した前記位置合わせ情報を、前記信号処理部の処理条件に関する情報とともにキャリブレーション情報として記憶することを特徴とする請求項１または請求項２のいずれかに記載の動体監視装置。
【請求項４】
前記信号処理部は、
前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、
前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、
を有することを特徴とする請求項１から請求項３のいずれかに記載の動体監視装置。
【請求項５】
動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して受信するサーバ装置であって、
前記動体監視装置において、環境光により前記監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により前記監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、
環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、
を備えたことを特徴とするサーバ装置。
【請求項６】
動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、
前記動体監視装置は、
環境光により前記監視エリアを撮影するカラーカメラと、
赤外光により前記監視エリアを撮影するモノクロカメラと、
前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、
環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、
この画像合成部で取得した合成画像を前記サーバ装置に送信する通信部と、
を備えたことを特徴とする動体監視システム。
【請求項７】
前記サーバ装置は、
前記位置合わせ情報を生成する位置合わせ情報生成部と、
前記位置合わせ情報を前記動体監視装置に送信する通信部と、
を備え、
前記動体監視装置は、前記サーバ装置から受信した前記位置合わせ情報にしたがって前記記憶部の更新処理を行うことを特徴とする請求項６に記載の動体監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象となる動体が出現する監視エリアを撮影した画像を出力する動体監視装置、動体監視装置において監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置、および監視エリアを撮影した画像を動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムに関するものである。
【背景技術】
【０００２】
監視エリアを撮影するカメラを設置して、監視対象となる人物などの動体の状況を監視する監視システムが広く普及している。このような監視システムでは、夜間でも監視を継続できるように、被写体に赤外光を照射して被写体を撮影するカメラを用いる場合がある。
【０００３】
このような赤外光による撮影では、鮮明な画像を得ることができる反面、モノクロ画像となるため、被写体を識別しにくいといった問題がある。このため、夜間に撮影された画像でも、被写体の識別性を向上させることができる技術が望まれる。
【０００４】
このような要望に対して、従来、可視光により被写体をカラーで撮影するとともに、赤外光により被写体をモノクロで撮影して、可視光による撮影画像を背景画像として、この背景画像上に、赤外光による撮影画像から切り出された人物の画像を重ね合わせる技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０１０６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この従来技術では、夜間に撮影された画像の視認性を全体的に向上させることはできるが、肝心な動体の色再現は考慮されていない。すなわち、動体の画像が赤外光による撮影画像から切り出されたものであるため、動体の色を判別できない。特に、赤外光による撮影画像では、輝度が反転した状態で写り、例えば人物の青色の服が白色に写ることから、監視対象となる動体の誤認が発生する。このため、動体の監視の用途では全く使用に耐えないものであった。
【０００７】
そこで、本発明は、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる動体監視装置、サーバ装置、および動体監視システムを提供することを主な目的とする。
【課題を解決するための手段】
【０００８】
本発明の動体監視装置は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
【０００９】
また、本発明のサーバ装置は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して受信するサーバ装置であって、前記動体監視装置において、環境光により前記監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により前記監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
【００１０】
また、本発明の動体監視システムは、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、前記動体監視装置は、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、この画像合成部で取得した合成画像を前記サーバ装置に送信する通信部と、を備えた構成とする。
【発明の効果】
【００１１】
本発明によれば、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像から生成された位置合わせ情報に基づいて、夜間のように環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像の位置合わせを行うため、位置合わせを精度よく行うことができる。そして、精度よく位置合わせされたカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けすることで、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る動体監視システムの全体構成図
【図２】カメラ装置１による撮影状況を示す説明図
【図３】カメラ装置１の概略構成を示すブロック図
【図４】信号処理部２１の概略構成を示す機能ブロック図
【図５】解像度変換部５４で行われる解像度変換の要領を示す説明図
【図６】解像度変換前後のヒストグラムを示す説明図
【図７】信号処理制御部５３で設定される処理モードを示す説明図
【図８】信号処理制御部５３で行われる処理の手順を示すフロー図
【図９】階調色調補正部５５で行われるホワイトバランス補正の手順を示すフロー図
【図１０】階調色調補正部５５で行われる階調補正の状況を示す説明図
【図１１】位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理に係る要部のブロック図
【図１２】位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理の概要を示す説明図
【図１３】キャリブレーションの処理手順を示すフロー図
【図１４】画像マッチングの状況を示す説明図
【図１５】運用時の処理手順を示すフロー図
【図１６】形状が異なる動体の撮影状況を示す説明図
【図１７】第２実施形態における運用時の処理手順を示すフロー図
【図１８】第３実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図
【図１９】第４実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図
【発明を実施するための形態】
【００１３】
前記課題を解決するためになされた第１の発明は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
【００１４】
これによると、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像から生成された位置合わせ情報に基づいて、夜間のように環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像の位置合わせを行うため、位置合わせを精度よく行うことができる。そして、精度よく位置合わせされたカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けすることで、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
【００１５】
また、第２の発明は、前記記憶部は、形状が異なる動体の種類別に複数の前記位置合わせ情報を記憶し、前記位置合わせ部は、前記モノクロ画像から動体を検出するとともに、その動体の種類を判別して、その動体の種類に応じた前記位置合わせ情報に基づいて、位置合わせを行う構成とする。
【００１６】
これによると、動体の形状に応じて、カラー画像とモノクロ画像との位置合わせを精度よく行うことができる。
【００１７】
また、第３の発明は、さらに、前記位置合わせ情報を生成する位置合わせ情報生成部を備え、前記記憶部は、前記位置合わせ情報生成部で生成した前記位置合わせ情報を、前記信号処理部の処理条件に関する情報とともにキャリブレーション情報として記憶する構成とする。
【００１８】
これによると、装置設置時や運用途中の適宜なタイミングで、位置合わせ情報を生成する処理をキャリブレーションとして実施することで、カラー画像およびモノクロ画像の位置合わせを適切に行うことができる。
【００１９】
また、第４の発明は、前記信号処理部は、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有する構成とする。
【００２０】
これによると、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。また、監視エリアの撮影環境に基づいて解像度変換部の動作を制御するため、撮影環境に関係なく、適切なカラー画像を出力することができる。また、解像度変換により、被写体の実際の色が明瞭に現れたカラー画像が得られ、このカラー画像から、夜間に出現した動体の色情報を精度よく取得することができる。
【００２１】
また、第５の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して受信するサーバ装置であって、前記動体監視装置において、環境光により前記監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により前記監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
【００２２】
これによると、第１の発明と同様に、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
【００２３】
また、第６の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、前記動体監視装置は、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、この画像合成部で取得した合成画像を前記サーバ装置に送信する通信部と、を備えた構成とする。
【００２４】
これによると、第１の発明と同様に、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
【００２５】
また、第７の発明は、前記サーバ装置は、前記位置合わせ情報を生成する位置合わせ情報生成部と、前記位置合わせ情報を前記動体監視装置に送信する通信部と、を備え、前記動体監視装置は、前記サーバ装置から受信した前記位置合わせ情報にしたがって前記記憶部の更新処理を行う構成とする。
【００２６】
これによると、動体監視装置で用いられる位置合わせ情報の更新を、ユーザが遠隔操作で行うことができる。
【００２７】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２８】
（第１実施形態）
図１は、第１実施形態に係る動体監視システムの全体構成図である。
【００２９】
動体監視システムは、カメラ装置１（動体監視装置）と、サーバ装置２（画像蓄積装置）と、閲覧装置３と、を備えている。カメラ装置１とサーバ装置２と閲覧装置３とはネットワークを介して接続されている。
【００３０】
カメラ装置１は、施設や道路などに設定された監視エリアを撮影し、監視エリアに存在する人物などの動体が写る撮影画像を出力する。サーバ装置２は、カメラ装置１から取得した撮影画像を蓄積する。閲覧装置３は、ＰＣやタブレット端末やスマートフォンなどであり、サーバ装置２にアクセスすることで、サーバ装置２に蓄積された撮影画像をユーザが閲覧することができる。
【００３１】
次に、カメラ装置１について説明する。図２は、カメラ装置１による撮影状況を示す説明図である。
【００３２】
カメラ装置１は、カラーカメラ１１と、モノクロカメラ１２と、を備えている。このカラーカメラ１１およびモノクロカメラ１２により、監視エリアに存在する被写体、すなわち、人物などの動体、建物、施設の敷地、道路などが撮影される。
【００３３】
カラーカメラ１１は、赤外光カットフィルタを備え、可視光により被写体をカラーで撮影して、カラー画像を出力する。モノクロカメラ１２は、可視光カットフィルタを備え、赤外光により被写体をモノクロで撮影して、モノクロ画像を出力する。なお、モノクロカメラ１２で撮影する際には、赤外光投光器１３（図３参照）により被写体に近赤外光が照射される。
【００３４】
ここで、夜間や、日の入りまたは日の出の時間帯で、環境光が十分にない状態において、カラーカメラ１１による撮影を行うと、撮影されたカラー画像では、被写体となる動体や背景が暗く写り、特に動体の色、例えば人物の服の色や車体の色を判別しにくいという問題がある。また、モノクロカメラ１２により近赤外光により撮影したモノクロ画像では、輝度が反転した状態で写り、例えば人物の青色の服が白色に写るというという問題がある。このため、動体の誤認が発生する。
【００３５】
そこで、本実施形態では、カラーカメラ１１から出力されるカラー画像の信号に対して信号処理を行うことで、環境光が十分にない状態で撮影された場合でも、被写体の実際の色が明瞭に現れた高画質なカラー画像を生成することができるようにしている。
【００３６】
さらに、本実施形態では、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像を合成する画像合成を行うようにしている。この画像合成では、カラー画像から色情報を取得し、その色情報を用いてモノクロ画像に色付けする処理が行われる。本実施形態では、近赤外光による撮影により、高精細なモノクロ画像が得られ、このモノクロ画像に、カラー画像から取得した色情報を用いて色付けすることにより、高精細で動体の色を忠実に再現した夜間のカラー画像を生成することができる。
【００３７】
このとき、カラーカメラ１１およびモノクロカメラ１２には視差があり、この視差の影響で、カラー画像およびモノクロ画像に写る被写体の位置がずれるため、カラー画像およびモノクロ画像をそのまま合成すると、背景の色が動体の領域に現れたり、動体の色が背景の領域に現れたりする不具合が発生する。
【００３８】
そこで、本実施形態では、カラー画像とモノクロ画像との間で被写体の位置を一致させる位置合わせの処理を行うようにしている。
【００３９】
なお、図２では、屋外を監視エリアとした例を示しているが、屋内を監視エリアとしてもよい。この場合、日照の他に照明器具の点灯・消灯により監視エリアの環境光の明るさが変化する。
【００４０】
次に、カメラ装置１の概略構成について説明する。図３は、カメラ装置１の概略構成を示すブロック図である。
【００４１】
カメラ装置１は、カラーカメラ１１およびモノクロカメラ１２の他に、赤外光投光器１３と、通信部１４と、制御部１５と、記憶部１６と、を備えている。
【００４２】
赤外光投光器１３は、モノクロカメラ１２で被写体を撮影する際に、被写体に近赤外光を投光する。
【００４３】
通信部１４は、ネットワークを介してサーバ装置２との間で通信を行う。本実施形態では、制御部１５で生成した合成画像をサーバ装置２に送信する。なお、制御部１５で生成した処理済みのカラー画像およびモノクロ画像をサーバ装置２に送信するようにしてもよい。
【００４４】
このとき、設置場所、カメラ属性、撮影時刻、撮影条件などに関する撮影情報を、属性情報として画像に付加して送信する。なお、カメラ属性は、カラーおよびモノクロの別や、カメラ装置１の識別情報（ＭＡＣアドレスなど）などに関するものである。また、撮影条件は、露光時間やゲインなどに関するものである。
【００４５】
なお、モノクロ画像に対して文字認識処理を行って、モノクロ画像内の文字情報を取得して、その文字情報を画像に付加して送信するようにしてもよい。
【００４６】
記憶部１６は、制御部１５で生成したカラー画像、モノクロ画像、および合成画像などを記憶する。また、記憶部１６は、制御部１５で実行されるプログラムを記憶する。また、記憶部１６は、キャリブレーションメモリとして機能し、カラーカメラ１１およびモノクロカメラ１２の撮像条件や、制御部１５で行われるカラー画像およびモノクロ画像の画信号に対する信号処理の処理条件などに関するキャリブレーション情報（各種パラメータの設定値など）を記憶する。
【００４７】
制御部１５は、信号処理部２１と、ＬＥＤ制御部２２と、位置合わせ情報生成部２３と、位置合わせ部２４と、画像合成部２５と、を備えている。この制御部１５は、プロセッサで構成され、制御部１５の各部は、記憶部１６に記憶されたプログラムを実行することで実現される。
【００４８】
信号処理部２１は、カラーカメラ１１およびモノクロカメラ１２からそれぞれ出力される画信号を処理する。
【００４９】
ＬＥＤ制御部２２は、赤外光投光器１３の光源となるＬＥＤを制御する。
【００５０】
次に、信号処理部２１について説明する。図４は、信号処理部２１の概略構成を示す機能ブロック図である。
【００５１】
信号処理部２１は、同期信号生成部３１と、モノクロ信号処理部３２と、カラー信号処理部３３と、を備えている。
【００５２】
同期信号生成部３１は、カラーカメラ１１およびモノクロカメラ１２を同期させる同期信号を生成する。この同期信号により、カラーカメラ１１およびモノクロカメラ１２は同一のタイミングで被写体を撮影することができる。
【００５３】
モノクロ信号処理部３２は、カメラインタフェイス４１と、階調補正部４２と、ガンマ補正４３と、を備えている。
【００５４】
カメラインタフェイス４１では、モノクロカメラ１２から出力されるモノクロ画像の画信号が入力される。
【００５５】
階調補正部４２は、カメラインタフェイス４１に入力されたモノクロ画像の画信号に対して階調補正を行う。
【００５６】
ガンマ補正部５６は、階調補正部４２から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
【００５７】
カラー信号処理部３３は、カメラインタフェイス５１と、信号レベル検出部５２と、信号処理制御部５３と、解像度変換部５４と、階調色調補正部５５と、ガンマ補正部５６と、Ｙ成分生成部５７と、ＵＶ成分生成部５８と、平均化縮小部５９と、を備えている。
【００５８】
カメラインタフェイス５１では、カラーカメラ１１から出力されるカラー画像の画信号が入力される。
【００５９】
信号レベル検出部５２は、カメラインタフェイス５１に入力されたカラー画像の画信号に基づいて、信号レベルを検出する。この信号レベルは、監視エリアの撮影環境である画像全体の明るさ、すなわち、監視エリアの環境光の明るさを表すものであり、輝度の最大値や分布状況（ヒストグラム）に基づいて検出される。
【００６０】
信号処理制御部５３は、信号レベル検出部５２で取得した信号レベルを参照して、解像度変換部５４で行われる解像度変換の度合（縮小率）を設定する。また、信号処理制御部５３は、解像度変換の度合に応じて、平均化縮小部５９で行われる平均化縮小の度合（縮小率）を設定する。なお、解像度変換の度合には、解像度変換部５４の動作を休止して解像度変換を行わない場合も含まれ、また、平均化縮小の度合には、平均化縮小部５９の動作を休止して平均化縮小を行わない場合も含まれる。ここでは、監視エリアの撮影環境として、信号レベル検出部５２で取得した信号レベルに基づいて、解像度変換部５４で行われる解像度変換の度合（縮小率）を設定するようにしたが、信号レベル検出部５２を省略し、日ごとに定められた昼時間、夜時間の設定にしたがい、夜時間の時間帯（１以上）ごとに解像度変換の度合を設定する制御テーブルを保持するようにしてもよい。また、信号レベル検出部５２に代えて、照度センサ等を設け、そのセンサ出力に基づいて、撮影環境を判別するようにしてもよい。
【００６１】
解像度変換部５４は、カメラインタフェイス５１に入力されたカラー画像の画信号に対して、近接する複数の画素の信号値を統合して画素数を削減する解像度変換を行う。
【００６２】
階調色調補正部５５は、解像度変換部５４から出力されるカラー画像の画信号に対して階調補正および色調補正を行う。階調補正としては、例えば、画像を明るくするゲイン調整が行われる。色調補正としては、例えば、環境光の色合いの影響を抑えるホワイトバランス補正が行われる。
【００６３】
ガンマ補正部５６は、階調色調補正部５５から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
【００６４】
Ｙ成分生成部５７は、ガンマ補正部５６から出力される画信号から、Ｙ成分の画信号（輝度信号）を生成する。ＵＶ成分生成部５８は、ガンマ補正部５６から出力される画信号から、Ｕ成分およびＶ成分の画信号（色差信号）を生成する。
【００６５】
平均化縮小部５９は、Ｙ成分生成部５７およびＵＶ成分生成部５８からそれぞれ出力される画信号に対して、所定数の画素の信号値を平均化することにより、カラー画像を所定のサイズに縮小する処理を行う。
【００６６】
次に、解像度変換部５４で行われる解像度変換について説明する。図５は、解像度変換の要領を示す説明図である。図６は、解像度変換前後のヒストグラムを示す説明図である。
【００６７】
カラーカメラ１１の撮影素子では、図５（Ａ）に示すように、Ｒ，Ｂ，Ｇの各色の画素がベイヤーパターンで配列されている。
【００６８】
解像度変換部５４では、図５（Ｂ）に示すように、同一の色の画素を対象にして、近接する所定数の画素の信号値を加算して、その合計値を、図５（Ｃ）に示すように、１つの画素の信号値とする。
【００６９】
図５に示す例では、４×４の合計１６個の画素の信号値を加算している。これにより、撮影感度が１６倍になる。また、解像度が１／１６に低下して、データ量が１／１６に削減される。
【００７０】
なお、図５では、Ｒについて示すが、Ｂ，Ｇについても同様である。
【００７１】
このような解像度変換を行うことにより、図６（Ａ）に示すように、解像度変換前では、信号値が暗い範囲に偏っているのに対して、図６（Ｂ）に示すように、解像度変換後では、信号値が広い範囲に広がった状態になる。
【００７２】
このように本実施形態では、複数の画素の信号値を加算することでカラー画像の画素数を削減する解像度変換が行われる。これにより、街灯や建物の照明などにより、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。特に動体の判別が容易になり、例えば人物の場合には服の色が明瞭に現れ、車両の場合には車体の色を明瞭に現れ、動体の誤認を避けることができる。
【００７３】
ところで、カメラ装置１で生成したカラー画像を、ネットワークを介してサーバ装置２に送信するため、通信負荷を軽減する目的でカラー画像のデータ量を削減することが望まれる。
【００７４】
ここで、ＪＰＥＧなどの圧縮処理を行うことが考えられるが、夜間のように環境光が十分にない状態で撮影されたカラー画像に対して圧縮処理を行うと、昼間のように環境光が十分にある状態で撮影されたカラー画像で生じなかった圧縮ノイズが顕著に表れ、画質が大幅に低下する。
【００７５】
一方、本実施形態では、解像度変換を行うことで、カラー画像の画素数が減少するため、カラー画像のデータ量を削減することができる。また、解像度変換を行ったカラー画像に対してさらに圧縮処理を行うようにしてもよく、この場合、解像度変換を行わないまま圧縮処理を行った場合に比較して、圧縮ノイズを大幅に低減することができる。
【００７６】
次に、信号処理制御部５３で行われる処理について説明する。図７は、信号処理制御部５３で設定される処理モードを示す説明図である。図８は、信号処理制御部５３で行われる処理の手順を示すフロー図である。
【００７７】
信号処理制御部５３では、信号レベル検出部５２で取得した信号レベルを複数のしきい値と比較して、その比較結果に基づいて、解像度変換部５４で行われる解像度変換の度合を段階的に変更する。
【００７８】
図７に示す例では、信号レベルに基づいて、３つの処理モードに場合分けして、解像度変換の度合として、３つのレベル（最小、中間、最大）が設定される。これにより、各画素の信号値が飽和しないように、適切な解像度変換を行うことができる。
【００７９】
第１の処理モードは、昼間の明るい状態である場合に実施されるものである。この第１の処理モードでは、解像度変換のレベルは最小となり、解像度変換の縮小率を１、すなわち、解像度変換を行わない。
【００８０】
第２の処理モードは、日の入りまたは日の出の時間帯で薄暗い状態である場合に実施されるものである。この第２の処理モードでは、解像度変換のレベルは中間となり、解像度変換の縮小率を１／４とする。すなわち、２×２の合計４個の画素の信号値を加算することで、解像度を１／４とする解像度変換を行う。
【００８１】
第３の処理モードは、夜間の暗い状態である場合に実施されるものである。この第３の処理モードでは、解像度変換のレベルは最大となり、解像度変換の縮小率を１／１６とする。すなわち、４×４の合計１６個の画素の信号値を加算することで、解像度を１／１６とする解像度変換を行う。
【００８２】
また、信号処理制御部５３では、解像度変換部５４で行われる解像度変換の度合に関係なく最終的に同一サイズのカラー画像が得られるように、解像度変換の度合に応じて、平均化縮小部５９で行われる平均化縮小の度合を設定する。
【００８３】
すなわち、第１の処理モードで解像度変換の縮小率が１の場合には、平均化縮小のレベルは最大となり、平均化縮小の縮小率を１／１６とする。また、第２の処理モードで解像度変換の縮小率が１／４の場合には、平均化縮小のレベルは中間となり、平均化縮小の縮小率を１／４とする。また、第３の処理モードで解像度変換の縮小率が１／１６の場合には、平均化縮小のレベルは最小となり、平均化縮小の縮小率を１とする。すなわち、平均化縮小を行わない。これにより、全ての処理モードで同様に１／１６に縮小されたカラー画像が得られる。
【００８４】
具体的には、図８に示すように、信号レベル検出部５２で取得した信号レベルＬを２つのしきい値ａ，ｂ（ａ＜ｂ）と比較して、信号レベルＬがしきい値ａ未満であるか否かの判定（ＳＴ１０１）と、信号レベルＬがしきい値ｂ未満であるか否かの判定（ＳＴ１０２）と、を行う。これにより、３つの処理モードに場合分けして、解像度変換および平均化縮小のレベルが決定される。
【００８５】
すなわち、信号レベルＬがしきい値ｂ以上である場合（ＳＴ１０２でＮｏ）、すなわち、昼間の明るい状態である場合には、第１の処理モードとなり、解像度変換のレベルを最小に設定し（ＳＴ１０３）、平均化縮小のレベルを最大に設定する（ＳＴ１０４）。
【００８６】
また、信号レベルＬがしきい値ａ以上で且つしきい値ｂ未満である場合（ＳＴ１０２でＹｅｓ）、すなわち、日の入りまたは日の出の時間帯で薄暗い状態である場合には、第２の処理モードとなり、解像度変換のレベルを中間に設定し（ＳＴ１０５）、平均化縮小のレベルを中間に設定する（ＳＴ１０６）。
【００８７】
また、信号レベルＬがしきい値ａ未満である場合（ＳＴ１０１でＹｅｓ）、すなわち、夜間の暗い状態である場合には、第３の処理モードとなり、解像度変換のレベルを最大に設定し（ＳＴ１０７）、平均化縮小のレベルを最小に設定する（ＳＴ１０８）。
【００８８】
なお、図７および図８に示す例では、信号レベルに応じて３通り（第１〜第３の処理モード）に場合分けするようにしたが、２通り、または４通り以上に場合分けするようにしてもよい。また、解像度変換の縮小率を１，１／４、１／１６としたが、８×８の合計６４個の画素の信号値を加算することで、解像度を１／１６とする解像度変換を行うなど、種々の縮小率の解像度変換が可能である。
【００８９】
次に、階調色調補正部５５で行われるホワイトバランス補正について説明する。図９は、ホワイトバランス補正の手順を示すフロー図である。
【００９０】
階調色調補正部５５では、解像度変換部５４から出力されるカラー画像の画信号に対してホワイトバランス補正が行われる。ホワイトバランス補正では、最も明るい（輝度が高い）領域を白色とみなして、色調を補正する。このため、夜間でライト、例えば街灯や車両のヘッドライトが写る画像では、ライトの領域が最も明るくなるため、この領域を白色とみなして色調を補正する。このとき、ライトの光が白色でない場合、画像の色が全体的にずれる色かぶりが発生する。
【００９１】
そこで、本実施形態では、ライトの領域を除外してホワイトバランス補正を行う。
【００９２】
具体的には、まず、信号レベル検出部５２で取得した信号レベルが所定のしきい値未満であるか否かを判定する（ＳＴ２０１）。このしきい値は、夜間と昼間とを識別するものとなる。
【００９３】
ここで、信号レベルがしきい値未満である場合（ＳＴ２０１でＹｅｓ）、すなわち、夜間である場合には、カラー画像内のライトの領域を検出して、そのライトの領域に含まれる画素を集計対象から除外する（ＳＴ２０２）。
【００９４】
次に、集計対象となる各画素の信号値をＲＧＢの色ごとに合計して、各色の合計値（RSUM、GSUM、BSUM）を算出する（ＳＴ２０３）。そして、各色の合計値に基づく各色のゲインを、各色の入力値（Rin、Gin、Bin）に乗算して、各色の出力値（Rout、Gout、Bout）を算出する（ＳＴ２０４）。このとき、Ｇを基準にした補正が行われる。
【００９５】
一方、信号レベルがしきい値以上である場合（ＳＴ２０１でＮｏ）、すなわち、昼間である場合には、カラー画像内の全ての画素を集計対象として、各色の合計値を算出し（ＳＴ２０３）、各色の出力値を算出する（ＳＴ２０４）。
【００９６】
次に、階調色調補正部５５で行われる階調補正について説明する。図１０は、階調色調補正部５５で行われる階調補正の状況を示す説明図である。
【００９７】
階調色調補正部５５では、解像度変換部５４から出力されるカラー画像の画信号に対してゲインを付加して、カラー画像を明るくする階調補正（ゲイン調整）が行われる。
【００９８】
図１０に示す例は、街灯のライトが写る夜間のカラー画像であり、図１０（Ａ）に示すように、元画像は全体的に暗く被写体が見えにくい。
【００９９】
ここで、元画像の画信号に対して均一に大きなゲインを与えると、図１０（Ｂ）に示すように、画像全体が明るくなり、ライトから離れた領域では被写体が見えやすくなるが、ハレーションが顕著になるため、ライトの近くの領域では被写体が逆に見えにくくなる。
【０１００】
一方、元画像の画信号に対して均一に小さなゲインを与えると、図１０（Ｃ）に示すように、ハレーションは低減するが、画像全体がわずかに明るくなるだけで、被写体が見えにくい状態はあまり改善されない。
【０１０１】
そこで、本実施形態では、領域に応じて最適化された階調補正を行う。すなわち、ライトから離れた暗い領域には大きなゲインを与え、ライトの近くの明るい領域では小さいゲインを与える。
【０１０２】
これにより、図１０（Ｄ）に示すように、ライトから離れた領域では被写体が見えやすくなり、また、ハレーションが低減するため、ライトの近くの領域でも被写体が見えやすくなる。このように、領域に応じて異なるゲインを与えることで、ハレーションの影響を受けない最適な画像を取得することができる。
【０１０３】
次に、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理について説明する。図１１は、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理に係る要部のブロック図である。図１２は、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理の概要を示す説明図である。
【０１０４】
図１１に示すように、位置合わせ情報生成部２３は、モノクロ信号処理部３２から出力されるモノクロ画像と、カラー信号処理部３３から出力されるカラー画像とに基づいて、位置合わせ部２４で行われる幾何学的変換（位置合わせ）に用いられる変換行列（位置合わせ情報）を生成する（図１２参照）。本実施形態では、モノクロ画像とカラー画像との間で画像マッチングを行って、モノクロ画像およびカラー画像同士で対応する複数の特徴点を取得し、この特徴点を用いて変換行列を推定する。
【０１０５】
この位置合わせ情報生成部２３の処理は、運用前のキャリブレーションとして実施され、昼間のように環境光が十分にある状態で、カラーカメラ１１およびモノクロカメラ１２により同時に撮影されたカラー画像およびモノクロ画像を用いて行われる。
【０１０６】
ここで、カラーカメラ１１およびモノクロカメラ１２を別体の単眼カメラとすると、設置条件に応じて、カラーカメラ１１とモノクロカメラ１２との相対的な位置関係が変化する。また、カラーカメラ１１およびモノクロカメラ１２を同一の筐体に収容するなどして、カラーカメラ１１およびモノクロカメラ１２の位置関係が変化しないように構成しても、設置される場所ごとに撮影条件、例えば、カラーカメラ１１およびモノクロカメラ１２から動体が出現する位置までの撮影距離などが異なる。このため、運用前のキャリブレーションとして、カメラ装置１ごとに変換行列（位置合わせ情報）を取得する。
【０１０７】
また、夜間のように環境光が十分にない状態で撮影されたカラー画像は、暗くて不鮮明で且つノイズが多く、このようなカラー画像では、モノクロ画像との間での画像マッチングを適切に行うことができない。このため、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像を用いて、変換行列を取得する。
【０１０８】
なお、可視光で撮影されたカラー画像と、近赤外光で撮影されたモノクロ画像とでは、輝度勾配が異なる場合があるため、位相相関法などの輝度勾配に対してロバストな手法を用いて画像マッチングを行う。
【０１０９】
この位置合わせ情報生成部２３で生成した変換行列は、キャリブレーションデータとして記憶部１６に記憶される。
【０１１０】
位置合わせ部２４は、運用時に、位置合わせ情報生成部２３で取得した変換行列（位置合わせ情報）を用いて、カラー信号処理部３３から出力されるカラー画像に対して幾何学的変換、例えば射影変換を実施する（図１２参照）。これにより、カラー画像に現れる被写体の像の位置を、モノクロ画像と一致させることができる。
【０１１１】
画像合成部２５は、位置合わせ部２４から出力される位置合わせ済みのカラー画像と、モノクロ信号処理部３２から出力されるモノクロ画像を合成して合成画像を生成する（図１２参照）。この画像合成では、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けを行う色変換が行われる。なお、この画像合成には、公知の画像合成技術を用いればよい。
【０１１２】
次に、キャリブレーションについて説明する。図１３は、キャリブレーションの処理手順を示すフロー図である。図１４は、画像マッチングの状況を示す説明図である。
【０１１３】
なお、このキャリブレーションは、カメラ装置１の設置時に初期設定として行われる。また、振動や強風などの影響で、カラーカメラ１１とモノクロカメラ１２との相対的な位置関係が変化するため、運用中に定期的に行うようにしてもよい。
【０１１４】
図１３に示すように、キャリブレーションでは、位置合わせ情報生成部２３において、まず、昼間に撮影されたカラー画像およびモノクロ画像を取得する（ＳＴ３０１）。
【０１１５】
次に、カラー画像とモノクロ画像との間で画像マッチングを行う（ＳＴ３０２）。この画像マッチングでは、モノクロ画像およびカラー画像同士で対応する複数の特徴点を取得する（図１４参照）。
【０１１６】
次に、取得した特徴点を用いて、幾何学的変換で用いられる変換行列を推定する（ＳＴ３０３）。具体的には、次式のような変換行列Ｈを求める。なお、ここでは、幾何学的変換として射影変換を行うようにしている。
【数１】
2018142895.tif 000003
Ｓ：スケール（拡大、縮小）、θ：回転、Ｔｘ，Ｔｙ：平行移動量
【０１１７】
次に、取得した変換行列を用いて、カラー画像に対して幾何学的変換を行う（ＳＴ３０４）。このとき、次式のように、カラー画像の座標（ｘ，ｙ）が座標（ｘ'，ｙ'）に変換される。
【数２】
2018142895.tif 000004
なお、この式は、運用時の幾何学的変換でも同様に用いられる。
【０１１８】
次に、幾何学的変換が行われたカラー画像とモノクロ画像とを比較して、被写体の位置が一致しているか否かを判定する（ＳＴ３０５）。ここで、被写体の位置が一致している場合には（ＳＴ３０５でＹｅｓ）、取得した変換行列を記憶部１６に記憶する。一方、被写体の位置が一致していない場合には（ＳＴ３０５でＮｏ）、別のカラー画像およびモノクロ画像を取得して、前記の処理を繰り返す。
【０１１９】
なお、被写体の位置の判定結果に応じて、ユーザの操作入力により、幾何学的変換のパラメータを微調整することができるようにしてもよい。
【０１２０】
次に、運用時の処理について説明する。図１５は、運用時の処理手順を示すフロー図である。
【０１２１】
運用時には、まず、位置合わせ部２４において、夜間に撮影されたカラー画像およびモノクロ画像を取得する（ＳＴ４０１）。次に、キャリブレーションで取得した変換行列を用いて、カラー画像に対して幾何学的変換を実施する（ＳＴ４０２）。次に、画像合成部２５において、幾何学的変換が実施されたカラー画像とモノクロ画像とを合成する（ＳＴ４０３）。
【０１２２】
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１６は、形状が異なる動体の撮影状況を示す説明図である。
【０１２３】
動体の形状が異なると、カラーカメラ１１およびモノクロカメラから動体の面までの距離が変化する。例えば、図１６（Ａ）に示すように、動体がボンネットのある乗用車である場合と、図１６（Ｂ）に示すように、動体がボンネットのないワンボックスカーである場合とでは、動体が同一の位置にある状態でも、カラーカメラ１１およびモノクロカメラ１２から動体の面までの距離Ｌが異なる。
【０１２４】
このように動体の形状に応じて、カラーカメラ１１およびモノクロカメラから動体の面までの距離Ｌが変化すると、カラーカメラ１１およびモノクロカメラ１２間の視差の影響による動体の像のずれ方が変化する。
【０１２５】
そこで、本実施形態では、キャリブレーションにおいて、形状が異なる動体の種類ごとに複数の変換行列（位置合わせ情報）を作成しておき、運用時に、動体の種類を判別して、動体の種類に対応する変換行列を用いて、幾何学的変換を実施する。ここで、動体の種類の判別は、高精細なモノクロ画像を用いて行うとよい。
【０１２６】
また、動体の種類ごとの変換行列を取得するには、監視エリア、または監視エリアと同一の撮影条件となる適宜な場所に、実際に動体を配置して、その動体をカラーカメラ１１およびモノクロカメラで撮影し、得られたカラー画像およびモノクロ画像に基づいて、変換行列を取得すればよい。また、動体の代わりにマーカーを配置するようにしてもよい。
【０１２７】
次に、第２実施形態における運用時の処理手順について説明する。図１７は、運用時の処理手順を示すフロー図である。
【０１２８】
運用時には、まず、位置合わせ部２４において、夜間に撮影されたカラー画像およびモノクロ画像を取得する（ＳＴ５０１）。そして、モノクロ画像から動体を検出する（ＳＴ５０２）。
【０１２９】
次に、検出された動体の種類を判別して、動体の種類に応じた変換行列を選択する。図１７に示す例では、動体の種類Ａ〜Ｆに該当するか否かの判定を順次行い（ＳＴ５０３〜ＳＴ５０８）、動体の種類Ａ〜Ｆに応じた変換行列を選択する（ＳＴ５０９〜ＳＴ５１４）。いずれにも該当しない場合には、汎用の変換行列を選択する（ＳＴ５１５）。
【０１３０】
次に、選択された変換行列を用いて、カラー画像に対して幾何学的変換を実施する（ＳＴ５１６）。次に、画像合成部２５において、幾何学的変換が実施されたカラー画像とモノクロ画像とを合成する（ＳＴ５１７）。
【０１３１】
（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１８は、第３実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図である。
【０１３２】
前記の実施形態では、キャリブレーションにおいて、カラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせ（幾何学的変換）に用いられる位置合わせ情報（変換行列）を生成する処理を、カメラ装置１で行うようにしたが、本実施形態では、位置合わせ情報を生成する処理をサーバ装置２で行うようにしている。
【０１３３】
サーバ装置２は、通信部６１と、制御部６２と、記憶部６３と、を備えている。
【０１３４】
通信部６１は、ネットワークを介してカメラ装置１との間で通信を行う。本実施形態では、キャリブレーションの際に、位置合わせ情報の生成に用いられるカラー画像およびモノクロ画像に関する画像送信要求をカメラ装置１に送信し、画像送信要求に応じてカメラ装置１から送信されるカラー画像およびモノクロ画像を受信する。また、制御部６２で生成した位置合わせ情報をカメラ装置１に送信する。また、運用時に、カメラ装置１から定期的に送信される合成画像を受信する。
【０１３５】
記憶部６３は、通信部６１で受信したカラー画像およびモノクロ画像や、制御部６２で生成した位置合わせ情報などを記憶する。また、記憶部６３は、制御部６２で実行されるプログラムを記憶する。
【０１３６】
制御部６２は、画像送信要求部７１と、位置合わせ情報生成部７２と、を備えている。この制御部６２は、プロセッサで構成され、制御部６２の各部は、記憶部６３に記憶されたプログラムを実行することで実現される。
【０１３７】
画像送信要求部７１は、カメラ装置１に対して、昼間のように環境光が十分にある状態でカラー画像およびモノクロ画像を同時に撮影して、そのカラー画像およびモノクロ画像を送信するように指示する画像送信要求を通信部６１から送信させる。
【０１３８】
位置合わせ情報生成部７２は、画像送信要求に応じてカメラ装置１から送信されるカラー画像およびモノクロ画像を通信部６１で受信すると、そのカラー画像およびモノクロ画像に基づいて、カメラ装置１の位置合わせ部２４で行われる位置合わせ（幾何学的変換）に用いられる位置合わせ情報（変換行列）を生成する。この位置合わせ情報生成部７２で生成した位置合わせ情報は通信部６１からカメラ装置１に送信される。
【０１３９】
カメラ装置１は、サーバ装置２から送信される画像送信要求を受信すると、カラー画像およびモノクロ画像を撮影してサーバ装置２に送信する。また、カメラ装置１は、サーバ装置２から送信される位置合わせ情報を受信すると、受信した位置合わせ情報にしたがって記憶部１６の更新処理を行う。
【０１４０】
これにより、カメラ装置１で用いられる位置合わせ情報の初期設定および更新を、ユーザが遠隔操作で行うことができる。
【０１４１】
なお、本実施形態では、カメラ装置１から送信される画像を蓄積するサーバ装置２で位置合わせ情報を生成するようにしたが、画像を蓄積する装置と、位置合わせ情報を生成する装置と、を別に設けるようにしてもよい。
【０１４２】
（第４実施形態）
次に、第４実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１９は、第４実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図である。
【０１４３】
前記の実施形態では、カラー画像とモノクロ画像との間での位置合わせや、カラー画像とモノクロ画像との画像合成を、カメラ装置１で行うようにしたが、本実施形態では、位置合わせや画像合成をサーバ装置２で行うようにしてもよい。
【０１４４】
すなわち、サーバ装置２の制御部６２は、位置合わせ部７３と、画像合成部７４と、を備えている。位置合わせ部７３は、位置合わせ情報生成部７２で取得した変換行列（位置合わせ情報）を用いて、カメラ装置１から送信されるカラー画像に対して幾何学的変換を実施する。画像合成部７４は、位置合わせ部７３から出力される位置合わせ済みのカラー画像と、カメラ装置１から送信されるモノクロ画像を合成して合成画像を生成する。この位置合わせ部７３および画像合成部７４で行われる処理は、前記の実施形態におけるカメラ装置１の位置合わせ部２４および画像合成部２５と同様である。
【０１４５】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【０１４６】
例えば、前記の実施形態では、監視対象となる動体を主に人物とした例について説明したが、監視対象となる動体は人物に限定されるものではなく、動物や車両などでもよい。
【０１４７】
また、前記の実施形態では、環境光の明るさを表す信号レベルに基づいて制御を行うようにしたが、季節や時刻に応じた日照時間の変化により、環境光の明るさが規則的に変化するため、時間情報に基づいて制御することも可能である。ただし、環境光の明るさは天気に応じて変化するため、信号レベルに基づいた制御の方が、精度の高い制御を行うことができる。
【０１４８】
また、前記の実施形態では、解像度変換などの種々の画像処理（信号処理）をカメラ装置で行うようにしたが、これらの画像処理の全部あるいは一部をサーバ装置で行うようにしてもよい。もっとも、解像度変換や平均化縮小の処理は、画像のデータ量を削減して通信負荷を軽減するものであるため、カメラ装置で行うことが望ましい。
【産業上の利用可能性】
【０１４９】
本発明に係る動体監視装置、サーバ装置、および動体監視システムは、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる効果を有し、監視対象となる動体が出現する監視エリアを撮影した画像を出力する動体監視装置、動体監視装置において監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置、および監視エリアを撮影した画像を動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムなどとして有用である。
【符号の説明】
【０１５０】
１  カメラ装置（動体監視装置）
２  サーバ装置（画像蓄積装置）
１１  カラーカメラ
１２  モノクロカメラ
１４  通信部
１５  制御部
１６  記憶部
２１  信号処理部
２３  位置合わせ情報生成部
２４  位置合わせ部
２５  画像合成部
６１  通信部
６３  記憶部
７２  位置合わせ情報生成部
７３  位置合わせ部
７４  画像合成部
【図１】
2018142895.tif 000005
【図２】
2018142895.tif 000006
【図３】
2018142895.tif 000007
【図４】
2018142895.tif 000008
【図５】
2018142895.tif 000009
【図６】
2018142895.tif 000010
【図７】
2018142895.tif 000011
【図８】
2018142895.tif 000012
【図９】
2018142895.tif 000013
【図１０】
2018142895.tif 000014
【図１１】
2018142895.tif 000015
【図１２】
2018142895.tif 000016
【図１３】
2018142895.tif 000017
【図１４】
2018142895.tif 000018
【図１５】
2018142895.tif 000019
【図１６】
2018142895.tif 000020
【図１７】
2018142895.tif 000021
【図１８】
2018142895.tif 000022
【図１９】
2018142895.tif 000023