(57)【要約】【課題】  本発明は、ＷＤＲ処理中のフィルタ制御について、フィルタ制御による露出変化を補正してＷＤＲ処理を行うことにより、合成映像に発生する白とびや黒つぶれを軽減することを目的とする。【解決手段】  撮像手段によって露出を変えながら撮像された複数のフレームを生成するフレーム生成手段と、撮像手段が撮像する複数のフレームのうち少なくとも一つを光学的に補正するフィルタを制御するフィルタ制御手段と、フィルタ制御手段によって変化する露出変化を第一の露出変化量として取得する第一の露出変化取得手段と、露出の変化によって変化する露出変化を第二の露出変化量として取得する第二の露出変化取得手段と、第一の露出変化量と第二の露出変化量に基づいてフレームの輝度を補正するフレーム輝度補正手段と、輝度補正されたフレームを含む前記複数のフレームを合成するフレーム合成手段を備えることを特徴とする。【選択図】  図４
2020108000.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって露出を変えながら撮像された複数のフレームを生成するフレーム生成手段と、
前記撮像手段が撮像する複数のフレームのうち少なくとも一つを光学的に補正するフィルタを制御するフィルタ制御手段と、
前記フィルタ制御手段によって変化する露出変化を第一の露出変化量として取得する第一の露出変化取得手段と、
前記露出の変化によって変化する露出変化を第二の露出変化量として取得する第二の露出変化取得手段と、
前記第一の露出変化量と前記第二の露出変化量に基づいてフレームの輝度を補正するフレーム輝度補正手段と、
前記輝度補正されたフレームを含む前記複数のフレームを合成するフレーム合成手段を備えることを特徴とする映像処理装置。
【請求項２】
前記フィルタに応じた露出変化量を記憶する変化量記憶手段をさらに備え、
前記変化量記憶手段に記憶されている露出変化量を前記第一の露出変化量とすることを特徴とする請求項１記載の映像処理装置。
【請求項３】
前記変化量記憶手段はフィルタの識別情報と当該識別情報によって識別される露出変化量を記憶することを特徴とする請求項２記載の映像処理装置。
【請求項４】
撮像手段によって露出を変えながら撮像された複数のフレームを生成するフレーム生成工程と、
前記撮像手段が撮像する複数のフレームのうち少なくとも一つを光学的に補正するフィルタを制御するフィルタ制御工程と、
前記フィルタ制御工程によって変化する露出変化を第一の露出変化量として取得する第一の露出変化取得工程と、
前記露出の変化によって変化する露出変化を第二の露出変化量として取得する第二の露出変化取得工程と、
前記第一の露出変化量と前記第二の露出変化量に基づいてフレームの輝度を補正するフレーム輝度補正工程と、
前記輝度補正されたフレームを含む前記複数のフレームを合成するフレーム合成工程を備える映像処理方法。
【請求項５】
前記フィルタに応じた露出変化量を記憶する変化量記憶手段から露出変化量を読み出す変化量読出し工程をさらに備え、
前記露出変化量を前記第一の露出変化量とすることを特徴とする請求項４記載の映像処理方法。
【請求項６】
フィルタの識別情報と当該識別情報によって識別される露出変化量を前記変化量記憶手段から読み出すことを特徴とする請求項５記載の映像処理方法。
【請求項７】
コンピュータを、請求項１から３のいずれか１項に記載の各手段として機能させるコンピュータプログラム。
【請求項８】
請求項７に記載のプログラムを記憶する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を用いて撮影された映像を合成し処理を行う装置に関するものである。
【背景技術】
【０００２】
従来、ネットワークを介して、遠隔操作によりカメラを制御し、映像を監視するネットワークカメラシステムが知られている。カメラのフォーカス、ズーム、露出、解像度、ホワイトバランス、撮影時のフレームレートなどを制御することが可能なネットワークカメラシステムがある。
【０００３】
このようなネットワークカメラシステムでは、明暗の差が大きい被写体を、白とびや黒つぶれを発生させることなく、撮像する技術が知られている。
【０００４】
例えば、複数の映像を合成することにより、合成映像をワイドダイナミックレンジ（ＷＤＲ）化するＷＤＲ処理が知られている。
【０００５】
ＷＤＲ処理では、相対的に短い露光時間の間に蓄積された電荷に基づく映像（短秒露光映像）と、相対的に長い露光時間の間に蓄積された電荷に基づく映像（長秒露光映像）とを取得する。これらの映像が適切に合成されることによって白とびや黒つぶれの少ない映像が得られる。
【０００６】
特許文献１には、この短秒露光画像と長秒露光画像を合成した映像に長秒露光画像を混合させる混合比率を変化させることによって、照明環境の変化に応じてＷＤＲ処理のオンおよびオフをゆるやかに切り替える発明が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１６−５８８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ＷＤＲ処理を行う複数のフレームを取得している最中に、ＩＲカットフィルタの挿抜や偏光フィルタの回転や挿抜といった光学フィルタの影響によって画面全体の露出が大きく変化するおそれがある。
【０００９】
画面全体の露出が大きく変化するような状況でＷＤＲ処理を実施すると、ＷＤＲ処理に用いたフレームが露出の変化以上に映像の明るさが変化して、白とびや黒つぶれが発生する可能性があり、画質の劣化につながる恐れがある。そこで本発明は、ＷＤＲ処理中のフィルタ制御について合成映像に発生する白とびや黒つぶれを軽減することを目的とする。
【課題を解決するための手段】
【００１０】
撮像手段によって露出を変えながら撮像された複数のフレームを生成するフレーム生成手段と、撮像手段が撮像する複数のフレームのうち少なくとも一つを光学的に補正するフィルタを制御するフィルタ制御手段と、フィルタ制御手段によって変化する輝度変化を第一の輝度変化量として取得する第一の輝度変化取得手段と、露出の変化によって変化する輝度変化を第二の輝度変化量として取得する第二の輝度変化取得手段と、第一の輝度変化量と第二の輝度変化量に基づいてフレームの輝度を補正するフレーム輝度補正手段と、輝度補正されたフレームを含む前記複数のフレームを合成するフレーム合成手段を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ＷＤＲ処理中のフィルタ制御について、合成映像に発生する白とびや黒つぶれを軽減することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るシステムの構成例
【図２】本発明の実施形態のハードウエア構成例
【図３】本発明の実施形態に係る、ネットワークカメラとクライアント装置のシステム構成図
【図４】本発明の実施形態に係る、ＷＤＲ処理を行うフローチャートを示す図
【図５】本発明の実施形態に係る、フィルタ制御による露出の変化量の情報を示す図
【図６】本発明の実施形態に係る、映像の補正量を示す図
【図７】本発明の第１の実施形態に係る、ＷＤＲ処理に使用するフレームに対して、露出補正処理を行うフローチャートを示す図
【図８】本発明の実施形態に係るフィルタ制御のフローチャートを示す図
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１に示すように、本実施形態に係るシステムは、ネットワーク１２００を介して接続されたネットワークカメラ１０００、クライアント装置１１００を有する。
【００１４】
ネットワークカメラ１０００はネットワークに接続され監視カメラや見守りカメラなど様々の用途で利用されるカメラである。
【００１５】
ネットワークカメラ１０００はパン・チルト・ズームを行う機能を備え、クライアント装置１１００を介して設定された姿勢や画角などの撮像パラメータに従って撮像する。
【００１６】
ネットワークカメラ１０００によって撮像された映像は、ネットワーク１２００を介してクライアント装置１１００に対して送信される。
【００１７】
ネットワーク１２００は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。
【００１８】
本実施形態では、ネットワーク１２００は、ネットワークカメラ１０００とクライアント装置１１００との間の通信を行うことができるものであればよく、その通信規格、規模、構成を問わない。
【００１９】
ネットワーク１２００は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等により構成されてもよい。
【００２０】
クライアント装置１１００は、パーソナルコンピュータ、サーバ装置、タブレット装置等の映像処理装置として機能する装置である。クライアント装置１１００は、ネットワークカメラ１０００からネットワーク１２００を介して映像情報を受信する。クライアント装置１１００には入力装置１３０１と表示装置１３０２とが接続されている。
【００２１】
入力装置１３０１は、キーボードやマウス、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をクライアント装置１１００に対して入力することができる。
【００２２】
表示装置１３０２は、液晶画面などにより構成されており、クライアント装置１１００による処理結果を映像や文字などでもって表示することができる。
【００２３】
入力装置１３０１と表示装置１３０２はクライアント装置１１００と一体に構成してもよい。
【００２４】
次に、ネットワークカメラ１０００とクライアント装置１１００のハードウエア構成について、図２を用いて説明する。図２に示した構成は、適用可能な構成の一例に過ぎず、適宜変形や変更が可能である。
【００２５】
まずネットワークカメラ１０００の構成を、図２（ａ）を用いて説明する。
【００２６】
ＣＰＵ１４０１は、主記憶装置１４０２に格納されているコンピュータプログラムとデータを用いて処理を実行する。これによりＣＰＵ１４０１は、ネットワークカメラ１０００全体の動作制御を行うと共に、後述する機能を実現する。
【００２７】
主記憶装置１４０２は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。主記憶装置１４０２は、補助記憶装置１４０３からロードされたコンピュータプログラムやデータ、撮像センサ１４０５による撮像映像、ネットワークＩ／Ｆ１４０６を介してクライアント装置１１００から受信した各種のデータを格納するためのエリアを有する。さらに主記憶装置１４０２はＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶装置１４０２は、各種のエリアを適宜提供することができる。
【００２８】
補助記憶装置１４０３は、ハードディスクドライブ（ＨＤＤ）、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）等の大容量情報記憶装置である。
【００２９】
補助記憶装置１４０３には、ＯＳ（オペレーティングシステム）や、ネットワークカメラ１０００が行うものとして後述する各処理をＣＰＵ１４０１に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。
【００３０】
また補助記憶装置１４０３には、ネットワークＩ／Ｆ１４０６を介してクライアント装置１１００から受信したデータも保存される。補助記憶装置１４０３に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜主記憶装置１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。
【００３１】
撮像センサ１４０５は、図示していない撮像素子と撮像光学系とを有し、撮像光学系の光軸と撮像素子の受光面との交点を撮像中心として被写体を撮像する。撮像素子には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等が利用できる。
【００３２】
ネットワークＩ／Ｆ１４０６は、ネットワークカメラ１０００がネットワーク１２００を介してクライアント装置１１００との間のデータ通信を行うために利用するインターフェースである。
【００３３】
次に、クライアント装置１１００のハードウエア構成例について、図２（ｂ）のブロック図を用いて説明する。
【００３４】
ＣＰＵ１５０１は、主記憶装置１５０２に格納されているコンピュータプログラムやデータを用いて処理を実行する。これにより、クライアント装置１１００全体の動作制御を行うと共に、クライアント装置１１００が行うものとして後述する各処理を実行若しくは制御する処理装置である。ＣＰＵ１５０１は、主記憶装置１５０２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、後述する機能を実現する。
【００３５】
主記憶装置１５０２は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。主記憶装置１５０２は、補助記憶装置１５０３からロードされたコンピュータプログラムやデータ、ネットワークＩ／Ｆ１５０６を介してネットワークカメラ１０００から受信した各種のデータや撮像映像を格納するためのエリアを有する。さらに主記憶装置１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶装置１５０２は、各種のエリアを適宜提供することができる。
【００３６】
補助記憶装置１５０３は、ハードディスクドライブ（ＨＤＤ）、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）等の大容量情報記憶装置である。補助記憶装置１５０３には、ＯＳ（オペレーティングシステム）や、クライアント装置１１００が行うものとして後述する各処理をＣＰＵ１５０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。
【００３７】
また補助記憶装置１５０３には、ネットワークＩ／Ｆ１５０６を介してネットワークカメラ１０００から受信した各種のデータや映像も保存される。補助記憶装置１５０３に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜主記憶装置１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。
【００３８】
ネットワークＩ／Ｆ１５０６は、クライアント装置１１００がネットワーク１２００を介してネットワークカメラ１０００との間のデータ通信を行うために利用するインターフェースである。
【００３９】
図３は、本実施形態に係るネットワークカメラとクライアント装置のシステム構成図である。
【００４０】
図３を参照して、ネットワークカメラ１０００の各部構成と機能について説明する。
【００４１】
撮像部１００１は、ハードウエアとしては、フォーカスレンズやズームレンズなどの光学レンズ及び撮像素子、およびＩＲカットフィルタや偏光フィルタなどの光学的に映像を補正する光学フィルタ等の光学部品から構成される。そして、撮像部１００１は被写体について撮像した映像を電気信号へ光電変換する。撮像素子は図２の撮像センサ１４０５に相当する。
【００４２】
映像処理部１００２は、撮像部１００１において撮像され、光電変換された信号に対して所定の映像処理や圧縮符号化処理を行いフレームを生成する。これをフレーム生成と称する。また、撮像部１００１が撮像した露出の異なる複数の映像データ同士を合成する処理をＷＤＲ（ワイドダイナミックレンジ）処理と称する。
【００４３】
これらのフレームを合成することをフレーム合成と称する。また、フィルタ制御による変化に合わせて、ＷＤＲ処理に使用するフレームの露出補正を行う。
【００４４】
レンズ駆動部１００４は、フォーカスレンズ及びズームレンズ等の光学レンズの動作、そしてＩＲカットフィルタの挿抜動作や偏光フィルタの回転動作や挿抜動作に用いられる駆動系のギヤやベルトなどの機構部品や、その駆動現であるアクチュエータにより構成される。そのアクチュエータの動作は、アクチュエータを駆動する駆動回路を具備するレンズ制御部１００５により制御される。レンズ駆動部１００４は図２の駆動装置１４０４に相当する。
【００４５】
レンズ制御部１００５はシステム制御部１００３から伝達された指示に基づいて、レンズ駆動部１００４のアクチュエータを制御する。レンズ制御部１００５は図２のＣＰＵ１４０１に相当する。
【００４６】
システム制御部１００３は、クライアント装置１１００からネットワーク１２００を介して伝達されたカメラ制御のコマンドを解析し、コマンドに応じた処理を行い制御する。
【００４７】
システム制御部１００３はコマンドに応じてレンズ制御部１００５に対してズームやフォーカスの制御の指示を送る。また、ＩＲカットフィルタの挿抜や偏光フィルタの角度調整や挿抜といった制御の指示をレンズ制御部１００５に送る。また、フィルタの制御に応じて、映像処理部１００２で補正する露出補正量を算出し、映像処理部１００２のＷＤＲ処理を有効にするためのＷＤＲ有効フラグのセット、またはクリアを行う。システム制御部１００３は図２のＣＰＵ１４０１に相当する。
【００４８】
記録部１００６は、ネットワークカメラ１０００のパラメータやネットワークカメラ１０００が撮影した映像を記録し保持する。また、光学フィルタによる露出補正量の変化に関する情報を保持する。また、記録部１００６は、システム制御部１００３によるＷＤＲ有効フラグのセットとクリア結果を保持する。記録部１００６は図２の補助記憶装置１４０３に相当し、ＣＰＵ１４０１がパラメータを補助記憶装置１４０３が呼び出して一時的に保持する際は主記憶装置１４０２に相当する。
【００４９】
通信部１００７は、ネットワーク１２００を介して生成された映像データをクライアント装置１１００に配信する。また通信部１００７は、クライアント装置１１００から送信される制御コマンドを受信し、システム制御部１００３へ伝達する。通信部１００７は図２のネットワークＩ／Ｆ１４０６に相当する。
【００５０】
続いて、図３を参照してクライアント装置１１００の各部構成と機能について説明する。
【００５１】
表示部１１０１は、図１では表示装置１３０２、図２では表示装置１５０８に相当する。入力部１１０２は、図１では入力装置１３０１、図２では入力装置１５０７に相当する。システム制御部１１０３は、ユーザの入力部１１０２の操作に応じてネットワークカメラ１０００に対する制御コマンドの生成を行う。
【００５２】
システム制御部１１０３によって生成された制御コマンドは通信部１１０５を介してネットワークカメラ１０００へ送信される。
【００５３】
また、システム制御部１１０３は、通信部１１０５を介して受信したネットワークカメラ１０００からの映像データをユーザ操作のためのグラフィックユーザインターフェース（以下、ＧＵＩ）とともに表示部１１０１に送信する。
【００５４】
表示制御部１１０４はシステム制御部１１０３の一部であって、クライアント装置１１００の表示部１１０１に表示する映像データの制御を行う。
【００５５】
このようにクライアント装置１１００は、ネットワーク１２００を介して、ユーザの指示に従って、ネットワークカメラ１０００の映像を取得し、各種の制御を行う。
【００５６】
以下、本発明の第一の実施形態を説明する。
【００５７】
以下、図４、図５、図６、図７を参照して、本発明の第一の実施形態における、ＷＤＲ処理に使用するフレームに露出補正を行い、補正後のフレームでＷＤＲ処理を行うフローチャートについて説明する。ここで行われる処理は、図２のネットワークカメラ１０００において、補助記憶装置１４０３から主記憶装置１４０２に展開されたプログラムをＣＰＵ１４０１が実行する処理である。
【００５８】
図４を参照して、ＷＤＲ処理中のフィルタ制御について、フィルタ制御による露出変化を補正してＷＤＲ処理を行うことにより、合成映像に発生する白とびや黒つぶれを軽減するための処理について説明する。
【００５９】
ステップＳ２００１で、記録部１００６のＷＤＲ有効フラグがセットされているかどうかを判定することで、ＷＤＲ処理が有効かどうかを確認する。ＷＤＲ有効フラグがセットされている、すなわち有効である場合、Ｓ２００２に進む。ＷＤＲ有効フラグがクリアされている、すなわち無効である場合、処理を終了する。
【００６０】
ステップＳ２００２で、システム制御部１００３はフィルタの制御処理を行い、Ｓ２００３に進む。
【００６１】
ここでフィルタの制御処理について図８を用いて説明する。図８は、図４に記載のＳ２００４のフィルタ制御処理に関するフローチャートである。この処理も図２のネットワークカメラ１０００において、補助記憶装置１４０３から主記憶装置１４０２に展開されたプログラムをＣＰＵ１４０１が実行する処理である。
【００６２】
ステップＳ３００１で、システム制御部１００３はフィルタの制御についてリクエストされたかどうかを確認する。リクエストがあった場合はＳ３００２に進む。リクエストがなかった場合は処理を終了する。
【００６３】
ステップＳ３００２で、システム制御部１００３はフィルタの制御処理を実行し、フレームの合成を実行して、処理を終了するが、この処理は常に行われるのでフローチャートとしてはＳ３００１に戻る。
【００６４】
フィルタの制御処理とは、例えば、システム制御部１００３がレンズ制御部１００５を介してレンズ駆動部１００４を動作させ、ＩＲカットフィルタを光軸から抜き取ることや、レンズ駆動部１００４がＩＲカットフィルタを挿入することを指す。
【００６５】
また、フィルタの制御処理は、偏光フィルタを回転動作させて調整したり、偏光フィルタを挿抜する処理も相当する。偏光フィルタを調整する際は、システム制御部１００３が偏光フィルタの回転角度の変化に伴うフレームのコントラストの変化を確認する。そして、レンズ駆動部１００４が窓ガラス等からの反射光の少ない最適な角度になるまで偏光フィルタの角度を動かして調整する。尚、偏光フィルタは特定の偏光方向の光を透過させるフィルタのため、使用すると光量が下がる。そのため使用時以外は偏光フィルタを抜去する構成として、光量低下を避ける構成としてもよい。
【００６６】
フィルタがＩＲカットフィルタである場合には、周囲の明るさが変化したことを撮像部１００１が、その他のセンサを備える場合にはそのセンサが、検知することによって、デイモートとナイトモードでモードが切り替えられる。この撮像部１００１やその他のセンサからの検知信号がリクエストである。また、ユーザが手動でデイモードとナイトモードを切り替える場合には、例えばユーザがクライアント装置１１００の入力部１１０２を用いて操作する際に発せられる入力信号がリクエストである。
【００６７】
図４に戻り、ステップＳ２００３について説明する。Ｓ２００３で、システム制御部１００３は映像処理部１００２の状態を取得し、ＷＤＲ処理のフレームの生成開始タイミングになったかどうかを判断する。フレームの生成開始タイミングでなかった場合、Ｓ２００４に進む。フレームの生成開始タイミングになった場合、Ｓ２００５に進む。
【００６８】
ステップＳ２００４で、システム制御部１００３はネットワークカメラ１０００の露出を適正な露出になるように調整を行う。露出の調整が実行されたら、再度Ｓ２００３に戻る。
【００６９】
ステップＳ２００５で、映像処理部１００２はＷＤＲ処理に用いるフレームの生成を行い、Ｓ２００６に進む。
【００７０】
ステップＳ２００６で、映像処理部１００２はＳ２００５で生成されたフレームに対して輝度補正の処理を行い、Ｓ２００７に進む。フレームの輝度補正の処理の詳細については、図５、図６、図７で説明する。
【００７１】
ステップＳ２００７で、システム制御部１００３はＳ２００６で輝度補正されたフレームが合成に使用する最後のフレームかどうかを確認する。最後のフレームであった場合はＳ２００８に進む。最後のフレームではなかった場合はＳ２００１に戻る。
【００７２】
ステップＳ２００８で、映像処理部１００２はフレームの合成を行い、Ｓ２００１に戻る。
【００７３】
図５は、ネットワークカメラ１０００が保持するフィルタ制御による露出補正量の情報３０００を示した図である。３００１の列は管理番号、３００２の列はフィルタ種別、３００３の列は各フィルタによる制御項目、３００４はこれらのフィルタの識別情報によって識別される露出変化量を示した項目である。
【００７４】
図６は、露出の補正量を求める処理に関するイメージを説明する図である。グラフの縦軸はフレームの明るさである。
【００７５】
４００１、４００４はフィルタの抜去によって最適な露出の状態から変化する露出の変化量である。４００２は最適な露出の目標値を示している。４００３はフレームに対して補正を行う補正量を指している。
【００７６】
ネットワークカメラ１０００がリクエストに応じてＩＲカットフィルタを抜去する場合、ＩＲカットフィルタ抜去直後は露出補正がかかっていないため、フィルタ抜去による露出が変化した量４００１と補正されるべき露出の補正量４００３が同じ量となる。
【００７７】
４００５はＩＲカットフィルタ抜去直後から露出補正が行われて露出が変化した後の状態との露出の差分量を示している。４００６は露出補正後に残っている補正の必要な露出の量を指している。
【００７８】
露出補正後に必要な補正量４００６は、フィルタ制御による露出の変化量４００１から、露出補正による変化量４００５を差し引いた残りの量となる。
【００７９】
図７は、フレームの輝度補正処理に関するフローチャートである。
【００８０】
図５、図６も参照しながら、フレームの輝度補正処理について説明する。
【００８１】
ステップＳ５００１で、システム制御部１００３は記録部１００６からＳ２００２で制御されたフィルタのフィルタ種別３００２、制御項目３００３の情報をもとに、フィルタ制御による露出変化量３００４を取得し、Ｓ５００２に進む。システム制御部１００３は記録部１００６から露出変化量を読み出して取得するので露出変化取得手段または露出変化読出手段と呼んでもよい。記録部１００６は変化量記憶手段と呼んでもよい。また、フィルタ制御による露出変化量３００４は図６の変化量４００１、４００４と同様の情報を示している。
【００８２】
ステップＳ５００２で、システム制御部１００３はステップＳ２００４で実施された露出補正による露出の変化量４００５を取得し、Ｓ５００３に進む。
【００８３】
ステップＳ５００３で、システム制御部１００３は補正量４００６を算出する。ステップＳ５００１で取得したフィルタの制御によって変化した露出変化量３００４（４００１、４００４）と、ステップＳ５００２で取得した露出調整による露出の変化量４００５から、システム制御部１００３は算出する。輝度補正量４００６を算出したら、ステップＳ５００４に進む。
【００８４】
例えば、図６においてＩＲカットフィルタの抜去によって露出が４００４だけ増える。フレームを生成する際の露出補正による分４００５を差し引いて、差分４００６を算出する。
【００８５】
ステップＳ５００４で、システム制御部１００３はステップＳ５００３で算出した補正量４００６をもとに、生成されたフレームに対して輝度の補正を行う。補正が完了したら、フレームの輝度補正処理を終了する。システム制御部１００３はフレーム輝度補正手段と呼んでもよい。
【００８６】
以上、説明したように、第一の実施形態では、あらかじめ保持していたフィルタ制御による露出変化量をもとに、フィルタ制御直後のフレームに対して露出の補正を行う。そして、映像処理部１００２は補正されたフレームを用いてＷＤＲ処理を行う。このようにフィルタ制御による露出の変化を上限として、露出補正後の差分について、フレーム輝度を補正し、映像の合成を行うことで、フィルタ制御によって合成映像に発生する明るさの変化や白とびや黒つぶれを軽減することが可能になる。
【００８７】
ＷＤＲ処理は露出を段階的に切り替えてフレームを生成する。例えば、システム制御部１００３が露出を４段階に切り替えて４つのフレームの合成を行う。システム制御部１００３は露出を段階的に切り替えながらフレームの生成を指示する。明部を優先する設定のフレームの１つ目（明部優先１）で露出が＋４段階、２つ目（明部優先２）で＋２段階、暗部を優先する設定のフレームの１つ目（暗部優先１）で―２段階、２つ目（暗部優先２）で―４段階として露出を切り替える。システム制御部１００３はこれらを合成してＷＤＲ処理を行った映像を生成する。
【００８８】
明部優先１と明部優先２と暗部優先１が順に生成された後、暗部優先２が生成される前にフィルタの制御が入る場合がある。この場合には暗部優先２に対して、システム制御部１００３は、上述の処理を行う。
【００８９】
図６の露出補正の目標値４００２は暗部優先２に適した目標値である。フィルタ抜去後、４００１を加えた明るさになっている。この４００１の量はＩＲカットフィルタの抜去なので図５のテーブルのＮｏ．２の露出補正量の＋３０とわかる。ここで取得するフレームは暗部優先２のため露出を―４段階に下げており、図６の４００５だけ明るさが下がる。ここで露出補正量は４００１すなわち４００４から４００５を差し引いた４００６と求められる。
【００９０】
尚、上記の例ではフィルタ制御による露出変化量と、露出調整による露出変化量からフレームへの輝度補正量を計算しているが、計算方法はこれに限らない。たとえば、フィルタ制御前の映像データの明度を保存しておき、フィルタ制御後にフィルタ制御前との差分を求めることで補正量を求めるなど、図５のテーブルを用いるのと異なる方法で輝度変化量を求め、輝度補正量を計算してもよい。
【００９１】
尚、上記の例ではフィルタの制御が行われた際に、直後に生成されたフレームに対して露出の補正処理を行っているが、補正を行うフレームは直後のフレームに限定されない。たとえば、フィルタ制御直後のフレームへの補正はスキップし、次のフレームで補正を行うなどしてもよい。
【００９２】
尚、上記の例ではフィルタ制御時の露出の変化量の情報として、フィルタ種別、制御項目、露出補正量を保持しているが、保持する情報はこれに限定されない。たとえば、フィルタの型番情報を保持し、同じフィルタ種別であっても型番ごとに露出補正量を保持しておき、型番情報に基づいて露出補正量を参照するようにしてもよい。
【００９３】
尚、上記の例ではフィルタ制御による露出の変化の割合を補正量として保持しているが、補正量の保持の仕方はこれに限らない。たとえば、一番暗い状態を−２５５、一番明るい状態を２５５としたときに、輝度がどのくらい変化するかを割合ではなく変化する量を示すような表現としてもよい。
【００９４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９５】
１０００  ネットワークカメラ
１００１  撮像部
１００２  映像処理部
１００３  システム制御部
１００６  記録部
【図１】
2020108000.tif 000003
【図２】
2020108000.tif 000004
【図３】
2020108000.tif 000005
【図４】
2020108000.tif 000006
【図５】
2020108000.tif 000007
【図６】
2020108000.tif 000008
【図７】
2020108000.tif 000009
【図８】
2020108000.tif 000010