(57)【要約】      （修正有）【課題】ワイドダイナミックレンジ化（ＷＤＲ）処理中に光学フィルタの駆動指示が生じた場合においても、合成映像に発生する白とびや黒つぶれを軽減させた画像処理装置を提供する。【解決手段】画像処理装置におけるＷＤＲ処理は、撮像手段によって撮像された映像から複数のフレームを生成するフレーム生成手段と、撮像手段が撮像する際に光学的に映像を補正するフィルタを駆動させる駆動手段を制御するフィルタ制御手段と、複数のフレームを合成するフレーム合成手段と、フィルタの駆動を行うタイミングを変更するタイミング変更手段を有する。そして、一回の合成に用いられるフレームの対が生成されている間にフィルタを駆動する指示が生じた場合に、フィルタを駆動するタイミングを後にずらすように変更する。【選択図】図４
2020107999.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって露出を変えながら撮像された複数のフレームを生成するフレーム生成手段と、
前記撮像手段が撮像する際に光学的に映像を補正するフィルタを駆動させる駆動手段を制御するフィルタ制御手段と、
前記複数のフレームを合成するフレーム合成手段と、
前記フィルタの駆動を行うタイミングを変更するタイミング変更手段と、
を有することを特徴とする映像処理装置。
【請求項２】
一回の合成に用いられるフレームの対が生成されている間に、前記フィルタ制御手段が前記フィルタを駆動することをリクエストされた場合には、
前記タイミング変更手段が、前記フィルタを駆動するタイミングを後にずらすことを特徴とする、
請求項１記載の映像処理装置。
【請求項３】
前記複数のフレームのうち、合成に用いられる偶数枚のフレームを選択する選択手段をさらに備えることを特徴とする、
請求項１または２に記載の映像処理装置。
【請求項４】
前記複数のフレームが合成される枚数は偶数枚であって、
前記複数のフレームの半数が生成した後、残り半数のフレームが生成される前に、前記フィルタ制御手段が前記フィルタを駆動することをリクエストされた場合には、
前記タイミング変更手段が前記フィルタを駆動するタイミングを後にずらすことを特徴とする、
請求項１から３のいずれか１項に記載の映像処理装置。
【請求項５】
一回の合成に用いられる複数のフレームのうちその半数を超えない枚数が生成された後にフィルタの制御が行われた場合は、フィルタの制御が行われる前の第一のフレーム群と第一のフレーム群に対応する後半の第二のフレーム群を除いた第三のフレーム群が合成に用いられ、
一回の合成に用いられる複数のフレームのうちその半数を超えた枚数が生成された後にフィルタの制御が行われた場合は、フィルタの制御が行われた後の第四のフレーム群と第四のフレーム群に対応する前半の第五のフレーム群を除いた第六のフレーム群が合成に用いられる
ことを特徴とする、請求項１から４のいずれか１項に記載の映像処理装置。
【請求項６】
前記タイミング変更手段が、前記フィルタを駆動するタイミングは、一回の合成に用いられる分の複数のフレームが生成された後、次の合成に用いられる分の複数のフレームが生成される前、とすることを特徴とする、
請求項１から４のいずれか１項に記載の映像処理装置。
【請求項７】
撮像手段によって撮像された映像から複数のフレームを生成するフレーム生成工程と、
前記撮像手段が撮像する際に光学的に映像を補正するフィルタを駆動させる駆動手段を制御するフィルタ制御工程と、
前記複数のフレームを合成するフレーム合成工程と、
前記フィルタの駆動を行うタイミングを変更するタイミング変更工程と、
を有することを特徴とする映像処理方法。
【請求項８】
一回の合成に用いられるフレームの対が生成されている間に、前記フィルタを駆動することをリクエストされた場合には、前記フィルタを駆動するタイミングを後にずらすことを特徴とする、
請求項７記載の映像処理方法。
【請求項９】
前記複数のフレームのうち、合成に用いられる偶数枚のフレームを選択する選択工程をさらに備えることを特徴とする、
請求項７または８に記載の映像処理方法。
【請求項１０】
前記複数のフレームが合成される枚数は偶数枚であって、
前記複数のフレームの半数が生成した後、残り半数のフレームが生成される前に、前記フィルタ制御手段が前記フィルタを駆動することをリクエストされた場合には、
前記フィルタを駆動するタイミングを後にずらすことを特徴とする、
請求項７から９のいずれか１項に記載の映像処理方法。
【請求項１１】
一回の合成に用いられる複数のフレームのうちその半数を超えない枚数が生成された後にフィルタの制御が行われた場合は、フィルタの制御が行われる前の第一のフレーム群と第一のフレーム群に対応する後半の第二のフレーム群を除いた第三のフレーム群が合成に用いられ、
一回の合成に用いられる複数のフレームのうちその半数を超えた枚数が生成された後にフィルタの制御が行われた場合は、フィルタの制御が行われた後の第四のフレーム群と第四のフレーム群に対応する前半の第五のフレーム群を除いた第六のフレーム群が合成に用いられる
ことを特徴とする、請求項７から１０のいずれか１項に記載の映像処理方法。
【請求項１２】
前記タイミング変更手段が、前記フィルタを駆動するタイミングは、一回の合成に用いられる分の複数のフレームが生成された後、次の合成に用いられる分の複数のフレームが生成される前、とすることを特徴とする、
請求項７から１１のいずれか１項に記載の映像処理方法。
【請求項１３】
コンピュータを、請求項１から６のいずれか１項に記載の各手段として機能させるコンピュータプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を用いて撮影された映像を合成し処理を行う装置に関するものである。
【背景技術】
【０００２】
従来、ネットワークを介して、遠隔操作によりカメラを制御し、映像を監視するネットワークカメラシステムが広く普及している。
【０００３】
このようなネットワークカメラシステムは、公共機関や店舗等の屋内外などにおける監視カメラ用途として等、幅広い分野で利用されている。そのため、明暗の差が大きい被写体を撮影する場合等に、白とびや黒つぶれを発生させることなく、ダイナミックレンジを拡大することが望まれており、それを実現する技術が知られている。例えば、露出条件の異なる複数の映像を合成することにより、合成映像をワイドダイナミックレンジ（ＷＤＲ）化するいわゆるＷＤＲ処理が知られている。特許文献１には、照明環境の変化に応じてＷＤＲ処理のオンおよびオフをゆるやかに切り替える発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−５８８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ＩＲカットフィルタを備えるネットワークカメラがある。
【０００６】
このようなネットワークカメラには、明るい昼間はＩＲカットフィルタを挿入したモード、いわゆるデイモード、暗い夜間はＩＲカットフィルタを抜き去ったモード、いわゆるナイトモードが搭載される。ナイトモードは、暗い夜間でも赤外光を受光して撮影を可能にするモードである。そのため、暗い夜間の撮影の際には赤外光を遮らないように、ＩＲカットフィルタを抜き去る動作がネットワークカメラ側で行われる。
【０００７】
このようにデイモードとナイトモードを切り替えることで、明るい昼間は鮮明なカラー映像が、暗い夜間も赤外光を受光することによって鮮明なモノクロ映像が、ネットワークカメラによって取得される。
【０００８】
次にＷＤＲ処理について説明する。ＷＤＲ処理では、相対的に短い露光時間の間に蓄積された電荷に基づく映像（短秒露光映像）と、相対的に長い露光時間の間に蓄積された電荷に基づく映像（長秒露光映像）とを取得する。これらの映像が適切に合成されることによって白とびや黒つぶれの少ない映像が得られる。
【０００９】
しかし、デイモードでネットワークカメラが短秒露光映像を取得した後、デイモードからナイトモードに切り替わり、ナイトモードで長秒露光映像を取得して合成してしまったとする。すると、異なるモードの映像をもとに合成してしまうため、ＷＤＲ処理での画質の劣化につながる恐れがある。
【００１０】
そこで本発明は、ＷＤＲ処理に影響が低減されるようにＩＲカットフィルタ制御を行うことを目的とする。
【課題を解決するための手段】
【００１１】
撮像手段によって撮像された映像から複数のフレームを生成するフレーム生成手段と、撮像手段が撮像する際に光学的に映像を補正するフィルタを駆動させる駆動手段を制御するフィルタ制御手段と、複数のフレームを合成するフレーム合成手段と、フィルタの駆動を行うタイミングを変更するタイミング変更手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ＷＤＲ実行中のフィルタ制御による白とびや黒つぶれを軽減することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係るシステムの構成例
【図２】本発明の実施形態のハードウエア構成例
【図３】本発明の実施形態に係るシステム構成図
【図４】本発明の実施形態に係るＷＤＲ処理のフローチャートを示す図
【図５】本発明の実施形態に係るフィルタ制御のフローチャートを示す図
【図６】本発明の実施形態に係るＷＤＲ処理のフローチャートを示す図
【図７】本発明の実施形態に係るフィルタ制御のフローチャートを示す図
【図８】本発明の実施形態に係る合成に使用するフレーム群の選択処理のフローチャートを示す図
【図９】本発明の実施形態に係る合成に使用するフレームの選択処理のイメージを示す図
【発明を実施するための形態】
【００１４】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１５】
以下に、図１を参照して本実施形態に係るシステム構成について説明する。
【００１６】
図１に示すように、本実施形態に係るシステムは、ネットワーク１２００を介して接続されたネットワークカメラ１０００、クライアント装置１１００を有する。
【００１７】
ネットワークカメラ１０００はネットワークに接続され監視カメラや見守りカメラなど様々の用途で利用されるカメラである。
【００１８】
ネットワークカメラ１０００はパン・チルト・ズームを行う機能を備え、クライアント装置１１００において設定された姿勢や画角などの撮像パラメータに従って撮像する。
【００１９】
ネットワークカメラ１０００によって撮像された映像は、ネットワーク１２００を介してクライアント装置１１００に対して送信される。ネットワーク１２００は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１２００は、ネットワークカメラ１０００とクライアント装置１１００との間の通信を行うことができるものであればよく、その通信規格、規模、構成を問わない。ネットワーク１２００は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等により構成されてもよい。
【００２０】
クライアント装置１１００は、パーソナルコンピュータ、サーバ装置、タブレット装置等の映像処理装置として機能する装置である。クライアント装置１１００は、ネットワークカメラ１０００からネットワーク１２００を介して映像情報を受信する。クライアント装置１１００には入力装置１３０１と表示装置１３０２とが接続されている。
【００２１】
入力装置１３０１は、キーボードやマウス、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をクライアント装置１１００に対して入力することができる。
【００２２】
表示装置１３０２は、液晶画面などにより構成されており、クライアント装置１１００による処理結果を映像や文字などでもって表示することができる。
【００２３】
入力装置１３０１と表示装置１３０２はクライアント装置１１００と一体に構成してもよい。
【００２４】
次に、ネットワークカメラ１０００とクライアント装置１１００のハードウエア構成について、図２を用いて説明する。図２に示した構成は、適用可能な構成の一例に過ぎず、適宜変形や変更が可能である。
【００２５】
まずネットワークカメラ１０００の構成を、図２（ａ）を用いて説明する。
【００２６】
ＣＰＵ１４０１は、主記憶装置１４０２に格納されているコンピュータプログラムとデータを用いて処理を実行する。これによりＣＰＵ１４０１は、ネットワークカメラ１０００全体の動作制御を行うと共に、後述する機能を実現する。
【００２７】
主記憶装置１４０２は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。主記憶装置１４０２は、補助記憶装置１４０３からロードされたコンピュータプログラムやデータ、撮像センサ１４０５による撮像映像、ネットワークＩ／Ｆ１４０６を介してクライアント装置１１００から受信した各種のデータを格納するためのエリアを有する。さらに主記憶装置１４０２はＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶装置１４０２は、各種のエリアを適宜提供することができる。
【００２８】
補助記憶装置１４０３は、ハードディスクドライブ（ＨＤＤ）、Ｒｅａｄ  ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）等の大容量情報記憶装置である。
【００２９】
補助記憶装置１４０３には、ＯＳ（オペレーティングシステム）や、ネットワークカメラ１０００が行うものとして後述する各処理をＣＰＵ１４０１に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。
【００３０】
また補助記憶装置１４０３には、ネットワークＩ／Ｆ１４０６を介してクライアント装置１１００から受信したデータも保存される。補助記憶装置１４０３に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜主記憶装置１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。
【００３１】
撮像センサ１４０５は、図示していない撮像素子と撮像光学系とを有し、撮像光学系の光軸と撮像素子の受光面との交点を撮像中心として被写体を撮像する。撮像素子には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等が利用できる。
【００３２】
ネットワークＩ／Ｆ１４０６は、ネットワークカメラ１０００がネットワーク１２００を介してクライアント装置１１００との間のデータ通信を行うために利用するインターフェースである。
【００３３】
次に、クライアント装置１１００のハードウエア構成例について、図２（ｂ）のブロック図を用いて説明する。
【００３４】
ＣＰＵ１５０１は、主記憶装置１５０２に格納されているコンピュータプログラムやデータを用いて処理を実行する。これにより、クライアント装置１１００全体の動作制御を行うと共に、クライアント装置１１００が行うものとして後述する各処理を実行若しくは制御する処理装置である。ＣＰＵ１５０１は、主記憶装置１５０２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、後述する機能を実現する。
【００３５】
主記憶装置１５０２は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。主記憶装置１５０２は、補助記憶装置１５０３からロードされたコンピュータプログラムやデータ、ネットワークＩ／Ｆ１５０６を介してネットワークカメラ１０００から受信した各種のデータや撮像映像を格納するためのエリアを有する。さらに主記憶装置１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶装置１５０２は、各種のエリアを適宜提供することができる。
【００３６】
補助記憶装置１５０３は、ハードディスクドライブ（ＨＤＤ）、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）等の大容量情報記憶装置である。補助記憶装置１５０３には、ＯＳ（オペレーティングシステム）や、クライアント装置１１００が行うものとして後述する各処理をＣＰＵ１５０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。
【００３７】
また補助記憶装置１５０３には、ネットワークＩ／Ｆ１５０６を介してネットワークカメラ１０００から受信した各種のデータや映像も保存される。補助記憶装置１５０３に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜主記憶装置１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。
【００３８】
ネットワークＩ／Ｆ１５０６は、クライアント装置１１００がネットワーク１２００を介してネットワークカメラ１０００との間のデータ通信を行うために利用するインターフェースである。
【００３９】
図３は、本実施形態に係るネットワークカメラとクライアント装置の機能ブロック構成図である。
【００４０】
図３を参照して、ネットワークカメラ１０００の各部構成と機能について説明する。
【００４１】
撮像部１００１は、ハードウエアとして、フォーカスレンズやズームレンズなどの光学レンズ、撮像素子、およびＩＲカットフィルタや偏光フィルタなど光学的に映像を補正する光学フィルタなどの光学部品から構成される。そして、撮像部１００１は被写体の撮像した映像を電気信号へ光電変換する。ここで撮像され光電変換された信号をフレームと称する。撮像素子は図２の撮像センサ１４０５に相当する。
【００４２】
映像処理部１００２は、フレームへ所定の映像処理や圧縮符号化処理を行い、映像データを生成する。また、撮像部１００１が撮像した露出の異なる複数の映像データ同士を合成する処理をＷＤＲ（ワイドダイナミックレンジ）処理と称することとし、このＷＤＲ処理においてフレーム群を合成することはフレーム合成と称する。映像処理部は図２のＣＰＵ１４０１に相当する。
【００４３】
レンズ駆動部１００４は、フォーカスレンズ及びズームレンズ等の光学レンズの動作、そしてＩＲカットフィルタの挿抜や偏光フィルタの回転の動作のための、駆動系のギヤやベルトなどの機械構成部品や、その駆動源であるアクチュエータにより構成される。そのアクチュエータの動作は、アクチュエータを駆動する駆動回路を具備するレンズ制御部１００５によって制御される。レンズ駆動部１００４は図２の駆動装置１４０４に相当する。
【００４４】
レンズ制御部１００５はシステム制御部１００３から伝達された指示に基づいて、レンズ駆動部１００４のアクチュエータを制御する。レンズ制御部１００５は図２のＣＰＵ１４０１に相当する。
【００４５】
システム制御部１００３は、クライアント装置１１００からネットワーク１２００を介して伝達されたカメラ制御のコマンドを解析し、コマンドに応じた処理を行い制御を行う。システム制御部１００３はコマンドに応じてレンズ制御部１００５に対してズームやフォーカスの制御の指示を送信する。また、映像処理部１００２のＷＤＲ処理の状況に応じて、ＩＲカットフィルタの挿抜や偏光フィルタの角度調整といった制御をレンズ制御部１００５に指示する。システム制御部１００３は図２のＣＰＵ１４０１に相当する。
【００４６】
記録部１００６は、ネットワークカメラ１０００のパラメータやネットワークカメラ１０００が撮影した映像を記録し保持する。記録部１００６は、図２の補助記憶装置１４０３に相当し、ＣＰＵ１４０１がパラメータを呼び出して一時的に保持する際には主記憶装置１４０２に相当する。
【００４７】
通信部１００７は、ネットワーク１２００を介して、生成された映像データをクライアント装置１１００に配信する。また通信部１００７は、クライアント装置１１００から送信されるカメラ制御コマンドを受信し、システム制御部１００３へ伝達する。通信部１００７は図２のネットワークＩ／Ｆ１４０６に相当する。
【００４８】
続いて、図３を参照してクライアント装置１１００の各部構成と機能について説明する。
【００４９】
映像表示部１１０１は、図１では表示装置１３０２、図２（ｂ）では表示装置１５０８に相当する。
【００５０】
入力部１１０２は、図１では入力装置１３０１、図２（ｂ）では入力装置１５０７に相当する。
【００５１】
システム制御部１１０３は、ユーザの入力部１１０２の操作に応じてネットワークカメラ１０００に対する制御コマンドの生成を行う。システム制御部１１０３によって生成された制御コマンドは通信部１１０４を介してネットワークカメラ１０００へ送信される。また、システム制御部１１０３は、通信部１１０５を介して受信したネットワークカメラ１０００からの映像データをユーザ操作のためのグラフィックユーザインターフェース（以下、ＧＵＩと称する）とともに表示部１１０１に送信する。
【００５２】
このようにクライアント装置１１００は、ネットワーク１２００を介して、ユーザの指示に従って、ネットワークカメラ１０００の撮影映像を取得し、各種の制御を行う。
【００５３】
以下、本発明の第一の実施形態を説明する。
【００５４】
以下、図４、図５を参照して、本発明の第一の実施形態の処理について説明する。この処理は、図２のネットワークカメラ１０００において、補助記憶装置１４０３から主記憶装置１４０２に展開されたプログラムをＣＰＵ１４０１が実行する処理である。
ＷＤＲ処理は、露光時間を変えて複数のフレームを取得し、それら複数のフレームを画素ごとに所定の割合で輝度の合成を行ったデータを生成することによって白とびや黒つぶれの少ない映像を得る処理である。
【００５５】
ステップＳ２００１で、システム制御部１００３はＷＤＲ処理が有効かどうかを確認する。ＷＤＲ処理が有効だった場合、Ｓ２００２に進む。ＷＤＲ処理が無効だった場合、処理を終了する。
【００５６】
ステップＳ２００２で、システム制御部１００３はＷＤＲ処理に使用するフレームの生成を行い、Ｓ２００３に進む。システム制御部１００３はフレーム生成手段に相当する。フレームを生成するとは、ＷＤＲ処理の中で露光時間を変えながら複数のフレームを取得する中で１つのフレームを生成し取得することである。
【００５７】
ステップＳ２００３で、システム制御部１００３はＳ２００２で生成されたフレームが合成に使用する最後のフレームかどうかをフレームを生成するごとに確認する。最後のフレームであった場合はＳ２００４に進む。最後のフレームでなかった場合はＳ２００１に戻る。
【００５８】
ステップＳ２００４で、システム制御部１００３はフィルタの制御処理を行い、Ｓ２００５に進む。フィルタの制御処理については、図５で説明する。
【００５９】
ステップＳ２００５で、映像処理部１００２は画素ごとに所定の割合で輝度の合成を行ったデータを生成する処理を実行してＷＤＲ処理を完結させ、Ｓ２００１に戻る。
【００６０】
図５は、図４に記載のＳ２００４のフィルタ制御処理に関するフローチャートである。この処理も図２のネットワークカメラ１０００において、補助記憶装置１４０３から主記憶装置１４０２に展開されたプログラムをＣＰＵ１４０１が実行する処理である。
【００６１】
ステップＳ３００１で、システム制御部１００３はフィルタの制御についてリクエストされたかどうかを確認する。リクエストがあった場合はＳ３００２に進む。リクエストがなかった場合は処理を終了する。
【００６２】
ステップＳ３００２で、システム制御部１００３はフィルタの制御処理を実行し、フレームの合成を実行して、処理を終了するが、この処理は常に行われるのでフローチャートとしてはＳ２００１に戻る。
【００６３】
フィルタの制御処理とは、例えば、システム制御部１００３がレンズ制御部１００５を介してレンズ駆動部１００４を動作させ、ＩＲカットフィルタを光軸から抜き取ることや、レンズ駆動部１００４がＩＲカットフィルタを挿入することを指す。
【００６４】
また、フィルタの制御処理は、偏光フィルタを回転動作させて調整したり、偏光フィルタを挿抜したりする処理も相当する。その他の光学フィルタに置き換えてもよい。偏光フィルタを調整する際は、システム制御部１００３が偏光フィルタの回転角度の変化に伴うフレームのコントラストの変化を確認する。そして、レンズ駆動部１００４が窓ガラス等からの反射光の少ない最適な角度になるまで偏光フィルタの角度を動かして調整する。
【００６５】
フィルタがＩＲカットフィルタである場合には、周囲の明るさが変化したことを撮像部１００１やその他のセンサを備える場合にはそのセンサが検知することによって、デイモートとナイトモードでモードが切り替えられる。この撮像部１００１やその他のセンサからの検知信号がリクエストである。また、ユーザが手動でデイモートとナイトモードを切り替える場合には、例えばユーザがクライアント装置１１００の入力部１１０２を用いて操作する際に発せられる入力信号がリクエストである。
【００６６】
以上、説明したように、第一の実施形態では、ＷＤＲ処理に使用するフレームが生成された際に、合成に使用する最後のフレームかどうかを確認してフィルタの制御を行う。このように構成することでＷＤＲ処理の間はフィルタの制御処理は実行されなくなり、ＷＤＲ処理とＷＤＲ処理の間にフィルタの制御は実行される。これによって、ＷＤＲ処理で合成される映像に対して、フィルタ制御の影響を抑えることが可能になる。
【００６７】
尚、上記の実施形態では合成に使用する最後のフレームかどうかを確認した後に、フィルタの制御を行っているが、フィルタの制御を実行するタイミングはこれに限らない。たとえば、複数のフレームを合成するＳ２００５のフレームの合成を実行の後のタイミングで、フィルタの制御処理を行ってもよい。このようにＷＤＲ処理の期間を除く期間にタイミングを変更するタイミング変更を行って、フィルタの制御処理は行われる。
本発明の第二の実施形態を説明する。以下、図６、図７、図８を参照して、ＷＤＲ処理の途中でフィルタの制御を行い、合成するフレームを選択してＷＤＲ処理を実現するフローチャートについて説明する。これらの処理も図２のネットワークカメラ１０００において、補助記憶装置１４０３から主記憶装置１４０２に展開されたプログラムをＣＰＵ１４０１が実行する処理である。
【００６８】
図６を説明する。Ｓ４００１からＳ４００２までは、図４の説明と同様のため、説明を省略する。
【００６９】
Ｓ４００３で、システム制御部１００３はフィルタの制御処理を行い、Ｓ４００４に進む。フィルタの制御処理の詳細については、図７で説明する。
【００７０】
Ｓ４００４で、システム制御部１００３はＳ４００２で生成されたフレームが合成に使用する最後のフレームかどうかを確認する。最後のフレームであった場合はＳ４００５に進む。最後のフレームでなかった場合はＳ４００１に戻る。
【００７１】
Ｓ４００５で、システム制御部１００３はＷＤＲ処理に使用するフレームの選択処理を行い、Ｓ４００６に進む。フレームの選択処理の詳細については図８で説明する。
【００７２】
Ｓ４００６で、映像処理部１００２はＷＤＲ処理を実行し、処理を終了するが、この処理は常に行われるのでフローチャートとしてはＳ４００１に戻る。
【００７３】
図７は、ＷＤＲ中のフィルタ制御処理に関するフローチャートである。
【００７４】
ステップＳ５００１で、システム制御部１００３はフィルタの制御についてリクエストがされたかどうかを確認する。リクエストがされている場合はＳ５００２に進む。リクエストがなかった場合は処理を終了する。
【００７５】
ステップＳ５００２で、システム制御部１００３はＳ４００２で生成されたフレームが合成に使用する最後のフレームかどうかを確認する。最後のフレームであった場合はＳ５００３へ進む。最後のフレームでなかった場合は、Ｓ５００４に進む。
【００７６】
Ｓ５００３では、システム制御部１００３はフィルタの制御を実行し、処理を終了する。フィルタの制御の実行は前述の実施形態と同様に行われる。
【００７７】
Ｓ５００４で、システム制御部１００３は、Ｓ４００２で生成されたフレームの生成後のタイミングがＷＤＲ処理に使用するフレームのすべての対に挟まれるタイミングかどうかを確認する。
【００７８】
尚、ＷＤＲ処理は所定の複数回にわたって取得されたフレームが繰り返し合成される処理である。そのため、１回のＷＤＲ処理ごとにカウントをリセットする。もしＷＤＲ処理をまだ行っていない初期状態から始まれば、システム制御部１００３は最初のフレームの生成時からフレームの数を数える。
【００７９】
もし２回目以降のＷＤＲ処理であって、すでに１回でもＷＤＲ処理を行っているのであれば、システム制御部１００３は、前回のＷＤＲ処理が終わった後、次のＷＤＲ処理に向けて生成された最初のフレームからフレームの数を数える。
【００８０】
ここでＷＤＲ処理に使用するフレームのすべての対に挟まれるタイミングでなかった場合はＳ５００５に進む。ＷＤＲ処理に使用するフレームのすべての対に挟まれるタイミングであった場合は、処理を終了する。ＷＤＲ処理に使用するフレームのすべての対に挟まれるタイミングとは、合成に使用するフレームのすべての対を半分に分けてしまうタイミングがある場合、そのタイミングを言う。
【００８１】
Ｓ５００５で、システム制御部１００３はフィルタの制御を実行し、Ｓ５００６に進む。
【００８２】
Ｓ５００６で、システム制御部１００３は何枚目のフレームの生成後にフィルタ制御したかを記録し、処理を終了する。何枚目のフレームの生成後にフィルタ制御したかについては例えば変数を用意し、何枚目のフレームの生成後かどうかで情報を変更し、この情報をシステム制御部１００３は記録部１００６に送り、記録部１００６がそれを保存しておく。
【００８３】
図８は、図６のＳ４００５における合成に使用するフレームを選択する処理に関するフローチャートである。この処理は、図２のネットワークカメラ１０００において、補助記憶装置１４０３から主記憶装置１４０２に展開されたプログラムをＣＰＵ１４０１が実行する処理である。
【００８４】
ステップＳ６００１で、システム制御部１００３は前回のＷＤＲ処理後にフィルタ制御が実行されたかどうかを確認する。フィルタ制御が実行されていた場合はＳ６００２に進む。フィルタ制御が実行されていなかった場合は処理を終了する。
【００８５】
ステップＳ６００２で、システム制御部１００３はＳ５００６で記録した情報を参照し、何枚目のフレームの生成後にフィルタ制御が行われたかを確認する。システム制御部１００３は記録部１００６から情報を呼び出して確認する。確認の結果、何枚目のフレームの生成後にフィルタ制御が行われていたという情報が保存されていた場合、Ｓ６００３に進む。何枚目のフレームの生成後にフィルタ制御が行われていたという情報が保存されていなかった場合、Ｓ６００５に進む。
【００８６】
ステップＳ６００３で、システム制御部１００３は合成結果に影響のあるフレームを検出し、Ｓ６００４に進む。合成結果に影響があるかどうかは、前回のＷＤＲ処理後に生成されたフレームに対して、あるフレームの生成時と、そのフレームの対になるフレームの生成時との間にフィルタの制御が行われているかどうかで判断する。対になるフレームについては後述する。あるフレームの生成時と、そのフレームの対になるフレームの生成時との間にフィルタの制御が行われていた場合、その対となる２つのフレームを、影響のあるフレームとシステム制御部１００３は判断する。
【００８７】
ステップＳ６００４で、システム制御部１００３はＳ６００３で検出した合成結果に影響を与えるフレーム以外を選択し、処理を終了する。
【００８８】
ステップＳ６００５では、システム制御部１００３は前回のＷＤＲ処理以降に生成されたフレームすべてを選択し、処理を終了する。
【００８９】
図９は、合成に使用するフレームの選択処理を説明する図である。図９を用いて、第二の実施形態の合成に使用するフレームの選択処理のイメージについて説明する。
【００９０】
フレーム７００１〜７００４は映像処理部１００２で生成されるフレームである。各フレーム７００１〜７００４はＷＤＲ処理で合成するフレームであって、これらフレームは左のフレームから連続して順番に生成される。これらのフレームはそれぞれ異なる露出で撮影されている。
【００９１】
ＷＤＲ処理は露出を段階的に切り替えてフレームを生成する。この場合にはシステム制御部１００３が７００１〜７００４の４つのフレームの合成を行う。システム制御部１００３は露出を段階的に切り替えながらフレームの生成を指示する。明部優先（１）７００１で＋４段階、明部優先（２）７００２で＋２段階、暗部優先（１）７００３で―２段階、暗部優先（２）７００４で―４段階である。露出はプラスとマイナスの両方同じ段階のもの同士があって、それらを合成することで正しい映像が得られる。このように最適な露出に対する差分が同じ、露出オーバーと露出アンダーのフレームの対をシステム制御部１００３が合成してＷＤＲ処理を行う。
【００９２】
尚、ＷＤＲ処理に用いるフレームの露出の段階は、対である必要はあるが、その露出は前述のような単調減少や単調増加の露出条件の並びである必要は必ずしもない。例えば、露出の段階は、上述のような降順の他、上述とは逆順の−４、−２、＋２、＋４というように昇順でもよい。また、−２、−４、＋４、＋２という順番や、−４、＋４、＋２、−２という順番でもよく、順番は任意である。
【００９３】
ＷＤＲ処理は繰り返し行われるので、システム制御部１００３が７００１〜７００４の４枚のフレームでＷＤＲ処理を行った後は、システム制御部１００３が次の４枚のフレームを同様に露出の変更をしながら生成し同様に合成を行う。その後も同様にＷＤＲ処理は繰り返し行われる。
【００９４】
フレーム７００５は選択したフレームを合成して作成される合成結果の映像データを示す。矢印７００６はフィルタ制御のリクエストがなされるタイミングであり、矢印７００７は実際にフィルタ制御が実行される実行タイミングである。このようにＷＤＲ処理の最中にフィルタ制御リクエストが入ってきた場合に、それがＷＤＲ処理に使用するフレームのすべての対に挟まれるタイミングであった場合には、システム制御部１００３はフィルタ制御の実行タイミングを次のフレームの生成後にずらして実行する。破線７００８は生成されるフレームが明部優先から暗部優先に切り替えられるタイミングを示す。
【００９５】
図９では、矢印７００６に示すとおり、２フレーム目７００２の生成後のタイミングでフィルタ制御がリクエストされている。そのため、ここではフィルタ制御は行われず、その後、３フレーム目の暗部優先（１）７００３の生成が行われると、システム制御部１００３は矢印７００７のタイミングでフィルタ制御の実行を指示する。矢印７００７のタイミングでフィルタ制御が行われた場合、フィルタ制御実行後のフレームにはフィルタ制御の影響が発生する。図６のＳ４００５の処理により、合成結果に影響を与えるフレーム７００４とその対になるフレーム７００１のフレームをフレームの対象から除き、残りのフレームである２枚目のフレームの明部優先（２）７００２と３枚目のフレームの暗部優先（１）７００３の２枚を合成の対象とする。システム制御部１００３は、図９で明部優先（１）７００１と暗部優先（２）７００４、明部優先（２）７００２と暗部優先（１）７００３をそれぞれ対になるフレームとする。そして、フィルタ制御の影響が入っているフレームを除いた残りのフレーム７００２とフレーム７００３を合成することで合成後のフレーム７００５を生成する。
【００９６】
尚、上記の場合の露出は、１枚目の明部優先（１）７００１で＋４段階、２枚目の明部優先（２）７００２で＋２段階、３枚目の暗部優先（１）７００３で−２段階、４枚目の暗部優先（２）７００４で−４段階である。フィルタ制御のリクエストはこの場合には２枚目のフレームの後であるが、もし２枚目の後にフィルタ制御を実行してしまうと、３枚目と４枚目にフィルタ制御の影響が表れる。すると１枚目の＋４段階の露出に対応する−４段階の露出のフレームが４枚目にある。そして、２枚目の＋２段階の露出に対応する−２段階の露出のフレームが３枚目にある。そのため、１枚目、２枚目とそれぞれ対になるフレームである４枚目、３枚目がフィルタ制御の影響を受けてしまう。この場合、これによって合成に用いることのできるフレームの対が残らなくなってしまう。
【００９７】
そこで、システム制御部１００３は、フィルタ制御リクエスト７００６の直後に、フィルタ制御実行７００７は行わず、１枚後にずらす。尚、フィルタ制御実行７００７は１枚後でなく２枚後にずらしてもよい。
【００９８】
上述の事例では露出の段階が、１枚目は＋４段階、２枚目は＋２段階、３枚目は−２段階、４枚目は−４段階であった。
【００９９】
もし１枚目が−４段階、以降は順に−２段階、＋２段階、＋４段階の場合、この場合も上述の事例と処理は同じである。システム制御部１００３が、２枚目のフレームの後にフィルタ制御をしてしまうと、３枚目と４枚目にフィルタ制御の影響が表れる。１枚目の対が４枚目、２枚目の対が３枚目であるのは同様なので、フィルタ制御の影響を受けていない対が残らない。そのため、同様に２枚目のフレーム取得後のフィルタ制御リクエスト７００６の直後のタイミングで、システム制御部１００３はフィルタ制御実行７００７を行わず、後のタイミングにずらす。
【０１００】
次に、もし１枚目が−４段階、以降は順に＋４段階、＋２段階、−２段階の場合には、システム制御部１００３の行う処理は上述の例と異なる。
【０１０１】
１枚目のあとにフィルタ制御をした場合、２枚目から４枚目はフィルタ制御の影響を受ける。
【０１０２】
そのため、システム制御部１００３は、フィルタ制御の影響を受けていない１枚目（−４段階）と１枚目と対であってフィルタ制御の影響を受けている２枚目（＋４段階）とを合成することはできない。
【０１０３】
しかし、フィルタ制御の影響を受けている３枚目（＋２段階）と同じくフィルタ制御の影響を受けている４枚目（−２段階）の２枚は条件が同じ対であるため、システム制御部１００３はこれらを合成することができる。
【０１０４】
この場合と同様にもし３枚目のあとにフィルタ制御リクエストをシステム制御部１００３が受け付けした場合、フィルタ制御の影響を受けていない３枚目（＋２段階）とフィルタ制御の影響を受けている４枚目（−２段階）は合成できない。しかし、フィルタ制御の影響を受けていない１枚目（−４段階）と同じくフィルタ制御の影響を受けていない２枚目（＋４段階）は条件が同じ対であるため、システム制御部１００３はこれらを合成することができる。
【０１０５】
尚、もし２枚目のあとにフィルタ制御をした場合は、フィルタ制御の影響を受けていない１枚目（−４段階）と２枚目（＋４段階）、フィルタ制御の影響を受けている３枚目（＋２段階）と４枚目（−２段階）はそれぞれの対が、対となる２枚の間で条件が同じためシステム制御部１００３は二組を合成することができる。
【０１０６】
ここではＷＤＲ処理が一回に４枚のフレームを用いて行われているが、必ずしも４枚でなくてよい。
【０１０７】
対になるフレームが必要なのでＷＤＲ処理の対象となるフレームの数は２の倍数である。
【０１０８】
フレームが連続する２枚のフレームの場合、１枚目と２枚目の間にフィルタ制御のリクエストがあった場合は、システム制御部１００３はフィルタの制御はそのタイミングでは行わず２枚目のあととして、１枚目と２枚目を用いてＷＤＲ処理を行う。
【０１０９】
フレームが連続する４枚のフレームの場合は前述のとおりである。
【０１１０】
フレームが連続する６枚のフレームの場合であって、それぞれの露出が単調増加または単調減少の設定となっているとする。もし６枚のフレームの半分の３枚目と４枚目の間でフィルタ制御リクエストが来た場合は１枚後の４枚目の後にシステム制御部１００３はフィルタ制御を実行する。それ以外のタイミングではそのままフィルタ制御を実行する。フレームの選択処理では、フィルタ制御の実行が１枚目の直後と６枚目の直前のタイミングの場合は、システム制御部１００３は２枚目から５枚目の４枚のフレームをＷＤＲ処理の対象とする。フィルタ制御の実行が２枚目の直後と５枚目の直前のタイミングの場合は、システム制御部１００３は３枚目と４枚目の２枚のフレームをＷＤＲ処理の対象とする。フィルタ制御の実行が３枚目と４枚目の間のタイミングの場合は、上述のように存在せず、リクエストがこのタイミングの場合にはフィルタ制御に実行は４枚目の後にずらされる。
【０１１１】
フレームが連続する８枚以上の偶数個のフレームの場合も同様にシステム制御部１００３によって処理される。このように一回の合成に用いられる複数のフレームのうちその半数を超えない枚数が生成された後にフィルタの制御が行われたとする。その場合は、フィルタの制御が行われる前の第一のフレーム群と第一のフレーム群に対応する後半の第二のフレーム群を除いた第三のフレーム群が合成に用いられる。また一回の合成に用いられる複数のフレームのうちその半数を超えた枚数が生成された後にフィルタの制御が行われたとする。その場合は、フィルタの制御が行われた後の第四のフレーム群と第四のフレーム群に対応する前半の第五のフレーム群を除いた第六のフレーム群が合成に用いられる。
【０１１２】
尚、ここでは説明の簡略化のため、それぞれの露出が単調増加または単調減少の設定となっていることとしたが、４枚の場合と同様に露出の設定の順番は任意である。以上、説明したように、第二の実施形態では、システム制御部１００３がＷＤＲ処理に使用するフレームを選択して処理を行う。
【０１１３】
例えば、ＷＤＲ処理に用いる複数のフレームが、露出条件に対して昇順や降順で並んでいる場合に、ｎを正の整数としてＷＤＲ処理をｎの２倍の２ｎ枚のフレームで行うとして、半数のｎ枚目の生成の後、ｎ＋１枚目の生成の前にフィルタ制御のリクエストが入った場合は、フィルタ制御の実行のタイミングを後にずらす。このように構成することで第一の実施形態のように４枚すべてのフレームの生成が終わるまで待つことなく、フィルタ制御を実行することができる。フィルタ制御後のフレームと対となる対応するフレームを除外してＷＤＲ処理を行うため、ＷＤＲ処理で合成されるフレームに対して、フィルタ制御の影響を最小限に抑えることが可能になる。
【０１１４】
尚、上記の例ではＷＤＲ処理の合成枚数が２枚、４枚、６枚、８枚以上と偶数で構成されているが、適用されるケースはこれに限定されない。たとえば、合成枚数を奇数の５枚とした場合、３枚目のフレームを境として、露出が連続的に変化する設定の場合には、１枚目と５枚目、２枚目と４枚目を対になるフレームとするとよい。そして、システム制御部１００３は１枚目の後と２枚目の後、４枚目の後のタイミングをフィルタ制御可能なタイミングするとよい。このようにフレームは必ずしも連続しなくてもよく、システム制御部１００３が偶数枚のフレームを選択して合成するように構成してもよい。
【０１１５】
上記の例ではネットワークカメラ１０００が撮像しＷＤＲ処理を行って、処理した映像をクライアント装置１１００へ送信している。しかし、撮像部１００１が撮像した映像をネットワーク１２００経由でクライアント装置１１００に送り、クライアント装置１１００側が合成してＷＤＲ処理を行ってもよい。同様に映像処理部１００２、レンズ制御部１００５、記録部１００６の信号をネットワーク１２００経由でクライアント装置１１００に送り、クライアント装置１１００側のシステム制御部１１０３が、ネットワークカメラ１０００側のシステム制御部が行う処理を行ってもよい。
【０１１６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１７】
１０００  ネットワークカメラ
１００１  撮像部
１００２  映像処理部
１００３  システム制御部
１００４  レンズ駆動部
１００５  レンズ制御部
１００７  通信部
１１００  クライアント装置
【図１】
2020107999.tif 000003
【図２】
2020107999.tif 000004
【図３】
2020107999.tif 000005
【図４】
2020107999.tif 000006
【図５】
2020107999.tif 000007
【図６】
2020107999.tif 000008
【図７】
2020107999.tif 000009
【図８】
2020107999.tif 000010
【図９】
2020107999.tif 000011