(57)【要約】【課題】フリッカ成分の検知精度を向上し、最適なフリッカ補正を施すことができるフリッカ検知装置及びその制御方法並びにプログラムを提供する。【解決手段】フリッカ検知装置としてのＣＰＵ１０１を搭載する撮像装置１００は、異なる露光量で撮影された複数の画像を合成して広ダイナミックレンジ画像を生成する際に、その複数の画像の１つを第１の画像として取得すると、そのフリッカ成分を評価する評価領域を取得する。そして、評価領域に基づき算出された重み付け量を用いて第１の画像の輝度データに対して重み付け処理を施し、フリッカ成分を検知する。広ダイナミックレンジ画像の生成に用いるための複数の画像が全て第１の画像として取得されるまで、上述の処理を繰り返し実行する。【選択図】図１
2019106673.tif 000002
【特許請求の範囲】
【請求項１】
異なる露光量で撮影された複数の画像を合成して広ダイナミックレンジ画像を生成する際に、前記複数の画像のフリッカ成分を検知するフリッカ検知装置であって、
前記複数の画像の１つを第１の画像として取得する第１の取得手段と、
前記第１の画像の輝度データを評価する評価手段と、
前記第１の画像におけるフリッカ成分を評価する領域を取得する第２の取得手段と、
前記第２の取得手段により取得された領域に基づき、前記評価手段で評価された輝度データに対する重み付け量を算出する第１の算出手段と、
前記第１の算出手段により算出された重み付け量を用いて、前記評価手段で評価された輝度データに対して重み付け処理を施し、前記第１の画像のフリッカ成分を検知する検知手段と、
前記第１の取得手段により、前記広ダイナミックレンジ画像の生成に用いるための前記複数の画像が全て前記第１の画像として取得されるまで、前記第１の取得手段、前記評価手段、前記第２の取得手段、前記第１の算出手段、及び前記検知手段の実行を繰り返す繰返手段とを備えることを特徴とするフリッカ検知装置。
【請求項２】
前記繰返手段により、前記第１の取得手段により現在取得されている画像の次に取得される画像がある場合、前記現在取得されている画像と次に取得される画像のそれぞれの露光量の差と前記評価手段による評価結果に基づき、前記次に取得される画像におけるフリッカ成分を評価する領域を算出する第２の算出手段を更に備え、
前記第２の取得手段は、前記第１の画像が前記第１の取得手段により最初に取得された画像ではない場合、前記領域として前記第２の算出手段により前回算出された領域を取得することを特徴とする請求項１記載のフリッカ検知装置。
【請求項３】
前記第１の取得手段は、前記第１の画像が前記複数の画像のうちの最初に撮影された画像である場合、前記領域としてデフォルト設定された領域を取得することを特徴とする請求項１又は２記載のフリッカ検知装置。
【請求項４】
前記検知手段で検知されたフリッカ成分に基づき、前記第１の画像のフリッカ補正を行う補正手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載のフリッカ検知装置。
【請求項５】
前記第１の画像及び前記検知手段で検知されたフリッカ成分を、前記フリッカ成分に基づき前記第１の画像のフリッカ補正を行う外部の画像処理装置に送信する送信手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載のフリッカ検知装置。
【請求項６】
前記第２の取得手段は、前記第１の画像に対して実施する画像解析で使用する第１の注視領域を前記領域として取得することを特徴とする請求項１記載のフリッカ検知装置。
【請求項７】
前記第２の取得手段は、前記第１の画像に対して実施する画像圧縮の圧縮効率が閾値より低い第２の注視領域を前記領域として取得することを特徴とする請求項１又は６記載のフリッカ検知装置。
【請求項８】
検知除外領域および検知除外時刻を指定する指定手段と、
ネットワーク時刻同期システムを用いて時刻情報を取得する第３の取得手段とを更に備え、
前記検知除外時刻が時刻情報に該当する場合、前記第１の算出手段は、前記検知除外領域に対して算出される前記重み付け量を小さくすることを特徴とする請求項６又は７記載のフリッカ検知装置。
【請求項９】
前記第１の取得手段は撮像手段であり、
前記撮像手段を駆動制御する駆動制御手段と、
前記繰返手段により、前記撮像手段により新たに画像が取得された際に、前記駆動制御手段による前記撮像手段の駆動制御により、前記撮像手段による前回の撮影により取得された画像からの画角の変化があるか判定する判定手段と、
前記画角の変化があると判定された場合に、その変化量を算出する第３の算出手段と、
前記算出された画角の変化量に基づき前記取得されたフリッカ成分を評価する領域を補正する補正手段とをさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載のフリッカ検知装置。
【請求項１０】
前記画角の変化がないと判定された場合であって、前記撮像手段による前回の撮影により取得された画像に対する前記検知されたフリッカ成分が収束している場合、前記検知手段は、前記撮像手段により新たに取得された画像を前記第１の画像とする場合のフリッカ成分として、前記収束しているフリッカ成分を用いることを特徴とする請求項９記載のフリッカ検知装置。
【請求項１１】
前記第１の算出手段により算出された重み付け量を格納する格納手段を備えることを特徴とする請求項１乃至１０のいずれか１項に記載のフリッカ検知装置。
【請求項１２】
前記第２の取得手段により取得された領域を前記第１の画像に重畳して表示する表示手段をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載のフリッカ検知装置。
【請求項１３】
異なる露光量で撮影された複数の画像を合成して広ダイナミックレンジ画像を生成する際に、前記複数の画像のフリッカ成分を検知するフリッカ検知装置の制御方法であって、
前記複数の画像の１つを第１の画像として取得する第１の取得ステップと、
前記第１の画像の輝度データを評価する評価ステップと、
前記第１の画像におけるフリッカ成分を評価する領域を取得する第２の取得ステップと、
前記第２の取得ステップにおいて取得された領域に基づき、前記評価ステップにおいて評価された輝度データに対する重み付け量を算出する第１の算出ステップと、
前記第１の算出ステップにおいて算出された重み付け量を用いて、前記評価ステップで評価された輝度データに対して重み付け処理を施し、前記第１の画像のフリッカ成分を検知する検知ステップと、
前記第１の取得ステップにおいて、前記広ダイナミックレンジ画像の生成に用いるための前記複数の画像が全て前記第１の画像として取得されるまで、前記第１の取得ステップ、前記評価ステップ、前記第２の取得ステップ、前記第１の算出ステップ、及び前記検知ステップにおける実行を繰り返す繰返ステップとを有することを特徴とする制御方法。
【請求項１４】
請求項１３記載の制御方法を実行することを特徴するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フリッカ検知装置及びその制御方法並びにプログラムに関し、特に、複数の画像を用いて広ダイナミックレンジ画像を生成する際にフリッカを補正するために用いられるフリッカ検知装置及びその制御方法並びにプログラムに関する。
【背景技術】
【０００２】
レンズの絞り、露光時間（シャッター速度）、感度（イメージセンサの光電変換率およびゲイン）の少なくとも１つを調整して露光量が異なる複数の画像を撮影し、その複数の画像を合成してダイナミックレンジを拡張した画像を得る撮像装置が知られている。
【０００３】
一方、撮像装置で複数の画像を撮影する際、その撮影タイミングや露光量と光源の明滅周期によってフリッカ、すなわち撮影で得られた複数の画像間で輝度にむら（ちらつき）が生じるという現象が生じる。フリッカの補正は撮影により得られた各画像の輝度のむらを解析してフリッカ成分を検知し、検知したフリッカ成分を打ち消すよう補正するという方法が一般的である。
【０００４】
また、ダイナミックレンジを拡張した画像を得る際、よりダイナミックレンジを広くするには、合成対象の各撮影画像の露光量の差を広げる必要がある。しかし、これにより、各撮影画像におけるフリッカ成分の位相および振幅、発生領域は大きく異なってしまうため、各撮影画像に対しより最適なフリッカ成分の検知、フリッカの補正を施す必要があるという課題が生じる。
【０００５】
このような課題を解決するために、特許文献１では、第１露光（露出が適正）で撮影した画像と第２露光（露出がアンダー）で撮影した画像を取得する。次に、第１露光の画像からフリッカ成分を検知し、その検知されたフリッカ成分を用いて第１露光の画像のフリッカを補正する。同様に、第２露光の画像からフリッカ成分を検知し、その検知されたフリッカ成分を用いて第２露光の画像のフリッカを補正する。その後、フリッカが補正された後の第１露光及び第２露光のそれぞれの画像を合成し、ダイナミックレンジを拡大した画像を得る技術が掲載されている。
【０００６】
また、特許文献２では、まず、第１の短い露光時間で撮影した画像からフリッカ成分の検知し、その検知されたフリッカ成分を用いて第１の短い露光時間で撮影した画像のフリッカを補正する。次に、第１の短い露光時間で撮影した画像から検知されたフリッカ成分に基づき、固体撮像素子の異なる領域に対して異なるゲイン調整を行った後、第２の長い露光時間の撮影を行い、その際のフリッカの発生を抑制する。そして、上記フリッカ補正後の第１の短い露光時間で撮影した画像と、上記ゲイン調整後の第２の長い露光時間で撮影した画像を合成し、ダイナミックレンジを拡大した画像を得る技術が掲載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−１７９９２４号公報
【特許文献２】特開２０００−９２３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１は第１露光で撮影した画像、第２露光で撮影した画像のそれぞれでフリッカ成分の検知およびフリッカの補正を行う。よって、露光がアンダーである第２露光で撮影した画像のみでフリッカ成分を精度よく検知し、フリッカを補正することは困難である。なぜなら、露光がアンダーである第２露光での撮影では、どのような撮影タイミングも光源の明滅周期と部分的にしか一致せず、フリッカが発生している領域が限定的となるからである。
【０００９】
また、特許文献２は第１の短い露光時間で撮影した画像においてフリッカ成分を検知した場合、フリッカの発生を抑制するよう第２の長い露光時間で撮影する際のゲインを調整する。このため、第２の長い露光時間で撮影可能な露光範囲が制限されてしまう。更には、特許文献１の場合と同様、第１の短い露光時間で撮影した画像のみからフリッカ成分を精度よく検知し、フリッカを補正することは困難である。
【００１０】
つまり、特許文献１，２では、いずれもフリッカの補正およびフリッカの発生を抑制しつつ、合成対象の撮影画像のそれぞれ露光量の差を広げより広ダイナミックレンジな画像を得ることが困難である。
【００１１】
そのため、より広ダイナミックレンジの画像を得るために合成対象の画像の数を増やし、それらの画像を撮影する露光量の差をより広げ、かつフリッカ成分を精度よく検知してフリッカの補正を施す手法が必要とされていた。
【００１２】
本発明は、フリッカ成分の検知精度を向上し、最適なフリッカ補正を施すことができるフリッカ検知装置及びその制御方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の請求項１に係るフリッカ検知装置は、異なる露光量で撮影された複数の画像を合成して広ダイナミックレンジ画像を生成する際に、前記複数の画像のフリッカ成分を検知するフリッカ検知装置であって、前記複数の画像の１つを第１の画像として取得する第１の取得手段と、前記第１の画像の輝度データを評価する評価手段と、前記第１の画像におけるフリッカ成分を評価する領域を取得する第２の取得手段と、前記第２の取得手段により取得された領域に基づき、前記評価手段で評価された輝度データに対する重み付け量を算出する第１の算出手段と、前記第１の算出手段により算出された重み付け量を用いて、前記評価手段で評価された輝度データに対して重み付け処理を施し、前記第１の画像のフリッカ成分を検知する検知手段と、前記第１の取得手段により、前記広ダイナミックレンジ画像の生成に用いるための前記複数の画像が全て前記第１の画像として取得されるまで、前記第１の取得手段、前記評価手段、前記第２の取得手段、前記第１の算出手段、及び前記検知手段の実行を繰り返す繰返手段とを備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、フリッカ成分の検知精度を向上し、最適なフリッカ補正施すことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態１〜４に係るフリッカ検知装置としてのＣＰＵが搭載された撮像装置のハードウェア構成を示すブロック図である。
【図２】実施形態１に係る撮像装置の各部の機能により実行されるフリッカ補正処理の手順を示すフローチャートである。
【図３】実施形態２に係る撮像装置の各部の機能により実行されるフリッカ補正処理の手順を示すフローチャートである。
【図４】実施形態３に係る撮像装置の各部の機能により実行されるフリッカ補正処理の手順を示すフローチャートである。
【図５】実施形態４に係る撮像装置の各部の機能により実行されるフリッカ補正処理の手順を示すフローチャートである。
【図６Ａ】実施形態１に係るフリッカ補正処理において最初に取得される画像、及びその画像の評価結果、並びに重み付けテーブルを示す模式図である。
【図６Ｂ】実施形態１に係るフリッカ補正処理において図６Ａに示す画像の次に取得される画像、及びその画像の評価結果、並びに重み付けテーブルを示す模式図である。
【図６Ｃ】実施形態１に係るフリッカ補正処理において図６Ｂに示す画像の次に取得される画像、及びその画像の評価結果、並びに重み付けテーブルを示す模式図である。
【図６Ｄ】実施形態１に係るフリッカ補正処理において図６Ｃに示す画像の次に取得される画像、及びその画像の評価結果、並びに重み付けテーブルを示す模式図である。
【図７】実施形態２に係るフリッカ補正処理において最初に取得される画像、及びその注視領域と検知除外領域、並びに重み付けテーブルを示す模式図である。
【発明を実施するための形態】
【００１６】
本発明に係るフリッカ検知装置は、動画像を撮像する機能を備えた様々な機器に搭載することが可能である。動画像を撮像する機能を備えた機器としては、例えばネットワークカメラ、ビデオカメラやスチルカメラなどの撮像装置、撮像機能を備えた携帯電話、携帯情報端末などが挙げられる。
【００１７】
以下、図１に示すように、本発明に係るフリッカ検知装置としてのＣＰＵ１０１が撮像装置１００に搭載された場合を例として、添付図面に従って本発明に係るフリッカ検知装置および制御方法並びにプログラムの最良の実施形態について詳説する。但し、本発明は以下の実施形態に限定されるものではない。
【００１８】
［全体構成］
図１は、本発明の実施形態１〜４に係るフリッカ検知装置としてのＣＰＵ１０１が搭載された撮像装置１００のハードウェア構成を示すブロック図である。
【００１９】
ＣＰＵ１０１は中央演算処理装置である。ＣＰＵ１０１は、評価領域算出部１０１−１、注視領域算出部１０１−２、重み付け量算出部１０１−３、フリッカ成分検知部１０１−４、制御部１０１−５、及び検知領域補正部１０１−６を有する。尚、注視領域算出部１０１−２及び検知領域補正部１０１−６は、実施形態２以降の形態で用いられる機能であり、実施形態１においては必須ではない。
【００２０】
撮像部１０２は、ズームレンズ１０２−１、フォーカスレンズ１０２−２、絞り１０２―３、およびイメージセンサ等で構成される撮像素子１０２−４を備えている。ズームレンズ１０２−１及びフォーカスレンズ１０２−２はそれぞれアクチュエータ１０８によって駆動され、光軸に沿って移動する。同様に、絞り１０２−３もアクチュエータ１０８に駆動されて動作する。さらに、撮像部１０２は、アクチュエータ１０８に駆動されてパン・チルト動作する。アクチュエータ１０８は制御部１０１−５によってその駆動制御が行われる。
【００２１】
撮像素子１０２−４はズームレンズ１０２−１、フォーカスレンズ１０２−２、および絞り１０２−３を通過した光を光電変換して、アナログ画像信号を生成する。生成したアナログ画像信号は、相関二重サンプリングなどのサンプリング処理による増幅処理が施された後、Ａ／Ｄ変換部１０３に出力される。撮像素子１０２−４における増幅処理に用いるパラメータは制御部１０１−５によって制御される。
【００２２】
Ａ／Ｄ変換部１０３は、撮像素子１０２−４からのアナログ画像信号をデジタル画像信号に変換する。Ａ／Ｄ変換部１０３は、変換によって得られたデジタル画像信号を画像処理部１０５に出力する。
【００２３】
画像入力コントローラ１０４は、Ａ／Ｄ変換部１０３からのデジタル画像信号を取り込み画像処理部１０５に出力する。
【００２４】
画像処理部１０５は、画像入力コントローラ１０４からのデジタル画像信号に対して、撮像素子１０２−４から出力される撮像時の感度情報、例えばＡＧＣ（自動利得制御）ゲインまたはＩＳＯ（国際標準化機構）感度に基づき各種デジタル画像処理を施す。その後、バス１０６を介してＲＡＭ１０７に出力して格納する。画像処理部１０５で実行される各種デジタル画像処理は、例えばオフセット処理、ガンマ補正処理、ゲイン処理、ＲＧＢ補間処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等である。
【００２５】
ＲＡＭ１０７はＳＲＡＭやＤＲＡＭ等の揮発性メモリである。ＲＯＭ１０９はＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリである。記憶装置１１１はＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）、ｅＭＭＣ（組み込み用のマルチメディアカード）等の記憶装置である。以下後述する実施形態１〜４に係るフリッカ補正処理を実現するためのプログラムや当該プログラムが実行される際に用いられるデータは、ＲＯＭ１０９もしくは記憶装置１１１に格納される。これらのプログラムやデータは、ＣＰＵ１０１による制御のもと、バス１０６を介して適宜ＲＡＭ１０７に取り込まれ、ＣＰＵ１０１によって実行され、実施形態１〜４に係るフリッカ補正処理を実現する。
【００２６】
Ｉ／Ｆ１１３は入出力に係る各種Ｉ／Ｆである。Ｉ／Ｆ１１３はリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、タッチパネル、キーボードやポインティングデバイス（例えばマウス）等の入力装置１１７と接続する。入力装置１１７に対してユーザ操作があったとき、入力装置１１７はそのユーザ操作に応じた指示情報を、Ｉ／Ｆ１１３及びバス１０６を介して、ＣＰＵ１０１に通知する。また、Ｉ／Ｆ１１３はＬＣＤディスプレイ等からなる表示装置１１８と接続する。表示装置１１８はＩ／Ｆを介してＲＡＭ１０７に一時的に記録された画像や操作メニューなどの情報を取得して表示する。さらにＩ／Ｆ１１３は不図示のＬＡＮを介してネットワーク１１９と接続する。
【００２７】
画像解析部１１５は、顔検知、動体検知、通過検知、混雑検知、軌跡検知、置き去り検知等の画像解析を行う処理部である。
【００２８】
圧縮伸長処理部１１６は、バス１０６を介してＣＰＵ１０１からの制御指示に従い、画像に圧縮処理を施して圧縮データを生成する。また、圧縮伸長処理部１１６は、ＣＰＵ１０１からの制御指示に従って、記憶装置１１１に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。所定形式の圧縮・伸長処理とは特に限定されるものではない。例えば、静止画像に対してはＪＰＥＧ規格に準拠した圧縮・伸長処理が行なわれ、動画像に対してはＭＯＴＩＯＩＮ−ＪＰＥＧ、ＭＰＥＧ２、ＡＶＣ／Ｈ．２６４、及びＡＶＣ／Ｈ．２６５のいずれかの規格に準拠した圧縮・伸長処理が行われる。
【００２９】
画像評価部１１０はＲＡＭ１０７に格納された画像に対して、輝度データの評価をおこない、バス１０６を介し、評価結果をＣＰＵ１０１に出力する。
【００３０】
フリッカ補正部１１２は、フリッカ成分検知部１０１−４における検知結果に基づきフリッカ成分を打ち消すよう画像の輝度ムラの補正を行う。
【００３１】
ダイナミックレンジ拡大処理部１１４は、ＲＡＭ１０７に格納された異なる露光量で撮影された複数の画像のそれぞれに対してフリッカ補正部１１２による補正が行われた後、その補正後の各画像を合成して広ダイナミックレンジの画像を生成する。異なる露光量で撮影された複数の画像を合成して広ダイナミックレンジの画像を生成する手法は公知であるため詳説を省略する。
【００３２】
［実施形態１］
実施形態１は、まず、撮像装置１００において、広ダイナミックレンジ画像を生成するための異なる露光量で撮影した複数の画像のそれぞれに対してフリッカ成分を検知する評価領域を算出する。その後、その評価領域に基づき各画像の輝度データの評価結果に対して重み付けを付加する。これにより、異なる露光量で撮影した複数の画像ごとに最適なフリッカ補正処理を施す。以下、具体的に説明する。
【００３３】
図２は、実施形態１に係る撮像装置１００の各部の機能により実行されるフリッカ補正処理の手順を示すフローチャートである。以下、実行主体について特に記載がない処理についてはＣＰＵ１０１により実行される。また、図６Ａ〜図６Ｄは、実施形態１に係るフリッカ補正処理において取得・生成される画像、及びその画像の評価結果、並びに重み付けテーブルを示す模式図である。
【００３４】
図２においてまず、ステップＳ２０１で画像が取得される。ズームレンズ１０２−１、フォーカスレンズ１０２−２、および絞り１０２−３を通過した光は、撮像素子１０２−４により、制御部１０１−５が指示する期間露光された後光電変換されて、アナログ画像信号が生成される。生成されたアナログ画像信号は、撮像素子１０２−４においてさらに相関二重サンプリングなどのサンプリング処理による増幅処理が施された後、Ａ／Ｄ変換部１０３によってデジタル画像信号に変換される。Ａ／Ｄ変換部１０３によって変換したデジタル画像信号は画像入力コントローラ１０４を介して画像処理部１０５に出力されると、画像処理部１０５によって前述する各種デジタル画像処理が施された後、バス１０６を介してＲＡＭ１０７に出力・格納される。
【００３５】
次にステップＳ２０２において、画像評価部１１０によって、ステップＳ２０１でＲＡＭ１０７に格納された画像が入力画像としてバス１０６を介して取得されると、その入力画像の輝度データが評価される。その後、評価結果が、画像評価部１１０からバス１０６を介してＣＰＵ１０１に出力される。
【００３６】
以下、この入力画像として異なる露光量で撮影された図６Ａ〜図６Ｄに示す第１画像６０１−１、第２画像６０１−２、第３画像６０１−３、及び第４画像６０１−４がステップＳ２０２で取得される場合について説明する。画像評価部１１０は、ＲＡＭ１０７から入力画像である第１画像６０１−１、第２画像６０１−２、第３画像６０１−３、第４画像６０１−４を取得すると、これらの入力画像に対する輝度データを評価する。その評価結果が、図６Ａ〜図６Ｄに示す第１画像評価結果６０２−１、第２画像評価結果６０２−２、第３画像評価結果６０２−３、第４画像評価結果６０２−４である。この評価結果は、入力画像の領域を任意の分割数で分割し、その分割された領域ごとに輝度データの平均値が算出された結果である。但し、入力画像の輝度データの評価方法は本実施形態に限定するものではない。
【００３７】
図２に戻り、次にステップＳ２０３において、ステップＳ２０２で評価された入力画像の１つを取得する。次に、その取得した画像が、ダイナミックレンジ拡大処理部１１４がダイナミックレンジの拡大処理に用いる画像として、最初にステップＳ２０１で取得された画像（第１画像）であるかが判断される。この判断の結果、第１画像である場合はデフォルト設定された領域（本実施形態においては入力画像の全体領域）をフリッカ成分を検知する評価領域に設定してステップＳ２０５に進み、第１画像でない場合はステップＳ２０４に進む。
【００３８】
ステップＳ２０４において、評価領域算出部１０１−１によって、後述するステップＳ２１１によって前回算出された評価領域を、バス１０６を介して、ＲＡＭ１０７もしくは記憶装置１１１から取得する。この取得の際、ステップＳ２０３で取得された入力画像にその取得した評価領域を重畳したものを表示装置１１８で表示するようにしてもよい。これにより、ユーザが評価領域算出部１０１−１によって算出されたその入力画像の評価領域を確認することができる。
【００３９】
ステップＳ２０５において、重み付け量算出部１０１−３が、ステップＳ２０３，Ｓ２０４のいずれかで設定又は取得された評価領域に基づき、ステップＳ２０２にて算出された入力画像の評価結果を重み付けするためのデータを作成する。その後、その作成されたデータはＲＡＭ１０７に格納される。ここで作成されるデータにおける重み付け量は、ステップＳ２０４によって取得したフリッカ成分の評価領域の中心向かって重みを置くよう算出される。
【００４０】
具体的には、ステップＳ２０３で取得された入力画像が第１の画像の場合は、図６Ａに示す第１画像重み付けテーブル６０３−１がステップＳ２０５で作成される。同様に、ステップＳ２０３で取得された入力画像が、ステップＳ２０１で第１の画像の次に取得された画像（第２の画像）である場合は、図６Ｂに示す第２画像重み付けテーブル６０３−２がステップＳ２０５で作成される。同様に、ステップＳ２０３で取得された入力画像が第３の画像や第４の画像である場合は、第３画像重み付けテーブル６０３−３、第４画像重み付けテーブル６０３−４がそれぞれ作成される。
【００４１】
尚、ステップＳ２０２における画像評価部１１０により算出された、入力画像の各分割された領域の輝度データの平均値に任意の範囲を満たしていないものがある場合、その領域における重み付け量を重み付け量算出部１０１−３は０とする。つまり、極端に明るいため撮影した被写体が白とびしていたり、極端に暗く撮影した被写体が黒つぶれしていたりする画像領域の重み付け量を０とする。これにより、フリッカ成分を検知する評価領域に適さない画像領域を除外することができる。但し、重み付け量の算出方法は本実施形態に限定するものではない。
【００４２】
ステップＳ２０６において、フリッカ成分検知部１０１−４によって、ステップＳ２０２で取得した入力画像の評価結果に対して、ステップＳ２０５で算出した重み付けテーブルを用いて重み付け処理を施し、フリッカ成分の検知を行う。本処理開始からｎ回目に取得した入力画像に含まれるフリッカ成分であるフリッカ波形（Ｆ（ｎ））は以下の近似式で表現ができる。
【００４３】
Ｆ（ｎ）＝Ａ（ｎ）ｓｉｎ（ω（ｎ）ｔ＋θ（ｎ））
Ａはフリッカ波形の振幅成分、ωはフリッカ波形の周波数成分、θはフリッカ波形の位相成分である。
【００４４】
上記近似式の各値は以下の方法により算出される。まず、ステップＳ２０６で重み付け処理が施された入力画像の評価結果に含まれるフリッカ波形の振幅成分Ａｎ、周波数成分ωｎ、及び位相成分θｎの値がヘテロダイン検波法により抽出される。次に、抽出されたフリッカ波形の振幅成分Ａｎ、周波数成分ωｎ、及び位相成分θｎは同様の方法で抽出されている前回の異なる露光量で撮影された入力画像に対するフリッカ波形の振幅成分Ａｎ−１、周波数成分ωｎ−１、及び位相成分θｎ−１と平均する。そして、この平均された値を、フリッカ波形の振幅成分Ａ（ｎ）、周波数成分ω（ｎ）、及び位相成分θ（ｎ）とする。すなわち、フリッカ波形の振幅成分Ａ（ｎ）、周波数成分ω（ｎ）、及び位相成分θ（ｎ）は次のように表現できる。
【００４５】
Ａ（ｎ）＝（Ａｎ＋Ａｎ−１）／２
ω（ｎ）＝（ωｎ＋ωｎ−１）／２
θ（ｎ）＝（θｎ＋θｎ−１）／２
但し、図２の処理を開始してから最初に取得した入力画像のフリッカ波形Ｆ（１）を算出する際は、前回取得した入力画像が存在せず、上記のような平均値を算出できない。よって、最初に取得した入力画像のフリッカ波形の振幅成分Ａ（１）はＡ１とする。同様に、フリッカ波形の周波数成分ω（ｎ）はω１とし、フリッカ波形の位相成分θ（ｎ）はθ１とする。
【００４６】
ステップＳ２０７において、ステップＳ２０６にて抽出したフリッカ波形Ｆ（ｎ）と前回の異なる露光量で撮影した入力画像から抽出した検知したフリッカ波形Ｆ（ｎ−１）の差が任意の閾値以内であるかを判定する。この判定により、ステップＳ２０６にて算出した入力画像に含まれるフリッカ成分であるフリッカ波形の抽出が十分に収束しているかを判断する。ステップＳ２０６にて抽出したフリッカ波形Ｆ（ｎ）が十分に収束しており、かつフリッカの補正を必要である振幅Ａ（ｎ）である場合はステップＳ２０８に進む。一方、ステップＳ２０６にて抽出したフリッカ波形Ｆ（ｎ）が十分に収束していない、もしくは振幅Ａ（ｎ）が任意の閾値を満たしていないため、フリッカの補正が必要ではないと判断した場合はステップＳ２１０に進む。尚、フリッカ波形Ｆ（１）については、前回取得した入力画像が存在せず、上記のような判定できないため、かかる判定は行うことなく、フリッカの補正が必要であると判断してステップＳ２０８に進む。
【００４７】
ステップＳ２０８において、フリッカ成分検知部１０１−４によって、ステップＳ２０６で検知したフリッカ波形Ｆ（ｎ）の逆位相の波形であるフリッカ補正波形Ｆ´（ｎ）が算出される。フリッカ補正波形は次のように表現ができる。
【００４８】
Ｆ´（ｎ）＝Ａ（ｎ）ｓｉｎ（ω（ｎ）ｔ＋θ（ｎ）＋π）
ステップＳ２０９において、フリッカ補正部１１２によって、フリッカの補正処理が入力画像に施される。具体的には、この処理では、ステップＳ２０１で取得しＲＡＭ１０７に格納した入力画像を、バス１０６を介して取得し、ステップＳ２０８にて算出したフリッカ補正波形Ｆ´（ｎ）に基づくゲイン処理を施す。その後、かかるゲイン処理後の入力画像をバス１０６を介してＲＡＭ１０７にフリッカ補正画像として出力・格納する。
【００４９】
尚、ステップＳ２０８，Ｓ２０９の処理は外部の装置において実行するようにしてもよい。この場合、ステップＳ２０７でＹＥＳと判定されたときに、ステップＳ２０１で取得しＲＡＭ１０７に格納した入力画像及びステップＳ２０６で検知したフリッカ波形Ｆ（ｎ）のデータをその外部の装置に送信し、ステップＳ２１０に進む。
【００５０】
ステップＳ２１０において、ステップＳ２０１にて取得した入力画像の中に、ダイナミックレンジ拡大処理部１１４がダイナミックレンジの拡大処理に用いる次に取得される入力画像（以下、「次の入力画像」という）があるかを判断する。次の入力画像がある場合は、ステップＳ２１１に進む。次の入力画像がない場合は、ステップＳ２１２に進む。
【００５１】
ステップＳ２１１は、評価領域算出部１０１−１によって、制御部１０１−５より現在取得されている入力画像（以下、「現在の入力画像」という）の露光量と次の入力画像の取得に係る露光量を取得し、現在の入力画像と次の入力画像の露光量の差を算出する。そして、評価領域算出部１０１−１はステップＳ２０２で取得した現在の入力画像の評価結果と、上記算出された現在の入力画像及び次の入力画像の露光量の差から、次の入力画像でフリッカ成分を評価する領域を算出する。具体的には、現在の入力画像が第１画像６０１−１である場合、まず、第１画像評価結果６０２−１（図６Ａ）と、第１画像６０１−１（図６Ａ）及び次の入力画像である第２画像６０１−２（図６Ｂ）の露光量の差の情報を取得する。その後、その取得した情報に基づき、極端に明るいため撮影した被写体が白とびしている画像領域や極端に暗いため撮影した被写体が黒つぶれしている画像領域を予測する。最後に、次の入力画像でフリッカ成分を検知する評価領域として、その予測された画像領域以外の領域６０１−２−１，６０１−２−２，６０１−２−３を算出する。また、現在の入力画像が第２画像６０１−２である場合、まず、第２画像評価結果６０２−２（図６Ｂ）と、第２画像６０１−２(図６Ｂ)及び次の入力画像である第３画像６０１−３(図６Ｃ)の露光量の差の情報を取得する。その後、その取得した情報に基づき、極端に明るいため撮影した被写体が白とびしている画像領域や極端に暗いため撮影した被写体が黒つぶれしている画像領域を予測する。最後に、次の入力画像でフリッカ成分を検知する評価領域として、その予測された画像領域以外の領域６０１−３−１，６０１−３−２を算出する。同様に、現在の入力画像が第３画像６０１−３である場合、まず、第３画像評価結果６０２−３（図６Ｃ）と、第３画像６０１−３(図６Ｃ)及び次の入力画像である第４画像６０１−４（図６Ｄ）の露光量の差の情報を取得する。その後、その取得した情報に基づき、極端に明るいため撮影した被写体が白とびしている画像領域や極端に暗いため撮影した被写体が黒つぶれしている画像領域を予測する。最後に、次の入力画像でフリッカ成分を検知する評価領域として、その予測された画像領域以外の領域６０１−４−１を算出する。このように算出された、次の入力画像でフリッカ成分を検知する評価領域は、バス１０６を介して、ＲＡＭ１０７もしくは記憶装置１１１に出力・格納される。
【００５２】
ステップＳ２１２において、ダイナミックレンジ拡大処理部１１４がダイナミックレンジの拡大に用いる画像がステップＳ２０１において全て取得済みであるかを判断する。ダイナミックレンジの拡大に用いる画像が全て取得済みである場合は、ステップＳ２１３に進む。ダイナミックレンジの拡大に用いる画像が全て取得済みでない場合は、ステップＳ２０１〜Ｓ２１１までの処理を繰り返す（繰返手段）。尚、ダイナミックレンジの拡大に用いる画像が全て取得済みであっても、ステップＳ２１０において次の入力画像があると判定された場合は、その判定された次の入力画像についてステップＳ２０３からの処理が実行される。
【００５３】
ステップＳ２１３は、ダイナミックレンジ拡大処理部１１４によって、ダイナミックレンジの拡大処理を施し、広ダイナミックレンジ画像を得る。ダイナミックレンジの拡大処理は、ステップＳ２０９においてＲＡＭ１０７に格納されたフリッカ補正済みの異なる露光量で撮影した複数の画像を、バス１０６を介して取得し、合成して広ダイナミックレンジ画像を生成し、本処理を終了する。生成した広ダイナミックレンジ画像は、バス１０６を介し、ＲＡＭ１０７に出力・格納する。広ダイナミックレンジ画像を生成するための具体的なダイナミックレンジの拡大処理は公知であるため省略する。
【００５４】
以上、本実施形態によれば、広ダイナミックレンジの画像を合成するために用いられる各画像に対して、極端に明るいため撮影した被写体が白とびしている画像領域や極端に暗いため撮影した被写体が黒つぶれしている画像領域を予測する。その後、その予測した領域におけるフリッカ成分の検知を排除する。これにより、フリッカ成分の検知精度を向上し、最適なフリッカ補正を効率よく施すことができる。
【００５５】
［実施形態２］
実施形態２は、まず、撮像装置１００において、広ダイナミックレンジ画像の生成のための異なる露光量で撮影した複数の画像のそれぞれに対して画像解析処理および画像圧縮処理に合わせてフリッカ成分を検知する注視領域を算出する。その後、その注視領域に基づき各画像の輝度データの評価結果に対して重み付けを付加する。これにより、異なる露光量で撮影した複数の画像ごとに最適なフリッカ補正処理を施す。以下、具体的に説明する。
【００５６】
図３は、実施形態２に係る撮像装置１００の各部の機能により実行されるフリッカ補正処理の手順を示すフローチャートである。また、図７は、実施形態２に係るフリッカ補正処理において最初に取得される画像、及びその注視領域と検知除外領域、並びに重み付けテーブルを示す模式図である。以下、実施形態１における説明と重複する部分については、詳細な説明を省略する。尚、図２と同様、実行主体について特に記載がない処理についてはＣＰＵ１０１により実行される。
【００５７】
図３においてまず、ステップＳ３０１，Ｓ３０２でそれぞれ、実施形態１におけるステップＳ２０１，Ｓ２０２と同処理が実行される。
【００５８】
次に、ステップＳ３０３において、注視領域算出部１０１−２によって、ステップＳ３０１で取得した入力画像に対する注視領域を取得する。例えば、図７に示す入力画像７０１に対して、画像解析部１１５による画像解析処理における顔検知、動体検知、通過検知、混雑検知、軌跡検知、置き去り検知等の画像解析に用いる領域７０１−１がフリッカ成分の検知のための注視領域として取得される。また、圧縮伸長処理部１１６における圧縮処理で使用する被写体の動きベクトルもしくは動き量を基にした圧縮効率が任意の閾値より低い領域７０１−２もフリッカ成分の検知のための注視領域として取得される。このとき、ステップＳ３０１で取得した入力画像にその取得した注視領域を重畳したものを表示装置１１８で表示することにより、ユーザが注視領域を確認することができるようにしてもよい。
【００５９】
ステップＳ３０４において、検知領域補正部１０１−６によって、フリッカ成分の検知除外領域が取得される。この検知除外領域を算出するために用いられる検知除外領域および検知除外時刻は、予め、ユーザ操作により入力装置１１７において指定され、ＣＰＵ１０１に通知されてある指示情報である。かかる通知があった場合、ＣＰＵ１０１はその検知除外領域および検知除外時刻をＩ／Ｆ１１３およびバス１０６を介し、ＲＯＭ１０９もしくは記憶装置１１１に記憶する。ステップＳ３０４の実行時、検知領域補正部１０１−６は、ＲＯＭ１０９もしくは記憶装置１１１に記憶されているその検知除外領域および検知除外時刻を、バス１０６を介して取得する。また、検知領域補正部１０１−６は、バス１０６およびＩ／Ｆ１１３、ネットワーク１１９を介して、現在の時刻を取得する。現在の時刻として取得される時刻情報はネットワーク時刻同期システム上のＲＴＣ（リアルタイムクロック）等を用いて取得しても構わない。その後、検知領域補正部１０１−６は、検知除外時刻が現在の時刻に該当する場合、検知除外領域７０１−３をＲＯＭ１０９もしくは記憶装置１１１から取得する。
【００６０】
ステップＳ３０５は、重み付け量算出部１０１−３によって、ステップＳ３０３，Ｓ３０４のそれぞれで取得又は算出した注視領域および検知除外領域から図７に示すステップＳ３０２にて算出した評価値に重み付けするための重み付けテーブルを算出する。重み付け量は、図７の重み付けテーブル７０２に示すように、ステップＳ３０３によって取得したフリッカ成分の検知のための各注視領域７０１−１，７０１−２の中心向かって重みを置くよう算出する。また、検知除外領域７０１−３の重み付け量は０とし、フリッカ成分の検知から除外する。但し、重み付け量の算出方法は本実施形態に限定するものではない。
【００６１】
尚、検知除外領域の重み付け量が小さく補正されるのであれば、ゼロでなくてもよい。例えば、注視領域に基づき算出された重み付け量を、検知除外領域においては１／２倍に補正するようにしてもよい。
【００６２】
また、実施形態１の重み付けテーブルと実施形態２の重み付けテーブルを加算平均し、合成することで、実施形態２は実施形態１の両方を同時に実施する事が可能である。但し、実施形態１の重み付けテーブルと実施形態２の重み付けテーブルを合成する方法は、本実施形態に示す方法に限定するものではない。
【００６３】
次に、ステップＳ３０６〜Ｓ３１１においてそれぞれ、実施形態１におけるステップＳ２０６〜Ｓ２０９，Ｓ２１２，Ｓ２１３と同処理が実行される。ステップＳ３１０において、ダイナミックレンジの拡大に用いる画像が全て取得済みでない場合は、ステップＳ３０１〜Ｓ３０９までの処理を繰り返す。
【００６４】
以上、本実施形態によれば、広ダイナミックレンジの画像を合成するために用いられる各画像に対し、画像解析処理および画像圧縮処理に用いる注視領域やユーザが設定した検知除外時間及び検知除外領域に基づきフリッカ成分を検知する領域を設定する。これにより、フリッカ成分の検知精度を向上し、最適なフリッカ補正を効率よく施すことができる。
【００６５】
［実施形態３］
実施形態３は、実施形態１および実施形態２の撮像装置において、ズームやパン・チルトによる画角の変化が生じた場合に、フリッカ成分を検知する評価領域又は注視領域を補正する。これにより、画角の変化に追従したフリッカ成分を検知する評価領域を算出する。以下、具体的に説明する。
【００６６】
図４は、実施形態３に係る撮像装置の各部の機能により実行されるフリッカ補正処理の手順を示すフローチャートである。本処理は、実施形態１におけるステップＳ２０１又は実施形態２におけるステップＳ３０１で画像が撮影により取得される毎に行われる。尚、図２、図３と同様、実行主体について特に記載がない処理についてはＣＰＵ１０１により実行される。
【００６７】
まずステップＳ４０１において、アクチュエータ１０８による撮像部１０２の駆動によって実施形態１，２のいずれかの前回の撮影により取得された入力画像（以下、「前回の入力画像」という）からの画角の変化があるかが制御部１０１−５により判断される。前回の入力画像から画角の変化がある場合、ステップＳ４０２に進む。一方、前回の入力画像から画角の変化がない場合は、本処理を終了し、実施形態１においてはステップＳ２０２へ、実施形態２においてはステップＳ３０２に進む。
【００６８】
ステップＳ４０２において、検知領域補正部１０１−６によって、前回の入力画像のフリッカ成分の検知時に、図２のステップＳ２１１で算出された評価領域もしくは図３のステップＳ３０３で取得された注視領域が取得される。
【００６９】
ステップＳ４０３において、検知領域補正部１０１−６によって、制御部１０１−５より制御部１０１−５によるアクチュエータ１０８の駆動量が取得され、これにより前回の入力画像からの画角の変化量が算出される。
【００７０】
ステップＳ４０４において、検知領域補正部１０１−６によって、ステップＳ４０２にて取得された評価領域もしくは注視領域に対して、ステップＳ４０３にて算出された前回の入力画像からの画角の変化量に基づく補正を施して、本処理を終了する。その後、実施形態１のステップＳ２０２又は実施形態２のステップＳ３０２に進む。尚、ステップＳ４０２において検知領域補正部１０１−６が評価領域及び注視領域の両方を取得するようにし、ステップＳ４０４において検知領域補正部１０１−６が評価領域及び注視領域の両方について上記補正を施すようにしてもよい。
【００７１】
以上、本実施形態によれば、ズームやパン・チルトによる画角の変化が生じた場合であっても、最適なフリッカ補正を効率よく施すことができる。
【００７２】
［実施形態４］
実施形態４は、実施形態１および実施形態２の撮像装置において、前回処理した画像から画角の変化がなく、フリッカ成分を検知が十分である（収束している）場合にフリッカ成分の検知を行わず、前回検知したフリッカ成分に対してフリッカの補正を行う。これにより、フリッカ検知処理を効率化する。以下、具体的に説明する。
【００７３】
図５は、実施形態４に係る撮像装置の各部の機能により実行されるフリッカ補正処理の手順を示すフローチャートである。以下、実施形態１〜３における説明と重複する部分については、詳細な説明を省略する。尚、図２〜図４と同様、実行主体について特に記載がない処理についてはＣＰＵ１０１により実行される。
【００７４】
図５において、まずステップＳ５０１で、制御部１０１−５により、実施形態３におけるステップＳ４０１と同一の処理により前回の入力画像から画角の変化があるかが判断される。この判断の結果、前回の入力画像から画角の変化がある場合、実施形態３におけるステップＳ４０２（図４）へ進む。一方、前回の入力画像から画角の変化がない場合は、ステップＳ５０２に進む。
【００７５】
ステップＳ５０２において、フリッカ成分検知部１０１−４によって、前回検知したフリッカ成分が収束しているか否かが判断される。具体的には、フリッカ成分検知部１０１−４によって前回検知したフリッカ波形Ｆ（Ｎ）と前前回検知したフリッカ波形Ｆ（Ｎ−１）の差が任意の閾値以上である場合、前回検知したフリッカ成分が収束していないと判断する。一方、この差が任意の閾値未満である場合は前回検知したフリッカ成分が収束していると判断する。この判断の結果、前回検知したフリッカ成分が収束していない場合（ステップＳ５０２でＮＯ）、実施形態１においてはステップＳ２０２へ、実施形態２においてはステップＳ３０２に進む。一方、前回検知したフリッカ成分が収束している場合（ステップＳ５０２でＹＥＳ）、その収束しているフリッカ成分を今回のフリッカ成分に設定し、実施形態１においてはステップＳ２０７へ、実施形態２においてはステップＳ３０７に進む。
【００７６】
以上、本実施形態によれば、フリッカ補正を実施形態１〜３より効率よく施すことができる。
【００７７】
［その他の実施例］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
【００７８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７９】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８０】
また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８１】
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【符号の説明】
【００８２】
１００  撮像装置
１０１  ＣＰＵ
１０２  撮像部
１０５  画像処理部
１０７  ＲＡＭ
１０８  アクチュエータ
１１０  画像評価部
１１１  記憶装置
１１２  フリッカ補正部
１１４  ダイナミックレンジ拡大処理部
１１５  画像解析部
１１６  圧縮伸長処理部
１１７  入力装置
１１８  表示装置
【図１】
2019106673.tif 000003
【図２】
2019106673.tif 000004
【図３】
2019106673.tif 000005
【図４】
2019106673.tif 000006
【図５】
2019106673.tif 000007
【図６Ａ】
2019106673.tif 000008
【図６Ｂ】
2019106673.tif 000009
【図６Ｃ】
2019106673.tif 000010
【図６Ｄ】
2019106673.tif 000011
【図７】
2019106673.tif 000012