(57)【要約】【課題】撮影時の処理を複雑化することなく、画像の再生時に環境光の変化の影響を低減することができる仕組みを提供する。【解決手段】画像処理装置は、再生する画像データを読み込む読み込み手段５，８と、前記再生する画像データに対する再生フレームレートを制御する再生フレームレート制御手段５と、環境光の発光パターン情報を取得する環境光情報取得手段５，７と、前記環境光情報取得手段により取得した前記発光パターン情報を用いて前記再生する画像データの色バランスを前記再生フレームレートでのフレーム画像ごとに調整する色バランス制御手段５，７とを備える。【選択図】図２
2015173386.tif 000002
【特許請求の範囲】
【請求項１】
再生する画像データを読み込む読み込み手段と、
前記再生する画像データに対する再生フレームレートを制御する再生フレームレート制御手段と、
環境光の発光パターン情報を取得する環境光情報取得手段と、
前記環境光情報取得手段により取得した前記発光パターン情報を用いて前記再生する画像データの色バランスを前記再生フレームレートでのフレーム画像ごとに調整する色バランス制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記環境光情報取得手段は、周期ごとに明滅する光源の少なくとも１周期に生成される複数のフレーム画像を選択して、前記選択したフレーム画像から前記光源の平均的な色情報を取得し、
前記色バランス制御手段は、前記光源の明滅による再生時のフレーム画像の色の変化を前記平均的な色情報を用いて調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色バランス制御手段は、前記再生時のフレーム画像から得た解像度に関する情報を前記平均的な色情報から得た各色の輝度差を用いて調整することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
撮影光学系と、前記撮影光学系を介して結像した被写体像を光電変換する撮像素子と、を備えることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
再生する画像データを読み込む読み込みステップと、
前記再生する画像データに対する再生フレームレートを制御する再生フレームレート制御ステップと、
環境光の発光パターン情報を取得する環境光情報取得ステップと、
前記環境光情報取得ステップで取得した前記発光パターン情報を用いて前記再生する画像データの色バランスを前記再生フレームレートでのフレーム画像ごとに調整する色バランス制御ステップと、を備えることを特徴とする画像処理装置の制御方法。
【請求項６】
再生する画像データを読み込む読み込みステップと、
前記再生する画像データに対する再生フレームレートを制御する再生フレームレート制御ステップと、
環境光の発光パターン情報を取得する環境光情報取得ステップと、
前記環境光情報取得ステップで取得した前記発光パターン情報を用いて前記再生する画像データの色バランスを前記再生フレームレートでのフレーム画像ごとに調整する色バランス制御ステップと、をコンピュータに実行させることを特徴とする画像処理装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に高フレームレートで撮影された画像を処理する例えばデジタルカメラ等の画像処理装置に関する。
【背景技術】
【０００２】
従来、蛍光灯、フリッカ及びＬＥＤ等の高周波で明滅する光源下の撮影で光源の影響を低減する技術が提案されている。
【０００３】
例えば、照明環境が異なる複数枚画像から照明成分による影響を取り除き、色再現性の高い画像を生成する技術が開示されている（特許文献１）。また、撮影条件を変化させながら取得した画像から画質評価を行い、画質が良い部分を切り出して一つの画像を生成する技術が開示されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３５８９４号公報
【特許文献２】特開２０１１−３００２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１及び２では、特に高フレームレートで撮影された動画の再生時に環境光の変化への対応が困難であり、また、撮影時の処理が複雑化してしまう。
【０００６】
そこで、本発明は、撮影時の処理を複雑化することなく、画像の再生時に環境光の変化の影響を低減することができる仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、再生する画像データを読み込む読み込み手段と、前記再生する画像データに対する再生フレームレートを制御する再生フレームレート制御手段と、環境光の発光パターン情報を取得する環境光情報取得手段と、前記環境光情報取得手段により取得した前記発光パターン情報を用いて前記再生する画像データの色バランスを前記再生フレームレートでのフレーム画像ごとに調整する色バランス制御手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影時の処理を複雑化することなく、画像の再生時に環境光の変化の影響を低減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の画像処理装置の実施形態の一例であるデジタルカメラの概略断面図である。
【図２】図１に示すデジタルカメラの電気系のブロック図である。
【図３】画像処理部での主要な機能を説明する概略ブロック図である。
【図４】環境光パターン、撮影フレームレート、及び再生フレームレートの時間的関係を模式的に示す図である。
【図５】（ａ）は撮影時の動作例を示すフローチャート図、（ｂ）は再生時の動作例を示すフローチャート図である。
【図６】画像処理部での環境光情報の取得動作を模式的に示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態の一例を説明する。
【００１１】
図１は、本発明の画像処理装置の実施形態の一例であるデジタルカメラの概略断面図である。図２は、図１に示すデジタルカメラの電気系のブロック図である。
【００１２】
本実施形態のデジタルカメラは、図１及び図２に示すように、カメラ本体１にレンズ鏡筒２が交換可能に装着される。カメラ本体１は、撮像素子６、クイックリターンミラー機構１４、ファインダ光学系１６、画像処理部７、メモリ部８、表示部９、カメラ制御回路５、操作検出部１０、及び焦点検出部１５を備える。レンズ鏡筒２は、撮影光学系３，レンズ駆動部１３、及びレンズ制御回路１２を備える。レンズ駆動部１３は、撮影光学系３を構成する不図示の焦点レンズ、像ブレ補正レンズ、及び絞り等を駆動する。
【００１３】
撮影時には、撮影光学系３を介して入射した被写体像が撮像素子６に結像し、撮像素子６は、結像した被写体像を光電変換して電気信号を出力する。また、焦点検出時には、クイックリターンミラー機構１４によって撮影光学系３を介して入射した被写体光束が分離されてファインダ光学系１６及び焦点検出部１５に導かれる。
【００１４】
焦点検出部１５及び不図示の測光手段により焦点評価量／適切な露光量に応じた信号が生成され、この信号に基づいて撮影光学系３が調整されることで、適切な光量の被写体光で撮像素子６が露光されて被写体像が結像する。
【００１５】
画像処理部７は、不図示のＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、及び補間演算回路等を有し、記録用の画像を生成する。また、画像処理部７は、メモリ部８から読み込んだ画像データから表示部９に表示する画像を生成する機能，及びメモリ部８に書き込まれた画像データから環境光情報を取得する環境光情報取得機能を有する。
【００１６】
メモリ部８は、メモリカード等の記録部に画像データを出力するとともに、表示部９に出力する画像データを生成及び保存する。また、メモリ部８は、予め定められた方法を用いて静止画、動画、及び音声等の圧縮処理を行う。メモリ部８は、本発明の読み込み手段の一例として機能する。
【００１７】
カメラ制御回路５は、カメラ全体の制御を司る。カメラ制御回路５は、例えば、不図示のレリーズ釦の押下を操作検出部１０が検出すると、検出信号に応じて撮像素子６の駆動、画像処理部７の動作、メモリ部８の圧縮処理などを制御し、また、表示部９に表示する画像の再生フレームレートを制御する。カメラ制御回路５は、本発明の再生フレームレート制御手段の一例として機能する。
【００１８】
また、カメラ制御回路５は、撮像素子６からの画像信号を基に焦点検出部１５及び不図示の測光手段を介して適切な焦点位置及び絞り位置を求め、電気接点１１を通じてレンズ制御回路１２に指令を出す。レンズ制御回路１２は、レンズ駆動部１３を介して撮影光学系３を構成する不図示の焦点レンズ及び絞り等の駆動を制御する。また、レンズ制御回路１２は、像ぶれ補正を行うモードにおいては、像ぶれ検出センサの信号を基にレンズ駆動部１３を介して像ブレ補正レンズの駆動を制御する。
【００１９】
図３は、本実施形態における画像処理部７での主要な機能を説明する概略ブロック図である。図３に示すように、画像処理部７は、基本的には、画像データ２１からホワイトバランス回路２４でホワイトバランス調整を行って再生用の画像データ２５を生成する。その際、画像データ２１、及び再生フレームレート情報２２を基に環境光情報２３を求め、ホワイトバランス回路２４は、この環境光情報を利用してホワイトバランス調整を行い、再生用の画像データ２５を生成する。ここでいう環境光とは、再生すべき画像が取得された時の照明光のことを指す。
【００２０】
本発明を適用する背景として、環境光は、人間の目には一定に光っているが、高速に明滅するような状況を想定している。例えば、蛍光灯のフリッカやＬＥＤでの時間分割での色混合を行っているような状態である。
【００２１】
このような環境光下で人間の目のローパスフィルタ効果による露光時間と同程度の露光時間（例えば３０ｆｐｓ）で画像を取得した場合には、明滅は平均化されて、各フレーム画像は、一定の環境光下であるかのうように撮影される。
【００２２】
一方、高フレームレート（例えば４８０ｆｐｓ）で撮影した場合には、環境光の明滅の影響を受けた画像が取得されて、各フレーム画像ごとに色や明るさが異なるように撮影される。
【００２３】
この点について、図４を参照して説明する。図４は、環境光パターン、撮影フレームレート、及び再生フレームレートの時間的関係を模式的に示す図である。
【００２４】
図４（ａ）は、環境光パターン（１８０Ｈｚ）及び撮影フレームレート（９００ｆｐｓ）の関係を示す。図４（ａ）の例では、１８０Ｈｚで明滅する環境光が１周期ごとに赤、緑、青と色が変化し、１／３周期で各色を時間分割混合している状況を示している。なお、高速に環境光が変化するものであれば、図４（ａ）の例に限定されるものではない。
【００２５】
図４（ｂ）は、再生フレームレート１（６０ｆｐｓ）、図４（ｃ）は、再生フレームレート２（９０ｆｐｓ）、図４（ｄ）は、再生フレームレート３（１８０ｆｐｓ）をそれぞれ示す。
【００２６】
このように複数の再生フレームレートを出したのは、高フレームレートの画像は、そのまま再生すると、スローモーション画像を見ているようになってしまう。つまり、表示部９に３０ｆｐｓで画像を表示しているときに、９００ｆｐｓで画像を表示すると、時間が３０倍に拡大されて１秒分の画像を再生するのに３０秒かかることになる。
【００２７】
非常にフレームレートを高くして撮影した場合に、決定的な瞬間をこのようにスローモーション画像を見ながら探すのでは効率が悪い。このため、再生時のフレームレートを変更しながら鑑賞することが想定される。すなわち、ユーザが見たい時間を粗くサーチするときは早送りの状態で選んでおき、決定的な瞬間はスローで再生するような鑑賞方法を想定している。
【００２８】
図４（ａ）の例では、環境光の変動周期と撮影フレームレートとの関係から各色の発光時間内に５つのフレーム画像が生成される。すなわち、赤、赤、赤、赤、赤、緑、緑、緑、緑、緑、青、青、青、青、青、……のフレーム画像が生成される。この状況で各フレーム画像を観察すると、赤っぽい画像、緑っぽい画像、青っぽい画像という順に現れることになる。
【００２９】
これを図４（ｂ）に示す１／１５に間引く再生フレームレート１で再生すると、赤い環境光の影響を受けたフレーム画像Ｆのみを選択することになる。この場合、再生画像が赤っぽくなってしまうことが考えられる。この再生フレームレート１では、１／１５の間引き画像を生成するときに加算ＬＰＦを掛けることで環境光の影響をキャンセルすることができるが、これは１／１５という周期が環境光の周期とたまたま一致したためである。
【００３０】
他の再生フレームレートでは、環境光の影響をキャンセルすることは簡単ではなく、特に高フレームレート画像をスローで再生する場合には影響を受けやすい。低フレームレートにして加算ＬＰＦを掛けると、環境光が十分に加算されるため、平均的な色のみが見えるためである。
【００３１】
一方、図４（ｃ）に示す１／１０に間引く再生フレームレート２で再生すると、環境光は、赤、青、緑の順で変化して、それぞれの色の影響を受けたフレーム画像Ｆが再生される。また、図４（ｄ）に示す１／５に間引く再生フレームレート３で再生すると、環境光は、赤、緑、青の順で変化して、それぞれの色の影響を受けたフレーム画像Ｆが再生される。
【００３２】
このように再生フレームレートの違いによって、環境光の影響具合やそのパターンは変化する。この関係は、環境光の発光パターン、画像取得時の撮影フレームレート、及び再生フレームレートによって決まる。
【００３３】
一般的には、画像取得時の撮影フレームレート、及び再生時の再生フレームレートは、既知であるが、環境光の発光パターンは知ることができない。本実施形態では、後述する図５及び図６で説明するように、画像処理部７で取得した環境光情報（環境光の発光パターン情報）を利用して再生画像を生成する。なお、デジタルカメラが環境光検知機能を有し、且つ画像データに環境光情報を記録しているような場合には、記録した環境光情報を利用しても良い。
【００３４】
次に、図５及び図６を参照して、図１及び図２に示すデジタルカメラの動作例について説明する。図５（ａ）は撮影時の動作例を示すフローチャート図、図５（ｂ）は再生時の動作例を示すフローチャート図である。図６は、画像処理部７での環境光情報の取得動作を模式的に示す図である。図５での各処理は、カメラ制御回路５のＲＯＭ等に格納された制御プログラムがＲＡＭに展開されてカメラ制御回路５のＣＰＵ等により実行される。
【００３５】
図５（ａ）において、ステップＳ１１０では、カメラ制御回路５は、例えばユーザにより録画ボタンがオン操作されると、画像処理部７を制御して、予め定められたフレームレートで撮像素子６の画像信号を読み出してＡ／Ｄ変換し、ステップＳ１１１に進む。
【００３６】
ステップＳ１１１では、カメラ制御回路５は、画像処理部７を制御して、ホワイトバランス調整、ガンマ補正、色補間の処理等を施し、ステップＳ１１２に進む。ここでいうホワイトバランス調整とは、平均化された光源色による簡易的なホワイトバランス調整である。
【００３７】
図６（ａ）を参照して具体的に説明すると、画像処理部７の環境光情報取得部は、まず多数のフレーム画像３１を取得して加算合成を行う。このときに取得するフレーム数は、人間の目のローパスフィルタ効果による時間よりも長い時間（例えば１／１０ｓ）分の画像を取得すれば十分である。そして、加算合成された画像３２をホワイトバランス回路に通して環境光の推定を行い、平均化された光源色を生成する。これは、人間の目に見えている環境光の色に近い色である。
【００３８】
ステップＳ１１２では、カメラ制御回路５は、画像処理部７を制御して、動画を所定のフォーマットでコーディングし、コード化された画像データを所定のファイル形式でメモリ部８に書き込み、ステップＳ１１３に進む。
【００３９】
ステップＳ１１３では、カメラ制御回路５は、画像処理部７を制御して、環境光情報を取得してメモリ部８に保持し、ステップＳ１１４に進む。
【００４０】
具体的には、図６（ａ）を参照して、ステップＳ１１１でホワイトバランス調整された加算合成画像３２に対して白い被写体が映っている個所を選択して各フレーム画像での光源色推定のための着目領域３２ａを選択し、環境光情報としてメモリ部８に保持する。白色は、あらゆる光源の光を反射している面なので図５（ｂ）のステップＳ２１３で行う再生フレーム画像との比較時に都合が良い。
【００４１】
ステップＳ１１４では、カメラ制御回路５は、ユーザにより録画ボタンがオフ操作されたかを判断し、オフ操作されると、ステップＳ１１５に進み、オフ操作されない場合は、ステップＳ１１０に戻る。
【００４２】
ステップＳ１１５では、カメラ制御回路５は、ステップＳ１１３で取得した環境光情報をメタデータに書き出すとともに画像ファイルを閉じ、撮影処理を終了する。
【００４３】
次に、図５（ｂ）を参照して、再生時の動作例を説明する。
【００４４】
図５（ｂ）において、ステップＳ２１０では、カメラ制御回路５は、例えばユーザにより再生ボタンがオン操作されると、再生処理を開始し、ユーザ操作により設定された再生フレームレート情報を取得して、ステップＳ２１１に進む。
【００４５】
ステップＳ２１１では、カメラ制御回路５は、画像処理部７を制御して、図５（ａ）のステップＳ１１２でメモリ部８に書き込まれたコード化された画像データを取得する。そして、カメラ制御回路５は、画像処理部７により、取得した画像データに対してデコードを施して再生用の画像データを生成し、ステップＳ２１２に進む。
【００４６】
ステップＳ２１２では、カメラ制御回路５は、図５（ａ）のステップＳ１１５でメタデータに書き出された環境光情報を読み出し、ステップＳ２１３に進む。
【００４７】
ステップＳ２１３では、カメラ制御回路５は、画像処理部７を制御して、ステップＳ２１０で取得した再生フレーム情報、ステップＳ２１２で取得した環境光情報を基に色バランス制御を行い、ステップＳ２１４に進む。
【００４８】
前述したように、環境光が時分割で変化する場合、色バランスがフレーム画像ごとに異なっている。そのため、画像処理部７は、色バランス制御をステップＳ２１０で取得した再生フレームレート情報に合わせてフレーム画像ごとに処理する。
【００４９】
図６を参照して具体的に説明すると、図６（ｃ）において、フレーム画像３３〜３５は、再生に用いるフレーム画像である。なお、再生に用いるフレーム画像は、再生時間×再生フレームレートの数だけ存在するが、説明の便宜上、赤、緑、青の環境光を受けたフレーム画像を代表して抜き出して３つのフレーム画像３３〜３５としている。
【００５０】
そして、図６（ｂ）に示すように、再生に用いるフレーム画像３３，３４，３５に対して図６（ａ）に示す着目領域３２ａと同じ領域を切り出して部分領域３３ａ，３４ａ，３５ａとする。このとき、部分領域３３ａ，３４ａ，３５ａには、被写体の色情報に加えて環境光の影響が重畳されている。
【００５１】
このため、本実施形態では、部分領域３３ａ，３４ａ，３５ａを着目領域３２ａの色と同じにするようにホワイトバランス回路においてホワイトバランス調整を行う。これにより、それぞれのフレーム画像３３，３４，３５に重畳している環境光の影響をキャンセルして一定の光源下で撮影したような再生画像を生成することができる。
【００５２】
すなわち、環境光の変化の影響を受けることなく、高品質な動画を再生することが可能となる。なお、解像度（輝度）に関する情報を各フレーム画像３３，３４，３５から得るとともに色情報（各色の輝度差）を合成画像３２から得て再生画像を生成することも可能である。
【００５３】
ステップＳ２１４では、カメラ制御回路５は、ステップＳ１３０で生成された再生画像を表示部９又は外部出力端子に出力し、ステップＳ２１５に進む。
【００５４】
ステップＳ２１５では、カメラ制御回路５は、ユーザにより再生ボタンがオフ操作されたかを判断し、オフ操作されない場合は、ステップＳ２１１に戻り、オフ操作された場合は、再生処理を終了する。
【００５５】
以上説明したように、本実施形態では、撮影時の処理を複雑化することなく、画像の再生時に環境光の変化の影響を低減することができる。
【００５６】
なお、本発明の構成は、上記実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
【００５７】
例えば、上記実施形態では、デジタルカメラに画像処理装置が内蔵されている場合を例示したが、画像処理装置は、撮像系と切り離されていても良い。
【００５８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することでも実現できる。
【符号の説明】
【００５９】
１  カメラ本体
３  撮影光学系
５  カメラ制御回路
６  撮像素子
７  画像処理部
８  メモリ部
９  表示部
Ｆ  フレーム画像
【図１】
2015173386.tif 000003
【図２】
2015173386.tif 000004
【図３】
2015173386.tif 000005
【図４】
2015173386.tif 000006
【図５】
2015173386.tif 000007
【図６】
2015173386.tif 000008