(57)【要約】【課題】鑑賞しやすい動画を得ることができる画像処理方法を提供する。【解決手段】画像合成パラメータ決定部６６は、合成する画像から複数フレーム前、例えば１４９フレーム前までの全１５０フレームの画像合成パラメータＰ、または画像合成パラメータＰを求める際に参照した画像の特徴量の平均値を求め、この平均値を元にして画像合成パラメータＰを決定する。画像合成処理部６３では、画像合成パラメータ決定部６６で決定された画像合成パラメータＰを用いて高感度信号Ｈと低感度信号Ｌとを合成する。【選択図】        図６
2004297407.tif 000002
【特許請求の範囲】
【請求項１】
広いダイナミックレンジをもつ画像を得るために、撮像感度または露光量の異なる２画面の動画像を合成する画像処理方法において、
前記合成を行う際に用いられ、前記動画像の特徴量に応じて変化する画像合成パラメータを、
合成する画像から複数フレーム前までの画像合成パラメータまたは前記特徴量を元にして決定することを特徴とする画像処理方法。
【請求項２】
広いダイナミックレンジをもつ画像を得るために、撮像感度または露光量の異なる２画面の動画像を合成し、合成した動画像データに階調圧縮を施す画像処理方法において、
前記階調圧縮を行う際に用いられ、前記動画像の特徴量に応じて変化する階調圧縮パラメータを、
合成する画像から複数フレーム前までの階調圧縮パラメータまたは前記特徴量を元にして決定することを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、広いダイナミックレンジをもつ画像を得るために、撮像感度または露光量の異なる２画面の動画像を合成する画像処理方法に関する。
【０００２】
【従来の技術】
デジタルカメラに搭載されるＣＣＤイメージセンサなどの撮像素子は、画面の最も明るい部分から最も暗い部分までの階調を再現する能力、いわゆるダイナミックレンジが写真フイルムと比較して狭いため、明暗差の大きいシーンを撮影した場合には、高輝度域が白飛びしたり、低輝度域が黒くつぶれてしまう。
【０００３】
上記のような問題を解決するために、ＣＣＤの出力信号を、暗い部分を強調した階調補正を行う暗部階調補正回路と、明るい部分を強調した階調補正を行う明部階調補正回路との２回路に供給し、この２回路の出力画像を加算することにより、ダイナミックレンジの広い動画像を得ることができる撮像装置が提案されている（特許文献１参照）。また、露光量の異なる２画面の動画像を合成した後、画像の輝度変化に応じてダイナミックレンジの圧縮係数を切り換える画像処理装置が提案されている（特許文献２参照）。
【０００４】
【特許文献１】
特開平７−２１２６２０号公報
【特許文献２】
特開平９−２９８６８５号公報
【０００５】
【発明が解決しようとする課題】
ＣＣＤを搭載したデジタルカメラで動画撮影を行う場合、カメラ自体の移動、あるいは被写体の移動により撮影シーンが時間的に変化する。このため、特許文献１および２に記載される装置では、ダイナミックレンジが急激に変化する場合があり、撮影した動画像が見づらくなるおそれがある。
【０００６】
本発明は、動画の階調特性や明るさの時間的変化を緩やかにさせることで、鑑賞しやすい動画を得ることができる画像処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、広いダイナミックレンジをもつ画像を得るために、撮像感度または露光量の異なる２画面の動画像を合成する画像処理方法において、前記合成を行う際に用いられ、前記動画像の特徴量に応じて変化する画像合成パラメータを、合成する画像から複数フレーム前までの画像合成パラメータまたは前記特徴量を元にして決定することを特徴とする。
【０００８】
また、本発明は、広いダイナミックレンジをもつ画像を得るために、撮像感度または露光量の異なる２画面の動画像を合成し、合成した動画像データに階調圧縮を施す画像処理方法において、前記階調圧縮を行う際に用いられ、前記動画像の特徴量に応じて変化する階調圧縮パラメータを、合成する画像から複数フレーム前までの階調圧縮パラメータまたは前記特徴量を元にして決定することを特徴とする。
【０００９】
【発明の実施の形態】
図１および図２において、デジタルカメラ２の正面には、矢印方向にスライド操作自在なレンズバリア１０が設けられている。このレンズバリア１０を図１に示す開放位置にスライドさせることにより、撮像レンズ１１、ストロボ発光部１２が露呈して撮影可能な状態となる。
【００１０】
撮像レンズ１１の背後には、ＣＣＤ３０（図３参照）が配置されている。ＣＣＤ３０からの撮像信号は、Ａ／Ｄ変換器３１（図３参照）により、デジタルの画像データに変換される。この画像データは、デジタルカメラ２の背面に設けられた液晶表示器（ＬＣＤ）１３で、いわゆるスルー画像として表示される。また、デジタルカメラ２には光学ファインダを構成するファインダ対物窓１４およびファインダ接眼窓１５が設けられており、これらを通して被写体画像のフレーミングが行われる。
【００１１】
デジタルカメラ２の上面には、レリーズボタン１６が設けられている。このレリーズボタン１６は、２段階押しのスイッチとなっており、ＬＣＤ１３または光学ファインダによるフレーミングの後にレリーズボタン１６を軽く押圧すると、露光調整、撮像レンズ１１の焦点調整などの各種撮影準備処理が施される。撮影準備処理が施された撮像信号は、レリーズボタン１６を離すまでデータロックされる。そして、この状態でレリーズボタン１６をもう１度強く押圧すると、撮影準備処理が施された１画面分の撮像信号が画像データに変換された後、メモリカードスロット１７に着脱自在に装填されるメモリカード１８などの記憶媒体に保存される。
【００１２】
デジタルカメラ２の背面には、ＬＣＤ１３の他に、電源のオン／オフ切替えを行う電源ボタン、撮像レンズ１１のズームレンズをワイド側、テレ側に変倍するズーム操作ボタン、各種モードを選択するモード切替えスイッチ、およびＬＣＤ１３に表示されるメニュー画面内でカーソルを移動させるカーソル操作板からなる操作部１９（１点鎖線で囲む部分）が設けられている。
【００１３】
デジタルカメラ２では、静止画撮影を行う静止画撮影モード、動画撮影を行う動画撮影モード、撮影した画像をＬＣＤ１３に表示する再生モード、および各種設定を行うセットアップモードなどが選択可能となっており、操作部１９のモード切替えスイッチを操作することで、これらのモードの切替えが行われる。
【００１４】
デジタルカメラ２の電気的構成を示す図３において、撮像レンズ１１の背後には、撮像レンズ１１を透過した被写体光が入射されるＣＣＤ３０が配置されている。ＣＣＤ３０から出力された撮像信号は、図示しない相関二重サンプリング回路に入力され、ＣＣＤ３０の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力される。相関二重サンプリング回路から出力された画像データは、増幅器（図示せず）で増幅され、Ａ／Ｄ変換器３１でデジタルデータに変換される。
【００１５】
Ａ／Ｄ変換器３１から出力された画像データは、画像信号処理回路３２に送信される。画像信号処理回路３２は、後述する各種画像処理を画像データに施す。画像処理後の画像データは、圧縮伸長処理回路３３により所定のファイル形式（例えばＪＰＥＧ形式）で画像圧縮される。
【００１６】
圧縮伸長処理回路３３により圧縮された画像データは、カードＩ／Ｆ３４を介してメモリカード１８に保存される。または、外部Ｉ／Ｆ３５を介してパーソナルコンピュータなどの外部機器に送信される。あるいは、ＬＣＤドライバ３６を介してＬＣＤ１３に表示される。
【００１７】
ＣＰＵ３７は、システムバス３８を介して各部に接続し、デジタルカメラ２全体の動作を統括制御する。システムバス３８には、ＲＡＭ３９が接続されている。ＲＡＭ３９には、各種処理の実行に必要なデータが一時記憶される。ＣＰＵ３７には、前述のレリーズボタン１６、操作部１９の他に、ＥＥＰＲＯＭ４０、測光・測距回路４１が接続されている。ＥＥＰＲＯＭ４０には、各種制御用のプログラムや設定情報が記録されている。ＣＰＵ３７は、これらの情報をＥＥＰＲＯＭ４０から読み出して各種処理を実行する。
【００１８】
測光・測距回路４１は、被写体の輝度および撮像レンズ１１との距離を検出し、ＣＰＵ３７に検出結果を送信する。ＣＰＵ３７は、この検出結果に基づいて、適正な焦点距離および露光量となるように撮像レンズ１１の各種パラメータを調整する。測光・測距回路４１は、ＣＰＵ３７からフィードバックされる調整信号を元に、撮像レンズ１１、およびストロボ装置４２を制御するストロボ制御回路４３を駆動させる。
【００１９】
図４に示すように、ＣＣＤ３０には、１つの画素を構成する光電変換素子の受光部５０が、一定のピッチで複数配列されている。受光部５０は、いわゆるハニカム形状を有し、主感光部５０ａと、この主感光部５０ａよりも受光面積が小さい副感光部５０ｂとからなる。ＣＣＤ３０は、主感光部５０ａと副感光部５０ｂの信号電荷を別々に取り出せるようになっている。
【００２０】
図５に示すように、主感光部５０ａの信号出力は、副感光部５０ｂと比較して少ない入射光量で飽和する。これにより、主感光部５０ａからは、主として低輝度域から中輝度域の階調を表現する高感度信号Ｈが取り込まれ、副感光部５０ｂからは、高感度信号Ｈでは表現できない高輝度域の階調を表現する低感度信号Ｌが取り込まれる。
【００２１】
図６に示すように、本発明の第１の実施形態に係る画像信号処理回路３２には、マトリクス補正部６０ａ、６０ｂ、ホワイトバランス（ＷＢ）補正部６１ａ、６１ｂ、γ補正部６２ａ、６２ｂ、画像合成処理部６３などが設けられている。各補正部６０ａ〜６２ａ、６０ｂ〜６２ｂは、主副感光部５０ａ、５０ｂで取り込まれた高感度信号Ｈ、低感度信号Ｌに対して、それぞれ別々に各種補正を施す。
【００２２】
マトリクス補正部６０ａ、６０ｂは、リニアマトリクス変換式に基づいて色補正係数を補正する。ＷＢ補正部６１ａ、６１ｂは、色補正後の各データのホワイトバランスを調整する。γ補正部６２ａ、６２ｂは、ホワイトバランス調整後の各信号に対してγ補正を行う。γ補正後の各信号は、画像合成処理部６３に送信される。
【００２３】
画像合成処理部６３では、（１）式により高感度信号Ｈと低感度信号Ｌとを合成する。合成後の信号をＣとして、
Ｃ＝｛Ｈ＋Ｍｉｎ（Ｈ／Ｔ、１）×Ｌ｝×Ｍａｘ｛−０．２×Ｈ／Ｔ＋１、Ｐ｝    ・・・（１）
但し、Ｔは予め設定された閾値（図７参照）、Ｐは画像合成パラメータである。また、Ｍｉｎ（Ｈ／Ｔ、１）は、Ｈ／Ｔと１とを比較して小さい方を選択することを表し、Ｍａｘ｛−０．２×Ｈ／Ｔ＋１、Ｐ｝は、−０．２×Ｈ／Ｔ＋１とＰとを比較して大きい方を選択することを表す。
【００２４】
合成信号Ｃ、（１）式の第１項Ｘ１（｛Ｈ＋Ｍｉｎ（Ｈ／Ｔ、１）×Ｌ｝）、第２項Ｘ２（Ｍａｘ｛−０．２×Ｈ／Ｔ＋１、Ｐ｝）は、それぞれ図７、図８のように表される。すなわち、第１項Ｘ１では、高感度信号Ｈが閾値Ｔ以下のとき、高感度信号Ｈと低感度信号Ｌとがそのまま加算され、高感度信号Ｈが閾値Ｔ以上となると、低感度信号ＬにＨ／Ｔを乗じたものが高感度信号Ｈに加算される。第２項Ｘ２では、高感度信号Ｈが閾値Ｔ以下のとき、−０．２×Ｈ／Ｔ＋１が選択され、高感度信号Ｈが閾値Ｔ以上のとき、画像合成パラメータＰが選択される。なお、図７の縦軸に表記された２５５は、０〜２５５の２５６段階（８ビット）で画像の階調表現が行われることを例示している。
【００２５】
図６において、ＷＢ補正部６１ａ、６１ｂの出力側には、フレームメモリ６４が接続されている。このフレームメモリ６４には、動画撮影時にＷＢ補正部６１ａ、６１ｂから出力された１フレーム分の高感度信号Ｈおよび低感度信号Ｌが、順次または一定間隔で間引きされて書き込まれる。
【００２６】
画像合成パラメータＰは、画像の特徴量に応じて変化し、例えば低感度信号Ｌの出力の最大値などから求められる。ＣＰＵ３７は、フレームメモリ６４に書き込まれた１フレーム分の高感度信号Ｈおよび低感度信号Ｌを元に画像合成パラメータＰを求め、画像合成パラメータ記憶部６５に転送する。
【００２７】
画像合成パラメータ記憶部６５には、画像合成パラメータ決定部６６が接続されている。画像合成パラメータ決定部６６は、合成する画像から複数フレーム前、例えば１４９フレーム前までの全１５０フレームの画像合成パラメータＰ、または画像合成パラメータＰを求める際に参照した画像の特徴量（ここでは低感度信号Ｌの出力の最大値）の平均値を求め、この平均値を元にして画像合成パラメータＰを決定する。画像合成処理部６３では、画像合成パラメータ決定部６６で決定された画像合成パラメータＰを用いて、上記（１）式から合成信号Ｃを算出する。
【００２８】
図９に、本発明の第２の実施形態に係る画像信号処理回路７０の構成を示す。この画像信号処理回路７０には、マトリクス補正部７１ａ、７１ｂ、ホワイトバランス（ＷＢ）補正部７２ａ、７２ｂ、画像合成処理部７３、階調圧縮部７４、γ補正部７５、色差マトリクス補正部７６などが設けられている。高感度信号Ｈ、低感度信号Ｌは、マトリクス補正部７１ａ、７１ｂ、ＷＢ補正部７２ａ、７２ｂでそれぞれ別々に各種補正を施された後、画像合成処理部７３に送信される。
【００２９】
画像合成処理部７３では、（２）、（３）式により高感度信号Ｈと低感度信号Ｌとを合成する。合成後の信号をＣ’として、
Ｃ’＝αＨ＋βＬ                  ・・・（２）
Ｃ’＝αＨ＋２Ｌ−４０９５α      ・・・（３）
但し、（２）式は、測光・測距回路４１で検出される被写体の反射率が０〜１５０％であるとき、（３）式は、１５０〜３００％であるときにそれぞれ適用される。また、係数α、βは、β＝２−４αの関係を有し、デジタルカメラ２の階調特性に応じて予め設定される（例えばα＝０．４５、β＝０．２）。
【００３０】
（２）、（３）式により算出された合成信号Ｃ’は、図１０のように表される。ここで、図の縦軸に表記された４０９５は、０〜４０６５の４０９６段階（１２ビット）で画像の階調表現が行われることを例示している。また、合成信号Ｃ’で表現することが可能な被写体反射率の最大値を３００％としているが、本実施形態はこの値に特に限定されるものではない。
【００３１】
図９において、画像合成処理部７３は、合成信号Ｃ’を階調圧縮部７４に送信する。階調圧縮部７４は、画像中の最大被写体反射率に応じて変化する階調圧縮パラメータＰ’を用いて、図１１に示すような階調圧縮を合成信号Ｃ’に施す。すなわち、被写体反射率１００％（適正露出のとき）以下では、合成信号Ｃ’をそのまま用い、被写体反射率１００％〜３００％では、階調圧縮パラメータＰ’を用いて合成信号Ｃ’を階調圧縮し、図中Ｃ’１〜Ｃ’３の間の特性を得る。なお、図の縦軸に表記された１３６５は、予め設定された適正露出のときの階調値である。
【００３２】
画像合成処理部７３の出力側には、フレームメモリ７７が接続されている。このフレームメモリ７７には、動画撮影時に画像合成処理部７３から出力された１フレーム分の合成信号Ｃ’が、順次または一定間隔で間引きされて書き込まれる。ＣＰＵ３７は、フレームメモリ７７に書き込まれた１フレーム分の合成信号Ｃ’を元に階調圧縮パラメータＰ’を求め、階調圧縮パラメータ記憶部７８に転送する。
【００３３】
階調圧縮パラメータ記憶部７８には、階調圧縮パラメータ決定部７９が接続されている。階調圧縮パラメータ決定部７９は、合成する画像から複数フレーム前、例えば１４９フレーム前までの全１５０フレームの階調圧縮パラメータＰ’、または階調圧縮パラメータＰ’を求める際に参照した画像の特徴量（ここでは画像中の最大被写体反射率）の平均値を求め、この平均値を元にして階調圧縮パラメータＰ’を決定する。階調圧縮部７４では、階調圧縮パラメータ決定部７９で決定された階調圧縮パラメータＰ’を用いて合成信号Ｃ’に階調圧縮を施す。このような構成であると、カメラ自体の移動、あるいは被写体の移動により撮影シーンが変化した場合に、ダイナミックレンジが急激に変化することを抑制することができる。
【００３４】
なお、上記実施形態では、主感光部５０ａと副感光部５０ｂとからなるダブルハニカム構造を有するＣＣＤを用いたが、撮像感度または露光量の異なる２画面の動画像を得ることができればよく、本発明はこれに限定されない。また、画像合成および階調圧縮に用いた（１）〜（３）式やその方法は一例であり、仕様に応じて適宜変更可能である。さらに、画像合成パラメータＰ、階調圧縮パラメータＰ’、および特徴量の平均値を求める方法としては、単純な加算平均でもよいし、合成する画像からの時間差に応じた重み付け平均を用いてもよい。
【００３５】
【発明の効果】
以上のように、本発明の画像処理方法によれば、撮像感度または露光量の異なる２画面の動画像を合成する際に用いる画像合成パラメータ、あるいは合成した動画像データに階調圧縮を施す際に用いる階調圧縮パラメータを、合成する画像から複数フレーム前までのパラメータまたは画像の特徴量を元にして決定するので、動画の階調特性や明るさの時間的変化を緩やかにさせることができる。したがって、鑑賞しやすい動画を得ることができる。
【図面の簡単な説明】
【図１】デジタルカメラの正面概観斜視図である。
【図２】デジタルカメラの背面概観斜視図である。
【図３】デジタルカメラの電気的構成を示すブロック図である。
【図４】ＣＣＤの構成を示す拡大平面図である。
【図５】露光量に対する高感度信号と低感度信号の出力を示すグラフである。
【図６】本発明の第１の実施形態に係る画像信号処理回路の構成を示すブロック図である。
【図７】被写体輝度に対する高感度信号、低感度信号、（１）式の第１項、および合成信号の出力を示すグラフである。
【図８】高感度信号と（１）式の第２項との関係を示すグラフである。
【図９】本発明の第２の実施形態に係る画像信号処理回路の構成を示すブロック図である。
【図１０】被写体反射率に対する高感度信号、低感度信号、および合成信号の出力を示すグラフである。
【図１１】被写体反射率に対する階調圧縮後の合成信号の出力を示すグラフである。
【符号の説明】
２  デジタルカメラ
１１  撮像レンズ
１３  液晶表示器（ＬＣＤ）
１６  レリーズボタン
３０  ＣＣＤ
３２、７０  画像信号処理回路
３７  ＣＰＵ
４１  測光・測距回路
５０ａ  主感光部
５０ｂ  副感光部
６３、７３  画像合成処理部
６４、７７  フレームメモリ
６５  画像合成パラメータ記憶部
６６  画像合成パラメータ決定部
７４  階調圧縮部
７８  階調圧縮パラメータ記憶部
７９  階調圧縮パラメータ決定部
【図１】
2004297407.tif 000003
【図２】
2004297407.tif 000004
【図３】
2004297407.tif 000005
【図４】
2004297407.tif 000006
【図５】
2004297407.tif 000007
【図６】
2004297407.tif 000008
【図７】
2004297407.tif 000009
【図８】
2004297407.tif 000010
【図９】
2004297407.tif 000011
【図１０】
2004297407.tif 000012
【図１１】
2004297407.tif 000013