(57)【要約】【課題】フラッシュの有無にかかわらず、１枚の撮像画像から適切に高ダイナミックレンジ画像を得られるようにすること。【解決手段】第１の撮像領域を第１の露光量で撮像し、前記第１の撮像領域と異なる第２の撮像領域を前記第１の露光量より低い第２の露光量で撮像する撮像手段と、前記第１の撮像領域を撮像して得られた第１の画像と、前記第２の撮像領域を撮像して得られた第２の画像とを合成して高ダイナミックレンジ画像を生成する画像合成手段と、撮像時にフラッシュを発光させる発光制御手段と、を備え、前記発光制御手段は、前記フラッシュの発光有無にかかわらず、前記第１の露光量と前記第２の露光量との比率が所定値となるように発光制御する、撮像装置が提供される。【選択図】図１
2013121130.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像領域を第１の露光量で撮像し、前記第１の撮像領域と異なる第２の撮像領域を前記第１の露光量より低い第２の露光量で撮像する撮像手段と、
前記第１の撮像領域を撮像して得られた第１の画像と、前記第２の撮像領域を撮像して得られた第２の画像とを合成して高ダイナミックレンジ画像を生成する画像合成手段と、
撮像時にフラッシュを発光させる発光制御手段と、
を備え、
前記発光制御手段は、前記フラッシュの発光有無にかかわらず、前記第１の露光量と前記第２の露光量との比率が所定値となるように発光制御する
ことを特徴とする、撮像装置。
【請求項２】
前記発光制御手段は、前記第１の撮像領域を撮像する際の露光期間における前記フラッシュの発光時間と、前記第２の撮像領域を撮像する際の露光期間における前記フラッシュの発光時間との比率が前記所定値となるように発光時間を制御する
ことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記発光制御手段は、１回の発光時間を所定時間とし、前記第１の撮像領域を撮像する際の露光期間における前記フラッシュの総発光時間と、前記第２の撮像領域を撮像する際の露光期間における前記フラッシュの総発光時間との比率が前記所定値となるように発光回数を制御する
ことを特徴とする、請求項１に記載の撮像装置。
【請求項４】
前記撮像手段は、前記第１及び第２の撮像領域に対する露光を同時に開始し、前記第２の撮像領域に対する露光を先に停止して前記第１の露光量と前記第２の露光量との比率が前記所定値となるように制御し、
前記発光制御手段は、前記第２の撮像領域に対する露光の停止タイミングを跨ぐように前記フラッシュの発光期間を調整し、１回の発光で前記第１の撮像領域を撮像する際の露光期間における前記フラッシュの発光時間と、前記第２の撮像領域を撮像する際の露光期間における前記フラッシュの発光時間との比率が前記所定値となるように発光開始及び発光停止のタイミングを制御する
ことを特徴とする、請求項１に記載の撮像装置。
【請求項５】
前記第１の撮像領域は、撮像素子を構成する奇数番目又は偶数番目のライン群に対応する領域であり、
前記第２の撮像領域は、前記撮像素子を構成する奇数番目又は偶数番目のライン群であって前記第１の撮像領域と異なるライン群に対応する領域である
ことを特徴とする、請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記画像合成手段は、
前記第１の画像をゲインダウンして第１のゲイン調整画像を生成し、前記第２の画像をゲインアップして第２のゲイン調整画像を生成するゲイン調整手段と、
補間処理により、前記第１の画像に基づいて前記第２の画像領域に対応する第２の補間画像を生成し、前記第２の画像に基づいて前記第１の画像領域に対応する第１の補間画像を生成する補間処理手段と、
前記第１のゲイン調整画像と前記第１の補間画像とをマージして第１のマージ画像を生成し、前記第２のゲイン調整画像と前記第２の補間画像とをマージして第２のマージ画像を生成するマージ処理手段と、
前記第１の画像と前記第２のマージ画像とを結合して得られる高輝度画像と、前記第２の画像と前記第１のマージ画像とを結合して得られる低輝度画像とを合成して前記高ダイナミックレンジ画像を生成する合成処理手段と、
を含む
ことを特徴とする、請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
第１の撮像領域を第１の露光量で撮像し、前記第１の撮像領域と異なる第２の撮像領域を前記第１の露光量より低い第２の露光量で撮像する撮像工程と、
撮像時にフラッシュを発光させる発光制御工程と、
前記第１の撮像領域を撮像して得られた第１の画像と、前記第２の撮像領域を撮像して得られた第２の画像とを合成して高ダイナミックレンジ画像を生成する画像合成工程と、
を含み、
前記発光制御工程では、前記フラッシュの発光有無にかかわらず、前記第１の露光量と前記第２の露光量との比率が所定値となるように発光制御が実施される
ことを特徴とする、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及び撮像方法に関する。
【背景技術】
【０００２】
ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサなどの撮像素子は、写真フィルムに比べるとダイナミックレンジが狭い傾向にある。そのため、こうした撮像素子を用いて撮像する場合、露光量を高くすると入射光量が多い画素で白飛びが生じてしまうことがあり、一方で、露光量を低くすると入射光量が少ない画素で黒つぶれが生じてしまうことがある。
【０００３】
こうした課題に対し、同一の被写体を複数の異なる露光量で撮像した画像を合成し、ダイナミックレンジの広い撮像素子で撮像した場合と同等の画質を有する画像（以下、ＨＤＲ画像）を得る方法が考案された。例えば、下記の特許文献１には、高露光量で撮像した画像と、低露光量で撮像した画像とを合成することによりＨＤＲ画像を得る方法が開示されている。確かに、この方法を適用すると、ダイナミックレンジが狭い傾向にあるイメージセンサを利用しても、広いダイナミックレンジを持つＨＤＲ画像が得られる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−０１６４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、高露光量で撮像するタイミングと低露光量で撮像するタイミングとが同時ではないため、被写体が完全に静止していない場合にはぶれが生じてしまう。そこで、１度の撮像動作で低輝度の画像と高輝度の画像とを得られるようにする方法が考案された。この方法は、撮像素子の奇数ラインで長時間露光し、偶数ラインで短時間露光して、高輝度の画像と低輝度の画像とを同時に得るというものである。但し、高輝度の画像を構成する偶数ラインの画素は奇数ラインの画素値を補間して生成され、低輝度の画像を構成する奇数ラインの画素は偶数ラインの画素値を補間して生成される。
【０００６】
上記の方法を適用すると、１度の撮像動作でＨＤＲ画像の生成に用いる高輝度の画像と低輝度の画像とが得られる。しかし、補間処理により生成されたラインの画素は、その位置に実際にある被写体の情報を含んでいない。そのため、被写体の情報が欠落している分だけ解像度の低下が生じてしまう。この問題に対し、高輝度の画像を構成する奇数ラインの画素をゲインダウンした画素と、低輝度の画像を構成する偶数ラインの画素をゲインアップした画素とを利用して解像度を向上させる方法が考案された。この方法において、当該ゲインアップ及びゲインダウンの調整値（以下、ゲイン調整値）は、奇数ラインの露光時間と偶数ラインの露光時間との比率により決定される。
【０００７】
つまり、露光時間と露光量とが比例するものと仮定してゲイン調整値が決められる。ストロボを発光させない場合、ライン毎に予め設定された露光時間に基づいてゲイン調整値が一意に決定され、上記のゲイン調整が正しく実行できる。しかし、ストロボを発光させると、露光量と露光時間とが比例しなくなる場合が生じ、正しくゲイン調整が実行できなくなってしまう。その結果、低輝度の画像と高輝度の画像とを合成して生成されたＨＤＲ画像にノイズが発生したり、著しい画質の劣化が生じてしまうことがある。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ストロボを発光した場合にも１度の撮像動作で正しくＨＤＲ画像を得ることが可能な、新規かつ改良された撮像装置、及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、第１の撮像領域を第１の露光量で撮像し、前記第１の撮像領域と異なる第２の撮像領域を前記第１の露光量より低い第２の露光量で撮像する撮像手段と、前記第１の撮像領域を撮像して得られた第１の画像と、前記第２の撮像領域を撮像して得られた第２の画像とを合成して高ダイナミックレンジ画像を生成する画像合成手段と、撮像時にフラッシュを発光させる発光制御手段と、を備え、前記発光制御手段は、前記フラッシュの発光有無にかかわらず、前記第１の露光量と前記第２の露光量との比率が所定値となるように発光制御する、撮像装置が提供される。
【００１０】
かかる構成により、第１の撮像領域における露光量と、第２の撮像領域における露光量との比率がフラッシュの発光によらず一定になるため、発光有無にかかわらず同じ仕組みで、第１の画像を第２の画像と同じ輝度にゲイン調整すること、及び第２の画像を第１の画像と同じ輝度にゲイン調整することが可能になる。その結果、フラッシュを発光しても高画質のＨＤＲ画像を得ることが可能になる。
【００１１】
また、前記発光制御手段は、前記第１の撮像領域を撮像する際の露光期間における前記フラッシュの発光時間と、前記第２の撮像領域を撮像する際の露光期間における前記フラッシュの発光時間との比率が前記所定値となるように発光時間を制御する構成であってもよい。このように、露光期間に応じて発光時間を調整することにより、露光量の比率を所定値に維持することが可能になる。
【００１２】
また、前記発光制御手段は、１回の発光時間を所定時間とし、前記第１の撮像領域を撮像する際の露光期間における前記フラッシュの総発光時間と、前記第２の撮像領域を撮像する際の露光期間における前記フラッシュの総発光時間との比率が前記所定値となるように発光回数を制御する構成であってもよい。このように、パルス発光の発光回数を制御することにより、露光量の比率を所定値に維持することが可能になる。
【００１３】
また、前記撮像手段は、前記第１及び第２の撮像領域に対する露光を同時に開始し、前記第２の撮像領域に対する露光を先に停止して前記第１の露光量と前記第２の露光量との比率が前記所定値となるように制御し、前記発光制御手段は、前記第２の撮像領域に対する露光の停止タイミングを跨ぐように前記フラッシュの発光期間を調整し、１回の発光で前記第１の撮像領域を撮像する際の露光期間における前記フラッシュの発光時間と、前記第２の撮像領域を撮像する際の露光期間における前記フラッシュの発光時間との比率が前記所定値となるように発光開始及び発光停止のタイミングを制御する構成であってもよい。このように、発光タイミングを制御することにより、露光量の比率を所定値に維持したまま、発光回数を１回にすることが可能になる。
【００１４】
また、前記第１の撮像領域は、撮像素子を構成する奇数番目又は偶数番目のライン群に対応する領域であってもよい。この場合、前記第２の撮像領域は、前記撮像素子を構成する奇数番目又は偶数番目のライン群であって前記第１の撮像領域と異なるライン群に対応する領域である。ライン毎に読み出す撮像素子を利用する場合、１又は複数のラインで構成されるライン群毎に撮像領域を設定することが好ましい。
【００１５】
また、前記画像合成手段は、前記第１の画像をゲインダウンして第１のゲイン調整画像を生成し、前記第２の画像をゲインアップして第２のゲイン調整画像を生成するゲイン調整手段と、補間処理により、前記第１の画像に基づいて前記第２の画像領域に対応する第２の補間画像を生成し、前記第２の画像に基づいて前記第１の画像領域に対応する第１の補間画像を生成する補間処理手段と、前記第１のゲイン調整画像と前記第１の補間画像とをマージして第１のマージ画像を生成し、前記第２のゲイン調整画像と前記第２の補間画像とをマージして第２のマージ画像を生成するマージ処理手段と、前記第１の画像と前記第２のマージ画像とを結合して得られる高輝度画像と、前記第２の画像と前記第１のマージ画像とを結合して得られる低輝度画像とを合成して前記高ダイナミックレンジ画像を生成する合成処理手段と、を含む構成であってもよい。かかる構成により、高解像度のＨＤＲ画像を得ることが可能になる。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、第１の撮像領域を第１の露光量で撮像し、前記第１の撮像領域と異なる第２の撮像領域を前記第１の露光量より低い第２の露光量で撮像する撮像工程と、撮像時にフラッシュを発光させる発光制御工程と、前記第１の撮像領域を撮像して得られた第１の画像と、前記第２の撮像領域を撮像して得られた第２の画像とを合成して高ダイナミックレンジ画像を生成する画像合成工程と、を含み、前記発光制御工程では、前記フラッシュの発光有無にかかわらず、前記第１の露光量と前記第２の露光量との比率が所定値となるように発光制御が実施される、撮像方法が提供される。
【００１７】
かかる構成により、第１の撮像領域における露光量と、第２の撮像領域における露光量との比率がフラッシュの発光によらず一定になるため、発光有無にかかわらず同じ仕組みで、第１の画像を第２の画像と同じ輝度にゲイン調整すること、及び第２の画像を第１の画像と同じ輝度にゲイン調整することが可能になる。その結果、フラッシュを発光しても高画質のＨＤＲ画像を得ることが可能になる。
【発明の効果】
【００１８】
以上説明したように本発明によれば、ストロボを発光した場合にも１度の撮像動作で正しくＨＤＲ画像を得ることが可能になる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態に係る撮像装置の構成例について説明するための説明図である。
【図２】同実施形態に係る画像信号処理部の詳細な機能構成について説明するための説明図である。
【図３】同実施形態に係る画像信号処理部の動作について説明するための説明図である。
【図４】同実施形態に係る画像信号処理部の動作について説明するための説明図である。
【図５】同実施形態に係る発光制御方法について説明するための説明図である。
【図６】同実施形態に係る発光制御方法について説明するための説明図である。
【図７】同実施形態に係る発光制御方法について説明するための説明図である。
【図８】同実施形態に係る発光制御方法について説明するための説明図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図１を参照しながら、本実施形態に係る撮像装置１００の全体的な構成について説明する。次いで、図２を参照しながら、本実施形態に係る撮像装置１００が有する画像信号処理部１０３の詳細な機能構成について説明する。次いで、図３及び図４を参照しながら、本実施形態に係るＨＤＲ画像の生成方法について説明する。次いで、図５〜図８を参照しながら、本実施形態に係る発光制御方法について説明する。
【００２２】
＜１：撮像装置１００の構成＞
以下、本実施形態に係る撮像装置１００の構成について説明する。
【００２３】
［１−１：撮像装置１００の全体構成］
まず、図１を参照しながら、本実施形態に係る撮像装置１００の全体構成について説明する。図１は、本実施形態に係る撮像装置１００の全体構成を示した説明図である。なお、図１に示した全体構成は一例であり、一部の構成要素を省略したり、追加したり、或いは、変更したりしてもよい。また、撮像装置１００は、例えば、静止画像を撮影可能なデジタルスチルカメラ、動画像を撮影可能なビデオカメラ、或いは、当該デジタルスチルカメラやビデオカメラと同等の撮像機能を搭載した携帯電話、ゲーム機、情報端末、パーソナルコンピュータなどである。
【００２４】
図１に示すように、撮像装置１００は、主に、レンズ１０１と、撮像素子１０２と、画像信号処理部１０３と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）１０４と、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０５と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０６と、制御部１０７と、操作部１０８と、圧縮処理部１０９と、モニタ駆動部１１０と、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）モニタ１１１と、メモリインターフェース１１２と、メモリカード１１３と、ストロボ１１４とにより構成される。但し、メモリカード１１３は、着脱可能であってもよい。
【００２５】
レンズ１０１は、外部の光情報を撮像素子１０２に結像させる光学系の一部を成し、被写体からの光を撮像素子１０２まで導光する。また、レンズ１０１を含む光学系は、例えば、ズームレンズ、絞り、フォーカスレンズなどで構成される。ズームレンズは、焦点距離を変化させて画角を変えるレンズである。絞りは、透過する光量を調節する機構である。フォーカスレンズは、光軸方向に移動することで撮像素子１０２の撮像面に被写体像を合焦させる。また、フォーカスレンズは、制御部１０７によって駆動制御される。
【００２６】
撮像素子１０２は、レンズ１０１を透過して入射した光を電気信号に変換する複数の光電変換素子で構成される。各光電素子は、受光した光量に応じた電気信号を生成する。なお、利用可能な撮像素子１０２としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサなどがある。また、撮像素子１０２は、電子シャッターにより一又は複数のラインを単位として露光領域を変えながら順次露光する際に、露光領域毎に異なる露光量で露光する機能を有する。また、フラッシュ機能が有効の場合、撮像素子１０２の露光動作に連動してストロボ１１４が発光する。撮像素子１０２及びストロボ１１４の動作は、制御部１０７により制御される。
【００２７】
また、撮像素子１０２は、ＣＤＳ／ＡＭＰ回路（非図示）に接続されている。さらに、ＣＤＳ／ＡＭＰ回路は、Ａ／Ｄ変換回路（非図示）などに接続される。なお、ＣＤＳはＣｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ（相関二重サンプリング）の略であり、ＡＭＰはＡｍｐｌｉｆｉｅｒ（増幅器）の略である。ＣＤＳ／ＡＭＰ回路は、撮像素子１０２から出力された電気信号に含まれるリセットノイズ及びアンプノイズを除去する。さらに、ＣＤＳ／ＡＭＰ回路は、リセットノイズ及びアンプノイズを除去した電気信号を所定のレベルまで増幅する。一方、Ａ／Ｄ変換回路は、ＣＤＳ／ＡＭＰ回路から出力されたアナログの電気信号をデジタル信号に変換する。そして、Ａ／Ｄ変換回路により生成されたデジタル信号は、画像信号処理部１０３に入力される。
【００２８】
画像信号処理部１０３は、入力されたデジタル信号に所定の信号処理を施す手段である。まず、デジタル信号が入力されると、画像信号処理部１０３は、撮像素子１０２の画素欠陥補正、黒レベル補正、シェーディング補正などの前処理を実行する。また、画像信号処理部１０３は、前処理後のデジタル信号を輝度信号と色信号とに変換する。さらに、画像信号処理部１０３は、ホワイトバランス制御値、γ値、エッジ強調制御値などに基づいてデジタル信号を補正して後段の画像処理に利用する画像信号を生成する。なお、本実施形態に係る画像信号処理部１０３は、当該後段の画像処理として、高ダイナミックレンジ画像（以下、ＨＤＲ画像）の生成処理を実行する。ＨＤＲ画像の生成処理については、後述する。
【００２９】
上記の画像信号は、ＤＲＡＭ１０５やメモリカード１１３に記録されるか、或いは、圧縮処理部１０９により圧縮符号化された後でメモリカード１１３に記録される。圧縮符号化の方式としては、例えば、ＪＰＥＧ形式やＭＰＥＧ形式などが利用される。なお、メモリカード１１３への記録は、メモリインターフェース１１２を介して実行される。また、この画像信号は、必要に応じて所定の処理が施された後にスルー画像としてＬＣＤモニタ１１１に表示される。なお、ＬＣＤモニタ１１１への表示は、モニタ駆動部１１０を介して実行される。なお、ＬＣＤモニタ１１１に代えて有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを撮像装置１００に搭載してもよい。
【００３０】
ところで、上記の説明においては、記録手段としてメモリカード１１３を例示したが、カード状ではない半導体記憶媒体、磁気記録媒体、光記録媒体、光磁気記録媒体などを画像信号の記録に利用してもよい。また、操作部１０８は、上下左右キー、電源スイッチ、モードダイアル、シャッターボタンなどで構成されていてもよい。なお、シャッターボタンは、半押し、全押し、解除などの押下状態を検出可能なものであってもよい。例えば、シャッターボタンが半押しされた場合にフォーカス制御が開始され、半押し解除でフォーカス制御が終了し、シャッターボタンが全押しされた場合に撮影が開始されるように構成されていてもよい。
【００３１】
以上、撮像装置１００の全体構成について説明した。
【００３２】
［１−２：露光制御方法］
ここで、本実施形態に係る露光制御方法について簡単に説明する。
【００３３】
ＨＤＲ画像を撮像する方法としては、同一の被写体を長時間露光及び短時間露光で撮像して高輝度画像と低輝度画像とを取得し、これら高輝度画像と低輝度画像とを合成してＨＤＲ画像を生成する方法が一般的である。しかし、長時間露光で撮像するタイミングと、短時間露光で撮像するタイミングとが異なると、被写体の動きなどの影響を受けてＨＤＲ画像の画質が著しく劣化してしまうという問題があった。この問題を解決するために、高輝度画像と低輝度画像とを同時に撮像する方法が考案された。
【００３４】
この方法は、撮像面を構成するライン毎に異なる露光量を設定し、１度の撮像動作により高輝度画像と低輝度画像とを取得するという方法である。例えば、奇数ラインの露光時間を短く設定し、偶数ラインの露光時間を長く設定すると、１度の撮像動作により、奇数ラインの画素で構成される低輝度画像と、偶数ラインの画素で構成される高輝度画像とが得られる。これら低輝度画像及び高輝度画像は同じタイミングで撮像されているため、両画像を合成して得られるＨＤＲ画像が被写体の動きなどの影響により生じる著しい劣化を避けることが可能になる。
【００３５】
本実施形態は、上記のように１度の撮像操作で高輝度画像と低輝度画像とを同時に得ることが可能な露光制御方法を前提としている。つまり、上記の撮像装置１００は、制御部１０７の機能により、ある撮像領域群について所定の露光時間で撮像し、他の撮像領域群について当該所定の露光時間とは異なる露光時間で撮像する制御を実施する。なお、露光制御の単位としては、例えば、一又は複数のラインで構成される撮像領域、又は任意の画素群で構成される撮像領域が考えられる。但し、以下においては、説明の都合上、一又は複数のラインで構成される撮像領域を単位として露光制御されることを前提に説明を進めるが、本実施形態に係る技術の適用範囲はこれに限定されない。
【００３６】
以上、本実施形態に係る露光制御方法について簡単に説明した。
【００３７】
［１−３：画像信号処理部１０３の構成］
次に、図２を参照しながら、画像信号処理部１０３の詳細な機能構成について説明する。図２は、画像信号処理部１０３が有する機能構成のうち、ＨＤＲ画像の生成処理に係る機能構成を示した説明図である。
【００３８】
図２に示すように、画像信号処理部１０３は、主に、画像分離部１３１と、高輝度画像補間部１３２と、輝度低減部１３３と、輝度増加部１３４と、低輝度画像補間部１３５と、高輝度画像ブレンド部１３６と、高輝度画像マージ部１３７と、低輝度画像ブレンド部１３８と、低輝度画像マージ部１３９と、ＨＤＲ処理部１４０とにより構成される。
【００３９】
画像信号処理部１０３には、撮像領域毎に異なる露光量で撮像された画像信号（以下、撮影画像ＰＩＮ）が入力される。ここでは、撮影画像ＰＩＮを構成する奇数番目のライン群が低露光量で撮像され、偶数番目のライン群が高露光量で撮像されたものとして説明を進める。この撮影画像ＰＩＮは、まず、画像分離部１３１に入力される。撮影画像ＰＩＮが入力されると、画像分離部１３１は、図３に示すように、入力された撮影画像ＰＩＮを偶数番目のライン群で構成される画像（以下、高輝度画像Ｐ１）と、奇数番目のライン群で構成される画像（以下、低輝度画像Ｐ２）とに分離する。
【００４０】
図２に示すように、高輝度画像Ｐ１は、高輝度画像補間部１３２、輝度低減部１３３、及び高輝度画像マージ部１３７に入力される。一方、低輝度画像Ｐ２は、輝度増加部１３４、低輝度画像補間部１３５、及び低輝度画像マージ部１３９に入力される。
【００４１】
高輝度画像Ｐ１が入力された高輝度画像補間部１３２は、図３に示すように、入力された高輝度画像Ｐ１を構成する偶数番目のライン群を用いて補間処理を実行し、奇数番目のライン群に対応する画素情報を推定して高輝度補間画像ＰＩＰ１を生成する。なお、補間処理の方法としては、例えば、最近傍補間、線形補間、多項式補間などの方法がある。また、高輝度補間画像ＰＩＰ１は、高輝度画像ブレンド部１３６に入力される。また、高輝度画像Ｐ１が入力された輝度低減部１３３は、図３に示すように、高輝度画像Ｐ１の輝度を低輝度画像Ｐ２と同じ輝度まで低減（ゲインダウン）し、輝度低減画像ＰＧＤを生成する。そして、輝度低減画像ＰＧＤは、低輝度画像ブレンド部１３８に入力される。
【００４２】
一方で、低輝度画像Ｐ２が入力された低輝度画像補間部１３５は、図３に示すように、入力された低輝度画像Ｐ２を構成する奇数番目のライン群を用いて補間処理を実行し、偶数番目のライン群に対応する画素情報を推定して低輝度補間画像ＰＩＰ２を生成する。なお、補間処理の方法としては、例えば、最近傍補間、線形補間、多項式補間などの方法がある。また、低輝度補間画像ＰＩＰ２は、低輝度画像ブレンド部１３８に入力される。また、低輝度画像Ｐ２が入力された輝度増加部１３４は、図３に示すように、低輝度画像Ｐ２の輝度を高輝度画像Ｐ１と同じ輝度まで増加（ゲインアップ）し、輝度増加画像ＰＧＵを生成する。そして、輝度増加画像ＰＧＵは、高輝度画像ブレンド部１３６に入力される。
【００４３】
上記の通り、高輝度画像ブレンド部１３６には、高輝度補間画像ＰＩＰ１及び輝度増加画像ＰＧＵが入力される。高輝度補間画像ＰＩＰ１及び輝度増加画像ＰＧＵが入力されると、高輝度画像ブレンド部１３６は、入力された高輝度補間画像ＰＩＰ１と輝度増加画像ＰＧＵとをブレンドし、高輝度ブレンド画像ＰＢＬ１を生成する。なお、ブレンドの方法としては、例えば、αブレンドなどの方法がある。高輝度ブレンド画像ＰＢＬ１は、高輝度画像マージ部１３７に入力される。このとき、高輝度画像マージ部１３７には、偶数番目のライン群で構成される高輝度画像Ｐ１と、奇数番目のライン群で構成される高輝度ブレンド画像ＰＢＬ１とが入力されている。
【００４４】
高輝度画像Ｐ１及び高輝度ブレンド画像ＰＢＬ１が入力されると、高輝度画像マージ部１３７は、入力された高輝度画像Ｐ１と高輝度ブレンド画像ＰＢＬ１とをマージして高輝度マージ画像ＰＭ１を生成する。つまり、高輝度マージ画像ＰＭ１を構成する偶数番目のライン群は、高輝度画像Ｐ１を構成する偶数番目のライン群で形成されている。一方、高輝度マージ画像ＰＭ１を構成する奇数番目のライン群は、高輝度ブレンド画像ＰＢＬ１を構成する奇数番目のライン群で形成されている。このようにして生成された高輝度マージ画像ＰＭ１は、ＨＤＲ処理部１４０に入力される。
【００４５】
一方で、低輝度画像ブレンド部１３８には、低輝度補間画像ＰＩＰ２及び輝度低減画像ＰＧＤが入力される。低輝度補間画像ＰＩＰ２及び輝度低減画像ＰＧＤが入力されると、低輝度画像ブレンド部１３８は、入力された低輝度補間画像ＰＩＰ２と輝度低減画像ＰＧＤとをブレンドし、低輝度ブレンド画像ＰＢＬ２を生成する。なお、ブレンドの方法としては、例えば、αブレンドなどの方法がある。低輝度ブレンド画像ＰＢＬ２は、低輝度画像マージ部１３９に入力される。このとき、低輝度画像マージ部１３９には、奇数番目のライン群で構成される低輝度画像Ｐ２と、偶数番目のライン群で構成される低輝度ブレンド画像ＰＢＬ２とが入力されている。
【００４６】
低輝度画像Ｐ２及び低輝度ブレンド画像ＰＢＬ２が入力されると、低輝度画像マージ部１３９は、入力された低輝度画像Ｐ２と低輝度ブレンド画像ＰＢＬ２とをマージして低輝度マージ画像ＰＭ２を生成する。つまり、低輝度マージ画像ＰＭ２を構成する奇数番目のライン群は、低輝度画像Ｐ２を構成する奇数番目のライン群で形成されている。一方、低輝度マージ画像ＰＭ２を構成する偶数番目のライン群は、低輝度ブレンド画像ＰＢＬ２を構成する偶数番目のライン群で形成されている。このようにして生成された低輝度マージ画像ＰＭ２は、ＨＤＲ処理部１４０に入力される。
【００４７】
高輝度マージ画像ＰＭ１及び低輝度マージ画像ＰＭ２が入力されると、ＨＤＲ処理部１４０は、入力された高輝度マージ画像ＰＭ１と低輝度マージ画像ＰＭ２とを合成してＨＤＲ画像ＰＨＤＲを生成する。このようにして生成されたＨＤＲ画像ＰＨＤＲは、画像信号処理部１０３から出力され、圧縮処理部１０９により圧縮処理が施されたり、ＬＣＤモニタ１１１に表示されたり、メモリカード１１３に記録されたりする。
【００４８】
以上、画像信号処理部１０３の詳細な機能構成について説明した。
【００４９】
［１−４：ＨＤＲ画像の生成処理の流れ］
ここで、図４を参照しながら、本実施形態に係るＨＤＲ画像の生成処理の全体的な流れについて説明する。図４は、本実施形態に係るＨＤＲ画像の生成処理の全体的な流れについて説明するための説明図である。なお、図４に示した処理は、主に、上述した画像信号処理部１０３の機能により実現される。
【００５０】
図４に示すように、まず、画像信号処理部１０３は、撮影画像ＰＩＮを高輝度画像Ｐ１と低輝度画像Ｐ２とに分離する（Ｓ１０１）。次いで、画像信号処理部１０３は、補間処理により高輝度画像Ｐ１から高輝度補間画像ＰＩＰ１を生成する（Ｓ１０２）。次いで、画像信号処理部１０３は、高輝度画像Ｐ１をゲインダウンして輝度低減画像ＰＧＤを生成する（Ｓ１０３）。
【００５１】
次いで、画像信号処理部１０３は、補間処理により低輝度画像Ｐ２から低輝度補間画像ＰＩＰ２を生成する（Ｓ１０４）。次いで、画像信号処理部１０３は、低輝度画像Ｐ２をゲインアップして輝度増加画像ＰＧＵを生成する（Ｓ１０５）。次いで、画像信号処理部１０３は、高輝度補間画像ＰＩＰ１及び輝度増加画像ＰＧＵをブレンドして高輝度ブレンド画像ＰＢＬ１を生成する（Ｓ１０６）。次いで、画像信号処理部１０３は、低輝度補間画像ＰＩＰ２及び輝度低減画像ＰＧＤをブレンドして低輝度ブレンド画像ＰＢＬ２を生成する（Ｓ１０７）。
【００５２】
次いで、画像信号処理部１０３は、高輝度ブレンド画像ＰＢＬ１と高輝度画像Ｐ１とをマージして高輝度マージ画像ＰＭ１を生成する（Ｓ１０８）。次いで、画像信号処理部１０３は、低輝度ブレンド画像ＰＢＲ２と低輝度画像Ｐ２とをマージして低輝度マージ画像ＰＭ２を生成する（Ｓ１０９）。次いで、画像信号処理部１０３は、高輝度マージ画像ＰＭ１と低輝度マージ画像ＰＭ２とを合成してＨＤＲ画像ＰＨＤＲを生成し（Ｓ１１０）、一連の処理を終了する。
【００５３】
以上、ＨＤＲ画像の生成処理の全体的な流れについて説明した。なお、上述した処理ステップのうち、一部の処理ステップについては順序を入れ替えてもよい。
【００５４】
＜２：ＨＤＲ撮影時の発光制御方法＞
次に、図５〜図８を参照しながら、本実施形態に係る発光制御方法について述べる。
【００５５】
［２−１：露光時間・発光時間・露光量の関係について］
まず、図５を参照する。上述した通り、ＨＤＲ画像を生成する際、画像信号処理部１０３は、高輝度画像Ｐ１及び低輝度画像Ｐ２のゲイン調整を実施する。このとき、画像信号処理部１０３は、高輝度画像Ｐ１の撮像時に用いた露光時間と、低輝度画像Ｐ２の撮像時に用いた露光時間とを基準に設定されたゲイン調整値に基づいてゲイン調整を実施する。
【００５６】
例えば、図５に示すように、高輝度画像Ｐ１に対応する露光時間をΔｔｌｏｎｇ、低輝度画像Ｐ２に対応する露光時間をΔｔｓｈｏｒｔとし、Δｔｌｏｎｇ＝Δｔｓｈｏｒｔ×３に設定されているものとする。この場合、画像信号処理部１０３は、高輝度画像Ｐ１に対応する露光量ＥＶ１と低輝度画像Ｐ２に対応する露光量ＥＶ２との比ΔＥＶをΔＥＶ＝Δｔｌｏｎｇ／Δｔｓｈｏｒｔ＝３と見積もる。そして、画像信号処理部１０３は、高輝度画像Ｐ１をゲインダウンする際に高輝度画像Ｐ１の輝度値を（１／ΔＥＶ）倍し、低輝度画像Ｐ２をゲインアップする際に低輝度画像Ｐ２の輝度値をΔＥＶ倍する。
【００５７】
ここで、ストロボ１１４の発光による影響について考えてみたい。例えば、図５に示すように、時刻ｔ１にて長時間露光による高輝度画像Ｐ１の撮像を開始し、時刻ｔ２にて短時間露光による低輝度画像Ｐ２の撮像を開始し、時刻ｔ３に両画像の撮像を終了する場合について考えてみよう。仮に、時刻ｔ１から時刻ｔ２までの期間にストロボ１１４を発光した場合、高輝度画像Ｐ１には発光による輝度値への影響が与えられるが、低輝度画像Ｐ２には発光による輝度値への影響がない。そのため、高輝度画像Ｐ１の輝度値と低輝度画像Ｐ２の輝度値との比は、露光時間の比ΔＥＶとは明らかに異なったものとなる。そのため、露光時間の比ΔＥＶに基づいてゲイン調整した画像を利用してＨＤＲ画像を生成すると、ＨＤＲ画像に著しい画質の劣化が生じてしまう。
【００５８】
そこで、本件発明者は、画像信号処理部１０３によるＨＤＲ画像の生成方法を変えずに、正しくゲイン調整が行われるようにする発光制御方法を考案した。以下、この発光制御方法の実施例について説明する。
【００５９】
［２−２：発光時間制御］
まず、図６を参照しながら、発光時間を制御して露光量を調整する方法について説明する。なお、ここでは説明の都合上、図５に示した露光制御方法の具体例を前提に説明を進めるが、露光開始／終了タイミングなどが変更された場合などにおいても、以下で説明する仕組みを同様に適用することができる。また、ここで説明する発光制御は、主に制御部１０７の機能により実現される。
【００６０】
図６には、高輝度画像Ｐ１の撮像動作に対応する露光開始時刻ｔ１、低輝度画像Ｐ２の撮像動作に対応する露光開始時刻ｔ２、露光終了時刻ｔ３に加え、ストロボ１１４の発光期間Δｔｒ１及びΔｔｒ２を示した。図６の例において、露光時間Δｔｌｏｎｇは、Δｔｌｏｎｇ＝Δｔｓｈｏｒｔ×３である。この場合、制御部１０７は、時刻ｔ１から時刻ｔ２までの期間に、発光時間Δｔｒ２の間だけストロボ１１４を発光させる。さらに、制御部１０７は、時刻ｔ２から時刻ｔ３までの期間に、発光時間Δｔｒ１の間だけストロボ１１４を発光させる。但し、発光時間Δｔｒ２は、Δｔｒ２＝Δｔｒ１×２である。
【００６１】
上記のように発光時間を制御すると、高輝度画像Ｐ１に対応する画素は、「（Δｔｒ１＋Δｔｒ２）×単位時間の発光量」だけの光量を得ることになる。一方、低輝度画像Ｐ２に対応する画素は、「Δｔｒ１×単位時間の発光量」だけの光量を得ることになる。つまり、高輝度画像Ｐ１に対応する画素が受ける光量と、低輝度画像Ｐ２に対応する画素が受ける光量との比は、（Δｔｒ１＋Δｔｒ２）／Δｔｒ１＝Δｔｒ１×３／Δｔｒ１＝３となり、露光時間の比と一致する。従って、露光時間の比を基準にゲイン調整を実施したとしても、正しく露光量に基づくゲイン調整が行われ、ストロボ１１４の発光に起因してＨＤＲ画像に著しい画質の劣化が生じることはない。
【００６２】
上記の発光制御方法について簡単にまとめると次のようになる。（１）高輝度画像Ｐ１に対応する画素だけが露光する第１の期間に、発光時間Δｔｒ２の発光期間を設ける。（２）高輝度画像Ｐ１及び低輝度画像Ｐ２に対応する画素が露光する第２の期間に、発光時間Δｔｒ１の発光期間を設ける。（３）高輝度画像Ｐ１に対応する露光時間Δｔｌｏｎｇと低輝度画像Ｐ２に対応する露光時間Δｔｓｈｏｒｔとの比「Δｔｌｏｎｇ／Δｔｓｈｏｒｔ」が、高輝度画像Ｐ１に対応する画素が発光を受ける期間（Δｔｒ１＋Δｔｒ２）と低輝度画像Ｐ２に対応する画素が発光を受ける期間Δｔｒ１との比「（Δｔｒ１＋Δｔｒ２）／Δｔｒ１」と一致するように、発光時間Δｔｒ１及びΔｔｒ２を設定する。
【００６３】
以上説明した発光制御方法を適用すると、撮像時にストロボ１１４を発光させた場合でも、１度の撮像動作でＨＤＲ画像を生成することが可能なアルゴリズムを用いて正しくＨＤＲ画像を生成することが可能になる。
【００６４】
［２−３：発光タイミング制御］
次に、図７を参照しながら、発光タイミングを制御して露光量を調整する方法について説明する。なお、ここでは説明の都合上、図５に示した露光制御方法の具体例を前提に説明を進めるが、露光開始／終了タイミングなどが変更された場合などにおいても、以下で説明する仕組みを同様に適用することができる。また、ここで説明する発光制御は、主に制御部１０７の機能により実現される。
【００６５】
図７には、高輝度画像Ｐ１の撮像動作に対応する露光開始時刻ｔ１、低輝度画像Ｐ２の撮像動作に対応する露光開始時刻ｔ２、露光終了時刻ｔ３に加え、ストロボ１１４の発光期間Δｔｒを示した。図７の例において、露光時間Δｔｌｏｎｇは、Δｔｌｏｎｇ＝Δｔｓｈｏｒｔ×３である。この場合、制御部１０７は、時刻ｔ２を跨ぐ期間に、発光時間Δｔｒで１度だけストロボ１１４を発光させる。このとき、ストロボ１１４の発光開始時刻から時刻ｔ２までの期間Δｔｒ２と、時刻ｔ２からストロボ１１４の発光終了時刻までの期間Δｔｒ１とは、Δｔｒ２＝Δｔｒ１×２の関係を有する。
【００６６】
上記のように発光時間を制御すると、高輝度画像Ｐ１に対応する画素は、「（Δｔｒ１＋Δｔｒ２）×単位時間の発光量」だけの光量を得ることになる。一方、低輝度画像Ｐ２に対応する画素は、「Δｔｒ１×単位時間の発光量」だけの光量を得ることになる。つまり、高輝度画像Ｐ１に対応する画素が受ける光量と、低輝度画像Ｐ２に対応する画素が受ける光量との比は、（Δｔｒ１＋Δｔｒ２）／Δｔｒ１＝Δｔｒ１×３／Δｔｒ１＝３となり、露光時間の比と一致する。従って、露光時間の比を基準にゲイン調整を実施したとしても、正しく露光量に基づくゲイン調整が行われ、ストロボ１１４の発光に起因してＨＤＲ画像に著しい画質の劣化が生じることはない。
【００６７】
上記の発光制御方法について簡単にまとめると次のようになる。（１）高輝度画像Ｐ１に対応する画素だけが露光する第１の期間に、発光時間Δｔｒ２の発光期間を確保する。（２）高輝度画像Ｐ１及び低輝度画像Ｐ２に対応する画素が露光する第２の期間に、発光時間Δｔｒ１の発光期間を確保する。（３）第２の期間が開始する時刻を跨ぐように発光期間を設定して１度だけ発光する。（４）高輝度画像Ｐ１に対応する露光時間Δｔｌｏｎｇと低輝度画像Ｐ２に対応する露光時間Δｔｓｈｏｒｔとの比「Δｔｌｏｎｇ／Δｔｓｈｏｒｔ」が、高輝度画像Ｐ１に対応する画素が発光を受ける期間（Δｔｒ１＋Δｔｒ２）と低輝度画像Ｐ２に対応する画素が発光を受ける期間Δｔｒ１との比「（Δｔｒ１＋Δｔｒ２）／Δｔｒ１」と一致するように、発光時間Δｔｒ１及びΔｔｒ２を設定する。
【００６８】
以上説明した発光制御方法を適用すると、撮像時にストロボ１１４を発光させた場合でも、１度の撮像動作でＨＤＲ画像を生成することが可能なアルゴリズムを用いて正しくＨＤＲ画像を生成することが可能になる。また、１度の撮像動作における発光回数が１回で済むため、消費電力の低減、発光制御の容易化、及び、発光に係る回路の耐久性向上などの効果が期待できる。
【００６９】
［２−４：パルス発光制御］
次に、図８を参照しながら、発光回数を制御して露光量を調整する方法について説明する。なお、ここでは説明の都合上、図５に示した露光制御方法の具体例を前提に説明を進めるが、露光開始／終了タイミングなどが変更された場合などにおいても、以下で説明する仕組みを同様に適用することができる。また、ここで説明する発光制御は、主に制御部１０７の機能により実現される。
【００７０】
図８には、高輝度画像Ｐ１の撮像動作に対応する露光開始時刻ｔ１、低輝度画像Ｐ２の撮像動作に対応する露光開始時刻ｔ２、露光終了時刻ｔ３に加え、ストロボ１１４の発光期間δｔｒ（δｔｒ：所定値）を示した。図８の例において、露光時間Δｔｌｏｎｇは、Δｔｌｏｎｇ＝Δｔｓｈｏｒｔ×３である。この場合、制御部１０７は、時刻ｔ１から時刻ｔ２までの期間に、総発光時間がΔｔｒ２となる回数（図８の例では４回）だけストロボ１１４を発光させる。さらに、制御部１０７は、時刻ｔ２から時刻ｔ３までの期間に、総発光時間がΔｔｒ１となる回数（図８の例では２回）だけストロボ１１４を発光させる。但し、発光時間Δｔｒ２は、Δｔｒ２＝Δｔｒ１×２である。
【００７１】
上記のように発光回数を制御すると、高輝度画像Ｐ１に対応する画素は、「（Δｔｒ１＋Δｔｒ２）×単位時間の発光量」だけの光量を得ることになる。一方、低輝度画像Ｐ２に対応する画素は、「Δｔｒ１×単位時間の発光量」だけの光量を得ることになる。つまり、高輝度画像Ｐ１に対応する画素が受ける光量と、低輝度画像Ｐ２に対応する画素が受ける光量との比は、（Δｔｒ１＋Δｔｒ２）／Δｔｒ１＝Δｔｒ１×３／Δｔｒ１＝３となり、露光時間の比と一致する。従って、露光時間の比を基準にゲイン調整を実施したとしても、正しく露光量に基づくゲイン調整が行われ、ストロボ１１４の発光に起因してＨＤＲ画像に著しい画質の劣化が生じることはない。
【００７２】
上記の発光制御方法について簡単にまとめると次のようになる。（１）高輝度画像Ｐ１に対応する画素だけが露光する第１の期間に、発光時間Δｔｒ２の発光期間を設ける。（２）高輝度画像Ｐ１及び低輝度画像Ｐ２に対応する画素が露光する第２の期間に、発光時間Δｔｒ１の発光期間を設ける。（３）第１の期間に総発光時間がΔｔｒ２となる発光回数だけ発光し、第２の期間に総発光時間がΔｔｒ１となる発光回数だけ発光する。（４）高輝度画像Ｐ１に対応する露光時間Δｔｌｏｎｇと低輝度画像Ｐ２に対応する露光時間Δｔｓｈｏｒｔとの比「Δｔｌｏｎｇ／Δｔｓｈｏｒｔ」が、高輝度画像Ｐ１に対応する画素が発光を受ける期間（Δｔｒ１＋Δｔｒ２）と低輝度画像Ｐ２に対応する画素が発光を受ける期間Δｔｒ１との比「（Δｔｒ１＋Δｔｒ２）／Δｔｒ１」と一致するように、発光時間Δｔｒ１及びΔｔｒ２（或いは、発光回数）を設定する。
【００７３】
以上説明した発光制御方法を適用すると、撮像時にストロボ１１４を発光させた場合でも、１度の撮像動作でＨＤＲ画像を生成することが可能なアルゴリズムを用いて正しくＨＤＲ画像を生成することが可能になる。また、発光回数で露光量を調整できるため、制御処理が容易になる。
【００７４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７５】
１００    撮像装置
１０１    レンズ
１０２    撮像素子
１０３    画像信号処理部
１０４    ＣＰＵ
１０５    ＤＲＡＭ
１０６    ＲＯＭ
１０７    制御部
１０８    操作部
１０９    圧縮処理部
１１０    モニタ駆動部
１１１    ＬＣＤモニタ
１１２    メモリインターフェース
１１３    メモリカード
１１４    ストロボ
１３１    画像分離部
１３２    高輝度画像補間部
１３３    輝度低減部
１３４    輝度増加部
１３５    低輝度画像補間部
１３６    高輝度画像ブレンド部
１３７    高輝度画像マージ部
１３８    低輝度画像ブレンド部
１３９    低輝度画像マージ部
１４０    ＨＤＲ処理部
【図１】
2013121130.tif 000003
【図２】
2013121130.tif 000004
【図３】
2013121130.tif 000005
【図４】
2013121130.tif 000006
【図５】
2013121130.tif 000007
【図６】
2013121130.tif 000008
【図７】
2013121130.tif 000009
【図８】
2013121130.tif 000010