(57)【特許請求の範囲】
【請求項１】
連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、
上記出力画像を選択可能な選択部と、を有し、
上記画像処理部は、
撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
画像処理装置。
【請求項２】
上記画像処理部は、
オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する
請求項１記載の画像処理装置。
【請求項３】
上記画像処理部は、
露出量を複数段階で変化させて連続的に撮影され、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
請求項１記載の画像処理装置。
【請求項４】
上記選択部は、
高ダイナミックレンジ化処理された画像から、任意のショットを選択する
請求項１記載の画像処理装置。
【請求項５】
上記画像処理部は、
撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いて画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う
請求項４記載の画像処理装置。
【請求項６】
上記選択部は、
操作部を含み、当該操作部の操作に応じて任意のショットを選択する
請求項４または５記載の画像処理装置。
【請求項７】
選択画面を表示可能な表示部を有し、
上記選択部は、
所望される画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示する
請求項４または５記載の画像処理装置。
【請求項８】
上記画像処理部は、
複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する
請求項１記載の画像処理装置。
【請求項９】
異なる複数枚の画像を連続して撮影する撮像部と、
上記撮像部で連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、
上記出力画像を選択可能な選択部と、を有し、
上記画像処理部は、
上記撮像部に撮影条件を複数段階で変化させて連続的に撮影させ、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
撮像装置。
【請求項１０】
上記画像処理部は、
オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する
請求項９記載の撮像装置。
【請求項１１】
上記画像処理部は、
露出量を複数段階で変化させて連続的に撮影され、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
請求項９記載の撮像装置。
【請求項１２】
上記選択部は、
高ダイナミックレンジ化処理された画像から、任意のショットを選択する
請求項９記載の撮像装置。
【請求項１３】
上記画像処理部は、
撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いて画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う
請求項１２記載の撮像装置。
【請求項１４】
上記選択部は、
操作部を含み、当該操作部の操作に応じて任意のショットを選択する
請求項１２または１３記載の撮像装置。
【請求項１５】
選択画面を表示可能な表示部を有し、
上記選択部は、
所望される画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示する
請求項１２または１３記載の撮像装置。
【請求項１６】
上記画像処理部は、
複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する
請求項９記載の撮像装置。
【請求項１７】
異なる複数枚の画像を、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行う第１ステップと、
それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第２ステップと、
上記画像処理された画像を選択して出力する第３ステップと
を有する画像処理方法。
【請求項１８】
異なる複数枚の画像を、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行う第１処理と、
それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第２処理と、
上記画像処理された画像を選択して出力する第３処理と
を有する画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続的に複数枚の画像を撮影し、ダイナミックレンジを拡大した画像を合成する画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
複数枚の画像の撮影を行い、ダイナミックレンジを拡大した画像を合成する方法は種々提案されている（たとえば特許文献１，２，３、非特許文献１参照）
【０００３】
特許文献１には、露光条件を変えた複数枚の撮影画像から撮影に使うイメージセンサのダイナミックレンジを拡大する写真フィルムプレーヤが提案されている。
この写真フィルムプレーヤにおいては、１組の撮像素子に対して露光量が異なるように複数回の露光を行い、その操作によって得た画像を合成し、広ダイナミックレンジ画像を得ている。
【０００４】
特許文献２には、所定の露光時間に対応する単位画像データ群を読み出して合成し、合成画像を生成する撮像装置が提案されている。
【０００５】
特許文献３には、異なる露光感度条件で複数枚の画像を撮影させ、撮像された複数枚の画像データを一時的にＤＲＡＭに格納し、複数枚の画像データの中から適正な明るさの一枚の画像データを選択するカメラ装置が提案されている。
【０００６】
非特許文献１には、露光時間が長くて暗部まで諧調があるが画像のブレが大きい画像と、露光時間が短く画像のブレが少ないが露光不足で暗部がつぶれた画像を組み合わせて最適な画像を合成する技術が提案されている。
【０００７】
この技術では、低速撮影で手振れのある画像から手振れカーネル(Kernel)を算出してブレの少ない画像を算出する。Richardson-Lucy(RL) algorithmにより直接処理を行うとリンギング(Ringing)が残る。リンギングを低減するために、原画をそのまま使うのではなく、相対画像量（ブレのある画像から高速撮影画像に対してノイズのある程度除去した画像を差し引いた画像）を用いてＲＬを適用する。
それでもまだリンギングは残るが人間は小さなスケールのリンギングには感じにくいため、立ち上がりの急峻な部分にできる、目立つ大きなリンギングを除去する。
その方法はゲインコントロールＲＬアルゴリズムと呼んでいる。ゲインマップ画像（高速撮影画像からノイズのある程度除去した画像の勾配画像）を相対画像量に掛けることで繰り返し処理でのリンギングの増幅を抑えた。最後にＢｉｌａｔｅｒフィルタ処理を行う。
【特許文献１】特開平１−３１９３７０号公報
【特許文献２】特開２００７−２８１５４８号公報
【特許文献３】特開平１０−１５０６２０号公報
【非特許文献１】Image Deblurring with Blurred/Noisy Image Pairs  (SIGGRAPH 2007)
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように、複数枚の画像の撮影を行いダイナミックレンジを拡大した画像を合成する方法は存在する。
しかし、それらはいずれも一枚の画像取得を目的として取得画像のダイナミックレンジを拡大するものである。
したがって、連続した複数枚撮影を行いその中からユーザの好みの画像を選択する場合の効率が悪かった。
【０００９】
本発明は、連続した複数枚撮影を行いその中からユーザの好みの画像を効率よく選択することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の第１の観点の画像処理装置は、連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、上記出力画像を選択可能な選択部と、を有し、上記画像処理部は、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる。
【００１１】
好適には、上記画像処理部は、オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する。
【００１２】
好適には、上記画像処理部は、露出量を複数段階で変化させて連続的に撮影され、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる。
【００１３】
好適には、上記選択部は、高ダイナミックレンジ化処理された画像から、任意のショットを選択する。
【００１４】
好適には、上記画像処理部は、撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いて画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う。
【００１５】
好適には、上記選択部は、操作部を含み、当該操作部の操作に応じて任意のショットを選択する。
【００１６】
好適には、選択画面を表示可能な表示部を有し、上記選択部は、所望される画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示する。
【００１７】
好適には、上記画像処理部は、複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する。
【００１８】
本発明の第２の観点に係る撮像装置は、異なる複数枚の画像を連続して撮影する撮像部と、上記撮像部で連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、上記出力画像を選択可能な選択部と、を有し、上記画像処理部は、上記撮像部に撮影条件を複数段階で変化させて連続的に撮影させ、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる。
【００１９】
本発明の第３の観点の画像処理方法は、異なる複数枚の画像を、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行う第１ステップと、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第２ステップと、上記画像処理された画像を選択して出力する第３ステップとを有する。
【００２０】
本発明の第４の観点は、異なる複数枚の画像を、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行う第１処理と、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第２処理と、上記画像処理された画像を選択して出力する第３処理とを有する画像処理をコンピュータに実行させるプログラムである。
【００２１】
本発明によれば、画像処理部において、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理が行われる。
そして、画像処理部において、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップされる。
【発明の効果】
【００２２】
本発明によれば、連続した複数枚撮影を行いその中からユーザの好みの画像を効率よく選択することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施形態を図面に関連付けて説明する。
【００２４】
図１は、本発明の実施形態に係る画像処理装置を適用した撮像装置（カメラシステム）の構成例を示す図である。
【００２５】
本撮像装置１００は、連続的に複数枚の撮影を行い、それぞれの撮影での、たとえば露出量など撮影条件を一定の規則で変化させ、高ダイナミックレンジ化処理を行いながら、ユーザの好みの画像を選択する機能を有している。
撮像装置１００は、撮影条件を複数段階で変化させて連続的に撮影し、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる画像処理機能を有する。
この画像処理機能において、オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する。
【００２６】
また、撮像装置１００は、露出量を複数段階で変化させて連続的に撮影し、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる画像処理機能を有する。
撮像装置１００は、高ダイナミックレンジ化処理された画像から、ユーザの好みのショットを選択する選択機能を有している。
そして、画像処理機能は、撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いてユーザの画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う。
【００２７】
選択機能における上記したユーザの好みのショットの選択は、ユーザ操作で撮影画像を選択させる。撮影後ジョグダイアルをまわすと撮影画像を確認できて好みの画像で選択を行うなどの構成が採用可能である。
あるいは、選択機能は、ユーザの好みの画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示するような構成が採用可能である。
【００２８】
また、画像処理機能は、複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する。
【００２９】
このような特徴を有する撮像装置１００は、最適シャッターチャンス選択のための連続複数画像撮影における設定連続撮影枚数に対して１枚余分に撮影を行うだけで高ダイナミックレンジ化処理が可能となっている。なお、既存の方法では高ダイナミックレンジ化のためには２倍の枚数の撮影が必要であった。
【００３０】
図１の本撮像装置１００は、撮像部（カメラ）１０１、アナログデジタル（Ａ／Ｄ）変換器１０２、中央演算処理装置（ＣＰＵ）１０３、プログラムメモリ１０４、画像メモリ１０５、フラッシュメモリ１０６、ジョグダイアル１０７、画像モニタ１０８、および共有バス１０９を有する。
【００３１】
これの構成要素のうち、ＣＰＵ１０３、プログラムメモリ１０４、画像メモリ１０５、およびフラッシュメモリ１０６により画像処理部が構成される。換言すれば、これらの構成要素により画像処理機能が実現される。
また、ジョグダイアル１０７は選択部および操作部として機能し、画像モニタ１０８は表示部として機能する。
【００３２】
図１のシステム構成について説明する。
【００３３】
光学系およびＣＣＤやＣＭＯＳイメージセンサ等の撮像素子を含む撮像部（カメラ）１０１からのアナログ映像情報はＡ／Ｄ変換器１０２に入力されてディジタル情報に変換される。
Ａ／Ｄ変換器１０２は、ＣＰＵ１０３、プログラムメモリ１０４、画像メモリ１０５、フラッシュメモリ１０６、ジョグダイアル１０７、画像モニタ１０８とともに共有バス１０９に接続されている。そして、それぞれがメモリマップドＩ／ＯとしてＣＰＵ１０３からアクセス可能となっている。
画像アナログ情報のＡ／Ｄ変換が完了すると、割り込み信号が発生しＣＰＵ１０３に伝達され、プログラムメモリ１０４に格納された処理プログラムによりＣＰＵ１０３がＡ／Ｄ変換器１０２からのディジタル情報を画像メモリ１０５に転送する。
【００３４】
ここで、たとえばジョグダイアル１０７のダイアルの回転角の変化が検出されると、ジョグダイアル１０７からＣＰＵ１０３に割り込み信号が伝達される。
そして、プログラムメモリ１０４に格納された処理プログラムによりＣＰＵ１０３がジョグダイアル１０７の値を取り込み画像選択処理などに利用する。
最終的にユーザが選択した画像はＣＰＵ１０３に付随したＤＭＡ（ダイレクトメモリアクセス)機構を用いて画像メモリ１０５からフラッシュメモリ１０６に転送し、保存される。
【００３５】
また、プレビュー画像の確認などは画像メモリ１０５から画像モニタ１０８にＤＭＡによって画像データを転送して表示する。
【００３６】
以下に、本実施形態に係る撮像装置１００における「多段階露出と好みの画像選択処理」、「低解像度での好みの画像選択」、「好みの自動選択」、および「同一撮影画像データの再利用」の各処理について説明する。
【００３７】
まず、多段階露出と好みの画像選択を用いて典型的な実装とその基本的な動作について、図２に関連付けて説明を行う。
図２は、本実施形態に係る撮像装置１００における多段階露出と好みの画像選択処理について説明するための図である。
ここでは、説明の簡単化のために２段階の露出時間の変化による撮影での例を説明する。
【００３８】
撮影する露出時間の第一の露出時間を露出ＥＸＰ１、第二を露出ＥＸＰ２とする。
撮影を順番に画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、ＩＭＧ４と連続して行う。
画像処理部を構成するＣＰＵ１０３の制御の下、撮像部１０１により最初の画像ＩＭＧ１は露出ＥＸＰ１、次の画像ＩＭＧ２は露出ＥＸＰ２、その次の画像ＩＭＧ３は露出ＥＸＰ１、さらにその次の画像は露出ＥＸＰ２と設定して撮影を行う（ＳＴ１〜ＳＴ４）。
ＣＰＵ１０３は、画像ＩＭＧ１と画像ＩＭＧ２から複数撮影画像からの高ダイナミックレンジ化処理を行い、高ダイナミックレンジ化画像ＩＭＧ１２を取得する（ＳＴ５，ＳＴ６）。
つづいてＣＰＵ１０３は、ＩＭＧ画像２とＩＭＧ画像３から複数撮影画像からの高ダイナミックレンジ化処理を行い、高ダイナミックレンジ化画像ＩＭＧ２３を取得する（ＳＴ７，ＳＴ８）。
ＣＰＵ１０３は、高ダイナミックレンジ化画像ＩＭＧ１２と高ダイナミックレンジ化画像ＩＭＧ２３を用いて、ユーザの好みの画像選択としてジョグダイアル１０７の操作によりまたは自動選択を行う（ＳＴ９）。
これにより、ユーザは、最終的に高ダイナミックレンジで好みの画像を取得する（ＳＴ１０）。
【００３９】
高ダイナミックレンジ化処理はハードウエアとしてはひとつであっても複数であってもよい。
複数用意するなら同時に高ダイナミックレンジ化処理を行うことも可能であり、複数撮影画像からの高ダイナミックレンジ化処理の処理時間が長い場合に処理を高速化することが可能となる。
ここでは撮影が４枚までを図示しているが、３枚以上の連続撮影にも同様の処理を行う。同様というのは画像ＩＭＧ１と画像ＩＭＧ２で行った処理と同様の処理を画像ＩＭＧ２と画像ＩＭＧ３に行ったように、画像ＩＭＧ３と画像ＩＭＧ４に関しても連続的に実施するということである。
【００４０】
ＣＰＵ１０３は、画像データを入力として一般的なプロセッサのプログラム処理により高ダイナミックレンジ化画像を取得する。
この複数露出画像からの高ダイナミックレンジ化処理としては一般的な方法は複数存在する。
【００４１】
たとえば、ＣＰＵ１０３は、撮像素子の受光量がそれぞれ異なるように、露光量を制御しながら複数回露光し、この複数回路の露光毎にそれぞれ画像メモリ１０５に記憶させ、露光量に応じて画像を合成することにより、高ダイナミックレンジ化画像を取得する。
この技術については、特許文献１（特開平１−３１９３７０号公報）等に提案されている。
【００４２】
あるいは、ＣＰＵ１０３は、低速撮影で手振れのある画像から手振れカーネル(Kernel)を算出してブレの少ない画像を算出する。Richardson-Lucy(RL) algorithmにより直接処理を行うとリンギング(Ringing)が残る。
リンギングを低減するために、原画をそのまま使うのではなく、相対画像量（ブレのある画像から高速撮影画像に対してノイズのある程度除去した画像を差し引いたが像）を用いてＲＬを適用する。
それでもまだリンギングは残るが人間は小さなスケールのリンギングには感じにくいため、立ち上がりの急峻な部分にできる、目立つ大きなリンギングを除去する。
その方法はゲインコントロールＲＬアルゴリズムと呼んでいる。ゲインマップ画像（高速撮影画像からノイズのある程度除去した画像の勾配画像）を相対画像量に掛けることで繰り返し処理でのリンギングの増幅を抑えた。
最後にＢｉｌａｔｅｒフィルタ処理を行う。
【００４３】
この技術については、非特許文献１（Image Deblurring with Blurred/Noisy Image Pairs  (SIGGRAPH 2007)）に開示されている。
【００４４】
次に、低解像度での好みの画像選択処理を、図３に関連付けて説明する。
図３は、本実施形態に係る撮像装置１００における低解像度での好みの画像選択処理を説明するための図である。
【００４５】
この低解像度での好みの画像選択処理によりインタラクティブなプレビューのために操作を可能とする。
そのために、撮影画像の解像度を落として複数撮影画像からの高ダイナミックレンジ化のための処理量を減らし、ユーザの好みの画像を選択する前の高ダイナミックレンジ化処理の処理時間を短縮する。
【００４６】
画像処理部を構成するＣＰＵ１０３の制御の下、撮像部１０１により最初の画像ＩＭＧ１は露出ＥＸＰ１、次の画像ＩＭＧ２は露出ＥＸＰ２、その次の画像ＩＭＧ３は露出ＥＸＰ１、さらにその次の画像は露出ＥＸＰ２と設定して撮影を行う（ＳＴ１１〜ＳＴ１４）。
そして、ＣＰＵ１０３は、それぞれの撮影画像に低解像度化処理を行い、低解像度画像を取得する（ＳＴ１５〜ＳＴ１８）。
たとえば、画像ＩＭＧ２の低解像度画像は低解像度画像ＩＭＧ５とし、画像ＩＭＧ３の低解像度画像は低解像度画像ＩＭＧ６とする。
ＣＰＵ１０３は、低解像度画像ＩＭＧ５、ＩＭＧ６から複数撮影画像からの高ダイナミックレンジ化処理を行い（ＳＴ１９）、プレビュー用高ダイナミックレンジ化画像を得る（ＳＴ２０）。
【００４７】
なお、ＣＰＵ１０３は、画像ＩＭＧ２とＩＭＧ３の処理と画像ＩＭＧ３とＩＭＧ４の処理において画像ＩＭＧ３の低解像度画像ＩＭＧ６は同じであるので、画像ＩＭＧ３と画像ＩＭＧ４での処理に再利用する。
【００４８】
このプレビュー用高ダイナミックレンジ化画像を用いてユーザの好みの画像が確定した段階、すなわち画像を選択した後では、以下の処理となる。
画像処理部を構成するＣＰＵ１０３の制御の下、撮像部１０１により最初の画像ＩＭＧ１は露出ＥＸＰ１、次の画像ＩＭＧ２は露出ＥＸＰ２、その次の画像ＩＭＧ３は露出ＥＸＰ１、さらにその次の画像は露出ＥＸＰ２と設定して撮影を行って保存していた内の画像ＩＭＧ２とＩＭＧ３を用いて、ＣＰＵ１０３は、原画の解像度での複数撮影画像からの高ダイナミックレンジ化処理を行い（ＳＴ２５）、高ダイナミックレンジ化画像ＩＭＧ１２を得る（ＳＴ２６）。
【００４９】
ここでの低解像度化の処理結果などは画像メモリ１０５やフラッシュメモリに保持しておいて、オーバーラップする処理での再利用を行うことも処理の効率化に寄与することになる。
【００５０】
次に、好みの画像自動選択処理について図４に関連付けて説明する。
図４は、ユーザの好みの画像を自動的に選択する例として笑顔を検出する処理との組み合わせの例におけるフローチャートを示す図である。
【００５１】
ＣＰＵ１０３は、まずスタートで撮影カウントをゼロに設定、露出ＥＸＰをゼロに設定する（ＳＴ３１）。露出ＥＸＰゼロ（０）は特定の露出値の第一の設定値（１/６０秒など）である。
露出ＥＸＰ１は特定の露出値の第二の設定値（１/１２５秒など）である。
ＣＰＵ１０３の制御の下、撮像部１０１により選択された露出値を用いて撮影を行い（ＳＴ３２）、撮影画像として撮影カウントをインデックスとした画像として保存する。
ＣＰＵ１０３は、撮影カウントをひとつ増加させる（ＳＴ３３）。
ここで、ＣＰＵ１０３は、露出ＥＸＰがゼロである場合には（ＳＴ３４）、露出ＥＸＰを１に設定する（ＳＴ３５）。露出ＥＸＰが１である場合には（ＳＴ３４）、露出ＥＸＰをゼロに設定する（ＳＴ３６）。
これにより、露出値が第一の値と第二の値を交互に設定された撮影を順番に繰り返すことになる。
【００５２】
ここで、ＣＰＵ１０３は、撮影カウントが１であった場合には（ＳＴ３７）、もう一枚撮影しなければ高ダイナミックレンジ化画像生成処理ができないため、その場合にはステップＳＴ３２の撮影に戻る。
撮影カウントが１ではなかった場合には（ＳＴ３７）、高ダイナミックレンジ化画像生成処理が可能である。
したがって、ＣＰＵ１０３は、撮影画像[撮影カウント-1]と撮影画像[撮影カウント]を用いて高ダイナミックレンジ化画像生成を行い高ダイナミックレンジ化（Ｄ）画像[撮影カウント]に保存する（ＳＴ３８）。
【００５３】
次に、ＣＰＵ１０３は、高ダイナミックレンジ化（Ｄ）画像[撮影カウント]を用いて笑顔検出を行い（ＳＴ３９）、笑顔が検出できたか否かを判別する（ＳＴ４０）。
ステップＳＴ４０において、笑顔であることが検出できたと判別した場合、ＣＰＵ１０３はその検出画像高ダイナミックレンジ化（Ｄ）画像[撮影カウント]の表示を行い終わりとなる（ＳＴ４１）。
ステップＳＴ４０において、笑顔とは判定できなかったと判別した場合、ＣＰＵ１０３は、笑顔検出停止指示があるかどうか確認する（ＳＴ４２）。
そして、ステップＳＴ４２において、停止指示があると確認すると、ＣＰＵ１０３は、笑顔ではないが最後に撮影した高ダイナミックレンジ化（Ｄ）画像[撮影カウント]を表示して終わりとなる（ＳＴ４１）。
笑顔検出停止指示がないと判別した場合、ＣＰＵ１０３は、再びステップＳＴ３２の撮影に戻って同じ動作を繰り返す。
【００５４】
笑顔を判定するために、顔検出のための基本データ処理としての目の位置や口の位置などの判定結果はデータ量も少ないため、一旦メモリに保持しておいて、オーバーラップする処理での再利用を行う。
【００５５】
次に、同一撮影画像データの再利用について、図５に関連付けて説明する。
図５（Ａ）〜（Ｃ）は、本実施形態に係る撮像装置における同一撮影画像データの再利用について説明するための図である。
図５（Ａ）は撮影画像を、図５（Ｂ）は処理画像を、図５（Ｃ）は保存画像を、それぞれ示している。
【００５６】
連続撮影を行う場合に、人物撮影における背景画像など同一の映像を撮影することになる場合がある。
このような場合に、撮影条件が２条件であれば一つおきに同じデータが撮影される可能性があり、撮影条件が３条件であれば二つおきに同じ画像データが撮影される可能性がある。
撮影条件が２条件とは、たとえば露出条件がＥＸＰ１とＥＸＰ２の場合である。
この場合既に述べたように、画像処理部を構成するＣＰＵ１０３の制御の下、撮像部１０１により最初の画像ＩＭＧ１は露出ＥＸＰ１、次の画像ＩＭＧ２は露出ＥＸＰ２、その次の画像ＩＭＧ３は露出ＥＸＰ１、さらにその次の画像は露出ＥＸＰ２と設定して撮影を行う。
【００５７】
ＣＰＵ１０３は、撮影画像間の比較を行い同一とみなすことができる撮影画像データに対応する画像処理結果のデータを画像メモリ１０５やフラッシュメモリ１０６などに保存する。
そして、ＣＰＵ１０３は、撮影条件が２条件の場合などは、図５（Ａ）〜（Ｃ）に示すように、つぎのつぎに画像処理する場合にその処理結果を再利用することで、画像処理量が削減する。
また、画像が同じであるかどうかの比較は、撮影条件が２条件であれば一つおきなど、同じ撮影条件での撮影画像間で行うのみにするとよい。
これにより、明らかに異なるであろう画像の比較処理が不要となり、無駄な処理が削減され、画像処理効率が向上する。
さらに、画像そのものを保存して再利用する以外にも、目の位置、口の位置、画像の移動量などの画像の探索条件を保存して再利用することでも画像処理量を減らすことができる。
【００５８】
以上説明した本実施形態によれば、以下の効果を得ることが可能である。
既存の方法では高ダイナミックレンジ化のためには２倍の枚数の撮影が必要だったが、最適シャッターチャンス選択のための連続複数画像撮影における設定連続撮影枚数に対して１枚余分に撮影を行うだけで高ダイナミックレンジ化処理が可能である。
【００５９】
さらに補助的機能により下記の効果がある。
プレビューに対しては高速化高ダイナミックレンジ画像表示によりユーザのインタラクティブな操作が快適になる。
ユーザが好みの画像を選択する場合にもより鮮明な画像により正しい判断が可能となる。
ユーザの好みの画像の自動選択においてより正確な選択が可能となる。
【００６０】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施形態に係る画像処理装置を適用した撮像装置の構成例を示す図である。
【図２】本実施形態に係る撮像装置における多段階露出と好みの画像選択処理について説明するための図である。
【図３】本実施形態に係る撮像装置１００における低解像度での好みの画像選択処理を説明するための図である。
【図４】ユーザの好みの画像を自動的に選択する例として笑顔を検出する処理との組み合わせの例におけるフローチャートを示す図である。
【図５】本実施形態に係る撮像装置における同一撮影画像データの再利用について説明するための図である。
【符号の説明】
【００６２】
１００・・・撮像装置、１０１・・・撮像部（カメラ）、１０２・・・アナログデジタル（Ａ／Ｄ）変換器、１０３・・・中央演算処理装置（ＣＰＵ）、１０４・・・プログラムメモリ、１０５・・・画像メモリ、１０６・・・フラッシュメモリ、１０７・・・ジョグダイアル、１０８・・・画像モニタ、１０９・・・共有バス。
【図１】
0005012656.tif 000002
【図２】
0005012656.tif 000003
【図３】
0005012656.tif 000004
【図４】
0005012656.tif 000005
【図５】
0005012656.tif 000006