(57)【要約】【課題】撮影者に負担を強いることなく、かつ、撮影の機会を十分に生かすことができるようにする。【解決手段】露光時間を変えて１セット３枚の撮影を５セット連続で行う（ステップＡ６）。セット毎に当該セットに含まれる画像の位置合わせを行う（ステップＡ８、Ａ９）。全セットにおける画像の位置合わせが終了したならば、位置合わせが成功したセットがあるか否かを判断する（ステップＡ１１）。位置合わせが成功したセットがあると判断された場合には、セット内において画像の位置ずれが少ないセットを出力画像として選択する（ステップＡ１４）。この選択したセットに含まれる各画像を現像し（ステップＡ１５）、加算合成して（ステップＡ１６）、ＳＤカードに保存する（ステップＡ１７）。【選択図】図２
2011103558.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
この撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御手段と、
この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段と、
前記第１の撮像制御手段による撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段と、
この加算合成手段による合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御手段と、
この合成制御手段によって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択手段と、
この選択手段によって選択された画像を記憶する記憶手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
撮像手段と、
この撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御手段と、
この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段と、
この第２の撮像制御手段による撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択手段と、
この選択手段によって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段と、
この加算合成手段により加算合成された画像を記憶する記憶手段と、
を備えたことを特徴とする撮像装置。
【請求項３】
前記第１の撮像制御手段は、露光時間の短い画像の撮像を優先して行うよう制御することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
撮影環境の明るさを検出する検出手段を更に備え、
前記加算合成手段は、前記検出手段によって検出された明るさが所定値以下の場合は、前記第１の撮像制御手段による撮像により得られた２セット以上に含まれる複数の画像について、位置合わせを行い加算合成することを特徴とする請求項１、２又は３記載の撮像装置。
【請求項５】
前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、手ぶれを評価し、最も手ぶれの少ない画像を選択することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
【請求項６】
前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、被写体ぶれの有無を評価し、最も被写体ぶれの少ない画像を選択することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
【請求項７】
撮像された画像に顔画像が含まれているか否かを判断する判断手段と、
この判断手段による判断の結果顔画像が含まれていると判断した場合、前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、顔画像を評価し、最も評価が高いと判断される画像を選択することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
【請求項８】
撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御ステップと、
この第１の撮像制御ステップによる撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御ステップと、
前記第１の撮像制御ステップによる撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成ステップと、
この加算合成ステップによる合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御ステップと、
この合成制御ステップによって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択ステップと、
この選択ステップによって選択された画像を記憶する記憶ステップと、
を含むことを特徴とする撮像方法。
【請求項９】
撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御ステップと、
この第１の撮像制御ステップよる撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御ステップと、
この第２の撮像制御ステップによる撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択ステップと、
この選択ステップによって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成ステップと、
この加算合成ステップにより加算合成された画像を記憶する記憶ステップと、
を含むことを特徴とする撮像装置。
【請求項１０】
撮像手段を備える装置が有するコンピュータを、
前記撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御手段、
この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段、
前記第１の撮像制御手段による撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段、
この加算合成手段による合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御手段、
この合成制御手段によって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択手段、
この選択手段によって選択された画像を記憶させる記憶制御手段、
として機能させることを特徴とする撮像プログラム。
【請求項１１】
撮像手段を備える装置が有するコンピュータを、
前記撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御手段、
この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段、
この第２の撮像制御手段による撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択手段、
この選択手段によって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段、
この加算合成手段により加算合成された画像を記憶させる記憶制御手段、
として機能させることを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。
【背景技術】
【０００２】
近年、夜景撮影等の暗所撮影において、フラッシュを焚くことなくシャッタースピードを速くして連続撮影した画像を加算合成することにより、一枚の画像を記録する手法が考案されている（例えば特許文献１参照）。この撮影方法によれば、フラッシュ光の届かない夜景等であっても撮像素子の感度を上げることなく記録できるので、熱ノイズによる不具合を解消することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２７１５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら前述の技術にあっては、連続撮影処理と加算合成処理とを一連の処理としているので、不用意な操作で連続撮影処理を失敗させると加算合成しても満足な画像にならないことが多く、失敗すればその都度、撮影者は再度撮影操作を行う必要があった。
【０００５】
また、シャッタチャンスが限られている撮影状況の場合、前述の「再度の撮影操作」そのものが無い場合が多く、機会を逃す可能性もあった。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮影者に負担を強いることなく、かつ、撮影の機会を十分に生かすことができるようにすることを目的とするものである。
【課題を解決するための手段】
【０００７】
前記課題を解決するために請求項１記載の発明は、撮像手段と、この撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御手段と、この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段と、前記第１の撮像制御手段による撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段と、この加算合成手段による合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御手段と、この合成制御手段によって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択手段と、この選択手段によって選択された画像を記憶する記憶手段と、を備えたことを特徴とする。
【０００８】
また、請求項２記載の発明は、撮像手段と、この撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御手段と、この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段と、この第２の撮像制御手段による撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択手段と、この選択手段によって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段と、この加算合成手段により加算合成された画像を記憶する記憶手段と、を備えたことを特徴とする。
【０００９】
また、請求項３記載の発明は、請求項１又は２記載の発明において、前記第１の撮像制御手段は、露光時間の短い画像の撮像を優先して行うよう制御することを特徴とする。
【００１０】
また、請求項４記載の発明は、請求項１、２又は３記載の発明において、撮影環境の明るさを検出する検出手段を更に備え、前記加算合成手段は、前記検出手段によって検出された明るさが所定値以下の場合は、前記第１の撮像制御手段による撮像により得られた２セット以上に含まれる複数の画像について、位置合わせを行い加算合成することを特徴とする。
【００１１】
また、請求項５記載の発明は、請求項１乃至４の何れかに記載の発明において、前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、手ぶれを評価し、最も手ぶれの少ない画像を選択することを特徴とする。
【００１２】
また、請求項６記載の発明は、請求項１乃至４の何れかに記載の発明において、前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、被写体ぶれの有無を評価し、最も被写体ぶれの少ない画像を選択することを特徴とする。
【００１３】
また、請求項７記載の発明は、請求項１乃至４の何れかに記載の発明において、撮像された画像に顔画像が含まれているか否かを判断する判断手段と、この判断手段による判断の結果顔画像が含まれていると判断した場合、前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、顔画像を評価し、最も評価が高いと判断される画像を選択することを特徴とする。
【００１４】
また、請求項８記載の発明は、撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御ステップと、この第１の撮像制御ステップによる撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御ステップと、前記第１の撮像制御ステップによる撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成ステップと、この加算合成ステップによる合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御ステップと、この合成制御ステップによって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択ステップと、この選択ステップによって選択された画像を記憶する記憶ステップと、を含むことを特徴とする。
【００１５】
また、請求項９記載の発明は、撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御ステップと、この第１の撮像制御ステップよる撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御ステップと、この第２の撮像制御ステップによる撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択ステップと、この選択ステップによって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成ステップと、この加算合成ステップにより加算合成された画像を記憶する記憶ステップと、を含むことを特徴とする。
【００１６】
また、請求項１０記載の発明は、撮像手段を備える装置が有するコンピュータを、前記撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御手段、この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段、前記第１の撮像制御手段による撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段、この加算合成手段による合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御手段、この合成制御手段によって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択手段、この選択手段によって選択された画像を記憶させる記憶制御手段、として機能させることを特徴とする。
【００１７】
また、請求項１１記載の発明は、撮像手段を備える装置が有するコンピュータを、前記撮像手段に対し、夫々露光時間を変えて複数の画像を撮像するよう制御する第１の撮像制御手段、この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段、この第２の撮像制御手段による撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択手段、この選択手段によって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段、この加算合成手段により加算合成された画像を記憶させる記憶制御手段、として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、撮影者に負担を強いることなく、かつ、撮影の機会を十分に生かすことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態に係るデジタルカメラの回路ブロック図である。
【図２】同実施の形態における処理手順を示すフローチャートである。
【図３】セット毎の撮影のタイミングを示す図である。
【図４】個別画像現像（最終結果画像用処理の処理手順を示すフローチャートである。
【図５】（ａ）（ｂ）（ｃ）は、ステップＢ４における露出別に設定したトーンカーブの一例を示す図であり、（ｄ）は、加算合成画像のトーンカーブを示す図である。
【図６】加算合成処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係るデジタルカメラ１００の電気的構成を示す回路ブロック図である。このデジタルカメラ１００は、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）、ＡＦ（Auto Focus）等の一般的な機能を有するものである。すなわち、レンズブロック１には、ズームレンズや図示しないフォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれている。
【００２１】
レンズブロック１が有する光軸上にはＣＭＯＳ（Complementary Metal Oxide Semiconductor）を撮像素子として構成した撮像部２が配置されている。撮像部２からの画像を表すアナログ信号は、Ａ／Ｄ変換部３によりデジタル信号に変換されてＤＲＡＭ（Dynamic Random Access Memory）等で構成されたワークメモリ４に格納される。
【００２２】
カスタムＬＳＩ（Large Scale Integration）６は、ワークメモリ４に格納された画像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、ホワイトバランス処理、輪郭強調処理、画素補間処理などの画品質向上のためのデジタル信号処理を行う回路部であり、特に撮影モードにおいては、ワークメモリ４に１フレーム分のデータ（画像データ）が蓄積される毎にこれをビデオ信号に変換し、液晶表示コントローラ５に出力する。またこの時液晶表示コントローラ５は、ワークメモリ４から送られてきたビデオ信号に基づき、液晶表示部７を駆動して逐次ライブビューで映像を再生表示する。
【００２３】
またカスタムＬＳＩ４は、上記液晶表示部に映像がライブビューで再生されているときに、ユーザによるシャッタボタン８の操作をトリガとして検出し、その検出したときにワークメモリ４に一時的に記憶された画像データを、圧縮符号化し、ＪＰＥＧ等の所定のフォーマットの静止画ファイルとして外部記憶媒体１０に記録する。
【００２４】
更に本発明の特徴に係る構成として、カスタムＬＳＩ６は、ＣＰＵ（Central Processing Unit）コア６ａ、受光制御部６ｂ、デモザイク部６ｃ、特徴量演算部６ｄ、ＳＲＡＭ（Static Random Access Memory）６ｅ、ブロックマッチング部６ｆ、画像変形合成加算部６ｇ、及びプログラムＲＯＭ６ｈを有する。
【００２５】
ＣＰＵコア６ａは、プログラムＲＯＭ６ｈに記憶されているプログラムに従って、ワークメモリ４を使用しつつ、後述する処理を実行することによりカスタムＬＳＩ６を構成する前記各部を制御する。受光制御部６ｂは、撮像部２とＡ／Ｄ変換部３との動作タイミングを制御し、電子シャッタとして機能させる。
【００２６】
デモザイク部６ｃは、ＲＡＷ画像（非圧縮画像）のデモザイク処理を行う。特徴量演算部６ｄは、撮影された画像から人物の顔等、特定の画像を検出する際や、検出した特定の画像において所定の変化があるか（人の顔に関する画像であれば、笑顔に変化したか等）否かを判断する際に用いられる。ブロックマッチング部６ｆは、ＳＲＡＭ６ｅをワークエリアとして用い、後述の画像位置合わせを行う際に必要となる画像同士のブロックマッチング処理を行う。画像変形合成加算部６ｇは、画像の合成加算処理等を行う。
【００２７】
また、カスタムＬＳＩ６のＣＰＵコア６ａには、シャッタボタン８、モードボタン９及び外部記憶媒体１０が接続されている。シャッタボタン８は、１段目の操作ストローク（半押し）と、２段目の操作ストローク（全押し）との２段階の操作ストロークを有する釦式スイッチからなる。モードボタン９は、ユーザの操作に応じて、撮影モード、再生モードの切り替え指示信号を送出する。また、撮影モードにおける「連写ダイナミックレンジ拡大モード」等の詳細な撮影モードの指示信号も出力する。
【００２８】
外部記憶媒体１０は、ＳＤカード等の着脱自在な記録媒体である。外部記憶媒体１０には、通常の撮影モード、あるいは「連写ダイナミックレンジ拡大モード」等の撮影モードで撮影された画像の画像データが記憶される。また、再生時には、外部記憶媒体１０から読み出された画像データがＣＰＵコア６ａを介して、液晶表示コントローラ５に供給され、液晶表示部７に画像が再生表示される。
【００２９】
なお、プログラムＲＯＭ６ｈには撮影時の適正な露出値である適正露出に対応する絞り値とシャッタスピード（露光時間）との組み合わせを示すプログラム線図を構成するプログラムＡＥデータも格納されている。
次に、以上の構成に係る本実施の形態の動作について説明する。ユーザがモードボタン９を操作して、撮影モードにおける「連写ダイナミックレンジ拡大モード」を設定すると、カスタムＬＳＩ６のＣＰＵコア６ａは、プログラムＲＯＭ６ｈに記憶されているプログラムに従って、図２のフローチャートに示すように処理を開始する。
【００３０】
まず、ＣＰＵコア６ａは、液晶表示コントローラ５を制御して、液晶表示部７に撮像されている画像を逐次ライブビュー表示する（ステップＡ１）。次に、ＣＰＵコア６ａは、シャッタボタン８が半押しされたか否かを判断し（ステップＡ２）、シャッタボタン８が半押しされたならば、撮影されている画像について測光処理、合焦処理、及び、ホワイトバランス処理等、撮像部２やＡ／Ｄ変換部３を制御する各処理を実行する（ステップＡ３）。そして、このステップＡ３での測光処理により得られた画像の明るさに基づいて、適正な絞り値とシャッタ速度（又は露光時間）とからなる露出値（以降適正露出値という）を演算し、この露出値に合うようにローリングシャッタの周期を設定する。
【００３１】
そして演算された適正露出値をシフト量が０の露出値、すなわち０ＥＶ（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ）として定義すると共に、この適正露出値を半分にシフトさせたものを−２、逆に２倍にシフトさせた露出値を−２ＥＶ、また、この適正露出値を２倍にシフトさせた露出値を＋２ＥＶとして定義し、絞り値を固定した上での夫々の露出値に応じた露光時間（以降、０ＥＶ時間、−２ＥＶ時間、及び、＋２ＥＶ時間という）を算出する（ステップＡ４）。
【００３２】
その後、ユーザが撮影を行うべく、シャッタボタン８を全押しするとステップＡ５の判断がＹＥＳとなる。したがって、ＣＰＵコア６ａはステップＡ５からステップＡ６に処理を進めて、ローリングシャッタ方式で、露光時間で−２ＥＶ時間、＋２ＥＶ時間、０ＥＶ時間の３回を１セットとし、これを５セット連続で撮影する（ステップＡ６）。つまり、３×５＝１５回の連続撮影を行い、これによりワークメモリ４には、撮影回数１５回分に相当する１５枚のＲＡＷ画像が格納されることとなる。
【００３３】
図３は、上記１セットの撮影のタイミングを示す図である。同図において、−２ＥＶ時間は０ＥＶ時間に対して１／２倍で設定される。また、＋２ＥＶ時間は０ＥＶ時間に対して２倍が設定される。
【００３４】
尚、撮影順序を−２ＥＶ時間、＋２ＥＶ時間、０ＥＶ時間としているのは、１セット当たりの撮影時間を短くするためである。
【００３５】
次に、加算合成処理における位置合わせを行うため、前記ワークメモリ４に格納された１５枚の全ＲＡＷ画像を８ｂｉｔの縮小ＹＵＶ画像を生成し、更に、加算合成させた場合に８ｂｉｔのデータに収まるよう、各縮小ＹＵＶ画像についてγカーブの修正を行う（ステップＡ７）。
【００３６】
次いで、各セットにおいて、０ＥＶ時間で撮影された画像の縮小ＹＵＶ画像（以下０ＥＶ縮小画像という）の露出値を＋２ＥＶ時間で撮影された画像の縮小ＹＵＶ画像（以下＋２ＥＶ縮小画像という）の露出値と同等になるように輝度（Ｙ）についてゲイン補正を行い、その後、上記ゲイン補正された０ＥＶ縮小画像を基準画像として、＋２ＥＶ縮小画像との位置合わせを行う（ステップＡ８）。
【００３７】
より詳細に説明すると、各セットは、−２ＥＶ画像、＋２ＥＶ画像、０ＥＶ画像で構成されているので、ステップＡ８では、まず、０ＥＶ縮小画像と、その直前に撮影された＋２ＥＶ縮小画像との位置合わせを行う。その際、０ＥＶ縮小画像は、先ずγカーブが修正され、その後ゲインを４倍に補正し、更にγカーブを元に修正して、＋２ＥＶ縮小画像の露出値と同等にさせる。次いで、補正された０ＥＶ縮小画像と＋２ＥＶ縮小画像とについてブロックマッチングによる比較を行い動きベクトルを求める。更にこの求めた動きベクトルから、２つの画像の位置関係を表す射影変換行列を求める。
【００３８】
次いで、０ＥＶ縮小画像の露出値を−２ＥＶ時間で撮影された画像の縮小ＹＵＶ画像（以下−２ＥＶ縮小画像という）の露出値と同等になるように輝度（Ｙ）についてゲイン補正を行い、その後、上記ゲイン補正された０ＥＶ縮小画像を基準画像として、−２ＥＶ縮小画像との位置合わせを行う（ステップＡ９）。
【００３９】
より詳細に説明すると、ステップＡ９では、０ＥＶ縮小画像と、その１フレーム置いて以前に撮影された−２ＥＶ縮小画像との位置合わせを行う。その際、−２ＥＶ縮小画像は、先ずγカーブが修正され、その後ゲインを４倍に補正し、更にγカーブを元に修正して、０ＥＶ縮小画像の露出値と同等にさせる。次いで、補正された−２ＥＶ縮小画像と０ＥＶ縮小画像とについてブロックマッチングによる比較を行い動きベクトルを求める。更にこの求めた動きベクトルから、２つの画像の位置関係を表す射影変換行列を求める。
【００４０】
そして、次のステップＡ１０では、これらステップＡ８及びステップＡ９よる画像の位置合わせが全セットで終了したか否かを判断する。全セットの位置合わが終了するまで、ステップＡ８→Ａ９→Ａ１０→Ａ８の処理ループを繰り返す。
【００４１】
したがって、５セットの撮影を行う本実施の形態においては、ステップＡ８→Ａ９→Ａ１０→Ａ８の処理ループが５回繰り返され、これにより全セットの位置合わせが終了することとなる。
【００４２】
次に、これら位置合わせを終了した５セットにおいて、位置合わせについて評価を行い、最も評価が高い、すなわち、一致度が高く、位置合わせが成功したセットがあるか否かを判断する（ステップＡ１１）。ここで、画像の位置合わせが成功したか否かの判断は、例えばブロックマッチングにおけるブロックの０ＥＶ縮小画像に対する−２ＥＶ縮小画像、及び、＋２ＥＶ縮小画像の一致度が、例えば共に９０％以上である場合には、位置合わせが成功したものとし、これ未満である場合には、位置合わせが失敗したものとする。
【００４３】
尚、位置合わせが成功したセットがあった場合、更にそれが複数セットあるか否かを判断する（ステップＡ１３）。そして複数あると判断した場合には、これら複数のセットにおいて０ＥＶ縮小画像と−２ＥＶ縮小画像との画像同士の位置ずれが少ないセットを選択する（ステップＡ１４）。
【００４４】
また、ステップＡ１３の判断で、位置合わせの成功セットが複数ではなく、一つと判断した場合は、ステップＡ１４を経由することなくステップＡ１５に移行する。
【００４５】
次いで、ＲＡＷ画像からＹＵＶ画像を生成する、所謂、個別画像現像処理を実行する（ステップＡ１５）。
【００４６】
図４は、個別画像現像処理（ステップＡ１５）の処理手順を示すフローチャートである。まず、デモザイク部６ｃにより、選択されたセットに含まれる０ＥＶ縮小画像、＋２ＥＶ縮小画像、及び、−ＥＶ縮小画像の夫々に対応する３つのＲＡＷ画像についてデモザイク処理を行い、ＹＵＶ画像に変換する（ステップＢ１）。このデモザイク処理にあたり、各画像に対して、周波数の高い領域（高域成分）と低い領域（低域成分）とに分離する（ステップＢ２）。そして、高域成分は、ゲインアップによりコントラストを強調させる（ステップＢ３）。また、低域成分は、露出別に設定したトーンカーブ補正を行う（ステップＢ４）。
【００４７】
図５は、このステップＢ４における露出別に設定したトーンカーブの一例を示す図である。トーンカーブは、−２ＥＶ縮小画像に対応するＲＡＷ画像にあっては図５（ｃ）に示すように、また、０ＥＶ縮小画像に対応するＲＡＷ画像にあっては図５（ｂ）に示すように、露出が適正である適正部を直線状とし、適正露出部の傾きを高くして、コントラストを上げるようにする。また、露出が適正でない部分の傾きは下げて、ノイズの色相ずれを抑える。
【００４８】
＋２ＥＶ縮小画像に対応するＲＡＷ画像にあっては、図５（ａ）に示すように、大きなγカーブとし、０ＥＶ縮小画像に対応するＲＡＷ画像のヒストグラムの輝度中央値によりγカーブの終点を決定する。
【００４９】
なお、図（ｄ）は、これら＋２ＥＶ縮小画像、０ＥＶ縮小画像、−２ＥＶ縮小画像に対応する各ＲＡＷ画像を加算合成した加算合成画像のトーンカーブを示す。
【００５０】
そして、これら画像毎に分離して処理された、低域成分と高域成分とを各ＲＡＷ画像について加算処理する（ステップＢ５）。さらに、加算処理後の画像についてＵＶゲインをアップする処理を行う（ステップＢ６）。
【００５１】
このようにして、図２のフローチャートのステップＡ１５で、選択されたセットに含まれる０ＥＶ縮小画像、−２ＥＶ縮小画像、及び、＋２ＥＶ縮小画像夫々に対応するＲＡＷ画像について、各々現像処理が完了したならば、次のステップＡ１６でこれら個別に現像された３枚の画像の加算合成処理を実行する。
【００５２】
図６は、ステップＡ１４で実行される加算合成処理の詳細を示すフローチャートである。このフローチャートにおいては、加算合成対象のＹＵＶ画像について、Ｙ（輝度）成分に関しては、ステップＣ２〜Ｃ７の処理を実行し、Ｕ（輝度と青色成分との差）成分、及びＶ（輝度と赤色成分との差）成分に関しては、ステップＣ１の処理のみを行う。
【００５３】
すなわち、前記ステップＡ１５で得られた３枚のＹＵＶ画像を加算平均し、加算合成画像を生成する（ステップＣ２）。また、この加算平均により得られた画像にシャープネスフィルタをかけて、Ｙ成分のエッジ強調を行う（ステップＣ３）。
【００５４】
更に、ステップＣ４〜Ｃ７の処理で、加算合成された画像に対して、Ｙ成分のヒストグラム伸長を行う。すなわち、先ずＹの輝度値分布のヒストグラムマップを作成する（ステップＣ４）。但し、全画素に対して計測を行うとヒストグラムマップの作成処理時間がかかるので、例えば１００画素おきに計測する。
【００５５】
次に、ヒストグラム伸長閾値を取得する（ステップＣ５）。すなわち、高輝度側のヒストグラムマップ面積の０．５％のポイントとなる輝度値を求める。また、トーンカーブ画素変換テーブル、つまりステップＣ５で求めた高輝度側の伸長ポイントが、夫々２５５となる直線変換の変換テーブルを作成する（ステップＣ６）。この作成した変換テーブルに基づき、ステップＣ２で生成した加算合成画像のＹ成分を伸長する（ステップＣ７）。
【００５６】
他方、ＵＶ成分に関しては、Softmax処理で合成する（ステップＣ１）。Ｕ成分について説明すると、下記例示式で計算される出力値をＵのSoftmax出力値（USoftmax）とする。
Ucomp=(Uave+Umax*Coef）/(1+Coef）
但し、
Ucomp：Ｕ のSoftmax出力値
Uave：Ｕの平均値
Umax：Ｕの絶対値とＶの絶対値の和が一番大きい画像のＵの値
Coef：調整係数
【００５７】
また、Ｖ成分について説明すると、下記例示式で計算される出力値をＶのSoftmax出力値（VSoftmax）とする。
Vcomp=(Vave+Vmax*Coef）/(1+Coef）
但し、
Vcomp：Ｖ Softmax出力値
Vave：Ｖの平均値
Vmax：Ｕの絶対値とＶの絶対値の和が一番大きい画像のＶの値
Coef：調整係数
【００５８】
そして、図２のフローチャートにおけるステップＡ１６で加算合成処理が終了したならば、この合成加算処理された画像を最終出力画像として、ＳＤカード等の外部記憶媒体１０に保存し、本処理を終了する。
【００５９】
このように本実施の形態においては、１セット３回とし５セットの連続連続で行う。したがって、ステップＡ１１で位置合わせが成功した成功セットがあるか否かを判断した際、成功セットがあると判断される確率は極めて高い。したがって、撮影者が再度の撮影操作を強いられることは極めて少なく、再度の撮影に伴う撮影者の負担を回避することができる。
【００６０】
また、１セット３回で５セットの撮影は連続して行われることから、いずれのセットにも撮影者がシャッタチャンスとしたシーンが含まれている可能性も極めて高い。よって、シャッタチャンスを喪失してしまうことも回避することができる。
【００６１】
その結果、撮影者に負担を強いることなく、かつ、シャッタチャンスの喪失を未然に防止しつつ、暗所での撮影において、撮影される画像に手ぶれによる影響がないように撮影することができる。
【００６２】
他方、前述のように、ステップＡ１１での判断の結果、位置合わせが成功したセットが存在しないと判断した場合には、ステップＡ１１からステップＡ１２に進む。そして、このステップＡ１２では、先頭のセットの０ＥＶ縮小画像に対応するＲＡＷ画像についてＹＵＶ画像に現像処理して、ＪＰＥＧフォーマットに加工して最終出力画像とする。更に、この最終出力画像をＳＤカード等の外部記憶媒体１０に保存する。
【００６３】
（本発明の変形例）
【００６４】
（１）なお、本実施の形態においては、位置合わせが成功したセットがあるか否かを判断し、位置合わせが成功したセットから画像の位置ずれが最も少ないセットを選択し、この選択した一つのセットの画像を加算合成処理して、保存するようにした。しかし、全てのセットについて、画像の加算合成を行い、しかる後に加算合成した各セットの合成画像を評価し、これら複数の合成画像のうち最も評価が高い合成画像を選択して保存するようにしてもよい。
【００６５】
このようにしても、前述した実施の形態と同様に、撮影者に負担を強いることなく、かつ、シャッタチャンスの喪失を未然に防止しつつ、暗所での撮影において、撮影される画像に手ぶれによる影響がないように撮影することができる。
【００６６】
（２）また、前記変形例（１）において、合成処理された複数の画像を評価するに際しては、被写体ぶれの有無を評価し、最も被写体ぶれが少ない画像を選択するようにする。これにより、被写体にぶれによる影響がない鮮明な画像を記録することができる。
【００６７】
（３）また、実施の形態においては、ステップＡ１４で単一のセットを選択するようにした。しかし、測光センサ等の撮影環境の明るさを検出する検出手段を設け、この検出手段により検出された撮影環境の明るさが所定値以下である場合には、複数のセットを選択して、選択した複数のセットに含まれる全ての画像を加算合成処理するようにしてもよい。これにより、明るさが所定値以下である暗所での撮影において、明るさが確保された画像を記録保存することができる。
【００６８】
（４）また、実施の形態においては、ステップＡ１４で０ＥＶ縮小画像と−２ＥＶ縮小画像の位置ずれが少ないセットを選択するようにした。しかし、ステップＡ１４では、セット内の画像に顔画像が含まれているか否かを判断し、顔画像が含まれていると判断した場合、０ＥＶ縮小画像と−２ＥＶ縮小画像の顔画像の位置ずれ等を評価し、位置ずれが最も少なく最も評価の高い画像のセットを選択するようにしてもよい。これにより、暗所で人物を主要被写体として撮影した場合に、人物の顔が高品位である画像を記録することができる。
【００６９】
また、この場合でも、前記変形例（１）のように、全てのセットについて、画像の加算合成を行い、しかる後に加算合成した各セットの合成画像の顔画像を評価し、複数の合成画像のうち最も評価が高い合成画像を選択して保存するようにしてもよい。
【符号の説明】
【００７０】
１    レンズブロック
２    撮像部
３    Ａ／Ｄ変換部
４    ワークメモリ
５    液晶表示コントローラ
６    カスタムＬＳＩ
６ａ    コア
６ａ    ＣＰＵコア
６ｂ    受光制御部
６ｃ    デモザイク部
６ｄ    特徴量演算部
６ｅ    ＳＲＡＭ
６ｆ    ブロックマッチング部
６ｇ    画像変形合成加算部
６ｈ    プログラムＲＯＭ
７    液晶表示部
８    シャッタボタン
９    モードボタン
１０    外部記憶媒体
１００    デジタルカメラ
【図１】
2011103558.tif 000003
【図２】
2011103558.tif 000004
【図３】
2011103558.tif 000005
【図４】
2011103558.tif 000006
【図５】
2011103558.tif 000007
【図６】
2011103558.tif 000008