(57)【特許請求の範囲】
【請求項１】
撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御部と、
前記算出されたゲイン値が、手ぶれ補正のために取り込んだ複数の画像データを基に生成された画像データに対するＳ／Ｎ比の画質許容限界付近に予め定められた閾値以上であるかどうかを判定する判定部と、
撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御部、を備え、
前記ゲイン値が前記閾値以上であると判定された場合には、前記撮影制御部は、１つの画像データを取り込み、
前記ゲイン値が前記閾値より小さいと判定された場合には、前記撮影制御部は、複数の画像データを取り込み、
それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理部、をさらに備えることを特徴とする手ぶれ補正機能付き撮像装置。
【請求項２】
撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御部と、
設定されたディジタルズーム倍率の値が予め定められた閾値以上であるかどうかを判定する判定部と、
撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１ 以上の画像データを取り込む撮影制御部、を備え、
前記ディジタルズーム倍率の値が前記閾値以上であると判定された場合には、前記撮影制御部は、１つの画像データを取り込み、
前記ディジタルズーム倍率の値が前記閾値より小さいと判定された場合には、前記撮影制御部は、複数の画像データを取り込み、
それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理部、をさらに備えることを特徴とする手ぶれ補正機能付き撮像装置。
【請求項３】
撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御部と、
ディジタルズーム倍率の値に対する、許容可能な露光時間の閾値であって、手ぶれ補正のために取り込んだ複数の画像データの重ね合わせによるぶれの拡大が顕著でない範囲に属するディジタルズーム倍率の値が高いほど短く設定された許容可能な露光時間の閾値を記憶するズーム倍率・露光時間閾値記憶部を基に、設定されたディジタルズーム倍率に対応する露光時間の閾値を取得する露光時間閾値取得部と、
前記算出された露光時間が取得された露光時間閾値以下であるかどうかを判定する判定部と、
撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御部、を備え、
前記算出された露光時間が取得された露光時間閾値以下であると判定された場合には、前記撮影制御部は、１つの画像データを取り込み、
前記算出された露光時間が取得された露光時間閾値より大きいと判定された場合には、前記撮影制御部は、複数の画像データを取り込み、
それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理部、をさらに備えることを特徴とする手ぶれ補正機能付き撮像装置。
【請求項４】
撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、通常撮影に対して設定された露光時間を予め定められた連写回数で割った値を露光時間とする手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御部と、
連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理部と、
通常撮影の画像データと、手ぶれ補正された画像データのいずれかまたは両方を選択し保存できるユーザインターフェイス部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
【請求項５】
撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御部と、
連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理部と、
通常撮影の画像データと、手ぶれ補正された画像データに対し、特徴点を抽出し、その特徴点部分の解像度が高い方の画像データを保存する特徴点抽出部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ぶれ補正機能付き撮像装置、手ぶれ補正方法、手ぶれ補正処理の前処理プログラム、および、保存画像決定プログラムに関し、特に、手ぶれ補正を行なうことによる画質の劣化を回避することを可能とした手ぶれ補正機能付き撮像装置、手ぶれ補正方法、手ぶれ補正処理の前処理プログラム、および、保存画像決定プログラムに関する。
【背景技術】
【０００２】
携帯電話、等に内蔵されるディジタルカメラ（撮像装置）を用いて撮影を行う場合、例えば、携帯電話を持つ手が露光時間の間にぶれることで、その手ぶれの影響が取り込む画像に生じる。この手ぶれによる影響を抑えるために、取り込んだ画像に対して、手ぶれ補正を行っている。
【０００３】
近年、ディジタルカメラ、特に、携帯電話に搭載されたディジタルカメラが急速な勢いで普及している。そして、ユーザのディジタルカメラの性能や利便性に対する要求も高まってきている。
【０００４】
このような要求に応えて、性能面では高画素化やズームの高倍率化が、また、利便性の面では小型化や軽量化が急速に進みつつある。
ところが、これらの性能／利便性の向上が、一方で手ぶれが発生し易い要因となっている。特に、携帯電話に搭載されたディジタルカメラの場合、常に携帯されていることから例えば、非常に暗い場所で撮影されるケースも多くなっているのに対して、フラッシュが搭載されていないことが多く、他のディジタルカメラと比べて手ぶれが発生し易くなっている。
【０００５】
手ぶれに対処する方法としては、光学的に補正する方法、ディジタル処理で補正する方法が従来から提案されている。
一般のディジタルカメラでは、光学的に補正する方法がすでに製品化されており、携帯電話に搭載されたディジタルカメラでは、ディジタル処理で補正する方法が製品化され始めている。
【０００６】
また、この他の手ぶれを補正する技術として、例えば、特許文献１および２の技術が知られている。
特許文献１では、手ぶれ補正モードでの動作時にシャッターが押下されると、自動的にシャッター速度をｎ倍速くし、感度（ゲイン値）もｎ倍し、ｎコマ分の撮影を行い、一連の撮影の結果として得たｎ個の画像データを基に、手ぶれ補正した画像データを得る技術が開示されている。
【０００７】
また、特許文献２では、算出された適正露光時間が手ぶれ限界露光時間より長くなる場合に、その手ぶれ限界露光時間より短い露光時間で複数回の撮影を行う技術が開示されている。
【０００８】
また、特許文献３では、撮像装置により撮影された画像の手ぶれを補正する画像処理装置が示されている。この画像処理装置は、所定の時間間隔で連続的に被写体を撮影して複数の画像を取得する連写撮影部と、その連続的な撮影のタイミングに従って、撮像装置の手ぶれに関する手ぶれ情報を検出する手ぶれ検出部と、手ぶれ検出部により検出された各画像に対応する手ぶれ情報と、連写撮影部により得られた複数の画像とに基づき、上記複数の画像のうち少なくとも一つ以上の画像についてその画像が有する手ぶれを補正する手ぶれ補正部を備えており、手ぶれ補正を高速にかつ高い精度で行いながら撮影者が意図したシーンを撮影することが可能となっている。
【０００９】
また、特許文献４に示される連写機能を有する電子カメラにおいては、角速度センサからの連写撮影時の手振れ状態の検知結果を示す手振れ情報がＲＡＭに蓄積されるとともに、連写撮影時に得られた連写画像データのファイルがメモリカードに記録されるときに、上記手振れ情報が付加されて記録される。そして、メモリカードに記録した連写画像の再生時に、付加された手振れ情報に基づいて手振れ補正処理が実行される。これにより、複雑な構造の機構を要することなく、かつ高画質を維持できる手振れ補正機能を有する電子カメラを提供できる。
【特許文献１】特開２００４−２６６６４８号公報  「手ぶれ補正装置及び手ぶれ補正プログラム」
【特許文献２】特開２００４−２７９５１４号公報  「カメラの手ぶれ補正装置」
【特許文献３】特開２００２−２４７４４４号公報  「画像処理装置及び画像処理プログラムを記録した記録媒体」
【特許文献４】特開２０００−２９９８１３号公報  「電子撮像装置」
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の課題は、手ぶれ補正を行なうことによる画質の低下、および、手ぶれ補正を行なわないことによる画質の低下を回避することを可能とした手ぶれ補正機能付き撮像装置、および、手ぶれ補正方法を提供することである。
【００１１】
本発明の別の課題は、手ぶれによる影響を抑えた良画質の画像を得ることを可能とした手ぶれ補正機能付き撮像装置、および、手ぶれ補正方法を提供することである。
【課題を解決するための手段】
【００１２】
本発明の第１態様の手ぶれ補正機能付き撮像装置は、撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するイメージセンサと、前記光電変換データを基に、画像データを生成する画像データ生成部と、前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御部と、前記算出されたゲイン値が予め定められた閾値以上であるかどうかを判定する判定部と、撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御部、を備え、前記ゲイン値が前記閾値以上であると判定された場合には、前記撮影制御部は、１つの画像データを取り込み、前記ゲイン値が前記閾値より小さいと判定された場合には、前記撮影制御部は、複数の画像データを取り込み、それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理部、をさらに備えることを特徴とする手ぶれ補正機能付き撮像装置である。
【００１３】
ここで、複数回の撮影のそれぞれの画像データの露光時間を加算した露光時間が１回の撮影を行う場合の露光時間に等しい場合等は、その複数回撮影して得た複数の画像データを基に得られる手ぶれ補正された画像データのＳ／Ｎ比は、その１回の撮影で得た１つの画像データのＳ／Ｎ比より小さい。
【００１４】
このような場合、画質が劣化した領域（ゲイン値が高い領域）では、連写した複数の画像から得られる（手ぶれ補正した）画像データを使用して手ぶれの影響を抑えるより、複数回の撮影のそれぞれの画像データの露光時間を加算した露光時間で１回撮影して得た１つの画像データをそのまま使用した方が視覚上良好な画質の画像が得られる。
【００１５】
すなわち、連写した複数の画像から合成された画像のＳ／Ｎ比が画質許容限界を超えて劣化する近辺のゲイン値を閾値に設定して、算出されたゲイン値がその閾値を超えたかどうかにより、連写を行うか（手ぶれ補正を行なうか）どうかを判定部で決めるようにすることで、Ｓ／Ｎ比が低い（ゲイン値が高い）画像に対する画質を向上させることが可能となり、手ぶれ補正を行なうことによる画質の低下を回避することができる。
【００１６】
本発明の第２態様の手ぶれ補正機能付き撮像装置は、撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するイメージセンサと、前記光電変換データを基に、画像データを生成する画像データ生成部と、前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御部と、設定されたディジタルズーム倍率の値が予め定められた閾値以上であるかどうかを判定する判定部と、撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御部、を備え、前記ディジタルズーム倍率の値が前記閾値以上であると判定された場合には、前記撮影制御部は、１つの画像データを取り込み、前記ディジタルズーム倍率の値が前記閾値より小さいと判定された場合には、前記撮影制御部は、複数の画像データを取り込み、それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理部、をさらに備えることを特徴とする手ぶれ補正機能付き撮像装置である。
【００１７】
ここで、ディジタルズーム倍率がある程度以上高くなると、その倍率に応じた画像の拡大処理によって、その画像内の位置合わせに使用する特徴点の抽出精度の低下が顕著になる場合がある。そして、このことにより、複数回撮影して得たそれぞれの画像データを重ね合わせて、手ぶれ補正された画像データを得る際に、その重ね合わせによるぶれが拡大し、補正結果の画像の画質劣化が顕著になる場合がある。
【００１８】
このため、ディジタルズーム倍率に閾値を設け、設定されたディジタルズーム倍率の値がその閾値以上であれば、１回の撮影を行い手ぶれ補正を行なわないようにし、設定されたディジタルズーム倍率の値がその閾値より小さければ、複数回の撮影を行い手ぶれ補正を行うようにしている。これにより、ディジタルズーム倍率がある程度以上高くなった場合に、連写して得たそれぞれの画像を重ね合わせた合成結果の画像の画質が顕著に劣化することを回避できる。
【００１９】
本発明の第３態様の手ぶれ補正機能付き撮像装置は、撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するイメージセンサと、前記光電変換データを基に、画像データを生成する画像データ生成部と、前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御部と、ディジタルズーム倍率の値に対する、許容可能な露光時間の閾値を記憶するズーム倍率・露光時間閾値記憶部を基に、設定されたディジタルズーム倍率に対応する露光時間の閾値を取得する露光時間閾値取得部と、前記算出された露光時間が取得された露光時間閾値以下であるかどうかを判定する判定部と、撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御部、を備え、前記算出された露光時間が取得された露光時間閾値以下であると判定された場合には、前記撮影制御部は、１つの画像データを取り込み、前記算出された露光時間が取得された露光時間閾値より大きいと判定された場合には、前記撮影制御部は、複数の画像データを取り込み、それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理部、をさらに備えることを特徴とする手ぶれ補正機能付き撮像装置である。
【００２０】
ここで、一般に、露光時間が短い場合には、手ぶれによって撮影画像上に発生するぶれの影響は小さいが、ディジタルズームの倍率が高くなると、手ぶれによって発生した画像上のぶれも拡大されてしまう。また、ディジタルズーム倍率がそれほど高くない範囲で変化する場合、その範囲内では、複数回撮影して得た複数の画像の重ね合わせによるぶれの拡大は顕著ではない。
【００２１】
よって、ディジタルズーム倍率が複数の画像の重ね合わせによるぶれの拡大が顕著でない範囲で変化する場合に、ディジタルズームの値に対し、画像の画質を保つための露光時間の閾値を反比例させて対応付けたズーム倍率・露光時間閾値記憶部を基に、露光時間閾値取得部によって、指定されたディジタルズーム倍率の値に対応する露光時間閾値が取得され、判定部によって、算出された露光時間が、その取得された露光時間閾値以下であるかどうかが判定されるようにすることで、その複数の画像の重ね合わせによるぶれの拡大が顕著でない範囲では、ディジタルズーム倍率が高いほど、なるべく手ぶれ補正を行なって、画像上からぶれの影響を取り除くことが可能となる。よって、ディジタルズーム倍率が上がったことで、画像上のぶれが拡大することを回避でき、手ぶれ補正を行なわないことによる画質の低下を回避できる。
【００２２】
本発明の第４態様の手ぶれ補正機能付き撮像装置は、撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、前記光電変換データを基に、画像データを生成する画像データ生成部と、撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御部と、連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理部と、通常撮影の画像データと、手ぶれ補正された画像データのいずれかまたは両方を選択し保存できるユーザインターフェイス部、を備えることを特徴とする手ぶれ補正機能付き撮像装置である。
【００２３】
ここで、一度の撮影指示に対して、通常撮影の画像データと、手ぶれ補正された画像データの両方が取り込んでいる。そして、ユーザインターフェイス部を介して、通常撮影の画像データと、手ぶれ補正された画像データのいずれかまたは両方が選択され保存される。よって、例えば、手ぶれが少ない画像データを選択することで、手ぶれの影響を抑えた良画質の画像データを得ることができる。
【００２４】
本発明の第５態様の手ぶれ補正機能付き撮像装置は、撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、前記光電変換データを基に、画像データを生成する画像データ生成部と、撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御部と、連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理部と、通常撮影の画像データと、手ぶれ補正された画像データに対し、特徴点を抽出し、その特徴点部分の解像度が高い方の画像データを保存する特徴点抽出部、を備えることを特徴とする手ぶれ補正機能付き撮像装置である。
【００２５】
ここで、一度の撮影指示に対して、通常撮影の画像データと、手ぶれ補正された画像データの両方が取り込んでいる。そして、特徴点抽出部によって、通常撮影の画像データと、手ぶれ補正された画像データのうちで、特徴点部分の解像度が高い方の画像データが保存される。よって、手ぶれの影響を抑えた良画質の画像データを得ることができる。
【００２６】
本発明の第６態様の手ぶれ補正機能付き撮像装置は、撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、前記光電変換データを基に、画像データを生成する画像データ生成部と、撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御部と、連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理部と、通常撮影の画像データと、手ぶれ補正された画像データに対し、必要な信号レベルをその信号に含まれるノイズレベルで割った値であるＳ／Ｎ比を算出し、そのＳ／Ｎ比がより大きい方の画像データを保存するＳ／Ｎ比算出部、を備えることを特徴とする手ぶれ補正機能付き撮像装置である。
【００２７】
ここで、一度の撮影指示に対して、通常撮影の画像データと、手ぶれ補正された画像データの両方が取り込んでいる。そして、Ｓ／Ｎ比算出部によって、通常撮影の画像データと、手ぶれ補正された画像データのうちで、必要な信号レベルをその信号に含まれるノイズレベルで割った値であるＳ／Ｎ比がより大きい方の画像データが保存される。よって、手ぶれの影響を抑えた良画質の画像データを得ることができる。
【発明の効果】
【００２８】
本発明によれば、画質が劣化した領域（ゲイン値が高い領域）では、連写した複数の画像から得られる（手ぶれ補正した）画像データを使用して手ぶれの影響を抑えるより、連写したそれぞれの画像データの露光時間を加算した露光時間で得た１つの画像データをそのまま使用することで、Ｓ／Ｎ比が低い（ゲイン値が高い）画像に対する画質を向上させることが可能となる。
【００２９】
また、本発明によれば、ディジタルズーム倍率がある程度以上高くなり、複数の画像の重ね合わせによるぶれの拡大が顕著な範囲では、手ぶれ補正を回避することで、連写して得たそれぞれの画像を重ね合わせた合成結果の画像の画質が（視覚上）顕著に劣化することを回避できる。
【００３０】
また、本発明によれば、複数の画像の重ね合わせによるぶれの拡大が顕著でない範囲では、ディジタルズーム倍率が高いほど、なるべく手ぶれ補正を行なって、画像上からぶれの影響を取り除くことが可能となる。よって、ディジタルズーム倍率が上がったことで、画像上のぶれが拡大することを回避できる。
【００３１】
また、本発明によれば、手ぶれの影響を抑えた良画質の画像データを得ることができる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。
図１は、本発明の第１、第２、および、第３実施形態に共通する撮像装置の構成を示すブロック図である。判定部１５が判定を行う際に用いるロジックが第１〜第３のそれぞれの実施形態で異なる。
【００３３】
図１において、撮像装置１０は、撮像対象（被写体）からの光をイメージセンサ１２上に集光するレンズ１１、撮像対象からレンズ１１を介して受光された光を電荷に光電変換して蓄積する受光部（不図示）および蓄積された電荷を光電変換データとして出力する信号出力部（不図示）を備えるイメージセンサ１２、イメージセンサ１２から出力された光電変換データのゲインを制御するＡＧＣ（Auto Gain Control）回路１６、ゲインが制御された光電変換データをアナログからディジタルに変換するＡＤ変換器（Analog Digital Converter、ＡＤＣ）１７、ＡＤ変換器１７の出力を基に、画像データを生成する画像処理部（イメージシグナルプロセッサ（ＩＳＰ）ともいう）１８、撮像対象に対する、上記電荷を蓄積する時間である露光時間、および、上記光電変換データを何倍に増幅するかを示すゲイン値を算出する露光制御部１４、算出されたゲイン値が予め定められた閾値以上であるかどうかを判定する判定部１５、撮影指示に対応して、上記算出された露光制御情報（露光時間およびゲイン値）を含む制御信号をイメージセンサ１２に出力して、そのイメージセンサ１２による撮像処理（上記受光部および上記信号出力部による処理）を介して、１つまたは複数個の画像データを取り込む撮影制御部１３、を備える。
【００３４】
露光制御部１４によって算出されたゲイン値が上記閾値以上であると判定部１５によって判定された場合、撮影制御部１３は、イメージセンサ（上記受光部および上記信号出力部）１２を介して１つの画像データを取り込む。この場合、図１に示されるように、判定部１５からの判定結果を示す信号を基に、スイッチ２１が上側に切り替えられることで、その取り込まれた画像データはそのまま後段の画像データ格納用メモリ（不図示）に出力される。
【００３５】
また、露光制御部１４によって算出されたゲイン値が上記閾値より小さいと判定部１５によって判定された場合、撮影制御部１３は、イメージセンサ（上記受光部および上記信号出力部）１２を介して複数個の画像データを取り込む。この場合、判定部１５からの判定結果を示す信号を基に、スイッチ２１が図１に示されるのとは反対側（下側）に切り替えられることで、その取り込まれた（複数の）画像データはメモリ２２に順次格納される。そして、補正処理部２３によって、メモリ２２に格納された複数の画像データを基に、手ぶれ補正された１つの画像データが生成され、その生成された（手ぶれ補正された）画像データが、後段の画像データ格納用メモリ（不図示）に出力される。
【００３６】
撮影制御部１３、露光制御部１４、判定部１５、画像処理部１８、補正処理部２３がプログラムとして実現される場合、撮影制御部１３、露光制御部１４、判定部１５、画像処理部１８を実行する中央処理装置（Central Processing Unit、ＣＰＵ）と、手ぶれ補正の補正処理部２３を実行するＣＰＵとは一致してもよいし、別でもよい。
【００３７】
イメージセンサ１２から出力された光電変換データは、ＡＧＣ回路１６を介することで増幅され、ＡＤ変換器１７を介することで、アナログ値からディジタル値に変換されて、画像処理部１８に入力される。
【００３８】
画像処理部１８は、その入力信号（生データ、ともいう）を基に、色分離処理、ディスプレイにおいて明るさをリニアに表現するためのガンマ補正処理、光源の温度によらず白を白として表現するためのホワイトバランス制御処理、等を行う。色分離処理を介して、入力信号は、ＹＵＶ信号、ＲＧＢ信号、等の要求される形式へ変換される。
【００３９】
なお、露光制御部１４によって算出されたゲイン値Ｇは、イメージセンサ１２から出力された光電変換データを何倍するかを示す値である。すなわち、イメージセンサ１２の光電変換データがＡＧＣ回路１６を介してＧ１倍に増幅された場合、画像処理部１８は、画像中の対応する画素について、さらに、Ｇ／Ｇ１倍増幅することで、要求されたＧ倍にその画素成分が増幅される。
【００４０】
なお、画像処理部１８では、ユーザがユーザインターフェイス部を介して指定したディジタルズーム倍率に対応した画像データが生成される。
図２Ａは撮影制御部１３の単写モード時の動作を説明する図であり、図２Ｂは撮影制御部１３の連写モード時の動作を説明する図である。
【００４１】
単写モードでの動作時には、撮影制御部１３によって、１回の画像データの取り込みが行われる。図２Ａでは、１３３ｍｓｅｃ毎の垂直同期信号（ＶＳＮＣ信号）に同期して、露光（電荷の蓄積）が開始される。図には、露光制御部１４によって露光時間として２００ｍｓｅｃが設定された場合が示されている。
【００４２】
連写モードでの動作時には、撮影制御部１３によって、複数回（ｎ回、ｎは２以上の整数）の画像データの取り込みが行われる。図２Ｂには、ｎ＝３の場合が示されている。図２Ｂにおいても、１３３ｍｓｅｃ毎の垂直同期信号（ＶＳＮＣ信号）に同期して、露光（電荷の蓄積）が開始される。
【００４３】
図２Ｂには、露光制御部１４によって露光時間として２００ｍｓｅｃが設定された場合が示されている。この場合、その露光時間（２００ｍｓｅｃ）を、画像データを取り込む回数（３回）で割った値（６６ｍｓｅｃ）が、それぞれの画像データに対する露光時間として算出される。連写を行う場合は、その連写の結果として得られた複数の画像データを基に、補正処理部２３によって手ぶれ補正が行なわれ、手ぶれ補正された１つの画像データが得られる。一般には、このような手ぶれ補正用の連写を行なう場合、その連写の枚数をＮ枚とし、露光制御部１４によって算出された露光時間をＥとすると、それぞれの画像データに対する露光時間はＥ／Ｎで与えられる。
【００４４】
また、単写時と連写時で、同一のゲイン値を使用する場合もあれば、連写時のゲインを、単写時のｎ倍（ｎは連写の枚数）に設定する場合もある。
なお、ＶＳＮＣ信号以外の信号を使用して露光開始のタイミングを決めてもよい。
【００４５】
上述したように、連写して得た複数の画像データは、図１のメモリ２２に格納されるが、補正処理部２３は、メモリ２２に格納された複数の画像データを基に、手ぶれ補正された１つの画像データを生成する。
【００４６】
図３は、補正処理部２３によって実行される手ぶれ補正処理の概要を示すフローチャートである。
図３において、まず、ステップＳ１０１で、メモリ２２から取得した複数の画像データ間での位置合わせが行われる。この位置合わせでは複数の画像データ間のずれ量を求めている。例えば、３つの画像データに対しては、２番目の画像データ（基準となる画像データ）に対して１番目の画像データをどれだけずらせば対応する画素が重なるか、２番目の画像データに対して３番目の画像データをどれだけずらせば対応する画素が重なるかが求められる。
【００４７】
そして、ステップＳ１０２で、位置合わせの結果を基に、複数の画像データを合成することにより、手ぶれ補正処理（画像合成処理）が行われる。この画像合成処理では、例えば、すべての画像データにおいて対応がとれている画素については、それら画素の値を重ね合わせて合成結果中の画素に反映し、また、いずれかの画像データにしか存在しない画素については、その画素の値に画像データを重ねる数を乗算して合成結果中の画素に反映する。
【００４８】
続いて、露光制御部１４によって算出されたゲイン値が大きい場合に、連写して得た画像データを重ねた場合に生じる不具合について説明する。
Ｎ個の画像データを合成する場合、そのＮ個の画像データのそれぞれの画素には、ランダムにノイズがのっている。このため、例えば、すべての画像の対応する画素同士を加算した場合、信号レベルは個々の画像データのＮ倍になるが、平均ノイズレベルは個々の画像データのＮ１／２倍にしかならない。
【００４９】
上述したように、Ｎ個の画像データを連写して取り込む場合に、露光制御部１４によって算出された露光時間Ｅを１／Ｎ倍して、それぞれの画像データに対する露光時間とした場合、画像にのるノイズを示すＳ／Ｎ比もそれぞれの画像データで露光時間に比例した値、すなわち、露光時間Ｅで得た画像データに対するＳ／Ｎ比の１／Ｎ倍の値になる。上記したように、ノイズは画像データのそれぞれの画素にランダムにのるため、合成結果の画像データ中では、露光時間Ｅで得た画像データに対するＳ／Ｎ比のＮ１／２／Ｎ倍の値になる。なお、Ｎは２以上の整数であるので、この値（Ｎ１／２／Ｎ）は１より小さい。すなわち、複数回の撮影のそれぞれの画像データの露光時間を加算した露光時間が１回の撮影を行う場合の露光時間に等しい場合等は、その複数回撮影して（連写して）得た複数の画像データを合成して得られる画像データのＳ／Ｎ比は、その１回の撮影で得た１つの画像データのＳ／Ｎ比より小さい。
【００５０】
しかし、手ぶれ量は露光時間に比例するので、連写した複数の画像から合成された画像の方がＳ／Ｎ比は劣化しても、手ぶれによる影響が少ないため、人間の目で見た場合は、画質が向上したように見える場合がある。
【００５１】
ここで、Ｓ／Ｎ比とは、信号（Signal）とノイズ（Noise）の比率を示す数値で、音質や画質の評価に利用される指標である。すなわち、Ｓ／Ｎ比は、必要な信号レベルをその信号に含まれるノイズレベルで割った値である。単位はデシベルで、この数値が大きい程、一般にノイズが少ない（高品質・高画質）といえる。ノイズは振幅不定であるため、ノイズの大きさを標準偏差で表現し、信号平均レベル÷ノイズ標準偏差によってＳ／Ｎ比を測定する方法が簡易的な測定方法として通常用いられる。
【００５２】
図４は、Ｓ／Ｎ比とゲイン値の関係を示す概念的な図である。
ゲイン値が増加すると、画像に含まれるノイズも増加するので、Ｓ／Ｎ比が小さくなり、画質が劣化する。すなわち、Ｓ／Ｎ比はゲイン値に反比例する。なお、図４では、縦軸のＳ／Ｎ比は、値が大きい方から小さい方に矢印が向かっていることに注意が必要である。
【００５３】
図４において、直線（１）は、連写した複数の画像から合成された画像に対するゲイン値とＳ／Ｎ比の関係、直線（２）は、連写したそれぞれの画像データの露光時間を加算した露光時間で得た１つの画像データのゲイン値とＳ／Ｎ比の関係、を示している。また、横軸（ゲイン値）に平行な直線である直線（３）は、人間の目で見た場合の画質の許容限界に対応するＳ／Ｎ比を示している。
【００５４】
例えば、図中、矢印Ａで示される領域のように、Ｓ／Ｎ比が高い領域では、連写した複数の画像から得られる画像を使用することによる画質の劣化は視覚上識別が略不可能であるが、矢印Ｂで示される領域のように、Ｓ／Ｎ比が低い領域では、連写した複数の画像から得られる画像を使用することによる画質の劣化が無視できなくなる。
【００５５】
その結果、矢印Ｂの領域（画質が劣化した領域、ゲイン値が高い領域）では、連写した複数の画像から得られる手ぶれ補正された画像データ（直線（１）の実線部分）を使用して、手ぶれによる影響をその手ぶれ補正された画像データ中で抑えるより、連写したそれぞれの画像データの露光時間を加算した露光時間で得た１つの画像データ（直線（２）の実線部分）をそのまま使用した方が視覚上良好な画質の画像が得られることになる。
【００５６】
すなわち、連写した複数の画像から合成された画像（直線（１））のＳ／Ｎ比が画質許容限界（直線（３））を超えて劣化する近辺のゲイン値を閾値に設定して、算出されたゲイン値がその閾値を超えたかどうかにより、連写を行うか（手ぶれ補正を行なうか）どうかを判定部１５で決めるようにすることで、Ｓ／Ｎ比が低い（ゲイン値が高い）画像に対する画質を向上させることが可能となる。
【００５７】
図５は、本実施形態の撮像装置によって実行される撮像処理のフローチャートである。シャッターボタン（撮影ボタン）が撮像装置のユーザによって押下されたことをトリガとして一連の処理が起動される。
【００５８】
図５において、まず、ステップＳ２０１で、シャッターが開いてから最初の所定時間において、測光された輝度情報を基に、露光制御部１４によって、露光制御情報（露光時間、ゲイン値）が算出される。そして、ステップＳ２０２で、判定部１５によって算出されたゲイン値が閾値以上であるかが判定される。
【００５９】
ステップＳ２０２で算出されたゲイン値が閾値より小さいと判定された場合、ステップＳ２０３において、撮影制御部１３からの制御信号に基づいて、イメージセンサ１２による撮像処理が実行される。
【００６０】
本実施形態では、例えば、露光制御部１４によって算出された露光時間毎に、連写を行う回数Ｎを対応付けたテーブルを基に、連写を行う場合の撮影回数Ｎを決めるようにしているが、それ以外の方法で連写を行う場合の撮影回数Ｎを決めてもよい。
【００６１】
撮影制御部１３は、算出された露光時間Ｅを、連写を行う場合の撮影回数Ｎで割ることで、連写における１回の撮影の露光時間（Ｅ／Ｎ）を算出している。
なお、ゲイン値については、露光制御部１４によって算出されたゲイン値を撮影制御部１３が連写の場合もそのまま用いる場合と、連写の場合は、露光制御部１４によって算出されたゲイン値に撮影回数Ｎを乗じて使用する場合とがある。そのまま用いる場合は、手ぶれ補正時に、画像処理部１８によって画像の対応する画素がそのまま重ね合わせられる。一方、ゲイン値をＮ倍した場合は、手ぶれ補正時に、画像の対応する画素を重ね合わせた後、その画素の値を撮影回数Ｎで割る。
【００６２】
続く、ステップＳ２０４では、ステップＳ２０３の撮像処理の結果としてイメージセンサ１２から光電変換データが画像処理部１８に入力され、その画像処理部１８において画像データ生成処理が実行される。
【００６３】
ステップＳ２０５では、ステップＳ２０４で生成された画像データがメモリ２２に格納される。ステップＳ２０７では、撮影が終了したかが判定される。撮影が終了していない場合は、ステップＳ２０３に戻る。一方、撮影が終了した場合は、一連の処理を終了する。
【００６４】
一方、ステップＳ２０２で算出されたゲイン値が閾値以上であると判定された場合、ステップＳ２０７において、撮影制御部１３からの制御信号に基づいて、イメージセンサ１２による撮像処理が実行される。この場合は、１回の撮影が実行され、手ぶれ補正は行なわれない。撮影制御部１３は、算出された露光時間およびゲイン値を上記制御信号中にそのまま用いて１回の撮影を実行するようにイメージセンサ１２に指示する。
【００６５】
そして、ステップＳ２０８で、ステップＳ２０７の撮像処理の結果としてイメージセンサ１２から光電変換データが画像処理部１８に入力され、その画像処理部１８において画像データ生成処理が実行されるとともに、その生成された画像データが後段に出力される。
【００６６】
続いて、本発明の第２実施形態について説明する。第１実施形態では、ゲイン値が閾値以上であるかどうかに応じて、連写を行うかどうか（手ぶれ補正を行なうかどうか）を決定していたが、第２実施形態においては、ユーザがユーザインターフェイス部を介して設定したディジタルズーム倍率が閾値以上であるかどうかを判定し、その判定結果に応じて、連写を行うかどうか（手ぶれ補正を行なうかどうか）を決定する。
【００６７】
図６は、本発明の第２実施形態の主要部の構成を示すブロック図である。
図６において、ユーザがユーザインターフェイス部を介して設定したディジタルズーム倍率がディジタルズーム倍率記憶部３２に格納されている。
【００６８】
撮影制御部３０内の判定部３１は、手ぶれ補正を行なうかどうかを判定するに際して、ディジタルズーム倍率記憶部３２からディジタルズーム倍率を取得し、その取得したディジタルズーム倍率の値が閾値以上であるかを判定する。
【００６９】
ここで、ディジタルズーム倍率がある程度以上高くなると、その倍率に応じた画像の拡大処理によって、その画像内の位置合わせに使用する特徴点の抽出精度の低下が顕著になる。そして、このことにより、連写して得たそれぞれの画像を重ね合わせる（合成する）際に、その重ね合わせによるぶれが拡大し、合成結果の画像の画質が（視覚上）顕著に劣化してしまう。なお、画像内の濃淡変化の境界であるエッジ（輪郭）を検出した後、そのエッジ部分から、高輝度点、端点、頂点、分岐点、交差点といった特徴的に見分け易い部分のみを抽出することで上述の特徴点が得られる。
【００７０】
本第２実施形態においては、ディジタルズーム倍率に閾値を設けている。そして、設定されたディジタルズーム倍率の値がその閾値以上であれば、連写を行わない（手ぶれ補正を行なわない）ようにし、設定されたディジタルズーム倍率の値がその閾値より小さければ、連写を行う（手ぶれ補正を行う）ようにしている。これにより、ディジタルズーム倍率がある程度以上高くなった場合に、連写して得たそれぞれの画像を重ね合わせた合成結果の画像の画質が（視覚上）顕著に劣化することを回避できる。
【００７１】
続いて、本発明の第３実施形態について説明する。
一般に、露光時間が短い場合には、手ぶれによって撮影画像上に発生するぶれの影響は小さいが、ディジタルズームの倍率が高くなると、手ぶれによって発生した画像上のぶれも拡大されてしまう。第２実施形態とは異なり、ディジタルズーム倍率がそれほど高くない範囲で変化する場合、その範囲内では、第２実施形態のような連写して得た複数の画像の重ね合わせによるぶれの拡大は顕著ではない。その範囲内では、ディジタルズーム倍率が高いほど、なるべく手ぶれ補正を行なって、画像上からぶれの影響を取り除くことが望ましい。このことを実現するには、図７に示すように、ディジタルズーム倍率がそれほど高くない範囲（図では、０〜８）で変化する場合に、ディジタルズームの値（の範囲）に対し、画像の画質を（視覚上）一定以上に保つための露光時間の閾値（ｔｈ）を反比例させて対応付けたテーブル（ズーム倍率・露光時間閾値記憶部）を設けるようにすればよい。なお、図８は、図７のズーム倍率・露光時間閾値記憶部に対応した、横軸をディジタルズーム倍率とし、縦軸を露光時間としたグラフである。
【００７２】
なお、図７および図８では、ディジタルズーム倍率の上限が８倍に設定されている。また、図７および図８は、ディジタルズームの値の範囲（０〜８）が、連写して得た複数の画像の重ね合わせによるぶれの拡大が顕著でない範囲として設定されるような撮像装置から採取したデータである。
【００７３】
すなわち、本第３実施形態では、図９に示すように、ディジタルズーム倍率の値（の範囲）に対し、露光時間の閾値をその倍率に反比例するように対応付けた、ズーム倍率・露光時間閾値記憶部４２を基に、判定部４１は、指定されたディジタルズーム倍率の値に対応する露光時間閾値を取得し、露光制御部１４によって算出された露光時間が、その取得された露光時間閾値以下であるかどうかを判定し、その判定結果に応じて、連写を行うかどうか（手ぶれ補正を行なうかどうか）を決定する。
【００７４】
図１０は、本発明の第３実施形態の判定処理のフローチャートである。図５のステップＳ２０２をこの図１０の各ステップで置き換えると、第３実施形態の撮像処理のフローチャートが得られる。
【００７５】
図１０において、まず、ステップＳ３０１で、ズーム倍率・露光時間閾値記憶部４２を基に、判定部４１によって、設定されたディジタルズーム倍率の値（ディジタルズーム倍率記憶部３２に保持される値）に対応する露光時間閾値が取得される。そして、ステップＳ３０２において、判定部４１によって、露光制御部１４によって算出された露光時間が、その取得された露光時間閾値以下であるかどうかが判定される。
【００７６】
ステップＳ３０２で、算出された露光時間が取得された露光時間閾値以下であると判定された場合は、図５のステップＳ２０８に進む。一方、ステップＳ３０２で、算出された露光時間が取得された露光時間閾値より大きいと判定された場合は、図５のステップＳ２０３に進む。
【００７７】
このように、本第３実施形態においては、ディジタルズーム倍率がそれほど高くない範囲で変化し、したがって、手ぶれ補正時の画像の重ね合わせによるぶれの拡大が顕著でない場合に、ディジタルズーム倍率が高いほど、なるべく手ぶれ補正を行なって、画像上からぶれの影響を取り除くようにしている。よって、ズーム倍率が上がったことで、画像上のぶれが拡大することを回避できる。
【００７８】
なお、第２実施形態と第３実施形態の構成を併せることも可能である。
この場合、図１１に示すように、ディジタルズーム倍率がそれほど高くない範囲（図では、０〜６）で変化する場合に、ディジタルズームの値（の範囲）に対し、露光時間の閾値（ｔｈ）を反比例させて対応付け、ディジタルズーム倍率がある程度高い範囲（図では、６〜８）で変化する場合に、ディジタルズームの値（の範囲）に対し、（手ぶれ補正時の画像の重ね合わせによるぶれの拡大が顕著になることから）手ぶれ補正を行なわなくて済むような露光時間の閾値（例えば、最大露光時間ｍ）を対応付けたテーブル（ズーム倍率・露光時間閾値記憶部）を設けるようにすればよい。なお、図１２は、図１１のズーム倍率・露光時間閾値記憶部に対応した、横軸をディジタルズーム倍率とし、縦軸を露光時間としたグラフである。
【００７９】
なお、図１１および図１２では、ディジタルズーム倍率の上限が８倍に設定されている。また、図１１および図１２は、ディジタルズームの値の範囲（０〜６）が、連写して得た複数の画像の重ね合わせによるぶれの拡大が顕著でない範囲として設定され、ディジタルズームの値の範囲（６〜８）が、連写して得た複数の画像の重ね合わせによるぶれの拡大が顕著である範囲として設定されるような撮像装置から採取したデータである。
【００８０】
続いて、第４、第５、および、第６実施形態について説明する。
これらの実施形態では、手ぶれ補正を行なわない場合の単写と、手ぶれ補正を行なう場合の連写をともに実施して複数の画像データを取り込む（単写と連写の順番は問わない）。  
【００８１】
図１３は、手ぶれ補正用に連写を３回行う場合の第４、第５、および、第６実施形態における露光処理機能を説明する図である。
図１３の上段では、手ぶれ補正を行なわない場合の通常露光１回に続いて、手ぶれ補正を行なう場合の連写用露光３回が一度の撮影で行われている。また、下段では、手ぶれ補正を行なう場合の連写用露光３回に続いて、手ぶれ補正を行なわない場合の通常露光１回が一度の撮影で行われている。
【００８２】
図１４は、本発明の第４、第５、および、第６実施形態に共通する撮像装置の構成を示すブロック図である。
図１４において、撮像装置５０のレンズ１１、イメージセンサ１２、ＡＧＣ１６、ＡＤＣ１７、画像処理部１８、メモリ２２、補正処理部２３については図１の撮像装置１０と同様であるので説明を省略する。
【００８３】
撮像装置５０では、撮影制御部５３は、第１〜第３実施形態のような判定処理は行わずに、撮影指示に対応して、撮像対象に対して算出された露光制御情報を含む制御信号をイメージセンサ１２に出力して、そのイメージセンサ１２による撮像処理（上記受光部および上記信号出力部による処理）を介して、複数枚の画像データを取り込んでいる。
【００８４】
また、スイッチ２１は、例えば、図１３における通常露光から連写用露光に変わるタイミングで下側に切り替わり、連写用露光から通常露光に変わるタイミングで上側に切り替わる。
【００８５】
通常露光により取り込まれた１つの画像データと、連写用露光により取り込まれた複数の画像データから得られた手ぶれ補正された１つの画像データはともに画像データ格納用メモリ５４に格納される。
【００８６】
なお、ユーザインターフェイス部５５については、それぞれの実施形態において説明する。
図１５は、第４実施形態における、撮像処理から取り込まれた画像の保存処理までのフローチャートである。このフローチャートは図１４の各部によって実行される。
【００８７】
まず、ステップＳ４０１において、撮影制御部１３によって、単写および連写撮影設定が行われる（単写と連写の順番は問わない）。撮影指示に対応して、撮影制御部１３によって、撮像対象に対して算出された露光制御情報を含む制御信号がイメージセンサ１２に出力される。
【００８８】
そして、続く、ステップＳ４０２において、イメージセンサ１２による撮像処理を介して、複数枚の画像データが取り込まれる。すなわち、イメージセンサ１２によって、撮像対象からレンズ１１を介して受光された光が電荷に光電変換されて蓄積されるとともに、その蓄積された電荷が光電変換データとして画像処理部に出力される。
【００８９】
ステップＳ４０３では、画像処理部１８によって、（撮影）画像データが生成される。すなわち、画像処理部１８によって、光電変換データ（入力信号、生データともいう）を基に、色分離処理、ディスプレイにおいて明るさをリニアに表現するためのガンマ補正処理、光源の温度によらず白を白として表現するためのホワイトバランス制御処理、等が行われる。色分離処理を介して、入力信号は、ＹＵＶ信号、ＲＧＢ信号、等の要求される形式へ変換される。
【００９０】
そして、ステップＳ４０４において、画像処理部１８によって生成された画像データが画像データ格納用メモリ５４またはメモリ２２に格納される。すなわち、通常露光により取り込んだ画像データは画像データ格納用メモリ５４に格納され、連写用露光により取り込んだ画像データはメモリ２２に格納される。
【００９１】
なお、連写用露光を行う回数は、例えば撮像装置ごとに予め定められている。続く、ステップＳ４０５では、その連写用露光の回数＋１回（通常露光分）の撮影（図１３では、４回の露光）を行ったかどうかが判定される。
【００９２】
ステップＳ４０５において予め定められた回数＋１回の撮影を行っていないと判定された場合、ステップＳ４０１に戻る。
一方、ステップＳ４０５において予め定められた回数＋１回の撮影を行ったと判定された場合、ステップＳ４０６において、連写用露光により取り込まれた複数の画像データを基に、例えば、図３に示したようにして、手ぶれ補正処理が実施されて１つの画像データが得られ、画像データ格納用メモリ５４に格納される。
【００９３】
ステップＳ４０７では、ユーザがユーザインターフェイス部５５を介して行う切り替え指示により、画像データ格納用メモリ５４に格納される２つの画像データ（通常撮影した画像データと手ぶれ補正された画像データ）が、画像表示部（不図示）上に順番に表示される。
【００９４】
ユーザは、画像表示部上に順番に表示される画像データを見て、保存したい画像データに対して、ユーザインターフェイス部５５を介して決定指示を行うことで、その画像データを保存する。
【００９５】
ユーザインターフェイス部５５は、この決定指示を、ステップＳ４０８において、選択結果として入力し、ステップＳ４０９において、その選択された画像データを保存すべき画像データとして、例えば、より後段のメモリ（不図示）に出力する。
【００９６】
図１６は、第４実施形態における操作手順を説明する図である。
図１６に示すように、例えば、携帯電話等の機種においては、まず、カメラボタン（不図示）が押下されることで、その機種のディスプレイ上に撮像対象が表示される（カメラファインダ表示が行われる）。
【００９７】
そして、シャッタボタンが押下されることで、カメラファインダ表示が停止され、その時点で撮像されていた対象が画像データとして取り込まれる。
また、「⇒」ボタンが押下されることで、ステップＳ４０７に示したように、画像表示部へ表示される画像データが、次のものに切り替わる。
【００９８】
また、決定ボタンが押下されることで、画像表示部に表示されている画像データが保存される。
このように、本第４実施形態においては、ユーザインターフェイス部を介して、通常撮影の画像データと、手ぶれ補正された画像データのいずれかまたは両方が選択され保存される。よって、例えば、手ぶれが少ない画像データを選択することで、手ぶれの影響を抑えた良画質の画像データを得ることができる。
【００９９】
図１７は、第５実施形態における、撮像処理から取り込まれた画像の保存処理までのフローチャートである。このフローチャートは図１４の各部によって実行される。
なお、ステップＳ４０１〜Ｓ４０５については、図１５と同様であるので説明を省略する。
【０１００】
（ステップＳ４０５において予め定められた回数＋１回の撮影を行ったと判定された場合、）ステップＳ５０１において、画像データ格納用メモリ５４に格納される、通常露光により取り込まれた画像データが画像表示部（不図示）上に表示される。
【０１０１】
ユーザは、画像表示部上に表示された通常露光により取り込まれた画像データを見て、保存するかどうかを判断する。例えば、その画像データを保存したい場合、ユーザインターフェイス部５５を介して決定指示を行うことで、ユーザは、その画像データを保存する。
【０１０２】
なお、ユーザによってユーザインターフェイス部５５を介して「↓」ボタンが押下された場合は手ぶれ補正を実施するものと判定され、「クリア」ボタンが押下された場合は手ぶれ補正を実施しないものと判定される。
【０１０３】
ユーザインターフェイス部５５は、押下されたボタンの種別によってステップＳ５０２において手ぶれ補正の実施の有無を判断する。
ユーザインターフェイス部５５によって手ぶれ補正を実施しないと判定された場合は、ステップＳ５０６に進む。
【０１０４】
一方、ユーザインターフェイス部５５によって手ぶれ補正を実施すると判定された場合は、ステップＳ５０３において、連写用露光により取り込まれた複数の画像データを基に、例えば、図３に示したようにして、手ぶれ補正処理が実施されて１つの画像データが得られ、画像データ格納用メモリ５４に格納される。
【０１０５】
ステップＳ５０４では、ユーザがユーザインターフェイス部５５を介して行う切り替え指示により、画像データ格納用メモリ５４に格納される２つの画像データ（通常撮影した画像データと手ぶれ補正された画像データ）が、画像表示部（不図示）上に順番に表示される。
【０１０６】
ユーザは、画像表示部上に順番に表示される画像データを見て、保存したい画像データに対して、ユーザインターフェイス部５５を介して決定指示を行うことで、その画像データを保存する。
【０１０７】
ユーザインターフェイス部５５は、この決定指示を、ステップＳ５０５において、選択結果として入力し、ステップＳ５０６に進む。
ステップＳ５０６では、ユーザインターフェイス部５５は、ステップＳ５０５において選択された画像データ、または、通常撮影の画像データを保存すべき画像データとして、例えば、より後段のメモリ（不図示）に出力する。
【０１０８】
図１８は、第５実施形態における操作手順を説明する図である。
図１８に示すように、例えば、携帯電話等の機種においては、まず、カメラボタン（不図示）が押下されることで、その機種のディスプレイ上に撮像対象が表示される（カメラファインダ表示が行われる）。
【０１０９】
そして、シャッタボタンが押下されることで、カメラファインダ表示が停止され、その時点で撮像されていた対象が画像データとして取り込まれる。
また、１枚の通常撮影画像のみが画像表示部に表示しうる場合は、決定ボタンが押下されることで、画像表示部に表示されている画像データが保存され、「↓」ボタンが押下されることで、手ぶれ補正が実施される。また、「クリア」ボタンが押下されることで、手ぶれ補正の非実施が決定される。
【０１１０】
また、通常撮影画像と、手ぶれ補正された画像の２枚が画像表示部に表示しうる場合は、決定ボタンが押下されることで、画像表示部に表示されている画像データが保存され、「⇒」ボタンが押下されることで、ステップＳ５０４に示したように、画像表示部へ表示される画像データが、次のものに切り替わる。
【０１１１】
図１９は、第６実施形態における、撮像処理から取り込まれた画像の保存処理までのフローチャートである。このフローチャートは図１４の各部によって実行される。
なお、ステップＳ４０１〜Ｓ４０５については、図１５と同様であるので説明を省略する。
【０１１２】
（ステップＳ４０５において予め定められた回数＋１回の撮影を行ったと判定された場合、）ステップＳ６０１において、画像データ格納用メモリ５４に格納される、通常露光により取り込まれた画像データが画像表示部（不図示）上に表示される。
【０１１３】
ユーザは、画像表示部上に表示された通常露光により取り込まれた画像データを見て、保存するかどうかを判断する。例えば、その画像データを保存したい場合、ユーザインターフェイス部５５を介して決定指示を行うことで、ユーザは、その画像データを保存する。
【０１１４】
一方、手ぶれ補正された画像データも画像表示部へ表示したい場合、ユーザは、ユーザインターフェイス部５５を介して「↓」ボタンを押下する。なお、第５実施形態では、この「↓」ボタンの押下をトリガとして手ぶれ補正が実施されたのに対し、第６実施形態では、手ぶれ補正処理は、ステップＳ６０１の通常撮影画像の画像表示部への表示と並行して実行されている。
【０１１５】
ユーザインターフェイス部５５は、上記「↓」ボタン押下を、ステップＳ６０２において、手ぶれ補正された画像データの画像表示部への表示と判断し、ステップＳ６０３において、ユーザがユーザインターフェイス部５５を介して行う切り替え指示（例えば、「⇒」ボタンの押下）により、通常撮影画像と手ぶれ補正された画像が画像表示部上に順番に表示されうる状態となる。
【０１１６】
ユーザは、この状態において、画像表示部上に順番に表示される画像データを見て、保存したい画像データに対して、ユーザインターフェイス部５５を介して決定指示を行うことで、その画像データを保存する。
【０１１７】
ユーザインターフェイス部５５は、この決定指示を、ステップＳ６０４において、選択結果として入力し、ステップＳ６０５において、その選択された画像データを保存すべき画像データとして、例えば、より後段のメモリ（不図示）に出力する。
【０１１８】
図２０は、第６実施形態における操作手順を説明する図である。
図２０に示すように、例えば、携帯電話等の機種においては、まず、カメラボタン（不図示）が押下されることで、その機種のディスプレイ上に撮像対象が表示される（カメラファインダ表示が行われる）。
【０１１９】
そして、シャッタボタンが押下されることで、カメラファインダ表示が停止され、その時点で撮像されていた対象が画像データとして取り込まれる。
また、１枚の通常撮影画像のみが画像表示部に表示しうる場合は、決定ボタンが押下されることで、画像表示部に表示されている画像データが保存され、「↓」ボタンが押下されることで、通常撮影画像と、手ぶれ補正された画像データが画像表示部へ表示されうる状態、すなわち、通常撮影の画像データの他に、手ぶれ補正された画像データも保存すべき画像データの候補に挙げられる状態になる。
【０１２０】
また、通常撮影画像と、手ぶれ補正された画像の２枚が画像表示部に表示しうる状態において、決定ボタンが押下されることで、画像表示部に表示されている画像データが保存され、「⇒」ボタンが押下されることで、ステップＳ６０３に示したように、画像表示部へ表示される画像データが、次のものに切り替わる。
【０１２１】
続いて、第７および第８実施形態について説明する。
これらの実施形態でも、第４〜第６実施形態同様、手ぶれ補正を行なわない場合の単写と、手ぶれ補正を行なう場合の連写をともに実施して複数の画像データを取り込む（単写と連写の順番は問わない）。
【０１２２】
第７実施形態では、ユーザインターフェイス部５５の代わりに、特徴点抽出部５６を備える。また、第８実施形態では、ユーザインターフェイス部５５の代わりに、Ｓ／Ｎ比算出部５７を備える。
【０１２３】
図２１は、第７実施形態における、画像データ格納用メモリに関連するユニットを示すブロック図である。
図２１において、特徴点抽出部５６は、画像データ格納用メモリ５４に格納される、通常撮影画像と、手ぶれ補正された画像について、画像内の濃淡変化の境界であるエッジ（輪郭）を検出した後、そのエッジ部分から、高輝度点、端点、頂点、分岐点、交差点といった特徴的に見分け易い部分のみを抽出することで特徴点を抽出する。そして、その特徴点部分の解像度が高いかどうかを判定し、より解像度が高い方の画像を、例えば、画像データ格納用メモリ５４のさらに後段のメモリ（不図示）に出力する。
【０１２４】
図２２は、第７実施形態における、撮像処理から取り込まれた画像の保存処理までのフローチャートである。
なお、ステップＳ４０１〜Ｓ４０５については、図１５と同様であるので説明を省略する。
【０１２５】
（ステップＳ４０５において予め定められた回数＋１回の撮影を行ったと判定された場合、）ステップＳ７０１において、連写用露光により取り込まれた複数の画像データを基に、例えば、図３に示したようにして、手ぶれ補正処理が実施されて１つの画像データが得られ、画像データ格納用メモリ５４に格納される。
【０１２６】
ステップＳ７０２では、特徴点抽出部５６によって、画像データ格納用メモリ５４に格納される、通常撮影画像と、手ぶれ補正された画像について、画像内の濃淡変化の境界であるエッジ（輪郭）が検出された後、そのエッジ部分から、高輝度点、端点、頂点、分岐点、交差点といった特徴的に見分け易い部分のみが抽出されることで特徴点が抽出される。そして、その特徴点部分の解像度が高いかどうかが判定し、ステップＳ７０３において、より解像度が高い方の画像が、例えば、画像データ格納用メモリ５４のさらに後段のメモリ（不図示）に出力される。
【０１２７】
このように、本第７実施形態においては、一度の撮影指示に対して、通常撮影の画像データと、手ぶれ補正された画像データの両方が取り込んでいる。そして、特徴点抽出部５６によって、通常撮影の画像データと、手ぶれ補正された画像データのうちで、特徴点部分の解像度が高い方の画像データが保存される。よって、手ぶれの影響を抑えた良画質の画像データを得ることができる。
【０１２８】
なお、以上では、第７実施形態では、それぞれの画像中から特徴点を抽出するようにしたが、エッジのみを検出するようにしてもよい。この場合、そのエッジ部分の解像度が高いかどうかを判定し、より解像度が高い方の画像を、例えば、画像データ格納用メモリ５４のさらに後段のメモリ（不図示）に出力する。
【０１２９】
図２３は、第８実施形態における、画像データ格納用メモリに関連するユニットを示すブロック図である。
図２３において、Ｓ／Ｎ比算出部５７は、画像データ格納用メモリ５４に格納される、通常撮影画像と、手ぶれ補正された画像について、Ｓ／Ｎ比、すなわち、必要な信号レベルをその信号に含まれるノイズレベルで割った値を算出し、そのＳ／Ｎ比がより大きい方の画像を、例えば、画像データ格納用メモリ５４のさらに後段のメモリ（不図示）に出力する。
【０１３０】
図２４は、第８実施形態における、撮像処理から取り込まれた画像の保存処理までのフローチャートである。
なお、ステップＳ４０１〜Ｓ４０５については、図１５と同様であるので説明を省略する。
【０１３１】
（ステップＳ４０５において予め定められた回数＋１回の撮影を行ったと判定された場合、）ステップＳ８０１において、連写用露光により取り込まれた複数の画像データを基に、例えば、図３に示したようにして、手ぶれ補正処理が実施されて１つの画像データが得られ、画像データ格納用メモリ５４に格納される。
【０１３２】
ステップＳ８０２では、Ｓ／Ｎ比算出部５７によって、画像データ格納用メモリ５４に格納される、通常撮影画像と、手ぶれ補正された画像について、Ｓ／Ｎ比、すなわち、必要な信号レベルをその信号に含まれるノイズレベルで割った値が算出され、ステップＳ８０３において、そのＳ／Ｎ比がより大きい方の画像が、例えば、画像データ格納用メモリ５４のさらに後段のメモリ（不図示）に出力される。
【０１３３】
このように、本第８実施形態においては、一度の撮影指示に対して、通常撮影の画像データと、手ぶれ補正された画像データの両方が取り込んでいる。そして、Ｓ／Ｎ比算出部によって、通常撮影の画像データと、手ぶれ補正された画像データのうちで、必要な信号レベルをその信号に含まれるノイズレベルで割った値であるＳ／Ｎ比がより大きい方の画像データが保存される。よって、手ぶれの影響を抑えた良画質の画像データを得ることができる。
【０１３４】
なお、特徴点抽出部５６とＳ／Ｎ比算出部５７の双方を撮像装置が備えるようにしてもよい。この場合、撮像装置を内蔵する携帯電話等の装置に付いているスイッチ、または、上述のユーザインターフェイス部５５を介して、ユーザは、特徴点抽出によるぶれ補正を優先するかどうかを決める。ぶれ補正を優先する場合は、第７実施形態の処理が実行され、ぶれ補正を優先しない場合は、第８実施形態の処理が実行される。
【０１３５】
図２５は、第７実施形態と第８実施形態を組み合わせたフローチャートである。
なお、ステップＳ４０１〜Ｓ４０５については、図１５と同様であるので説明を省略する。
【０１３６】
（ステップＳ４０５において予め定められた回数＋１回の撮影を行ったと判定された場合、）ステップＳ９０１において、連写用露光により取り込まれた複数の画像データを基に、例えば、図３に示したようにして、手ぶれ補正処理が実施されて１つの画像データが得られ、画像データ格納用メモリ５４に格納される。
【０１３７】
ステップＳ９０２では、現在のモードが、「ぶれ補正優先モード」であるかどうかが判定される。
ステップＳ９０２で「ぶれ補正優先モード」であると判定された場合、ステップＳ９０３において、特徴点抽出部５６によって、画像データ格納用メモリ５４に格納される、通常撮影画像と、手ぶれ補正された画像について、画像内の濃淡変化の境界であるエッジ（輪郭）が検出された後、そのエッジ部分から、高輝度点、端点、頂点、分岐点、交差点といった特徴的に見分け易い部分のみが抽出されることで特徴点が抽出される。そして、その特徴点部分の解像度が高いかどうかが判定し、ステップＳ９０５において、より解像度が高い方の画像が、例えば、画像データ格納用メモリ５４のさらに後段のメモリ（不図示）に出力される。
【０１３８】
一方、ステップＳ９０２で「ぶれ補正優先モード」でないと判定された場合、ステップＳ９０４において、Ｓ／Ｎ比算出部５７によって、画像データ格納用メモリ５４に格納される、通常撮影画像と、手ぶれ補正された画像について、Ｓ／Ｎ比、すなわち、必要な信号レベルをその信号に含まれるノイズレベルで割った値が算出され、ステップＳ９０５において、そのＳ／Ｎ比がより大きい方の画像が、例えば、画像データ格納用メモリ５４のさらに後段のメモリ（不図示）に出力される。
【０１３９】
図２６は、記憶媒体例を示す図である。
本発明の手ぶれ補正処理の前処理や保存画像決定処理は、画像データ処理装置８１によって実現することが可能である。本発明の処理のためのプログラムやデータは、画像データ処理装置８１の記憶装置８５から画像データ処理装置８１のメモリにロードして実行することも、可搬型記憶媒体８３から画像データ処理装置８１のメモリにロードして実行することも、外部記憶装置８２からネットワーク８６を介して画像データ処理装置８１のメモリにロードして実行することも可能である。
【０１４０】
本発明は下記構成でもよい。
（付記１）  撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御部と、
前記算出されたゲイン値が予め定められた閾値以上であるかどうかを判定する判定部と、
撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御部、を備え、
前記ゲイン値が前記閾値以上であると判定された場合には、前記撮影制御部は、１つの画像データを取り込み、
前記ゲイン値が前記閾値より小さいと判定された場合には、前記撮影制御部は、複数の画像データを取り込み、
それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理部、をさらに備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記２）  撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御部と、
設定されたディジタルズーム倍率の値が予め定められた閾値以上であるかどうかを判定する判定部と、
撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御部、を備え、
前記ディジタルズーム倍率の値が前記閾値以上であると判定された場合には、前記撮影制御部は、１つの画像データを取り込み、
前記ディジタルズーム倍率の値が前記閾値より小さいと判定された場合には、前記撮影制御部は、複数の画像データを取り込み、
それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理部、をさらに備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記３）  複数の画像データに基づく手ぶれ補正（複数の画像の重ね合わせ）によるぶれの拡大が顕著であるディジタルズーム倍率の範囲の開始位置付近に、前記閾値を設定したことを特徴とする付記２記載の手ぶれ補正機能付き撮像装置。
（付記４）  撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御部と、
ディジタルズーム倍率の値に対する、許容可能な露光時間の閾値を記憶するズーム倍率・露光時間閾値記憶部を基に、設定されたディジタルズーム倍率に対応する露光時間の閾値を取得する露光時間閾値取得部と、
前記算出された露光時間が取得された露光時間閾値以下であるかどうかを判定する判定部と、
撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御部、を備え、
前記算出された露光時間が取得された露光時間閾値以下であると判定された場合には、前記撮影制御部は、１つの画像データを取り込み、
前記算出された露光時間が取得された露光時間閾値より大きいと判定された場合には、前記撮影制御部は、複数の画像データを取り込み、
それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理部、をさらに備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記５）  複数の画像データに基づく手ぶれ補正（複数の画像の重ね合わせ）によるぶれの拡大が顕著でない範囲に属するディジタルズーム倍率の値に反比例するように、前記閾値が、前記ズーム倍率・露光時間閾値記憶部中に指定されることを特徴とする付記４記載の手ぶれ補正機能付き撮像装置。
（付記６）  撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御部と、
連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理部と、
通常撮影の画像データと、手ぶれ補正された画像データのいずれかまたは両方を選択し保存できるユーザインターフェイス部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記７）  前記ユーザインターフェイス部は、補正処理部を起動して、手ぶれ補正処理を行うかどうかをさらに決定できることを特徴とする付記６記載の手ぶれ補正機能付き撮像装置。
（付記８）  前記ユーザインターフェイス部は、通常撮影の画像データの他に、手ぶれ補正された画像データも保存すべき画像データの候補に挙げるかどうかをさらに決定できることを特徴とする付記６記載の手ぶれ補正機能付き撮像装置。
（付記９）  撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御部と、
連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理部と、
通常撮影の画像データと、手ぶれ補正された画像データに対し、特徴点を抽出し、その特徴点部分の解像度が高い方の画像データを保存する特徴点抽出部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記１０）  撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御部と、
連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理部と、
通常撮影の画像データと、手ぶれ補正された画像データに対し、それぞれの画像内の濃淡変化の境界であるエッジを抽出し、そのエッジ部分の解像度が高い方の画像データを保存するエッジ抽出部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記１１）  撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御部と、
連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理部と、
通常撮影の画像データと、手ぶれ補正された画像データに対し、必要な信号レベルをその信号に含まれるノイズレベルで割った値であるＳ／Ｎ比を算出し、そのＳ／Ｎ比がより大きい方の画像データを保存するＳ／Ｎ比算出部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記１２）  撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御部と、
連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理部と、
通常撮影の画像データと、手ぶれ補正された画像データに対し、特徴点を抽出し、その特徴点部分の解像度が高い方の画像データを保存する特徴点抽出部と、
通常撮影の画像データと、手ぶれ補正された画像データに対し、必要な信号レベルをその信号に含まれるノイズレベルで割った値であるＳ／Ｎ比を算出し、そのＳ／Ｎ比がより大きい方の画像データを保存するＳ／Ｎ比算出部と、
画像データを保存する判断の基準として、前記特徴点抽出部と前記Ｓ／Ｎ比算出部のいずれかを用いるかを設定できる判断基準設定部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記１３）  イメージセンサを用いて、撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御ステップと、
前記算出されたゲイン値が予め定められた閾値以上であるかどうかを判定する判定ステップと、
撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御ステップ、を備え、
前記ゲイン値が前記閾値以上であると判定された場合には、前記撮影制御ステップにおいて、１つの画像データを取り込み、
前記ゲイン値が前記閾値より小さいと判定された場合には、前記撮影制御ステップにおいて、複数の画像データを取り込み、
それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理ステップ、をさらに備えることを特徴とする手ぶれ補正方法。
（付記１４）  イメージセンサを用いて、撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御ステップと、
設定されたディジタルズーム倍率の値が予め定められた閾値以上であるかどうかを判定する判定ステップと、
撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御ステップ、を備え、
前記ディジタルズーム倍率の値が前記閾値以上であると判定された場合には、前記撮影制御ステップにおいて、１つの画像データを取り込み、
前記ディジタルズーム倍率の値が前記閾値より小さいと判定された場合には、前記撮影制御ステップにおいて、複数の画像データを取り込み、
それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理ステップ、をさらに備えることを特徴とする手ぶれ補正方法。
（付記１５）  複数の画像データに基づく手ぶれ補正（複数の画像の重ね合わせ）によるぶれの拡大が顕著であるディジタルズーム倍率の範囲の開始位置付近に、前記閾値を設定したことを特徴とする付記１４記載の手ぶれ補正方法。
（付記１６）  イメージセンサを用いて、撮像対象物から指定された露光時間だけ受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
前記露光時間と、前記光電変換データを増幅する値を示すゲイン値とを算出する露光制御ステップと、
ディジタルズーム倍率の値に対する、許容可能な露光時間の閾値を記憶するズーム倍率・露光時間閾値記憶部を基に、設定されたディジタルズーム倍率に対応する露光時間の閾値を取得する露光時間閾値取得ステップと、
前記算出された露光時間が取得された露光時間閾値以下であるかどうかを判定する判定ステップと、
撮影指示に対応して、算出された露光制御情報（露光時間およびゲイン値）を前記イメージセンサに出力して、１以上の画像データを取り込む撮影制御ステップ、を備え、
前記算出された露光時間が取得された露光時間閾値以下であると判定された場合には、前記撮影制御ステップにおいて、１つの画像データを取り込み、
前記算出された露光時間が取得された露光時間閾値より大きいと判定された場合には、前記撮影制御ステップにおいて、複数の画像データを取り込み、
それら取り込まれた複数の画像データを基に、手ぶれ補正された１つの画像データを生成する補正処理ステップ、をさらに備えることを特徴とする手ぶれ補正方法。
（付記１７）  複数の画像データに基づく手ぶれ補正（複数の画像の重ね合わせ）によるぶれの拡大が顕著でない範囲に属するディジタルズーム倍率の値に反比例するように、前記閾値が、前記ズーム倍率・露光時間閾値記憶部中に指定されることを特徴とする付記１６記載の手ぶれ補正方法。
（付記１８）  イメージセンサを用いて、撮像対象物から受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御ステップと、
連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理ステップと、
通常撮影の画像データと、手ぶれ補正された画像データに対し、特徴点を抽出し、その特徴点部分の解像度が高い方の画像データを保存する特徴点抽出ステップ、を備えることを特徴とする手ぶれ補正方法。
（付記１９）  イメージセンサを用いて、撮像対象物から受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御ステップと、
連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理ステップと、
通常撮影の画像データと、手ぶれ補正された画像データに対し、それぞれの画像内の濃淡変化の境界であるエッジを抽出し、そのエッジ部分の解像度が高い方の画像データを保存するエッジ抽出ステップ、を備えることを特徴とする手ぶれ補正方法。
（付記２０）  イメージセンサを用いて、撮像対象物から受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、手ぶれ補正を行なわない通常撮影と、手ぶれ補正用の連写撮影を行なって、複数の画像データを取り込む撮影制御ステップと、
連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理ステップと、
通常撮影の画像データと、手ぶれ補正された画像データに対し、必要な信号レベルをその信号に含まれるノイズレベルで割った値であるＳ／Ｎ比を算出し、そのＳ／Ｎ比がより大きい方の画像データを保存するＳ／Ｎ比算出ステップ、を備えることを特徴とする手ぶれ補正方法。
（付記２１）  画像データを処理する画像データ処理装置に手ぶれ補正を行なうかどうかを決定させる前処理プログラムにおいて、
撮像対象物から光を受光する時間である露光時間、および、その受光した光を光電変換した光電変換データを増幅する値であるゲイン値を、露光制御を行うユニットから取得するステップと、
取得されたゲイン値が予め設定された閾値以上であるかどうかを判定するステップと、
撮影指示に対応して、取得された露光制御情報（露光時間およびゲイン値）を、撮像処理を行うユニットに出力する撮影指示ステップと、を前記画像処理装置に実行させ、
前記ゲイン値が前記閾値以上であると判定された場合には、前記撮影制御ステップにおいて、１つの画像データを取り込むような指示が出力され、
前記ゲイン値が前記閾値より小さいと判定された場合には、前記撮影制御ステップにおいて、手ぶれ補正された１つの画像データを生成するのに使用する複数の画像データを取り込むような指示が出力されることを特徴とする手ぶれ補正処理の前処理プログラム。
（付記２２）  画像データを処理する画像データ処理装置に手ぶれ補正を行なうかどうかを決定させる前処理プログラムにおいて、
撮像対象物から光を受光する時間である露光時間、および、その受光した光を光電変換した光電変換データを増幅する値であるゲイン値を、露光制御を行うユニットから取得するステップと、
設定されたディジタルズーム倍率の値が予め設定された閾値以上であるかどうかを判定するステップと、
撮影指示に対応して、取得された露光制御情報（露光時間およびゲイン値）を、撮像処理を行うユニットに出力する撮影指示ステップと、を前記画像処理装置に実行させ、
前記ディジタルズーム倍率の値が前記閾値以上であると判定された場合には、前記撮影制御ステップにおいて、１つの画像データを取り込むような指示が出力され、
前記ディジタルズーム倍率の値が前記閾値より小さいと判定された場合には、前記撮影制御ステップにおいて、手ぶれ補正された１つの画像データを生成するのに使用する複数の画像データを取り込むような指示が出力されることを特徴とする手ぶれ補正処理の前処理プログラム。
（付記２３）  画像データを処理する画像データ処理装置に手ぶれ補正を行なうかどうかを決定させる前処理プログラムにおいて、
撮像対象物から光を受光する時間である露光時間、および、その受光した光を光電変換した光電変換データを増幅する値であるゲイン値を、露光制御を行うユニットから取得するステップと、
ディジタルズーム倍率の値に対する、許容可能な露光時間の閾値を記憶するズーム倍率・露光時間閾値記憶部を基に、設定されたディジタルズーム倍率に対応する露光時間の閾値を取得する露光時間閾値取得ステップと、
取得された露光時間が取得された露光時間閾値以下であるかどうかを判定するステップと、
撮影指示に対応して、取得された露光制御情報（露光時間およびゲイン値）を、撮像処理を行うユニットに出力する撮影指示ステップと、を前記画像処理装置に実行させ、
前記露光時間が前記露光時間閾値以下であると判定された場合には、前記撮影制御ステップにおいて、１つの画像データを取り込むような指示が出力され、
前記露光時間が前記露光時間閾値より大きいと判定された場合には、前記撮影制御ステップにおいて、手ぶれ補正された１つの画像データを生成するのに使用する複数の画像データを取り込むような指示が出力されることを特徴とする手ぶれ補正処理の前処理プログラム。
（付記２４）  画像データを処理する画像データ処理装置に保存すべき画像データを決定させるプログラムにおいて、
前記画像データ処理装置の第１画像データ記憶部に格納された、連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理ステップと、
前記画像データ処理装置の第２画像データ記憶部に格納された、通常撮影の画像データと、手ぶれ補正された画像データに対し、特徴点を抽出し、その特徴点部分の解像度が高い方の画像データを保存する特徴点抽出ステップ、を前記画像データ処理装置に実行させることを特徴とする保存画像決定プログラム。
（付記２５）  画像データを処理する画像データ処理装置に保存すべき画像データを決定させるプログラムにおいて、
前記画像データ処理装置の第１画像データ記憶部に格納された、連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理ステップと、
前記画像データ処理装置の第２画像データ記憶部に格納された、通常撮影の画像データと、手ぶれ補正された画像データに対し、それぞれの画像内の濃淡変化の境界であるエッジを抽出し、そのエッジ部分の解像度が高い方の画像データを保存するエッジ抽出ステップ、を前記画像データ処理装置に実行させることを特徴とする保存画像決定プログラム。
（付記２６）  画像データを処理する画像データ処理装置に保存すべき画像データを決定させるプログラムにおいて、
前記画像データ処理装置の第１画像データ記憶部に格納された、連写撮影により取り込まれた複数の画像データを基に、手ぶれ補正された画像データを生成する補正処理ステップと、
前記画像データ処理装置の第２画像データ記憶部に格納された、通常撮影の画像データと、手ぶれ補正された画像データに対し、必要な信号レベルをその信号に含まれるノイズレベルで割った値であるＳ／Ｎ比を算出し、そのＳ／Ｎ比がより大きい方の画像データを保存するＳ／Ｎ比算出ステップ、を前記画像データ処理装置に実行させることを特徴とする保存画像決定プログラム。
【図面の簡単な説明】
【０１４１】
【図１】本発明の第１、第２、および、第３実施形態に共通する撮像装置の構成を示すブロック図である。
【図２Ａ】図１の撮影制御部の単写モード時の動作を説明する図である。
【図２Ｂ】図１の撮影制御部の連写モード時の動作を説明する図である。
【図３】図１の補正処理部によって実行される手ぶれ補正処理の概要を示すフローチャートである。
【図４】Ｓ／Ｎ比とゲイン値の関係を示す概念的な図である。
【図５】本発明の第１実施形態の撮像装置によって実行される撮像処理のフローチャートである。
【図６】本発明の第２実施形態の主要部の構成を示すブロック図である。
【図７】ズーム倍率・露光時間閾値記憶部のデータ構造（その１）を示す図である。
【図８】図７のズーム倍率・露光時間閾値記憶部に対応した、横軸をディジタルズーム倍率とし、縦軸を露光時間としたグラフである。
【図９】本発明の第３実施形態の主要部の構成を示すブロック図である。
【図１０】本発明の第３実施形態の判定処理のフローチャートである。
【図１１】ズーム倍率・露光時間閾値記憶部のデータ構造（その２）を示す図である。
【図１２】図１１のズーム倍率・露光時間閾値記憶部に対応した、横軸をディジタルズーム倍率とし、縦軸を露光時間としたグラフである。
【図１３】手ぶれ補正用に連写を３回行う場合の第４、第５、および、第６実施形態における露光処理機能を説明する図である。
【図１４】本発明の第４、第５、および、第６実施形態に共通する撮像装置の構成を示すブロック図である。
【図１５】第４実施形態における、撮像処理から取り込まれた画像の保存処理までのフローチャートである。
【図１６】第４実施形態における操作手順を説明する図である。
【図１７】第５実施形態における、撮像処理から取り込まれた画像の保存処理までのフローチャートである。
【図１８】第５実施形態における操作手順を説明する図である。
【図１９】第６実施形態における、撮像処理から取り込まれた画像の保存処理までのフローチャートである。
【図２０】第６実施形態における操作手順を説明する図である。
【図２１】第７実施形態における、画像データ格納用メモリに関連するユニットを示すブロック図である。
【図２２】第７実施形態における、撮像処理から取り込まれた画像の保存処理までのフローチャートである。
【図２３】第８実施形態における、画像データ格納用メモリに関連するユニットを示すブロック図である。
【図２４】第８実施形態における、撮像処理から取り込まれた画像の保存処理までのフローチャートである。
【図２５】第７実施形態と第８実施形態を組み合わせたフローチャートである。
【図２６】記憶媒体例を示す図である。
【符号の説明】
【０１４２】
１０、５０      撮像装置
１１      レンズ
１２      イメージセンサ
１３、３０、４０、５３      撮影制御部
１４      露光制御部
１５、３１、４１      判定部
１６      ＡＧＣ回路
１７      ＡＤＣ
１８      画像処理部（ＩＳＰ）
２１      スイッチ
２２      メモリ
２３      補正処理部
３２      ディジタルズーム記憶部
４２      ズーム倍率・露光時間閾値記憶部
５４      画像データ格納用メモリ
５５      ユーザインターフェイス部
５６      特徴点抽出部
５７      Ｓ／Ｎ比算出部
【図１】
0004783252.tif 000002
【図３】
0004783252.tif 000003
【図６】
0004783252.tif 000004
【図７】
0004783252.tif 000005
【図９】
0004783252.tif 000006
【図１０】
0004783252.tif 000007
【図１１】
0004783252.tif 000008
【図１３】
0004783252.tif 000009
【図１４】
0004783252.tif 000010
【図１６】
0004783252.tif 000011
【図１８】
0004783252.tif 000012
【図２０】
0004783252.tif 000013
【図２１】
0004783252.tif 000014
【図２２】
0004783252.tif 000015
【図２３】
0004783252.tif 000016
【図２４】
0004783252.tif 000017
【図２５】
0004783252.tif 000018
【図２６】
0004783252.tif 000019
【図２Ａ】
0004783252.tif 000020
【図２Ｂ】
0004783252.tif 000021
【図４】
0004783252.tif 000022
【図５】
0004783252.tif 000023
【図８】
0004783252.tif 000024
【図１２】
0004783252.tif 000025
【図１５】
0004783252.tif 000026
【図１７】
0004783252.tif 000027
【図１９】
0004783252.tif 000028