(57)【要約】【課題】より鮮明な画像を得ることができるように、撮影モードを自動的に決定する。【解決手段】  制御回路１８は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する第１の露出時間が、第１の閾値以下である場合に、第１のモードで撮影を行うことを決定する。また、制御回路１８は、第１の露出時間が第１の閾値以下でない場合に、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する第２の露出時間が、第２の閾値以下であれば、第２のモードで撮影を行うことを決定する。本発明は、例えば、ディジタルカメラに適用できる。【選択図】図１
2006157168.tif 000002
【特許請求の範囲】
【請求項１】
１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、
前記第１のモードで撮影を行うと仮定した際の、前記１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する第１の判定ステップと、
前記第１の判定ステップで、前記第１の露出時間が前記第１の閾値以下であると判定された場合に、前記第１のモードで撮影を行うことを決定する第１の決定ステップと、
前記第１の判定ステップで、前記第１の露出時間が前記第１の閾値以下でないと判定された場合に、前記第２のモードで撮影を行うことを決定する第２の決定ステップと
を含むことを特徴とする撮影装置の制御方法。
【請求項２】
前記第１の閾値は、前記第１のモードで撮影を行う際の前記１枚の入力画像に、手ブレが起きない限界の露出時間である
ことを特徴とする請求項１に記載の撮影装置の制御方法。
【請求項３】
前記第１の閾値は、前記入力画像の撮像時の焦点距離に基づく値である
ことを特徴とする請求項１に記載の撮影装置の制御方法。
【請求項４】
前記第１の判定ステップで、前記第１の露出時間が前記第１の閾値以下でないと判定された場合に、前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間である第２の露出時間が、第２の閾値以下であるか否かを判定する第２の判定ステップをさらに含み、
前記第２の決定ステップでは、前記第２の判定ステップで、前記第２の露出時間が前記第２の閾値以下であると判定された場合に、前記第２のモードで撮影を行うことを決定する
ことを特徴とする請求項１に記載の撮影装置の制御方法。
【請求項５】
前記第２の閾値は、前記第２のモードで撮影を行う際の前記複数枚の入力画像のそれぞれに、手ブレが起きない限界の露出時間である
ことを特徴とする請求項４に記載の撮影装置の制御方法。
【請求項６】
前記第２の閾値は、前記入力画像の撮像時の焦点距離に基づく値である
ことを特徴とする請求項４に記載の撮影装置の制御方法。
【請求項７】
前記第１の判定ステップで、前記第１の露出時間が前記第１の閾値以下でないと判定され、かつ、前記第２の判定ステップで、前記第２の露出時間が前記第２の閾値以下でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第３の決定ステップをさらに含む
ことを特徴とする請求項４に記載の撮影装置の制御方法。
【請求項８】
前記第２の判定ステップでは、前記第２の露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値、または前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値のうちの大きい方の閾値以上であるか否かをさらに判定し、
前記第２の決定ステップでは、前記第２の判定ステップで、前記第２の露出時間が、前記第２の閾値以下であると判定され、かつ、前記適正露出時間に基づく閾値、または前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値のうちの大きい方の閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する
ことを特徴とする請求項４に記載の撮影装置の制御方法。
【請求項９】
前記第２の判定ステップでは、前記第２の露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値、または前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値のうちの大きい方の閾値に等しいとして、前記第２の露出時間が、前記第２の閾値以下であるか否かを判定する
ことを特徴とする請求項４に記載の撮影装置の制御方法。
【請求項１０】
前記撮影装置は、
前記入力画像を撮像する撮像手段を備え、
前記第２のモードにおいて、
前記撮像手段が撮像した前記複数枚の入力画像どうしの位置関係を検出し、
検出された前記位置関係に基づき、前記出力画像の画素の位置ごとに、その画素の位置の画素値の推定に用いる前記複数枚の入力画像の画素を特定し、
特定された前記複数枚の入力画像の画素の画素値に基づき、前記出力画像の各画素の位置の画素値を推定することにより、前記出力画像を生成する
ことを特徴とする請求項１に記載の撮影装置の制御方法。
【請求項１１】
前記撮影装置は、前記第２のモードにおいて、前記複数枚の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準として、前記複数枚の入力画像どうしの位置関係を検出する
ことを特徴とする請求項１０に記載の撮影装置の制御方法。
【請求項１２】
前記撮影装置は、前記第２のモードにおいて、前記複数枚の入力画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像であり、かつ、画素の間隔が前記複数枚の入力画像の画素の間隔より小さい画像を、前記出力画像として生成する
ことを特徴とする請求項１０に記載の撮影装置の制御方法。
【請求項１３】
前記撮影装置は、前記第２のモードにおいて、前記撮像手段が有する画素の数に等しい数の画素を有する前記出力画像を生成する
ことを特徴とする請求項１２に記載の撮影装置の制御方法。
【請求項１４】
前記撮影装置の前記撮像手段は、前記第２のモードにおいて、前記撮像手段が有する画素の複数をまとめて扱うことにより、前記撮像手段が有する画素の数よりも少ない数の画素を有する前記入力画像を出力する
ことを特徴とする請求項１０に記載の撮影装置の制御方法。
【請求項１５】
前記撮影装置は、前記第２のモードにおいて、１画素につき１個の画素値を有する前記複数枚の入力画像の画素の画素値に基づき、１画素につき３個の画素値を有する前記出力画像の各画素の位置の前記３個の画素値を推定する
ことを特徴とする請求項１０に記載の撮影装置の制御方法。
【請求項１６】
１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御装置において、
前記第１のモードで撮影を行うと仮定した際の、前記１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定手段と、
前記判定手段で、前記第１の露出時間が前記第１の閾値以下であると判定された場合に、前記第１のモードで撮影を行うことを決定する第１の決定手段と、
前記判定手段で、前記第１の露出時間が前記第１の閾値以下でないと判定された場合に、前記第２のモードで撮影を行うことを決定する第２の決定手段と
を備えることを特徴とする撮影装置の制御装置。
【請求項１７】
１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御するコンピュータに実行させる制御プログラムにおいて、
前記第１のモードで撮影を行うと仮定した際の、前記１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定ステップと、
前記判定ステップで、前記第１の露出時間が前記第１の閾値以下であると判定された場合に、前記第１のモードで撮影を行うことを決定する第１の決定ステップと、
前記判定ステップで、前記第１の露出時間が前記第１の閾値以下でないと判定された場合に、前記第２のモードで撮影を行うことを決定する第２の決定ステップと
を含む処理をコンピュータに実行させることを特徴とする制御プログラム。
【請求項１８】
１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、
前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップと、
前記判定ステップで、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定ステップと、
前記判定ステップで、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定ステップと
を含むことを特徴とする撮影装置の制御方法。
【請求項１９】
１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、
前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定手段と、
前記判定手段で、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定手段と、
前記判定手段で、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定手段と
を備えることを特徴とする撮影装置の制御装置。
【請求項２０】
１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御するコンピュータに実行させる制御プログラムにおいて、
前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップと、
前記判定ステップで、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定ステップと、
前記判定ステップで、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定ステップと
を含む処理をコンピュータに実行させることを特徴とする制御プログラム。
【請求項２１】
１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、
前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップと、
前記判定ステップで、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定ステップと、
前記判定ステップで、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定ステップと
を含むことを特徴とする撮影装置の制御方法。
【請求項２２】
１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御装置において、
前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定手段と、
前記判定手段で、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定手段と、
前記判定手段で、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定手段と
を備えることを特徴とする撮影装置の制御装置。
【請求項２３】
１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御するコンピュータに実行させる制御プログラムにおいて、
前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップと、
前記判定ステップで、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定ステップと、
前記判定ステップで、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定ステップと
を含む処理をコンピュータに実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置の制御方法および制御装置、並びに制御プログラムに関し、特に、例えば、カメラにおいて、より鮮明な画像を得ることができるように撮影モードを決定する撮影装置の制御方法および制御装置、並びに制御プログラムに関する。
【背景技術】
【０００２】
近年、カメラとしてはディジタルカメラが一般的となっている。ディジタルカメラにおいて、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）等の撮像素子により撮像された画像（以下、撮像画像と称する）は、ディジタルカメラに設けられたLCD(Liquid Crystal Display)などのモニタに表示され、ユーザにより確認される。さらに、撮像画像の画像信号がディジタル化され、フラッシュメモリなどの記録媒体を介して、あるいは、ケーブル接続や赤外線通信などの有線または無線通信により、例えば、パーソナルコンピュータ（PC）などの画像処理装置に転送される。そして、転送先であるパーソナルコンピュータでは、ディジタルカメラの撮像画像をCRT（Cathode Ray Tube）や液晶ディスプレイ（LCD）などのモニタに表示し、ユーザは撮像画像を確認したり、編集することができる。
【０００３】
さて、ディジタルカメラにおいて、例えば、日陰などの十分に太陽光線が当たらない場所や薄暗い部屋などで、十分な明るさが得られない被写体を撮像する場合、ディジタルカメラでは、適正な露出を得るためにシャッタ速度を遅く（露出時間を長く）する必要がある。
【０００４】
このような露出時間の長い撮像では、例えば、ディジタルカメラを三脚などに固定し、ディジタルカメラがぶれない（揺れない）ようにすることで、ぶれがなく、かつ被写体の明るさに応じた適正露出の撮像画像を得ることができる。しかしながら、例えば、ディジタルカメラを手で持って撮像する場合には、いわゆる手ぶれが発生し、ディジタルカメラがぶれる。そして、シャッタが開いている間（露光が行われている間）のディジタルカメラのぶれ（揺れ）により、撮像画像は、被写体がボケた画像となってしまう。このボケた画像は、「手ぶれ」した画像、または、「カメラぶれ」した画像などと呼ばれる。
【０００５】
シャッタ速度を遅くする（露出時間を長くする）他に、十分な露出を得るための方法として、複数枚の撮像画像を単に累積加算することにより、長時間露出と同等の露出を得られるようにする方法が提案されている（例えば、特許文献１参照）。
【０００６】
しかしながら、特許文献１に示される方法では、単純に複数枚の撮像画像を累積加算するため、上述の手ぶれが発生した場合には、露出時間を長くする場合と同様に、ボケた画像となる。
【０００７】
手ぶれが発生した場合においても画像がボケないようにする（「手ぶれ」した画像を回避する）方法として、例えば、キャノン株式会社製のディジタルカメラで採用されている「イメージスタビライザー（略称IS）」と称する方法がある。
【０００８】
イメージスタビライザーでは、光学系レンズ内にプレセンサを設け、そのプレセンサによりディジタルカメラの揺れや振動を検知し、検知したディジタルカメラの揺れや振動を表すディジタル信号に従って、レンズ群の一部（補正光学系）を光軸に対し垂直方向に移動させ、像ぶれを打ち消す方向に光線を屈折させる。
【０００９】
イメージスタビライザーによれば、長焦点やシャッタ速度が遅い場合において影響が大となる、手持ち撮影や、風などによる撮影台の微妙な振動の揺れに起因する画像のぶれを抑え、シャープな（鮮明な）画像をユーザに提供することができる。
【００１０】
しかしながら、イメージスタビライザーでは、ぶれを検知する専用のセンサや、レンズ群の一部（補正光学系）を高速に動かす機構が必要となるため、構造が複雑になり、製造コストが高くなるという問題がある。
【００１１】
その他の「手ぶれ」した画像を回避する方法としては、高速シャッタにより連続で複数枚の撮像画像を高速撮像し、その複数枚の撮像画像のうち、２枚目以降の撮像画像について１枚目の撮像画像とのズレ量を検出し、そのズレ量だけ２枚目以降の撮像画像を位置補正して１枚目の画像に順次加算する方法がある（例えば、特許文献２，３，４，５，６，７，８参照）。特許文献２乃至８に記載の方法では、位置補正後の２枚目以降の撮像画像のそれぞれから、補間により、1枚目の撮像画像と同様のデータ配列を持つ補間画像が形成され、その補間画像が1枚目の撮像画像に、画素単位で、単純加算される。
【００１２】
特許文献２乃至８に記載の方法では、高速（連続）撮像された撮像画像の一枚一枚は、露出時間が短いため、ぶれは少ないが、暗い画像となる。そこで、１枚目の撮像画像に２枚目以降の撮像画像から形成された補間画像が加算され、最終的に得られる画像は、適正露出の場合と同様の明るさの画像となる。
【００１３】
ここで、特許文献２乃至８に記載の方法において２枚目以降の撮像画像からの補間画像の形成では、１画素のR(Red)信号（赤色データ）、G(Green)信号（緑色データ）、B(Blue)信号（青色データ）のそれぞれの色信号（データ）が、線形補間、バイキュービック補間などの各種の補間関数を用いた補間方法により補間される。
【００１４】
【特許文献１】特開平０５−２３６４２２号公報
【特許文献２】特開２０００−２１７０３２号公報
【特許文献３】特開２０００−２２４４６０号公報
【特許文献４】特開２０００−２４４８０３号公報
【特許文献５】特開２０００−２４４７９７号公報
【特許文献６】特開２０００−０６９３５２号公報
【特許文献７】特開平１０−３４１３６７号公報
【特許文献８】特開平０９−２６１５２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
ところで、ディジタルカメラにおいて、撮影を行う撮影モードとして、一般的な、１枚の撮像画像を撮像し、その撮像画像をそのまま撮影結果として出力する通常撮影モードの他に、高速シャッタにより連続で複数枚の撮像画像を高速撮像し、その複数枚の撮像画像を用いた加算を行うことにより、適正露出で、または撮影者が希望する露出で、かつ、手ぶれが補正された画像を出力する手ぶれ補正モードが存在する場合に、その通常撮影モードと手ぶれ補正モードとのうちのいずれで撮影を行うのが良いかを判断する方法が、開示されていなかった。
【００１６】
このため、通常撮影モードと手ぶれ補正モードとを、どのような場面（撮影条件）のときに選択するのかは、撮影者の判断に任されることになる。従って、熟練した撮影者でなければ、判断ミスを犯す可能性が高く、どの撮影モードを選択したほうが良いのか判断する自動処理機構を、カメラ内部に具備することが要請されている。
【００１７】
本発明はこのような状況に鑑みてなされたものであり、より鮮明な画像を得ることができるように撮影モードを自動的に決定することができるようにするものである。
【課題を解決するための手段】
【００１８】
本発明の第１の制御方法は、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する第１の判定ステップと、第１の判定ステップで、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定ステップと、第１の判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定ステップとを含むことを特徴とする。
【００１９】
第１の判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間である第２の露出時間が、第２の閾値以下であるか否かを判定する第２の判定ステップをさらに含み、第２の決定ステップでは、第２の判定ステップで、第２の露出時間が第２の閾値以下であると判定された場合に、第２のモードで撮影を行うことを決定することができる。
【００２０】
第２の判定ステップでは、第２の露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値、または撮影装置での最速の連続撮像時の撮像間隔に基づく閾値のうちの大きいほうの閾値以上であるか否かをさらに判定し、第２の決定ステップでは、第２の判定ステップで、第２の露出時間が、第２の閾値以下であると判定され、かつ、適正露出時間に基づく閾値、または撮影装置での最速の連続撮像時の撮像間隔に基づく閾値のうちの大きい方の閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定することができる。
【００２１】
本発明の第１の制御装置は、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定手段と、判定手段で、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定手段と、判定手段で、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定手段とを備えることを特徴とする。
【００２２】
本発明の第１の制御プログラムは、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定ステップと、判定ステップで、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定ステップと、判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２３】
本発明の第２の制御方法は、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップと、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップと判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップとを含むことを特徴とする。
【００２４】
本発明の第２の制御装置は、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定手段と、判定手段で、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定手段と、判定手段で、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定手段とを備えることを特徴とする。
【００２５】
本発明の第２の制御プログラムは、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップと、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップと、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２６】
本発明の第３の制御方法は、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップと、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップと、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップとを含むことを特徴とする。
【００２７】
本発明の第３の制御装置は、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定手段と、判定手段で、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定手段と、判定手段で、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定手段とを備えることを特徴とする。
【００２８】
本発明の第３の制御プログラムは、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップと、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップと、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２９】
本発明の第１の制御方法および制御装置、並びに制御プログラムにおいては、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かが判定され、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことが決定され、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことが決定される。
【００３０】
本発明の第２の制御方法および制御装置、並びに制御プログラムにおいては、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かが判定され、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことが決定される。また、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことが決定される。
【００３１】
本発明の第３の制御方法および制御装置、並びに制御プログラムにおいては、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かが判定され、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことが決定される。また、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことが決定される。
【発明の効果】
【００３２】
本発明によれば、より鮮明な画像を得ることができるように撮影モードを自動的に決定することが可能となる。
【発明を実施するための最良の形態】
【００３３】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３４】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００３５】
請求項１に記載の制御方法は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモード（通常撮影モード）と、複数枚の入力画像（例えば、図２７の撮像画像４０１1乃至４０１8）を連続撮像して１枚の出力画像（例えば、図２９の高画質エリア４２２が投影された画像）を生成する第２のモード（手ぶれ補正モード）とを有する撮影装置の制御方法において、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する第１の判定ステップ（例えば、図４５のステップＳ５２１）と、第１の判定ステップで、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２３）と、第１の判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５２６）とを含むことを特徴とする。
【００３６】
請求項４に記載の制御方法は、第１の判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間である第２の露出時間が、第２の閾値以下であるか否かを判定する第２の判定ステップ（例えば、図４５のステップＳ５２４）をさらに含み、第２の決定ステップでは、第２の判定ステップで、第２の露出時間が第２の閾値以下であると判定された場合に、第２のモードで撮影を行うことを決定することを特徴とする。
【００３７】
請求項７に記載の制御方法は、第１の判定ステップで、第１の露出時間が第１の閾値以下でないと判定され、かつ、第２の判定ステップで、第２の露出時間が第２の閾値以下でないと判定された場合に、第１のモードで撮影を行うことを決定する第３の決定ステップ（例えば、図４５のステップＳ５３３）をさらに含むことを特徴とする。
【００３８】
請求項１０に記載の制御方法は、撮影装置（例えば、図１のディジタルカメラ１）は、入力画像を撮像する撮像手段（例えば、図１の撮像素子４）を備え、第２のモードにおいて、撮像手段が撮像した複数枚の入力画像どうしの位置関係を検出（例えば、図２８のステップＳ３０３）し、検出された位置関係に基づき、出力画像の画素の位置ごとに、その画素の位置の画素値の推定に用いる複数枚の入力画像の画素を特定（例えば、図３０のステップＳ３１３など）し、特定された複数枚の入力画像の画素の画素値に基づき、出力画像の各画素の位置の画素値を推定することにより、出力画像を生成（例えば、図４０のステップＳ３４６乃至Ｓ３４８）することを特徴とする。
【００３９】
請求項１６に記載の制御装置は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置（例えば、図１のディジタルカメラ１）の制御装置（例えば、図１の制御回路１８）において、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定手段（例えば、図４５のステップＳ５２１の処理を行う図１の制御回路１８）と、判定手段で、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定手段（例えば、図４５のステップＳ５２３の処理を行う図１の制御回路１８）と、判定手段で、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定手段（例えば、図４５のステップＳ５２６の処理を行う図１の制御回路１８）とを備えることを特徴とする。
【００４０】
請求項１７に記載の制御プログラムは、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御するコンピュータに実行させる制御プログラムにおいて、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定ステップ（例えば、図４５のステップＳ５２１）と、判定ステップで、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２３）と、判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５２６）とを含む処理をコンピュータに実行させることを特徴とする。
【００４１】
請求項１８に記載の制御方法は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップ（例えば、図４７のステップＳ５５１，Ｓ５５２）と、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２６）と、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５３３）とを含むことを特徴とする。
【００４２】
請求項１９に記載の制御装置は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御装置において、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定手段（例えば、図４７のステップＳ５５１，Ｓ５５２の処理を行う図１の制御回路１８）と、判定手段で、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定手段（例えば、図４５のステップＳ５２６の処理を行う図１の制御回路１８）と、判定手段で、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定手段（例えば、図４５のステップＳ５３３の処理を行う図１の制御回路１８）とを備えることを特徴とする。
【００４３】
請求項２０に記載の制御プログラムは、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御する制御プログラムにおいて、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップ（例えば、図４７のステップＳ５５１，Ｓ５５２）と、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２６）と、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５３３）とを含む処理をコンピュータに実行させることを特徴とする。
【００４４】
請求項２１に記載の制御方法は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップ（例えば、図４７のステップＳ５５１，Ｓ５５２）と、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２６）と、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５３３）とを含むことを特徴とする。
【００４５】
請求項２２に記載の制御装置は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御装置において、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定手段（例えば、図４７のステップＳ５５１，Ｓ５５２の処理を行う図１の制御回路１８）と、判定手段で、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定手段（例えば、図４５のステップＳ５２６の処理を行う図１の制御回路１８）と、判定手段で、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定手段（例えば、図４５のステップＳ５３３の処理を行う図１の制御回路１８）とを備えることを特徴とする。
【００４６】
請求項２３に記載の制御プログラムは、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御する制御プログラムにおいて、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップ（例えば、図４７のステップＳ５５１，Ｓ５５２）と、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２６）と、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５３３）とを含む処理をコンピュータに実行させることを特徴とする。
【００４７】
以下、図面を参照して、本発明の実施の形態について説明する。
【００４８】
図１は、本発明を適用したディジタル（スチル）カメラ１の一実施の形態の構成例を示すブロック図である。
【００４９】
図１のディジタルカメラ１は、レンズ２、絞り３、撮像素子４、相関２重サンプリング回路５、A/D(Analog/Digital)コンバータ６、信号処理回路７、タイミングジェネレータ８、D/A(Digital/Analog)コンバータ９、ビデオエンコーダ１０、モニタ１１、コーデック（CODEC）１２、メモリ１３、バス１４、CPU（Central  Processing  Unit）１５、記憶部１５Ａ、インターフェース（Ｉ／Ｆ）１５Ｂ、入力デバイス１６、および露出計１９で構成される。
【００５０】
また、相関２重サンプリング回路５、A/Dコンバータ６、信号処理回路７、D/Aコンバータ９、ビデオエンコーダ１０、およびコーデック１２によって、画像処理回路１７が構成され、タイミングジェネレータ８、CPU１５、記憶部１５Ａ、およびインターフェース１５Ｂによって制御回路１８が構成されている。さらに、A/Dコンバータ６は、シフト回路２１を、信号処理回路７は、フレームメモリ２２をそれぞれ有している。
【００５１】
図示せぬ被写体からの光は、レンズ２、絞り３等の光学系を通過して、撮像素子４に入射される。レンズ２として、焦点距離が固定された短焦点レンズ、または焦点距離が可変であるズームレンズが使用される。レンズ２としてズームレンズを使用する場合、通常、レンズ２は、複数枚のレンズ（レンズ郡）により構成されており、これらのレンズの光軸方向の位置関係を変移させることで、焦点距離の変更が行われる。このような焦点距離の変更を行う制御は、レンズ２を駆動する図示せぬ駆動回路に対して、制御回路１８から供給される制御信号によって行われる。なお、図１において、レンズ２は、１枚のレンズで簡略して図示されている。
【００５２】
絞り３は、レンズ２を通過して入射してくる光の一部を遮光して、撮像素子４への入射光の量を調節する。光量を調節する絞り３の制御は、制御回路１８からの制御信号によって行われる。
【００５３】
撮像素子４は、例えば、CCDやCMOS等でなる単板センサから構成され、所定の数の画素（受光素子）を有している。そして、撮像素子４は、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔で、所定の露出時間だけ、入射される被写体の光を受光する。そして、撮像素子４は、その撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号に変換された画像信号を相関２重サンプリング回路５に供給する。撮像素子４は、単板センサとなっているので、相関２重サンプリング回路５に供給される電気信号は、１画素につきR信号、G信号、B信号のうちのいずれか１個の色信号（データ）である。
【００５４】
また、撮像素子４としては、光を受光するセンサの内部で、隣接する複数の画素の画素値を加算し、その加算値（画素加算値）を１画素の画素値とする、ビニング（binning）と呼ばれる機能を有する撮像素子（ビニング撮像素子）を使用することができる。ビニングを機能させた場合には、撮像素子４は、複数の画素の画素値を加算し、その加算値を１画素の画素値として出力するので、その画素値により構成される撮像画像の画素数は、撮像素子４が有する画素数より少なく、その画素数の数分の１の画素数となる。
【００５５】
撮像素子４が、例えば、隣接する２×２画素（横方向の２画素と縦方向の２画素）の画素値を加算して出力する場合（以下、適宜、２×２ビニングという）は、撮像画像の画素数は、（横方向の画素数の２分の１）×（縦方向の画素数の２分の１）画素、つまり、撮像素子４の画素数の４分の１となる。また、撮像素子４が、例えば、隣接する３×３画素（横方向の３画素と縦方向の３画素）の画素値を加算して出力する場合（以下、適宜、３×３ビニングという）は、撮像画像の画素数は、（横方向の画素数の３分の１）×（縦方向の画素数の３分の１）画素、つまり、撮像素子４の画素数の９分の１となる。
【００５６】
このように、ビニングを機能させた場合には、撮像素子４が出力する画素数が少なくなることで処理するデータ量も少なくなり、ビニングを機能させない（即ち、撮像素子４の画素数と同じ画素数の画像を出力する）場合と比べて、連続撮像速度を上げることができる。つまり、最速の連続撮像時の画像の撮像間隔を短くすることができる。例えば、ビニングを機能させない場合の連続撮像速度と比べて、２×２ビニングの場合の連続撮像速度は、撮像素子４から出力する画素値の数が１／４になるから４倍となり、３×３ビニングの場合の連続撮像速度は、撮像素子４から出力する画素値の数が１／９になるから９倍となる。
【００５７】
即ち、高速撮像時における撮像素子４の連続撮像間隔の限界値がｔ0（連続撮像速度が１／ｔ0）である場合、撮像素子４は、ビニングを機能させないときにはｔ0秒間隔（あるいは、ｔ0秒以上の間隔）で連続撮像することができ、２×２ビニングのときにはｔ0／４間隔（あるいは、ｔ0／４秒以上の間隔）で連続撮像することができ、３×３ビニングときにはｔ0／９間隔（あるいは、ｔ0／９秒以上の間隔）で連続撮像することができる。
【００５８】
なお、ビニングを機能させるか、または機能させないか、さらには、ビニングを機能させる場合に、２×２ビニングまたは３×３ビニングのうちのいずれを採用するかは、制御回路１８から撮像素子４に供給されるビニング制御信号によって制御される。
【００５９】
撮像素子４は、１回の撮影（１回のレリーズボタンの操作）で、適正露出（または、撮影者が希望する露出）におけるシャッタ速度（露出時間）で１枚の撮像画像を撮像したり、適正露出（または、撮影者が希望する露出）におけるシャッタ速度よりも高速に（短い露出時間で）複数枚（以下では、N枚とする）の撮像画像を撮像したりする。
【００６０】
以下において、撮像素子４が撮像した１枚の撮像画像（入力画像）から、１枚の出力画像を生成する撮影、即ち、１枚の撮像画像をそのまま出力画像とする撮影を行う撮影モードを通常撮影モード（第１のモード）といい、撮像素子４が高速で撮像したＮ枚の撮像画像（入力画像）から、１枚の出力画像を生成する撮影を行う撮影モードを手ぶれ補正モード（第２のモード）という。
【００６１】
通常撮影モードでは、撮像素子４で撮像された１枚の撮像画像は、適正露出（または、撮影者が希望する露出）で撮像されるが、手ぶれ補正モードでは、Ｎ枚の撮像画像のそれぞれが適正露出（または、撮影者が希望する露出）時の露出時間よりも短い露出時間で撮像されるので、撮像素子４で撮像されたN枚の撮像画像のそれぞれは、適正露出で撮像された画像より暗く、適正露出で撮像された画像のMk分の１（＝１／Mk）（k＝１乃至N）の明るさになる。
【００６２】
Mkの値があまりに大きいと、撮像された画像は非常に暗い画像となり、N枚の撮像画像のそれぞれはノイズに埋もれてしまうことになる。そして、このようなＮ枚の撮像画像から出力画像を生成しても、ノイズの多い画像となってしまう。そこで、撮像された画像がノイズに埋もれてしまわない明るさとなるMkの限界値をＭmaxと表すこととすると、適正露出で撮像された画像より１／Ｍmax（暗さの限界値）以上の明るさの画像を撮像した場合には、適切な出力画像（ノイズの少ない出力画像）を得ることができる。
【００６３】
例えば、Ｍmax＝８である場合、適正露出に対して１／８よりも更に暗い画像をＮ枚連続して撮像しても、即ち、適正露出の露光時間の１／８よりも更に短い時間の露光により撮像画像を撮像しても、その撮像画像は非常に暗いため、適切な出力画像を生成することができない。逆に、適正露出に対して１／８よりも明るい画像をＮ枚連続して撮像すると、即ち、適正露出の露光時間の１／８よりも長い時間の露光により撮像画像を撮像すると、その撮像画像より、鮮明な出力画像を生成することができる。なお、MkおよびＭmaxの値は、ディジタルカメラ１の性能により決定される。
【００６４】
画像処理回路１７において、相関２重サンプリング回路５は、撮像素子４から供給される画像信号（電気信号）のノイズ成分を、相関２重サンプリングにより除去し、A/Dコンバータ６に供給する。A/Dコンバータ６は、相関２重サンプリング回路５から供給される、ノイズ除去された画像信号をA/D変換、即ち、サンプリングして量子化する。
【００６５】
通常撮影モードでは、A/Dコンバータ６は、A/D変換後のディジタル信号の撮像画像を、例えば、そのまま、信号処理回路７を介して、D/Aコンバータ９またはコーデック１２に供給する。一方、手ぶれ補正モードでは、A/Dコンバータ６が内蔵するシフト回路２１が、適正露出未満の暗い画像であるA/D変換後のディジタル信号の撮像画像を、例えば、n'ビットシフトすることなどによってMk倍することにより、適正露出と同様の明るさ（値）の画像信号の撮像画像に変換し（ゲインアップし）、信号処理回路７に供給する。
【００６６】
相関２重サンプリング回路５では、画像信号のノイズ成分が除去されるが、ノイズ成分のすべてが完全に除去されるわけではない。従って、相関２重サンプリング回路５で除去されないノイズ成分も存在する。この場合、相関２重サンプリング回路５で除去されないノイズ成分は、画像信号の真値に対する誤差となり、シフト回路２１において、画像信号とともにMk倍されることになる。従って、信号処理回路７に供給される撮像画像に含まれる誤差は、シフト回路２１におけるゲインアップの量に依存する。ここで、相関２重サンプリング回路５で除去されないノイズ成分のノイズ量をEとすると、A/Dコンバータ６（のシフト回路２１）から信号処理回路７に供給される画像信号には、ノイズ量EのMk倍（E×Mk）程度のノイズが含まれる。このノイズ量Eとしては、撮像素子４の特性に応じて、例えば、想定される最大値を採用することができる。また、例えば、Mk＝８とすると、シフト回路２１では、n'＝３として、撮像画像が３ビットシフトされることにより、撮像画像が適正露出の場合と同様の明るさにされる。
【００６７】
A/Dコンバータ６（のシフト回路２１）においてMk倍されることにより、適正露出と同様の明るさにゲインアップされたN枚の撮像画像の画像信号は、信号処理回路７のフレームメモリ２２に供給されて一時的に格納（記憶）される。
【００６８】
信号処理回路７は、通常撮影モードでは、A/Dコンバータ６から供給される１枚の撮像画像に対して、通常のディジタルカメラにおける場合と同様の画像処理を施し、その画像処理後の撮像画像を、出力画像として、D/Aコンバータ９またはコーデック１２に供給する。
【００６９】
また、信号処理回路７は、手ぶれ補正モードでは、A/Dコンバータ６から供給されるN枚の撮像画像を、フレームメモリ２２に記憶させ、そのN枚の撮像画像の画像信号に所定の画像処理を施す。
【００７０】
即ち、信号処理回路７は、N枚の撮像画像のうちの、例えば、１枚目の撮像画像を基準画像とするとともに、２乃至N枚目の撮像画像それぞれをターゲット画像とし、ターゲット画像が基準画像に対して、どのような位置ズレを起こしているか、基準画像とターゲット画像との位置ズレのズレ量（位置関係）を検出する。そして、信号処理回路７は、そのズレ量に基づいて、手ぶれが補正された１枚の鮮明な画像（出力画像）としての、１画素につきG信号、R信号、B信号のすべてを有する出力画像を求め、その求めた出力画像の画像信号を、D/Aコンバータ９またはコーデック１２に供給する。信号処理回路７は、DSP（Digial Signal Processor）等で構成することができる。
【００７１】
タイミングジェネレータ８は、撮影モードが通常撮影モードである場合、１回の撮影において、１枚の撮像画像の撮像が行われるように、露光（露出）タイミング信号を、撮像素子４、相関２重サンプリング回路５、A/Dコンバータ６、および信号処理回路７に供給する。また、タイミングジェネレータ８は、撮影モードが手ぶれ補正モードである場合、１回の撮影において、所定の間隔でN枚の撮像画像の高速撮像が行われるように、露光（露出）タイミング信号を、撮像素子４、相関２重サンプリング回路５、A/Dコンバータ６、および信号処理回路７に供給する。
【００７２】
D/Aコンバータ９は、信号処理回路７から供給された出力画像の画像信号をD/A変換し、ビデオエンコーダ１０に供給する。ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号（アナログ信号）を、モニタ１１で表示することができるビデオ信号に変換し、モニタ１１に供給する。モニタ１１は、ディジタルカメラ１のファインダ等の役割を果たすもので、LCDなどで構成され、ビデオエンコーダ１０から供給されるビデオ信号を表示する。これにより、モニタ１１では、出力画像が表示される。
【００７３】
コーデック１２は、信号処理回路７から供給された出力画像の画像信号を、JPEG(Joint Photographic Experts Group)方式、MPEG(Moving Picture Experts Group)方式や、DV（Digital Video）方式などの所定の方式に従って符号化し、メモリ１３に供給する。
【００７４】
メモリ１３は、フラッシュメモリなどの半導体メモリで構成され、コーデック１２から供給される符号化された画像信号を一時的または永久的に記憶（記録）する。なお、メモリ１３の代わりに、磁気ディスク、光（磁気）ディスク等の記録媒体を用いることができる。メモリ１３またはメモリ１３の代わりに用いる記録媒体は、ディジタルカメラ１に対して着脱可能とすることができる。なお、ディジタルカメラ１に内蔵される記録媒体と、ディジタルカメラ１に着脱可能な記録媒体の両方を設けるようにすることも可能である。
【００７５】
制御回路１８において、CPU１５は、例えば、ユーザの操作に応じて入力デバイス１６から供給される信号などに応じ、バス１４を介して各部に制御信号を供給し、各種の処理を制御する。CPU１５が供給する制御信号には、例えば、通常撮影モードまたは手ぶれ補正モードのうちのいずれの撮影モードで撮影を行うかを制御する撮影モード制御信号、ビニングの機能を制御（例えば、ビニングを機能させずに撮像、２×２ビニングで撮像、または３×３ビニングで撮像することを制御）するビニング制御信号、および、１回の撮影において撮像素子４が受光するタイミング（受光開始時刻および受光終了時刻、さらに手ぶれ補正モードでは、Ｎ枚の撮像画像の各撮像の受光開始時刻および受光終了時刻）を制御する露光タイミング信号などがある。
【００７６】
記憶部１５Ａは、フラッシュメモリ（EEPROM）などからなる不揮発性のメモリ、または、不揮発性のメモリと揮発性のメモリとで構成され、CPU１５が実行するプログラムを記憶し、また、CPU１５が処理を行う上で必要なデータを一時記憶する。インターフェース１５Ｂは、USB（Universal Serial Bus）やIEEE１３９４のインターフェースである。ディジタルカメラ１は、インターフェース１５Ｂを介して外部のコンピュータなどと接続することで、記憶部１５Ａに記憶されているプログラムを更新し、あるいは出力画素を含む各種のデータのやりとりをすることができる。
【００７７】
入力デバイス１６は、撮影のトリガを与えるレリーズボタン、撮影時の露出を補正するときに操作される露出補正ダイアル、ズームを調整するときに操作されるズームレンズの焦点距離の設定用ボタンであるズームボタン（ズームレバー）などの操作ボタン類を有している。ユーザが操作ボタンを操作することにより発生する各種の信号が、入力デバイス１６からバス１４を介してCPU１５に供給され、CPU１５は、入力デバイス１６からバス１４を介して供給される各種の信号に従う処理を実行するように各部を制御する。なお、入力デバイス１６の１以上の操作ボタンは、モニタ１１に表示することが可能である。モニタ１１に表示された操作ボタンに対する操作は、例えば、モニタ１１上に透明なタブレットを設け、そのタブレットにより検出するようにすることができる。
【００７８】
露出計１９は、撮影（撮像）の対象である被写体の明るさを計測し、その計測値を制御回路１８に供給する。制御回路１８のCPU１５は、露出計１９が計測した明るさの計測値に基づき、自動露出制御などに用いられる、絞り（アイリス）の値と露出時間とを決定する。
【００７９】
ところで、撮影者が、露出を、いわゆるアンダまたはオーバにした撮影を希望する場合があり、ディジタルカメラ１では、撮影者が、入力デバイス１６の露出補正ダイアルを操作することにより露出補正値を設定することで、適正露出に対して実際に撮影が行われるときの露出が補正されるようになっている。即ち、撮影者が、露出補正ダイアルを操作することにより、適正露出で撮影を行うように露出を設定するか、意図的に暗い出力画像が得られるように露出をアンダ側に設定するか、または、意図的に明るい出力画像が得られるように露出をオーバ側に設定すると、その設定に対応する情報（露出補正値）が入力デバイス１６から制御回路１８（のCPU１５）に供給され、制御回路１８は、その情報に対応した処理を行う。
【００８０】
また、レンズ２がズームレンズである場合、ディジタルカメラ１では、撮影者が、入力デバイス１６のズームボタンを操作することにより、焦点距離の設定が行われるようになっている。即ち、ズームボタンの操作に対応する情報が入力デバイス１６から制御回路１８に供給され、制御回路１８は、その情報に応じて、撮影者によって指定された焦点距離となるように、レンズ２を構成する各レンズの制御を行う。また、制御回路１８は、このとき入力デバイス１６から供給される情報、即ち、撮影時の焦点距離の情報を、後述する撮影処理の撮影モードの決定処理で使用する。
【００８１】
制御回路１８は、露出計１９による被写体の明るさの計測値から、通常のディジタルカメラと同様にして、適正な絞りの値Ｆと、適正な露出時間（以下、適正露出時間という）Ｔpとを決定する。さらに、制御回路１８は、露出補正ダイアルによる（露出補正ダイアルの操作により設定された）露出補正値から、実際の露出時間Ｔa（シャッタ速度）を決定する。
【００８２】
即ち、露出補正ダイアルによる露出補正値が０である場合、制御回路１８は、適正露出時間Ｔpを、そのまま露出時間Ｔaに決定する。この場合、絞りの値Ｆおよび露出時間Ｔaで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、適正な明るさの画像となる。
【００８３】
露出補正ダイアルによる露出補正値が１段アンダを表している場合、制御回路１８は、露出時間Ｔaを、例えば、Ｔp／２に決定する。この場合、絞りの値Ｆおよび露出時間Ｔaで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、１段暗めの画像となる。なお、この場合、実際の露出時間を２×Ｔaとして、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。
【００８４】
露出補正ダイアルによる露出補正値が２段アンダを表している場合、制御回路１８は、露出時間Ｔaを、例えば、Ｔp／４に決定する。この場合、絞りの値Ｆおよび露出時間Ｔaで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、２段暗めの画像となる。なお、この場合、実際の露出時間を４×Ｔaとして、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。
【００８５】
露出補正ダイアルによる露出補正値が３段アンダを表している場合、制御回路１８は、露出時間Ｔaを、例えば、Ｔp／８に決定する。この場合、絞りの値Ｆおよび露出時間Ｔaで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、３段暗めの画像となる。なお、この場合、実際の露出時間を８×Ｔaとして、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。
【００８６】
露出補正ダイアルによる露出補正値が１段オーバを表している場合、制御回路１８は、露出時間Ｔaを、例えば、Ｔp×２に決定する。この場合、絞りの値Ｆおよび露出時間Ｔaで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、１段明るめの画像となる。なお、この場合、実際の露出時間をＴa／２として、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。
【００８７】
露出補正ダイアルによる露出補正値が２段オーバを表している場合、制御回路１８は、露出時間Ｔaを、例えば、Ｔp×４に決定する。この場合、絞りの値Ｆおよび露出時間Ｔaで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、２段明るめの画像となる。なお、この場合、実際の露出時間をＴa／４として、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。
【００８８】
露出補正ダイアルによる露出補正値が３段オーバを表している場合、制御回路１８は、露出時間Ｔaを、例えば、Ｔp×８に決定する。この場合、絞りの値Ｆおよび露出時間Ｔaで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、３段明るめの画像となる。なお、この場合、実際の露出時間をＴa／８として、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。
【００８９】
次に、図２のフローチャートを参照して、ディジタルカメラ１が、手ぶれ補正モードで撮影を行う場合の、ディジタルカメラ１の撮影処理（後述する図４４のステップＳ５０７）について説明する。
【００９０】
初めに、ステップＳ１において、撮像素子４は、被写体を撮像する。即ち、撮像素子４は、１回のレリーズボタン（シャッタボタン）押下による撮影において、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔でN回連続して、入射される被写体の光を受光し、光電変換することにより、N回の高速撮像を行う。従って、１回の撮影において、N枚の撮像画像が得られ、各撮像画像は、適正露出以下（未満）の暗い画像となる。撮像素子４での光電変換により得られた画像信号は、相関２重サンプリング回路５に供給され、ノイズ成分が除去された後、A/Dコンバータ６に供給される。そして、ステップＳ２に進む。
【００９１】
ステップＳ２において、A/Dコンバータ６は、相関２重サンプリング回路５から供給されるN枚の撮像画像それぞれの画像信号をディジタル変換する。その後、シフト回路２１が、適正露出以下の暗い撮像画像を、n'ビットシフトして適正露出と同様の明るさ（値）の画像信号に変換し（ゲインアップし）、信号処理回路７に供給して、ステップＳ３に進む。
【００９２】
ステップＳ３において、信号処理回路７は、A/Dコンバータ６（のシフト回路２１）からのN枚の撮像画像のうちの、例えば、１枚目の撮像画像を基準画像とするとともに、２枚目以降の各画像をターゲット画像として、ターゲット画像（２乃至N枚目の画像）が基準画像に対して、どのような位置ずれを起こしているか、即ち、基準画像に対するターゲット画像の位置ズレのズレ量（を表す情報（例えば、後述する変換パラメータ））を検出して、ステップＳ４に進む。
【００９３】
ステップＳ４において、信号処理回路７は、N枚の撮像画像と、ステップＳ３で検出された基準画像に対するターゲット画像の位置ズレのズレ量に基づいて、画像生成処理を行い、ステップＳ５に進む。画像生成処理の詳細は後述するが、この画像生成処理により、信号処理回路７は、手ぶれが（ほとんど）なく、適正露出の１枚の鮮明な画像（出力画像）としての１画素がG信号、R信号、B信号のすべてを有する画像が生成される。画像生成処理により得られた出力画像の画像信号は、信号処理回路７からD/Aコンバータ９またはコーデック１２に供給される。
【００９４】
ステップＳ５では、モニタ１１が出力画像を表示し、フラッシュメモリ等のメモリ１３に出力画像を記録して、処理を終了する。即ち、ステップＳ５では、ステップＳ４で信号処理回路７からD/Aコンバータ９に供給された画像信号がアナログ信号に変換され、ビデオエンコーダ１０に供給される。さらに、ステップＳ５では、ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号のアナログ信号を、モニタ１１に表示することができるビデオ信号に変換し、モニタ１１に供給する。そして、ステップＳ５において、モニタ１１は、ビデオエンコーダ１０から供給されたビデオ信号に基づいて、出力画像を表示して、処理を終了する。また、ステップＳ５では、ステップＳ４で信号処理回路７からコーデック１２に供給された画像信号に対し、JPEGやMPEG等の所定の符号化が施され、フラッシュメモリ等のメモリ１３に記録され、処理を終了する。
【００９５】
次に、図３は、図１の撮像素子４の画素の配列を示している。なお、図３では、撮像素子４のうちの左上の一部分の画素（横方向６画素、縦方向４画素の計２４画素）を示しているが、それ以外の部分の画素も同様に配置されているものとする。
【００９６】
ここで、図３において、撮像素子４の左上の画素の中心（重心）を原点として、横（右）方向をX方向、縦（下）方向をY方向とするXY座標系を設定する。また、１画素の縦および横方向の長さ（幅）をそれぞれ１とする。この場合、左からi番目で、上からj番目の画素の位置（中心位置）は、(i-1,j-1)と表すことができる。
【００９７】
図３において、撮像素子４の画素の配列は、いわゆる、ベイヤー配列となっている。なお、撮像素子４の画素の配列は、ベイヤー配列に限定されるものではなく、その他の配列でもよい。
【００９８】
ベイヤー配列の撮像素子４からは、画素の位置に応じた色の画素値を有する画像が出力される。
【００９９】
即ち、ベイヤー配列では、G信号を取り出すことのできる画素として、原点からX方向に１番目で、Y方向に１番目の画素である画素G00、原点からX方向に３番目で、Y方向に１番目の画素である画素G02、原点からX方向に５番目で、Y方向に１番目の画素である画素G04、原点からX方向に２番目で、Y方向に２番目の画素である画素G11、以下、同様に、画素G13、画素G15、画素G20、画素G22、画素G24、画素G31、画素G33、画素G35が配置されている。
【０１００】
また、R信号を取り出すことのできる画素として、原点からX方向に２番目で、Y方向に１番目の画素である画素R01、原点からX方向に４番目で、Y方向に１番目の画素である画素R03、原点からX方向に６番目で、Y方向に１番目の画素である画素R05、原点からX方向に２番目で、Y方向に３番目の画素である画素R21、以下、同様に、画素R23、画素R25が配置されている。
【０１０１】
さらに、B信号を取り出すことのできる画素として、原点からX方向に１番目で、Y方向に２番目の画素である画素B10、原点からX方向に３番目で、Y方向に２番目の画素である画素B12、原点からX方向に５番目で、Y方向に２番目の画素である画素B14、原点からX方向に１番目で、Y方向に４番目の画素である画素B30、以下、同様に、画素B32、画素B34が配置されている。
【０１０２】
ここで、撮像素子４を基準としたXY座標系上の位置（x，y）（x，yは実数）を用いて、撮像素子４上に投影されている被写体（像）のG信号、R信号、B信号（G，R，Bの光量）を、それぞれLg（x，y），Lr（x，y），Lb（x，y）と表すこととする。この場合、手ぶれがない１枚の鮮明な画像としての出力画像において、左からi番目で、上からj番目である「i番目、j番目の画素」のG信号、R信号、B信号は、それぞれLg（i，j），Lr（i，j），Lb（i，j）と表すことができる。但し、x=i-1，y=j-1である。
【０１０３】
なお、Lg（x，y），Lr（x，y），Lb（x，y）（Lg（i-1，j-1），Lr（i-1，j-1），Lb（i-1，j-1））それぞれは、位置（x，y）（「i番目、j番目の画素」）における被写体の緑色、赤色、青色の光量（画素値）を表すので、以下においては、Lg（x，y），Lr（x，y），Lb（x，y）それぞれを、緑色の光量Lg（x，y）、赤色の光量Lr（x，y）、青色の光量Lb（x，y）ともいう。
【０１０４】
次に、G信号、R信号、B信号それぞれの画素について使用する変数ig，jg，ir，jr，ib，jbを定義する。
【０１０５】
変数ig，jgそれぞれは、G信号を取り出すことのできる画素についてのi，jを表す。即ち、変数ig，jgの組み合わせは、G信号を取り出すことのできる、変数i，jの組み合わせと等しい。ベイヤー配列では、その性質から、変数ig，jgは、変数iとjとの差（i−j）が偶数であるという条件を満たす変数に、それぞれ等しい。なお、当然ながら、変数igとjgとの差（ig−jg）も偶数となる。従って、「ig番目，jg番目の画素」とは、G信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列では、その配列の性質に応じて、変数ig，jgとなる変数i，jの条件は異なる。
【０１０６】
変数ir，jrそれぞれは、R信号を取り出すことのできる画素についてのi，jを表す。即ち、変数ir，jrの組み合わせは、R信号を取り出すことのできる、変数i，jの組み合わせと等しい。ベイヤー配列では、その性質から、変数ir，jrは、変数iが偶数、かつ変数iとjとの差（i−j）が奇数であるという条件を満たす変数に、それぞれ等しい。なお、当然ながら、変数irとjrとの差（ir−jr）も奇数となる。従って、「ir番目，jr番目の画素」とは、R信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列では、その配列の性質に応じて、変数ir，jrとなる変数i，jの条件とは異なる。
【０１０７】
変数ib，jbそれぞれは、B信号を取り出すことのできる画素についてのi，jを表す。即ち、変数ib，jbの組み合わせは、B信号を取り出すことのできる、変数i，jの組み合わせと等しい。ベイヤー配列では、その性質から、変数ib，jbは、変数iが奇数、かつ変数iとjとの差（i−j）が奇数であるという条件を満たす変数i，jに、それぞれ等しい。なお、当然ながら、変数ibとjbとの差（ib−jb）も奇数となる。従って、「ib番目，jb番目の画素」とは、B信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列では、その配列の性質に応じて、変数ib，jbとなる変数i,jの条件は異なる。
【０１０８】
次に、図３に示した撮像素子４の各画素で受光して得られる色信号（G信号、R信号、B信号）の値（画素値）について定義する。
【０１０９】
上述したように、撮像素子４では、N枚の撮像画像が撮像される。従って、撮像素子４の１つの画素についてN個の画素値が得られる。そこで、k枚目（k＝１乃至N）の撮像画像の撮像において「ig番目，jg番目の画素」で得られる画素値をGobs（k，ig，jg）と、「ir番目，jr番目の画素」で得られる画素値をRobs（k，ir，jr）と、「ib番目，jb番目の画素」で得られる画素値をBobs（k，ib，jb）と、それぞれ表す。例えば、１枚目の撮像画像の撮像において画素G00で得られる画素値は、Gobs(1,1,1)で表され、２枚目の撮像画像の撮像において画素G04で得られる画素値は、Gobs(2,5,1)で表される。なお、以下において、特に断りがない場合、kは、１乃至Nの整数を表すものとする。
【０１１０】
以上のような画素値の定義によれば、画素値Gobs（k，ig，jg）、Robs（k，ir，jr）、Bobs（k，ib，jb）が得られる画素は、それぞれ、画素G(jg-1)(ig-1)，R(jr-1)(ir-1)，B(jb-1)(ib-1)である。
【０１１１】
また、画素値Gobs（k，ig，jg）は、k枚目の撮像画像の「ig番目，jg番目」の画素の画素値でもある。同様に、画素値Robs（k，ir，jr）は、k枚目の撮像画像の「ir番目，jr番目」の画素の画素値でもあり、画素値Bobs（k，ib，jb）は、k枚目の撮像画像の「ib番目，jb番目」の画素の画素値でもある。
【０１１２】
次に、図４は、図１の信号処理回路７の一部分についての詳細な構成例を示している。
【０１１３】
信号処理回路７は、フレームメモリ２２、動き検出回路２３、演算回路２４、コントローラ２５で構成されている。また、フレームメモリ２２は、N個のフレームメモリ２２1乃至２２Nで構成され、動き検出回路２３は、N-1個の動き検出回路２３1乃至２３N-1で構成されている。
【０１１４】
上述したように、A/Dコンバータ６からN枚の撮像画像がフレームメモリ２２に供給される。フレームメモリ２２1は、A/Dコンバータ６から供給される１枚目の撮像画像を記憶（格納）する。フレームメモリ２２2は、A/Dコンバータ６から供給される２枚目の撮像画像を記憶する。以下同様にして、フレームメモリ２２kは、A/Dコンバータ６から供給されるk枚目の撮像画像を記憶する（k＝３乃至N）。
【０１１５】
フレームメモリ２２1は、所定のタイミングにおいて、記憶している１枚目の撮像画像を演算回路２４と動き検出回路２３1乃至２３N-1に供給する。フレームメモリ２２2は、所定のタイミングにおいて、記憶している２枚目の撮像画像を演算回路２４と動き検出回路２３1に供給する。以下、同様にして、フレームメモリ２２kは、所定のタイミングにおいて、記憶しているk枚目の撮像画像を演算回路２４と動き検出回路２３k-1に供給する。
【０１１６】
動き検出回路２３は、２枚の撮像画像どうしの位置関係を検出する。即ち、動き検出回路２３は、１枚目の撮像画像を、位置関係の検出の基準となる基準画像とするとともに、２枚目以降の各撮像画像をターゲット画像として、ターゲット画像（２乃至N枚目の画像）が基準画像に対して、どのような位置ずれを起こしているか、基準画像に対するターゲット画像の位置ズレのズレ量（動き量）を検出する。なお、このズレ量は、例えば、手ぶれにより生じるものである。
【０１１７】
動き検出回路２３1には、基準画像としての１枚目の撮像画像がフレームメモリ２２1から、ターゲット画像としての２枚目の撮像画像がフレームメモリ２２2から、それぞれ供給される。
【０１１８】
動き検出回路２３1は、２枚目の撮像画像の各画素（あるいは、画像全体を複数のブロックに分割したときの各ブロック）が、１枚目の撮像画像のどの位置に対応しているかを検出し、即ち、２枚目の撮像画像のある位置に投影されている被写体の部分と同一の部分が投影されている１枚目の撮像画像上の位置を検出し、その検出結果に基づき、１枚目の撮像画像と２枚目の撮像画像との位置関係（ズレ量）を表す式（１）を定義する変換パラメータ(a2,b2,c2,d2,s2,t2)を求めて、演算回路２４に供給する。
【０１１９】
【数１】
2006157168.tif 000003
・・・（１）
【０１２０】
式（１）は、いわゆるアフィン変換の式である。ここで、画像の座標系として、図３の撮像素子４における場合と同様に、その画像の左上の画素の中心を原点として、水平方向（右方向）をX方向とするとともに、垂直方向（下方向）をY方向とするXY座標系を定義すると、式（１）において、（X2，Y2）は、２枚目の撮像画像の画素の、その２枚目の撮像画像の座標系上の位置を表し、（X1(2)，Y1(2)）は、２枚目の撮像画像の画素の位置（X2，Y2）を、１枚目の撮像画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（X1(2)，Y1(2)）における下付きの（２）は、２枚目の撮像画像の座標系上の位置（X2，Y2）が、１枚目の撮像画像の座標系上の位置に変換されたことを表す。１枚目の撮像画像の座標系上の位置（X1(2)，Y1(2)）には、（理想的には）２枚目の撮像画像の画素の位置（X2，Y2）に投影されている被写体の部分と同一の部分が投影されている。
【０１２１】
ここで、変換パラメータ(a2,b2,c2,d2,s2,t2)のうちの、a2,b2,c2,d2を、a2=d2=L2cosθ2，-b2=c2=L2sinθ2と定義すると、式（１）のアフィン変換は、回転角度θ2、スケールL2、平行移動量(s2,t2)で定義される。この場合、式（１）は、１枚目の撮像画像の位置（X1(2)，Y1(2)）に投影されている被写体の部分が、その位置（X1(2)，Y1(2)）に対応する２枚目の撮像画像の画素の位置（位置（X1(2)，Y1(2)）に投影されている被写体の部分と同一の部分が投影されている２枚目の撮像画像の位置）（X2，Y2）に投影されている被写体の部分に対して、角度θ2だけ回転し、L2倍だけ拡大（L2＜１のときは、縮小）され、(s2,t2)だけ平行移動していることを表す。
【０１２２】
なお、手ぶれでは、通常、撮像素子４の受光面と平行な方向のぶれ（揺れ）が大きく、撮像素子４の受光面と垂直な方向のぶれ（揺れ）は少ないので、撮像素子４の受光面と垂直な方向のぶれはないとみなしても良い。この場合、L2=1となる。
【０１２３】
動き検出回路２３2には、基準画像としての１枚目の撮像画像がフレームメモリ２２1から、ターゲット画像としての３枚目の撮像画像がフレームメモリ２２3から、それぞれ供給される。
【０１２４】
動き検出回路２３2は、３枚目の撮像画像の各画素が、１枚目の撮像画像のどの位置に対応しているかを検出し、その検出結果に基づき、１枚目の撮像画像と３枚目の撮像画像との位置関係を表す式（２）のアフィン変換を定義する変換パラメータ(a3,b3,c3,d3,s3,t3)を求めて、演算回路２４に供給する。
【０１２５】
【数２】
2006157168.tif 000004
・・・（２）
【０１２６】
式（２）において、（X3，Y3）は、３枚目の撮像画像の画素の、その３枚目の撮像画像の座標系上の位置を表し、（X1(3)，Y1(3)）は、３枚目の撮像画像の画素の位置（X3，Y3）を、１枚目の撮像画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（X1(3)，Y1(3)）における下付きの（３）は、式（１）における場合と同様に、３枚目の撮像画像の座標系上の位置（X3，Y3）が、１枚目の撮像画像の座標系上の位置に変換されたことを表す。また、式（２）は、a3=d3=L3cosθ3，-b3=c3=L3sinθ3と定義すると、式（１）における場合と同様にして、回転角度θ3、スケールL3、平行移動量(s3,t3)で定義することができる。
【０１２７】
以下同様に、動き検出回路２３k-1には、基準画像としての１枚目の撮像画像がフレームメモリ２２1から、ターゲット画像としてのk枚目の撮像画像がフレームメモリ２２kから、それぞれ供給される。
【０１２８】
動き検出回路２３k-1は、k枚目の撮像画像の各画素が、１枚目の撮像画像のどの位置に対応しているかを検出し、その検出結果に基づき、１枚目の撮像画像とk枚目の撮像画像との位置関係を表す式（３）のアフィン変換を定義する変換パラメータ(ak,bk,ck,dk,sk,tk)を求めて、演算回路２４に供給する。
【０１２９】
【数３】
2006157168.tif 000005
・・・（３）
【０１３０】
式（３）において、（Xk，Yk）は、k枚目の撮像画像の画素の、そのk枚目の撮像画像の座標系上の位置を表し、（X1(k)，Y1(k)）は、k枚目の撮像画像の画素の位置（Xk，Yk）を、１枚目の撮像画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（X1(k)，Y1(k)）における下付きの（k）は、式（１）における場合と同様に、k枚目の撮像画像の座標系上の位置（Xk，Yk）が、１枚目の撮像画像の座標系上の位置に変換されたことを表す。また、式（３）は、ak=dk=Lkcosθk，-bk=ck=Lksinθkと定義すると、式（１）における場合と同様にして、回転角度θk、スケールLk、平行移動量(sk,tk)で定義することができる。
【０１３１】
変換パラメータ(ak,bk,ck,dk,sk,tk)は、上述のように、k枚目の撮像画像の各画素の位置に投影されている被写体の部分と同一の部分が投影されている１枚目の撮像画像の位置の検出結果から求める他、ディジタルカメラ１に加速度センサや角速度センサを設け、その加速度センサ等の出力から、いわば、メカニカル的に求めるようにすることもできる。
【０１３２】
演算回路２４には、フレームメモリ２２1乃至２２NからN枚の撮像画像が供給される。
また、演算回路２４には、動き検出回路２３1乃至２３N-1から１枚目の撮像画像とk枚目の撮像画像との位置関係を表す変換パラメータ(ak,bk,ck,dk,sk,tk)が供給される。
【０１３３】
演算回路２４は、動き検出回路２３1乃至２３N-1から供給される２乃至N枚目の撮像画像それぞれと、１枚目の撮像画像との位置関係を表す変換パラメータ(ak,bk,ck,dk,sk,tk)に基づき、後述する画像生成処理における画素値の推定に用いる１乃至N枚目の撮像画像の画素を特定し、さらに、その特定した画素の画素地に基づき、手ぶれを補正した１枚の鮮明な出力画像の画素値（G信号、R信号、B信号）を推定することにより、出力画像を生成する画像生成処理を行い、その結果得られる出力画像を、D/Aコンバータ９またはコーデック１２に供給する。
【０１３４】
ここで、A/Dコンバータ６から信号処理回路７に供給されるN枚の撮像画像それぞれは、１画素がG信号、R信号、B信号のうちのいずれか１つの画素値を有する画像であるのに対して、演算回路２４で生成される出力画像は、１画素につきG信号、R信号、B信号の３個の画素値（色信号）を有する画像である。
【０１３５】
コントローラ２５は、CPU１５の制御に従い、信号処理回路７内のフレームメモリ２２1乃至２２N、動き検出回路２３1乃至２３N-1、演算回路２４等の制御を行う。なお、CPU１５（図１）が、コントローラ２５に代わって、信号処理回路７内のフレームメモリ２２1乃至２２N、動き検出回路２３1乃至２３N-1、演算回路２４等の制御を行うようにすることができ、この場合には、コントローラ２５を省略することができる。
【０１３６】
なお、ベイヤー配列を採用する単板センサでは、G信号の画素数に対して、R信号やB信号の画素数が少なくなっている。そのため、信号処理回路７で得られる出力画像におけるR信号やB信号は、G信号に較べて誤差（ノイズ）が大となる場合がある。そのような場合には、演算回路２４の後段に、輝度信号はそのままで、色差信号に対してのみ高周波成分の帯域を制限するローパスフィルタを配置することにより、ノイズを除去（制限）することができる。
【０１３７】
次に、図１の信号処理回路７（の演算回路２４（図４））における画像生成処理について説明する。
【０１３８】
なお、撮像素子４の各画素で得られる画素値、即ち、撮像画像の画素値は、その画素の、ある１点（例えば、画素の重心（中心））に入射される被写体の光の光量に対応する信号、即ち、画素の重心位置でポイントサンプリングされたデータであるとする。
【０１３９】
また、以下では、k枚目の撮像画像のことをk枚目画像とも記述し、さらに、k枚目画像を基準とするXY座標系（k枚目画像の左上の画素の中心を原点として、横（右）方向をX方向とするとともに、縦（下）方向をY方向とするXY座標系）を、k枚目画像の座標系という。
【０１４０】
上述のように、撮像素子４の各画素で得られる画素値を、画素の重心位置でポイントサンプリングされたデータであるとした場合、図３の撮像素子４の各画素のうち、「i番目、j番目の画素」の画素値は、例えば、「i番目、j番目の画素」の重心の位置（座標）(i-1,j-1)に投影された被写体の光の光量に対応する。
【０１４１】
例えば、いま、撮像素子４の「i番目、j番目の画素」の画素値が、「i番目、j番目の画素」の重心の位置（座標）(i-1,j-1)に投影された被写体の光の光量に等しいとすると、例えば、１枚目画像の「ig番目、jg番目の画素」の画素値Gobs（１，ig，jg）は、１枚目画像の座標系（１枚目画像を基準とする座標系）の位置(ig-1,jg-1)の緑色の光量Lg(ig-1,jg-1)である。同様に、１枚目画像の「ir番目、jr番目の画素」の画素値Robs（１，ir，jr）は、１枚目画像の座標系の位置(ir-1,jr-1)の赤色の光量Lr(ir-1,jr-1)であり、１枚目画像の「ib番目、jb番目の画素」の画素値Bobs（１，ib，jb）は、１枚目画像の座標系の位置(ib-1,jb-1)の青色の光量Lb(ib-1,jb-1)である。
【０１４２】
ここで、図５は、１枚目画像を示している。
【０１４３】
図５において、撮像画像の画素を、図３で説明した撮像素子４の画素と同様に表すこととすると、１枚目画像の画素G(jg-1)(ig-1)については、黒丸で示される画素の重心位置に、G信号の画素値Gobs（１，ig，jg）が観測される。また、画素R(jr-1)(ir-1)については、黒四角で示される画素の重心位置に、R信号の画素値Robs（１，ir，jr）が観測され、画素B(jb-1)(ib-1)については、黒三角で示される画素の重心位置に、B信号の画素値Bobs（１，ib，jb）が観測される。
【０１４４】
以上のように、１枚目画像の画素値は、１枚目画像の座標系上の各画素の重心位置、即ち、i番目、j番目の画素では、位置(i-1,j-1)において観測される。
【０１４５】
図６は、２枚目画像を示している。
【０１４６】
図６において、２枚目画像の画素G(jg-1)(ig-1)については、黒丸で示される画素の重心位置に、G信号の画素値Gobs（２，ig，jg）が観測される。また、画素R(jr-1)(ir-1)については、黒四角で示される画素の重心位置に、R信号の画素値Robs（２，ir，jr）が観測され、画素B(jb-1)(ib-1)については、黒三角で示される画素の重心位置に、B信号の画素値Bobs（２，ib，jb）が観測される。
【０１４７】
以上のように、２枚目画像においても、１枚目画像と同様に、画素値は、２枚目画像の座標系上の各画素の重心位置、即ち、i番目、j番目の画素では、位置(i-1,j-1)において観測される。
【０１４８】
演算回路２４（図４）は、画像生成処理において、N枚の撮像画像から、そのN枚の撮像画像どうしの位置関係を検出するときの基準となった撮像画像、即ち、ここでは、１枚目画像に投影されている被写体の範囲の画像を、出力画像として生成する。即ち、演算回路２４は、N枚の撮像画像の位置関係に基づき、出力画像の画素の位置ごとに、その画素の位置の画素値の推定に用いるN枚の撮像画像の画素を特定し、その特定したN枚の撮像画像の画素の画素値に基づき、出力画像の各画素の位置の画素値を推定することにより、出力画像を生成する。
【０１４９】
演算回路２４は、このように、出力画像の画素の位置ごとに、その画素（の位置）の画素値の推定に用いるN枚の撮像画像の画素を特定するため、N枚の撮像画像それぞれに投影されている被写体の各部が一致（対応）するように、そのN枚の撮像画像の画素（の位置）を、出力画像上の位置、即ち、基準画像である１枚目画像上の位置に変換する。
【０１５０】
この変換は、動き検出回路２３k-1（図４）で求められた、N枚の撮像画像の位置関係を表す式（１）乃至（３）の変換パラメータ(a,b,c,d,s,t)（以下、適宜、変換パラメータを表す変数のサフィックスは省略する）のアフィン変換によって行われる。
【０１５１】
即ち、例えば、２枚目画像上の画素（点）は、動き検出回路２３1により求められた変換パラメータ(a2,b2,c2,d2,s2,t2)を用いた式（１）のアフィン変換によって、１枚目画像の座標系上の点に変換することができる。
【０１５２】
図６には、１枚目画像の座標系上の点に変換された２枚目画像の、画素値がGobs（２，ig，jg），Robs（２，ir，jr），Bobs（２，ib，jb）それぞれの画素（の重心位置）も示されている。
【０１５３】
即ち、２枚目画像の座標系の画素G(jg-1)(ig-1)のG信号の画素値Gobs（２，ig，jg）は、２枚目画像の座標系上の位置(ig-1,jg-1)を動き検出回路２３1により求められた変換パラメータ(a2,b2,c2,d2,s2,t2)によりアフィン変換した１枚目画像の座標系上の位置((ig-1)(2),(jg-1)(2))で観測される（はずの）緑色の光量Lg（x，y）でもある。図６では、G信号の画素値Gobs（２，ig，jg）が観測される１枚目画像の座標系上の位置((ig-1)(2),(jg-1)(2))が、白丸で示されている。
【０１５４】
また、２枚目画像の座標系の画素R(jr-1)(ir-1)のR信号の画素値Robs（２，ir，jr）は、２枚目画像の座標系上の位置(ir-1,jr-1)を動き検出回路２３1により求められた変換パラメータ(a2,b2,c2,d2,s2,t2)により変換した１枚目画像の座標系上の位置((ir-1)(2),(jr-1)(2))で観測される（はずの）赤色の光量Lr（x，y）でもある。図６では、R信号の画素値Robs（２，ir，jr）が観測される１枚目画像の座標系上の位置((ir-1)(2),(jr-1)(2))が、白四角で示されている。
【０１５５】
さらに、２枚目画像の座標系の画素B(jb-1)(ib-1)のB信号の画素値Bobs（２，ib，jb）は、２枚目画像の座標系上の位置(ib-1,jb-1)を動き検出回路２３1により求められた変換パラメータ(a2,b2,c2,d2,s2,t2)により変換した１枚目画像の座標系上の位置((ib-1)(2),(jb-1)(2))で観測される（はずの）青色の光量Lb（x，y）でもある。図６では、B信号の画素値Bobs（２，ib，jb）が観測される１枚目画像の座標系上の位置((ib-1)(2),(jb-1)(2))が、白三角で示されている。
【０１５６】
次に、図７は、３枚目画像を示している。
【０１５７】
図７において、３枚目画像の画素G(jg-1)(ig-1)については、黒丸で示される画素の重心位置に、G信号の画素値Gobs（３，ig，jg）が観測される。また、画素R(jr-1)(ir-1)については、黒四角で示される画素の重心位置に、R信号の画素値Robs（３，ir，jr）が観測され、画素B(jb-1)(ib-1)については、黒三角で示される位置に、B信号の画素値Bobs（３，ib，jb）が観測される。
【０１５８】
以上のように、３枚目画像の画素値も、３枚目画像の座標系上の各画素の重心位置、即ち、i番目、j番目の画素では、位置(i-1,j-1)において観測される。
【０１５９】
３枚目画像上の画素（点）も、２枚目画像と同様に、動き検出回路２３2により求められた変換パラメータ(a3,b3,c3,d3,s3,t3)を用いた式（２）のアフィン変換によって、１枚目画像の座標系上の点に変換することができる。
【０１６０】
図７には、その１枚目画像の座標系に変換された３枚目画像上の、画素値がGobs（３，ig，jg），Robs（３，ir，jr），Bobs（３，ib，jb）それぞれの画素（の重心位置）も示されている。
【０１６１】
即ち、３枚目画像の座標系の画素G(jg-1)(ig-1)のG信号の画素値Gobs（３，ig，jg）は、３枚目画像の座標系上の位置(ig-1,jg-1)を動き検出回路２３2により求められた変換パラメータ(a3,b3,c3,d3,s3,t3)によりアフィン変換した１枚目画像の座標系上の位置((ig-1)(3),(jg-1)(3))で観測される（はずの）緑色の光量Lg（x，y）でもある。図７では、G信号の画素値Gobs（３，ig，jg）が観測される１枚目画像の座標系上の位置((ig-1)(3),(jg-1)(3))が、白丸で示されている。
【０１６２】
また、３枚目画像の座標系の画素R(jr-1)(ir-1)のR信号の画素値Robs（３，ir，jr）は、３枚目画像の座標系上の位置(ir-1,jr-1)を動き検出回路２３2により求められた変換パラメータ(a3,b3,c3,d3,s3,t3)によりアフィン変換した１枚目画像の座標系上の位置((ir-1)(3),(jr-1)(3))で観測される（はずの）赤色の光量Lr（x，y）でもある。図７では、R信号の画素値Robs（３，ir，jr）が観測される１枚目画像の座標系上の位置((ir-1)(3),(jr-1)(3))が、白四角で示されている。
【０１６３】
さらに、３枚目画像の座標系の画素B(jb-1)(ib-1)のB信号の画素値Bobs（３，ib，jb）は、３枚目画像の座標系上の位置(ib-1,jb-1)を動き検出回路２３2により求められた変換パラメータ(a3,b3,c3,d3,s3,t3)によりアフィン変換した１枚目画像の座標系上の位置((ib-1)(3),(jb-1)(3))で観測される（はずの）青色の光量Lb（x，y）でもある。図７では、B信号の画素値Bobs（３，ib，jb）が観測される１枚目画像の座標系上の位置((ib-1)(3),(jb-1)(3))が、白三角で示されている。
【０１６４】
次に、図８は、基準画像である１枚目の撮像画像を基準として、１乃至N枚目の撮像画像に投影されている被写体の各部が一致するように、１乃至N枚目の撮像画像を位置合わせするアフィン変換を行った場合に、１乃至N枚目の撮像画像それぞれにおける緑色の画素（緑色の光を受光した画素）G(jg-1)(ig-1)の画素値Gobs（１，ig，jg）乃至Gobs（N，ig，jg）が観測される１枚目画像の座標系上の位置を示している。
【０１６５】
図８では、１枚目画像の座標系上の(I',J')に着目した場合の、その周辺の位置における１乃至Ｎ枚目画像の緑色の画素（緑色の光を受光した画素）の一例を示している。ig番目、jg番目の画素G(jg-1)(ig-1)の重心位置（画素中心）において１枚目画像の画素値Gobs（１，ig，jg）が観測されている。但し、I'=ig-1，J'=jg-1の場合である。また、画素G(jg-1)(ig-1)の画素中心の左上側に、位置が１枚目画像の座標系上にアフィン変換された２枚目画像の画素値Gobs（２，ig，jg）が観測されている。さらに、画素G(jg-1)(ig-1)の画素中心の左下側に、位置が１枚目画像の座標系上にアフィン変換された３枚目画像の画素値Gobs（３，ig，jg）が観測されている。また、画素G(jg-1)(ig-1)の画素中心の右上側に、位置が１枚目画像の座標系上にアフィン変換された４枚目画像の画素値Gobs（４，ig，jg）が観測されている。なお、５乃至N枚目画像の画素値Gobs（k，ig)，jg）（k＝５乃至N）の図示は、省略されている。
【０１６６】
演算回路２４は、１乃至N枚目画像の画素（の位置）を、基準画像である１枚目画像の座標系上の位置にアフィン変換し、そのアフィン変換後の位置における画素の画素値Gobs（k，ig，jg）（k＝１乃至N）に基づいて、１枚目画像の座標系上の位置(i-1,j-1)の緑色の光量Lg(i-1,j-1)を、出力画像の、その位置(i-1,j-1)におけるG信号の画素値として推定する。
【０１６７】
ここで、基準画像である１枚目画像の座標系上において、i番目、j番目の画素の中心位置(i-1,j-1)を（I'，J'）と表すことにする。即ち、I'=i-1，J'=j-1とする。なお、I',J'は、０以上の整数である。
【０１６８】
図９は、演算回路２４が、真の緑の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）それぞれを、出力画像の画素値として推定すべき、１枚目画像の座標系上の位置を示している。
【０１６９】
図９では、出力画像の各画素の中心位置（I'，J'）、即ち、１枚目画像の座標系上の撮像素子４の各画素の中心位置（I'，J'）が、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）を推定すべき位置として黒丸で示されている。即ち、黒丸で示された各画素の中心位置（I'，J'）においては、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）のすべてが推定される。
【０１７０】
ここで、以下、適宜、基準画像の座標系を、基準座標系という。ここでは、１枚目画像を基準画像としているので、１枚目画像の座標系が基準座標系である。
【０１７１】
演算回路２４は、１乃至N枚目画像の画素（の位置）を、基準座標系上の位置にアフィン変換し、そのアフィン変換後の位置における画素のG信号の画素値Gobs（k，ig，jg）（k＝１乃至N）を用いて、基準座標系上の位置（I'，J'）の緑色の光量Lg（I'，J'）を、出力画像の、その位置（I'，J'）におけるG信号の画素値として推定する。
【０１７２】
但し、１乃至N枚目画像の画素の、基準座標系上へのアフィン変換後の位置における画素のG信号の画素値Gobs（k，ig，jg）のすべてを用いて、基準座標系上の位置（I'，J'）の緑色の光量Lg（I'，J'）を、出力画像の位置（I'，J'）におけるG信号の画素値として推定したのでは、その推定精度が劣化する。
【０１７３】
そこで、演算回路２４は、１乃至N枚目画像の画素の、基準座標系上へのアフィン変換後の位置が、緑色の光量Lg（I'，J'）を推定しようとする位置（I'，J'）の近傍にある１乃至N枚目画像の画素を、緑色の光量Lg（I'，J'）、即ち、出力画像の画素値の推定に用いる画素として特定し、その特定した１乃至N枚目画像の画素のG信号の画素値Gobs（k，ig，jg）を用いて、緑色の光量Lg（I'，J'）を推定する。
【０１７４】
図１０は、演算回路２４が緑色の光量Lg（I'，J'）の推定に用いる１乃至N枚目画像の画素の位置をプロットした基準座標系を示している。
【０１７５】
演算回路２４は、基準座標系上の位置（I'，J'）について、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１の範囲を、位置（I'，J'）の近傍の範囲（近傍範囲）として設定し、基準座標系上へのアフィン変換後の位置が、近傍範囲内にある１乃至N枚目画像の画素を、緑色の光量Lg（I'，J'）の推定に用いる画素して特定する。即ち、演算回路２４では、位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす整数k，ig，jgの組がすべて求められ、この(k，ig，jg)で表される画素が、緑色の光量Lg（I'，J'）の推定に用いる画素して特定される。
【０１７６】
図１０では、基準座標系上へのアフィン変換後の位置として、５つの点A，B，C，D，Eが存在し、従って、演算回路２４では、その点A乃至点Eにアフィン変換される１乃至N枚目画像の画素が、緑色の光量Lg（I'，J'）の推定に用いる画素して特定される。
【０１７７】
そして、演算回路２４では、点A乃至点Eそれぞれで観測される画素値Gobs（k，ig，jg）、即ち、位置が点A乃至点Eにアフィン変換される１乃至N枚目画像の画素のG信号の画素値Gobs（k，ig，jg）を用いて、位置（I'，J'）の緑色の光量Lg（I'，J'）が推定される。
【０１７８】
図１１は、点A乃至点Eそれぞれで観測される画素値Gobs（k，ig，jg）を用いて、位置（I'，J'）の緑色の光量Lg（I'，J'）が推定される様子を模式的に示している。
【０１７９】
演算回路２４は、例えば、次式にしたがって緑色の光量Lg（I'，J'）を推定する。
【０１８０】
【数４】
2006157168.tif 000006
・・・（４）
【０１８１】
ここで、式（４）におけるΣは、位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ig，jg）の組についての総和を表す。
例えば、図１０および図１１の例では、点A乃至点Eの５個の（k，ig，jg）の組についての総和となる。
【０１８２】
また、式（４）において、w((x,y),(I',J'))は、位置(ig-1,jg-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x，y）と、緑色の光量Lg（I'，J'）を推定しようとする位置（画素）（I'，J'）とを引数とする重みを表す。
【０１８３】
従って、式（４）によれば、緑色の光量Lg（I'，J'）が、実際に観測されている画素値Gobs（k，ig，jg）を用いた重み付け加算（重み付け平均）によって推定される。そこで、以下、適宜、式（４）を緑色の光量の重み加算式と称する。
【０１８４】
重みw((x,y),(I',J'))としては、例えば、位置（x，y）と（I'，J'）との距離に対して単調減少する関数などを用いることができる。位置（x，y）と（I'，J'）との距離を、F((x,y),(I',J'))＝√｛（x-I'）2＋（y-J'）2｝と表すこととすると、位置（x，y）と（I'，J'）との距離に対して単調減少する関数としては、例えば、√２-F((x,y),(I',J'))などを採用することができる。ここで、√２-F((x,y),(I',J'))における√２は、図１０および図１１に示した、位置（I'，J'）の緑色の光量Lg（I'，J'）の推定に用いられる画素値Gobs（k，ig，jg）が存在する（I'±１，J'±１）で囲まれる領域内の中心(I',J')からの最大の距離であり、従って、√２-F((x,y),(I',J'))は、位置（x，y）と（I'，J'）との距離に対して単調減少する非負の関数となる。
【０１８５】
重みw((x,y),(I',J'))として、√２-F((x,y),(I',J'))を用いた場合、位置（I'，J'）に対してより近い位置の画素値Gobs（k，ig，jg）の影響をより強く受けるように、緑色の光量Lg（I'，J'）が推定される。
【０１８６】
なお、図１で説明したように、相関２重サンプリング回路５が出力する画像信号に含まれるノイズ量をEとすると、その画像信号には、シフト回路２１において、n'ビットシフトによるMk倍のゲインアップの処理が施されるため、画素値Gobs（k，ig，jg）には、ノイズ量E×Mkのノイズが含まれる。
【０１８７】
緑色の光量Lg（I'，J'）の推定にあたっては、画素値Gobs（k，ig，jg）に含まれるノイズの影響を排除すべきであり、かかる観点からは、重みw((x,y),(I',J'))は、画素値Gobs（k，ig，jg）に含まれるノイズのノイズ量E×Mkに対して減少するようにするのが望ましい。そこで、重みw((x,y),(I',J'))としては、位置（x，y）と（I'，J'）との距離に対して減少し、かつノイズ量E×Mkに対しても減少する、例えば、｛√２-F((x,y),(I',J'))｝／（E×Mk）などを採用することができる。
【０１８８】
ここで、重みw((x,y),(I',J'))としては、その他、例えば、位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有する関数などを採用することもできるが、この点については、後述する。
【０１８９】
演算回路２４は、位置（I'，J'）における赤色の光量Lr（I'，J'）と、青色の光量Lb（I'，J'）も、緑色の光量Lg（I'，J'）における場合と同様に推定する。即ち、演算回路２４は、赤色の光量Lr（I'，J'）と、青色の光量Lb（I'，J'）を、式（４）と同様の式（５）と式（６）にしたがってそれぞれ推定する。
【０１９０】
【数５】
2006157168.tif 000007
・・・（５）
【０１９１】
【数６】
2006157168.tif 000008
・・・（６）
【０１９２】
なお、式（５）におけるΣは、位置（I'，J'）に対して、位置(ir-1,jr-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)で変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ir，jr）の組についての総和を表す。また、式（６）におけるΣは、位置（I'，J'）に対して、位置(ib-1,jb-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)で変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ib，jb）の組についての総和を表す。
【０１９３】
ここで、以下、適宜、式（５）を赤色の光量の重み加算式と、式（６）を青色の光量の重み加算式と、それぞれ称することとする。
【０１９４】
以上のように、演算回路２４では、位置（I'，J'）に対して、位置(i-1,j-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，i，j）で表される画素を、位置（I'，J'）の画素値の推定に用いる画素（以下、適宜、特定画素という）として特定し、その特定画素の画素値に基づいて、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）が求められる（推定される）。
【０１９５】
次に、図１２のフローチャートを参照して、以上のようにして画素値（緑色、赤色、青色の光量）を推定することにより、出力画像を生成する図２のステップＳ４における画像生成処理について説明する。
【０１９６】
初めに、ステップＳ７１において、演算回路２４は、基準座標系上のある位置（I'，J'）に注目する（以下、注目位置（I'，J'）と称する）。ここで、注目位置（I'，J'）は、基準画像である１枚目の撮像画像の「i番目、j番目の画素」の画素中心(i-1,j-1)を表している。
【０１９７】
そして、ステップＳ７１からS７２に進み、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の緑色の画素（緑色の画素値Gobs(k,ig,jg)の画素）の中心位置(ig-1,jg-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x，y
）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ig，jg）の組を、１乃至N枚目画像についてすべて求め、その（k，ig，jg）で表される画素を特定画素として特定し、ステップＳ７３に進む。
【０１９８】
なお、k枚目画像の画素（の位置）を、基準座標系上の位置（x，y）にアフィン変換するときの変換パラメータ(ak,bk,ck,dk,sk,tk)は、動き検出回路２３k-1から演算回路２４に供給される。また、基準画像である１枚目画像については、即ち、ｋ＝１の場合については、変換パラメータ(a1,b1,c1,d1,s1,t1)として、（１，０，０，１，０，０）が用いられる。従って、基準画像は、実質的にアフィン変換されない。
【０１９９】
ここで、k枚目画像の画素（の位置）の、基準座標系上へのアフィン変換後の位置（x，y）を、以下、適宜、変換位置（x，y）ともいう。
【０２００】
ステップＳ７３において、演算回路２４は、ステップＳ７２で求めたすべての（k，ig，jg）の組を用いて、式（４）で表される緑色の光量の重み加算式を生成して、ステップＳ７４に進む。即ち、演算回路２４は、ステップＳ７２で求めたすべての（k，ig，jg）で表される特定画素の画素値Gobs（k，ig，jg）と変換位置(x,y)を用いて、式（４）の緑色の光量の重み加算式の分母Σw((x,y),(I',J'))、および分子Σ{w((x,y),(I',J'))×Gobs（k，ig，jg）}を演算する。
【０２０１】
ステップＳ７４において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の赤色の画素（赤色の画素値Robs（k，ir，jr）の画素）の中心位置(ir-1,jr-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の変換位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ir，jr）の組を、１乃至N枚目画像についてすべて求め、その（k，ir，jr）で表される画素を特定画素として特定し、ステップＳ７５に進む。
【０２０２】
ステップＳ７５において、演算回路２４は、ステップＳ７４で求めたすべての（k，ir，jr）の組を用いて、式（５）で表される赤色の光量の重み加算式を生成して、ステップＳ７６に進む。即ち、演算回路２４は、ステップＳ７４で求めたすべての（k，ir，jr）で表される特定画素の画素値Robs（k，ir，jr）と変換位置(x,y)を用いて、式（５）の赤色の光量の重み加算式の分母Σw((x,y),(I',J'))、および分子Σ{w((x,y),(I',J'))×Robs（k，ir，jr）}を演算する。
【０２０３】
ステップＳ７６において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の青色の画素（青色の画素値Bobs（k，ib，jb）の画素）の中心位置(ib-1,jb-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の変換位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ib，jb）の組を、１乃至N枚目画像についてすべて求め、その（k，ib，jb）で表される画素を特定画素として特定し、ステップＳ７７に進む。
【０２０４】
ステップＳ７７において、演算回路２４は、ステップＳ７６で求めたすべての（k，ib，jb）の組を用いて、式（６）で表される青色の光量の重み加算式を生成して、ステップＳ７８に進む。即ち、演算回路２４は、ステップＳ７６で求めたすべての（k，ib，jb）で表される特定画素の画素値Bobs（k，ib，jb）と変換位置(x,y)を用いて、式（６）の青色の光量の重み加算式の分母Σw((x,y),(I',J'))、および分子Σ{w((x,y),(I',J'))×Bobs（k，ib，jb）}を演算する。
【０２０５】
ステップＳ７８において、演算回路２４は、ステップＳ７３で求めた式（４）の緑色の光量の重み加算式の分子Σ{w((x,y),(I',J'))×Gobs（k，ig，jg）}を、その分母Σw((x,y),(I',J'))で除算することにより、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を求める（推定する）。さらに、演算回路２４は、ステップＳ７５で求めた式（５）の赤色の光量の重み加算式の分子Σ{w((x,y),(I',J'))×Robs（k，ir，jr）}を、その分母Σw((x,y),(I',J'))で除算することにより、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を求めるとともに、ステップＳ７７で求めた式（６）の青色の光量の重み加算式の分子Σ{w((x,y),(I',J'))×Bobs（k，ib，jb）}を、その分母Σw((x,y),(I',J'))で除算することにより、注目位置（I'，J'）における青色の光量Lb（I'，J'）を求め、ステップＳ７９に進む。
【０２０６】
即ち、ステップＳ７８では、出力画像の位置（I'，J'）の画素について、G信号、R信号、B信号の３個の画素値が求められる。
【０２０７】
ステップＳ７９において、演算回路２４は、すべての位置（I'，J'）を注目位置としたか、即ち、基準画像である１枚目の撮像画像の画素、つまり、出力画像の画素の中心位置のすべてを注目位置（I'，J'）として、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）を求めたか否かを判定する。
【０２０８】
ステップＳ７９で、すべての位置（I'，J'）をまだ注目位置としていないと判定された場合、ステップＳ７１に戻り、ステップＳ７１乃至S７９の処理が繰り返される。即ち、演算回路２４は、まだ注目していない位置（I'，J'）を新たな注目位置（I'，J'）として、その新たな注目位置（I'，J'）における緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）をそれぞれ求める。
【０２０９】
一方、ステップＳ７９で、すべての位置（I'，J'）を注目位置としたと判定された場合、ステップＳ８０に進み、演算回路２４は、ステップＳ７８で求めた緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）を、それぞれ、位置（I'，J'）の画素におけるG信号、R信号、B信号の画素値とする出力画像を生成し（得て）、D/Aコンバータ９またはコーデック１２に供給して、処理を戻る。
【０２１０】
以上のように、高速撮像により得られた複数の撮像画像どうしの位置関係を検出し、その位置関係に基づき、出力画像の画素の位置ごとに、その画素の位置の画素値の推定に用いる複数の撮像画像の画素を、特定画素として特定し、その特定画素の画素値に基づき、出力画像の各画素の位置の画素値を推定することにより、出力画像を生成するので、手ぶれのない鮮明な出力画像を得ることができる。
【０２１１】
次に、上述の場合には、出力画像の画素値（緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'））を推定する式（４）乃至式（６）の重みw((x,y),(I',J'))として、位置（x，y）と（I'，J'）との距離に対して減少する、例えば、√２-F((x,y),(I',J'))などを採用することとしたが、重みw((x,y),(I',J'))としては、その他、例えば、位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有する関数を採用することができる。
【０２１２】
位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有する関数としては、例えば、キュービック（Cubic）関数を用いたCubic（I'−x）×Cubic（J'−y）がある。
【０２１３】
ここで、キュービック関数Cubic(z)は、次式（７）で表される。
【０２１４】
【数７】
2006157168.tif 000009
・・・（７）
【０２１５】
なお、式（７）のaは、予め決められた定数であり、例えば、−１などとされる。
【０２１６】
図１３は、キュービック関数Cubic(z)を示している。
【０２１７】
キュービック関数Cubic(z)は、変数zが、２≦｜z｜、および｜z｜＝１の場合には、０となり、１＜｜z｜＜２の場合には、負の値となる。また、｜z｜＜１の場合には、Cubic(z)は、正の値となり、かつ、｜z｜の値が大きくなるに従い、小さくなる。換言すれば、キュービック関数Cubic（z）は、周波数軸で考えた場合（フーリエ変換した場合）にローパスフィルタの特性を有する関数である。
【０２１８】
重みw((x,y),(I',J'))として、キュービック関数Cubic（z）を用いる場合、演算回路２４（図４）は、次のようにして、出力画像の画素値（緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'））を推定する。
【０２１９】
即ち、図１４は、位置（I'，J'）に対して、N枚の撮像画像の位置(ig-1,jg-1)を基準座標系（ここでは、１枚目の座標系）上にアフィン変換した変換位置（x，y）としての点G11乃至G19を示している。
【０２２０】
図１４において、変換位置（x，y）としての点G11乃至G19は、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲内の点であり、演算回路２４は、このI'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲を、位置（I'，J'）の近傍範囲として、変換位置（x，y）が近傍範囲内にある１乃至N枚目画像の画素を、特定画素として特定する。
【０２２１】
即ち、重みw((x,y),(I',J'))として、位置（x，y）と（I'，J'）との距離に対して減少する√２-F((x,y),(I',J'))を採用した場合には、図１０および図１１に示したように、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１の範囲を、位置（I'，J'）の近傍範囲としたが、重みw((x,y),(I',J'))として、キュービック関数を用いたCubic（I'−x）×Cubic（J'−y）を採用する場合には、図１４に示すように、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲を、位置（I'，J'）の近傍範囲とする。
【０２２２】
これは、上述したように、式（７）で表されるキュービック関数Cubic(z)が、−２≦z≦２の範囲で、引数zに応じた値をとるので（｜z｜＞２の範囲では、引数zにかかわらず０であるので）、その範囲と対応する範囲、即ち、I'−２≦x＜I'＋２、およびJ'−２≦y＜J'＋２の範囲に、変換位置（x，y）が存在する画素の画素値を用いて、出力画像における位置（I'，J'）の画素値を推定するためである。
【０２２３】
ここで、重みw((x,y),(I',J'))としては、位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有し、かつ、さらに、式（４）で説明したように、ノイズ量E×Mkに対して減少する関数を採用することができる。この場合、w((x,y),(I',J'))は、例えば、｛Cubic（I'−x）×Cubic（J'−y）｝／（E×Mk）で表される。
【０２２４】
なお、シフト回路２１（図１）において、N枚の撮像画像に対して、すべて同一のM倍のゲインアップを行うこととする場合、w((x,y),(I',J'))は、｛Cubic（I'−x）×Cubic（J'−y）｝／（E×M）で表される。この場合、式（４）乃至式（６）では、w((x,y),(I',J'))における１／（E×M）は、式（４）乃至式（６）の分母と分子で相殺（約分）されるので、式（４）乃至式（６）を計算するにあたって、w((x,y),(I',J'))として、｛Cubic（I'−x）×Cubic（J'−y）｝／（E×M）を用いることは、w((x,y),(I',J'))として、Cubic（I'−x）×Cubic（J'−y）を用いることと等価である。
【０２２５】
式（４）における重みw((x,y),(I',J'))を、Cubic（I'−x）×Cubic（J'−y）に代えて、式（４）を書き直すと、式（８）になる。
【０２２６】
【数８】
2006157168.tif 000010
・・・（８）
【０２２７】
ここで、式（８）におけるΣは、位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ（ak，bk，ck，dk，sk，tk）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ig，jg）の組についての総和を表す。例えば、図１４に示した例では、点G11乃至点G19の９個の（k，ig，jg）の組についての総和となる。
【０２２８】
なお、式（８）も、式（４）と同様に、緑色の光量の重み加算式と称する。また、式（８）の緑色の光量の重み加算式の分子と分母を、次のように、式（９）と式（１０）とする。
【０２２９】
【数９】
2006157168.tif 000011
・・・（９）
【０２３０】
【数１０】
2006157168.tif 000012
・・・（１０）
【０２３１】
同様に、式（５）と式（６）における重みw((x,y),(I',J'))を、Cubic（I'−x）×Cubic（J'−y）に代えて、式（５）と式（６）を書き直すと、それぞれ、式（１１）と式（１２）になる。
【０２３２】
【数１１】
2006157168.tif 000013
・・・（１１）
【０２３３】
【数１２】
2006157168.tif 000014
・・・（１２）
【０２３４】
なお、式（１１）におけるΣは、位置（I'，J'）に対して、位置(ir-1,jr-1)を変換パラメータ（ak，bk，ck，dk，sk，tk）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ir，jr）の組についての総和を表す。また、式（１２）におけるΣも、式（６）における場合と同様に、位置（I'，J'）に対して、位置(ib-1,jb-1)を変換パラメータ（ak，bk，ck，dk，sk，tk）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ib，jb）の組についての総和を表す。
【０２３５】
ここで、式（１１）を、式（５）と同様に、赤色の光量の重み加算式と称し、式（１２）を、式（６）と同様に、青色の光量の重み加算式と称する。
【０２３６】
また、式（１１）の赤色の光量の重み加算式の分子と分母を、それぞれ、式（１３）と式（１４）とする。
【０２３７】
【数１３】
2006157168.tif 000015
・・・（１３）
【０２３８】
【数１４】
2006157168.tif 000016
・・・（１４）
【０２３９】
同様に、式（１２）の青色の光量の重み加算式の分子と分母を、それぞれ、式（１５）と式（１６）とする。
【０２４０】
【数１５】
2006157168.tif 000017
・・・（１５）
【０２４１】
【数１６】
2006157168.tif 000018
・・・（１６）
【０２４２】
演算回路２４では、以上の式（８）で表される緑色の光量の重み加算式、式（１１）で表される赤色の光量の重み加算式、および式（１２）で表される青色の光量の重み加算式を用いて、出力画像の画素値、即ち、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）を求めることができる。
【０２４３】
ところで、演算回路２４において、式（８）、式（１１）、および式（１２）によって、出力画像の画素値（緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'））を求める場合、出力画像の画素値として、信頼性の低い値が得られることがある。
【０２４４】
即ち、式（８）の緑色の光量の重み加算式によれば、変換位置（x，y）における画素値Gobs（k，ig，jg）と重みCubic（I'−x）×Cubic（J'−y）との積和である式（９）で表される式（８）の分子を、重みCubic（I'−x）×Cubic（J'−y）の総和である式（１０）で表される式（８）の分母で除算することにより、位置（I'，J'）の緑色の光量Lg（I'，J'）が求められる。
【０２４５】
従って、式（８）の分母である式（１０）が０（ほぼ０も含む）となる場合、式（８）で求められる緑色の光量Lg（I'，J'）は、不安定（不定）な、信頼性の低い値となる。換言すれば、式（８）の分母である式（１０）が０となる位置（I'，J'）では、式（８）の分子における画素値Gobs（k，ig，jg）に含まれる僅かなノイズ（誤差）が、０である分母で除算されることにより、大きな値に増幅され、その結果、式（８）で求められる緑色の光量Lg（I'，J'）は、大きなノイズを含む信頼性のない値となる。
【０２４６】
式（８）の分母である式（１０）が０となる場合は、例えば、キュービック関数Cubic（I'−x）またはCubic（J'−y）のうちの少なくとも一方が、式（１０）のサメーションの全範囲にわたって０となる場合である。そして、キュービック関数Cubic（I'−x）またはCubic（J'−y）が０となる場合は、図１３で示したキュービック関数の特性から、I'−x＝±１またはJ'−y＝±１、即ち、x＝I'±１またはy＝J'±１となる場合である。
【０２４７】
従って、ある位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ（ak，bk，ck，dk，sk，tk）で基準座標系上にアフィン変換した場合に、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する、すべての（k，ig，jg）の画素値Gobs（k，ig，jg）の変換位置（x，y）が、位置（I'，J'）とx＝I'±１またはy＝J'±１の関係があるとき、式（８）で求められる緑色の光量Lg（I'，J'）は、その分母が０（またはほぼ０）となるから、不安定（不定）な、信頼性のない値となる。但し、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する画素値Gobs（k，ig，jg）の変換位置（x，y）すべてが、位置（I'，J'）と、x＝I'±１またはy＝J'±１の関係となる状態は、極めて特別な、例外的な状態であり、以下、この状態を例外状態と称する。
【０２４８】
図１５は、ある位置（I'，J'）が例外状態となっている場合を示している。
【０２４９】
図１５では、位置(ig-1,jg-1)が変換パラメータ（ak，bk，ck，dk，sk，tk）でアフィン変換された変換位置G11'およびG15'が、x＝I'−１の関係となる位置に出現し、変換位置G12'およびG16'が、x＝I'＋１の関係となる位置に出現している。
【０２５０】
また、位置(ig-1,jg-1)が変換パラメータ（ak，bk，ck，dk，sk，tk）で変換された変換位置G13'およびG14'が、y＝J'−１の関係となる位置に出現し、変換位置G17'，G18'、およびG19'が、y＝J'＋１の関係となる位置に出現している。
【０２５１】
図１５に示す状態においては、基準座標系上のI'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に変換された（k，ig，jg）の組のすべての変換位置（x，y）が、位置（I'，J'）とx＝I'±１またはy＝J'±１の関係がある。この状態では、位置（I'，J'）を中心とした、およそ（I'±１，J'±１）内の領域（位置（I'，J'）を中心とする横×縦が２×２の正方形の領域）には、重みw((x,y),(I',J'))が０でないG信号のデータ（画素値Gobs（k，ig，jg））が１つも存在していない。
【０２５２】
このような状態（例外状態）において、位置（I'，J'）における緑色の光量Lg（I'，J'）を、式（８）によって求めた場合、上述したように、信頼性の低い（不安定な）緑色の光量Lg（I'，J'）が得られることとなる。
【０２５３】
そこで、位置（I'，J'）の画素が、このような例外状態にある場合には、演算回路２４は、式（８）により、位置（I'，J'）における緑色の光量Lg（I'，J'）を求める処理を行うのではなく、次のような例外処理を行うことによって、位置（I'，J'）における緑色の光量Lg（I'，J'）を求める。ここで、式（８）、式（１１）または式（１２）により、それぞれ、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、または青色の光量Lb（I'，J'）を求める処理を、以下、適宜、通常処理という。
【０２５４】
即ち、例えば、いま、位置（I'，J'）を注目位置とし、その注目位置（I'，J'）の出力画像の画素（以下、適宜、注目画素という）における緑色の光量Lg（I'，J'）を推定するとして、注目画素（の注目位置（I'，J'））が例外状態となっている場合、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における緑色の光量Lg（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍にあるk枚目の撮像画像の画素の画素値Gobs（k，ig，jg）の他に、変換位置（x，y）が注目画素の周辺の出力画像の画素の位置の近傍にあるk枚目の撮像画像の画素の画素値Gobs（k，ig，jg）をも用いて求める。
【０２５５】
ここで、例外処理において、緑色の光量Lg（I'，J'）を求める場合には、注目位置（I'，J'）の注目画素の周辺の画素（以下、適宜、周辺画素という）としては、例えば、図１６に示すような、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１），（I'，J'＋１）それぞれの画素を採用することができる。
【０２５６】
即ち、ディジタルカメラ１の撮像素子４は、図３を参照して説明したように、ベイヤー配列となっている。ベイヤー配列では、緑色の成分を受光する画素は、X方向およびY方向ともに、１画素おきに配列されている。
【０２５７】
ベイヤー配列の撮像素子４において得られるN枚の撮像画像を、基準座標系上にアフィン変換した場合に、注目位置（I'，J'）の近傍にG信号の観測値（である画素値）Gobs（k，ig，jg）が存在していないときは、その注目位置（I'，J'）の基準画像の画素は、緑色の画素ではない。
【０２５８】
即ち、図１７は、ベイヤー配列の撮像素子４において得られる基準画像を示している。
なお、図１７において、基準画像は、横方向（X方向）にW個の画素を、縦方向（Y方向）にH個の画素を、それぞれ有しており、W×Hの画素から構成されている。従って、撮像素子４も、W×Hの画素数を有している。
【０２５９】
例えば、注目位置（I'，J'）の基準画像の画素が、図１７に示すように、ベイヤー配列の画素のうちの、青色の画素（撮像素子４の画素のうちの青色の成分を受光する画素に対応する基準画像の画素）であり、丸で囲まれている画素B12である場合、画素B12の上下左右のいずれかには、緑色の画素が存在する。同様に、赤色または青色のうちのいずれかの画素については、その画素の上下左右のいずれかに、緑色の画素が存在する。
【０２６０】
従って、基準座標系の注目位置（I'，J'）の近傍にG信号の観測値Gobs（k，ig，jg）が存在していない場合（変換位置（x，y）が注目位置（I'，J'）の近傍になる撮像画像の緑色の画素が存在していない場合）、その注目位置（I'，J'）の注目画素の上、下、左、または右に隣接する画素（周辺画素）の位置（I'，J'−１），（I'，J'＋１），（I'−１，J'）、または（I'＋１，J'）のうちのいずれかの近傍には、G信号の観測値Gobs（k，ig，jg）が存在する。そして、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）のうちのいずれかの周辺画素においては、G信号の観測値Gobs（k，ig，jg）が存在するので、例外状態が発生していない。即ち、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）のうちのいずれかの周辺画素については、式（８）により、信頼性のある緑色の光量Lg（I'，J'）を求めることができる。
【０２６１】
以上から、演算回路２４は、注目画素が例外状態である場合は、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍になる画素の画素値Gobs（k，ig，jg）の他に、変換位置（x，y）が注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）の近傍になる画素の画素値Gobs（k，ig，jg）をも用いて求める例外処理を行う。
【０２６２】
具体的には、演算回路２４は、例外処理として、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を、次式（１７）で求める。
【０２６３】
【数１７】
2006157168.tif 000019
・・・（１７）
【０２６４】
式（１７）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）との５点それぞれにおいて通常処理のときに演算される式（８）の分子の総和、即ち、式（９）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）との５点それぞれにおいて通常処理のときに演算される式（８）の分母の総和、即ち、式（１０）の総和で除算することにより、緑色の光量Lg（I'，J'）が求められる。周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）のうちの少なくとも１つでは、例外状態が生じておらず、従って、式（１７）の分母は、ある程度大きな値になるので（０に近い値にはならないので）、信頼性のある緑色の光量Lg（I'，J'）を求めることができる。
【０２６５】
式（１１）の赤色の光量の重み加算式で求められる赤色の光量Lr（I'，J'）についても、式（８）の緑色の光量の重み加算式で求められる緑色の光量Lg（I'，J'）と同様に、値が不安定となる場合、即ち、注目画素が例外状態となる場合がある。
【０２６６】
具体的には、注目画素の注目位置（I'，J'）に対して、位置(ir-1,jr-1)を変換パラメータ（ak，bk，ck，dk，sk，tk）で基準座標系上にアフィン変換した場合に、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する、すべての（k，ir，jr）の画素値Robs（k，ir，jr）の変換位置（x，y）が、図１５で説明した場合と同様に、位置（I'，J'）とx＝I'±１またはy＝J'±１の関係となることがある。このような状態（例外状態）においては、位置（I'，J'）を中心とした、およそ（I'±１，J'±１）内の領域（位置（I'，J'）を中心とする横×縦が２×２の正方形の領域）には、重みw((x,y),(I',J'))が０でないR信号のデータ（画素値Robs（k，ir，jr））が１つも存在していない。
【０２６７】
この場合、演算回路２４は、次の例外処理を行う。
【０２６８】
即ち、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における赤色の光量Lr（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍になるk枚目の撮像画像の画素の画素値Robs（k，ir，jr）の他に、変換位置（x，y）が注目画素の周辺の出力画像の画素（周辺画素）の位置の近傍になるk枚目の撮像画像の画素の画素値Robs（k，ir，jr）をも用いて求める。
【０２６９】
ここで、例外処理において、赤色の光量Lr（I'，J'）を求める場合においては、注目位置（I'，J'）の注目画素の周辺画素としては、例えば、図１８に示すような、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１），（I'＋１，J'＋１）それぞれの画素を採用することができる。
【０２７０】
注目位置（I'，J'）の近傍にR信号の観測値（である画素値）Robs（k，ir，jr）が存在していない場合、その注目位置（I'，J'）の基準画像の画素は、ベイヤー配列の画素のうちの、赤色の画素ではない。
【０２７１】
例えば、注目位置（I'，J'）の基準画像の画素が、図１９に示すように、ベイヤー配列の画素のうちの、緑色の画素であり、丸で囲まれている画素G11である場合、画素G11の上下のいずれかには、赤色の画素が存在する。
【０２７２】
また、例えば、注目位置（I'，J'）の基準画像の画素が、図１９に示すように、ベイヤー配列の画素のうちの、緑色の画素であり、丸で囲まれている画素G22である場合、画素G22の左右のいずれかには、赤色の画素が存在する。
【０２７３】
さらに、例えば、注目位置（I'，J'）の基準画像の画素が、図１９に示すように、ベイヤー配列の画素のうちの、青色の画素であり、丸で囲まれている画素B14である場合、画素B14の右斜め上、右斜め下、左斜め上、および左斜め下のいずれかには、赤色の画素が存在する。
【０２７４】
同様に、基準画像において赤色の画素ではない画素については、その画素の上下、左右、右斜め上、右斜め下、左斜め上、および左斜め下のいずれかに、赤色の画素が存在する。
【０２７５】
従って、基準座標系上において、注目位置（I'，J'）の近傍にR信号の観測値Robs（k，ir，jr）が存在していない場合（変換位置（x，y）が注目位置（I'，J'）の近傍になる撮像画像の赤色の画素が存在していない場合）、その注目位置（I'，J'）の注目画素の左斜め上、上、右斜め上、左、右、左斜め下、下、または右斜め下に隣接する画素（周辺画素）の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの近傍には、R信号の観測値Robs（k，ir，jr）が存在する。そして、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの周辺画素においては、R信号の観測値Robs（k，ir，jr）が存在するので、例外状態が発生していない。即ち、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの周辺画素については、式（１１）により、信頼性のある赤色の光量Lr（I'，J'）を求めることができる。
【０２７６】
以上から、演算回路２４は、注目画素が例外状態である場合は、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍になる画素の画素値Robs（k，ir，jr）の他に、変換位置(x,y)が注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）の近傍になる画素の画素値Robs（k，ir，jr）をも用いて求める。
【０２７７】
具体的には、演算回路２４は、例外処理として、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を、次式（１８）で求める。
【０２７８】
【数１８】
2006157168.tif 000020
・・・（１８）
【０２７９】
式（１８）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１１）の分子の総和、即ち、式（１３）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１１）の分母の総和、即ち、式（１４）の総和で除算することにより、赤色の光量Lr（I'，J'）が求められる。周辺画素の位置のうちの少なくとも１つでは、例外状態が生じておらず、従って、式（１８）の分母は、ある程度大きな値になるので、信頼性のある赤色の光量Lr（I'，J'）を求めることができる。
【０２８０】
式（１２）の青色の光量の重み加算式で求められる青色の光量Lb（I'，J'）についても、式（８）の緑色の光量の重み加算式で求められる緑色の光量Lg（I'，J'）や、式（１１）の赤色の光量の重み加算式で求められる赤色の光量Lr（I'，J'）と同様に、値が不安定となる場合、即ち、注目位置（I'，J'）の注目画素が例外状態となる場合がある。
【０２８１】
この場合、演算回路２４は、次の例外処理を行う。
【０２８２】
即ち、ベイヤー配列では、青色の画素は、上述の赤色の画素と同様の位置関係で配列されている。そこで、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における青色の光量Lb（I'，J'）を、式（１８）と同様の、式（１９）で求める例外処理を行う。
【０２８３】
【数１９】
2006157168.tif 000021
・・・（１９）
【０２８４】
式（１９）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１２）の分子の総和、即ち、式（１５）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１２）の分母の総和、即ち、式（１６）の総和で除算することにより、青色の光量Lb（I'，J'）が求められる。従って、式（１７）および式（１８）における場合と同様に、信頼性のある青色の光量Lb（I'，J'）を求めることができる。
【０２８５】
次に、図２０と図２１のフローチャートを参照して、重みw((x,y),(I',J'))として、キュービック関数によるCubic（I'−x）×Cubic（J'−y）を用いる場合の、図２のステップＳ４における画像生成処理について説明する。
【０２８６】
なお、以下においては、撮像画像は、図１７で説明したように、W×H画素を有し、撮像素子４も、W×H画素を有するものとする。
【０２８７】
初めに、ステップＳ２０１において、演算回路２４は、基準座標系上の画素がある位置（I'，J'）のうちのY方向の位置を表す変数J'に０をセットして、ステップＳ２０２に進む。
【０２８８】
ステップＳ２０２において、演算回路２４は、基準座標系上の画素がある位置（I'，J'）のうちのX方向の位置を表す変数I'に０をセットして、ステップＳ２０３に進む。ここで、変数I'とJ'は、それぞれ、出力画像の画素のX方向とY方向の位置を表す変数でもある。
【０２８９】
ステップＳ２０３において、演算回路２４は、位置（I'，J'）を注目位置として、その注目位置（I'，J'）に対して、k枚目画像の緑色の画素の中心位置(ig-1,jg-1)を変換パラメータ（ak，bk，ck，dk，sk，tk）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ig，jg）の組を、１乃至N枚目画像についてすべて求め、即ち、緑色の光量Lg（I'，J'）の推定に用いる画素を特定し、ステップＳ２０４に進む。
【０２９０】
ステップＳ２０４において、演算回路２４は、ステップＳ２０３で求めたすべての（k，ig，jg）の組を用いて、式（１０）で表される、緑色の光量の重み加算式の分母と、式（９）で表される、緑色の光量の重み加算式の分子を、それぞれ演算する。また、演算回路２４は、その演算の結果それぞれを図示せぬメモリに記憶させて、ステップＳ２０５に進む。
【０２９１】
ステップＳ２０５において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の赤色の画素の中心位置(ir-1,jr-1)を変換パラメータ（ak，bk，ck，dk，sk，tk）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ir，jr）の組を、１乃至N枚目画像についてすべて求め、即ち、赤色の光量Lr（I'，J'）の推定に用いる画素を特定し、ステップＳ２０６に進む。
【０２９２】
ステップＳ２０６において、演算回路２４は、ステップＳ２０５で求めたすべての（k，ir，jr）の組を用いて、式（１４）で表される、赤色の光量の重み加算式の分母と、式（１３）で表される、赤色の光量の重み加算式の分子を、それぞれ演算する。また、演算回路２４は、その演算の結果それぞれをメモリに記憶させて、ステップＳ２０７に進む。
【０２９３】
ステップＳ２０７において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の青色の画素の中心位置(ib-1,jb-1)を変換パラメータ（ak，bk，ck，dk，sk，tk）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ib，jb）の組を、１乃至N枚目画像についてすべて求め、即ち、青色の光量Lb（I'，J'）の推定に用いる画素を特定し、ステップＳ２０８に進む。
【０２９４】
ステップＳ２０８において、演算回路２４は、ステップＳ２０７で求めたすべての（k，ib，jb）の組を用いて、式（１６）で表される、青色の光量の重み加算式の分母と、式（１５）で表される、青色の光量の重み加算式の分子を、それぞれ演算する。また、演算回路２４は、その演算の結果それぞれをメモリに記憶させて、ステップＳ２０９に進む。
【０２９５】
ステップＳ２０９において、演算回路２４は、変数I'がX方向の画素数W−１と等しいか否かを判定する。ステップＳ２０９で、変数I'が画素数W−１と等しくないと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２０３乃至S２０８の処理が行われていない場合、ステップＳ２１０に進み、変数I'を１だけインクリメントして、ステップＳ２０３に戻る。
【０２９６】
一方、ステップＳ２０９で、変数I'が画素数W−１と等しいと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２０３乃至S２０８の処理が行われた場合、ステップＳ２１１に進む。
【０２９７】
ステップＳ２１１において、演算回路２４は、変数J'がY方向の画素数H−１と等しいか否かを判定する。ステップＳ２１１で、変数J'が画素数H−１と等しくないと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２０３乃至S２０８の処理が行われていない場合、ステップＳ２１２に進み、変数J'を１だけインクリメントして、ステップＳ２０２に戻る。
【０２９８】
一方、ステップＳ２１１で、変数J'が画素数H−１と等しいと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２０３乃至S２０８の処理が行われた場合、図２１のステップＳ２１３に進む。
【０２９９】
ステップＳ２１３において、演算回路２４は、ステップＳ２０１における場合と同様に、変数J'に０をセットして、ステップＳ２１４に進む。
【０３００】
ステップＳ２１４において、演算回路２４は、ステップＳ２０２における場合と同様に、変数I'に０をセットして、ステップＳ２１５に進む。
【０３０１】
ステップＳ２１５において、演算回路２４は、位置（I'，J'）を注目位置（I'，J'）として、その注目位置（I'，J'）に対して、緑色の光量Lg（I'，J'）を求める演算処理を行って、ステップＳ２１６に進む。即ち、ステップＳ２１５では、後述するように、式（８）の緑色の光量の重み加算式を用いた通常処理、または、式（１７）を用いた例外処理により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）が求められる。
【０３０２】
ステップＳ２１６において、演算回路２４は、位置（I'，J'）を注目位置（I'，J'）として、その注目位置（I'，J'）に対して、赤色の光量Lr（I'，J'）を求める演算処理を行って、ステップＳ２１７に進む。即ち、ステップＳ２１６では、後述するように、式（１１）の赤色の光量の重み加算式を用いた通常処理、または、式（１８）を用いた例外処理により、注目位置（I'，J'）の赤色の光量Lr（I'，J'）が求められる。
【０３０３】
ステップＳ２１７において、演算回路２４は、位置（I'，J'）を注目位置（I'，J'）として、その注目位置（I'，J'）に対して、青色の光量Lb（I'，J'）を求める演算処理を行って、ステップＳ２１８に進む。即ち、ステップＳ２１７では、後述するように、式（１２）の青色の光量の重み加算式を用いた通常処理、または、式（１９）を用いた例外処理により、注目位置（I'，J'）に対する青色の光量Lb（I'，J'）が求められる。
【０３０４】
ステップＳ２１８において、演算回路２４は、変数I'がX方向の画素数W−１と等しいか否かを判定する。ステップＳ２１８で、変数I'が画素数W−１と等しくないと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２１５乃至S２１７の処理が行われていない場合、ステップＳ２１９に進み、変数I'を１だけインクリメントして、ステップＳ２１５に戻る。
【０３０５】
一方、ステップＳ２１８で、変数I'が画素数W−１と等しいと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２１５乃至S２１７の処理が行われた場合、ステップＳ２２０に進む。
【０３０６】
ステップＳ２２０において、演算回路２４は、変数J'がY方向の画素数H−１と等しいか否かを判定する。ステップＳ２２０で、変数J'が画素数H−１と等しくないと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２１５乃至S２１７の処理が行われていない場合、ステップＳ２２１に進み、変数J'を１だけインクリメントして、ステップＳ２１４に戻る。
【０３０７】
一方、ステップＳ２２０で、変数J'が画素数H−１と等しいと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２１５乃至S２１７の処理が行われた場合、ステップＳ２２２に進む。
【０３０８】
ステップＳ２２２において、演算回路２４は、ステップＳ２１５，Ｓ２１６，Ｓ２１７でそれぞれ求めた緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）を、I'=0乃至W-1，J'=0乃至H-1の各位置（I'，J'）の画素値とした出力画像を生成し、D/Aコンバータ９またはコーデック１２に供給して、処理を戻る。
【０３０９】
次に、図２２のフローチャートを参照して、図２１のステップＳ２１５における、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求める演算処理について説明する。
【０３１０】
初めに、ステップＳ２５１において、演算回路２４は、注目位置（I'，J'）に対して、図２０のステップＳ２０４で演算された、式（８）の緑色の光量の重み加算式の分母の絶対値、即ち、式（１０）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（１０）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。
【０３１１】
ステップＳ２５１において、注目位置（I'，J'）に対する式（１０）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（I'，J'）に対する式（１０）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２５２に進み、演算回路２４は、式（８）の緑色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）について、ステップＳ２０４で演算された、式（８）の緑色の光量の重み加算式の分子の値、即ち、式（９）の値を、ステップＳ２０４で演算された、式（８）の緑色の光量の重み加算式の分母の値、即ち、式（１０）の値で除算する演算を行う。これにより、ステップＳ２５２では、注目位置（I'，J'）における緑色の光量Lg（I'，J'）が求められる。
【０３１２】
一方、ステップＳ２５１において、注目位置（I'，J'）に対する式（１０）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（１０）の絶対値が０、または０に近い場合、ステップＳ２５３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）とその周辺画素について演算された式（８）の分母と分子を用いて、式（１７）を演算することにより、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を求める。
【０３１３】
次に、図２３のフローチャートを参照して、図２１のステップＳ２１６における、注目位置（I'，J'）の赤色の光量Lr（I'，J'）を求める演算処理について説明する。
【０３１４】
初めに、ステップＳ２７１において、演算回路２４は、注目位置（I'，J'）に対して、図２０のステップＳ２０６で演算された、式（１１）の赤色の光量の重み加算式の分母の絶対値、即ち、式（１４）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（１４）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。また、この閾値は、図２２のステップＳ２５１の閾値と同一でもよいし、異なるものでもよい。
【０３１５】
ステップＳ２７１において、注目位置（I'，J'）に対する式（１４）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（I'，J'）に対する式（１４）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２７２に進み、演算回路２４は、式（１１）の赤色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）について、ステップＳ２０６で演算された、式（１１）の赤色の光量の重み加算式の分子の値、即ち、式（１３）の値を、ステップＳ２０６で演算された、式（１１）の赤色の光量の重み加算式の分母の値、即ち、式（１４）の値で除算する演算を行う。これにより、ステップＳ２７２では、注目位置（I'，J'）における赤色の光量Lr（I'，J'）が求められる。
【０３１６】
一方、ステップＳ２７１において、注目位置（I'，J'）に対する式（１４）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（１４）の絶対値が０、または０に近い場合、ステップＳ２７３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）とその周辺画素について演算された式（１１）の分母と分子を用いて、式（１８）を演算することにより、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を求める。
【０３１７】
次に、図２４のフローチャートを参照して、図２１のステップＳ２１７における、注目位置（I'，J'）の青色の光量Lb（I'，J'）を求める演算処理について説明する。
【０３１８】
初めに、ステップＳ２９１において、演算回路２４は、注目位置（I'，J'）に対して、図２０のステップＳ２０８で演算された、式（１２）の青色の光量の重み加算式の分母の絶対値、即ち、式（１６）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（１６）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。また、この閾値は、図２２のステップＳ２５１や図２３のステップＳ２７１の閾値と同一でもよいし、異なるものでもよい。
【０３１９】
ステップＳ２９１において、注目位置（I'，J'）に対する式（１６）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（I'，J'）に対する式（１６）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２９２に進み、演算回路２４は、式（１２）の青色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）について、ステップＳ２０８で演算された、式（１２）の青色の光量の重み加算式の分子の値、即ち、式（１５）の値を、ステップＳ２０８で演算された、式（１２）の青色の光量の重み加算式の分母の値、即ち、式（１６）の値で除算する演算を行う。これにより、ステップＳ２９２では、注目位置（I'，J'）における青色の光量Lb（I'，J'）が求められる。
【０３２０】
一方、ステップＳ２９１において、注目位置（I'，J'）に対する式（１６）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（１６）の絶対値が０、または０に近い場合、ステップＳ２９３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、注目位置とその周辺画素について演算された式（１２）の分母と分子を用いて、式（１９）を演算することにより、注目位置（I'，J'）における青色の光量Lb（I'，J'）を求める。
【０３２１】
以上のように、図２０および図２１のフローチャートにしたがった画像生成処理によれば、注目位置（I'，J'）と、注目位置（I'，J'）の近傍にある変換位置（x，y）との距離に応じた重みとして、ローパスフィルタの特性を有するキュービック関数を用いて重み付け加算を行うことにより、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）を求められる。
【０３２２】
即ち、位置（ig−1，jg−1）を変換パラメータ（ak，bk，ck，dk，sk，tk）で基準座標系上にアフィン変換した場合に、注目位置（I'，J'）に対して、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する、すべての（k，ig，jg）の画素値Gobs（k，ig，jg）、即ち、変換位置（x，y）が、注目位置（I'，J'）の近傍になる画素値Gobs（k，ig，jg）を用いた重み付け加算である、式（８）の緑色の光量の重み加算式で、緑色の光量Lg（I'，J'）が求められる（通常処理）。
【０３２３】
但し、注目位置（I'，J'）の式（８）の緑色の光量の重み加算式の分母である式（１０）の絶対値が、所定の閾値未満で０とみなされる場合、即ち、式（８）の緑色の光量の重み加算式により求められる値が不安定になる場合には、変換位置（x，y）が注目位置（I'，J'）の近傍にある画素値Gobs（k，ig，jg）と、注目位置（I'，J'）の周辺の周辺画素の位置の近傍になる画素値Gobs（k，ig，jg）とを用いた重み付け加算である、式（１７）により、緑色の光量Lg（I'，J'）が求められる（例外処理）。
【０３２４】
赤色の光量Lr（I'，J'）および青色の光量Lb（I'，J'）も同様にして求められる。
【０３２５】
従って、ノイズの目立たない鮮明な出力画像を得ることができる。
【０３２６】
なお、通常処理と例外処理とは、次のような見方をすることもできる。
【０３２７】
即ち、例えば、緑色に注目すると、上述の場合においては、通常処理では、変換位置（x，y）が注目画素の位置（注目位置）（I'，J'）の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）を用いた重み付け加算を行う。一方、例外処理では、変換位置（x，y）が注目画素の位置（I'，J'）の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）と、変換位置（x，y）が注目画素の周辺の周辺画素の位置の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）とを用いた重み付け加算を行う。
【０３２８】
従って、例外処理では、変換位置（x，y）が注目画素の位置（I'，J'）の近傍にある撮像画像の画素の他、周辺画素の位置の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）をも用いて重み付け加算が行われる。
【０３２９】
以上から、通常処理が、注目位置（I'，J'）の近傍として、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の領域内に観測される撮像画像の画素値Gobs（k，ig，jg）を用いた重み付け加算により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求めるのに対し、例外処理は、注目位置（I'，J'）の近傍として、通常処理の近傍の領域より広いI'−３≦x＜I'＋３，J'−３≦y＜J'＋３の領域内に観測される画素値Gobs（k，ig，jg）を用いた重み付け加算により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求めているということができる。
【０３３０】
さらに、換言すれば、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求める際に、注目位置（I'，J'）の近傍として、予め、I'−３≦x＜I'＋３，J'−３≦y＜J'＋３の領域が設定されており、通常処理では、その近傍の領域のうちのI'−２≦x＜I'＋２，J'−２≦y＜J'＋２以外の領域に観測される画素値Gobs（k，ig，jg）に対する重みが０となる式（８）の緑色の光量の重み加算式により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）が求められているということができる。一方、例外処理では、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２以外の領域に観測される画素値Gobs（k，ig，jg）、即ち、周辺画素の近傍に観測される画素値Gobs（k，ig，jg）に対する重みとして、０ではなく、その周辺画素の位置を原点とするキュービック関数Cubic（z）によって与えられる値を用いて、式（１７）により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）が求められていると言うことができる。
【０３３１】
即ち、通常処理と例外処理とでは、異なる重みを用いた重み付け加算により、緑色の光量Lg（I'，J'）が求められるということができる。
【０３３２】
なお、注目位置（I'，J'）とその近傍にある画素値Gobs（k，ig，jg）が観測される位置（x，y）との距離zに対してローパスフィルタの特性を有する関数としては、式（７）のキュービック関数Cubic（z）の他、例えば、sin（z）／zなどを採用することが可能である。
【０３３３】
ところで、上述した実施の形態では、１枚目の撮像画像を基準画像とするとともに、２乃至N枚目の撮像画像それぞれをターゲット画像とすることとしたが、１枚目の撮像画像以外の、２乃至N枚目の撮像画像のいずれを基準画像としてもよい。
【０３３４】
即ち、図２５は、N回の連続撮像（高速撮像）により撮像されたN枚の撮像画像を示している。なお、図２５は、N＝８の例である。
【０３３５】
１乃至８枚目の撮像画像４０１1乃至４０１8（k枚目画像４０１k）は、時系列に高速撮像された画像であり、時間の経過とともに、図中右上方向に、手ぶれによりずれた画像となっている。
【０３３６】
即ち、図２５は（後述する図２６および図２７でも同様）、１乃至８枚目の撮像画像４０１1乃至４０１8それぞれに投影された被写体の各部が一致するように位置合わせした状態の１乃至８枚目の撮像画像４０１1乃至４０１8を示している。
【０３３７】
なお、図２５では、（図２６および図２７でも同様）、手ぶれが生じていることを分かりやすくするために、手ぶれによるずれ量を誇張して、撮像画像４０１1乃至４０１8を図示してある。
【０３３８】
図２６は、図２５と同様の８枚の撮像画像４０１1乃至４０１8を示している。
【０３３９】
信号処理回路７において、撮像画像４０１1乃至４０１8のうちの、１枚目画像を基準画像とするとともに、２乃至８枚目画像それぞれをターゲット画像として、出力画像を生成する場合、出力画像は、基準画像である１枚目画像４０１1の座標系上の画像として得られる。ここで、図２６では、１枚目画像４０１1、即ち、出力画像を、太線で示してある。
【０３４０】
図２６の太線で示される出力画像の領域において、１乃至８枚目の８枚の撮像画像４０１1乃至４０１8のすべてのデータ（画素値）を使用して光量（画素値）が推定される領域は、点線で示される、出力画像の右上部分の領域４１１である。この領域４１１の画素値は、１乃至８枚目の８枚すべての撮像画像４０１1乃至４０１8のデータを使用して推定されるので、より鮮明な画質となる。
【０３４１】
しかしながら、出力画像の生成にあたり、図２６の太線で示す出力画像の領域のうちの、領域４１１以外では、１乃至８枚目の撮像画像４０１1乃至４０１8のうちの、一部の枚数目の撮像画像のデータしか使用することができないため、即ち、１乃至８枚目の撮像画像４０１1乃至４０１8のすべてのデータを使用することができないため、その分だけ、領域４１１に比較して画質の鮮明さが劣化することになる。上述したように、右上方向の手ぶれが生じている場合には、その反対の左下方向の領域ほど、出力画像を生成するのに用いることができるデータが少なくなり、画質の鮮明さが、領域４１１に比較して劣化する。
【０３４２】
さらに、ターゲット画像である２乃至８枚目の撮像画像４０１2乃至４０１8のうちの、図２６の太線で示す出力画像の領域上にない部分４１２のデータは、出力画像の生成に使用することができず、いわば捨てられることになる。
【０３４３】
以上のように、１枚目の撮像画像を基準として、出力画像を生成すると、ある方向の手ぶれが生じている場合には、出力画像の中心から、手ぶれと同一の方向の領域（例えば、図２６の領域４１１）では、鮮明な画質が得られるが、その反対方向の領域では、画質の鮮明さが劣化する。
【０３４４】
ところで、一般に、ユーザが画像を見るときは、その中心部分に注目することが多く、また、ディジタルカメラ１による撮像を行う場合にも、注目している被写体が、画像（画枠）の中心部分に位置するように、撮像を行う。従って、ディジタルカメラ１で得られる出力画像の、特に、中心部分の画質は鮮明であることが望ましい。
【０３４５】
そこで、信号処理回路７では、N枚の画像が連続撮像された時間の、中間の時刻またはその近傍の時刻に撮像された１枚の撮像画像（以下、中間画像と称する）を基準画像とするとともに、他の撮像画像をターゲット画像として、出力画像を生成することができる。
【０３４６】
例えば、図２７に示すように、信号処理回路７は、８枚の撮像画像４０１1乃至４０１8のうちの、太線で示される４枚目の撮像画像を基準画像として、出力画像を生成することができる。この場合、出力画像の生成にあたり、その中心部分の領域４２１において、１乃至８枚目の８枚の撮像画像４０１1乃至４０１8のすべてのデータが使用される。
【０３４７】
即ち、時系列の複数枚の撮像画像のうちの、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像として、出力画像を生成することにより、出力画像の中心部分を、より鮮明な画質とすることができる。
【０３４８】
上述のように、ディジタルカメラ１による撮影（撮像）では、ユーザは、一般に、注目している被写体が画像（画枠）の中心に位置するように撮影を行う。さらに、上述したように、人が画像を見る場合には、画像の中心部分に注目して、その画像を見ることが一般的である。そういう意味では、画像の中心部分が、画像の周辺部分よりも、より鮮明な画質となっている方が、良好な画像であると言える。
【０３４９】
従って、図２７に示すように、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像とすることにより、出力画像の中心部分が１乃至８枚目の８枚の撮像画像４０１1乃至４０１8のすべてのデータを使用して推定されるので、１枚目の撮像画像を基準画像とするよりも、良好な出力画像を得ることができる。
【０３５０】
なお、手ぶれの周波数は、例えば、１０乃至１５Hz程度である。従って、図２７に示した８枚の撮像画像４０１1乃至４０１8を、例えば、１／５０秒以内で撮像するようなシャッタスピードでは、手ぶれによるぶれ量（手ぶれ量）は直線近似することができる。即ち、手ぶれは、一定方向への一定の速さでの移動とみなすことができる。従って、時系列に８枚の撮像画像４０１1乃至４０１8を撮像する場合には、その撮像時間における手ぶれ量を直線近似することができ、中間画像、即ち、４枚目の撮像画像４０１4や、５枚目の撮像画像４０１5を基準画像とすることにより、図２７で説明したように、出力画像の中心部分の画質を鮮明にすることができる。
【０３５１】
また、図４で示した信号処理回路７において、８枚の撮像画像４０１1乃至４０１8のうちの、例えば、４枚目の撮像画像４０１4を基準画像とする場合には、フレームメモリ２２1に基準画像とする４枚目の撮像画像４０１4を供給して記憶させ、１乃至３枚目の４０１1乃至４０１3、および５乃至８枚目の撮像画像４０１5乃至４０１8を、それぞれ、フレームメモリ２２2乃至２２8に供給して記憶させるようにすればよい。
【０３５２】
ここで、中間画像を基準画像とすることにより、中心部分が鮮明な出力画像を得ることができる他、信号処理回路７の設計の容易化を図ることができる。
【０３５３】
即ち、手ぶれ量が、上述したように、直線近似することができるとして、時系列に８枚の撮像画像４０１1乃至４０１8を撮像した場合に、例えば、隣り合う撮像画像間での手ぶれ量が１０画素であるとする。この場合、１枚目の撮像画像を基準画像としてしまうと、１枚の画像の撮像が無限小の時間で行うことができるとしても、最大で、７０画素の手ぶれが生じることになる。従って、信号処理回路７は、最大で７０画素の手ぶれに対応することができるように設計する必要がある。
【０３５４】
これに対して、中間画像を基準画像とする場合、即ち、撮像画像４０１1乃至４０１8のうちの、例えば、４枚目の撮像画像４０１4を基準画像とする場合、最大の手ぶれ量は４０画素になる。従って、信号処理回路７は、最大で４０画素の手ぶれに対応することができるように設計すればよいため、信号処理回路７としてのハードウエアの設計の容易化を図ることができる。
【０３５５】
なお、上述したように、出力画像を生成するのに、８枚の撮像画像４０１1乃至４０１8における中間画像である、例えば、４枚目の撮像画像４０１4を基準画像とする場合には、出力画像は、基準画像である４枚目の撮像画像４０１4に投影されている被写体の範囲の画像となる。
【０３５６】
ところで、上述のように、８枚の撮像画像４０１1乃至４０１8のうちの４枚目の撮像画像などの中間画像を基準画像とすることにより、出力画像の中心部分の生成には、１乃至８枚目の８枚の撮像画像４０１1乃至４０１8のすべての枚数目のデータを使用されるが、出力画像の周辺部分（出力画像のうちの、その画枠に近い部分）の生成には、１乃至８枚目の撮像画像４０１1乃至４０１8のうちの、一部の枚数目の撮像画像のデータしか使用することができないため、出力画像の中心部分の画質は鮮明になるが、その周辺部分の画質は、中心部分に比較して劣化する。
【０３５７】
出力画像において、このような画質の劣化が生じるのは、基準画像である４枚目の撮像画像４０１4に投影されている被写体の範囲の「全体」の画像を、出力画像として生成するためであり、８枚の撮像画像４０１1乃至４０１8のうちのいずれを基準画像とした場合であっても、基準画像に投影されている被写体の範囲の「全体」の画像を出力画像として生成する限りは、手ぶれが生じていれば、出力画像の画素値の推定にあたって、一部の枚数目の撮像画像のデータしか使用することができない部分（出力画像の部分）が生じ、その部分の画質は劣化する。
【０３５８】
そこで、演算回路２４においては、全体の画質が鮮明な出力画像を生成するために、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像であり、かつ、画素の間隔がN枚の撮像画像の画素の間隔より小さい画像を、出力画像として生成するようにすることができる。
【０３５９】
即ち、ディジタルカメラ１では、ユーザのレリーズボタンの１回の操作に応じて（１回の撮影において）、N回の撮像が行われ、N枚の撮像画像が得られる。N回の撮像が行われている間の手ぶれは直線近似することができるので、その手ぶれの間に撮像されるN枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分は、（ほぼ、）N枚の撮像画像の中間画像の中心部分に一致する。
【０３６０】
具体的には、例えば、図２７に示したように、８枚の撮像画像４０１1乃至４０１8の全体に投影されている被写体の範囲（図２７において斜線を付してある部分）の中心部分は、中間画像である４枚目の撮像画像４０１4の中心部分である領域４２１に（ほぼ）一致する。
【０３６１】
従って、鮮明な画像（出力画像）が得られる領域４２１と（ほぼ）一致する、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像を、出力画像として生成することにより、全体の画質が鮮明な出力画像を得ることができる。
【０３６２】
ところで、図１のディジタルカメラ１においては、上述したように、撮影モードとして、例えば、暗い風景を撮影する場合に適した、N枚の撮像画像を撮像して、そのN枚の撮像画像から、１枚の出力画像を生成する手ぶれ補正モードと、例えば、明るい風景を撮影する場合などに適した、１枚の撮像画像を撮像して、その撮像画像を、そのまま出力画像とする通常撮影モードとがある。この手ぶれ補正モードと通常補正モードとを適切に使い分けることにより、例えば、明るい風景であっても、暗い風景であっても、ブレのない（ブレが低減され）、十分な明るさの出力画像を得ることができる。
【０３６３】
以上のように、撮影モードとして、通常撮影モードと手ぶれ補正モードとがある場合に、手ぶれ補正モードにおいて、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像を出力画像として生成すると、その出力画像は、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分、即ち、中間画像の中心部分の画像であるから、その画素の数は、中間画像である撮像画像の画素の数、ひいては、撮像素子４（図１）が有する画素の数よりも少なくなる。
【０３６４】
従って、手ぶれ補正モードにおいて生成される出力画像の画素の数は、通常撮影モードにおいて生成される出力画像の画素の数よりも少なくなり、このように、手ぶれ補正モードと通常撮影モードそれぞれで得られる出力画像の画素の数（画素数）が異なることは、ユーザに違和感を感じさせることになる。即ち、撮影モードによってディジタルカメラ１から得られる出力画像の画素数が異なるのでは、ユーザにとって不便である。
【０３６５】
また、ディジタルカメラの性能を表す指標として、撮像素子の画素数が提示されることがあり、ユーザは、その画素数を考慮して、ディジタルカメラの購入を決定することがある。かかる観点からも、手ぶれ補正モードにおいて得られる出力画像の画素数が、（撮像画像の画素数でもある）撮像素子の画素数よりも少ないのは、好ましくない。
【０３６６】
そこで、ディジタルカメラ１では、手ぶれ補正モードにおいて生成する出力画像を、その画素の間隔が撮像画像の画素の間隔より小さい画像とすることで、この不具合を解消するようになっている。
【０３６７】
即ち、上述の実施の形態では、出力画像の画素の間隔を、N枚の撮像画像の画素の間隔と同一の１であるとして、出力画像を生成するようにしているため、基準画像に投影されている被写体の範囲の「全体」の画像を、出力画像として生成する場合には、出力画像の画素の数は、基準画像の画素の数と同一になる。また、中間画像である基準画像に投影されている被写体の範囲の中心部分（N枚の撮像画像に投影されている被写体の範囲の中心部分）の画像を、出力画像として生成する場合には、出力画像の画素の数は、基準画像に投影されている被写体の範囲の中心部分の画像の画素の数と同一になり、その結果、基準画像の画素の数より少なくなる。
【０３６８】
そこで、出力画像の画素の間隔を、N枚の撮像画像の画素の間隔より小さい値、即ち、ここでは、１未満の値として、出力画像を生成することにより、出力画像の画素の数を、撮像画像の画素の数と一致させることができる。
【０３６９】
以上のことをまとめると、以下のようになる。即ち、手ぶれ補正モードにおいて中間画像を、基準画像として、その基準画像に投影されている被写体の範囲の「全体」の画像を、出力画像として生成する場合には、出力画像において、中心部分の画質は鮮明になるが、その周辺部分の画質は、中心部分に比較して劣化する。
【０３７０】
つまり、例えば、撮像素子４（図１）の画素（有効画素）の数が、上述したように、W×H画素であるとすると、基準画像の座標系（基準座標系）において、x≒０，x≒W−１，y≒０，y≒H−１である点（画素）（x，y）の出力画像の画質、つまり、出力画像の周辺部分の画質は、その周辺部分以外の部分である中心部分の画質に比較して劣化する。
【０３７１】
そこで、基準画像に投影されている被写体の範囲の中心部分、即ち、N枚の撮像画像に投影されている被写体の範囲の中心部分の画像（例えば、図２７の領域４２１内に投影された画像）を、出力画像とすることにより、全体が鮮明な画質の出力画像が得られる。
【０３７２】
但し、基準画像に投影されている被写体の範囲の中心部分の画像を、出力画像とする場合には、出力画像に投影される被写体の範囲（視野角度）が狭くなり、出力画像の画素の間隔を、基準画像（撮像画像）の画素の間隔と同一とすると、出力画像の画素数が、撮像画像（基準画像）の画素数、ひいては、撮像素子４の画素数より少なくなる。
【０３７３】
そこで、さらに、画素の間隔が撮像画像の画素の間隔より小さい画像を、出力画像として生成することにより、全体が鮮明な画質で、かつ、画素の数が撮像画像と一致する出力画像を得ることができる。
【０３７４】
次に、図２８のフローチャートを参照して、手ぶれ補正モードにおいて、上述のような全体が鮮明な画質で、かつ、画素の数が撮像画像と一致する出力画像を得る場合の、図１のディジタルカメラ１の撮影処理（後述する図４４のステップＳ５０７）について説明する。
【０３７５】
ディジタルカメラ１では、ステップＳ３０１乃至Ｓ３０５において、それぞれ、図２のステップＳ１乃至Ｓ５における場合と基本的に同様の処理が行われる。
【０３７６】
但し、ステップＳ３０３では、１枚目乃至N枚目の撮像画像のうちの１枚目の撮像画像ではなく、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像として、基準画像に対するターゲット画像の位置ズレのズレ量が検出される。
【０３７７】
また、ステップＳ３０４では、基準画像に投影されている被写体の範囲の「全体」の画像ではなく、その被写体の範囲の中心部分（N枚の撮像画像に投影されている被写体の範囲の全体の、周辺部分を除いた中心部分）の画像であり、かつ画素の間隔が撮像画像の画素の間隔より小さい画像を、出力画像として生成する画像生成処理が行われる。
【０３７８】
即ち、ステップＳ３０１において、撮像素子４は、被写体を撮像する。即ち、単板センサである撮像素子４は、ユーザによる１回のレリーズボタン（シャッタボタン）の押下による１回の撮影において、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔でN回連続して、入射される被写体の光を受光して光電変換することにより、N回の高速撮像を行う。
【０３７９】
従って、ディジタルカメラ１では、１回の撮影において、N枚の撮像画像が得られ、各撮像画像は、適正露出以下の暗い画像となる。即ち、例えば、いま、１回の撮影において、８回の高速撮像が行われることとすると、撮像画像は、適正露出の画像の１／８の明るさの暗い画像となる。この場合、N=8，Mk=8である。
【０３８０】
撮像素子４での光電変換により得られる撮像画像の画像信号は、相関２重サンプリング回路５に供給され、ノイズ成分が除去された後、A/Dコンバータ６に供給されて、ステップＳ３０１からＳ３０２に進む。
【０３８１】
ステップＳ３０２では、A/Dコンバータ６が、相関２重サンプリング回路５から供給される、ノイズ除去された撮像画像の画像信号をディジタル変換する。その後、A/Dコンバータ６が内蔵するシフト回路２１が、適正露出以下の暗い撮像画像の画像信号を、n'ビットシフトして適正露出と同様の明るさ（値）の画像信号に変換し（ゲインアップし）、信号処理回路７に供給して、ステップＳ３０３に進む。
【０３８２】
ここで、上述のように、１回の撮影において、８回の高速撮像が行われることとすると、シフト回路２１では、例えば、３ビットシフト（２3（＝８）倍のゲインアップ）が行われる。
【０３８３】
ステップＳ３０３では、信号処理回路７の動きベクトル検出回路２３1乃至２３N-1（図４）は、A/Dコンバータ６（のシフト回路２１）からのN枚の撮像画像のうちの中間画像を基準画像とするとともに、他の撮像画像をターゲット画像として、基準画像に対するターゲット画像の位置ズレのズレ量を検出して、ステップＳ３０４に進む。
【０３８４】
即ち、上述のように、１回の撮影において、８回の高速撮像が行われ、８枚の撮像画像が得られる場合、中間画像である４枚目の撮像画像が基準画像とされ、４枚目以外の撮像画像、つまり、１乃至３枚目の撮像画像、５乃至８枚目の撮像画像それぞれをターゲット画像として、ターゲット画像（１乃至３枚目の撮像画像、および、５乃至８枚目の撮像画像）が基準画像（４枚目の撮像画像）に対して、どのような位置ずれを起こしているか、つまり、基準画像に対するターゲット画像の位置ズレのズレ量が検出される。
【０３８５】
ステップＳ３０４において、信号処理回路７の演算回路２４（図４）は、N枚の撮像画像と、ステップＳ３０３で検出された基準画像に対するターゲット画像の位置ズレのズレ量に基づいて、画像生成処理を行い、ステップＳ３０５に進む。このステップＳ３０４の画像生成処理により、信号処理回路７において、手ぶれが補正された、全体が鮮明で、かつ画素の数が撮像画像と同一で、１画素がG信号、R信号、B信号のすべてを有する１枚の出力画像が生成される。この出力画像（の画像信号）は、D/Aコンバータ９またはコーデック１２に供給される。
【０３８６】
その後、ステップＳ３０４からＳ３０５に進み、モニタ１１が出力画像を表示し、フラッシュメモリ等のメモリ１３に出力画像を記録して、処理を終了する。即ち、ステップＳ３０５では、ステップＳ３０４で信号処理回路７からD/Aコンバータ９に供給された出力画像の画像信号がアナログ信号に変換され、ビデオエンコーダ１０に供給される。さらに、ステップＳ３０５では、ビデオエンコーダ１０は、D/Aコンバータ９から供給されたアナログの画像信号を、モニタ１１に表示することができるビデオ信号に変換し、モニタ１１に供給する。そして、モニタ１１は、ビデオエンコーダ１０から供給されたビデオ信号に基づいて、画像を表示して、処理を終了する。また、ステップＳ３０５では、ステップＳ３０４で信号処理回路７からコーデック１２に供給された出力画像の画像信号に対し、JPEGやMPEG等の所定の符号化が施され、フラッシュメモリ等のメモリ１３に記録され、処理を終了する。
【０３８７】
ここで、上述のように、１回の撮影において、８回の高速撮像が行われ、８枚の撮像画像が得られることとすると、ステップＳ３０３では、１枚目画像乃至８枚目画像それぞれを、基準画像である中間画像、即ち、ここでは、例えば、４枚目画像に位置合わせするアフィン変換を行う変換パラメータが求められる。
【０３８８】
いま、１枚目画像乃至８枚目画像のうちの、あるk枚目画像（k＝１，２，・・・，８）の座標系上の点（の座標）を、(Xk,Yk)と表し、その点(Xk,Yk)に投影されている被写体の部分と同一の部分が投影されている基準画像の座標系（基準座標系）上の点、即ち、ここでは、４枚目画像の座標系上の点を、(X4k,Y4k)と表すとともに、点(Xk,Yk)を、点(X4k,Y4k)にアフィン変換する変換パラメータを、(a4k,b4k,c4k,d4k,s4k,t4k)と表すこととする。
【０３８９】
ステップＳ３０３では、変換パラメータ(a4k,b4k,c4k,d4k,s4k,t4k)が求められる（k＝１，２，・・・，８）。
【０３９０】
この場合、１枚目画像乃至８枚目画像それぞれを、基準画像である４枚目画像に位置合わせするアフィン変換（１枚目画像乃至８枚目画像の点の、４枚目画像の座標系上の対応する点へのアフィン変換）は、式（２０）乃至式（２７）で、それぞれ表される。
【０３９１】
【数２０】
2006157168.tif 000022
・・・（２０）
【０３９２】
【数２１】
2006157168.tif 000023
・・・（２１）
【０３９３】
【数２２】
2006157168.tif 000024
・・・（２２）
【０３９４】
【数２３】
2006157168.tif 000025
・・・（２３）
【０３９５】
【数２４】
2006157168.tif 000026
・・・（２４）
【０３９６】
【数２５】
2006157168.tif 000027
・・・（２５）
【０３９７】
【数２６】
2006157168.tif 000028
・・・（２６）
【０３９８】
【数２７】
2006157168.tif 000029
・・・（２７）
【０３９９】
なお、式（２３）のアフィン変換は、４枚目画像の座標系上の点を、同一の４枚目画像の座標系上の点に射影するものであり、その変換パラメータ(a44,b44,c44,d44,s44,t44)は、（１，０，０，１，０，０）である。
【０４００】
次に、図２８のステップＳ３０４における画像生成処理について、さらに説明する。
【０４０１】
なお、以下では、撮像素子４が出力する撮像画像の横の画素数をW'と表すとともに、縦の画素数をH'と表す。ここでは、撮像素子４が有する画素の横の画素数Wと、撮像画像の横の画素数をW'とが等しく、かつ、撮像素子４が有する画素の縦の画素数Hと、撮像画像の縦の画素数をH'とが等しいものとする。
【０４０２】
但し、撮像素子４は、上述したように、その複数画素を１画素として画素値を出力するビニング機能を有する。撮像素子４が、例えば、２×２画素を１画素として画素値を出力する２×２ビニングを行う場合、H'＝H／２、W'＝W／２となる。撮像素子４がビニングを行う場合の画像生成処理については、後述する。
【０４０３】
ここで、撮像素子４が有する画素の横の画素数Wと縦の画素数Hは、例えば、それぞれ数百乃至数千であり、例えば、H＝２０００，W＝３０００である。
【０４０４】
また、以下でも、引き続き、撮像画像の座標系を、その撮像画像の左上の画素の画素中心を原点として、横（右）方向をX方向とするとともに、縦（下）方向をY方向とするXY座標系とし、さらに、基準画像の座標系（基準座標系）において、基準画像の横または縦方向に隣り合う画素どうしの間隔を、いずれも１であるとして説明を行う。
【０４０５】
この場合、基準画像の左からi番目で、上からj番目の画素の中心位置（の座標）（x，y）は、(i-１,j-１)となる。即ち、例えば、基準画像の左上の画素の座標（x，y）は（０，０）となり、左から２番目で、上から１番目の画素の座標（x，y）は、（１，０）となる。また、例えば、左から１番目で、上から２番目の画素の座標（x，y）は、（０，１）となり、右下の画素の座標（x，y）は、（W−１，H−１）（＝（W'−１，H'−１））となる。
【０４０６】
なお、撮像画像と出力画像において、左からi番目で、上からj番目の画素を、以下、適宜、画素（i，j）とも記述する。
【０４０７】
上述の図１２や、図２０および図２１で説明した画像生成処理では、出力画像の画素（i，j）の画素値を、基準座標系上の位置（点）（x，y）＝（i−１，j−１）における画素値として計算（推定）している。即ち、出力画像における隣り合う画素の間（画素ピッチ）の距離が、撮像画像の画素ピッチと同一の１であるとして、出力画像の画素値を求めている。
【０４０８】
従って、図２５乃至図２７で説明したように、中間画像を基準画像とした場合においては、出力画像の中心部分については、その画素値の推定に使用することができるデータ（撮像画像）が十分にあるので、ノイズのない良好な画質の画像を得ることができるが、周辺部分、即ち、x≒０，x≒W−１，y≒０，y≒H−１の（x，y）で表される部分については、その画素値の推定に使用することができるデータが少ないため、出力画像の周辺部分、つまり、i≒１，i≒W，j≒１，j≒Hの画素（i，j）では、（中心部分と比較して）ノイズの多い画像となってしまう。
【０４０９】
そこで、図２８のステップＳ３０４の画像生成処理では、中間画像を基準画像とし、さらに、その基準画像に投影されている被写体の範囲の中心部分（N枚の撮像画像に投影されている被写体の範囲の中心部分）の視野角度の狭い画像であって、画素の間隔が撮像画像（基準画像）の画素の間隔より小さい画像が、出力画像として生成される。
【０４１０】
即ち、図２８のステップＳ３０４の画像生成処理では、出力画像の画素（i，j）の画素値が、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値として計算される。
【０４１１】
ここで、図２９は、α，β，γを説明するための図であり、基準画像である４枚目画像４０１4を示している。
【０４１２】
出力画像の画素（i，j）を表すiは、１乃至Wの範囲の整数値であり、jは、１乃至Hの範囲の整数値であるから、位置（α×（i−１）＋β，α×（j−１）＋γ）は、左上の点（β，γ）、右上の点（α×（W−１）＋β，γ）、右下の点（α×（W−１）＋β，α×（H−１）＋γ）、左下の点（β，α×（H−１）＋γ）の４つの点で囲まれる、αW×αH（横×縦）の矩形の高画質エリア４２２内の位置である。
【０４１３】
なお、高画質エリア４２２は、W×Hの基準画像である４枚目画像４０１4（正確には、４枚目画像４０１4の左上、右上、右下、左下それぞれの画素中心を頂点とする矩形）と、相似比αで相似な矩形である。
【０４１４】
いま、αが、０より大で、１より小の実数であるとすると、出力画像の画素（i，j）の画素値が、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値であるとすることにより、基準画像の画素ピッチが１であるのに対して、出力画像の画素ピッチは、１未満のαとなるが、出力画像の画素数は、基準画像と同一のW×H画素となる。
【０４１５】
さらに、出力画像の画素（i，j）の画素値が、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値であるとすることにより、基準画像に投影されている被写体の範囲の中心部分（８枚の撮像画像４０１1乃至４０１8に投影されている被写体の範囲の中心部分）の視野角度の狭い画像、即ち、図２９では、高画質エリア４２２の画像（正確には、高画質エリア４２２よりも上下左右それぞれが0.5αだけ広い範囲の画像）が、出力画像となる。
【０４１６】
従って、高画質エリア４２２が、１乃至８枚目の８枚の撮像画像４０１1乃至４０１8のすべてのデータを使用して出力画像の画素値の推定が行われる図２７の領域４２１に含まれるように、さらに、望ましくは、高画質エリア４２２の面積が最大となるように、α，β，γを設定することにより、全体が鮮明な画質で、かつ、画素の数が撮像素子４が有する画素数W×H（ここでは、撮像画像の画素数W'×H'でもある）と一致する出力画像を得ることができる。
【０４１７】
次に、α，β，γの具体的な値について説明する。
【０４１８】
１回の撮影において、１枚目画像４０１1乃至８枚目画像４０１8の８枚の撮像画像が撮像される場合に、ある撮像画像とその次の撮像画像（次に撮像される撮像画像）との撮像の間に生じる手ぶれ量の最大値が、横および縦方向のいずれについても、撮像素子４の画素数の、例えば、２％であるとする。なお、手ぶれ量の最大値が、撮像素子４の画素数の何％となるかは、ある撮像画像と次の撮像画像との撮像の間隔等に基づき、シミュレーション等を行うことによって求め、ディジタルカメラ１に設定しておくことができる。あるいは、手ぶれ量の最大値が、撮像素子４の画素数の何％であるかは、例えば、動き検出回路２３1乃至２３N-1（図４）で求められる動きベクトル、またはアフィン変換の変換パラメータから求めるようにすることができる。
【０４１９】
上述のように、手ぶれ量の最大値が、横および縦方向のいずれについても、撮像素子４の画素数の２％であるとすると、ある撮像画像４０１kと、その次の撮像画像４０１k+1との間の横と縦方向の位置ずれは、撮像画像４０１kの画素数で、それぞれ最大でも、0.02×W画素と0.02×H画素であり、逆に、それを越える位置ずれは生じない。
【０４２０】
従って、中間画像である４枚目画像４０１4を基準画像とする場合、その基準画像に対して、最も位置ずれが大きくなりうるのは、８枚目画像４０１8で、その位置ずれの大きさは、基準画像の画素数で、高々、横方向が0.08×W(=0.02×W×4)画素で、縦方向が0.08×H(=0.02×H×4)画素である。
【０４２１】
従って、図２９に示した基準画像である４枚目画像４０１4において、その上下から0.08×H画素だけ内側で、かつ、その左右から0.08×W画素だけ内側の領域を、高画質エリア４２２とすれば、その高画質エリア４２２は、１乃至８枚目の８枚の撮像画像４０１1乃至４０１8のすべてのデータを使用して出力画像の画素値の推定が行われる図２７の領域４２１に、必ず含まれる。
【０４２２】
この場合、高画質エリア４２２は、その左上の頂点が、座標（0.08×W，0.08×H）で、横が、基準画像の横Wよりも0.08×W×２だけ短く、かつ、縦が基準画像の縦Hよりも0.08×H×２だけ短い矩形、即ち、左上の頂点が、座標（0.08×W，0.08×H）で、横が(1-0.16)×Wで、縦が、(1-0.16)×Hの矩形（長方形）になる。
【０４２３】
そして、高画質エリア４２２は、上述したように、左上の点が座標（β，γ）の、αW×αH（横×縦）の矩形の領域であるから、α＝(1-0.16)，β＝0.08×W，γ＝0.08×Hとなる。
【０４２４】
図２８のステップＳ３０４の画像生成処理では、演算回路２４（図４）は、手ぶれ量の最大値が撮像素子４の画素数の何％であるかに基づき、上述したようにして、α，β，γを設定し、１≦i≦W，１≦j≦Hの範囲のすべての整数値i，jについて、出力画像の画素（i，j）の画素値を、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値として計算（推定）する。
【０４２５】
即ち、α，β，γが、手ぶれ量の最大値に応じた値に設定され、基準画像に投影されている被写体の範囲のうちの高画質エリア４２２に投影されている画像、つまり、基準画像に投影されている被写体の範囲の割合αの範囲（αW×αH）の画像であり、かつ、画素の間隔が、撮像画像の画素の間隔の割合αの画像が、出力画像として生成される。
【０４２６】
なお、上述の場合には、手ぶれ量の最大値に基づいてα，β、γを設定するようにしたが、その他、例えば、手ぶれ量の最大値よりも幾分か小さい値に基づいて、α，β、γを設定するようにしても、実用上は問題ない。
【０４２７】
次に、図３０乃至図４０のフローチャートを参照して、図２８のステップＳ３０４の画像生成処理について、さらに説明する。
【０４２８】
なお、式（４）乃至式（６）の重みw((x,y),(I',J'))としては、ここでは、例えば、図２０および図２１で説明した画像生成処理における場合と同様に、キュービック関数によるCubic（I'−x）×Cubic（J'−y）を用いることとする。
【０４２９】
また、ここでは、１回の撮影において、１乃至８枚目の８枚の撮像画像４０１1乃至４０１8が撮像され、さらに、そのうちの中間画像である４枚目の撮像画像４０１4を基準画像とするものとする。
【０４３０】
まず、ステップＳ３１１において、演算回路２４は、出力画像の縦方向の画素をカウントする変数jに、初期値としての１を設定し、ステップＳ３１２に進む。ステップＳ３１２では、演算回路２４は、出力画像の横方向の画素をカウントする変数iに、初期値としての１を設定し、ステップＳ３１３に進む。
【０４３１】
ステップＳ３１３では、演算回路２４は、１枚目の撮像画像４０１1の中のG信号の（画素の）位置（X1，Y1）を式（２０）でアフィン変換した基準座標系上の変換位置（X41，Y41）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内（図１４で説明した、位置（I'，J'）に対する、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲内に相当する）にある、即ち、式α×（i−１）＋β−２≦X41≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y41≦α×（j−１）＋γ＋２を満たす、１枚目の撮像画像４０１1中のすべてのG信号の画素（緑色の画素）を、特定画素として特定して、ステップＳ３１４に進む。
【０４３２】
ここで、ステップＳ３１３で１枚目の撮像画像４０１1から得られる特定画素の個数を、N1と表し、さらに、そのN1個のうちのp番目（p＝１，２，・・・，N1）の特定画素の画素値であるG信号の値をG1（p）と、その特定画素の撮像画像４０１1の座標系上の位置を（X1（p），Y1（p））と、それぞれ表す。さらに、（X1，Y1）＝（X1（p），Y1（p））として、式（２０）のアフィン変換によって得られる変換位置（X41，Y41）を、（X41(p)，Y41(p)）と表す。
【０４３３】
従って、任意のpについて、１枚目の撮像画像４０１1の座標系上の位置（X1(p)，Y1(p)）の画素の画素値（G信号）は、G1(p)である。また、位置（X1(p)，Y1(p)）を基準座標系上にアフィン変換した変換位置（X41(p)，Y41(p)）は、式α×（i−１）＋β−２≦X41(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y41(p)≦α×（j−１）＋γ＋２を満たす。
【０４３４】
ステップＳ３１４では、演算回路２４は、２枚目の撮像画像４０１2の中のG信号の（画素の）位置（X2，Y2）を式（２１）でアフィン変換した基準座標系上の変換位置（X42，Y42）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X42≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y42≦α×（j−１）＋γ＋２を満たす、２枚目の撮像画像４０１2中のすべてのG信号の画素を、特定画素として特定して、図３１のステップＳ３１５に進む。
【０４３５】
ここで、ステップＳ３１４で２枚目の撮像画像４０１2から得られる特定画素の個数を、N2と表し、さらに、そのN2個のうちのp番目（p＝１，２，・・・，N2）の特定画素の画素値であるG信号の値をG2（p）と、その特定画素の撮像画像４０１2の座標系上の位置を（X2（p），Y2（p））と、それぞれ表す。さらに、（X2，Y2）＝（X2（p），Y2（p））として、式（２１）のアフィン変換によって得られる変換位置（X42，Y42）を、（X42(p)，Y42(p)）と表す。
【０４３６】
従って、任意のpについて、２枚目の撮像画像４０１2の座標系上の位置（X2(p)，Y2(p)）の画素の画素値（G信号）は、G2(p)である。また、位置（X2(p)，Y2(p)）を基準座標系上にアフィン変換した変換位置（X42(p)，Y42(p)）は、式α×（i−１）＋β−２≦X42(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y42(p)≦α×（j−１）＋γ＋２を満たす。
【０４３７】
ステップＳ３１５では、演算回路２４は、３枚目の撮像画像４０１3の中のG信号の（画素の）位置（X3，Y3）を式（２２）でアフィン変換した基準座標系上の変換位置（X43，Y43）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X43≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y43≦α×（j−１）＋γ＋２を満たす、３枚目の撮像画像４０１3中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３１６に進む。
【０４３８】
ここで、ステップＳ３１５で３枚目の撮像画像４０１3から得られる特定画素の個数を、N3と表し、さらに、そのN3個のうちのp番目（p＝１，２，・・・，N3）の特定画素の画素値であるG信号の値をG3（p）と、その特定画素の撮像画像４０１3の座標系上の位置を（X3（p），Y3（p））と、それぞれ表す。さらに、（X3，Y3）＝（X3（p），Y3（p））として、式（２２）のアフィン変換によって得られる変換位置（X43，Y43）を、（X43(p)，Y43(p)）と表す。
【０４３９】
従って、任意のpについて、３枚目の撮像画像４０１3の座標系上の位置（X3(p)，Y3(p)）の画素の画素値（G信号）は、G3(p)である。また、位置（X3(p)，Y3(p)）を基準座標系上にアフィン変換した変換位置（X43(p)，Y43(p)）は、式α×（i−１）＋β−２≦X43(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y43(p)≦α×（j−１）＋γ＋２を満たす。
【０４４０】
ステップＳ３１６では、演算回路２４は、４枚目の撮像画像４０１4の中のG信号の（画素の）位置（X4，Y4）を式（２３）でアフィン変換した基準座標系上の変換位置（X44，Y44）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X44≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y44≦α×（j−１）＋γ＋２を満たす、４枚目の撮像画像４０１4中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３１７に進む。
【０４４１】
ここで、ステップＳ３１６で４枚目の撮像画像４０１4から得られる特定画素の個数を、N4と表し、さらに、そのN4個のうちのp番目（p＝１，２，・・・，N4）の特定画素の画素値であるG信号の値をG4（p）と、その特定画素の撮像画像４０１4の座標系上の位置を（X4（p），Y4（p））と、それぞれ表す。さらに、（X4，Y4）＝（X4（p），Y4（p））として、式（２３）のアフィン変換によって得られる変換位置（X44，Y44）を、（X44(p)，Y44(p)）と表す。
【０４４２】
従って、任意のpについて、４枚目の撮像画像４０１4の座標系上の位置（X4(p)，Y4(p)）の画素の画素値（G信号）は、G4(p)である。また、位置（X4(p)，Y4(p)）を基準座標系上にアフィン変換した変換位置（X44(p)，Y44(p)）は、式α×（i−１）＋β−２≦X44(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y44(p)≦α×（j−１）＋γ＋２を満たす。
【０４４３】
ステップＳ３１７では、演算回路２４は、５枚目の撮像画像４０１5の中のG信号の（画素の）位置（X5，Y5）を式（２４）でアフィン変換した基準座標系上の変換位置（X45，Y45）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X45≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y45≦α×（j−１）＋γ＋２を満たす、５枚目の撮像画像４０１5中のすべてのG信号の画素を、特定画素として特定して、図３２のステップＳ３１８に進む。
【０４４４】
ここで、ステップＳ３１７で５枚目の撮像画像４０１5から得られる特定画素の個数を、N5と表し、さらに、そのN5個のうちのp番目（p＝１，２，・・・，N5）の特定画素の画素値であるG信号の値をG5（p）と、その特定画素の撮像画像４０１5の座標系上の位置を（X5（p），Y5（p））と、それぞれ表す。さらに、（X5，Y5）＝（X5（p），Y5（p））として、式（２４）のアフィン変換によって得られる変換位置（X45，Y45）を、（X45(p)，Y45(p)）と表す。
【０４４５】
従って、任意のpについて、５枚目の撮像画像４０１5の座標系上の位置（X5(p)，Y5(p)）の画素の画素値（G信号）は、G5(p)である。また、位置（X5(p)，Y5(p)）を基準座標系上にアフィン変換した変換位置（X45(p)，Y45(p)）は、式α×（i−１）＋β−２≦X45(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y45(p)≦α×（j−１）＋γ＋２を満たす。
【０４４６】
ステップＳ３１８では、演算回路２４は、６枚目の撮像画像４０１6の中のG信号の（画素の）位置（X6，Y6）を式（２５）でアフィン変換した基準座標系上の変換位置（X46，Y46）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X46≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y46≦α×（j−１）＋γ＋２を満たす、６枚目の撮像画像４０１6中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３１９に進む。
【０４４７】
ここで、ステップＳ３１８で６枚目の撮像画像４０１6から得られる特定画素の個数を、N6と表し、さらに、そのN6個のうちのp番目（p＝１，２，・・・，N6）の特定画素の画素値であるG信号の値をG6（p）と、その特定画素の撮像画像４０１6の座標系上の位置を（X6（p），Y6（p））と、それぞれ表す。さらに、（X6，Y6）＝（X6（p），Y6（p））として、式（２５）のアフィン変換によって得られる変換位置（X46，Y46）を、（X46(p)，Y46(p)）と表す。
【０４４８】
従って、任意のpについて、６枚目の撮像画像４０１6の座標系上の位置（X6(p)，Y6(p)）の画素の画素値（G信号）は、G6(p)である。また、位置（X6(p)，Y6(p)）を基準座標系上にアフィン変換した変換位置（X46(p)，Y46(p)）は、式α×（i−１）＋β−２≦X46(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y46(p)≦α×（j−１）＋γ＋２を満たす。
【０４４９】
ステップＳ３１９では、演算回路２４は、７枚目の撮像画像４０１7の中のG信号の（画素の）位置（X7，Y7）を式（２６）でアフィン変換した基準座標系上の変換位置（X47，Y47）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X47≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y47≦α×（j−１）＋γ＋２を満たす、７枚目の撮像画像４０１7中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３２０に進む。
【０４５０】
ここで、ステップＳ３１９で７枚目の撮像画像４０１7から得られる特定画素の個数を、N7と表し、さらに、そのN7個のうちのp番目（p＝１，２，・・・，N7）の特定画素の画素値であるG信号の値をG7（p）と、その特定画素の撮像画像４０１7の座標系上の位置を（X7（p），Y7（p））と、それぞれ表す。さらに、（X7，Y7）＝（X7（p），Y7（p））として、式（２６）のアフィン変換によって得られる変換位置（X47，Y47）を、（X47(p)，Y47(p)）と表す。
【０４５１】
従って、任意のpについて、７枚目の撮像画像４０１7の座標系上の位置（X7(p)，Y7(p)）の画素の画素値（G信号）は、G7(p)である。また、位置（X7(p)，Y7(p)）を基準座標系上にアフィン変換した変換位置（X47(p)，Y47(p)）は、式α×（i−１）＋β−２≦X47(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y47(p)≦α×（j−１）＋γ＋２を満たす。
【０４５２】
ステップＳ３２０では、演算回路２４は、８枚目の撮像画像４０１8の中のG信号の（画素の）位置（X8，Y8）を式（２７）でアフィン変換した基準座標系上の変換位置（X48，Y48）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X48≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y48≦α×（j−１）＋γ＋２を満たす、８枚目の撮像画像４０１8中のすべてのG信号の画素を、特定画素として特定して、図３３のステップＳ３２１に進む。
【０４５３】
ここで、ステップＳ３２０で８枚目の撮像画像４０１8から得られる特定画素の個数を、N8と表し、さらに、そのN8個のうちのp番目（p＝１，２，・・・，N8）の特定画素の画素値であるG信号の値をG8（p）と、その特定画素の撮像画像４０１8の座標系上の位置を（X8（p），Y8（p））と、それぞれ表す。さらに、（X8，Y8）＝（X8（p），Y8（p））として、式（２７）のアフィン変換によって得られる変換位置（X48，Y48）を、（X48(p)，Y48(p)）と表す。
【０４５４】
従って、任意のpについて、８枚目の撮像画像４０１8の座標系上の位置（X8(p)，Y8(p)）の画素の画素値（G信号）は、G8(p)である。また、位置（X8(p)，Y8(p)）を基準座標系上にアフィン変換した変換位置（X48(p)，Y48(p)）は、式α×（i−１）＋β−２≦X48(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y48(p)≦α×（j−１）＋γ＋２を満たす。
【０４５５】
ステップＳ３２１では、演算回路２４は、ステップＳ３１３乃至Ｓ３２０で求めたすべての特定画素を用い、出力画像の画素(i,j)について、式（１０）で表される、式（８）の緑色の光量の重み加算式の分母と、式（９）で表される、式（８）の緑色の光量の重み加算式の分子を、それぞれ演算する。
【０４５６】
具体的には、式（８）の緑色の光量の重み加算式の分母（式（１０））として、式（２８）が演算され、式（８）の緑色の光量の重み加算式の分子（式（９））として、式（２９）が演算される。
【０４５７】
【数２８】
2006157168.tif 000030
・・・（２８）
【０４５８】
【数２９】
2006157168.tif 000031
・・・（２９）
【０４５９】
なお、式（２８）および（２９）において、X0とY0は、画素値を推定しようとする出力画像の画素の位置を表し、(X0，Y0）＝（α×（i−１）＋β，Y0＝α×（j−１）＋γ）である。
【０４６０】
ここで、式（２９）は、１枚目乃至８枚目の撮像画像４０１1乃至４０１8を位置合わせした場合に、出力画像の画素値を求めようとしている画素(i,j)の位置（α×（i−１）＋β，α×（j−１）＋γ）の近傍の位置（X4k(p),Y4k(p)）に観測されるG信号の画素の画素値Gk(p)（k＝１乃至８，p＝１乃至Nk）に、重みCubic(X0-X4k(p))×Cubic(Y0-Y4k(p))をかけて加算する重み付け加算を表し、式（２８）は、その重みCubic(X0-X4k(p))×Cubic(Y0-Y4k(p))の総和を表す。式（２９）を式（２８）で除算することが、式（８）を演算することに相当し、その演算結果は、ステップＳ３１３乃至Ｓ３２０で得られた特定画素の画素値Gk(p)すべてについて、出力画像の画素値を求めようとしている画素(i,j)の位置(X0，Y0）と、特定画素の位置（X4k(p)，Y4k(p)）との距離に応じた重みを付けた「画素値Gk(p)の重み付き平均値」となる。
【０４６１】
演算回路２４は、出力画像の画素(i,j)についての式（２８）と式（２９）の演算後、その演算結果を、図示せぬメモリに保持して、ステップＳ３２２以下に進む。
【０４６２】
ステップＳ３２２乃至３３０では、R信号について、ステップＳ３１３乃至Ｓ３２１とそれぞれ同様の処理が行われ、ステップＳ３３１乃至３３９では、B信号について、ステップＳ３１３乃至Ｓ３２１とそれぞれ同様の処理が行われる。
【０４６３】
即ち、ステップＳ３２２では、演算回路２４は、１枚目の撮像画像４０１1の中のR信号の（画素の）位置（X1，Y1）を式（２０）でアフィン変換した基準座標系上の変換位置（X41，Y41）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X41≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y41≦α×（j−１）＋γ＋２を満たす、１枚目の撮像画像４０１1中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２３に進む。
【０４６４】
ここで、ステップＳ３２２で１枚目の撮像画像４０１1から得られる特定画素の個数を、N1と表し、さらに、そのN1個のうちのp番目（p＝１，２，・・・，N1）の特定画素の画素値であるR信号の値をR1（p）と、その特定画素の撮像画像４０１1の座標系上の位置を（X1（p），Y1（p））と、それぞれ表す。さらに、（X1，Y1）＝（X1（p），Y1（p））として、式（２０）のアフィン変換によって得られる変換位置（X41，Y41）を、（X41(p)，Y41(p)）と表す。
【０４６５】
従って、任意のpについて、１枚目の撮像画像４０１1の座標系上の位置（X1(p)，Y1(p)）の画素の画素値（R信号）は、R1(p)である。また、位置（X1(p)，Y1(p)）を基準座標系上にアフィン変換した変換位置（X41(p)，Y41(p)）は、式α×（i−１）＋β−２≦X41(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y41(p)≦α×（j−１）＋γ＋２を満たす。
【０４６６】
ステップＳ３２３では、演算回路２４は、２枚目の撮像画像４０１2の中のR信号の（画素の）位置（X2，Y2）を式（２１）でアフィン変換した基準座標系上の変換位置（X42，Y42）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X42≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y42≦α×（j−１）＋γ＋２を満たす、２枚目の撮像画像４０１2中のすべてのR信号の画素を、特定画素として特定して、図３４のステップＳ３２４に進む。
【０４６７】
ここで、ステップＳ３２３で２枚目の撮像画像４０１2から得られる特定画素の個数を、N2と表し、さらに、そのN2個のうちのp番目（p＝１，２，・・・，N2）の特定画素の画素値であるR信号の値をR2（p）と、その特定画素の撮像画像４０１2の座標系上の位置を（X2（p），Y2（p））と、それぞれ表す。さらに、（X2，Y2）＝（X2（p），Y2（p））として、式（２１）のアフィン変換によって得られる変換位置（X42，Y42）を、（X42(p)，Y42(p)）と表す。
【０４６８】
従って、任意のpについて、２枚目の撮像画像４０１2の座標系上の位置（X2(p)，Y2(p)）の画素の画素値（R信号）は、R2(p)である。また、位置（X2(p)，Y2(p)）を基準座標系上にアフィン変換した変換位置（X42(p)，Y42(p)）は、式α×（i−１）＋β−２≦X42(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y42(p)≦α×（j−１）＋γ＋２を満たす。
【０４６９】
ステップＳ３２４では、演算回路２４は、３枚目の撮像画像４０１3の中のR信号の（画素の）位置（X3，Y3）を式（２２）でアフィン変換した基準座標系上の変換位置（X43，Y43）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X43≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y43≦α×（j−１）＋γ＋２を満たす、３枚目の撮像画像４０１3中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２５に進む。
【０４７０】
ここで、ステップＳ３２４で３枚目の撮像画像４０１3から得られる特定画素の個数を、N3と表し、さらに、そのN3個のうちのp番目（p＝１，２，・・・，N3）の特定画素の画素値であるR信号の値をR3（p）と、その特定画素の撮像画像４０１3の座標系上の位置を（X3（p），Y3（p））と、それぞれ表す。さらに、（X3，Y3）＝（X3（p），Y3（p））として、式（２２）のアフィン変換によって得られる変換位置（X43，Y43）を、（X43(p)，Y43(p)）と表す。
【０４７１】
従って、任意のpについて、３枚目の撮像画像４０１3の座標系上の位置（X3(p)，Y3(p)）の画素の画素値（R信号）は、R3(p)である。また、位置（X3(p)，Y3(p)）を基準座標系上にアフィン変換した変換位置（X43(p)，Y43(p)）は、式α×（i−１）＋β−２≦X43(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y43(p)≦α×（j−１）＋γ＋２を満たす。
【０４７２】
ステップＳ３２５では、演算回路２４は、４枚目の撮像画像４０１4の中のR信号の（画素の）位置（X4，Y4）を式（２３）でアフィン変換した基準座標系上の変換位置（X44，Y44）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X44≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y44≦α×（j−１）＋γ＋２を満たす、４枚目の撮像画像４０１4中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２６に進む。
【０４７３】
ここで、ステップＳ３２５で４枚目の撮像画像４０１4から得られる特定画素の個数を、N4と表し、さらに、そのN4個のうちのp番目（p＝１，２，・・・，N4）の特定画素の画素値であるR信号の値をR4（p）と、その特定画素の撮像画像４０１4の座標系上の位置を（X4（p），Y4（p））と、それぞれ表す。さらに、（X4，Y4）＝（X4（p），Y4（p））として、式（２３）のアフィン変換によって得られる変換位置（X44，Y44）を、（X44(p)，Y44(p)）と表す。
【０４７４】
従って、任意のpについて、４枚目の撮像画像４０１4の座標系上の位置（X4(p)，Y4(p)）の画素の画素値（R信号）は、R4(p)である。また、位置（X4(p)，Y4(p)）を基準座標系上にアフィン変換した変換位置（X44(p)，Y44(p)）は、式α×（i−１）＋β−２≦X44(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y44(p)≦α×（j−１）＋γ＋２を満たす。
【０４７５】
ステップＳ３２６では、演算回路２４は、５枚目の撮像画像４０１5の中のR信号の（画素の）位置（X5，Y5）を式（２４）でアフィン変換した基準座標系上の変換位置（X45，Y45）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X45≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y45≦α×（j−１）＋γ＋２を満たす、５枚目の撮像画像４０１5中のすべてのR信号の画素を、特定画素として特定して、図３５のステップＳ３２７に進む。
【０４７６】
ここで、ステップＳ３２６で５枚目の撮像画像４０１5から得られる特定画素の個数を、N5と表し、さらに、そのN5個のうちのp番目（p＝１，２，・・・，N5）の特定画素の画素値であるR信号の値をR5（p）と、その特定画素の撮像画像４０１5の座標系上の位置を（X5（p），Y5（p））と、それぞれ表す。さらに、（X5，Y5）＝（X5（p），Y5（p））として、式（２４）のアフィン変換によって得られる変換位置（X45，Y45）を、（X45(p)，Y45(p)）と表す。
【０４７７】
従って、任意のpについて、５枚目の撮像画像４０１5の座標系上の位置（X5(p)，Y5(p)）の画素の画素値（R信号）は、R5(p)である。また、位置（X5(p)，Y5(p)）を基準座標系上にアフィン変換した変換位置（X45(p)，Y45(p)）は、式α×（i−１）＋β−２≦X45(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y45(p)≦α×（j−１）＋γ＋２を満たす。
【０４７８】
ステップＳ３２７では、演算回路２４は、６枚目の撮像画像４０１6の中のR信号の（画素の）位置（X6，Y6）を式（２５）でアフィン変換した基準座標系上の変換位置（X46，Y46）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X46≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y46≦α×（j−１）＋γ＋２を満たす、６枚目の撮像画像４０１6中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２８に進む。
【０４７９】
ここで、ステップＳ３２７で６枚目の撮像画像４０１6から得られる特定画素の個数を、N6と表し、さらに、そのN6個のうちのp番目（p＝１，２，・・・，N6）の特定画素の画素値であるR信号の値をR6（p）と、その特定画素の撮像画像４０１6の座標系上の位置を（X6（p），Y6（p））と、それぞれ表す。さらに、（X6，Y6）＝（X6（p），Y6（p））として、式（２５）のアフィン変換によって得られる変換位置（X46，Y46）を、（X46(p)，Y46(p)）と表す。
【０４８０】
従って、任意のpについて、６枚目の撮像画像４０１6の座標系上の位置（X6(p)，Y6(p)）の画素の画素値（R信号）は、R6(p)である。また、位置（X6(p)，Y6(p)）を基準座標系上にアフィン変換した変換位置（X46(p)，Y46(p)）は、式α×（i−１）＋β−２≦X46(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y46(p)≦α×（j−１）＋γ＋２を満たす。
【０４８１】
ステップＳ３２８では、演算回路２４は、７枚目の撮像画像４０１7の中のR信号の（画素の）位置（X7，Y7）を式（２６）でアフィン変換した基準座標系上の変換位置（X47，Y47）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X47≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y47≦α×（j−１）＋γ＋２を満たす、７枚目の撮像画像４０１7中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２９に進む。
【０４８２】
ここで、ステップＳ３２８で７枚目の撮像画像４０１7から得られる特定画素の個数を、N7と表し、さらに、そのN7個のうちのp番目（p＝１，２，・・・，N7）の特定画素の画素値であるR信号の値をR7（p）と、その特定画素の撮像画像４０１7の座標系上の位置を（X7（p），Y7（p））と、それぞれ表す。さらに、（X7，Y7）＝（X7（p），Y7（p））として、式（２６）のアフィン変換によって得られる変換位置（X47，Y47）を、（X47(p)，Y47(p)）と表す。
【０４８３】
従って、任意のpについて、７枚目の撮像画像４０１7の座標系上の位置（X7(p)，Y7(p)）の画素の画素値（R信号）は、R7(p)である。また、位置（X7(p)，Y7(p)）を基準座標系上にアフィン変換した変換位置（X47(p)，Y47(p)）は、式α×（i−１）＋β−２≦X47(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y47(p)≦α×（j−１）＋γ＋２を満たす。
【０４８４】
ステップＳ３２９では、演算回路２４は、８枚目の撮像画像４０１8の中のR信号の（画素の）位置（X8，Y8）を式（２７）でアフィン変換した基準座標系上の変換位置（X48，Y48）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X48≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y48≦α×（j−１）＋γ＋２を満たす、８枚目の撮像画像４０１8中のすべてのR信号の画素を、特定画素として特定して、図３５のステップＳ３３０に進む。
【０４８５】
ここで、ステップＳ３２９で８枚目の撮像画像４０１8から得られる特定画素の個数を、N8と表し、さらに、そのN8個のうちのp番目（p＝１，２，・・・，N8）の特定画素の画素値であるR信号の値をR8（p）と、その特定画素の撮像画像４０１8の座標系上の位置を（X8（p），Y8（p））と、それぞれ表す。さらに、（X8，Y8）＝（X8（p），Y8（p））として、式（２７）のアフィン変換によって得られる変換位置（X48，Y48）を、（X48(p)，Y48(p)）と表す。
【０４８６】
従って、任意のpについて、８枚目の撮像画像４０１8の座標系上の位置（X8(p)，Y8(p)）の画素の画素値（R信号）は、R8(p)である。また、位置（X8(p)，Y8(p)）を基準座標系上にアフィン変換した変換位置（X48(p)，Y48(p)）は、式α×（i−１）＋β−２≦X48(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y48(p)≦α×（j−１）＋γ＋２を満たす。
【０４８７】
ステップＳ３３０では、演算回路２４は、ステップＳ３２２乃至Ｓ３２９で求めたすべての特定画素を用い、出力画像の画素(i,j)について、式（１４）で表される、式（１１）の赤色の光量の重み加算式の分母と、式（１３）で表される、式（１１）の赤色の光量の重み加算式の分子を、それぞれ演算する。
【０４８８】
具体的には、式（１１）の赤色の光量の重み加算式の分母（式（１４））として、式（３０）が演算され、式（１１）の赤色の光量の重み加算式の分子（式（１３））として、式（３１）が演算される。
【０４８９】
【数３０】
2006157168.tif 000032
・・・（３０）
【０４９０】
【数３１】
2006157168.tif 000033
・・・（３１）
【０４９１】
なお、式（３０）および（３１）において、X0とY0は、画素値を推定しようとする出力画像の画素の位置を表し、(X0，Y0）＝（α×（i−１）＋β，Y0＝α×（j−１）＋γ）である。
【０４９２】
ここで、式（３１）は、１枚目乃至８枚目の撮像画像４０１1乃至４０１8を位置合わせした場合に、出力画像の画素値を求めようとしている画素(i,j)の位置（α×（i−１）＋β，α×（j−１）＋γ）の近傍の位置（X4k(p)，Y4k(p)）に観測されるR信号の画素の画素値Rk(p)（k＝１乃至８，p＝１乃至Nk）に、重みCubic(X0-X4k(p))×Cubic(Y0-Y4k(p))をかけて加算する重み付け加算を表し、式（３０）は、その重みCubic(X0-X4k(p))×Cubic(Y0-Y4k(p))の総和を表す。式（３１）を式（３０）で除算することが、式（１１）を演算することに相当し、その演算結果は、ステップＳ３２２乃至Ｓ３２９で得られた特定画素の画素値Rk(p)すべてについて、出力画像の画素値を求めようとしている画素(i,j)の位置(X0，Y0）と、特定画素の位置（X4k(p)，Y4k(p)）との距離に応じた重みを付けた「画素値Rk(p)の重み付き平均値」となる。
【０４９３】
演算回路２４は、出力画像の画素(i,j)についての式（３０）と式（３１）の演算後、その演算結果を、図示せぬメモリに保持して、ステップＳ３３１に進む。
【０４９４】
ステップＳ３３１では、演算回路２４は、１枚目の撮像画像４０１1の中のB信号の（画素の）位置（X1，Y1）を式（２０）でアフィン変換した基準座標系上の変換位置（X41，Y41）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X41≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y41≦α×（j−１）＋γ＋２を満たす、１枚目の撮像画像４０１1中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３２に進む。
【０４９５】
ここで、ステップＳ３３１で１枚目の撮像画像４０１1から得られる特定画素の個数を、N1と表し、さらに、そのN1個のうちのp番目（p＝１，２，・・・，N1）の特定画素の画素値であるB信号の値をB1（p）と、その特定画素の撮像画像４０１1の座標系上の位置を（X1（p），Y1（p））と、それぞれ表す。さらに、（X1，Y1）＝（X1（p），Y1（p））として、式（２０）のアフィン変換によって得られる変換位置（X41，Y41）を、（X41(p)，Y41(p)）と表す。
【０４９６】
従って、任意のpについて、１枚目の撮像画像４０１1の座標系上の位置（X1(p)，Y1(p)）の画素の画素値（B信号）は、B1(p)である。また、位置（X1(p)，Y1(p)）を基準座標系上にアフィン変換した変換位置（X41(p)，Y41(p)）は、式α×（i−１）＋β−２≦X41(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y41(p)≦α×（j−１）＋γ＋２を満たす。
【０４９７】
ステップＳ３３２では、演算回路２４は、２枚目の撮像画像４０１2の中のB信号の（画素の）位置（X2，Y2）を式（２１）でアフィン変換した基準座標系上の変換位置（X42，Y42）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X42≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y42≦α×（j−１）＋γ＋２を満たす、２枚目の撮像画像４０１2中のすべてのB信号の画素を、特定画素として特定して、図３７のステップＳ３３３に進む。
【０４９８】
ここで、ステップＳ３３２で２枚目の撮像画像４０１2から得られる特定画素の個数を、N2と表し、さらに、そのN2個のうちのp番目（p＝１，２，・・・，N2）の特定画素の画素値であるB信号の値をB2（p）と、その特定画素の撮像画像４０１2の座標系上の位置を（X2（p），Y2（p））と、それぞれ表す。さらに、（X2，Y2）＝（X2（p），Y2（p））として、式（２１）のアフィン変換によって得られる変換位置（X42，Y42）を、（X42(p)，Y42(p)）と表す。
【０４９９】
従って、任意のpについて、２枚目の撮像画像４０１2の座標系上の位置（X2(p)，Y2(p)）の画素の画素値（B信号）は、B2(p)である。また、位置（X2(p)，Y2(p)）を基準座標系上にアフィン変換した変換位置（X42(p)，Y42(p)）は、式α×（i−１）＋β−２≦X42(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y42(p)≦α×（j−１）＋γ＋２を満たす。
【０５００】
ステップＳ３３３では、演算回路２４は、３枚目の撮像画像４０１3の中のB信号の（画素の）位置（X3，Y3）を式（２２）でアフィン変換した基準座標系上の変換位置（X43，Y43）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X43≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y43≦α×（j−１）＋γ＋２を満たす、３枚目の撮像画像４０１3中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３４に進む。
【０５０１】
ここで、ステップＳ３３３で３枚目の撮像画像４０１3から得られる特定画素の個数を、N3と表し、さらに、そのN3個のうちのp番目（p＝１，２，・・・，N3）の特定画素の画素値であるB信号の値をB3（p）と、その特定画素の撮像画像４０１3の座標系上の位置を（X3（p），Y3（p））と、それぞれ表す。さらに、（X3，Y3）＝（X3（p），Y3（p））として、式（２２）のアフィン変換によって得られる変換位置（X43，Y43）を、（X43(p)，Y43(p)）と表す。
【０５０２】
従って、任意のpについて、３枚目の撮像画像４０１3の座標系上の位置（X3(p)，Y3(p)）の画素の画素値（B信号）は、B3(p)である。また、位置（X3(p)，Y3(p)）を基準座標系上にアフィン変換した変換位置（X43(p)，Y43(p)）は、式α×（i−１）＋β−２≦X43(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y43(p)≦α×（j−１）＋γ＋２を満たす。
【０５０３】
ステップＳ３３４では、演算回路２４は、４枚目の撮像画像４０１4の中のB信号の（画素の）位置（X4，Y4）を式（２３）でアフィン変換した基準座標系上の変換位置（X44，Y44）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X44≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y44≦α×（j−１）＋γ＋２を満たす、４枚目の撮像画像４０１4中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３５に進む。
【０５０４】
ここで、ステップＳ３３４で４枚目の撮像画像４０１4から得られる特定画素の個数を、N4と表し、さらに、そのN4個のうちのp番目（p＝１，２，・・・，N4）の特定画素の画素値であるB信号の値をB4（p）と、その特定画素の撮像画像４０１4の座標系上の位置を（X4（p），Y4（p））と、それぞれ表す。さらに、（X4，Y4）＝（X4（p），Y4（p））として、式（２３）のアフィン変換によって得られる変換位置（X44，Y44）を、（X44(p)，Y44(p)）と表す。
【０５０５】
従って、任意のpについて、４枚目の撮像画像４０１4の座標系上の位置（X4(p)，Y4(p)）の画素の画素値（B信号）は、B4(p)である。また、位置（X4(p)，Y4(p)）を基準座標系上にアフィン変換した変換位置（X44(p)，Y44(p)）は、式α×（i−１）＋β−２≦X44(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y44(p)≦α×（j−１）＋γ＋２を満たす。
【０５０６】
ステップＳ３３５では、演算回路２４は、５枚目の撮像画像４０１5の中のB信号の（画素の）位置（X5，Y5）を式（２４）でアフィン変換した基準座標系上の変換位置（X45，Y45）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X45≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y45≦α×（j−１）＋γ＋２を満たす、５枚目の撮像画像４０１5中のすべてのB信号の画素を、特定画素として特定して、図３８のステップＳ３３６に進む。
【０５０７】
ここで、ステップＳ３３５で５枚目の撮像画像４０１5から得られる特定画素の個数を、N5と表し、さらに、そのN5個のうちのp番目（p＝１，２，・・・，N5）の特定画素の画素値であるB信号の値をB5（p）と、その特定画素の撮像画像４０１5の座標系上の位置を（X5（p），Y5（p））と、それぞれ表す。さらに、（X5，Y5）＝（X5（p），Y5（p））として、式（２４）のアフィン変換によって得られる変換位置（X45，Y45）を、（X45(p)，Y45(p)）と表す。
【０５０８】
従って、任意のpについて、５枚目の撮像画像４０１5の座標系上の位置（X5(p)，Y5(p)）の画素の画素値（B信号）は、B5(p)である。また、位置（X5(p)，Y5(p)）を基準座標系上にアフィン変換した変換位置（X45(p)，Y45(p)）は、式α×（i−１）＋β−２≦X45(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y45(p)≦α×（j−１）＋γ＋２を満たす。
【０５０９】
ステップＳ３３６では、演算回路２４は、６枚目の撮像画像４０１6の中のB信号の（画素の）位置（X6，Y6）を式（２５）でアフィン変換した基準座標系上の変換位置（X46，Y46）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X46≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y46≦α×（j−１）＋γ＋２を満たす、６枚目の撮像画像４０１6中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３７に進む。
【０５１０】
ここで、ステップＳ３３６で６枚目の撮像画像４０１6から得られる特定画素の個数を、N6と表し、さらに、そのN6個のうちのp番目（p＝１，２，・・・，N6）の特定画素の画素値であるB信号の値をB6（p）と、その特定画素の撮像画像４０１6の座標系上の位置を（X6（p），Y6（p））と、それぞれ表す。さらに、（X6，Y6）＝（X6（p），Y6（p））として、式（２５）のアフィン変換によって得られる変換位置（X46，Y46）を、（X46(p)，Y46(p)）と表す。
【０５１１】
従って、任意のpについて、６枚目の撮像画像４０１6の座標系上の位置（X6(p)，Y6(p)）の画素の画素値（B信号）は、B6(p)である。また、位置（X6(p)，Y6(p)）を基準座標系上にアフィン変換した変換位置（X46(p)，Y46(p)）は、式α×（i−１）＋β−２≦X46(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y46(p)≦α×（j−１）＋γ＋２を満たす。
【０５１２】
ステップＳ３３７では、演算回路２４は、７枚目の撮像画像４０１7の中のB信号の（画素の）位置（X7，Y7）を式（２６）でアフィン変換した基準座標系上の変換位置（X47，Y47）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X47≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y47≦α×（j−１）＋γ＋２を満たす、７枚目の撮像画像４０１7中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３８に進む。
【０５１３】
ここで、ステップＳ３３７で７枚目の撮像画像４０１7から得られる特定画素の個数を、N7と表し、さらに、そのN7個のうちのp番目（p＝１，２，・・・，N7）の特定画素の画素値であるB信号の値をB7（p）と、その特定画素の撮像画像４０１7の座標系上の位置を（X7（p），Y7（p））と、それぞれ表す。さらに、（X7，Y7）＝（X7（p），Y7（p））として、式（２６）のアフィン変換によって得られる変換位置（X47，Y47）を、（X47(p)，Y47(p)）と表す。
【０５１４】
従って、任意のpについて、７枚目の撮像画像４０１7の座標系上の位置（X7(p)，Y7(p)）の画素の画素値（B信号）は、B7(p)である。また、位置（X7(p)，Y7(p)）を基準座標系上にアフィン変換した変換位置（X47(p)，Y47(p)）は、式α×（i−１）＋β−２≦X47(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y47(p)≦α×（j−１）＋γ＋２を満たす。
【０５１５】
ステップＳ３３８では、演算回路２４は、８枚目の撮像画像４０１8の中のB信号の（画素の）位置（X8，Y8）を式（２７）でアフィン変換した基準座標系上の変換位置（X48，Y48）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X48≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y48≦α×（j−１）＋γ＋２を満たす、８枚目の撮像画像４０１8中のすべてのB信号の画素を、特定画素として特定して、図３９のステップＳ３３９に進む。
【０５１６】
ここで、ステップＳ３３８で８枚目の撮像画像４０１8から得られる特定画素の個数を、N8と表し、さらに、そのN8個のうちのp番目（p＝１，２，・・・，N8）の特定画素の画素値であるB信号の値をB8（p）と、その特定画素の撮像画像４０１8の座標系上の位置を（X8（p），Y8（p））と、それぞれ表す。さらに、（X8，Y8）＝（X8（p），Y8（p））として、式（２７）のアフィン変換によって得られる変換位置（X48，Y48）を、（X48(p)，Y48(p)）と表す。
【０５１７】
従って、任意のpについて、８枚目の撮像画像４０１8の座標系上の位置（X8(p)，Y8(p)）の画素の画素値（B信号）は、B8(p)である。また、位置（X8(p)，Y8(p)）を基準座標系上にアフィン変換した変換位置（X48(p)，Y48(p)）は、式α×（i−１）＋β−２≦X48(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y48(p)≦α×（j−１）＋γ＋２を満たす。
【０５１８】
ステップＳ３３９では、演算回路２４は、ステップＳ３３１乃至Ｓ３３８で求めたすべての特定画素を用い、出力画像の画素(i,j)について、式（１６）で表される、式（１２）の青色の光量の重み加算式の分母と、式（１５）で表される、式（１２）の青色の光量の重み加算式の分子を、それぞれ演算する。
【０５１９】
具体的には、式（１２）の青色の光量の重み加算式の分母（式（１６））として、式（３２）が演算され、式（１２）の青色の光量の重み加算式の分子（式（１５））として、式（３３）が演算される。
【０５２０】
【数３２】
2006157168.tif 000034
・・・（３２）
【０５２１】
【数３３】
2006157168.tif 000035
・・・（３３）
【０５２２】
なお、式（３２）および（３３）において、X0とY0は、画素値を推定しようとする出力画像の画素の位置を表し、(X0，Y0）＝（α×（i−１）＋β，Y0＝α×（j−１）＋γ）である。
【０５２３】
ここで、式（３３）は、１枚目乃至８枚目の撮像画像４０１1乃至４０１8を位置合わせした場合に、出力画像の画素値を求めようとしている画素(i,j)の位置（α×（i−１）＋β，α×（j−１）＋γ）の近傍の位置（X4k(p)，Y4k(p)）に観測されるB信号の画素の画素値Bk(p)（k＝１乃至８，p＝１乃至Nk）に、重みCubic(X0-X4k(p))×Cubic(Y0-Y4k(p))をかけて加算する重み付け加算を表し、式（３２）は、その重みCubic(X0-X4k(p))×Cubic(Y0-Y4k(p))の総和を表す。式（３３）を式（３２）で除算することが、式（１２）を演算することに相当し、その演算結果は、ステップＳ３３１乃至Ｓ３３８で得られた特定画素の画素値Bk(p)すべてについて、出力画像の画素値を求めようとしている画素(i,j)の位置(X0，Y0）と、特定画素の位置（X4k(p)，Y4k(p)）との距離に応じた重みを付けた「画素値Bk(p)の重み付き平均値」となる。
【０５２４】
演算回路２４は、出力画像の画素(i,j)についての式（３２）と式（３３）の演算後、その演算結果を、図示せぬメモリに保持して、ステップＳ３４０に進む。
【０５２５】
ステップＳ３４０では、演算回路２４は、変数iが、横方向の画素数Wと等しいか否かを判定する。ステップＳ３４０で、変数iが画素数Wと等しくないと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素について、ステップＳ３１３乃至Ｓ３３９の処理が行われていない場合、ステップＳ３４１に進み、演算回路２４は、変数iを１だけインクリメントして、図３０のステップＳ３１３に戻り、以下、同様の処理を繰り返す。
【０５２６】
一方、ステップＳ３４０で、変数iが画素数Wと等しいと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素についてステップＳ３１３乃至Ｓ３３９の処理が行われた場合、ステップＳ３４２に進み、演算回路２４は、変数jが縦方向の画素数Hと等しいか否かを判定する。ステップＳ３４２で、変数jが画素数Hと等しくないと判定された場合、即ち、すべての列について、ステップＳ３１３乃至Ｓ３３９の処理が行われていない場合、ステップＳ３４３に進み、演算回路２４は、変数jを１だけインクリメントして、図３０のステップＳ３１２に戻り、以下、同様の処理を繰り返す。
【０５２７】
一方、ステップＳ３４２で、変数jが画素数Hと等しいと判定された場合、即ち、すべての列について、ステップＳ３１３乃至Ｓ３３９の処理が行われた場合、ステップＳ３４４に進み、演算回路２４は、図３０のステップＳ３１１における場合と同様に、変数jに１をセットして、ステップＳ３４５に進む。ステップＳ３４５では、演算回路２４は、図３０のステップＳ３１２における場合と同様に、変数iに１をセットして、図４０のステップＳ３４６に進む。
【０５２８】
ステップＳ３４６では、演算回路２４は、出力画像の画素（i，j）のG信号の画素値（緑色の光量）を求める演算処理を行って、ステップＳ３４７に進む。即ち、ステップＳ３４６では、後述するように、図３３のステップＳ３２１で求められた緑色の光量の重み加算式の分母である式（２８）の値（演算結果）と、その分子である式（２９）の値とを用いて、式（８）の緑色の光量の重み加算式に相当する式（３４）の演算（通常処理）、または、式（１７）に相当する式（３５）の演算（例外処理）を行うことにより、出力画像の画素（i，j）のG信号の画素値が求められる（推定される）。
【０５２９】
【数３４】
2006157168.tif 000036
・・・（３４）
【０５３０】
【数３５】
2006157168.tif 000037
・・・（３５）
【０５３１】
ステップＳ３４７では、演算回路２４は、出力画像の画素（i，j）のR信号の画素値（赤色の光量）を求める演算処理を行って、ステップＳ３４８に進む。即ち、ステップＳ３４７では、後述するように、図３６のステップＳ３３０で求められた赤色の光量の重み加算式の分母である式（３０）の値（演算結果）と、その分子である式（３１）の値とを用いて、式（１１）の赤色の光量の重み加算式に相当する式（３６）の演算（通常処理）、または、式（１８）に相当する式（３７）の演算（例外処理）を行うことにより、出力画像の画素（i，j）のR信号の画素値が求められる。
【０５３２】
【数３６】
2006157168.tif 000038
・・・（３６）
【０５３３】
【数３７】
2006157168.tif 000039
・・・（３７）
【０５３４】
ステップＳ３４８では、演算回路２４は、出力画像の画素（i，j）のB信号の画素値（青色の光量）を求める演算処理を行って、ステップＳ３４９に進む。即ち、ステップＳ３４８では、後述するように、図３９のステップＳ３３９で求められた青色の光量の重み加算式の分母である式（３２）の値（演算結果）と、その分子である式（３３）の値とを用いて、式（１２）の青色の光量の重み加算式に相当する式（３８）の演算（通常処理）、または、式（１９）に相当する式（３９）の演算（例外処理）を行うことにより、出力画像の画素（i，j）のB信号の画素値が求められる。
【０５３５】
【数３８】
2006157168.tif 000040
・・・（３８）
【０５３６】
【数３９】
2006157168.tif 000041
・・・（３９）
【０５３７】
ステップＳ３４９では、演算回路２４が、変数iが横方向の画素数Wと等しいか否かを判定する。ステップＳ３４９で、変数iが画素数Wと等しくないと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素についてステップＳ３４６乃至Ｓ３４８の処理が行われていない場合、ステップＳ３５０に進み、演算回路２４は、変数iを１だけインクリメントして、ステップＳ３４６に戻り、以下、同様の処理を繰り返す。
【０５３８】
一方、ステップＳ３４９で、変数iが画素数Wと等しいと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素についてステップＳ３４６乃至Ｓ３４８の処理が行われた場合、ステップＳ３５１に進み、演算回路２４は、変数jが縦方向の画素数Hと等しいか否かを判定する。ステップＳ３５１で、変数jが画素数Hと等しくないと判定された場合、即ち、すべての列について、ステップＳ３４６乃至Ｓ３４８の処理が行われていない場合、ステップＳ３５２に進み、演算回路２４は、変数jを１だけインクリメントして、図３９のステップＳ３４５に戻り、以下、同様の処理を繰り返す。
【０５３９】
一方、ステップＳ３５１で、変数jが画素数Hと等しいと判定された場合、即ち、すべての列について、ステップＳ３４６乃至Ｓ３４８の処理が行われ、W×H画素の出力画像のすべての画素につき、B信号、R信号、およびB信号の画素値が求められた場合、ステップＳ３５３に進み、演算回路２４は、その出力画像の画像信号を、D/Aコンバータ９またはコーデック１２（図１）に供給して、処理を戻る。
【０５４０】
次に、図４１のフローチャートを参照して、図４０のステップＳ３４６における、出力画像の画素（i，j）のG信号の画素値（緑色の光量）を求める（推定する）演算処理について説明する。
【０５４１】
初めに、ステップＳ４０１において、演算回路２４は、画素（i，j）について、図３３のステップＳ３２１で演算された緑色の光量の重み加算式の分母である式（２８）の値の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（２８）の値の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、0.25などの固定の値が、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。
【０５４２】
ステップＳ４０１において、画素（i，j）について演算された緑色の光量の重み加算式の分母である式（２８）の値の絶対値が、所定の閾値以上であると判定された場合、即ち、画素（i，j）について演算された式（２８）の値の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ４０２に進み、演算回路２４は、画素（i，j）について、図３３のステップＳ３２１で演算された緑色の光量の重み加算式の分子である式（２９）の値を、その分母である式（２８）の値で除算する式（３４）の演算を行うことにより、画素（i，j）のG信号の画素値を求める通常処理を行う。
【０５４３】
一方、ステップＳ４０１において、画素（i，j）について演算された緑色の光量の重み加算式の分母である式（２８）の値の絶対値が、所定の閾値未満であると判定された場合、即ち、式（２８）の値の絶対値が０、または０に近く、式（２９）の値を式（２８）の値で除算する通常処理を行ったのでは、その除算結果が不安定な値となる場合、つまり、式（２９）の値に、僅かなノイズしか含まれていなくても、ほぼ０である式（２８）の値で除算することで、その僅かなノイズが大きく増幅されてしまう場合、ステップＳ４０３に進み、演算回路２４は、式（１７）に相当する式（３５）の演算を行うことにより、画素（i，j）のG信号の画素値を求める例外処理を行う。
【０５４４】
即ち、ステップＳ４０３では、式（３５）にしたがい、出力画像の画素（i，j）と、その画素（i，j）の周辺の周辺画素（i−１，j），（i＋１，j），（i，j−１）、および（i，j＋１）との５画素それぞれにおいて通常処理のときに演算される緑色の光量の重み加算式の分子である式（２９）の値の総和を、その５画素それぞれにおいて通常処理のときに演算される緑色の光量の重み加算式の分母である式（２８）の値の総和で除算することにより、画素（i，j）のG信号の画素値が求められる。
【０５４５】
出力画像の画素（i，j）と、その周辺画素（i−１，j），（i＋１，j），（i，j−１），（i，j＋１）それぞれにおける式（２８）の値の総和は、図１６および図１７で説明したことから、ある程度大きな値となるので、そのような大きな値で除算を行うことにより、ノイズを増大させないで、画素（i，j）のG信号の画素値を求めることができる。
【０５４６】
次に、図４２のフローチャートを参照して、図４０のステップＳ３４７における、出力画像の画素（i，j）のR信号の画素値（赤色の光量）を求める（推定する）演算処理について説明する。
【０５４７】
初めに、ステップＳ４１１において、演算回路２４は、画素（i，j）について、図３６のステップＳ３３０で演算された赤色の光量の重み加算式の分母である式（３０）の値の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（３０）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、0.25などの固定の値が、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。
【０５４８】
ステップＳ４１１において、画素（i，j）について演算された赤色の光量の重み加算式の分母である式（３０）の値の絶対値が、所定の閾値以上であると判定された場合、即ち、画素（i，j）について演算された式（３０）の値の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ４１２に進み、演算回路２４は、画素（i，j）について、図３６のステップＳ３３０で演算された赤色の光量の重み加算式の分子である式（３１）の値を、その分母である式（３０）の値で除算する式（３６）の演算を行うことにより、画素（i，j）のR信号の画素値を求める通常処理を行う。
【０５４９】
一方、ステップＳ４１１において、画素（i，j）について演算された赤色の光量の重み加算式の分母である式（３０）の値の絶対値が、所定の閾値未満であると判定された場合、即ち、式（３０）の値の絶対値が０、または０に近く、式（３１）の値を式（３０）の値で除算する通常処理を行ったのでは、その除算結果が不安定な値となる場合、つまり、式（３１）の値に、僅かなノイズしか含まれていなくても、ほぼ０である式（３０）の値で除算することで、その僅かなノイズが大きく増幅されてしまう場合、ステップＳ４１３に進み、演算回路２４は、式（１８）に相当する式（３７）の演算を行うことにより、画素（i，j）のR信号の画素値を求める例外処理を行う。
【０５５０】
即ち、ステップＳ４１３では、式（３７）にしたがい、出力画像の画素（i，j）と、その画素（i，j）の周辺の周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１）、および（i＋１，j＋１）との９画素それぞれにおいて通常処理のときに演算される赤色の光量の重み加算式の分子である式（３１）の値の総和を、その９画素それぞれにおいて通常処理のときに演算される赤色の光量の重み加算式の分母である式（３０）の値の総和で除算することにより、画素（i，j）のR信号の画素値が求められる。
【０５５１】
出力画像の画素（i，j）と、その周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１），（i＋１，j＋１）それぞれにおける式（３０）の値の総和は、図１８および図１９で説明したことから、ある程度大きな値となるので、そのような大きな値で除算を行うことにより、ノイズを増大させないで、画素（i，j）のR信号の画素値を求めることができる。
【０５５２】
次に、図４３のフローチャートを参照して、図４０のステップＳ３４８における、出力画像の画素（i，j）のB信号の画素値（青色の光量）を求める（推定する）演算処理について説明する。
【０５５３】
初めに、ステップＳ４２１において、演算回路２４は、画素（i，j）について、図３９のステップＳ３３９で演算された青色の光量の重み加算式の分母である式（３２）の値の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（３２）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、0.25などの固定の値が、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。
【０５５４】
ステップＳ４２１において、画素（i，j）について演算された青色の光量の重み加算式の分母である式（３２）の値の絶対値が、所定の閾値以上であると判定された場合、即ち、画素（i，j）について演算された式（３２）の値の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ４２２に進み、演算回路２４は、画素（i，j）について、図３９のステップＳ３３９で演算された青色の光量の重み加算式の分子である式（３３）の値を、その分母である式（３２）の値で除算する式（３８）の演算を行うことにより、画素（i，j）のB信号の画素値を求める通常処理を行う。
【０５５５】
一方、ステップＳ４２１において、画素（i，j）について演算された青色の光量の重み加算式の分母である式（３２）の値の絶対値が、所定の閾値未満であると判定された場合、即ち、式（３２）の値の絶対値が０、または０に近く、式（３３）の値を式（３２）の値で除算する通常処理を行ったのでは、その除算結果が不安定な値となる場合、つまり、式（３３）の値に、僅かなノイズしか含まれていなくても、ほぼ０である式（３２）の値で除算することで、その僅かなノイズが大きく増幅されてしまう場合、ステップＳ４２３に進み、演算回路２４は、式（１９）に相当する式（３９）の演算を行うことにより、画素（i，j）のB信号の画素値を求める例外処理を行う。
【０５５６】
即ち、ステップＳ４２３では、  式（３９）にしたがい、出力画像の画素（i，j）と、その画素（i，j）の周辺の周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１）、および（i＋１，j＋１）との９画素それぞれにおいて通常処理のときに演算される青色の光量の重み加算式の分子である式（３３）の値の総和を、その９画素それぞれにおいて通常処理のときに演算される青色の光量の重み加算式の分母である式（３２）の値の総和で除算することにより、画素（i，j）のB信号の画素値が求められる。
【０５５７】
出力画像の画素（i，j）と、その周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１），（i＋１，j＋１）それぞれにおける式（３２）の値の総和は、図１８および図１９で説明したことから、ある程度大きな値となるので、そのような大きな値で除算を行うことにより、ノイズを増大させないで、画素（i，j）のB信号の画素値を求めることができる。
【０５５８】
以上のように、図２８のステップＳ３０４における画像生成処理では、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像、即ち、N枚の撮像画像を位置合わせした場合に、そのN枚の撮像画像のすべての枚数目の撮像画像の画素が存在する高画質エリア４２２（図２９）内の画像が、出力画像として生成される。
【０５５９】
従って、出力画像の各画素の画素値の推定するための式（３４）乃至式（３９）の演算において用いられる撮像画像のデータの数（画素の数）、つまり、式（２８）乃至式（３３）におけるサメーションにおけるN1，N2，N3，N4，N5，N6，N7，N8は十分多くなるので、図２５乃至図２７で説明したように、出力画像を生成するのに用いることができるデータが少ないことにより、出力画像において、画質の鮮明さが劣化した部分が生じることを防止すること、即ち、すべての画素についてノイズがない（ノイズが極めて低減された）出力画像を得ることができる。
【０５６０】
さらに、出力画像の画素ピッチを、撮像画像、即ち、上述の場合には、撮像素子４（図１）の画素ピッチよりも小さくするようにしたので、具体的には、基準画像に対する高画質エリア４２２（図２９）の相似比αに等しい割合の間隔にしたので、出力画像として、撮像素子４と同一のW×H画素の画像を得ることができる。
【０５６１】
なお、上述の場合には、撮像素子４のビニングを機能させず、これにより、撮像素子４が有するW×H画素と同一のW'×H'画素の撮像画像を出力する撮像素子を得るようにしたが、撮像素子４としては、ビニングを機能させ、撮像素子４が有するW×H画素よりも少ないW'×H'画素の撮像画像を得て、画像生成処理を行うようにすることもできる。
【０５６２】
ここで、ビニングの方法としては、撮像素子４において、光を受光するセンサの内部で、画素値の加算を行う方法や、センサから出力された画素値としてのディジタルデータをディジタル加算器で加算する方法がある。
【０５６３】
撮像素子４のビニングを機能させた場合、複数の画素の画素値が加算され、その加算値が、１画素の画素値として出力されるので、その画素値により構成される撮像画像の画素数は、撮像素子４が有する画素数より少なく、その画素数の数分の１の画素数となる。より具体的には、撮像素子４が、例えば、隣接する２×２画素の画素値を加算して出力する２×２ビニングを行う場合は、撮像画像の画素数は、（W／２）×（H／２）画素となる。また、撮像素子４が、例えば、隣接する３×３画素の画素値を加算して出力する３×３ビニングを行う場合は、撮像画像の画素数は、（W／３）×（H／３）画素となる。
【０５６４】
なお、撮像素子４で行うビニングは、その他の画素数の画素値の加算を行うものであっても良い。また、撮像素子４の画素はベイヤー配列になっているが、この場合、撮像素子４においてビニングを行わないときは勿論、ビニングを行うときであっても、画素がベイヤー配列になっている撮像画像が出力される。
【０５６５】
撮像素子４のビニングを機能させる場合には、撮像素子４において、画素値の加算が行われることにより、感度アップが図られ、その結果、撮像素子４が出力する画素値（加算画素値）は、ノイズの少ないデータとなるので、例えば、薄暗がりの風景の撮影に効果的である。
【０５６６】
ところで、手ぶれ補正モードにおいて、撮像素子４のビニングを機能させ、撮像素子４において、例えば、隣接する２×２画素の画素値を加算して出力する２×２ビニングを行う場合、信号処理回路７（の演算回路２４（図４））に供給される撮像画像の画素数W'×H'は、（W／２）×（H／２）画素となる。
【０５６７】
この場合、出力画像として、撮像素子４が有する画素数W×H画素（＝2W'×2H'画素）と同一の画素数の画像を得るためには、図２９で説明したα，β，γを、次のように設定すれば良い。
【０５６８】
即ち、例えば、上述したように、１回の撮影によって、８枚の撮像画像が得られ、ある撮像画像とその次の撮像画像（次に撮像される撮像画像）との撮像の間に生じる手ぶれ量の最大値が、横および縦方向のいずれについても、撮像素子４の画素数の、例えば、２％であるとする。
【０５６９】
この場合、４枚目画像４０１4である基準画像（図２９）に対して、最も位置ずれが大きくなりうるのは、８枚目画像４０１8で、その位置ずれの大きさは、基準画像の画素数で、高々、横方向が0.08×W／２画素で、縦方向が0.08×H／２画素である。
【０５７０】
従って、４枚目画像４０１4である基準画像において、その上下から0.08×H／２画素だけ内側で、かつ、その左右から0.08×W／２画素だけ内側の領域を、高画質エリア４２２とすれば、その高画質エリア４２２は、１乃至８枚目の８枚の撮像画像４０１1乃至４０１8のすべてのデータを使用して出力画像の画素値の推定が行われる図２７の領域４２１に、必ず含まれる。
【０５７１】
この場合、高画質エリア４２２は、基準座標系において、その左上の頂点が、座標（0.08×W／２，0.08×H／２）で、横が、基準画像の横W／２よりも0.08×W／２×２だけ短く、かつ、縦が基準画像の縦H／２よりも0.08×H／２×２だけ短い矩形、即ち、左上の頂点が、座標（0.08×W／２，0.08×H／２）で、横が(1-0.16)×W／２で、縦が、(1-0.16)×H／２の矩形になる。但し、（W／２）×（H／２）画素で構成される撮像画像の画素ピッチを１とする。
【０５７２】
一方、高画質エリア４２２は、図２９で説明したように、W×H画素の出力画像を基準とすると、左上の点が座標（β，γ）の、αW×αHの矩形の領域である。
【０５７３】
以上から、α＝(1-0.16)/2，β＝0.08×W/2，γ＝0.08×H/2となる。
【０５７４】
図２８のステップＳ３０４の画像生成処理において、上述のように、α＝(1-0.16)/2，β＝0.08×W/2，γ＝0.08×H/2を設定し、１≦i≦W，１≦j≦Hの範囲のすべての整数値i，jについて、出力画像の画素（i，j）の画素値を、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値として計算（推定）することで、撮像素子４がビニングを行う場合でも、撮像素子４が有するのと同一のW×H画素の出力画像であって、全体が鮮明な出力画像を得ることができる。
【０５７５】
以上のように、撮像素子４がビニングを行う場合でも、撮像素子４が有するのと同一のW×H画素の出力画像を得ることができる。さらに、この場合、図２８のステップＳ３０１乃至Ｓ３０３で扱う撮像画像の画素数は（W／２）×（H／２）画素であるので、撮像素子４がビニングを行わない場合に比較して、処理量を低減することができる。
【０５７６】
次に、図１のディジタルカメラ１は、上述したように、撮影モードとして、手ぶれ補正モードと通常撮影モードとを有し、手ぶれ補正モードでは、図２や図２８の撮影処理、即ち、複数枚であるＮ枚の撮像画像を連続撮像し、そのＮ枚の撮像画像から１枚の出力画像を生成する撮影処理が行われる。一方、通常撮影モードでは、１枚の撮像画像を撮像し、その撮像画像を１枚の出力画像として出力（生成）する撮影処理が行われる。
【０５７７】
図１のディジタルカメラ１は、撮影モードを決定して撮影を行うのであるが、以下においては、この撮影モードを決定する撮像モードの決定処理を含めたディジタルカメラ１の処理について説明する。
【０５７８】
なお、以下では、図１のディジタルカメラ１が、第１撮影処理、第２撮影処理、第３撮影処理、および第４撮影処理の４種類の撮影処理を行うことが可能であるとする。第１撮影処理は、撮影モードが通常撮影モードである場合に行われる撮影処理である。第２乃至第４撮影処理は、撮影モードが手ぶれ補正モードである場合に行われる撮影処理であり、基本的には、図２や図２８で説明した撮影処理である。但し、第２撮影処理は、撮像素子４のビニングを機能させずに行われる。また、第３撮影処理は、撮像素子４の２×２ビニングを機能させて行われ、第４撮影処理は、撮像素子４の３×３ビニングを機能させて行われる。
【０５７９】
ここで、第１撮影処理では、１枚の撮像画像が撮像されるが、第２乃至第４撮影処理では、複数枚の撮像画像が撮像される。そこで、第２撮影処理において高速で連続して撮像される撮像画像の枚数をＮa枚と、第３撮影処理において高速で連続して撮像される撮像画像の枚数をＮb枚と、第４撮影処理において高速で連続して撮像される撮像画像の枚数をＮc枚と、それぞれする。
【０５８０】
以下で説明する、撮影モードの決定処理では、上記の第１乃至第４撮影処理の、どの撮影処理で撮影を行うかが決定される。さらに、撮影モードの決定処理では、第２撮影処理で撮影を行うと決定した場合には、その第２撮影処理において連続して撮像される撮像画像の撮像枚数Ｎaも決定され、第３撮影処理で撮影を行うと決定した場合には、その第３撮影処理において連続して撮像される撮像画像の撮像枚数Ｎbも決定される。また、第４撮影処理で撮影を行うと決定した場合には、その第４撮影処理において連続して撮像される撮像画像の撮像枚数Ｎcも決定される。
【０５８１】
なお、撮影モードの決定処理は、図１のディジタルカメラ１の制御回路１８が行う。
【０５８２】
また、制御回路１８には、撮影モードの決定処理を実行する前に、撮影を行おうとしている状態での焦点距離の情報、および露出補正値（補正なし、１段アンダ、２段アンダ、３段アンダ、１段オーバ、２段オーバ、３段オーバなど）が供給されているものとする。
【０５８３】
次に、図４４のフローチャートを参照して、撮影モードの決定処理を含めた図１のディジタルカメラ１の処理について説明する。
【０５８４】
初めに、ステップＳ５０１において、制御回路１８は、入力デバイス１６のレリーズボタン（シャッタボタン）の状態が半押しの状態であるか否かを判定する判定処理を行う。ステップＳ５０１において、レリーズボタンの状態が半押しの状態でないと判定された場合、ステップＳ５０１に戻り、レリーズボタンの状態が半押しの状態と判定されるまでステップＳ５０１を繰り返す。そして、ステップＳ５０１において、レリーズボタンの状態が半押しの状態と判定されると、ステップＳ５０２に進む。
【０５８５】
ステップＳ５０２において、制御回路１８は、絞りの値Ｆおよび適正露出時間Ｔpを決定し、さらに、実際に１枚の撮像画像を撮像するとした場合の露出時間Ｔaを決定する決定処理を行う。即ち、露出計１９によって計測された被写体の明るさの計測値、および入力デバイス１６の露出補正ダイアルによる露出補正値が制御回路１８に供給されており、ステップＳ５０２では、制御回路１８は、まず、露出計１９による被写体の明るさの計測値を用いて、一般的な自動露出制御における場合と同様にして、絞りの値Ｆを決定する。この絞りの値Ｆと、被写体の明るさの計測値とを用いて、制御回路１８は、露出補正を機能させずに適正露出で撮影するとした場合の露出時間である適正露出時間Ｔpを決定する。この適正露出時間Ｔpと、露出補正ダイアルによる露出補正値とを用いて、制御回路１８は、実際の露出時間Ｔaを決定する。
【０５８６】
即ち、例えば、入力デバイス１６による露出補正値が１段アンダを表している場合、Ｔa＝Ｔp／２に決定され、例えば、入力デバイス１６による露出補正値が２段アンダを表している場合、Ｔa＝Ｔp／４に決定される。また、例えば、入力デバイス１６による露出補正値が１段オーバを表している場合、Ｔa＝Ｔp×２に決定され、例えば、入力デバイス１６による露出補正値が２段オーバを表している場合、Ｔa＝Ｔp×４に決定される。ここで、露出時間Ｔaの逆数（１／Ｔa）は、シャッタ速度を表す。なお、このような、絞りの値Ｆ、適正露出時間Ｔp、および露出時間Ｔaを決定する方法は、通常のディジタルカメラにおける絞り優先時での露出決定方法と同様であり、既知の技術であるので、詳細な説明は省略する。ステップＳ５０２での処理が行われた後、ステップＳ５０３に進む。
【０５８７】
ステップＳ５０３において、制御回路１８は、入力デバイス１６のレリーズボタンの状態が半押しの状態のままであるか否かを判定する判定処理を行う。ステップＳ５０３において、ステップＳ５０１で半押しの状態と判定されたレリーズボタンの状態が半押しの状態のままであると判定された場合、現在の状態を維持するために、レリーズボタンの状態が半押しの状態でないと判定されるまでステップＳ５０３を繰り返す。そして、ステップＳ５０３において、レリーズボタンの状態が半押しの状態でないと判定された場合、ステップＳ５０４に進み、制御回路１８は、レリーズボタンの状態が全押しの状態（完全に押された状態）となったか否かを判定する判定処理を行う。ステップＳ５０４において、レリーズボタンの状態が全押しの状態でないと判定された場合、即ち、レリーズボタンが開放されている場合、最初のステップであるステップＳ５０１に戻る。つまり、撮影者がレリーズボタンから指を離し、その結果、レリーズボタンの状態が、全押しでも半押しでもない状態になった場合は、ステップＳ５０１に戻って、同様の処理を繰り返す。
【０５８８】
一方、ステップＳ５０４において、レリーズボタンの状態が、全押しの状態になったと判定された場合、ステップＳ５０５に進み、制御回路１８は、適正露出時間Ｔpを決定する決定処理を行う。即ち、制御回路１８は、露出計１９から直前に供給された被写体の明るさの計測値と、ステップＳ５０２で決定された絞りの値Ｆとを用い、ステップＳ５０２における場合と同様にして適正露出時間Ｔpを再度決定する。ここで再度、適正露出時間Ｔpが決定されるのは、実際に撮影を行うタイミングに近いタイミングの適正露出時間Ｔpを得ていた方が、より適切な画像を得ることができるからである。なお、１／Ｔpが、適正露出でのシャッタ速度である。
【０５８９】
ステップＳ５０５の後は、ステップＳ５０６に進み、制御回路１８は、ステップＳ５０２で決定された露出時間ＴaとステップＳ５０５で決定された適正露出時間Ｔpとを用いて、第１乃至第４撮影処理のうちのいずれの撮影処理により撮影を行うかを決定する、撮影モードの決定処理を行う。つまり、第１撮影処理で撮影を行うか、第２撮影処理で撮影を行うか、第３撮影処理で撮影を行うか、または、第４撮影処理で撮影を行うかの決定が行われる。撮影モードの決定処理の詳細は後述するが、この撮影モードの決定処理により、手ぶれが（ほとんど）ない鮮明な画像（出力画像）を生成することができる撮影処理が決定される。
【０５９０】
また、ステップＳ５０６では、第２撮影処理で撮影を行うと決定された場合には、制御回路１８は、撮像枚数Ｎaも決定し、第３撮影処理で撮影を行うと決定された場合には、制御回路１８は、撮像枚数Ｎbも決定する。また、ステップＳ５０６では、第４撮影処理で撮影を行うと決定された場合には、制御回路１８は、撮像枚数Ｎcも決定する。ステップＳ５０６での処理が行われた後、ステップＳ５０７に進む。
【０５９１】
ステップＳ５０７において、ディジタルカメラ１は、ステップＳ５０６で決定された撮影処理を行う。
【０５９２】
即ち、ステップＳ５０６において、第１撮影処理を行うことが決定された場合には、ステップＳ５０２で決定された絞りの値Ｆおよび露出時間Ｔaでの１枚の撮像画像の撮像が行われ、その撮像画像が出力画像とされる（第１撮影処理）。
【０５９３】
また、ステップＳ５０６において、第２撮影処理を行うことが決定された場合には、ステップＳ５０２で決定された絞りの値Ｆおよび露出時間Ｔa／Ｎaでの１枚あたりの撮像画像の撮像を行うＮa枚の撮像画像の高速撮像が、撮像素子４のビニングを機能させずに行われる。そして、そのＮa枚の撮像画像を用いた画像生成処理が行われ、１枚の出力画像が生成される（第２撮影処理）。
【０５９４】
さらに、ステップＳ５０６において、第３撮影処理を行うことが決定された場合には、ステップＳ５０２で決定された絞りの値Ｆおよび露出時間Ｔa／Ｎbでの１枚あたりの撮像画像の撮像を行うＮb枚の撮像画像の高速撮像が、撮像素子４の２×２ビニングを機能させて行われる。そして、そのＮb枚の撮像画像を用いた画像生成処理が行われ、１枚の出力画像が生成される（第３撮影処理）。
【０５９５】
また、ステップＳ５０６において、第４撮影処理を行うことが決定された場合には、ステップＳ５０２で決定された絞りの値Ｆおよび露出時間Ｔa／Ｎcでの１枚あたりの撮像画像の撮像を行うＮc枚の撮像画像の高速撮像が、撮像素子４の３×３ビニングを機能させて行われる。そして、そのＮc枚の撮像画像を用いた画像生成処理が行われ、１枚の出力画像が生成される（第４撮影処理）。
【０５９６】
なお、第１撮影処理では勿論、第２乃至第４撮影処理でも、出力画像としては、上述したようにして、撮像素子４の画素数（Ｗ×Ｈ）と同一の画素数が得られる。
【０５９７】
ステップＳ５０７での撮影処理が終了すると、ステップＳ５０８に進み、制御回路１８は、入力デバイス１６のレリーズボタンの状態が半押しまたは全押しのいずれかの状態であるか否かを判定する判定処理を行う。ステップＳ５０８において、レリーズボタンの状態が半押しの状態である、または全押しの状態であると判定された場合、レリーズボタンの状態が半押しおよび全押しのいずれの状態でもでないと判定されるまでステップＳ５０８を繰り返す。そして、ステップＳ５０８において、レリーズボタンの状態が半押しおよび全押しのいずれの状態でもない場合、つまり、撮影者がレリーズボタンから指を離してレリーズボタンが開放されている場合、次の撮影に備えて、最初のステップであるステップＳ５０１に戻る。
【０５９８】
上述したステップＳ５０１乃至Ｓ５０８の処理は、ディジタルカメラ１の電源が入っていることが前提であり、電源が切られたときには、これらの処理は中断される。また、露出補正ダイアルの操作は、レリーズボタンが開放されているときに有効であり、ステップＳ５０２での露出時間Ｔaの決定には、例えば、その直前のステップＳ５０１でレリーズボタンが半押しされたと判定されたときの露出補正ダイアルによる露出補正値が用いられる。
【０５９９】
次に、図４４のステップＳ５０６で行われる撮影モードの決定処理について説明するが、その前に、第１乃至第４撮影処理について、さらに説明する。
【０６００】
第１撮影処理では、撮像素子４が、絞りの値Ｆおよび露出時間Ｔa秒で１枚の撮像画像を撮像して、画像処理回路１７に供給し、画像処理回路１７が、その１枚の撮像画像から１枚の出力画像を生成する（撮影画像を出力画像とする）。即ち、第１撮影処理では、撮像素子４は、ビニングを機能させず（画素加算を行わず）に撮像画像を撮像し、撮像素子４の画素数と同一の画素数の撮像画像を画像処理回路１７に供給する。そして、画像処理回路１７は、撮像素子４の画素数と同一の画素数の出力画像を生成する。なお、第１撮影処理の制御は、制御回路１８が行う。また、１枚の撮像画像から１枚の出力画像を生成する第１撮影処理は、通常のディジタルカメラで行われている撮影処理と同様の処理である。
【０６０１】
第２撮影処理では、撮像素子４が、絞りの値Ｆおよび露出時間Ｔa／Ｎa秒で複数枚であるＮa枚の撮像画像のそれぞれを連続撮像して画像処理回路１７に供給し、画像処理回路１７が、上述の画像生成処理を行うことにより、Ｎa枚の撮像画像から、１枚の出力画像を生成する。
【０６０２】
即ち、第２の撮影処理では、撮像素子４は、ビニングを機能させず（画素加算を行わず）に撮像画像を撮像し、撮像素子４の画素数と同一の画素数の撮像画像を、画像処理回路１７に供給する。画像処理回路１７は、撮像素子４から供給されたＮa枚の撮像画像の位置合わせをして、重み付けして加算をする上述の画像生成処理を行い、鮮明で、撮像素子４の画素数と同一の画素数の出力画像を生成する。なお、第２撮影処理では、Ｔa／Ｎa秒の露出時間で連続してＮa枚の撮像画像を撮像するので、Ｎa枚の撮像画像すべてに亘る露出時間は、（Ｔa／Ｎa）×Ｎa（＝Ｔa）秒となる。また、第２撮影処理の制御は、制御回路１８が行う。
【０６０３】
第３撮影処理では、撮像素子４が、２×２ビニングを機能させて、絞りの値Ｆおよび露出時間Ｔa／Ｎb秒で複数枚であるＮb枚の撮像画像のそれぞれを連続撮像して画像処理回路１７に供給し、画像処理回路１７が、上述の画像生成処理を行うことにより、Ｎb枚の撮像画像から、１枚の出力画像を生成する。
【０６０４】
即ち、第３撮影処理では、撮像素子４は、２×２ビニングを行って撮像画像を撮像し、撮像素子４の画素数の４分の１の画素数の撮像画像を画像処理回路１７に供給する。画像処理回路１７は、撮像素子４から供給されたＮb枚の撮像画像の位置合わせをして、重み付けして加算をする上述の画像生成処理を行い、鮮明で、撮像素子４の画素数と同一の画素数の出力画像を生成する。なお、第３撮影処理では、Ｔa／Ｎb秒の露出時間で連続してＮb枚の撮像画像を撮像するので、Ｎb枚の撮像画像すべてに亘る露出時間は、（Ｔa／Ｎb）×Ｎb（＝Ｔa）秒となる。また、第３撮影処理の制御は、制御回路１８が行う。
【０６０５】
第４撮影処理では、撮像素子４が、３×３ビニングを機能させて、絞りの値Ｆおよび露出時間Ｔa／Ｎc秒で複数枚であるＮc枚の撮像画像のそれぞれを連続撮像して画像処理回路１７に供給し、画像処理回路１７が、上述の画像生成処理を行うことにより、Ｎc枚の撮像画像から、１枚の出力画像を生成する。
【０６０６】
即ち、第４撮影処理では、撮像素子４は、３×３ビニングを行って撮像画像を撮像し、撮像素子４の画素数の９分の１の画素数の撮像画像を画像処理回路１７に供給する。画像処理回路１７は、撮像素子４から供給されたＮc枚の撮像画像の位置合わせをして、重み付けして加算をする上述の画像生成処理を行い、鮮明で、撮像素子４の画素数と同一の画素数の出力画像を生成する。なお、第４撮影処理では、Ｔa／Ｎc秒の露出時間で連続してＮc枚の撮像画像を撮像するので、Ｎc枚の撮像画像すべてに亘る露出時間は、（Ｔa／Ｎc）×Ｎc（＝Ｔa）秒となる。また、第４撮影処理の制御は、制御回路１８が行う。
【０６０７】
次に、図４５のフローチャートを参照して、図４４のステップＳ５０６で行われる撮影モードの決定処理について説明する。なお、レンズ２の焦点距離の情報（ズームレンズを使用している場合には、撮影を行おうとしている状態における焦点距離の情報）、暗さの限界値１／Ｍmax、撮像素子４の連続撮像間隔の限界値ｔ0は、制御回路１８が認識しているものとする。
【０６０８】
初めに、ステップＳ５２１において、制御回路１８は、第１撮影処理で撮影を行うと仮定した際に、その第１撮影処理によって、適切な出力画像を得ることができる条件に基づき、適切な出力画像を得ることができるか否かを判定する第１判定の処理を行って、ステップＳ５２２に進む。第１判定の処理（図４６）についての詳細は後述する。
【０６０９】
ステップＳ５２２において、制御回路１８は、ステップＳ５２１の第１判定の処理の結果を判定する。ステップＳ５２２において、第１判定の処理の結果が、第１撮影処理で適切な出力画像を得ることができる旨を表していると判定された場合には、ステップＳ５２３に進み、制御回路１８は、第１撮影処理を行うことを決定して、処理を戻る。
【０６１０】
また、ステップＳ５２２において、第１判定の処理の結果が、第１撮影処理で適切な出力画像を得ることができない旨を表していると判定された場合には、ステップＳ５２４に進み、制御回路１８は、第２撮影処理で撮影を行うと仮定した際に、その第２撮影処理によって、適切な出力画像を得ることができる条件に基づき、適切な出力画像を得ることができるか否かを判定する第２判定の処理を行って、ステップＳ５２５に進む。第２判定の処理（図４７）についての詳細は後述する。また、第２撮影処理で撮影を行うと判断した場合には、ステップＳ５２４の処理の中で撮像枚数Ｎaを決定する。
【０６１１】
ステップＳ５２５において、制御回路１８は、ステップＳ５２４の第２判定の処理の結果を判定する。ステップＳ５２５において、第２判定の処理の結果が、第２撮影処理で適切な出力画像を得ることができる旨を表していると判定された場合には、ステップＳ５２６に進み、制御回路１８は、第２撮影処理を行うことを決定して、処理を戻る。
【０６１２】
また、ステップＳ５２５において、第２判定の処理の結果が、第２撮影処理で適切な出力画像を得ることができない旨を表していると判定された場合には、ステップＳ５２７に進み、制御回路１８は、第３撮影処理で撮影を行うと仮定した際に、その第３撮影処理によって、適切な出力画像を得ることができる条件に基づき、適切な出力画像を得ることができるか否かを判定する第３判定の処理を行って、ステップＳ５２８に進む。第３判定の処理（図４８）についての詳細は後述する。また、第３撮影処理で撮影を行うと判断した場合には、ステップＳ５２７の処理の中で撮像枚数Ｎbを決定する。
【０６１３】
ステップＳ５２８において、制御回路１８は、ステップＳ５２７の第３判定の処理の結果を判定する。ステップＳ５２８において、第３判定の処理の結果が、第３撮影処理で適切な出力画像を得ることができる旨を表していると判定された場合には、ステップＳ５２９に進み、制御回路１８は、第３撮影処理を行うことを決定して、処理を戻る。
【０６１４】
また、ステップＳ５２８において、第３判定の処理の結果が、第３撮影処理で適切な出力画像を得ることができない旨を表していると判定された場合には、ステップＳ５３０に進み、制御回路１８は、第４撮影処理で撮影を行うと仮定した際に、その第４撮影処理によって、適切な出力画像を得ることができる条件に基づき、適切な出力画像を得ることができるか否かを判定する第４判定の処理を行って、ステップＳ５３１に進む。第４判定の処理（図４９）についての詳細は後述する。また、第４撮影処理で撮影を行うと判断した場合には、ステップＳ５３０の処理の中で撮像枚数Ｎcを決定する。
【０６１５】
ステップＳ５３１において、制御回路１８は、ステップＳ５３０の第４判定の処理の結果を判定する。ステップＳ５３１において、第４判定の処理の結果が、第４撮影処理で適切な出力画像を得ることができる旨を表していると判定された場合には、ステップＳ５３２に進み、制御回路１８は、第４撮影処理を行うことを決定して、処理を戻る。
【０６１６】
また、ステップＳ５３１において、第４判定の処理の結果が、第４撮影処理で適切な出力画像を得ることができない旨を表していると判定された場合には、ステップＳ５３３に進み、制御回路１８は、第１撮影処理を行うことを決定して、処理を戻る。即ち、この場合は、第１乃至第４撮影処理のいずれの撮影処理でも適切な出力画像を得ることが困難であるため、手ぶれを容認し、通常のディジタルカメラでの撮影処理と同様の第１撮影処理で撮影を行うことを決定する。なお、ステップＳ５３３において、第１撮影処理を行うことが決定された場合には、モニタ１１などに「手ぶれの起きる危険性がある」ことを警告するメッセージを表示してもよい。
【０６１７】
また、図４５では、第１乃至第４撮影処理によって適切な出力画像を得ることができるかどうかを、その順番で判定するようにしたが、これは、基本的には、第１乃至第４撮影処理の順で、画質の良い出力画像が得られるからである。即ち、手ぶれ補正モードよりも通常撮影モードの方が画質の良い出力画像が得られ、手ぶれ補正モードでも、ビニングを機能させるよりは、機能させない方が画質の良い出力画像が得られる。また、ビニングを機能させる場合でも、加算する画素が少ない方が画質の良い出力画像が得られる。
【０６１８】
なお、入力デバイス１６には、手ぶれ補正モードでの撮影処理（第２乃至第４撮影処理）を行うことを強制的に排除するボタンを設けることができる。そして、このボタンが押されたときには、図４４のステップＳ５０６では、図４５のフローチャートに従った処理は行われず、その代わりに、強制的に、第１撮影処理を行うことが決定される。
【０６１９】
また、入力デバイス１６には、第３および第４撮影処理を行うことを強制的に排除し、第１または第２撮影処理のうちのいずれかを行う、つまり、ビニングを強制的に機能させないようにするボタンを設けることができる。
【０６２０】
即ち、ビニングを機能させると、撮像素子４から出力される撮像画像は、撮像素子４の画素数より少ない画素数の撮像画像となるので、この撮像画像より生成される出力画像は、ビニングを機能させない場合に得られる出力画像に比較して、多少鮮明さがなくなることがある。従って、強制的に第３および第４撮影処理を排除するか否かを撮影者が選択することができるようにすることにより、ディジタルカメラ１の利便性を向上させることができる。なお、第３および第４撮影処理を排除するボタンが押されたときには、図４５の撮影モードの決定処理において、ステップＳ５２５からステップＳ５２７に進む代わりにステップＳ５３３に進むようにすればよい。
【０６２１】
次に、図４５のステップＳ５２１，Ｓ５２４，Ｓ５２７，およびＳ５３０では、第１乃至第４撮影処理で、適切な出力画像を得ることができる条件に基づき、適切な出力画像を得ることができるか否かを判定する第１乃至第４判定の処理がそれぞれ行われるが、この適切な画像を得ることができる条件について説明する。
【０６２２】
適切な出力画像であるというには、まず、出力画像に手ぶれによるボケが生じていないことが必要である。
【０６２３】
出力画像に手ぶれによるボケが生じないようにするためには、第１撮影処理については、その第１撮影処理で撮像される１枚の撮像画像に、手ぶれによるボケが生じていないようにする必要がある。また、第２乃至第４撮影処理については、その撮影処理で高速撮像されるＮ枚の撮像画像のそれぞれに、手ぶれによるボケが生じていないようにする必要がある。
【０６２４】
つまり、仮に、撮像画像のいずれかに手ぶれによるボケがある場合、その撮像画像を使用して出力画像を生成しても、その出力画像には、手ぶれによるボケが生じる。従って、第１乃至第４撮影処理のいずれの撮影処理が行われる場合においても、撮像素子４によって撮像される撮像画像は、手ぶれによるボケのある画像であってはならない。
【０６２５】
撮像素子４によって撮像される撮像画像（１枚の撮像画像）に、手ぶれによるボケが生じないようにするためには、１枚の撮像画像を撮像する露出時間が、手ぶれによりディジタルカメラ１がある移動量だけ移動するのに要する時間に比較して小さければ良い。
【０６２６】
一般に、手持ち撮影では、３５ｍｍカメラ換算において、「１／焦点距離（単位：ｍｍ）」よりも短い露出時間（単位：秒）であれば、その露出時間で撮像される１枚の撮像画像に、手ぶれによるボケが発生しないと言われている。従って、例えば、３５ｍｍカメラ換算におけるレンズの焦点距離が３０ｍｍの場合、１／３０秒以下の露出時間で１枚の撮像画像を撮像すれば、その撮像画像には、手ぶれによるボケが発生しない。
【０６２７】
そこで、ディジタルカメラ１のレンズ２の焦点距離を３５ｍｍカメラ換算におけるレンズの焦点距離に変換して、その逆数（１／焦点距離）を、手ぶれの発生しない限界の露出時間としての閾値Ｔblurと表すこととすると、１枚の撮像画像の露出時間が、閾値Ｔblur以下であれば、その撮像画像に、手ぶれによるボケは生じない。従って、その撮像画像から生成される出力画像にも、手ぶれによるボケは生じないから、適切な出力画像を得ることができる。ここで、以下、適宜、１枚の撮像画像の露出時間が閾値Ｔblur以下であるという条件を、適切な出力画像を得るための第１条件という。
【０６２８】
このように閾値Ｔblurを、３５ｍｍカメラ換算におけるレンズの焦点距離の逆数に設定することで、実際に撮影を行い、実際に手ぶれが発生しているか否か（あるいは、手ぶれが許容範囲か否か）を確認しなくても、手ぶれのない画像を得られるか否かを判定することができる。つまり、このように設定された閾値Ｔblurを用いて、閾値Ｔblurよりも長い露出時間（遅いシャッタ速度）で１枚の撮像画像の撮像を行うと、撮像画像は手ぶれによるボケのある画像となると判定することができ、閾値Ｔblur以下の露出時間（早いシャッタ速度）で１枚の撮像画像の撮像を行うと、撮像画像は手ぶれによるボケのない画像となると判定することができる。
【０６２９】
なお、手ぶれの程度には、個人差があるので、入力デバイス１６の一つとして、閾値Ｔblurの値を変更することができるボタンを設け、撮影者が、そのボタンを操作した場合には、その操作に応じて閾値Ｔblurを変更することができるようにしてもよい。また、前述したように、入力デバイス１６から制御回路１８には、入力デバイス１６のズームボタンの操作により設定される焦点距離の情報が供給されるようになっており、制御回路１８は、この焦点距離の情報を用いて焦点距離の３５ｍｍカメラ換算や、閾値Ｔblurを求めるための逆数の計算などを行う。
【０６３０】
次に、手ぶれ補正モード（第２乃至第４撮影処理）において連続撮像される撮像画像が極端に暗すぎ、その撮像画像上の被写体がノイズに埋もれてしまっている場合、その撮像画像を使用して画像生成処理を行って出力画像を生成しても、暗く、ノイズに埋もれた出力画像が生成されてしまい、適切な出力画像（手ぶれによるボケがない鮮明な画像）を得ることができない。
【０６３１】
従って、適切な出力画像を得るためには、連続撮像によって得られる複数の撮像画像のそれぞれは、被写体がノイズに埋もれてしまうほど極端に暗すぎてはならない。
【０６３２】
そこで、上述したように、適正露出時間Ｔpでの１枚の撮像画像の撮像によって得られる、その撮像画像の明るさの１／Ｍmaxを、撮像画像上の被写体がノイズに埋もれてしまうほど極端に暗くならない暗さの限界値とすると、１枚の撮像画像の露出時間が、適正露出時間Ｔpの１／Ｍmax以上であれば、その露出時間によって撮像される撮像画像は、被写体がノイズに埋もれてしまうほど極端に暗くなることはない。
【０６３３】
以上のように、１枚の撮像画像の露出時間が、適正露出時間Ｔpと暗さの限界値１／Ｍmaxとに基づく値（適正露出時間Ｔpに基づく値）Ｔp／Ｍmax以上であれば、撮像画像上の被写体がノイズに埋もれてしまうほど暗くなることはなく、その撮像画像から、適切な出力画像を得ることができる。ここで、以下、適宜、１枚の撮像画像の露出時間が、適正露出時間に基づく閾値Ｔp／Ｍmax以上であるという条件を、適切な出力画像を得るための第２条件という。
【０６３４】
次に、撮像素子４が１枚の撮像画像の出力の開始から終了までに要する最小の時間、つまり、撮像素子４での最速の連続撮像時の撮像間隔を、出力最小時間ということとすると、手ぶれ補正モード（第２乃至第４撮影処理）において連続撮像される各撮像画像の露出時間（１枚の撮像画像の露出時間）が、出力最小時間よりも短い場合には、複数枚の撮像画像の高速撮像において、ある撮像画像の撮像のための露光の終了後から次の撮像画像の撮像のための露光の開始までに、撮像（露光）が行われていない期間（以下、適宜、ブランキング期間という）が生じる。
【０６３５】
ブランキング期間が出力画像に与える影響の詳細は、後述するが、簡単に説明すると、ブランキング期間が生じた場合には、被写体が動いていると、ブランキング期間における被写体の動きが出力画像に反映されず、その結果、被写体の動きが不連続になった、不自然な出力画像が生成され、適切な出力画像（手ぶれによるボケがない鮮明な画像）を得ることができない。
【０６３６】
従って、適切な出力画像を得るためには、高速撮像時における１枚の撮像画像の露出時間が、出力最小時間以上でなければならず、この、１枚の撮像画像の露出時間が、閾値としての出力最小時間以上であるという条件を、以下、適宜、適切な出力画像を得るための第３条件という。
【０６３７】
なお、撮像素子４のビニングを機能させない場合、出力最小時間は、撮像素子４の連続撮像間隔の限界値ｔ0に等しい。また、撮像素子４において、２×２ビニングを行う場合、出力最小時間はｔ0／４となり、撮像素子４において、３×３ビニングを行う場合、出力最小時間はｔ0／９となる。
【０６３８】
次に、図４６のフローチャートを参照して、図４５のステップＳ５２１における、第１撮影処理で適切な出力画像を得ることができるか否かを判定する第１判定の処理について説明する。なお、第１判定の処理は、制御回路１８が行う。
【０６３９】
初めに、ステップＳ５４１において、制御回路１８は、第１条件が満たされているか否か、即ち、露出時間Ｔaが閾値Ｔblur以下であるか否か判定する。ここで、露出時間Ｔaは、既に、図４４のステップＳ５０２で決定されている。また、閾値Ｔblurは、上述したようにして、制御回路１８が焦点距離の情報から求める。
【０６４０】
ステップＳ５４１において、露出時間Ｔaが、閾値Ｔblur以下であると判定された場合には、ステップＳ５４２に進み、制御回路１８は、第１撮影処理で適切な出力画像を得ることができるという第１判定の処理の結果を得て、処理を戻る。
【０６４１】
また、ステップＳ５４１において、露出時間Ｔaが、閾値Ｔblurを越えると判定された場合には、ステップＳ５４３に進み、制御回路１８は、第１撮影処理で適切な出力画像を得ることができないという第１判定の処理の結果を得て、処理を戻る。
【０６４２】
ここで、露出時間Ｔaが閾値Ｔblur以下である場合には、露出時間Ｔa秒での撮像によって得られる撮像画像は、手ぶれによるボケのない画像となり、その撮像画像から、鮮明な出力画像を得ることができる。逆に、露出時間Ｔaが閾値Ｔblurを越える場合には長時間露光となって、手ぶれによるボケのある撮像画像が得られ、その撮像画像から得られる出力画像は鮮明にならない可能性が十分あることになる。
【０６４３】
次に、図４７のフローチャートを参照して、図４５のステップＳ５２４における、ビニングを機能させないで複数枚数の撮像画像が撮像される第２撮影処理で適切な出力画像を得ることができるか否かを判定する第２判定の処理について説明する。なお、第２判定の処理は、制御回路１８が行う。
【０６４４】
初めに、ステップＳ５５１において、制御回路１８は、高速撮像時の１枚の撮像画像の露出時間をＴtmpとして、適正露出時間Ｔpに基づく閾値Ｔp／Ｍmaxと、ビニングを機能させない場合の出力最小時間である閾値（最速の連続撮像時の撮像間隔に基づく閾値）ｔ0との２つの閾値の大きい方の値を露出時間Ｔtmpに設定する。なお、上述したように、閾値Ｔp／Ｍmaxを求めるのに用いられる暗さの限界値１／Ｍmaxと連続撮像間隔の限界値ｔ0とは、ディジタルカメラ１の性能により決定される値であり、制御回路１８が認識しているものとする。また、閾値Ｔp／Ｍmaxを求めるのに用いられる適正露出時間Ｔpは、図４４のステップＳ５０５で決定されており、制御回路１８が認識しているものとする。
【０６４５】
ここで、閾値Ｔp／Ｍmaxと閾値ｔ0との２つの閾値の大きい方の値をＴtmpに設定するということは、１枚の撮像画像の撮像に要する露出時間Ｔtmpについて、上述の第２条件（ＴtmpがＴp／Ｍmax以上であるという条件）および第３条件（Ｔtmpが出力最小時間ｔ0以上であるという条件）が同時に満たされる。即ち、いまの場合、第２条件は、式Ｔtmp≧Ｔp／Ｍmaxで表され、第３の条件は、式Ｔtmp≧ｔ0で表される。
【０６４６】
そして、例えば、ｔ0＜Ｔp／Ｍmaxの場合、ステップＳ５５１では、Ｔtmp＝Ｔp／Ｍmaxと設定され、露出時間Ｔtmpは、第２条件を表す式Ｔtmp≧Ｔp／Ｍmaxおよび第３条件を表す式Ｔtmp≧ｔ0を同時に満たす。また、例えば、Ｔp／Ｍmax＜ｔ0の場合、ステップＳ５５１では、Ｔtmp＝ｔ0と設定され、露出時間Ｔtmpは、やはり、第２条件を表す式Ｔtmp≧Ｔp／Ｍmaxおよび第３条件を表す式Ｔtmp≧ｔ0を同時に満たす。
【０６４７】
ステップＳ５５１での処理後、ステップＳ５５２に進み、制御回路１８は、露出時間Ｔtmpが閾値Ｔblur以下であるか否か判定する。ここで、露出時間Ｔtmpが、閾値Ｔblur以下である場合には、露出時間Ｔtmpについて、上述の第１条件が満たされ、露出時間Ｔtmpが、閾値Ｔblur以下でない場合には、第１条件が満たされないことになる。
【０６４８】
なお、ここでは、露出時間Ｔtmpとして、ステップＳ５５１において、閾値Ｔp／Ｍmaxと閾値ｔ0とのうちの大きい方、つまり、第２および第３条件の両方を満たす最小値を設定（採用）し、ステップＳ５５２では、その露出時間Ｔtmpが、閾値Ｔblur以下であるか否か、即ち、第１条件としての式Ｔtmp≦Ｔblurを満たすか否かの判定を行っている。この場合、露出時間Ｔtmpについて、第１条件が満たされないということは、仮に、露出時間Ｔtmpとして、第１条件を満たす時間を採用すると、第２または第３条件が満たされないということになる。このことから、ステップＳ５５１において、閾値Ｔp／Ｍmaxと閾値ｔ0とのうちの大きい方を、露出時間Ｔtmpに設定し、さらに、ステップＳ５５２において、その露出時間Ｔtmpについて、第１条件が満たされるか否かの判定を行うということは、見方を変えれば、第１条件を満たす露出時間Ｔtmpについて、第２または第３条件が満たされるか否かの判定を行っていることになる。
【０６４９】
ステップＳ５５２において、露出時間Ｔtmpが閾値Ｔblur以下であると判定された場合には、ステップＳ５５３に進み、制御回路１８は、実際の露出時間（通常撮影モードで撮影を行うとした場合の露出時間）Ｔaを、１枚の撮像画像の露出時間Ｔtmpで除算する式Ｔa／Ｔtmpを計算し、その計算結果を、第２撮影処理での高速撮像の撮像枚数Ｎaに設定する。つまり、ステップＳ５５１，Ｓ５５２の処理で、第１乃至第３条件を満たす値として求められた露出時間Ｔtmpを使って、撮像枚数Ｎaが決定（Ｎa＝Ｔa／Ｔtmp）される。従って、第２撮影処理で高速撮像されるＮa枚の撮像画像のそれぞれの露出時間Ｔtmpは、Ｔa／Ｎaと表すことができ、この露出時間Ｔa／Ｎaは、第１乃至第３条件を満たすことになる。この様に、撮像枚数Ｎaは、露出時間Ｔaによって変わる値である。なお、撮像枚数Ｎaの計算において、小数点以下は、例えば、切り捨てられる。
【０６５０】
ステップＳ５５３での処理が行われた後、ステップＳ５５４に進み、制御回路１８は、第２撮影処理で適切な画像を得ることができるという第２判定の処理の結果を得て、処理を戻る。
【０６５１】
一方、ステップＳ５５２において、露出時間Ｔtmpが閾値Ｔblurを越えると判定された場合には、ステップＳ５５５に進み、制御回路１８は、第２撮影処理で適切な画像を得ることができないという第２判定の処理の結果を得て、処理を戻る。
【０６５２】
次に、図４８のフローチャートを参照して、図４５のステップＳ５２７における、２×２ビニングを行って複数枚の撮像画像が撮像される第３撮影処理で適切な出力画像を得ることができるか否かを判定する、第３判定の処理について説明する。なお、第３判定の処理は、制御回路１８が行う。
【０６５３】
初めに、ステップＳ５６１において、制御回路１８は、高速撮像時の１枚の撮像画像の露出時間をＴtmpとして、適正露出時間Ｔpに基づく閾値Ｔp／Ｍmaxと２×２ビニングを行う場合の出力最小時間である閾値ｔ0／４との２つの閾値の大きい方の値を露出時間Ｔtmpに設定する。なお、上述したように、暗さの限界値１／Ｍmaxと連続撮像間隔の限界値ｔ0とは、ディジタルカメラ１の性能により決定される値であり、制御回路１８が認識しているものとする。また、適正露出時間Ｔpは、図４４のステップＳ５０５で決定されており、制御回路１８が認識しているものとする。
【０６５４】
ステップＳ５６１での処理後、ステップＳ５６２に進み、制御回路１８は、露出時間Ｔtmpが閾値Ｔblur以下であるか否か判定する。
【０６５５】
ここで、露出時間Ｔtmpが、閾値Ｔblur以下である場合には、露出時間Ｔtmpについて、上述の第１条件が満たされ、露出時間Ｔtmpが、露出時間Ｔtmp以下でない場合には、第１条件が満たされないことになる。
【０６５６】
また、ステップＳ５６１において、閾値Ｔp／Ｍmaxと閾値ｔ0／４との２つの閾値の大きい方の値をＴtmpに設定し、ステップＳ５６２において、その露出時間Ｔtmpについて、第１条件が満たされるか否かの判定を行うということは、図４７で説明した場合と同様に、第１条件を満たす露出時間Ｔtmpについて、第２または第３条件が満たされるか否かの判定を行っていることと、いわば等価である。
【０６５７】
ステップＳ５６２において、露出時間Ｔtmpが閾値Ｔblur以下であると判定された場合には、ステップＳ５６３に進み、制御回路１８は、実際の露出時間Ｔaを、１枚の撮像画像の露出時間Ｔtmpで除算する式Ｔa／Ｔtmpを計算し、その計算結果を、第３撮影処理での高速撮像の撮像枚数Ｎbに設定する。つまり、ステップＳ５６１，Ｓ５６２の処理で、第１乃至第３条件を満たす値として求められた露出時間Ｔtmpを使って、撮像枚数Ｎbが決定（Ｎb＝Ｔa／Ｔtmp）される。従って、第３撮影処理で高速撮像されるＮb枚の撮像画像のそれぞれの露出時間Ｔtmpは、Ｔa／Ｎbと表すことができ、この露出時間Ｔa／Ｎbは、第１乃至第３条件を満たすことになる。この様に、撮像枚数Ｎbは、露出時間Ｔaによって変わる値である。なお、撮像枚数Ｎbの計算において、小数点以下は、例えば、切り捨てられる。
【０６５８】
ステップＳ５６３での処理が行われた後、ステップＳ５６４に進み、制御回路１８は、第３撮影処理で適切な画像を得ることができるという第３判定の処理の結果を得て、処理を戻る。
【０６５９】
一方、ステップＳ５６２において、露出時間Ｔtmpが閾値Ｔblurを越えると判定された場合には、ステップＳ５６５に進み、制御回路１８は、第３撮影処理で適切な画像を得ることができないという第３判定の処理の結果を得て、処理を戻る。
【０６６０】
次に、図４９のフローチャートを参照して、図４５のステップＳ５３０における、３×３ビニングを行って複数枚の撮像画像が撮像される第４撮影処理で適切な画像を得ることができるか否かを判定する、第４判定の処理について説明する。なお、第４判定の処理は、制御回路１８が行う。
【０６６１】
初めに、ステップＳ５７１において、制御回路１８は、高速撮像時の１枚の撮像画像の露出時間をＴtmpとして、適正露出時間Ｔpに基づく閾値Ｔp／Ｍmaxと３×３ビニングを行う場合の出力最小時間である閾値ｔ0／９との２つの閾値の大きい方の値を露出時間Ｔtmpに設定する。なお、上述したように、暗さの限界値１／Ｍmaxと連続撮像間隔の限界値ｔ0とは、ディジタルカメラ１の性能により決定される値であり、制御回路１８が認識しているものとする。また、適正露出時間Ｔpは、図４４のステップＳ５０５で決定されており、制御回路１８が認識しているものとする。
【０６６２】
ステップＳ５７１での処理後、ステップＳ５７２に進み、制御回路１８は、露出時間Ｔtmpが閾値Ｔblur以下であるか否か判定する。
【０６６３】
ここで、露出時間Ｔtmpが、閾値Ｔblur以下である場合には、露出時間Ｔtmpについて、上述の第１条件が満たされ、露出時間Ｔtmpが、露出時間Ｔtmp以下でない場合には、第１条件が満たされないことになる。
【０６６４】
また、ステップＳ５７１において、閾値Ｔp／Ｍmaxと閾値ｔ0／９との２つの閾値の大きい方の値をＴtmpに設定し、ステップＳ５７２において、その露出時間Ｔtmpについて、第１条件が満たされるか否かの判定を行うということは、図４７で説明した場合と同様に、第１条件を満たす露出時間Ｔtmpについて、第２または第３条件が満たされるか否かの判定を行っていることと、いわば等価である。
【０６６５】
ステップＳ５７２において、露出時間Ｔtmpが閾値Ｔblur以下であると判定された場合には、ステップＳ５７３に進み、制御回路１８は、実際の露出時間Ｔaを、１枚の撮像画像の露出時間Ｔtmpで除算する式Ｔa／Ｔtmpを計算し、その計算結果を、第４撮影処理での高速撮像の撮像枚数Ｎcに設定する。つまり、ステップＳ５７１，S５７２の処理で、第１乃至第３条件を満たす値として求められた露出時間Ｔtmpを使って、撮像枚数Ｎcが決定（Ｎc＝Ｔa／Ｔtmp）される。従って、第４撮影処理で高速撮像されるＮc枚の撮像画像のそれぞれの露出時間Ｔtmpは、Ｔa／Ｎcと表すことができ、この露出時間Ｔa／Ｎcは、第１乃至第３条件を満たすことになる。この様に、撮像枚数Ｎcは、露出時間Ｔaによって変わる値である。なお、撮像枚数Ｎcの計算において、小数点以下は、例えば、切り捨てられる。
【０６６６】
ステップＳ５７３での処理が行われた後、ステップＳ５７４に進み、制御回路１８は、第４撮影処理で適切な画像を得ることができるという第４判定の処理の結果を得て、処理を戻る。
【０６６７】
一方、ステップＳ５７２において、露出時間Ｔtmpが閾値Ｔblurを越えると判定された場合には、ステップＳ５７５に進み、制御回路１８は、第４撮影処理で適切な画像を得ることができないという第４判定の処理の結果を得て、処理を戻る。
【０６６８】
以上の図４６乃至図４９のフローチャートを参照して説明したような、制御回路１８による第１乃至第４判定の処理に基づき、適切な出力画像を得ることができる撮影処理を決定（ステップ５０６）し、その撮影処理を行うことによって、鮮明な出力画像を得ることができる。
【０６６９】
ここで、第１乃至第３条件について、さらに、述べておく。
【０６７０】
まず、１枚の撮像画像の露出時間Ｔtmp（Ｔa，Ｔa／Ｎa，Ｔa／Ｎb，Ｔa／Ｎc）について、第１条件、つまり式Ｔtmp≦Ｔblurが満たされることにより、高速撮像によって得られる各撮像画像は暗い（露出がアンダな）画像となるが、手ぶれのない撮像画像を得ることができ、その撮像画像から鮮明な出力画像を得ることができる。
【０６７１】
つまり、撮像画像に手ぶれ（によるボケ）があると、その撮像画像から生成される出力画像も手ぶれのある画像となってしまうが、第１条件を満たすことで、撮像画像は手ぶれのない画像となり、その撮像画像から、鮮明な出力画像を生成することができる。
【０６７２】
即ち、第１撮影処理を行うと仮定した際における撮像画像の露出時間Ｔa、第２撮影処理を行うと仮定した際におけるＮa枚の撮像画像の各露出時間Ｔa／Ｎa、第３撮影処理を行うと仮定した際におけるＮb枚の撮像画像の各露出時間Ｔa／Ｎb、または、第４撮影処理を行うと仮定した際におけるＮc枚の撮像画像の各露出時間Ｔa／Ｎcが、手ぶれが発生しない限界の露出時間としての閾値Ｔblur以下であるか否かを判定することで、手ぶれの発生しない撮像画像を撮像することのできる撮影処理を選択（決定）することができる。
【０６７３】
また、１枚の撮像画像の露出時間Ｔtmp（Ｔa／Ｎa，Ｔa／Ｎb，Ｔa／Ｎc）について、第２条件、つまり式Ｔtmp≧Ｔp／Ｍmaxが満たされることにより、高速撮像によって得られる各撮像画像は暗い（露出がアンダな）画像となるが、ノイズに埋もれるほど暗くない撮像画像を得ることができ、その撮像画像から鮮明な出力画像を得ることができる。
【０６７４】
つまり、各撮像画像が極端に暗すぎると、各撮像画像の画素値はノイズに埋もれてしまい、その撮像画像から生成される出力画像もノイズの多い画像となってしまうが、第２条件を満たすことで、撮像画像は暗すぎない画像となり、その撮像画像から、鮮明な出力画像を生成することができる。
【０６７５】
即ち、第２撮影処理を行うと仮定した際におけるＮa枚の撮像画像の各露出時間Ｔa／Ｎa、第３撮影処理を行うと仮定した際におけるＮb枚の撮像画像の各露出時間Ｔa／Ｎb、または、第４撮影処理を行うと仮定した際におけるＮc枚の撮像画像の各露出時間Ｔa／Ｎcが、ノイズで埋もれない限界の露出時間としての適正露出時間Ｔpに基づく閾値Ｔp／Ｍmax（適正露出時間Ｔpで撮像される画像に対して１／Ｍmaxの暗さになる露出時間）以上であるか否かを判定することで、暗すぎない撮像画像を撮像することのできる撮影処理を選択（決定）することができる。
【０６７６】
そして、第３条件としての式Ｔa／Ｎa≧ｔ0，Ｔa／Ｎb≧ｔ0／４，またはＴa／Ｎc≧ｔ0／９が満たされることにより、高速撮像時にブランキング期間が発生すること防止することができ、適切な（自然な）出力画像を生成することができる。
【０６７７】
つまり、高速撮像時の１枚の撮像画像の露出時間Ｔtmp（Ｔa／Ｎa，Ｔa／Ｎb，Ｔa／Ｎc）が、撮像素子４が１枚の撮像画像を出力することができる最小の時間（出力最小時間）を超えている場合、ある撮像画像から次の撮像画像の撮像の間に、露光が行われていない期間であるブランキング期間が発生する。具体的には、撮像素子４でビニングが行われない場合には｛ｔ0−（Ｔa／Ｎa）｝秒のブランキング期間が、撮像素子４で２×２ビニングが行われる場合には、｛（ｔ0／４）−（Ｔa／Ｎb）｝秒のブランキング期間が、撮像素子４で３×３ビニングが行われる場合には、｛ｔ0／９−（Ｔa／Ｎc）｝秒のブランキング期間が、それぞれ発生する。被写体が動いている場合、ブランキング期間における被写体の動きはまったく撮像画像には表れないので、このような撮像画像から出力画像を生成すると、その出力画像は不連続性のある画像となってしまうが、第３条件を満たすことで、連続性のある適切な出力画像を得ることができる。
【０６７８】
即ち、第２撮影処理を行うと仮定した際におけるＮa枚の撮像画像の各露出時間Ｔa／Ｎa、第３撮影処理を行うと仮定した際におけるＮb枚の撮像画像の各露出時間Ｔa／Ｎb、または、第４撮影処理を行うと仮定した際におけるＮc枚の撮像画像の各露出時間Ｔa／Ｎcが、撮像素子４の連続撮像間隔の限界値ｔ0に基づく閾値としての出力最小時間ｔ0，ｔ0／４，またはｔ0／９以上であるか否かを、それぞれ判定することで、高速撮像時にブランキング期間が発生しない、適切な出力画像を生成することのできる撮影処理を選択（決定）することができる。
【０６７９】
ここで、図５０を参照して、ブランキング期間が出力画像に与える影響について説明する。
【０６８０】
図５０は、垂直方向（上から下方向）に一定の速度Ｖで移動している被写体を、露出時間Ｔtmp＝Ｔa／４で、高速撮像し、その結果得られる４枚の撮像画像から出力画像を生成する場合を示している。なお、高速撮像の開始時を、時刻０として、時刻０における被写体の位置を０とする。この場合、時刻ｔの被写体の位置はｔ×Ｖと表すことができる。
【０６８１】
例えば、仮に、上述のように速度Ｖで移動している被写体を、露出時間Ｔaで撮像し、その撮像によって得られる１枚の撮像画像を出力画像とする場合、被写体は、撮像画像、ひいては出力画像上の位置０乃至Ｔa×Ｖの範囲のボケ（動きボケ）を生じた形で撮像される。このように、動いている被写体を撮影した場合、被写体が、その動きによってボケて、いわば尾を引いた感じの画像となるのは、撮影者の予想の範囲であり、このような動きボケは、手ぶれによるボケとは異質なものである。
【０６８２】
図５０において、撮像画像５００A乃至５００Dは、ブランキング期間が発生していない状態で、つまり、第３条件が満たされた状態で撮像された４枚の撮像画像であり、出力画像５００Eは、撮像画像５００A乃至５００Dを用いて画像生成処理を行うことにより生成された出力画像である。一方、撮像画像５０１A乃至５０１Dは、時間δのブランキング期間が発生している状態で、つまり、第３条件が満たされない状態で撮像された４枚の撮像画像であり、出力画像５０１Eは、撮像画像５０１A乃至５０１Dを用いて画像生成処理を行うことにより生成された出力画像である。
【０６８３】
まず、ブランキング期間が発生していない場合について説明する。１枚目の撮像画像５００Aは、時刻０乃至Ｔa／４の間の露出により撮像され、２枚目の撮像画像５００Bは、時刻Ｔa／４乃至２×Ｔa／４の間の露出により撮像される。同様に、３枚目の撮像画像５００Cは、時刻２×Ｔa／４乃至３×Ｔa／４の間の露出により撮像され、４枚目の撮像画像５００Dは、時刻３×Ｔa／４乃至Ｔaの間の露出により撮像される。
【０６８４】
このような連続撮像により得られる撮像画像５００A乃至５００Dのそれぞれの画像上では、移動している被写体が、図５０において太線で示したように尾を引いた感じになる動きボケが生じる。図５０において、撮像画像５００Aでは、被写体が、位置０乃至Ｔa×Ｖ／４の範囲の動きボケを生じた形で撮像され、撮像画像５００Bでは、被写体が、位置Ｔa×Ｖ／４乃至２×Ｔa×Ｖ／４の範囲の動きボケを生じた形で撮像されている。同様に、撮像画像５００Cでは、被写体が、位置２×Ｔa×Ｖ／４乃至３×Ｔa×Ｖ／４の範囲の動きボケを生じた形で撮像され、撮像画像５００Dでは、被写体が、位置３×Ｔa×Ｖ／４乃至Ｔa×Ｖの範囲の動きボケを生じた形で撮像されている。
【０６８５】
これらの撮像画像５００A乃至５００Dの撮像画像から得られる出力画像５００Eには、被写体が位置０乃至Ｔa×Ｖの範囲の連続した動きボケを生じた形で表示される。このような尾を引いた感じの動きボケが生じた出力画像となるのは、上述したように撮影者の予想の範囲である。
【０６８６】
次に、時間δのブランキング期間が発生している場合について説明する。１枚目の撮像画像５０１Aは、時刻０乃至Ｔa／４の間の露出により撮像され、撮像画像５０１Aの撮像終了から２枚目の撮像画像５０１Bの撮像開始までの時間δのブランキング期間が発生している。２枚目の撮像画像５０１Bは、時刻Ｔa／４＋δ乃至２×Ｔa／４＋δの間の露出により撮像され、撮像画像５０１Bの撮像終了から３枚目の撮像画像５０１Cの撮像開始までの時間δのブランキング期間が発生している。３枚目の撮像画像５０１Cは、時刻２×Ｔa／４＋２×δ乃至３×Ｔa／４＋２×δの間の露出により撮像され、撮像画像５０１Cの撮像終了から４枚目の撮像画像５０１Dの撮像開始までの時間δのブランキング期間が発生している。４枚目の撮像画像５０１Dは、時刻３×Ｔa／４＋３×δ乃至Ｔa＋３×δの間の露出により撮像される。
【０６８７】
このような連続撮像により得られる撮像画像５０１A乃至５０１Dのそれぞれの画像上でも、移動している被写体が、図５０において太線で示したように尾を引いた感じになる動きボケが生じる。図５０において、撮像画像５０１Aでは、位置０乃至Ｔa×Ｖ／４までの動きボケを生じた形で撮像され、撮像画像５０１Bでは、被写体が、位置（Ｔa／４＋δ）×Ｖ乃至（２×Ｔa／４＋δ）×Ｖ乃至の範囲の動きボケを生じた形で撮像され、撮像画像５０１Cでは、被写体が、位置（２×Ｔa／４＋２×δ）×Ｖ乃至（３×Ｔa／４＋２×δ）×Ｖの範囲の動きボケを生じた形で撮像され、撮像画像５０１Dでは、被写体が、位置（３×Ｔa／４＋３×δ）×Ｖ乃至（Ｔa＋３×δ）×Ｖの範囲の動きボケを生じた形で撮像されている。
【０６８８】
これらの撮像画像５０１A乃至５０１Dから得られる出力画像５０１Eには、被写体が位置０乃至（Ｔa＋３×δ）×Ｖの範囲で、図５０に示すような不連続な動きボケを生じた形で表示される。このように、動きボケが不連続な出力画像５０１Eは、不自然な画像であり、このような不自然な出力画像は、撮影者に違和感を感じさせることになる。
【０６８９】
以上のように、ブランキング期間が生じると、出力画像は不自然な画像となるため、本実施の形態では、ブランキング期間が発生しないように、上述の第３条件を満たす撮影処理を選択（決定）し、これにより、適正な（自然な）出力画像を得ることができるようにしている。なお、移動する被写体が存在しなければ、動きボケは生じないので、第３条件を満たしているか否かは判定しなくてもよい。移動する被写体が存在するか否かは、例えば、撮像素子４で撮像され、モニタ１１に表示されるいわゆるスルー画を対象として動き検出を行うことにより認識することができる。
【０６９０】
なお、上記の説明においては、絞りの値Ｆを固定して、適正露出時間Ｔpから、入力デバイス１６の露出補正ダイアルによる露出補正値に基づき、露出時間Ｔaを求めるようにしたが、露出時間Ｔaを適正露出時間Ｔpに固定して、露出補正ダイアルによる露出補正値に基づき、絞りの値Ｆを変更するようにしてもよい。
【０６９１】
つまり、上記においては、絞りの値Ｆを固定して露出時間Ｔa（シャッタ速度）を変更することで露出補正を行う、一般に絞り優先モードといわれる方法で露出補正を行うようにしたが、この他、例えば、シャッタ速度優先モードといわれる方法で露出補正を行うことができる。シャッタ速度優先モードでは、露出補正ダイアルを操作して露出補正値を設定すると、露出時間Ｔa（シャッタ速度）は適正露出時間Ｔpで固定されて変更されず、絞りの値Ｆが、露出補正値に基づいて変更される。
【０６９２】
このように、露出時間Ｔaを適正露出時間Ｔpに固定とするシャッタ速度優先モードは、一見すると、露出時間Ｔaが適正露出時間Ｔpとは異なる値に設定されうる図１のディジタルカメラ１には、適用できないように思われる。しかしながら、以下に説明するように、図１のディジタルカメラ１には、シャッタ速度優先モードを適用することができる。
【０６９３】
即ち、例えば、シャッタ速度優先モードにおいて、露出計１９によって計測された被写体の明るさの計測値から求められた絞りの値がＦ’で、適正露出時間がＴp’であったとする。
【０６９４】
まず、露出補正ダイアルでの露出補正値が０である場合には、撮影モードの決定処理のステップＳ５０５（図４４）において、絞りの値ＦをＦ’に、適正露出時間ＴpをＴp’に、露出時間ＴaをＴp’に、それぞれ決定すればよい。
【０６９５】
次に、露出補正ダイアルでの露出補正値が１段アンダを表している場合には、ステップＳ５０５（図４４）において、絞りの値ＦをＦ’より１段絞った値に、適正露出時間Ｔpを２Ｔp’に、露出時間ＴaをＴp’に、それぞれ決定すればよい。
【０６９６】
即ち、「絞りの値FがＦ’で、適正露出時間ＴpがＴp’の適正露出での撮像」と、「絞りの値FがＦ’より１段絞った値で、適正露出時間ＴpがＴp’の２倍の長時間露光での撮像」とでは、撮像素子４に入射される光量は同一量である。そこで、「絞りの値FがＦ’で、適正露出時間ＴpがＴp’の適正露出での撮像」の１段アンダとして、「絞りの値FがＦ’より１段絞った値で、適正露出時間ＴpがＴp’の２倍の長時間露光での撮像」の１段アンダを考えると、「絞りの値FがＦ’より１段絞った値で、適正露出時間ＴpがＴp’の２倍の長時間露光での撮像」の１段アンダは、「絞りの値ＦがＦ’より１段絞った値で、露出時間Ｔaが１／２Ｔp、つまりＴp’での撮像」である。
【０６９７】
「絞りの値FがＦ’で、適正露出時間ＴpがＴp’の適正露出での撮像」の１段アンダは、「絞りの値FがＦ’より１段絞った値で、適正露出時間ＴpがＴp’の２倍の長時間露光での撮像」の１段アンダである「絞りの値ＦがＦ’より１段絞った値で、露出時間ＴaがＴp’での撮像」と等価であり、このときの適正露出時間Ｔpは２Ｔp’である。そして、「絞りの値ＦがＦ’より１段絞った値で、露出時間ＴaがＴp’での撮像」は、「絞りの値FがＦ’で、適正露出時間ＴpがＴp’の適正露出での撮像」に対して、シャッタ速度優先モードの１段アンダでの撮像となっている。
【０６９８】
従って、露出補正ダイアルによる露出補正値が１段アンダを表している場合、シャッタ速度優先モードでは、「絞りの値FがＦ’より１段絞った値で、露出時間ＴaがＴp’での撮像」を行い、撮影モードの決定処理では、絞りの値FをＦ’より１段絞った値に、露出時間ＴaをＴp’に固定した値に、適正露出時間Ｔpを２Ｔp’に、それぞれ決定して処理を行えば良い。
【０６９９】
次に、露出補正ダイアルでの露出補正値が２段アンダを表している場合には、ステップＳ５０５（図４４）において、絞りの値ＦをＦ’より２段絞った値に、適正露出時間Ｔpを４Ｔp’に、露出時間ＴaをＴp’に、それぞれ決定すればよい。
【０７００】
即ち、「絞りの値FがＦ’で、適正露出時間ＴpがＴp’の適正露出での撮像」と、「絞りの値FがＦ’より２段絞った値で、適正露出時間ＴpがＴp’の４倍の長時間露光での撮像」とでは、撮像素子４に入射される光量は同一量である。そこで、「絞りの値FがＦ’で、適正露出時間ＴpがＴp’の適正露出での撮像」の２段アンダとして、「絞りの値FがＦ’より１段絞った値で、適正露出時間ＴpがＴp’の４倍の長時間露光での撮像」の２段アンダを考えると、「絞りの値FがＦ’より２段絞った値で、適正露出時間ＴpがＴp’の４倍の長時間露光での撮像」の２段アンダは、「絞りの値ＦがＦ’より２段絞った値で、露出時間Ｔaが１／４Ｔp、つまりＴp’での撮像」である。
【０７０１】
「絞りの値FがＦ’で、適正露出時間ＴpがＴp’の適正露出での撮像」の２段アンダは、「絞りの値FがＦ’より２段絞った値で、適正露出時間ＴpがＴp’の４倍の長時間露光での撮像」の２段アンダである「絞りの値ＦがＦ’より２段絞った値で、露出時間ＴaがＴp’での撮像」と等価であり、このときの適正露出時間Ｔpは４Ｔp’である。そして、「絞りの値ＦがＦ’より２段絞った値で、露出時間ＴaがＴp’での撮像」は、「絞りの値FがＦ’で、適正露出時間ＴpがＴp’の適正露出での撮像」に対して、シャッタ速度優先モードの２段アンダでの撮像となっている。
【０７０２】
従って、露出補正ダイアルによる露出補正値が２段アンダを表している場合、シャッタ速度優先モードでは、「絞りの値FがＦ’より２段絞った値で、露出時間ＴaがＴp’での撮像」を行い、撮影モードの決定処理では、絞りの値FをＦ’より２段絞った値に、露出時間ＴaをＴp’に固定した値に、適正露出時間Ｔpを４Ｔp’に、それぞれ決定して処理を行えば良い。
【０７０３】
３段アンダ、あるいは、１段オーバ、２段オーバ、および３段オーバなどについても上述の１段アンダ、２段アンダと同様にして、シャッタ速度優先モードにおいて、撮影モードの決定処理を行うことができる。
【０７０４】
なお、ビニングを機能させる場合には、画素加算が行われることにより撮像素子４から出力される画素値が、ビニングを機能させない場合より大きく（明るく）なるので、撮像画像において被写体がノイズに埋もれてしまわない暗さの限界値１／Ｍmaxは、更に小さな値（Ｍmaxを大きな値とする）とすることができる。つまり、ビニングを機能させる場合には、機能させない場合よりも更に暗めに撮像しても、撮像画像がノイズに埋もれにくいので、第２条件の閾値Ｔp／Ｍmaxを、ビニングを機能させない場合に比較して小さな値に設定することができる。
【０７０５】
また、図４４では、ステップＳ５０５で適正露出時間Ｔpを決定し、この適正露出時間Ｔpを使用して以降の処理を行っているが、ステップＳ５０５の処理を行わず、ステップＳ５０２で決定されている適正露出時間Ｔpを使用して以降の処理を行ってもよい。
【０７０６】
また、本実施の形態では、図１のディジタルカメラ１が、半押しの機能のあるレリーズボタンを備えていることとしたが、ディジタルカメラ１は、半押し機能のないレリーズボタンを備えたディジタルカメラであってもよい。その場合は、初めに、レリーズボタンの全押しを検出する処理を行い、次に、絞りの値Ｆ、適正露出時間Ｔp、および露出時間Ｔaを決定する処理（ステップＳ５０２と同様の処理）を行って、撮影モードの決定処理（ステップＳ５０６）を行うようにすればよい。
【０７０７】
なお、上述した例では、ディジタルカメラ１の撮像素子４を、単板センサで構成し、撮像素子４が出力する１画素につき１個の色信号から、１画素につき３個の色信号を有する出力画像を生成するようにしたが、撮像素子４は、単板センサでなくてもよく、１画素につき、例えば、R，G，Bの３色を出力する３板式の撮像素子などを採用することができる。
【０７０８】
また、本発明は、上述したように、ディジタルスチルカメラに採用することができる他、処理の高速化を図ることによって、ディジタルビデオカメラ等にも採用することができる。
【０７０９】
なお、本明細書において、フローチャートで説明した各ステップの処理は、記載された順序に沿って時系列的に実行されることはもちろん、必ずしも時系列的に実行されなくとも、並列的あるいは個別に実行されることもあり得る。また、フローチャートで説明した処理の一部または全部は、コンピュータ（CPU１５）にプログラムを実行させることによって行わせることができる他、専用のハードウエアにより実行することも可能である。
【０７１０】
さて、最後に、本発明の訴求している範囲について述べておく。本発明は、図４４のステップＳ５０６における、撮影モードの決定処理に関するものである。撮影モードの決定処理（ステップＳ５０６）は、図４４から明らかなように、ステップＳ５０６での処理に入る前に、適正露出時間Ｔp、実際の露出時間Ｔa、および、手ぶれが発生しない限界の露出時間としての閾値Ｔblurを求めるために必要な焦点距離の情報が得られていれば実行することができる。
【０７１１】
適正露出時間Ｔp、実際の露出時間Ｔa、および、手ぶれが発生しない限界の露出時間としての閾値Ｔblurを求めるために必要な焦点距離の情報を得る方法（露出決定方法）は従来から沢山あるが、それらのいずれの方法を使用して、適正露出時間Ｔp、実際の露出時間Ｔa、および、焦点距離の情報を得てもよい。つまり、適正露出時間Ｔp、実際の露出時間Ｔa、および、焦点距離の情報を得る方法は限定されるものではない。
【０７１２】
また、本発明は、通常のディジタルカメラで行われる撮影処理と同様の通常撮影モードの撮影処理（第１撮影処理）と、高速に連続撮像を行うことにより、複数の撮像画像（適正露出で撮像された画像よりも暗い画像）を得て、その複数の撮像画像の重ね合わせ、あるいは補間などによって１枚の鮮明な出力画像を生成する手ぶれ補正モードの撮影処理（第２乃至第４撮影処理）のうちのいずれの撮影処理で撮影をするべきかを自動で設定（決定）する処理（撮影モードの決定処理）に関するものである。
【０７１３】
つまり、図４５のステップＳ５２１における第１判定の処理が、本発明において重要である。即ち、通常撮影モードの撮影処理（第１撮影処理）で撮影を行うと仮定した際に、出力画像に手ぶれによるボケを生じる可能性があるか否かの判定が重要であり、この判定を行う第１判定の処理により、「通常撮影モードの撮影処理（第１撮影処理）」で撮影を行うか、「高速に連続撮像を行うことにより、複数の撮像画像（適正露出で撮像された画像よりも暗い画像）を得て、その複数の撮像画像の重ね合わせ、あるいは補間などによって1枚の鮮明な出力画像を生成する手ぶれ補正モードの撮影処理（第２乃至第４撮影処理）」で撮影を行うかを選択（決定）している。この点が、本発明のポイントである。
【０７１４】
従って、高速に連続撮像を行うことにより、複数枚の撮像画像（適正露出で撮像された画像よりも暗い画像）から１枚の鮮明な出力画像を生成する方法（処理）は、上述の画像生成処理に限定するものではなく、その他、従来からある方法を含め、任意の方法を採用することができる。
【図面の簡単な説明】
【０７１５】
【図１】本発明を適用したディジタルカメラ１の一実施の形態の構成例を示すブロック図である。
【図２】図１のディジタルカメラ１の撮影処理を説明するフローチャートである。
【図３】図１の撮像素子４の画素の配列を示す図である。
【図４】図１の信号処理回路７の詳細な構成例を示すブロック図である。
【図５】１枚目画像を示す図である。
【図６】２枚目画像を示す図である。
【図７】３枚目画像を示す図である。
【図８】１枚目画像の座標系上で観測される画素値を説明する図である。
【図９】出力画像を示す図である。
【図１０】画素の位置をプロットした基準座標系を示す図である。
【図１１】位置（I'，J'）の緑色の光量Lg（I'，J'）の推定を説明する図である。
【図１２】画像生成処理を説明するフローチャートである。
【図１３】キュービック関数を示す波形図である。
【図１４】基準座標系上の位置の画素値を説明する図である。
【図１５】例外状態を説明する図である。
【図１６】G信号の例外処理を説明する図である。
【図１７】G信号の例外処理を説明する図である。
【図１８】R信号の例外処理を説明する図である。
【図１９】R信号の例外処理を説明する図である。
【図２０】画像生成処理を説明するフローチャートである。
【図２１】画像生成処理を説明するフローチャートである。
【図２２】緑色の光量Lg（I'，J'）を求める演算処理を説明するフローチャートである。
【図２３】赤色の光量Lr（I'，J'）を求める演算処理を説明するフローチャートである。
【図２４】青色の光量Lb（I'，J'）を求める演算処理を説明するフローチャートである。
【図２５】撮像画像４０１1乃至４０１8を示す図である。
【図２６】１枚目の撮像画像を基準画像とした場合に得られる出力画像を説明する図である。
【図２７】中間画像を基準画像とした場合に得られる出力画像を説明する図である。
【図２８】図１のディジタルカメラ１の処理を説明するフローチャートである。
【図２９】基準画像を示す平面図である。
【図３０】画像生成処理を説明するフローチャートである。
【図３１】画像生成処理を説明するフローチャートである。
【図３２】画像生成処理を説明するフローチャートである。
【図３３】画像生成処理を説明するフローチャートである。
【図３４】画像生成処理を説明するフローチャートである。
【図３５】画像生成処理を説明するフローチャートである。
【図３６】画像生成処理を説明するフローチャートである。
【図３７】画像生成処理を説明するフローチャートである。
【図３８】画像生成処理を説明するフローチャートである。
【図３９】画像生成処理を説明するフローチャートである。
【図４０】画像生成処理を説明するフローチャートである。
【図４１】G信号の画素値（緑色の光量）を推定する演算処理を説明するフローチャートである。
【図４２】R信号の画素値（赤色の光量）を推定する演算処理を説明するフローチャートである。
【図４３】B信号の画素値（青色の光量）を推定する演算処理を説明するフローチャートである。
【図４４】図１ディジタルカメラ１の撮影処理を説明するフローチャートである。
【図４５】撮影モードの決定処理を説明するフローチャートである。
【図４６】第１判定の処理を説明するフローチャートである。
【図４７】第２判定の処理を説明するフローチャートである。
【図４８】第３判定の処理を説明するフローチャートである。
【図４９】第４判定の処理を説明するフローチャートである。
【図５０】ブランキング期間が出力画像に与える影響について説明する図である。
【符号の説明】
【０７１６】
１  ディジタルカメラ，  ２  レンズ，  ３  絞り，  ４  撮像素子，  ５  相関２重サンプリング回路，  ６  A/Dコンバータ，  ７  信号処理回路，  ８  タイミングジェネレータ，  ９  D/Aコンバータ，  １０  ビデオエンコーダ，  １１  モニタ，  １２  コーデック，  １３  メモリ，  １４  バス，  １５  CPU，  １６  入力デバイス，  １７  画像処理回路，  １８  制御回路，  １９  露出計，  ２１  シフト回路，  ２２1乃至２２N  フレームメモリ，  ２３1乃至２３N-1  動き検出回路，  ２４  演算回路，  ２５  コントローラ
【図１】
2006157168.tif 000042
【図２】
2006157168.tif 000043
【図３】
2006157168.tif 000044
【図４】
2006157168.tif 000045
【図５】
2006157168.tif 000046
【図６】
2006157168.tif 000047
【図７】
2006157168.tif 000048
【図８】
2006157168.tif 000049
【図９】
2006157168.tif 000050
【図１０】
2006157168.tif 000051
【図１１】
2006157168.tif 000052
【図１２】
2006157168.tif 000053
【図１３】
2006157168.tif 000054
【図１４】
2006157168.tif 000055
【図１５】
2006157168.tif 000056
【図１６】
2006157168.tif 000057
【図１７】
2006157168.tif 000058
【図１８】
2006157168.tif 000059
【図１９】
2006157168.tif 000060
【図２０】
2006157168.tif 000061
【図２１】
2006157168.tif 000062
【図２２】
2006157168.tif 000063
【図２３】
2006157168.tif 000064
【図２４】
2006157168.tif 000065
【図２５】
2006157168.tif 000066
【図２６】
2006157168.tif 000067
【図２７】
2006157168.tif 000068
【図２８】
2006157168.tif 000069
【図２９】
2006157168.tif 000070
【図３０】
2006157168.tif 000071
【図３１】
2006157168.tif 000072
【図３２】
2006157168.tif 000073
【図３３】
2006157168.tif 000074
【図３４】
2006157168.tif 000075
【図３５】
2006157168.tif 000076
【図３６】
2006157168.tif 000077
【図３７】
2006157168.tif 000078
【図３８】
2006157168.tif 000079
【図３９】
2006157168.tif 000080
【図４０】
2006157168.tif 000081
【図４１】
2006157168.tif 000082
【図４２】
2006157168.tif 000083
【図４３】
2006157168.tif 000084
【図４４】
2006157168.tif 000085
【図４５】
2006157168.tif 000086
【図４６】
2006157168.tif 000087
【図４７】
2006157168.tif 000088
【図４８】
2006157168.tif 000089
【図４９】
2006157168.tif 000090
【図５０】
2006157168.tif 000091