(57)【要約】【課題】カメラが三脚で固定されている場合等においても、超解像処理によって良好な高解像度画像を得る。【解決手段】動き判定部４５は、撮影によって得られたフレーム画像間の位置ずれの大きさに基づき、画像上における被写体の動きの有無を判定する。レンズ制御部４６は、被写体の動きが無いと判断され且つユーザによるズーム倍率変更指示が無い時、ズームレンズを駆動することによって光学ズーム倍率（及び撮影画角）を意図的に変化させる。この変化の過程で、撮影時の光学ズーム倍率が互いに異なる３枚のフレーム画像が３枚の低解像度画像として得られる。光学ズーム倍率の相違に起因して、低解像度画像間には位置ずれが発生する。この位置ずれを利用した超解像処理により、３枚の低解像度画像から高解像度画像を生成する。【選択図】図３
2010287954.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮影を行う撮像部と、
前記撮像部における撮影画角を調整する光学ズーム制御部と、
前記撮像部の撮影によって得られた複数の低解像度画像から各低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度化処理部と、を備えた撮像装置であって、
前記複数の低解像度画像に含まれる互いに異なる低解像度画像間には位置ずれが存在し、
前記光学ズーム制御部は、前記複数の低解像度画像の撮影画角を互いに異ならせることで前記位置ずれを発生させる
ことを特徴とする撮像装置。
【請求項２】
画像上における前記被写体の動きの有無を検出する動き検出部を更に備え、
前記被写体の動きが無いと検出された場合に、前記光学ズーム制御部によって前記撮影画角を変更させつつ前記撮像部に複数回の撮影を行わせることにより、前記複数の低解像度画像を得る
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
画像上における前記被写体の動きの有無を検出する動き検出部と、外部から前記撮影画角の変更指示を受け付ける操作部と、を更に備え、
前記被写体の動きが無いと検出され且つ前記変更指示が無い場合に、前記光学ズーム制御部によって前記撮影画角を変更させつつ前記撮像部に複数回の撮影を行わせることにより、前記複数の低解像度画像を得る
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記被写体の動きが無いと検出され且つ前記変更指示が無い場合、前記光学ズーム制御部は、撮影の度に前記撮影画角を変化させ且つ複数回の撮影を単位として前記撮影画角を周期的に変化させ、前記高解像度化処理部は、前記撮像部の撮影によって次々と得られる時間的に連続する複数の画像の組を前記複数の低解像度画像として用いて前記高解像度画像を次々と生成する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
入射した被写体の光学像を表す信号を出力する撮像素子を有し、前記撮像素子の出力信号から撮影による画像を生成する撮像部と、
前記光学像の前記撮像素子への入射位置を調整する入射位置調整部と、
前記撮像部の撮影によって得られた複数の低解像度画像から各低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度化処理部と、
画像上における前記被写体の動きの有無を検出する動き検出部と、を備えた撮像装置であって、
前記複数の低解像度画像に含まれる互いに異なる低解像度画像間には位置ずれが存在し、
前記入射位置調整部は、前記被写体の動きが無いと検出された場合に、前記複数の低解像度画像間で前記入射位置を互いに異ならせることで前記位置ずれを発生させる
ことを特徴とする撮像装置。
【請求項６】
前記撮像部における撮影画角を調整する光学ズーム制御部と、
外部から前記撮影画角の変更指示を受け付ける操作部と、を更に備え、
前記被写体の動きが無いと検出され且つ前記変更指示が無い場合に、前記入射位置調整部を用いて前記入射位置を変更させつつ前記撮像部に複数回の撮影を行わせることにより、前記複数の低解像度画像を得る
ことを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
互いに位置ずれを有する複数の低解像度画像に基づいて低解像度画像よりも解像度の高い高解像度画像を生成する高解像度化処理が提案されており、このような高解像度化処理は、超解像処理とも呼ばれている。
【０００３】
超解像処理では、複数の低解像度画像間に位置ずれが存在していることが前提となっている。即ち、第１の低解像度画像上における或る被写体の位置と第２の低解像度画像上における該被写体の位置との間にずれが存在している必要がある。撮像装置の筐体が手で支持されている時などにおいては、複数の低解像度画像の撮影期間中に撮像装置に作用した手ぶれによって上記の位置ずれ（換言すれば、画像上における被写体の動き）が発生する。しかしながら、例えば、三脚を用いて撮像装置が固定されている時には位置ずれが発生せず、結果、適切な高解像度画像を生成できないことがある。
【０００４】
下記特許文献１の技術では、ユーザがズーム操作を行う過程で得られた望遠の画像及び広角の画像をズーム率に応じてスケーリングしながら合成することで、広角でありながら、注目領域に対しては高分解能を有する１枚の画像を生成している。但し、上記望遠の画像及び広角の画像は、ユーザによるズーム率変更操作に従って得られるものであって、両画像間に超解像処理に適した所望の位置ずれが生じるか否かは不明である。特許文献１の技術は、位置ずれの有無に関係なく且つ位置ずれを利用することなく、単にスケーリングを利用して広角の画像中に望遠の画像を嵌め込み合成するものと考えられる。このように、特許文献１の技術は、位置ずれに関する上記のような課題を解決するものではない。
【０００５】
また、下記特許文献２では、光学像の撮像手段上への入射位置をずらすシフト手段を用いて上記位置ずれを発生させている。しかしながら、特許文献２の構成では、画像上における被写体の動きの有無やユーザ操作等が考慮されていないため、実使用上、問題が生じると共に、シフト手段が不要な状況においても無条件にシフト手段が駆動されるため電力消費の観点からも好ましくない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２５２４２８号公報
【特許文献２】特開２００８−１４７７１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで本発明は、安定的に良好な高解像度画像を生成可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る第１の撮像装置は、被写体の撮影を行う撮像部と、前記撮像部における撮影画角を調整する光学ズーム制御部と、前記撮像部の撮影によって得られた複数の低解像度画像から各低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度化処理部と、を備えた撮像装置であって、前記複数の低解像度画像に含まれる互いに異なる低解像度画像間には位置ずれが存在し、前記光学ズーム制御部は、前記複数の低解像度画像の撮影画角を互いに異ならせることで前記位置ずれを発生させることを特徴とする。
【０００９】
これにより、画像上における被写体の動きが無いと判断される場合などにおいても、位置ずれを利用した良好な高解像度画像を生成することが可能となる。
【００１０】
具体的には例えば、前記第１の撮像装置は、画像上における前記被写体の動きの有無を検出する動き検出部を更に備え、前記被写体の動きが無いと検出された場合に、前記光学ズーム制御部によって前記撮影画角を変更させつつ前記撮像部に複数回の撮影を行わせることにより、前記複数の低解像度画像を得る。
【００１１】
被写体の動きが有無を考慮して、複数の低解像度画像を得るための撮影画角変更の実行／不実行を決定すれば、撮影画角の無用な変更が抑制されて電力消費が抑制される。
【００１２】
或いは例えば、前記第１の撮像装置は、画像上における前記被写体の動きの有無を検出する動き検出部と、外部から前記撮影画角の変更指示を受け付ける操作部と、を更に備え、前記被写体の動きが無いと検出され且つ前記変更指示が無い場合に、前記光学ズーム制御部によって前記撮影画角を変更させつつ前記撮像部に複数回の撮影を行わせることにより、前記複数の低解像度画像を得る。
【００１３】
被写体の動きが有無及び外部からの撮影画角の変更指示（例えばユーザによる変更指示）を考慮して、複数の低解像度画像を得るための撮影画角変更の実行／不実行を決定すれば、撮影画角の無用な変更が抑制されて電力消費が抑制される。
【００１４】
更に具体的には例えば、前記第１の撮像装置において、前記被写体の動きが無いと検出され且つ前記変更指示が無い場合、前記光学ズーム制御部は、撮影の度に前記撮影画角を変化させ且つ複数回の撮影を単位として前記撮影画角を周期的に変化させ、前記高解像度化処理部は、前記撮像部の撮影によって次々と得られる時間的に連続する複数の画像の組を前記複数の低解像度画像として用いて前記高解像度画像を次々と生成する。
【００１５】
本発明に係る第２の撮像装置は、入射した被写体の光学像を表す信号を出力する撮像素子を有し、前記撮像素子の出力信号から撮影による画像を生成する撮像部と、前記光学像の前記撮像素子への入射位置を調整する入射位置調整部と、前記撮像部の撮影によって得られた複数の低解像度画像から各低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度化処理部と、画像上における前記被写体の動きの有無を検出する動き検出部と、を備えた撮像装置であって、前記複数の低解像度画像に含まれる互いに異なる低解像度画像間には位置ずれが存在し、前記入射位置調整部は、前記被写体の動きが無いと検出された場合に、前記複数の低解像度画像間で前記入射位置を互いに異ならせることで前記位置ずれを発生させる。
【００１６】
これにより、画像上における被写体の動きが無いと判断される場合などにおいても、位置ずれを利用した良好な高解像度画像を生成することが可能となる。また、被写体の動きが有無を考慮して、複数の低解像度画像を得るための入射位置調整の実行／不実行を決定するため、入射位置の無用な調整が抑制されて入射位置調整に関わる電力消費が抑制される。
【００１７】
また例えば、前記第２の撮像装置は、前記撮像部における撮影画角を調整する光学ズーム制御部と、外部から前記撮影画角の変更指示を受け付ける操作部と、を更に備え、前記被写体の動きが無いと検出され且つ前記変更指示が無い場合に、前記入射位置調整部を用いて前記入射位置を変更させつつ前記撮像部に複数回の撮影を行わせることにより、前記複数の低解像度画像を得る。
【００１８】
外部からの撮影画角の変更指示（例えばユーザによる変更指示）をも考慮して、複数の低解像度画像を得るための入射位置調整の実行／不実行を決定するようにすれば、電力消費の更なる抑制が期待される。
【００１９】
更に具体的には例えば、前記第２の撮像装置において、前記被写体の動きが無いと検出され且つ前記変更指示が無い場合、前記入射位置調整部は、撮影の度に前記入射位置を変化させ且つ複数回の撮影を単位として前記入射位置を周期的に変化させ、前記高解像度化処理部は、前記撮像部の撮影によって次々と得られる時間的に連続する複数の画像の組を前記複数の低解像度画像として用いて前記高解像度画像を次々と生成する。
【発明の効果】
【００２０】
本発明によれば、安定的に良好な高解像度画像を生成可能な撮像装置を提供することが可能となる。
【００２１】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】図１の撮像装置の一部ブロック図である。
【図４】任意の二次元画像が配置されるＸＹ座標面を示す図である。
【図５】低解像度画像の画素が配置される格子を示す図である。
【図６】共通座標系上における３枚の低解像度画像の画素位置を示す図である。
【図７】高解像度画像の画素が配置される格子を示す図である。
【図８】本発明の第１実施例に係る低解像度画像列を示す図である。
【図９】本発明の第１実施例に係り、高解像度画像の元となる３枚の対象画像を示す図である。
【図１０】本発明の第１実施例に係り、３枚の対象画像の撮影範囲を示す図である。
【図１１】本発明の第１実施例に係り、共通座標系上における３枚の対象画像の画素位置を示す図である。
【図１２】本発明の第２実施例に係る低解像度画像列を示す図である。
【図１３】本発明の第３実施例に係る低解像度画像列を示す図である。
【図１４】本発明の第４実施例に係る低解像度画像列を示す図である。
【図１５】本発明の第５実施例に係る低解像度画像列を示す図である。
【図１６】本発明の第６実施例に係り、高解像度画像の元となる３枚の対象画像を示す図である。
【図１７】本発明の第６実施例に係り、共通座標系上における３枚の対象画像の画素位置を示す図である。
【図１８】本発明の第７実施例に係る低解像度画像列を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２４】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。但し、撮像装置１を、静止画像のみを撮影可能なデジタルスチルカメラとして構成するようにしてもよい。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。
【００２５】
図２は、図１の撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０、フォーカスレンズ３１及び補正レンズ３６を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能であり、補正レンズ３６は光軸に対して傾きを持った方向に移動可能である。具体的には、補正レンズ３６は、光軸に直交する２次元平面上を移動可能なように光学系３５内に設置される。
【００２６】
被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００２７】
撮像素子３３は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素（不図示）を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
【００２８】
ドライバ３４は、ＣＰＵ２３からのレンズ制御信号に基づいて、ズームレンズ３０、フォーカスレンズ３１及び補正レンズ３６を移動させる。ズームレンズ３０の位置を変化させることによって、撮像部１１の焦点距離及び撮像部１１による撮影の画角（以下、単に撮影画角という）が変化すると同時に光学ズーム倍率が変化する。光学ズーム倍率がＫ倍になれば（Ｋは任意の正の数）、撮像素子３３上における被写体の光学像の大きさが水平及び垂直方向の夫々においてＫ倍になる。
【００２９】
フォーカスレンズ３１の位置を変化させることによって、撮像部１１の焦点位置が調整される。補正レンズ３６の位置を変化させることによって、光軸がずらされ、撮像素子３３に対する光学像の入射位置が変化する。また、ドライバ３４は、ＣＰＵ２３からの絞り制御信号に基づいて、絞り３２の開口量（開口部の大きさ）を制御する。絞り３２の開口量が大きくなるに従って、撮像素子３３への単位時間当たりの入射光量は増大する。
【００３０】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００３１】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。
【００３２】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００３３】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００３４】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００３５】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、撮像部１１から被写体の撮影画像列が取得される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。また、画像を表すデジタルの映像信号を画像データとも呼ぶ。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１つのフレーム周期分の画像データによって表現される１枚分の画像を、フレーム画像とも呼ぶ。以下に説明される撮像装置１の動作は、特に記述なき限り、撮影モードにおける動作である。
【００３６】
映像信号処理部１３は、ＣＰＵ２３と協働しつつ、高解像度化処理の一種である超解像処理を実施することが可能に形成されている。超解像処理によって、複数の低解像度画像から１枚の高解像度画像が生成される。この高解像度画像の映像信号を、圧縮処理部１６を介して外部メモリ１８に記録することができる。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の水平方向及び垂直方向の画素数は、低解像度画像のそれよりも多い。撮像装置１では、撮像部１１の撮影によって得られたフレーム画像が低解像度画像として利用される。
【００３７】
複数の低解像度画像から１枚の高解像度画像を生成する超解像処理として、公知の超解像処理を含む任意の超解像処理を利用可能である。例えば、ＭＡＰ（Maximum A Posterior）法、ＭＬ（Maximum-Likelihood）法、ＰＯＣＳ（Projection Onto Convex Set）法、または、ＩＢＰ（Iterative Back Projection）法に基づく超解像処理を利用することが可能である。
【００３８】
時刻ｔkの撮影によって得られた低解像度画像（フレーム画像）をＦkにて表す。ここで、ｋは自然数である。時刻ｔk+1は、時刻ｔkよりも後に訪れる時刻である。時刻ｔkと時刻ｔk+1との間の時間長さは、例えば、フレーム周期に相当する。
【００３９】
尚、本明細書では、記述の簡略化上、符号を参照することによって該符号に対応する名称を省略又は略記することがある。例えば、低解像度画像Ｆkを単に画像Ｆkと表記することもあるが、両者は同じものを指す。また、本明細書では、或る画像の画像データのことを、単に画像と呼ぶこともある。
【００４０】
背景技術の説明においても述べたように、超解像処理によって良好な高解像度画像を生成するためには、超解像処理に用いる低解像度画像列上において被写体に動きが存在している必要がある。即ち、被写体の画像上における位置が、複数の低解像度画像間でずれている必要がある（複数の低解像度画像間に位置ずれが存在している必要がある）。撮像装置１の筐体が手で支持されている時などにおいては、複数の低解像度画像の撮影期間中に撮像装置１に作用した手ぶれによって上記の位置ずれ（換言すれば、動き）が発生する。しかしながら、例えば、三脚を用いて撮像装置１が固定されている時には位置ずれが発生せず、結果、適切な高解像度画像を生成できないことがある。撮像装置１は、三脚を用いて撮像装置１が固定されている時などにおいても、適切な位置ずれを発生させて良好な高解像度画像を生成する機能を備える。
【００４１】
撮像装置１に内在する、このような機能を担う部位のブロック図を、図３に示す。図３のフレームメモリ４１Ａ、４１Ｂ及び４１Ｃを有するメモリ４１は、例えば、図１の内部メモリ１７内に設けられる。図３の符号４２〜４５によって参照される各部位は、例えば、図１の映像信号処理部１３内に設けられる。図３のレンズ制御部４６は、図２のドライバ３４と、ドライバ３４に上記レンズ制御信号を与えるＣＰＵ２３と、によって実現される。
【００４２】
フレームメモリ４１Ａ、４１Ｂ及び４１Ｃの夫々は、ＡＦＥ１２からのデジタル信号によって表される、１フレーム分の低解像度画像の画像データを一時的に記憶する。フレームメモリ４１Ａの記憶内容は、１枚の低解像度画像の画像データが取得されるたびに、順次、フレームメモリ４１Ｂ及び４１Ｃに転送される。これにより、低解像度画像Ｆk、Ｆk+1及びＦk+2の画像データがＡＦＥ１２から得られた時点においては、フレームメモリ４１Ａ、４１Ｂ及び４１Ｃに、夫々、低解像度画像Ｆk+2、Ｆk+1及びＦkの画像データが記憶される。
【００４３】
動き算出部４２には、ＡＦＥ１２より現フレームの低解像度画像の画像データと、フレームメモリ４１Ａより前回フレームの低解像度画像の画像データとが与えられる。動き算出部４２は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、与えられた両画像データに基づき、与えられた２枚の低解像度画像間の位置ずれを表す動きベクトルを算出する（換言すれば、２枚の低解像度画像間における、画像上の被写体の動きを表す動きベクトルを算出する）。この動きベクトルは、水平成分及び垂直成分を含む二次元量である。動き算出部４２によって算出される動きベクトルは、低解像度画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、低解像度画像内の、水平又は垂直方向に隣接する２つの画素の間隔ｐｐLよりも短い距離を最小単位として動きベクトルの水平成分及び垂直成分が算出される。サブピクセルの分解能を有する動きベクトルの算出方法として、公知の算出方法を用いることができる。
【００４４】
動き算出部４２によって算出された、低解像度画像Ｆk及びＦk+1間の動きベクトルをＭＶ［ｋ，ｋ＋１］によって表す。時間の経過と共に現フレームは次々と変化してゆき、動き算出部４２によって、時間的に隣接する２枚の低解像度画像間の動きベクトルが次々と算出される。算出された動きベクトルは、必要分だけ、動き記憶部４３に記憶される。
【００４５】
超解像処理部４４は、メモリ４１からの低解像度画像Ｆk、Ｆk+1及びＦk+2の画像データと動き記憶部４３に記憶された動きベクトル（例えば、ＭＶ［ｋ，ｋ＋１］及びＭＶ［ｋ，ｋ＋２］）とに基づく超解像処理によって、１枚の高解像度画像を生成する。
【００４６】
後に動き判定部４５及びレンズ制御部４６を利用した超解像処理を説明するが、動き判定部４５及びレンズ制御部４６を利用することなく、メモリ４１からの低解像度画像Ｆk、Ｆk+1及びＦk+2の画像データと動き記憶部４３に記憶された動きベクトルとに基づいて実行される超解像処理を、特に、基本超解像処理と呼ぶ。基本超解像処理の対象となる３枚の低解像度画像の撮影期間中において、ズームレンズ３０及び補正レンズ３６の位置は固定されているものとする。即ち、基本超解像処理の対象となる３枚の低解像度画像が画像Ｆk、Ｆk+1及びＦk+2である場合、画像Ｆkの露光期間の開始時点から画像Ｆk+2の露光期間の終了時点まで、ズームレンズ３０及び補正レンズ３６の位置は固定されているものとする。
【００４７】
低解像度画像Ｆk、Ｆk+1及びＦk+2の画像データ並びに動きベクトルＭＶ［ｋ，ｋ＋１］及びＭＶ［ｋ，ｋ＋２］に基づく基本超解像処理を簡単に説明する。
【００４８】
図４に、任意の二次元画像が配置されるべき二次元座標面としてのＸＹ座標面を示す。図４において、符号２００が付された矩形枠は、二次元画像の外形枠を表している。ＸＹ座標面は、二次元画像２００の水平方向に伸びるＸ軸と、二次元画像２００の垂直方向に伸びるＹ軸と、を座標軸として有する。本明細書において述べられる画像は、全て、特に記述なき限り二次元画像である。ＸＹ座標面上及び二次元画像２００上における或る注目点の位置を（ｘ，ｙ）にて表す。ｘは、該注目点のＸ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像２００上における該注目点の水平位置を表す。ｙは、該注目点のＹ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像２００上における該注目点の垂直位置を表す。ＸＹ座標面及び二次元画像２００において、注目点のＸ軸座標値であるｘの値が増加するにつれて該注目点の位置は右側に移動し、注目点のＹ軸座標値であるｙの値が増加するにつれて該注目点の位置は下側に移動するものとする。
【００４９】
図５（ａ）〜（ｃ）は、夫々、低解像度画像Ｆk、Ｆk+1及びＦk+2を形成する画素の配置位置を表す格子を示している。任意の低解像度画像上において、水平方向に隣接する２つの画素の間隔はｐｐLであり、垂直方向に隣接する２つの画素の間隔もｐｐLである。任意の低解像度画像上において、画素位置（ｘ，ｙ）から距離（Δ×ｐｐL）だけ右方向に移動した位置は（ｘ＋Δ，ｙ）であり、画素位置（ｘ，ｙ）から距離（Δ×ｐｐL）だけ下方向に移動した位置は（ｘ，ｙ＋Δ）である（Δは任意の値）。更に、任意の低解像度画像において、或る１つの画素の位置が（ｘ，ｙ）と一致しているものとする。画素は水平及び垂直方向においてゼロではない長さを持っている。例えば、低解像度画像上における或る１つの画素の水平及び垂直方向の長さは夫々ｐｐLである。本明細書において、或る画素の位置とは、その画素の中心位置を指すものとする。高解像度画像の元となる複数の低解像度画像間の位置ずれには、低解像度画像の１画素の幅（即ち、ｐｐL）未満の成分が含まれている必要がある。
【００５０】
超解像処理において、画像Ｆk、Ｆk+1及びＦk+2は、二次元の共通座標系に配置して考えられる。今、共通座標系が画像Ｆkの座標系と一致しているものとする。図６は、共通座標系に配置された画像Ｆk、Ｆk+1及びＦk+2の格子及び画素を表している。図６において、黒丸は画像Ｆkの画素を表すと共に画像Ｆkの画素が配置される位置を表し、黒三角形は画像Ｆk+1の画素を表すと共に画像Ｆk+1の画素が配置される位置を表し、黒四角形は画像Ｆk+2の画素を表すと共に画像Ｆk+2の画素が配置される位置を表している（後述の図１１及び図１７についても同様）。画像Ｆkを形成する画素が共通座標系において二次元配列される格子を画像Ｆkの格子と呼ぶ（画像Ｆk+1及びＦk+2等についても同様）。
【００５１】
画像Ｆk+1は、画像Ｆkを動きベクトルＭＶ［ｋ，ｋ＋１］に相当する分だけ位置ずれさせた画像であるとみなすことができるため、画像Ｆkを基準とした画像Ｆk+1の位置ずれが打ち消されるように、共通座標系上に画像Ｆk及びＦk+1の格子を設定する。例えば、画像Ｆkから見た画像Ｆk+1の動きベクトルの向きが右向きであって且つ該動きベクトルの大きさがｐｐL／２である場合、画像Ｆkの格子から、左方向にｐｐL／２だけずらした位置に画像Ｆk+1の格子を設定する。同様に、動きベクトルＭＶ［ｋ，ｋ＋２］に基づき、画像Ｆkの格子を基準として画像Ｆk+2の格子が共通座標系上に設定される。尚、画像Ｆk+1又はＦk+2を基準にして、共通座標系上における画像Ｆk、Ｆk+1及びＦk+2の格子位置の設定を行うようにしても良い。
【００５２】
水平及び垂直方向の夫々において高解像度画像の解像度を低解像度画像のそれの２倍にする場合、即ち、高解像度画像の水平及び垂直方向における隣接画素間隔をｐｐL／２にする場合、図７に示すような高解像度画像Ｈkの格子を共通座標系に設定する。この場合、画像Ｈkの格子には、水平方向及び垂直方向の夫々においてｐｐL／２間隔で格子点が存在し、各格子点に画像Ｈkの画素が配置される。従って、位置（ｘ，ｙ）に画像Ｈk上の１画素が配置されるならば、画像Ｈkは、位置（ｘ＋０．５ｐ，ｙ＋０．５ｑ）に配置された各画素から形成されることとなる（ｐ及びｑは整数）。図３の超解像処理部４４は、共通座標系に配置された画像Ｆk、Ｆk+1及びＦk+2の各画素の画像データに基づき、画像データの補間等を利用して画像Ｈkの各画素の画像データを生成する。
【００５３】
図３の動き判定部４５は、動き算出部４２によって算出された動きベクトルに基づいて、画像上における被写体の動きの有無を判定する。ここにおける動きは、複数の静止画像間の動きを指すため、「画像上における被写体の動き」という表記中の画像とは、複数のフレーム画像から成るフレーム画像列又は複数のフレーム画像から成る動画像を意味する。動き判定部４５によって有無が判定されるべき「画像上における被写体の動き」を、以下では、「被写体の動き」と略記することがある。動き判定部４５による、被写体の動きの有無の判定方法については、後に詳説する。
【００５４】
ユーザは、操作部２６に対して所定のズーム操作を行うことで、撮像装置１の光学ズーム倍率の変更を指示することができる。このズーム操作による該指示を、ズーム倍率変更指示と呼ぶ。光学ズーム倍率の変更によって撮影画角も変更されるため、ズーム倍率変更指示を撮影画角の変更指示と呼ぶこともできる。ズーム倍率変更指示の有無及び内容はレンズ制御部４６に伝達される。
【００５５】
ズーム倍率変更指示があった場合、レンズ制御部４６は、ズーム倍率変更指示に従った光学ズーム倍率が得られるように、ズームレンズ３０を移動させる。更に、レンズ制御部４６は、超解像処理に利用される低解像度画像間に適切な位置ずれが発生するように、動き判定部４５の判定結果及び／又はズーム倍率変更指示の有無に基づき、必要であればズームレンズ３０又は補正レンズ３６を移動させる。
【００５６】
動き判定部４５及びレンズ制御部４６を利用した超解像処理に関する実施例として、以下に、第１〜第７実施例を説明する。各実施例では、超解像処理を利用することがユーザによって指定されている時の動作を説明する。矛盾無き限り、或る実施例に記載した事項を、他の実施例に適用することができる。
【００５７】
以下では、水平及び垂直方向の夫々において高解像度画像の解像度が低解像度画像のそれの２倍にされるものとする。尚、超解像処理によって生成される高解像度画像の元となる低解像度画像を、以下、特に対象画像とも呼ぶ。
【００５８】
＜＜第１実施例＞＞
まず、第１実施例を説明する。第１実施例では、静止画像の撮影指示がなされた場合に有益な動作方法を説明する。シャッタボタン２６ｂの押下操作が静止画像の撮影指示に相当する。
【００５９】
撮像装置１は、シャッタボタン２６ｂの押下操作による静止画像の撮影指示があった際、３枚の対象画像となるべき３枚のフレーム画像を連続的に撮影する。図８に示す如く、その３枚の対象画像が画像Ｆk、Ｆk+1及びＦk+2である場合を想定する。上述したように、撮影モードにおいては、所定のフレーム周期にて周期的に被写体の撮影が行われている。従って、画像Ｆkの撮影前に画像Ｆk-1の撮影が行われ、画像Ｆk-1の撮影前に画像Ｆk-2の撮影が行われている。
【００６０】
図３の動き算出部４２は、対象画像としての低解像度画像間の動きベクトルだけでなく、対象画像以外の低解像度画像間の動きベクトルも算出する。動き判定部４５は、動き算出部４２によって算出された動きベクトルであって且つ画像Ｆkよりも前に撮影された画像に基づく動きベクトルより判定対象ベクトルを抽出し、判定対象ベクトルに基づいて画像上における被写体の動きの有無を判定する。単純には例えば、画像Ｆk-2及びＦk-1間の動きベクトルを判定対象ベクトルとして設定し、判定対象ベクトルの大きさが所定の判定閾値ＴＨ以下である場合に被写体の動きが無いと判断し、そうでない場合に被写体の動きが有ると判断する（ここで、ＴＨ＞０）。画像Ｆk-2及びＦk-1の動きベクトルに基づいて被写体の動きの有無を判定することは、画像Ｆk-2及びＦk-1間の位置ずれの有無を判定することと等価であり、それらの判定は、対象画像間に有意な位置ずれが発生しそうであるかを推定することに相当する（後述の他の実施例においても同様）。
【００６１】
複数の動きベクトルを判定対象ベクトルとして設定するようにしてもよい。例えば、画像Ｆk-3及びＦk-2間の動きベクトル及び画像Ｆk-2及びＦk-1間の動きベクトルの夫々を判定対象ベクトルとして設定することができる。この場合、各判定対象ベクトルの大きさを判定閾値ＴＨと比較して、全ての判定対象ベクトルの大きさが判定閾値ＴＨ以下である場合にのみ被写体の動きが無いと判断し、そうでない場合には、被写体の動きが有ると判断する。尚、シャッタボタン２６ｂの押下操作後に判定対象ベクトルの算出を行うことも可能であるが、実際には、シャッタボタン２６ｂの押下操作の有無に関わらず、撮影モードにおいて常に隣接フレーム画像間の動きベクトルの算出が行われており、シャッタボタン２６ｂの押下操作が成された時点で、既に算出されている動きベクトルに基づき被写体の動きの有無が判断される。静止画像の撮影に関する、後述の他の実施例についても同様である。
【００６２】
被写体の動きが有ると判断された場合、対象画像列上おいても被写体に動きが存在している可能性が高い（対象画像間に位置ずれが生じる可能性が高い）。従って、被写体の動きが有ると判断された場合、撮像装置１は、上述の基本超解像処理を実行する。
【００６３】
一方、被写体の動きが無いと判断された場合、撮像装置１の筐体が三脚等で固定されている可能性が高いと推定される。このため、被写体の動きが無いと判断された場合、レンズ制御部４６は、互いに位置ずれを有する対象画像Ｆk、Ｆk+1及びＦk+2を取得するべく、ズームレンズ３０の移動によって、対象画像Ｆk、Ｆk+1及びＦk+2の撮影画角を互いに異ならせる。対象画像Ｆk、Ｆk+1及びＦk+2の内の、任意の２枚の対象画像間の位置ずれに、低解像度画像の１画素の幅（即ち、ｐｐL）未満の成分が含まれるように、対象画像Ｆk、Ｆk+1及びＦk+2の撮影画角は設定される。
【００６４】
例えば、画像Ｆk-1の撮影時における光学ズーム倍率が５．０倍である場合、対象画像Ｆk、Ｆk+1及びＦk+2の撮影時における光学ズーム倍率が、夫々、５．０倍、４．９倍及び４．８倍となるように対象画像Ｆk及びＦk+1の撮影間及び対象画像Ｆk+1及びＦk+2の撮影間においてズームレンズ３０を移動させる。対象画像Ｆk及びＦk+1の撮影間とは、対象画像Ｆkの露光期間の終了時点と対象画像Ｆk+1の露光期間の開始時点との間の期間を指し（対象画像Ｆk+1及びＦk+2の撮影間についても同様）、各対象画像の露光期間中においてズームレンズ３０の位置は固定されている。対象画像Ｆk+2の撮影後、レンズ制御部４６は、速やかに光学ズーム倍率を５．０倍に戻す。
【００６５】
図９（ａ）〜（ｃ）に、夫々、光学ズーム倍率５．０倍、４．９倍及び４．８倍にて撮影された、対象画像Ｆk、Ｆk+1及びＦk+2としての画像２１１、２１２及び２１３を示す。特に記述無き限り、第１実施例における以下の記載中の対象画像Ｆk、Ｆk+1及びＦk+2は、夫々、光学ズーム倍率５．０倍、４．９倍及び４．８倍にて撮影された対象画像である。
【００６６】
図１０（ａ）〜（ｃ）に、画像２１１、２１２及び２１３の撮影時における撮影範囲を示す。図１０（ａ）〜（ｃ）において、実線四角枠２２１、２２２及び２２３は、夫々、画像２１１、２１２及び２１３の撮影時における撮影範囲の外枠を表しており、撮影範囲２２１、２２２及び２２３内の被写体の光学像が、夫々、画像２１１、２１２及び２１３として得られる。図１０（ｂ）は、光学ズーム倍率が５．０倍である時の撮影範囲２２１ａと画像２１２の撮影範囲２２２との関係を表しており、図１０（ｃ）は、光学ズーム倍率が５．０倍である時の撮影範囲２２１ｂと画像２１３の撮影範囲２２３との関係を表している。撮像装置１の筐体が三脚等で固定されている場合、撮影範囲２２２の中心と撮影範囲２２１ａの中心は一致し、水平及び垂直方向の夫々において、撮影範囲２２２の大きさは撮影範囲２２１ａの大きさの（５．０／４．９）倍になる。同様に、撮影範囲２２３の中心と撮影範囲２２１ｂの中心は一致し、水平及び垂直方向の夫々において、撮影範囲２２３の大きさは撮影範囲２２１ｂの大きさの（５．０／４．８）倍になる。
【００６７】
従って、超解像処理部４４は、画像２１１、２１２及び２１３の撮影時における光学ズーム倍率がそれぞれ５．０倍、４．９倍及び４．８倍であるという情報に基づき、図１１に示す如く、共通座標系において画像２１１、２１２及び２１３としての対象画像Ｆk、Ｆk+1及びＦk+2の格子及び画素を設定する。まず、位置（ｘ，ｙ）を基準にして考え、共通座標系の位置（ｘ，ｙ）に対象画像Ｆk、Ｆk+1及びＦk+2の各中心に配置された画素を配置する。図１１では、位置（ｘ，ｙ）に画像Ｆkの画素を表す黒丸のみが示されているが、実際には、画像Ｆkの中心に配置された画素、画像Ｆk+1の中心に配置された画素及び画像Ｆk+2の中心に配置された画素が、共通座標系の位置（ｘ，ｙ）に配置される。
【００６８】
画像Ｆk上における位置（ｘ＋ｐ，ｙ＋ｑ）の画素は、共通座標系においても位置（ｘ＋ｐ，ｙ＋ｑ）に配置される（ｐ及びｑは整数）。一方、画像Ｆk+1上における位置（ｘ＋ｐ，ｙ＋ｑ）の画素は、共通座標系において位置（ｘ＋（５．０／４．９）×ｐ，ｙ＋（５．０／４．９）×ｑ）に配置され、画像Ｆk+2上における位置（ｘ＋ｐ，ｙ＋ｑ）の画素は、共通座標系において位置（ｘ＋（５．０／４．８）×ｐ，ｙ＋（５．０／４．８）×ｑ）に配置される。これにより、共通座標系上では、位置（ｘ＋ｐ，ｙ＋ｑ）だけでなく、位置（ｘ＋（５．０／４．９）×ｐ，ｙ＋（５．０／４．９）×ｑ）及び（ｘ＋（５．０／４．８）×ｐ，ｙ＋（５．０／４．８）×ｑ）にも、実際の撮影に基づく画像データが存在する。
【００６９】
超解像処理部４４は、共通座標系に配置された画像Ｆk、Ｆk+1及びＦk+2の各画素の画像データに基づき、即ち、共通座標系上の位置（ｘ＋ｐ，ｙ＋ｑ）、（ｘ＋（５．０／４．９）×ｐ，ｙ＋（５．０／４．９）×ｑ）及び（ｘ＋（５．０／４．８）×ｐ，ｙ＋（５．０／４．８）×ｑ）の画像データに基づき、画像データの補間等を利用して画像Ｈkの各画素の画像データを生成する。
【００７０】
上述の如くズーム機能を利用して対象画像を得ることにより、撮像装置１の筐体が三脚で固定されている場合などにおいても、良好な高解像度画像を生成することができる。また、被写体の動きが無いと判断される場合にのみ、超解像処理にズーム機能を利用するため、光学ズーム倍率の無用な変更が抑制され、常にズーム機能を利用する場合と比べて電力消費が少なくて済む。
【００７１】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例では、動画像の撮影時に有益な動作方法を説明する。１回目に録画ボタン２６ａが押下された時点及び２回目に録画ボタン２６ａが押下された時点を夫々録画期間の開始時点及び終了時点とみなし、撮像装置１は、録画期間中に得られたフレーム画像列を動画像として外部メモリ１８に記録することができると共に、録画期間中に得られたフレーム画像列に基づく高解像度画像列を外部メモリ１８に記録することもできる。この高解像度画像列は、超解像処理によって生成される。
【００７２】
図３の動き算出部４２は、録画期間中において、次々と得られるフレーム画像としての低解像度画像の画像データに基づき、時間的に隣接する低解像度画像間の動きベクトルを順次算出する。
【００７３】
動き判定部４５は、録画期間中、動き算出部４２にて算出された動きベクトルに基づいて、常に被写体の動きの有無を判定する（即ち、１枚の低解像度画像が得られる度に被写体の動きの有無を判定する）。１枚の高解像度画像の元となる３枚の対象画像が画像Ｆk、Ｆk+1及びＦk+2である場合、動き判定部４５は、動き算出部４２によって算出された動きベクトルであって且つ画像Ｆkよりも前に撮影された画像に基づく動きベクトルより判定対象ベクトルを抽出し、判定対象ベクトルに基づいて被写体の動きの有無を判定する。この抽出及び判定方法は、第１実施例で述べたものと同様である。
【００７４】
レンズ制御部４６は、動き判定部４５によって被写体の動きが無いと判定され且つズーム倍率変更指示が成されていない期間にのみ、ズームレンズ３０の移動によって、１枚の高解像度画像の元となる３枚の対象画像の撮影画角を互いに異ならせる。動き判定部４５によって被写体の動きが有ると判定された場合、或いは、ズーム倍率変更指示が成された場合、撮像装置１は、上述の基本超解像処理を実行することができる。
【００７５】
第２実施例では、録画期間中においてズーム倍率変更指示が一切成されず且つ録画期間中において常に被写体の動きが無いと判定された場合を想定して、撮像装置１の動作を説明する。また、録画期間の開始時点において光学ズーム倍率が５．０倍であったとし、且つ、図１２に示す如く、録画開始後において、各低解像度画像が低解像度画像２５１、２５２、２５３、２５４、２５５、２５６、２５７、・・・の順番で撮影されたものとする。
【００７６】
レンズ制御部４６は、被写体の動きが無いという判定結果とズーム倍率変更指示が成されていないという事実に基づき、録画期間中において、１枚の低解像度画像の撮影を終える度に、光学ズーム倍率を順次５．０倍から４．９倍、４．８倍へと減少させる。但し、４．８倍の光学ズーム倍率にて１枚の低解像度画像の撮影を行った後は、光学ズーム倍率を５．０倍に戻す。即ち、録画期間中において、光学ズーム倍率５．０倍の状態での１枚の低解像度画像の撮影、光学ズーム倍率４．９倍の状態での１枚の低解像度画像の撮影及び光学ズーム倍率４．８倍の状態での１枚の低解像度画像の撮影から成る３回分の撮影を繰り返し実行する。従って、図１２に示す如く、画像２５１、２５４及び２５７の撮影時における光学ズーム倍率は５．０倍であり、画像２５２及び２５５の撮影時における光学ズーム倍率は４．９倍であり、画像２５３及び２５６の撮影時における光学ズーム倍率は４．８倍である。このような、ズーム倍率変更指示に基づかない光学ズーム倍率の周期的な変更を、以下、単に、光学ズーム倍率の周期的変更と呼ぶ。
【００７７】
超解像処理部４４は、時間的に連続する３枚の低解像度画像を３枚の対象画像として用いて、超解像処理により１枚の高解像度画像を生成する。画像２５１が時刻ｔkの低解像度画像である場合、画像２５１〜２５３を３枚の対象画像として用いて時刻ｔkの高解像度画像が生成され、画像２５２〜２５４を３枚の対象画像として用いて時刻ｔk+1の高解像度画像が生成され、画像２５３〜２５５を３枚の対象画像として用いて時刻ｔk+2の高解像度画像が生成され、画像２５４〜２５６を３枚の対象画像として用いて時刻ｔk+3の高解像度画像が生成される。時刻ｔk+4以降の高解像度画像についても同様である。上記の光学ズーム倍率の周期的変更により、３枚の対象画像の内の、任意の２枚の対象画像間の位置ずれに、低解像度画像の１画素の幅（即ち、ｐｐL）未満の成分が含まれることとなる。
【００７８】
撮影画角の異なる３枚の対象画像に基づく高解像度画像の生成方法は、第１実施例で述べたものと同様である。画像２５１、２５４及び２５７は、対象画像Ｆkとしての図９（ａ）の画像２１１と等価なものであり、画像２５２及び２５５は、対象画像Ｆk+1としての図９（ｂ）の画像２１２と等価なものであり、画像２５３及び２５６は、対象画像Ｆk+2としての図９（ｃ）の画像２１３と等価なものである。従って、画像２５１、２５２及び２５３を夫々画像２１１、２１２及び２１３として用いて時刻ｔkの高解像度画像を生成し、画像２５２、２５３及び２５４を夫々画像２１２、２１３及び２１１として用いて時刻ｔk+1の高解像度画像を生成し、画像２５３、２５４及び２５５を夫々画像２１３、２１１及び２１２として用いて時刻ｔk+2の高解像度画像を生成し、画像２５４、２５５及び２５６を夫々画像２１１、２１２及び２１３として用いて時刻ｔk+3の高解像度画像を生成すれば良い。時刻ｔk+4以降の高解像度画像についても同様である。
【００７９】
録画期間の終了後、レンズ制御部４６は、速やかに光学ズーム倍率を録画期間の開始前におけるそれ（即ち５．０倍）に戻す。
【００８０】
尚、動き算出部４２は、撮影時の光学ズーム倍率が互いに異なる２枚の低解像度画像間の動きベクトルを、その２枚の低解像度画像と、その２枚の低解像度画像の撮影時における光学ズーム倍率とに基づいて算出することができる。例えば、画像２５１及び２５２間の動きベクトルを求める場合、再標本化によって、画像２５１の画像サイズを（４．９／５．０）倍に縮小した画像を画像２５１ａとして生成し、画像２５１ａ及び画像２５２の画像データに基づく画像２５１ａ及び画像２５２間の動きベクトルを、画像２５１及び２５２間の動きベクトルとして求めることができる。但し、再標本化を行うことなく、画像２５１及び２５２間における光学ズーム倍率の相違を考慮して、画像２５１及び２５２の画像データから画像２５１及び２５２間の動きベクトルを直接求めることも可能である。画像２５２及び２５３間の動きベクトルや画像２５３及び２５４間の動きベクトル等も同様にして求めることができる。
【００８１】
また、撮影画角の異なる対象画像間では、同一の被写体が現れている画像領域（以下、共通画像領域という）の大きさが互いに異なる。例えば、光学ズーム倍率の周期的変更を介して得られた画像２５１〜２５３間では、共通画像領域の大きさが異なる。画像２５１〜２５３を３枚の対象画像として用いて超解像処理を行う場合には、画像２５１〜２５３の各共通画像領域における画像を用いて超解像処理が成される。画像２５１の共通画像領域は画像２５１の全体である一方、画像２５２の共通画像領域は画像２５２の全体の一部（画像２５２の全体の４．９／５．０）であり、且つ、画像２５３の共通画像領域も画像２５３の全体の一部（画像２５３の全体の４．８／５．０）である。画像２５１〜２５３の各共通画像領域における画像を用いて超解像処理を行うことで、共通画像領域の大きさの相違に影響を受けない、所望の画像サイズを有する高解像度画像を生成することができる。これは、光学ズーム倍率の周期的変更を介して得られた他の低解像度画像列（例えば、画像２５２〜２５４）についても同様であると共に、同様の内容が光学ズーム倍率の変更を利用した他の実施例における超解像処理にも当てはまる。
【００８２】
仮に、画像２５１〜２５３を得た後、画像２５１〜２５３に対して超解像処理を施さない場合には、画像の縮小又は拡大処理を用いて、画像２５１〜２５３間における共通画像領域の大きさの相違をなくすようにすればよい。即ち例えば、画像２５１〜２５３に対して超解像処理を施さない場合、画像２５２の共通画像領域内の画像を抽出して抽出画像の画像サイズを水平及び垂直方向に（５．０／４．９）倍することにより画像２５２の拡大画像２５２ａを生成し、且つ、画像２５３の共通画像領域内の画像を抽出して抽出画像の画像サイズを水平及び垂直方向に（５．０／４．８）倍することにより画像２５３の拡大画像２５３ａを生成し、画像２５１、２５２ａ及び２５３ａを外部メモリ１８に記録するようにする。これにより、画像上における被写体の大きさの相違をなくすことができる。これは、光学ズーム倍率の周期的変更を介して得られた他の低解像度画像列（例えば、画像２５２〜２５４）についても同様であると共に、同様の内容が光学ズーム倍率の変更を利用した他の実施例にも当てはまる。
【００８３】
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例では、録画期間中において被写体の動きが有ると判定された場合における撮像装置１の動作を説明する。第３実施例では、録画期間中においてズーム倍率変更指示が一切成されないことを想定する。
【００８４】
録画期間の開始時点において光学ズーム倍率が５．０倍であったとし、且つ、図１３に示す如く、録画開始後において、各低解像度画像が低解像度画像２６１、２６２及び２６３・・・の順番で撮影されたものとする。画像２６１よりも前に撮影された画像に基づく動きベクトルから、被写体の動きが無いと判断されたとする。そうすると、レンズ制御部４６は、画像２６１の撮影時点では５．０倍であった光学ズーム倍率を画像２６２の撮影時において４．９倍に変更する。
【００８５】
画像２６２の撮影後、動き算出部４２は、画像２６１及び２６２間の動きベクトルを算出する。画像２６１及び２６２間の動きベクトルに基づき、被写体の動きが無いと判断された場合には、第２実施例で述べたように画像２６３の撮影時における光学ズーム倍率が４．８倍とされて光学ズーム倍率５．０倍、４．９倍及び４．８倍の対象画像を用いた高解像度画像の生成が成されるが、今、画像２６１及び２６２間の動きベクトルに基づき、被写体の動きが有ると判断されたものとする（即ち、判定対象ベクトルとしての、画像２６１及び２６２間の動きベクトルの大きさが所定の判定閾値ＴＨよりも大きい場合を想定する）。この場合、レンズ制御部４６は、画像２６３の撮影時における光学ズーム倍率が４．９倍となるように、光学ズーム倍率の周期的変更を停止する。
【００８６】
動き算出部４２は、画像２６１及び２６２間の動きベクトルを、画像２６１及び２６２の画像データと画像２６１及び２６２の撮影時における光学ズーム倍率とに基づいて算出することができる。例えば、再標本化によって、画像２６１の画像サイズを（４．９／５．０）倍に縮小した画像を画像２６１ａとして生成し、画像２６１ａ及び画像２６２の画像データに基づく画像２６１ａ及び画像２６２間の動きベクトルを、画像２６１及び２６２間の動きベクトルとして求めることができる。但し、再標本化を行うことなく、画像２６１及び２６２間における光学ズーム倍率の相違を考慮して、画像２６１及び２６２の画像データから画像２６１及び２６２間の動きベクトルを直接求めることも可能である。
【００８７】
超解像処理部４４は、画像２６１ａ、２６２及び２６３の画像データと、画像２６１ａ及び２６２間の動きベクトル並びに画像２６２及び２６３間の動きベクトルとから、超解像処理によって１枚の高解像度画像を生成することも可能である。或いは、画像２６１〜２６３の撮影時における光学ズーム倍率と、画像２６１〜２６３の画像データと、画像２６１及び２６２間の動きベクトル並びに画像２６２及び２６３間の動きベクトルとに基づく超解像処理によって１枚の高解像度画像を生成することも可能である。
【００８８】
画像２６３の撮影後、被写体の動きが無いと判断された場合には、その判断後において、光学ズーム倍率の周期的変更を実行して、第２実施例で述べた動作により高解像度画像を生成することも可能である。例えば、画像２６２及び２６３間の動きベクトルを判定対象ベクトルとして捉え、その判定対象ベクトルの大きさが所定の判定閾値ＴＨ以下である場合、撮影時の光学ズーム倍率が４．８倍の低解像度画像と撮影時の光学ズーム倍率が５．０倍の低解像度画像が画像２６３に続けて撮影されるように、レンズ制御部４６はズームレンズ３０を駆動する。超解像処理部４４は、第１実施例で述べた方法に基づき、画像２６３と、画像２６３に続けて撮影された撮影時の光学ズーム倍率が４．８倍及び５．０倍の低解像度画像とに基づく超解像処理によって高解像度画像を生成することが可能である。録画期間の終了後において、レンズ制御部４６は、速やかに光学ズーム倍率を録画期間の開始前におけるそれ（即ち５．０倍）に戻す。
【００８９】
＜＜第４実施例＞＞
第４実施例を説明する。第４実施例では、録画期間中においてズーム倍率変更指示が成された場合における撮像装置１の動作を説明する。第４実施例では、録画期間中において常に被写体の動きが無いと判断された場合を想定する。
【００９０】
録画期間の開始時点において光学ズーム倍率が５．０倍であったとし、且つ、図１４に示す如く、録画開始後において、各低解像度画像が低解像度画像２７１、２７２、２７３、２７４、２７５、２７６及び２７７・・・の順番で撮影されたものとする。画像２７１よりも前に撮影された画像に基づく動きベクトルから、被写体の動きが無いと判断されたとする。そうすると、レンズ制御部４６は、画像２７１の撮影時点では５．０倍であった光学ズーム倍率を画像２７２の撮影時において４．９倍に変更する。ズーム倍率変更指示が成されない場合には、第２実施例で述べたように画像２７３の撮影時における光学ズーム倍率が４．８倍とされて光学ズーム倍率５．０倍、４．９倍及び４．８倍の対象画像を用いた高解像度画像の生成が成されるが、今、画像２７２の撮影直後であって画像２７４の撮影前までにズーム倍率変更指示が成されたものとする。
【００９１】
ズーム倍率変更指示が成された場合、レンズ制御部４６は、光学ズーム倍率の周期的変更を停止し、ズーム倍率変更指示に従った光学ズーム倍率が得られるようにズームレンズ３０を駆動する。この結果、画像２７３及び２７４の撮影時における光学ズーム倍率が夫々４．５倍及び４．０倍になったものとする。
【００９２】
画像２７４の露光開始前までにズーム倍率変更指示が終了し、以後、ズーム倍率変更指示が成されなかったとする。そうすると、レンズ制御部４６は、画像２７４の撮影後、画像２７４の撮影時における光学ズーム倍率を基準として、光学ズーム倍率の周期的変更を再開する。図１４に示す例では、画像２７５及び２７６の撮影時における光学ズーム倍率が夫々３．９倍及び３．８倍とされ、画像２７７の撮影時において光学ズーム倍率は４．０倍に戻される。以後、順次、光学ズーム倍率は３．９倍、３．８倍、４．０倍、３．９倍・・・、と周期的に変更される。録画期間の終了後、レンズ制御部４６は、光学ズーム倍率を速やかに、ズーム倍率変更指示に従うそれ（即ち４．０倍）に戻す。
【００９３】
超解像処理部４４は、第１又は第２実施例で述べた方法に従って、画像２７４〜２７６の撮影時における光学ズーム倍率及び画像２７４〜２７６の画像データに基づく超解像処理により１枚の高解像度画像を生成することができるし、画像２７５〜２７７の撮影時における光学ズーム倍率及び画像２７５〜２７７の画像データに基づく超解像処理により１枚の高解像度画像を生成することができる。画像２７４〜２７６に基づく高解像度画像及び画像２７５〜２７７に基づく高解像度画像を含む高解像度画像列を、動画像として外部メモリ１８に記録することができる。
【００９４】
更に、超解像処理部４４は、第１又は第２実施例で述べた方法に従って、画像２７１〜２７３の撮影時における光学ズーム倍率及び画像２７１〜２７３の画像データに基づく超解像処理により１枚の高解像度画像を生成することもできるし、画像２７２〜２７４の撮影時における光学ズーム倍率及び画像２７２〜２７４の画像データに基づく超解像処理により１枚の高解像度画像を生成することもできるし、画像２７３〜２７５の撮影時における光学ズーム倍率及び画像２７３〜２７５の画像データに基づく超解像処理により１枚の高解像度画像を生成することもできる。画像２７１〜２７３に基づく高解像度画像、画像２７２〜２７４に基づく高解像度画像、画像２７３〜２７５に基づく高解像度画像、画像２７４〜２７６に基づく高解像度画像及び画像２７５〜２７７に基づく高解像度画像を含む高解像度画像列を、動画像として外部メモリ１８に記録することができる。
【００９５】
＜＜第５実施例＞＞
第５実施例を説明する。第３及び第４実施例において、被写体の動きが有ると判断された時の動作とズーム倍率変更指示が成された時の動作を個別に説明したが、それらが混在する時も、同様に処理される。
【００９６】
例えば、図１５に示す如く、図１３に示すそれらと同じ画像２６１〜２６３が連続的に撮影された後、光学ズーム倍率を４．０倍まで減少させるズーム倍率変更指示が成され、その後継続的に被写体の動きが無いと判断されると共にズーム倍率変更指示が成されなかったとしたならば、画像２６３の撮影に続けて画像２７３〜２７７が順次撮影される。図１５に示す画像２６１、２６２、２６３、２７３、２７４、２７５、２７６及び２７７の撮影時における光学ズーム倍率は、上述したものと同じであるとする。上述したように、時間的に連続する３枚の低解像度画像を３枚の対象画像として用い、３枚の対象画像の画像データと各対象画像の撮影時における光学ズーム倍率に基づいて１枚の高解像度画像を生成することができることに代わりはない。
【００９７】
上述の如く、被写体の動きが無いと判定され且つズーム倍率変更指示が成されていない場合に、レンズ制御部４６は、低解像度画像の撮影の度に光学ズーム倍率（及び撮影画角）を変化させ且つ３枚の低解像度画像の撮影を単位として光学ズーム倍率（及び撮影画角）を周期的に変化させる。これにより、互いに位置ずれを有する３枚の低解像度画像の組（例えば、図１２の画像２５１〜２５３の組や画像２５２〜２５４の組）が次々と得られる。超解像処理部４４は、次々と得られる３枚の低解像度画像の組を３枚の対象画像として用いて高解像度画像を次々と生成する。これにより、撮像装置１の筐体が三脚で固定されている場合などにおいても、良好な高解像度画像を生成することができる。また、被写体の動きが無いと判断され且つズーム倍率変更指示が成されていない場合にのみ、光学ズーム倍率の周期的変更を実行するため、光学ズーム倍率の無用な変更が抑制され、常に該周期的変更を実行する場合と比べて電力消費が少なくて済む。
【００９８】
＜＜第６実施例＞＞
第６実施例を説明する。静止画像の撮影に関わる第１実施例では、被写体の動きが無いと判断された時に、ズームレンズ３０を利用して互いに位置ずれを有する対象画像列を取得しているが、ズームレンズ３０の代わりに補正レンズ３６を利用して、互いに位置ずれを有する対象画像列を取得するようにしても良い。補正レンズ３６を利用する、第１実施例の変形列を第６実施例として説明する。
【００９９】
第１実施例と同様、静止画像の撮影指示に従って得られた３枚の対象画像が画像Ｆk、Ｆk+1及びＦk+2である場合を想定する（図８参照）。動き判定部４５は、画像Ｆkよりも前に撮影された画像に基づく動きベクトルより判定対象ベクトルを抽出し、判定対象ベクトルに基づいて画像上における被写体の動きの有無を判定する。この抽出及び判定方法は、第１実施例で述べたものと同様である。
【０１００】
被写体の動きが有ると判断された場合、対象画像列上おいても被写体に動きが存在している可能性が高い（対象画像間に位置ずれが生じる可能性が高い）。従って、被写体の動きが有ると判断された場合、撮像装置１は、上述の基本超解像処理を実行する。
【０１０１】
一方、被写体の動きが無いと判断された場合、撮像装置１の筐体が三脚等で固定されている可能性が高いと推定される。このため、被写体の動きが無いと判断された場合、レンズ制御部４６は、互いに位置ずれを有する対象画像Ｆk、Ｆk+1及びＦk+2を取得するべく、対象画像Ｆk及びＦk+1の撮影間に補正レンズ３６を移動させる共に対象画像Ｆk+1及びＦk+2の撮影間にも補正レンズ３６を移動させる。既に述べたが、対象画像Ｆk及びＦk+1の撮影間とは、対象画像Ｆkの露光期間の終了時点と対象画像Ｆk+1の露光期間の開始時点との間の期間を指す（対象画像Ｆk+1及びＦk+2の撮影間についても同様）。
【０１０２】
上述したように、補正レンズ３６の位置を変化させることによって光学像の入射位置が変化する。入射位置とは、撮像素子３３に対する光学像の入射位置である。説明の便宜上、高解像度画像の元となる３枚の対象画像（本例において対象画像Ｆk、Ｆk+1及びＦk+2）の内、任意に選んだ２枚の対象画像を第１及び第２の対象画像と呼ぶ。実空間上で静止した点についての光学像の入射位置が、第１の対象画像の撮影時と第２の対象画像の撮影時との間でずれており、そのずれに、低解像度画像の１画素の幅（即ち、ｐｐL）未満の成分が含まれるように、補正レンズ３６の位置が調整される。
【０１０３】
具体的には例えば、補正レンズ３６の位置変化に起因する対象画像Ｆk及びＦk+1間の動きベクトルの水平及び垂直成分が共に０．５ｐｐLとなり、且つ、補正レンズ３６の位置変化に起因する対象画像Ｆk及びＦk+2間の動きベクトルの水平及び垂直成分が共に０．２５ｐｐLとなるように補正レンズ３６を移動させることで、図１６（ａ）〜（ｃ）に示される、対象画像Ｆk〜Ｆk+2としての対象画像３１１〜３１３を得る。
【０１０４】
超解像処理部４４には、補正レンズ３６の位置変化に起因する対象画像３１１及び３１２間の位置ずれ並びに補正レンズ３６の位置変化に起因する対象画像３１２及び３１３間の位置ずれを表す情報が与えられる。超解像処理部４４には、その情報に基づき、或いは、動き算出部４２によって実際に算出された対象画像３１１及び３１２間の動きベクトルと対象画像３１２及び３１３間の動きベクトルに基づき、図１７に示す如く、共通座標系において画像３１１、３１２及び３１３としての対象画像Ｆk、Ｆk+1及びＦk+2の格子及び画素を設定する。
【０１０５】
まず、位置（ｘ，ｙ）を基準にして考え、共通座標系の位置（ｘ，ｙ）に対象画像Ｆkの位置（ｘ，ｙ）に配置された画素を配置する。画像Ｆk上における位置（ｘ＋ｐ，ｙ＋ｑ）の画素は、共通座標系においても位置（ｘ＋ｐ，ｙ＋ｑ）に配置される（ｐ及びｑは整数）。一方で、画像Ｆk+1上における位置（ｘ＋ｐ，ｙ＋ｑ）の画素を共通座標系において位置（ｘ＋ｐ＋０．５，ｙ＋ｑ＋０．５）に配置し、画像Ｆk+2上における位置（ｘ＋ｐ，ｙ＋ｑ）の画素を共通座標系において位置（ｘ＋ｐ＋０．２５，ｙ＋ｑ＋０．２５）に配置する。これにより、共通座標系上では、位置（ｘ＋ｐ，ｙ＋ｑ）だけでなく、位置（ｘ＋ｐ＋０．５，ｙ＋ｑ＋０．５）及び（ｘ＋ｐ＋０．２５，ｙ＋ｑ＋０．２５）にも、実際の撮影に基づく画像データが存在する。
【０１０６】
超解像処理部４４は、共通座標系に配置された画像Ｆk、Ｆk+1及びＦk+2の各画素の画像データに基づき、即ち、共通座標系上の位置（ｘ＋ｐ，ｙ＋ｑ）、（ｘ＋ｐ＋０．５，ｙ＋ｑ＋０．５）及び（ｘ＋ｐ＋０．２５，ｙ＋ｑ＋０．２５）の画像データに基づき、画像データの補間等を利用して高解像度画像Ｈkの各画素の画像データを生成する。
【０１０７】
上述の如く補正レンズ３６を利用して対象画像を得ることにより、撮像装置１の筐体が三脚で固定されている場合などにおいても、良好な高解像度画像を生成することができる。また、被写体の動きが無いと判断される場合にのみ、超解像処理に補正レンズ３６を利用するため、補正レンズ３６の無用な駆動が抑制され、常に補正レンズ３６を利用する場合と比べて電力消費が少なくて済むと共に無用な画像ぶれの発生も回避される。
【０１０８】
＜＜第７実施例＞＞
第７実施例を説明する。静止画像撮影に関する第１実施例を第６実施例へと変形する場合と同様にして、動画像撮影に関する第２〜第５実施例を変形することができる。補正レンズ３６を利用した、第２〜第５実施例の変形動作を説明する。第７実施例では、図１８に示す如く、録画期間の開始直後に撮影されたフレーム画像が低解像度画像Ｆkであることを想定する。
【０１０９】
動き判定部４５は、録画期間中、動き算出部４２にて算出された動きベクトルに基づいて、常に被写体の動きの有無を判定する。この判定方法は、上述してきたものと同様である。レンズ制御部４６は、動き判定部４５によって被写体の動きが無いと判定され且つズーム倍率変更指示が成されていない期間にのみ、互いに位置ずれを有する３枚の対象画像を取得するべく、第６実施例で述べた方法に従って、１枚目及び２枚目の対象画像の撮影間に補正レンズ３６を移動させる共に２枚目及び３枚目の対象画像の撮影間にも補正レンズ３６を移動させる。
【０１１０】
録画期間中においてズーム倍率変更指示が一切成されず且つ録画期間中において常に被写体の動きが無いと判定されるケースを、第１ケースと呼ぶ。第１ケースにおいて、レンズ制御部４６は、被写体の動きが無いという判定結果とズーム倍率変更指示が成されていないという事実に基づき、録画期間中において、１枚の低解像度画像の撮影を終える度に補正レンズ３６を移動させる。具体的には例えば、第６実施例と同様、補正レンズ３６の位置変化に起因する対象画像Ｆk及びＦk+1間の動きベクトルの水平及び垂直成分が共に０．５ｐｐLとなり、且つ、補正レンズ３６の位置変化に起因する対象画像Ｆk及びＦk+2間の動きベクトルの水平及び垂直成分が共に０．２５ｐｐLとなるように補正レンズ３６を移動させる。但し、対象画像Ｆk+3の撮影時において補正レンズ３６の位置を、対象画像Ｆkの撮影時におけるそれに戻す。従って、補正レンズ３６の位置変化に起因する対象画像Ｆk及びＦk+1間の動きベクトルの水平及び垂直成分は共にゼロである。
【０１１１】
その後、第１ケースでは、対象画像Ｆk〜Ｆk+2に対して成されたものと同じ補正レンズ３６の移動が、周期的に、対象画像Ｆk+3〜Ｆk+5に対して、対象画像Ｆk+6〜Ｆk+8に対して、・・・成される。即ち、補正レンズ３６の位置変化に起因する対象画像Ｆk+3i及びＦk+1+3i間の動きベクトルの水平及び垂直成分が共に０．５ｐｐLとなり、且つ、補正レンズ３６の位置変化に起因する対象画像Ｆk+3i及びＦk+2+3i間の動きベクトルの水平及び垂直成分が共に０．２５ｐｐLとなるように補正レンズ３６の位置が調整される（ｉは自然数）。このような、補正レンズ３６の周期的な位置変化による、被写体の光学像の入射位置の周期的な変更を、入射位置の周期的変更と呼ぶ。
【０１１２】
超解像処理部４４は、時間的に連続する３枚の低解像度画像を３枚の対象画像として用いて、超解像処理により１枚の高解像度画像を生成する。第１ケースにおいては、対象画像Ｆk〜Ｆk+2から、対象画像Ｆk+1〜Ｆk+3から、対象画像Ｆk+2〜Ｆk+4から、対象画像Ｆk+3〜Ｆk+5から、対象画像Ｆk+4〜Ｆk+6から・・・、夫々、時刻ｔk、ｔk+1、ｔk+2、ｔk+3、ｔk+4・・・の高解像度画像を生成することができる。これらの高解像度画像から成る高解像度画像列を、動画像として外部メモリ１８に記録することができる（後述の第２〜第４ケースにおいても同様）。入射位置の周期的変更により、３枚の対象画像の内の、任意の２枚の対象画像間の位置ずれに、低解像度画像の１画素の幅（即ち、ｐｐL）未満の成分が含まれることとなる。３枚の対象画像に基づく高解像度画像の生成方法は第６実施例で述べたものと同様である。
【０１１３】
録画期間中において被写体の動きが有ると判定されるケースである第２ケース、録画期間中においてズーム倍率変更指示が成されるケースである第３ケース、及び、第２及び第３ケースの組み合わせたケースである第４ケースにおいても、超解像処理部４４は、時間的に連続する３枚の低解像度画像を３枚の対象画像として用いて超解像処理により１枚の高解像度画像を生成することができる。
【０１１４】
入射位置の周期的変更が行われている期間に得られた低解像度画像間の位置ずれには、補正レンズ３６の位置変化に起因する成分が含まれるが、動き判定部４５は、動き算出部４２によって算出された動きベクトルから、その成分を除外した上で被写体の動きの有無判定を行う。例えば、補正レンズ３６の位置変化に起因する対象画像Ｆk及びＦk+1間の動きベクトルの水平及び垂直成分が共に０．５ｐｐLとされている時、動き判定部４５は、動き算出部４２によって算出された動きベクトルＭＶ［ｋ，ｋ＋１］から、補正レンズ３６の位置変化に起因する０．５ｐｐLの成分を除外し、その除外後の動きベクトルに基づいて被写体の動きの有無判定を行う。
【０１１５】
第２、第３又は第４ケースにおいて、被写体の動きが有ると判定された場合、或いは、ズーム倍率変更指示が成された場合、以後、被写体の動きが無いと判定され且つズーム倍率変更指示が成されていない状況が訪れるまで、入射位置の周期的変更は停止される。被写体の動きが有ると判定されたことによって或いはズーム倍率変更指示が成されたことによって入射位置の周期的変更が停止されている期間においても、超解像処理部４４は、その期間中に得られる時間的に連続する３枚の低解像度画像と、動き算出部４２により該３枚の低解像度画像に対して算出された動きベクトルとに基づいて、超解像処理により高解像度画像を生成することができる。その３枚の低解像度画像の撮影期間において、ズーム倍率変更指示に従う光学ズーム倍率の変更が成されている場合には、その３枚の低解像度画像の撮影時における光学ズーム倍率にも基づいて超解像処理がなされる。
【０１１６】
上述の如く、被写体の動きが無いと判定され且つズーム倍率変更指示が成されていない場合に、レンズ制御部４６は、低解像度画像の撮影の度に上記入射位置を変化させ且つ３枚の低解像度画像の撮影を単位として上記入射位置を周期的に変化させる。これにより、互いに位置ずれを有する３枚の低解像度画像の組（例えば、第１ケースにおける画像Ｆk〜Ｆk+2の組や画像Ｆk+1〜Ｆk+3の組）が次々と得られる。超解像処理部４４は、次々と得られる３枚の低解像度画像の組を３枚の対象画像として用いて高解像度画像を次々と生成する。これにより、撮像装置１の筐体が三脚で固定されている場合などにおいても、良好な高解像度画像を生成することができる。また、被写体の動きが無いと判断され且つズーム倍率変更指示が成されていない場合にのみ、超解像処理に補正レンズ３６を利用するため、補正レンズ３６の無用な駆動が抑制され、常に補正レンズ３６を利用する場合と比べて電力消費が少なくて済むと共に無用な画像ぶれの発生も回避される。
【０１１７】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１８】
［注釈１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。例えば、第１〜第５実施例において示した光学ズーム倍率の数値（５．０倍、４．９倍及び４．８倍や、４．０倍、３．９倍及び３．８倍）は様々に変更可能である。但し、高解像度画像の元となる低解像度画像間の位置ずれに低解像度画像の１画素の幅（即ち、ｐｐL）未満の成分が含まれるように、光学ズーム倍率は調整される。また、第１実施例では、１枚目の対象画像の撮影後、光学ズーム倍率を順次減少させており（図９（ａ）〜（ｃ）参照）、第２〜第５実施例においても、光学ズーム倍率の周期的変更の１サイクルにおいて光学ズーム倍率を減少方向に変化させているが（図１２等参照）、光学ズーム倍率の変化方向を増加方向にしても構わない。
【０１１９】
［注釈２］
上述の実施形態では、３枚の低解像度画像から１枚の高解像度画像が生成されているが、１枚の高解像度画像を生成するために利用する低解像度画像の枚数は、Ｌ枚であっても良い（ここで、Ｌは２以上の整数であって、Ｌ≠３）。第２又は第７実施例では、３枚の低解像度画像の撮影を単位として光学ズーム倍率又は上記入射位置を周期的に変化させているが、Ｌ枚の低解像度画像から高解像度画像を生成するのであれば、Ｌ枚の低解像度画像の撮影を単位として光学ズーム倍率又は上記入射位置を周期的に変化させれば良い。
【０１２０】
［注釈３］
水平及び垂直方向の夫々において高解像度画像の解像度を低解像度画像のそれの２倍にすることを想定したが、水平方向において高解像度画像の解像度を低解像度画像のそれのＥＮX倍にすることができるし、垂直方向において高解像度画像の解像度を低解像度画像のそれのＥＮY倍にすることができる。ここで、ＥＮX及びＥＮYは１より大きな値であり、ＥＮX及びＥＮYは一致していても一致していなくても良い。
【０１２１】
［注釈４］
低解像度画像の撮影と並行して高解像度画像の生成を行う場合の動作を説明したが、超解像処理の実行そのものは、再生モードにおいて事後的に行うようにしても構わない。
【０１２２】
［注釈５］
入射位置の周期的変更を補正レンズ３６の移動を用いて実現する方法を上述したが、被写体からの入射光の屈折角を調節可能なバリアングルプリズム（不図示）を補正レンズ３６の代わりに光学系３５内に設けておき、該バリアングルプリズムを駆動することによって入射位置の周期的変更を実現するようにしても良い。或いは、補正レンズ３６やバリアングルプリズム等の光学部材を駆動するのではなく、光軸に直交する方向に撮像素子３３を移動させることによって入射位置の周期的変更を実現するようにしても良い。上記のバリアングルプリズムを駆動する機能又は撮像素子３３の移動させる機能を、入射位置調整部として機能するレンズ制御部４６に担わせることができる。尚、レンズ制御部４６は、撮影画角及び光学ズーム倍率を調整する光学ズーム制御部としての機能をも有する。
【０１２３】
［注釈６］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい
【符号の説明】
【０１２４】
１  撮像装置
１１  撮像部
２６  操作部
３０  ズームレンズ
３１  フォーカスレンズ
３２  絞り
３３  撮像素子
３４  ドライバ
３５  光学系
３６  補正レンズ
４２  動き算出部
４４  超解像処理部
４５  動き判定部
４６  レンズ制御部
【図１】
2010287954.tif 000003
【図２】
2010287954.tif 000004
【図３】
2010287954.tif 000005
【図４】
2010287954.tif 000006
【図５】
2010287954.tif 000007
【図６】
2010287954.tif 000008
【図７】
2010287954.tif 000009
【図８】
2010287954.tif 000010
【図１１】
2010287954.tif 000011
【図１２】
2010287954.tif 000012
【図１３】
2010287954.tif 000013
【図１４】
2010287954.tif 000014
【図１５】
2010287954.tif 000015
【図１７】
2010287954.tif 000016
【図１８】
2010287954.tif 000017
【図９】
2010287954.tif 000018
【図１０】
2010287954.tif 000019
【図１６】
2010287954.tif 000020