(57)【要約】【課題】ユーザの手間を要することなく、解像度の高い合成画像を比較的短時間で取得することができる撮像装置等を提供する。【解決手段】撮像素子２２と、撮像素子２２と光束との相対位置を移動させる画素ずらし部と、相対位置が異なる所定数の画像でなる画像群の各画像を合成して得られる合成画像の解像度を推定する解像度推定部４４と、画素ずらしを伴う撮像制御を所定回数行って画像群を構成し、さらに新たな画像を取得して画像群を更新することを解像度の最大値が推定されるまで行うマイクロコンピュータ４３と、推定された解像度が最大となる合成画像に対応する画像群の各画像を合成して合成画像を生成する画像合成部３２と、を有する撮像装置。【選択図】図１
2016163333.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が所定の画素ピッチで２次元状に配列されており、光束を受光して露光を行い画像を取得する撮像素子と、
上記撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置を、上記画素ピッチの非整数倍の移動量を含む移動量だけ移動させる画素ずらしを行う画素ずらし部と、
上記相対位置が異なる所定数の画像でなる画像群の各画像を合成して得られる合成画像の解像度を推定する解像度推定部と、
上記画素ずらし部に画素ずらしさせて上記撮像素子に画像を取得させる撮像制御を、上記相対位置を異ならせながら所定回数行って、取得された所定数の画像により上記画像群を構成し、さらに、新たな撮像制御を行って１つ以上の新たな画像を取得させ、新たに取得された１つ以上の新たな画像と同じ相対位置の上記画像群に含まれる画像を、該新たに取得した１つ以上の新たな画像に置き換えることで新たな画像群を構成することを、上記解像度推定部により推定された解像度の最大値が求められるまで行う制御部と、
上記解像度推定部により推定された解像度が最大となる合成画像に対応する画像群の各画像を合成して、上記撮像素子から得られる画像よりも高解像度の合成画像を生成する画像合成部と、
を有することを特徴とする撮像装置。
【請求項２】
上記制御部は、上記新たな撮像制御を、上記画像群に含まれる最も古い画像と同じ相対位置の新たな画像を取得させるように行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記制御部は、１つの新たな画像が取得されたところで新たな画像群を構成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記制御部は、互いに異なる上記所定数の相対位置を１回だけ通るように結んだループ状の軌跡の内の、最短となる軌跡上を巡回する経路をたどるように、上記画素ずらし部に画素ずらしを行わせることを特徴とする請求項２に記載の撮像装置。
【請求項５】
上記制御部は、上記所定数よりも大きい数となるように予め定められた最大数の回数だけ上記撮像制御を行い、上記解像度推定部により推定された解像度の中の最大の解像度の合成画像に対応する画像群を選択することを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記制御部は、上記解像度推定部により推定された解像度が、上記新たな撮像制御を所定回数だけ行っても最大値として更新されない場合に、上記撮像制御を終了して、上記解像度推定部により推定された解像度の中の最大の解像度の合成画像に対応する画像群を選択することを特徴とする請求項１に記載の撮像装置。
【請求項７】
上記解像度推定部は、上記画像群に含まれる所定数の画像のそれぞれの解像度を算出し、さらに所定数の画像の解像度の平均解像度を算出して、算出した平均解像度を上記合成画像の解像度の推定結果とすることを特徴とする請求項１に記載の撮像装置。
【請求項８】
上記制御部は、新たな画像群が構成される毎に上記画像合成部に合成画像を生成させ、
上記解像度推定部は、上記画像合成部により生成された合成画像の解像度を算出し、算出した解像度を、該合成画像の解像度の推定結果とすることを特徴とする請求項１に記載の撮像装置。
【請求項９】
画像の高周波成分を抽出するフィルタ処理部をさらに有し、
上記解像度推定部は、上記フィルタ処理部により抽出された画像の高周波成分から上記解像度を算出することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
画像を符号化する符号化部をさらに有し、
上記解像度推定部は、上記符号化部により画像を符号化した結果の符号量から上記解像度を算出することを特徴とする請求項１に記載の撮像装置。
【請求項１１】
上記画素ずらし部は、上記撮像素子を移動することにより上記画素ずらしを行うものであることを特徴とする請求項１に記載の撮像装置。
【請求項１２】
被写体の光学像に係る光束を上記撮像素子に結像する撮影光学系をさらに有し、
上記画素ずらし部は、上記撮影光学系を移動することにより上記画素ずらしを行うものであることを特徴とする請求項１に記載の撮像装置。
【請求項１３】
複数の画素が所定の画素ピッチで２次元状に配列されており、光束を受光して露光を行い画像を取得する撮像素子と、
上記撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置を、上記画素ピッチの非整数倍の移動量を含む移動量だけ移動させる画素ずらしを行う画素ずらし部と、
を有する撮像装置により撮像を行うための撮像方法であって、
上記相対位置が異なる所定数の画像でなる画像群の各画像を合成して得られる合成画像の解像度を推定する解像度推定ステップと、
上記画素ずらし部に画素ずらしさせて上記撮像素子に画像を取得させる撮像制御を、上記相対位置を異ならせながら所定回数行って、取得された所定数の画像により上記画像群を構成し、さらに、新たな撮像制御を行って１つ以上の新たな画像を取得させ、新たに取得された１つ以上の新たな画像と同じ相対位置の上記画像群に含まれる画像を、該新たに取得した１つ以上の新たな画像に置き換えることで新たな画像群を構成することを、上記解像度推定ステップにより推定された解像度の最大値が求められるまで行う制御ステップと、
上記解像度推定ステップにより推定された解像度が最大となる合成画像に対応する画像群の各画像を合成して、上記撮像素子から得られる画像よりも高解像度の合成画像を生成する画像合成ステップと、
を有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素ずらしを行って高解像度の合成画像を生成する撮像装置、撮像方法に関する。
【背景技術】
【０００２】
画素ピッチの非整数倍の移動量で画素ずらしを行って取得した複数の画像を合成し、高解像度の合成画像を生成する技術は、従来より提案されている。
【０００３】
例えば、特開平６−２２５３１７号公報には、被写体像を撮像素子で取得する際に、画素ずらしを行いながら複数枚の画像を撮像し、取得した複数枚の画像を合成することにより、１枚の画像よりも高解像度の画像を取得する技術が記載されている。
【０００４】
また、特開２００８−１４００１２号公報には、低解像画像の合成により生成した超解像画像の解像度が、所望の解像度に達するまで、新たな低解像画像をさらに合成して超解像画像を更新する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２２５３１７号公報
【特許文献２】特開２００８−１４００１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特開平６−２２５３１７号公報に記載の技術では、合成画像の解像度を有効に高くするには画素ずらしの精度が高いことが要件となるために、手ブレや被写体ブレが生じないようにする必要がある。手ブレについては、三脚を使用する、あるいは手ブレ補正装置を用いる、等によりある程度低減することができる。これに対して被写体ブレについては、例えば、移動する自動車等の被写体に対して流し撮りを行って被写体ブレの低減を図る技術が知られているが、これは撮影者のスキルに依存する技術であり、撮像装置の機能として実装されるものではない。さらに、例えば風などにより木がそよぐ等の被写体ブレについては、予測することができず、低減がより一層困難である。
【０００７】
従って、こうした予測困難なブレが発生する場合の従来の対処法は、狙いとする解像度の高い合成画像が得られるまで、画素ずらし撮影をやり直すことである。この場合には、例えば８枚の画像を撮影して合成画像を生成し、生成された合成画像を例えば目視で確認することにより狙いとする解像度に到達しているか否かをユーザが判断し、狙いの解像度に到達していないと判断した場合に、再び８枚の画像を撮影して合成画像を生成し解像度の確認を行う、といった手順を、所望の合成画像が得られるまで繰り返して行うことになる。従って、ユーザの手間を要し、所望の合成画像を得るまでの撮影時間が長くなっていた。
【０００８】
また、上記特開２００８−１４００１２号公報に記載の技術では、現時点までの合成結果である超解像画像に対して、新規に取得した低解像画像をさらに合成する、という処理を、狙いとする解像度の高い合成画像が得られるまで繰り返して行うことになる。このために、合成画像の生成に用いられた画像の最終的な枚数は一定とならず、撮影条件に応じて変化することになる。画素ずらしには、手ブレ等によるランダムなブレを利用した技術と、撮像素子または撮影光学系を機構的にシフトさせる技術とがあり、一定でない合成枚数は露光時点の画素ずらし位置が不定である前者に対して好適であるが、露光時点の画素ずらし位置が予め定まっている後者に対しては一定の合成枚数となる方が適している。
【０００９】
本発明は上記事情に鑑みてなされたものであり、ユーザの手間を要することなく、解像度の高い合成画像を比較的短時間で取得することができる撮像装置、撮像方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明のある態様による撮像装置は、複数の画素が所定の画素ピッチで２次元状に配列されており、光束を受光して露光を行い画像を取得する撮像素子と、上記撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置を、上記画素ピッチの非整数倍の移動量を含む移動量だけ移動させる画素ずらしを行う画素ずらし部と、上記相対位置が異なる所定数の画像でなる画像群の各画像を合成して得られる合成画像の解像度を推定する解像度推定部と、上記画素ずらし部に画素ずらしさせて上記撮像素子に画像を取得させる撮像制御を、上記相対位置を異ならせながら所定回数行って、取得された所定数の画像により上記画像群を構成し、さらに、新たな撮像制御を行って１つ以上の新たな画像を取得させ、新たに取得された１つ以上の新たな画像と同じ相対位置の上記画像群に含まれる画像を、該新たに取得した１つ以上の新たな画像に置き換えることで新たな画像群を構成することを、上記解像度推定部により推定された解像度の最大値が求められるまで行う制御部と、上記解像度推定部により推定された解像度が最大となる合成画像に対応する画像群の各画像を合成して、上記撮像素子から得られる画像よりも高解像度の合成画像を生成する画像合成部と、を有している。
【００１１】
本発明のある態様による撮像方法は、複数の画素が所定の画素ピッチで２次元状に配列されており、光束を受光して露光を行い画像を取得する撮像素子と、上記撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置を、上記画素ピッチの非整数倍の移動量を含む移動量だけ移動させる画素ずらしを行う画素ずらし部と、を有する撮像装置により撮像を行うための撮像方法であって、上記相対位置が異なる所定数の画像でなる画像群の各画像を合成して得られる合成画像の解像度を推定する解像度推定ステップと、上記画素ずらし部に画素ずらしさせて上記撮像素子に画像を取得させる撮像制御を、上記相対位置を異ならせながら所定回数行って、取得された所定数の画像により上記画像群を構成し、さらに、新たな撮像制御を行って１つ以上の新たな画像を取得させ、新たに取得された１つ以上の新たな画像と同じ相対位置の上記画像群に含まれる画像を、該新たに取得した１つ以上の新たな画像に置き換えることで新たな画像群を構成することを、上記解像度推定ステップにより推定された解像度の最大値が求められるまで行う制御ステップと、上記解像度推定ステップにより推定された解像度が最大となる合成画像に対応する画像群の各画像を合成して、上記撮像素子から得られる画像よりも高解像度の合成画像を生成する画像合成ステップと、を有する方法である。
【発明の効果】
【００１２】
本発明の撮像装置、撮像方法によれば、ユーザの手間を要することなく、解像度の高い合成画像を比較的短時間で取得することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１において、画素ずらしにより移動される画素の位置を示す図。
【図３】上記実施形態１における画素ずらし順序の第１の例を示す図。
【図４】上記実施形態１における画素ずらし順序の第２の例を示す図。
【図５】上記実施形態１における画素ずらし順序の第３の例を示す図。
【図６】上記実施形態１のフィルタ処理部において用いられる高周波抽出バンドパスフィルタの一例を示す図。
【図７】上記実施形態１のフィルタ処理部において用いられる高周波抽出バンドパスフィルタの他の例を示す図。
【図８】上記実施形態１において、最大数の回数を２０回として撮像制御を行い取得した２０枚の各画像の解像度と、平均解像度および合成画像の解像度と、の一例を示す線図。
【図９】上記実施形態１において、最大解像度の更新待ち所定回数を１０回として撮像制御を行い取得した２６枚の各画像の解像度と、平均解像度および合成画像の解像度と、の一例を示す線図。
【図１０】上記実施形態１の撮像装置において画素ずらし超解像撮影モードが設定されているときの撮影処理を示すフローチャート。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１５】
図１から図１０は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。なお、本実施形態においては、撮像装置がレンズ交換式のデジタルカメラである場合を例に挙げて説明するが、もちろんデジタルカメラに限定されるものではなく、撮像機能を備えていれば適宜の装置であって構わない。
【００１６】
この撮像装置は、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）２０を介して通信可能に接続して構成されている。
【００１７】
交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース２０が構成されている。こうして、交換式レンズ１は、インタフェース２０を介してカメラ本体２と通信可能となっている。
【００１８】
交換式レンズ１は、レンズ１１と、絞り１２と、レンズドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。
【００１９】
レンズ１１は、被写体の光学像に係る光束をカメラ本体２の後述する撮像素子２２上に結像するための撮影光学系である。
【００２０】
絞り１２は、レンズ１１を介して撮像素子２２へ到達する光束の通過範囲を制御する光学絞りである。
【００２１】
レンズドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。また、レンズドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。なお、後述する画素ずらし超解像撮影モードに設定されている場合には、絞り１２は、最初の画像を取得する前の時点から最後の画像を取得した後の時点まで開口径が維持される。さらに、レンズドライバ１３は、いわゆるレンズシフト画素ずらしを行う構成である場合には、レンズ１１を移動することにより画素ずらしを行う画素ずらし部（この場合には、画素ずらし部はレンズ１１とレンズドライバ１３とを含んで構成される）としても機能し得るようになっている。
【００２２】
フラッシュメモリ１４は、マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶部（レンズ記憶部）である。
【００２３】
マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、レンズドライバ１３、フラッシュメモリ１４、およびインタフェース２０と接続されている。そして、マイクロコンピュータ１５は、インタフェース２０を介して後述する本体側コンピュータであるマイクロコンピュータ４３と通信し、マイクロコンピュータ４３からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、レンズドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ４３へ送信する。
【００２４】
インタフェース２０は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ４３とを、双方向に通信可能に接続する。
【００２５】
次に、カメラ本体２は、シャッタ２１と、撮像素子２２と、撮像素子ドライバ２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、バス２６と、ＳＤＲＡＭ２７と、ＡＥ処理部２８と、ＡＦ処理部２９と、画像処理部３０と、ＬＣＤドライバ３６と、ＬＣＤ３７と、メモリインタフェース（メモリＩ／Ｆ）３８と、記録媒体３９と、操作部４１と、フラッシュメモリ４２と、マイクロコンピュータ４３と、を備えている。
【００２６】
シャッタ２１は、レンズ１１を通過する光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカニカルシャッタとなっている。このシャッタ２１は、マイクロコンピュータ４３の指令に基づき駆動されて、光束の撮像素子２２への到達時間を制御する。シャッタ２１のみで露光開始および露光終了を規定する場合には、この光束の到達時間が撮像素子２２による被写体の露光時間となる。
【００２７】
また、後述する画素ずらし超解像撮影モードにおいて画素ずらしを行いながら複数枚の画像を取得する場合には、シャッタ２１は、最初の画像を取得する前の時点から最後の画像を取得した後の時点まで開いた状態に維持される。そして、画素ずらし超解像撮影モードにおいて取得される各画像の露光時間は、撮像素子ドライバ２３により撮像素子２２の画素リセットや読み出しを制御することで達成されるいわゆる素子シャッタにより行われる。
【００２８】
撮像素子２２は、所定の画素ピッチ（図２〜図５に示す画素ピッチＰを参照）で２次元状に配列された複数の画素を有し、撮像素子ドライバ２３を介したマイクロコンピュータ４３の制御に基づき、レンズ１１、絞り１２、および開状態のシャッタ２１を介して結像された被写体の光学像を光電変換して画像を生成するものである。なお、ここでは撮像素子２２が、アナログの画像を出力するアナログ撮像素子であるものとして説明を行うが、デジタルの画像を出力するデジタル撮像素子であっても構わない（この構成の場合には、後で説明するアナログ処理部２４およびＡ／Ｄ変換部２５の機能はデジタル撮像素子内に含まれていることになる）。
【００２９】
撮像素子ドライバ２３は、上述した画素リセットや読み出し等の撮像動作を制御すると共に、いわゆるセンサシフト画素ずらしを行う構成である場合には、内部に備える例えばボイスコイルモータ等の駆動源で撮像素子２２を移動することにより画素ずらしを行う画素ずらし部（この場合には、画素ずらし部は撮像素子２２と撮像素子ドライバ２３とを含んで構成される）としても機能し得るようになっている。
【００３０】
ここに、画素ずらし部は、一般に、撮像素子２２と、撮像素子２２により受光される光束と、の上述した２次元状の画素配列方向の相対位置を、画素ピッチの非整数倍の移動量を含む移動量だけ移動させる画素ずらしを行うものである（従って、画素ずらしの移動量は全てが画素ピッチの非整数倍である必要はなく、画素ピッチの非整数倍の移動量を少なくとも１つ含めば画素ピッチの整数倍の移動量をさらに含んでいても構わない）。そして、上述したレンズドライバ１３は、レンズ１１を移動することで撮像素子２２により受光される光束を移動するものであり、撮像素子ドライバ２３は、撮像素子２２を移動するものとなっている。
【００３１】
アナログ処理部２４は、撮像素子２２から読み出されたアナログ画像に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
【００３２】
Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像をデジタル画像に変換する。
【００３３】
バス２６は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス２６は、Ａ／Ｄ変換部２５と、ＳＤＲＡＭ２７と、ＡＥ処理部２８と、ＡＦ処理部２９と、画像処理部３０と、ＬＣＤドライバ３６と、メモリＩ／Ｆ３８と、マイクロコンピュータ４３と、を含む各部に接続されている。
【００３４】
Ａ／Ｄ変換部２５から出力された画像は、バス２６を介して転送され、ＳＤＲＡＭ２７に一旦記憶される。
【００３５】
ＳＤＲＡＭ２７は、Ａ／Ｄ変換部２５から出力された画像、あるいは画像処理部３０等において処理された画像等の各種データを一時的に記憶する記憶部である。
【００３６】
ＡＥ処理部２８は、撮像素子２２から得られた画像に基づき被写体の明るさを算出する。このＡＥ処理部２８で算出された被写体の明るさは、マイクロコンピュータ４３に入力されて、例えば所定のプログラム線図等を参照することにより、自動露出（ＡＥ）制御用の各パラメータ、すなわち、シャッタ速度（露光時間）、絞り値、ＩＳＯ感度等が導出され設定される。なお、ここでは画像に基づき被写体の明るさを算出したが、これに代えて、撮像装置に専用の測光センサを設けて被写体の明るさを測定するようにしても構わない。
【００３７】
ＡＦ処理部２９は、画像から高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、マイクロコンピュータ４３に入力されて、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用の位相差検出センサ（あるいは撮像素子２２上の位相差検出用画素）を用いて位相差ＡＦを行うようにしても構わない。
【００３８】
画像処理部３０は、画像に対して種々の画像処理を行うものであり、基本画像処理部３１と、画像合成部３２と、ＪＰＥＧ圧縮部３３と、フィルタ処理部３４と、を含んでいる。
【００３９】
基本画像処理部３１は、撮像素子２２から得られた画像から表示用または記録用の画像を生成するための各種の画像処理、例えば、同時化処理、ホワイトバランス処理、エッジ強調処理、ノイズ低減処理、カラーマトリクス処理、ガンマ変換処理などの画像処理を行う。
【００４０】
画像合成部３２は、画素ずらし超解像撮影モードが設定されているときに、画素ずらしを行いながら撮影された相対位置の異なる所定数の画像（これらの相対位置の異なる所定数の画像により画像群が構成される）を合成して、撮像素子２２から得られる画像よりも高解像度の合成画像（超解像画像ともいう）を生成するものである。なお、ここでは画像処理部３０内に画像合成部３２を設けたが、画像処理部３０とは別途の処理ブロックとして設けても良いし、マイクロコンピュータ４３の演算機能により画像合成を行っても構わない。
【００４１】
ＪＰＥＧ圧縮部３３は、画像をＪＰＥＧ圧縮方式に従って符号化する符号化部である。このＪＰＥＧ圧縮部３３により圧縮された画像は、マイクロコンピュータ４３によりヘッダ等が付加されて画像ファイルとしてメモリＩ／Ｆ３８を介して記録媒体３９に記録される。なお、ここでは、デジタルカメラ等の撮像装置の分野における静止画符号量圧縮方式として広く普及しているＪＰＥＧ圧縮方式を符号化方式の例に挙げたが、その他の符号化方式を用いても構わない。
【００４２】
なお、ＪＰＥＧ圧縮は、同じ量子化テーブルを用いて圧縮を行う場合には、高周波成分を多く含む画像ほど符号量が大きくなる。このために、このＪＰＥＧ圧縮部３３により同じ量子化テーブルを用いてＪＰＥＧ圧縮された後の符号量に基づいて、画像のおおよその解像度を推定することができる。こうして、ＪＰＥＧ圧縮部３３は、マイクロコンピュータ４３内の後述する解像度推定部４４により画像の解像度を推定する際に、必要に応じて用いられる。
【００４３】
フィルタ処理部３４は、例えば、バンドパスフィルタを用いて画像から高周波成分を抽出する高周波成分抽出部である。このフィルタ処理部３４により抽出された高周波成分は、マイクロコンピュータ４３内の後述する解像度推定部４４により、画像の解像度を推定するために用いられる。なお、ここでは画像処理部３０内にフィルタ処理部３４を設けたが、画像処理部３０とは別途の処理ブロックとして設けても良いし、マイクロコンピュータ４３の演算機能により高周波成分の抽出を行っても構わない（この場合にはマイクロコンピュータ４３がフィルタ処理部３４の機能を兼ねることになる）。
【００４４】
ＬＣＤドライバ３６は、画像処理部３０により表示用に画像処理された画像に基づき、ＬＣＤ３７を駆動制御して画像表示を行わせる。
【００４５】
ＬＣＤ３７は、上述したようなＬＣＤドライバ３６の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。そして、例えば画素ずらし超解像撮影モードにおいて、ＬＣＤ３７に表示された画像を観察することにより、ユーザは所望の解像度の画像が得られたかどうかを確認することができる。
【００４６】
メモリＩ／Ｆ３８は、上述したように、画像ファイルの記録媒体３９への書き込み、および記録媒体３９からの画像ファイルの読み出しを行う。
【００４７】
記録媒体３９は、画像ファイルを不揮発に記憶するものであり、例えばカメラ本体２に着脱可能なメモリカード等により構成されている。従って、記録媒体３９は、撮像装置に固有の構成である必要はない。
【００４８】
操作部４１は、ユーザが、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するためのレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。
【００４９】
ここに、ユーザが、メニューボタンや十字キー、ＯＫボタン等を用いて設定可能な項目には、撮影モード（通常撮影モード、画素ずらし超解像撮影モード等）が含まれている。この操作部４１に対して操作が行われると、操作内容に応じた信号が操作部４１からマイクロコンピュータ４３へ出力される。
【００５０】
フラッシュメモリ４２は、マイクロコンピュータ４３により実行される制御プログラムや、この撮像装置に係る各種の情報を不揮発に記憶する記憶部（本体記憶部）である。ここに、フラッシュメモリ４２が記憶する情報としては、撮像装置を特定するための製品型番やシリアル番号、撮像素子２２のサイズや画素数、画素ピッチＰ（図２〜図５等参照）などの情報、画素ずらし超解像撮影モードにおける画素ずらしの大きさ、方向、順序等の情報などがある。このフラッシュメモリ４２が記憶する情報は、マイクロコンピュータ４３により読み取られる。
【００５１】
マイクロコンピュータ４３は、カメラ本体２内の各部を制御すると共に、インタフェース２０を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、この撮像装置を統括的に制御する制御部である。
【００５２】
マイクロコンピュータ４３は、ユーザにより操作部４１から操作入力が行われると、フラッシュメモリ４２に記憶されている制御プログラムに従って、フラッシュメモリ４２から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。
【００５３】
例えば、マイクロコンピュータ４３は、解像度を推定する制御プログラムに従ったシーケンスを実行することにより、相対位置が異なる所定数の画像でなる画像群の各画像を合成して得られる合成画像の解像度を推定する解像度推定部４４として機能する。
【００５４】
さらに、マイクロコンピュータ４３は、画像を取得する撮像制御プログラムに従ったシーケンスを実行することにより、撮像制御部４５として機能して、上述した画素ずらし部に画素ずらしさせて撮像素子２２に画像を取得させる撮像制御を、相対位置を異ならせながら所定回数行い、取得された所定数の画像により画像群を構成する。そして、マイクロコンピュータ４３は、さらに、新たな撮像制御を行って１つ以上の新たな画像を取得させ、新たに取得された１つ以上の新たな画像と同じ相対位置の画像群に含まれる画像を、新たに取得した１つ以上の新たな画像に置き換えることで新たな画像群を構成することを、解像度推定部４４により推定された解像度の最大値が求められるまで行う制御部として機能する。ここに、解像度推定部４４は、上述したように、例えばフィルタ処理部３４により抽出された高周波成分の大きさに基づき、あるいはＪＰＥＧ圧縮部３３により圧縮した画像の符号量に基づき、合成画像の解像度を推定する。
【００５５】
また、マイクロコンピュータ４３は、画像処理部３０の画像合成部３２を制御して、解像度推定部４４により推定された解像度が最大となる合成画像に対応する画像群の各画像を合成させて、撮像素子２２から得られる画像よりも高解像度の合成画像を生成させる。
【００５６】
なお、ここではマイクロコンピュータ４３が制御プログラムに従って動作するときの機能として、解像度推定部４４（あるいは、撮像制御部４５）が組み込まれているものとしたが、これに限定されるものではなく、他の処理ブロックとして実装されていても構わない。
【００５７】
次に、図２は、画素ずらしにより移動される画素の位置を示す図である。この図２（および後述する図３〜図５）において、画素配列に沿った、水平右方向をｘ軸の正方向、垂直下方向をｙ軸の正方向としている。
【００５８】
この図２は、例えば、撮像素子２２がベイヤー配列のカラーフィルタを供えた単板撮像素子であり、撮像素子２２から得られた画像の水平方向に２倍、かつ垂直方向に２倍の解像度の合成画像を得るために８枚の画像を合成する場合に好適な画素ずらし位置の一例を示している。
【００５９】
まず、撮像素子２２の画素は、水平方向および垂直方向に画素ピッチＰで配列されている。なお、ここでは簡単のために、水平方向の画素ピッチと垂直方向の画素ピッチとが同一である正方配列を例に挙げたが、これに限定されるものではない。
【００６０】
画素ピッチＰの格子線の交点に位置するある画素の画素位置を、図２に示すように、（ｘ，ｙ）＝（０，０）とする。このとき、画素ずらしにより達成される各画素位置は、例えば、（０，０），（−０．５Ｐ，＋０．５Ｐ），（０，＋１．０Ｐ），（−０．５Ｐ，＋１．５Ｐ），（＋１．０Ｐ，０），（＋０．５Ｐ，＋０．５Ｐ），（＋１．０Ｐ，＋１．０Ｐ），（＋０．５Ｐ，＋１．５Ｐ）である。
【００６１】
次に、図３は、画素ずらし順序の第１の例を示す図である。
【００６２】
この図３に示す例は、第１の位置Ａ１から第８の位置Ａ８までを、Ａ１（０，０），Ａ２（＋１．０Ｐ，０），Ａ３（＋０．５Ｐ，＋０．５Ｐ），Ａ４（−０．５Ｐ，＋０．５Ｐ），Ａ５（０，＋１．０Ｐ），Ａ６（＋１．０Ｐ，＋１．０Ｐ），Ａ７（＋０．５Ｐ，＋１．５Ｐ），Ａ８（−０．５Ｐ，＋１．５Ｐ）の順序としたものである。その後の第９の位置Ａ９から第１６の位置Ａ１６は、上述した第１の位置Ａ１から第８の位置Ａ８を再び繰り返すことになる。
【００６３】
この図３に示した画素ずらし順序は、制御部であるマイクロコンピュータ４３が、新たな撮像制御を、画像群に含まれる最も古い画像と同じ相対位置の新たな画像を取得させるように行うことでなされる。
【００６４】
つまり、まず、Ａ１の画素位置で取得された画像を、画像Ａ１などと表記することにする。このとき、８枚の画像Ａ１〜Ａ８により、第１の画像群を構成する。次に、画像群Ａ１〜Ａ８に含まれる最も古い画像Ａ１と同じ相対位置において新たな撮像制御を行い、新たな画像Ａ９を取得する。そして、画像Ａ９で画像Ａ１を置き換えることで、新たな第２の画像群Ａ２〜Ａ９を構成する。同様にして、８枚の画像Ａ３〜Ａ１０で第３の画像群を構成する、等を行う。
【００６５】
このように、新たな画像が１枚取得される毎に新たな画像群を構成することが精度を上げる観点から好ましいが、例えば、新たな画像が２枚取得される毎に新たな画像群を構成する（具体的には、第１の画像群Ａ１〜Ａ８の次を、第２の画像群Ａ３〜Ａ１０とする等）、あるいは、新たな画像が３枚取得される毎に新たな画像群を構成する、等を行うことも可能である。
【００６６】
このように巡回的な経路をたどって画素ずらしを行う場合には、連続して撮影された８枚の画像でなる画像群を任意に選んでも（第１，第２，…の画像群の何れを選んでも）、８つの異なる相対位置を画素ずらし順序に従って結んだループ状の軌跡は常に同一となる。
【００６７】
続いて、図４は、画素ずらし順序の第２の例を示す図である。
【００６８】
この図４に示す例は、第１の位置Ａ１から第８の位置Ａ８までを、Ａ１（０，０），Ａ２（−０．５Ｐ，＋０．５Ｐ），Ａ３（−０．５Ｐ，＋１．５Ｐ），Ａ４（０，＋１．０Ｐ），Ａ５（＋０．５Ｐ，＋１．５Ｐ），Ａ６（＋１．０Ｐ，＋１．０Ｐ），Ａ７（＋０．５Ｐ，＋０．５Ｐ），Ａ８（＋１．０Ｐ，０）の順序としたものである。上述した第１の位置Ａ１から第８の位置Ａ８を繰り返すことでその後の第９の位置Ａ９から第１６の位置Ａ１６を達成することは、図３に示した例と同様である。
【００６９】
制御部であるマイクロコンピュータ４３が、新たな撮像制御を、画像群に含まれる最も古い画像と同じ相対位置の新たな画像を取得させるように行うことで、この図４に示した画素ずらし順序が達成されるのは、図３に示した例と同様である。さらに、この図４に示す例では、マイクロコンピュータ４３が、互いに異なる所定数（ここでは８つ）の相対位置を１回だけ通るように結んだループ状の軌跡の内の、最短となる軌跡上を巡回する経路をたどるように、画素ずらし部に画素ずらしを行わせることでなされている。
【００７０】
すなわち、図２に示した８つの点を結ぶループ状の軌跡の最短長は（２＋３√２）Ｐ≒６．２Ｐとなるが、図４に示した例はこの最短長を達成する軌跡の一例である（これに対して図３に示した例は、軌跡の長さが（４＋３√２／２＋√１０／２）Ｐ≒７．７Ｐとなる）。
【００７１】
このようなループ状の最短長軌跡を巡回するように画素ずらしを行うことで、画像群を得るのに必要な総移動距離を最も短くし、画像群を得るための時間を短縮することができる。これにより、画像群に含まれる最も古い画像と最も新しい画像との時間差を最小にすることができ、画像群が取得された期間における外乱要因の発生確率を小さくしてより高解像度の合成画像を得る可能性を高めることができる。
【００７２】
さらに、図５は、画素ずらし順序の第３の例を示す図である。
【００７３】
この図５に示す例は、第１の位置Ａ１から第８の位置Ａ８までを、Ａ１（０，０），Ａ２（−０．５Ｐ，＋０．５Ｐ），Ａ３（０，＋１．０Ｐ），Ａ４（−０．５Ｐ，＋１．５Ｐ），Ａ５（＋０．５Ｐ，＋１．５Ｐ），Ａ６（＋１．０Ｐ，＋１．０Ｐ），Ａ７（＋０．５Ｐ，＋０．５Ｐ），Ａ８（＋１．０Ｐ，０）の順序としたものである。上述した第１の位置Ａ１から第８の位置Ａ８を繰り返すことでその後の第９の位置Ａ９から第１６の位置Ａ１６を達成することは、図３および図４に示した例と同様である。
【００７４】
この図５に示した画素ずらし順序は、図４に示した例と同様に、制御部であるマイクロコンピュータ４３が、新たな撮像制御を、画像群に含まれる最も古い画像と同じ相対位置の新たな画像を取得させるように行うことでなされ、さらに、互いに異なる所定数の相対位置（ここでは８つの異なる相対位置）を１回だけ通るように結んだループ状の軌跡の内の、最短となる軌跡上を巡回する経路をたどるように、画素ずらし部に画素ずらしを行わせることでなされる。
【００７５】
従って、この図５に示すループ状の軌跡の長さも、図４に示した例と同様に、（２＋３√２）Ｐ≒６．２Ｐの最短長となり、図４の軌跡を用いる場合と同様の効果を奏することができる。
【００７６】
次に、図６は、フィルタ処理部３４において用いられる高周波抽出バンドパスフィルタの一例を示す図である。
【００７７】
着目画素位置を中心とした３×３の画素配列に対してこの図６に示すフィルタを作用させることを、着目画素位置を例えばラスタスキャン順に移動させながら順次行うことにより、フィルタ処理部３４は、画像の高周波成分を抽出することができる。そして、解像度推定部４４は、フィルタ処理部３４により抽出された高周波成分の絶対値の例えば総和を算出して、算出した総和の大きさに基づいて高周波成分の強度を判別する。高周波成分の強度が高いと一般的に解像度が高くなるために、解像度推定部４４は、高周波成分の強度の判別結果に基づいて、画像の解像度が高いか低いかを推定することができる。
【００７８】
また、図７は、フィルタ処理部３４において用いられる高周波抽出バンドパスフィルタの他の例を示す図である。
【００７９】
図６に示した高周波抽出バンドパスフィルタは、撮像素子２２から得られた画像に対して適用するには好適である。しかし、画像合成部３２により生成された合成画像の場合には、ブレが発生した画像同士を合成すると、アーティファクトとして高周波成分が発生することがある。
【００８０】
ただし、アーティファクトとして発生する高周波成分の周波数は予測可能であるために、予測される周波数の高周波成分をフィルタを用いて除去することができる。そして、ある周波数の高周波成分をフィルタにより除去した後であっても、該周波数よりも低い周波数帯の高周波成分に基づき、解像度を推定することが可能である。
【００８１】
例えば、アーティファクトがナイキスト周波数付近に発生する場合に、フィルタ処理部３４は、この図７に示すようなバンドパスフィルタを用いれば、アーティファクトを除去しつつ、ナイキスト周波数の半分の周波数を抽出することができる。そして、解像度推定部４４は、抽出されたナイキスト周波数の半分の周波数の成分の絶対値の例えば総和を上述したように算出することで、画像の解像度が高いか低いかを推定することができる。
【００８２】
こうして、画像合成部３２により合成画像を実際に生成して、生成された合成画像の解像度を判定する場合には、例えばこの図７に示したようなバンドパスフィルタを用いると好適である。
【００８３】
次に、図８は、最大数の回数を２０回として撮像制御を行い取得した２０枚の各画像の解像度と、平均解像度および合成画像の解像度と、の一例を示す線図である。この図８および次に説明する図９において、横軸は連続して撮影される画像の画像番号、縦軸は解像度を示している。
【００８４】
この図８に示す例においては、制御部であるマイクロコンピュータ４３が、合成画像を生成するために必要な所定数（ここでは例えば８）よりも大きい数となるように予め定められた最大数（ここでは例えば２０）の回数だけ連続して画像を取得するように撮像制御を行う（従って、２０枚の画像を連続して取得したら、撮影は終了する）。
【００８５】
そして、解像度推定部４４により推定された解像度の中から、マイクロコンピュータ４３が、最大の解像度の合成画像に対応する画像群を選択する。
【００８６】
具体的に、解像度推定部４４が、１〜８枚目の画像でなる第１の画像群から、１３〜２０枚目の画像でなる第１３の画像群までの、１３個の画像群から各合成される１３枚の合成画像の解像度を推定する。
【００８７】
このとき、解像度推定部４４の推定方法としては、例えば、次のような２つの方法が挙げられる。
【００８８】
まず、第１の推定方法は、画像群に含まれる各画像をフィルタ処理部３４（あるいは上述したようにＪＰＥＧ圧縮部３３を用いても構わない）によりそれぞれ処理して、処理結果に基づき解像度推定部４４が各画像の解像度を算出し、さらに、解像度推定部４４が、画像群に含まれる全画像の解像度の平均値（平均解像度）を算出して、算出した平均解像度を合成画像の解像度の推定値とする方法である。
【００８９】
図８（および後述する図９）において、黒丸は各画像の解像度を示し、黒四角は連続する複数枚（ここではｎ−７〜ｎ枚目までの連続する８枚）の画像でなる画像群の平均解像度を示している（従って、画像群の平均解像度は画像番号８〜２０において算出され表示されている）。
【００９０】
この第１の推定方法は、画像を実際に合成することなく合成画像の解像度を推定することができるために、演算の負荷が軽い利点がある。
【００９１】
次に、第２の推定方法は、新たな画像群が構成される毎に、画像群に含まれる各画像を画像合成部３２により合成処理して合成画像を生成し、生成した合成画像をフィルタ処理部３４（あるいは上述したようにＪＰＥＧ圧縮部３３を用いても構わない）により処理して、処理結果に基づき解像度推定部４４が合成画像の解像度を推定する方法（つまり、算出した合成画像の解像度を、合成画像の解像度の推定結果とする方法）である。
【００９２】
図８（および後述する図９）において、白三角は連続する複数枚（ここではｎ−７〜ｎ枚目までの連続する８枚）の画像を合成して得られた合成画像の解像度を示している（従って、合成画像の解像度は画像番号８〜２０において算出され表示されている）。
【００９３】
この第２の推定方法は、画像を合成する演算が必要となるが、実際に生成された合成画像の解像度を求めているために、求めた解像度の精度が高い利点がある。
【００９４】
従って、図８に示した例においては、第１の推定方法と第２の推定方法の何れも共に、画像番号が１３であるときに最大の解像度が得られる結果となっているが、場合によっては最大の解像度が得られる画像番号が異なることもある。本来の推定結果として得られるべきは第２の推定方法により求められた結果であるが、第１の推定方法を用いて異なる結果となったとしても、近似した結果（第２の推定方法を用いた場合に、最大でないにしても、最大に近い高い解像度の結果）が得られると思われる。このために、例えばシステムの負荷を考慮して、第１の推定方法と第２の推定方法との何れを用いるかを適切に選択すれば良い。
【００９５】
こうして最大回数２０回の撮像を行って得られた２０枚の画像に基づいて１３枚の合成画像の解像度を推定した結果の中から、最大の解像度であると推定された合成画像に対応する画像群を選択して、第１の推定方法を用いた場合であれば、選択した画像群（図８の例では画像番号６〜１３の画像でなる画像群）に基づき画像合成部３２により合成画像を生成してその生成した合成画像を、第２の推定方法を用いた場合であれば、選択した画像群に対して既に生成された合成画像を、マイクロコンピュータ４３の制御により記録媒体３９に画像ファイルとして記録する。
【００９６】
続いて、図９は、最大解像度の更新待ち所定回数を１０回として撮像制御を行い取得した２６枚の各画像の解像度と、平均解像度および合成画像の解像度と、の一例を示す線図である。
【００９７】
この図９に示す例においては、制御部であるマイクロコンピュータ４３が、解像度推定部４４により推定された解像度が、新たな撮像制御を所定回数（ここでは例えば１０回）だけ行っても最大値として更新されない場合に、撮像制御を終了して、解像度推定部４４により推定された解像度の中の最大の解像度の合成画像に対応する画像群を選択する。
【００９８】
まず、解像度推定部４４による解像度の推定方法は、上述した第１の推定方法または第２の推定方法である。
【００９９】
そして、第１の推定方法により得られた合成画像の推定解像度が図９の黒四角に示すようになり、第２の推定方法により得られた合成画像の推定解像度が図９の白三角に示すようになったものとする。
【０１００】
この図９に示す例では、何れの推定方法を用いた場合でも、画像番号１６において（つまり、画像番号９〜１６の画像でなる画像群において、以下同様）解像度の最大値が得られており、その後の画像番号１７〜２６において画像番号１６の解像度を超える解像度は得られていない。従って、所定回数である１０回の撮像を行っても解像度の最大値が更新されないために、画像番号２６の画像を取得したのを最後として、撮影を終了している。
【０１０１】
その後、最大の解像度が得られる画像群を選択して、第１の推定方法を用いた場合であれば、選択した画像群（図９の例では画像番号９〜１６の画像でなる画像群）に基づき画像合成部３２により合成画像を生成してその生成した合成画像を、第２の推定方法を用いた場合であれば、選択した画像群に対して既に生成された合成画像を、マイクロコンピュータ４３の制御により記録媒体３９に画像ファイルとして記録する。
【０１０２】
図１０は撮像装置において画素ずらし超解像撮影モードが設定されているときの撮影処理を示すフローチャートである。
【０１０３】
図示しないメイン処理からこの処理に入ると、マイクロコンピュータ４３が、画像合成部３２における合成処理に必要な合成枚数をＮ枚（上述した例では、Ｎ＝８）に設定して（ステップＳ１）、連続撮影される画像の番号をカウントするカウンタｎに１を設定する（ステップＳ２）。
【０１０４】
そして、マイクロコンピュータ４３が、例えば撮像素子ドライバ２３を介して撮像素子２２を制御することにより（あるいはマイクロコンピュータ１５およびレンズドライバ１３を介してレンズ１１を制御することにより）、ｎ番目の画素ずらし位置に相対位置を移動させる（ステップＳ３）。
【０１０５】
移動が終了して、相対位置がｎ番目の画素ずらし位置に維持されている間に、マイクロコンピュータ４３が撮像素子ドライバ２３を介して撮像素子２２を制御することにより、撮像素子２２に露光を行わせて露光後に読み出しを行い、ｎ番目の画像を取得する（ステップＳ４）。
【０１０６】
次に、連続して撮影された画像の枚数ｎが、合成処理に必要な合成枚数であるＮ枚以上になったか否かを判定する（ステップＳ５）。
【０１０７】
ここで、ｎがＮ未満であると判定された場合には、合成画像をまだ生成することができないために、カウンタｎをインクリメントしてから（ステップＳ６）、上述したステップＳ３へ行って次の画素ずらし位置での画像取得へ進む。
【０１０８】
こうして、ステップＳ５において、ｎがＮ以上であると判定された場合には、（ｎ−Ｎ＋１）番目の画像からｎ番目の画像までの連続するＮ枚の画像でなる画像群に対応する合成画像の解像度を解像度推定部４４が推定する（ステップＳ７）。この解像度の推定は、上述した、第１の推定方法と第２の推定方法との何れにより行っても構わない。
【０１０９】
続いて、解像度が最大であると推定された合成画像に対応する画像群が求められたか否かを判定する（ステップＳ８）。ここでの判定は、図８に示した例であれば、カウンタｎが最大数（図８の場合には２０）に達したか否かに基づき行われ、図９に示した例であれば、解像度の最大値が更新されない回数が所定回数（図９の場合には１０回）に達したか否かに基づき行われる。
【０１１０】
このステップＳ８において、解像度最大の合成画像に対応する画像群がまだ求められていないと判定された場合には、上述したステップＳ６へ行ってｎをインクリメントしてから、次の画素ずらし位置での画像取得を行う。
【０１１１】
一方、ステップＳ８において、解像度最大の合成画像に対応する画像群が求められたと判定された場合には、第１の推定方法を用いたときには、求められた画像群に含まれる各画像から画像合成部３２が合成画像を生成してその生成した合成画像を、第２の推定方法を用いたときには求められた画像群に対して既に生成された合成画像を、記録媒体３９に画像ファイルとして記録し（ステップＳ９）、この処理から図示しないメイン処理へ復帰する。
【０１１２】
このような実施形態１によれば、新たな画像を取得して合成画像を生成するための画像群を更新することを、画像群の各画像を合成して得られる合成画像の解像度の最大値が求められるまで行うようにしたために、合成画像を確認して撮影をやり直す等のユーザの手間を要することなく、解像度の高い合成画像を比較的短時間で取得することが可能となる。
【０１１３】
そして、合成画像の生成に用いられる画像の枚数は一定（上述の例では８枚）であるために、撮像素子２２やレンズ１１等の撮影光学系を機構的にシフトさせる技術にも好適である。
【０１１４】
また、新たな撮像制御を、画像群に含まれる最も古い画像と同じ相対位置の新たな画像を取得させるように行うために、画素ずらしの経路が同一の軌跡を巡回する経路となる。従って、画像群に含まれる最も古い画像と最も新しい画像との時間差をほぼ一定に維持することができ、時間変化する外乱要因の影響を概略一定レベルに抑制することができる。
【０１１５】
さらに、１つの新たな画像が取得されたところで新たな画像群を構成するようにしたために、画像群が更新されるまでの時間が短くなり、推定精度を向上し、最大となる解像度が推定されるまでの時間を短縮することができる。
【０１１６】
加えて、互いに異なる所定数の相対位置を１回だけ通るように結んだループ状の軌跡の内の、最短となる軌跡上を巡回する経路をたどるように画素ずらしを行うようにしたために、１つの画像群を取得するのに必要な総移動距離を最短として移動時間を最も短くすることができる。従って、画像群の全画像を撮影するのに要する時間（つまり、画像群に含まれる最古の画像と最新の画像との時間差）を最短にすることが可能となって、時間的に変化する外乱要因の影響が最も小さくなるように抑制することができる。
【０１１７】
そして、最大回数だけ撮像制御を行って、最大の解像度の合成画像に対応する画像群を選択するようにした場合には、画素ずらし超解像撮影モードにおける撮影時間を一定に維持して、ユーザビリティを向上することができる。
【０１１８】
一方、解像度の最大値が、新たな撮像制御を所定回数だけ行っても更新されない場合に、撮像制御を終了して、最大の解像度の合成画像に対応する画像群を選択するようにした場合には、最大の解像度が更新されている間は新たな画像群が選択されることになり、最大解像度の画像群をより確実に選択することが可能となる。また、予め定められた最大回数だけ撮像制御を行うときよりも、少ない撮影回数で最大の解像度の合成画像に対応する画像群を選択することができることもあるために、場合によっては撮影時間を短縮することも可能となる。
【０１１９】
また、画像群に含まれる所定数の画像のそれぞれの解像度を算出してさらに平均解像度を算出し、算出した平均解像度を合成画像の解像度の推定結果とするようにした場合には、実際に画像合成処理を行うことなく解像度を推定することが可能となり、処理負荷を軽減することができる。
【０１２０】
さらに、新たな画像群が構成される毎に合成画像を実際に生成して解像度を算出する場合には、算出された解像度の精度が高くなるために、合成後の解像度が高くなる画像群を確実に選択することができる。
【０１２１】
そして、画像の高周波成分を抽出して解像度を算出する場合には、従来より提案されているオーソドックスな処理回路やアルゴリズム等を利用可能であるために、信頼性が高く、システムへの組み込みが容易な利点がある。
【０１２２】
一方、ＪＰＥＧ圧縮部３３等の符号化部により画像を符号化した結果の符号量から解像度を算出する場合には、符号化部が撮像装置に予め組み込まれていれば、別途の処理回路が不要になる利点がある。また、符号化部がハードウェアとして組み込まれている場合には、処理の高速化を図ることも可能となる。
【０１２３】
また、撮像素子２２を移動することにより画素ずらしを行う場合には、交換式レンズ１に画素ずらし機能が備わっているか否かに関わらず、解像度の高い合成画像を作成することが可能となる。
【０１２４】
一方、撮影光学系を移動することにより画素ずらしを行う場合には、カメラ本体２を軽量化し製造コストの低減を図ることが可能となる。
【０１２５】
なお、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行う撮像方法であっても良いし、コンピュータに撮像方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０１２６】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１２７】
１…交換式レンズ
２…カメラ本体
１１…レンズ（撮影光学系、画素ずらし部）
１２…絞り
１３…レンズドライバ（画素ずらし部）
１４…フラッシュメモリ
１５…マイクロコンピュータ
２０…インタフェース（Ｉ／Ｆ）
２１…シャッタ
２２…撮像素子（画素ずらし部）
２３…撮像素子ドライバ（画素ずらし部）
２４…アナログ処理部
２５…Ａ／Ｄ変換部
２６…バス
２７…ＳＤＲＡＭ
２８…ＡＥ処理部
２９…ＡＦ処理部
３０…画像処理部
３１…基本画像処理部
３２…画像合成部
３３…ＪＰＥＧ圧縮部（符号化部）
３４…フィルタ処理部
３６…ＬＣＤドライバ
３７…ＬＣＤ
３８…メモリＩ／Ｆ
３９…記録媒体
４１…操作部
４２…フラッシュメモリ
４３…マイクロコンピュータ（制御部）
４４…解像度推定部
４５…撮像制御部
【図１】
2016163333.tif 000003
【図２】
2016163333.tif 000004
【図３】
2016163333.tif 000005
【図４】
2016163333.tif 000006
【図５】
2016163333.tif 000007
【図６】
2016163333.tif 000008
【図７】
2016163333.tif 000009
【図８】
2016163333.tif 000010
【図９】
2016163333.tif 000011
【図１０】
2016163333.tif 000012