(57)【特許請求の範囲】
【請求項１】
複数の画素が所定の画素ピッチで２次元状に配列された撮像素子と、
上記撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置を、フレーム期間の移動量が上記画素ピッチの非整数倍となるように移動させる画素ずらし部と、
上記相対位置を移動中に上記撮像素子に複数回の露光を行わせて、複数フレームの画像データを取得する撮像制御部と、
上記撮像制御部により取得された上記複数フレームの画像データを合成して上記撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成部と、
を有し、
上記画素ずらし部は、上記複数回の露光の各々において、露光中における上記相対位置の移動が同じ移動方向かつ同じ移動量となるようにすることを特徴とする撮像装置。
【請求項２】
上記画像合成部は、上記合成画像データに対して、上記露光中における上記相対位置の移動方向と同じ方向の周波数成分を強調する帯域強調部を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記帯域強調部は、１フレームの露光時間が上記撮像素子からの画像取込時間に等しいときに上記帯域強調の強調度が最大となるように、該露光時間に応じて該強調度を変更することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記画素ずらし部による上記相対位置の移動方法を設定する画素ずらし移動設定部をさらに有し、
上記画素ずらし移動設定部は、１フレームの露光時間が上記撮像素子からの画像取込時間よりも長いときには、上記露光中において移動を停止する期間が生じるように上記相対位置の移動方法を設定することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記画素ずらし部による上記相対位置の移動方法を設定する画素ずらし移動設定部と、
撮像装置に対する重力方向を検出する姿勢検出部と、
をさらに有し、
上記画素ずらし移動設定部は、上記相対位置の移動方向が、上記姿勢検出部により検出された重力方向の正の成分を有する方向となるように、該相対位置の移動方法を設定することを特徴とする請求項１に記載の撮像装置。
【請求項６】
複数の画素が所定の画素ピッチで２次元状に配列された撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置を、フレーム期間の移動量が上記画素ピッチの非整数倍となるように移動させる画素ずらしステップと、
上記相対位置を移動中に上記撮像素子に複数回の露光を行わせて、複数フレームの画像データを取得する撮像制御ステップと、
上記撮像制御ステップにより取得された上記複数フレームの画像データを合成して上記撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成ステップと、
を有し、
上記画素ずらしステップは、上記複数回の露光の各々において、露光中における上記相対位置の移動が同じ移動方向かつ同じ移動量となるようにするステップであることを特徴とする撮像方法。
【請求項７】
コンピュータに、
複数の画素が所定の画素ピッチで２次元状に配列された撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置を、フレーム期間の移動量が上記画素ピッチの非整数倍となるように移動させる画素ずらしステップと、
上記相対位置を移動中に上記撮像素子に複数回の露光を行わせて、複数フレームの画像データを取得する撮像制御ステップと、
上記撮像制御ステップにより取得された上記複数フレームの画像データを合成して上記撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成ステップと、
を実行させるための処理プログラムであって、
上記画素ずらしステップは、上記複数回の露光の各々において、露光中における上記相対位置の移動が同じ移動方向かつ同じ移動量となるようにするステップであることを特徴とする処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素ずらしを行って高解像度の合成画像データを生成する撮像装置、撮像方法、処理プログラムに関する。
【背景技術】
【０００２】
画素ピッチの非整数倍の移動量で画素ずらしを行って取得した複数の画像データを合成し、高解像度の合成画像データを生成する技術は、従来より提案されている。
【０００３】
例えば、特開平６−２２５３１７号公報には、ベイヤ配列の撮像素子を水平方向、垂直方向、あるいは斜め方向に０．５画素あるいは１画素ずらしさせて４回または８回の撮影を行い、得られた４枚または８枚の画像を合成することにより、水平方向および垂直方向に２倍の解像度をもつ画像を生成する技術が記載されている。
【０００４】
こうした複数フレームの画像を合成することで１枚の高解像度画像を得る技術は、複数フレームの画像を撮影する間に被写体が動かないことが前提となっている。そこで従来は、１つの画素ずらし位置での露光が終了したら、画像の取り込みを行い、画像の取り込みが終了したら、次の画素ずらし位置へのシフト（画素ずらしを「シフト」ともいう）を行い、シフトが終了したら次の露光を開始する、という手順で撮影が行われている。この場合に画素ずらし撮影に要する撮影時間は、
（露光時間＋画像取り込み時間＋画素ずらし時間）×撮影枚数
として表される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２２５３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、撮影時間が長くなると風やその他の要因により被写体が動いてしまう確立が高くなるために、撮影の成功率を上げるには撮影時間をできる限り短くすることが求められる。
【０００７】
上述した撮影時間の内の、露光時間は短縮することができない。そこで、もし画像得取込時間と画素ずらし時間とを短くすることができれば撮影時間の短縮に繋がるが、画像得取込時間は撮像素子の性能に依存し、画素ずらし時間は画素ずらし機構の性能に依存するものであり、これらを短縮するには高いコストを要し、消費電力の増大や、機器の大型化を招くことにもなってしまう。
【０００８】
コスト等を考えた場合に、露光時間、画像取り込み時間、および画素ずらし時間の何れも単体では短縮することができないのであれば、２つ以上を平行して行うことにより撮影時間を短縮することも考えられる。
【０００９】
まず、画素位置が異なれば露光と画像取り込みとを平行して行うことはできる（つまり、ある画素位置での露光と他の画素位置での取り込みとを平行して行うことはできる）が、同一画素位置の場合には基本的に行うことができない。
【００１０】
また、露光と画素ずらしとを平行して行う場合には、露光中に光学像が移動することになるために、像がボケてしまうことになる。従って、高解像度画像を得るための画素ずらしが像ボケの原因となって高解像度とならないのは、本末転倒であり好ましくない。
【００１１】
一方、グローバルシャッタ撮影においては、露光と時間的に重ならないように、画像取り込みと画素ずらしとを平行して行うことができる。しかし、画素ずらしは１画素単位で行われるものではなく全画素が同時にシフトするものであるために、電子ローリングシャッタ撮影において露光期間に重複しないように画素ずらしを行うと、１フレームにおける最後のラインの露光が終了した後に画素ずらしを行い、次のフレームにおける最初のラインの露光が開始される前に画素ずらしを終えてシフト位置を安定させなければならない。この場合には、例えば最初のラインに着目して考えると、露光期間があり、その後に最後のラインの露光が終了するまで待つフレーム読出期間があり、さらにその後に画素ずらし期間があることになり、結局、撮影時間を短縮することは実質的にできない。
【００１２】
本発明は上記事情に鑑みてなされたものであり、合成画像データの高解像度を確保しながら、合成に用いる複数の画像データの撮影時間を短縮することができる撮像装置、撮像方法、処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１３】
本発明のある態様による撮像装置は、複数の画素が所定の画素ピッチで２次元状に配列された撮像素子と、上記撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置を、フレーム期間の移動量が上記画素ピッチの非整数倍となるように移動させる画素ずらし部と、上記相対位置を移動中に上記撮像素子に複数回の露光を行わせて、複数フレームの画像データを取得する撮像制御部と、上記撮像制御部により取得された上記複数フレームの画像データを合成して上記撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成部と、を有し、上記画素ずらし部は、上記複数回の露光の各々において、露光中における上記相対位置の移動が同じ移動方向かつ同じ移動量となるようにする。
【００１４】
本発明のある態様による撮像方法は、複数の画素が所定の画素ピッチで２次元状に配列された撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置を、フレーム期間の移動量が上記画素ピッチの非整数倍となるように移動させる画素ずらしステップと、上記相対位置を移動中に上記撮像素子に複数回の露光を行わせて、複数フレームの画像データを取得する撮像制御ステップと、上記撮像制御ステップにより取得された上記複数フレームの画像データを合成して上記撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成ステップと、を有し、上記画素ずらしステップは、上記複数回の露光の各々において、露光中における上記相対位置の移動が同じ移動方向かつ同じ移動量となるようにするステップである。
【００１５】
本発明のある態様による処理プログラムは、コンピュータに、複数の画素が所定の画素ピッチで２次元状に配列された撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置を、フレーム期間の移動量が上記画素ピッチの非整数倍となるように移動させる画素ずらしステップと、上記相対位置を移動中に上記撮像素子に複数回の露光を行わせて、複数フレームの画像データを取得する撮像制御ステップと、上記撮像制御ステップにより取得された上記複数フレームの画像データを合成して上記撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成ステップと、を実行させるための処理プログラムであって、上記画素ずらしステップは、上記複数回の露光の各々において、露光中における上記相対位置の移動が同じ移動方向かつ同じ移動量となるようにするステップである。
【発明の効果】
【００１６】
本発明の撮像装置、撮像方法、処理プログラムによれば、合成画像データの高解像度を確保しながら、合成に用いる複数の画像データの撮影時間を短縮することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態１におけるデジタルカメラの構成を示すブロック図。
【図２】上記実施形態１の合成処理部の構成を示すブロック図。
【図３】上記実施形態１において、撮影で得られた８枚のベイヤ画像におけるＲ，Ｇｒ，Ｇｂ，Ｂの基本的な画素配置を示す図。
【図４】上記実施形態１において、図３に示す画素配置の８枚分のベイヤ画像から画素配置部により得られたＲ画素配置を示す図。
【図５】上記実施形態１において、図３に示す画素配置の８枚分のベイヤ画像から画素配置部により得られたＧｒ画素配置を示す図。
【図６】上記実施形態１において、図３に示す画素配置の８枚分のベイヤ画像から画素配置部により得られたＧｂ画素配置を示す図。
【図７】上記実施形態１において、図３に示す画素配置の８枚分のベイヤ画像から画素配置部により得られたＢ画素配置を示す図。
【図８】上記実施形態１における帯域強調部の構成を示すブロック図。
【図９】上記実施形態１において、Ｔｖ値に応じた帯域強調パラメータαの変化の例を示す線図。
【図１０】上記実施形態１のデジタルカメラにおけるメイン処理の流れを示すフローチャート。
【図１１】上記実施形態１のデジタルカメラにおける撮影処理の流れを示すフローチャート。
【図１２】上記実施形態１において、露光時間が画像取込時間よりも短いときの撮像素子の撮像タイミングとボイスコイルモータ（ＶＣＭ）による撮像素子のｘ方向およびｙ方向への駆動タイミングとを示す線図。
【図１３】上記実施形態１において、露光時間が画像取込時間よりも短いときに画像において最初に読み出されるラインの各フレームにおける画素露光位置を示す図。
【図１４】上記実施形態１において、露光時間が画像取込時間よりも短いときに画像において最後に読み出されるラインの各フレームにおける画素露光位置を示す図。
【図１５】上記実施形態１において、露光時間が画像取込時間と等しいときの撮像素子の撮像タイミングとボイスコイルモータ（ＶＣＭ）による撮像素子のｘ方向およびｙ方向への駆動タイミングとを示す線図。
【図１６】上記実施形態１において、露光時間が画像取込時間と等しいときに画像において最初に読み出されるラインの各フレームにおける画素露光位置を示す図。
【図１７】上記実施形態１において、露光時間が画像取込時間と等しいときに画像において最後に読み出されるラインの各フレームにおける画素露光位置を示す図。
【図１８】上記実施形態１において、露光時間が画像取込時間よりも長いときの撮像素子の撮像タイミングとボイスコイルモータ（ＶＣＭ）による撮像素子のｘ方向およびｙ方向への駆動タイミングとを示す線図。
【図１９】上記実施形態１において、露光時間が画像取込時間よりも長いときに画像において最初に読み出されるラインの各フレームにおける画素露光位置を示す図。
【図２０】上記実施形態１において、露光時間が画像取込時間よりも長いときに画像において最後に読み出されるラインの各フレームにおける画素露光位置を示す図。
【図２１】本発明の実施形態２のデジタルカメラにおける撮影処理の流れを示すフローチャート。
【図２２】本発明の実施形態３におけるデジタルカメラの構成を示すブロック図。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１９】
図１から図２０は本発明の実施形態１を示したものであり、図１はデジタルカメラの構成を示すブロック図である。本実施形態は、撮像装置をデジタルカメラに適用したものとなっている。
【００２０】
このデジタルカメラは、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）３を介して通信ができるように接続して構成されている。
【００２１】
交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。こうして、交換式レンズ１は、インタフェース３を介してカメラ本体２と通信ができるようになっている。
【００２２】
交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。
【００２３】
レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２２上に結像するための撮影光学系である。
【００２４】
絞り１２は、レンズ１１を通過する光束の通過範囲を制御する光学絞りである。
【００２５】
ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。なお、後述する画素ずらし超解像撮影モードにおいて画素ずらしを行いながら複数枚の画像データを取得する場合には、絞り１２は、最初の画像を取得する前の時点から最後の画像を取得した後の時点まで駆動させず維持される。
【００２６】
フラッシュメモリ１４は、マイクロコンピュータ１５により実行される処理プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。
【００２７】
マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、ドライバ１３、フラッシュメモリ１４、およびインタフェース３と接続されている。そして、マイクロコンピュータ１５は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ４５と通信し、マイクロコンピュータ４５からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、ドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ４５へ送信する。
【００２８】
インタフェース３は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ４５とを、双方向に通信ができるように接続する。
【００２９】
次に、カメラ本体２は、メカニカルシャッタ２１と、撮像素子２２と、ボイスコイルモータ（ＶＣＭ）２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、バス２６と、ＳＤＲＡＭ２７と、ＡＦ処理部２８と、ＡＥ処理部２９と、姿勢検出部３０と、合成処理部３１と、画像処理部３２と、ＪＰＥＧ処理部３６と、モニタドライバ３７と、モニタ３８と、ホール素子３９と、メモリインタフェース（メモリＩ／Ｆ）４１と、記録媒体４２と、操作部４３と、フラッシュメモリ４４と、マイクロコンピュータ４５と、を備えている。
【００３０】
メカニカルシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカニカルシャッタとなっている。このメカニカルシャッタ２１は、マイクロコンピュータ４５の指令により駆動されて、光束の撮像素子２２への到達時間を制御する。メカニカルシャッタ２１のみで露光開始および露光終了を規定する場合には、この光束の到達時間が撮像素子２２による被写体の露光時間となる。なお、後述する画素ずらし超解像撮影モードにおいて画素ずらしを行いながら複数枚の画像データを取得する場合には、メカニカルシャッタ２１は、最初の画像を取得する前の時点から最後の画像を取得した後の時点まで開いた状態に維持される。
【００３１】
撮像素子２２は、所定の画素ピッチ（図１３等に示す画素ピッチＰを参照）で２次元状に配列された複数の画素を有し、撮像制御部であるマイクロコンピュータ４５の制御に基づき、レンズ１１および絞り１２を介して結像された被写体の光学像を光電変換してアナログ画像信号を生成するものである。この撮像素子２２は、撮影された画像データを所定の読出順序（例えば、ローリング読出（あるいはラスタスキャン）の順序）で読み出すものとなっている。
【００３２】
本実施形態の撮像素子２２は、例えば、垂直方向および水平方向に配列された複数の画素の前面に原色ベイヤー配列のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子２２は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。
【００３３】
ボイスコイルモータ（ＶＣＭ）２３は、撮像素子２２と、撮像素子２２により受光される光束と、の２次元状の画素配列方向の相対位置を変位させる変位部であって、フレーム期間の移動量が画素ピッチの非整数倍（例えば半画素ピッチ単位）となるように移動させる画素ずらし部である。このとき、ボイスコイルモータ（ＶＣＭ）２３は、画素ずらし超解像撮影モードにおいて複数フレームの画像データを取得するために行われる複数回の露光の各々において、露光中における相対位置の移動が同じ移動方向かつ同じ移動量（従って、同じ平均移動速度）となるようにする。具体的なボイスコイルモータ（ＶＣＭ）２３の構成は、例えば、撮像素子２２を磁力で宙に浮かせて磁力を制御することにより、レンズ１１の光軸に垂直な面内で撮像素子２２の位置を移動するものとなっている。
【００３４】
なお、ここでは画素ずらし部としてボイスコイルモータ（ＶＣＭ）２３を例に挙げているが、これに限るものではなく、画素ずらしを行い得るその他の適宜の機構を用いることができる。
【００３５】
アナログ処理部２４は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
【００３６】
Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。
【００３７】
バス２６は、デジタルカメラ内のある場所で発生した各種のデータや制御信号を、デジタルカメラ内の他の場所へ転送するための転送路である。本実施形態におけるバス２６は、ボイスコイルモータ（ＶＣＭ）２３と、Ａ／Ｄ変換部２５と、ＳＤＲＡＭ２７と、ＡＦ処理部２８と、ＡＥ処理部２９と、姿勢検出部３０と、合成処理部３１と、画像処理部３２と、ＪＰＥＧ処理部３６と、モニタドライバ３７と、ホール素子３９と、メモリＩ／Ｆ４１と、マイクロコンピュータ４５と、に接続されている。
【００３８】
Ａ／Ｄ変換部２５から出力された画像データ（以下では適宜、ＲＡＷ画像データという）は、バス２６を介して転送され、ＳＤＲＡＭ２７に一旦記憶される。
【００３９】
ＳＤＲＡＭ２７は、上述したＲＡＷ画像データ、あるいは合成処理部３１、画像処理部３２、ＪＰＥＧ処理部３６等において処理された画像データ等の各種データを一時的に記憶する記憶部である。
【００４０】
ＡＦ処理部２８は、ＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行うようにしても構わない。
【００４１】
ＡＥ処理部２９は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り１２の制御やメカニカルシャッタ２１の制御、撮像素子２２の露光タイミング制御（あるいは、いわゆる素子シャッタの制御）等に用いられる。なお、被写体輝度を算出するためのデータとして、ここではＲＡＷ画像データを利用したが、これに代えて、デジタルカメラに専用の測光センサを設けて得られたデータを利用するようにしても構わない。
【００４２】
姿勢検出部３０は、重力センサ等を備えて構成されており、撮像装置に対する重力方向を検出する。この検出結果は、撮影時のデジタルカメラの姿勢（例えば、重力方向に対して画面が横長となる標準位置、あるいは縦長となる縦位置など）の判定等に用いられる。
【００４３】
合成処理部３１は、撮像制御部であるマイクロコンピュータ４５の制御により、ボイスコイルモータ（ＶＣＭ）２３を駆動して撮像素子２２を移動させ撮影し取得された複数フレームの画像データを合成して、撮像素子２２から得られる画像データよりも高解像度の合成画像データ（適宜、超解像画像という）を生成する画像合成部である。
【００４４】
画像処理部３２は、ＲＡＷ画像データあるいは合成処理部３１により生成された合成画像データに対して種々の画像処理を行うものであり、同時化処理部３３、エッジ強調処理部３４、ノイズ低減処理部３５を含んでいる。
【００４５】
同時化処理部３３は、１画素につきＲＧＢ成分の内の１色成分のみが存在するベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補間して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換する同時化処理を行う。
【００４６】
エッジ強調処理部３４は、画像データにエッジ強調処理を行うものである。
【００４７】
ノイズ低減処理部３５は、画像データに空間周波数に応じたコアリング処理などを行うことによりノイズ低減処理を行う。
【００４８】
こうして画像処理部３２によって各種の処理が行われた後の画像データは、ＳＤＲＡＭ２７に再び記憶される。
【００４９】
ＪＰＥＧ処理部３６は、画像データを記録する際には、ＳＤＲＡＭ２７から画像データを読み出して、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮し、圧縮した画像データをＳＤＲＡＭ２７に一旦記憶させる。こうしてＳＤＲＡＭ２７に記憶された圧縮した画像データは、マイクロコンピュータ４５により、ファイルを構成するために必要なヘッダが付加されて記録用のデータとして整えられる。そして、マイクロコンピュータ４５の制御に基づき、整えられた記録用のデータが、メモリＩ／Ｆ４１を介して記録媒体４２に記録される。
【００５０】
また、ＪＰＥＧ処理部３６は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ４５の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ４１を介して記録媒体４２から読み出され、ＳＤＲＡＭ２７に一旦記憶される。ＪＰＥＧ処理部３６は、ＳＤＲＡＭ２７に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ２７に記憶させる。
【００５１】
モニタドライバ３７は、ＳＤＲＡＭ２７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、モニタ３８を駆動制御して映像信号に基づく画像をモニタ３８に表示させる。このモニタドライバ３７により行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体４２に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などが含まれる。
【００５２】
モニタ３８は、上述したようなモニタドライバ３７の駆動制御により、画像を表示すると共に、このデジタルカメラに係る各種の情報を表示する。
【００５３】
ホール素子３９は、ボイスコイルモータ（ＶＣＭ）２３により移動される撮像素子２２の撮影動作中の上述した相対位置を時系列に検出する位置検出部である。ここでは位置検出部としてホール素子３９を用いているが、ホール素子３９に限定されるものでないことは勿論である。
【００５４】
メモリＩ／Ｆ４１は、上述したように、画像データの記録媒体４２への書き込み、および記録媒体４２からの画像データの読み出しを行う。
【００５５】
記録媒体４２は、画像データを不揮発に記憶するものであり、例えばカメラ本体２に着脱できるようなメモリカード等により構成されている。ただし、記録媒体４２は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。従って、記録媒体４２は、デジタルカメラに固有の構成である必要はない。
【００５６】
操作部４３は、撮影者が、このデジタルカメラに対する各種の操作入力を行うためのものであり、デジタルカメラの電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、デジタルカメラの設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。
【００５７】
ここに、撮影者が、メニューボタンや十字キー、ＯＫボタン等を用いて設定ができるような項目には、撮影モード（通常撮影モード、画素ずらし超解像撮影モード等）、記録モード（ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード等）などが含まれている。この操作部４３に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ４５へ出力される。
【００５８】
フラッシュメモリ４４は、マイクロコンピュータ４５により実行される処理プログラムや、このデジタルカメラに係る各種の情報を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ４４が記憶する情報としては、例えば、エッジ強調処理に用いるパラメータやノイズ低減処理に用いるパラメータ、あるいは後述する帯域強調部５４の帯域強調処理に用いられる帯域抽出フィルタｆｂや帯域強調パラメータα等のデジタルカメラの動作に必要な各種パラメータ、画素ずらし超解像撮影モードにおける画素ずらしの大きさ、方向、順序等の情報、およびデジタルカメラを特定するための製造番号などが幾つかの例として挙げられる。このフラッシュメモリ４４が記憶する情報は、マイクロコンピュータ４５により読み取られる。
【００５９】
マイクロコンピュータ４５は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、このデジタルカメラを統括的に制御する制御部である。マイクロコンピュータ４５は、ユーザにより操作部４３から操作入力が行われると、フラッシュメモリ４４に記憶されている処理プログラムに従って、フラッシュメモリ４４から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。
【００６０】
そして、マイクロコンピュータ４５は、上述したボイスコイルモータ（ＶＣＭ）２３を制御して上述した相対位置を移動する画素ずらしを行わせながら、相対位置を移動中に撮像素子２２を制御して複数回の露光を行わせ、複数フレームの画像データを取得する撮像制御部としても機能するようになっている。
【００６１】
さらに、マイクロコンピュータ４５は、画素ずらし部であるボイスコイルモータ（ＶＣＭ）２３による光束と撮像素子２２との相対位置の移動方法を設定する画素ずらし移動設定部としても機能するようになっている。
【００６２】
次に、図２は、合成処理部３１の構成を示すブロック図である。
【００６３】
合成処理部３１は、画素配置部５１と、画素補間部５２と、平均化部５３と、帯域強調部５４と、ベイヤ画像抽出部５５と、を備えている。
【００６４】
画素配置部５１は、画素ずらし超解像撮影モードで取得された８枚のベイヤ画像を、Ｒ成分、Ｇｒ成分（Ｒ成分と同一ラインにあるＧ成分）、Ｇｂ成分（Ｂ成分と同一ラインにあるＧ成分）、Ｂ成分にそれぞれ分離して、画素ずらし位置に応じて配置するものである。
【００６５】
ここに、図３は撮影で得られた８枚のベイヤ画像におけるＲ，Ｇｒ，Ｇｂ，Ｂの基本的な画素配置を示す図、図４は図３に示す画素配置の８枚分のベイヤ画像から画素配置部５１により得られたＲ画素配置を示す図、図５は図３に示す画素配置の８枚分のベイヤ画像から画素配置部５１により得られたＧｒ画素配置を示す図、図６は図３に示す画素配置の８枚分のベイヤ画像から画素配置部５１により得られたＧｂ画素配置を示す図、図７は図３に示す画素配置の８枚分のベイヤ画像から画素配置部５１により得られたＢ画素配置を示す図である。
【００６６】
ここに、図３〜図７に示す各色成分Ｒ，Ｇｒ，Ｇｂ，Ｂにおいて、（ｘ，ｙ）は撮像素子２２における水平方向（ｘ方向）および垂直方向（ｙ方向）の画素位置を、右肩に付した１〜８の内の何れかの数字は、８枚のベイヤ画像の内の何枚目の画像であるかを、それぞれ示している。
【００６７】
画素配置部５１は、図３に示すような基本的な画素配置を繰り返して構成されている８枚のベイヤ画像から、Ｒ成分を抽出して後で図１２〜図２０を参照して説明するような撮像素子２２の画素ずらし経路に応じて再配置し、図４に示すような４×４画素配列中に８つのＲ成分が配列された画素配置のＲ合成画像を生成する。同様に、画素配置部５１は、８枚のベイヤ画像から、Ｇｒ，Ｇｂ，Ｂ成分を各抽出して、画素ずらし経路に応じて再配置し、図５，図６，図７に各示すような画素配置のＧｒ合成画像，Ｇｂ合成画像，Ｂ合成画像をそれぞれ生成する。
【００６８】
画素補間部５２は、図４において欠落しているＲ成分を周辺のＲ成分に基づき補間し、図５において欠落しているＧｒ成分を周辺のＧｒ成分に基づき補間し、図６において欠落しているＧｂ成分を周辺のＧｂ成分に基づき補間し、図７において欠落しているＢ成分を周辺のＢ成分に基づき補間する。
【００６９】
平均化部５３は、画素補間部５２により補間されたＧｒ合成画像とＧｂ合成画像とを、対応する画素位置同士で例えば加算して２で割ることにより平均化する。この平均化により、ノイズを低減して高画質化を図ることができる。
【００７０】
帯域強調部５４は、合成画像データに対して、露光中における上述した相対位置の移動方向（この移動方向は、下記に詳しく述べるように、８回の露光の各々において同一である）と同じ方向の周波数成分を強調するものである。すなわち、帯域強調部５４は、画素補間部５２により補間されたＲ合成画像およびＢ合成画像と、平均化部５３から出力された平均化されたＧｒＧｂ合成画像（Ｇ合成画像）と、における画素ずらし方向と同じ方向の周波数成分を、後で図８を参照して説明するように帯域強調する。この帯域強調部５４により帯域強調された画像は、ＲＧＢ合成画像として出力されるか、あるいはベイヤ画像抽出部５５により処理されてベイヤ合成画像として出力されるか、の少なくとも一方が行われる。ここに、ＲＧＢ合成画像を出力する場合には、同時化処理部３３の処理を省略することもできる。
【００７１】
また、ベイヤ画像抽出部５５は、帯域強調部５４により帯域強調された３板のＲ合成画像、Ｂ合成画像、およびＧｒＧｂ合成画像から、単板のベイヤ配列超解像画像を抽出してベイヤ合成画像として出力するものである。
【００７２】
そして、このような合成処理により、画素ずらし超解像撮影モードにおいては、水平方向に２倍かつ垂直方向に２倍の解像度の超解像画像が得られる。
【００７３】
次に、図８は、帯域強調部５４の構成を示すブロック図である。
【００７４】
この図８に示す構成例では、帯域強調部５４は、フィルタ演算部６１と、乗算部６２と、加算部６３と、を備えている。
【００７５】
フィルタ演算部６１は、画素補間部５２から入力されるＲ合成画像とＢ合成画像、および平均化部５３から入力される平均化後のＧｒＧｂ合成画像のそれぞれに対して、注目画素位置を中心とした例えば３×３画素の画素ブロックを抽出し、抽出した３×３画素に対して、例えば図８に示すような３行３列の行列でなる帯域抽出フィルタｆｂを作用させて、注目画素位置の特定方向の帯域成分を抽出する。
【００７６】
ここに、図８に示す帯域抽出フィルタｆｂは、左上から右下へかけての斜め方向の帯域成分を抽出するフィルタの例となっている。そして、この帯域抽出フィルタｆｂを作用させることにより抽出される帯域成分は、画素ずらし方向と同じ方向の周波数成分である。従って、帯域抽出フィルタｆｂは、８枚のベイヤ画像を撮影したときの画素ずらし方向に応じて、異なるフィルタを用いることになる。例えば、画素ずらし方向が右上から左下に向かう方向である場合には、右上から左下へかけての斜め方向の帯域成分を抽出するフィルタを用いることになり、このようなフィルタは、右上成分が−１、中央成分が２、左下成分が−１で、それ以外の成分が０となるような３行３列の行列でなる、等である。
【００７７】
乗算部６２は、フィルタ演算部６１により抽出された注目画素位置の周波数成分に対して、帯域強調パラメータαを乗算することにより、帯域強調度を調整する。
【００７８】
加算部６３は、乗算部６２から出力された調整後の注目画素位置の周波数成分を、元の注目画素の画素データに加算することで帯域強調を行い、帯域強調結果を出力する。
【００７９】
このような処理を例えばラスタスキャンの順序で注目画素位置を移動させながら全ての画素位置について行うことにより、帯域強調処理が完了する。
【００８０】
続いて、図９はＴｖ値に応じた帯域強調パラメータαの変化の例を示す線図である。
【００８１】
本実施形態は、画素ずらしと露光とを同時に（つまり、平行して）行うが、このときに発生する像ボケは、後で図１２〜図２０を参照して説明するように、露光時間Ｔｅｘｐに応じて変化する。具体的に、１フレームの露光時間Ｔｅｘｐが撮像素子２２からの画像取込時間Ｔｃに等しいときに像ボケが最大となり、露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも短くなると像ボケが低減し、逆に、露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも長くなっても像ボケが低減する。そこで、帯域強調パラメータαを、像ボケが大きいときには大きい値に設定し、像ボケが小さいときには小さい値に設定するようにしている。
【００８２】
すなわち、画像取込時間Ｔｃに対応するアペックス（ＡＰＥＸ）システムのＴｖ値をＴｖＣとすると、図９に示すように、帯域強調パラメータαは、Ｔｖ＜ＴｖＣにおいてはＴｖ値（露光時間Ｔｅｘｐに対応するＴｖ値）の増加に従って単調増加し、Ｔｖ＝ＴｖＣのときに最大値をとり、ＴｖＣ＜ＴｖにおいてはＴｖ値の増加に従って単調減少するように設定される。なお、図９におけるＴｖｍｉｎはシャッタ速度における最長秒時に、Ｔｖｍａｘはシャッタ速度における最短秒時に、それぞれ対応する。
【００８３】
こうして帯域強調部５４は、１フレームの露光時間Ｔｅｘｐが撮像素子２２からの画像取込時間Ｔｃに等しいときに帯域強調の強調度が最大となるように、露光時間Ｔｅｘｐに応じて強調度を変更している。
【００８４】
次に、図１０はデジタルカメラにおけるメイン処理の流れを示すフローチャートである。この図１０に示す処理は、マイクロコンピュータ４５の制御に基づき行われる。
【００８５】
操作部４３の電源ボタンがオン操作されてデジタルカメラの電源がオンになると、このメイン処理が開始され、まずデジタルカメラの初期化を行う（ステップＳ１）。
【００８６】
次に、マイクロコンピュータ４５は、操作部４３の再生ボタンが操作されたか否かを判定する（ステップＳ２）。
【００８７】
ここで再生ボタンが操作された場合には、再生・編集処理を行う（ステップＳ３）。この再生・編集処理は、記録媒体４２に記録されているファイルの一覧を表示して、ユーザーからの選択操作を待ち、選択決定されたファイルを再生したり、選択されている画像を編集したりする処理である。
【００８８】
ステップＳ２において再生ボタンが操作されていないか、あるいはステップＳ３の処理が行われた場合には、操作部４３のメニューボタンが操作されて、デジタルカメラに関するカメラ設定が選択されたか否かを判定する（ステップＳ４）。
【００８９】
ここでカメラ設定が選択された場合には、カメラ設定を変更するメニューをモニタ３８に表示して、カメラ設定を変更するユーザ操作が操作部４３からなされるのを待機する。ここに、カメラ設定の幾つかの例としては、上述したような
撮影モード：通常撮影モード、画素ずらし超解像撮影モード
記録モード：ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード
などが挙げられるが、これらに限るものではない。
【００９０】
そして、ユーザ操作がなされた場合には、操作内容に応じてカメラ設定を行う（ステップＳ５）。
【００９１】
ステップＳ４においてカメラ設定が選択されていないか、あるいはステップＳ５の処理が行われた場合には、レリーズボタンがオフから１段階目の押圧状態（いわゆる半押状態）である１ｓｔレリーズオンの状態へ遷移したか否かを判定する（ステップＳ６）。
【００９２】
ここで１ｓｔレリーズオンの状態へ遷移した場合には、この遷移したタイミングにおいて、画像を撮影するための自動露出（ＡＥ）制御をＡＥ処理部２９により行うと共に、自動焦点制御（ＡＦ）をＡＦ処理部２８により行う（ステップＳ７）。これにより、１ｓｔレリーズボタンが押圧された以降は、いわゆるＡＥロックおよびＡＦロックが行われる。
【００９３】
そして、電源ボタンがオフ操作されたか否かを判定し（ステップＳ８）、オフ操作されていない場合には、ステップＳ２へ戻って上述したような処理を繰り返して行う。
【００９４】
また、上述したステップＳ６において１ｓｔレリーズオンの状態へ遷移していない場合には、レリーズボタンが２段階目の押圧状態である２ｎｄレリーズオンの状態（いわゆる全押状態）となっているか否かを判定する（ステップＳ９）。
【００９５】
ここで、２ｎｄレリーズオンの状態となっていない場合には、メカニカルシャッタ２１を開放状態にして、ライブビュー用の自動露出（ＡＥ）制御をＡＥ処理部２９により行い、電子シャッタによる１フレーム（あるいは１フィールド等）の画像撮影を行う（ステップＳ１０）。
【００９６】
こうして撮影された画像に対して、記録画像に対して行う画像処理の幾つかを例えば省略した基本画像処理を行い（ステップＳ１１）、基本画像処理されたフレーム画像をモニタ３８にライブビューの１フレームとして表示する（ステップＳ１２）。
【００９７】
その後、上述したステップＳ８の処理へ移行して電源ボタンがオフ操作されたか否かを判定し、オフ操作されていない場合には、ステップＳ２へ戻って上述したような処理を繰り返して行う。
【００９８】
一方、上述したステップＳ９において、２ｎｄレリーズオンの状態となっている場合には、後で図１１を参照して説明する撮影処理を実行する（ステップＳ１３）。
【００９９】
続いて、ＲＡＷ記録モードが設定されているか否かを判定して（ステップＳ１４）、設定されている場合にはＲＡＷ画像をファイルとして記録媒体４２に記録する（ステップＳ１５）。
【０１００】
ステップＳ１４においてＲＡＷ記録モードが設定されていないか、あるいはステップＳ１５の処理が行われた場合には、撮影により得られた画像に対して画像処理部３２により画像処理を行う（ステップＳ１６）。
【０１０１】
その後、画像処理された画像をＪＰＥＧ圧縮してヘッダを付加し、ＪＰＥＧファイルとして記録媒体４２に記録する（ステップＳ１７）。
【０１０２】
このステップＳ１７の処理が行われたら、上述したステップＳ８の処理へ移行して電源ボタンがオフ操作されたか否かを判定する。
【０１０３】
こうして、ステップＳ８において、電源ボタンがオフ操作された場合には、このメイン処理を終了する。
【０１０４】
図１１は、デジタルカメラにおける撮影処理の流れを示すフローチャートである。
【０１０５】
この処理を開始すると、撮影モードが画素ずらし超解像撮影モードに設定されているか否かを判定する（ステップＳ２１）。
【０１０６】
ここで、画素ずらし超解像撮影モードに設定されていない場合には、絞り１２を駆動しメカニカルシャッタ２１を開いて撮像素子２２により露光を行い、画像を１枚撮影する通常の撮影処理を行う（ステップＳ２２）。
【０１０７】
また、画素ずらし超解像撮影モードに設定されている場合には、ボイスコイルモータ（ＶＣＭ）２３による撮像素子２２の移動方向や移動速度、撮像素子２２による各画像の撮像タイミングなどを設定する（ステップＳ２３）。
【０１０８】
さらに、上述したように、メカニカルシャッタ２１を開いた状態に維持し、絞り１２の開口径を一定に維持して、ボイスコイルモータ（ＶＣＭ）２３により撮像素子２２の移動を開始する（ステップＳ２４）。
【０１０９】
そして、設定された撮像タイミングにおいて、撮像素子２２により露光を行い、露光した画像を取り込むことを、所定回数、本実施形態においては例えば８回行う（ステップＳ２５）。
【０１１０】
所定回数の撮影が終了したら、ボイスコイルモータ（ＶＣＭ）２３を停止することにより撮像素子２２の移動を終了する（ステップＳ２６）。
【０１１１】
そして、撮影により得られた８枚の画像を、合成処理部３１により合成処理して、１枚の超解像画像を生成する（ステップＳ２７）。
【０１１２】
ステップＳ２７または上述したステップＳ２２の処理が終了したら、この処理から図２に示す処理へリターンする。
【０１１３】
次に、図１２〜図１４を参照して、露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも短いときの画素への露光について説明する。図１２は露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも短いときの撮像素子２２の撮像タイミングとボイスコイルモータ（ＶＣＭ）２３による撮像素子２２のｘ方向およびｙ方向への駆動タイミングとを示す線図、図１３は露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも短いときに画像において最初に読み出されるラインの各フレームにおける画素露光位置を示す図、図１４は露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも短いときに画像において最後に読み出されるラインの各フレームにおける画素露光位置を示す図である。
【０１１４】
本実施形態では、撮像素子２２は上述したように電子ローリングシャッタ撮影を行うようになっており、露光開始はライン毎にタイミングをずらして順次行われ、露光時間Ｔｅｘｐが経過した画素の読み出しも同様にライン毎にタイミングをずらして順次行われる。ここに、最初のラインの露光開始時刻から最後のラインの露光開始時刻までの時間が画像取込時間Ｔｃである。さらに、最後のラインが露光開始された直後に次のフレームの最初のラインを露光開始するようにしているために、この画像取込時間Ｔｃがフレーム期間ともなっている。そして、図１２〜図１４には、上述したように、Ｔｅｘｐ＜Ｔｃとなる例を示している。
【０１１５】
このような撮影を８回繰り返して行うことにより、第１フレームＦ１〜第８フレームＦ８の各画像が順次取得される。
【０１１６】
このとき、本実施形態においては、ボイスコイルモータ（ＶＣＭ）２３を連続的に動作させて画素ずらしを行うようになっている。従って、本実施形態では、画素ずらしと露光が同時に行われ、また、画素ずらしと画像取り込みも同時に行われるようになっている。
【０１１７】
ただし、画素ずらしを露光と同時に行うと、画像がボケてしまうことになる。そこで、本実施形態においては、露光と同時に行う画素ずらしを特定の一方向のみに限定することで該方向以外の方向にボケが発生しないようにし、さらに、画像における画素ずらしの方向と同じ方向の周波数成分を、上述したように帯域強調部５４によって帯域強調し、画像のボケを軽減するようにしている。
【０１１８】
ここに、撮像素子２２上に水平方向（例えば図１３に示したｘ方向）および垂直方向（例えば図１３に示したｙ方向（なお、図１２〜図２０において、下方向をｙ軸の正方向としている））に配列された画素群において、露光と同時に行う画素ずらしの方向は次のようになっている。すなわち、画素ずらし方向（本実施形態においては撮像素子２２の移動方向）は、左上から右下への斜め４５°方向［（１，１）方向］、右上から左下への斜め４５°方向［（−１，１）方向］、右下から左上への斜め４５°方向［（−１，−１）方向］、左下から右上への斜め４５°方向［（１，−１）方向］の何れかである。なお、ここでは正方画素を想定しているために斜め４５°としているが、例えば長方画素の場合には対角線の方向となる。
【０１１９】
また、画素ずらしの速度は、ｘ，ｙ各方向への移動量が画像取込時間Ｔｃ当たり画素ピッチＰの半分Ｐ／２となれば良く、上述した画素ずらし方向ベクトル（１，１）、（−１，１）、（−１，−１）、（１，−１）にＰ／（２Ｔｃ）を掛けたものとなる。従って、画素ずらしの速度の大きさ（速さ）はＰ／（√２×Ｔｃ）である。これにより、画素ずらし方向が例えば（１，１）である場合には、第２フレームＦ２は、第１フレームＦ１に対して、画素の露光位置が（Ｐ／２，Ｐ／２）だけ移動される。
【０１２０】
また、図４〜図７に示したような合成後におけるモザイク状の画素配列を得るためには、画素ずらし方向に直交する方向に大きさＰ／√２だけ画素ずらし方向をシフトしなければならない。そこで、本実施形態では、第１フレームＦ１〜第８フレームＦ８を、第１フレームＦ１〜第４フレームＦ４でなる第１グループと、第５フレームＦ５〜第８フレームＦ８でなる第２グループとに分けて、第１グループと第２グループとの間において、画素ずらし方向に直交する方向に大きさＰ／√２だけ画素ずらし方向をシフトさせている。この方法は、画素ずらし方向に直交する方向へのシフトが１回で済むために、第１フレームＦ１から第８フレームＦ８までの全撮影時間を最も短くすることができる利点がある。
【０１２１】
具体的に、図１２〜図１４に示すような画素ずらし方向が（１，１）である場合において、第５フレームＦ５露光開始直前の画像取込時間Ｔｃにおいて撮像素子２２の位置を（−１，１）方向に（−Ｐ／２，Ｐ／２）だけシフトさせ、その後に第５フレームＦ５露光開始時点から再び（１，１）方向に画素ずらしを行いながら第２グループの各フレームを撮像するようになっている。
【０１２２】
このような画素ずらしを行うと、図１３および図１４の点線矢印の方向に撮像素子２２が移動する。
【０１２３】
図１２〜図１４に示す場合には、露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも短いために、各フレームにおける画素の露光位置は明確に分離され、図１３および図１４に示すような、例えば点状の黒丸として表すことができる。
【０１２４】
まず、第１フレームＦ１における画素の露光位置は、図１３および図１４の例えば左上に示す黒丸の位置となる。そして、第２フレームＦ２から第４フレームＦ４へ順に移るに従って、画素の露光位置が右下に（Ｐ／２，Ｐ／２）ずつ移動する。その後、第５フレームへ移る前に画素の露光位置が（−Ｐ／２，Ｐ／２）だけシフトし、第５フレームＦ５〜第８フレームＦ８において再び露光位置が右下に（Ｐ／２，Ｐ／２）ずつ移動して行く。
【０１２５】
このとき、図１２の撮像タイミングに示すように、読出ラインの下端はフレーム期間内の最初に露光されるのに対して、読出ラインの上端はフレーム期間内の最後に露光されるために、画素の露光位置が（Ｐ／２，Ｐ／２）だけ相違する。従って、図１３の点線矢印に示す撮像素子２２の移動経路と図１４の点線矢印に示す撮像素子２２の移動経路とは同じであっても、移動経路上における画素の露光位置は、図１３に示す読出ラインの下端と、図１４に示す読出ラインの上端とでは、点線矢印の方向に沿って（Ｐ／２，Ｐ／２）だけ相違している。
【０１２６】
ただし、任意の画素における、フレーム間の相対的な露光位置の関係は同一となっている。すなわち、第２〜第４，第６〜第８フレームＦ２〜Ｆ４，Ｆ６〜Ｆ８は第１〜第３，第５〜第７フレームＦ１〜Ｆ３，Ｆ５〜Ｆ７に対して画素の露光位置がそれぞれ（Ｐ／２，Ｐ／２）だけ移動されており、第５フレームＦ５は第４フレームＦ４に対して画素の露光位置が（Ｐ／２，３Ｐ／２）だけ移動されていることは、任意の画素において（つまり、どの読出ラインであるかに依らず）成立している。
【０１２７】
次に、図１５〜図１７を参照して、露光時間Ｔｅｘｐが画像取込時間Ｔｃと等しいときの画素への露光について説明する。図１５は露光時間Ｔｅｘｐが画像取込時間Ｔｃと等しいときの撮像素子２２の撮像タイミングとボイスコイルモータ（ＶＣＭ）２３による撮像素子２２のｘ方向およびｙ方向への駆動タイミングとを示す線図、図１６は露光時間Ｔｅｘｐが画像取込時間Ｔｃと等しいときに画像において最初に読み出されるラインの各フレームにおける画素露光位置を示す図、図１７は露光時間Ｔｅｘｐが画像取込時間Ｔｃと等しいときに画像において最後に読み出されるラインの各フレームにおける画素露光位置を示す図である。
【０１２８】
まず、ボイスコイルモータ（ＶＣＭ）２３による撮像素子２２のｘ方向およびｙ方向への駆動タイミングは、図１２に示した場合と同様である。
【０１２９】
また、撮像素子２２の撮像タイミングは、露光時間Ｔｅｘｐが画像取込時間Ｔｃと等しくなった以外は、図１２に示した場合と同様である。
【０１３０】
一方、露光時間Ｔｅｘｐが画像取込時間Ｔｃと等しいために、隣接するフレームにおける画素の露光位置が互いに接して連続的となり、図１６および図１７に示すような、撮像素子２２の移動経路を示す点線矢印の方向に沿った長さＰ／√２の例えば線状の黒長丸として表すことができる。
【０１３１】
その他の点は、図１２〜図１４の場合と基本的に同様である。
【０１３２】
続いて、図１８〜図２０を参照して、露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも長いときの画素への露光について説明する。図１８は露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも長いときの撮像素子２２の撮像タイミングとボイスコイルモータ（ＶＣＭ）２３による撮像素子２２のｘ方向およびｙ方向への駆動タイミングとを示す線図、図１９は露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも長いときに画像において最初に読み出されるラインの各フレームにおける画素露光位置を示す図、図２０は露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも長いときに画像において最後に読み出されるラインの各フレームにおける画素露光位置を示す図である。
【０１３３】
ここに、図１８〜図２０には、Ｔｅｘｐ＝２×Ｔｃとなる例を示している。
【０１３４】
このとき、ボイスコイルモータ（ＶＣＭ）２３による撮像素子２２のｘ方向およびｙ方向への駆動タイミングに関して、上述した画素ずらし速度（Ｐ／（２Ｔｃ），Ｐ／（２Ｔｃ））の場合に、露光時間Ｔｅｘｐの半分が経過した時点で画素の露光位置が（Ｐ／２，Ｐ／２）だけ移動される。従って、露光時間Ｔｅｘｐの残り半分（より一般には、残りの（Ｔｅｘｐ−Ｔｃ）の期間）では撮像素子２２を移動させることなく一定位置に維持する。
【０１３５】
すなわち、画素ずらし移動設定部であるマイクロコンピュータ４５は、１フレームの露光時間Ｔｅｘｐが撮像素子２２からの画像取込時間Ｔｃよりも長いときには、露光中において移動を停止する期間が生じるように相対位置の移動方法を設定する。
【０１３６】
このような駆動を、第１フレームＦ１〜第４フレームＦ４でなる第１グループと、第５フレームＦ５〜第８フレームＦ８でなる第２グループとの露光期間においてそれぞれ行う。一方、第１グループと第２グループとの間において、画素ずらし方向に直交する方向に大きさＰ／√２だけ画素ずらし方向をシフトさせているのは上述と同様である。
【０１３７】
そしてこの場合に、隣接するフレームにおける画素の露光位置が互いに接して連続的となり、撮像素子２２の移動経路を示す点線矢印の方向に沿った長さＰ／√２の例えば線状の黒長丸として表すことができるのは、図１６および図１７に示した場合と同様である。ただし、黒長丸で示す露光経路の終端において上述したように（Ｔｅｘｐ−Ｔｃ）の期間だけ露光位置が維持されるために、この終端部分の露光量は黒長丸で示す露光経路の他の部分よりも大きくなる。
【０１３８】
その他の点は、図１２〜図１４、あるいは図１５〜図１７の場合と基本的に同様である。
【０１３９】
図１２〜図１４に示したようなＴｅｘｐ＜Ｔｃのときと、図１５〜図１７に示したようなＴｅｘｐ＝Ｔｃのときと、図１８〜図２０に示したようなＴｅｘｐ＞Ｔｃのときとをそれぞれ比べてみれば分かるように、Ｔｅｘｐ＜Ｔｃのときには露光位置が露光時間Ｔｅｘｐの長さに応じた特定位置に集中し、Ｔｅｘｐ＞Ｔｃのときには露光位置が黒長丸で示す露光経路の終端位置に集中するのに対して、Ｔｅｘｐ＝Ｔｃのときには露光位置が黒長丸で示す露光経路上に均一に分散する。
【０１４０】
従って、画像に生じる像ボケの度合いは、Ｔｅｘｐ＜Ｔｃのときには露光時間Ｔｅｘｐが増加するに従って増加し、Ｔｅｘｐ＝Ｔｃのときに最大となり、Ｔｅｘｐ＞Ｔｃのときには露光時間Ｔｅｘｐが増加するに従って減少することが分かる。
【０１４１】
このような、画像取込時間Ｔｃに相対する露光時間Ｔｅｘｐの長さによって、大きさが変化する像ボケを適切に補正するために、上述した図９に示したように帯域強調パラメータαを変化させている。
【０１４２】
すなわち、Ｔｅｘｐ＜Ｔｃのときには、露光位置があまり移動しないので帯域強調フィルタの強度を比較的弱くし、Ｔｅｘｐ＝Ｔｃのときには、露光位置が均一に分散しているので帯域強調フィルタの強度を強くし、Ｔｅｘｐ＞Ｔｃのときには、移動を停止している露光位置で集中的に露光が行われるので帯域強調フィルタの強度を比較的弱くする、等である。
【０１４３】
このような実施形態１によれば、光束と撮像素子２２との相対位置を移動中に露光を行い画像データを取得するようにしたために、合成に用いる複数の画像データの撮影時間を短縮することができる。そして、露光中における相対位置の移動が同じ移動方向かつ同じ移動量となるようにしたために、少なくとも移動方向とは異なる方向への合成画像データの高解像度を確保することができる。特に、露光時間Ｔｅｘｐが画像取込時間Ｔｃと異なる場合には、移動方向の像ボケの影響も小さくなるために、移動方向の帯域強調を行わなくても、高解像度化することができる。
【０１４４】
さらに、帯域強調部５４が、合成画像データに対して、露光中における相対位置の移動方向と同じ方向の周波数成分を強調するようにしたために、移動方向の像ボケの影響を低減して、より鮮鋭度の高い、高解像度化された画像を得ることができる。
【０１４５】
このとき、帯域強調部５４が、露光時間Ｔｅｘｐが画像取込時間Ｔｃに等しいときに帯域強調の強調度が最大となるように、露光時間Ｔｅｘｐに応じて強調度を変更しているために、移動方向の像ボケの影響を適切に低減することができる。
【０１４６】
そして、露光時間Ｔｅｘｐが画像取込時間Ｔｃよりも長いときには、露光中において移動を停止する期間が生じるように相対位置の移動方法を設定しているために、露光時間Ｔｅｘｐの長短に依存することなく１フレーム期間における相対位置の移動量を一定に維持することができるだけでなく、さらに、露光経路上に露光量が均一に分散するのを抑制して、移動停止位置に露光量を集中させることができ、つまり、像ボケを低減することができる。
［実施形態２］
【０１４７】
図２１は本発明の実施形態２を示したものであり、デジタルカメラにおける撮影処理の流れを示すフローチャートである。
【０１４８】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１４９】
ボイスコイルモータ（ＶＣＭ）２３による撮像素子２２の駆動は機械的なものであるために、撮像素子２２に作用する重力の影響を受ける。そこで、本実施形態は、重力の方向を考慮して画素ずらし方向を制御するようにしたものとなっている。
【０１５０】
すなわち、図２１に示す撮影処理を開始すると、まず上述したステップＳ２１の処理を行い、このステップＳ２１において画素ずらし超解像撮影モードに設定されていると判定された場合には、姿勢検出部３０から撮像素子２２に対する重力方向の情報を取得して、マイクロコンピュータ４５がデジタルカメラの姿勢を検出する（ステップＳ３１）。
【０１５１】
そして、画素ずらし移動設定部であるマイクロコンピュータ４５は、姿勢検出部３０により検出された重力方向に応じて、相対位置の移動方法、つまりボイスコイルモータ（ＶＣＭ）２３による撮像素子２２の移動方向や移動速度や撮像素子２２による各画像の撮像タイミングなどを設定する（ステップＳ２３Ａ）。
【０１５２】
このとき、マイクロコンピュータ４５は、相対位置の移動方向が重力方向の正の成分を有する方向となるように、相対位置の移動方法を設定する。
【０１５３】
具体的に画素ずらし方向を、重力方向が例えば、＋ｙ方向である場合にはベクトル（１，１）または（−１，１）の方向とし、−ｙ方向である場合にはベクトル（１，−１）またはベクトル（−１，−１）の方向とし、＋ｘ方向である場合にはベクトル（１，１）または（１，−１）の方向とし、−ｘ方向である場合にはベクトル（−１，−１）または（−１，１）の方向とする、等である。要は、重力方向と同一方向の成分をもつように画素ずらし方向を設定すれば良い。
【０１５４】
その他の処理は、上述した実施形態１の図１１に示した処理と同様である。
【０１５５】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、相対位置の移動方向が重力方向の正の成分を有する方向となるように相対位置の移動方法を設定したために、ボイスコイルモータ（ＶＣＭ）２３の負荷や消費電力を低減することができる。
［実施形態３］
【０１５６】
図２２は本発明の実施形態３を示したものであり、デジタルカメラの構成を示すブロック図である。
【０１５７】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１５８】
上述した実施形態１の図１に示す構成例では、ボイスコイルモータ（ＶＣＭ）２３により、レンズ１１の光軸に垂直な面内で撮像素子２２を移動させて画素ずらしを行ったが、本実施形態は、交換式レンズ１内に光軸シフト光学素子１６を設けて、この光軸シフト光学素子１６を移動させることにより画素ずらしを行うものとなっている。
【０１５９】
すなわち、交換式レンズ１内には、上述したレンズ１１と絞り１２とフラッシュメモリ１４とマイクロコンピュータ１５とが設けられているだけでなく、さらに、光軸シフト光学素子１６とボイスコイルモータ（ＶＣＭ）２３とホール素子３９とが設けられていて、本実施形態のドライバ１３Ａは、上述したドライバ１３の機能に加えて、さらにホール素子３９の検出結果に基づきボイスコイルモータ（ＶＣＭ）２３の駆動制御を行うものとなっている。
【０１６０】
ここに、光軸シフト光学素子１６は、レンズ１１から撮像素子２２へ向かう光束の光軸をシフトさせるものであり、例えば、所定屈折率かつ所定厚さの光学板を光軸に対して非垂直に傾けることで光軸をシフトし、傾ける角度を調整することでシフト量を制御する方式、あるいは所定屈折率の液体を２枚の光学板で挟んで蛇腹状に（入射側の光学板と出射側の光学板とを平行でない状態に）動かすことにより光軸を補正する方式などの、各種の方式のもの（いわゆる光学式ブレ補正機構を兼用したものでも良い）を広く採用することができる。
【０１６１】
また、ボイスコイルモータ（ＶＣＭ）２３は、ドライバ１３Ａの制御に基づき、光軸シフト光学素子１６を駆動して光軸をシフトさせるものである。
【０１６２】
さらに、ホール素子３９は、光軸シフト光学素子１６の駆動位置を検出するものである。
【０１６３】
こうして、ドライバ１３Ａは、交換式レンズ１内のマイクロコンピュータ１５の制御に基づき、さらにはカメラ本体２内のマイクロコンピュータ４５の制御に基づき、ホール素子３９の検出結果を参照しながら、ボイスコイルモータ（ＶＣＭ）２３を駆動して、光軸シフト光学素子１６による光軸のシフト方向およびシフト量を制御するようになっている。
【０１６４】
なお、実施形態１または実施形態２の構成とこの実施形態３の構成とを組み合わせて、撮像素子２２と光軸シフト光学素子１６との両方を移動させて画素ずらしを行う構成としても構わない。この場合には、撮像素子２２を移動するボイスコイルモータ（ＶＣＭ）２３と、光軸シフト光学素子１６を移動するボイスコイルモータ（ＶＣＭ）２３とを設け、さらに、撮像素子２２の位置を検出するホール素子３９と、光軸シフト光学素子１６の位置を検出するホール素子３９とを設けることになる。
【０１６５】
このような実施形態３によれば、光学系を移動させて画素ずらしを行う場合、あるいは、撮像素子２２および光学系を移動させて画素ずらしを行う場合にも、上述した実施形態１，２とほぼ同様の効果を奏することができる。
【０１６６】
なお、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行う撮像方法であっても良いし、コンピュータに撮像方法を実行させるための処理プログラム、コンピュータにより読み取ることができて、該処理プログラムを記録する一時的でない記録媒体、等であっても構わない。
【０１６７】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。
【符号の説明】
【０１６８】
１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
１１…レンズ
１２…絞り
１３，１３Ａ…ドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
１６…光軸シフト光学素子
２１…メカニカルシャッタ
２２…撮像素子
２３…ボイスコイルモータ（ＶＣＭ）（画素ずらし部）
２４…アナログ処理部
２５…Ａ／Ｄ変換部
２６…バス
２７…ＳＤＲＡＭ
２８…ＡＦ処理部
２９…ＡＥ処理部
３０…姿勢検出部
３１…合成処理部（画像合成部）
３２…画像処理部
３３…同時化処理部
３４…エッジ強調処理部
３５…ノイズ低減処理部
３６…ＪＰＥＧ処理部
３７…モニタドライバ
３８…モニタ
３９…ホール素子
４１…メモリＩ／Ｆ
４２…記録媒体
４３…操作部
４４…フラッシュメモリ
４５…マイクロコンピュータ（撮像制御部、画素ずらし移動設定部）
５１…画素配置部
５２…画素補間部
５３…平均化部
５４…帯域強調部
５５…ベイヤ画像抽出部
６１…フィルタ演算部
６２…乗算部
６３…加算部
【要約】
【課題】合成画像データの高解像度を確保しながら、合成に用いる複数の画像データの撮影時間を短縮することができる撮像装置等を提供する。
【解決手段】撮像素子２２と光束との相対位置を、フレーム期間の移動量が画素ピッチの非整数倍となるように移動させるＶＣＭ２３と、相対位置を移動中に撮像素子２２に複数回の露光を行わせて複数の画像データを取得するマイクロコンピュータ４５と、取得された複数の画像データから高解像度の合成画像データを生成する合成処理部３１と、を有し、ＶＣＭ２３は、複数回の露光の各々において、露光中における相対位置の移動が同じ移動方向かつ同じ移動量となるようにする撮像装置。
【選択図】図１【図１】
0005893712.tif 000002
【図２】
0005893712.tif 000003
【図３】
0005893712.tif 000004
【図４】
0005893712.tif 000005
【図５】
0005893712.tif 000006
【図６】
0005893712.tif 000007
【図７】
0005893712.tif 000008
【図８】
0005893712.tif 000009
【図９】
0005893712.tif 000010
【図１０】
0005893712.tif 000011
【図１１】
0005893712.tif 000012
【図１２】
0005893712.tif 000013
【図１３】
0005893712.tif 000014
【図１４】
0005893712.tif 000015
【図１５】
0005893712.tif 000016
【図１６】
0005893712.tif 000017
【図１７】
0005893712.tif 000018
【図１８】
0005893712.tif 000019
【図１９】
0005893712.tif 000020
【図２０】
0005893712.tif 000021
【図２１】
0005893712.tif 000022
【図２２】
0005893712.tif 000023