(57)【要約】【課題】再撮影の必要性を低減しながら、像ぶれが補正された高解像度画像を得ることができる撮像装置等を提供する。【解決手段】レンズ１１および撮像素子２２と、所定の可動範囲内において被写体像と撮像素子２２とを相対的にシフトする像ぶれ補正部２４と、像ぶれ補正部２４を制御して像ぶれ補正と画素ずらしとを行い、像ぶれ補正部２４の制御状態に応じた画素ずらし調整量に基づき画素ずらしを調整する像ぶれ補正ドライバ２５と、像ぶれ補正ドライバ２５に露光期間は像ぶれ補正を行わせ非露光期間は調整された画素ずらしを行わせながら、撮像素子２２に複数の画像を連続的に撮像させるマイクロコンピュータ４０と、を有する撮像装置。【選択図】図１
2019191258.tif 000002
【特許請求の範囲】
【請求項１】
所定の画素ピッチで２次元状に配列された複数の画素を有し、前記複数の画素により被写体像を露光して電気的な画像を生成する撮像部と、
前記被写体像を前記撮像部に結像するレンズ部と、
所定の可動範囲内において、前記レンズ部の光軸に垂直な方向に、前記被写体像と前記撮像部との位置を相対的にシフトする像ぶれ補正部と、
前記像ぶれ補正部を制御して、前記撮像部に結像される前記被写体像の移動を低減する像ぶれ補正を行うと共に、高解像度画像を生成するための画素ずらしを行う像ぶれ補正制御部と、
前記像ぶれ補正部の制御状態に応じて画素ずらし調整量を設定し、前記画素ずらし調整量に基づき前記画素ずらしを調整する画素ずらし調整部と、
前記像ぶれ補正制御部に前記像ぶれ補正部を制御させて、露光期間は前記像ぶれ補正を行わせ、非露光期間は前記画素ずらし調整部により調整された前記画素ずらしを行わせながら、前記撮像部に複数の画像を連続的に撮像させる撮像制御部と、
を有することを特徴とする撮像装置。
【請求項２】
前記画素ずらし調整部は、前記像ぶれ補正部によるシフト位置が、前記可動範囲内の初期位置に近付くように、前記画素ずらし調整量の正負を設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画素ずらし調整部は、さらに、前記露光期間から前記非露光期間に移行する時点の前記シフト位置と、前記可動範囲の範囲端と、の間のマージンの値に応じて、前記画素ずらし調整量の大きさを設定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画素ずらし調整部は、さらに、前記露光期間から前記非露光期間に移行する時点の前記像ぶれ補正部の制御状態に応じて、前記非露光期間から次の露光期間に移行する時点の予測シフト位置を推定し、前記予測シフト位置と、前記可動範囲の範囲端と、の間のマージンの値に応じて、前記画素ずらし調整量の大きさを設定することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記複数の画素は複数種類の画素を含み、前記複数種類の画素の基本配列が２次元方向に周期的に繰り返されて前記撮像部が構成されており、
前記画素ずらし調整部は、前記画素ずらし調整量を、前記基本配列の周期である基本周期の整数倍に設定することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記撮像制御部は、前記非露光期間に、前記画素ずらしと共に、さらに、前記像ぶれ補正を前記像ぶれ補正制御部に行わせることを特徴とする請求項１に記載の撮像装置。
【請求項７】
所定の画素ピッチで２次元状に配列された複数の画素を有する撮像部の、前記複数の画素により、レンズ部により結像された被写体像を露光して電気的な画像を生成する撮像ステップと、
所定の可動範囲内において、前記レンズ部の光軸に垂直な方向に、前記被写体像と前記撮像部との位置を相対的にシフトする像ぶれ補正ステップと、
前記像ぶれ補正ステップを制御して、前記撮像部に結像される前記被写体像の移動を低減する像ぶれ補正を行うと共に、高解像度画像を生成するための画素ずらしを行う像ぶれ補正制御ステップと、
前記像ぶれ補正ステップの制御状態に応じて画素ずらし調整量を設定し、前記画素ずらし調整量に基づき前記画素ずらしを調整する画素ずらし調整ステップと、
前記像ぶれ補正制御ステップに前記像ぶれ補正ステップを制御させて、露光期間は前記像ぶれ補正を行わせ、非露光期間は前記画素ずらし調整ステップにより調整された前記画素ずらしを行わせながら、前記撮像部に複数の画像を連続的に撮像させる撮像制御ステップと、
をコンピュータに実行させるための撮像プログラム。
【請求項８】
所定の画素ピッチで２次元状に配列された複数の画素を有する撮像部の、前記複数の画素により、レンズ部により結像された被写体像を露光して電気的な画像を生成する撮像ステップと、
所定の可動範囲内において、前記レンズ部の光軸に垂直な方向に、前記被写体像と前記撮像部との位置を相対的にシフトする像ぶれ補正ステップと、
前記像ぶれ補正ステップを制御して、前記撮像部に結像される前記被写体像の移動を低減する像ぶれ補正を行うと共に、高解像度画像を生成するための画素ずらしを行う像ぶれ補正制御ステップと、
前記像ぶれ補正ステップの制御状態に応じて画素ずらし調整量を設定し、前記画素ずらし調整量に基づき前記画素ずらしを調整する画素ずらし調整ステップと、
前記像ぶれ補正制御ステップに前記像ぶれ補正ステップを制御させて、露光期間は前記像ぶれ補正を行わせ、非露光期間は前記画素ずらし調整ステップにより調整された前記画素ずらしを行わせながら、前記撮像部に複数の画像を連続的に撮像させる撮像制御ステップと、
を有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、像ぶれ補正と画素ずらしとを行う撮像装置、撮像プログラム、撮像方法に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラなどの撮像装置において、手持ちで撮影する際のブレを補正する像ぶれ補正の技術は従来より知られている。像ぶれ補正は、例えば、撮像素子をシフトすることにより、あるいは撮影レンズの少なくとも一部を移動することにより、撮像素子と被写体像との相対的な位置をシフトして行われる。
【０００３】
また、例えば半画素ピッチずつ画素ずらしを行って複数枚の画像を取得し、取得した複数枚の画像から１枚の高解像度画像を合成する画素ずらし超解像撮影も従来より知られている。
【０００４】
そして、像ぶれ補正装置を備える撮像装置において、像ぶれ補正と共に画素ずらしを行う技術が提案されている。
【０００５】
例えば、特開平７−２８７２６８号公報には、装置のぶれを検出するぶれ検出手段と、撮像素子と、撮像素子の光路上前方に配置され、光路中で動くことにより通過光束を偏向させる光束偏向手段と、光束偏向手段を駆動する制御手段と、を有する撮像装置において、制御手段が、目標位置信号と、ぶれ検出手段の出力信号と、に応じて制御を行うことが記載されている。ここに、目標位置信号は、撮像素子上に結像した被写体像を、撮像素子の画素ピッチに関連する所定量だけ移動するための信号である。そして、これにより、装置の大型化、コスト高を招くことなく、像ぶれ補正、画素ずらしの両方を行って高品位な画像を得ることができるとされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−２８７２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、像ぶれ補正は、撮像素子、あるいはレンズを、例えばボイスコイルモータ等を用いて機械的に移動する構成となっているが、可動範囲には限界がある。そして、像ぶれ補正と画素ずらしとを同時に行うと、像ぶれ補正方向と画素ずらし方向とが同じである場合には、移動量が大きくなって可動範囲を超えてしまい、補正することができなくなる場合がある。こうした場合には、像ぶれが良好に補正された精度の高い高解像度画像を得ることができず、撮影のやり直しを行う等が必要であった。
【０００８】
本発明は上記事情に鑑みてなされたものであり、再撮影の必要性を低減しながら、像ぶれが補正された高解像度画像を得ることができる撮像装置、撮像プログラム、撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明の一態様による撮像装置は、所定の画素ピッチで２次元状に配列された複数の画素を有し、前記複数の画素により被写体像を露光して電気的な画像を生成する撮像部と、前記被写体像を前記撮像部に結像するレンズ部と、所定の可動範囲内において、前記レンズ部の光軸に垂直な方向に、前記被写体像と前記撮像部との位置を相対的にシフトする像ぶれ補正部と、前記像ぶれ補正部を制御して、前記撮像部に結像される前記被写体像の移動を低減する像ぶれ補正を行うと共に、高解像度画像を生成するための画素ずらしを行う像ぶれ補正制御部と、前記像ぶれ補正部の制御状態に応じて画素ずらし調整量を設定し、前記画素ずらし調整量に基づき前記画素ずらしを調整する画素ずらし調整部と、前記像ぶれ補正制御部に前記像ぶれ補正部を制御させて、露光期間は前記像ぶれ補正を行わせ、非露光期間は前記画素ずらし調整部により調整された前記画素ずらしを行わせながら、前記撮像部に複数の画像を連続的に撮像させる撮像制御部と、を有する。
【００１０】
本発明の他の態様による撮像プログラムは、所定の画素ピッチで２次元状に配列された複数の画素を有する撮像部の、前記複数の画素により、レンズ部により結像された被写体像を露光して電気的な画像を生成する撮像ステップと、所定の可動範囲内において、前記レンズ部の光軸に垂直な方向に、前記被写体像と前記撮像部との位置を相対的にシフトする像ぶれ補正ステップと、前記像ぶれ補正ステップを制御して、前記撮像部に結像される前記被写体像の移動を低減する像ぶれ補正を行うと共に、高解像度画像を生成するための画素ずらしを行う像ぶれ補正制御ステップと、前記像ぶれ補正ステップの制御状態に応じて画素ずらし調整量を設定し、前記画素ずらし調整量に基づき前記画素ずらしを調整する画素ずらし調整ステップと、前記像ぶれ補正制御ステップに前記像ぶれ補正ステップを制御させて、露光期間は前記像ぶれ補正を行わせ、非露光期間は前記画素ずらし調整ステップにより調整された前記画素ずらしを行わせながら、前記撮像部に複数の画像を連続的に撮像させる撮像制御ステップと、をコンピュータに実行させるためのプログラムである。
【００１１】
本発明のさらに他の態様による撮像方法は、所定の画素ピッチで２次元状に配列された複数の画素を有する撮像部の、前記複数の画素により、レンズ部により結像された被写体像を露光して電気的な画像を生成する撮像ステップと、所定の可動範囲内において、前記レンズ部の光軸に垂直な方向に、前記被写体像と前記撮像部との位置を相対的にシフトする像ぶれ補正ステップと、前記像ぶれ補正ステップを制御して、前記撮像部に結像される前記被写体像の移動を低減する像ぶれ補正を行うと共に、高解像度画像を生成するための画素ずらしを行う像ぶれ補正制御ステップと、前記像ぶれ補正ステップの制御状態に応じて画素ずらし調整量を設定し、前記画素ずらし調整量に基づき前記画素ずらしを調整する画素ずらし調整ステップと、前記像ぶれ補正制御ステップに前記像ぶれ補正ステップを制御させて、露光期間は前記像ぶれ補正を行わせ、非露光期間は前記画素ずらし調整ステップにより調整された前記画素ずらしを行わせながら、前記撮像部に複数の画像を連続的に撮像させる撮像制御ステップと、を有する。
【発明の効果】
【００１２】
本発明の撮像装置、撮像プログラム、撮像方法によれば、再撮影の必要性を低減しながら、像ぶれが補正された高解像度画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１において、画素ずらし調整を行わないときの画素ずらし位置の例を示すタイミングチャート。
【図３】上記実施形態１において、画素ずらし調整を行わない画素ずらしを、像ぶれ補正と共に行うときの像ぶれ補正部のシフト位置を示すタイミングチャート。
【図４】上記実施形態１において、画素ずらし調整を行ったときの画素ずらし位置の例を示すタイミングチャート。
【図５】上記実施形態１において、画素ずらし調整を行った画素ずらしを、像ぶれ補正と共に行うときの像ぶれ補正部のシフト位置を示すタイミングチャート。
【図６】上記実施形態１における撮像装置の作用を示すフローチャート。
【図７】上記実施形態１において、像ぶれ補正量と画素ずらし調整量との対応関係を概念的に示す線図。
【図８】本発明の実施形態２において、像ぶれ補正部の制御状態に応じて、非露光期間から次のフレームの露光期間に移行する際の予測像ぶれ補正量を推定する様子を示すタイミングチャート。
【図９】上記実施形態２における撮像装置の作用を示すフローチャート。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１５】
図１から図７は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００１６】
なお、本実施形態においては、撮像装置としてデジタルカメラを例に挙げて説明するが、これに限定されるものではなく、撮像機能を備えた装置であれば任意の装置であって構わない。また、デジタルカメラとしてレンズ交換式のものを例に挙げているが、レンズ一体型であっても構わない。
【００１７】
この撮像装置は、レンズマウント等を用いて、交換式レンズ１とカメラ本体２とを着脱自在に接続して構成されている。
【００１８】
交換式レンズ１は、レンズ１１と、絞り１２と、レンズドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。
【００１９】
レンズ１１は、例えば１枚以上の光学レンズを含む撮影光学系として構成されていて、被写体の光学像（被写体像）をカメラ本体２の後述する撮像素子２２上に結像するレンズ部である。
【００２０】
絞り１２は、レンズ１１から撮像素子２２へ向かう光束の通過範囲を制御する光学絞りである。
【００２１】
レンズドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行う。加えて、レンズドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。
【００２２】
フラッシュメモリ１４は、マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記録する記録媒体である。
【００２３】
マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、レンズドライバ１３、フラッシュメモリ１４、および後述するインタフェース（Ｉ／Ｆ）３７と接続されている。そして、マイクロコンピュータ１５は、インタフェース３７を経由して本体側コンピュータである後述するマイクロコンピュータ４０と通信し、マイクロコンピュータ４０からの指令を受けて、フラッシュメモリ１４に記録されている情報の読出／書込を行い、レンズドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ４０へ送信する。
【００２４】
次に、カメラ本体２は、メカニカルシャッタ２１と、撮像素子２２と、撮像素子ドライバ２３と、像ぶれ補正部２４と、像ぶれ補正ドライバ２５と、アナログ処理部２６と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２７と、バス２８と、ＤＲＡＭ（Dynamic Random Access Memory）２９と、画像処理部３０と、ＡＥ（Auto Exposure）処理部３１と、ＡＦ（Autofocus）処理部３２と、ＬＣＤ（Liquid Crystal Display）ドライバ３３と、ＬＣＤ３４と、メモリインタフェース（メモリＩ／Ｆ）３５と、記録媒体３６と、インタフェース（Ｉ／Ｆ）３７と、操作部３８と、フラッシュメモリ３９と、マイクロコンピュータ４０と、を備えている。
【００２５】
メカニカルシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成の光学シャッタとなっている。このメカニカルシャッタ２１は、例えば静止画撮影時にマイクロコンピュータ４０の指令により駆動されて、撮像素子２２への光束の到達時間、つまり撮像素子２２による被写体の露光時間を制御する。一方、メカニカルシャッタ２１は、動画撮影時あるいはライブビュー時には、開放状態に維持され、各フレーム画像の取得は撮像素子２２のいわゆる電子シャッタにより行われるようになっている。ただし、電子シャッタを、静止画撮影時に用いても勿論構わない。
【００２６】
撮像素子２２は、複数の画素が所定の画素ピッチで２次元状に配列された画素部を有し、複数の画素により被写体像を露光して電気的な画像を生成する撮像部である。すなわち、撮像素子２２は、撮像制御部であるマイクロコンピュータ４０の制御に基づき、レンズ１１および絞り１２により結像された被写体の光学像（被写体像）を光電変換して、アナログ画像信号を生成する。
【００２７】
本実施形態の撮像素子２２は、カラー撮像素子として構成されていて、カラーフィルタの色が異なる複数種類の画素を含んでいる。具体的に、画素の種類は、Ｇ（緑色）フィルタが配置されたＧ画素、Ｒ（赤色）フィルタが配置されたＲ画素、およびＢ（青色）フィルタが配置されたＢ画素の３種類がある。さらに、Ｇ画素は、Ｒ画素と同一ライン上に配置されたＧｒ画素と、Ｂ画素と同一ライン上に配置されたＧｂ画素と、の２種類に分類される。
【００２８】
より具体的に、撮像素子２２は、カラーフィルタがモザイク状に配列された、原色ベイヤ配列の撮像素子として構成されている。
【００２９】
ここに、原色ベイヤ配列は、公知のように、（２，２）画素を複数種類の画素の基本配列とし、基本配列の対角位置にＧ画素を配置し、残りの対角位置にＲ画素とＢ画素とをそれぞれ配置した構成となっている。このとき、Ｒ画素と同一ライン上に配置されたＧ画素がＧｒ画素、Ｂ画素と同一ライン上に配置されたＧ画素がＧｂ画素となるのは、上述した通りである。
【００３０】
そして、撮像素子２２は、（２，２）画素の基本配列が、２次元方向に周期的に繰り返されて構成されている。
【００３１】
なお、撮像素子２２の画素配列は、ベイヤ配列に限るものではなく、その他の任意の画素配列であっても構わない。従って、基本配列も（２，２）画素に限定されるものではない。
【００３２】
撮像素子ドライバ２３は、マイクロコンピュータ４０からの指令に基づいて撮像素子２２を駆動し、撮像素子２２に撮像を行わせるものである。
【００３３】
像ぶれ補正部２４は、所定の可動範囲内において、レンズ１１の光軸に垂直な方向に、被写体像と撮像素子２２との位置を相対的にシフトするものである。図１に示す像ぶれ補正部２４は、撮像素子２２をシフトすることにより、被写体像と撮像素子２２との位置を相対的にシフトして像ぶれを抑制するものとなっている。ただし、この構成に限定されるものではなく、レンズ１１の少なくとも一部を移動して像ぶれを補正する像ぶれ補正部２４であってもよいし、撮像素子２２をシフトする構成と、レンズ１１の少なくとも一部を移動する構成と、の両方を備える像ぶれ補正部２４であっても構わない。
【００３４】
具体的に、像ぶれ補正部２４は、例えばホール素子とボイスコイルモータとを含み、撮像素子２２を含む撮像ユニットをボイスコイルモータの磁力で宙に浮かせて、ホール素子により位置を検出しながら、磁力を制御することにより位置を移動するものとなっている。ただし、像ぶれ補正部２４は、ボイスコイルモータおよびホール素子を用いる構成に限定されるものではなく、その他の駆動源や位置検出部を用いた適宜の構成を採用して構わない。
【００３５】
像ぶれ補正ドライバ２５は、像ぶれ補正部２４を制御して、撮像素子２２に結像される被写体像の移動を低減する像ぶれ補正を行うと共に、高解像度画像を生成するための画素ずらしを行う像ぶれ補正制御部である。像ぶれ補正ドライバ２５は、マイクロコンピュータ４０からの制御命令に基づき、像ぶれ補正部２４の制御状態のフィードバックを受けて、像ぶれ補正部２４を制御する。
【００３６】
ここに、画素ずらしは、画素ずらし超解像撮影モードが設定された場合に、被写体像と撮像素子２２との相対的な位置を、例えば０．５画素ピッチ単位（あるいは０．３画素ピッチ単位、さらにはその他の画素ピッチ単位でも構わない）でずらす処理である。
【００３７】
また、マイクロコンピュータ４０は、例えば、撮像装置に生じている手ぶれ等のぶれ量を検出するための図示しないぶれ量検出センサ等の出力に基づいて、像ぶれ補正ドライバ２５を制御するための制御命令を生成するようになっている。そして、像ぶれ補正ドライバ２５は、マイクロコンピュータ４０からの制御命令に基づき、検出された像ぶれを打ち消すように（つまり、検出された像ぶれ方向の逆方向に、検出された像ぶれの大きさのシフト量だけ）撮像素子２２をシフトするよう像ぶれ補正部２４を制御することで、像ぶれ補正を行う。
【００３８】
さらに、像ぶれ補正ドライバ２５は、像ぶれ補正部２４の制御状態に応じて画素ずらし調整量を設定し、画素ずらし調整量に基づき画素ずらしを調整する画素ずらし調整部として機能するようになっている。すなわち、像ぶれ補正ドライバ２５は、像ぶれ補正部２４からフィードバックされた像ぶれ補正量（像ぶれ補正部２４の制御状態を示す量の１つ）に応じて、画素ずらし調整量を後述するように設定し、画素ずらしを調整するようになっている。
【００３９】
なお、ここでは像ぶれ補正ドライバ２５が画素ずらし調整部として機能する構成例を説明するが、これに限定されるものではなく、例えばマイクロコンピュータ４０が画素ずらし調整部として機能する構成としても構わない。この場合には、マイクロコンピュータ４０が画素ずらし調整量を算出して、算出結果に基づく画素ずらし調整命令を像ぶれ補正ドライバ２５へ送信すればよい。あるいは、像ぶれ補正ドライバ２５およびマイクロコンピュータ４０とは独立して、画素ずらし調整部を設けても構わない。
【００４０】
アナログ処理部２６は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
【００４１】
Ａ／Ｄ変換部２７は、アナログ処理部２６から出力されたアナログ画像信号をデジタル画像信号（ＲＡＷ（ロー）画像データ）に変換する。
【００４２】
バス２８は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス２８は、Ａ／Ｄ変換部２７、ＤＲＡＭ２９と、画像処理部３０と、ＡＥ処理部３１と、ＡＦ処理部３２と、ＬＣＤドライバ３３と、メモリＩ／Ｆ３５と、マイクロコンピュータ４０と、に接続されている。
【００４３】
Ａ／Ｄ変換部２７から出力されたＲＡＷ画像データは、バス２８を経由して転送され、ＤＲＡＭ２９に一旦記憶される。
【００４４】
ＤＲＡＭ２９は、上述したＲＡＷ画像データ、画像処理部３０等において処理された画像データ等の各種データを一時的に記憶する記憶部である。
【００４５】
画像処理部３０は、バス２８を経由して入力されるＲＡＷ画像データに対して、例えば、ＯＢ減算、ホワイトバランス（ＷＢ）ゲイン、デモザイク、ノイズ低減、色変換、ガンマ変換、拡大縮小、などの各種の画像処理を行うものである。なお、静止画や動画を記録媒体３６に記録する際あるいは記録媒体３６から読み出す際のデータ圧縮／データ伸張は、この画像処理部３０により行っても構わないし、専用の圧縮伸張部を設けて行うようにしてもよい。
【００４６】
さらに、画像処理部３０は、撮像装置に画素ずらし超解像撮影モードが設定された場合には、画素ずらしを行いながら得られる複数枚の画像データに基づいて高解像度画像を合成する高解像度画像合成部として機能するようになっている。ここに、高解像度画像は、撮像素子２２から得られる１フレームの画像よりも解像度が高い画像である。なお、ここでは画像処理部３０が高解像度画像合成部として機能する例を挙げたが、これに限定されるものではなく、例えばマイクロコンピュータ４０が高解像度画像合成部として機能しても構わないし、図示しない別のプロセッサが高解像度画像合成部として機能するように構成しても構わない。
【００４７】
ＡＥ処理部３１は、バス２８を経由して入力されるＲＡＷ画像データから輝度成分を抽出し、抽出した輝度成分に基づき適正露光条件（適正露光を与える、例えばＴｖ，Ａｖ，Ｓｖ等の各値）を算出する。ここで算出された適正露光条件は、自動露出（ＡＥ）制御に用いられ、具体的には、Ａｖ値に基づく絞り１２の制御、Ｔｖ値に基づくメカニカルシャッタ２１の制御、あるいはＴｖ値に基づく撮像素子２２の露光タイミング制御（いわゆる電子シャッタの制御）、Ｓｖ値に基づくアナログ処理部２６のゲイン制御（あるいは画像処理部３０等のデジタルゲイン制御）等が行われる。
【００４８】
ＡＦ処理部３２は、バス２８を経由して入力されるＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行うように構成しても構わない。
【００４９】
ＬＣＤドライバ３３は、表示装置駆動部であり、画像処理部３０により画像処理された後にＤＲＡＭ２９に記憶されている画像データを読み出して、読み出した画像データを映像信号に変換し、ＬＣＤ３４を駆動制御して映像信号に基づく画像をＬＣＤ３４に表示させる。
【００５０】
ＬＣＤ３４は、表示装置であり、上述したようなＬＣＤドライバ３３の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。
【００５１】
メモリＩ／Ｆ３５は、記録媒体３６へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体３６からの画像データの読み出しも行う。
【００５２】
記録媒体３６は、画像データを不揮発に記録する記録部であり、例えばカメラ本体２に着脱できるメモリカード等により構成されている。ただし、記録媒体３６は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であってもよい。また、記録媒体３６は、カメラ本体２に内蔵されるタイプのものであっても構わない。こうして、記録媒体３６は、撮像装置に固有の構成であるに限定されるものではない。
【００５３】
インタフェース３７は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ４０とを、双方向に通信できるように接続する。
【００５４】
操作部３８は、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源をオン／オフするための電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。
【００５５】
ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、撮影モード（静止画撮影モード、画素ずらし超解像撮影モード、動画撮影モード等）、記録モード、再生モード、像ぶれ補正機能のオン／オフなどが含まれている。この操作部３８に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ４０へ出力される。
【００５６】
フラッシュメモリ３９は、マイクロコンピュータ４０により実行される処理プログラム（画像を撮像するための撮像プログラムを含む）と、この撮像装置に係る各種の情報と、を不揮発に記録する、コンピュータにより読み取りできる一時的でない記録媒体である。ここに、フラッシュメモリ３９が記録する情報としては、例えば、撮像装置を特定するための機種名や製造番号、画像処理に用いるパラメータ、ユーザにより設定された設定値などが含まれる。さらに、フラッシュメモリ３９には、画素ずらしの順序と、画素ずらしの順序に従った画素ずらし方向および画素ずらし量と、が記録されている。このフラッシュメモリ３９が記録する情報は、マイクロコンピュータ４０により読み取られる。
【００５７】
マイクロコンピュータ４０は、カメラ本体２内の各部を制御すると共に、インタフェース３７を経由してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、この撮像装置を統括的に制御する制御部である。マイクロコンピュータ４０は、ユーザにより操作部３８から操作入力が行われると入力された情報を解析し、フラッシュメモリ３９に記録されている処理プログラムに従って、フラッシュメモリ３９から処理に必要なパラメータを読み込んで、種々の演算処理等を行いながら、操作内容に応じた各種のシーケンスを実行する。
【００５８】
また、マイクロコンピュータ４０は、ＡＥ処理部３１により算出されたＡｖ値に基づく絞り１２の制御を、レンズドライバ１３を経由して、マイクロコンピュータ１５およびレンズドライバ１３により行うと共に、ＡＥ処理部３１により算出されたＳｖ値に基づくアナログ処理部２６のゲイン制御（あるいは画像処理部３０のデジタルゲイン制御）も行う。
【００５９】
さらに、マイクロコンピュータ４０は、静止画撮影時および画素ずらし超解像撮影時には、ＡＥ処理部３１により算出されたＴｖ値に基づくメカニカルシャッタ２１（あるいは、上述した電子シャッタ）の制御を行う。
【００６０】
像ぶれ補正機能がオンに設定されていて、かつ、撮像装置に画素ずらし超解像撮影モードが設定されている場合には、像ぶれ補正部２４は、像ぶれ補正と画素ずらしとを行う。
【００６１】
このような場合において、後述する本実施形態の動作と対比するために、画素ずらし調整部の機能をオフした場合の動作について、まず説明する。なお、実際の像ぶれ補正部２４の動作は２次元方向に行われるが、ここでは説明を簡単にするために、２次元状の画素配列における一方向（水平方向と垂直方向との何れか一方）を着目方向とした場合の動作について説明する。
【００６２】
図２は、画素ずらし調整を行わないときの画素ずらし位置の例を示すタイミングチャートである。図２（および後述する図３〜図５、図８）において、縦軸は像ぶれ補正部２４による駆動位置、横軸は右方向が時間進行方向となる時間軸を示している。そして、縦軸の目盛りは、着目方向の画素ピッチを表している。
【００６３】
画素ずらし超解像撮影モードにおいては、例えば０．５画素ピッチずつ画素ずらしを行いながら、連写シーケンスにより複数枚の画像を撮像して取得するようになっている。連写は、画像の露光と、露光された画像の読み出しと、を繰り返すことにより行われる。そして、画像を露光する期間が露光期間Ｅ、２つの連続する露光期間Ｅの間の期間が非露光期間ＮＥ（図２等において、ハッチングを付して示している）である。非露光期間ＮＥは、画像の読み出し期間を含んでいる。そして、露光期間Ｅと、露光期間Ｅの直後の非露光期間ＮＥと、により１つのフレーム期間が構成される。
【００６４】
そして、以下では、像ぶれ補正部２４の初期位置が０であり、着目方向における可動範囲が、−１０画素ピッチから＋１０画素ピッチまでであるものとして説明する。
【００６５】
まず、図２は、所定の画素ずらし位置のみを示している。像ぶれ補正部２４は、被写体像と撮像素子２２との位置を相対的にシフトする画素ずらしを、非露光期間ＮＥのみに行う。従って、露光期間Ｅにはシフト後の画素ずらし位置が維持され、画素ずらしに係るシフトは行われない。これは、露光中の被写体像がぶれるのを防ぐためである。
【００６６】
この図２に示す一例では、連写の第１フレームの画素ずらし位置を初期位置０として、非露光期間ＮＥにプラス方向に０．５画素ピッチ分ずつ画素ずらしを行うケースを示している。なお、図２には、一例として、第１フレームの露光期間Ｅから第５フレームの露光期間Ｅまでを示している。そして、この図２に示すような画素ずらしが、画素ずらし調整する前の基準画素ずらしであるものとする。
【００６７】
図３は、画素ずらし調整を行わない画素ずらしを、像ぶれ補正と共に行うときの像ぶれ補正部２４のシフト位置を示すタイミングチャートである。
【００６８】
図３の実線は、像ぶれ補正ドライバ２５が像ぶれ補正部２４に行わせる像ぶれ補正を示している。像ぶれ補正は、初期位置０から開始され、撮像装置に生じている像ぶれ量に応じて、像ぶれ量を打ち消すように、プラス方向とマイナス方向との両方に適応的に行われる。
【００６９】
図３の破線は、像ぶれ補正に加えて、図２に示したような画素ずらしを行うときの像ぶれ補正部２４のシフト位置（被写体像と撮像素子２２との相対的なシフト位置であり、本実施形態においては像ぶれ補正部２４による撮像素子２２のシフト位置）を示している。
【００７０】
従って、図３の破線に示す位置は、図３の実線に示したシフト位置と、図２に示した画素ずらし量と、を加算したシフト位置となる。図２に示した画素ずらし量は、フレームが進む毎にプラス方向に増加する量となっているために、図３における実線に対する破線のずれ量は、フレームが進む毎に大きくなっている。
【００７１】
そして、第１フレームを除いて画素ずらし量がプラスであるために、像ぶれ補正量がマイナスであるときにはシフト位置が可動範囲のマイナス側の範囲端（−１０画素ピッチ）から見た初期位置０の方向に移動することになるが、像ぶれ補正量がプラスであるときにはシフト位置が初期位置０から遠ざかって可動範囲のプラス側の範囲端（＋１０画素ピッチ）に近付いてしまい、補正の余裕量であるマージンの値が小さくなってしまう。
【００７２】
そして、図３に示す例では、第５フレームの露光期間Ｅ中に、シフト位置が可動範囲の範囲端（＋１０画素ピッチ）を超えてしまっている。従って、像ぶれ補正部２４による可動範囲の範囲端に例えば撮像ユニットが当て付いて、像ぶれ補正が正しく行われない期間が生じ、第５フレームに取得される画像は、露光中の像ぶれを含む画像となってしまう。こうした像ぶれが生じた画像を含む複数フレームの画像から高解像度画像を生成しても、狙いとする解像度感は得られず、例えば再撮影を要することになる。
【００７３】
そこで、本実施形態の撮像装置では、画素ずらし調整部の機能をオンして動作を行うようになっている。
【００７４】
図４は画素ずらし調整を行ったときの画素ずらし位置の例を示すタイミングチャート、図５は画素ずらし調整を行った画素ずらしを像ぶれ補正と共に行うときの像ぶれ補正部２４のシフト位置を示すタイミングチャートである。
【００７５】
上述したように、撮像素子２２の画素部には画素が周期的に配列されており、本実施形態では原色ベイヤ配列を採用しているために、（２，２）画素の基本配列の空間周期を基本周期とした配列となっている。このために、基本周期を単位としたシフト量（基本周期の整数倍のシフト量）だけ画素ずらし位置をずらしても、ずらしたシフト量だけ画像を切り出す位置を移動させれば、狙いとする画素ずらし位置の画像を取得することができる。
【００７６】
そこで、画素ずらし調整部として機能する像ぶれ補正ドライバ２５（上述したように、またはマイクロコンピュータ４０など（以下同様））は、像ぶれ補正部２４の制御状態を示す像ぶれ補正量に応じて、画素ずらし調整量を、基本周期の整数倍に設定し、設定した画素ずらし調整量に基づき画素ずらしを調整するようになっている。
【００７７】
まず、画素ずらし調整部は、像ぶれ補正部２４によるシフト位置が、可動範囲−１０〜＋１０画素ピッチ内の初期位置０に近付くように、画素ずらし調整量の正負を設定する。
【００７８】
例えば、像ぶれ補正量がプラスである場合には画素ずらし調整量をマイナスに設定し、像ぶれ補正量がマイナスである場合には画素ずらし調整量をプラスに設定し、像ぶれ補正量が０である場合には画素ずらし調整量を０に設定する（後述する図７参照）、等である。
【００７９】
ただし、像ぶれ補正量が＋０．３画素ピッチのときに画素ずらし調整量を−２画素ピッチに設定すると、次の画素ずらし量が＋０．５画素ピッチであるときには画素ずらし調整後の画素ずらし量は−１．５画素ピッチとなり、画素ずらし調整を行わない方が初期位置０に近い場合もある。こうした場合には、像ぶれ補正量がプラスであっても、画素ずらし調整量を０に設定することになる。従って、実際の制御は、より適応的に行われる。
【００８０】
さらに、画素ずらし調整部は、露光期間Ｅから非露光期間ＮＥに移行する時点の像ぶれ補正部２４によるシフト位置と、可動範囲の範囲端（±１０画素ピッチ）と、の間のマージンの値に応じて、画素ずらし調整量の大きさを設定する。
【００８１】
図５に示す例では、第ｎフレーム（ｎ＝１〜４）において、露光期間Ｅから非露光期間ＮＥに移行する時点の像ぶれ補正量をＰ１（ｎ）により示している。
【００８２】
まず、像ぶれ補正部２４の駆動制御は初期位置０から開始されるために、第１フレームは画素ずらし調整が行われず、画素ずらし調整量は０である。
【００８３】
そして、Ｐ１（１）は、例えば＋４画素ピッチ（以下では、単位「画素ピッチ」を適宜省略する）の値となっている。従って、可動範囲の範囲端＋１０までのマージンの値は６、可動範囲の範囲端−１０までのマージンの値は１４であり、小さい方のマージンの値は６となる。そこで、画素ずらし調整部は、次の第２フレームの画素ずらし調整量を、−２に設定する。第２フレームの画素ずらし量は＋０．５であるために、画素ずらし調整量後の画素ずらし量は−１．５となる。
【００８４】
同様にＰ１（２）は例えば＋４の値、Ｐ１（３）は−２．８の値、Ｐ１（４）は＋７の値である。そこで、画素ずらし調整部は、例えば次のような画素ずらし調整を行う。
フレーム番号                          ２        ３        ４        ５
画素ずらし調整前の画素ずらし量    ＋０．５，＋１．０，＋１．５，＋２．０
画素ずらし調整量                  −２．０，−２．０，  ０．０，−４．０
画素ずらし調整後の画素ずらし量    −１．５，−１．０，＋１．５，−２．０
【００８５】
ここに、Ｐ１（３）はマイナスの値であるので、可動範囲の範囲端＋１０までのマージンの値よりも、可動範囲の範囲端−１０までのマージンの値の方が小さくなる。そして、可動範囲の範囲端−１０までのマージンの値（絶対値）は７．２であり、まだマイナス方向にシフトする余裕があって画素ずらし調整の必要性が低いと判断することができるために、画素ずらし調整量を０としている。
【００８６】
また、Ｐ１（１）およびＰ１（２）の小さい方のマージンの値は６であるのに対して、Ｐ１（４）の小さい方のマージンの値は３となるために、マージンの値の小ささに応じて、第５フレームでは画素ずらし調整量を−４に設定している。
【００８７】
より一般に、撮像素子２２の画素部において、複数の画素がｘ方向およびｙ方向に配列されており、画素位置を（ｘ，ｙ）により表すものとする。このとき、ベイヤ配列の基本周期は（２，２）により表されるが、より一般に、基本周期は（ｍ，ｎ）（ｍ，ｎは正の整数）となる。
【００８８】
基準画素ずらし量を（ｓｘ，ｓｙ）とすると、画素ずらし調整部は、画素ずらし調整後の画素ずらし量を、（ｓｘ＋ｍ×ｚ１，ｓｙ＋ｎ×ｚ２）（ｚ１，ｚ２は整数）となるように調整する。ここに、（ｍ×ｚ１）がｘ方向の画素ずらし調整量、（ｎ×ｚ２）がｙ方向の画素ずらし調整量である。
【００８９】
このとき、ｘ方向の可動範囲をより一般にｘｍｉｎ≦ｘ≦ｘｍａｘとし、非露光期間ＮＥに移行する時点のｘ方向の像ぶれ補正量をＰ１ｘとすると、画素ずらし調整部は、例えば下記の数式１が満たされるようにｚ１を調整する。
［数１］
ｘｍｉｎ≦（Ｐ１ｘ＋ｓｘ＋ｍ×ｚ１）≦ｘｍａｘ
【００９０】
さらに、ｙ方向の可動範囲をｙｍｉｎ≦ｙ≦ｙｍａｘとし、非露光期間ＮＥに移行する時点のｙ方向の像ぶれ補正量をＰ１ｙとすると、画素ずらし調整部は、例えば下記の数式２が満たされるようにｚ２を調整する。
［数２］
ｙｍｉｎ≦（Ｐ１ｙ＋ｓｙ＋ｎ×ｚ２）≦ｙｍａｘ
【００９１】
ここに、数式１および数式２は、画素ずらし後のシフト位置が可動範囲内に入るように、ｚ１およびｚ２を設定することを意味している。なお、数式１を満たすｚ１と、数式２を満たすｚ２とに共通する値があるときには、ｚ１＝ｚ２に設定しても構わない。
【００９２】
こうして、図５の破線に示す像ぶれ補正部２４のシフト位置は、図３の破線に示した像ぶれ補正部２４のシフト位置に比べて、可動範囲の範囲端（±１０）からのマージンの値が大きくなっている。例えば第５フレームにおいて、図３ではシフト位置が可動範囲の範囲端＋１０を超えていた（ただし、実際の制御ではシフト位置が＋１０を超えることはなく、撮像ユニットが範囲端＋１０に当て付くことになる）のが、図５ではシフト位置が可動範囲の範囲端＋１０を下回る値となっている。これにより、像ぶれ補正部２４による可動範囲の範囲端に撮像ユニットが当て付くケースを格段に減らすことができ、再撮影の必要性を低減することができる。
【００９３】
図６は、撮像装置の作用を示すフローチャートである。なお、図６においては、撮像装置が画素ずらし超解像撮影モードに設定されている場合の処理の流れを示し、その他のモードに設定されている場合の処理については記載を省略している。
【００９４】
例えば、操作部３８の電源ボタンがオンされる等により、撮像装置の電源が投入されて図６に示す処理が開始されると、撮像素子２２により画像を取得して、画像処理部３０によりライブビュー用に画像処理し、ＬＣＤ３４に表示するライブビューを行う（ステップＳ１）。
【００９５】
ライブビューを行っている最中に、操作部３８のレリーズボタンが操作されて画像ずらし撮影の開始が指示されたか否かを、マイクロコンピュータ４０が判定する（ステップＳ２）。
【００９６】
ここで、画像ずらし撮影の開始が指示されたと判定された場合には、マイクロコンピュータ４０は、メカニカルシャッタ２１を開いて露光を開始する（ステップＳ３）と共に、像ぶれ補正ドライバ２５に制御命令を送信して像ぶれ補正部２４に像ぶれ補正を行わせる（ステップＳ４）。
【００９７】
そして、所定の露光時間が経過したところで、マイクロコンピュータ４０は、メカニカルシャッタ２１を閉じて露光を終了する（ステップＳ５）。なお、ここではメカニカルシャッタ２１を開閉して連写を行う場合を想定したが、メカニカルシャッタ２１を開いたまま、電子シャッタを用いて連写を行っても構わない。
【００９８】
次に、マイクロコンピュータ４０が、高解像度画像を合成するために必要な規定枚数の撮影が終了したか否かを判定する（ステップＳ６）。
【００９９】
ここで規定枚数に達していないと判定された場合には、画素ずらし調整部として機能する像ぶれ補正ドライバ２５が、露光期間Ｅから非露光期間ＮＥへ移行する時点の像ぶれ補正量Ｐ１（ｎ）を像ぶれ補正部２４から取得する（ステップＳ７）。
【０１００】
続いて、像ぶれ補正ドライバ２５が、ステップＳ７において取得した像ぶれ補正量Ｐ１（ｎ）に基づいて、画素ずらし調整量を上述したように適応的に設定し、画素ずらし調整量を用いて画素ずらし量を画素ずらし調整する（ステップＳ８）。
【０１０１】
ここに、図７は、像ぶれ補正量と画素ずらし調整量との対応関係を概念的に示す線図である。
【０１０２】
図７は、像ぶれ補正量がプラスである場合には画素ずらし調整量はマイナスに設定され、像ぶれ補正量がマイナスである場合には画素ずらし調整量はプラスに設定される傾向を示している。
【０１０３】
さらに図７は、像ぶれ補正量がプラスにおいて増加する場合には画素ずらし調整量はマイナスに減少するように（つまり、画素ずらし調整量の絶対値が増加するように）設定され、像ぶれ補正量がマイナスにおいて減少する（つまり、像ぶれ補正量の絶対値が増加する）場合には画素ずらし調整量はプラスに増加するように設定される傾向を示している。
【０１０４】
そして、マイクロコンピュータ４０の制御に基づき像ぶれ補正ドライバ２５は、非露光期間ＮＥにおいて、図５の破線に示したような、画素ずらし調整を行った画素ずらしを像ぶれ補正と共に行う（ステップＳ９）。また、非露光期間ＮＥには、露光期間Ｅにおいて生成された画像の読み出しが行われる。
【０１０５】
非露光期間ＮＥが終了したら、再び露光期間Ｅに移行し、ステップＳ３へ戻って露光を開始する。
【０１０６】
こうしてマイクロコンピュータ４０は、像ぶれ補正ドライバ２５に像ぶれ補正部２４を制御させて、露光期間Ｅは像ぶれ補正を行わせ、非露光期間ＮＥは画素ずらし調整部により調整された画素ずらしを行わせながら、撮像素子２２に複数の画像を連続的に撮像させる。
【０１０７】
また、ステップＳ６において規定枚数に達したと判定された場合には、取得された複数枚の画像に基づいて画像処理部３０が高解像度画像を合成し、ＬＣＤ３４に表示し記録媒体３６に記録してから、ステップＳ１へ戻って次の画像の撮影に備えてライブビューを行う。
【０１０８】
一方、ステップＳ２において、画像ずらし撮影の開始が指示されていないと判定された場合には、マイクロコンピュータ４０は、操作部３８の電源ボタンがオフ操作されたか否かを判定する（ステップＳ１０）。
【０１０９】
ここで、電源ボタンがオフ操作されていないと判定された場合には、ステップＳ１へ戻ってライブビューを継続する。
【０１１０】
一方、ステップＳ１０において、電源ボタンがオフ操作されたと判定された場合には、この処理を終了する。
【０１１１】
なお、上述では、撮像素子２２の画素部における画素配列の基本周期を単位として画素ずらし調整量を設定した。これに対して近年、任意の画素ずらし量の画像（例えば、０．５画素ピッチ単位で画素ずらしされていない画像）に基づいて、高解像度画像を生成する技術が各種提案され、新たなアルゴリズムが開発されつつある。従って、こうした技術を用いる場合には、画素部の基本周期の整数倍の画素ずらし調整量で画素ずらし調整を行う必要はなく、任意の画素ずらし調整量で画素ずらし調整を行うようにしても構わない。従って、例えば図７に示したように、画素ずらし調整量を、像ぶれ補正量に応じて連続的に変化させてもよい。
【０１１２】
また、上述では、露光期間Ｅから非露光期間ＮＥに移行する時点の像ぶれ補正部２４によるシフト位置（このシフト位置に基づき画素ずらし調整量を設定する）として、図５に示したような像ぶれ補正量Ｐ１（ｎ）を用いたが、これに代えて、像ぶれ補正量Ｐ１（ｎ）に、図２に示したような基準画素ずらし量を加算した値（露光期間Ｅから非露光期間ＮＥに移行する時点の、図３の破線に示す値であり、像ぶれ補正部２４の制御状態を示す量の１つ）を用いても構わない。
【０１１３】
さらに、上述では、非露光期間ＮＥに画素ずらしおよび像ぶれ補正を行ったが、非露光期間ＮＥには画像が露光されないために、像ぶれ補正を行わなくても生成される画像に露光中のぶれが発生することはない。従って、非露光期間ＮＥにおける像ぶれ補正を省略しても構わない。
【０１１４】
このような実施形態１によれば、像ぶれ補正を行う撮像装置において、高解像度画像を生成するための画素ずらしを行う際に、像ぶれ補正部２４の制御状態に応じて画素ずらし調整量を設定し、画素ずらし調整量に基づき画素ずらしを調整するようにしたために、像ぶれ補正部２４による可動範囲の範囲端に例えば撮像ユニットが当て付くケースを減らすことができ、再撮影の必要性を低減することができる。
【０１１５】
また、像ぶれ補正部２４によるシフト位置が可動範囲内の初期位置０に近付くように、画素ずらし調整量の正負を設定するようにしたために、像ぶれ補正部２４による可動範囲の範囲端に例えば撮像ユニットが当て付くケースを有効に減らすことができ、再撮影の必要性を効果的に低減することができる。
【０１１６】
このときさらに、シフト位置と可動範囲の範囲端との間のマージンの値に応じて、画素ずらし調整量の大きさを設定するようにしたために、像ぶれ補正部２４による可動範囲の範囲端に例えば撮像ユニットが当て付くケースを、より大幅に減らすことができる。また、画素ずらし調整量が不必要に大きくなるのを防ぐことができる。
【０１１７】
そして、画素ずらし調整部が、画素ずらし調整量を、基本配列の周期である基本周期の整数倍に設定するようにしたために、画像の切り出し位置を調整するだけで、基準画素ずらし量の画像を得ることができる。従って、従来より用いられているアルゴリズムを用いて、高解像度画像の合成を行うことができる。
【０１１８】
加えて、非露光期間ＮＥに、画素ずらしと共に像ぶれ補正を行うようにしたために、露光期間Ｅから非露光期間ＮＥに移行するときに像ぶれ補正が急にオフになることはない。従って、像ぶれ補正部２４が駆動する例えば撮像ユニットの加速度が、急激に変化するのを防ぐことができる。
［実施形態２］
【０１１９】
図８および図９は本発明の実施形態２を示したものであり、図８は、像ぶれ補正部２４の制御状態に応じて、非露光期間ＮＥから次のフレームの露光期間Ｅに移行する際の予測像ぶれ補正量を推定する様子を示すタイミングチャートである。
【０１２０】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１２１】
上述した実施形態１は、露光期間Ｅから非露光期間ＮＥに移行する時点のシフト位置（例えば、像ぶれ補正量Ｐ１（ｎ））に基づき画素ずらし調整量を設定したが、本実施形態は、非露光期間ＮＥから次の露光期間Ｅに移行する時点のシフト位置を予測シフト位置として予測し、予測シフト位置に基づき画素ずらし調整量を設定するものとなっている。
【０１２２】
すなわち、図８に示すように、画素ずらし調整部として機能する像ぶれ補正ドライバ２５（上述したように、またはマイクロコンピュータ４０など（以下同様））が、露光期間Ｅから非露光期間ＮＥに移行する時点の像ぶれ補正部２４の制御状態に応じて、非露光期間ＮＥから次の露光期間Ｅに移行する時点の予測シフト位置を推定する。
【０１２３】
具体的な処理について、図９を参照しながら説明する。ここに、図９は、撮像装置の作用を示すフローチャートである。
【０１２４】
図９に示す処理を開始すると、上述したステップＳ１〜Ｓ６の処理を行う。
【０１２５】
そしてステップＳ６において規定枚数に達していないと判定された場合には、画素ずらし調整部として機能する像ぶれ補正ドライバ２５が、露光期間Ｅから非露光期間ＮＥに移行する時点の像ぶれ補正部２４の像ぶれ補正量Ｐ１（ｎ）、像ぶれ補正量の変化率、あるいはさらに像ぶれ補正量の２次微分等（これらは、像ぶれ補正部２４の制御状態を示す量である）に基づいて、非露光期間ＮＥから次の露光期間Ｅに移行する時点の予測像ぶれ補正量Ｐ２（ｎ）を予測する（ステップＳ７Ａ）。この予測には、各種の予測アルゴリズムの内から適宜のものを用いて構わない。例えば、像ぶれの周期や振幅を算出して、像ぶれの周期や振幅を加味して予測を行ってもよい。
【０１２６】
その後、像ぶれ補正ドライバ２５が、ステップＳ７Ａにおいて算出した予測シフト位置（予測像ぶれ補正量Ｐ２（ｎ））と、可動範囲の範囲端（±１０）と、の間のマージンの値に応じて、画素ずらし調整量の大きさを設定する。このときに、非露光期間ＮＥから次の露光期間Ｅに移行する時点の、ｘ方向の予測像ぶれ補正量をＰ２ｘ、ｙ方向の予測像ぶれ補正量をＰ２ｙとすると、上述した数式１，２は、Ｐ１ｘ，Ｐ１ｙをそれぞれＰ２ｘ，Ｐ２ｙに読み替えればよい。そして、マージンの値に応じて、画素ずらし調整量の大きさを適応的に設定するのは、上述した実施形態１と同様である。さらに、像ぶれ補正ドライバ２５が、画素ずらし調整量を用いて画素ずらし量を画素ずらし調整する（ステップＳ８Ａ）。
【０１２７】
その後にステップＳ９の処理へ進み、ステップＳ１０において電源ボタンがオフ操作されたと判定された場合に処理を終了するのは、上述した実施形態１の図６に示した処理と同様である。
【０１２８】
なお、上述では、非露光期間ＮＥから次の露光期間Ｅに移行する時点の像ぶれ補正部２４による予測シフト位置として、図８に示したような予測像ぶれ補正量Ｐ２（ｎ）を用いたが、これに代えて、予測像ぶれ補正量Ｐ２（ｎ）に、図２に示したような基準画素ずらし量（非露光期間ＮＥから次の露光期間Ｅに移行する時点の基準画素ずらし量）を加算した値を用いても構わない。
【０１２９】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、予測シフト位置を推定して、予測シフト位置と可動範囲の範囲端との間のマージンの値に応じて画素ずらし調整量の大きさを設定するようにしたために、高い精度の予測アルゴリズムを用いれば、像ぶれ補正部２４による可動範囲の範囲端に例えば撮像ユニットが当て付くケースをより効果的に減らすことができ、再撮影の必要性を低減することができる。
【０１３０】
なお、上述した各部の処理は、ハードウェアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。あるいは、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録された処理プログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。
【０１３１】
また、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行うための撮像方法であってもよいし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラムである撮像プログラム、該撮像プログラムを記録するコンピュータにより読み取りできる一時的でない記録媒体、等であっても構わない。
【０１３２】
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。
【符号の説明】
【０１３３】
１…交換式レンズ
２…カメラ本体
１１…レンズ
１２…絞り
１３…レンズドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
２１…メカニカルシャッタ
２２…撮像素子
２３…撮像素子ドライバ
２４…像ぶれ補正部
２５…像ぶれ補正ドライバ
２６…アナログ処理部
２７…アナログ／デジタル変換部（Ａ／Ｄ変換部）
２８…バス
２９…ＤＲＡＭ
３０…画像処理部
３１…ＡＥ処理部
３２…ＡＦ処理部
３３…ＬＣＤドライバ
３４…ＬＣＤ
３５…メモリＩ／Ｆ
３６…記録媒体
３７…インタフェース（Ｉ／Ｆ）
３８…操作部
３９…フラッシュメモリ
４０…マイクロコンピュータ
【図１】
2019191258.tif 000003
【図２】
2019191258.tif 000004
【図３】
2019191258.tif 000005
【図４】
2019191258.tif 000006
【図５】
2019191258.tif 000007
【図６】
2019191258.tif 000008
【図７】
2019191258.tif 000009
【図８】
2019191258.tif 000010
【図９】
2019191258.tif 000011