(57)【要約】【課題】ユーザの所望するタイミングの画像を記録する。【解決手段】画像保持部５３は、シャッタボタンが押下されてから合焦するまでの間に取り込まれた複数の画像を保持し、動き検出部５４は、画像保持部５３に保持されている複数の画像のうち、合焦前の画像である合焦前画像と合焦時の画像である合焦画像との間の動きを検出し、動き補償部５５は、動き検出部５４によって検出された動きに基づいて、合焦前画像に対応する動き補償画像を生成し、ぼけ補正部５７は、動き補償部５５によって生成された動き補償画像と、合焦前画像とに基づいて、合焦前画像のぼけを補正する。本発明は、例えば、デジタルカメラに適用することができる。【選択図】図１
2011044839.tif 000002
【特許請求の範囲】
【請求項１】
オートフォーカスを行って合焦する撮影装置において、
シャッタボタンが押下されてから合焦するまでの間に取り込まれた複数の画像を保持する保持手段と、
前記保持手段に保持されている前記複数の画像のうちの、合焦前の画像である合焦前画像と合焦時の画像である合焦画像との間の動きを検出する動き検出手段と、
前記動き検出手段によって検出された動きに基づいて、合焦前画像に対応する動き補償画像を生成する動き補償手段と、
前記動き補償手段によって生成された前記動き補償画像と、前記合焦前画像とに基づいて、前記合焦前画像のぼけを補正するぼけ補正手段と
を備える撮影装置。
【請求項２】
前記動き補償手段によって生成された前記動き補償画像と、前記合焦前画像との間のぼけ関数を推定するぼけ推定手段をさらに備え、
前記ぼけ補正手段は、前記ぼけ推定手段によって推定された前記ぼけ関数に基づいて、前記合焦前画像のぼけを補正する
請求項１に記載の撮影装置。
【請求項３】
前記合焦前画像は、前記シャッタボタンが押下されたときに取り込まれた画像である
請求項１に記載の撮影装置。
【請求項４】
前記保持手段は、前記ぼけ補正画像を合焦画像として保持し、
前記動き検出手段は、前記合焦前画像より時間的に前に取り込まれた画像を合焦前画像として、前記合焦画像との間の動きを検出する
請求項１に記載の撮影装置。
【請求項５】
前記ぼけ補正手段によってぼけが補正された前記ぼけ補正画像に対して、超解像処理を施す超解像処理手段をさらに備える
請求項１に記載の撮影装置。
【請求項６】
オートフォーカスを行って合焦する撮影装置の撮影方法において、
シャッタボタンが押下されてから合焦するまでの間に取り込まれた複数の画像を保持する保持ステップと、
前記保持ステップの処理により保持されている前記複数の画像のうちの、合焦前の画像である合焦前画像と合焦時の画像である合焦画像との間の動きを検出する動き検出手段と、
前記動き検出手段によって検出された動きに基づいて、合焦前画像に対応する動き補償画像を生成する動き補償ステップと、
前記動き補償ステップの処理によって生成された前記動き補償画像と、前記合焦前画像とに基づいて、前記合焦前画像のぼけを補正するぼけ補正ステップと
を含む撮影方法。
【請求項７】
オートフォーカスを行って合焦する撮影処理をコンピュータに実行させるプログラムにおいて、
シャッタボタンが押下されてから合焦するまでの間に取り込まれた複数の画像を保持する保持ステップと、
前記保持ステップの処理により保持されている前記複数の画像のうちの、合焦前の画像である合焦前画像と合焦時の画像である合焦画像との間の動きを検出する動き検出手段と、
前記動き検出手段によって検出された動きに基づいて、合焦前画像に対応する動き補償画像を生成する動き補償ステップと、
前記動き補償ステップの処理によって生成された前記動き補償画像と、前記合焦前画像とに基づいて、前記合焦前画像のぼけを補正するぼけ補正ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置および方法、並びにプログラムに関し、特に、ユーザの所望するタイミングの画像を記録できるようにする撮影装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮影装置で被写体を撮影した画像に対して、所定の補正情報に基づいて、画像を補正することが行われている（特許文献１参照）。
【０００３】
また、上述したような撮影装置で被写体を撮影する際には、オートフォーカス（AF）機能によって、被写体にフォーカスを合わせることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３０９２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、AF機能、特に、コンパクトデジタルカメラ等で主流となっているコントラスト検出方式AF機能によって、被写体にフォーカスを合わせる（合焦させる）場合、合焦までに所定の時間がかかってしまう。
【０００６】
したがって、ユーザがシャッタボタンを押下してから、合焦時の画像が記録されるまでに時間を要してしまい、結果として、ユーザの所望するタイミングの画像を記録することができなかった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、特に、ユーザの所望するタイミングの画像を記録するようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の撮影装置は、オートフォーカスを行って合焦する撮影装置であって、シャッタボタンが押下されてから合焦するまでの間に取り込まれた複数の画像を保持する保持手段と、前記保持手段に保持されている前記複数の画像のうちの、合焦前の画像である合焦前画像と合焦時の画像である合焦画像との間の動きを検出する動き検出手段と、
前記動き検出手段によって検出された動きに基づいて、合焦前画像に対応する動き補償画像を生成する動き補償手段と、前記動き補償手段によって生成された前記動き補償画像と、前記合焦前画像とに基づいて、前記合焦前画像のぼけを補正するぼけ補正手段とを備える。
【０００９】
前記撮影装置は、前記動き補償手段によって生成された前記動き補償画像と、前記合焦前画像との間のぼけ関数を推定するぼけ推定手段をさらに設け、前記ぼけ補正手段には、前記ぼけ推定手段によって推定された前記ぼけ関数に基づいて、前記合焦前画像のぼけを補正させることができる。
【００１０】
前記合焦前画像は、前記シャッタボタンが押下されたときに取り込まれた画像とすることができる。
【００１１】
前記保持手段には、前記ぼけ補正画像を合焦画像として保持させ、前記動き検出手段には、前記合焦前画像より時間的に前に取り込まれた画像を合焦前画像として、前記合焦画像との間の動きを検出させることができる。
【００１２】
前記撮影装置には、前記ぼけ補正手段によってぼけが補正された前記ぼけ補正画像に対して、超解像処理を施す超解像処理手段をさらに設けることができる。
【００１３】
本発明の一側面の撮影方法は、オートフォーカスを行って合焦する撮影装置の撮影方法であって、シャッタボタンが押下されてから合焦するまでの間に取り込まれた複数の画像を保持する保持ステップと、前記保持ステップの処理により保持されている前記複数の画像のうちの、合焦前の画像である合焦前画像と合焦時の画像である合焦画像との間の動きを検出する動き検出手段と、前記動き検出手段によって検出された動きに基づいて、合焦前画像に対応する動き補償画像を生成する動き補償ステップと、前記動き補償ステップの処理によって生成された前記動き補償画像と、前記合焦前画像とに基づいて、前記合焦前画像のぼけを補正するぼけ補正ステップとを含む。
【００１４】
本発明の一側面のプログラムは、オートフォーカスを行って合焦する撮影処理をコンピュータに実行させるプログラムであって、シャッタボタンが押下されてから合焦するまでの間に取り込まれた複数の画像を保持する保持ステップと、前記保持ステップの処理により保持されている前記複数の画像のうちの、合焦前の画像である合焦前画像と合焦時の画像である合焦画像との間の動きを検出する動き検出手段と、前記動き検出手段によって検出された動きに基づいて、合焦前画像に対応する動き補償画像を生成する動き補償ステップと、前記動き補償ステップの処理によって生成された前記動き補償画像と、前記合焦前画像とに基づいて、前記合焦前画像のぼけを補正するぼけ補正ステップとを含む処理をコンピュータに実行させる。
【００１５】
本発明の一側面においては、シャッタボタンが押下されてから合焦するまでの間に取り込まれた複数の画像が保持され、保持されている複数の画像のうちの、合焦前の画像である合焦前画像と合焦時の画像である合焦画像との間の動きが検出され、検出された動きに基づいて、合焦前画像に対応する動き補償画像が生成され、生成された動き補償画像と、合焦前画像とに基づいて、合焦前画像のぼけが補正される。
【発明の効果】
【００１６】
本発明の一側面によれば、ユーザの所望するタイミングの画像を記録することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した撮影装置の一実施の形態の構成例を示すブロック図である。
【図２】シャッタボタン押下時画像取得処理の概要を説明する図である。
【図３】シャッタボタン押下時画像取得処理について説明するフローチャートである。
【図４】シャッタボタン押下時画像取得処理の概要を説明する図である。
【図５】シャッタボタン押下時画像取得処理について説明するフローチャートである。
【図６】撮影装置の構成例を示すブロック図である。
【図７】シャッタボタン押下時画像取得処理について説明するフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
【００１９】
＜１．第１の実施の形態＞
［撮影装置の構成例］
図１は、本発明を適用した撮影装置の一実施の形態の構成例を示している。図１の撮影装置１１は、例えば、デジタルカメラ等の、動画像または静止画像を撮影する撮影機能を有する電子機器である。なお、以下では、撮影装置１１は、静止画像を撮影するものとし、その被写体は動きのある物体（人を含む）等の動体であるものとする。
【００２０】
図１の撮影装置１１は、レンズ部３１、撮像素子３２、画像処理部３３、レンズ駆動部３４、入力部３５、表示部３６、記録部３７、および制御部３８から構成される。
【００２１】
レンズ部３１は、被写体からの光を集光するレンズやフォーカスの調整をするためのフォーカスレンズ、絞りなどの光学系その他から構成されている。
【００２２】
撮像素子３２は、例えば、CCD（Charge Coupled Device）センサにより構成され、図示せぬタイミングジェネレータから供給されるタイミング信号にしたがって動作する。撮像素子３２は、レンズ部３１を介して入射する被写体からの光を受光して光電変換を行い、（光の）受光量に応じた電気信号としてのアナログの画像信号を、画像処理部３３に供給する。なお、撮像素子３２は、CCDセンサに限らず、例えば、CMOS（Complementary Metal Oxide Semiconductor）センサなど、画素を単位として画像の信号を生成する撮像素子であればよい。
【００２３】
画像処理部３３は、撮像素子３２から供給されたアナログの画像信号をA/D変換し、得られたデジタルの画像データ（以下、単に画像という）に対して、所定の画像処理を施す。画像処理部３３は、所定の画像処理を施した画像を、制御部３８に供給する。
【００２４】
レンズ駆動部３４は、制御部３８の制御に基づいて、図示せぬアクチュエータ（モータ）を駆動する。アクチュエータが駆動されることにより、レンズ部３１を構成する絞りの調整や、レンズ部３１を構成するフォーカスレンズの移動が行われる。レンズ駆動部３４は、制御部３８の制御に基づいて、フォーカスレンズの移動する移動範囲内を所定の間隔で、フォーカスレンズを移動させる。
【００２５】
入力部３５は、撮影装置１１に対する指示を入力するためにユーザに操作される。入力部３５は、各種の操作ボタン、キー、タッチパネル、マイクロホン等から構成され、ユーザからの操作を受け付け、その操作内容を示す信号（情報）を制御部３８に供給する。また、入力部３５は、表示部３６に重畳されたタッチパネルとして構成されてもよい。
【００２６】
表示部３６は、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）などの表示デバイスからなり、制御部３８の制御に基づいて、各種の画像を表示する。
【００２７】
記録部３７は、ハードディスクドライブ、所定のドライブに駆動されるDVD（Digital Versatile Disk）などの光ディスクおよびそのドライブ、またはメモリカードなどの半導体メモリなどからなり、撮影された被写体の画像を記録する。
【００２８】
制御部３８は、例えば、マイクロプロセッサ等からなり、撮影装置１１全体を制御する。例えば、制御部３８は、画像処理部３３からの画像に所定の処理を施し、得られた画像データを表示部３６に表示させたり、記録部３７に供給し記録させる。
【００２９】
制御部３８は、コンピュータプログラムを実行することにより、入力制御部５１、AF(Auto Focus)処理部５２、画像保持部５３、動き検出部５４、動き補償部５５、ぼけ推定部５６、ぼけ補正部５７、記録制御部５８、および表示制御部５９を実現する。
【００３０】
入力制御部５１は、入力部３５を制御し、ユーザの操作に応じた、入力部３５からのユーザの操作を示す信号を取得し、AF処理部５２に供給する。
【００３１】
AF処理部５２は、入力制御部５１からの信号に基づいて、画像処理部３３から供給された画像について、コントラスト検出方式により、その画像に含まれる被写体にフォーカスを合わせる（合焦させる）、いわゆる、オートフォーカス（AF）処理を行う。AF処理部５２は、AF処理によって得られる画像を画像保持部５３に供給する。
【００３２】
より具体的には、AF処理部５２は、レンズ駆動部３４を制御し、フォーカスレンズの、その移動範囲内における所定の位置毎に得られる、画像処理部３３からの画像を画像保持部５３に供給する。また、AF処理部５２は、フォーカスレンズの所定の位置毎の画像における画素の画素値に基づいて、コントラスト値を計算し、最も高いコントラスト値が計算されたときのフォーカスレンズの位置（以下、フォーカス位置ともいう）を合焦フォーカス位置とする。
【００３３】
画像保持部５３は、AF処理部５２から供給されてくる、フォーカスレンズの所定の位置毎の画像を保持する。言い換えれば、画像保持部５３は、シャッタボタンが押下されてから合焦するまでの間に取り込まれた複数の画像を保持する。画像保持部５３は、保持している画像を、必要に応じて、動き検出部５４、動き補償部５５、ぼけ推定部５６、およびぼけ補正部５７に供給する。また、画像保持部５３は、ぼけ補正部５７から供給されてくる、後述するぼけ補正画像を保持し、必要に応じて、記録制御部５８に供給する。
【００３４】
動き検出部５４は、画像保持部５３からの、合焦する前の画像（以下、合焦前画像という）と、合焦時の画像（以下、合焦画像という）とに基づいて、合焦前画像と合前画像との間の動きベクトルを求めることで、合焦前画像と合前画像との間の動きを検出する。動き検出部５４は、求めた動きベクトルを、動き補償部５５に供給する。
【００３５】
動き補償部５５は、動き検出部５４からの動きベクトルと、画像保持部５３からの合焦画像とに基づいて、動き補償処理を実行し、合焦前画像に対する動き補償画像を生成して、ぼけ推定部５６に供給する。
【００３６】
ぼけ推定部５６は、動き補償部５５からの動き補償画像と、画像保持部５３からの合焦前画像とに基づいて、動き補償画像と合焦前画像との間のぼけ関数を推定し、ぼけ補正部５７に供給する。
【００３７】
ぼけ補正部５７は、ぼけ推定部５６からのぼけ関数と、画像保持部５３からの合焦前画像とに基づいて、合焦前画像のぼけを補正し、得られたぼけ補正画像を画像保持部５３に供給する。
【００３８】
記録制御部５８は、画像保持部５３からの画像（ぼけ補正画像）を、記録部３７に記録させたり、表示制御部５９に供給する。
【００３９】
表示制御部５９は、画像処理部３３の画像を表示部３６に表示させる他、記録制御部５８からのぼけ補正画像を表示部３６に表示させる。
【００４０】
［撮影装置のフォーカス位置情報取得処理の例］
ここで、図２を参照して、撮影装置１１によって実行される、シャッタボタン押下時画像取得処理の概要について説明する。
【００４１】
図２においては、２枚の画像が示されている。左側の画像Psは、シャッタボタン押下時の画像、右側の画像Pfは、合焦時の画像をそれぞれ示しており、図中右方向を画像保持部５３に保持される時間軸の正方向とする。
【００４２】
ユーザの操作によって被写体を撮影するとき、シャッタボタン押下によって、画像Psが取り込まれるが、この画像Psは被写体にフォーカスが合っていない。シャッタボタン押下から所定時間経過後、AF機能によって、被写体にフォーカスが合った画像Pfが取り込まれる。
【００４３】
しかしながら、被写体が動きのある動体である場合、フォーカスが合った画像Pfにおける被写体は、本来、ユーザの所望するタイミング（すなわち、シャッタボタン押下時）の状態から、少なからず位置が変化したものとなる。
【００４４】
そこで、撮影装置１１は、シャッタボタン押下時の画像Psと、合焦時の画像Pfとから、シャッタボタン押下から合焦までの間の被写体の動きを検出、補償し、さらに、シャッタボタン押下時の画像Psの、被写体にフォーカスが合っていない分のぼけを補正する。これにより、シャッタボタン押下時の状態（位置）の被写体に、フォーカスが合っている画像が得られる。
【００４５】
次に、図３のフローチャートを参照して、撮影装置１１によるシャッタボタン押下時画像取得処理について説明する。
【００４６】
シャッタボタン押下時画像取得処理は、ユーザによって、入力部３５としてのシャッタボタンが押下され、AF処理部５２によりAF処理が行われることによって開始される。
【００４７】
ステップＳ１１において、画像保持部５３は、AF処理部５２から供給されてくる画像のうちの、シャッタボタンが押下されたときの画像Ps（合焦前画像）と、合焦したときの画像Pf（合焦画像）とを保持し、この２枚の画像を動き検出部５４に供給する。
【００４８】
ステップＳ１２において、動き検出部５４は、画像保持部５３からの合焦前画像と合焦画像とに基づいて、例えば「"High Resolution Motion Layer Decomposition using Dual-space Graph Cuts", IEEE CPVR, 2008.」で開示されている手法により、合焦前画像と合焦画像との間の動きベクトルを求める。動き検出部５４は、求めた動きベクトルを、動き補償部５５に供給する。
【００４９】
なお、動き検出部５４が動きベクトルを求める手法は、上述の手法に限らず、他の手法によるものであっても、もちろんよい。
【００５０】
ステップＳ１３において、動き補償部５５は、動き検出部５４からの動きベクトルと、画像保持部５３からの合焦画像とに基づいて、動き補償処理を実行し、合焦前画像に対する動き補償画像を生成して、ぼけ推定部５６に供給する。より具体的には、動き補償部５５は、動き検出部５４から供給されてくる、合焦画像の各画素における動きベクトルを解析することにより、動き補償画像における各画素の生成に必要とされる合焦画像の画素、および、合焦前画像の画素を検索する。そして、動き補償部５５は、検索された合焦画像の画素、および合焦前画像の画素を用いて、動き補償画像における各画素を生成する。
【００５１】
ステップＳ１４において、ぼけ推定部５６は、動き補償部５５からの動き補償画像と、画像保持部５３からの合焦前画像とに基づいて、動き補償画像と合焦前画像との間のぼけ関数を推定し、ぼけ補正部５７に供給する。詳細な説明は省略するが、例えば、ぼけ推定部５６は、「"Blind Image Deconvolution: An Algorithmic Approach to Practical Image Restoration", IEEE Signal Processing Magazine, May 1996.」で開示されている手法により、ぼけの原因としての点拡がり関数（PSF：Point Spread Function）を、ぼけ関数として推定する。
【００５２】
なお、ぼけ推定部５６がぼけ関数を推定する手法は、上述の手法に限らず、他の手法によるものであっても、もちろんよい。
【００５３】
ステップＳ１５において、ぼけ補正部５７は、ぼけ推定部５６からのぼけ関数と、合焦前画像と合焦画像との差の二乗平均が最小となるウィナーフィルタ（Wiener Filter）とを用いて、画像保持部５３からの合焦前画像から、ぼけ補正画像を生成する。ぼけ補正部５７は、得られたぼけ補正画像を画像保持部５３に供給する。
【００５４】
ステップＳ１６において、画像保持部５３は、ぼけ補正部５７からのぼけ補正画像を記録制御部５８に供給する。記録制御部５８は、画像保持部５３からのぼけ補正画像を記録部３７に記録させる。
【００５５】
以上の処理によれば、被写体が動体である場合、撮影装置１１は、シャッタボタン押下時の合焦前画像と、合焦時の合焦画像とから、シャッタボタン押下から合焦までの間の被写体の動きを検出、補償し、さらに、シャッタボタン押下時の、被写体にフォーカスが合っていない分のぼけを補正するので、シャッタボタン押下時の状態（位置）の被写体に、フォーカスが合っている画像が得られ、ユーザの所望するタイミングの画像を記録することができる。
【００５６】
以上においては、画像保持部５３に保持される画像は、シャッタボタン押下時の画像と合焦時の画像の２枚としたが、被写体の動きが激しい場合、この２枚の画像のみでは、完全に動き補償の処理ができない恐れがある。そこで、シャッタボタン押下から合焦までの間に取り込まれる画像を増やして、合焦画像からシャッタボタン押下時の画像まで、上述した処理を繰り返し行うようにしてもよい。
【００５７】
＜２．第２の実施の形態＞
［撮影装置のフォーカス位置情報取得処理の他の例］
ここで、図４を参照して、シャッタボタン押下から合焦までの間に複数の画像を取り込むようにしたときの、シャッタボタン押下時画像取得処理の概要について説明する。
【００５８】
図４においては、図２で説明したシャッタボタン押下時の画像Psと、合焦時の画像Pfとの間に、７枚の画像P1乃至P7が示されている。また、図４においては、図２と同様に、図中右方向を画像保持部５３に保持される時間軸の正方向とする。
【００５９】
図４に示されるように、画像P1乃至P7は、シャッタボタン押下によって、画像Psが取り込まれてから、被写体にフォーカスが合った画像Pfが取り込まれる間に、順次得られる画像である。
【００６０】
シャッタボタン押下時の画像Psおよび合焦時の画像Pfに加え、画像P1乃至P7が取り込まれた状態で、撮影装置１１は、まず、画像P7と合焦時の画像Pfとから、画像P7取得時から合焦までの間の被写体の動きを検出、補償し、さらに、画像P7の、被写体にフォーカスが合っていない分のぼけを補正する。このとき、画像P7取得時の状態（位置）の被写体に、フォーカスが合っている画像が得られる。
【００６１】
次に、ぼけ補正された画像P7を合焦時の画像とみなして、画像P6と画像P7とから、画像P6取得時から画像P7取得時までの間の被写体の動きを検出、補償し、さらに、画像P6取得時の、被写体にフォーカスが合っていない分のぼけを補正する。このとき、画像P6取得時の状態（位置）の被写体に、フォーカスが合っている画像が得られる。
【００６２】
このように、上述した処理を反復的に行うことによって、最終的に、シャッタボタン押下時の状態（位置）の被写体に、フォーカスが合っている画像が得られる。
【００６３】
なお、図４においては、シャッタボタン押下時の画像Psと、合焦時の画像Pfとが取り込まれる間に、７枚の画像P1乃至P7を得るように、すなわち、合計９枚の画像を得るようにしたが、シャッタボタン押下時から合焦時までの間に取り込まれる画像の枚数は、被写体の動きの激しさの度合いに応じて、自動で設定されるようにしてもよいし、ユーザによって設定されるようにしてもよい。
【００６４】
次に、図５のフローチャートを参照して、撮影装置１１によるシャッタボタン押下時画像取得処理について説明する。
【００６５】
図５のシャッタボタン押下時画像取得処理は、ユーザによって、入力部３５としてのシャッタボタンが押下され、AF処理部５２によりAF処理が行われることによって開始される。このとき、シャッタボタン押下時から合焦時までの間に取り込まれる画像の枚数は、図４と同様、予め９枚に設定されているものとする。
【００６６】
ステップＳ３１において、画像保持部５３は、AF処理部５２から供給されてくる、シャッタボタン押下時から合焦時までの間に取り込まれた９枚の画像を保持する。画像保持部５３は、保持した画像のうちの、合焦したときの画像Pf（合焦画像）、および合焦画像より時間的に前に取り込まれた画像P7（合焦前画像）の２枚の画像を動き検出部５４に供給する。
【００６７】
ここで、図５のフローチャートにおけるステップＳ３２乃至Ｓ３５の処理は、図３のフローチャートにおけるステップＳ１２乃至Ｓ１５の処理と同様であるので、その説明は省略する。
【００６８】
ステップＳ３５において生成されたぼけ補正画像が、ぼけ補正部５７から画像保持部５３に供給されると、ステップＳ３６において、画像保持部５３は、シャッタボタン押下時の画像Psについて処理したか否かを判定する。例えば、画像保持部５３は、シャッタボタン押下時から合焦時までの間に取り込まれた画像の枚数から１を減算した回数だけ、すなわち、この場合、ステップＳ３２乃至Ｓ３５の処理を、８回繰り返して行ったか否かを判定する。
【００６９】
１回目のステップＳ３６においては、シャッタボタン押下時の画像Psについて処理していないと判定されるので、処理はステップＳ３７に進み、画像保持部５３は、画像P7に対応するぼけ補正画像を合焦画像として保持して、処理はステップＳ３２に戻る。
【００７０】
２回目のステップＳ３２においては、動き検出部５４は、画像保持部５３の画像P6を合焦前画像として、合焦前画像と合焦画像（画像P7に対応するぼけ補正画像）との間の動きベクトルを求める。以降、ステップＳ３５まで上述した処理と同様の処理が行われ、ステップＳ３６において、シャッタボタン押下時の画像Psについて処理したと判定されるまで、ステップＳ３２乃至Ｓ３６の処理が繰り返される。
【００７１】
ステップＳ３６において、シャッタボタン押下時の画像Psについて処理したと判定された場合、ステップＳ３８において、画像保持部５３は、シャッタボタン押下時の画像Psに対応するぼけ補正画像を記録制御部５８に供給する。記録制御部５８は、画像保持部５３からのぼけ補正画像を記録部３７に記録させる。
【００７２】
以上の処理によれば、被写体が動体である場合、撮影装置１１は、シャッタボタン押下時から合焦時までに取り込まれた画像に基づいて、合焦前から合焦までの間の被写体の動きを検出、補償し、さらに、シャッタボタン押下時の、被写体にフォーカスが合っていない分のぼけを補正する処理を反復的に行うので、動きが激しい被写体であっても、シャッタボタン押下時の状態（位置）の被写体に、フォーカスが合っている画像が得られ、ユーザの所望するタイミングの画像を記録することができる。
【００７３】
以上においては、合焦時の画像からシャッタボタン押下時の画像に対して、反復的に動き補償とぼけ補正と行うようにしたが、動き補償およびぼけ補正に加えて、超解像処理を行うようにすることで、より解像度の高い画像を得るようにすることもできる。
【００７４】
＜３．第３の実施の形態＞
［撮影装置の構成例］
図６は、動き補償およびぼけ補正に加えて、超解像処理を行うようにした撮影装置の構成例を示している。
【００７５】
なお、図６の撮影装置１１において、図１の撮影装置１１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。
【００７６】
すなわち、図６の撮影装置１１において、図１の撮影装置１１と異なるのは、超解像処理部１５１を新たに設けた点である。
【００７７】
図６の撮影装置１１においては、ぼけ補正部５７は、生成したぼけ補正画像を超解像処理部１５１に供給する。
【００７８】
超解像処理部１５１は、ぼけ補正部５７からのぼけ補正画像に超解像処理を施し、その結果を記憶するとともに、画像保持部５３に供給する。
【００７９】
超解像は、入力された画像から、より解像度の高い画像を生成する手法として知られている（例えば、特開２００８−１４００１２号公報や、「"Super-Resolution Image Reconstruction: A Technical Overview", IEEE Signal Processing Magazine, May 2003.」等参照）。超解像においては、互いに重なりを持つ複数の画像、つまり互いに共通する被写体の含まれる画像が用いられて、注目している画像について、その画像よりも解像度の高い高解像度画像が生成される。
【００８０】
すなわち、超解像処理部１５１は、注目しているぼけ補正画像（以下、適宜、注目ぼけ補正画像という）と、他のぼけ補正画像を用いて既に生成し、記憶している高解像度画像とから補正値を求め、その補正値を既に生成している高解像度画像に加算する。そして、超解像処理部１５１は、補正値を加算した高解像度画像を、注目ぼけ補正画像に対する高解像度画像とする。
【００８１】
超解像によれば、複数の画像を用いて補正値を求め、その補正値により画像を補正することで高解像度画像を得ているので、単に画像をアップサンプリングする場合よりも、画像の画質を向上させることができる。
【００８２】
［撮影装置のフォーカス位置情報取得処理のさらに他の例］
次に、図７のフローチャートを参照して、図６の撮影装置１１によるフォーカス位置情報取得処理について説明する。
【００８３】
なお、図７のフローチャートにおけるステップＳ１３１乃至Ｓ１３５，Ｓ１３７乃至Ｓ１３９の処理は、図５のフローチャートを参照して説明したＳ３１乃至Ｓ３８の処理と同様であるので、その説明は省略する。
【００８４】
すなわち、ステップＳ１３５において生成されたぼけ補正画像が、ぼけ補正部５７から超解像処理部１５１に供給されると、ステップＳ１３６において、超解像処理部１５１は、ぼけ補正部５７からのぼけ補正画像に超解像処理を施し、その結果を記憶するとともに、画像保持部５３に供給する。
【００８５】
ただし、１回目のステップＳ１３６においては、ぼけ補正画像を用いて既に生成されている高解像度画像は存在しない（記憶されていない）ので、ぼけ補正部５７からのぼけ補正画像（注目ぼけ補正画像）が記憶されるのみとする。２回目以降のステップＳ１３６においては、注目ぼけ補正画像と、ぼけ補正画像を用いて既に生成され、記憶されている高解像度画像とに基づいて、注目ぼけ補正画像に対する高解像度画像が得られ、画像保持部５３に供給される。
【００８６】
以上の処理によれば、被写体が動体である場合、撮影装置１１は、シャッタボタン押下時から合焦時までに取り込まれた画像に基づいて、合焦前から合焦までの間の被写体の動きを検出、補償し、さらに、シャッタボタン押下時の、被写体にフォーカスが合っていない分のぼけを補正する処理を反復的に行うので、動きが激しい被写体であっても、シャッタボタン押下時の状態（位置）の被写体に、フォーカスが合っている画像が得られ、ユーザの所望するタイミングの画像を記録することができる。さらに、動き補償およびぼけ補正に加えて、超解像処理を行うようしたので、より解像度の高い画像を得ることができる。
【００８７】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００８８】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９１】
１１  撮影装置，  ３１  レンズ部，  ３２  撮像素子，  ３３  画像処理部，  ３４  レンズ駆動部，  ３５  入力部，  ３６  表示部，  ３７  記録部，  ３８  制御部，  ５１  入力制御部，  ５２  AF処理部，  ５３  画像保持部，  ５４  動き検出部，  ５５  動き補償部，  ５６  ぼけ推定部，  ５７  ぼけ補正部，  １５１  超解像処理部
【図１】
2011044839.tif 000003
【図２】
2011044839.tif 000004
【図３】
2011044839.tif 000005
【図４】
2011044839.tif 000006
【図５】
2011044839.tif 000007
【図６】
2011044839.tif 000008
【図７】
2011044839.tif 000009