(57)【要約】  【課題】手振れ補正を行なうために、異なる撮像条件にて撮像された複数画像間の位置ずれを検出して合成を行なう場合、画像ごとの明るさ等が著しく異なる場合にはブロックマッチングなどでは精度の良いマッチングを行なうことができない場合がある。  【解決手段】サイズや明るさ等の撮像条件が同じ第一画像のみを複数利用して撮像装置自身の短時間内における動き量を検出し、検出した動き量から撮像条件の異なる第一画像と第二画像との手振れ量を予測する撮像装置を提案する。複数の第一画像と一の第二画像は短時間に連続して撮像される画像であり、各画像間における振れはほぼ同じであることを利用したものである。また、第一画像と第二画像間における予測手振れ量によって、第一画像と第二画像の位置合わせを行ない輝度情報等の修正を行なうこともできる。【選択図】            図１
2007036363.tif 000002
【特許請求の範囲】
【請求項１】
第一撮像条件にて複数の第一画像を撮像する第一撮像部と、
第二撮像条件にて一の第二画像を撮像する第二撮像部と、
第一撮像部にて撮像された複数の第一画像の構成情報である第一画像情報を用いて第一画像と第二画像との撮像タイミングの差によって生じたであろう手振れ量である予測手振れ量を算出する予測手振れ量算出部と、
を有する撮像装置。
【請求項２】
前記第二撮像部は、前記複数の第一画像が撮像された後のタイミングにて第二画像の撮像を実行する後続撮像手段を有する請求項１に記載の撮像装置。
【請求項３】
前記第二撮像部は、前記複数の第一画像の撮像と撮像の合間のタイミングにて第二画像の撮像をする合間撮像手段を有する請求項１に記載の撮像装置。
【請求項４】
前記第二撮像部は、前記複数の第一画像が撮像される前のタイミングにて第二画像の撮像をする先発撮像手段を有する請求項１に記載の撮像装置。
【請求項５】
前記第一画像の撮像タイミングから前記第二画像の撮像タイミングまでは短時間である請求項１から４のいずれか一に記載の撮像装置。
【請求項６】
前記第一撮像部は、第一撮像条件として、適正露出となるように制御する撮像条件を取得する第一撮像条件取得手段を有し、
前記第二撮像部は、第二撮像条件として、手振れによる画像のボケを低減させる為に、比較的速いシャッタースピードにて撮像する撮像条件を取得する第二撮像条件取得手段
を有する請求項１から５のいずれか一に記載の撮像装置。
【請求項７】
ファインダーとしてプレビュー画像を表示するためのプレビュー表示部を有し、
前記第一撮像部は、前記プレビュー表示部に対して前記第一画像をプレビュー画像として出力するプレビュー画像出力手段
を有する請求項１から６のいずれか一に記載の撮像装置。
【請求項８】
前記予測手振れ量算出部にて算出された予測手振れ量に基づいて、第一画像情報から第一画像の所定の画素の画像情報を抽出し、抽出した所定の画素の画像情報に基づいて、所定の画素と対応する第二画像の所定の画素の画像情報を修正する画像情報修正部を有する請求項１から７のいずれか一に記載の撮像装置。
【請求項９】
第一撮像条件にて複数の第一画像を撮像する第一撮像ステップと、
第二撮像条件にて一の第二画像を撮像する第二撮像ステップと、
第一撮像ステップにて撮像された複数の第一画像の構成情報である第一画像情報を用いて第一画像と第二画像との撮像タイミングの差によって生じたであろう手振れ量である予測手振れ量を算出する予測手振れ量算出ステップと、
を有する撮像装置の動作方法。
【請求項１０】
前記第二撮像ステップは、前記複数の第一画像が撮像された後のタイミングにて第二画像の撮像を実行する後続撮像ステップを有する請求項９に記載の撮像装置の動作方法。
【請求項１１】
前記第二撮像ステップは、前記複数の第一画像の撮像と撮像の合間のタイミングにて第二画像の撮像をする合間撮像ステップを有する請求項９に記載の撮像装置の動作方法。
【請求項１２】
前記第二撮像ステップは、前記複数の第一画像が撮像される前のタイミングにて第二画像の撮像をする先発撮像ステップを有する請求項９に記載の撮像装置の動作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画を撮像する撮像装置に関し、さらに詳しくは手振れ補正技術に関する。
【背景技術】
【０００２】
通常、デジタルカメラやカメラ付携帯電話等の撮像装置によって被写体を撮像する際は、その撮像装置を人が手で支えて撮像する場合が多い。そのため、被写体を撮像する際に、いわゆる「手振れ」などによって撮像した画像の品質が低下するという問題が存在していた。このような問題を解決するために、例えば、特許文献１においては、振れが無視しうる程度の短い露光時間によって撮像した複数の画像を、位置を合わせて重ね合わせることにより明るさを補正して振れのない画像を取得する発明が開示されている。また、例えば、適正露出であるが手振れしている可能性の高い画像と、露出不足であるが手振れによる画像のボケが低減された画像とを利用して、後者の輝度情報等を前者の輝度情報等によって補正することにより明るさを補正し、適正露出でありかつ手振れの軽減された画像を得る方法も考えられる。このような方法においては、適正露出である画像としてデータサイズの小さい画像を利用することも可能であるので、カメラ付携帯電話のカメラのように処理能力やメモリ容量に制限のある撮像装置においても適用することができる。
【特許文献１】特開平９−２６１５２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような手振れ補正を行なう場合、合成に利用する画像と画像との間に撮像位置のずれが生じることがある。これは、画像の撮像間隔がある程度（一般的には、約１／６０秒以上）の大きさであると、その間に手振れが起こる場合があるからである。このように手振れが生じている場合には、その画像間の手振れ量を検出し、検出した手振れ量に基づいて画像間の位置合わせをして合成を行なう必要がある。しかし、合成に利用する複数画像のサイズや明るさが異なる場合には、マッチングの精度が保てず、手振れ量を検出するのが困難となる場合がある。
【課題を解決するための手段】
【０００４】
そこで、本発明においては、サイズや明るさの同じ画像（以下、「第一画像」という）を複数と、シャッターを切ることにより得ることを目的とした画像（以下、「第二画像」という）とを短時間内に撮影する。複数ある第一画像を利用して撮像装置自身の動き量を検出し、検出した動き量から、明るさ等の異なる第一画像と第二画像との手振れ量を予測する撮像装置を提案する。複数の第一画像と一の第二画像は短時間に連続して撮像される画像であり、各画像間において発生する振れはほぼ同じであることを利用したものである。また、第一画像と第二画像間における予測手振れ量によって、第一画像と第二画像の位置合わせを行ない輝度情報等の修正を行なうこともできる。また、第一画像と第二画像が撮像される順番は、第一画像が第二画像の前に撮像される場合、第一画像が第二画像の前後に撮像される場合、又は第一画像が第二画像の後に撮像される場合などが考えられる。
【発明の効果】
【０００５】
本発明の撮像装置においては、サイズや明るさ等の撮像条件の同じ画像を利用して撮像装置自身の短時間内における動き量を検出し、検出した動き量から手振れ量を予測するため、手振れ量検出のための処理が簡易なものとなり、検出精度も保つことができる。
【発明を実施するための最良の形態】
【０００６】
本発明を実施するための最良の形態について図面を用いて詳細に説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、以下の実施形態と請求項の関係は次の通りである。実施形態１は、主に請求項１、５、９などについて説明する。実施形態２は、主に請求項２、１０などについて説明する。実施形態３は、主に請求項３、１１などについて説明する。実施形態４は、主に請求項４、１２などについて説明する。実施形態５は、主に請求項６などについて説明する。実施形態６は、主に請求項７などについて説明する。実施形態７は、主に請求項８などについて説明する。
（実施形態１）
【０００７】
（実施形態１：概要）本実施形態は、同じ撮像条件にて撮像された複数の第一画像を利用して撮像装置自身の短時間内における動き量を検出し、検出された動き量から、撮像条件の異なる第一画像と第二画像において生じたと予測される手振れ量を算出する撮像装置に関する。
【０００８】
（実施形態１：構成）本実施形態に係る撮像装置の機能ブロックを図１に例示する。撮像装置（０１００）は、「第一撮像部」（０１０１）と、「第二撮像部」（０１０２）と、「予測手振れ量算出部」（０１０３）と、を有する。
【０００９】
なお、本件発明の構成要素である各部は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両方のいずれかによって構成される。例えば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、バス、メモリ、インタフェース、周辺装置などで構成されるハードウェアと、それらハードウェア上で実行可能なソフトウェアがある。ソフトウェアとしては、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インタフェースを介して入力されるデータの加工、保存、出力などにより各部の機能が実現される。さらに具体的には、図２２は撮像装置のより具体的な構成を示す図であり、一例として、レンズ（２２０１）、ＣＣＤ（２２０２）、Ａ／Ｄ変換器（２２０３）、ＣＰＵ（２２０４）、一時記憶メモリ（２２０５）、記憶装置（２２０６）、画像出力ユニット（２２０７）、モニタ（２２０８）等から構成されることを示している。（明細書の全体を通じて同様である。）
【００１０】
「第一撮像部」（０１０１）は、第一撮像条件にて複数の第一画像を撮像する機能を有する。「撮像条件」とは、具体的には、露光時間（「シャッタースピード」と同義）、複数画像間を撮像する撮像間隔、などが該当する。「撮像」とは、具体的には図２２を例として、被写体からの光をレンズ（２２０１）などの光学系を通してＣＣＤ（２２０２）等の撮像素子で受光し、電気信号に変換する。さらに、電気信号をＡ／Ｄ変換器（２２０３）によりデジタル信号に変換して、ＣＰＵ（２２０４）で画像情報とすることを意味する。また、第一撮像部は、さらに画像情報を一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納する。また、第一撮像部は、このような処理をＣＰＵ（２２０４）に実行させるためのプログラムを含んでいてもよい。また、第一画像は、例えば、プレビュー画像などを利用することができる。プレビュー画像とは、ユーザが撮像装置により被写体を撮像しようとする際に利用するための画像であり、例えば、撮像装置がカメラ付携帯電話である場合、被写体を撮像する際にはカメラが捉えている被写体が携帯電話の液晶画面等に表示されユーザはこの表示を見ながらシャッターを切るが、この時に表示される画像である。プレビュー画像はデータサイズの小さい画像であるので、第一画像を保持するためのメモリ量が少なくて済むという利点がある。
【００１１】
「第二撮像部」（０１０２）は、第二撮像条件にて一の第二画像を撮像する機能を有する。第二撮像部の機能は、第一撮像部の機能と同様である。ただし、第二撮像部においては第二撮像条件にて一のみの第二画像を撮像する。第二画像は、ユーザがシャッターを切ることにより得ることを目的とする画像などが該当する。なお、前記第一撮像部（０１０１）と第二撮像部は、同一の処理機構によって実装されていてもよい。例えば、図２２における一組の、レンズ（２２０１）、ＣＣＤ（２２０２）、Ａ／Ｄ変換器（２２０３）、ＣＰＵ（２２０４）、一時記憶メモリ（２２０５）、記憶装置（２２０６）によって実現されてもよい。
【００１２】
「予測手振れ量算出部」（０１０３）は、第一撮像部（０１０１）にて撮像された複数の第一画像の構成情報である第一画像情報を用いて第一画像と第二画像との撮像タイミングの差によって生じたであろう手振れ量である予測手振れ量を算出する機能を有する。複数の画像を撮像する場合、撮像間隔がある程度大きいと画像間に手振れが発生する可能性が高くなる。すなわち、「第一画像と第二画像との撮像タイミングの差によって生じたであろう手振れ量」とは、第一画像と第二画像との撮像間隔がある程度大きい場合に、その撮像間隔において発生した手振れ量を意味する。また、「手振れ量」とは、具体的には手振れの方向と量とを示すベクトルなどによって表される。また、「画像情報」とは、画像を実現するための情報であって、具体的には、各画素のＲＧＢ値やＹＵＶ値などの数値で表される情報が挙げられる。ところで、輝度情報（Ｙ）はＲＧＢの値により表されることが一般的に知られており、おおよそ「Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ」という式により求められる。よって、輝度情報も画像情報に含まれると言うことができる。また、「複数の第一画像の構成情報である第一画像情報を用いて」とは、複数の第一画像情報を利用してブロックマッチング等により撮像装置自身の短時間内における動き量を検出して、その検出結果を利用して第一画像と第二画像間の予測手振れ量を算出する、という意味である。算出方法については、後に詳述する。
【００１３】
図２に第一画像（０２０１）と第二画像（０２０２）との間で手振れが発生する場合の一例を示す。図２では、第一画像（０２０１）と第二画像（０２０２）の大きさが異なる場合を示す。第一画像（０２０１）の高さをＰｈ、幅をＰｗで表し、第二画像（０２０２）の高さをＳｈ、幅をＳｗで表すとする。第一画像（０２０１）の画素（ｘ’，ｙ’）に対応する点が第二画像（０２０２）の画素（ｘ，ｙ）であるとし、第一画像と第二画像との手振れ量を（ｄｘ，ｄｙ）とすると、ｘ’＝αｘ＋ｄｘ、ｙ’＝βｙ＋ｄｙと表すことができる。ここで、αとβは第一画像と第二画像の水平方向、垂直方向の縮小率であり、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈである。このように手振れ量（ｄｘ，ｄｙ）を検出することができれば、第一画像と第二画像において互いに対応する画素の位置関係を算出することができる。しかしながら、このような手振れ量は、第一画像と第二画像においてブロックマッチングやエッジ検出などによって検出することも考えられるが、第一画像と第二画像は撮像条件が異なるため明るさやサイズ等が異なり、マッチング処理の精度が保てない可能性がある。そのため、まず、同じ第一撮像条件にて撮像された複数の第一画像のみを用いて撮像装置自身の短時間内における動き量を検出する。この動き量は、同じ撮像条件にて撮像された第一画像から検出されるものであるので精度の高いものとなる。さらに、この精度の高い動き量から第一画像と第二画像との間で生じたとされる予測手振れ量（ｄｘ，ｄｙ）を算出する。
【００１４】
図３にて、予測手振れ量の算出方法の概略を説明する。図３は、二つの第一画像（０３０１ａ、０３０１ｂ）と第二画像（０３０２）により予測手振れ量を算出する場合を例示する。また、第一画像（０３０１ａ、０３０１ｂ）が第二画像（０３０２）よりも先に撮像される場合である。（ａ）に示すように、第一画像０３０１ａと第一画像０３０１ｂの撮像間隔をｔ１、第一画像０３０１ｂと第二画像０３０２の撮像間隔をｔ２とする。また、（ｂ）に示すように第一画像０３０１ａと第一画像０３０１ｂとの単位時間当たりの動きベクトル（ｄｘ’，ｄｙ’）がブロックマッチング等により検出されたとする。第一画像どうしは撮像条件が同じなのでブロックマッチング等が利用できる。第一画像（０３０１ａ、０３０１ｂ）と第二画像（０３０２）は短時間内に連続して撮像されるので、この間に発生する手振れはその方向と量が一定であると仮定することができる。よって、図３（ａ）のような撮像順番である場合、例えばｔ１＝ｔ２であれば、第二画像０３０２は第一画像０３０１ｂをさらに動きベクトル（ｄｘ’，ｄｙ’）と同じ方向に同じ量だけ手振れした画像であると予測することができる。すなわち、予測手振れ量（ｄｘ，ｄｙ）＝（ｄｘ’，ｄｙ’）である。また、ｔ２＝２・ｔ１であれば、第二画像０３０２は第一画像０３０１ｂをさらに動きベクトル（ｄｘ’，ｄｙ’）と同じ方向に２倍の量だけ手振れした画像であると予測することができる。なお、動きベクトルを算出する第一画像は、図３のように二つでなくともさらに多くの第一画像を利用してもよい。例えば、各第一画像間における動きベクトルから平均的な動きベクトル等を算出するようになっていてもよい。また、複数の第一画像と第二画像の撮像順番は、図４のようなパターンが想定される。（ａ）は図３のように第二画像の前に複数の第一画像が撮像される場合、（ｂ）は第二画像の前後において複数の第一画像が撮像される場合、（ｃ）は第二画像の後に複数の第一画像が撮像される場合である。（ａ）の場合、第二画像が撮像されるまで常に最新の複数の第一画像を撮像しておく必要があるが、第二画像が撮像された後はすぐに予測手振れ量の算出を行なうことができる。また、第二画像を連続して撮像し各第二画像間の予測手振れ量を算出することも可能である。（ｂ）の場合、予測手振れ量の算出に利用される複数の第一画像のうち第二画像の後に撮像されるものに関しては、第二画像の撮像がなされた場合のみ撮像されるようになっていればよいので、第一画像を保持するためのメモリ消費量が少なくて済む。（ｃ）の場合、予測手振れ量の算出に利用される複数の第一画像は全て第二画像の撮像がなされた場合のみ撮像されるようになっていればよいので、第一画像を保持するためのメモリ消費量が少なくて済む。
【００１５】
なお、予測手振れ量算出部の具体的な処理としては、例えば、前記第一撮像部（０１０１）により一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納された複数の第一画像情報を読出す。読出した複数の第一画像情報からブロックマッチング等のマッチング処理により動きベクトルを算出し、算出結果を一時記憶メモリ（２２０５）などの所定の記憶領域に格納する。さらに、所定の記憶領域に格納された算出結果を読出し、第一画像と第二画像間の予測手振れ量を算出し、算出結果を一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納する。また、予測手振れ量算出部は、このような処理をＣＰＵ（２２０４）に実行させるためのプログラムを含んでいてもよい。
【００１６】
また、前記第一画像の撮像タイミングから前記第二画像の撮像タイミングまでは短時間であってもよい。第一画像と第二画像の撮像間隔が短いほどその間に手振れ等の振れが発生する可能性が低くなるため、第一画像と第二画像の手振れ量が軽減されるので、予測誤差も軽減されるというメリットがある。
【００１７】
（実施形態１：処理の流れ）図５は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、第一撮像条件にて複数の第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ０５０１）。次に、第二撮像条件にて一の第二画像を撮像する。この処理は、第二撮像部によって実行される（ステップＳ０５０２）。最後に、ステップＳ０５０１にて撮像された複数の第一画像の構成情報である第一画像情報を用いて第一画像と第二画像との撮像タイミングの差によって生じたであろう予測手振れ量を算出する。この処理は、予測手振れ量算出部によって実行される（ステップＳ０５０３）。
【００１８】
（実施形態１：効果）本実施形態に係る撮像装置においては、同じ撮像条件にて撮像された複数の第一画像から精度の高い動きベクトルを検出することができ、さらにその動きベクトルから異なる撮像条件にて撮像された第一画像と第二画像における予測手振れ量を算出するため、最終的に第一画像と第二画像の手振れ量を正確に予測することが可能である。
（実施形態２）
【００１９】
（実施形態２：概要）本実施形態は、複数の第一画像が撮像された後に第二画像が撮像されることを特徴とする撮像装置に関する。予測手振れ量の算出のために利用される第一画像が第二画像よりも先に撮像されるため、第二画像の撮像終了後、すぐに予測手振れ量の算出を行なうことができる。
【００２０】
（実施形態２：構成）本実施形態に係る撮像装置の機能ブロックを図６に例示する。撮像装置（０６００）は、「第一撮像部」（０６０１）と、「第二撮像部」（０６０２）と、「予測手振れ量算出部」（０６０３）と、を有する。また、前記第二撮像部（０６０２）は、「後続撮像手段」（０６０４）を有する。すなわち、実施形態１に係る撮像装置の構成に、「後続撮像手段」（０６０４）を加えた構成となっている。
【００２１】
「後続撮像手段」（０６０４）は、前記複数の第一画像が撮像された後のタイミングにて第二画像の撮像を実行する機能を有する。すなわち、実施形態１において図３を用いて説明したように、複数の第一画像が撮像された後に第二画像が撮像される。また、ユーザがシャッターを切って得ることを目的とする画像は第二画像が該当するが、ユーザがいつシャッターを切るかは分からないため、本実施形態に係る撮像装置の場合、常に複数の最新の第一画像を撮像しておく必要がある。なお、セルフタイマー機能などにより一定時間後に第二画像が撮像されることが分かる場合には、第二画像の撮像タイミング直前に第一画像を必要な数だけ撮像するようになっていると撮像における処理量も使用メモリ量も軽減され好適である。また、実際には利用される第一画像の数は予め決められており、常に一定数の最新の第一画像情報が一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納されるようになっていることが想定される。
【００２２】
（実施形態２：処理の流れ）図７は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、第一撮像条件にて第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ０７０１）。次に、第二画像の撮像を実行するかの判断を行なう。第二画像の撮像を実行するとは、例えば、ユーザによりシャッターが切られた場合などが該当する。ここでの判断が、実行しないとの判断であった場合には、ステップＳ０７０１を繰り返す。ここでの判断が、実行するとの判断であった場合には、ステップＳ０７０３に移行する（ステップＳ０７０２）。次に、第二撮像条件にて一の第二画像を撮像する。この処理は、後続撮像手段によって実行される（ステップＳ０７０３）。最後に、ステップＳ０７０１にて撮像された複数の第一画像の構成情報である第一画像情報を用いて第一画像と第二画像との撮像タイミングの差によって生じたであろう予測手振れ量を算出する。この処理は、予測手振れ量算出部によって実行される（ステップＳ０７０４）。
【００２３】
（実施形態２：効果）本実施形態に係る撮像装置においては、第二画像が撮像される前に予測手振れ量の算出に必要とされる複数の第一画像が撮像されるので、第二画像の撮像直後に予測手振れ量の算出を実行することができる。
（実施形態３）
【００２４】
（実施形態３：概要）本実施形態は、複数の第一画像の撮像と撮像の合間に第二画像が撮像されることを特徴とする撮像装置に関する。予測手振れ量の算出に利用される複数の第一画像のうち第二画像の後に撮像されるものに関しては、第二画像の撮像がなされた場合のみ撮像されるようになっていればよいので、第一画像を一時的に保持するためのメモリ消費量が少なくて済むという利点がある。
【００２５】
（実施形態３：構成）本実施形態に係る撮像装置の機能ブロックを図８に例示する。撮像装置（０８００）は、「第一撮像部」（０８０１）と、「第二撮像部」（０８０２）と、「予測手振れ量算出部」（０８０３）と、を有する。また、前記第二撮像部（０８０２）は、「合間撮像手段」（０８０４）を有する。すなわち、実施形態１に係る撮像装置の構成に、「合間撮像手段」（０８０４）を加えた構成となっている。
【００２６】
「合間撮像手段」（０８０４）は、前記複数の第一画像の撮像と撮像の合間のタイミングにて第二画像の撮像をする機能を有する。図９に、合間撮像手段にて第二画像が撮像される場合を例示する。（ａ）に示すように、第一画像０９０１ａと第二画像０９０２の撮像間隔をｔ１、第二画像０９０２と第一画像０９０１ｂの撮像間隔をｔ２とする。また、（ｂ）に示すように第一画像０９０１ａと第一画像０９０１ｂとの単位時間当たりの動きベクトル（ｄｘ’，ｄｙ’）がブロックマッチング等により検出されたとする。第一画像どうしは撮像条件が同じなのでブロックマッチング等が利用できる。第一画像（０９０１ａ、０９０１ｂ）と第二画像（０９０２）は短時間内に連続して撮像されるので、この間に発生する手振れはその方向と量が一定であると仮定することができる。よって、例えばｔ１＝ｔ２であればｔ１＋ｔ２の間に動きベクトル（ｄｘ’，ｄｙ’）が発生したことになり、第二画像０９０２は第一画像０９０１ａから動きベクトル（ｄｘ’，ｄｙ’）と同じ方向に１／２の量だけ手振れした画像であると予測することができる。すなわち、予測手振れ量（ｄｘ，ｄｙ）＝１／２（ｄｘ’，ｄｙ’）である。また、ｔ２＝２・ｔ１であれば、第二画像０９０２は第一画像０９０１ａから動きベクトル（ｄｘ’，ｄｙ’）と同じ方向に１／３の量だけ手振れした画像であると予測することができる。なお、動きベクトルを算出する第一画像は、図９のように二つでなくともさらに多くの第一画像を利用してもよい。例えば、各第一画像間における動きベクトルから平均的な動きベクトル等を算出するようになっていてもよい。また、ユーザがシャッターを切って得ることを目的とする画像は第二画像が該当するが、ユーザがいつシャッターを切るかは分からないため、本実施形態に係る撮像装置の場合、第二画像の撮像前に撮像されるべき第一画像に関しては、常に最新の第一画像を撮像しておく必要がある。なお、セルフタイマー機能などにより一定時間後に第二画像が撮像されることが分かる場合には、第二画像の撮像タイミング直前に第一画像を必要な数だけ撮像するようになっていると撮像における処理量も使用メモリ量も軽減され好適である。また、実際には利用される第一画像の数は予め決められており、常に一定数の最新の第一画像情報が一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納され、さらに第二画像が撮像された後に、必要な数の第一画像が撮像されてその第一画像情報が一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納されるようになっていることが想定される。
【００２７】
（実施形態３：処理の流れ）図１０は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、第一撮像条件にて第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ１００１）。次に、第二画像の撮像を実行するかの判断を行なう。第二画像の撮像を実行するとは、例えば、ユーザによりシャッターが切られた場合などが該当する。ここでの判断が、実行しないとの判断であった場合には、ステップＳ１００１を繰り返す。ここでの判断が、実行するとの判断であった場合には、ステップＳ１００３に移行する（ステップＳ１００２）。次に、第二撮像条件にて一の第二画像を撮像する。この処理は、合間撮像手段によって実行される（ステップＳ１００３）。次に、再び、第一撮像条件にて第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ１００４）。次に、第一画像の撮像を終了するかの判断を行なう。第一画像の撮像が終了するとは、例えば、第二画像の後に撮像すべき数の第一画像が撮像された場合などが該当する。ここでの判断が、終了しないとの判断であった場合には、ステップＳ１００４を繰り返す。ここでの判断が、終了するとの判断であった場合には、ステップＳ１００６に移行する（ステップＳ１００５）。最後に、ステップＳ１００１とステップＳ１００４にて撮像された複数の第一画像の構成情報である第一画像情報を用いて第一画像と第二画像との撮像タイミングの差によって生じたであろう予測手振れ量を算出する。この処理は、予測手振れ量算出部によって実行される（ステップＳ１００６）。
【００２８】
（実施形態３：効果）本実施形態に係る撮像装置においては、複数の第一画像の撮像と撮像の合間に第二画像が撮像されるので、予測手振れ量の算出に利用される複数の第一画像のうち第二画像の後に撮像されるものに関しては、第二画像の撮像がなされた場合のみ撮像されるようになっていればよいので、第一画像を一時的に保持するためのメモリ消費量が少なくて済む。
（実施形態４）
【００２９】
（実施形態４：概要）本実施形態は、複数の第一画像が撮像される前に第二画像が撮像されることを特徴とする撮像装置に関する。予測手振れ量の算出に利用される複数の第一画像は、第二画像の撮像がなされた場合のみ撮像されるようになっていればよいので、メモリ消費量が少なくて済むという利点がある。
【００３０】
（実施形態４：構成）本実施形態に係る撮像装置の機能ブロックを図１１に例示する。撮像装置（１１００）は、「第一撮像部」（１１０１）と、「第二撮像部」（１１０２）と、「予測手振れ量算出部」（１１０３）と、を有する。また、前記第二撮像部（１１０２）は、「先発撮像手段」（１１０４）を有する。すなわち、実施形態１に係る撮像装置の構成に、「先発撮像手段」（１１０４）を加えた構成となっている。
【００３１】
「先発撮像手段」（１１０４）は、複数の第一画像が撮像される前のタイミングにて第二画像の撮像をする機能を有する。図１２に、先発撮像手段にて第二画像が撮像される場合を例示する。（ａ）に示すように、第二画像１２０２と第一画像１２０１ａの撮像間隔をｔ１、第一画像１２０１ａと第一画像１２０１ｂの撮像間隔をｔ２とする。また、（ｂ）に示すように第一画像１２０１ａと第一画像１２０１ｂとの単位時間当たりの動きベクトル（ｄｘ’，ｄｙ’）がブロックマッチング等により検出されたとする。第一画像どうしは撮像条件が同じなのでブロックマッチング等が利用できる。第一画像（１２０１ａ、１２０１ｂ）と第二画像（１２０２）は短時間内に連続して撮像されるので、この間に発生する手振れはその方向と量が一定であると仮定することができる。よって、図１２（ａ）のような撮像順番である場合、例えばｔ１＝ｔ２であれば、第二画像１２０２は第一画像１２０１ａから動きベクトル（ｄｘ’，ｄｙ’）と逆方向に同じ量だけ手振れした画像であると予測することができる。すなわち、予測手振れ量（ｄｘ，ｄｙ）＝−（ｄｘ’，ｄｙ’）である。また、ｔ２＝２・ｔ１であれば、第二画像１２０２は第一画像１２０１ａから動きベクトル（ｄｘ’，ｄｙ’）と逆方向に１／２の量だけ手振れした画像であると予測することができる。なお、動きベクトルを算出する第一画像は、図１２のように二つでなくともさらに多くの第一画像を利用してもよい。例えば、各第一画像間における動きベクトルから平均的な動きベクトル等を算出するようになっていてもよい。また、ユーザがシャッターを切って得ることを目的とする画像は第二画像が該当するが、第一画像は第二画像が撮像されたことをトリガーとして撮像されればよいため、本実施形態に係る撮像装置の場合、第二画像が撮像された場合のみ必要な数の第一画像が撮像されてそれらの第一画像情報が一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納されるようになっていればよい。
【００３２】
（実施形態４：処理の流れ）図１３は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、第二撮像条件にて一の第二画像を撮像する。この処理は、先発撮像手段によって実行される（ステップＳ１３０１）。次に、第一撮像条件にて第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ１３０２）。次に、第一画像の撮像を終了するかの判断を行なう。第一画像の撮像が終了するとは、例えば、撮像すべき数の第一画像が撮像された場合などが該当する。ここでの判断が、終了しないとの判断であった場合には、ステップＳ１３０２を繰り返す。ここでの判断が、終了するとの判断であった場合には、ステップＳ１３０４に移行する（ステップＳ１３０３）。最後に、ステップＳ１３０２にて撮像された複数の第一画像の構成情報である第一画像情報を用いて第一画像と第二画像との撮像タイミングの差によって生じたであろう予測手振れ量を算出する。この処理は、予測手振れ量算出部によって実行される（ステップＳ１３０４）。
【００３３】
（実施形態４：効果）本実施形態に係る撮像装置においては、複数の第一画像が撮像される前に第二画像が撮像されるので、予測手振れ量の算出に利用される複数の第一画像は第二画像が撮像された場合のみ撮像されるようになっていればよいので、メモリ消費量が少なくて済む。
（実施形態５）
【００３４】
（実施形態５：概要）本実施形態は、第一撮像条件として適正露出となるように制御する撮像条件を取得し、第二撮像条件として手振れを軽減するために比較的速いシャッタースピードにて撮像する撮像条件を取得することを特徴とする撮像装置に関する。これにより、第二画像情報を第一画像情報により予測手振れ量を考慮して画像情報を補正することのみによって手振れのない適正露出である画像を得ることができるような第一画像と第二画像を取得できる。
【００３５】
（実施形態５：構成）本実施形態に係る撮像装置の機能ブロックを図１４に例示する。本実施形態に係る撮像装置の構成は、実施形態１から４のいずれか一に係る撮像装置の構成に「第一撮像条件取得手段」（１４０５）と「第二撮像条件取得手段」（１４０６）を加えた構成となる。図１４においては、実施形態４に係る撮像装置の構成に前記第一撮像条件取得手段（１４０５）と前記第二撮像条件取得手段（１４０６）を加えた構成を例示している。撮像装置（１４００）は、「第一撮像部」（１４０１）と、「第二撮像部」（１４０２）と、「予測手振れ量算出部」（１４０３）と、を有する。また、前記第一撮像部（１４０１）は、「第一撮像条件取得手段」（１４０５）を有する。また、前記第二撮像部（１４０２）は、「先発撮像手段」（１４０４）と、「第二撮像条件取得手段」（１４０６）を有する。
【００３６】
「第一撮像条件取得手段」（１４０５）は、第一撮像条件として、適正露出となるように制御する撮像条件を取得する機能を有する。露出が適正露出となるように制御した場合には、撮影条件によっては手振れ等による画像のぶれが発生する可能性が高い。なぜならば、適正露出とするには所定分の光量を必要とするために、シャッタースピードを遅くした場合ほど手振れ等により画像のぶれが発生する可能性は高くなるためである。すなわち、第一撮像条件取得手段は、手振れが発生している可能性はあるが露出は適正であるような第一画像を撮像可能にする役目を果たす。
【００３７】
「第二撮像条件取得手段」（１４０６）は、第二撮像条件として、手振れによる画像のボケを低減させる為に、比較的速いシャッタースピードにて撮像する撮像条件を取得する機能を有する。「比較的速いシャッタースピード」とは、第一撮像条件取得手段（１４０５）で取得される第一撮像条件でのシャッタースピードと比較して速い、という意味であり、より具体的には、適正露出となるシャッタースピードよりも速いシャッタースピードである。シャッタースピードが速くなるにつれて、手振れ等によるぶれが発生する可能性はより低くなり手振れが軽減された画像を得ることができるようになるが、露出はより不足していくため、第二画像は適正露出にて撮像された第一画像よりも暗い画像となる。すなわち、第二撮像条件取得手段は、露出は不足しているが手振れが軽減された第二画像を撮像可能にする役目を果たす。
【００３８】
図１５は、第一撮像条件取得手段と第二撮像条件取得手段にて取得される撮像条件により制御される露光時間について示す図である。一番上のグラフが適正露出の場合の露光時間を示しているとすると、（ａ）は第一画像の露光時間、すなわち第一撮像条件により制御される露光時間を示す。適正露出の場合の露光時間と同様となるので第一画像は適正露出にて撮像される。（ｂ）は第二画像の露光時間、すなわち第二撮像条件により制御される露光時間を示す。適正露出の場合の露光時間よりも短くなるため第二画像は露出不足となる。
【００３９】
（実施形態５：処理の流れ）図１６は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、第二撮像条件として、手振れによる画像のボケを低減させる為に、比較的速いシャッタースピードにて撮像する撮像条件を取得する。この処理は、第二撮像条件取得手段によって実行される（ステップＳ１６０１）。次に、ステップＳ１６０１にて取得された第二撮像条件にて一の第二画像を撮像する。この処理は、先発撮像手段によって実行される（ステップＳ１６０２）。次に、第一撮像条件として、適正露出となるように制御する撮像条件を取得する。この処理は、第一撮像条件取得手段によって実行される（ステップＳ１６０３）。次に、ステップＳ１６０３にて取得された第一撮像条件にて第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ１６０４）。次に、第一画像の撮像を終了するかの判断を行なう。第一画像の撮像が終了するとは、例えば、撮像すべき数の第一画像が撮像された場合などが該当する。ここでの判断が、終了しないとの判断であった場合には、ステップＳ１６０４を繰り返す。ここでの判断が、終了するとの判断であった場合には、ステップＳ１６０６に移行する（ステップＳ１６０５）。最後に、ステップＳ１６０４にて撮像された複数の第一画像の構成情報である第一画像情報を用いて第一画像と第二画像との撮像タイミングの差によって生じたであろう予測手振れ量を算出する。この処理は、予測手振れ量算出部によって実行される（ステップＳ１６０６）。
【００４０】
（実施形態５：効果）本実施形態に係る撮像装置においては、第一撮像条件として適正露出となるように制御する撮像条件を取得し、第二撮像条件として手振れを軽減するために比較的速いシャッタースピードにて撮像する撮像条件を取得することができるので、第二画像情報を第一画像情報により予測手振れ量を考慮して画像情報を補正することのみによって手振れのない適正露出である画像を得ることができるような第一画像と第二画像を取得できる。
（実施形態６）
【００４１】
（実施形態６：概要）本実施形態は、データサイズの小さいプレビュー画像を第一画像として用いることにより、処理速度や記憶容量に制限のあるカメラ付携帯電話のカメラ等にも適用可能な撮像装置に関する。
【００４２】
（実施形態６：構成）本実施形態に係る撮像装置の機能ブロックを図１７に例示する。本実施形態に係る撮像装置の構成は、実施形態１から５のいずれか一に係る撮像装置の構成に「プレビュー表示部」（１７０７）と「プレビュー出力手段」（１７０８）を加えた構成となる。図１７においては、実施形態５にて説明の撮像装置の構成に前記プレビュー表示部（１７０７）と前記プレビュー出力手段（１７０８）を加えた構成を例示している。撮像装置（１７００）は、「第一撮像部」（１７０１）と、「第二撮像部」（１７０２）と、「予測手振れ量算出部」（１７０３）と、「プレビュー表示部」（１７０７）と、を有する。また、前記第一撮像部（１７０１）は、「第一撮像条件取得手段」（１７０５）と、「プレビュー出力手段」（１７０８）を有する。また、前記第二撮像部（１７０２）は、「先発撮像手段」（１７０４）と、「第二撮像条件取得手段」（１７０６）を有する。
【００４３】
「プレビュー表示部」（１７０７）は、ファインダーとしてプレビュー画像を表示するための機能を有する。「ファインダー」はデジタルカメラ等のファインダーのみならず、例えば、撮像装置がカメラ付携帯電話である場合、被写体を撮像する際にはカメラが捉えている被写体が携帯電話の液晶画面等に表示されるが、このような場合における液晶画面などをも指す。「プレビュー画像」とは、ユーザが撮像装置により被写体を撮像しようとする際に利用するための画像であり、例えば、カメラ付携帯電話の前記液晶画面等に表示される画像である。また、プレビュー画像はデータサイズの小さい画像である。なお、プレビュー表示部としては、図２２におけるモニタ（２２０８）が該当する。
【００４４】
「プレビュー出力手段」（１７０８）は、前記プレビュー表示部（１７０７）に対して前記第一画像をプレビュー画像として出力する機能を有する。すなわち、第一画像としてプレビュー画像を利用する。プレビュー画像はデータサイズの小さい画像であり、複数保持する必要のある第一画像として利用すると第一画像を保持するためのメモリ量が少なくて済むという効果がある。また、プレビュー出力手段の具体的な処理としては、レンズ（２２０１）を通して被写体からの光をＣＣＤ（２２０２）で受光し、電気信号に変換する。さらに、電気信号をＡ／Ｄ変換器（２２０３）によりデジタル信号に変換して、ＣＰＵ（２２０４）で画像情報とする。さらに、得られた画像情報を画像出力ユニット（２２０７）を介して前記プレビュー表示部（２２０７）に該当するモニタ（２２０８）に画像として出力する。また、プレビュー出力手段は、このような処理をＣＰＵ（２２０４）に実行させるためのプログラムを含んでいてもよい。
【００４５】
（実施形態６：処理の流れ）図１８は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、第二撮像条件として、手振れによる画像のボケを低減させる為に、比較的速いシャッタースピードにて撮像する撮像条件を取得する。この処理は、第二撮像条件取得手段によって実行される（ステップＳ１８０１）。次に、ステップＳ１８０１にて取得された第二撮像条件にて一の第二画像を撮像する。この処理は、先発撮像手段によって実行される（ステップＳ１８０２）。次に、第一撮像条件として、適正露出となるように制御する撮像条件を取得する。この処理は、第一撮像条件取得手段によって実行される（ステップＳ１８０３）。次に、ステップＳ１８０３にて取得された第一撮像条件にて第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ１８０４）。次に、ステップＳ１８０４にて撮像された第一画像をプレビュー画像として出力する。この処理は、プレビュー画像出力手段によって実行される（Ｓ１８０５）。次に、ステップＳ１８０５にて出力されたプレビュー画像を表示する。この処理は、プレビュー表示部によって実行される（Ｓ１８０６）。次に、第一画像の撮像を終了するかの判断を行なう。第一画像の撮像が終了するとは、例えば、撮像すべき数の第一画像が撮像された場合などが該当する。ここでの判断が、終了しないとの判断であった場合には、ステップＳ１８０４からステップＳ１８０６を繰り返す。ここでの判断が、終了するとの判断であった場合には、ステップＳ１８０８に移行する（ステップＳ１８０７）。最後に、ステップＳ１８０４にて撮像された複数の第一画像の構成情報である第一画像情報を用いて第一画像と第二画像との撮像タイミングの差によって生じたであろう予測手振れ量を算出する。この処理は、予測手振れ量算出部によって実行される（ステップＳ１８０８）。
【００４６】
（実施形態６：効果）本実施形態に係る撮像装置においては、第一画像としてデータサイズの小さいプレビュー画像を利用することができるので、例えば、カメラ付携帯電話等のように処理能力やメモリ容量に制限があるような撮像装置にも適用可能である。
（実施形態７）
【００４７】
（実施形態７：概要）本実施形態は、予測手振れ量に基づいて第一画像情報を利用して第二画像情報の画像情報を修正することにより、手振れが軽減され、かつ適正露出である画像を得ることができる撮像装置に関する。
【００４８】
（実施形態７：構成）本実施形態に係る撮像装置の機能ブロックを図１９に例示する。本実施形態に係る撮像装置の構成は、実施形態１から６のいずれか一に係る撮像装置の構成に「画像情報修正部」（１９０９）を加えた構成となる。図１９においては、実施形態６にて説明の撮像装置の構成に前記画像情報修正部（１９０９）を加えた構成を例示している。撮像装置（１９００）は、「第一撮像部」（１９０１）と、「第二撮像部」（１９０２）と、「予測手振れ量算出部」（１９０３）と、「プレビュー表示部」（１９０７）と、「画像情報修正部」（１９０９）と、を有する。また、前記第一撮像部（１９０１）は、「第一撮像条件取得手段」（１９０５）と、「プレビュー出力手段」（１９０８）を有する。また、前記第二撮像部（１９０２）は、「先発撮像手段」（１９０４）と、「第二撮像条件取得手段」（１９０６）を有する。
【００４９】
「画像情報修正部」（１９０９）は、前記予測手振れ量算出部（１９０３）にて算出された予測手振れ量に基づいて、第一画像情報から第一画像の所定の画素の画像情報を抽出し、抽出した所定の画素の画像情報に基づいて、所定の画素と対応する第二画像の所定の画素の画像情報を修正する機能を有する。画像情報の修正を行なうための第一画像は、予測手振れ量算出の基礎となる第一画像である。例えば、図３の場合であれば予測手振れ量を（ｄｘ，ｄｙ）＝（ｄｘ’，ｄｙ’）（ｔ１＝ｔ２の時）とすると第一画像０３０１ｂが該当する。図９の場合であれば予測手振れ量を（ｄｘ，ｄｙ）＝１／２（ｄｘ’，ｄｙ’）（ｔ１＝ｔ２の時）とすると第一画像０９０１ａが該当する。図１２の場合であれば予測手振れ量を（ｄｘ，ｄｙ）＝−（ｄｘ’，ｄｙ’）（ｔ１＝ｔ２の時）とすると第一画像１２０１ａが該当する。
【００５０】
図２０を用いて画像情報修正部における画像情報の修正方法に関して説明する。図２にて説明のように、第一画像と第二画像の予測手振れ量を（ｄｘ，ｄｙ）、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈとすると、第一画像の画素（ｘ’，ｙ’）と第二画像の画素（ｘ，ｙ）との関係は、ｘ’＝αｘ＋ｄｘ、ｙ’＝βｙ＋ｄｙと表すことができる。すなわち、画像情報修正部においては、この式が成立する関係にある第二画像の画素（ｘ，ｙ）の画像情報を第一画像の画素（ｘ’，ｙ’）の画像情報に基づいて修正する。また、通常、画素の明るさは露光時間の長さに比例して変化する（例えば、露光時間が２倍になれば、画素の明るさも２倍になる）ので、第一画像と第二画像の露光時間の比に応じて、第二画像の画像情報にて示される各画素における画素値（ＲＧＢ値など）を増加させれば、第二画像の明るさは第一画像と同じになる。しかしながら、ノイズも増幅されてしまうため、ここでは線形補間により第一画像の画素値との平均を取ってノイズ成分を減少させる方法にて画素値の補正を行なう場合を例示する。なお、輝度はＲＧＢの値で決定されるので、画素値の補正とは、輝度を補正することと同義である。また、線形補間に関しては一般的によく知られているのでここでは詳述しない。ｘ’＝αｘ＋ｄｘ、ｙ’＝βｙ＋ｄｙ、にて算出されるｘ’の整数部をｋ、小数部をｕ、ｙ’の整数部をｌ、小数部をｖとし、第一画像の画素（ｘ’，ｙ’）における画素値をＰｐ（ｘ’，ｙ’）とすると、Ｐｐ（ｘ’，ｙ’）＝Ｐｐ（ｋ＋ｕ，ｌ＋ｖ）＝Ｐｐ（ｋ，ｌ）（ｌ−ｕ）（ｌ−ｖ）＋Ｐｐ（ｋ＋１，ｌ）ｕ（ｌ−ｖ）＋Ｐｐ（ｋ，ｌ＋１）（ｌ−ｕ）ｌ＋Ｐｐ（ｋ＋１，ｌ＋１）ｋｌ、という式にて画素値Ｐｐ（ｘ’，ｙ’）が求められる。また、第二画像の画素値を修正する際の修正量は以下のように算出する。第一画像の露光時間をＴｏ、第二画像の露光時間をＴｘとし、Ｔｒ＝Ｔｘ／Ｔｏとする。第二画像の画素（ｘ，ｙ）における画素値をＰｓ（ｘ，ｙ）とすると、修正する画素値Ｐａ（ｘ，ｙ）は、Ｐａ（ｘ，ｙ）＝（Ｐｐ（ｘ’，ｙ’）＋Ｐｓ（ｘ，ｙ）・Ｔｒ）／２、という式で表される。これにより、第一画像の画素値Ｐｐ（ｘ’，ｙ’）と第二画像の画素値Ｐｓ（ｘ，ｙ）によって、第二画像の画素値をＰａ（ｘ，ｙ）で修正することができる。さらに、画像情報修正部の具体的な処理としては、例えば、前記予測手振れ量算出部（１９０３）によって一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納された予測手振れ量を読出し、前記第一撮像部（１９０１）によって一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納された第一画像情報のうち、所定の画素の画像情報を読出す。読出した予測手振れ量から前記第二撮像部（１９０２）によって一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納された第二画像情報のうち、対応する第二画像の所定の画素の画像情報を読出す。読出した第二画像の所定の画素の画像情報を上述のように算出される画素値によって修正する。修正した画像情報を一時記憶メモリ（２２０５）や記憶装置（２２０６）などの所定の記憶領域に格納する。第二画像の全画素について修正を行なう場合には、この処理を全画素ごとに行なう。また、画像情報修正部は、このような処理をＣＰＵ（２２０４）に実行させるためのプログラムを含んでいてもよい。
【００５１】
（実施形態７：処理の流れ）図２１は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、第二撮像条件として、手振れによる画像のボケを低減させる為に、比較的速いシャッタースピードにて撮像する撮像条件を取得する。この処理は、第二撮像条件取得手段によって実行される（ステップＳ２１０１）。次に、ステップＳ２１０１にて取得された第二撮像条件にて一の第二画像を撮像する。この処理は、先発撮像手段によって実行される（ステップＳ２１０２）。次に、第一撮像条件として、適正露出となるように制御する撮像条件を取得する。この処理は、第一撮像条件取得手段によって実行される（ステップＳ２１０３）。次に、ステップＳ２１０３にて取得された第一撮像条件にて第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ２１０４）。次に、ステップＳ２１０４にて撮像された第一画像をプレビュー画像として出力する。この処理は、プレビュー画像出力手段によって実行される（Ｓ２１０５）。次に、ステップＳ２１０５にて出力されたプレビュー画像を表示する。この処理は、プレビュー表示部によって実行される（Ｓ２１０６）。次に、第一画像の撮像を終了するかの判断を行なう。第一画像の撮像が終了するとは、例えば、撮像すべき数の第一画像が撮像された場合などが該当する。ここでの判断が、終了しないとの判断であった場合には、ステップＳ２１０４からステップＳ２１０６を繰り返す。ここでの判断が、終了するとの判断であった場合には、ステップＳ２１０８に移行する（ステップＳ２１０７）。次に、ステップＳ２１０４にて撮像された複数の第一画像の構成情報である第一画像情報を用いて第一画像と第二画像との撮像タイミングの差によって生じたであろう予測手振れ量を算出する。この処理は、予測手振れ量算出部によって実行される（ステップＳ２１０８）。最後に、ステップＳ２１０８にて算出された予測手振れ量に基づいて、第一画像情報から第一画像の所定の画素の画像情報を抽出し、抽出した所定の画素の画像情報に基づいて、所定の画素と対応する第二画像の所定の画素の画像情報を修正する。この処理は、画像情報修正部によって実行される（ステップＳ２１０９）。
【００５２】
（実施形態７：効果）本実施形態に係る撮像装置においては、予測手振れ量に基づいて第一画像情報を利用して第二画像情報の画像情報を修正することにより、手振れが軽減され、かつ適正露出である画像を得ることができる。
【図面の簡単な説明】
【００５３】
【図１】実施形態１に係る撮像装置の機能ブロック図
【図２】第一画像と第二画像間の手振れについて説明する図
【図３】予測手振れ量の算出方法の概略を説明する図
【図４】複数の第一画像と第二画像の撮像順番のパターンを例示する図
【図５】実施形態１に係る撮像装置の処理の流れを示すフロー図
【図６】実施形態２に係る撮像装置の機能ブロック図
【図７】実施形態２に係る撮像装置の処理の流れを示すフロー図
【図８】実施形態３に係る撮像装置の機能ブロック図
【図９】合間撮像手段にて第二画像が撮像される場合を例示する図
【図１０】実施形態３に係る撮像装置の処理の流れを示すフロー図
【図１１】実施形態４に係る撮像装置の機能ブロック図
【図１２】先発撮像手段にて第二画像が撮像される場合を例示する図
【図１３】実施形態４に係る撮像装置の処理の流れを示すフロー図
【図１４】実施形態５に係る撮像装置の機能ブロック図
【図１５】第一撮像条件と第二撮像条件により制御される露光時間について示す図
【図１６】実施形態５に係る撮像装置の処理の流れを示すフロー図
【図１７】実施形態６に係る撮像装置の機能ブロック図
【図１８】実施形態６に係る撮像装置の処理の流れを示すフロー図
【図１９】実施形態７に係る撮像装置の機能ブロック図
【図２０】画像情報修正部における画像情報の修正方法に関して説明する図
【図２１】実施形態７に係る撮像装置の処理の流れを示すフロー図
【図２２】撮像装置の具体的な構成を例示する図
【符号の説明】
【００５４】
０１００    撮像装置
０１０１    第一撮像部
０１０２    第二撮像部
０１０３    予測手振れ量算出部
１９０９    画像情報修正部
【図１】
2007036363.tif 000003
【図２】
2007036363.tif 000004
【図３】
2007036363.tif 000005
【図４】
2007036363.tif 000006
【図５】
2007036363.tif 000007
【図６】
2007036363.tif 000008
【図７】
2007036363.tif 000009
【図８】
2007036363.tif 000010
【図９】
2007036363.tif 000011
【図１０】
2007036363.tif 000012
【図１１】
2007036363.tif 000013
【図１２】
2007036363.tif 000014
【図１３】
2007036363.tif 000015
【図１４】
2007036363.tif 000016
【図１５】
2007036363.tif 000017
【図１６】
2007036363.tif 000018
【図１７】
2007036363.tif 000019
【図１８】
2007036363.tif 000020
【図１９】
2007036363.tif 000021
【図２０】
2007036363.tif 000022
【図２１】
2007036363.tif 000023
【図２２】
2007036363.tif 000024