(57)【要約】【課題】画像復元式手ぶれ補正を採用した撮像装置において、補正指示を与えてから補正画像が得られるまでの時間を短縮する。【解決手段】対象画像（原画像）を表示部に表示している時にユーザから補正指示が与えられた際、対象画像（原画像）についてのぶれ情報に基づき前記対象画像にぶれ補正処理を施して補正画像を生成し、該補正画像を表示部に表示する撮像装置において、補正指示に先立って前記ぶれ補正処理を行う事前補正を実行する。但し、事前補正に由来する消費電力増大を抑制するべく、対象画像の手ぶれ量を参照し、手ぶれ量が小さすぎる場合などには事前補正を行わないようにする。また、過去の対象画像に対する補正指示の頻度を参照し、頻度が小さい場合には事前補正を行わないようにする。【選択図】図６
2008147767.tif 000002
【特許請求の範囲】
【請求項１】
外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、
前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせる事前補正制御を実行可能な補正制御手段と、を備え、
前記補正制御手段は、前記ぶれ情報に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定する
ことを特徴とする画像補正装置。
【請求項２】
前記ぶれ情報は、前記対象画像に含まれる画像のぶれの量を特定するぶれ量情報を含み、
前記補正制御手段は、前記ぶれ量情報に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定する
ことを特徴とする請求項１に記載の画像補正装置。
【請求項３】
当該画像補正装置は、複数の入力画像の夫々を、順次、対象画像として取り扱い、
前記補正制御手段は、前記ぶれ量情報にて特定される前記ぶれの量と所定の基準ぶれ量との比較に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定し、
補正指示がなされた過去の対象画像についての前記ぶれの量に応じて、現在の対象画像に対する前記基準ぶれ量が設定される
ことを特徴とする請求項２に記載の画像補正装置。
【請求項４】
外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、
前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせる事前補正制御を実行可能な補正制御手段と、を備え、
当該画像補正装置は、複数の入力画像の夫々を、順次、対象画像として取り扱い、
前記補正制御手段は、過去の対象画像に対する補正指示の有無の履歴に基づいて、現在の対象画像に対して前記事前補正制御を行うか否かを決定する
ことを特徴とする画像補正装置。
【請求項５】
外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、
前記対象画像の表示手段への表示を制御するとともに、前記対象画像の表示時に前記補正指示が付与された際には生成された前記補正画像を前記表示手段に表示させる表示制御手段と、を備えた画像補正装置において、
前記対象画像の表示時に、前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせるための補正制御手段と、を備えた
ことを特徴とする画像補正装置。
【請求項６】
外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、
夫々が前記対象画像の候補となる複数の対象候補画像を記憶する第１記憶手段と、
第２記憶手段と、
前記複数の対象候補画像を順位付けして、前記補正指示の有無に関わらず、順位付けの順番で各対象候補画像を前記対象画像と取り扱って前記補正画像生成手段に前記ぶれ補正処理を実行させ、これによって得られた補正画像を前記第２記憶手段に記憶させる補正制御手段と、を備え、
前記補正制御手段は、各対象候補画像についてのぶれ情報に基づいて、前記順位付けを行う
ことを特徴とする画像補正装置。
【請求項７】
請求項１〜請求項６の何れかに記載の画像補正装置と、
撮影によって前記対象画像を生成する撮像手段および前記補正画像を表示可能な表示手段の少なくとも一方と、を備えた
ことを特徴とする電子機器。
【請求項８】
外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、
前記補正指示の付与に先立って前記ぶれ補正処理を行う事前補正を実行可能とし、
前記ぶれ情報に基づいて、前記対象画像に対して前記事前補正を行うか否かを決定する
ことを特徴とする画像補正方法。
【請求項９】
外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、
前記補正指示の付与に先立って前記ぶれ補正処理を行う事前補正を実行可能とし、
複数の入力画像の夫々を、順次、対象画像として取り扱い、
過去の対象画像に対する補正指示の有無の履歴に基づいて、現在の対象画像に対して前記事前補正を行うか否かを決定する
ことを特徴とする画像補正方法。
【請求項１０】
外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成し、
前記対象画像の表示手段への表示を制御するとともに、前記対象画像の表示時に前記補正指示が付与された際には生成された前記補正画像を前記表示手段に表示させる画像補正方法において、
前記対象画像の表示時に、前記補正指示の付与に先立って前記ぶれ補正処理を実効可能とする
ことを特徴とする画像補正方法。
【請求項１１】
外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、
夫々が前記対象画像の候補となる複数の対象候補画像を受け、
前記複数の対象候補画像を順位付けして、前記補正指示の有無に関わらず、順位付けの順番で各対象候補画像を前記対象画像と取り扱って前記ぶれ補正処理を実行し、
各対象候補画像についてのぶれ情報に基づいて、前記順位付けを行う
ことを特徴とする画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象画像に補正処理を施して補正画像を生成する画像補正装置及び画像補正方法に関する。また、本発明は、そのような画像補正装置を備えた、撮像装置等の電子機器に関する。
【背景技術】
【０００２】
手ぶれ補正技術は、撮影時における手ぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正技術は、補正対象が静止画像であるか動画像であるかに関わらず、手ぶれを検出する要素技術と、その検出結果に基づいて画像を補正する要素技術と、に分けて考えることができる。
【０００３】
手ぶれを検出する方法には、角速度センサや加速度センサ等のセンサを用いる方法と、画像を解析して手ぶれを検出する電子式の方法とがある。画像の補正には、光学系の駆動により補正を行う光学式手ぶれ補正と、画像処理により補正を行う電子式手ぶれ補正とがある。
【０００４】
静止画像に対する手ぶれ補正方法としては、センサで手ぶれを検出しその検出結果に基づいて光学式手ぶれ補正を行う方法と、センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、がある。
【０００５】
これらの内、センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法について説明する。この方法では、撮影中の手ぶれをセンサで検出して手ぶれ情報を作成しておき、撮影後にその手ぶれ情報に基づいて撮影画像に含まれる画像のぶれを低減して補正画像を生成する。この方法に基づく手ぶれ補正は、画像復元式手ぶれ補正とも呼ばれる。画像復元式手ぶれ補正に関する技術として、既に様々な技術が提案されている（例えば、下記特許文献１〜３参照）。
【０００６】
画像復元式手ぶれ補正は、光学系に対する駆動機構が必要とならないため、光学式補正方法と比べて、コスト、サイズ及び消費電力の面でメリットがある一方、補正時間が多くかかるというデメリットがある。補正対象画像の画像サイズにもよるが、１枚の補正対象画像からぶれを低減した１枚の補正画像を得るために、例えば、数秒かかる。
【０００７】
図１０を参照して、この種の画像復元式手ぶれ補正を採用した撮像装置における、補正画像の生成の流れを説明する。この撮像装置には、表示部と補正ボタンが備えられる。再生モードにおいて、ユーザは補正前の撮影画像（原画像）を表示画面で確認した後、必要であれば補正ボタンを押下する。この押下後、撮像装置は手ぶれ補正処理（画像復元処理）を実行開始し、手ぶれ補正処理が完了したら補正画像を表示画面に表示する。
【０００８】
上述したように補正画像を得るための補正時間はかなり長いのであるが、ユーザは、補正画像が表示されるまで待たなければならない。この問題は、ユーザに時間的負担を与え、撮像装置の操作性を悪くするものであるため、改善するための技術開発が急務である。
【０００９】
また、下記特許文献４には、撮影画像の縮小画像を手ぶれ補正して得られる画像を仮表示しておき、その仮表示中に実際の撮影画像に対して手ぶれ補正を行う技術が開示されている。この技術は、ユーザに補正処理時間を意識させないようにすることを目的としている。但し、この技術は、画像復元式手ぶれ補正とは全く異なる、いわゆる加算式手ぶれ補正技術に関するものであるゆえ、撮影直後に補正を行うことしか想定されていない。加算式手ぶれ補正では、シャッタ速度を早くして複数の分割露光画像を連続撮影し、この複数の分割露光画像を加算合成することにより１枚の静止画像を得る。
【００１０】
【特許文献１】特開昭６２−１２７９７６号公報
【特許文献２】特開２００４−８８５６７号公報
【特許文献３】特開２００６−１２９２３６号公報
【特許文献４】特開２００６−１８６７６４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述の如く、画像復元式手ぶれ補正において、ユーザからの補正指示（補正ボタンの押下等）があってから補正画像を得るまでの時間を短縮することは重要である。また、手ぶれ補正処理の実行は電力の消費を伴うが、補正画像を得るまでの時間を短縮するために消費電力の増大を招きうる場合には、その抑制をも留意する必要がある。
【００１２】
そこで本発明は、補正指示を与えてから補正画像が得られるまでの時間の短縮に寄与する画像補正装置及び画像補正方法を提供することを目的とする。また本発明は、その時間を短縮するために必要となる消費電力増大の抑制に寄与することも目的とする。また本発明は、そのような画像補正装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために本発明に係る第１の画像補正装置は、外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせる事前補正制御を実行可能な補正制御手段と、を備え、前記補正制御手段は、前記ぶれ情報に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定することを特徴とする。
【００１４】
事前補正制御を実行可能とすることにより、補正指示を与えてから補正画像が得られるまでの時間が短縮される。また、ぶれ情報に基づいて、事前補正制御を行うか否かを決定するようにすることにより、事前補正の実行／不実行が適切に判断され、事前補正に由来する消費電力増大の抑制効果が得られる。
【００１５】
具体的には例えば、第１の画像補正装置において、前記ぶれ情報は、前記対象画像に含まれる画像のぶれの量を特定するぶれ量情報を含み、前記補正制御手段は、前記ぶれ量情報に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定する。
【００１６】
また例えば、第１の画像補正装置は、複数の入力画像の夫々を、順次、対象画像として取り扱い、前記補正制御手段は、前記ぶれ量情報にて特定される前記ぶれの量と所定の基準ぶれ量との比較に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定し、補正指示がなされた過去の対象画像についての前記ぶれの量に応じて、現在の対象画像に対する前記基準ぶれ量が設定される。
【００１７】
これにより、事前補正に由来する消費電力増大を更に抑制することが可能となる。
【００１８】
また、上記目的を達成するために本発明に係る第２の画像補正装置は、外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせる事前補正制御を実行可能な補正制御手段と、を備え、当該画像補正装置は、複数の入力画像の夫々を、順次、対象画像として取り扱い、前記補正制御手段は、過去の対象画像に対する補正指示の有無の履歴に基づいて、現在の対象画像に対して前記事前補正制御を行うか否かを決定することを特徴とする。
【００１９】
事前補正制御を実行可能とすることにより、補正指示を与えてから補正画像が得られるまでの時間が短縮される。また、上記履歴に基づいて、事前補正制御を行うか否かを決定するようにすることにより、事前補正の実行／不実行が適切に判断され、事前補正に由来する消費電力増大の抑制効果が得られる。
【００２０】
具体的には例えば、第２の画像補正装置において、前記履歴によって、過去の対象画像に対する補正指示の頻度が表され、前記補正制御手段は、前記頻度に基づいて、現在の対象画像に対して前記事前補正制御を行うか否かを決定する。
【００２１】
また、上記目的を達成するために本発明に係る第３の画像補正装置は、外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、前記対象画像の表示手段への表示を制御するとともに、前記対象画像の表示時に前記補正指示が付与された際には生成された前記補正画像を前記表示手段に表示させる表示制御手段と、を備えた画像補正装置において、前記対象画像の表示時に、前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせるための補正制御手段と、を備えたことを特徴とする。
【００２２】
これによっても、補正指示を与えてから補正画像が得られるまでの時間が短縮される。
【００２３】
また、上記目的を達成するために本発明に係る第４の画像補正装置は、外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、夫々が前記対象画像の候補となる複数の対象候補画像を記憶する第１記憶手段と、第２記憶手段と、  前記複数の対象候補画像を順位付けして、前記補正指示の有無に関わらず、順位付けの順番で各対象候補画像を前記対象画像と取り扱って前記補正画像生成手段に前記ぶれ補正処理を実行させ、これによって得られた補正画像を前記第２記憶手段に記憶させる補正制御手段と、を備え、前記補正制御手段は、各対象候補画像についてのぶれ情報に基づいて、前記順位付けを行うことを特徴とする。
【００２４】
これにより、ぶれ情報に基づいて、補正指示が与えられそうな画像から優先的に補正することが可能となる。このため、補正指示を与えてから補正画像が得られるまでの時間の実質的な短縮が見込める。
【００２５】
そして具体的には例えば、第４の画像補正装置は、前記補正指示が与えられた際、その補正指示に従って生成されるべき補正画像が前記第２記憶手段に記憶されているかを検索し、記憶されている場合は、前記第２記憶手段に記憶されている前記補正画像を表示手段に表示させる一方、記憶されていない場合は、前記補正指示後に得られる前記補正画像を前記表示手段に表示させる表示制御手段を、更に備えている。
【００２６】
そして、上記目的を達成するために本発明に係る電子機器は、上記の何れかに記載の画像補正装置と、撮影によって前記対象画像を生成する撮像手段および前記補正画像を表示可能な表示手段の少なくとも一方と、を備えたことを特徴とする。
【００２７】
また、上記目的を達成するために本発明に係る第１の画像補正方法は、外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、前記補正指示の付与に先立って前記ぶれ補正処理を行う事前補正を実行可能とし、前記ぶれ情報に基づいて、前記対象画像に対して前記事前補正を行うか否かを決定することを特徴とする。
【００２８】
また、上記目的を達成するために本発明に係る第２の画像補正方法は、外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、前記補正指示の付与に先立って前記ぶれ補正処理を行う事前補正を実行可能とし、複数の入力画像の夫々を、順次、対象画像として取り扱い、過去の対象画像に対する補正指示の有無の履歴に基づいて、現在の対象画像に対して前記事前補正を行うか否かを決定することを特徴とする。
【００２９】
また、上記目的を達成するために本発明に係る第３の画像補正方法は、外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成し、前記対象画像の表示手段への表示を制御するとともに、前記対象画像の表示時に前記補正指示が付与された際には生成された前記補正画像を前記表示手段に表示させる画像補正方法において、前記対象画像の表示時に、前記補正指示の付与に先立って前記ぶれ補正処理を実効可能とすることを特徴とする。
【００３０】
また、上記目的を達成するために本発明に係る第４の画像補正方法は、外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、夫々が前記対象画像の候補となる複数の対象候補画像を受け、前記複数の対象候補画像を順位付けして、前記補正指示の有無に関わらず、順位付けの順番で各対象候補画像を前記対象画像と取り扱って前記ぶれ補正処理を実行し、各対象候補画像についてのぶれ情報に基づいて、前記順位付けを行うことを特徴とする。
【発明の効果】
【００３１】
本発明によれば、補正指示を与えてから補正画像が得られるまでの時間の短縮に寄与する画像補正装置及び画像補正方法を提供することができる。
【００３２】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００３４】
後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００３５】
図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像を撮影可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像に対する手ぶれ補正処理に関して特徴的な機能を有しているため、以下、本明細書において特に記述しない限り、静止画像に関する説明を行うものとする。
【００３６】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、手ぶれ検出部１８と、手ぶれ補正処理部２３と、を備えている。主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を行う。
【００３７】
図２に撮像部１１の内部構成図を示す。撮像部１１は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。
【００３８】
モータ等から成るドライバ３４は、主制御部１３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点距離を制御する。また、ドライバ３４は、主制御部１３からの制御信号に基づいて絞り３２の開度（開口部の大きさ）を制御する。
【００３９】
被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。
【００４０】
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサからなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、タイミングジェネレータ（不図示）からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
【００４１】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
【００４２】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。
【００４３】
主制御部１３は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたＡＦ評価値を検出するＡＦ評価値検出部２１、及び、撮影画像の明るさに応じたＡＥ評価値を検出するＡＥ評価値検出部２２を含む。主制御部１３は、ＡＦ評価値に応じて図２のドライバ３４を介してフォーカスレンズ３１の位置を調節することにより、被写体の光学像を撮像素子３３の撮像面に結像させる。また、主制御部１３は、ＡＥ評価値に応じて図２のドライバ３４を介して絞り３２の開度を調節することにより、撮影画像の明るさを制御する。
【００４４】
図１の内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、直前のフレームにて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。
【００４５】
操作部１７は、シャッタボタン１７ａ、補正ボタン１７ｂ及び表示画像送りボタン１７ｃ等から成り、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画像の撮影を指示するためのボタンである。補正ボタン１７ｂは、手ぶれ補正処理（詳細は後述）の実行を指示するためのボタンである。表示画像送りボタン１７ｃは、表示部１５に表示される画像を変更するためのボタンである。
【００４６】
撮像装置１の動作モードには、静止画像（及び動画像）の撮影が可能な撮影モードと、記録媒体１６に記録された静止画像（及び動画像）を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００４７】
撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行うが、シャッタボタン１７ａが押下された際、合焦処理を経た後の１枚の撮影画像を表す画像データを、記録媒体１６に格納する（即ち、記憶させる）。
【００４８】
この撮影画像は、手ぶれに起因するぶれを含みうる画像であり、後に補正されうる。このため、以下、撮影時に記録媒体１６に格納される画像データを原画像データと呼び、原画像データにて表される撮影画像を原画像とよぶ。
【００４９】
図３は、記録媒体１６の記憶内容を示す概念図である。記録媒体１６には、シャッタボタン１７ａの押下による撮影回数に応じた個数の画像ファイル２５が格納されている。１つの画像ファイル２５には、１つの原画像データが格納されていると共に該原画像データに関連付けられた付加情報が格納されている。付加情報には、原画像の撮影時における動きベクトルを表す情報、原画像についての手ぶれ量（詳細は後述）を表す情報、原画像の撮影時における光学系３５の焦点距離を表す情報などが含まれる。
【００５０】
各画像ファイル２５には、ファイル名が付されており、異なる画像ファイル２５間でファイル名は異なる。今、第１、第２、第３、・・・、第ｍの原画像がこの順番で撮影され、第１、第２、第３、・・・、第ｍの原画像についての画像ファイル２５に対して、夫々、ファイル名ＦＩＬＥ1、ＦＩＬＥ2、ＦＩＬＥ3、・・・、ＦＩＬＥmが付されているものとする（ｍは、２以上の整数）。ファイル名ＦＩＬＥmに対応する第ｍの原画像は、最新の撮影によって得られた原画像である。
【００５１】
原画像の撮影時における動きベクトルは、図１の手ぶれ検出部１８にて生成される手ぶれ信号に基づいて生成され、それは、原画像に含まれる画像のぶれの量及びぶれの方向を特定する。
【００５２】
［動きベクトルの生成］
１枚の原画像に対応する動きベクトルの生成手法について説明する。手ぶれ検出部１８は、図４に示す如く、角速度センサ１８ａ及び１８ｂから成る。角速度センサ１８ａは、撮像装置１のパン方向（水平方向）の角速度を検出し、角速度センサ１８ｂは、撮像装置１のチルト方向（垂直方向）の角速度を検出する。パン方向とチルト方向は、互いに直交し、且つ、光軸にも直交する。パン方向は画像の水平方向に対応し、チルト方向は画像の垂直方向に対応する。
【００５３】
角速度センサ１８ａは、原画像の撮影開始から撮影終了時点まで、即ち、原画像を撮影するための露光期間中、所定のサンプリング周期（１周期の長さをｄｔで表す）にてパン方向の角速度を計測して、その計測した角速度を表す角速度データを出力する。角速度センサ１８ｂは、同じ露光期間中、所定のサンプリング間隔ｄｔにてチルト方向の角速度を計測し、その計測した角速度を表す角速度データを出力する。
【００５４】
角速度センサ１８ａが出力する角速度データによって表されるパン方向の角速度をθx’にて表し、１つのサンプリング周期ｄｔにおけるパン方向の回転角をθx（単位は［度］）にて表す。そして、このサンプリング周期ｄｔの間、角速度一定で撮像装置１が回転すると仮定すると、下記式（１ａ）が成立する。ここで、ｆは、サンプリング周波数であって、ｆ＝１／ｄｔ（単位は［Ｈｚ］）が成立する。また、角速度センサ１８ｂが出力する角速度データによって表されるチルト方向の角速度をθy’にて表すと共に、１つのサンプリング周期ｄｔにおけるチルト方向の回転角をθy（単位は［度］）にて表し、同様に考えると、下記式（１ｂ）が成立する。
θx＝θx’／ｆ                                ・・・（１ａ）
θy＝θy’／ｆ                                ・・・（１ｂ）
【００５５】
ｒ（単位は［ｍｍ］（ミリメートル））を３５ｍｍフィルム換算時における焦点距離とすると、下記式（２ａ）及び（２ｂ）に示す如く、回転角θxによる画像上の水平方向の移動量ｄx及び回転角θyによる画像上の垂直方向の移動量ｄyが求まる。
ｄx＝ｒ・ｔａｎθx                              ・・・（２ａ）
ｄy＝ｒ・ｔａｎθy                              ・・・（２ｂ）
【００５６】
ｄx及びｄyは、夫々、３５ｍｍフィルム換算時におけるパン方向（水平方向）及びチルト方向（垂直方向）の手ぶれの大きさを表し、それらの単位は［ｍｍ］である。３５ｍｍフィルム換算時では、画像の横及び縦は３６［ｍｍ］及び２４［ｍｍ］と定まっている。従って、原画像の横の画素数及び縦の画素数を、夫々Ｘ及びＹとし、回転角θxによる水平方向のぶれ量をｘ［画素］、回転角θyによる垂直方向のぶれ量をｙ［画素］にて表すと、下記式（３ａ）及び（３ｂ）が成立する。
ｘ＝ｄx・（Ｘ／３６）＝ｒ・ｔａｎθx・（Ｘ／３６）
＝ｒ・ｔａｎ（θx’／ｆ）・（Ｘ／３６）                  ・・・（３ａ）
ｙ＝ｄy・（Ｙ／２４）＝ｒ・ｔａｎθy・（Ｙ／２４）
＝ｒ・ｔａｎ（θy’／ｆ）・（Ｙ／２４）                  ・・・（３ｂ）
【００５７】
式（３ａ）及び（３ｂ）を用いることにより、角速度データを、画像のぶれを表す動きベクトルに変換することができる。動きベクトルは、画像の動きをベクトルとして表現した二次元量であり、１つの動きベクトルの水平成分及び垂直成分は夫々ｘ及びｙで表される。
【００５８】
原画像の露光期間中にサンプリングされる角速度データの数だけ、原画像についての動きベクトルが得られ、得られた動きベクトルの始点と終点を順番に結んでいくことで、画像上の手ぶれの軌跡が得られる。また、動きベクトルの大きさは、その動きベクトルに対応するサンプリング時点における手ぶれの速度を表す。
【００５９】
図５（ａ）に、得られた画像上の手ぶれの軌跡の例を示す。図５（ａ）において、符号ＭＶ1、ＭＶ2、・・・、ＭＶpは、夫々、原画像の露光期間中における１番目、２番目、・・・、ｐ番目の角速度データによって特定される動きベクトルを表す（ｐは２以上の整数）。符号１００は、画像上における動きベクトルＭＶ1の始点を表し、符号１０１は、画像上における動きベクトルＭＶpの終点を表す。画像上において、動きベクトルＭＶ1の終点を動きベクトルＭＶ2の始点に結び、動きベクトルＭＶ2の終点を動きベクトルＭＶ3の終点に結ぶ。同様に、他の動きベクトルも始点と終点を順番に結んでいくことで、始点１００から終点１０１を結ぶ手ぶれの軌跡が得られる。
【００６０】
画像上における始点１００から終点１０１までの距離は、原画像の撮影時に生じた手ぶれ量を表す。この手ぶれ量は、手ぶれに起因して原画像に含まれることになった画像のぶれの量を表す。上記の距離、手ぶれ量及び画像のぶれ量は、何れも、画素を単位として表現される。
【００６１】
他方、シャッタボタン１７ａが押下された際、主制御部１３は、合焦処理を行って合焦レンズ位置を求め、フォーカスレンズ３１の位置を該合焦レンズ位置に配置させてから原画像の撮影を行わせる。例えば、シャッタボタン１７ａが押下された際、フォーカスレンズ３１の位置を所定間隔で移動させながらＡＦ評価値算出部２１を用いて順次ＡＦ評価値を算出し、ＡＦ評価値が最大となるフォーカスレンズ３１の位置を合焦レンズ位置として特定する。合焦レンズ位置が定まれば、自動的に撮像部１１の光学系３５の焦点距離は定まる。この焦点距離は、原画像データと関連付けられつつ、その原画像データが格納された画像ファイル２５に格納される。
【００６２】
角速度センサ１８ａ及び１８ｂが出力する角速度データは、手ぶれ信号として、主制御部１３に送られる。主制御部１３は、この手ぶれ信号と、原画像の撮影時における光学系３５の焦点距離から、動きベクトルを生成する。この際、主制御部１３は、手ぶれ信号と焦点距離以外の、動きベクトルを生成するために必要な情報（Ｘなど）を、既知の情報として参照する。原画像の露光期間中における動きベクトル、即ち、原画像の撮影中における動きベクトルは、原画像データと関連付けられつつ、その原画像データが格納された画像ファイル２５に格納される。また、原画像の露光期間中における動きベクトルに基づいて算出された手ぶれ量も併せて画像ファイル２５に格納される。
【００６３】
尚、原画像について得られた動きベクトルを点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）に変換し、この点広がり関数から手ぶれ量を算出するようにしてもよい。理想的な点像が撮像装置１のぶれによって画像上で描く軌跡（手ぶれの軌跡に対応）にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。
【００６４】
動きベクトルをＰＳＦに変換する手法は公知であるため、詳細な説明を割愛する。例えば、上記特許文献３に記載の手法を用いて動きベクトルをＰＳＦに変換すればよい。即ち、動きベクトルに基づいて、ＰＳＦの重みをかける要素（即ち、０ではない有意な重みが付与される要素）を決定する共にそれらの要素にかける重みを決定し、これによってＰＳＦを得る。図５（ｂ）に、得られたＰＳＦを示す。手ぶれの軌跡１０２に沿った、実線四角枠で示される各要素に０ではない有意な重みが付与され、それ以外の要素に対する重みは０とされる。そして、ＰＳＦにおいて、重みがかけられた要素の全てを含む最小の長方形（図５（ｂ）における破線長方形１０３）を求め、その長方形の対角線の長さを手ぶれ量として算出すればよい。ＰＳＦから求められる手ぶれ量も、図５（ａ）の始点１００と終点１０１間の距離に相当する手ぶれ量も、等価である。
【００６５】
再生モードにおいて、本実施形態に係る撮像装置１は、原画像に対して手ぶれ補正処理を実行し、これによって得られた補正画像を表示部１５に表示する機能を備える。手ぶれ補正処理は、図１の手ぶれ補正処理部２３によって実行される。通常、この手ぶれ補正処理は、図１の補正ボタン１７ｂの押下に従って実施されるが、主制御部１３は、「補正ボタン１７ｂの押下に先立って手ぶれ補正処理部２３に手ぶれ補正処理を実行（実行開始）させる事前補正制御」を実行可能である。補正ボタン１７ｂの押下に先立って実行する手ぶれ補正処理を、以下「事前補正」と呼び、事前補正を行う機能を「事前補正機能」と呼ぶ。主制御部１３は、事前補正を含む、手ぶれ補正処理部２３による手ぶれ補正処理の実行を制御する補正制御手段としての機能を備える。
【００６６】
補正画像は、原画像に含まれる画像のぶれが除去或いは低減された画像である。原画像から手ぶれ補正処理によって補正画像を得る手法（画像復元式手ぶれ補正）は公知であるため、詳細な説明を割愛する。例えば、上記特許文献１〜３の何れかに記載の手法を用いればよい。本実施形態の例の場合、或る原画像に対する手ぶれ補正処理は、画像ファイル２５に格納された、その原画像についての動きベクトル（ぶれ情報）に基づいて実行される。この動きベクトルから、例えば特許文献３のように画像劣化関数としてのＰＳＦを生成し、このＰＳＦを用いて原画像をフィルタリングすることにより補正画像が得られる。
【００６７】
以下、この事前補正機能に着目した実施例として、第１〜第３実施例を説明する。或る実施例にて述べた事項は、矛盾なき限り、他の実施例にも適用可能である。尚、本実施形態の説明において、単に「表示」といった場合、それは、表示部１５における表示を指すものとする。
【００６８】
＜＜第１実施例＞＞
まず、第１実施例について説明する。記録媒体１６に格納された全ての原画像に対して事前補正を実施すると、撮像装置１の消費電力の増大を招く。また、事前補正によって得られた多くの補正画像を記憶しておこうとすると必要メモリ容量も増大する。そのため、第１実施例では、表示されている原画像に対して補正指示が与えられるか否かを予測し、補正指示が与えられる確率が高いと判断される場合にのみ事前補正を実施する。補正指示は、補正ボタン１７ｂの押下によって実現される。「補正指示」と「補正ボタン１７ｂの押下」は同意義である。
【００６９】
図６を参照して具体的に説明する。図６は、第１実施例に係る撮像装置１の、再生モードにおける動作のフローチャートである。
【００７０】
撮影モードにおいて、図３に示す如く複数の画像ファイル２５が記録媒体１６に格納された後、再生モードに移行すると（ステップＳ１）、ステップＳ２において、補正確率変数Ｐに０．５が代入される。
【００７１】
続くステップＳ３において、主制御部１３は、記録媒体１６から必要な原画像を読み出し、それを表示部１５に表示させる。再生モードに移行後、初めてステップＳ３に至った場合は、最新の撮影によって得られた原画像が読み出され、表示される。即ち、ファイル名ＦＩＬＥmが付された画像ファイル２５中の原画像データが読み出され、その原画像データによって表される原画像が表示部１５に表示される。
【００７２】
ステップＳ３に続くステップＳ４において、主制御部１３は、事前補正機能が有効となっているかを確認する。事前補正機能は、操作部１７に対する所定操作によって、有効にすることも無効にすることもできる。尚、この場合、操作部１７は、事前補正の実行を禁止又は許可するための指示を受け付ける指示受付手段として機能する。
【００７３】
事前補正機能が無効となっている場合はステップＳ１０に移行して、ユーザによる補正ボタン１７ｂの押下（即ち、補正指示）又は表示画像送り指示を待つことになる。事前補正機能が有効となっている場合はステップＳ５に移行して、主制御部１３は、現在表示している原画像についての手ぶれ量を画像ファイル２５から取得する。ここで取得された手ぶれ量をＬにて表す。手ぶれ量Ｌの単位は、「画素」である。
【００７４】
ステップＳ５に続くステップＳ６において、主制御部１３は、手ぶれ量Ｌと最小手ぶれ量についての閾値ＴＨ１とを比較する。閾値ＴＨ１には、当初、予め定められた初期値（例えば３画素）が設定されている。そして、不等式「Ｌ＞ＴＨ１」が成立する場合はステップＳ７に移行するが、成立しない場合は、事前補正を行うための各ステップをスキップしてステップＳ１０に移行する。手ぶれ量Ｌが閾値ＴＨ１以下の場合は、原画像に含まれる画像のぶれが小さいため、それに手ぶれ補正処理を行っても、視覚的に殆ど補正効果が得られないためである。
【００７５】
ステップＳ７において、主制御部１３は、手ぶれ量Ｌと最大手ぶれ量についての閾値ＴＨ２とを比較する。閾値ＴＨ２は、手ぶれ補正処理部２３による手ぶれ補正処理の能力に応じて予め定められる。但し、ＴＨ２＞ＴＨ１が成立し、例えば、閾値ＴＨ２は１００画素とされる。不等式「Ｌ＜ＴＨ２」が成立する場合はステップＳ８に移行するが、成立しない場合は、事前補正を行うための各ステップをスキップしてステップＳ１０に移行する。手ぶれ量Ｌが閾値ＴＨ２以上の場合は、原画像に含まれる画像のぶれが大きすぎるため、それに手ぶれ補正処理を行っても、有効な手ぶれ補正を実現できないからである。
【００７６】
ステップＳ８において、主制御部１３は、補正確率変数Ｐと閾値ＴＨ３とを比較する。閾値ＴＨ３には、当初、予め定められた初期値（例えば０．５）が設定されている。後述の説明からも明らかとなるが、補正確率変数Ｐは、ユーザが補正ボタン１７ｂを押下して補正画像を表示部１５に表示させる確率を表し、その確率は、過去の補正ボタン１７ｂの押下状況に応じて変化する。不等式「Ｐ≧ＴＨ３」が成立する場合はステップＳ９に移行するが、成立しない場合は、事前補正を行うためのステップＳ９をスキップしてステップＳ１０に移行する。補正確率変数Ｐが閾値ＴＨ３未満の場合は、ユーザが補正ボタン１７ｂを押下する確率が低いと推測されるからである。
【００７７】
尚、操作部１７に対する操作によって、閾値ＴＨ１及びＴＨ３の夫々を、個別に且つ任意に変更することが可能である。但し、閾値ＴＨ１を、閾値ＴＨ２以上の値に設定することはできない。
【００７８】
ステップＳ８からステップＳ９に移行すると、補正ボタン１７ｂが押下されたか否かに関わらず、現在、表示部１５に表示されている原画像に対して事前補正が開始される。つまり、主制御部１３の制御の下、手ぶれ補正処理部２３が、その原画像から補正画像を得るための手ぶれ補正処理の実行を開始する。事前補正の開始後、ステップＳ１０に移行する。
【００７９】
ステップＳ１０において、主制御部１３は、補正ボタン１７ｂが押下されているか否かを確認し、押下されている場合はステップＳ１２に移行して、現在、事前補正を実行中であるか或いは事前補正が終了したかを確認する。即ち、ステップＳ９にて事前補正が開始されており、且つ、その事前補正が行われている最中であるか或いはその事前補正が終了しているかを確認する。事前補正の実行中であるか或いは事前補正が終了している場合は、ステップＳ１２からステップＳ１４に直接移行し、そうでない場合は、ステップＳ１３に移行して、主制御部１３は、現在表示されている原画像に対する手ぶれ補正処理の実行を開始させ、その後、処理はステップＳ１４に移行する。
【００８０】
ステップＳ１４において、主制御部１３は、ステップＳ９又はＳ１３にて開始された手ぶれ補正処理が終了したか否かを確認し、終了していない場合はステップＳ１４の処理を繰り返す一方、終了している場合はステップＳ１５に移行する。手ぶれ補正処理の終了と同時に補正画像が生成され、この補正画像（補正画像を表す補正画像データ）は、一時的に内部メモリ１４に格納される。
【００８１】
内部メモリ１４には、補正画像格納用のメモリ領域が設けられ、本実施例において、そのメモリ領域は、例えば補正画像を１枚分だけ格納可能とされる。従って、新たに補正画像が生成された場合、それより前に生成された補正画像は内部メモリ１４から消去される。勿論、複数枚の補正画像を格納可能なように、補正画像格納用のメモリ領域を大きくしても良い。
【００８２】
ステップＳ１５において、主制御部１３は、内部メモリ１４に一時的に格納された補正画像を表示部１５に表示させる。この後、ステップＳ１６にて、今回表示した原画像に対して補正指示がなされたことを補正確率変数Ｐに反映してから（Ｐを増加させてから）、ステップＳ１７に移行し、ユーザからの指示を待つ。
【００８３】
また、ステップＳ１０において、補正ボタン１７ｂが押下されていないと判断された場合は、ステップＳ１１に移行して、主制御部１３は、表示画像送りボタン１７ｃが押下されているか否かを確認する。表示画像送りボタン１７ｃが押下されていない場合はステップＳ１０に戻るが、表示画像送りボタン１７ｃが押下されている場合は、ステップＳ１８に移行する。この際、事前補正が実行中である場合は、その事前補正は中断される。
【００８４】
ステップＳ１８では、今回表示した原画像に対して補正指示がなされなかった（即ち補正ボタン１７ｂが押下されなかった）ことを補正確率変数Ｐに反映してから（Ｐを減少させてから）ステップＳ３に戻り、現在表示されている原画像と異なる原画像を、新たに表示部１５に表示させる。例えば、ファイル名ＦＩＬＥmに対応する原画像が表示されていた場合は、ファイル名ＦＩＬＥm-1に対応する原画像が新たに表示されるようにする。
【００８５】
ステップＳ１７にて、表示画像送りボタン１７ｃが押下された場合も、ステップＳ３に戻り、現在表示されている補正画像の基となる原画像と異なる原画像（例えば、ファイル名ＦＩＬＥm-1に対応する原画像）を、新たに表示部１５に表示させる。この後、新たに表示された原画像に対して、上述の各ステップの処理が実行されることになる。ステップＳ１７において、再生モードの終了の指示がなされた場合は図６に示す処理を終了する。
【００８６】
このように、記録媒体１６に記憶された複数の原画像の夫々が、順次、手ぶれ補正処理の対象画像として取り扱われ、主制御部１３は、各対象画像に対して事前補正を行うか否かを判断する（ステップＳ６〜Ｓ８参照）。
【００８７】
補正確率変数Ｐについて説明を加える。例えば、確率評価用原画像１０枚中における、補正指示がなされた原画像の枚数をＰAとした場合、Ｐは、Ｐ＝ＰA／１０、にて表される。１０枚の確率評価用原画像は、直近に表示部１５に表示された１０枚の原画像に相当する。従って、補正画像は、確率評価用原画像に含まれない。また、或る１つの原画像が、他の原画像の表示を挟んで２度以上表示された場合、２度目以降に表示された該原画像は、確率評価用原画像に含めない。これは、表示画像送りボタン１７ｃの押下によって（例えば、左右キーの交互押下によって）同一の原画像が何度も表示されうることを考慮したものである。
【００８８】
例えば、「第１、第２、第３、第４、第５、第６の原画像、第６の原画像に対応する補正画像、第７、第８、第７、第８、第９、第１０、第１１の原画像」の順で表示がなされた際、第１１の原画像に対するステップＳ８の処理における確率補正変数Ｐは、第１〜第１０の原画像を１０枚の確率評価用原画像と取り扱って算出され、その値は１／１０となる。尚、確率評価用原画像の枚数を表す１０は、勿論、例示であって、それは１０以外であっても構わない。
【００８９】
上述したように、従来の撮像装置では、図１０に示す如く、補正ボタンが押下されてから手ぶれ補正処理が実行されるため、補正指示から補正画像の表示までの時間が長くかかっていた。一方、本実施例によれば、原画像が表示されると、補正指示がなされる前に、その原画像に対して事前補正が実行される（但し、手ぶれ量Ｌ及び補正確率変数Ｐによっては実行されない）。このため、図７に示す如く、補正画像を得るための待ち時間が大幅に短縮され、操作性が向上する。
【００９０】
また、事前補正によって消費電力の増大が懸念されるが、全ての原画像に対して無条件に事前補正を行うのではなく、補正指示がなされる確率を予想して補正指示が与えられる確率が高いと判断される場合にのみ事前補正を実施する。これにより、消費電力増大の抑制効果が得られる。上述の如く、この判断は、手ぶれ量Ｌと補正確率変数Ｐに基づいて行われる。
【００９１】
ユーザは、通常、原画像のぶれ状態を表示画面で確認した後に、その確認結果に応じて補正指示を出す。このため、ステップＳ６を設けて手ぶれ量Ｌに応じて補正指示がなされるか否かを予測し、事前補正を行うか否かを決定する。また、異常に大きい手ぶれ量に対して手ぶれ補正処理は有効に機能しないこともあるため、ステップＳ７も設ける。
【００９２】
また、直近に表示された原画像に対して頻繁に補正指示がなされていた際、現在表示している原画像に対しても補正指示がなされる可能性が高い。これを考慮し、補正確率変数Ｐを導入して、上述の如く事前補正を行うか否かを決定する。
【００９３】
尚、ステップＳ６、Ｓ７及びＳ８の何れか１つ又は２つのステップを省略することも可能である。例えば、ステップＳ６が省略された場合は、ステップＳ５から直接ステップＳ７に移行することになる。ステップＳ７又はＳ８が省略された場合も同様である。
【００９４】
また、手ぶれ補正処理を実行する際、表示部１５の表示画面上に、補正画像の生成が完了するまでの残り時間（或いは、残り時間の目安）を表す映像（例えば、バー表示）を表示するようにしてもよい。
【００９５】
また、図６のフローチャートでは、原画像が表示された（ステップＳ３）後に、ステップＳ４〜Ｓ８の処理を経て該原画像に対する事前補正が実施される例を示したが、原画像の表示を、ステップＳ４〜Ｓ８の処理の間又はステップＳ９の処理の直後に行うようにしてもよい。つまり、事前補正の対象画像である原画像が表示部１５に表示されるのと同時期に（換言すれば、その原画像の表示に同期して）、事前補正による手ぶれ補正処理が実行開始されればよい（但し、手ぶれ量Ｌ等によっては実行されない）。ここにおける「同時期」は、或る程度の時間的幅を有した概念である。
【００９６】
また、ステップＳ６にて用いる閾値ＴＨ１を、以下のように更新していくことも可能である。今、図６の各ステップの処理が繰り返し実行された後を想定する。この際、例えば、補正指示がなされた直前の原画像についての手ぶれ量Ｌに基づいて閾値ＴＨ１を更新設定する（例えば、閾値ＴＨ１を、その手ぶれ量Ｌから所定値を差し引いた値とする）。また例えば、補正指示がなされた直近の複数の原画像についての手ぶれ量Ｌの平均値に基づいて閾値ＴＨ１を更新設定する（例えば、閾値ＴＨ１を、その平均値から所定値を差し引いた値とする）。
【００９７】
補正指示を施そうと考え始める画像の最低ぶれ量には、個人差がある。例えば、手ぶれ量が２０画素であっても画像のぶれが気にならないユーザも存在する。このようなユーザに対して、閾値ＴＨ１を低く抑えておくと（例えば３画素）、事前補正が無駄に行われて消費電力が浪費される。そこで、上述の如く、過去に表示され且つ補正指示がなされた原画像の手ぶれ量に基づいて、閾値ＴＨ１を更新設定する。これにより、ユーザに合わせた、最適な事前補正の実行／不実行の決定が可能となり、消費電力増大の更なる抑制効果が見込める。
【００９８】
＜＜第２実施例＞＞
ところで、原画像の表示からユーザによる補正指示までの時間が短い場合、事前補正による手ぶれ補正処理が追いつかず、補正指示を与えてから補正画像が表示されるまでに比較的長い時間がかかってしまう。これを改善した実施例として、第２実施例を説明する。
【００９９】
第２実施例では、複数の原画像に対して事前補正を実施しておき、これによって得られた複数の補正画像を一時的に内部メモリ１４に記憶させる。そして、補正ボタン１７ｂの押下に応じて、所望の補正画像の表示を行う。但し、記録媒体１６に格納された全ての原画像に対して事前補正を実施すると、消費電力の増加及び補正画像を一時的に格納するための必要メモリ容量の増大を招くため、近い将来に補正指示がなされる確率が高いと予想される原画像に対して優先的に事前補正を行うようにする。
【０１００】
図８を参照して具体的に説明する。図８は、第２実施例に係る撮像装置１の、再生モードにおける動作のフローチャートである。
【０１０１】
撮影モードにおいて、図３に示す如く複数の画像ファイル２５が記録媒体１６に格納された後、再生モードに移行すると（ステップＳ２１）、ステップＳ２２において、主制御部１３は、事前補正機能が有効となっているかを確認する。
【０１０２】
事前補正機能が無効となっている場合はステップＳ２４に移行して、ユーザによる補正ボタン１７ｂの押下（即ち、補正指示）又は表示画像送り指示を待つことになる。事前補正機能が有効となっている場合はステップＳ２３に移行して、主制御部１３は、事前補正タスクを起動する。この事前補正タスクは、図８に示すステップＳ２１〜Ｓ３３から成るメインタスクと並行して実行される。
【０１０３】
図９に、事前補正タスクの処理のフローチャートを示す。上述したように、第１、第２、第３、・・・、第ｍの原画像がこの順番で撮影され、それらの原画像が記録媒体１６に記録されているものとする（ｍは２以上の整数）。主制御部１３は、ステップＳ４０において、変数Ｌ1〜Ｌmを定義し、第１〜第ｍの原画像についての手ぶれ量を記録媒体１６から取得して、第１〜第ｍの原画像についての手ぶれ量を、それぞれ変数Ｌ1〜Ｌmに代入する。但し、既に手ぶれ補正処理がなされた原画像は除外して考える。そして、各手ぶれ量を表す変数Ｌ1〜Ｌmを閾値ＴＨ１と比較して、閾値ＴＨ１以下の手ぶれ量に対応する変数Ｌiに０を代入する。例えば、第３の原画像についての手ぶれ量が閾値ＴＨ１以下の場合、補正不要と判断して、変数Ｌ3に０を代入する。
【０１０４】
第２実施例では、事前補正によって得られた複数の補正画像を一時的に格納するための事前補正画像リストが用意される。事前補正画像リストは、内部メモリ１４（又は記録媒体１６）内に確保された所定メモリサイズのメモリ領域から成り、事前補正によって得られた補正画像を最大格納枚数ＣMAXまで記憶することができる。
【０１０５】
主制御部１３は、ステップＳ４０の処理を経て移行するステップＳ５０において、変数Ｌ1〜Ｌmの大きい順に原画像をソートする。例えば、ｍ＝５とし、不等式「Ｌ2＞Ｌ4＞Ｌ1＞Ｌ5＞Ｌ3」が成立する場合、第１〜第５の原画像を、第２、第４、第１、第５及び第３の原画像の順にソートする。
【０１０６】
そして、主制御部１３は、事前補正画像リストに１枚以上の補正画像を格納するに足る空き（空きメモリ領域）があるかを確認し、空きがある場合は、ソートされた順番で原画像に対して事前補正を実施する。例えば、ｍ＝５とし、不等式「Ｌ2＞Ｌ4＞Ｌ1＞Ｌ5＞Ｌ3」が成立する場合、第２、第４、第１、第５及び第３の原画像の順番で事前補正を順次実施し、順次得られる補正画像を事前補正画像リストに格納していく。
【０１０７】
但し、１枚の補正画像が生成される度に事前補正画像リストに空きがあるかを確認し、空きがない場合、即ち、事前補正画像リストに最大格納枚数ＣMAXの補正画像が格納されている場合は、事前補正タスクを終了する。例えば、ｍ＝５且つＣMAX＝３とし、不等式「Ｌ2＞Ｌ4＞Ｌ1＞Ｌ5＞Ｌ3」が成立する場合、第２、第４及び第１の原画像の順番で事前補正を順次実施することにより順次得られる合計３枚の補正画像が事前補正画像リストに格納されると、第５及び第３の原画像に対する事前補正を行うことなく、事前補正タスクを終了する。
【０１０８】
図８に示すメインタスクの説明に戻る。ステップＳ２３にて事前補正タスクが起動された後、ステップＳ２４において、主制御部１３は、記録媒体１６から必要な原画像を読み出し、それを表示部１５に表示させる。再生モードに移行後、初めてステップＳ２４に至った場合は、最新の撮影によって得られた原画像が読み出され、表示される。
【０１０９】
ステップＳ２４に続くステップＳ２５において、主制御部１３は、補正ボタン１７ｂが押下されているか否かを確認し、押下されている場合はステップＳ２７に移行して、現在表示されている原画像についての補正画像が事前補正画像リストに登録（格納）されているかを検索する。そして、登録されている場合は（ステップＳ２８のＹ）、その補正画像を事前補正画像リストから読み込んで（ステップＳ３１）、表示部１５に表示させる（ステップＳ３２）。一方、登録されていない場合は（ステップＳ２８のＮ）、主制御部１３は、現在表示されている原画像に対する手ぶれ補正処理の実行を開始させ、それによって補正画像が生成された後に該補正画像を表示部１５に表示させる（ステップＳ２９、Ｓ３０及びＳ３２）。この後、ステップＳ３３にて、ユーザからの指示を待つ。
【０１１０】
また、補正画像を事前補正画像リストから読み込んだ場合（ステップＳ３１）、読み込んだ補正画像を事前補正画像リストから削除し、事前補正タスクを再度起動するようにする。
【０１１１】
また、ステップＳ２５において、補正ボタン１７ｂが押下されていないと判断された場合は、ステップＳ２６に移行して、主制御部１３は、表示画像送りボタン１７ｃが押下されているか否かを確認する。表示画像送りボタン１７ｃが押下されていない場合はステップＳ２５に戻るが、表示画像送りボタン１７ｃが押下されている場合は、ステップＳ２４に移行して、現在表示されている原画像と異なる原画像を、新たに表示部１５に表示させる。例えば、ファイル名ＦＩＬＥmに対応する原画像が表示されていた場合は、ファイル名ＦＩＬＥm-1に対応する原画像が新たに表示されるようにする。
【０１１２】
ステップＳ３３にて、表示画像送りボタン１７ｃが押下された場合も、ステップＳ２４に戻り、現在表示されている補正画像の基となる原画像と異なる原画像（例えば、ファイル名ＦＩＬＥm-1に対応する原画像）を、新たに表示部１５に表示させる。尚、ステップＳ３３において、再生モードの終了の指示がなされた場合は図８及び図９に示す処理を終了する。
【０１１３】
本実施例によれば、手ぶれ量が大きく、補正指示が与えられる確率が高いと推測される原画像から優先的に事前補正が実行される。事前補正によって得られた補正画像は事前補正画像リストに一時格納される。そして、補正ボタン１７ｂが押下された際、必要な補正画像が事前補正画像リストに格納されているならば、それを直ちに表示する。このため、補正画像を得るための待ち時間が大幅に短縮され、操作性が向上する。また、補正指示が与えられる確率が高いと推測される原画像から優先的に事前補正が実行されるため、待ち時間の実質的な短縮が見込める。
【０１１４】
また、全ての原画像に対して無条件に事前補正を行うのではなく、補正指示が与えられる確率が高いと判断される、所定数以下の原画像だけを事前補正するので、消費電力増大の抑制効果が得られると共に補正画像格納用の必要メモリ容量の増大が抑制される。
【０１１５】
＜＜第３実施例＞＞
上述の例では、手ぶれ量のみに基づいて各原画像の順位付け（ソート）を行っているが、この順位付けに原画像の表示順序を考慮するようにしてもよい。このような変形を施した実施例を第３実施例として説明する。第３実施例は、第２実施例の一部を変形した実施例に相当し、特に記述しない部分は、第２実施例と同様である。
【０１１６】
表示画像送りボタン１７ｃが、左ボタンと右ボタン（何れも不図示）から成るものとする。そして、現在表示されている原画像が第ｍの原画像である場合、図８のステップＳ２６（又はステップＳ３３）において、左ボタンの押下が確認される度に表示される原画像が、第（ｍ−１）、第（ｍ−２）、第（ｍ−３）・・・の原画像の順番で更新され、右ボタンの押下が確認される度に表示される原画像が、第１、第２、第３・・・の原画像の順番で更新されるものとする。つまり、表示画像送りボタン１７ｃの押下に伴って各原画像が更新表示されていく順番は、各原画像が格納された画像ファイル２５に付されたファイル名の連続番号数値（例えば、Ｆｉｌｅ1における「１」；図３参照）に依存する。
【０１１７】
表示画像送りボタン１７ｃの押下によって、より近い将来に表示される原画像に対しては、より早い時期に補正指示が与えられる可能性が高い。そこで、より近い将来に表示される原画像に対して、より大きな重み値を付与する。第ｉの原画像に付与する重み値をＷiで表す。現在表示されている原画像が第ｍの原画像である場合、各重み値は、不等式「Ｗm＞Ｗm-1＞Ｗm-2＞Ｗm-3・・・」及び「Ｗm＞Ｗ1＞Ｗ2＞Ｗ3・・・」を満たすように設定される。
【０１１８】
そして、図９のステップＳ５０において、変数Ｌ1〜Ｌmの大きい順に原画像をソートするのではなく、変数Ｗ1・Ｌ1〜Ｗm・Ｌmの大きい順に原画像をソートする。例えば、ｍ＝５とし、不等式「Ｗ2・Ｌ2＞Ｗ4・Ｌ4＞Ｗ1・Ｌ1＞Ｗ5・Ｌ5＞Ｗ3・Ｌ3」が成立する場合、第１〜第５の原画像を、第２、第４、第１、第５及び第３の原画像の順にソートする。
【０１１９】
このソート後の事前補正タスクの処理は、第２実施例のそれと同様である。即ち、主制御部１３は、事前補正画像リストに１枚以上の補正画像を格納するに足る空き（空きメモリ領域）があるかを確認し、空きがある場合は、ソートされた順番で原画像に対して事前補正を実施する。上述の例の場合、第２、第４、第１、第５及び第３の原画像の順番で事前補正を順次実施し、順次得られる補正画像を事前補正画像リストに格納していく。但し、事前補正画像リストに空きがない場合は、事前補正タスクを終了する。
【０１２０】
本実施例によれば、より近い将来に表示される原画像に対してより早く事前補正が実施されるようになるため、補正画像を得るための待ち時間が、より実質的に短縮される。
【０１２１】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１２２】
［注釈１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【０１２３】
［注釈２］
手ぶれ検出部１８を角速度センサにて構成する例を上述したが、撮像装置１の加速度を検出する加速度センサ又は撮像装置１の角加速度を検出する角加速度センサにて、手ぶれ検出部１８を形成するようにしてもよい。この場合、加速度センサ又は角加速度センサが検出した加速度又は角加速度によって手ぶれ信号が形成され、この手ぶれ信号と焦点距離に基づいて動きベクトルが算出される。また、撮像装置１の動きを表す別の物理量のデータに基づいて動きベクトルを算出するようにしてもよい。
【０１２４】
［注釈３］
撮影時に手ぶれ量そのものを表す情報を画像ファイル２５に格納しておく例を上述したが、本発明はこれに限定されない。つまり、手ぶれ量の算出の基となる情報（動きベクトルや手ぶれ信号）を画像ファイル２５に格納しておき、手ぶれ量を参照する必要がある時に、その情報から手ぶれ量を計算するようにしてもよい。
【０１２５】
［注釈４］
撮像装置１内にて手ぶれ補正処理（画像復元処理）を行う例を上述したが、この手ぶれ補正処理を、撮像装置１の外部機器（不図示）にて実施することも可能である。つまり、コンピュータ等の外部機器に、図１に示される、主制御部１３、内部メモリ１４、表示部１５及び手ぶれ補正処理部２３を設け、その外部機器に、記録媒体１６に格納された情報を読み込ませて上記と同様の手ぶれ補正処理を行わせ、これによって補正画像を生成するようにしてもよい。
【０１２６】
［注釈５］
また、撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１に示される、主制御部１３及び手ぶれ補正処理部２３の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
【０１２７】
ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、主制御部１３及び手ぶれ補正処理部２３にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１２８】
［注釈６］
本実施形態において、図１の手ぶれ補正処理部２３は、原画像に手ぶれ補正処理（ぶれ補正処理）を施して補正画像を生成する補正画像生成手段として機能する。主制御部１３は、この補正画像生成手段の動作を制御する補正制御手段としての機能と、表示部１５の表示内容を制御する表示制御手段としての機能を備える。本発明に係る画像補正装置は、例えば、補正画像生成手段と補正制御手段を含み、更に表示制御手段をも含みうる。
【０１２９】
記録媒体１６に格納された複数の原画像の夫々は、画像補正装置に対する入力画像として捉えることができると共に手ぶれ補正処理の対象画像又は対象候補画像として捉えることもできる。
【０１３０】
また本発明の適用範囲は撮像装置に限定されない。例えば、携帯電話機、パーソナルコンピュータ等の電子機器（該電子機器は、撮像装置を含む）に広く適用される。
【図面の簡単な説明】
【０１３１】
【図１】本発明の実施の形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】図１の記録媒体の記憶内容を示す概念図である。
【図４】図１の手ぶれ検出部の内部構成図である。
【図５】図１の撮像装置に関する、画像上の手ぶれの軌跡（ａ）及び該軌跡に対応する点広がり関数（ｂ）を表す図である。
【図６】本発明の第１実施例に係る撮像装置の、再生モードにおける動作を表すフローチャートである。
【図７】本発明の第１実施例に係る撮像装置における、補正画像の生成の流れを表す概念図である。
【図８】本発明の第２実施例に係る撮像装置の、再生モードにおける動作（メインタスク）を表すフローチャートである。
【図９】本発明の第２実施例に係る撮像装置の、再生モードにおける動作（事前補正タスク）を表すフローチャートである。
【図１０】従来の撮像装置における、補正画像の生成の流れを表す概念図である。
【符号の説明】
【０１３２】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３  主制御部
１４  内部メモリ
１５  表示部
１６  記録媒体
１７  操作部
１８  手ぶれ検出部
２３  手ぶれ補正処理部
【図１】
2008147767.tif 000003
【図２】
2008147767.tif 000004
【図３】
2008147767.tif 000005
【図４】
2008147767.tif 000006
【図５】
2008147767.tif 000007
【図６】
2008147767.tif 000008
【図７】
2008147767.tif 000009
【図８】
2008147767.tif 000010
【図９】
2008147767.tif 000011
【図１０】
2008147767.tif 000012