(57)【要約】  本発明は、従来のものよりも小型化および低コスト化を図ることができる撮像装置を提供することを課題とする。  撮像装置３は、レンズ１１を介して受光面に結像した画像を撮像する撮像素子１２と、撮像素子１２により異なる露光時間で撮像した少なくとも２枚の画像に基づいて画像の手ぶれを補正する手ぶれ補正部１３と、手ぶれ補正後の画像である手ぶれ補正画像を出力する出力部１４を含み、手ぶれ補正部１３は、撮像素子１２を適正露光時間だけ露光して適正露光画像ｉaを取得する適正露光画像取得部２１と、撮像素子１２を適正露光時間より短い時間露光して短時間露光画像ｉsを取得する短時間露光画像取得部２２と、適正露光画像ｉaに対する手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部２３と、適正露光画像ｉaと手ぶれ補正軌跡とに基づいて、手ぶれ補正画像ｉcを生成する手ぶれ補正画像生成部２４とを含む。
2007119680.tif 000002
【特許請求の範囲】
【請求項１】
受光面に結像した画像を撮像する撮像素子と、
前記撮像素子により異なる露光時間で撮像された少なくとも２枚の画像に基づいて画像の手ぶれを補正する手ぶれ補正部と、
手ぶれ補正後の画像である手ぶれ補正画像を出力する出力部とを備えた撮像装置。
【請求項２】
前記手ぶれ補正部は、
前記撮像素子を適正露光時間露光して適正露光画像を取得する適正露光画像取得部と、
前記撮像素子を前記適正露光時間より短い時間露光して短時間露光画像を取得する短時間露光画像取得部と、
前記適正露光画像および前記短時間露光画像に基づいて、前記適正露光画像に対する手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部と、
前記適正露光画像と前記手ぶれ補正軌跡とに基づいて、手ぶれ補正画像を生成する手ぶれ補正画像生成部とを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、複数の画素からなる画素領域を含み、
前記適正露光画像取得部および前記短時間露光画像取得部は、前記画素領域の一部をなす特定領域から前記適正露光画像および前記短時間露光画像をそれぞれ取得することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記適正露光画像取得部および前記短時間露光画像取得部は、前記特定領域のデータだけを前記撮像素子から読み出すことによって、前記適正露光画像および前記短時間露光画像をそれぞれ取得することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画素領域のうち所定の空間周波数以上の高周波領域を前記特定領域として検出する高周波領域検出部を備えたことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記短時間露光画像が取得されてから所定の短時間後に前記画素領域の全ての画素をリセットする画素リセット部を備えたことを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記手ぶれ補正軌跡算出部は、
前記適正露光画像および前記短時間露光画像をフーリエ変換し、前記フーリエ変換後の短時間露光画像を前記フーリエ変換後の適正露光画像で除することによって、周波数領域における前記手ぶれ補正軌跡を算出することを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記手ぶれ補正軌跡算出部は、
前記適正露光画像および前記短時間露光画像をフーリエ変換し、前記フーリエ変換後の適正露光画像を前記フーリエ変換後の短時間露光画像で除して手ぶれ軌跡を算出し、算出した手ぶれ軌跡を細線化し、細線化した手ぶれ軌跡に基づいて、周波数領域における前記手ぶれ補正軌跡を算出することを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記手ぶれ補正画像生成部は、前記周波数領域における手ぶれ補正軌跡を逆フーリエ変換して、前記逆フーリエ変換後の手ぶれ補正軌跡と前記適正露光画像取得部によって取得された適正露光画像とを畳み込み積分することによって、前記手ぶれ補正画像を生成することを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記手ぶれ補正画像生成部は、前記手ぶれ補正軌跡算出部によってフーリエ変換された適正露光画像と前記周波数領域における手ぶれ補正軌跡とを乗算し、乗算した結果を逆フーリエ変換することによって、前記手ぶれ補正画像を生成することを特徴とする請求項７に記載の撮像装置。
【請求項１１】
前記手ぶれ補正軌跡算出部は、
前記適正露光画像および前記短時間露光画像に空間解像度変換を施して縮小する画像縮小部と、
前記画像縮小部によってそれぞれ縮小された適正露光画像および短時間露光画像に基づいて、該適正露光画像を手ぶれ補正する縮小画像補正部と、
前記画像縮小部によって縮小された適正露光画像と前記縮小画像補正部によって補正された適正露光画像との差分から得られる差分画像を算出する差分画像算出部とを有し、
前記手ぶれ補正画像生成部は、
前記差分画像を拡大し、拡大した差分画像を前記適正露光画像取得部に取得された適正露光画像に加算する差分画像拡大加算部を有することを特徴とする請求項２に記載の撮像装置。
【請求項１２】
前記手ぶれ補正部は、前記適正露光画像および前記短時間露光画像に含まれる雑音を除去する雑音除去部を有し、
前記手ぶれ補正軌跡算出部は、雑音除去後の前記適正露光画像および前記短時間露光画像に基づいて前記手ぶれ補正軌跡を算出することを特徴とする請求項２に記載の撮像装置。
【請求項１３】
前記雑音除去部は、遮断周波数が５〜２０ヘルツである高域遮断フィルタによって構成されることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記手ぶれ補正部は、
前記撮像素子を所定の短い時間露光して複数の短時間露光画像を取得する短時間露光画像取得部と、
前記複数の短時間露光画像に基づいて、何れかの短時間露光画像を対象とした手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部と、
前記対象とした短時間露光画像と前記手ぶれ補正軌跡とに基づいて、手ぶれ補正画像を生成する手ぶれ補正画像生成部とを有することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば固体撮像素子を用いて被写体を撮像する際に手ぶれにより生じる被写体像のぼけを補正する撮像装置に関する。
【背景技術】
【０００２】
従来、この種の撮像装置としては、例えば特許文献１に示されたものが知られている。特許文献１に示されたものは、被写体を撮像する撮像素子と、撮像素子を搭載するステージと、ステージを駆動するボイスコイルモータと、被写体像に生じる手ぶれ量を検出する角速度センサとを備え、角速度センサが検出した手ぶれ量に応じて、撮像素子が搭載されたステージをボイスコイルモータにより駆動することによって、手ぶれにより生じる被写体像のぼけを抑えることができるようになっている。【０００３】
【特許文献１】特開２００５−１８４１２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示されたものは、手ぶれ量を検出するため、角速度センサ、ステージおよびボイスコイルモータ等を含む専用装置を本体に内蔵させる構成なので、小型化および低コスト化を図ることが困難であるという課題があった。したがって、特許文献１に示されたものは、より安価で小型軽量化が望まれるデジタルスチルカメラや携帯電話用カメラに搭載できるものではなかった。【０００５】
本発明は、従来の課題を解決するためになされたものであり、従来のものよりも小型化および低コスト化を図ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、受光面に結像した画像を撮像する撮像素子と、前記撮像素子により異なる露光時間で撮像された少なくとも２枚の画像に基づいて画像の手ぶれを補正する手ぶれ補正部と、手ぶれ補正後の画像である手ぶれ補正画像を出力する出力部とを備えている。
【発明の効果】
【０００７】
本発明は、従来のものよりも小型化および低コスト化を図ることができるという効果を有する撮像装置を提供することができるものである。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。
【図２】図２は、本発明に係る撮像装置のハードウエア構成を示すブロック図である。
【図３】図３は、本発明に係る撮像装置のＣＰＵが実行する手ぶれ補正プログラムのフローチャートである。
【図４】図４は、本発明に係る撮像装置のＣＰＵが実行する第１の手ぶれ補正ルーチンのフローチャートである。
【図５】図５は、本発明に係る撮像装置のＣＰＵが実行する手ぶれ補正軌跡算出ルーチンのフローチャートである。
【図６】図６は、本発明に係る撮像装置のＣＰＵが実行する手ぶれ補正画像生成ルーチンのフローチャートである。
【図７】図７は、本発明の第２の実施の形態に係る撮像装置のブロック図である。
【図８】図８は、本発明に係る撮像装置のＣＰＵが実行する第２の手ぶれ補正ルーチンのフローチャートである。
【図９】図９は、本発明の第３の実施の形態に係る撮像装置のブロック図である。
【図１０】図１０は、本発明の第３の実施の形態に係る撮像装置の動作を示すフローチャートである。
【図１１】図１１は、本発明の第３の実施の形態に係る撮像装置において、高周波領域および全画素領域の撮像データを読み出す例を示す図であり、図１１（ａ）は、高周波領域の撮像データを読み出す一例を示す図であり、図１１（ｂ）は、全画素領域の撮像データを読み出す一例を示す図である。
【図１２】図１２は、本発明の第４の実施の形態に係る撮像装置のブロック図である。
【図１３】図１３は、本発明の第４の実施の形態に係る撮像装置の動作を示すフローチャートである。
【図１４】図１４は、本発明の第５の実施の形態に係る撮像装置のブロック図である。
【図１５】図１５は、本発明の第５の実施の形態に係る撮像装置を構成する手ぶれ軌跡細線化部を説明するための概念図である。
【図１６】図１６は、本発明の第５の実施の形態に係る撮像装置の動作を示すフローチャートである。
【図１７】図１７は、本発明の第５の実施の形態に係る撮像装置の細線化動作を示すフローチャートである。
【図１８】図１８は、本発明の第６の実施の形態に係る撮像装置のブロック図である。
【図１９】図１９は、本発明の第６の実施の形態に係る撮像装置の動作を示すフローチャートである。
【図２０】図２０は、本発明の第６の実施の形態に係る撮像装置の手ぶれ量算出動作を示すフローチャートである。
【符号の説明】
【０００９】
１、２、３、４、５、６  撮像装置
１１、６１  レンズ
１２  撮像素子
１３  手ぶれ補正部
１４  出力部
２１  適正露光画像取得部
２２  短時間露光画像取得部
２３  手ぶれ補正軌跡算出部
２４  手ぶれ補正画像生成部
３１  駆動部
３２  記録部
３３  表示部
３４  ポインティング部
３５  マイクロプロセッサ部
４１  画像信号読み込みＩ／Ｆ
４２  制御指令出力Ｉ／Ｆ
４３  ＣＰＵ
４４  画像信号出力Ｉ／Ｆ
４５  メモリ
４６  操作指令読み込みＩ／Ｆ
５１  雑音除去部
６２  撮像部（短時間露光画像取得部、適正露光画像取得部）
６２ａ  イメージセンサ（撮像素子）
６２ｂ  電子シャッタ
６３  シャッタボタン
６４  記録装置（出力部）
６５  表示装置（出力部）
７０、９０、１１０、１３０  画像処理装置
７１、１３１  ＡＤＣ
７２  モード設定部（短時間露光画像取得部、適正露光画像取得部、画素リセット部）
７３、１３３  高周波領域検出部
７４、１３４  メモリ部
７４ａ  短露光用メモリ
７４ｂ  適正露光用メモリ
７５、１３６  手ぶれ軌跡算出部
７６、１３７  手ぶれ補正部
７７、１３８  信号処理部
８０  全画素領域
８１  高周波領域
８２、８３  低周波領域
９５  画像縮小部
９６  縮小画像補正部
９７  差分画像算出部
９８  差分画像拡大加算部
１１５  手ぶれ軌跡細線化部
１３２  モード設定部（短時間露光画像取得部）
１３４ａ  第１メモリ
１３４ｂ  第２メモリ
１３４ｃ  蓄積用メモリ
１３５  ベクトル検出部
１３８  信号処理部
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態の手ぶれ補正機能付き撮像装置について、図面を用いて説明する。【００１１】
なお、本明細書において、「手ぶれ補正軌跡」は「周波数領域手ぶれ補正軌跡」と「時間領域手ぶれ補正軌跡」の総称である。【００１２】
（第１の実施の形態）
本発明の第１の実施の形態の手ぶれ補正機能付き撮像装置１は、図１のブロック図に示すように、レンズ１１を介して受光面に結像した画像を撮像する撮像素子１２と、撮像素子１２により異なる露光時間で撮像した少なくとも２枚の画像に基づいて画像の手ぶれを補正する手ぶれ補正部１３と、手ぶれ補正後の画像である手ぶれ補正画像を出力する出力部１４を含む。【００１３】
そして、手ぶれ補正部１３は、撮像素子１２を適正な撮像条件から定まる適正露光時間だけ露光して適正露光画像ｉaを取得する適正露光画像取得部２１と、撮像素子１２を適正露光時間より短い時間露光して短時間露光画像ｉsを取得する短時間露光画像取得部２２と、適正露光画像ｉaおよび短時間露光画像ｉsに基づいて適正露光画像ｉaに対する手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部２３と、適正露光画像ｉaと手ぶれ補正軌跡とに基づいて、手ぶれ補正画像ｉcを生成する手ぶれ補正画像生成部２４とを含む。【００１４】
図２は本発明の手ぶれ補正機能付き撮像装置１のハードウエア構成を示すブロック図であって、被写体ＯＪの光学像を形成するレンズ１１と、光学像が結像する撮像素子１２と、撮像素子１２を制御する駆動部３１と、撮像された画像を記録する記録部３２と、撮像された画像を表示する表示部３３と、操作指令を入力するポインティング部３４と、撮像装置１を制御するマイクロプロセッサ部３５とから構成される。なお、記録部３２または表示部３３は、本発明の出力部を構成している。【００１５】
そして、マイクロプロセッサ部３５は、撮像素子１２から出力される画像信号を読み込む画像信号読み込みインターフェイス（Ｉ／Ｆ）４１と、駆動部３１に制御指令を出力する制御指令出力Ｉ／Ｆ４２と、処理を実行するＣＰＵ４３と、記録部３２および表示部３３に画像信号を出力する画像信号出力Ｉ／Ｆ４４と、処理プログラムを記憶するメモリ４５と、ポインティング部３４から操作指令を読み込む操作指令読み込みＩ／Ｆ４６とを含む。【００１６】
即ち、マイクロプロセッサ部３５のメモリ４５に手ぶれ補正プログラムをインストールすることにより撮像装置１に手ぶれ補正機能を組み込むことが可能となる。【００１７】
図３は手ぶれ補正プログラムのフローチャートであって、まずＣＰＵ４３は手ぶれ補正ルーチンを実行（ステップＳ１１）し、次に手ぶれ補正画像ｉcを記録部３２および表示部３３に出力（ステップＳ１２）してこのプログラムを終了する。【００１８】
図４はステップＳ１１で実行される第１の手ぶれ補正ルーチンのフローチャートであって、まずＣＰＵ４３は適正露光時間より短い露光時間で撮像された短時間露光画像ｉsを取得（ステップＳ２１）し、次にＣＰＵ４３は適正露光時間で撮像された適正露光画像ｉaを取得（ステップＳ２２）する。取得順は、ｉa、ｉsの順でも良い。【００１９】
なお、短時間露光画像ｉsおよび適正露光画像ｉaは、メカニカルシャッタまたは電子シャッタを使用して撮像された短時間露光画像および適正露光画像が撮像素子１２で画像信号に変換され、画像信号読み込みＩ／Ｆ４１を介してデジタルデータとして読み込まれるものである。【００２０】
その後、ＣＰＵ４３は手ぶれ補正軌跡を算出（ステップＳ２３）し、手ぶれ補正画像ｉcを生成（ステップＳ２４）するが、詳細は後述する。【００２１】
図５は、ＣＰＵ４３がステップＳ２３で実行する手ぶれ補正軌跡算出ルーチンのフローチャートであって、まずＣＰＵ４３は短時間露光画像ｉsをフーリエ変換して周波数領域短時間露光画像Ｉsを生成（ステップＳ３１）する。即ち、短時間露光画像ｉsと周波数領域短時間露光画像Ｉsとの間には［数１］が成立する。
【数１】
2007119680.tif 000003
【００２２】
次に、ＣＰＵ４３は適正露光画像ｉaをフーリエ変換して周波数領域適正露光画像Ｉaを生成（ステップＳ３２）する。【００２３】
即ち、適正露光画像ｉaと周波数領域適正露光画像Ｉaとの間には［数２］が成立する。
【数２】
2007119680.tif 000004
【００２４】
そして、ＣＰＵ４３は周波数領域短時間露光画像Ｉsを周波数領域適正露光画像Ｉaで除算して、周波数領域手ぶれ補正軌跡Ｇを算出（ステップＳ３３）する。即ち、ステップＳ３３の処理は［数３］により表すことができる。
【数３】
2007119680.tif 000005
【００２５】
ここで、適正露光画像ｉaに含まれる手ぶれ軌跡をｈとすると［数４］が成立する。
【数４】
2007119680.tif 000006
【００２６】
また、適正露光時間よりも短い露光時間で撮像された短時間露光画像ｉsには手ぶれが含まれないものとみなすと、［数５］が成立する。
【数５】
2007119680.tif 000007
【００２７】
［数４］および［数５］を［数３］に代入すると、［数６］が成立する。
【数６】
2007119680.tif 000008
【００２８】
即ち、ステップＳ３３で算出された周波数領域手ぶれ補正軌跡Ｇは、周波数領域手ぶれ軌跡Ｈの逆数となる。【００２９】
図６は、ＣＰＵ４３がステップＳ２４で実行する手ぶれ補正画像生成ルーチンのフローチャートであって、まずＣＰＵ４３は周波数領域手ぶれ補正軌跡Ｇを逆フーリエ変換し、時間領域手ぶれ補正軌跡ｇを算出（ステップＳ４１）する。【００３０】
即ち、周波数領域手ぶれ補正軌跡Ｇと時間領域手ぶれ補正軌跡ｇの間には［数７］が成立する。
【数７】
2007119680.tif 000009
【００３１】
次に、ＣＰＵ４３は、適正露光画像ｉaに時間領域手ぶれ補正軌跡ｇを畳み込んで、手ぶれ補正画像ｉcを生成（ステップＳ４２）する。【００３２】
ここで、ステップＳ４２の処理は［数８］で表すことができる。
【数８】
2007119680.tif 000010
【００３３】
従って、手ぶれ補正画像ｉcは手ぶれ無し画像ｉとなり、適正露光画像ｉaから手ぶれを除去できることとなる。【００３４】
なお、周波数領域適正露光画像Ｉaと周波数領域手ぶれ補正軌跡Ｇとの乗算結果を逆フーリエ変換することによっても手ぶれ補正画像ｉcを生成できることは、［数９］から明らかである。
【数９】
2007119680.tif 000011
【００３５】
以上説明したように、第１の実施の形態に係る手ぶれ補正機能付き撮像装置１によれば、適正露光画像と短時間露光画像とに基づいて手ぶれ補正軌跡を算出し、適正露光画像と手ぶれ補正軌跡とに基づいて適正露光画像の手ぶれを除去することが可能となる。【００３６】
（第２の実施の形態）
上記の第１の実施の形態にあっては、短時間露光画像には手ぶれが含まれていないと仮定しているが、雑音は重畳する。さらに、適正露光画像にも雑音は重畳する。【００３７】
短時間露光画像の撮像時には、露光不足を補うために電子回路の感度が増加するため雑音の強度は大きくなり、短時間露光画像の画質は大きく劣化する。【００３８】
また、適正露光画像の撮像時には、強度は小さいものの適正露光画像に雑音が重畳することを回避できない。【００３９】
第２の実施の形態に係る手ぶれ補正機能付き撮像装置は、この課題を解決するために画像から雑音を除去する機能をさらに備えている。【００４０】
図７は、本発明の第２の実施の形態の手ぶれ補正機能付き撮像装置２のブロック図である。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、同一の構成要素には同一の符号を付して説明を省略する。【００４１】
図７において、手ぶれ補正機能付き撮像装置２は、第１の実施の形態で示した構成に加えて、適正露光画像および短時間露光画像に含まれる雑音を除去する雑音除去部５１を備える。【００４２】
なお、第２の実施の形態に係る手ぶれ補正機能付き撮像装置２のハードウエア構成は、第１の実施の形態と同一であり、マイクロプロセッサ部３５にインストールするプログラムの一部だけが相違する。【００４３】
図８は図４の第１の手ぶれ補正ルーチンに代えてマイクロプロセッサ部３５にインストールする第２の手ぶれ補正ルーチンのフローチャートであって、第１の手ぶれ補正ルーチンのステップＳ２２とステップＳ２３の間にステップＳ５１およびステップＳ５２が挿入される。【００４４】
ＣＰＵ４３は、まず短時間露光画像ｉsを取得（ステップＳ５１）し、続いて適正露光画像ｉaを取得（ステップＳ５２）する。【００４５】
ここで、短時間露光画像ｉsに含まれる雑音をｎsとし、適正露光画像ｉaに含まれる雑音をｎaとすると、［数１０］が成立する。
【数１０】
2007119680.tif 000012
【００４６】
ＣＰＵ４３は、短時間露光画像ｉsおよび適正露光画像ｉaに雑音除去部５１である高域遮断フィルタをかけ、雑音を除去（ステップＳ５３およびステップＳ５４）する。【００４７】
高域遮断フィルタの特性をｒとすると、雑音除去後の短時間露光画像（以下、雑音除去後短時間露光画像という。）ｉsrおよび雑音除去後の適正露光画像（以下、雑音除去後適正露光画像という。）ｉarは［数１１］で表される。
【数１１】
2007119680.tif 000013
【００４８】
次に、ＣＰＵ４３は手ぶれ補正軌跡を算出（ステップＳ５５）するが、手ぶれ補正軌跡算出ルーチンは第１の実施の形態と同一であり、そのフローチャートは図５と同様である。【００４９】
ＣＰＵ４３は、まず雑音除去後短時間露光画像ｉsrをフーリエ変換して周波数領域雑音除去後短時間露光画像Ｉsrを生成（ステップＳ３１）し、次に雑音除去後適正露光画像ｉarをフーリエ変換して周波数領域雑音除去後適正露光画像Ｉarを生成（ステップＳ３２）する。【００５０】
即ち、ステップＳ３１およびステップＳ３２の処理は［数１２］により表される。
【数１２】
2007119680.tif 000014
【００５１】
雑音はランダムに発生し大部分が高周波域に存在し、高域遮断フィルタにより除去されるので、［数１２］は［数１３］で近似できる。
【数１３】
2007119680.tif 000015
【００５２】
なお、高域遮断フィルタの遮断周波数を５〜２０ヘルツとすれば、周波数領域手ぶれ軌跡Ｈを除去することなく、雑音を除去することができるので好ましい。【００５３】
ＣＰＵ４３は、周波数領域雑音除去後短時間露光画像Ｉsrを周波数領域雑音除去後適正露光画像Ｉarで除して周波数領域手ぶれ補正軌跡Ｇを算出（ステップＳ３３）する。即ち、ステップＳ３１およびステップＳ３２の処理は［数１４］により表される。
【数１４】
2007119680.tif 000016
【００５４】
最後に、ＣＰＵ４３は手ぶれ補正画像ｉcを生成（ステップＳ５６）するが、手ぶれ補正画像生成ルーチンは第１の実施の形態と同一であり、そのフローチャートは図６と同様である。【００５５】
即ち、ＣＰＵ４３は、周波数領域手ぶれ補正軌跡Ｇを逆フーリエ変換して時間領域手ぶれ補正軌跡ｇを算出（ステップＳ４１）し、適正露光画像ｉaに時間領域補正軌跡ｇを畳み込んで手ぶれ補正画像ｉcを生成（ステップＳ４２）する。なお、ステップＳ４２の処理は［数１５］で表される。
【数１５】
2007119680.tif 000017
【００５６】
ここで、ｎa*ｇは、ノイズｎaに手ぶれ補正軌跡を畳み込んだノイズとなるが、その大きさは［数１６］とみなしても良い。
【数１６】
2007119680.tif 000018
【００５７】
従って、手ぶれ補正画像ｉcは手ぶれ無し画像ｉに雑音ｎa*ｇが重畳した画像となるが、前述したように、雑音ｎaの強度は弱いため、雑音ｎa*ｇもその強度は弱く、画質を大きく劣化させることはない。【００５８】
なお、第１の実施の形態と同様に、周波数領域適正露光画像Ｉaと周波数領域手ぶれ補正軌跡Ｇとの乗算結果を逆フーリエ変換することによっても手ぶれ補正画像ｉcを生成できることは、［数１７］から明らかである。
【数１７】
2007119680.tif 000019
【００５９】
以上説明したように、第２の実施の形態によれば、短時間露光画像に含まれる雑音の影響を排除して手ぶれを補正することが可能となる。【００６０】
（第３の実施の形態）
まず、本発明の第３の実施の形態に係る撮像装置の構成について説明する。【００６１】
図９に示すように、本実施の形態に係る撮像装置３は、被写体からの光を集光するレンズ６１と、被写体を撮像する撮像部６２と、利用者が撮像時に操作するシャッタボタン６３と、撮像された被写体像を画像処理する画像処理装置７０と、被写体像のデータを記録する記録装置６４と、被写体像を表示する表示装置６５とを備えている。なお、以下の記載において、撮像された被写体像のデータを以下、単に「撮像データ」という。【００６２】
レンズ６１は、被写体からの光を集光し、撮像部６２に出射するようになっている。シャッタボタン６３は、利用者が撮像時に押下したとき、その旨を示す信号をモード設定部７２（後述）に出力するようになっている。【００６３】
記録装置６４は、例えば半導体メモリを備え、撮像データを記録するようになっている。表示装置６５は、例えば液晶パネルを備え、撮像された被写体像を表示するようになっている。なお、記録装置６４または表示装置６５は、本発明の出力部を構成している。【００６４】
撮像部６２は、レンズ６１が集光した被写体光を電気信号に光電変換するイメージセンサ６２ａと、イメージセンサ６２ａの露光時間を設定する電子シャッタ６２ｂとを備えている。なお、撮像部６２は、本発明の短時間露光画像取得部および適正露光画像取得部を構成している。【００６５】
イメージセンサ６２ａは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化物半導体）センサ等の固体撮像素子で構成され、所定数の画素を備えている。電子シャッタ６２ｂは、モード設定部７２からの制御信号に基づき、イメージセンサ６２ａの露光時間を設定するようになっている。なお、イメージセンサ６２ａは、本発明の撮像素子を構成している。【００６６】
画像処理装置７０は、イメージセンサ６２ａが出力するアナログ信号をデジタル信号に変換するアナログデジタルコンバータ（以下「ＡＤＣ」という。）７１と、シャッタボタン６３の状態に基づいてモードが設定されるモード設定部７２と、高周波領域を検出する高周波領域検出部７３と、撮像データを格納するメモリ部７４と、手ぶれ軌跡を算出する手ぶれ軌跡算出部７５と、手ぶれの補正処理を行う手ぶれ補正部７６と、所定の信号処理を行う信号処理部７７とを備えている。なお、画像処理装置７０は、例えばデジタル信号プロセッサで構成される。【００６７】
ＡＤＣ７１は、イメージセンサ６２ａが撮像した撮像データをＡＤ変換してモード設定部７２に出力するようになっている。【００６８】
モード設定部７２は、利用者がシャッタボタン６３を押下した際にシャッタボタン６３から出力される信号を受信したとき、モニタモードおよび撮像モードのいずれかに設定されるようになっている。ここで、モニタモードとは、利用者がシャッタボタン６３を押下していない状態において、撮像部６２が撮像した被写体像を動画像として表示装置６５に表示するモードをいう。また、撮像モードとは、利用者がシャッタボタン６３を押下した際に被写体を撮像し、被写体の静止画像を取得するモードをいう。【００６９】
また、モード設定部７２は、撮像モードにおいて、所定の短露光時間または所定の適正露光時間でイメージセンサ６２ａが撮像するよう電子シャッタ６２ｂを制御することができるようになっている。ここで、短露光時間とは、手ぶれが発生せず、かつ、撮像信号がノイズに埋もれず取得できるよう、適正露出による通常の撮像時間よりも短く定められた時間をいう。また、適正露光時間とは、被写体光に応じた適正露出をイメージセンサ６２ａに与えるために定められた時間をいう。【００７０】
一方、モード設定部７２は、モニタモードにおいて、イメージセンサ６２ａが適正露光時間で被写体を撮像するよう電子シャッタ６２ｂを制御し、動画像を表示装置６５に表示させるようになっている。なお、表示装置６５が液晶パネルで構成されている場合、一般に用いられる液晶パネルの解像度はイメージセンサ６２ａの解像度よりも低いので、モード設定部７２は、イメージセンサ６２ａの画素データを間引いて読み出したり、画素データを複数の画素毎に混合したりすることによりフレームレートの向上を図って動画を液晶パネルに表示させるのが好ましい。【００７１】
また、モード設定部７２は、イメージセンサ６２ａの各画素に蓄積された信号をリセットするための制御信号を撮像部６２に出力できるようになっている。また、モード設定部７２は、イメージセンサ６２ａの全画素領域のうち所定の画素領域における撮像データをイメージセンサ６２ａから読み出してＡＤＣ７１に出力するための制御信号を撮像部６２に出力できるようになっている。なお、モード設定部７２は、本発明の短時間露光画像取得部、適正露光画像取得部および画素リセット部を構成している。【００７２】
高周波領域検出部７３は、例えば所定の空間周波数以上の信号成分を通過させるハイパスフィルタで構成されており、モニタモードにおいて、被写体が撮像される全画素領域のうち所定の空間周波数以上の画素領域（以下「高周波領域」という。）を検出するようになっている。すなわち、高周波領域検出部７３は、モニタモードにおいて、イメージセンサ６２ａが有する画素領域のうち被写体像の動きが比較的大きく表れる領域を検出することができるようになっている。また、高周波領域検出部７３は、検出した高周波領域を示す高周波領域情報を格納するメモリ（図示省略）を備えている。【００７３】
メモリ部７４は、短露光時間で撮像された被写体像（以下「短時間露光画像」という。）のデータを格納する短露光用メモリ７４ａと、適正露光時間で撮像された被写体像（以下「適正露光画像」という。）のデータを格納する適正露光用メモリ７４ｂとを備えている。【００７４】
手ぶれ軌跡算出部７５は、撮像モードにおいて、短時間露光画像および適正露光画像の高周波領域における撮像データをそれぞれ短露光用メモリ７４ａおよび適正露光用メモリ７４ｂに格納し、両者の撮像データを比較して手ぶれ軌跡を算出するようになっている。例えば、手ぶれ軌跡算出部７５は、適正露光画像のデータに対するフーリエ変換後のデータを、短時間露光画像のデータに対するフーリエ変換後のデータで除算し、除算して得られたデータを逆フーリエ変換することにより、手ぶれ軌跡を算出するようになっている。なお、手ぶれ軌跡算出部７５は、本発明の手ぶれ補正軌跡算出部を構成している。【００７５】
手ぶれ補正部７６は、手ぶれ軌跡算出部７５によって算出された手ぶれ軌跡に基づいて適正露光時間で撮像された被写体像を手ぶれ補正するようになっている。例えば、手ぶれ補正部７６は、手ぶれ軌跡算出部７５によって算出された手ぶれ軌跡の逆行列から得られる手ぶれ補正軌跡と、適正露光画像のデータとを畳み込む演算処理によって、被写体像を手ぶれ補正するようになっている。なお、手ぶれ補正部７６は、本発明の手ぶれ補正軌跡算出部および手ぶれ補正画像生成部を構成している。【００７６】
信号処理部７７は、モニタモードにおいて、撮像された被写体像を表示装置６５に表示するための信号処理を行うようになっている。また、信号処理部７７は、撮像モードにおいて、手ぶれ補正された撮像データを記録装置６４に記録するための信号処理と、手ぶれ補正された被写体の画像を表示装置６５に表示するための信号処理とを行うようになっている。【００７７】
次に、手ぶれ軌跡算出部７５および手ぶれ補正部７６による手ぶれ補正の一例について、数式を用いて具体的に説明する。【００７８】
短時間露光画像のデータをｉｓ、適正露光画像のデータをｉｌ、適正露光画像の手ぶれ軌跡をｈとする。手ぶれのない理想的な被写体像のデータをｉとすると、ｉｌはｉがｈというＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ：点像分布関数）を持ったぶれ方をしている画像データなので、次式で表すことができる。なお、記号「＊」は畳み込み演算子を示す。【００７９】
il = i*h             （１）【００８０】
次に、ｉ、ｉｓ、ｉｌ、ｈのフーリエ変換を、それぞれ、Ｉ、ＩＳ、ＩＬ、Ｈと表すと次式の関係となる。ここで、Ｆはフーリエ変換を表し、Ｆ−１は逆フーリエ変換を表す。【００８１】
F(i) = I             （２）
F(is) = IS           （３）
F(il)  = IL           （４）
F(h)  = H             （５）
F−１(I) = i           （６）
F−１(IS) = is         （７）
F−１(IL) = il         （８）
F−１(H) = h           （９）【００８２】
短時間露光画像のデータｉｓに対するフーリエ変換後のデータＦ(ｉｓ)を、適正露光画像のデータｉｌに対するフーリエ変換後のデータＦ(ｉｌ)で除算すると、次式が得られる。【００８３】
F(is)/F(il) = F(is)/F(i*h) = IS/(I×H)               （１０）【００８４】
短時間露光画像が、手ぶれのない理想的な被写体像と同じ画像となっていると仮定すると、ｉｓ＝ｉであるからＩＳ＝Ｉとなり、これを式（１０）に代入すると次式が得られる。【００８５】
F(is)/F(il) = F(i)/F(i*h) = I/(I×H) = 1/H = H−１      （１１）【００８６】
ここで、Ｈ−１はＨの逆行列を示し、ｈの逆行列をｈ−１で表すと次式となる。【００８７】
F(1/h) = F(h−１) = 1/H = H−１            （１２）
F−１(1/H) = F−１(H−１) = 1/h = h−１         （１３）【００８８】
次に、短時間露光画像のデータｉｓに対するフーリエ変換後のデータＦ(ｉｓ)を、適正露光画像のデータｉｌに対するフーリエ変換後のデータＦ(ｉｌ)で除算したとき、除算して得られたデータの逆フーリエ変換後のデータを補正軌跡ｇとすると、補正軌跡ｇは式（１１）の逆フーリエ変換であるので、次式が得られる。【００８９】
g = F−１(H−１) = h−１                      （１４）【００９０】
したがって、補正軌跡ｇと短時間露光画像のデータｉｌとの畳み込みは次式で表され、手ぶれのない理想的な被写体像のデータｉを算出することができる。【００９１】
g*il = h−１*i*h = i*(h−１*h) = i         （１５）【００９２】
以上のように、本実施の形態に係る撮像装置３は、手ぶれを補正した被写体像を取得することができる。なお、前述の方法でＰＳＦを求めた後に、例えば、手ぶれ軌跡データから手ぶれ補正行列を生成し、生成された手ぶれ補正行列と手ぶれ画像とから手ぶれ補正を行うための信号を生成して手ぶれ補正を行うこともできる。【００９３】
次に、本実施の形態に係る撮像装置３の動作について図９〜１１を用いて説明する。【００９４】
まず、モード設定部７２は、モニタモードに設定される（ステップＳ６１）。モード設定部７２がモニタモードに設定されることにより、撮像部６２からの撮像データは、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、高周波領域検出部７３および信号処理部７７に入力される。【００９５】
高周波領域検出部７３に入力された撮像データに対しては、高周波領域を検出する処理が実行される（ステップＳ６２）。具体的には、例えば図１１（ａ）に示すように、高周波領域検出部７３は、被写体が撮像される領域である全画素領域８０から、高周波領域８１と、高周波領域８１よりも低い空間周波数の低周波領域８２および８３とを検出し、高周波領域８１の範囲を示す高周波領域情報をメモリに格納する。【００９６】
一方、信号処理部７７に入力された撮像データに対しては、例えば所定のフォーマットの画像データに変換される画像処理が実行され、表示装置６５に動画像として表示される。【００９７】
続いて、モード設定部７２によって、シャッタボタン６３が押下されたか否かが判断される（ステップＳ６３）。ここで、シャッタボタン６３が押下されたと判断されなかった場合は、撮像装置３の動作は、ステップＳ６２に戻る。【００９８】
ステップＳ６３において、シャッタボタン６３が押下されたと判断された場合は、モード設定部７２は、撮像モードに設定される（ステップＳ６４）。【００９９】
さらに、モード設定部７２によって、イメージセンサ６２ａが短露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が短露光時間で撮像される（ステップＳ６５）。【０１００】
ここで、モード設定部７２は、高周波領域検出部７３のメモリに格納された高周波領域情報を読み出し、短露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する。その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、手ぶれ軌跡算出部７５に出力され、手ぶれ軌跡算出部７５によって短露光用メモリ７４ａに格納される（ステップＳ６６）。【０１０１】
引き続き、モード設定部７２によって、イメージセンサ６２ａに蓄積された全ての画素信号がリセットされる（ステップＳ６７）。【０１０２】
さらに、モード設定部７２によって、イメージセンサ６２ａが適正露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が適正露光時間で撮像される（ステップＳ６８）。【０１０３】
ここで、モード設定部７２は、既に取得済みの高周波領域情報に基づいて、適正露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する。その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、手ぶれ軌跡算出部７５に出力され、手ぶれ軌跡算出部７５によって適正露光用メモリ７４ｂに格納される（ステップＳ６９）。【０１０４】
さらに、手ぶれ軌跡算出部７５によって、短露光用メモリ７４ａに格納された短露光時間での撮像データと、適正露光用メモリ７４ｂに格納された適正露光時間での撮像データとに基づいて手ぶれ軌跡が算出される（ステップＳ７０）。【０１０５】
なお、短露光時間の高周波領域に該当する撮像データをイメージセンサ６２ａより読み出してから、全ての画素信号のリセット処理を経て適正露光時間で撮像を開始するまでの時間は、できるだけ短時間（例えば１０〜２０ミリ秒程度）に設定するのが好ましい。この構成により、短時間露光画像と適正露光画像との間の撮像時間差がないため、手ぶれ軌跡算出部７５による画像比較が容易になり、かつ、静止画像の撮像時間の短縮化を図ることができる。【０１０６】
引き続き、モード設定部７２によって、適正露光時間で撮像された全画素のデータを出力するよう撮像部６２が制御され、ＡＤＣ７１およびモード設定部７２を介し、全画素のデータが手ぶれ補正部７６に出力される。手ぶれ補正部７６においては、図１１（ｂ）に示すように、全画素のデータを読み出しながら、手ぶれ軌跡算出部７５が算出した手ぶれ軌跡に基づき、例えば手ぶれ軌跡に相当する画素分だけ画素データを移動する処理により手ぶれ補正処理が行われ（ステップＳ７１）、手ぶれにより生じた被写体像のぼけが補正される。ここで、高周波領域における画像の手ぶれ補正処理は、適正露光用メモリ７４ｂに格納された撮像データに対して実行される。【０１０７】
なお、手ぶれ補正処理において、例えばイメージセンサ６２ａ内で生じる暗電流の影響により、高周波領域の画像とその他の領域の画像とでレベル差が生じている場合は、両者の撮像データを加算、またはレベル差に応じた補正値を乗算することにより、両者のレベル差を低減することができる。【０１０８】
次いで、手ぶれ補正処理が行われた撮像データが信号処理部７７に出力され、信号処理部７７によって所定のフォーマットの画像データに変換されて記録装置６４および表示装置６５に出力される。【０１０９】
そして、記録装置６４によって、手ぶれ補正処理が行われた撮像データが格納され、表示装置６５によって、手ぶれ補正処理が行われた被写体像が表示される（ステップＳ７２）。なお、引き続き撮像を行う場合は、撮像装置３の動作は、ステップＳ６１に戻る。【０１１０】
以上のように、本実施の形態に係る撮像装置３によれば、手ぶれ軌跡算出部７５は、短時間露光画像と適正露光画像との比較結果に基づいて被写体像の手ぶれを補正する構成としたので、従来のもののように、手ぶれ軌跡を検出するための専用装置を必要とせず、従来のものよりも小型化および低コスト化を図ることができる。【０１１１】
また、本実施の形態に係る撮像装置３によれば、高周波領域検出部７３が検出した高周波領域における短時間露光画像および適正露光画像のデータをメモリ部７４に格納する構成としたので、例えば１フレーム分の撮像データを格納するものよりもメモリ容量を大幅に低減でき、メモリを小型化することができる。その結果、撮像装置３は、従来の装置よりも小型化、軽量化および低コスト化を図ることができる。【０１１２】
なお、前述の実施の形態において、イメージセンサ６２ａの露光時間を電子シャッタ６２ｂが制御する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、電子シャッタ６２ｂに代えてメカシャッタで露光時間を制御する構成としても同様の効果が得られる。【０１１３】
（第４の実施の形態）
まず、本発明の第４の実施の形態に係る撮像装置の構成について説明する。なお、本実施の形態においては、本発明の第３の実施形態の撮像装置３の各構成要素と同一な構成要素については、同一の符号を付して説明を省略する。【０１１４】
図１２に示すように、本実施の形態に係る撮像装置４は、本発明の第３の実施形態の撮像装置３に対して、画像処理装置７０の代わりに画像処理装置９０を備えている。【０１１５】
画像処理装置９０は、イメージセンサ６２ａが出力するアナログ信号をデジタル信号に変換するＡＤＣ７１と、シャッタボタン６３の状態に基づいてモードが設定されるモード設定部７２と、高周波領域を検出する高周波領域検出部７３と、撮像データを格納するメモリ部７４と、撮像データが表す画像を縮小する画像縮小部９５と、手ぶれ軌跡を算出する手ぶれ軌跡算出部７５と、画像縮小部９５によって縮小された画像の手ぶれを補正する縮小画像補正部９６と、画像縮小部９５によって縮小された画像と縮小画像補正部９６によって補正された画像との差分画像を算出する差分画像算出部９７と、差分画像を拡大して撮像データが表す手ぶれを含む画像に加算する差分画像拡大加算部９８と、所定の信号処理を行う信号処理部７７とを備えている。【０１１６】
画像縮小部９５は、撮像モードにおいて、短時間露光画像および適正露光画像の高周波領域にあたる撮像データに空間解像度変換を施すことによって、撮像データが表す各画像を所定の縮小率で縮小するようになっている。【０１１７】
なお、本実施形態において、手ぶれ軌跡算出部７５は、画像縮小部９５によって空間解像度変換が施された撮像データをそれぞれ短露光用メモリ７４ａおよび適正露光用メモリ７４ｂに格納し、両者の撮像データを比較して手ぶれ軌跡を算出するようになっている。また、以下の説明においては、適正露光用メモリ７４ｂに格納された撮像データが表す画像を「縮小適正露光画像」という。【０１１８】
縮小画像補正部９６は、手ぶれ軌跡算出部７５で算出された手ぶれ軌跡に基づいて、縮小適正露光画像を手ぶれ補正するようになっている。【０１１９】
例えば、縮小画像補正部９６は、手ぶれ軌跡算出部７５で算出された手ぶれ軌跡の逆行列から得られる手ぶれ補正軌跡と、縮小適正露光画像のデータとを畳み込む演算処理によって、縮小適正露光画像の手ぶれ補正を行うようになっている。【０１２０】
差分画像算出部９７は、縮小画像補正部９６によって手ぶれが補正された縮小適正露光画像と、適正露光用メモリ７４ｂに格納された撮像データが表す縮小適正露光画像との差分から得られる差分画像を算出するようになっている。【０１２１】
なお、画像縮小部９５、縮小画像補正部９６および差分画像算出部９７は、本発明の手ぶれ補正軌跡算出部を構成している。【０１２２】
差分画像拡大加算部９８は、差分画像算出部９７で算出された差分画像を拡大して、適正露光時間で撮像された撮像データに加算することによって、被写体像の手ぶれ補正を行うようになっている。ここで、差分画像拡大加算部９８が差分画像を拡大する際の拡大率は画像縮小部９５が画像を縮小するときの縮小率の逆数である。【０１２３】
なお、差分画像拡大加算部９８は、本発明の手ぶれ補正画像生成部を構成している。【０１２４】
次に、本実施の形態に係る撮像装置４の動作について図１３を用いて説明する。【０１２５】
まず、モード設定部７２は、モニタモードに設定される（ステップＳ８１）。モード設定部７２がモニタモードに設定されることにより、撮像部６２からの撮像データは、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、高周波領域検出部７３および信号処理部７７に入力される。【０１２６】
高周波領域検出部７３に入力された撮像データに対しては、高周波領域を検出する処理が実行され（ステップＳ８２）、検出された高周波領域の範囲を示す高周波領域情報が高周波領域検出部７３によってメモリに格納される。【０１２７】
一方、信号処理部７７に入力された撮像データに対しては、例えば所定のフォーマットの画像データに変換される画像処理が実行され、表示装置６５に動画像として表示される。【０１２８】
続いて、モード設定部７２によって、シャッタボタン６３が押下されたか否かが判断される（ステップＳ８３）。ここで、シャッタボタン６３が押下されたと判断されなかった場合は、撮像装置４の動作は、ステップＳ８２に戻る。【０１２９】
ステップＳ８３において、シャッタボタン６３が押下されたと判断された場合は、モード設定部７２は、撮像モードに設定される（ステップＳ８４）。【０１３０】
さらに、モード設定部７２によって、イメージセンサ６２ａが短露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が短露光時間で撮像される（ステップＳ８５）。【０１３１】
ここで、モード設定部７２は、高周波領域検出部７３のメモリに格納された高周波領域情報を読み出し、短露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する（ステップＳ８６）。【０１３２】
その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、画像縮小部９５に出力され、所定の縮小率で縮小された短時間露光画像の高周波領域を表すよう画像縮小部９５によって空間解像度変換が施され（ステップＳ８７）、空間解像度変換が施された撮像データが、手ぶれ軌跡算出部７５によって短露光用メモリ７４ａに格納される（ステップＳ８８）。【０１３３】
引き続き、モード設定部７２によって、イメージセンサ６２ａに蓄積された全ての画素信号がリセットされる（ステップＳ８９）。【０１３４】
さらに、モード設定部７２によって、イメージセンサ６２ａが適正露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が適正露光時間で撮像される（ステップＳ９０）。【０１３５】
ここで、モード設定部７２は、既に取得済みの高周波領域情報に基づいて、適正露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する（ステップＳ９１）。【０１３６】
その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、画像縮小部９５に出力され、所定の縮小率で縮小された適正時間露光画像の高周波領域を表すよう画像縮小部９５によって空間解像度変換が施され（ステップＳ９２）、空間解像度変換が施された撮像データが、手ぶれ軌跡算出部７５によって適正露光用メモリ７４ｂに格納される（ステップＳ９３）。【０１３７】
さらに、手ぶれ軌跡算出部７５によって、短露光用メモリ７４ａに格納された短露光時間での撮像データと、適正露光用メモリ７４ｂに格納された適正露光時間での撮像データとに基づいて手ぶれ軌跡が算出される（ステップＳ９４）。【０１３８】
ここで、手ぶれ補正軌跡が縮小画像補正部９６によって手ぶれ軌跡の逆行列から算出され（ステップＳ９５）、算出された手ぶれ補正軌跡と、適正露光用メモリ７４ｂに格納された縮小適正露光画像のデータとを畳み込む演算処理によって、縮小適正露光画像の手ぶれが縮小画像補正部９６によって補正される（ステップＳ９６）。【０１３９】
そして、縮小画像補正部９６によって手ぶれが補正された縮小適正露光画像と、適正露光用メモリ７４ｂに格納された撮像データが表す縮小適正露光画像との差分から得られる差分画像が差分画像算出部９７によって算出される（ステップＳ９７）。【０１４０】
引き続き、モード設定部７２によって、適正露光時間で撮像された全画素のデータを出力するよう撮像部６２が制御され、ＡＤＣ７１およびモード設定部７２を介し、全画素のデータが差分画像拡大加算部９８に出力される。【０１４１】
次に、差分画像算出部９７によって算出された差分画像が差分画像拡大加算部９８によって拡大され、差分画像拡大加算部９８に入力されたデータが表す全画素に加算されることにより、被写体像の撮像データに手ぶれ補正処理が施される（ステップＳ９８）。【０１４２】
次いで、手ぶれ補正処理が施された撮像データが信号処理部７７に出力され、信号処理部７７によって所定のフォーマットの画像データに変換されて記録装置６４および表示装置６５に出力される。【０１４３】
そして、記録装置６４によって、手ぶれ補正処理が行われた撮像データが格納され、表示装置６５によって、手ぶれ補正処理が行われた被写体像が表示される（ステップＳ９９）。なお、引き続き撮像を行う場合は、撮像装置４の動作は、ステップＳ８１に戻る。【０１４４】
以上のように、本実施の形態に係る撮像装置４は、それぞれ縮小された短時間露光画像と適正露光画像とを表す撮像データに基づいて、手ぶれ補正軌跡を算出するため、手ぶれ補正軌跡を算出するのにかかる計算量を削減することができ、演算回路規模が小さくなることで、低消費電力化、小型化および低コスト化を図ることができる。【０１４５】
（第５の実施の形態）
まず、本発明の第５の実施の形態に係る撮像装置の構成について説明する。なお、本実施の形態においては、本発明の第３の実施形態の撮像装置３の各構成要素と同一な構成要素については、同一の符号を付して説明を省略する。【０１４６】
図１４に示すように、本実施の形態に係る撮像装置５は、本発明の第３の実施形態の撮像装置３に対して、画像処理装置７０の代わりに画像処理装置１１０を備えている。【０１４７】
画像処理装置１１０は、イメージセンサ６２ａが出力するアナログ信号をデジタル信号に変換するＡＤＣ７１と、シャッタボタン６３の状態に基づいてモードが設定されるモード設定部７２と、高周波領域を検出する高周波領域検出部７３と、撮像データを格納するメモリ部７４と、手ぶれ軌跡を算出する手ぶれ軌跡算出部７５と、手ぶれ軌跡を細線化する手ぶれ軌跡細線化部１１５と、手ぶれの補正処理を行う手ぶれ補正部７６、所定の信号処理を行う信号処理部７７とを備えている。【０１４８】
手ぶれ軌跡細線化部１１５は、算出した手ぶれ軌跡の各画素（以下、「着目画素」という。）に対して右、左、上および下（以下、「隣接画素」という。）の何れかの画素が手ぶれ軌跡上にない場合、例えば、隣接画素の画素値が０である場合には、算出した手ぶれ軌跡を細線化するようになっている。【０１４９】
ここで、手ぶれ軌跡細線化部１１５は、各隣接画素に対して着目画素の対称側（以下、「隣接対称側」という。）にある画素の画素値の加重平均値をそれぞれ算出し、算出した何れかの加重平均値の着目画素の画素値に対する比率が所定の閾値以上である場合は、この着目画素を手ぶれ軌跡から除外する、例えば、画素値を０にするようになっている。【０１５０】
例えば、図１５（ａ）に示すように、手ぶれ軌跡細線化部１１５は、算出した手ぶれ軌跡の領域１２０を含む画像１２１に対して、画像１２１の各画素を着目画素１２２として、図１５（ｂ）に示すように、着目画素の右隣にある隣接画素の画素値ｃが０でない場合には、隣接対称側である左方にある画素値がそれぞれａ１、ａ２、ａ３の３つの画素の加重平均値ａ＝（ａ１＋２×ａ２＋ａ３）／４を算出するようになっている。【０１５１】
ここで、手ぶれ軌跡細線化部１１５は、着目画素の画素値ｂに対する加重平均値ａの比率Ｒ＝ａ／ｂを算出し、算出した比率Ｒが所定の閾値以上である場合は、この着目画素を手ぶれ軌跡から除外するようになっている。【０１５２】
同様に、手ぶれ軌跡細線化部１１５は、図１５（ｂ）ないし（ｄ）に示すように、隣接画素の画素値ｃが０でない場合には、隣接対称側である右方、下方、上方の各加重平均値ａの着目画素の画素値ｂに対する比率Ｒを算出し、算出した比率Ｒが所定の閾値以上である場合は、この着目画素を手ぶれ軌跡から除外するようになっている。したがって、図１５（ａ）に示すように、手ぶれ軌跡の領域１２０は、手ぶれ軌跡の領域１２３のように細線化される。【０１５３】
また、図１４において、手ぶれ軌跡細線化部１１５は、変換した撮像データをそれぞれ短露光用メモリ７４ａおよび適正露光用メモリ７４ｂに格納し、両者の撮像データを比較して手ぶれ軌跡を算出するようになっている。なお、手ぶれ軌跡細線化部１１５は、本発明の手ぶれ補正軌跡算出部を構成している。【０１５４】
次に、本実施の形態に係る撮像装置５の動作について図１６および図１７を用いて説明する。【０１５５】
まず、モード設定部７２は、モニタモードに設定される（ステップＳ１０１）。モード設定部７２がモニタモードに設定されることにより、撮像部６２からの撮像データは、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、高周波領域検出部７３および信号処理部７７に入力される。【０１５６】
高周波領域検出部７３に入力された撮像データに対しては、高周波領域を検出する処理が実行され（ステップＳ１０２）、検出された高周波領域の範囲を示す高周波領域情報が高周波領域検出部７３によってメモリに格納される。【０１５７】
一方、信号処理部７７に入力された撮像データに対しては、例えば所定のフォーマットの画像データに変換される画像処理が実行され、表示装置６５に動画像として表示される。【０１５８】
続いて、モード設定部７２によって、シャッタボタン６３が押下されたか否かが判断される（ステップＳ１０３）。ここで、シャッタボタン６３が押下されたと判断されなかった場合は、撮像装置５の動作は、ステップＳ１０２に戻る。【０１５９】
ステップＳ１０３において、シャッタボタン６３が押下されたと判断された場合は、モード設定部７２は、撮像モードに設定される（ステップＳ１０４）。【０１６０】
さらに、モード設定部７２によって、イメージセンサ６２ａが短露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が短露光時間で撮像される（ステップＳ１０５）。【０１６１】
ここで、モード設定部７２は、高周波領域検出部７３のメモリに格納された高周波領域情報を読み出し、短露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する。その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、手ぶれ軌跡算出部７５に出力され、手ぶれ軌跡算出部７５によって短露光用メモリ７４ａに格納される（ステップＳ１０６）。【０１６２】
引き続き、モード設定部７２によって、イメージセンサ６２ａに蓄積された全ての画素信号がリセットされる（ステップＳ１０７）。【０１６３】
さらに、モード設定部７２によって、イメージセンサ６２ａが適正露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が適正露光時間で撮像される（ステップＳ１０８）。【０１６４】
ここで、モード設定部７２は、既に取得済みの高周波領域情報に基づいて、適正露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する。その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、手ぶれ軌跡算出部７５に出力され、手ぶれ軌跡算出部７５によって適正露光用メモリ７４ｂに格納される（ステップＳ１０９）。【０１６５】
さらに、手ぶれ軌跡算出部７５によって、短露光用メモリ７４ａに格納された短露光時間での撮像データと、適正露光用メモリ７４ｂに格納された適正露光時間での撮像データとに基づいて手ぶれ軌跡が算出され（ステップＳ１１０）、算出された手ぶれ軌跡が手ぶれ軌跡細線化部１１５によって後述するように細線化される（Ｓ１１１）。【０１６６】
引き続き、モード設定部７２によって、適正露光時間で撮像された全画素のデータを出力するよう撮像部６２が制御され、ＡＤＣ７１およびモード設定部７２を介し、全画素のデータが手ぶれ補正部７６に出力される。手ぶれ補正部７６においては、全画素のデータを読み出しながら、手ぶれ軌跡細線化部１１５によって細線化された手ぶれ軌跡に基づき、例えば手ぶれ軌跡に相当する画素分だけ画素データを移動する処理により手ぶれ補正処理が行われ（ステップＳ１１２）、手ぶれにより生じた被写体像のぼけが補正される。ここで、高周波領域における画像の手ぶれ補正処理は、適正露光用メモリ７４ｂに格納された撮像データに対して実行される。【０１６７】
なお、手ぶれ補正処理において、例えばイメージセンサ６２ａ内で生じる暗電流の影響により、高周波領域の画像とその他の領域の画像とでレベル差が生じている場合は、両者の撮像データを加算、またはレベル差に応じた補正値を乗算することにより、両者のレベル差を低減することができる。【０１６８】
次いで、手ぶれ補正処理が行われた撮像データが信号処理部７７に出力され、信号処理部７７によって所定のフォーマットの画像データに変換されて記録装置６４および表示装置６５に出力される。【０１６９】
そして、記録装置６４によって、手ぶれ補正処理が行われた撮像データが格納され、表示装置６５によって、手ぶれ補正処理が行われた被写体像が表示される（ステップＳ１１３）。なお、引き続き撮像を行う場合は、撮像装置５の動作は、ステップＳ１０１に戻る。【０１７０】
ここで、撮像装置５の動作のステップＳ１１１を図１７を用いて詳細に説明する。ステップＳ１１１では、手ぶれ軌跡細線化部１１５によって算出された手ぶれ軌跡の領域を含む画像の各画素を着目画素とし、各着目画素（ステップＳ１２０〜Ｓ１２９）の各隣接画素（ステップＳ１２１〜Ｓ１２８）に対して以下の処理が実行される。【０１７１】
まず、着目画素が手ぶれ軌跡上にあるか否か、例えば、着目画素の画素値ｂが０であるか否かが手ぶれ軌跡細線化部１１５によって判断される（ステップＳ１２２）。ここで、着目画素の画素値ｂが０であると判断された場合には、次の隣接画素に対する処理が実行される。なお、この場合には、ステップＳ１２２における判断の結果が他の隣接画素に対しても同じになるため、次の着目画素に対する処理が実行されることになる。【０１７２】
一方、着目画素の画素値ｂが０でないと判断された場合には、隣接画素が手ぶれ軌跡上にあるか否か、例えば、隣接画素の画素値ｃが０であるか否かが手ぶれ軌跡細線化部１１５によって判断される（ステップＳ１２３）。ここで、隣接画素の画素値ｃが０でないと判断された場合には、次の隣接画素に対する処理が実行される。【０１７３】
一方、隣接画素の画素値ｃが０であると判断された場合には、隣接対称側にある画素の画素値の加重平均値ａが手ぶれ軌跡細線化部１１５によって算出され（ステップＳ１２４）、算出された加重平均値ａの着目画素の画素値ｂに対する比率Ｒが手ぶれ軌跡細線化部１１５によって算出される（ステップＳ１２５）。【０１７４】
ここで、算出された比率Ｒが所定の閾値ＴＨ以上であるか否かが手ぶれ軌跡細線化部１１５によって判断され（ステップＳ１２６）、比率Ｒが閾値ＴＨ以上でないと判断された場合には、次の隣接画素に対する処理が実行される。【０１７５】
一方、比率Ｒが閾値ＴＨ以上であると判断された場合には、着目画素が手ぶれ軌跡から除外、すなわち、着目画素の画素値ｂが手ぶれ軌跡細線化部１１５によって０に設定される（ステップＳ１２７）。【０１７６】
なお、次いで、次の隣接画素に対する処理が実行されるが、ステップＳ１２７で着目画素の画素値ｂが０に設定された場合には、他の隣接画素に対するステップＳ１２２における判断により、次の着目画素に対する処理が実行されることになる。【０１７７】
以上のように、本実施の形態に係る撮像装置５は、細線化した手ぶれ軌跡に基づいて適正露光画像を補正した補正画像を生成するため、短時間露光画像および適正露光画像に含まれるノイズの影響ならびにフーリエ変換時の誤差の影響によって補正画像に生じる擬似輪郭やぼけを抑制することができる。【０１７８】
（第６の実施の形態）
まず、本発明の第６の実施の形態に係る撮像装置の構成について説明する。【０１７９】
図１８に示すように、本実施の形態に係る撮像装置６は、本発明の第３の実施の形態に係る撮像装置３の画像処理装置７０に代わる画像処理装置１３０を備えている。したがって、画像処理装置１３０以外の構成要素については、本発明の第３の実施の形態に係る撮像装置３のものと同一の符号を付して詳細な説明を省略する。【０１８０】
図１８において、本実施の形態に係る画像処理装置１３０は、イメージセンサ６２ａが出力するアナログ信号をデジタル信号に変換するＡＤＣ１３１と、シャッタボタン６３の状態に基づいてモードが設定されるモード設定部１３２と、高周波領域を検出する高周波領域検出部１３３と、撮像データを格納するメモリ部１３４と、動きベクトルを検出する動きベクトル検出部１３５と、手ぶれ軌跡を算出する手ぶれ軌跡算出部１３６と、手ぶれの補正処理を行う手ぶれ補正部１３７と、所定の信号処理を行う信号処理部１３８とを備えている。なお、画像処理装置１３０は、例えばデジタル信号プロセッサで構成される。【０１８１】
ここで、ＡＤＣ１３１、高周波領域検出部１３３および信号処理部１３８は、それぞれ、第３の実施の形態に係るＡＤＣ７１、高周波領域検出部７３および信号処理部７７と同様な構成なので詳細な説明を省略する。【０１８２】
モード設定部１３２は、利用者がシャッタボタン６３を押下した際にシャッタボタン６３から出力される信号を受信したとき、モニタモードおよび撮像モードのいずれかに設定されるようになっている。ここで、モニタモードは、利用者がシャッタボタン６３を押下していない状態において、撮像部６２が撮像した被写体像を動画像として表示装置６５に表示する処理である。一方、撮像モードは、利用者がシャッタボタン６３を押下した際に被写体を撮像し、被写体の静止画像を取得する処理である。【０１８３】
また、モード設定部１３２は、撮像モードにおいて、イメージセンサ６２ａを短露光時間で複数回露光させるよう電子シャッタ６２ｂを制御するようになっている。一方、モード設定部１３２は、モニタモードにおいて、イメージセンサ６２ａが適正露光時間で撮像するよう電子シャッタ６２ｂを制御し、動画像を表示装置６５に表示させるようになっている。【０１８４】
また、モード設定部１３２は、高周波領域検出部１３３が出力する高周波領域情報に基づいた領域の画素の信号をイメージセンサ６２ａから読み出してＡＤＣ１３１に出力するよう撮像部６２を制御するようになっている。なお、モード設定部１３２は、本発明の短時間露光画像取得部を構成している。【０１８５】
メモリ部１３４は、短露光時間で複数回露光されて撮像された画像のうち、高周波領域に該当する撮像データを順次格納する第１メモリ１３４ａおよび第２メモリ１３４ｂと、第１メモリ１３４ａに格納された撮像データと第２メモリ１３４ｂに格納された撮像データとを加算して蓄積する蓄積用メモリ１３４ｃを備えている。【０１８６】
具体的には、イメージセンサ６２ａによって、例えば、短露光時間による３回の撮像が行われた場合、第１メモリ１３４ａおよび第２メモリ１３４ｂは、それぞれ、第１回目および第２回目の撮像データを格納し、蓄積用メモリ１３４ｃは、第１回目の撮像データと第２回目の撮像データとを加算して蓄積する。次に、第１メモリ１３４ａは、第３回目の撮像データを格納し、蓄積用メモリ１３４ｃは、第２回目の撮像データと第３回目の撮像データとを加算して蓄積する。【０１８７】
動きベクトル検出部１３５は、第１メモリ１３４ａに格納された撮像データと第２メモリ１３４ｂに格納された撮像データとを比較して動きベクトルを検出し、検出した動きベクトルから、動きベクトルの方向および大きさを含む動きベクトル値を取得するようになっている。動きベクトル値は、第１メモリ１３４ａまたは第２メモリ１３４ｂに格納される撮像データが更新される毎に取得され、動きベクトル検出部１３５のメモリ（図示省略）に順次加算されて格納されるようになっている。【０１８８】
手ぶれ軌跡算出部１３６は、動きベクトル検出部１３５が取得した動きベクトル値に基づいて手ぶれ軌跡を算出するようになっている。なお、手ぶれ軌跡算出部１３６は、本発明の手ぶれ補正軌跡算出部を構成している。【０１８９】
手ぶれ補正部１３７は、手ぶれ軌跡算出部１３６によって算出された手ぶれ軌跡に基づき、撮像部６２が撮像した被写体像を手ぶれ補正するようになっている。なお、手ぶれ補正部１３７は、本発明の手ぶれ補正軌跡算出部および手ぶれ補正画像生成部を構成している。【０１９０】
次に、本実施の形態に係る撮像装置６の動作について図１９を用いて説明する。なお、図１９に示すように、本実施の形態に係る撮像装置６のステップのうち、ステップＳ１３１〜１３４は、第３の実施の形態に係る撮像装置３の動作におけるステップＳ６１〜６４（図１０参照）と同様であるので説明を省略する。【０１９１】
ステップＳ１３４においてモード設定部１３２が撮像モードに設定された後、手ぶれ軌跡算出処理が実行される（ステップＳ１３５）。この手ぶれ軌跡算出処理について図２０を用いて説明する。なお、動作を分かり易く説明するため、ここでは短露光時間による撮像を３回行う場合を例に挙げて説明するが、本発明はこれに限定されるものではなく、短露光時間による撮像を複数回行うものであればよい。【０１９２】
まず、モード設定部１３２によって、イメージセンサ６２ａを短露光時間で露光させるよう電子シャッタ６２ｂが制御され、短露光時間による第１回目の撮像が実行される（ステップＳ１４１）。【０１９３】
次いで、モード設定部１３２によって、高周波領域検出部１３３のメモリに格納された高周波領域情報が読み出され、短露光時間で撮像された第１回目の撮像データのうち、高周波領域に該当する撮像データを出力するよう撮像部６２が制御される。その結果、撮像された第１回目の撮像データは、イメージセンサ６２ａからＡＤＣ１３１に出力され、ＡＤＣ１３１によってＡＤ変換され、モード設定部１３２を介し、手ぶれ軌跡算出部１３６に出力され、手ぶれ軌跡算出部１３６によって第１メモリ１３４ａに格納される（ステップＳ１４２）。【０１９４】
続いて、ステップＳ１４１と同様に、短露光時間による第２回目の撮像が実行される（ステップＳ１４３）。【０１９５】
さらに、ステップＳ１４２と同様に、短露光時間で撮像された第２回目の撮像データのうち、高周波領域に該当する撮像データが、手ぶれ軌跡算出部１３６によって第２メモリ１３４ｂに格納される（ステップＳ１４４）。【０１９６】
引き続き、動きベクトル検出部１３５によって、第１メモリ１３４ａに格納された第１回目の撮像データと、第２メモリ１３４ｂに格納された第２回目の撮像データとが比較され、動きベクトルが検出され、動きベクトル値が取得される（ステップＳ１４５）。この動きベクトル値のデータは、動きベクトル検出部１３５のメモリに格納される。【０１９７】
次いで、手ぶれ軌跡算出部１３６によって、第１メモリ１３４ａに格納された第１回目の撮像データと、第２メモリ１３４ｂに格納された第２回目の撮像データとが加算され、加算された撮像データが蓄積用メモリ１３４ｃに格納される（ステップＳ１４６）。【０１９８】
続いて、ステップＳ１４１と同様に、短露光時間による第３回目の撮像が実行される（ステップＳ１４７）。【０１９９】
さらに、ステップＳ１４２と同様に、短露光時間で撮像された第３回目の撮像データのうち、高周波領域に該当する撮像データが、手ぶれ軌跡算出部１３６によって第１メモリ１３４ａに格納される（ステップＳ１４８）。【０２００】
引き続き、ステップＳ１４５と同様に、動きベクトル検出部１３５によって、第１メモリ１３４ａに格納された第３回目の撮像データと、第２メモリ１３４ｂに格納された第２回目の撮像データとが比較され、動きベクトルが検出され、動きベクトル値が取得される（ステップＳ１４９）。【０２０１】
次いで、動きベクトル検出部１３５によって、ステップＳ１４５において取得された動きベクトル値のデータと、ステップＳ１４９において取得された動きベクトル値のデータとが加算され（ステップＳ１５０）、動きベクトル検出部１３５のメモリに格納される。加算後の動きベクトル値のデータは、動きベクトル検出部１３５によって、手ぶれ軌跡のデータとして手ぶれ軌跡算出部１３６に出力される。【０２０２】
そして、ステップＳ１４６と同様に、手ぶれ軌跡算出部１３６によって、第１メモリ１３４ａに格納された第３回目の撮像データと、第２メモリ１３４ｂに格納された第２回目の撮像データとが加算され、加算された撮像データが蓄積用メモリ１３４ｃに格納される（ステップＳ１５１）。この結果、蓄積用メモリ１３４ｃには、短露光時間で撮像された高周波領域に該当する３回分の撮像データが蓄積されたこととなる。以上で手ぶれ軌跡算出処理が終了し、撮像装置６の動作は、図１９のステップＳ１３６に進む。【０２０３】
引き続き、モード設定部１３２によって、撮像された全画素のデータを出力するよう撮像部６２が制御され、ＡＤＣ１３１およびモード設定部１３２を介し、全画素のデータが手ぶれ軌跡算出部１３６に出力される。手ぶれ補正部１３７においては、図１１（ｂ）に示すように、全画素のデータを読み出しながら、手ぶれ軌跡算出部１３６が取得した手ぶれ軌跡に基づき、例えば手ぶれ軌跡に相当する画素分だけ画素データを移動する処理により手ぶれ補正処理が行われ（ステップＳ１３６）、手ぶれにより生じた被写体像のぼけが補正される。ここで、高周波領域における画像の手ぶれ補正処理は、蓄積用メモリ１３４ｃに格納された撮像データに対して実行される。【０２０４】
なお、短露光時間で撮像した撮像データから高周波領域に該当する撮像データをイメージセンサ６２ａから読み出す際には、高周波領域に該当する画素領域において被写体の光信号の蓄積が行われないので、高周波領域の画像とその他の領域の画像とでレベル差が生じることがある。その場合は、例えば、レベル差に応じた補正値を高周波領域に該当する撮像データに乗算することにより、両者のレベル差を低減することができる。【０２０５】
次いで、手ぶれ補正処理が行われた撮像データが信号処理部１３８に出力され、信号処理部１３８によって所定のフォーマットの画像データに変換されて記録装置６４および表示装置６５に出力される。【０２０６】
そして、記録装置６４によって、手ぶれ補正処理が行われた撮像データが記録され、表示装置６５によって、手ぶれ補正処理が行われた被写体像が表示される（ステップＳ１３７）。なお、引き続き撮像を行う場合は、撮像装置６の動作は、ステップＳ１３１に戻る。【０２０７】
以上のように、本実施の形態に係る撮像装置６によれば、手ぶれ補正部１３７は、複数の短時間露光画像間における手ぶれ軌跡に基づいて被写体像の手ぶれを補正する構成としたので、従来のもののように、手ぶれ軌跡を検出するための専用装置を必要とせず、従来のものよりも小型化および低コスト化を図ることができる。【０２０８】
また、本実施の形態に係る撮像装置６によれば、高周波領域検出部１３３が検出した高周波領域における短時間露光画像のデータをメモリ部１３４に格納する構成としたので、例えば１フレーム分の撮像データを格納するものよりもメモリ容量を大幅に低減でき、メモリを小型化することができる。その結果、撮像装置６は、従来のものよりも小型化、軽量化および低コスト化を図ることができる。【０２０９】
以上に説明した本発明の第１ないし第６の実施の形態において、各実施の形態の機能を組み合わせて本発明の撮像装置を構成してもよい。なお、各実施の形態の機能を組み合わせた態様については、本発明の第１ないし第６の実施の形態に基づいて容易に想到できるため、説明を省略する。
【産業上の利用可能性】
【０２１０】
以上のように、本発明に係る撮像装置は、従来のものよりも小型化および低コスト化を図ることができるという効果を有し、固体撮像素子を用いて被写体を撮像する際に手ぶれにより生じる被写体像のぼけを補正する撮像装置等として有用である。
【図１】
2007119680.tif 000020
【図２】
2007119680.tif 000021
【図３】
2007119680.tif 000022
【図４】
2007119680.tif 000023
【図５】
2007119680.tif 000024
【図６】
2007119680.tif 000025
【図７】
2007119680.tif 000026
【図８】
2007119680.tif 000027
【図９】
2007119680.tif 000028
【図１０】
2007119680.tif 000029
【図１１】
2007119680.tif 000030
【図１２】
2007119680.tif 000031
【図１３】
2007119680.tif 000032
【図１４】
2007119680.tif 000033
【図１５】
2007119680.tif 000034
【図１６】
2007119680.tif 000035
【図１７】
2007119680.tif 000036
【図１８】
2007119680.tif 000037
【図１９】
2007119680.tif 000038
【図２０】
2007119680.tif 000039
【手続補正書】
【提出日】平成20年2月12日(2008.2.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
受光面に結像した画像を撮像する撮像素子と、
前記撮像素子により異なる露光時間で撮像された少なくとも２枚の画像に基づいて画像の手ぶれを補正する手ぶれ補正部と、
手ぶれ補正後の画像である手ぶれ補正画像を出力する出力部とを備えた撮像装置。
【請求項２】
前記手ぶれ補正部は、
前記撮像素子を適正露光時間露光して適正露光画像を取得する適正露光画像取得部と、
前記撮像素子を前記適正露光時間より短い時間露光して短時間露光画像を取得する短時間露光画像取得部と、
前記適正露光画像および前記短時間露光画像に基づいて、前記適正露光画像に対する手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部と、
前記適正露光画像と前記手ぶれ補正軌跡とに基づいて、手ぶれ補正画像を生成する手ぶれ補正画像生成部とを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、複数の画素からなる画素領域を含み、
前記適正露光画像取得部および前記短時間露光画像取得部は、前記画素領域の一部をなす特定領域から前記適正露光画像および前記短時間露光画像をそれぞれ取得することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記適正露光画像取得部および前記短時間露光画像取得部は、前記特定領域のデータだけを前記撮像素子から読み出すことによって、前記適正露光画像および前記短時間露光画像をそれぞれ取得することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画素領域のうち所定の空間周波数以上の高周波領域を前記特定領域として検出する高周波領域検出部を備えたことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記短時間露光画像が取得されてから所定の短時間後に前記画素領域の全ての画素をリセットする画素リセット部を備えたことを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記手ぶれ補正軌跡算出部は、
前記適正露光画像および前記短時間露光画像をフーリエ変換し、前記フーリエ変換後の短時間露光画像を前記フーリエ変換後の適正露光画像で除することによって、周波数領域における前記手ぶれ補正軌跡を算出することを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記手ぶれ補正軌跡算出部は、
前記適正露光画像および前記短時間露光画像をフーリエ変換し、前記フーリエ変換後の適正露光画像を前記フーリエ変換後の短時間露光画像で除して手ぶれ軌跡を算出し、算出した手ぶれ軌跡を細線化し、細線化した手ぶれ軌跡に基づいて、周波数領域における前記手ぶれ補正軌跡を算出することを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記手ぶれ補正画像生成部は、前記周波数領域における手ぶれ補正軌跡を逆フーリエ変換して、前記逆フーリエ変換後の手ぶれ補正軌跡と前記適正露光画像取得部によって取得された適正露光画像とを畳み込み積分することによって、前記手ぶれ補正画像を生成することを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記手ぶれ補正画像生成部は、前記手ぶれ補正軌跡算出部によってフーリエ変換された適正露光画像と前記周波数領域における手ぶれ補正軌跡とを乗算し、乗算した結果を逆フーリエ変換することによって、前記手ぶれ補正画像を生成することを特徴とする請求項７に記載の撮像装置。
【請求項１１】
前記手ぶれ補正軌跡算出部は、
前記適正露光画像および前記短時間露光画像に空間解像度変換を施して縮小する画像縮小部と、
前記画像縮小部によってそれぞれ縮小された適正露光画像および短時間露光画像に基づいて、該適正露光画像を手ぶれ補正する縮小画像補正部と、
前記画像縮小部によって縮小された適正露光画像と前記縮小画像補正部によって補正された適正露光画像との差分から得られる差分画像を算出する差分画像算出部とを有し、
前記手ぶれ補正画像生成部は、
前記差分画像を拡大し、拡大した差分画像を前記適正露光画像取得部に取得された適正露光画像に加算する差分画像拡大加算部を有することを特徴とする請求項２に記載の撮像装置。
【請求項１２】
前記手ぶれ補正部は、前記適正露光画像および前記短時間露光画像に含まれる雑音を除去する雑音除去部を有し、
前記手ぶれ補正軌跡算出部は、雑音除去後の前記適正露光画像および前記短時間露光画像に基づいて前記手ぶれ補正軌跡を算出することを特徴とする請求項２に記載の撮像装置。
【請求項１３】
前記雑音除去部は、遮断周波数が５〜２０ヘルツである高域遮断フィルタによって構成されることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記手ぶれ補正部は、
前記撮像素子を所定の短い時間露光して複数の短時間露光画像を取得する短時間露光画像取得部と、
前記複数の短時間露光画像に基づいて、何れかの短時間露光画像を対象とした手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部と、
前記対象とした短時間露光画像と前記手ぶれ補正軌跡とに基づいて、手ぶれ補正画像を生成する手ぶれ補正画像生成部とを有することを特徴とする請求項１に記載の撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば固体撮像素子を用いて被写体を撮像する際に手ぶれにより生じる被写体像のぼけを補正する撮像装置に関する。
【背景技術】
【０００２】
従来、この種の撮像装置としては、例えば特許文献１に示されたものが知られている。特許文献１に示されたものは、被写体を撮像する撮像素子と、撮像素子を搭載するステージと、ステージを駆動するボイスコイルモータと、被写体像に生じる手ぶれ量を検出する角速度センサとを備え、角速度センサが検出した手ぶれ量に応じて、撮像素子が搭載されたステージをボイスコイルモータにより駆動することによって、手ぶれにより生じる被写体像のぼけを抑えることができるようになっている。
【０００３】
【特許文献１】特開２００５−１８４１２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示されたものは、手ぶれ量を検出するため、角速度センサ、ステージおよびボイスコイルモータ等を含む専用装置を本体に内蔵させる構成なので、小型化および低コスト化を図ることが困難であるという課題があった。したがって、特許文献１に示されたものは、より安価で小型軽量化が望まれるデジタルスチルカメラや携帯電話用カメラに搭載できるものではなかった。
【０００５】
本発明は、従来の課題を解決するためになされたものであり、従来のものよりも小型化および低コスト化を図ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、受光面に結像した画像を撮像する撮像素子と、前記撮像素子により異なる露光時間で撮像された少なくとも２枚の画像に基づいて画像の手ぶれを補正する手ぶれ補正部と、手ぶれ補正後の画像である手ぶれ補正画像を出力する出力部とを備えている。
【発明の効果】
【０００７】
本発明は、従来のものよりも小型化および低コスト化を図ることができるという効果を有する撮像装置を提供することができるものである。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態の手ぶれ補正機能付き撮像装置について、図面を用いて説明する。
【０００９】
なお、本明細書において、「手ぶれ補正軌跡」は「周波数領域手ぶれ補正軌跡」と「時間領域手ぶれ補正軌跡」の総称である。
【００１０】
（第１の実施の形態）
本発明の第１の実施の形態の手ぶれ補正機能付き撮像装置１は、図１のブロック図に示すように、レンズ１１を介して受光面に結像した画像を撮像する撮像素子１２と、撮像素子１２により異なる露光時間で撮像した少なくとも２枚の画像に基づいて画像の手ぶれを補正する手ぶれ補正部１３と、手ぶれ補正後の画像である手ぶれ補正画像を出力する出力部１４を含む。
【００１１】
そして、手ぶれ補正部１３は、撮像素子１２を適正な撮像条件から定まる適正露光時間だけ露光して適正露光画像ｉaを取得する適正露光画像取得部２１と、撮像素子１２を適正露光時間より短い時間露光して短時間露光画像ｉsを取得する短時間露光画像取得部２２と、適正露光画像ｉaおよび短時間露光画像ｉsに基づいて適正露光画像ｉaに対する手ぶれ補正軌跡を算出する手ぶれ補正軌跡算出部２３と、適正露光画像ｉaと手ぶれ補正軌跡とに基づいて、手ぶれ補正画像ｉcを生成する手ぶれ補正画像生成部２４とを含む。
【００１２】
図２は本発明の手ぶれ補正機能付き撮像装置１のハードウエア構成を示すブロック図であって、被写体ＯＪの光学像を形成するレンズ１１と、光学像が結像する撮像素子１２と、撮像素子１２を制御する駆動部３１と、撮像された画像を記録する記録部３２と、撮像された画像を表示する表示部３３と、操作指令を入力するポインティング部３４と、撮像装置１を制御するマイクロプロセッサ部３５とから構成される。なお、記録部３２または表示部３３は、本発明の出力部を構成している。
【００１３】
そして、マイクロプロセッサ部３５は、撮像素子１２から出力される画像信号を読み込む画像信号読み込みインターフェイス（Ｉ／Ｆ）４１と、駆動部３１に制御指令を出力する制御指令出力Ｉ／Ｆ４２と、処理を実行するＣＰＵ４３と、記録部３２および表示部３３に画像信号を出力する画像信号出力Ｉ／Ｆ４４と、処理プログラムを記憶するメモリ４５と、ポインティング部３４から操作指令を読み込む操作指令読み込みＩ／Ｆ４６とを含む。
【００１４】
即ち、マイクロプロセッサ部３５のメモリ４５に手ぶれ補正プログラムをインストールすることにより撮像装置１に手ぶれ補正機能を組み込むことが可能となる。
【００１５】
図３は手ぶれ補正プログラムのフローチャートであって、まずＣＰＵ４３は手ぶれ補正ルーチンを実行（ステップＳ１１）し、次に手ぶれ補正画像ｉcを記録部３２および表示部３３に出力（ステップＳ１２）してこのプログラムを終了する。
【００１６】
図４はステップＳ１１で実行される第１の手ぶれ補正ルーチンのフローチャートであって、まずＣＰＵ４３は適正露光時間より短い露光時間で撮像された短時間露光画像ｉsを取得（ステップＳ２１）し、次にＣＰＵ４３は適正露光時間で撮像された適正露光画像ｉaを取得（ステップＳ２２）する。取得順は、ｉa、ｉsの順でも良い。
【００１７】
なお、短時間露光画像ｉsおよび適正露光画像ｉaは、メカニカルシャッタまたは電子シャッタを使用して撮像された短時間露光画像および適正露光画像が撮像素子１２で画像信号に変換され、画像信号読み込みＩ／Ｆ４１を介してデジタルデータとして読み込まれるものである。
【００１８】
その後、ＣＰＵ４３は手ぶれ補正軌跡を算出（ステップＳ２３）し、手ぶれ補正画像ｉcを生成（ステップＳ２４）するが、詳細は後述する。
【００１９】
図５は、ＣＰＵ４３がステップＳ２３で実行する手ぶれ補正軌跡算出ルーチンのフローチャートであって、まずＣＰＵ４３は短時間露光画像ｉsをフーリエ変換して周波数領域短時間露光画像Ｉsを生成（ステップＳ３１）する。即ち、短時間露光画像ｉsと周波数領域短時間露光画像Ｉsとの間には［数１］が成立する。
【数１】
2007119680.tif 000040
【００２０】
次に、ＣＰＵ４３は適正露光画像ｉaをフーリエ変換して周波数領域適正露光画像Ｉaを生成（ステップＳ３２）する。
【００２１】
即ち、適正露光画像ｉaと周波数領域適正露光画像Ｉaとの間には［数２］が成立する。
【数２】
2007119680.tif 000041
【００２２】
そして、ＣＰＵ４３は周波数領域短時間露光画像Ｉsを周波数領域適正露光画像Ｉaで除算して、周波数領域手ぶれ補正軌跡Ｇを算出（ステップＳ３３）する。即ち、ステップＳ３３の処理は［数３］により表すことができる。
【数３】
2007119680.tif 000042
【００２３】
ここで、適正露光画像ｉaに含まれる手ぶれ軌跡をｈとすると［数４］が成立する。
【数４】
2007119680.tif 000043
【００２４】
また、適正露光時間よりも短い露光時間で撮像された短時間露光画像ｉsには手ぶれが含まれないものとみなすと、［数５］が成立する。
【数５】
2007119680.tif 000044
【００２５】
［数４］および［数５］を［数３］に代入すると、［数６］が成立する。
【数６】
2007119680.tif 000045
【００２６】
即ち、ステップＳ３３で算出された周波数領域手ぶれ補正軌跡Ｇは、周波数領域手ぶれ軌跡Ｈの逆数となる。
【００２７】
図６は、ＣＰＵ４３がステップＳ２４で実行する手ぶれ補正画像生成ルーチンのフローチャートであって、まずＣＰＵ４３は周波数領域手ぶれ補正軌跡Ｇを逆フーリエ変換し、時間領域手ぶれ補正軌跡ｇを算出（ステップＳ４１）する。
【００２８】
即ち、周波数領域手ぶれ補正軌跡Ｇと時間領域手ぶれ補正軌跡ｇの間には［数７］が成立する。
【数７】
2007119680.tif 000046
【００２９】
次に、ＣＰＵ４３は、適正露光画像ｉaに時間領域手ぶれ補正軌跡ｇを畳み込んで、手ぶれ補正画像ｉcを生成（ステップＳ４２）する。
【００３０】
ここで、ステップＳ４２の処理は［数８］で表すことができる。
【数８】
2007119680.tif 000047
【００３１】
従って、手ぶれ補正画像ｉcは手ぶれ無し画像ｉとなり、適正露光画像ｉaから手ぶれを除去できることとなる。
【００３２】
なお、周波数領域適正露光画像Ｉaと周波数領域手ぶれ補正軌跡Ｇとの乗算結果を逆フーリエ変換することによっても手ぶれ補正画像ｉcを生成できることは、［数９］から明らかである。
【数９】
2007119680.tif 000048
【００３３】
以上説明したように、第１の実施の形態に係る手ぶれ補正機能付き撮像装置１によれば、適正露光画像と短時間露光画像とに基づいて手ぶれ補正軌跡を算出し、適正露光画像と手ぶれ補正軌跡とに基づいて適正露光画像の手ぶれを除去することが可能となる。
【００３４】
（第２の実施の形態）
上記の第１の実施の形態にあっては、短時間露光画像には手ぶれが含まれていないと仮定しているが、雑音は重畳する。さらに、適正露光画像にも雑音は重畳する。
【００３５】
短時間露光画像の撮像時には、露光不足を補うために電子回路の感度が増加するため雑音の強度は大きくなり、短時間露光画像の画質は大きく劣化する。
【００３６】
また、適正露光画像の撮像時には、強度は小さいものの適正露光画像に雑音が重畳することを回避できない。
【００３７】
第２の実施の形態に係る手ぶれ補正機能付き撮像装置は、この課題を解決するために画像から雑音を除去する機能をさらに備えている。
【００３８】
図７は、本発明の第２の実施の形態の手ぶれ補正機能付き撮像装置２のブロック図である。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、同一の構成要素には同一の符号を付して説明を省略する。
【００３９】
図７において、手ぶれ補正機能付き撮像装置２は、第１の実施の形態で示した構成に加えて、適正露光画像および短時間露光画像に含まれる雑音を除去する雑音除去部５１を備える。
【００４０】
なお、第２の実施の形態に係る手ぶれ補正機能付き撮像装置２のハードウエア構成は、第１の実施の形態と同一であり、マイクロプロセッサ部３５にインストールするプログラムの一部だけが相違する。
【００４１】
図８は図４の第１の手ぶれ補正ルーチンに代えてマイクロプロセッサ部３５にインストールする第２の手ぶれ補正ルーチンのフローチャートであって、第１の手ぶれ補正ルーチンのステップＳ２２とステップＳ２３の間にステップＳ５１およびステップＳ５２が挿入される。
【００４２】
ＣＰＵ４３は、まず短時間露光画像ｉsを取得（ステップＳ５１）し、続いて適正露光画像ｉaを取得（ステップＳ５２）する。
【００４３】
ここで、短時間露光画像ｉsに含まれる雑音をｎsとし、適正露光画像ｉaに含まれる雑音をｎaとすると、［数１０］が成立する。
【数１０】
2007119680.tif 000049
【００４４】
ＣＰＵ４３は、短時間露光画像ｉsおよび適正露光画像ｉaに雑音除去部５１である高域遮断フィルタをかけ、雑音を除去（ステップＳ５３およびステップＳ５４）する。
【００４５】
高域遮断フィルタの特性をｒとすると、雑音除去後の短時間露光画像（以下、雑音除去後短時間露光画像という。）ｉsrおよび雑音除去後の適正露光画像（以下、雑音除去後適正露光画像という。）ｉarは［数１１］で表される。
【数１１】
2007119680.tif 000050
【００４６】
次に、ＣＰＵ４３は手ぶれ補正軌跡を算出（ステップＳ５５）するが、手ぶれ補正軌跡算出ルーチンは第１の実施の形態と同一であり、そのフローチャートは図５と同様である。
【００４７】
ＣＰＵ４３は、まず雑音除去後短時間露光画像ｉsrをフーリエ変換して周波数領域雑音除去後短時間露光画像Ｉsrを生成（ステップＳ３１）し、次に雑音除去後適正露光画像ｉarをフーリエ変換して周波数領域雑音除去後適正露光画像Ｉarを生成（ステップＳ３２）する。
【００４８】
即ち、ステップＳ３１およびステップＳ３２の処理は［数１２］により表される。
【数１２】
2007119680.tif 000051
【００４９】
雑音はランダムに発生し大部分が高周波域に存在し、高域遮断フィルタにより除去されるので、［数１２］は［数１３］で近似できる。
【数１３】
2007119680.tif 000052
【００５０】
なお、高域遮断フィルタの遮断周波数を５〜２０ヘルツとすれば、周波数領域手ぶれ軌跡Ｈを除去することなく、雑音を除去することができるので好ましい。
【００５１】
ＣＰＵ４３は、周波数領域雑音除去後短時間露光画像Ｉsrを周波数領域雑音除去後適正露光画像Ｉarで除して周波数領域手ぶれ補正軌跡Ｇを算出（ステップＳ３３）する。即ち、ステップＳ３１およびステップＳ３２の処理は［数１４］により表される。
【数１４】
2007119680.tif 000053
【００５２】
最後に、ＣＰＵ４３は手ぶれ補正画像ｉcを生成（ステップＳ５６）するが、手ぶれ補正画像生成ルーチンは第１の実施の形態と同一であり、そのフローチャートは図６と同様である。
【００５３】
即ち、ＣＰＵ４３は、周波数領域手ぶれ補正軌跡Ｇを逆フーリエ変換して時間領域手ぶれ補正軌跡ｇを算出（ステップＳ４１）し、適正露光画像ｉaに時間領域補正軌跡ｇを畳み込んで手ぶれ補正画像ｉcを生成（ステップＳ４２）する。なお、ステップＳ４２の処理は［数１５］で表される。
【数１５】
2007119680.tif 000054
【００５４】
ここで、ｎa*ｇは、ノイズｎaに手ぶれ補正軌跡を畳み込んだノイズとなるが、その大きさは［数１６］とみなしても良い。
【数１６】
2007119680.tif 000055
【００５５】
従って、手ぶれ補正画像ｉcは手ぶれ無し画像ｉに雑音ｎa*ｇが重畳した画像となるが、前述したように、雑音ｎaの強度は弱いため、雑音ｎa*ｇもその強度は弱く、画質を大きく劣化させることはない。
【００５６】
なお、第１の実施の形態と同様に、周波数領域適正露光画像Ｉaと周波数領域手ぶれ補正軌跡Ｇとの乗算結果を逆フーリエ変換することによっても手ぶれ補正画像ｉcを生成できることは、［数１７］から明らかである。
【数１７】
2007119680.tif 000056
【００５７】
以上説明したように、第２の実施の形態によれば、短時間露光画像に含まれる雑音の影響を排除して手ぶれを補正することが可能となる。
【００５８】
（第３の実施の形態）
まず、本発明の第３の実施の形態に係る撮像装置の構成について説明する。
【００５９】
図９に示すように、本実施の形態に係る撮像装置３は、被写体からの光を集光するレンズ６１と、被写体を撮像する撮像部６２と、利用者が撮像時に操作するシャッタボタン６３と、撮像された被写体像を画像処理する画像処理装置７０と、被写体像のデータを記録する記録装置６４と、被写体像を表示する表示装置６５とを備えている。なお、以下の記載において、撮像された被写体像のデータを以下、単に「撮像データ」という。
【００６０】
レンズ６１は、被写体からの光を集光し、撮像部６２に出射するようになっている。シャッタボタン６３は、利用者が撮像時に押下したとき、その旨を示す信号をモード設定部７２（後述）に出力するようになっている。
【００６１】
記録装置６４は、例えば半導体メモリを備え、撮像データを記録するようになっている。表示装置６５は、例えば液晶パネルを備え、撮像された被写体像を表示するようになっている。なお、記録装置６４または表示装置６５は、本発明の出力部を構成している。
【００６２】
撮像部６２は、レンズ６１が集光した被写体光を電気信号に光電変換するイメージセンサ６２ａと、イメージセンサ６２ａの露光時間を設定する電子シャッタ６２ｂとを備えている。なお、撮像部６２は、本発明の短時間露光画像取得部および適正露光画像取得部を構成している。
【００６３】
イメージセンサ６２ａは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化物半導体）センサ等の固体撮像素子で構成され、所定数の画素を備えている。電子シャッタ６２ｂは、モード設定部７２からの制御信号に基づき、イメージセンサ６２ａの露光時間を設定するようになっている。なお、イメージセンサ６２ａは、本発明の撮像素子を構成している。
【００６４】
画像処理装置７０は、イメージセンサ６２ａが出力するアナログ信号をデジタル信号に変換するアナログデジタルコンバータ（以下「ＡＤＣ」という。）７１と、シャッタボタン６３の状態に基づいてモードが設定されるモード設定部７２と、高周波領域を検出する高周波領域検出部７３と、撮像データを格納するメモリ部７４と、手ぶれ軌跡を算出する手ぶれ軌跡算出部７５と、手ぶれの補正処理を行う手ぶれ補正部７６と、所定の信号処理を行う信号処理部７７とを備えている。なお、画像処理装置７０は、例えばデジタル信号プロセッサで構成される。
【００６５】
ＡＤＣ７１は、イメージセンサ６２ａが撮像した撮像データをＡＤ変換してモード設定部７２に出力するようになっている。
【００６６】
モード設定部７２は、利用者がシャッタボタン６３を押下した際にシャッタボタン６３から出力される信号を受信したとき、モニタモードおよび撮像モードのいずれかに設定されるようになっている。ここで、モニタモードとは、利用者がシャッタボタン６３を押下していない状態において、撮像部６２が撮像した被写体像を動画像として表示装置６５に表示するモードをいう。また、撮像モードとは、利用者がシャッタボタン６３を押下した際に被写体を撮像し、被写体の静止画像を取得するモードをいう。
【００６７】
また、モード設定部７２は、撮像モードにおいて、所定の短露光時間または所定の適正露光時間でイメージセンサ６２ａが撮像するよう電子シャッタ６２ｂを制御することができるようになっている。ここで、短露光時間とは、手ぶれが発生せず、かつ、撮像信号がノイズに埋もれず取得できるよう、適正露出による通常の撮像時間よりも短く定められた時間をいう。また、適正露光時間とは、被写体光に応じた適正露出をイメージセンサ６２ａに与えるために定められた時間をいう。
【００６８】
一方、モード設定部７２は、モニタモードにおいて、イメージセンサ６２ａが適正露光時間で被写体を撮像するよう電子シャッタ６２ｂを制御し、動画像を表示装置６５に表示させるようになっている。なお、表示装置６５が液晶パネルで構成されている場合、一般に用いられる液晶パネルの解像度はイメージセンサ６２ａの解像度よりも低いので、モード設定部７２は、イメージセンサ６２ａの画素データを間引いて読み出したり、画素データを複数の画素毎に混合したりすることによりフレームレートの向上を図って動画を液晶パネルに表示させるのが好ましい。
【００６９】
また、モード設定部７２は、イメージセンサ６２ａの各画素に蓄積された信号をリセットするための制御信号を撮像部６２に出力できるようになっている。また、モード設定部７２は、イメージセンサ６２ａの全画素領域のうち所定の画素領域における撮像データをイメージセンサ６２ａから読み出してＡＤＣ７１に出力するための制御信号を撮像部６２に出力できるようになっている。なお、モード設定部７２は、本発明の短時間露光画像取得部、適正露光画像取得部および画素リセット部を構成している。
【００７０】
高周波領域検出部７３は、例えば所定の空間周波数以上の信号成分を通過させるハイパスフィルタで構成されており、モニタモードにおいて、被写体が撮像される全画素領域のうち所定の空間周波数以上の画素領域（以下「高周波領域」という。）を検出するようになっている。すなわち、高周波領域検出部７３は、モニタモードにおいて、イメージセンサ６２ａが有する画素領域のうち被写体像の動きが比較的大きく表れる領域を検出することができるようになっている。また、高周波領域検出部７３は、検出した高周波領域を示す高周波領域情報を格納するメモリ（図示省略）を備えている。
【００７１】
メモリ部７４は、短露光時間で撮像された被写体像（以下「短時間露光画像」という。）のデータを格納する短露光用メモリ７４ａと、適正露光時間で撮像された被写体像（以下「適正露光画像」という。）のデータを格納する適正露光用メモリ７４ｂとを備えている。
【００７２】
手ぶれ軌跡算出部７５は、撮像モードにおいて、短時間露光画像および適正露光画像の高周波領域における撮像データをそれぞれ短露光用メモリ７４ａおよび適正露光用メモリ７４ｂに格納し、両者の撮像データを比較して手ぶれ軌跡を算出するようになっている。例えば、手ぶれ軌跡算出部７５は、適正露光画像のデータに対するフーリエ変換後のデータを、短時間露光画像のデータに対するフーリエ変換後のデータで除算し、除算して得られたデータを逆フーリエ変換することにより、手ぶれ軌跡を算出するようになっている。なお、手ぶれ軌跡算出部７５は、本発明の手ぶれ補正軌跡算出部を構成している。
【００７３】
手ぶれ補正部７６は、手ぶれ軌跡算出部７５によって算出された手ぶれ軌跡に基づいて適正露光時間で撮像された被写体像を手ぶれ補正するようになっている。例えば、手ぶれ補正部７６は、手ぶれ軌跡算出部７５によって算出された手ぶれ軌跡の逆行列から得られる手ぶれ補正軌跡と、適正露光画像のデータとを畳み込む演算処理によって、被写体像を手ぶれ補正するようになっている。なお、手ぶれ補正部７６は、本発明の手ぶれ補正軌跡算出部および手ぶれ補正画像生成部を構成している。
【００７４】
信号処理部７７は、モニタモードにおいて、撮像された被写体像を表示装置６５に表示するための信号処理を行うようになっている。また、信号処理部７７は、撮像モードにおいて、手ぶれ補正された撮像データを記録装置６４に記録するための信号処理と、手ぶれ補正された被写体の画像を表示装置６５に表示するための信号処理とを行うようになっている。
【００７５】
次に、手ぶれ軌跡算出部７５および手ぶれ補正部７６による手ぶれ補正の一例について、数式を用いて具体的に説明する。
【００７６】
短時間露光画像のデータをｉｓ、適正露光画像のデータをｉｌ、適正露光画像の手ぶれ軌跡をｈとする。手ぶれのない理想的な被写体像のデータをｉとすると、ｉｌはｉがｈというＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ：点像分布関数）を持ったぶれ方をしている画像データなので、次式で表すことができる。なお、記号「＊」は畳み込み演算子を示す。
【００７７】
il = i*h             （１）
【００７８】
次に、ｉ、ｉｓ、ｉｌ、ｈのフーリエ変換を、それぞれ、Ｉ、ＩＳ、ＩＬ、Ｈと表すと次式の関係となる。ここで、Ｆはフーリエ変換を表し、Ｆ−１は逆フーリエ変換を表す。
【００７９】
F(i) = I             （２）
F(is) = IS           （３）
F(il) = IL           （４）
F(h) = H             （５）
F−１(I) = i           （６）
F−１(IS) = is         （７）
F−１(IL) = il         （８）
F−１(H) = h           （９）
【００８０】
短時間露光画像のデータｉｓに対するフーリエ変換後のデータＦ(ｉｓ)を、適正露光画像のデータｉｌに対するフーリエ変換後のデータＦ(ｉｌ)で除算すると、次式が得られる。
【００８１】
F(is)/F(il) = F(is)/F(i*h) = IS/(I×H)               （１０）
【００８２】
短時間露光画像が、手ぶれのない理想的な被写体像と同じ画像となっていると仮定すると、ｉｓ＝ｉであるからＩＳ＝Ｉとなり、これを式（１０）に代入すると次式が得られる。
【００８３】
F(is)/F(il) = F(i)/F(i*h) = I/(I×H) = 1/H = H−１      （１１）
【００８４】
ここで、Ｈ−１はＨの逆行列を示し、ｈの逆行列をｈ−１で表すと次式となる。
【００８５】
F(1/h) = F(h−１) = 1/H = H−１            （１２）
F−１(1/H) = F−１(H−１) = 1/h = h−１         （１３）
【００８６】
次に、短時間露光画像のデータｉｓに対するフーリエ変換後のデータＦ(ｉｓ)を、適正露光画像のデータｉｌに対するフーリエ変換後のデータＦ(ｉｌ)で除算したとき、除算して得られたデータの逆フーリエ変換後のデータを補正軌跡ｇとすると、補正軌跡ｇは式（１１）の逆フーリエ変換であるので、次式が得られる。
【００８７】
g = F−１(H−１) = h−１                      （１４）
【００８８】
したがって、補正軌跡ｇと短時間露光画像のデータｉｌとの畳み込みは次式で表され、手ぶれのない理想的な被写体像のデータｉを算出することができる。
【００８９】
g*il = h−１*i*h = i*(h−１*h) = i         （１５）
【００９０】
以上のように、本実施の形態に係る撮像装置３は、手ぶれを補正した被写体像を取得することができる。なお、前述の方法でＰＳＦを求めた後に、例えば、手ぶれ軌跡データから手ぶれ補正行列を生成し、生成された手ぶれ補正行列と手ぶれ画像とから手ぶれ補正を行うための信号を生成して手ぶれ補正を行うこともできる。
【００９１】
次に、本実施の形態に係る撮像装置３の動作について図９〜１１を用いて説明する。
【００９２】
まず、モード設定部７２は、モニタモードに設定される（ステップＳ６１）。モード設定部７２がモニタモードに設定されることにより、撮像部６２からの撮像データは、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、高周波領域検出部７３および信号処理部７７に入力される。
【００９３】
高周波領域検出部７３に入力された撮像データに対しては、高周波領域を検出する処理が実行される（ステップＳ６２）。具体的には、例えば図１１（ａ）に示すように、高周波領域検出部７３は、被写体が撮像される領域である全画素領域８０から、高周波領域８１と、高周波領域８１よりも低い空間周波数の低周波領域８２および８３とを検出し、高周波領域８１の範囲を示す高周波領域情報をメモリに格納する。
【００９４】
一方、信号処理部７７に入力された撮像データに対しては、例えば所定のフォーマットの画像データに変換される画像処理が実行され、表示装置６５に動画像として表示される。
【００９５】
続いて、モード設定部７２によって、シャッタボタン６３が押下されたか否かが判断される（ステップＳ６３）。ここで、シャッタボタン６３が押下されたと判断されなかった場合は、撮像装置３の動作は、ステップＳ６２に戻る。
【００９６】
ステップＳ６３において、シャッタボタン６３が押下されたと判断された場合は、モード設定部７２は、撮像モードに設定される（ステップＳ６４）。
【００９７】
さらに、モード設定部７２によって、イメージセンサ６２ａが短露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が短露光時間で撮像される（ステップＳ６５）。
【００９８】
ここで、モード設定部７２は、高周波領域検出部７３のメモリに格納された高周波領域情報を読み出し、短露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する。その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、手ぶれ軌跡算出部７５に出力され、手ぶれ軌跡算出部７５によって短露光用メモリ７４ａに格納される（ステップＳ６６）。
【００９９】
引き続き、モード設定部７２によって、イメージセンサ６２ａに蓄積された全ての画素信号がリセットされる（ステップＳ６７）。
【０１００】
さらに、モード設定部７２によって、イメージセンサ６２ａが適正露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が適正露光時間で撮像される（ステップＳ６８）。
【０１０１】
ここで、モード設定部７２は、既に取得済みの高周波領域情報に基づいて、適正露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する。その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、手ぶれ軌跡算出部７５に出力され、手ぶれ軌跡算出部７５によって適正露光用メモリ７４ｂに格納される（ステップＳ６９）。
【０１０２】
さらに、手ぶれ軌跡算出部７５によって、短露光用メモリ７４ａに格納された短露光時間での撮像データと、適正露光用メモリ７４ｂに格納された適正露光時間での撮像データとに基づいて手ぶれ軌跡が算出される（ステップＳ７０）。
【０１０３】
なお、短露光時間の高周波領域に該当する撮像データをイメージセンサ６２ａより読み出してから、全ての画素信号のリセット処理を経て適正露光時間で撮像を開始するまでの時間は、できるだけ短時間（例えば１０〜２０ミリ秒程度）に設定するのが好ましい。この構成により、短時間露光画像と適正露光画像との間の撮像時間差がないため、手ぶれ軌跡算出部７５による画像比較が容易になり、かつ、静止画像の撮像時間の短縮化を図ることができる。
【０１０４】
引き続き、モード設定部７２によって、適正露光時間で撮像された全画素のデータを出力するよう撮像部６２が制御され、ＡＤＣ７１およびモード設定部７２を介し、全画素のデータが手ぶれ補正部７６に出力される。手ぶれ補正部７６においては、図１１（ｂ）に示すように、全画素のデータを読み出しながら、手ぶれ軌跡算出部７５が算出した手ぶれ軌跡に基づき、例えば手ぶれ軌跡に相当する画素分だけ画素データを移動する処理により手ぶれ補正処理が行われ（ステップＳ７１）、手ぶれにより生じた被写体像のぼけが補正される。ここで、高周波領域における画像の手ぶれ補正処理は、適正露光用メモリ７４ｂに格納された撮像データに対して実行される。
【０１０５】
なお、手ぶれ補正処理において、例えばイメージセンサ６２ａ内で生じる暗電流の影響により、高周波領域の画像とその他の領域の画像とでレベル差が生じている場合は、両者の撮像データを加算、またはレベル差に応じた補正値を乗算することにより、両者のレベル差を低減することができる。
【０１０６】
次いで、手ぶれ補正処理が行われた撮像データが信号処理部７７に出力され、信号処理部７７によって所定のフォーマットの画像データに変換されて記録装置６４および表示装置６５に出力される。
【０１０７】
そして、記録装置６４によって、手ぶれ補正処理が行われた撮像データが格納され、表示装置６５によって、手ぶれ補正処理が行われた被写体像が表示される（ステップＳ７２）。なお、引き続き撮像を行う場合は、撮像装置３の動作は、ステップＳ６１に戻る。
【０１０８】
以上のように、本実施の形態に係る撮像装置３によれば、手ぶれ軌跡算出部７５は、短時間露光画像と適正露光画像との比較結果に基づいて被写体像の手ぶれを補正する構成としたので、従来のもののように、手ぶれ軌跡を検出するための専用装置を必要とせず、従来のものよりも小型化および低コスト化を図ることができる。
【０１０９】
また、本実施の形態に係る撮像装置３によれば、高周波領域検出部７３が検出した高周波領域における短時間露光画像および適正露光画像のデータをメモリ部７４に格納する構成としたので、例えば１フレーム分の撮像データを格納するものよりもメモリ容量を大幅に低減でき、メモリを小型化することができる。その結果、撮像装置３は、従来の装置よりも小型化、軽量化および低コスト化を図ることができる。
【０１１０】
なお、前述の実施の形態において、イメージセンサ６２ａの露光時間を電子シャッタ６２ｂが制御する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、電子シャッタ６２ｂに代えてメカシャッタで露光時間を制御する構成としても同様の効果が得られる。
【０１１１】
（第４の実施の形態）
まず、本発明の第４の実施の形態に係る撮像装置の構成について説明する。なお、本実施の形態においては、本発明の第３の実施形態の撮像装置３の各構成要素と同一な構成要素については、同一の符号を付して説明を省略する。
【０１１２】
図１２に示すように、本実施の形態に係る撮像装置４は、本発明の第３の実施形態の撮像装置３に対して、画像処理装置７０の代わりに画像処理装置９０を備えている。
【０１１３】
画像処理装置９０は、イメージセンサ６２ａが出力するアナログ信号をデジタル信号に変換するＡＤＣ７１と、シャッタボタン６３の状態に基づいてモードが設定されるモード設定部７２と、高周波領域を検出する高周波領域検出部７３と、撮像データを格納するメモリ部７４と、撮像データが表す画像を縮小する画像縮小部９５と、手ぶれ軌跡を算出する手ぶれ軌跡算出部７５と、画像縮小部９５によって縮小された画像の手ぶれを補正する縮小画像補正部９６と、画像縮小部９５によって縮小された画像と縮小画像補正部９６によって補正された画像との差分画像を算出する差分画像算出部９７と、差分画像を拡大して撮像データが表す手ぶれを含む画像に加算する差分画像拡大加算部９８と、所定の信号処理を行う信号処理部７７とを備えている。
【０１１４】
画像縮小部９５は、撮像モードにおいて、短時間露光画像および適正露光画像の高周波領域にあたる撮像データに空間解像度変換を施すことによって、撮像データが表す各画像を所定の縮小率で縮小するようになっている。
【０１１５】
なお、本実施形態において、手ぶれ軌跡算出部７５は、画像縮小部９５によって空間解像度変換が施された撮像データをそれぞれ短露光用メモリ７４ａおよび適正露光用メモリ７４ｂに格納し、両者の撮像データを比較して手ぶれ軌跡を算出するようになっている。また、以下の説明においては、適正露光用メモリ７４ｂに格納された撮像データが表す画像を「縮小適正露光画像」という。
【０１１６】
縮小画像補正部９６は、手ぶれ軌跡算出部７５で算出された手ぶれ軌跡に基づいて、縮小適正露光画像を手ぶれ補正するようになっている。
【０１１７】
例えば、縮小画像補正部９６は、手ぶれ軌跡算出部７５で算出された手ぶれ軌跡の逆行列から得られる手ぶれ補正軌跡と、縮小適正露光画像のデータとを畳み込む演算処理によって、縮小適正露光画像の手ぶれ補正を行うようになっている。
【０１１８】
差分画像算出部９７は、縮小画像補正部９６によって手ぶれが補正された縮小適正露光画像と、適正露光用メモリ７４ｂに格納された撮像データが表す縮小適正露光画像との差分から得られる差分画像を算出するようになっている。
【０１１９】
なお、画像縮小部９５、縮小画像補正部９６および差分画像算出部９７は、本発明の手ぶれ補正軌跡算出部を構成している。
【０１２０】
差分画像拡大加算部９８は、差分画像算出部９７で算出された差分画像を拡大して、適正露光時間で撮像された撮像データに加算することによって、被写体像の手ぶれ補正を行うようになっている。ここで、差分画像拡大加算部９８が差分画像を拡大する際の拡大率は画像縮小部９５が画像を縮小するときの縮小率の逆数である。
【０１２１】
なお、差分画像拡大加算部９８は、本発明の手ぶれ補正画像生成部を構成している。
【０１２２】
次に、本実施の形態に係る撮像装置４の動作について図１３を用いて説明する。
【０１２３】
まず、モード設定部７２は、モニタモードに設定される（ステップＳ８１）。モード設定部７２がモニタモードに設定されることにより、撮像部６２からの撮像データは、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、高周波領域検出部７３および信号処理部７７に入力される。
【０１２４】
高周波領域検出部７３に入力された撮像データに対しては、高周波領域を検出する処理が実行され（ステップＳ８２）、検出された高周波領域の範囲を示す高周波領域情報が高周波領域検出部７３によってメモリに格納される。
【０１２５】
一方、信号処理部７７に入力された撮像データに対しては、例えば所定のフォーマットの画像データに変換される画像処理が実行され、表示装置６５に動画像として表示される。
【０１２６】
続いて、モード設定部７２によって、シャッタボタン６３が押下されたか否かが判断される（ステップＳ８３）。ここで、シャッタボタン６３が押下されたと判断されなかった場合は、撮像装置４の動作は、ステップＳ８２に戻る。
【０１２７】
ステップＳ８３において、シャッタボタン６３が押下されたと判断された場合は、モード設定部７２は、撮像モードに設定される（ステップＳ８４）。
【０１２８】
さらに、モード設定部７２によって、イメージセンサ６２ａが短露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が短露光時間で撮像される（ステップＳ８５）。
【０１２９】
ここで、モード設定部７２は、高周波領域検出部７３のメモリに格納された高周波領域情報を読み出し、短露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する（ステップＳ８６）。
【０１３０】
その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、画像縮小部９５に出力され、所定の縮小率で縮小された短時間露光画像の高周波領域を表すよう画像縮小部９５によって空間解像度変換が施され（ステップＳ８７）、空間解像度変換が施された撮像データが、手ぶれ軌跡算出部７５によって短露光用メモリ７４ａに格納される（ステップＳ８８）。
【０１３１】
引き続き、モード設定部７２によって、イメージセンサ６２ａに蓄積された全ての画素信号がリセットされる（ステップＳ８９）。
【０１３２】
さらに、モード設定部７２によって、イメージセンサ６２ａが適正露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が適正露光時間で撮像される（ステップＳ９０）。
【０１３３】
ここで、モード設定部７２は、既に取得済みの高周波領域情報に基づいて、適正露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する（ステップＳ９１）。
【０１３４】
その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、画像縮小部９５に出力され、所定の縮小率で縮小された適正時間露光画像の高周波領域を表すよう画像縮小部９５によって空間解像度変換が施され（ステップＳ９２）、空間解像度変換が施された撮像データが、手ぶれ軌跡算出部７５によって適正露光用メモリ７４ｂに格納される（ステップＳ９３）。
【０１３５】
さらに、手ぶれ軌跡算出部７５によって、短露光用メモリ７４ａに格納された短露光時間での撮像データと、適正露光用メモリ７４ｂに格納された適正露光時間での撮像データとに基づいて手ぶれ軌跡が算出される（ステップＳ９４）。
【０１３６】
ここで、手ぶれ補正軌跡が縮小画像補正部９６によって手ぶれ軌跡の逆行列から算出され（ステップＳ９５）、算出された手ぶれ補正軌跡と、適正露光用メモリ７４ｂに格納された縮小適正露光画像のデータとを畳み込む演算処理によって、縮小適正露光画像の手ぶれが縮小画像補正部９６によって補正される（ステップＳ９６）。
【０１３７】
そして、縮小画像補正部９６によって手ぶれが補正された縮小適正露光画像と、適正露光用メモリ７４ｂに格納された撮像データが表す縮小適正露光画像との差分から得られる差分画像が差分画像算出部９７によって算出される（ステップＳ９７）。
【０１３８】
引き続き、モード設定部７２によって、適正露光時間で撮像された全画素のデータを出力するよう撮像部６２が制御され、ＡＤＣ７１およびモード設定部７２を介し、全画素のデータが差分画像拡大加算部９８に出力される。
【０１３９】
次に、差分画像算出部９７によって算出された差分画像が差分画像拡大加算部９８によって拡大され、差分画像拡大加算部９８に入力されたデータが表す全画素に加算されることにより、被写体像の撮像データに手ぶれ補正処理が施される（ステップＳ９８）。
【０１４０】
次いで、手ぶれ補正処理が施された撮像データが信号処理部７７に出力され、信号処理部７７によって所定のフォーマットの画像データに変換されて記録装置６４および表示装置６５に出力される。
【０１４１】
そして、記録装置６４によって、手ぶれ補正処理が行われた撮像データが格納され、表示装置６５によって、手ぶれ補正処理が行われた被写体像が表示される（ステップＳ９９）。なお、引き続き撮像を行う場合は、撮像装置４の動作は、ステップＳ８１に戻る。
【０１４２】
以上のように、本実施の形態に係る撮像装置４は、それぞれ縮小された短時間露光画像と適正露光画像とを表す撮像データに基づいて、手ぶれ補正軌跡を算出するため、手ぶれ補正軌跡を算出するのにかかる計算量を削減することができ、演算回路規模が小さくなることで、低消費電力化、小型化および低コスト化を図ることができる。
【０１４３】
（第５の実施の形態）
まず、本発明の第５の実施の形態に係る撮像装置の構成について説明する。なお、本実施の形態においては、本発明の第３の実施形態の撮像装置３の各構成要素と同一な構成要素については、同一の符号を付して説明を省略する。
【０１４４】
図１４に示すように、本実施の形態に係る撮像装置５は、本発明の第３の実施形態の撮像装置３に対して、画像処理装置７０の代わりに画像処理装置１１０を備えている。
【０１４５】
画像処理装置１１０は、イメージセンサ６２ａが出力するアナログ信号をデジタル信号に変換するＡＤＣ７１と、シャッタボタン６３の状態に基づいてモードが設定されるモード設定部７２と、高周波領域を検出する高周波領域検出部７３と、撮像データを格納するメモリ部７４と、手ぶれ軌跡を算出する手ぶれ軌跡算出部７５と、手ぶれ軌跡を細線化する手ぶれ軌跡細線化部１１５と、手ぶれの補正処理を行う手ぶれ補正部７６、所定の信号処理を行う信号処理部７７とを備えている。
【０１４６】
手ぶれ軌跡細線化部１１５は、算出した手ぶれ軌跡の各画素（以下、「着目画素」という。）に対して右、左、上および下（以下、「隣接画素」という。）の何れかの画素が手ぶれ軌跡上にない場合、例えば、隣接画素の画素値が０である場合には、算出した手ぶれ軌跡を細線化するようになっている。
【０１４７】
ここで、手ぶれ軌跡細線化部１１５は、各隣接画素に対して着目画素の対称側（以下、「隣接対称側」という。）にある画素の画素値の加重平均値をそれぞれ算出し、算出した何れかの加重平均値の着目画素の画素値に対する比率が所定の閾値以上である場合は、この着目画素を手ぶれ軌跡から除外する、例えば、画素値を０にするようになっている。
【０１４８】
例えば、図１５（ａ）に示すように、手ぶれ軌跡細線化部１１５は、算出した手ぶれ軌跡の領域１２０を含む画像１２１に対して、画像１２１の各画素を着目画素１２２として、図１５（ｂ）に示すように、着目画素の右隣にある隣接画素の画素値ｃが０でない場合には、隣接対称側である左方にある画素値がそれぞれａ１、ａ２、ａ３の３つの画素の加重平均値ａ＝（ａ１＋２×ａ２＋ａ３）／４を算出するようになっている。
【０１４９】
ここで、手ぶれ軌跡細線化部１１５は、着目画素の画素値ｂに対する加重平均値ａの比率Ｒ＝ａ／ｂを算出し、算出した比率Ｒが所定の閾値以上である場合は、この着目画素を手ぶれ軌跡から除外するようになっている。
【０１５０】
同様に、手ぶれ軌跡細線化部１１５は、図１５（ｂ）ないし（ｄ）に示すように、隣接画素の画素値ｃが０でない場合には、隣接対称側である右方、下方、上方の各加重平均値ａの着目画素の画素値ｂに対する比率Ｒを算出し、算出した比率Ｒが所定の閾値以上である場合は、この着目画素を手ぶれ軌跡から除外するようになっている。したがって、図１５（ａ）に示すように、手ぶれ軌跡の領域１２０は、手ぶれ軌跡の領域１２３のように細線化される。
【０１５１】
また、図１４において、手ぶれ軌跡細線化部１１５は、変換した撮像データをそれぞれ短露光用メモリ７４ａおよび適正露光用メモリ７４ｂに格納し、両者の撮像データを比較して手ぶれ軌跡を算出するようになっている。なお、手ぶれ軌跡細線化部１１５は、本発明の手ぶれ補正軌跡算出部を構成している。
【０１５２】
次に、本実施の形態に係る撮像装置５の動作について図１６および図１７を用いて説明する。
【０１５３】
まず、モード設定部７２は、モニタモードに設定される（ステップＳ１０１）。モード設定部７２がモニタモードに設定されることにより、撮像部６２からの撮像データは、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、高周波領域検出部７３および信号処理部７７に入力される。
【０１５４】
高周波領域検出部７３に入力された撮像データに対しては、高周波領域を検出する処理が実行され（ステップＳ１０２）、検出された高周波領域の範囲を示す高周波領域情報が高周波領域検出部７３によってメモリに格納される。
【０１５５】
一方、信号処理部７７に入力された撮像データに対しては、例えば所定のフォーマットの画像データに変換される画像処理が実行され、表示装置６５に動画像として表示される。
【０１５６】
続いて、モード設定部７２によって、シャッタボタン６３が押下されたか否かが判断される（ステップＳ１０３）。ここで、シャッタボタン６３が押下されたと判断されなかった場合は、撮像装置５の動作は、ステップＳ１０２に戻る。
【０１５７】
ステップＳ１０３において、シャッタボタン６３が押下されたと判断された場合は、モード設定部７２は、撮像モードに設定される（ステップＳ１０４）。
【０１５８】
さらに、モード設定部７２によって、イメージセンサ６２ａが短露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が短露光時間で撮像される（ステップＳ１０５）。
【０１５９】
ここで、モード設定部７２は、高周波領域検出部７３のメモリに格納された高周波領域情報を読み出し、短露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する。その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、手ぶれ軌跡算出部７５に出力され、手ぶれ軌跡算出部７５によって短露光用メモリ７４ａに格納される（ステップＳ１０６）。
【０１６０】
引き続き、モード設定部７２によって、イメージセンサ６２ａに蓄積された全ての画素信号がリセットされる（ステップＳ１０７）。
【０１６１】
さらに、モード設定部７２によって、イメージセンサ６２ａが適正露光時間で露光するよう電子シャッタ６２ｂが制御され、イメージセンサ６２ａによって、被写体が適正露光時間で撮像される（ステップＳ１０８）。
【０１６２】
ここで、モード設定部７２は、既に取得済みの高周波領域情報に基づいて、適正露光時間で撮像された撮像データのうち、高周波領域に該当する撮像データが出力されるよう撮像部６２を制御する。その結果、高周波領域に該当する撮像データは、イメージセンサ６２ａからＡＤＣ７１に出力され、ＡＤＣ７１によってＡＤ変換され、モード設定部７２を介し、手ぶれ軌跡算出部７５に出力され、手ぶれ軌跡算出部７５によって適正露光用メモリ７４ｂに格納される（ステップＳ１０９）。
【０１６３】
さらに、手ぶれ軌跡算出部７５によって、短露光用メモリ７４ａに格納された短露光時間での撮像データと、適正露光用メモリ７４ｂに格納された適正露光時間での撮像データとに基づいて手ぶれ軌跡が算出され（ステップＳ１１０）、算出された手ぶれ軌跡が手ぶれ軌跡細線化部１１５によって後述するように細線化される（Ｓ１１１）。
【０１６４】
引き続き、モード設定部７２によって、適正露光時間で撮像された全画素のデータを出力するよう撮像部６２が制御され、ＡＤＣ７１およびモード設定部７２を介し、全画素のデータが手ぶれ補正部７６に出力される。手ぶれ補正部７６においては、全画素のデータを読み出しながら、手ぶれ軌跡細線化部１１５によって細線化された手ぶれ軌跡に基づき、例えば手ぶれ軌跡に相当する画素分だけ画素データを移動する処理により手ぶれ補正処理が行われ（ステップＳ１１２）、手ぶれにより生じた被写体像のぼけが補正される。ここで、高周波領域における画像の手ぶれ補正処理は、適正露光用メモリ７４ｂに格納された撮像データに対して実行される。
【０１６５】
なお、手ぶれ補正処理において、例えばイメージセンサ６２ａ内で生じる暗電流の影響により、高周波領域の画像とその他の領域の画像とでレベル差が生じている場合は、両者の撮像データを加算、またはレベル差に応じた補正値を乗算することにより、両者のレベル差を低減することができる。
【０１６６】
次いで、手ぶれ補正処理が行われた撮像データが信号処理部７７に出力され、信号処理部７７によって所定のフォーマットの画像データに変換されて記録装置６４および表示装置６５に出力される。
【０１６７】
そして、記録装置６４によって、手ぶれ補正処理が行われた撮像データが格納され、表示装置６５によって、手ぶれ補正処理が行われた被写体像が表示される（ステップＳ１１３）。なお、引き続き撮像を行う場合は、撮像装置５の動作は、ステップＳ１０１に戻る。
【０１６８】
ここで、撮像装置５の動作のステップＳ１１１を図１７を用いて詳細に説明する。ステップＳ１１１では、手ぶれ軌跡細線化部１１５によって算出された手ぶれ軌跡の領域を含む画像の各画素を着目画素とし、各着目画素（ステップＳ１２０〜Ｓ１２９）の各隣接画素（ステップＳ１２１〜Ｓ１２８）に対して以下の処理が実行される。
【０１６９】
まず、着目画素が手ぶれ軌跡上にあるか否か、例えば、着目画素の画素値ｂが０であるか否かが手ぶれ軌跡細線化部１１５によって判断される（ステップＳ１２２）。ここで、着目画素の画素値ｂが０であると判断された場合には、次の隣接画素に対する処理が実行される。なお、この場合には、ステップＳ１２２における判断の結果が他の隣接画素に対しても同じになるため、次の着目画素に対する処理が実行されることになる。
【０１７０】
一方、着目画素の画素値ｂが０でないと判断された場合には、隣接画素が手ぶれ軌跡上にあるか否か、例えば、隣接画素の画素値ｃが０であるか否かが手ぶれ軌跡細線化部１１５によって判断される（ステップＳ１２３）。ここで、隣接画素の画素値ｃが０でないと判断された場合には、次の隣接画素に対する処理が実行される。
【０１７１】
一方、隣接画素の画素値ｃが０であると判断された場合には、隣接対称側にある画素の画素値の加重平均値ａが手ぶれ軌跡細線化部１１５によって算出され（ステップＳ１２４）、算出された加重平均値ａの着目画素の画素値ｂに対する比率Ｒが手ぶれ軌跡細線化部１１５によって算出される（ステップＳ１２５）。
【０１７２】
ここで、算出された比率Ｒが所定の閾値ＴＨ以上であるか否かが手ぶれ軌跡細線化部１１５によって判断され（ステップＳ１２６）、比率Ｒが閾値ＴＨ以上でないと判断された場合には、次の隣接画素に対する処理が実行される。
【０１７３】
一方、比率Ｒが閾値ＴＨ以上であると判断された場合には、着目画素が手ぶれ軌跡から除外、すなわち、着目画素の画素値ｂが手ぶれ軌跡細線化部１１５によって０に設定される（ステップＳ１２７）。
【０１７４】
なお、次いで、次の隣接画素に対する処理が実行されるが、ステップＳ１２７で着目画素の画素値ｂが０に設定された場合には、他の隣接画素に対するステップＳ１２２における判断により、次の着目画素に対する処理が実行されることになる。
【０１７５】
以上のように、本実施の形態に係る撮像装置５は、細線化した手ぶれ軌跡に基づいて適正露光画像を補正した補正画像を生成するため、短時間露光画像および適正露光画像に含まれるノイズの影響ならびにフーリエ変換時の誤差の影響によって補正画像に生じる擬似輪郭やぼけを抑制することができる。
【０１７６】
（第６の実施の形態）
まず、本発明の第６の実施の形態に係る撮像装置の構成について説明する。
【０１７７】
図１８に示すように、本実施の形態に係る撮像装置６は、本発明の第３の実施の形態に係る撮像装置３の画像処理装置７０に代わる画像処理装置１３０を備えている。したがって、画像処理装置１３０以外の構成要素については、本発明の第３の実施の形態に係る撮像装置３のものと同一の符号を付して詳細な説明を省略する。
【０１７８】
図１８において、本実施の形態に係る画像処理装置１３０は、イメージセンサ６２ａが出力するアナログ信号をデジタル信号に変換するＡＤＣ１３１と、シャッタボタン６３の状態に基づいてモードが設定されるモード設定部１３２と、高周波領域を検出する高周波領域検出部１３３と、撮像データを格納するメモリ部１３４と、動きベクトルを検出する動きベクトル検出部１３５と、手ぶれ軌跡を算出する手ぶれ軌跡算出部１３６と、手ぶれの補正処理を行う手ぶれ補正部１３７と、所定の信号処理を行う信号処理部１３８とを備えている。なお、画像処理装置１３０は、例えばデジタル信号プロセッサで構成される。
【０１７９】
ここで、ＡＤＣ１３１、高周波領域検出部１３３および信号処理部１３８は、それぞれ、第３の実施の形態に係るＡＤＣ７１、高周波領域検出部７３および信号処理部７７と同様な構成なので詳細な説明を省略する。
【０１８０】
モード設定部１３２は、利用者がシャッタボタン６３を押下した際にシャッタボタン６３から出力される信号を受信したとき、モニタモードおよび撮像モードのいずれかに設定されるようになっている。ここで、モニタモードは、利用者がシャッタボタン６３を押下していない状態において、撮像部６２が撮像した被写体像を動画像として表示装置６５に表示する処理である。一方、撮像モードは、利用者がシャッタボタン６３を押下した際に被写体を撮像し、被写体の静止画像を取得する処理である。
【０１８１】
また、モード設定部１３２は、撮像モードにおいて、イメージセンサ６２ａを短露光時間で複数回露光させるよう電子シャッタ６２ｂを制御するようになっている。一方、モード設定部１３２は、モニタモードにおいて、イメージセンサ６２ａが適正露光時間で撮像するよう電子シャッタ６２ｂを制御し、動画像を表示装置６５に表示させるようになっている。
【０１８２】
また、モード設定部１３２は、高周波領域検出部１３３が出力する高周波領域情報に基づいた領域の画素の信号をイメージセンサ６２ａから読み出してＡＤＣ１３１に出力するよう撮像部６２を制御するようになっている。なお、モード設定部１３２は、本発明の短時間露光画像取得部を構成している。
【０１８３】
メモリ部１３４は、短露光時間で複数回露光されて撮像された画像のうち、高周波領域に該当する撮像データを順次格納する第１メモリ１３４ａおよび第２メモリ１３４ｂと、第１メモリ１３４ａに格納された撮像データと第２メモリ１３４ｂに格納された撮像データとを加算して蓄積する蓄積用メモリ１３４ｃを備えている。
【０１８４】
具体的には、イメージセンサ６２ａによって、例えば、短露光時間による３回の撮像が行われた場合、第１メモリ１３４ａおよび第２メモリ１３４ｂは、それぞれ、第１回目および第２回目の撮像データを格納し、蓄積用メモリ１３４ｃは、第１回目の撮像データと第２回目の撮像データとを加算して蓄積する。次に、第１メモリ１３４ａは、第３回目の撮像データを格納し、蓄積用メモリ１３４ｃは、第２回目の撮像データと第３回目の撮像データとを加算して蓄積する。
【０１８５】
動きベクトル検出部１３５は、第１メモリ１３４ａに格納された撮像データと第２メモリ１３４ｂに格納された撮像データとを比較して動きベクトルを検出し、検出した動きベクトルから、動きベクトルの方向および大きさを含む動きベクトル値を取得するようになっている。動きベクトル値は、第１メモリ１３４ａまたは第２メモリ１３４ｂに格納される撮像データが更新される毎に取得され、動きベクトル検出部１３５のメモリ（図示省略）に順次加算されて格納されるようになっている。
【０１８６】
手ぶれ軌跡算出部１３６は、動きベクトル検出部１３５が取得した動きベクトル値に基づいて手ぶれ軌跡を算出するようになっている。なお、手ぶれ軌跡算出部１３６は、本発明の手ぶれ補正軌跡算出部を構成している。
【０１８７】
手ぶれ補正部１３７は、手ぶれ軌跡算出部１３６によって算出された手ぶれ軌跡に基づき、撮像部６２が撮像した被写体像を手ぶれ補正するようになっている。なお、手ぶれ補正部１３７は、本発明の手ぶれ補正軌跡算出部および手ぶれ補正画像生成部を構成している。
【０１８８】
次に、本実施の形態に係る撮像装置６の動作について図１９を用いて説明する。なお、図１９に示すように、本実施の形態に係る撮像装置６のステップのうち、ステップＳ１３１〜１３４は、第３の実施の形態に係る撮像装置３の動作におけるステップＳ６１〜６４（図１０参照）と同様であるので説明を省略する。
【０１８９】
ステップＳ１３４においてモード設定部１３２が撮像モードに設定された後、手ぶれ軌跡算出処理が実行される（ステップＳ１３５）。この手ぶれ軌跡算出処理について図２０を用いて説明する。なお、動作を分かり易く説明するため、ここでは短露光時間による撮像を３回行う場合を例に挙げて説明するが、本発明はこれに限定されるものではなく、短露光時間による撮像を複数回行うものであればよい。
【０１９０】
まず、モード設定部１３２によって、イメージセンサ６２ａを短露光時間で露光させるよう電子シャッタ６２ｂが制御され、短露光時間による第１回目の撮像が実行される（ステップＳ１４１）。
【０１９１】
次いで、モード設定部１３２によって、高周波領域検出部１３３のメモリに格納された高周波領域情報が読み出され、短露光時間で撮像された第１回目の撮像データのうち、高周波領域に該当する撮像データを出力するよう撮像部６２が制御される。その結果、撮像された第１回目の撮像データは、イメージセンサ６２ａからＡＤＣ１３１に出力され、ＡＤＣ１３１によってＡＤ変換され、モード設定部１３２を介し、手ぶれ軌跡算出部１３６に出力され、手ぶれ軌跡算出部１３６によって第１メモリ１３４ａに格納される（ステップＳ１４２）。
【０１９２】
続いて、ステップＳ１４１と同様に、短露光時間による第２回目の撮像が実行される（ステップＳ１４３）。
【０１９３】
さらに、ステップＳ１４２と同様に、短露光時間で撮像された第２回目の撮像データのうち、高周波領域に該当する撮像データが、手ぶれ軌跡算出部１３６によって第２メモリ１３４ｂに格納される（ステップＳ１４４）。
【０１９４】
引き続き、動きベクトル検出部１３５によって、第１メモリ１３４ａに格納された第１回目の撮像データと、第２メモリ１３４ｂに格納された第２回目の撮像データとが比較され、動きベクトルが検出され、動きベクトル値が取得される（ステップＳ１４５）。この動きベクトル値のデータは、動きベクトル検出部１３５のメモリに格納される。
【０１９５】
次いで、手ぶれ軌跡算出部１３６によって、第１メモリ１３４ａに格納された第１回目の撮像データと、第２メモリ１３４ｂに格納された第２回目の撮像データとが加算され、加算された撮像データが蓄積用メモリ１３４ｃに格納される（ステップＳ１４６）。
【０１９６】
続いて、ステップＳ１４１と同様に、短露光時間による第３回目の撮像が実行される（ステップＳ１４７）。
【０１９７】
さらに、ステップＳ１４２と同様に、短露光時間で撮像された第３回目の撮像データのうち、高周波領域に該当する撮像データが、手ぶれ軌跡算出部１３６によって第１メモリ１３４ａに格納される（ステップＳ１４８）。
【０１９８】
引き続き、ステップＳ１４５と同様に、動きベクトル検出部１３５によって、第１メモリ１３４ａに格納された第３回目の撮像データと、第２メモリ１３４ｂに格納された第２回目の撮像データとが比較され、動きベクトルが検出され、動きベクトル値が取得される（ステップＳ１４９）。
【０１９９】
次いで、動きベクトル検出部１３５によって、ステップＳ１４５において取得された動きベクトル値のデータと、ステップＳ１４９において取得された動きベクトル値のデータとが加算され（ステップＳ１５０）、動きベクトル検出部１３５のメモリに格納される。加算後の動きベクトル値のデータは、動きベクトル検出部１３５によって、手ぶれ軌跡のデータとして手ぶれ軌跡算出部１３６に出力される。
【０２００】
そして、ステップＳ１４６と同様に、手ぶれ軌跡算出部１３６によって、第１メモリ１３４ａに格納された第３回目の撮像データと、第２メモリ１３４ｂに格納された第２回目の撮像データとが加算され、加算された撮像データが蓄積用メモリ１３４ｃに格納される（ステップＳ１５１）。この結果、蓄積用メモリ１３４ｃには、短露光時間で撮像された高周波領域に該当する３回分の撮像データが蓄積されたこととなる。以上で手ぶれ軌跡算出処理が終了し、撮像装置６の動作は、図１９のステップＳ１３６に進む。
【０２０１】
引き続き、モード設定部１３２によって、撮像された全画素のデータを出力するよう撮像部６２が制御され、ＡＤＣ１３１およびモード設定部１３２を介し、全画素のデータが手ぶれ軌跡算出部１３６に出力される。手ぶれ補正部１３７においては、図１１（ｂ）に示すように、全画素のデータを読み出しながら、手ぶれ軌跡算出部１３６が取得した手ぶれ軌跡に基づき、例えば手ぶれ軌跡に相当する画素分だけ画素データを移動する処理により手ぶれ補正処理が行われ（ステップＳ１３６）、手ぶれにより生じた被写体像のぼけが補正される。ここで、高周波領域における画像の手ぶれ補正処理は、蓄積用メモリ１３４ｃに格納された撮像データに対して実行される。
【０２０２】
なお、短露光時間で撮像した撮像データから高周波領域に該当する撮像データをイメージセンサ６２ａから読み出す際には、高周波領域に該当する画素領域において被写体の光信号の蓄積が行われないので、高周波領域の画像とその他の領域の画像とでレベル差が生じることがある。その場合は、例えば、レベル差に応じた補正値を高周波領域に該当する撮像データに乗算することにより、両者のレベル差を低減することができる。
【０２０３】
次いで、手ぶれ補正処理が行われた撮像データが信号処理部１３８に出力され、信号処理部１３８によって所定のフォーマットの画像データに変換されて記録装置６４および表示装置６５に出力される。
【０２０４】
そして、記録装置６４によって、手ぶれ補正処理が行われた撮像データが記録され、表示装置６５によって、手ぶれ補正処理が行われた被写体像が表示される（ステップＳ１３７）。なお、引き続き撮像を行う場合は、撮像装置６の動作は、ステップＳ１３１に戻る。
【０２０５】
以上のように、本実施の形態に係る撮像装置６によれば、手ぶれ補正部１３７は、複数の短時間露光画像間における手ぶれ軌跡に基づいて被写体像の手ぶれを補正する構成としたので、従来のもののように、手ぶれ軌跡を検出するための専用装置を必要とせず、従来のものよりも小型化および低コスト化を図ることができる。
【０２０６】
また、本実施の形態に係る撮像装置６によれば、高周波領域検出部１３３が検出した高周波領域における短時間露光画像のデータをメモリ部１３４に格納する構成としたので、例えば１フレーム分の撮像データを格納するものよりもメモリ容量を大幅に低減でき、メモリを小型化することができる。その結果、撮像装置６は、従来のものよりも小型化、軽量化および低コスト化を図ることができる。
【０２０７】
以上に説明した本発明の第１ないし第６の実施の形態において、各実施の形態の機能を組み合わせて本発明の撮像装置を構成してもよい。なお、各実施の形態の機能を組み合わせた態様については、本発明の第１ないし第６の実施の形態に基づいて容易に想到できるため、説明を省略する。
【産業上の利用可能性】
【０２０８】
以上のように、本発明に係る撮像装置は、従来のものよりも小型化および低コスト化を図ることができるという効果を有し、固体撮像素子を用いて被写体を撮像する際に手ぶれにより生じる被写体像のぼけを補正する撮像装置等として有用である。
【図面の簡単な説明】
【０２０９】
【図１】図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。
【図２】図２は、本発明に係る撮像装置のハードウエア構成を示すブロック図である。
【図３】図３は、本発明に係る撮像装置のＣＰＵが実行する手ぶれ補正プログラムのフローチャートである。
【図４】図４は、本発明に係る撮像装置のＣＰＵが実行する第１の手ぶれ補正ルーチンのフローチャートである。
【図５】図５は、本発明に係る撮像装置のＣＰＵが実行する手ぶれ補正軌跡算出ルーチンのフローチャートである。
【図６】図６は、本発明に係る撮像装置のＣＰＵが実行する手ぶれ補正画像生成ルーチンのフローチャートである。
【図７】図７は、本発明の第２の実施の形態に係る撮像装置のブロック図である。
【図８】図８は、本発明に係る撮像装置のＣＰＵが実行する第２の手ぶれ補正ルーチンのフローチャートである。
【図９】図９は、本発明の第３の実施の形態に係る撮像装置のブロック図である。
【図１０】図１０は、本発明の第３の実施の形態に係る撮像装置の動作を示すフローチャートである。
【図１１】図１１は、本発明の第３の実施の形態に係る撮像装置において、高周波領域および全画素領域の撮像データを読み出す例を示す図であり、図１１（ａ）は、高周波領域の撮像データを読み出す一例を示す図であり、図１１（ｂ）は、全画素領域の撮像データを読み出す一例を示す図である。
【図１２】図１２は、本発明の第４の実施の形態に係る撮像装置のブロック図である。
【図１３】図１３は、本発明の第４の実施の形態に係る撮像装置の動作を示すフローチャートである。
【図１４】図１４は、本発明の第５の実施の形態に係る撮像装置のブロック図である。
【図１５】図１５は、本発明の第５の実施の形態に係る撮像装置を構成する手ぶれ軌跡細線化部を説明するための概念図である。
【図１６】図１６は、本発明の第５の実施の形態に係る撮像装置の動作を示すフローチャートである。
【図１７】図１７は、本発明の第５の実施の形態に係る撮像装置の細線化動作を示すフローチャートである。
【図１８】図１８は、本発明の第６の実施の形態に係る撮像装置のブロック図である。
【図１９】図１９は、本発明の第６の実施の形態に係る撮像装置の動作を示すフローチャートである。
【図２０】図２０は、本発明の第６の実施の形態に係る撮像装置の手ぶれ量算出動作を示すフローチャートである。
【符号の説明】
【０２１０】
１、２、３、４、５、６  撮像装置
１１、６１  レンズ
１２  撮像素子
１３  手ぶれ補正部
１４  出力部
２１  適正露光画像取得部
２２  短時間露光画像取得部
２３  手ぶれ補正軌跡算出部
２４  手ぶれ補正画像生成部
３１  駆動部
３２  記録部
３３  表示部
３４  ポインティング部
３５  マイクロプロセッサ部
４１  画像信号読み込みＩ／Ｆ
４２  制御指令出力Ｉ／Ｆ
４３  ＣＰＵ
４４  画像信号出力Ｉ／Ｆ
４５  メモリ
４６  操作指令読み込みＩ／Ｆ
５１  雑音除去部
６２  撮像部（短時間露光画像取得部、適正露光画像取得部）
６２ａ  イメージセンサ（撮像素子）
６２ｂ  電子シャッタ
６３  シャッタボタン
６４  記録装置（出力部）
６５  表示装置（出力部）
７０、９０、１１０、１３０  画像処理装置
７１、１３１  ＡＤＣ
７２  モード設定部（短時間露光画像取得部、適正露光画像取得部、画素リセット部）
７３、１３３  高周波領域検出部
７４、１３４  メモリ部
７４ａ  短露光用メモリ
７４ｂ  適正露光用メモリ
７５、１３６  手ぶれ軌跡算出部
７６、１３７  手ぶれ補正部
７７、１３８  信号処理部
８０  全画素領域
８１  高周波領域
８２、８３  低周波領域
９５  画像縮小部
９６  縮小画像補正部
９７  差分画像算出部
９８  差分画像拡大加算部
１１５  手ぶれ軌跡細線化部
１３２  モード設定部（短時間露光画像取得部）
１３４ａ  第１メモリ
１３４ｂ  第２メモリ
１３４ｃ  蓄積用メモリ
１３５  ベクトル検出部
１３８  信号処理部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007119680.tif 000057
【図２】
2007119680.tif 000058
【図３】
2007119680.tif 000059
【図４】
2007119680.tif 000060
【図５】
2007119680.tif 000061
【図６】
2007119680.tif 000062
【図７】
2007119680.tif 000063
【図８】
2007119680.tif 000064
【図９】
2007119680.tif 000065
【図１０】
2007119680.tif 000066
【図１１】
2007119680.tif 000067
【図１２】
2007119680.tif 000068
【図１３】
2007119680.tif 000069
【図１４】
2007119680.tif 000070
【図１５】
2007119680.tif 000071
【図１６】
2007119680.tif 000072
【図１７】
2007119680.tif 000073
【図１８】
2007119680.tif 000074
【図１９】
2007119680.tif 000075
【図２０】
2007119680.tif 000076
【国際調査報告】
2007119680.tif 000077
2007119680.tif 000078