(57)【要約】【課題】手ぶれ復元演算に時間を要し、構図やシャッタタイミングを迅速に確認できないとともに、手ぶれ復元処理の効果が使用者にわかり難い。【解決手段】手ぶれ復元処理の施された画像データ（ＤＴＢ）と、手ぶれ復元処理の施されない画像データ（ＤＴ）との両画像データが背面ＬＣＤパネルなどに表示可能とされ、たとえば、両画像データ（ＤＴＢ、ＤＴ）は、表示画面の左右に分割して並列に表示される。いずれかの画像枠を選択すれば、所定時間だけ画像データが単独で表示される。並列表示に代えて、両画像データ（ＤＴＢ、ＤＴ）を切換えて交互に表示してもよい。【選択図】図１１
2006295238.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を形成するための光学系と、
前記光学系により形成された被写体像より画像データを得るための撮像部と、
カメラの手ぶれを検出するための手ぶれ検出部と、
前記撮像素子の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号から手ぶれ復元関数を算出するための手ぶれ復元関数算出部と、
前記手ぶれ復元関数算出部から出力される手ぶれ復元関数に基づいて手ぶれによる前記画像データの劣化を復元するための手ぶれ復元部と、
前記画像データを表示するための表示素子と、
前記撮像部から得られた画像データであって、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを前記表示素子に表示するように制御するための表示コントローラと、
を具備する撮像装置。
【請求項２】
前記撮像部の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号を記憶するための手ぶれ検出信号記憶部をさらに具備し、
前記手ぶれ復元関数算出部は、前記手ぶれ検出信号記憶部に記憶された前記時系列の手ぶれ検出信号から手ぶれ復元関数を検出する請求項１記載の撮像装置。
【請求項３】
前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを表示するにあたり、画像データの全エリアの中で所定の一部を同一領域について表示する請求項１又は２記載の撮像装置。
【請求項４】
前記所定の一部の同一領域は、画像データの全エリアの中央部の領域である請求項３記載の撮像装置。
【請求項５】
前記所定の一部の同一領域を画像データの全エリアの中から選択するための画像選択部をさらに具備する請求項３記載の撮像装置。
【請求項６】
前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを並列表示する請求項１又は２記載の撮像装置。
【請求項７】
前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを切換えて表示する請求項１又は２記載の撮像装置。
【請求項８】
被写体像を形成するための光学系と、
前記光学系により形成された被写体像より画像データを得るための撮像部と、
カメラの手ぶれを検出するための手ぶれ検出部と、
前記撮像素子の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号から手ぶれ復元関数を算出するための手ぶれ復元関数算出部と、
前記手ぶれ復元関数算出部から出力される手ぶれ復元関数に基づいて手ぶれによる前記画像データの劣化を復元するための手ぶれ復元部と、
前記画像データを表示するための表示素子と、
撮影後において、前記撮像部から得られた画像データであって、前記手ぶれ復元部で復元処理する前の画像データを前記表示素子に暫時表示し、前記手ぶれ復元部により手ぶれ復元処理が終了した後に、前記手ぶれ復元処理部で手ぶれ復元処理を施した画像データと、手ぶれ復元処理を施さない画像データとを並列表示するように切換える表示コントローラと、
を具備する撮像装置。
【請求項９】
前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとを並列表示するように切換えてから所定時間経過後に、手ぶれ復元処理を施した画像データの単独表示に切換える請求項８記載の撮像装置。
【請求項１０】
被写体像を形成するための光学系と、
前記光学系により形成された被写体像より画像データを得るための撮像部と、
カメラの手ぶれを検出するための手ぶれ検出部と、
前記撮像素子の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号から手ぶれ復元関数を算出するための手ぶれ復元関数算出部と、
前記手ぶれ復元関数算出部から出力される手ぶれ復元関数に基づいて手ぶれによる前記画像データの劣化を復元するための手ぶれ復元部と、
前記画像データを表示するための表示素子と、
前記撮像部から得られた画像データであって、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを記憶保持するための記憶保持部と、
前記記憶保持部に記憶された手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを前記表示素子に表示することを実行可能な表示コントローラと、
前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとのいずれか一方を選択する画像選択部と、
前記画像選択部で選択された画像データを適用された記録媒体に記録するための記録コントローラと、
を具備する撮像装置。
【請求項１１】
前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを前記表示素子に並列表示する請求項１０記載の撮像装置。
【請求項１２】
前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを切換えて前記表示素子に表示する請求項１０又は１１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ぶれを検出してぶれ画像をぶれのない画像に復元する撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ、ビデオカメラなどの撮像装置において、撮像時の手ぶれによる劣化画像を補正して原画像に近い画像を復元する要求がある。たとえば、デジタルカメラ(以下、「カメラ」と適宜略す)においては、静止画などの手ぶれ補正は角速度センサなどを用いてカメラの手ぶれの軌跡を検出し、検出したぶれ軌跡に基づいて撮像後に所定の手ぶれ復元演算を行なう技術が知られている。
【０００３】
ぶれ復元に際して、点ひろがり関数（ＰＳＦ）で補正することが提案されており、点ひろがり関数を利用すれば、比較的容易に画像の復元が行なえる。しかし、点ひろがり関数で補正された復元画像はぶれ軌跡上の画素の輝度値を関数としているが、ぶれ軌跡以外の画素の影響も無視できない。そのため、点ひろがり関数から演算したぶれ軌跡とぶれ画像のぶれ軌跡とが完全に対応せず、正確な手ぶれ復元が難しい。
【０００４】
そのため、たとえば、特開平１１ー１３４４８１号公報では、ぶれ画像とぶれ軌跡データから求めた点ひろがり関数とからぶれ画像を復元し、復元に際して、ぶれ軌跡の周辺の画素の輝度値を考慮して復元画像を生成している。この手ぶれ復元方法によれば、ぶれ軌跡以外の画素の影響も考慮され、従来よりも良好な復元画像が得られる。
【０００５】
しかし、この復元演算はデジタルカメラなどの撮像装置に広く用いられる小型ＬＳＩなどで処理を行なう場合、たとえば数秒間というような、かなりの演算時間を要する。そのため、撮像後の画像がすぐに表示されず、構図やシャッタタイミングを素早く確認できない。
また、上記の手ぶれ復元方式を採用した場合、復元処理後の画像のみを表示したのでは、その効果が使用者にわかり難いという問題がある。
【特許文献１】特開平１１ー１３４４８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、手ぶれ復元演算が行なえ、撮像後速やかに構図やシャッタタイミングの確認ができるとともに、手ぶれ復元前後の効果が容易に確認できる撮像装置を実現することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明によれば、手ぶれ復元処理の施された画像データと、手ぶれ復元処理の施されない画像データとを表示素子に表示可能とし、たとえば、手ぶれ復元処理の施された画像データと手ぶれ復元処理の施されない画像データとは並列に表示されたり、切換えて表示されている。
【０００８】
つまり、請求項１に係る本発明によれば、被写体像を形成するための光学系と、前記光学系により形成された被写体像より画像データを得るための撮像部と、カメラの手ぶれを検出するための手ぶれ検出部と、前記撮像素子の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号から手ぶれ復元関数を算出するための手ぶれ復元関数算出部と、前記手ぶれ復元関数算出部から出力される手ぶれ復元関数に基づいて手ぶれによる前記画像データの劣化を復元するための手ぶれ復元部と、前記画像データを表示するための表示素子と、前記撮像部から得られた画像データであって、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを表示素子に表示するように制御するための表示コントローラと、を具備している。
【０００９】
請求項２に係る本発明によれば、前記撮像部の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号を記憶するための手ぶれ検出信号記憶部をさらに具備し、前記手ぶれ復元関数算出部は、前記手ぶれ検出信号記憶部に記憶された前記時系列の手ぶれ検出信号から手ぶれ復元関数を検出している。
【００１０】
請求項３に係る本発明によれば、前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを表示するにあたり、画像データの全エリアの中で所定の一部を同一領域について表示している。
【００１１】
請求項４に係る本発明によれば、前記所定の一部の同一領域は、画像データの全エリアの中央部の領域とされている。
【００１２】
請求項５に係る本発明によれば、前記所定の一部の同一領域を画像データの全エリアの中から選択するための画像選択部をさらに具備している。
【００１３】
請求項６に係る本発明によれば、前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを並列表示している。
【００１４】
請求項７に係る本発明によれば、前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを切換えて表示している。
【００１５】
請求項８に係る本発明によれば、被写体像を形成するための光学系と、前記光学系により形成された被写体像より画像データを得るための撮像部と、カメラの手ぶれを検出するための手ぶれ検出部と、前記撮像素子の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号から手ぶれ復元関数を算出するための手ぶれ復元関数算出部と、前記手ぶれ復元関数算出部から出力される手ぶれ復元関数に基づいて手ぶれによる前記画像データの劣化を復元するための手ぶれ復元部と、前記画像データを表示するための表示素子と、撮影後において、前記撮像部から得られた画像データであって、前記手ぶれ復元部で復元処理する前の画像データを前記表示素子に暫時表示し、前記手ぶれ復元部により手ぶれ復元処理が終了した後に、前記手ぶれ復元処理部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとを並列表示するように切換える表示コントローラと、を具備している。
【００１６】
請求項９に係る本発明によれば、前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとを並列表示するように切換えてから所定時間経過後に、手ぶれ復元処理を施した画像データの単独表示に切換えている。
【００１７】
請求項１０に係る本発明によれば、被写体像を形成するための光学系と、前記光学系により形成された被写体像より画像データを得るための撮像部と、カメラの手ぶれを検出するための手ぶれ検出部と、前記撮像素子の露光期間中における前記手ぶれ検出部から出力される時系列の手ぶれ検出信号から手ぶれ復元関数を算出するための手ぶれ復元関数算出部と、前記手ぶれ復元関数算出部から出力される手ぶれ復元関数に基づいて手ぶれによる前記画像データの劣化を復元するための手ぶれ復元部と、前記画像データを表示するための表示素子と、前記撮像部から得られた画像データであって、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと、手ぶれ復元処理を施さない画像データとの両画像データを記憶保持するための記憶保持部と、前記記憶保持部に記憶された手ぶれ復元処理を施した画像データと、手ぶれ復元処理を施さない画像データとの両画像データを前記表示素子に表示することを実行可能な表示コントローラと、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとのいずれか一方を選択する画像選択部と、前記画像選択部で選択された画像データを適用された記録媒体に記録するための記録コントローラと、を具備している。
【００１８】
請求項１１に係る本発明によれば、前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを前記表示素子に並列表示している。
【００１９】
請求項１２に係る本発明によれば、前記表示コントローラは、前記手ぶれ復元部で手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを切換えて前記表示素子に表示している。
【発明の効果】
【００２０】
請求項１に係る本発明の構成によれば、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを表示するため、手ぶれ復元処理の効果を視覚的に確認することができる。
【００２１】
請求項２に係る本発明の構成によれば、露出期間中の時系列の手ぶれ検出信号を手ぶれ信号記憶部で記憶するため、画像データの取得後に手ぶれ復元演算が行なえ、処理を順序だてて実行できる。
【００２２】
請求項３に係る本発明の構成によれば、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを表示して手ぶれ復元処理の効果を確認するにあたり、両画面の一部の同一領域を表示するため、手ぶれ復元処理の効果をより詳細に確認できる。
【００２３】
請求項４に係る本発明の構成によれば、両画像データの表示にあたり、画像データの全エリアの中央部を表示するため、主被写体の存在する確率の高いエリアを自動的に表示することができ、手ぶれ復元処理の効果をより効率的に確認できる。
【００２４】
請求項５に係る本発明の構成によれば、両画像データの表示にあたり、画像データの全エリアの中から所望のエリアを選択できるため、主被写体が画像データの全エリアの中央部になくても主被写体の存在するエリアを選択して手ぶれ復元処理の効果を確認できる。
【００２５】
請求項６に係る本発明の構成によれば、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを並列表示するため、両画像データを直接比較でき、手ぶれ復元処理の効果が視覚的に確認され、効果的な確認が可能となる。
【００２６】
請求項７に係る本発明の構成によれば、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを切換えて表示するため、手ぶれ復元処理の効果を効果的に確認できる。
【００２７】
請求項８に係る本発明の構成によれば、時間を要する手ぶれ復元演算を行っている間に復元処理前の画像データを表示しているため、構図やシャッタタイミングの確認が素早くできる。また、復元処理前の画像データの表示から、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データの並列表示に切換えているため、手ぶれ復元処理の前後の両画像が容易に比較され、手ぶれ復元処理の効果が視覚上で確認できる。
【００２８】
請求項９に係る本発明の構成によれば、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データの並列表示の後に、手ぶれ復元処理を施した画像データの単独表示に切換えるため、手ぶれ復元処理を施した画像データだけを詳細に確認できる。
【００２９】
請求項１０に係る本発明の構成によれば、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを表示して手ぶれ復元処理の効果を確認してから、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとのいずれかを選択して適用された記録媒体に記録することができ、画像データを適切に記憶できる。
【００３０】
請求項１１に係る本発明の構成によれば、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを並列表示するため、両画像データを直接比較でき、手ぶれ復元処理の効果が視覚的に確認され、効果的な確認が可能となる。
【００３１】
請求項１２に係る本発明の構成によれば、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを切換えて表示するため、手ぶれ復元処理の効果を効果的に確認できる。
【発明を実施するための最良の形態】
【００３２】
本発明によれば、手ぶれ復元処理を施した画像データと手ぶれ復元処理を施さない画像データとの両画像データを表示することにより、手ぶれ復元処理効果の効率的な確認を実現している。
【実施例１】
【００３３】
以下、図面を参照して本発明の各実施例を説明する。図１は、撮像装置としてデジタルカメラに適用した本発明の実施例１を示し、（Ａ）（Ｂ）はデジタルカメラの前面斜視図、背面斜視図である。
【００３４】
図１（Ａ）（Ｂ）からわかるように、カメラボディ１の前面にレンズユニット２が接続されている。レンズユニット２は、複数枚の撮影用レンズとその駆動部とから構成されており、その詳細は図２に即して後述する。
【００３５】
３はレリーズスイッチであり、１ｓｔレリーズ（半押し）と２ｎｄレリーズ（全押し）の２段スイッチになっており、１ｓｔレリーズで撮影準備動作が開始され、２ｎｄレリーズで撮影動作が開始される。４はＴボタン４ー１、Ｗボタン４ー２からなるズームスイッチであり、Ｔボタンを押すとテレ側への撮影レンズの変倍動作が行なわれ、Ｗボタンを押すとワイド側への変倍動作が行なわれる。５は手ぶれモードの設定スイッチであり、手ぶれモードスイッチ５を押して手ぶれモードに設定すると、モードランプ５ー１が点灯して手ぶれモードを視覚的に認識できる。
【００３６】
６はカメラボディ１の背面に設けられたビューファインダであり、ビューファインダ６はたとえば小型ＬＣＤをルーペで拡大する電子ビューファインダからなり、撮像素子（ＣＣＤ）の画像をリアルタイムで表示し、いわゆるスルー画（「ライブビュー」ともいう）がビューファインダに表示可能となっている。７は静止画、動画を切替えるモードキー(スライドキー)であり、モードキー７をＳ側（ＳＴＩＬＬ）にすると静止画撮影モードが設定され、Ｍ側（ＭＯＶＩＥ）にすると動画撮影モードが設定される。
【００３７】
８はフラッシュであり、低輝度時には発光して被写体を照明する補助光となる。９はモード操作キーであり、モード操作キー９の中央の決定ボタンの周囲に４個のボタンが配置され、マクロ撮影、セルフタイマー、フラッシュなどのＯＮがモード操作キー９によって設定される。１０は背面ＬＣＤパネルであり、撮影した画像が再生されるとともに、スルー画も表示可能となっている。１１はパワースイッチであり、パワースイッチ１１を押してＯＮとすることにより、露光、撮像などが可能となる。背面ＬＣＤパネル１０は、ビューファインダ６とともにモニタ（表示素子）として利用され、ビューファインダ６、背面ＬＣＤパネル１０は、シーケンスコントローラ１１９からの制御信号によって、ＬＣＤドライバ１３２を介して駆動制御される。なお、ビューファインダ６、背面ＬＣＤパネル１０をＬＣＤ６、１０と適宜表示する。
【００３８】
実施例では、モード操作キー９は、ビューファインダ６、背面ＬＣＤパネル１０に表示する画像を左右にシフトするスイッチ、手ぶれ復元処理前の画像と手ぶれ復元処理後の画像とを切換える画像切換えスイッチ、表示された画像を記録するための記録スイッチとしての機能を備えている。たとえば、周囲の４個のボタンのうち、右のボタンが画像を右にシフトする右シフトスイッチとされ、左のボタンが画像を左にシフトする左シフトスイッチとされ、上のボタンが画像切換えスイッチとされる。そして、記録する画像が決まれば、中央の決定ボタンを押して画像の記録を行なうこととし、中央の決定ボタンが画像記録スイッチとされる。
左右のシフトスイッチ、画像切換えスイッチ、記録スイッチとしての機能をモード操作キ−９に持たせることなく、左右のシフトスイッチ、画像切換えスイッチ、記録スイッチを独立したスイッチとして配置してもよい。
【００３９】
図２は光学系であるレンズユニット２の概略図であり、レンズユニットは、たとえば３枚のレンズ１２、１３、１４を有して構成されている。３枚のレンズのうち、レンズ１２、１３は、相互の位置関係を変えることによってレンズの焦点距離を変化させる、いわゆる変倍レンズ（ズームレンズ）であり、ズームの際には、ズームモータ１０４の駆動力が、ギア１８ａ、１８ｂを介してズーム用レンズ駆動カム機構１７に伝達され、レンズ駆動カム機構１７によってレンズ１２、１３が光軸に沿って動かされる。
【００４０】
レンズ１４は光軸に沿って前後に移動することによってピントずれの調整を行なういわゆるフォーカスレンズであり、フォーカス調整の際には、フォーカスモータ１０５の駆動力が、ギア２０ａ、２０ｂを介してフォーカス用レンズ駆動カム機構１９に伝達され、レンズ駆動カム機構１９によってレンズ１４が動かされる。レンズ１４の後方には、たとえばＣＣＤからなる撮像素子（撮像部）１１４が位置し、レンズ１２、１３、１４を通過した光束が撮像素子上に結像し、撮像素子の各画素で光電変換されて撮像する。１５は絞り、１６はシャッタであり、絞り１５、シャッタ１６によって撮像素子１１４への光量（露光）が制御される。メカニカルなシャッタ１６に代えて、撮像素子１１４の素子シャッタ（電子シャッタ）を使用してもよい。
【００４１】
図３はデジタルカメラの制御回路の構成図であり、１０１はたとえばリチウムイオン充電池などの充電可能な電池からなるバッテリである。１０２は、バッテリ１０１から昇圧回路や降圧回路によって必要な電圧の電源を生成して各処理回路に供給する電源回路である。１０３はモータドライバ回路であり、スイッチングトランジスタを含む電気回路で構成され、シーケンスコントローラ１１９の指示にしたがってズームモータ１０４、フォーカスモータ１０５、シャッタモータ１０６、絞りモータ１０７を駆動制御する。１０８、１０９は相互に直交するＸ軸、Ｙ軸の回りの角速度を検出する角速度センサであり、図１（Ａ）に示すように、素子の長辺方向を軸として互いに直交する方向に配置され、その軸に沿った角速度を検出する。
【００４２】
１１０は角速度センサ１０８、１０９の出力のオフセットをキャンセルしたり、その出力を増幅するアナログ処理回路であり、角速度センサ１０８、１０９とともに手ぶれ検出部を構成する。アナログ処理回路１１０の出力はＡ／Ｄ変換回路１１１でデジタル信号に変換されて基本軌跡演算回路１１２に入力される。基本軌跡演算回路１１２はその入力を時間で積分して時間毎の変位角度を算出し、この変位角度とレンズ２の焦点距離情報より、撮像面上の(ＣＣＤ１１４上の)画像の光軸付近の手ぶれによる上下方向（Ｙ方向）、左右方向（Ｘ方向）のぶれ軌跡を検出する。
ここで、手ぶれの検出は角速度センサ１０８、１０９に限定されず、角速度センサ１０８、１０９の代わりに角加速度センサや２個ワンペアの加速度センサで手ぶれを検出して、同様のぶれ軌跡を算出してもよい。
【００４３】
１１３は、基本軌跡演算回路１１２で検出されたぶれ軌跡（軌跡データＬＣＴ−ＤＴ）を記憶する軌跡メモリ回路である。１１９はマイクロコンピュータなどのＣＰＵからなるシーケンスコントローラであり、レリーズスイッチ３、ズームスイッチ４（Ｔ、Ｗ）、手ぶれモードスイッチ５、モードキー７、モード操作キー９、パワースイッチ１１などのＯＮ・ＯＦＦを検出し、各構成要素の動きを制御してデジタルカメラ全体の制御を行なう。軌跡メモリ回路１１３が露出時間中の時系列の手ぶれ復元検出信号を記憶しているため、画像データの取得後に手ぶれ復元演算を行なうことができ、処理を順序立てて実行できる。
【００４４】
１２２は手ぶれによる画像の劣化を復元するための手ぶれ復元関数ｆ-1を各画面エリア毎に算出する回路（手ぶれ復元関数算出回路；手ぶれ復元関数算出部）であり、手ぶれ復元関数ｆ-1は、基本軌跡演算回路１１２の出力から原画像がどのように変化するかを予測して出力される。ここで、手ぶれ復元関数ｆ-1は手ぶれによって発生する手ぶれ劣化関数ｆの逆関数である。
【００４５】
１１４は、図２で述べたレンズユニット２の背後に位置するＣＣＤからなる撮像素子（撮像部）、１１５は撮像素子（ＣＣＤ）１１４からの出力を処理するＣＣＤ出力処理回路、１１６はＣＣＤ出力処理回路１１５で処理された画像データを一時保持する画像メモリであり、たとえば、ＳＤＲＡＭが画像メモリ１１６として用いられる。画像メモリ（ＳＤＲＡＭ）１１６に記憶された画像データは、画像処理１回路１１７−１によってＹＣ分離処理（ＲＧＢ処理）がなされる。さらに補正値記憶メモリ１１８に記憶されたディストーション補正データやシェーディング補正データなどを利用してディストーション補正処理、シェーディング補正処理などの処理が画像処理１回路１１７−１でなされる。
【００４６】
デジタルカメラのレンズ２がズーム位置およびフォーカス位置に依存した画像歪（デイストーション）を持つため、補正が必要になる。ここで、画像歪（ディストーション）とは画面の中心に比べて周辺部で画像の形状が歪む現象であり、通常、たる型や糸巻き型などの特性を持っている。また、レンズ２の特性によりズーム位置およびフォーカス位置に依存して画面の中央に対して周辺では光量が低下する特性（シェーディング）がある。
実施例のデジタルカメラでは、ディストーション補正処理、シェーディング補正処理を行なうために、画面のエリアごとに、ズーム位置、フォーカス位置に対応した画像歪（ディストーション）補正データやシェーディング補正データなどの補正データが補正値記憶メモリ１１８に記憶されている。これらのＹＣ分離処理、ディストーション補正処理、シェーディング補正処理、を併せて画像処理１とする。しかし、画像処理１回路１１７−１では、手ぶれ画像の復元演算の障害となるγ変換や画像圧縮は実行されず、γ変換や画像圧縮のなされていない画像データが手ぶれ復元処理回路１２３や画像処理２回路１１７−２に送られる。なお、撮像素子１１４はシーケンスコントローラ１１９からの制御信号により、ＣＣＤドライバ（図示しない）を介して駆動制御される。
【００４７】
ここでγ変換とは画像データがモニタなどに表示された際、あるいはペーパーなどに印刷された際に画像の階調特性が人間の視覚に合致するように、撮像時点で得られた画像データの階調特性を人間の視覚に合せてずらすための変換である。もしγ変換を画像処理１回路１１７−１で実行すると、手ぶれ復元の処理を実行する前に画像データの根源的なリニアリティが失われるおそれがある。そのため、手ぶれ復元処理の後にγ変換を実行している。また、圧縮された画像データに対して手ぶれ復元処理が実行できないため、画像処理１回路１１７−１で圧縮処理を行わず、手ぶれ復元処理の後に圧縮処理している。
【００４８】
γ変換や画像圧縮のなされていない画像データが画像処理１回路１１７−１から手ぶれ復元処理回路１２３に送られて、手ぶれ復元関数算出回路１２２で算出された手ぶれ復元関数ｆ-1によって画面のエリアごとに手ぶれ復元演算が手ぶれ復元処理回路１２３で行なわれる。ディストーション、シェーディングの影響を排して手ぶれによる画像劣化の復元が手ぶれ復元処理回路１２３で実行された画像データは、画像処理２回路１１７−２でγ変換（画像処理２）され、さらに、画像圧縮・伸長回路１３０でデータ圧縮されて画像記録媒体１３１に書き込まれる。画像記録媒体１３１への書き込みは、シーケンスコントローラ１１９からの制御信号によって制御され、システムコントローラは記録コントローラとして機能する。
【００４９】
画像記録媒体１３１として、内蔵フラッシュメモリのような内蔵メモリや、装填式メモリカードのような外部メモリが用いられる。画像圧縮・伸長回路１３０は、画像記録媒体１３１から読み出された画像データをビューファインダ６、背面ＬＣＤパネル１０に表示するための伸長機能も備えている。なお、内蔵フラッシュメモリ、外部メモリ（たとえば、装填式メモリカード）などの画像記録媒体１３１に、手ぶれ復元処理回路１２３で処理を行った画像データを記録すれば、画面全体で鮮鋭な画像データを記録できる。
【００５０】
画像データに、画像処理１回路１１７−１によってＹＣ分離処理（ＲＧＢ処理）、ディストーション補正処理、シェーディング補正処理などの画像処理１が実行されるとともに、手ぶれ復元処理回路１２３で手ぶれが補正され、画像処理２回路１１７−２でγ変換（画像処理２）が実行される。また、画像圧縮・伸長回路１３０で画像データの圧縮がなされ、さらに画像記録媒体１３１に記録された圧縮画像データを読み出して伸長を行い、ＬＣＤ６、１０（ビューファインダ６、背面ＬＣＤパネル１０）に表示される。ここで上記の画像処理１回路１１７−１、手ぶれ復元処理回路１２３、画像処理２回路１１７−２、画像圧縮・伸長回路１３０は画像メモリ１１６に接続されており、画像メモリ１１６はこれらの回路で処理された画像データを一時保持するためのメモリ（バッファメモリ）として機能する。
【００５１】
静止画での手ぶれ補正（手ぶれ復元処理）について述べると、図４は静止画での電子手ぶれ補正のイメージであり、図４（Ａ）（Ｂ）はＸ軸、Ｙ軸での手ぶれ(回転角)θｘ、θｙの変化、図４（Ｃ）は撮像素子（ＣＣＤ）１１４上でのぶれ軌跡、図４（Ｄ）は原画像と撮像画像との関係を示す。
【００５２】
図３に即して述べたように、角速度センサ１０８、１０９で検出したＸ軸およびＹ軸の手ぶれから、基本軌跡演算回路１１２に、図４（Ａ）（Ｂ）に示すような時間対応の、つまり時系列の変位角θｘ、θｙのデータが出力される。次に、その時点でのズームの位置からレンズの焦点距離がわかるため近軸計算によって、図４（Ｃ）に示すように、撮像素子（ＣＣＤ）１１４上のぶれの変位軌跡が算出され、このぶれの変位軌跡が軌跡メモリ回路１１３に記憶される。そして、この軌跡メモリ１１３に記憶された撮像素子１１４上のぶれ軌跡から、手ぶれによる手ぶれ劣化係数ｆを算出し、手ぶれ劣化係数ｆによって撮像画像（原画像）ｉがぶれ画像ｊに劣化しているから、ｆの逆関数ｆ-1すなわち手ぶれ復元関数を演算して求めて、この手ぶれ復元関数ｆ-1を用いて逆変換すれば、手ぶれの影響のない撮像画像ｉが復元される。
【００５３】
このように静止画においては、撮影時の手ぶれによる時系列の手ぶれによる撮像素子１１４上のぶれ軌跡から手ぶれ劣化係数ｆを算出し、ｆの逆関数ｆ-1すなわち手ぶれ復元関数による逆変換によってぶれ画像を復元している。
【００５４】
図５は撮影モードのメインフローを示す。まず、パワースイッチ１１を押して沈胴状態のレンズをセットアップし、レリーズＳＷ３の１ｓｔレリーズが判断され（Ｓ１０１）、１ｓｔレリーズがＯＮされるまで、ＣＣＤ１１４が所定周期で連続的に動作して得た画像データ（スルー画）が、電子ビューファインダ６、背面ＬＣＤパネル１０に表示される（Ｓ１０２）。レリーズＳＷ３の１ｓｔレリーズがＯＮされると、測光センサ（図示しない）によって測光してその測光結果に基づいて測光露出演算がなされ（Ｓ１０３）、さらに測距センサ（図示しない）によって測距してその測距結果に基づいてフォーカスモータ１０５を駆動制御し、フォーカスレンズ１４を駆動させて自動フォーカシング（ＡＦ）がなされる（Ｓ１０４）。
【００５５】
それから、レリーズＳＷ３の１ｓｔレリーズのＯＦＦが判断され（Ｓ１０５）、１ｓｔレリーズ動作が中止されて撮影動作が中止されれば、Ｓ１０１に戻って、次の１ｓｔレリーズがＯＮとなるまで待機する。Ｓ１０５で１ｓｔレリーズがＯＮであれば、次に、レリーズＳＷ３の２ｎｄレリーズのＯＮが判断され（Ｓ１０６）、２ｎｄレリーズがＯＮされなければ、Ｓ１０５に戻って１ｓｔレリーズのＯＦＦが判断される。Ｓ１０６でレリーズＳＷ３の２ｎｄレリーズがＯＮされると、ＣＣＤ１１４を動作させて撮影がなされる。つまり、露光動作（撮影）がなされ（Ｓ１０７）、ＣＣＤ１１４に蓄積した電荷が光電変換され、ＣＣＤ出力処理回路１１５を介して画像データが読み出される（Ｓ１０８）。そして、画像処理１回路１１７−１で、ＹＣ分離処理、ディストーション補正、シェーデイング補正などの画像処理１が施され（Ｓ１０９）、画像処理１の施された画像データ（ＤＴＲとする）が画像メモリ１１６に記憶される（Ｓ１１０）。図５に図示しないが、手ぶれ検出部である角速度センサ１０８、１０９は常時動作して、この露光動作（撮影）の実行期間中の手ぶれによる軌跡データ（ＬＯＣ−ＤＴ）が軌跡メモリー回路１１３に記憶されている。
【００５６】
次に手ぶれ補正モードのＯＮが判断され（Ｓ１１１）、手ぶれモードＳＷ５がＯＮで手ぶれ補正モードに設定されていれば、画像メモリ１１６に記憶された画像処理１後の画像データ（ＤＴＲ）に対して画像記録処理１がなされ（Ｓ１１２）、手ぶれモードがＯＦＦなら、画像記録処理２がなされる（Ｓ１１３）。そして、画像記録処理１、２を経て、１コマの撮影シーケンスが終了してＳ１０１に戻る。
【００５７】
図６、図７はサブルーチンの画像記録処理１、２のフローチャートを示す。図６に示す画像記録処理１のフローチャートにおいては、まず、画像メモリ１１６に記憶されている画像処理１後の画像データ（ＤＴＲ）を読み出して、画像処理２（γ変換）が実行され（Ｓ１２０）、画像メモリ１１６に記憶される（Ｓ１２１）。区別のために、手ぶれ復元処理前で画像処理２の施された画像データを画像データ（ＤＴ）とする。
【００５８】
画像処理２の施された画像データ（ＤＴ）には、手ぶれ補正がなされておらず、手ぶれ復元処理前の画像データ（ＤＴ）が、図８（Ａ）に示すように、ＬＣＤ６、１０にとりあえず表示される（Ｓ１２２）。それから、軌跡メモリ回路１１３に記憶された軌跡データ（ＬＯＣ−ＤＴ）に基づいて手ぶれ復元関数が手ぶれ復元関数算出回路１２２で算出され（Ｓ１２３）、算出された手ぶれ復元関数に基づいて、画像メモリ１１６に記憶されている画像データ（ＤＴＲ）に手ぶれ復元処理が実行される（Ｓ１２４）。
図８（Ａ）に示す復元処理前の画像データ（ＤＴ）の表示では、“手ぶれマーク”が点滅して手ぶれ復元演算中であることが併せて表示される。“手ぶれマーク”を点滅させて手ぶれ復元演算中であることを表示することにより、現在表示されている画像データが手ぶれ復元前の画像データであることをデジタルカメラの使用者に知らせることができる。
【００５９】
手ぶれ復元処理後の画像データに対して画像処理２が実行される（Ｓ１２５）。得られた画像データ（手ぶれ復元処理後の画像データ）を区別のために画像データ（ＤＴＢ）とする。そして、手ぶれ復元処理後の画像データ（ＤＴＢ）が画像メモリ１１６に記憶され（Ｓ１２６）、画像が選択されて画像記録媒体１３１に記録される（Ｓ１２７）。画像の選択記録については後述する。
なお、画像メモリ１１６には、手ぶれ復元処理前の画像データ（ＤＴ）と、手ぶれ復元処理後の画像データ（ＤＴＢ）とが記憶されているため、手ぶれ復元処理前の画像データ（ＤＴ）と手ぶれ復元処理後の画像データ（ＤＴＢ）との並列表示が可能となる。また、ＬＣＤ６、１０に表示する画像を手ぶれ復元処理前の画像データ（ＤＴ）から手ぶれ復元処理後の画像データ（ＤＴＢ）に画像切換スイッチで切換えて、図８（Ｂ）に示すように、手ぶれ復元処理後の画像データ（ＤＴＢ）を表示してもよい。
【００６０】
次に、図７を参照しながら、サブルーチンの画像記録処理２のフローチャートについて述べると、画像記録処理２では手ぶれ補正は実行されない。まず、画像メモリ１１６に記憶されている画像データを読み出して画像処理２（γ変換）を実行し（Ｓ１３０）、手ぶれ復元処理前の画像データ（ＤＴ）がＬＣＤ６、１０に表示される（Ｓ１３１）。画像データ（ＤＴ）が画像圧縮・伸長回路１３０でＪＥＰＧに準拠した圧縮フォーマットで圧縮処理され（Ｓ１３２）、圧縮された画像データ（ＤＴ−ＪＰＧ）と軌跡データ（ＬＯＣ−ＤＴ）とを併せた画像ファイルを作成し、画像記録媒体１３１に記憶する（Ｓ１３３）。
【００６１】
図９は画像ファイルの構造を示し、画像ファイルは、圧縮画像データ（ＤＴＢ−ＪＰＧ）の記録されるデータ部と、軌跡データ（ＬＯＣ−ＤＴ）と画像ファイルに付随するヘッダ情報（撮影パラメータや画像データの規格情報など）とその画像ファイルが手ぶれ復元処理のなされたものであるか否かを示すフラグであるＢ−フラグとが記録されるヘッダ部と、を備えて構成されている。
そして、圧縮画像データが画像ファイルのデータ部に、軌跡データ（ＬＯＣ−ＤＴ）がヘッダ部に記録され、画像記録処理２では画像ファイル（ＤＴ）に手ぶれ復元処理がなされないから、画像ファイルのヘッダ部のＢ−フラグは０（手ぶれ復元処理なし）として記録する。
【００６２】
上記のように、手ぶれ補正モードでの撮影では、演算に時間を要する手ぶれ復元演算を行っている間に、図８（Ａ）に示すように、手ぶれ復元前の画像データ（ＤＴ）を表示するため、構図やシャッタタイミングの確認が素早く行なえる。
【００６３】
図１０は画像記録処理１におけるサブルーチンの画像選択記録のフローチャートを示す。まず、画像メモリ１１６に記憶されている手ぶれ復元処理前の画像データ（ＤＴ）と手ぶれ復元処理後の画像データ（ＤＴＢ）とを読み出し、図１１（Ａ）のように、左右に分割した画面に並列に表示する（Ｓ１４０）。並列表示時間は、例えば、５秒とされ、５秒タイマがリセットされてスタートする（Ｓ１４１）。
【００６４】
並列表示は、手ぶれ復元処理前の画像データ（ＤＴ）と手ぶれ復元処理後の画像データ（ＤＴＢ）との全エリアの中で所定の一部を同一領域について表示される。所定の一部の同一領域が並列表示されるため、手ぶれ復元の前後の画像データが直接比較され、手ぶれ復元の効果が視覚的に確認され、効果的な確認が可能となる。
一般的に主被写体は中央部に存在するから、所定の一部の同一領域として、画像データの全エリアの中央部の領域を表示すれば、主被写体の存在する確率の高いエリアが自動的に表示され、手ぶれ復元処理の効果が効率的に確認できる。
手ぶれ復元処理後の画像データ（ＤＴＢ）の表示では、点滅しない手のマークを併せて表示することにより、表示中の画像データが手ぶれ復元後の画像データ（ＤＴＢ）であることを知らせている。
【００６５】
５秒タイマのリセットスタート後、ズームＳＷ４のＯＮが判断され（Ｓ１４２）、ズームＳＷ４がＯＮで、ＯＮのズームＳＷ４がＴボタン４ー１であれば、ＬＣＤ６、１０（ビューファインダ６、背面ＬＣＤパネル１０）の表示が拡大され、Ｗボタン４ー２がＯＮであれば、表示が縮小される。図１２（Ａ）〜図１２（Ｃ）は、ＬＣＤ６、１０での表示画像の拡大・縮小を示し、画像データが図１２（Ａ）→図１２（Ｂ）→図１２（Ｃ）に示すように拡大されて表示されたり、図１２（Ｃ）→図１２（Ｂ）→図１２（Ａ）に示すように縮小されて表示される。表示画像が拡大・縮小されると、Ｓ１４１に戻って５秒タイマがリセットされてスタートし、拡大・縮小された画像データを対象とした処理が開始される。
【００６６】
画像データの全エリアでなく、所定の一部が表示されるため、表示される領域を拡大・縮小でき、さらにその所定の一部が同一領域について表示されるため、拡大・縮小して適切な大きさで手ぶれ復元処理前の画像データ（ＤＴ）と手ぶれ復元処理後の画像データ（ＤＴＢ）との両データを比較でき、手ぶれ復元の効果が詳細に確認できる。
【００６７】
Ｓ１４２でズームＳＷ４がＯＦＦであれば、次に、シフトＳＷのＯＮが判断される（Ｓ１４４）。シフトＳＷがＯＮで、そのＯＮのシフトＳＷが左シフトＳＷであれば、表示された画像が左にシフトされ、ＯＮのシフトＳＷが右シフトＳＷであれば、表示された画像が右にシフトされる（Ｓ１４５）。図１３（Ａ）〜図１３（Ｃ）は表示画像のシフトを示し、ＬＣＤ６、１０の中央部に表示されている画像が、左シフトＳＷによって図１３（Ａ）から図１３（Ｂ）に示すように左にシフトされたり、右シフトＳＷによって図１３（Ａ）から図１３（Ｃ）に示すように右にシフトされる。表示画像が左右にシフトされると、Ｓ１４１に戻って５秒タイマがリセットされ、左右にシフトされた画像データを対象とした処理が開始される。
【００６８】
表示される画像データが全エリアでなく、所定の一部であるため、表示される領域を左右にシフトして、所望のエリアを選択表示できる。そのため、主被写体が全エリアの中央部に存在しない場合でも、主被写体の存在するエリアが選択して表示され、主被写体がどのエリアに存在しても対応でき、選択表示したエリアでの主被写体の撮影状態から手ぶれ復元効果が確認できる。
【００６９】
Ｓ１４４でシフトＳＷがＯＦＦであれば、画像切換ＳＷのＯＮが判断され（Ｓ１４６）、ＯＮであれば、画像選択枠が切換えられ、Ｓ１４１に戻って５秒タイマがリセットされ、選択された画像データを対称とした処理が開始される。
画像切換ＳＷがＯＮであれば、手ぶれ復元前の画像（ＤＴ）と手ぶれ復元後の画像（ＤＴＢ）とは、画像切換ＳＷを押すことによって交互に選択され、並列表示された手ぶれ復元前の画像（ＤＴ）、手ぶれ復元後の画像（ＤＴＢ）のうち、図１１（Ａ）では手ぶれ復元後の画像（ＤＴＢ）の枠が選択され、図１１（Ｂ）では手ぶれ復元前の画像（ＤＴ）の枠が選択されている。
【００７０】
Ｓ１４６で画像切換ＳＷがＯＦＦであれば、記録すべき画像データが選択されたものとして記録ＳＷのＯＮが判断され（Ｓ１４８）、記録ＳＷが押されていなければ（ＯＦＦであれば）、１ｓｔレリーズのＯＮが判断される（Ｓ１４９）。１ｓｔレリーズがＯＦＦで、ズームＳＷ、シフトＳＷ、画像切換ＳＷ、記録ＳＷ、１ｓｔレリーズがいずれもＯＦＦのまま５秒が経過して５秒タイマがタイムアップすれば（Ｓ１５０）、選択枠の付された画像が記録すべき画像として選択されたと判断して、１秒だけ画像を表示する１秒タイマがリセットされてスタートする（Ｓ１５１）。５秒が経過していなければ、Ｓ１４２に戻ってズームＳＷのＯＮが判断される。Ｓ１４８で記録ＳＷが押されていたり、Ｓ１４９で１ｓｔレリーズが押されれば、記録すべき画像データが選択されたと判断して、５秒タイマのタイムアップを待たずにＳ１５１に移行し、１秒タイマがリセットされてスタートする。
【００７１】
１秒タイマがリセットされてスタートすると、並列表示から、選択された画像データの単独表示となる。図１１（Ｃ）は単独表示の一例であり、図１１（Ａ）に示す手ぶれ復元処理された画像（ＤＴＢ）の枠が選択された状態で、記録ＳＷまたは１ｓｔレリーズが押されたり、記録ＳＷまたは１ｓｔレリーズを押すことなく５秒が経過すれば、図１１（Ｃ）に示すように、手ぶれ復元処理された画像（ＤＴＢ）がＬＣＤ６、１０の全面を使用して１秒だけ単独で表示（単独全面表示）される。単独表示された画像（ＤＴＢ）は、画像圧縮・伸長回路１３０でＪＥＰＧに準拠した圧縮フォーマットで圧縮処理され（Ｓ１５３）、圧縮された画像データ（ＤＴ−ＪＰＧ）と軌跡データ（ＬＯＣ−ＤＴ）とを併せた画像ファイルが作成されて画像記録媒体１３１に記録される（Ｓ１５４）。
【００７２】
圧縮画像データ（ＤＴＢ−ＪＰＧ）は画像ファイルのデータ部に記憶され、軌跡データ（ＬＯＣ−ＤＴ）と画像ファイルに付随するヘッダ情報（撮影パラメータや画像データの規格情報など）と手ぶれ復元処理の有無を示すフラグであるＢ−フラグとは画像ファイルのヘッダ部に記録される。画像ファイルが手ぶれ復元処理された画像ファイル（ＤＴＢ−ＪＰＧ）であればＢ−フラグは１とされ、手ぶれ復元処理されない画像ファイル（ＤＴ−ＪＰＧ）であればＢ−フラグは０とされる。
１秒の単独表示時間が経過して１秒タイマがタイムアップすれば、撮影モードのメインフローに戻り、１ｓｔレリーズがオンされるまでスルー画を表示して待機する（Ｓ１０１）。
【００７３】
上記のように、時間を要する手ぶれ復元処理を行なっている間は、手ぶれ復元を施されない画像データ（ＤＴ）を表示することにより（図８（Ａ）参照）、構図やシャッタタイミングの確認が素早くできる。そして、手ぶれ復元処理後は、手ぶれ復元を施されない画像データ（ＤＴ）の単独表示から、手ぶれ復元処理を施した画像データ（ＤＴＢ）と手ぶれ復元処理を施さない画像データ（ＤＴ）との両画像データの並列表示（図１１（Ａ）（Ｂ）参照）に切換えて表示されるため、並列表示によって両画像データが容易に比較され、手ぶれ復元処理の効果が効果的に確認できる。
【００７４】
また、手ぶれ復元処理を施した画像データ（ＤＴＢ）と手ぶれ復元処理を施さない画像データ（ＤＴ）との両画像データの並列表示に切換えた後で、どちらか一方の画像データを選択した後に、選択した画像データ（ＤＴまたはＤＴＢ）の単独表示（図１１（Ｃ）に切換えれば、選択した画像データ（ＤＴまたはＤＴＢ）だけを落ち着いて詳細に確認できる。
【実施例２】
【００７５】
実施例１では、手ぶれ復元処理中は手ぶれ復元を施されない画像データ（ＤＴ）を単独で表示し、手ぶれ復元処理後は、手ぶれ復元処理を施した画像データ（ＤＴＢ）と手ぶれ復元処理を施さない画像データ（ＤＴ）との両画像データの並列表示に切換え、並列表示された両画像データのうちのいずれかの画像データを選択して記録している。しかし、並列表示の代わりに両画像データを切換え表示し、表示されている画像データを選択した画像データとして記録してもよく、切換え表示される構成を実施例２として以下に述べる。
【００７６】
図１４は実施例２における画像選択記録のフローチャートを示し、実施例１の図１０に対応する。まず、画像メモリ１１６に記憶されている手ぶれ復元処理後の画像データ（ＤＴＢ）を読み出し、図１５（Ａ）のようにＬＣＤ６、１０（ビューファインダ６、背面ＬＣＤパネル１０）に表示する（Ｓ２４０）。表示時間は、例えば、５秒とされ、５秒タイマがリセットされてスタートする（Ｓ２４１）。
【００７７】
ズームＳＷ４のＯＮが判断され（Ｓ２４２）、ズームＳＷ４がＯＮで、ＯＮのズームＳＷ４がＴボタン４ー１であれば、ＬＣＤ６、１０の表示画像が拡大され、Ｗボタン４ー２がＯＮであれば、表示部が縮小される。図１６は、ＬＣＤ６、１０の表示部の拡大・縮小を示し、画像データが図１６（Ａ）→図１６（Ｂ）に示すように拡大されて表示されたり、図１６（Ｂ）→図１６（Ａ）に示すように縮小されて表示される。ズームＳＷ４がＯＮで、表示画像が拡大・縮小されると、Ｓ２４１に戻って５秒タイマがリセットされてスタートし、拡大・縮小された画像データを対象とした処理が開始される。
【００７８】
Ｓ２４２でズームＳＷ４がＯＦＦであれば、次に、シフトＳＷのＯＮが判断される（Ｓ２４４）。シフトＳＷがＯＮであり、ＯＮのシフトＳＷが左シフトＳＷであれば、表示された画像が左にシフトされ、ＯＮのシフトＳＷが右シフトＳＷであれば、表示された画像が右にシフトされる（Ｓ２４５）。図１６（Ｂ）〜図１６（Ｄ）は表示画像のシフトを示し、ＬＣＤ６、１０に拡大されて表示されていた画像（図１６（Ｂ））が、左シフトＳＷによって図１６（Ｃ）に示すように左にシフトされたり、右シフトＳＷによって図１６（Ｄ）に示すように右にシフトされる。シフトＳＷによって表示画像が左右にシフトされると、Ｓ２４１に戻って５秒タイマがリセットされ、左右にシフトされた画像データを対象とした処理が開始される。
【００７９】
Ｓ２４４でシフトＳＷがＯＦＦであれば、画像切換ＳＷのＯＮが判断され（Ｓ２４６）、ＯＮであれば、表示中の画像データが手ぶれ復元後の画像（ＤＴＢ）であるかが判断される（Ｓ２４７）。表示中の画像データが手ぶれ復元後の画像（ＤＴＢ）であれば、手ぶれ復元前の画像データ（ＤＴ）に切換えられて図１５（Ａ）のように手ぶれ復元前の画像データ（ＤＴ）が表示される（Ｓ２４８）。表示中の画像データが手ぶれ復元後の画像（ＤＴＢ）でなければ、手ぶれ復元後の画像データ（ＤＴＢ）に切換えられて手ぶれ復元後の画像データ（ＤＴＢ）が図１５（Ｂ）のように表示される（Ｓ２４９）。表示中の画像データが手ぶれ復元前の画像データ（ＤＴ）、手ぶれ復元後の画像データ（ＤＴＢ）の相互間で切換えられると、Ｓ２４１に戻って５秒タイマがリセットされ、切換えられた画像データを対象とした処理が開始される。
【００８０】
Ｓ２４６で画像切換ＳＷがＯＦＦであれば、次に、記録ＳＷのＯＮが判断され（Ｓ２５０）、記録ＳＷが押されていなければ（ＯＦＦであれば）、１ｓｔレリーズのＯＮが判断される（Ｓ２５１）。１ｓｔレリーズがＯＦＦで、ズームＳＷ、シフトＳＷ、画像切換ＳＷ、記録ＳＷ、１ｓｔレリーズがいずれもＯＦＦのまま５秒が経過して５秒タイマがタイムアップすれば（Ｓ２５２）、表示中の画像データが記録すべき画像データとして選択されたと判断され、画像圧縮・伸長回路１３０でＪＥＰＧに準拠した圧縮フォーマットで圧縮処理され（Ｓ２５３）、圧縮された画像データ（ＤＴ−ＪＰＧまたはＤＴＢ−ＪＰＧ）と軌跡データ（ＬＯＣ−ＤＴ）とを併せた画像ファイルを作成して画像記録媒体１３１に記録する（Ｓ２５４）。画像記録媒体１３１に記録すると、撮影モードのメインフローに戻り、１ｓｔレリーズがオンされるまでスルー画を表示して待機する。
【００８１】
圧縮画像データ（ＤＴ−ＪＰＧまたはＤＴＢ−ＪＰＧ）は画像ファイルのデータ部に記憶され、軌跡データ（ＬＯＣ−ＤＴ）と画像ファイルに付随するヘッダ情報（撮影パラメータや画像データの規格情報など）と、手ぶれ復元処理の有無を示すフラグであるＢ−フラグとは画像ファイルのヘッダ部に記録される。画像ファイルが手ぶれ復元処理された画像ファイル（ＤＴＢ−ＪＰＧ）であればＢ−フラグは１とされ、手ぶれ復元処理されていない画像ファイル（ＤＴ−ＪＰＧ）であればＢ−フラグは０とされる。
【００８２】
Ｓ２５０で記録ＳＷが押されていたり、Ｓ２５１で１ｓｔレリーズが押されていれば、５秒タイマのタイムアップを待たずに、Ｓ２５３に移行して選択された画像データが圧縮処理される。また、Ｓ２５２で５秒タイマがタイムアップしなければ、Ｓ２４２に戻ってズームＳＷのＯＮが判断される。
【００８３】
なお、実施例２は画像選択記録のフローチャートにおける画像データの表示が実施例１では並列表示であるのに対して実施例２では切換え表示である点で、実施例１、２は相違し、実施例２の他の構成は実施例１と共通するため、実施例１と共通する実施例２の構成の説明は省略する。
実施例２では、手ぶれ復元処理のなされた画像データ（ＤＴＢ）と手ぶれ復元処理のなされない画像データ（ＤＴ）との両画像が切換えて表示され、直前に表示されていた画像データと現在表示されている画像データを比較することにより、手ぶれ復元処理の効果が効果的に確認できる。
【実施例３】
【００８４】
再生モードの表示に特徴のある実施例３を以下に説明する。図１７は、再生モードのフローチャートを示し、まず、再生画面において、右シフトキーまたは左シフトキーのＯＮを検出し画像データをスクロールして再生の対象となる画像データを選択し（Ｓ３０１）、選択した画像データの画像ファイルを画像記録媒体１３１から読み出す（Ｓ３０１）。
ここで、画像ファイルのデータ部には、圧縮画像データ（ＤＴ−ＪＰＧまたはＤＴＢ−ＪＰＧ）が記憶され、画像ファイルのヘッダ部には、軌跡データ（ＬＯＣ−ＤＴ）と画像ファイルに付随するヘッダ情報（撮影パラメータや画像データの規格情報など）と手ぶれ復元処理の有無を示すフラグであるＢ−フラグとが記録されている。そして、画像ファイルが手ぶれ復元処理された画像ファイル（ＤＴＢ−ＪＰＧ）であればＢ−フラグは１とされ、手ぶれ復元処理されない画像ファイル（ＤＴ−ＪＰＧ）であればＢ−フラグは０とされている。
【００８５】
画像データが手ぶれ復元処理されない画像データ（ＤＴ）であるか否かが、Ｂ−フラグ＝０から判断される（Ｓ３０２）。Ｂ−フラグが０で画像ファイルが手ぶれ復元処理されない圧縮画像データ（ＤＴ−ＪＰＧ）であれば、再生処理１で再生処理され（Ｓ３０３）、Ｂ−フラグが１で画像ファイルが手ぶれ復元処理された圧縮画像データ（ＤＴＢ−ＪＰＧ）であれば、再生処理２で再生処理される（Ｓ３０４）。そして、再生処理１、２が終了すると、Ｓ３００に戻って再生の対象となる次の画像データが選択される。
【００８６】
図１８、図１９はサブルーチンの再生処理１、２のフローチャートをそれぞれ示す。まず、図１８を参照しながら、再生処理１について述べると、まず、選択された画像データを画像圧縮・伸長回路１３０で伸長する（Ｓ３１０）。再生処理１では手ぶれ復元処理前の画像データを対象としているから、伸長された画像データは画像データ（ＤＴ）であり、この画像データ（ＤＴ）を画像メモリ１１６に記憶し（Ｓ３１１）、読み出して、図２０（Ａ）に示すように、ＬＣＤ６、１０（ビューファインダ６、背面ＬＣＤパネル１０）に表示する（Ｓ３１２）。
【００８７】
次に、画像切換ＳＷのＯＮが判断され（Ｓ３１３）、画像切換ＳＷがＯＦＦであれば、Ｓ３２４に移行して左シフトキーまたは右シフトキーのＯＮが判断され、シフトキーが押されていれば再生モードに戻り、押されていなければＳ３１３に戻る。
Ｓ３１３で画像切換ＳＷが押されていれば、表示中の画像データが画像データ（ＤＴ）であるか否かが判断され（Ｓ３１４）、画像データ（ＤＴ）でなく手ぶれ復元された画像データＤＴＢであれば、Ｓ３１１で画像メモリ１１６に記憶された画像データ（ＤＴ）を読み出し表示する（Ｓ３１５）。次に、Ｓ３２４に移行してシフトキーのＯＮが判断され、シフトキーが押されていれば再生モードに戻って次の画像データに移り、押されていなければＳ３１３に戻って再生処理が継続される。
【００８８】
Ｓ３１４で表示中の画像データが手ぶれ復元前の画像データ（ＤＴ）であれば、対応する手ぶれ復元後の画像データ（ＤＴＢ）が画像メモリ１１６に記憶されているか否か判断される（Ｓ３１６）。Ｓ３１６で手ぶれ復元後の画像データ（ＤＴＢ）が画像メモリ１１６に記憶されていなければ、手ぶれ復元処理する必要があるから、（Ｓ３０１で画像記録媒体１３１から読みだされた）軌跡データ（ＬＯＣ−ＤＴ）に基づいて手ぶれ復元関数が手ぶれ復元関数算出回路１２２で算出される（Ｓ３１７）。次に、画像データ（ＤＴ）は手ぶれ復元処理回路１２３に送られ、手ぶれ復元関数算出回路１２２で算出された手ぶれ復元関数に基づいて手ぶれ復元処理が実行される（Ｓ３１８）。そして、手ぶれ復元処理された画像データ（ＤＴＢ）が画像メモリ１１６に記録され（Ｓ３１８）、画像データ（ＤＴ）の表示から画像データ（ＤＴＢ）の表示に切換えられて、画像データ（ＤＴＢ）が、図２０（Ｂ）に示すように、ＬＣＤ６、１０に表示される（Ｓ３２０）。
【００８９】
次に、記録ＳＷのＯＮが判断され（Ｓ３２１）、再記録のために記録ＳＷがＯＮされれば、画像データ（ＤＴＢ）が画像圧縮・伸長回路１３０でＪＥＰＧに準拠した圧縮フォーマットで圧縮処理され（Ｓ３２２）、圧縮された画像データ（ＤＴＢ−ＪＰＧ）と軌跡データ（ＬＯＣ−ＤＴ）とを併せた画像ファイルを作成して画像記録媒体１３１に上書きする（Ｓ３２３）。図２０（Ｂ）に示すように、画像データ（ＤＴＢ）の表示に併せて再記録を促す表示をすれば、再記録の失念が防止できる。Ｓ３２１で記録ＳＷが押されなければ、画像データ（ＤＴＢ）を再記録することなく、Ｓ３２４でシフトキーのＯＮが判断され、シフトキーが押されていれば再生モードに戻り、押されていなければＳ３１３に戻って、次の再生処理が開始される。
【００９０】
Ｓ３１６において、初回（１回目）では画像データ（ＤＴＢ）が画像メモリに記録されていないが、２回目以降では画像データ（ＤＴＢ）が既に記録されているから、２回目以降ではＳ３１７〜Ｓ３１９が省略されて、Ｓ３２０に移行して画像データ（ＤＴ）の表示から画像データ（ＤＴＢ）の表示に直ちに切換えられる。
【００９１】
次に、図１９を参照しながら、再生処理２について述べると、まず、選択された画像データを画像圧縮・伸長回路１３０で伸長する（Ｓ３３０）。再生処理２では手ぶれ復元処理後の画像データを対象としているから、伸長された画像データは画像データ（ＤＴＢ）であり、この画像データ（ＤＴＢ）を表示し（Ｓ３３１）、シフトキーのＯＮが判断される（Ｓ３３２）。右シフトキーまたは左シフトキーが押されていれば、再生モードに戻って次の画像データに移り、押されていなければ押されるまで待機する。
【００９２】
このように、手ぶれ復元前の画像データ（ＤＴ）と手ぶれ復元後の画像データ（ＤＴＢ）とが画像切換スイッチの切換えにより、図２０（Ａ）（Ｂ）に示すように、再生モードで交互に表示される。そのため、手ぶれ復元前の画像データ（ＤＴ）と手ぶれ復元後の画像データ（ＤＴＢ）とを再生モードで切換え表示することにより、手ぶれ復元効果が撮影後にいつでも確認できる。
再生モードに関する実施例３は、実施例１、２において適用される。
【００９３】
実施例３では、手ぶれ復元前の画像データ（ＤＴ）と手ぶれ復元後の画像データ（ＤＴＢ）との両画像データが図２０（Ａ）（Ｂ）のように切換え表示されている。しかし、切換え表示に代えて、図１１（Ａ）（Ｂ）に示すように並列表示してもよく、並列表示によれば、手ぶれ復元前の画像データ（ＤＴ）と手ぶれ復元後の画像データ（ＤＴＢ）とが直接比較され、手ぶれ復元効果が視覚的に確認され、効果的な確認が可能となる。
【００９４】
上述した実施例は本発明を説明するためのものであり、本発明は実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上記以外の変形や応用が可能であることはいうまでもない。
【産業上の利用可能性】
【００９５】
本発明によれば、手ぶれ復元処理前の画像データと手ぶれ復元処理後の画像データとの両画像データを表示可能であるため、両画像データを並列表示したり、切換え表示することにより手ぶれ復元の効果が確認でき、手ぶれによる復元処理を必要とする分野に本発明が広範囲に応用できる。
【図面の簡単な説明】
【００９６】
【図１】デジタルカメラに適用した本発明の実施例１を示し、（Ａ）（Ｂ）はデジタルカメラの前面斜視図、背面斜視図を示す。
【図２】レンズユニットの概略図を示す。
【図３】実施例１におけるデジタルカメラの制御回路の構成を示す。
【図４】静止画での電子手ぶれ補正のイメージを示し、（Ａ）（Ｂ）はＸ軸、Ｙ軸での手ぶれ(回転角)θｘ、θｙの変化、（Ｃ）は撮像素子上でのぶれ軌跡、（Ｄ）は原画像と撮像画像との関係を示す。
【図５】実施例１における撮影モードのメインフローチャートを示す。
【図６】図５の撮影モードでのサブルーチンの画像記録処理１のフローチャートを示す。
【図７】図５の撮影モードでのサブルーチンの画像記録処理２のフローチャートを示す。
【図８】手ぶれ復元処理の前後の画像データの切換え表示例を示す。
【図９】画像記録媒体の画像ファイルの構造を示す。
【図１０】図６の画像記録処理２でのサブルーチンの画像選択記録のフローチャートを示す。
【図１１】並列表示での画像選択枠を示し、（Ａ）は手ぶれ復元後の画像の枠の選択例を、（Ｂ）はは手ぶれ復元後の画像の枠の選択例を、（Ｃ）は選択された画像枠の単独表示例をそれぞれ示す。
【図１２】表示画像の拡大・縮小の表示例を示す。
【図１３】表示画像の左右のシフトの表示例を示す。
【図１４】実施例１の図１０に対応する実施例２におけるサブルーチンの画像選択記録のフローチャートを示す。
【図１５】実施例２における手ぶれ復元処理の前後の画像データの切換え表示例を示す。
【図１６】表示画像の拡大・縮小、左右のシフトの表示例を示す。
【図１７】実施例３における再生モードのフローチャートを示す。
【図１８】図１６の再生モードでのサブルーチンの再生処理１のフローチャートを示す。
【図１９】図１６の再生モードでのサブルーチンの再生処理２のフローチャートを示す。
【図２０】実施例３における再生モードでの手ぶれ復元処理の前後の画像データの切換え表示例を示す。
【符号の説明】
【００９７】
１      カメラボディ
２      レンズユニット（光学系）
３      レリーズスイッチ
４      ズームスイッチ
５      手ぶれモードスイッチ
６      ビューファインダ（表示素子）
７      モードキー
９      モード操作キー
１０    背面ＬＣＤパネル（表示素子）
１１    パワースイッチ
１０８、１０９  Ｘ軸、Ｙ軸の角速度センサ（手ぶれ検出部）
１１２  基本軌跡演算回路
１１３  軌跡メモリ回路（手ぶれ検出信号記憶部）
１１４  撮像素子（ＣＣＤ、撮像部）
１１６  画像メモリ（バッファーメモリ）
１１７−１  画像処理１の処理回路
１１７−２  画像処理２の処理回路
１１８  補正値記憶メモリ
１１９  シーケンスコントローラ（表示コントローラ、記録コントロー）
１２２  手ぶれ復元関数算出回路（手ぶれ復元関数算出部）
１２３  手ぶれ復元処理回路（手ぶれ復元部）
１３０  画像圧縮・伸長回路
１３１  画像記録媒体
ＤＴ    手ぶれ復元処理前の画像データ
ＤＴＢ  手ぶれ復元処理後の画像データ
【図１】
2006295238.tif 000003
【図２】
2006295238.tif 000004
【図３】
2006295238.tif 000005
【図４】
2006295238.tif 000006
【図５】
2006295238.tif 000007
【図６】
2006295238.tif 000008
【図７】
2006295238.tif 000009
【図８】
2006295238.tif 000010
【図９】
2006295238.tif 000011
【図１０】
2006295238.tif 000012
【図１１】
2006295238.tif 000013
【図１２】
2006295238.tif 000014
【図１３】
2006295238.tif 000015
【図１４】
2006295238.tif 000016
【図１５】
2006295238.tif 000017
【図１６】
2006295238.tif 000018
【図１７】
2006295238.tif 000019
【図１８】
2006295238.tif 000020
【図１９】
2006295238.tif 000021
【図２０】
2006295238.tif 000022