(57)【特許請求の範囲】
【請求項１】
第１の像ブレ補正手段によって像ブレが補正された動画像である動画データを動画像として再生するとともに前記動画データの所定のフレーム画像を静止画像として再生する再生手段と、前記動画データのフレーム画像間の画像の動き量を算出して第１の振れ情報を生成する生成手段と、前記フレーム画像に対してフレーム間の動きによって生じる動きぼけを付加する動きぼけ付加手段と、を有する画像再生装置であって、
前記第１の像ブレ補正手段は、角速度センサの角速度データに基いて前記動画データの各フレーム画像の露光期間中に生じる像ブレを光学的に補正し、
前記生成手段は、前記角速度センサの角速度データから前記第１の像ブレ補正手段の像ブレ補正の補正量データを減算した結果に基いて前記動画データのフレーム画像間の画像の動き量を算出して前記第１の振れ情報を生成し、
前記再生手段は、前記動画データを前記動画像として再生する場合、前記フレーム間の被写体の動きの不連続性を低減するように、前記動画データのフレーム画像間に生じる第１の振れ情報に基いた動きぼけを付加して動画像を再生し、前記動画データを前記静止画像として再生する場合、前記第１の振れ情報に基いた動きぼけを付加せずに前記静止画像を再生することを特徴とする画像再生装置。
【請求項２】
前記第１の像ブレ補正手段は、露光期間である場合、前記角速度センサの角速度データに基いて露光期間中に生じる像ブレを光学的に補正し、ブランキング期間である場合、前記第１の像ブレ補正手段を補正中心位置に向かわせる制御することを特徴とする請求項１に記載の画像再生装置。
【請求項３】
請求項１又は２に記載の画像再生装置と、前記角速度センサの角速度データに基いて第１の像ブレ補正手段によって光学的に像ブレが補正された動画像を動画データとして記録する記録手段と、を有する撮像装置。
【請求項４】
第１の像ブレ補正手段によって像ブレが補正された動画像を動画データとして記録する記録工程と、前記動画データのフレーム画像間の第１の振れ情報を生成する生成工程と、前記動画データを動画像として再生するとともに前記動画データの所定のフレーム画像を静止画像として再生する再生工程と、前記フレーム画像に対してフレーム間の動きによって生じる動きぼけを付加する動きぼけ付加工程と、を有する画像再生方法であって、
前記第１の像ブレ補正手段は、角速度センサの角速度データに基いて前記動画データの各フレーム画像の露光期間中に生じる像ブレを光学的に補正し、
前記生成工程は、前記角速度センサの角速度データから前記第１の像ブレ補正手段の像ブレ補正の補正量データを減算した結果に基いて前記動画データのフレーム画像間の画像の動き量を算出して前記第１の振れ情報を生成し、
前記再生工程は、前記動画データを前記動画像として再生する場合、前記フレーム間の被写体の動きの不連続性を低減するように、前記第１の振れ情報に基いた動きぼけを付加して動画像を再生し、前記動画データを前記静止画像として再生する場合、前記第１の振れ情報に基いた動きぼけを付加せずに前記静止画像を再生することを特徴とする画像再生方法。
【請求項５】
請求項４に記載の画像再生方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項６】
コンピュータに、請求項５に記載の画像再生方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された動画像から静止画を生成する画像再生装置に関し、撮影状態の良好な静止画像データを得ることを目的とする。
【背景技術】
【０００２】
近年、動画撮影が可能な撮像装置の多画素化が急速に進んでいる。ＦｕｌｌＨＤサイズの動画を撮影する撮像装置は既に広く普及し、４Ｋ、２Ｋ動画撮影が可能な撮像装置も徐々に市場に出始めている。
【０００３】
このような動画像の高精細化によって、動画像の各フレームの画像も静止画として使用するのに十分な画素数を有するようになってきている。これによって、動画像の各フレームから静止画を生成する使用方法が今後更に広がっていくものと考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−２３３３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画像から静止画を生成する際の課題として、像ブレ補正の制御方法が異なるという点がある。静止画の場合、被写体像の露光期間中に発生する像ブレを補正する制御を行う。
【０００６】
つまり、動画像から静止画を生成する場合、動画像を構成する任意のどのフレームに着目してもフレーム内に像ブレが無いことが望まれる。しかしながら、このように撮影された画像を動画像として再生した合、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が他重像を知覚してしまうという視覚上の画像劣化が発生してしまう。
【０００７】
そのため、動画像の場合は露光期間中の残像（動きぼけ）を残し、画像中の動きを自然に見せるようにするのが望ましい。
【０００８】
このように画像中に動きのあるような動画像を撮影した場合に、動画像と静止画をそれぞれ良好に生成することは考慮されていなかった。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、動画像から静止画を生成する場合に像ブレの無い良好な画像を生成することができ、動画像として再生した場合でも違和感の無い画像を生成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明は、第１の像ブレ補正手段によって像ブレが補正された動画像である動画データを動画像として再生するとともに前記動画データの所定のフレーム画像を静止画像として再生する再生手段と、前記動画データのフレーム画像間の画像の動き量を算出して第１の振れ情報を生成する生成手段と、前記フレーム画像に対してフレーム間の動きによって生じる動きぼけを付加する動きぼけ付加手段と、を有する画像再生装置であって、
前記第１の像ブレ補正手段は、角速度センサの角速度データに基いて前記動画データの各フレーム画像の露光期間中に生じる像ブレを光学的に補正し、
前記生成手段は、前記角速度センサの角速度データから前記第１の像ブレ補正手段の像ブレ補正の補正量データを減算した結果に基いて前記動画データのフレーム画像間の画像の動き量を算出して前記第１の振れ情報を生成し、
前記再生手段は、前記動画データを前記動画像として再生する場合、前記フレーム間の被写体の動きの不連続性を低減するように、前記動画データのフレーム画像間に生じる第１の振れ情報に基いた動きぼけを付加して動画像を再生し、前記動画データを前記静止画像として再生する場合、前記第１の振れ情報に基いた動きぼけを付加せずに前記静止画像を再生することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、動画像から静止画を生成する場合に像ブレの無い良好な画像を生成することができ、動画像として再生した場合でも違和感の無い画像を生成することができる撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図
【図２】像ブレ補正制御部１１７の構成例を示すブロック図
【図３】システム制御部１０１の詳細を説明するためのブロック図
【図４】像ブレ補正制御部１１７の制御方法の例を説明するためのグラフ
【図５】動画像に動きぼけを付加する制御方法の例を説明するための図
【図６】動画像に像ブレ補正と動きぼけを付加する制御方法の例を説明するための図
【図７】本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図
【図８】本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図
【図９】本発明の第１の実施形態に係る制御の詳細を説明するフローチャート
【発明を実施するための形態】
【００１３】
（実施形態１）
まず、本発明の実施形態にかかる撮像装置の全体的な構成について説明する。図１は、本発明の実施形態にかかる撮像装置１００の構成例を模式的に示したブロック図である。
【００１４】
図１において、システム制御部１０１は、撮像装置１００の全体の動作を制御するためのブロックである。システム制御部１０１は、例えばＣＰＵ、ＲＡＭおよびＲＯＭを有し、ＲＯＭにあらかじめ記憶されたプログラムに従い、ＲＡＭを作業領域として用いながら、撮像装置１００を制御する。
【００１５】
なお、後述する各処理は、コンピュータプログラム（ソフトウェア）として主にシステム制御部１０１によって実行されるものとする。
【００１６】
撮像レンズ１０２は、ズーム、フォーカス、絞り、像ブレ補正等の機能を有した従来一般の撮像レンズが適用できる。第１の像ブレ補正手段としてのシフトレンズ１０３は、光軸と垂直方向に移動可能なレンズで、像面に結像される被写体像の位置を移動させることができる。
【００１７】
撮像装置に加わる振れを打ち消すようにシフトレンズ１０３を移動することにより、撮像画像の像ブレを補正することができる。
【００１８】
撮像素子１０４は、例えばＸＹアドレス方式のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等で構成される。
【００１９】
そして、撮像レンズ１０２が形成する光学像を光電変換して電荷を蓄積し、その電荷を読み出すことで複数の画素からなる画像信号をカメラ信号処理部１０６に供給する。
【００２０】
また、撮像素子１０４は撮像素子駆動部１０５によって駆動され、例えばＮＴＳＣフォーマットに準拠したビデオ信号の場合は６０Ｈｚの周期で被写体像を取り込むように動作する。
【００２１】
また、撮像素子駆動部１０５からの制御信号によって蓄積した電荷を掃き出すことができ、これによって露光時間（蓄積時間）を制御する電子シャッタ機能を有している。撮像素子駆動部１０５は、露光期間中かブランキング期間中かを示すブランキング信号を像ブレ補正制御部１１７に供給する。
【００２２】
カメラ信号処理部１０６は、撮像素子１０４から出力された画像信号にホワイトバランス調整やガンマ補正などの信号処理を施し、映像信号に変換して出力する。
【００２３】
エンコーダ１０７はカメラ信号処理部１０６から出力された映像信号を所定の形式の動画データに変換する。また動画像を構成するフレーム画像をＪＰＥＧなどの静止画データに変換することも可能である。
【００２４】
記録媒体制御部１０８は、記録媒体１０９を制御して、動画データや静止画データあるいはメタデータなどの記録・読出しを行う。記録媒体１０９は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。
【００２５】
デコーダ１１０は、記録媒体１０９に記録されている各種形式の動画データ・静止画データをデコードして映像信号を生成する。
【００２６】
第２の像ブレ補正手段としての像ブレ補正部１１１は、動画像に含まれる像ブレを補正するもので、元の画像から所定の範囲を切り出し、そしてフレーム単位で画像の切り出し位置を制御することにより、フレーム間に生じた像ブレを電子的に補正する。
【００２７】
動きぼけ生成部１１２は、元画像から異なる解像度の画像を生成し、フレーム間の動きに応じて画像の位置をずらして合成することにより、動きぼけを画像に付加する。
【００２８】
本実施形態の画像再生装置は、動きぼけ生成部１１２及びシステム制御部１０１を有する。
【００２９】
静止画生成部１１３は、動画像を構成するフレーム画像のなかから所定の画像をキャプチャして静止画像を生成する。
【００３０】
表示制御部１１４は、カメラ信号処理部１０６から出力された映像信号に基づく画像（カメラスルー画）の他、設定メニュー画像、記録済みの画像など用途に応じて加工した映像信号を出力して表示デバイス１１５に画像を表示させる。表示デバイス１１５は液晶表示素子（ＬＣＤ）等であり、表示制御部１１４により生成された画像を表示する。
【００３１】
撮像装置１００は、撮影中の場合には、カメラ信号処理部１０６から出力される映像信号をエンコーダ１０７に供給して記録媒体に記録すると同時に、映像信号を表示制御部１１４に供給してカメラスルー画を表示する。
【００３２】
また、記録済みの画像データを再生する場合には、動きぼけ生成部１１２或いは静止画生成部１１３から出力される映像信号を表示制御部１１４に供給して再生画像を表示する。さらに再生された映像信号は、再度デコーダ１１０に供給することにより、再生画像を再度記録することが可能である。
【００３３】
角速度センサ１１６は撮像装置１００に加わる振れの検出を行うためのセンサであり、検出された振れ信号は像ブレ補正制御部１１７に供給されて像ブレ補正の制御に用いられる。
【００３４】
図２は、図１における像ブレ補正制御部１１７を更に詳細に説明するためのブロック図である。像ブレ補正制御部１１７は、角速度センサ１１６から出力される角速度情報に基づいて撮像装置１００に加わる振れを検出して、それを打ち消すようにシフトレンズ１０３を駆動することにより、撮像画像に発生する像ブレを補正する。
【００３５】
角速度センサ１１６は、光軸に直交する一平面上で互いに直交した検出軸をなすように、水平方向の回転軸（Ｙａｗ）と垂直方向の回転軸（Ｐｉｔｃｈ）との２軸方向に二つの角速度センサを配置している。
【００３６】
なお、それぞれの軸における信号処理及びシフトレンズ１０３の駆動制御は、両軸とも同じ処理で実現することができるので、以降は片方の軸についてのみ説明するものとする。
【００３７】
角速度センサ１１６は、撮像装置１００に加わる振れの角速度を検出し、角速度に応じた電圧を出力する。Ａ／Ｄ変換器２０１は角速度センサ１１６から出力される電圧をデジタルデータに変換し、角速度データとして取り込む。
【００３８】
ＨＰＦ２０２は、角速度データの低周波数成分を除去して、敏感度補正部２０３に供給する。
【００３９】
敏感度補正部２０３は、シフトレンズ１０３を像ブレ補正に適切な（好ましくは最適な）変位量で駆動させるためである。そして、シフトレンズ１０３の偏心敏感度（即ち、シフトレンズの変位量に対する像面上の結像位置の変位量の比率によって求まる係数）を角速度データに乗じて、角速度データの振幅を変換する。
【００４０】
敏感度補正部２０３から出力された角速度データは、積分器２０４で１階積分することにより角変位データに変換する。なお、ここで行われる積分演算は、飽和を防止するために不完全積分となっており、一般的に知られている１次ＬＰＦで演算される。
【００４１】
積分器２０４で算出された角変位データは、飽和防止制御部２０５において、シフトレンズ１０３が機械的な可動範囲の端に突き当たらないように制限をかけて出力される。具体的には、シフトレンズ１０３の機械的な可動範囲の内側に制御範囲の上限値を設け、角変位データが制御範囲を超えないように制限をかける。また、センタリング制御部２０６では、パンニングやチルティングといったユーザーの意図した動作がなされたかどうかを判定し、シフトレンズの位置を中央に戻すように制御を行う。
【００４２】
具体的には、飽和防止制御部２０５に設けられた制御範囲の更に内側に所定の閾値を設け、角変位データが閾値を超えた場合にはパンニングが行われたと判定する。
【００４３】
判定結果は、センタリング制御部２０６に通知され、パンニングと判定された場合には、ＨＰＦ２０２のカットオフ周波数を高くして積分器２０４に入力される角速度データを制限したり、積分器２０４に入力される角速度データから所定のオフセットを差し引く。
【００４４】
或いは、積分器２０４で行われるＬＰＦ演算のカットオフ周波数を高くして、積分器２０４の出力が中央に戻るように制御する。このように、パンニングやチルティング等のユーザーが意図した振れがなされた場合であっても、シフトレンズ１０３の可動範囲に収まるように制御することが可能となる。
【００４５】
このようにして、飽和防止制御部２０５は最終的なシフトレンズ１０３の変位量である駆動目標位置を算出する。
【００４６】
位置検出部２０７は、シフトレンズ１０３の位置を検出して位置に応じた電圧を出力し、アンプ２０８で適切な電圧範囲の信号に増幅さる。そしてＡ／Ｄ変換器２０９によってデジタルデータ化され、位置データとして取り込まれる。
【００４７】
制御フィルタ２１０は、シフトレンズの駆動目標位置と位置データの差分である偏差データが入力され、増幅及び位相補償等の種々の信号処理を施してパルス幅変調部２１１に出力される。
【００４８】
パルス幅変調部２１１は、制御フィルタ２１０の出力を、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部２１２に供給する。モータ２１３は、例えばボイス・コイル型モータであり、モータ駆動部２１２によって駆動されることにより、シフトレンズ１０３は光軸と垂直な方向に移動する。
【００４９】
そして、移動したシフトレンズ１０３の位置は位置検出部２０７で検出されて次の偏差データが算出されるというフィードバックループが形成されており、駆動目標位置と位置データの差分が小さくなるように制御される。
【００５０】
このように角速度センサ１１６で検出した振れに応じてシフトレンズ１０３を駆動することで像ブレを補正することが出来る。
【００５１】
また、像ブレ補正制御部１１７には、撮像素子駆動部１０５で生成されるブランキング信号が供給されている。ブランキング信号は、撮像素子１０４が露光期間中か、或いはブランキング期間中かを判定するための信号であり、ブランキング期間中にはシフトレンズ１０３を制御範囲の補正中心位置に戻すためのセンタリング処理を行う。
【００５２】
ブランキング信号はセンタリング制御部２０６に供給され、センタリング制御部２０６はブランキング期間中と判定された場合には、積分器２０４で行われるＬＰＦ演算のカットオフ周波数を高くして、積分器２０４の出力が中央に戻るように制御する。
【００５３】
また、Ａ／Ｄ変換器２０９の出力であるシフトレンズ１０３の位置データ、即ち像ブレ補正量をシステム制御部１０１に供給しており、フレーム間の像ブレを演算するために用いられる。
【００５４】
図３は、システム制御部１０１で行われる制御の詳細を説明するためのブロック図である。振れ情報生成部３０１は、角速度センサ１１６から供給される撮像装置１００の振れデータと、像ブレ補正制御部１１７から供給される像ブレ補正量から、撮像された動画像のフレーム間の像ブレ量を演算する。
【００５５】
また、振れ情報生成部３０１には、撮像素子駆動部１０５からのブランキング信号が供給されており、撮像されている動画像と同期を取りながら、各フレームに対応した像ブレ量を演算して出力する。
【００５６】
メタデータ生成部３０２は、振れ情報生成部３０１から像ブレ量に基づいて所定の形式のメタデータを生成し、エンコーダ１０７で生成される動画データと対応づけて記録媒体１０９に記録する。
【００５７】
メタデータ読出し部３０３は、動画データに対応づけられて記録されているメタデータを読出し、デコーダ１１０で生成された動画像の各フレームに対応した像ブレ量を抽出して出力する。
【００５８】
補正量演算部３０４は、メタデータ読出し部３０３から供給される像ブレ量に基づいて、像ブレ補正部１１１の像ブレ補正量及び、動きぼけ生成部１１２で付加される動きぼけ量を演算する。
【００５９】
図４は、システム制御部１０１および像ブレ補正制御部１１７で行われる処理について、更に詳細に説明するためのグラフである。
【００６０】
図４において、垂直同期信号は撮像素子１０４における駆動タイミングを決めるための信号であり、各フレームの撮像制御の同期を取るために用いられる。ここでは、説明のため、図４の最初のフレームをＦ０、２番目のフレームをＦ１、３番目のフレームをＦ２としている。
【００６１】
ブランキング信号は、撮像素子駆動部１０５から出力される信号であり、各フレームにおいて、露光期間かあるいはブランキング期間かを示す信号である。
【００６２】
図４（ａ）は、撮像装置１００に加わる振れデータ（角変位データ）を示しており、図３の振れ情報生成部３０１で算出されるデータである。振れ情報生成部３０１では、角速度センサ１１６の出力である角速度データを一階積分することにより振れデータ（角変位データ）を算出する。
【００６３】
ここで算出される振れデータは、撮像装置１００に加わる振れの角変位そのものを示しているものであって、像ブレ補正に用いられる補正量を示す信号ではないことに注意されたい。また、各フレームにおいて、ブランキング信号がブランキング期間から露光期間に切り替わった時刻の振れデータをＢ０、Ｂ１、Ｂ２としている。
【００６４】
図４（ｂ）は、像ブレ補正制御部１１７で演算される像ブレ補正の補正量データであり、即ち、光学式のシフトレンズ１０３の駆動目標位置である。また、各フレームにおいて、ブランキング信号がブランキング期間から露光期間に切り替わった時刻の補正量データをＣ０、Ｃ１、Ｃ２としている。
【００６５】
図４（ｃ）は、振れ情報生成部３０１で生成されるフレーム画像間の振れデータであり、像ブレ量としてメタデータ生成部３０２に供給されるデータである。また、フレームＦ０とフレームＦ１の間の振れデータをＭ１、フレームＦ１とフレームＦ２の間の振れデータをＭ２としている。
【００６６】
なお、Ｍ０は図示しないフレームＦ０の前のフレームとフレームＦ０の間の振れデータを示しており、０となっている。
【００６７】
まず、像ブレ補正制御部１１７で生成される補正量データについて説明する。撮像装置１００に図４（ａ）に示すような振れが加わったとき、像ブレ補正制御部１１７では、ブランキング信号によって補正量データの生成方法が異なっている。
【００６８】
図４（ｂ）に示すように、フレームＦ０のブランキング期間では、センタリング制御が行われるので、補正量データは、略０を示すＣ１の値となる。そしてブランキング信号が露光期間中となったとき、像ブレ補正制御部１１７は振れデータに基づいて像ブレ補正を行うようにシフトレンズ１０３を駆動する。このときの補正量データは、フレームＦ０の露光中の振れデータから（Ｂ０−Ｃ０）を減算することによって算出される。
【００６９】
フレームＦ１のブランキング期間では、像ブレ補正制御部１１７ではセンタリング制御が行われ、シフトレンズ１０３を中央位置に戻すように駆動する。Ｃ１は、センタリング制御によって中央に向かって移動した結果の補正量データである。
【００７０】
そして、ブランキング信号が露光期間中となったとき、像ブレ補正制御部１１７は再度振れデータに基づいて像ブレ補正を行うようにシフトレンズ１０３を駆動する。このときの補正量データは、フレームＦ１の露光中の振れデータから（Ｂ１−Ｃ１）を減算することによって算出される。
【００７１】
フレームＦ２のブランキング期間では、像ブレ補正制御部１１７ではセンタリング制御が行われ、シフトレンズ１０３を中央位置に戻すように駆動する。Ｃ２は、センタリング制御によって中央に向かって移動した結果の補正量データである。
【００７２】
そして、ブランキング信号が露光期間中となったとき、像ブレ補正制御部１１７は再度振れデータに基づいて像ブレ補正を行うようにシフトレンズ１０３を駆動する。このときの補正量データは、フレームＦ２の露光中の振れデータから（Ｂ２−Ｃ２）を減算することによって算出される。
【００７３】
このような制御を像ブレ補正制御部１１７で行うことによって、露光期間中は像ブレ補正をおこなうようにシフトレンズ１０３を駆動し、ブランキング期間中はシフトレンズ１０３を中心位置に向かうように制御することができる。
【００７４】
このように制御することにより、画像データから静止画を生成した場合に、露光期間中の像ブレが補正された良好な画像を得ることが出来る。
【００７５】
次に、振れ情報生成部３０１で生成されるフレーム画像間の振れデータについて説明する。ここで算出するフレーム画像間の振れデータとは、即ち、シフトレンズ１０３で補正できなかった補正残りである。
【００７６】
従って、フレーム間に生じた振れからフレーム間に補正した補正量を減算することによって算出することが出来る。図４（ａ）に示すように、フレームＦ０からフレームＦ１の間に生じた振れデータをΔＢ１とすると、ΔＢ１＝Ｂ１−Ｂ０で算出することができる。
【００７７】
また、同様にフレームＦ１からフレームＦ２の間に生じた振れデータをΔＢ２とすると、ΔＢ２＝Ｂ２−Ｂ１である。
【００７８】
また、図４（ｂ）に示すようにフレームＦ０からフレームＦ１の間で像ブレ補正した補正量をΔＣ１とすると、ΔＣ１＝Ｃ１−Ｃ０で算出することができる。同様にフレームＦ１からフレームＦ２の間で像ブレ補正した補正量は、ΔＣ２＝Ｃ２−Ｃ１である。
【００７９】
そして、図４（ｃ）に示すように、フレームＦ０からフレームＦ１の間の振れデータＭ１は、Ｍ１＝ΔＢ１−ΔＣ１、フレームＦ１からフレームＦ２の間の振れデータＭ２は、Ｍ２＝ΔＢ２−ΔＣ２として算出することが出来る。
【００８０】
つまり、動画データを動画像として再生する場合、動画データのフレーム画像間の像ブレを電子的に補正するための第２の像ブレ補正手段（電子防振）を用いて第１の振れ情報に基いてフレーム画像間の像ブレを補正する。
【００８１】
そして、第１の振れ情報から第２の像ブレ補正手段で補正した補正結果を減算した値を第２の振れ情報として生成し、第２の振れ情報に基いた動きぼけを付加して動画像を再生する。
【００８２】
このようにして、露光期間中は像ブレ補正をおこなうようにシフトレンズ１０３を駆動し、ブランキング期間中はシフトレンズ１０３を中心位置に向かうように制御するとともに、フレーム間の振れデータを算出することができる。
【００８３】
振れ情報生成部３０１で算出された振れデータは、メタデータとして画像データとともに記録され、動画再生時にはメタデータに記録された振れデータに基づいて像ブレ補正部１１１を制御する。
【００８４】
このように制御することにより、画像データを動画像として再生する場合には、フレーム間の像ブレを補正することが可能となり、動画像として再生した場合の像ブレを補正し、良好な動画像を鑑賞することができる。
【００８５】
上記のように、動画データを動画像として再生する場合、動画データのフレーム画像間に生じる第１の振れ情報に基いた動きぼけを付加して動画像を再生する。そして、動画データを静止画像として再生する場合、第１の振れ情報に基いた動きぼけを付加せずに静止画像を再生する。
【００８６】
次に図５を参照して、動きぼけ生成部１１２で行われる、動き量に基づいた動きぼけの付加について説明する。図５（ａ）は、ｎフレーム目に撮像された被写体の位置を被写体（ｎ）とし、図５（ａ）のフレームの次のフレームに撮像された画像を図５（ｂ）に示している。
【００８７】
図５（ｂ）では、撮像装置１００に振れが加わったために、被写体（ｎ）の位置から被写体（ｎ＋１）の位置に移動したことを示している。ｎフレーム目からｎ＋１フレーム目の間には、撮像画像の露光期間中も含めて、撮像装置１００に振れが加わっているが、像ブレ補正制御部１１７で行われる制御によって露光期間中の像ブレは補正された画像になっている。
【００８８】
このとき、フレーム画像を静止画として鑑賞した場合には、像ブレが補正された良好な画像として得ることができるが、動画像として再生した場合には、移動物体の動きが不連続に表示され、他重像を知覚してしまうという視覚上の画像劣化が発生する。
【００８９】
そのため、動画像として再生する際には、動きぼけ生成部１１２によって動きぼけを付加することにより、移動物体の動きが不連続に表示されるのを防ぐ。
【００９０】
図５（ｂ）において、被写体（ｎ）から被写体（ｎ＋１）の位置の変化を示す動き量は、図４で説明したように算出した振れデータと撮像レンズ１０２の焦点距離から一意に求めることが出来る。
【００９１】
すなわち、動き量をＭ、フレーム間の振れデータ（角度）をθ、焦点距離をｆとすると、Ｍ＝ｆ・ｔａｎθで算出することが出来る。また、動き量は画面垂直方向と水平方向の成分を持ったベクトルであるので、振れデータを水平方向と垂直方向のそれぞれで算出して動き量を求める。
【００９２】
図５（ｃ）ではこのようにして求めた動き量に基づいて動きぼけを付加する。図５（ｃ）では、ｎ＋１フレーム目の画像に対して、被写体（ｎ＋１）を起点として、動き量（ベクトル量）の逆向きのベクトルを動きぼけとして付加する。
【００９３】
このように動きぼけを付加することにより、被写体（ｎ）から被写体（ｎ＋１）に移動した際の被写体の動きによる時間的な不連続を解消する。そして、動画再生時の画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が他重像を知覚してしまうという視覚上の画像劣化が発生してしまうのを防ぐことができる。
【００９４】
図５で説明した動きぼけの付加は、像ブレ補正部１１１でフレーム間の像ブレを補正した場合は考慮されていない。以下に図６を用いて、像ブレ補正部１１１でフレーム間の像ブレを補正した場合の動きぼけの付加について説明する。
【００９５】
図６（ａ）、（ｂ）は、図５（ａ）、（ｂ）と同じく、撮像装置１００に振れが加わった時の被写体の位置の変化を示しており、被写体（ｎ）および被写体（ｎ＋１）の位置も図５と同一である。
【００９６】
図６（ｃ）は、記録された画像データを動画像として再生する際に、像ブレ補正部１１１においてフレーム画像間の像ブレを補正した補正結果の画像を示している。
【００９７】
像ブレ補正部１１１では、メタデータに記録されているフレーム間の振れデータ（振れ情報生成部３０１の出力）に基づいて像ブレ補正を行う。
【００９８】
但し、像ブレ補正の補正範囲は有限であるので、振れデータをそのまま像ブレ補正に用いると、像ブレ補正の補正範囲の端に突き当たり、それ以降は像ブレ補正が出来なくなってしまう。
【００９９】
そのため、振れデータをそのまま像ブレ補正に用いるのではなく、フィルタ処理等によって減衰したデータを用いて像ブレ補正を行う。
【０１００】
図６（ｃ）において、動き量は振れデータから算出した値を用いているのに対して、像ブレ補正量は減衰された値を用いている。図６（ｄ）は、像ブレ補正を行った画像に対して、更に動きぼけ生成部１１２で動きぼけを付加した図である。ここで付加する動きぼけは、ｎフレーム目の被写体（ｎ）の位置から、ｎ＋１フレーム目の画像に対して像ブレ補正を行った後の被写体位置までが、動画像として見える動きになるので、この動き量に対応した動きぼけを付加する。
【０１０１】
すなわち、図５で説明した動き量Ｍから像ブレ補正量を減算した値に基づいて動きぼけを付加する。
【０１０２】
このように動きぼけを付加することにより、被写体（ｎ）から被写体（ｎ＋１）に移動した際に、フレーム画像間の像ブレを補正するとともに、被写体の動きによる時間的な不連続を解消することができる。
【０１０３】
図９は、本発明の実施形態１に係る制御を示すフローチャートである。図９に示される処理は、例えば１ｍ秒など、所定の周期で繰り返し実行される。
【０１０４】
まず、ステップＳ１０１において、撮像装置１００の動作状態を判別する。
【０１０５】
撮像装置１００が撮影中であれば、ステップＳ１０２に進み、撮影中でなければステップＳ１１１に進む。ステップＳ１０２において、角速度センサ１１６の出力をＡ／Ｄ変換し、角速度データを取得する。
【０１０６】
ステップＳ１０３において、ブランキング信号を参照して露光期間中かどうかを判定し、露光期間中であればステップＳ１０４へ進み、ブランキング期間中であればステップＳ１０５に進む。
【０１０７】
ステップＳ１０４において、角速度データに基づいて、シフトレンズ１０３で補正するための像ブレの補正量データを演算する。
【０１０８】
ステップＳ１０５においては、シフトレンズ１０３を徐々に中央位置にセンタリングするように補正量データを設定する。
【０１０９】
ステップＳ１０６において、上記のように演算した補正量データに基づいてシフトレンズ１０３を駆動する。ステップＳ１０３からステップＳ１０６までの処理は、像ブレ補正制御部１１７で行われる制御である。
【０１１０】
次にステップＳ１０７において、角速度データに基づいて装置に加わる振れデータを演算する。ステップＳ１０８において、ブランキング信号を参照して、露光期間中への切り替わりが発生したかどうかを判定する。
【０１１１】
露光期間中への切り替わりと判定された場合はステップＳ１０９に進み、それ以外の場合は処理を終了する。ステップＳ１０８の判定処理は、画像の撮像タイミングに合わせてフレーム単位で処理を実行するためのタイミングを生成する処理である。
【０１１２】
ステップＳ１０９において、撮像画像のフレーム間の振れデータを算出する。フレーム間の振れデータの演算においては、ステップＳ１０４或いはステップＳ１０５で算出した補正量データを保持しておき、一つ前のフレームとの差分を演算する（図４におけるΔＣ（ｎ））。
【０１１３】
また、ステップＳ１０７で算出した振れデータを保持しておき、同様に一つ前のフレームとの差分を演算する（図４におけるΔＢ（ｎ））。
【０１１４】
そして、ΔＢ（ｎ）からΔＣ（ｎ）を減算することにより、フレーム間の振れデータＭ（ｎ）を算出する。
【０１１５】
ステップＳ１１０において、撮像された動画データを記録媒体１０９に記録するとともに、ステップＳ１０８で算出したフレーム間振れデータＭ（ｎ）を動画データのフレームに関連付けるようにメタデータに記録して、処理を終了する。以上ステップＳ１０２からステップＳ１１０は、システム制御部１０１において、撮影中に行われる処理である。
【０１１６】
次にステップＳ１１１において、撮像装置１００の動作状態が動画再生モードかどうかを判定する。動画再生モードであればステップＳ１１２に進み、そうでなければステップＳ１１９に進む。
【０１１７】
ステップＳ１１２では、記録媒体１０９から動画データを読出してデコーダ１１０でフレーム画を生成する。ステップＳ１１３では、記録媒体１０９からメタデータを読出し、動画像のフレームに関連付けられて記録されているフレーム間振れデータを抽出する。
【０１１８】
ステップＳ１１４では、フレーム間振れデータを減衰及び積分等の処理を施して、像ブレ補正部１１１でフレーム間の像ブレを補正するための像ブレ補正量を算出する。ステップＳ１１５において、算出した像ブレ補正量を像ブレ補正部１１１に設定し、フレーム間の像ブレを補正する。
【０１１９】
ステップＳ１１６において、フレーム間振れデータから像ブレ補正量を減算することにより、像ブレ補正部１１１の出力画像に残るフレーム間の動き量を算出する。ステップＳ１１７において、ステップＳ１１６で算出した動き量を動きぼけ生成部１１２に設定し、画像に動きぼけを付加する。
【０１２０】
ステップＳ１１８では、動きぼけ生成部１１２から出力された動画像を表示制御部１１４に供給し、表示デバイス１１５に表示する。以上ステップＳ１１２からステップＳ１１８は、動画データを動画像として再生する場合に実行される処理である。
【０１２１】
次に、ステップＳ１１９において、撮像装置１００の動作状態が静止画再生モードかどうかを判定する。静止画再生モードであればステップＳ１２０に進み、そうでなければ処理を終了する。ステップＳ１２０では、記録媒体１０９から動画データを読出してデコーダ１１０でフレーム画を生成する。
【０１２２】
ステップＳ１２１では、静止画生成部１１３において、デコーダ１１０から出力されるフレーム画のうち、所定のフレーム画を静止画像として生成する。
【０１２３】
ステップＳ１２２において、生成された静止画像を表示制御部１１４に供給し、表示デバイス１１５に表示する。以上ステップＳ１２０からステップＳ１２２は、動画データから静止画像を生成し、再生する場合に実行される処理である。
【０１２４】
以上説明してきたように、本発明においては、動画撮影中は、露光期間中の像ブレを補正してフレーム間の振れ情報をメタデータに記録する。
【０１２５】
そして、動画データを動画像として生成する場合には、メタデータに記録されている振れ情報に応じた動きぼけを付加して動画像を生成し、動画データを静止画像として生成する場合には、動きぼけを付加せずに静止画像を生成する構成とした。
【０１２６】
これにより、動画像から静止画を生成する場合に像ブレの無い良好な画像を生成することができ、動画像として再生した場合でも違和感の無い画像を生成することができる撮像装置を提供することができる。
【０１２７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２８】
（実施形態２）
図７は、本発明の第２の実施形態に係る撮像装置の一例として、レンズ交換式のデジタルカメラの構成を示すブロック図である。なお、図７において、図１と同様の構成には、同じ符号を付し、説明は省略する。
【０１２９】
図７の撮像装置１００は、図１の構成に対し撮像レンズ１０２、シフトレンズ１０３、角速度センサ１１６、像ブレ補正制御部１１７が削除された構成となっている。また、図７の撮像装置１００は、別体の交換式レンズ４００と接続可能な構成となっている。交換式レンズ４００は、ズーム、フォーカス、絞り等の機能を有した従来一般の撮像レンズを備えている。
【０１３０】
また、撮像レンズの一部には、撮像画像のブレを光学的に補正するシフトレンズ１０３を備え、シフトレンズ１０３を制御するための加速度センサ１１６と像ブレ補正制御部１１７を備える構成となっている。このように交換式レンズ４００は、像ブレを光学的に補正するために必要な構成を備えている。
【０１３１】
また、撮像装置１００と交換式レンズ４００は電気的に接続可能な構成なっており、例えばシリアルインターフェース等を通じて相互にデータの受け渡しが可能である。
【０１３２】
角速度センサ１１６は、交換レンズ４００及び撮像装置１００に加わる振れを検出し、その角速度情報を像ブレ補正制御部１１７に供給するとともに、図示しないシリアルインターフェースを介して撮像装置１００のシステム制御部１０１にも供給される。
【０１３３】
像ブレ補正制御部１１７は、角速度センサ１１６で検出された角速度情報に基づいて、撮像画像に生じる像ブレを補正するようにシフトレンズ１０３を駆動する。
【０１３４】
また、像ブレ補正制御部には、撮像装置１００に備えられている撮像素子駆動部１０５からブランキング信号が、電気的な信号として供給されている。像ブレ補正制御部１１７で行われる像ブレ補正の制御は実施形態１で説明した図２の構成と同じであるので、詳細は省略する。
【０１３５】
また、像ブレ補正制御部１１７からは、補正量データが図示しないシリアルインターフェースを介して撮像装置１００のシステム制御部１０１に供給されている。この補正量データは、実施形態１で説明した図４の補正量データと同じである。
【０１３６】
システム制御部１０１には、実施形態１で説明した図３の構成と同じであるが、角速度センサ１１６から出力される角速度データと、像ブレ補正制御部１１７から出力される補正量データが交換式レンズ４００から供給されている点が異なる。このような構成とすることで、システム制御部１０１で行われる制御の詳細は実施形態１の図４で説明した制御と同一の制御で実現することが可能である。
【０１３７】
以上のように、本発明の実施形態２においては、撮像レンズを交換式レンズとしてカメラ本体と別体とし、光学的な像ブレ補正を交換式レンズで行うようにした。また、角速度データ及び交換式レンズ内部で行った補正量データを、カメラ本体に通知することで、フレーム間の像ブレ補正及び動きぼけを付加することが可能となる。
【０１３８】
このように、カメラ本体と交換式レンズを組み合わせた構成においても、動画像から静止画を生成する場合に像ブレの無い良好な画像を生成することができる。そして、動画像として再生した場合でも違和感の無い画像を生成することができる撮像装置を提供することができる。
【０１３９】
（実施形態３）
図８は、本発明の第３の実施形態に係る装置の一例として、撮像レンズ及び撮像手段を備えない画像再生装置の構成を示すブロック図である。なお、図８において、図１と同様の構成には、同じ符号を付し、説明は省略する。
【０１４０】
図８の画像再生装置５００は、図１の撮像装置１００の構成に対し、システム制御部１０１、撮像レンズ１０２が削除された構成となっている。また、シフトレンズ１０３、撮像素子１０４、撮像素子駆動部１０５、カメラ信号処理部１０６、角速度センサ１１６、像ブレ補正制御部１１７が削除された構成となっている。
【０１４１】
画像再生装置５００は、撮像手段を備えない再生専用の装置であるが、記憶媒体１０９に記録されている動画データとそれに付随するメタデータに記録された情報に基づいて、動画像の再生時に像ブレ補正を施すことが可能な構成となっている。
【０１４２】
記憶媒体１０９の動画データ及びメタデータには、実施形態１又は実施形態２の装置で撮像した動画データと、それに関連づけられた像ブレ量があらかじめ記録されている。記録媒体制御部１０８は、記録媒体１０９から動画データ或いは静止画データを読出しデコーダ１１０に供給する。
【０１４３】
また、記録媒体１０９のメタデータを読み出してメタデータ読出し部３０３に供給する。デコーダ１１０は、記録媒体１０９に記録されている各種形式の動画データ・静止画データをデコードして映像信号を生成する。
【０１４４】
像ブレ補正部１１１は、動画像に含まれる像ブレを補正するもので、元の画像から所定の範囲を切り出し、そしてフレーム単位で画像の切り出し位置を制御することにより、フレーム間に生じた像ブレを補正する。
【０１４５】
動きぼけ生成部１１２は、元画像から異なる解像度の画像を生成し、フレーム間の動きに応じて画像の位置をずらして合成することにより、動きぼけを画像に付加する。
【０１４６】
静止画生成部１１３は、動画像を構成するフレーム画像のなかから所定の画像をキャプチャして静止画像を生成する。
【０１４７】
表示制御部１１４は、動きぼけ生成部１１２で生成される画像データ又は静止画生成部１１３で生成される設定メニュー画像など用途に応じて加工した映像信号を出力して表示デバイス１１５に画像を表示させる。表示デバイス１１５は液晶表示素子（ＬＣＤ）等であり、表示制御部１１４により生成された画像を表示する。さらに再生された映像信号は、再度デコーダ１１０に供給することにより、再生画像を再度記録することが可能である。
【０１４８】
補正量演算部３０４では、動画データに関連付けられて記録されている像ブレデータに基づいて、像ブレ補正部１１１で補正するためのフレーム間の像ブレ補正量と、動きぼけ生成部１１２で付加される動きぼけ量を演算する。ここで演算される像ブレ補正量及び動きぼけ量は実施形態１で説明した制御と同一であるので詳細は省略する。
【０１４９】
以上のように、本発明の実施形態３においては、あらかじめ動画データと関連付けられているメタデータのフレーム間の振れデータに基づいて、動画データの像ブレの補正と動きぼけの付加を行う構成とした。
【０１５０】
このような構成とすることで、撮像手段を持たない画像再生装置においても動画像のフレーム間の像ブレ補正及び動きぼけを付加することが可能となる。このように、動画像から静止画を生成する場合に像ブレの無い良好な画像を生成することができ、動画像として再生した場合でも違和感の無い画像を生成することができる撮像装置を提供することができる。
【０１５１】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０１５２】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１５３】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０１５４】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１５５】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【０１５６】
また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
【符号の説明】
【０１５７】
１００  撮像装置
１０１  システム制御部
１０２  撮像レンズ
１０３  シフトレンズ
１０４  撮像素子
１０５  撮像素子駆動部
１０６  カメラ信号処理部
１０７  エンコーダ
１０８  記録媒体制御部
１０９  記録媒体
１１０  デコーダ
１１１  像ブレ補正部
１１２  動きぼけ生成部
１１３  静止画生成部
１１４  表示制御部
１１５  表示デバイス
１１６  角速度センサ
１１７  像ブレ補正制御部
２０１  Ａ／Ｄ変換器
２０２  ＨＰＦ
２０３  敏感度補正部
２０４  積分器
２０５  飽和防止制御部
２０６  センタリング制御部
２０７  位置検出部
２０８  アンプ
２０９  Ａ／Ｄ変換器
２１０  制御フィルタ
２１１  パルス幅変調部
２１２  モータ駆動部
２１３  モータ
３０１  振れ情報生成部
３０２  メタデータ生成部
３０３  メタデータ読出し部
３０４  補正量演算部
４００  交換式レンズ
【図１】
0006489879.tif 000002
【図２】
0006489879.tif 000003
【図３】
0006489879.tif 000004
【図４】
0006489879.tif 000005
【図５】
0006489879.tif 000006
【図６】
0006489879.tif 000007
【図７】
0006489879.tif 000008
【図８】
0006489879.tif 000009
【図９】
0006489879.tif 000010