(57)【要約】【課題】再生時ブレ補正にかかる処理負荷を低減させる。【解決手段】再生処理部２１２は、再生対象となる動画像データを外部メモリ２６０や外部インタフェース部３２０を介した外部装置などから取得する。取得した動画像データについて、ブレ量やブレ方向を示す移動量情報が取得できる場合、再生処理部２１２は、移動量情報に基づいてフレーム画像の表示領域を制御することで、再生時のブレ補正をおこなう。移動量情報が取得できない場合には、再生処理部２１２が当該動画像データを再生する際に、移動量検出部２１３がフレーム画像間の特徴点移動量を検出し、移動量情報生成部２１４が、検出結果に基づいた移動量情報を生成して動画像データと対応づけることで、次回以降の再生時に、移動量情報を用いた効率的なブレ補正をおこなうことができる。【選択図】図２
2010130295.tif 000002
【特許請求の範囲】
【請求項１】
動画像データの再生機能を有する画像処理装置であって、
再生する動画像データを取得する動画像データ取得手段と、
前記動画像データ取得手段が取得した動画像データにおける動画像の移動量を示す移動量情報を取得する移動量情報取得手段と、
前記動画像データ取得手段が取得した動画像データを再生する再生手段と、
前記再生手段が動画像データを再生する際、前記移動量情報取得手段が取得した当該動画像データについての移動量情報に基づいて、該動画像のブレを補正するブレ補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記移動量情報取得手段は、前記動画像データ取得手段が取得した動画像データにおける動画像の移動量を検出して前記移動量情報を生成することで移動量情報を取得する移動量情報生成手段をさらに備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記移動量情報生成手段が生成した移動量情報と、当該動画像データとを対応づけて記憶する動画像データ記憶手段をさらに備え、
前記動画像データ取得手段は、前記動画像データ記憶手段から動画像データを取得し、
前記ブレ補正手段は、前記動画像データ取得手段が取得した動画像データに対応づけられている移動量情報を用いて、前記再生手段が当該動画像データを再生する際のブレ補正をおこなう、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記移動量情報生成手段は、前記再生手段による前記動画像データの初回再生時に、当該動画像の移動量を検出して前記移動量情報を生成する、
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記移動量情報生成手段は、前記再生手段による前記動画像データの再生前に、当該動画像データについての前記移動量情報を生成する、
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項６】
前記動画像データ取得手段は、撮像によって動画像データを生成することで動画像データを取得する撮像手段をさらに備え、
前記移動量情報生成手段は、前記撮像手段による動画像データの生成時に、当該動画像データについての移動量情報を生成する、
ことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記移動量情報生成手段が生成した移動量情報を外部装置に出力する移動量情報出力手段をさらに備える、
ことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記移動量情報取得手段は、外部装置から前記移動量情報を取得する、
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記ブレ補正手段は、前記移動量情報に基づいて、前記再生手段によって再生された動画像の表示領域を制御することでブレ補正をおこなう、
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
動画像データの再生機能を有する画像処理装置で、再生する動画像データを画像処理する方法であって、
再生する動画像データを取得するステップと、
取得した前記動画像データにおける動画像の移動量を示す移動量情報を取得するステップと、
取得した前記動画像データを再生するステップと、
前記動画像データを再生する際、取得した当該動画像データについての前記移動量情報に基づいて、該動画像のブレを補正するステップと、
を含むことを特徴とする画像処理方法。
【請求項１１】
動画像データの再生機能を有する画像処理装置を制御するコンピュータに、
再生する動画像データを取得する機能と、
取得した前記動画像データにおける動画像の移動量を示す移動量情報を取得する機能と、
取得した前記動画像データを再生する機能と、
前記動画像データを再生する際、取得した当該動画像データについての前記移動量情報に基づいて、該動画像のブレを補正する機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および、プログラムに関し、特に、動画像のブレ補正に好適な画像処理装置、画像処理方法、および、プログラムに関する。
【背景技術】
【０００２】
デジタル方式のスチルカメラやビデオカメラ（以下、デジタルカメラ）が広く普及している。このようなデジタルカメラでは、撮像時や再生時に画像処理を容易におこなえることが利点としてあげられる。
【０００３】
撮像装置においては、手ブレなどによる撮像画像のブレが問題となることがあるが、デジタルカメラにおいては、画像処理によってブレを補正する技術が確立している（例えば、特許文献１）。画像処理によるブレ補正の場合、レンズやイメージセンサを動かすことでブレを補正する方式と比べ消費電力が少なく、装置の小型化を実現しやすいというメリットがある。
【０００４】
また、動画の場合では、再生時にブレ補正をおこなうことができるので、撮像時にブレ補正がなされていない動画像データであっても、ブレ補正の効果を得ることができる。
【０００５】
【特許文献１】特開２００７−１２２２３２号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、画像処理によるブレ補正には複雑な計算処理を必要とするため、処理負荷が高いという問題がある。よって、画像処理によるブレ補正をより効率的におこなえる手法が求められている。
【０００７】
本発明は、上記実状に鑑みてなされたものであり、画像処理によるブレ補正の処理負荷を軽減することのできる画像処理装置、画像処理方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の第１の観点にかかる画像処理装置は、
動画像データの再生機能を有する画像処理装置であって、
再生する動画像データを取得する動画像データ取得手段と、
前記動画像データ取得手段が取得した動画像データにおける動画像の移動量を示す移動量情報を取得する移動量情報取得手段と、
前記動画像データ取得手段が取得した動画像データを再生する再生手段と、
前記再生手段が動画像データを再生する際、前記移動量情報取得手段が取得した当該動画像データについての移動量情報に基づいて、該動画像のブレを補正するブレ補正手段と、
を備えることを特徴とする。
【０００９】
上記画像処理装置において、
前記移動量情報取得手段は、前記動画像データ取得手段が取得した動画像データにおける動画像の移動量を検出して前記移動量情報を生成することで移動量情報を取得する移動量情報生成手段をさらに備えていることが望ましい。
【００１０】
上記画像処理装置は、
前記移動量情報生成手段が生成した移動量情報と、当該動画像データとを対応づけて記憶する動画像データ記憶手段をさらに備えていることが望ましく、この場合、
前記動画像データ取得手段は、前記動画像データ記憶手段から動画像データを取得し、
前記ブレ補正手段は、前記動画像データ取得手段が取得した動画像データに対応づけられている移動量情報を用いて、前記再生手段が当該動画像データを再生する際のブレ補正をおこなうことが望ましい。
【００１１】
上記画像処理装置において、
前記移動量情報生成手段は、前記再生手段による前記動画像データの初回再生時に、当該動画像の移動量を検出して前記移動量情報を生成することが望ましい。
【００１２】
上記画像処理装置において、
前記移動量情報生成手段は、前記再生手段による前記動画像データの再生前に、当該動画像データについての前記移動量情報を生成してもよい。
【００１３】
上記画像処理装置は、
前記動画像データ取得手段は、撮像によって動画像データを生成することで動画像データを取得する撮像手段をさらに備えていてもよく、この場合、
前記移動量情報生成手段は、前記撮像手段による動画像データの生成時に、当該動画像データについての移動量情報を生成することが望ましい。
【００１４】
上記画像処理装置は、
前記移動量情報生成手段が生成した移動量情報を外部装置に出力する移動量情報出力手段をさらに備えていてもよい。
【００１５】
上記画像処理装置において、
前記移動量情報取得手段は、外部装置から前記移動量情報を取得してもよい。
【００１６】
上記画像処理装置において、
前記ブレ補正手段は、前記移動量情報に基づいて、前記再生手段によって再生された動画像の表示領域を制御することでブレ補正をおこなうことが望ましい。
【００１７】
上記目的を達成するため、本発明の第２の観点にかかる画像処理方法は、
動画像データの再生機能を有する画像処理装置で、再生する動画像データを画像処理する方法であって、
再生する動画像データを取得するステップと、
取得した前記動画像データにおける動画像の移動量を示す移動量情報を取得するステップと、
取得した前記動画像データを再生するステップと、
前記動画像データを再生する際、取得した当該動画像データについての前記移動量情報に基づいて、該動画像のブレを補正するステップと、
を含むことを特徴とする。
【００１８】
上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
動画像データの再生機能を有する画像処理装置を制御するコンピュータに、
再生する動画像データを取得する機能と、
取得した前記動画像データにおける動画像の移動量を示す移動量情報を取得する機能と、
取得した前記動画像データを再生する機能と、
前記動画像データを再生する際、取得した当該動画像データについての前記移動量情報に基づいて、該動画像のブレを補正する機能と、
を実現させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、画像処理によるブレ補正の処理負荷を軽減することができる。
【発明を実施するための最良の形態】
【００２０】
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明にかかる画像処理装置をデジタルカメラとして実現した場合を例示する。なお、この場合のデジタルカメラは、動画撮像機能を有するデジタルスチルカメラとするが、動画撮像を主機能とするデジタルビデオカメラであってもよい。
【００２１】
図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。
【００２２】
撮像部１００は、デジタルカメラ１の撮像動作をおこなう部分であり、例えば、光学装置１１０、イメージセンサ部１２０、などから構成される。
【００２３】
光学装置１１０は、例えば、レンズ、絞り機構、シャッタ機構、などから構成され、被写体光の集光や合焦、絞り調整、シャッタ動作などといった、撮像する際に必要な光学的要素にかかる動作をおこなう。
【００２４】
イメージセンサ部１２０は、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサや、イメージセンサの駆動回路などから構成され、光学装置１１０によってイメージセンサ上に結像された被写体光に応じた光電変換をおこなうことで、被写体像を示す電気信号を生成する。
【００２５】
データ処理部２００は、撮像部１００による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、内部メモリ２５０、外部メモリ２６０、などから構成される。
【００２６】
制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサやＲＡＭ（Random Access Memory）などの主記憶装置などから構成され、後述する内部メモリ２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。
【００２７】
画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、イメージセンサ部１２０によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。
【００２８】
すなわち、イメージセンサ部１２０から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、画像処理エンジンがバッファされたデジタルデータに対し、いわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。
【００２９】
画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。
【００３０】
画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。
【００３１】
内部メモリ２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムが格納されている他、制御部２１０が実行する処理に必要なデータや処理結果のデータなどが内部メモリ２５０に格納される。
【００３２】
外部メモリ２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データなどを格納する。
【００３３】
インタフェース（Ｉ／Ｆ）部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、外部インタフェース部３２０、操作部３３０、などから構成される。
【００３４】
表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１の操作や設定をおこなうために必要な種々の画面や、撮影時のライブビュー画像（ファインダ画像）、再生画像、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。なお、表示部３１０は、例えば、デジタルカメラ１の背面部などに構成される表示装置の他、ＥＶＦ（Electronic View Finder）などの形態を含んでいてもよい。
【００３５】
外部インタフェース部３２０は、ビデオ出力端子などのようなアナログ画像信号を出力するためのインタフェースの他、例えば、ＵＳＢ（Universal Serial Bus）やBluetooth（商標）などのような外部のコンピュータ装置とデータ送受をおこなうインタフェースや、ＬＡＮ（Local Area Network：構内通信網）などのネットワークに接続するための通信インタフェースなどから構成され、外部装置への画像データの出力などをおこなう。
【００３６】
操作部３３０は、デジタルカメラ１の筐体外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、デジタルカメラ１の電源オン・オフを指示するための電源ボタンや、撮像動作を指示するためのシャッタボタン（録画ボタン）、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。
【００３７】
本実施形態では、内部メモリ２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図２を参照して説明する。
【００３８】
図２は、本発明にかかる動作をおこなう際に制御部２１０によって実現される機能を示した機能ブロック図である。図示するように、制御部２１０は、撮像処理部２１１、再生処理部２１２、移動量検出部２１３、移動量情報生成部２１４、などとして機能する。
【００３９】
撮像処理部２１１は、デジタルカメラ１の撮像機能にかかる処理をおこなうものであり、ユーザが操作部３３０を操作することによって入力される指示に応じて撮像部１００を制御する。本実施形態では、デジタルカメラ１のもつ撮像機能のうち、動画撮像機能が用いられる場合を例示する。この場合、例えば、操作部３３０の録画ボタン（シャッタボタン）が操作されている間、撮像処理部２１１が撮像部１００を制御することで、ユーザが所望する時間分の動画像が撮像される。撮像処理部２１１は、このような撮像動作によって得られた動画像データについて、外部メモリ２６０への記録などといった出力動作をおこなう。
【００４０】
再生処理部２１２は、デジタルカメラ１の撮像機能によって生成された画像データ、もしくは、外部から取得した画像データを再生する処理をおこなう。この場合、ユーザが操作部３３０を操作することによって入力される再生指示に応じて、外部メモリ２６０や外部インタフェース部３２０を介した外部装置から動画像データを取得する。再生処理部２１２は、取得した動画像データのフォーマットに応じた復号動作をおこない、フレーム画像を順次画像メモリ２３０に展開することで動画像を再生する。そして、画像出力部２４０または外部インタフェース部３２０を制御することで、表示部３１０や外部の表示装置などに再生された動画像を表示出力する。
【００４１】
ここで、再生対象となる動画像データから得られた移動量情報が取得できる場合、再生処理部２１２は、当該動画像データの再生時に、移動量情報に基づいたブレ補正をおこなう。この場合の「移動量情報」とは、動画像データを構成している複数のフレーム画像間における特徴点の移動量（ベクトル）を示す情報であり、撮像時の手ブレなどによって生じた画像ブレのブレ方向やブレ量を表すものである。再生処理部２１２はこのような移動量情報に基づいて、各フレーム画像から領域を切り出して再生画像とすることで、再生時にブレ補正をおこなう。このような、フレーム画像間の移動量に基づくブレ補正は、既知の再生時ブレ補正技術を用いて実現されるものとする。
【００４２】
移動量検出部２１３は、上述したような移動量情報をデジタルカメラ１において生成する場合に、フレーム間の特徴点の移動量を検出する。ここで、移動量検出部２１３は、再生処理部２１２によって再生される動画像データについての移動量情報を取得できない場合に、当該動画像データの再生時に特徴点の移動量検出をおこなう他、撮像処理部２１１による撮像動作時に、生成された動画像データについての移動量検出をおこなう。移動量検出部２１３による特徴点の移動量検出は、例えば、動き補償フレーム間差分符号化方式などで用いられている動きベクトルの検出手法などのような既知の技術を用いて実現されるものとする。
【００４３】
移動量情報生成部２１４は、移動量検出部２１３によって検出された移動量を示す移動量情報を生成し、検出元となった動画像データと対応づけた記録をおこなう。例えば、動画像データが外部メモリ２６０から取得された場合もしくはデジタルカメラ１での撮像時に移動量の検出がおこなわれた場合であれば、生成した移動量情報を当該動画像データと対応づけて外部メモリ２６０に格納し、動画像データの取得元が外部インタフェース部３２０を介した外部装置であれば、生成した移動量情報を当該動画像データと対応づけて外部装置に出力する。
【００４４】
以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。また、上記各機能構成のうち、移動量検出部２１３、及び／又は、移動量情報生成部２１４については、画像処理部２２０によって実現されてもよい。
【００４５】
以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。
【００４６】
このような構成のデジタルカメラ１による動作を以下に説明する。
【００４７】
（実施形態１）
まず、再生対象となる動画像データが既に作成されている場合において、デジタルカメラ１が当該動画像データを取得して再生する際の動作を説明する。この場合に実行される「動画再生処理」を、図３に示すフローチャートを参照して説明する。この「動画再生処理」は、本発明にかかる画像処理装置を、デジタルカメラ１のような撮像装置ではなく、例えば、動画像データの再生のみをおこなうことのできる装置（例えば、パーソナルコンピュータや各種のビデオプレーヤなど）として実現した場合にも適用できる処理である。
【００４８】
本実施形態では、本発明にかかる画像処理装置をデジタルカメラ１として実現している場合を例示しているので、以下、デジタルカメラ１において「動画再生処理」が実行された場合を説明する。この場合、ユーザが操作部３３０を操作することで、動画像の再生が指示されたことを契機に「動画再生処理」が開始される。
【００４９】
処理が開始されると、再生処理部２１２は、再生対象となる動画像データを取得する（ステップＳ１１０１）。ここでは、ユーザが操作部３３０を操作することによって指定した動画像データを取得するものであり、例えば、外部メモリ２６０に格納されている動画像データや、外部インタフェース部３２０を介して接続された外部装置に格納されている動画像データなどを取得する。
【００５０】
動画像データを取得すると、再生処理部２１２は、取得した動画像データについての移動量情報が取得可能であるか否かを判別する（ステップＳ１１０２）。ここでは、取得した動画像データに移動量データが対応づけられているか否かを判別する。
【００５１】
移動量情報が取得可能である場合（ステップＳ１１０２：Ｙｅｓ）、再生処理部２１２は、当該移動量情報を取得する（ステップＳ１１０３）。再生処理部２１２は、取得した移動量情報に示されている特徴点の移動量に応じたフレーム画像の領域切り出しなどをおこなうことで、ステップＳ１１０１で取得した動画像データを、ブレ補正をおこないながら再生し（ステップＳ１１０４）、当該再生の終了とともに本処理を終了する（ステップＳ１１０５：Ｙｅｓ）。
【００５２】
一方、取得した動画像データについての移動量情報が取得できない場合（ステップＳ１１０２：Ｎｏ）、再生処理部２１２は、その旨を移動量情報生成部２１４に通知する。移動量情報生成部２１４は、再生処理部２１２からの通知に応じて、移動量情報を生成するための「移動量情報生成処理」を実行する（ステップＳ１２００）。
【００５３】
この「移動量情報生成処理」については、複数種類の実行例が考えられるので、いくつかの例を以下に説明する。まず、第１の動作例となる「移動量情報生成処理（１）」を、図４に示すフローチャートを参照して説明する。
【００５４】
処理を開始すると、移動量情報生成部２１４は、移動量の生成準備ができた旨を再生処理部２１２に通知するとともに、移動量検出部２１３に対し、これから画像メモリ２３０に展開されるフレーム画像間の特徴点移動量を検出するよう指示する。
【００５５】
再生処理部２１２は、移動量情報生成部２１４からの通知に応じて、ステップＳ１１０１（図３）で取得した動画像データの再生を開始する（ステップＳ１２１１）。この場合、再生処理部２１２は、取得した動画像データを復号し、フレーム画像を順次画像メモリ２３０に展開して再生する。このとき、移動量検出部２１３は、展開されたフレーム間における特徴点の移動量を順次検出する。すなわち、動画像データの再生と移動量の検出が同時におこなわれる（ステップＳ１２１２）。
【００５６】
このような再生動作が終了すると（ステップＳ１２１３：Ｙｅｓ）、移動量情報生成部２１４は、移動量検出部２１３の検出結果に基づいて移動量情報を生成し、再生した動画像データと対応づけて記録する（ステップＳ１２１４）。この場合、再生した動画像データを外部メモリ２６０から取得したのであれば、移動量情報生成部２１４は、生成した移動量情報を外部メモリ２６０に格納する。また、外部インタフェース部３２０を介した外部装置から動画像データを取得していたのであれば、生成した、外部インタフェース部３２０を介して当該外部装置に移動量情報を出力する。
【００５７】
このようにして移動量情報が生成されると、「動画再生処理」（図３）のフローに戻り、そのまま処理を終了する。
【００５８】
ここで、「移動量情報生成処理（１）」の場合、移動量情報を取得することのできない動画像データについては、初回の再生時に移動量情報を生成することになる。よって、２回目以降の再生時には、生成された移動量情報を用いたブレ補正をおこなうことができるが、初回再生時にはブレ補正をおこなうことができない。
【００５９】
このような不都合を解消する第２の動作例となる「移動量情報生成処理（２）」を、図５に示すフローチャートを参照して説明する。
【００６０】
本処理は、移動量情報を取得することのできない動画像データの初回再生時において、先に移動量情報を生成してから再生をおこなうことで、初回再生時にもブレ補正をおこなうことができるようにする。しかしながら、再生前に移動量情報を生成する場合、すぐに再生を開始することができないため、移動量情報生成部２１４は、先に移動量情報を生成することでブレ補正を伴う再生（「ブレ補正再生」）をおこなうか、今回はブレ補正をおこなわずに再生（「通常再生」）するかをユーザに確認するための「確認画面」を生成し、再生処理部２１２を通じて表示部３１０に表示する（ステップＳ１２２１）。
【００６１】
デジタルカメラ１のユーザは、確認画面の表示に対し、操作部３３０を操作することで、所望する再生方法（ブレ補正再生か通常再生）を選択する。操作部３３０からの入力信号は、再生処理部２１２を介して移動量情報生成部２１４に入力され、入力信号に基づいて「ブレ補正再生」が選択されたか否かを判別する（ステップＳ１２２２）。
【００６２】
「ブレ補正再生」が選択された場合（ステップＳ１２２２：Ｙｅｓ）、移動量情報生成部２１４は、再生処理部２１２に対し、画像メモリ２３０へのフレーム画像の展開を指示するとともに、移動量検出部２１３に対し、展開されたフレーム画像間の特徴点移動量の検出を指示する。この場合、再生処理部２１２は、フレーム画像を画像メモリ２３０に展開するのみで、表示部３１０への出力をおこなわない。すなわち、動画像データが再生出力されることなく、移動量の検出のみがおこなわれる。
【００６３】
移動量情報生成部２１４は、このようにして移動量検出部２１３が検出した移動量に基づいて移動量情報を生成する。すなわち、再生出力を伴わずに移動量情報の生成がおこなわれる（ステップＳ１２２３）。
【００６４】
移動量情報が生成されると（ステップＳ１２２４：Ｙｅｓ）、移動量情報生成部２１４は、生成した移動量情報を、再生対象としている動画像データに対応づけて記録する（ステップＳ１２２５）。
【００６５】
移動量情報を記録すると、移動量情報生成部２１４は、その旨を再生処理部２１２に通知する。再生処理部２１２は、移動量情報生成部２１４からの通知に応じて、当該動画像データを取得して再生するとともに、生成された移動量情報を用いたブレ補正をおこなう（ステップＳ１２２６）。そして、動画像データの再生終了によって本処理を終了する（ステップＳ１２２７：Ｙｅｓ）。この場合、動画再生処理（図３）のフローに戻り、そのまま処理を終了する。
【００６６】
一方、ユーザが「ブレ補正再生」を選択しなかった場合（ステップＳ１２２２：Ｎｏ）には、「移動量情報生成処理（１）」（図４）のステップＳ１２１１〜ステップＳ１２１４と同様の処理をおこなうことで（ステップＳ１２２８）、再生しながら移動量の検出をおこなって、移動量情報を生成する。この場合、当該再生にはブレ補正はおこなわれない。
【００６７】
このように、「移動量情報生成処理（２）」では、「ブレ補正再生」が選択された場合、先に移動量情報を生成するので、初回再生時からブレ補正を伴う再生をおこなうことができる。
【００６８】
以上のように、本実施形態にかかる処理によれば、再生対象となる動画像データについての移動量情報が取得できる場合は、その移動量情報を用いて再生時にブレ補正をおこない、移動量情報を取得できない場合には移動量情報を生成するので、動画像を再生する際のブレ補正を効率的におこなうことができる。
【００６９】
また、再生時にブレ補正をおこなうので、デジタルカメラ１で撮像した動画像以外の動画像データでもブレ補正の効果を得ることができる。さらに、本発明にかかる画像処理装置を撮像装置以外の装置で実現した場合においても、効率的なブレ補正を実現することができる。
【００７０】
（実施形態２）
上記実施形態１では、再生対象となる動画像データを再生する際に移動量情報を生成する例を示したが、本発明にかかる画像処理装置をデジタルカメラ１のような撮像装置で実現している場合には、撮像時に移動量情報を生成してもよい。この場合のデジタルカメラ１の動作例を実施形態２として、以下に説明する。
【００７１】
ここでは、デジタルカメラ１の動画撮像機能によって撮像動作をおこなう際に実行される「動画撮像処理」を、図６に示すフローチャートを参照して説明する。この「動画撮像処理」は、デジタルカメラ１のユーザが操作部３３０の録画ボタン（シャッタボタン）を操作し、動画撮像の開始を指示したことを契機に開始される。
【００７２】
処理が開始されると、撮像処理部２１１は、撮像部１００を制御することで、動画撮像が開始される（ステップＳ２１０１）。このとき、撮像処理部２１１は、移動量情報生成部２１４に対し、動画撮像を開始したことを通知する。
【００７３】
撮像部１００の撮像動作によって得られた撮像画像は、画像処理部２２０によって処理されることで、フレーム画像が順次画像メモリ２３０に展開される（ステップＳ２１０２）。ここで、撮像処理部２１１からの通知に応じた移動量情報生成部２１４からの指示により、移動量検出部２１３が、画像メモリ２３０に展開されたフレーム画像間の特徴点移動量の検出をおこなう（ステップＳ２１０３）。
【００７４】
このような、撮像による動画像データの生成と並行した移動量の検出が、撮像動作が終了するまでおこなわれる（ステップＳ２１０４：Ｎｏ）。そして、撮像動作が終了すると（ステップＳ２１０４：Ｙｅｓ）、撮像によって生成された動画像データが撮像処理部２１１によって、例えば、外部メモリ２６０などに格納されるとともに、移動量検出部２１３の検出結果に基づいた移動量情報が移動量情報生成部２１４によって生成される（ステップＳ２１０５）。
【００７５】
移動量情報生成部２１４は、生成した移動量情報を、撮像処理部２１１が格納した動画像データに対応づけて記録して（ステップＳ２１０６）、処理を終了する。
【００７６】
このような処理により、デジタルカメラ１で動画撮像をおこなった際に、再生時のブレ補正に用いられる移動量情報が生成され、動画像データ（撮像画像）とともに記録される。これにより、レンズシフトやセンサシフトなどのような撮像時のブレ補正技術を用いなくとも、効果的なブレ補正を効率的に実現することができる。
【００７７】
以上説明したように、本発明を上記実施形態の如く適用することにより、移動量情報を用いて再生時にブレ補正をおこなうので、ブレ補正にかかる処理負荷を軽減することができ、より効率的なブレ補正を実現することができる。
【００７８】
この場合において、再生対象とする動画像データについての移動量情報を取得できない場合には、当該動画像データについての移動量情報を生成するので、例えば、外部から取得した動画像データについても、再生時にブレ補正をおこなうことが
できる。
【００７９】
また、生成した移動量情報を動画像データと対応づけて記録するので、次回以降の再生時に、対応する移動量情報を用いた効率的なブレ補正をおこなうことができる。
【００８０】
ここで、移動量情報を伴わない動画像データを再生する場合、当該動画像データの初回再生時に移動量情報を生成することで、２回目以降の再生時からは移動量情報を用いた効率的なブレ補正をおこなうことができる。
【００８１】
さらに、再生の前に移動量情報を生成するようにすることで、移動量情報を伴わない動画像データの初回再生時からブレ補正をおこなうことができる。
【００８２】
また、デジタルカメラなどの撮像装置においては、動画撮像時に移動量情報を生成するので、レンズシフトやセンサシフトなどのブレ補正技術を用いることなく効果的なブレ補正が実現できるとともに、撮像した動画像データを他の装置で再生する場合にも、効果的なブレ補正をおこなうことができる。
【００８３】
すなわち、生成した移動量情報を外部装置に出力することで、動画像データを生成した装置以外の装置においても、再生時のブレ補正を容易におこなうことができる。
【００８４】
また、再生する装置においては、外部装置から移動量情報を取得してブレ補正に利用することができるので、種々の動画像データでのブレ補正を容易におこなうことができる。
【００８５】
このようにして取得もしくは生成される移動量情報を用いることで、フレーム画像の表示領域をブレに応じて制御することができるので、効果的なブレ補正を実現することができる。
【００８６】
本発明の適用により、動画像の再生時のブレ補正にかかる処理負荷を軽減することができるので、比較的処理能力の低い装置で動画像を再生する場合にも、ブレ補正をおこなうことができる。
【００８７】
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【００８８】
上記実施形態では、本発明にかかる画像処理装置を、動画撮像機能を有するデジタルスチルカメラによって実現した例を示したが、これに限らず、種々の撮像装置、もしくは、動画像データを再生することにできる装置に本発明を適用することができる。
【００８９】
上記実施形態で示したデジタルカメラ１のように、本発明にかかる機能を備えた画像処理装置として実現できることはもとより、プログラムの適用により、既存の装置を本発明にかかる画像処理装置として機能させることができる。すなわち、上記実施形態の制御部２１０が実行したプログラムと同様のプログラムを既存の装置に適用し、当該装置の動作を制御しているコンピュータ装置（例えば、ＣＰＵなど）に実行させることで、本発明にかかる画像処理装置として機能させることができる。
【００９０】
このようなプログラムの適用方法は任意であり、例えば、メモリカード（外部メモリ２６０）などの記憶媒体に格納して適用できる他、インターネットなどの通信媒体を介して適用することもできる。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。
【図２】図１に示す制御部によって実現される機能を示す機能ブロック図である。
【図３】本発明の実施形態１にかかる「動画再生処理」を説明するためのフローチャートである。
【図４】図３に示す「動画再生処理」で実行される「移動量情報生成処理（１）」を説明するためのフローチャートである。
【図５】図３に示す「動画再生処理」で実行される「移動量情報生成処理（２）」を説明するためのフローチャートである。
【図６】本発明の実施形態２にかかる「動画撮像処理」を説明するためのフローチャートである。
【符号の説明】
【００９２】
１…デジタルカメラ、１００…撮像部、１１０…光学装置、１２０…イメージセンサ部、２００…データ処理部、２１０…制御部、２１１…撮像処理部、２１２…再生処理部、２１３…移動量検出部、２１４…移動量情報生成部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…内部メモリ、２６０…外部メモリ、３００…インタフェース部、３１０…表示部、３２０…外部インタフェース部、３３０…操作部
【図１】
2010130295.tif 000003
【図２】
2010130295.tif 000004
【図３】
2010130295.tif 000005
【図４】
2010130295.tif 000006
【図５】
2010130295.tif 000007
【図６】
2010130295.tif 000008