(57)【要約】【課題】外部表示装置に対して出力される動画像の手ぶれ補正処理を好適に行う。【解決手段】外部表示装置６００と接続される撮像装置１００であって、内蔵記録部３やメモリカードＭや外部記録装置５００の何れかに記録された符号化動画像データの再生指示に基づいて、当該データを復号して複数の画像フレームを所定の順番で逐次取得する復号部５と、各画像フレームの全体動きベクトルを画像フレームの取得速度と所定の順番に対応させて逐次取得するぶれ量計算部１０Ｃと、全体動きベクトルに基づいて、画像フレームに対して手ぶれ補正を逐次施す手ぶれ補正処理部１０と、手ぶれ補正が施された画像フレームを外部表示装置に対して逐次出力する第二表示処理部８とを備えている。【選択図】図１
2007142649.tif 000002
【特許請求の範囲】
【請求項１】
動画像を表示する外部表示装置と接続される画像処理装置であって、
所定の形式で記録された動画像情報の再生指示に基づいて、当該動画像情報を構成する複数の画像フレームを動画の再生速度に対応させて所定の順番で逐次取得する画像フレーム取得手段と、
前記画像フレーム取得手段により取得される前記画像フレームの各々の動き補償情報を、前記画像フレーム取得手段による前記画像フレームの取得速度と前記所定の順番に対応させて逐次取得する動き補償情報取得手段と、
前記動き補償情報取得手段により取得された前記動き補償情報に基づいて、前記画像フレーム取得手段により取得される前記画像フレームに対して手ぶれ補正を逐次施す手ぶれ補正手段と、
前記手ぶれ補正手段により手ぶれ補正が施された前記画像フレームを前記外部表示装置に対して逐次出力する外部出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記動画像情報を記録する内蔵記録部を備え、
前記画像フレーム取得手段は、さらに、前記内蔵記録部に記録された前記動画像情報を構成する前記複数の画像フレームを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動画像情報を記録する着脱自在な外部記録媒体を備え、
前記画像フレーム取得手段は、さらに、前記外部記録媒体に記録された前記動画像情報を構成する前記複数の画像フレームを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記動画像情報を記録する外部記録装置と接続される記録装置接続手段を備え、
前記画像フレーム取得手段は、さらに、前記記録装置接続手段を介して接続された前記外部記録装置に記録された前記動画像情報を構成する前記複数の画像フレームを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記動画像情報は、動き補償を行う情報圧縮方式により符号化された複数の符号化画像フレームを含んでなる符号化動画像情報であり、
前記画像フレーム取得手段は、前記複数の符号化画像フレームを復号化して前記画像フレームの各々を取得し、
前記動き補償情報取得手段は、前記符号化動画像情報の符号化の際に生成された前記動き補償情報を取得することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記外部出力手段は、手ぶれ補正後の前記画像フレームを前記外部表示装置の画像信号の入力仕様に応じた形態に変更して出力することを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記動画像を表示する内蔵表示部と、
前記内蔵表示部及び前記外部表示装置の各々に表示される動画像の表示倍率を個別に変更する表示倍率変更手段と、を備えることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
前記手ぶれ補正手段により手ぶれ補正が施された複数の前記画像フレームを符号化して符号化動画像情報を生成する符号化手段と、
前記符号化手段により生成された前記符号化動画像情報を記録する着脱自在な外部記録媒体と、を備えることを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
【請求項９】
前記手ぶれ補正手段により手ぶれ補正が施された複数の前記画像フレームを符号化して符号化動画像情報を生成する符号化手段と、
前記符号化手段により生成された前記符号化動画像情報に係る動画像を再生する画像再生装置と接続される再生装置接続手段と、を備えることを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
【請求項１０】
前記動画像情報を出力する画像情報出力装置と接続される出力装置接続手段と、
前記出力装置接続手段により接続された前記画像情報出力装置から出力されて入力される前記動画像情報に基づいて、前記画像フレームを逐次生成する画像フレーム生成手段と、を備え、
前記画像フレーム取得手段は、さらに、前記画像フレーム生成手段により生成される前記画像フレームを取得することを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
【請求項１１】
動画像を表示する外部表示装置と接続される画像処理装置に、
所定の形式で記録された動画像情報の再生指示に基づいて、当該動画像情報を構成する複数の画像フレームを動画の再生速度に対応させて所定の順番で逐次取得する機能と、
前記画像フレームの取得速度と前記所定の順番に対応させて前記画像フレームの各々の動き補償情報を逐次取得する機能と、
取得された前記動き補償情報に基づいて、前記画像フレームに対して手ぶれ補正を逐次施す機能と、
手ぶれ補正が施された前記画像フレームを前記外部表示装置に対して逐次出力する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外部表示装置に出力される動画像の手ぶれを補正する画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置として、動画像の撮像により生じた手ぶれを画像処理にて補正する、所謂、手ぶれ補正を行ってから動画ファイルとして記録するものが知られている（例えば、特許文献１参照）。
また、撮像装置には、ＤＶＤプレイヤなどの再生装置のように、再生する画像情報を外部出力端子などを介してテレビ等の外部表示装置に出力可能に構成されたものがある。
【特許文献１】特許第３２１３３４８号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、近年では、再生機能に加えて、放送されているテレビ番組などをデジタル録画する録画機能を有するＤＶＤレコーダなどの録画再生装置も一般に普及してきているが、これらの録画再生装置は、放送されている番組を画像情報として記録することはあっても手で保持して撮像記録を行うことがないため、手ぶれ補正機能は具備していない。
しかしながら、かかる録画再生装置で再生される画像情報であっても、時として手ぶれを含んでいる場合がある。即ち、手ぶれ補正が全く行われずに、或いは不十分な状態で記録された画像情報を再生して外部表示装置に表示しても、手ぶれ補正をした状態で鑑賞することができないこととなる。
【０００４】
そこで、本発明の課題は、外部表示装置に対して出力される動画像の手ぶれ補正処理を好適に行うことができる画像処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、
動画像を表示する外部表示装置（例えば、図１の外部表示装置６００等）と接続される画像処理装置（例えば、図１の撮像装置１００等）であって、
所定の形式で記録された動画像情報の再生指示に基づいて、当該動画像情報を構成する複数の画像フレーム（例えば、図２の画像フレームＦ等）を動画の再生速度に対応させて所定の順番で逐次取得する画像フレーム取得手段（例えば、図１の復号部５等）と、
前記画像フレーム取得手段により取得される前記画像フレームの各々の動き補償情報を、前記画像フレーム取得手段による前記画像フレームの取得速度と前記所定の順番に対応させて逐次取得する動き補償情報取得手段（例えば、図１のぶれ量計算部１０Ｃ等）と、
前記動き補償情報取得手段により取得された前記動き補償情報に基づいて、前記画像フレーム取得手段により取得される前記画像フレームに対して手ぶれ補正を逐次施す手ぶれ補正手段（例えば、図１の表示領域設定部１０Ｅ等）と、
前記手ぶれ補正手段により手ぶれ補正が施された前記画像フレームを前記外部表示装置に対して逐次出力する外部出力手段（例えば、図１の第二表示処理部８等）と、
を備えることを特徴としている。
【０００６】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記動画像情報を記録する内蔵記録部（例えば、図１の内蔵記録部３等）を備え、
前記画像フレーム取得手段は、さらに、前記内蔵記録部に記録された前記動画像情報を構成する前記複数の画像フレームを取得することを特徴としている。
【０００７】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、
前記動画像情報を記録する着脱自在な外部記録媒体（例えば、図１のメモリカードＭ等）を備え、
前記画像フレーム取得手段は、さらに、前記外部記録媒体に記録された前記動画像情報を構成する前記複数の画像フレームを取得することを特徴としている。
【０００８】
請求項４に記載の発明は、請求項１に記載の画像処理装置において、
前記動画像情報を記録する外部記録装置（例えば、図１の外部記録装置５００等）と接続される記録装置接続手段（例えば、図１の外部記録制御部４等）を備え、
前記画像フレーム取得手段は、さらに、前記記録装置接続手段を介して接続された前記外部記録装置に記録された前記動画像情報を構成する前記複数の画像フレームを取得することを特徴としている。
【０００９】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理装置において、
前記動画像情報は、動き補償を行う情報圧縮方式により符号化された複数の符号化画像フレームを含んでなる符号化動画像情報であり、
前記画像フレーム取得手段は、前記複数の符号化画像フレームを復号化して前記画像フレームの各々を取得し、
前記動き補償情報取得手段は、前記符号化動画像情報の符号化の際に生成された前記動き補償情報を取得することを特徴としている。
【００１０】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理装置において、
前記外部出力手段は、手ぶれ補正後の前記画像フレームを前記外部表示装置の画像信号の入力仕様に応じた形態に変更して出力することを特徴としている。
【００１１】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の画像処理装置（例えば、図６の撮像装置２００等）において、
前記動画像を表示する内蔵表示部（例えば、図６の内蔵表示部７等）と、
前記内蔵表示部及び前記外部表示装置の各々に表示される動画像の表示倍率を個別に変更する表示倍率変更手段（例えば、図６の第一表示領域設定部２１０Ｅ及び第二表示領域設定部２１０Ｆ等）と、を備えることを特徴としている。
【００１２】
請求項８に記載の発明は、請求項１〜７の何れか一項に記載の画像処理装置（例えば、図７の撮像装置３００等）において、
前記手ぶれ補正手段により手ぶれ補正が施された複数の前記画像フレームを符号化して符号化動画像情報を生成する符号化手段（例えば、図７の符号化部２等）と、
前記符号化手段により生成された前記符号化動画像情報を記録する着脱自在な外部記録媒体と、を備えることを特徴としている。
【００１３】
請求項９に記載の発明は、請求項１〜７の何れか一項に記載の画像処理装置（例えば、図７の撮像装置３００等）において、
前記手ぶれ補正手段により手ぶれ補正が施された複数の前記画像フレームを符号化して符号化動画像情報を生成する符号化手段（例えば、図７の符号化部２等）と、
前記符号化手段により生成された前記符号化動画像情報に係る動画像を再生する画像再生装置（例えば、図７の画像再生装置７００等）と接続される再生装置接続手段（例えば、図７の外部記録制御部４等）と、を備えることを特徴としている。
【００１４】
請求項１０に記載の発明は、請求項１〜７の何れか一項に記載の画像処理装置（例えば、図９の撮像装置４００等）において、
前記動画像情報を出力する画像情報出力装置（例えば、図９のＤＶＤプレイヤ８００等）と接続される出力装置接続手段（例えば、図９の外部入力端子１１等）と、
前記出力装置接続手段により接続された前記画像情報出力装置から出力されて入力される前記動画像情報に基づいて、前記画像フレームを逐次生成する画像フレーム生成手段（例えば、図９の画像フレーム変換処理部１２等）と、を備え、
前記画像フレーム取得手段は、さらに、前記画像フレーム生成手段により生成される前記画像フレームを取得することを特徴としている。
【００１５】
請求項１１に記載の発明のプログラムは、
動画像を表示する外部表示装置（例えば、図１の外部表示装置６００等）と接続される画像処理装置（例えば、図１の撮像装置１００等）に、
所定の形式で記録された動画像情報の再生指示に基づいて、当該動画像情報を構成する複数の画像フレーム（例えば、図２の画像フレームＦ等）を動画の再生速度に対応させて所定の順番で逐次取得する機能と、
前記画像フレームの取得速度と前記所定の順番に対応させて前記画像フレームの各々の動き補償情報を逐次取得する機能と、
取得された前記動き補償情報に基づいて、前記画像フレームに対して手ぶれ補正を逐次施す機能と、
手ぶれ補正が施された前記画像フレームを前記外部表示装置に対して逐次出力する機能と、
を実現させることを特徴としている。
【発明の効果】
【００１６】
請求項１に記載の発明によれば、動画の再生速度に対応させて所定の順番で逐次取得される複数の画像フレームを、当該画像フレームの取得速度と所定の順番に対応させて逐次取得される画像フレームの各々の動き補償情報に基づいて手ぶれ補正を逐次施すことができ、さらに、手ぶれ補正が施された画像フレームを外部表示装置に対して逐次出力することができるので、外部表示装置に対して出力される動画像の手ぶれ補正処理を好適に行うことができる。つまり、手ぶれ補正が十分に行われずに記録された動画像であっても、外部表示装置に対して出力して動画像を表示再生する場合に、所定の順番で画像フレームの手ぶれ補正及び手ぶれ補正後の画像フレームの出力を逐次行うことができるので、手ぶれ補正処理をリアルタイムで好適に行うことができる。
【００１７】
請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、内蔵記録部に記録された動画像情報の再生の際に、当該動画像情報を構成する複数の画像フレームを動画の再生速度に対応させて所定の順番で逐次取得することができることとなって、動画像の手ぶれ補正処理を好適に行うことができる。
【００１８】
請求項３に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、外部記録媒体に記録された動画像情報の再生の際に、当該動画像情報を構成する複数の画像フレームを動画の再生速度に対応させて所定の順番で逐次取得することができることとなって、動画像の手ぶれ補正処理を好適に行うことができる。
【００１９】
請求項４に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、記録装置接続手段を介して接続された外部記録装置に記録された動画像情報の再生の際に、当該動画像情報を構成する複数の画像フレームを動画の再生速度に対応させて所定の順番で逐次取得することができることとなって、動画像の手ぶれ補正処理を好適に行うことができる。
【００２０】
請求項５に記載の発明によれば、請求項１〜４に記載の発明と同様の効果が得られるのは無論のこと、特に、動き補償を行う情報圧縮方式により符号化された複数の符号化画像フレームを復号化して画像フレームの各々を取得することができ、符号化画像フレームからなる符号化動画像情報の符号化の際に生成された動き補償情報を取得することができるので、手ぶれ補正が十分に行われずに記録された動画像であっても、取得された動き補償情報に基づいて画像フレームの手ぶれ補正を好適に行うことができる。
【００２１】
請求項６に記載の発明によれば、請求項１〜５に記載の発明と同様の効果が得られるのは無論のこと、特に、手ぶれ補正が施された画像フレームを外部表示装置の画像信号の入力仕様に応じた形態に変更して出力することができるので、如何なる外部表示装置であっても手ぶれ補正後の動画像を適正に表示させることができる。
【００２２】
請求項７に記載の発明によれば、請求項１〜６に記載の発明と同様の効果が得られるのは無論のこと、特に、動画像を表示する内蔵表示部及び外部表示装置の各々に表示される動画像の表示倍率を個別に変更することができるので、内蔵表示部及び外部表示装置の各々における動画像の表示寸法を個別に拡大・縮小することができ、動画像の表示をより好適に行うことができる。
【００２３】
請求項８に記載の発明によれば、請求項１〜７に記載の発明と同様の効果が得られるのは無論のこと、特に、手ぶれ補正が施された複数の画像フレームを符号化して符号化動画像情報を生成して、当該符号化動画像情報を外部記録媒体に記録することができるので、手ぶれ補正機能を具備しない画像再生装置であっても、外部記録媒体に記録された符号化動画像情報を用いることにより、手ぶれ補正が施された好適な動画像を再生することができる。
【００２４】
請求項９に記載の発明によれば、請求項１〜７に記載の発明と同様の効果が得られるのは無論のこと、特に、手ぶれ補正が施された複数の画像フレームを符号化して符号化動画像情報を生成することができ、再生装置接続手段を介して接続された画像再生装置を用いて符号化動画像情報に係る動画像を再生することができる。即ち、手ぶれ補正機能を具備しない画像再生装置であっても、符号化動画像情報を用いることにより手ぶれ補正が施された好適な動画像を再生することができる。
【００２５】
請求項１０に記載の発明によれば、請求項１〜７に記載の発明と同様の効果が得られるのは無論のこと、特に、出力装置接続手段を介して接続された画像情報出力装置から出力されて入力される動画像情報に基づいて、画像フレームを逐次生成することができるので、生成される画像フレームを動画の再生速度に対応させて所定の順番で逐次取得することができることとなって、当該動画像の手ぶれ補正を好適に行うことができる。
【００２６】
請求項１１に記載の発明によれば、動画の再生速度に対応させて所定の順番で逐次取得される複数の画像フレームを、当該画像フレームの取得速度と所定の順番に対応させて逐次取得される画像フレームの各々の動き補償情報に基づいて手ぶれ補正を逐次施すことができ、さらに、手ぶれ補正が施された画像フレームを外部表示装置に対して逐次出力することができるので、外部表示装置に対して出力される動画像の手ぶれ補正処理を好適に行うことができる。つまり、手ぶれ補正が十分に行われずに記録された動画像であっても、外部表示装置に対して出力して動画像を表示再生する場合に、所定の順番で画像フレームの手ぶれ補正及び手ぶれ補正後の画像フレームの出力を逐次行うことができるので、手ぶれ補正処理をリアルタイムで好適に行うことができる。
【発明を実施するための最良の形態】
【００２７】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００２８】
［実施形態１］
図１は、本発明を適用した画像処理装置の好適な一例として例示する実施形態１の撮像装置１００の要部構成を示すブロック図である。なお、図１にあっては、撮像装置１００は、パーソナルコンピュータ（ＰＣ）５０１や記憶媒体読取装置５０２や外部表示装置６００等と接続された状態を示している。
実施形態１の撮像装置１００は、例えば、デジタルカメラ等が適用され、撮像された動画像を記録するための符号化標準であるＭＰＥＧ（Moving Picture Experts Group）４等の情報圧縮方式により符号化して記録するものである。また、撮像装置１００は、例えば、ＰＣ５０１や記憶媒体読取装置５０２などの外部記録装置５００（詳細後述）と所定の通信ケーブル等を介して接続され、これらの外部記録装置５００に記録される符号化動画像データに基づいて、所定の動画像を表示することができるようになっている。
【００２９】
具体的には、撮像装置１００は、例えば、図１に示すように、被写体の静止画像や動画像を撮像する撮像部１と、撮像部１により撮像された画像を所定の情報圧縮方式により符号化する符号化部２と、符号化部２により符号化された符号化画像データを記録する内蔵記録部３と、符号化動画像データを記録するメモリカード（外部記録媒体）Ｍや外部記録装置５００と接続され、符号化動画像データ等の各種情報の受渡を制御する外部記録制御部４と、内蔵記録部３やメモリカードＭや外部記録装置５００に記録された符号化画像データを復号する復号部５と、第一表示処理部６と接続され、所定の画像を表示する内蔵表示部７と、第二表示処理部８と接続され、所定の画像データを外部表示装置６００に出力する外部出力端子９と、内蔵表示部７に表示されたり外部出力端子９を介して出力される動画像の手ぶれを補正する手ぶれ補正処理部１０等を備えて構成されている。
【００３０】
撮像部１は、例えば、切換スイッチ（図示略）等の所定操作に基づいて静止画像及び動画像の撮像を切り替えて実行することができるように構成されている。具体的には、撮像部１は、図示は省略するが、フォーカス機能やズーム機能を有する撮像レンズ群と、この撮像レンズ群を通過した被写体像を二次元の画像データに変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部と、この電子撮像部から出力される画像データに対して所定の画像処理を施す信号処理部と、電子撮像部及び信号処理部等を制御するための撮像制御部等を備えている。
そして、撮像制御部の制御下にて、信号処理部から画像処理が施された画像データが符号化部２に対して出力されるようになっている。
【００３１】
符号化部２は、例えば、ＭＰＥＧ４等の動き補償を行う情報圧縮方式により動画像データを符号化するものであり、具体的には、撮像部１から入力された動画像データに対して、当該動画像データを構成する画像フレームＦ間の時間的な相関関係を利用して符号量を削減するＭＣ（Motion Compensation；動き補償）や、各画像フレームＦの空間的な相関関係を利用して符号量を削減するＤＣＴ（Discrete Cosine Transform；離散コサイン変換）等の情報圧縮符号化処理を実行するようになっている。
また、符号化部２は、例えば、ＤＣＴにより算出されるＤＣＴ変換係数を視覚特性を考慮した所定のＱ値で除算する量子化を行うようになっている。
【００３２】
ＭＣは、例えば、入力された画像データを１６×１６画素の正方領域であるマクロブロックＭＢ単位に分割し、参照画像内の所定のサーチ範囲を探索してマクロブロックＭＢとの誤差が最小となるブロックを検出して、その動き量を補償して行われるフレーム間予測である。ここで、検出した参照画像内の誤差の最小となるブロックの水平方向及び垂直方向の移動量を表すベクトルを動きベクトルという。
そして、ＭＣは、例えば、フレーム内符号化画像であるＩ-pictureを基準として、フレーム間順方向予測符号化画像であるＰ-pictureや、双方向予測符号化画像であるＢ-picture等を生成するようになっている。
【００３３】
また、ＤＣＴは、フーリエ変換の一種で、２次元の画像を２次元の周波数に変換することで、人間の目につきやすい低周波成分と識別しにくい高周波成分に分離するものである。具体的には、ＤＣＴは、例えば、動き補償した画像と入力画像との差分を８×８画素のブロックを単位として２次元離散コサイン変換するようになっている。
なお、Ｉ-pictureは、フレーム内符号化画像であるので、差分をとらずに入力画像に対してそのままＤＣＴ演算が行われるようになっている。
【００３４】
内蔵記録部３は、例えば、書き換え可能な半導体メモリであるＲＡＭ（Random Access Memory）等から構成され、符号化部２により符号化された静止画像データや動画像データを一時的に記録するものである。
なお、これら一時的に記録されたデータを恒久的に保存する場合には、外部記録制御部４を介して、メモリカードＭや外部記録装置５００等に転送されて保存されるようになっている。
【００３５】
外部記録制御部４は、例えば、不揮発性のメモリカードＭが着脱自在に構成されたメモリカードインターフェイス（Ｉ／Ｆ）４Ａと、ＰＣ５０１や記憶媒体読取装置５０２等の外部記録装置５００と接続するためのＵＳＢインターフェイス（Ｉ／Ｆ；記録装置接続手段）４Ｂ等を備えている。そして、外部記録制御部４は、例えば、メモリカードＩ／Ｆ４Ａを介してメモリカードＭに記録されている動画像データを取得する処理を制御し、また、ＵＳＢＩ／Ｆ４Ｂを介して外部記録装置５００に記録されている動画像データを取得する処理を制御するようになっている。
ここで、ＰＣ５０１は、例えば、所定の画像を表示するためのディスプレイ５０１Ａを備えて構成されている。また、記憶媒体読取装置５０２は、例えば、磁気的或いは光学的記憶媒体５０２Ａに記録された各種情報の読み出しを行うためのものである。なお、記憶媒体読取装置５０２は、例えば、所定の記憶媒体５０２Ａに対して各種情報の書き込みを行うことができるように構成されても良い。
【００３６】
復号部５は、例えば、操作部の所定操作に基づいて動画像の再生指示が入力された際に、内蔵記録部３に記録される符号化動画像データ又は外部記録制御部４を介して取得される符号化動画像データを復号して、動画像データを構成する複数の画像フレームＦ、…が再生される順序で並んだビットストリームを作成するものである。
ビットストリームの作成にあっては、例えば、符号化動画像データの全てを一度に復号してから手ぶれ補正処理部１０を構成するフレーム処理部１０ＡやＭＢ選択処理部１０Ｂ、並びに第一及び第二表示処理部６、８等にビットストリームとして順番に受け渡すのではなく、フレーム処理部１０ＡやＭＢ選択処理部１０Ｂ並びに第一及び第二表示処理部６、８等で必要となる画像フレームＦの順番で、当該画像フレームＦの復号処理にて必要な最小限のデータを内蔵記録部３や外部記録制御部４から所定の作業用メモリに読み出しながら順番に復号してフレーム処理部１０ＡやＭＢ選択処理部１０Ｂ並びに第一及び第二表示処理部６、８等に逐次受け渡すようになっている。即ち、復号部５は、画像フレーム取得手段を構成し、複数の画像フレームＦを動画の再生速度に対応させて所定の順番で逐次取得するようになっている。
そして、これらデータの受け渡しが完了し、且つ、それ以降の処理にて必要が無くなったデータから順番に作業用メモリから逐次削除（上書き）していくようになっている。
これにより、手ぶれ補正前の動画像データ全体に対応する手ぶれ補正後の動画像データの完全な複製をメモリ上に作成、保持しなくとも処理を進行することができ、対象となる動画像データのデータ量が非常に大きい場合やメモリの空き容量が少ない場合であっても、リアルタイムに逐次手ぶれ補正を施して再生することができる。
【００３７】
また、復号部５は、例えば、符号化動画像データを復号して量子化係数や動きベクトルを算出し、さらに、量子化係数をＤＣＴ係数に変換する逆量子化を行い、また、ＤＣＴ係数に基づいて８×８画素のブロックを単位として画素値（画素値間の差分）を算出する逆ＤＣＴを行い、さらに、画素値間の差分と動きベクトルにより補償されたブロックを加算することでＰ-pictureやＢ-pictureを復号するようになっている。
【００３８】
手ぶれ補正処理部（手ぶれ補正手段）１０は、例えば、手ぶれ補正処理を行わずに記録された動画像データが再生される際に、手ぶれ量、即ち、画像フレームＦの動き量を検出して手ぶれ補正を行うものである。具体的には、手ぶれ補正処理部１０は、例えば、フレーム処理部１０Ａと、マクロブロック（ＭＢ）選択処理部１０Ｂと、ぶれ量計算部１０Ｃと、補間処理部１０Ｄと、表示領域設定部１０Ｅ等を備えている。
【００３９】
フレーム処理部１０Ａは、例えば、復号部５により復号されたビットストリームを構成する複数の画像フレームＦに対して、順番を付す処理を行うようになっている。
また、フレーム処理部１０Ａは、例えば、複数の画像フレームＦの各々について、動きベクトル（動き補償情報）を取得不可のＩ-pictureであるか否かを判定して、判定結果をＭＢ選択処理部１０Ｂ及び補間処理部１０Ｄに出力するようになっている。
【００４０】
ＭＢ選択処理部１０Ｂは、例えば、フレーム処理部１０ＡがＩ-picture以外である（例えば、Ｐ-pictureやＢ-picture）と判断したフレームについて、画像フレームＦの全体動きベクトル（ぶれ量）の算出に適したマクロブロックＭＢの選択を行うようになっている。
即ち、例えば、ＶＧＡサイズのＭＰＥＧ４ストリームの場合、１画像フレームＦあたり１２００個のマクロブロックＭＢ（図２参照）を有し、これらは、フレーム間補償のあるInterＭＢとフレーム間補償の無いIntraＭＢとからなる。このうち、InterＭＢの持つ動きベクトルを平均化することにより一の画像フレームＦ全体に係る全体動きベクトルが算出されると考えられる。
しかしながら、当該画像フレームＦの符号化の際に誤った動きベクトルが作成されている可能性もあるため、全ての動きベクトルが全体動きベクトルの算出に適しているという訳ではない。さらに、動きベクトルが誤検出であったかどうかを判定するため再度検出を行うことは現実的ではないため、マクロブロックＭＢに関する各種の情報から誤検出が生じた可能性が高いかどうかを判定して、より信頼性の高いマクロブロックＭＢを選択するものである。
【００４１】
なお、ＭＢ選択処理部１０Ｂによる動きベクトルの信頼性の判定にあっては、一の画像フレームＦの全てのマクロブロックＭＢを処理するのは演算による負荷が大きいため、例えば、当該画像フレームＦを４×４の計１６個のマクロブロックＭＢからなるＭＢグループＧに分割し、各グループから一のマクロブロックＭＢを選択して信頼性を判定するようになっている。そして、信頼性が高かった場合には、そのマクロブロックＭＢを全体動きベクトルの推定用のマクロブロックＭＢとして選択し、信頼性が低かった場合には、当該ＭＢグループＧ内の他のマクロブロックＭＢ（例えば、次のマクロブロックＭＢ）に対して同様の処理を行うようになっている。
【００４２】
また、ＭＢ選択処理部１０Ｂは、画像フレームＦのマクロブロックＭＢの動きベクトルの信頼性を、当該マクロブロックＭＢに係る画像部分の平坦度合に基づいて判定するようになっている。
即ち、一の画像フレームＦにおいて、のっぺりとした特徴の少ない部分では動きベクトルの誤検出が生じやすいため、特徴の少ない平坦な画像部分に係るマクロブロックＭＢの動きベクトルは信頼性が低く、全体動きベクトルの推定に用いられないこととなる。
より具体的には、符号化部２によるマクロブロックＭＢの画像データの符号化に供されるＱ値（量子化パラメータ）は、のっぺりとした特徴の少ない部分では小さくなり、一方で、周波数成分が多いと大きくなることから、このＱ値に基づいて、ＭＢ選択処理部１０Ｂは、画像の平坦度合を判定するようになっている。
【００４３】
また、ＭＢ選択処理部１０Ｂは、例えば、符合部によるＤＣＴ後のＤＣ係数に基づいて、画像フレームＦのマクロブロックＭＢの動き補償の成功度合を判定し、その後、当該判定結果に基づいてマクロブロックＭＢの動きベクトルの信頼性を判定するようになっている。
即ち、ＤＣ係数は、ＤＣＴ後の参照ブロックに対するＤＣ成分の差分であり、当該ＤＣ係数が大きくなった場合には、正しい位置で動き補償がなされずに、その結果として参照ブロックとのＤＣ成分の差分が大きくなった可能性がある。そこで、ＤＣ係数が所定の閾値以上の場合には、そのマクロブロックＭＢの動きベクトルは信頼性が低く、全体動きベクトルの推定に用いられないこととなる。
【００４４】
ぶれ量計算部１０Ｃは、例えば、ＭＢ選択処理部１０Ｂにより選択された一の画像フレームＦの全体動きベクトルの推定に適している複数のマクロブロックＭＢの動きベクトルを取得し、これら動きベクトルの平均処理を行って当該画像フレームＦのぶれ量（全体動きベクトル）を算出するようになっている。
具体的には、ぶれ量計算部１０Ｃは、復号部５により所定の画像フレームＦが逐次取得されて手ぶれ補正処理部１０に受け渡される毎に、当該画像フレームＦのぶれ量を算出するようになっている。即ち、ぶれ量計算部１０Ｃは、動き補償情報取得手段として、復号部５による画像フレームＦの取得速度とその順番に対応させて、当該画像フレームＦの各々のぶれ量を逐次取得するようになっている。
【００４５】
補間処理部１０Ｄは、フレーム処理部１０Ａにより特定されたＩ-pictureの前後に位置する画像フレームＦの全体動きベクトルから補間処理により当該Ｉ-pictureの全体動きベクトルを算出するようになっている。
これにより、動きベクトルを具備しないＩ-pictureであっても、その全体動きベクトルを取得することができることとなって、当該動画像の再生の際の手ぶれ補正処理を適正に行うことができる。
【００４６】
表示領域設定部１０Ｅは、例えば、内蔵表示部７や外部表示装置６００に表示される動画像の画像フレームＦの表示領域Ｒを設定するものである。具体的には、表示領域設定部１０Ｅは、ぶれ量計算部１０Ｃにより算出（推定）されたＰ-pictureやＢ-pictureの全体動きベクトル並びに補間処理部１０Ｄにより算出されたＩ-pictureの全体動きベクトルに基づいて、これらの画像フレームＦからなる動画像の再生の際に、一の画像フレームＦ２の表示領域Ｒ２（図３（ｂ））を一つ前の画像フレームＦ１の表示領域Ｒ１（図３（ａ））から全体動きベクトルの分だけ移動させることにより、これら画像フレームＦに対して手ぶれ補正を逐次施すようになっている。これによって、内蔵表示部７や外部表示装置６００には、手ぶれが補正された動画像（図３（ｃ）参照）がリアルタイムで表示再生されることとなる。
ここで、図３（ａ）は、先に表示される画像フレームＦ１及び表示領域Ｒ１を模式的に示した図であり、図３（ｂ）は、本来画像フレームＦ１に続けて表示される画像フレームＦ２及び表示領域Ｒ２を模式的に示した図であり、図３（ｃ）は、手ぶれ補正処理後に表示される画像フレームＦ２及び表示領域Ｒ２を模式的に示した図である。
【００４７】
なお、表示領域設定部１０Ｅは、例えば、再生時に内蔵表示部７及び外部表示装置６００の各々に表示される動画像の拡大／縮小を制御する機能を備えるようにしても良く、具体的には、操作部（図示略）の所定操作に基づいてユーザから指示された拡大／縮小倍率に対応させて表示領域Ｒの大きさを変更させるようになっている。
【００４８】
第一表示処理部６は、例えば、必要部分が切り出された画像フレームＦを、内蔵表示部７の表示仕様に合わせて加工するとともに、表示に必要な信号を出力するものである。また、第一表示処理部６は、記録時の解像度と表示デバイスの解像度が異なる場合には、画素補間や画素間引きなどの処理を行うようになっている。
なお、第一表示処理部６は、例えば、補間処理部１０Ｄによる全体動きベクトルの補間作業による遅延時間との同期をとるためにバッファ（図示略）を備えるようにしても良い。
【００４９】
内蔵表示部７は、例えば、装置本体に内蔵された液晶表示装置等により構成され、復号部５により復号された画像データに基づいて、各種画像の確認のための表示を行うものである。即ち、内蔵表示部７は、表示サイズの小さい動画像を表示するものであり、当該動画像の観賞用ではなく確認用として用いられるものである。
【００５０】
第二表示処理部８は、例えば、第一表示処理部６と略同様の処理を行うとともに、外部出力手段として、手ぶれ補正処理部１０により手ぶれ補正が施された画像フレームＦを外部出力端子９を介して外部表示装置６００に対して逐次出力するようになっている。
また、第二表示処理部８は、例えば、外部表示装置６００の画像信号の入力仕様に合わせた同期信号（垂直同期信号、水平同期信号）を生成するとともに、画像フレームＦを走査してシリアルな映像信号に変換し、これら信号が復号されたコンポジット信号として出力する処理等を行うようになっている。
【００５１】
外部出力端子９は、例えば、テレビなどの外部表示装置６００を接続して、鑑賞用として画像を表示させるためのものである。
【００５２】
次に、図４及び図５を参照して動画像再生処理について説明する。
ここで、図４は、動画像再生処理に係る動作の一例を示すフローチャートであり、図５は、動画像再生処理におけるマクロブロック選択処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する動画像再生処理にあっては、外部出力端子９を介して接続される外部表示装置６００にて再生されるものとする。
【００５３】
図４に示すように、ユーザによる撮像装置１００の所定操作に基づいて内蔵記録部３、メモリカードＭ並びに外部記録装置５００の何れかに記録されている動画像の再生が指示されると、先ず、復号部５は、内蔵記録部３等からＭＰＥＧ動画ファイルを動画の再生に最小限必要なデータ量ずつ取得して、これを復号することでビットストリームを作成する（ステップＳ１）。即ち、復号部５は、動画の再生速度に対応させて、フレーム処理部１０ＡやＭＢ選択処理部１０Ｂ並びに第一及び第二表示処理部６、８等で最小限必要なデータ量ずつ所定の作業用メモリに読み出しながら順番に復号する。そして、復号部５は、復号した所定の画像フレームＦをフレーム処理部１０ＡやＭＢ選択処理部１０Ｂ並びに第一及び第二表示処理部６、８等に逐次受け渡すようになっている。
【００５４】
フレーム処理部１０Ａは、復号部５から受け渡されるビットストリームを構成する所定数の画像フレームＦ毎に順番を付す処理を行うとともに、各画像フレームＦについてＩ-pictureであるか否かを判定する（ステップＳ２）。そして、Ｉ-pictureはマーキングされて、当該フレーム処理部１０Ａによる判定結果が、ＭＢ選択処理部１０Ｂ及び補間処理部１０Ｄに送られる。
【００５５】
そして、ステップＳ２にてＩ-pictureではない（ステップＳ２；ＮＯ）と判定された画像フレームＦに対して、ＭＢ選択処理部１０Ｂは、マクロブロック選択処理を行う（ステップＳ３）。
【００５６】
以下、図５を参照してマクロブロック選択処理について説明する。
図５に示すように、ＭＢ選択処理部１０Ｂは、入力される画像フレームＦのマクロブロックＭＢを４×４のマクロブロックＭＢからなるＭＢグループＧ（図２参照）に分割する（ステップＳ３０１）。
続けて、ＭＢ選択処理部１０Ｂは、分割されたＭＢグループＧの中から何れか一のＭＢグループＧを選択し（ステップＳ３０２）、このＭＢグループＧの中から何れか一のＭＢ（例えば、図２にあっては黒く塗りつぶされた左上隅のＭＢ）を選択する（ステップＳ３０３）。
【００５７】
次に、ＭＢ選択処理部１０Ｂは、復号されたビットストリームから当該マクロブロックＭＢに係るＱ値、ＤＣ係数などのマクロブロックＭＢの選択に係る各種のパラメータを抽出する（ステップＳ３０４）。
そして、ＭＢ選択処理部１０Ｂは、Intra／Interフラグに基づいて、選択されたマクロブロックＭＢがInterＭＢであるか否かを判定する（ステップＳ３０５）。
ここで、InterＭＢであると判定されると（ステップＳ３０５；ＹＥＳ）、ＭＢ選択処理部１０Ｂは、当該マクロブロックＭＢのＱ値が所定値以上であるか否かを判定する（ステップＳ（ステップＳ３０６）。
そして、Ｑ値が所定値以上、即ち、周波数成分の多いマクロブロックＭＢであると判定されると（ステップＳ３０６；ＹＥＳ）、ＭＢ選択処理部１０Ｂは、当該マクロブロックＭＢのＤＣＴ後のＤＣ係数が所定値以下であるか否かを判定する（ステップＳ３０７）。
ここで、ＤＣ係数が所定値以下であると判定されると（ステップＳ３０７；ＹＥＳ）、ＭＢ選択処理部１０Ｂは、当該マクロブロックＭＢを全体動きベクトルの推定用のマクロブロックＭＢとして採用する（ステップＳ３０８）。
【００５８】
一方、ステップＳ３０５にて、InterＭＢではない、即ち、動きベクトルが存しない独立型のIntraＭＢであると判定されるか（ステップＳ３０５；ＮＯ）、また、ステップＳ３０６にて、Ｑ値が所定値以上ではないと判定されるか（ステップＳ３０６；ＮＯ）、また、ステップＳ３０７にて、ＤＣ係数が所定値以下ではない、即ち、正しい位置で動き補償がなされていない可能性が大きいと判定されると（ステップＳ３０７；ＮＯ）、ＭＢ選択処理部１０Ｂは、当該マクロブロックＭＢが含まれるＭＢグループＧ内の全てのマクロブロックＭＢについて、各種パラメータの判定を行ったか否かを判定する（ステップＳ３０９）。
ここで、全てのマクロブロックＭＢについて判定していないと判定されると（ステップＳ３０９；ＮＯ）、ＭＢ選択処理部１０Ｂは、ＭＢグループＧ内の別のマクロブロックＭＢを選択して（ステップＳ３１０）、ステップＳ３０４に移行して、それ以降の処理を実行する。
【００５９】
また、ステップＳ３０９にて全てのマクロブロックＭＢについて判定していると判定されるか、ステップＳ３０８にて、推定用のマクロブロックＭＢとして採用されると、全てのＭＢグループＧに対して全体動きベクトルの推定に係るマクロブロックＭＢの推定を行ったか否かを判定する（ステップＳ３１１）。
ここで、全てのＭＢグループＧに対してマクロブロックＭＢの推定を行っていないと判定されると（ステップＳ３１１；ＮＯ）、ＭＢ選択処理部１０Ｂは、ステップＳ３０２に移行して、それ以降の処理を実行する。
また、ステップＳ３１１にて、全てのＭＢグループＧに対してマクロブロックＭＢの推定を行ったと判定されると（ステップＳ３１１；ＹＥＳ）、マクロブロック選択処理を終了する。
【００６０】
マクロブロック選択処理が終了すると、図４に示すように、ぶれ量計算部１０Ｃは、ＭＢ選択処理部１０Ｂにより採用された一の画像フレームＦに係る複数のマクロブロックＭＢの動きベクトルを取得して、これらの動きベクトルの平均処理を行って当該画像フレームＦの全体動きベクトルを算出する（ステップＳ４）。
【００６１】
次に、ステップＳ２にてＩ-pictureである（ステップＳ２；ＹＥＳ）と判定された画像フレームＦ（Ｉ-picture）に対して、補間処理部１０Ｄは、当該Ｉ-pictureの一つ次の画像フレームＦの全体動きベクトルをぶれ量計算部１０Ｃから取得し、当該画像フレームＦの全体動きベクトルとＩ-pictureの一つ前の画像フレームＦの全体動きベクトルとの間で補間計算を行って、Ｉ-pictureの全体動きベクトルを取得する（ステップＳ５）。
【００６２】
続けて、表示領域設定部１０Ｅは、全体動きベクトルが取得された複数の画像フレームＦに対して、一の画像フレームＦの表示領域Ｒを一つ前の画像フレームＦの表示領域Ｒから全体動きベクトルの分だけ移動させて、動画像の手ぶれ補正を行う（ステップＳ６；図３（ａ）〜（ｃ）参照）。
そして、第二表示処理部８は、例えば、表示領域設定部１０Ｅにより必要な部分が切り出された（手ぶれ補正された）画像フレームＦを外部出力端子９を介して外部表示装置６００に対して逐次出力することで、外部表示装置６００に動画像を表示させる（ステップＳ７）。
【００６３】
以上のように、実施形態１の撮像装置１００によれば、動画の再生速度に対応させて所定の順番で逐次取得される複数の画像フレームＦを、当該画像フレームＦの取得速度と所定の順番に対応させて逐次取得される画像フレームＦの各々の動き補償情報に基づいて手ぶれ補正を逐次施すことができ、さらに、手ぶれ補正が施された画像フレームＦを外部表示装置６００に対して逐次出力することができるので、外部表示装置６００に対して出力される動画像の手ぶれ補正処理を好適に行うことができる。
つまり、手ぶれ補正が全く或いは十分に行われずに当該撮像装置１００や他の撮像装置にて撮像され、ＭＰＥＧ方式により符号化されて内蔵記録部３やメモリカードＭや外部記録装置５００などに記録された動画像データであっても、外部表示装置６００に対して出力して動画像を表示再生する場合に、当該動画像データを構成する複数の画像フレームを動画の再生速度に対応させて所定の順番で逐次取得することができる。具体的には、符号化画像フレームを復号化して画像フレームＦの各々を逐次取得することができる。さらに、符号化画像フレームからなる符号化動画像データの符号化の際に生成された動きベクトルを逐次取得することができる。そして、これらの画像フレームＦ及び動きベクトルを用いて、所定の順番で画像フレームＦの手ぶれ補正及び手ぶれ補正後の画像フレームＦの出力を逐次行うことができるので、手ぶれ補正処理をリアルタイムで好適に行うことができる。
【００６４】
また、第一表示処理部６及び第二表示処理部８は、手ぶれ補正が施された画像フレームＦを内蔵表示部７や外部表示装置６００の画像信号の入力仕様に応じた形態に変更して出力することができるので、如何なる内蔵表示部７や外部表示装置６００であっても手ぶれ補正後の動画像を適正に表示させることができる。
【００６５】
さらに、ＭＰＥＧ方式により動画像データが符号化されているので、この動画像データを構成する画像フレームＦの複数のマクロブロックＭＢの動きベクトルに基づいて、当該画像フレームＦの全体動きベクトルを推定することができる。
このとき、画像フレームＦを構成する複数のマクロブロックＭＢのうち、動きベクトルの信頼性が高いマクロブロックＭＢを、全体動きベクトルの推定に用いるマクロブロックＭＢとして選択することができるので、符号化の際に誤った動きベクトルが作成された信頼性の低いマクロブロックＭＢは、全体動きベクトルの推定から排除されることとなって、全体動きベクトルの推定をより適正に行うことができる。
従って、手ぶれ補正を行わずに記録された動画像であっても、動画像の再生の際に、推定された画像フレームＦの全体動きベクトルに基づいて手ぶれ補正を適正に行うことができる。これにより、手ぶれ補正処理の際に一の画像フレームＦにおける特徴部分の探索、当該特徴部分の前後の画像フレームＦとの比較を行う必要がなくなって、当該動画像の再生の際の手ぶれ補正処理による負荷を好適に軽減することができる。
【００６６】
［実施形態２］
以下に、実施形態２の撮像装置２００について図６を参照して説明する。
ここで、図６は、本発明を適用した画像処理装置の好適な一例として例示する実施形態２の撮像装置２００の要部構成を示すブロック図である。
なお、実施形態２の撮像装置２００は、第一表示領域設定部２１０Ｅ及び第二表示領域設定部２１０Ｆを備える以外の点では上記実施形態１と略同様であるので、同様の構成には同一の符号を付してその説明を省略する。
【００６７】
実施形態２の撮像装置２００は、例えば、内蔵表示部７及び外部表示装置６００の各々に表示される動画像の表示倍率を内蔵表示部７及び外部表示装置６００毎に設定して、これら内蔵表示部７及び外部表示装置６００の両方に動画像の出力を並行して行うことができるようになっている。
即ち、撮像装置２００は、内蔵表示部７に対応する第一表示領域設定部２１０Ｅと、外部表示装置６００に対応する第二表示領域設定部２１０Ｆ等を備えている。
そして、第一表示領域設定部２１０Ｅ及び第二表示領域設定部２１０Ｆの各々は、表示倍率変更手段として、例えば、ユーザによる操作部の所定操作に基づいて指示された拡大／縮小倍率に対応させて各々の表示領域Ｒの大きさを個別に変更するようになっている。
【００６８】
以上のように、実施形態２の撮像装置２００によれば、動画像を表示する内蔵表示部７及び外部表示装置６００の各々に表示される動画像の表示倍率を個別に変更することができるので、内蔵表示部７及び外部表示装置６００の各々における動画像の表示寸法を個別に拡大・縮小することができ、動画像の表示をより好適に行うことができる。
【００６９】
なお、上記実施形態１及び実施形態２にあっては、内蔵記録部３、メモリカードＭ及び外部記録装置５００に記録された動画像データに基づいて手ぶれ補正を行うようにしたが、これに限られるものではなく、これらのうちの少なくとも何れか一つに手ぶれ補正に係る動画像データが保存されていれば良い。従って、本発明に係る撮像装置１００（２００）等にあっては、内蔵記録部３、メモリカードＭ及び外部記録装置５００の全てを必ずしも備える必要はない。
【００７０】
［実施形態３］
以下に、実施形態３の撮像装置３００について図７及び図８を参照して説明する。
ここで、図７は、本発明を適用した画像処理装置の好適な一例として例示する実施形態３の撮像装置３００の要部構成を示すブロック図である。
なお、実施形態３の撮像装置３００は、手ぶれ補正された動画像データを再度符号化して外部に出力する以外の点では上記実施形態１と略同様であるので、同様の構成には同一の符号を付してその説明を省略する。また、図７にあっては、簡略化のため、撮像部１の図示は省略している。
【００７１】
実施形態３の撮像装置３００は、例えば、手ぶれ補正処理後の動画像データを手ぶれ補正機能を具備していない画像再生装置７００等で再生できるようにしたものであり、具体的には、符号化部２にて、表示領域設定部１０Ｅから出力される手ぶれ補正処理後の画像フレームＦを再度符号化して符号化動画像データを形成した後、当該符号化動画像データを外部記録制御部４を介してメモリカードＭや記憶媒体読取装置５０２やＰＣ５０１（画像再生装置７００）等に出力するようになっている。
ここで、外部記録制御部４は、符号化部２により符号化された符号化動画像データに係る動画像を再生するＰＣ５０１等と接続される再生装置接続手段を構成している。
【００７２】
次に、動画像出力処理について図８を参照して説明する。
ここで、図８は、撮像装置３００による動画像出力処理に係る動作の一例を示すフローチャートである。なお、実施形態３の撮像装置３００に係る動画像出力処理にあっては、符号化処理及び出力処理を行う以外の点では実施形態１及び実施形態２の撮像装置１００、２００による動画像再生処理（図４及び図５参照）と略同様な処理を行うため、その説明を省略するものとする。
【００７３】
即ち、例えば、被写体の撮像に基づいて符号化部２により符号化され内蔵記録部３に保存された符号化動画像データに対して手ぶれ補正を施して再度保存する動画像出力モードが指示された場合に、撮像装置３００は、動画像出力処理を行うようになっている。
この動画像出力処理にあっては、ステップＳ６における動画像の手ぶれ補正後、符号化部２は、表示領域設定部１０Ｅにより必要な部分が切り出された複数の画像フレームＦの符号化処理を逐次行って、符号化動画像データを生成する（ステップＳ３７）。
続けて、外部記録制御部４は、符号化動画像データをメモリカードＭや記憶媒体読取装置５０２やＰＣ５０１等に出力する処理を行う（ステップＳ３８）。
【００７４】
以上のように、実施形態３の撮像装置３００によれば、手ぶれ補正が施された複数の画像フレームＦを符号化して符号化動画像データを生成して、当該符号化動画像データをメモリカードＭに記録したり、画像再生装置７００を用いて符号化動画像情報に係る動画像を再生することができる。即ち、手ぶれ補正機能を具備しない画像再生装置７００等であっても、符号化動画像データを用いることにより、手ぶれ補正が施された好適な動画像を再生することができる。
【００７５】
なお、上記実施形態３にあっては、メモリカードＭ及び画像再生装置７００等に符号化動画像データを出力するようにしたが、これに限られるものではなく、これらのうちの少なくとも何れか一つに符号化動画像データが出力されれば良い。従って、本発明に係る撮像装置３００等にあっては、メモリカードＭ及び外部記録装置５００の全てを必ずしも備える必要はない。
【００７６】
［実施形態４］
以下に、実施形態４の撮像装置４００について図９及び図１０を参照して説明する。
ここで、図９は、本発明を適用した画像処理装置の好適な一例として例示する実施形態４の撮像装置４００の要部構成を示すブロック図である。
なお、実施形態４の撮像装置４００は、ＤＶＤプレイヤ８００から出力された動画像データから画像フレームＦを逐次生成して手ぶれ補正を行う以外の点では上記実施形態１と略同様であるので、同様の構成には同一の符号を付してその説明を省略する。
【００７７】
実施形態４の撮像装置４００は、例えば、ＤＶＤプレイヤ（画像情報出力装置）８００から出力される動画像の手ぶれ補正を行う装置として機能するものである。
即ち、撮像装置４００は、例えば、ＤＶＤプレイヤ８００とともに動画像再生システムを構成して、このＤＶＤプレイヤ８００と外部表示装置６００との間に接続されるようになっている。具体的には、撮像装置４００は、ＤＶＤプレイヤ８００と接続される外部入力端子（出力装置接続手段）１１と、外部入力端子１１により接続されたＤＶＤプレイヤ８００から出力されて入力されるビデオ信号（動画像データ）に基づいて、画像フレームＦを逐次生成する画像フレーム変換処理部（画像フレーム生成手段）１２とを備えている。
なお、画像フレーム変換処理部１２による画像フレーム生成処理は、周知の技術であり、その詳細な説明は省略するものとする。
【００７８】
次に、動画像再生処理について図１０を参照して説明する。
ここで、図１０は、撮像装置４００による動画像再生処理に係る動作の一例を示すフローチャートである。なお、実施形態４の撮像装置４００に係る動画像再生処理にあっては、画像フレーム生成処理を行う以外の点では実施形態１の撮像装置１００による動画像再生処理（図４及び図５参照）と略同様な処理を行うため、その説明を省略するものとする。
【００７９】
即ち、例えば、動画像再生システムを構成するモードが指示された場合に、撮像装置４００は、動画像再生処理に際して、先ず、画像フレーム生成処理を行うようになっている（ステップＳ４１）。
この画像フレーム生成処理にあっては、画像フレーム変換処理部１２は、ＤＶＤプレイヤ８００から出力されて入力されるビデオ信号（動画像データ）に基づいて、画像フレームＦを逐次生成して、所定の画像フレームＦをフレーム処理部１０ＡやＭＢ選択処理部１０Ｂ並びに第一及び第二表示処理部６、８等に逐次受け渡すようになっている。
続けて、ステップＳ２に移行して、それ以降の処理が行われるようになっている。
【００８０】
以上のように、実施形態４の撮像装置４００によれば、ＤＶＤプレイヤ８００から出力されて入力される動画像データに基づいて、画像フレームＦを逐次生成することができるので、生成される画像フレームＦを動画の再生速度に対応させて所定の順番で逐次取得することができることとなって、当該動画像の手ぶれ補正を好適に行うことができる。
【００８１】
なお、上記実施形態では、画像情報出力装置として、ＤＶＤプレイヤ８００を例示したが、これに限られるものではなく、動画像データを出力可能な出力端子を備えるものであればＤＶＤレコーダ等であっても良い。
【００８２】
また、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、ＭＢ選択処理部１０ＢによるマクロブロックＭＢに係る画像部分の平坦度合の判定用のパラメータとして、マクロブロックＭＢのＱ値を用いるようにしたが、これに限られるものではない。即ち、例えば、画像フレームＦのうちでのっぺりとした特徴の少ない画像部分は圧縮効率が良いため、符合量が少なくなることから、ＭＢ選択処理部１０Ｂは、マクロブロックＭＢの符号量を判定用のパラメータとして当該画像部分の平坦度合を判定するようにしても良い。
さらに、上記実施形態では、マクロブロックＭＢのＱ値及びＤＣＴ後のＤＣ係数に基づいて、全体動きベクトルの推定に用いられるマクロブロックＭＢを判定するようにしたが、これに限られるものではなく、例えば、Ｑ値及びＤＣ係数のうちの少なくとも何れか一方のみを用いて判定を行っても良いし、これらの何れかにマクロブロックＭＢの符合量を判定用のパラメータとして加えて判定を行うようにしても良い。
【００８３】
また、上記実施形態では、動きベクトルを具備しないＩ-pictureに係る全体動きベクトルを前後の画像フレームＦの全体動きベクトルに基づいて補間するようにしたが、Ｉ-pictureの全体動きベクトルの取得方法はこれに限られるものではない。即ち、撮像装置１００、２００、３００、４００は、例えば、Ｉ-pictureから所定の特徴点を抽出し、さらに、抽出された特徴点に対応する特徴点をＩ-pictureの前後のうちの何れか一方の画像フレームＦ（例えば、一つ前の画像フレームＦ）にて勾配法等により追跡し、特徴点の追跡結果（特徴点移動量）に基づいて、Ｉ-pictureの全体動きベクトルを決定するようにしても良い。
【００８４】
加えて、上記実施形態では、本発明に係る画像処理装置として、画像の撮像及び撮像された静止画像や動画像を表示（再生）する撮像装置１００、２００、３００、４００を例示したが、これに限られるものではなく、少なくとも動画像データを外部表示装置６００に出力することができる装置であれば、ビデオ再生装置など如何なるものであっても良い。また、例えば、画像処理装置としてのパーソナルコンピュータ（ＰＣ；図示略）等に動画ファイルを取り込み、当該ＰＣによる所定のプログラムの実行に基づいて、上記のように、画像フレームＦを逐次取得する処理と、その動きベクトル補償情報を逐次取得する処理と、画像フレームＦの手ぶれ補正を逐次施す処理と、手ぶれ補正済の画像フレームＦを外部表示装置６００に対して逐次出力する処理等を実施することにより、本発明を実現するようにしても良い。
【図面の簡単な説明】
【００８５】
【図１】本発明を適用した画像処理装置の好適な一例として例示する実施形態１の撮像装置の要部構成を示すブロック図である。
【図２】図１の撮像装置の表示部に表示される動画像データを構成する画像フレームを模式的に示した図である。
【図３】図１の撮像装置による動画像再生正処理に係る画像フレーム及び表示領域を模式的に示した図である。
【図４】図３の動画像再生処理に係る動作の一例を示すフローチャートである。
【図５】図３の動画像再生処理におけるマクロブロック選択処理に係る動作の一例を示すフローチャートである。
【図６】本発明を適用した画像処理装置の好適な一例として例示する実施形態２の撮像装置の要部構成を示すブロック図である。
【図７】本発明を適用した画像処理装置の好適な一例として例示する実施形態３の撮像装置の要部構成を示すブロック図である。
【図８】図７の撮像装置による動画像出力処理に係る動作の一例を示すフローチャートである。
【図９】本発明を適用した画像処理装置の好適な一例として例示する実施形態４の撮像装置の要部構成を示すブロック図である。
【図１０】図９の撮像装置による動画像再生処理に係る動作の一例を示すフローチャートである。
【符号の説明】
【００８６】
１００、２００、３００、４００  撮像装置（画像処理装置）
２        符号化部（符号化手段）
３        内蔵記録部
４        外部記録制御部（記録装置接続手段、再生装置接続手段）
５        復号部（画像フレーム取得手段）
６        第一表示処理部
７        内蔵表示部
８        第二表示処理部（外部出力手段）
１０      手ぶれ補正処理部（手ぶれ補正手段）
１０Ｃ    ぶれ量計算部（動き補償情報取得手段）
１０Ｅ    表示領域設定部（手ぶれ補正手段、表示倍率変更手段）
１１      外部入力端子（出力装置接続手段）
２１０Ｅ  第一表示領域設定部（表示倍率変更手段）
２１０Ｆ  第二表示領域設定部（表示倍率変更手段）
１１      外部入力端子（出力装置接続手段）
１２      画像フレーム変換処理部（画像フレーム生成手段）
５００    外部記録装置
６００    外部表示装置
７００    画像再生装置
８００    ＤＶＤプレイヤ（画像情報出力装置）
Ｆ        画像フレーム
Ｍ        メモリカード（外部記録媒体）
【図１】
2007142649.tif 000003
【図２】
2007142649.tif 000004
【図３】
2007142649.tif 000005
【図４】
2007142649.tif 000006
【図５】
2007142649.tif 000007
【図６】
2007142649.tif 000008
【図７】
2007142649.tif 000009
【図８】
2007142649.tif 000010
【図９】
2007142649.tif 000011
【図１０】
2007142649.tif 000012