(57)【要約】【課題】  画像の合成を行なう画像処理装置で使用可能なずれ量を検出し、そのずれ量に基づく動きベクトルを用いて動画像を符号化する動画像符号化装置の提供を目的とする。【解決手段】  動画像を構成する複数のフレーム画像を用いて該フレーム画像間のずれに関する処理を行なう画像処理装置に提供する符号化データを生成する動画像符号化装置であって、前記複数のフレーム画像のうち、着目した２枚のフレーム画像間における該フレーム画像全体の位置のずれを検出するずれ量検出手段と、前記検出されたずれ量をベクトル情報の形式に変換し、符号化に用いる動きベクトルを算出する動きベクトル算出手段と、前記画像処理装置側において前記動きベクトルを抽出可能な形式で、前記符号化データを生成する符号化手段とを備えた動画像符号化装置とする。【選択図】  図５
2006033142.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数のフレーム画像を用いて該フレーム画像間のずれに関する処理を行なう画像処理装置に提供する符号化データを生成する動画像符号化装置であって、
前記複数のフレーム画像のうち、着目した２枚のフレーム画像間における該フレーム画像全体の位置のずれを検出するずれ量検出手段と、
前記検出されたずれ量をベクトル情報の形式に変換し、符号化に用いる動きベクトルを算出する動きベクトル算出手段と、
前記画像処理装置側において前記動きベクトルを抽出可能な形式で、前記符号化データを生成する符号化手段と
を備えた動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置であって、
前記ずれ量検出手段は、フレーム画像間の並進方向のずれ量に加え、回転方向のずれ量を検出する手段である動画像符号化装置。
【請求項３】
請求項１または２に記載の動画像符号化装置であって、更に、
前記フレーム画像間のずれ量に基づく動きベクトルによる符号化データであることを識別する識別子を、前記符号化データ内の所定領域に付加する手段を備えた動画像符号化装置。
【請求項４】
請求項１ないし３のいずれかに記載の動画像符号化装置であって、
前記符号化の形式は、ＭＰＥＧ規格およびＨ．２６ｘ規格に準拠した符号化形式である動画像符号化装置。
【請求項５】
請求項１ないし４のいずれかに記載の動画像符号化装置によって生成された符号化データを復号して、動画像を構成する複数のフレーム画像を生成し、該生成されたフレーム画像から所定数のフレーム画像を取得し、当該所定数のフレーム画像を合成して一の静止画像を生成する画像処理装置であって、
前記フレーム画像の合成に先立って、該フレーム画像間のずれ量を補正するずれ量補正手段を備え、
該ずれ量補正手段は、
前記フレーム画像に対応する前記動きベクトルを抽出し、該動きベクトルを用いて前記ずれ量の補正を実行する画像処理装置。
【請求項６】
請求項３に記載の動画像符号化装置によって生成された符号化データを復号して、動画像を構成する複数のフレーム画像を生成し、該生成されたフレーム画像から所定数のフレーム画像を取得し、当該所定数のフレーム画像を合成して一の静止画像を生成する画像処理装置であって、
前記フレーム画像の合成に先立って、該フレーム画像間における該フレーム画像全体の位置のずれの検出を行ない、該検出値に基づいて該フレーム画像間のずれ量を補正するずれ量補正手段を備え、
該ずれ量補正手段は、
前記符号化データの前記所定領域を読み、該所定領域内のデータが前記識別子であると判断した場合には、前記フレーム画像全体の位置のずれの検出に代えて、該フレーム画像に対応する前記動きベクトルを抽出し、該動きベクトルを用いてずれ量を検出する画像処理装置。
【請求項７】
動画像のデータを符号化して符号化データを生成する動画像符号化装置と、該符号化データを入力し、動画像を構成する複数のフレーム画像から一の静止画像を生成する画像処理装置と、を備えた画像処理システムであって、
前記動画像符号化装置は、
前記動画像を構成する複数のフレーム画像のうち、着目した２枚のフレーム画像間におけるフレーム画像全体の位置のずれを検出するずれ量検出手段と、
前記検出されたずれ量をベクトル情報の形式に変換し、前記符号化に用いる動きベクトルを算出する動きベクトル算出手段と、
前記画像処理装置側において前記動きベクトルを抽出可能な形式で、前記符号化データを生成する符号化手段とを備え、
前記画像処理装置は、
前記符号化データを復号し、動画像を構成する複数のフレーム画像を生成する復号手段と、
前記複数のフレーム画像から所定数のフレーム画像を取得するフレーム画像取得手段と、
前記取得されたフレーム画像に対する前記動きベクトルを抽出する動きベクトル抽出手段と、
前記抽出した動きベクトルを用いて、前記所定数のフレーム画像間のずれ量を補正するずれ量補正手段と、
前記補正された所定数のフレーム画像を合成して一の静止画像を生成する合成手段と
を備えた画像処理システム。
【請求項８】
動画像を構成する複数のフレーム画像を用いて該フレーム画像間のずれに関する処理を行なう画像処理装置に提供する符号化データを生成する動画像符号化方法であって、
前記複数のフレーム画像のうち、着目した２枚のフレーム画像間における該フレーム画像全体の位置のずれを検出し、
前記検出されたずれ量をベクトル情報の形式に変換し、符号化に用いる動きベクトルを算出し、
前記画像処理装置側において前記動きベクトルを抽出可能な形式で、前記符号化データを生成する動画像符号化方法。
【請求項９】
動画像を構成する複数のフレーム画像を用いて該フレーム画像間のずれに関する処理を行なう画像処理装置に提供する符号化データを生成する動画像符号化装置を制御するコンピュータプログラムであって、
前記複数のフレーム画像のうち、着目した２枚のフレーム画像間におけるフレーム画像全体の位置のずれを検出する機能と、
前記検出されたずれ量をベクトル情報の形式に変換し、符号化に用いる動きベクトルを算出する機能と、
前記画像処理装置側において前記動きベクトルを抽出可能な形式で、前記符号化データを生成する機能と
をコンピュータに実現させるコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムをコンピュータに読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像間のずれ量に基づく動きベクトルを用いて、動画像のデータを符号化する動画像符号化装置，動画像符号化方法，プログラム，記録媒体、この動画像符号化装置により符号化されたデータを入力して一の静止画像を生成する画像処理装置、および、画像処理システムに関する。
【背景技術】
【０００２】
従来から、複数の画像を合成して一枚の高解像度の画像を生成する画像処理装置および画像処理方法がある。例えば、デジタルビデオカメラで撮影された動画像を構成する複数のフレーム画像から、一のフレーム画像を決定し、決定したフレーム画像よりも高解像度（高い画素密度）の静止画像を生成する技術が知られている。この技術では、基準となるフレーム画像と対象となるフレーム画像との間のずれ量をそれぞれ算出し、このずれ量に基づいて、各フレーム画像を合成して静止画像を生成している（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２０００−２４４８５１号公報
【０００４】
こうした画像の合成処理において素材となる動画像の多くは、例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）等に代表される動きベクトルを用いた符号化方式で圧縮された動画像である。ＭＰＥＧ形式では、隣接フレーム間の相関性を有効に利用し、動き補償予測を用いて動き部分についても差分を小さくすることで、符号化情報量を低減し、動画像全体を圧縮している。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、こうしたＭＰＥＧ形式で圧縮された画像を合成する場合には、圧縮データを復号してフレーム画像を生成し、その上でフレーム画像間のずれ量の検出を行なうため、画像処理に時間がかかるという問題があった。ＭＰＥＧ形式の動きベクトルは、データ量の圧縮を目的とするものであり、フレーム画像間の全体の位置のずれを表わすものではない。つまり、ＭＰＥＧ形式の動きベクトルは、フレーム画像間のずれに関連する情報ではあるものの、その値を画像全体のずれ量として合成処理に用いるには信頼性が低い場合があり、画像合成処理に適したものではなかった。
【０００６】
本発明は、こうした問題を踏まえ、画像の合成を行なう画像処理装置で使用可能なずれ量を検出し、そのずれ量に基づく動きベクトルを用いて動画像を符号化する動画像符号化装置を提供し、その動画像符号化装置により符号化されたデータを用いて効率的な画像処理を実行する画像処理装置および画像処理システムを構築することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の動画像符号化装置は、上記課題に鑑み、以下の手法を採った。すなわち、動画像を構成する複数のフレーム画像を用いて該フレーム画像間のずれに関する処理を行なう画像処理装置に提供する符号化データを生成する動画像符号化装置であって、前記複数のフレーム画像のうち、着目した２枚のフレーム画像間におけるフレーム画像全体の位置のずれを検出するずれ量検出手段と、前記検出されたずれ量をベクトル情報の形式に変換し、符号化に用いる動きベクトルを算出する動きベクトル算出手段と、前記画像処理装置側において前記動きベクトルを抽出可能な形式で、前記符号化データを生成する符号化手段とを備えたことを要旨としている。
【０００８】
また、本発明の動画像符号化装置に対応した符号化方法は、動画像を構成する複数のフレーム画像を用いて該フレーム画像間のずれに関する処理を行なう画像処理装置に提供する符号化データを生成する動画像符号化方法であって、前記複数のフレーム画像のうち、着目した２枚のフレーム画像間におけるフレーム画像全体の位置のずれを検出し、前記検出されたずれ量をベクトル情報の形式に変換し、符号化に用いる動きベクトルを算出し、前記画像処理装置側において前記動きベクトルを抽出可能な形式で、前記符号化データを生成することを要旨としている。
【０００９】
本発明の動画像符号化装置およびその符号化方法によれば、フレーム画像全体の位置のずれ量に基づいて動きベクトルを算出し、これを用いて符号化データを生成する。つまり、符号化データが有する動きベクトルは、フレーム画像間の位置のずれを表わすものとなる。したがって、画像処理装置側では、種々の検出方法を駆使してフレーム画像間のずれ量を検出する必要はなく、動きベクトルを用いて画像処理を実行することができ、画像処理に費やす処理時間を短縮することができる。動画像のデータ量圧縮のための符号化方式において必要となる動きベクトルを、画像処理に適した形として、符号化データに付加することで、省リソース化を図ることができる。
【００１０】
なお、フレーム画像を２分割、４分割程度の数個のブロックに分け、ブロック単位の位置のずれを検出するものも、ここでの「フレーム画像全体の位置のずれの検出」と見なすことができる。
【００１１】
上記の構成を有する動画像符号化装置のずれ量検出手段は、フレーム画像間の並進方向のずれ量に加え、回転方向のずれ量を検出する手段であるものとしても良い。
【００１２】
かかる動画像符号化装置によれば、フレーム画像全体の位置のずれとして、並進方向と回転方向とのずれ量を検出し、このずれ量に基づいて動きベクトル求める。この動きベクトルを画像処理に用いる場合、回転方向のずれも加味した画像処理を実行することができる。したがって、ずれに関する処理を行なう画像処理装置、例えば、フレーム画像間のずれを補正し、合成して一の静止画像を生成する画像処理装置において、処理時間を短縮すると共に、画像処理の精度の向上を図ることができる。
【００１３】
上記の構成を有する動画像符号化装置は、更に、前記フレーム画像間のずれ量に基づく動きベクトルによる符号化データであることを識別する識別子を、前記符号化データ内の所定領域に付加する手段を備えるものとしても良い。
【００１４】
かかる動画像符号化装置によれば、符号化データ内の所定領域に識別子を付加する。この識別子は、動きベクトルがフレーム画像間のずれ量に基づくもの、特別な動きベクトルであることを示すものとなる。符号化データにこうした情報を付加することで、通常の符号化方式による動きベクトルとの違いを容易に認識することができる。
【００１５】
上記の構成を有する動画像符号化装置における符号化の形式は、ＭＰＥＧ規格およびＨ．２６ｘ規格に準拠した符号化形式であるものとすることができる。
【００１６】
かかる動画像符号化装置によれば、動きベクトルを用いた符号化形式として代表的なＭＰＥＧ形式およびＨ．２６ｘ形式の符号化を利用して、符号化データを生成する。したがって、ずれ量に基づく動きベクトルを求めれば、既存の符号化技術を利用することができる。
【００１７】
こうした符号化データを取扱う画像処理装置は、上記の動画像符号化装置によって生成された符号化データを復号して、動画像を構成する複数のフレーム画像を生成し、該生成されたフレーム画像から所定数のフレーム画像を取得し、当該所定数のフレーム画像を合成して一の静止画像を生成する画像処理装置であって、前記フレーム画像の合成に先立って、該フレーム画像間のずれ量を補正するずれ量補正手段を備え、該ずれ量補正手段は、前記フレーム画像に対応する前記動きベクトルを抽出し、該動きベクトルを用いて前記ずれ量の補正を実行するものとすることができる。
【００１８】
かかる画像処理装置によれば、符号化データに付加された動きベクトルを抽出し、これを用いてずれ量を補正して、合成処理を実行するため、フレーム画像間のずれ量補正に用いるずれ量の検出が容易となる。したがって、一連の画像処理、特にずれ量の検出処理の処理時間を短縮することができる。
【００１９】
また、上記とは別な態様の画像処理装置は、上記の動画像符号化装置によって生成された符号化データを復号して、動画像を構成する複数のフレーム画像を生成し、該生成されたフレーム画像から所定数のフレーム画像を取得し、当該所定数のフレーム画像を合成して一の静止画像を生成する画像処理装置であって、前記フレーム画像の合成に先立って、該フレーム画像間における該フレーム画像全体の位置のずれの検出を行ない、該検出値に基づいて該フレーム画像間のずれ量を補正するずれ量補正手段を備え、該ずれ量補正手段は、前記符号化データの前記所定領域を読み、該所定領域内のデータが前記識別子であると判断した場合には、前記フレーム画像全体の位置のずれの検出に代えて、該フレーム画像に対応する前記動きベクトルを抽出し、該動きベクトルを用いてずれ量を検出するものとすることができる。
【００２０】
かかる画像処理装置によれば、ずれ量の補正に先立って、符号化データの所定領域を読む。その結果、所定領域内のデータが識別子であると判断した場合には、フレーム画像に対応する動きベクトルを用いて画像処理を実行する。例えば、通常のＭＰＥＧ形式の符号化データであれば、フレーム画像全体の位置のずれの検出を行ない、ずれ量に基づく動きベクトルを備えたＭＰＥＧ形式の符号化データであれば、動きベクトルを抽出してずれ量を検出する。どちらの処理を行なうかの判断は、識別子を確認することで行なわれる。したがって、動きベクトルの画像処理での利用可能性を、画像処理の早い段階で容易に判断することができる。
【００２１】
こうした動画像符号化装置と画像処理装置とからなる画像処理システムは、動画像のデータを符号化して符号化データを生成する動画像符号化装置と、該符号化データを入力し、動画像を構成する複数のフレーム画像から一の静止画像を生成する画像処理装置と、を備えた画像処理システムであって、前記動画像符号化装置は、前記動画像を構成する複数のフレーム画像のうち、着目した２枚のフレーム画像間におけるフレーム画像全体の位置のずれを検出するずれ量検出手段と、前記検出されたずれ量をベクトル情報の形式に変換し、前記符号化に用いる動きベクトルを算出する動きベクトル算出手段と、前記画像処理装置側において前記動きベクトルを抽出可能な形式で、前記符号化データを生成する符号化手段とを備え、前記画像処理装置は、前記符号化データを復号し、動画像を構成する複数のフレーム画像を生成する復号手段と、前記複数のフレーム画像から所定数のフレーム画像を取得するフレーム画像取得手段と、前記取得されたフレーム画像に対する前記動きベクトルを抽出する動きベクトル抽出手段と、前記抽出した動きベクトルを用いて、前記所定数のフレーム画像間のずれ量を補正するずれ量補正手段と、前記補正された所定数のフレーム画像を合成して一の静止画像を生成する合成手段とを備えたものとすることができる。
【００２２】
かかる画像処理システムによれば、動画像符号化装置は、画像処理装置のずれ量に関する処理に適した符号化データを生成し、画像処理装置は、画像処理に適した符号化データの動きベクトルを用いてずれ量に関する処理を実行する。従来、符号化に必要なフレーム画像間における動きベクトルの検出処理と、画像処理に利用するフレーム画像間のずれ量の検出処理との類似した２つの処理を、ずれ量に基づく動きベクトルとして１つにまとめ、有効に利用する。したがって、画像処理の時間を短縮し、省リソース化を図るシステムを構築することができる。
【００２３】
本発明は、コンピュータプログラムおよびコンピュータプログラムを記録した媒体としても実装することができる。記録媒体としては、フレキシブルディスク，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ／ＲＡＭ，光磁気ディスク、メモリカード、ハードディスクなどコンピュータが読取り可能な種々の媒体を利用することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ１．画像処理システムの構成：
Ａ２．符号化処理：
Ａ２−１．動きベクトル算出処理：
Ａ３．高解像度化処理：
Ｂ．変形例：
【００２５】
Ａ１．画像処理システムの構成：
図１は、本発明の一実施例としての画像処理システム１００を示す説明図である。図示するように、この画像処理システム１００は、動画像データを備えた画像データベース２０、画像データベース２０から入力した動画像データに対して所定形式の符号化を実行する動画像符号化装置、あるいは、動画像データに対して画像処理を実行する画像処理装置としてのパーソナルコンピュータ３０、データの符号化や画像処理の実行をユーザが指示するためのユーザインターフェース４０、画像処理を施した画像を出力するカラープリンタ５０等から構成されている。
【００２６】
画像データベース２０は、デジタルビデオカメラ２１，ＤＶＤ２３，ハードディスク２４などの動画像データを取り扱う機器を有している。本実施例で取り扱う動画像データは、デジタルビデオカメラ２１で取得したデータである。この動画像データは、動画像を構成する複数のフレーム画像から構成されている。なお、本実施例の動画像データは、非可逆的な圧縮処理はされていないものとする。
【００２７】
ユーザインターフェース４０は、ユーザがデータの符号化や画像処理の実行操作を行なうためのキーボード４１やマウス４２、画像処理を実行する前の静止画像や合成処理後の静止画像を表示するディスプレイ４３などを備えている。
【００２８】
パーソナルコンピュータ３０（以下、ＰＣ３０と記す）は、画像処理を実行するＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、種々のソフトウェアをインストールするハードディスク３４、画像データベース２０、ユーザインターフェース４０やカラープリンタ５０などの外部機器とやり取りするためのＩ／Ｆ回路部３５等を有し、それぞれ内部バスにより接続されている。
【００２９】
ハードディスク３４には、所定のオペレーションシステムや、このオペレーションシステム上で動作する複数のアプリケーションプログラムがインストールされている。このプログラムの一つは、動画像を構成する複数枚のフレーム画像から所定数のフレーム画像を抽出し、そのフレーム画像間のずれを補正し、補正したフレーム画像を合成して一枚の高解像度の静止画像を生成する（以下、高解像度化処理と呼ぶ）プログラムである。もう一つは、高解像度化処理におけるずれの補正に使用するフレーム画像間のずれ量を、「動きベクトル」で表わし、この動きベクトルを用いて動画像データを所定形式に符号化（以下、符号化処理と呼ぶ）するプログラムである。つまり、後者はいわゆるソフトウェアエンコーダであり、前者はソフトウェアデコーダかつデコードされたデータを利用する画像処理プログラムである。ＣＰＵ３１は、こうしたプログラムをＲＡＭ３３に展開して実行する。
【００３０】
本実施例では、所定形式の符号化として、動きベクトルを用いた代表的な符号化形式であるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）形式（ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４）を利用する。なお、動画像データの符号化としては、動きベクトルを用いた符号化であれば、Ｈ．２６１，Ｈ．２６３，Ｈ．２６４のいわゆるＨ．２６ｘ規格など、ＭＰＥＧ形式以外の種々の規格に準拠したものであっても良い。
【００３１】
図２は、本実施例の画像処理システム１００における処理の流れを示した説明図である。図示するように、上記構成の画像処理システム１００では、動画像データを入力し、符号化処理を実行して、ずれ量に基づく動きベクトルを備えたＭＰＥＧ形式の符号化データを生成する。生成された符号化データをハードディスク２４，３４などのメモリに記憶し、動画像符号化装置としての処理を終了する。ユーザがメモリから一の符号化データを選択すると、選択された符号化データを復号して動画像データを生成し、その動画像データの所定のフレーム画像に対して高解像度化処理を実行し、一の静止画像を生成する。こうして生成した一の静止画像を出力して画像処理装置としての処理を終了する。以下に、符号化処理および高解像度化処理について説明する。
【００３２】
Ａ２．符号化処理：
本実施例の画像処理システム１００で実行する２つの処理のうち、まず符号化処理について説明する。図３は、動画像データの符号化処理のフローチャートである。この処理は、ユーザの符号化指示により、ＰＣ３０のＣＰＵ３１にて実行される。
【００３３】
処理が開始されると、ＰＣ３０は、符号化する対象となるデジタルビデオカメラ２１で取得した動画像データを入力し、動画像データからフレーム画像を取得する（ステップＳ３００）。取得したフレーム画像は、図示しない所定の記憶領域であるフレームメモリ内に記憶される。
【００３４】
取得した符号化しようとするフレーム画像に対し、ＭＰＥＧ規格の符号化方式に準拠して、３つのピクチャ種別のいずれにするかの設定および制御を実行する（ステップＳ３１０）。ＭＰＥＧ形式の符号化では、順方向、逆方向、双方向の３つの動きベクトルによる予測方向があり、こうした予測方向の組み合わせにより、３つのピクチャ種別（画像タイプ）が用意されている。この３つの画像タイプは、予測を使わず元のデータをそのまま符号化したＩピクチャ、順方向の動き補償予測を用いたＰピクチャ、双方向の動き補償予測を用いたＢピクチャである。これらのピクチャは、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）と呼ばれるグループ単位で取り扱われ、一のＧＯＰ内には最低１枚のＩピクチャを備えている。Ｉピクチャは、ＧＯＰ内のピクチャの基準となり、ＧＯＰ内で最初に符号化される。したがって、繰り返し実行される符号化処理の最初の段階では、Ｉピクチャの生成が設定される。
【００３５】
続いて、設定されたピクチャ種別に基づいて、符号化しようとするフレーム画像が、動きベクトルによる動き補償予測を必要とするか否かを判断する（ステップＳ３２０）。上述のように、Ｐ，Ｂピクチャは、予測画像となる過去や未来の画像を基に、動きベクトルを用いて符号化される。したがって、ステップＳ３２０では、ピクチャ種別がＰ，Ｂピクチャ、またはＩピクチャのいずれであるかを判断している。
【００３６】
ステップＳ３２０で、符号化しようとするフレーム画像がＰピクチャまたはＢピクチャである場合には、動きベクトル算出処理を実行する（ステップＳ３３０）。この動きベクトル算出処理は、フレーム画像間におけるフレーム画像全体の位置のずれを検出し、そのずれ量に基づいて、符号化しようとするフレーム画像の動きベクトルを算出する処理である。この処理では、ずれ量に基づいて、１６×１６画素のマクロブロック単位毎に動きベクトルを算出している。
【００３７】
具体的には、Ｐ，Ｂピクチャの符号化に際し、フレームメモリ内の予測画像の基準となるフレーム画像（以下、符号化基準フレーム画像と呼ぶ）を読み出し、符号化しようとするフレーム画像（以下、符号化対象フレーム画像と呼ぶ）とのフレーム画像間のずれを検出している。なお、フレーム画像間のずれ量に基づく動きベクトルの算出処理内容については、本発明の要部であるため、後に詳しく説明する。
【００３８】
続いて、ステップＳ３３０において、マクロブロック単位で求められた動きベクトルを用いて、動き補償予測を行なう（ステップＳ３４０）。動き補償予測は、一般的なＭＰＥＧ形式の符号化で行なわれており、符号化対象フレーム画像の一マクロブロック（処理マクロブロック）と、符号化基準フレーム画像上において処理マクロブロックに対応する位置から動きベクトル分だけずらした位置の予測マクロブロックとの差分（予測誤差）を求める処理である。ＭＰＥＧ形式では、こうした動き補償予測により、データ量を圧縮している。なお、動き補償予測の実行の際には、フレームメモリ内のローカルデコーダを用いて、逆量子化、逆ＤＣＴ（逆離散コサイン変換）変換等の復号時と同様な処理を実行し、そのデータを用いて差分の算出が行なわれている。
【００３９】
ＰＣ３０は、動き補償予測により求められた差分のデータに対して、データを水平および垂直方向の周波数成分に分離する処理であるＤＣＴ（離散コサイン変換）処理を実行し（ステップＳ３５０）、次の処理へ移行する。
【００４０】
他方、ステップＳ３２０で、符号化対象フレーム画像がＩピクチャである場合には、動き補償予測を行なうことなく、ＤＣＴ処理を実行し（ステップＳ３５０）、次のステップへ移行する。上述のように、Ｉピクチャは予測を用いず符号化を行なうピクチャであるため、動きベクトルによる動き補償予測は実行されない。
【００４１】
こうしてＤＣＴ処理されたデータに対して、量子化処理を実行する（ステップＳ３６０）。量子化処理は、ＤＣＴ処理されたデータのＤＣＴ係数が周波数成分の順に配列されていることを利用して圧縮する処理である。具体的には、ＤＣＴ係数を所定単位の値で除算し、その結果が一定値以下となるものをゼロにする処理（量子化）を実行している。
【００４２】
続いて、ジグザグ・スキャンしながら読み出した量子化値に対し、ランレングス符号とハフマン符号との組み合わせによるＶＬＣ（可変長符号化）処理を実行する（ステップＳ３７０）。量子化の結果、高周波成分は一般にゼロとなるため、ＶＬＣ処理によりデータは圧縮される。
【００４３】
こうした動き補償、ＤＣＴ、量子化、ＶＬＣといった一般的なＭＰＥＧ形式の符号化において実行される処理を施した後、ＰＣ３０は、生成したＶＬＣデータの書込みを行なう（ステップＳ３８０）。ＶＬＣデータの書込み自体は、通常のＭＰＥＧ形式による処理と同様であるが、このステップでは、ＧＯＰとして一まとまりとしたデータのヘッダ内に、「ずれ量に基づく動きベクトル」である旨を書き込む処理を実行している。つまり、一連の符号化処理を繰り返して一のＧＯＰを形成する際に、ＧＯＰヘッダ内のユーザ領域に、後述する高解像化処理に対応したＭＰＥＧ形式であることを示す識別子ＩＤを格納している。
【００４４】
ＰＣ３０は、入力した動画像データを構成する全てのフレーム画像に対して、一連のＭＰＥＧ形式に準拠した符号化処理が終了したか否かについて判断を行なう（ステップＳ３９０）。ステップＳ３９０にて、全てのフレーム画像に対して処理が終了していないと判断した場合には、ステップＳ３００に戻り、一連の符号化処理を繰り返す。他方、ステップＳ３９０にて、全てのフレーム画像に対して処理が終了したと判断した場合には、ファイルを閉じ、一連の符号化処理を終了する。こうしてずれ量に基づく動きベクトルを備えたＭＰＥＧ形式の符号化データが生成される。生成された符号化データは、画像データベース２０としてのＤＶＤ２３，ハードディスク２４に記憶される。
【００４５】
こうして生成されたＭＰＥＧ形式の符号化データは、６層の階層構造からなる。図４は、ＭＰＥＧ形式の符号化データのデータ構造を示す概念図である。図示するように、符号化データは、シーケンス，ＧＯＰ，ピクチャ，スライス，マクロブロック，ブロックの６層から構成されている。動きベクトルは、このマクロブロック層に書き込まれる。
【００４６】
上述の符号化処理では、一般的なＭＰＥＧ形式の符号化処理（ステップＳ３４０以降）についての処理内容を簡単に説明したが、実際には、動き補償予測処理はマクロブロック単位で実行し、ＤＣＴ処理等はブロック単位で実行している。つまり、図４に示したデータ構造を形成するにあたり、符号化処理のステップＳ３３０に示した動きベクトルの算出処理までは、ピクチャ単位で実行し、ピクチャを構成するマクロブロック単位で求めた動きベクトルを、一旦フレームメモリに記憶する。その後の一般的なＭＰＥＧ処理である動き補償，ＤＣＴ，量子化，ＶＬＣの処理は、マクロブロック、ブロック単位で実行している。このＭＰＥＧ処理では、一のマクロブロックに対応する動きベクトルをフレームメモリから読み出して動き補償等の処理を行ない、一のピクチャを構成する全てのマクロブロックに対して、処理が終了するまで繰り返し実行する。したがって、ステップＳ３８０のデータの書込み処理では、処理されたマクロブロック単位に動きベクトルを書き込んでピクチャ単位まで処理を繰り返し、複数ピクチャからなるＧＯＰ単位の処理段階で、識別子ＩＤの書込みを行なっている。
【００４７】
Ａ２−１．動きベクトル算出処理：
図５は、符号化処理においてずれ量に基づいた動きベクトルを求める動きベクトル算出処理のフローチャートである。この処理は、図３のステップＳ３３０に示したように、ＰピクチャまたはＢピクチャの符号化の際に実行される。
【００４８】
処理が開始されると、ＰＣ３０は、フレーム画像間のずれ量を検出する処理を実行する（ステップＳ５００）。具体的には、フレームメモリ内から抽出した符号化基準フレーム画像と、符号化対象フレーム画像とのフレーム画像間における位置のずれ量を検出する。
【００４９】
ここで検出する「ずれ量」とは、パン、チルトといったカメラワークや、手ブレ等によるフレーム画像間の並進方向および回転方向の位置のずれを意味している。以下、並進方向のずれ量を並進ずれ量（ｕ，ｖ）と、回転方向のずれ量を回転ずれ量δと記す。
【００５０】
ずれ量の検出には、フレーム画像間の各画素の輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法に基づいている。図６は、この勾配法による並進ずれ量（ｕ，ｖ）の算出方法を示す説明図である。図６（ａ）には、各画像上の画素の輝度を示し、図６（ｂ）には、勾配法の原理を示した。ここで、（ｘ１ｉ，ｙ１ｉ）は、符号化基準フレーム画像Ｆｒ上の一の画素の座標を示し、Ｚ１（ｘ１ｉ，ｙ１ｉ）は、その画素の輝度を表している。なお、ここでは、符号化対象フレーム画像Ｆｔ上の座標（ｘ２ｉ，ｙ２ｉ）の画素が、符号化基準フレーム画像Ｆｒ上の座標（ｘ１ｉ〜ｘ１ｉ＋１，ｙ１ｉ〜ｙ１ｉ＋１）の間にあるものとし、その座標を（ｘ１ｉ＋Δｘ，ｙ１ｉ＋Δｙ）とする。
【００５１】
図６（ｂ）に示すように、符号化対象フレーム画像Ｆｔにおける座標（ｘ２ｉ，ｙ２ｉ）の画素が、符号化基準フレーム画像Ｆｒ上の座標（ｘ１ｉ＋Δｘ，ｙ１ｉ）にあるものとし、
Ｐｘ＝Ｚ１（ｘ１ｉ＋１，ｙ１ｉ）−Ｚ１（ｘ１ｉ，ｙ１ｉ）  ・・・（１）
とすると、
Ｐｘ・Δｘ＝Ｚ２（ｘ２ｉ，ｙ２ｉ）−Ｚ１（ｘ１ｉ，ｙ１ｉ）  ・・・（２）
が成り立つ。この場合、Ｚ１（ｘ１ｉ，ｙ１ｉ）およびＺ２（ｘ２ｉ，ｙ２ｉ）を単にＺ１，Ｚ２と置くと、
{Ｐｘ・Δｘ−（Ｚ２−Ｚ１）}2＝０  ・・・（３）
を満たすΔｘを求めれば、符号化対象フレーム画像Ｆ２のｘ軸方向の並進ずれ量を求めることができる。実際には、各画素についてΔｘを算出し、平均をとることとなる。
【００５２】
同様にして、符号化対象フレーム画像Ｆｔにおける座標（ｘ２ｉ，ｙ２ｉ）の画素が、符号化基準フレーム画像Ｆｒ上の座標（ｘ１ｉ，ｙ１ｉ＋Δｙ）にあるものとし、
Ｐｙ＝Ｚ１（ｘ１ｉ，ｙ１ｉ＋１）−Ｚ１（ｘ１ｉ，ｙ１ｉ）  ・・・（４）
とすると、
Ｐｙ・Δｙ＝Ｚ２（ｘ２ｉ，ｙ２ｉ）−Ｚ１（ｘ１ｉ，ｙ１ｉ）  ・・・（５）
が成り立つ。この場合、Ｚ１（ｘ１ｉ，ｙ１ｉ）およびＺ２（ｘ２ｉ，ｙ２ｉ）を単にＺ１，Ｚ２と置くと、
{Ｐｙ・Δｙ−（Ｚ２−Ｚ１）}2＝０  ・・・（６）
を満たすΔｙを求めれば、符号化対象フレーム画像Ｆｔのｙ軸方向の並進ずれ量を求めることができる。実際には、各画素についてΔｙを算出し、平均をとることとなる。
【００５３】
上記式（３）はｘ軸方向のみを、上記式(６)はｙ軸方向のみを考慮した場合であるため、これをｘ軸方向、ｙ軸方向の両方向について拡張すると、
Ｓ2＝Σ{Ｐｘ・Δｘ＋Ｐｙ・Δｙ−（Ｚ２−Ｚ１）}2  ・・・（７）
を最小とするΔｘ，Δｙを最小自乗法により求めれば良いこととなる。こうして求められたΔｘ，Δｙが並進ずれ量ｕ，ｖに相当する。
【００５４】
以上は、フレーム画像間において、単に並進ずれのみがある場合についての計算であるが、加えて、回転ずれ量δを考慮したずれ量の算出方法について説明する。図７は、画素の回転ずれ量を模式的に示す説明図である。図示するように、符号化基準フレーム画像Ｆｒのある座標（ｘ，ｙ）の原点Ｏからの距離をｒ、ｘ軸からの回転角度をθとすると、ｒ、θは以下の一般式により求められる。
ｒ＝（ｘ2＋ｙ2）1/2  ・・・（８）
θ＝tan-1（ｘ／ｙ）  ・・・（９）
【００５５】
ここで、並進ずれが補正されているものとして、符号化基準フレーム画像Ｆｒと符号化対象フレーム画像Ｆｔとの原点Ｏを合わせ、原点Ｏを中心に、符号化対象フレーム画像Ｆｔの座標（ｘ１，ｙ１）を角度δだけ回転させたときに、符号化対象フレーム画像Ｆｔの座標（ｘ２，ｙ２）と一致するものとする。この回転によるｘ軸方向の移動量Δｘとｙ軸方向の移動量Δｙは、以下の式により求められる。なお、回転ずれ量δは微小量であるとして、cosδ≒１、sinδ≒δの近似式を用いている。
Δｘ＝ｘ２−ｘ１≒−ｒ・δ・sinδ＝−δ・ｙ１  ・・・（１０）
Δｙ＝ｙ２−ｙ１≒ｒ・δ・cosδ＝δ・ｘ１  ・・・（１１）
【００５６】
そこで、上記式（７）における、Δｘ，Δｙを、並進ずれ量ｕ，ｖに回転ずれ量δを加味して表すと、以下の式となる。
Δｘ＝ｕ−δ・ｙ１  ・・・（１２）
Δｙ＝ｖ＋δ・ｘ１  ・・・（１３）
これらを上記式（７）に代入すると、以下の一般式が得られる。
Ｓ2＝Σ{Ｐｘ・（ｕ−δ・ｙ）＋Ｐｙ・（ｖ＋δ・ｘ）−（Ｚ２−Ｚ１）}2  ・・・（１４）
【００５７】
すなわち、上記式（１４）のＳ2を最小とするｕ，ｖ，δを最小自乗法によって求めることにより、フレーム画像間の１画素未満のずれ量を精度良く検出することができる。
【００５８】
こうしたずれ量の検出に先立って、並進ずれ量（ｕ，ｖ）のみについて画素単位での大雑把なずれ量の検出（例えば、パターンマッチ法による検出）を実行するものとしても良い。フレーム画像間の並進ずれ量（ｕ，ｖ）を大雑把に検出し、補正しておくことで、さらに精度の良いずれ量の検出値を得ることができる。
【００５９】
図５に戻り、こうして検出されたフレーム画像間のずれ量（ｕ，ｖ，δ）を用いて、動きベクトルを算出する（ステップＳ５１０）。具体的には、ずれ量（ｕ，ｖ，δ）と符号化基準フレーム画像，符号化対象フレーム画像との幾何学的関係により動きベクトルを算出している。
【００６０】
図８は、動きベクトルの導出の幾何学的関係を示した説明図である。図８の上段は、符号化基準フレーム画像（ｘ１，ｙ１）と、符号化対象フレーム画像（ｘ２，ｙ２）とを示し、図８の中段は、符号化対象フレーム画像を符号化基準フレーム画像に対して（ｕ，ｖ，δ）ずらすことで、それぞれの画像が一致することを示している。すなわち、フレーム画像間には次式が成立する。
ｘ１＝cosδ・ｘ２−sinδ・ｙ２＋ｕ      ・・・（１５）
ｙ１＝sinδ・ｘ２＋cosδ・ｙ２＋ｖ      ・・・（１６）
【００６１】
ずれ量（ｕ，ｖ，δ）の検出でも説明したように、回転ずれ量δは微小量であるとして、cosδ≒１、sinδ≒δの近似式を用いると、以下の式が得られる。
ｘ１＝ｘ２−δ・ｙ２＋ｕ      ・・・（１７）
ｙ１＝δ・ｘ２＋ｙ２＋ｖ      ・・・（１８）
【００６２】
ここで、符号化対象フレーム画像上の座標点（ｘｔ，ｙｔ）を符号化対象フレーム画像を構成する一マクロブロックの中心点座標とし、符号化基準フレーム画像上の座標点（ｘｒ，ｙｒ）を、その中心点座標に対応する対応点座標とすると、
ｘｒ＝ｘｔ−δ・ｙｔ＋ｕ      ・・・（１９）
ｙｒ＝δ・ｘｔ＋ｙｔ＋ｖ      ・・・（２０）
となり、中心点座標から対応点座標への動きベクトルＭＶは、次式となる。
ＭＶ＝（ｘｒ−ｘｔ，ｙｒ−ｙｔ）＝（−δ・ｙｔ＋ｕ，δ・ｘｔ＋ｖ）・・（２１）
【００６３】
図５のステップＳ５００で求めたフレーム画像間のずれ量（ｕ，ｖ，δ）を式(２１)に代入して、符号化対象フレーム画像の全てのマクロブロックに対して動きベクトルＭＶを算出する。こうして符号化対象フレーム画像に対して動きベクトルを算出し、フレームメモリに記憶後、一連の処理を終了し、図３のステップＳ３４０に示した動き補償予測処理に移行する。
【００６４】
なお、一般のＭＰＥＧ形式のデコーダでの復号（例えば、動画像の再生）を想定する場合における動きベクトルＭＶの大きさは、ＭＰＥＧ−１，ＭＰＥＧ−２形式では半画素単位まで、ＭＰＥＧ−４形式では１／４画素単位まで可能である。本実施例では、算出した動きベクトルＭＶを半画素単位に修正し、マクロブロック内に格納するデータとしている。
【００６５】
また、ＭＰＥＧ−１，ＭＰＥＧ−２形式で符号化をする場合には、算出した各マクロブロック毎の動きベクトルＭＶの妥当性を確認している。ＭＰＥＧ−１，ＭＰＥＧ−２形式では、符号化基準フレーム画像のフレーム外のマクロブロックの参照を禁じている。具体的には、図９に示すマクロブロックＭＢ４のように、算出した動きベクトルにより移動したマクロブロック（斜線）の位置が、符号化基準フレーム画像のフレーム外に出るような場合には、その動きベクトルは使用できない。こうしたマクロブロックに該当するものは、動きベクトルを持たないイントラブロック（フレーム内符号化を行なうブロック）とする。
【００６６】
さらに、動きベクトルＭＶ自体の表現可能な範囲も予め設定されているため、動きベクトルＭＶのｘ成分、ｙ成分が設定範囲に入らない場合にも、そのマクロブロックをイントラブロックとする。
【００６７】
こうして得られた動きベクトルは、フレーム画像間におけるフレーム画像全体のずれを検出することによって算出されたものである。したがって、フレーム画像間のずれ量に関する処理を施す種々の装置、例えば、ずれ量の補正をした複数のフレーム画像を合成して静止画像を生成する画像処理装置において、動きベクトルを備えた符号化データを利用することができ、ずれ量に関する処理時間を短縮することができる。
【００６８】
一般的なＭＰＥＧ形式による動きベクトルは、所定サイズのブロック毎にフレーム画像間の差分データを最も少なくするように算出されているため、フレーム画像間における全体のずれを表わしたものではない。つまり、必ずしもフレーム画像間の動きを捉えた情報を表わしたものではなく、その情報をそのままフレーム画像間の動きの情報として用いるには信頼性の低いものである。
【００６９】
これに対して本実施例の動きベクトルは、フレーム画像全体のずれ量に基づくため、ずれ量に関する処理を伴う画像処理に適したものとなり、動画像の符号化のための動きベクトルを有効に利用することができる。
【００７０】
本実施例の符号化データは、フレーム画像全体のずれに基づく動きベクトルであるため、一のフレーム画像をずらすことで他のフレーム画像とほぼ重なり合い、フレーム画像間の差分データは減少する。よって、一般的なＭＰＥＧ形式の符号化データに比べ、動きベクトル等の情報量が増加しても、全体的なデータ量の増加は少ない。つまり、一般的なＭＰＥＧ形式の符号化データとほぼ同等なデータ量を維持しつつ、画像処理に適した動きベクトルを付加した符号化データを生成することができる。
【００７１】
なお、本実施例では、フレーム画像「全体」のずれを求めているが、フレーム画像を数個のブロックに分割して個々のブロックに対してずれを求めるものであっても、２分割、４分割程度のものであれば、フレーム画像「全体」としてずれを求めていると見なすことができる。
【００７２】
また、本実施例では、フレーム画像全体のずれ量から各マクロブロックの動きベクトルを求める原理を説明するため、符号化するフレーム画像内には、動きの大きい動体領域は存在しないものとした。しかし、実際には、符号化するフレーム画像内に動体領域が存在する場合もある。この場合には、マクロブロック単位で位置のずれを検出し、フレーム画像全体のずれに対して動きが大きいと判断したマクロブロックをイントラブロックとするものとすれば良い。
【００７３】
Ａ３．高解像度化処理：
次に、本実施例の画像処理システム１００で実行する２つの処理のうち、高解像度化処理について説明する。図１０は高解像度化処理のフローチャートである。上述の符号化処理により生成された符号化データは、ソフトウェアデコーダであるＭＰＥＧデコーダを介して、時系列の連続するフレーム画像に変換される。ＰＣ３０はユーザの再生操作に応じて、ディスプレイ４３上に時系列の連続するフレーム画像からなる動画像を再生する。
【００７４】
ユーザは、再生された動画像から静止画像として出力を所望する一シーンを所定の操作により選択し、そのシーン（フレーム画像）を指定する。ユーザがそのフレーム画像を高解像度の静止画像として出力する高解像度化処理の実行を指示すると、図１０に示したフローチャートがＰＣ３０にて実行される。
【００７５】
ＰＣ３０は、指定されたフレーム画像から時系列順に、画像処理に使用するフレーム画像を抽出する（ステップＳ７００）。本実施例では、フレーム画像の指定の操作タイミングから時系列的に連続する４枚のフレーム画像を抽出するものとする。この４枚のフレーム画像にはＩピクチャおよびＰピクチャが１枚含まれるものとし、そのＩピクチャおよびＰピクチャを基準フレーム画像と呼び、それ以外の３枚を対象フレーム画像と呼ぶ。なお、抽出するフレーム画像の数はユーザが任意に設定できるものとしても良い。
【００７６】
ＰＣ３０は、抽出したフレーム画像が高解像度化処理用の動きベクトル（つまり、ずれ量に基づく動きベクトル）を備えたＭＰＥＧ形式の符号化データであるか否かを判断する（ステップＳ７１０）。具体的には、フレーム画像の属するＧＯＰヘッダのユーザ領域内を参照し、前述の識別子ＩＤを備えている場合には高解像度化処理用であると判断している。
【００７７】
ステップＳ７１０で、高解像度化処理用のＭＰＥＧ形式のデータであると判断した（Ｙｅｓ）場合には、抽出した対象フレーム画像の符号化時の動きベクトルを抽出する（ステップＳ７２０）。このステップでは、対象フレーム画像毎に、フレーム画像を構成するマクロブロックのうち、イントラブロック以外の２つの任意のマクロブロックを選定し、そのマクロブロックが有する動きベクトルを抽出する。
【００７８】
抽出した２つのマクロブロックの動きベクトルから、その対象フレーム画像の並進ずれ量（ｕ，ｖ）を検出する処理を行なう（ステップＳ７３０）。この処理は、抽出した２つの動きベクトルのうち、一方の動きベクトルＭＶ１の値の符号を反転して並進ずれ量（ｕ，ｖ）として設定する処理である。
【００７９】
続いて、ステップＳ７３０にて並進ずれ量（ｕ，ｖ）の検出の基準としたマクロブロックの中心点を原点として、抽出した他方のマクロブロックの動きベクトルＭＶ２から回転ずれ量δを検出する処理を行なう（ステップＳ７４０）。この処理は、他方のマクロブロックの動きベクトルＭＶ２から、基準のマクロブロックの動きベクトルＭＶ１を差し引き、回転成分を検出する処理である。
【００８０】
このステップＳ７３０，Ｓ７４０における並進ずれ量（ｕ，ｖ）、回転ずれ量δの検出処理を、図１１から図１３を用いて、具体的に説明する。図１１は、一の対象フレーム画像の符号化時の動きベクトルを示す概念図である。図示するように、対象フレーム画像の各マクロブロックは、矢印で示した動きベクトルを備えている。ここで、任意のマクロブロックＭＢ１５、ＭＢ１８を選択し、マクロブロックＭＢ１５の動きベクトルＭＶ１（ａ，０）を抽出するものとする。ステップＳ７３０では、マクロブロックＭＢ１５の中心点を原点と考え、その動きベクトルＭＶ１（ａ，０）の符号を反転した（−ａ，０）を並進ずれ量（ｕ，ｖ）として設定する。
【００８１】
図１２は、動きベクトルの回転成分により示した概念図である。図１１に示した各マクロブロックの動きベクトルから、マクロブロックＭＢ１５の動きベクトルＭＶ１を差し引くことで図１２が得られる。図示するように、マクロブロックＭＢ１５の中心点を原点とする回転成分のみによって動きベクトルが表現される。マクロブロックＭＢ１８の動きベクトルＭＶ２を回転成分のみで表わしたものを動きベクトルＭＶ２δと記す。
【００８２】
ステップＳ７４０では、原点（マクロブロックＭＢ１５の中心点）から、他方のマクロブロックＭＢ１８の中心点までの距離Ｌ（線分Ｌと呼ぶ）を求め、動きベクトルＭＶ２δの線分Ｌに対する垂直成分Ｐを求める。求めた線分Ｌと垂直成分Ｐとの関係から、次式によって回転成分αを算出し、回転成分αの符号を反転した−αを回転ずれ量δとして設定する。
α＝arctan（Ｐ/Ｌ）      ・・・（２２）
【００８３】
なお、回転成分αの符号の反転については、動きベクトルの回転成分と高解像度化処理における回転ずれ量δとの表現方法の相違による。図１３は、高解像度化処理における回転ずれ量と動きベクトルの回転成分との関係を示す説明図である。図示するように、高解像度化処理における回転ずれ量は、基準フレーム画像に対して対象フレーム画像を回転させて画像内容を一致させるためのずれ量を表現している。これに対し、動きベクトルの回転成分は、基準フレーム画像上の画像内容を回転させて所定時間後の対象フレーム画像上の画像内容と一致させるための回転量を表現している。したがって、動きベクトルの回転成分を用いて高解像度化処理における回転ずれ量に置き換えるには、符号を反転することになる。これは、並進ずれ量の検出における符号の反転についても同様である。
【００８４】
以上の処理を経て、対象フレーム画像のずれ量（ｕ，ｖ，δ）は、（−ａ，０，−α）として検出される。なお、他の対象フレーム画像についても同様に、動きベクトルからずれ量（ｕ，ｖ，δ）を検出する。符号化時の動きベクトルを用いることで容易にずれ量（ｕ，ｖ，δ）の検出を行なうことができる。
【００８５】
他方、図１０のステップＳ７１０で、高解像度化処理用のＭＰＥＧ形式のデータでないと判断した（Ｎｏ）場合には、対象フレーム画像Ｆｔと基準フレーム画像Ｆｒとのずれ量を検出する（ステップＳ７５０）。このずれ量の検出処理は、図５のステップＳ５００に示した処理と同様、勾配法、パターンマッチ法等を用いてフレーム画像全体のずれを検出する処理である。
【００８６】
続いて、検出されたずれ量（ｕ，ｖ，δ）に基づいて、対象フレーム画像の補正を行なう(ステップＳ７６０)。具体的には、対象フレーム画像を、基準フレーム画像に対して並進方向に（ｕ，ｖ）、回転方向にδだけ移動させた状態の画像に変換する。こうしたずれ量（ｕ，ｖ，δ）の補正を３枚の対象フレーム画像に施し、基準フレーム画像に対して、ずれ補正済みの対象フレーム画像を重ね合わせる。
【００８７】
重ね合わせた複数のフレーム画像の画素を用いた所定の補間方法により、一の高画素密度の静止画像を生成する(ステップＳ７７０)。補間方法には、バイ・リニア法，バイ・キュービック法，ニアレストネイバ法などの既存の方法を用いることができる。本実施例の画像処理では、バイ・リニア法を用いて補間処理を実行し、基準フレーム画像に対して１．５倍密に高解像度変換された静止画像を生成している。ＰＣ３０は、こうして合成された静止画像をディスプレイ４３上の所定の位置に表示すると共に、この処理を終了する。ユーザは、好みに応じて、この静止画像をカラープリンタ５０やハードディスク３４などに出力する操作を行なう。こうした補間処理を用いた画像処理では、フレーム画像をずらして合成するため、ＭＰＥＧ形式等で圧縮された画像が有するブロック歪を低減し、鮮明な静止画像を生成することができる。
【００８８】
以上の高解像度化処理では、ＭＰＥＧ形式の符号化データの識別子ＩＤを参照し、動きベクトルがずれ量の検出に使用できるか否かを判断する。動きベクトルが使用できると判断した場合には、動きベクトルを用いてフレーム画像間のずれ量を検出する。このずれ量の検出は、比較的容易な演算であるため、画像処理におけるずれ量の検出処理の時間を短縮することができる。
【００８９】
なお、本実施例では、２つの任意のマクロブロックから並進ずれ量（ｕ，ｖ）、回転ずれ量δを検出するものとしたが、例えば、さらに複数の動きベクトルを利用するものとしても良い。
【００９０】
例えば、図１０のステップＳ７３０において、全てのマクロブロック内の動きベクトルを抽出し、抽出した動きベクトルのＸ成分、Ｙ成分の平均値を算出し、符号を反転して並進ずれ量（ｕ，ｖ）を設定するものとしても良い。こうすることで、動きベクトルが有する符号化時の量子化誤差を低減し、サブピクセル精度の並進ずれ量（ｕ，ｖ）を求めることができる。
【００９１】
また、図１０のステップＳ７４０において、対象フレーム画像の中心を原点とし、原点からＸ方向、Ｙ方向に最も離れた位置（４箇所）にあるマクロブロックを選択し、その動きベクトル成分から平均値成分を差し引き、式（２２）を用いて、４つの回転成分を求める（図14参照）。算出した動きベクトルの回転成分の平均値を求め、符号を反転して回転ずれ量δを設定するものとしても良い。
【００９２】
なお、本実施例では、基準フレーム画像をＩピクチャまたはＰピクチャとすることで、動きベクトルからずれ量を求める手法原理について説明したが、ユーザが選択した一のフレーム画像（例えば、Ｂピクチャ）をそのまま基本フレーム画像として設定するものとしても良い。
【００９３】
こうした設定方法では、抽出する基本フレーム画像と対象フレーム画像との組み合わせ（ピクチャ種別の組み合わせ）によっては、対象フレーム画像の動きベクトルは基本フレーム画像からのずれを示すものでない（つまり、２つのピクチャ同士に直接的な相関関係がない）場合がある。この場合には、直接相関関係のない２つのピクチャに共通して相関関係のある別のピクチャを抽出し、このピクチャを用いて間接的に相関関係、つまりフレーム画像間のずれを求めるものとすれば良い。
【００９４】
Ｂ．変形例：
本実施例の符号化処理では、動きベクトルを半画素単位で記録するものとしたが、ずれ量に関する処理を行なう際に、精度が足りない場合には、符号化データのユーザデータ領域を利用するものとしても良い。
【００９５】
例えば、図５の動きベクトル算出処理のずれ量検出により、１／４画素単位でずれ量を求め、そのずれ量（ｕ，ｖ，δ）が（３．２５，−２．２５，０．５°）であったとする。この場合、動きベクトルの算出には（３，−２，０．５°）を用い、ユーザデータ領域に、フレームＮｏ．と共に、（０．２５，−０．２５，０）を格納しておく。こうした符号化データを用いて高解像度化処理を実行する際には、動きベクトルから求めたずれ量をユーザデータ領域の格納値により修正した真のずれ量を用いるものとすれば良い。こうすることで画像処理の精度を向上することができる。また、ユーザデータ領域に１／４画素、１／８画素単位のずれ量（ｕ，ｖ，δ）自体を格納しておくものとしても良い。
【００９６】
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることはもちろんである。本実施例では、符号化処理，高解像度化処理のプログラムをインストールしたパーソナルコンピュータを動画像符号化装置、画像処理装置として説明したが、例えば、プリンタ，デジタルビデオカメラなど種々の機器に本機能を備え、本発明の動画像符号化装置，画像処理装置とするものであっても良い。
【００９７】
特に、デジタルビデオカメラに本発明の符号化機能を備えた場合、最も生のデータに近い撮影フレーム画像に対してフレーム画像全体のずれ量を検出することができる。このデジタルビデオカメラの符号化データを用いて高解像度化処理を実行することで、精度の高い静止画像を生成することができる。
【図面の簡単な説明】
【００９８】
【図１】本発明の一実施例としての画像処理システムを示す説明図である。
【図２】本実施例の画像処理システムにおける処理の流れを示した説明図である。
【図３】動画像データの符号化処理のフローチャートである。
【図４】ＭＰＥＧ形式の符号化データのデータ構造を示す概念図である。
【図５】ずれ量に基づいた動きベクトルを求める動きベクトル算出処理のフローチャートである。
【図６】勾配法による並進ずれ量の算出方法を示す説明図である。
【図７】画素の回転ずれ量を模式的に示す説明図である。
【図８】動きベクトルの導出の幾何学的関係を示した説明図である。
【図９】動きベクトルの表現範囲を説明する説明図である。
【図１０】高解像度化処理のフローチャートである。
【図１１】対象フレーム画像の符号化時の動きベクトルを示す概念図である。
【図１２】動きベクトルの回転成分により示した概念図である。
【図１３】高解像度化処理における回転ずれ量と動きベクトルの回転成分との関係を示す説明図である。
【図１４】高解像度化処理における回転ずれ量の算出の説明図である。
【符号の説明】
【００９９】
２０...画像データベース
２１...デジタルビデオカメラ
２３...ＤＶＤ
２４...ハードディスク
３０...パーソナルコンピュータ
３１...ＣＰＵ
３２...ＲＯＭ
３３...ＲＡＭ
３４...ハードディスク
３５...Ｉ／Ｆ回路部
４０...ユーザインターフェース
４１...キーボード
４２...マウス
４３...ディスプレイ
５０...カラープリンタ
１００...画像処理システム
【図１】
2006033142.tif 000003
【図２】
2006033142.tif 000004
【図３】
2006033142.tif 000005
【図４】
2006033142.tif 000006
【図５】
2006033142.tif 000007
【図６】
2006033142.tif 000008
【図７】
2006033142.tif 000009
【図８】
2006033142.tif 000010
【図９】
2006033142.tif 000011
【図１０】
2006033142.tif 000012
【図１１】
2006033142.tif 000013
【図１２】
2006033142.tif 000014
【図１３】
2006033142.tif 000015
【図１４】
2006033142.tif 000016