(57)【特許請求の範囲】
【請求項１】
MPEG-2形式の動画データを非圧縮形式の動画データに復号するMPEG-2復号部と、
前記復号中のデータからMPEG-2形式の動きベクトル情報を抽出する動きベクトル抽出部と、
前記ベクトル抽出部にて抽出されたMPEG-2形式の動きベクトル情報をMPEG-4形式の動き補償処理に反映させてMPEG-4形式の動きベクトル情報を生成し、該生成したMPEG-4形式の動きベクトル情報を用いて動き補償処理を実行する動き補償部と、
前記動き補償部の出力および前記MPEG-2復号部で復号された非圧縮形式の動画データを用いてMPEG-4形式の動画データへの符号化処理を実行するMPEG-4符号化部と、
を備え、
前記ベクトル抽出部は、
前記MPEG-2復号部で復号中の動画データから、符号化対象のMPEG-4形式のマクロブロックに対応するMPEG-2形式のマクロブロックをすべて取り出し、該取り出したMPEG-2形式のマクロブロックをMPEG-2形式のピクチャ内での位置毎に分類し、
さらに、前記位置毎に、該位置に分類されたMPEG-2形式の複数のマクロブロックの中に動きベクトル無しのマクロブロックが存在するか否かを判断し、動きベクトル無しのマクロブロックの数が所定の閾値以上の場合には当該位置の動きベクトルを無しとし、一方、それ以外の場合には当該位置の動きベクトルを有りとして、該位置に分類されたMPEG-2形式の複数のマクロブロックの動きベクトルを用いて該位置の動きベクトルを算出し、
MPEG-4形式のマクロブロック毎に、該MPEG-4形式のマクロブロックに対応する前記MPEG-2形式のピクチャ内での各位置における動きベクトルを含む、MPEG-2形式の動きベクトル情報を生成し、
前記動き補償部は、
前記MPEG-2形式の動きベクトル情報に基づいて、MPEG-4形式のマクロブロック毎に、該MPEG-4形式のマクロブロックに対応する前記MPEG-2形式のピクチャ内での各位置における、動きベクトルの有無の割合を求め、
MPEG-4形式のマクロブロック毎に求めた前記割合に基づいて、各MPEG-4形式のマクロブロックの動きベクトルの有無を判断し、動きベクトル無しと判断した場合にはMPEG-4形式の動きベクトル情報を生成せず、一方、動きベクトル有りと判断した場合には前記MPEG-2形式の動きベクトル情報に基づいてMPEG-4形式の動きベクトル情報を生成する、
ことを特徴とする動画データ変換装置。
【請求項２】
前記MPEG-4符号化部は、動き補償部での動き補償処理で用いる局所復号動画データを生成出力するものであり、
このMPEG-4符号化部より出力される局所復号動画データおよび前記MPEG-2復号部で復号された非圧縮形式の動画データが入力され、これら各入力データを同時表示する表示部、
をさらに備えたことを特徴とする請求項１に記載の動画データ変換装置。
【請求項３】
前記MPEG-2形式の動画データと前記MPEG-4符号化部より出力されるMPEG-4形式の動画データとを多重化して出力するデータ多重部をさらに備えたことを特徴とする請求項１または２に記載の動画データ変換装置。
【請求項４】
MPEG-2形式の動画データをMPEG-4形式の動画データに変換するためにコンピュータを、
MPEG-2形式の動画データを非圧縮形式の動画データに復号するMPEG-2復号手段、
前記復号中のデータからMPEG-2形式の動きベクトル情報を抽出する動きベクトル抽出手段、
前記ベクトル抽出手段にて抽出されたMPEG-2形式の動きベクトル情報をMPEG-4形式の動き補償処理に反映させてMPEG-4形式の動きベクトル情報を生成し、該生成したMPEG-4形式の動きベクトル情報を用いて動き補償処理を実行する動き補償手段、
前記動き補償手段の出力および前記MPEG-2復号手段で復号された非圧縮形式の動画データを用いてMPEG-4形式の動画データへの符号化処理を実行するMPEG-4符号化手段、
として機能させるための動画データ変換プログラムであって、
前記ベクトル抽出手段は、
前記MPEG-2復号手段で復号中の動画データから、符号化対象のMPEG-4形式のマクロブロックに対応するMPEG-2形式のマクロブロックをすべて取り出し、該取り出したMPEG-2形式のマクロブロックをMPEG-2形式のピクチャ内での位置毎に分類し、
さらに、前記位置毎に、該位置に分類されたMPEG-2形式の複数のマクロブロックの中に動きベクトル無しのマクロブロックが存在するか否かを判断し、動きベクトル無しのマクロブロックの数が所定の閾値以上の場合には当該位置の動きベクトルを無しとし、一方、それ以外の場合には当該位置の動きベクトルを有りとして、該位置に分類されたMPEG-2形式の複数のマクロブロックの動きベクトルを用いて該位置の動きベクトルを算出し、
MPEG-4形式のマクロブロック毎に、該MPEG-4形式のマクロブロックに対応する前記MPEG-2形式のピクチャ内での各位置における動きベクトルを含む、MPEG-2形式の動きベクトル情報を生成し、
前記動き補償手段は、
前記MPEG-2形式の動きベクトル情報に基づいて、MPEG-4形式のマクロブロック毎に、該MPEG-4形式のマクロブロックに対応する前記MPEG-2形式のピクチャ内での各位置における、動きベクトルの有無の割合を求め、
MPEG-4形式のマクロブロック毎に求めた前記割合に基づいて、各MPEG-4形式のマクロブロックの動きベクトルの有無を判断し、動きベクトル無しと判断した場合にはMPEG-4形式の動きベクトル情報を生成せず、一方、動きベクトル有りと判断した場合には前記MPEG-2形式の動きベクトル情報に基づいてMPEG-4形式の動きベクトル情報を生成する、
ことを特徴とする動画データ変換プログラム。
【請求項５】
前記MPEG-4符号化手段は、動き補償手段での動き補償処理で用いる局所復号動画データを生成出力するものであり、
前記コンピュータを、さらに、
このMPEG-4符号化手段より出力される局所復号動画データおよび前記MPEG-2復号手段で復号された非圧縮形式の動画データを表示画面に同時表示するための制御を行う表示制御手段、
として機能させることを特徴とする請求項４に記載の動画データ変換プログラム。
【請求項６】
前記コンピュータを、さらに、
前記MPEG-2形式の動画データと前記MPEG-4符号化手段より出力されるMPEG-4形式の動画データとを多重化して出力するデータ多重手段、
として機能させることを特徴とする請求項４または５に記載の動画データ変換プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、MPEG-2形式の動画データをMPEG-4形式の動画データに変換する動画データ変換装置および動画データ変換プログラムに関するものである。
【０００２】
【従来の技術】
従来は、MPEG-2形式の動画データをMPEG-4形式の動画データに変換をするために、MPEG-2形式の動画データを非圧縮形式に復号した上で、この動画データをMPEG-4形式に符号化し、MPEG-4形式の動画データに変換する方法がとられている。
【０００３】
図１２、図１３を参照して、従来のMPEG-2形式の動画データをMPEG-4形式の動画データに変換する方法を説明する。
【０００４】
図１２に示す従来の動画データ変換装置３３は、ビットストリーム入力部３４、MPEG-2復号装置３５、MPEG-4符号化装置３６、ビットストリーム出力部３７で構成されている。MPEG-2形式の動画データはビットストリーム入力部３４を介してMPEG-2復号装置３５に入力される。MPEG-2復号装置３５は、MPEG-2形式の動画データを非圧縮形式に復号し、MPEG-4符号化装置３６に出力する。MPEG-4符号化装置３６は、非圧縮形式に復号されたデータをMPEG-4形式の動画データに符号化し、ビットストリーム出力部３７に出力する。ビットストリーム出力部３７は、MPEG-4形式の動画データを出力する。
【０００５】
また、図１３の動画データ変換装置３８のように、ビットストリーム入力部３９にMPEG-2形式の動画データを入力し、汎用の中央処理装置４０を使用してソフトウェアでMPEG-2形式のデータを非圧縮形式に復号しさらにMPEG-4形式の動画データに符号化することで、ビットストリーム出力部４１からMPEG-4形式の動画データを出力する方法もある。
【０００６】
ハードウェア、ソフトウェアのいずれを用いて変換する場合にも、MPEG-2形式の動画データをMPEG-４形式の動画データに変換するためには、MPEG-2復号装置とMPEG-4符号化装置、または、MPEG-2復号プログラムとMPEG-4符号化プログラムを持つことが必要となる。
【０００７】
また、従来、MPEG-2形式からMPEG-4形式に変換された動画データの画質を確認するには、変換前のMPEG-2形式の動画データと変換後のMPEG-4形式の動画データをそれぞれ別個に再生して動画の画質を比較する方法がとられている。
【０００８】
【発明が解決しようとする課題】
このように、従来技術では、MPEG-2形式の動画データをMPEG-4形式に変換する際、MPEG-2形式の動画データを一旦非圧縮形式に復号した上で、この非圧縮形式の動画データを用いてMPEG-4形式の全ての符号化処理（動き検出、動き補償、符号化など）を実行しなければならないので、動き検出、動き補償、符号化などを全て実行し得るMPEG-4符号化装置を用意する必要があり、装置の回路規模が大きくなるという問題が生じる。また、上記従来手法を汎用の中央処理装置のソフトウェアとして実現した場合は、処理時間が膨大にかかるという問題が生じる。
【０００９】
上記問題のほとんどが動きベクトルの検索処理に起因している。動きベクトルの探索処理とは、現在のフレーム中の符号化対象となっている領域に対して、隣接するフレームの探索範囲中から最も類似の領域を探索することであり、動きベクトルは、隣接フレームのフレームの探索領域から現在のフレームの符号化対象領域への移動ベクトルとして表現される。
【００１０】
従来技術では、非圧縮形式の動画データをMPEG-4形式の動画データに変換する時に、上記動きベクトル検索処理を非圧縮画像のフレームを用いて全数調査する必要があるために、装置の回路規模が大きくなったり、処理時間が膨大になるなどの問題を有している。
【００１１】
また、従来技術では、変換前のMPEG-2形式の動画データと変換後のMPEG-4形式の動画データをそれぞれ別個に再生して動画の画質を比較するため、同じ時点での変換前の動画データと変換後の動画データの対応がわかりずらく、MPEG-4形式の動画データの画面サイズ、ビットレート、目標フレームレートなどのパラメータが適切か否かを確認するのが困難である。
【００１２】
この発明は上記に鑑みてなされたもので、変換後の動画データの画質を保ちつつ、装置の回路規模を小さくし、処理時間を短くし、さらに変換後の動画データの画質確認が容易になるような動画データ変換装置および動画データ変換プログラムを得ることを目的としている。
【００１３】
【課題を解決するための手段】
上記目的を達成するためこの発明にかかる動画データ変換装置は、MPEG-2形式の動画データを非圧縮形式の動画データに復号するMPEG-2復号部と、前記復号中のデータからMPEG-2形式の動きベクトル情報を抽出する動きベクトル抽出部と、前記ベクトル抽出部にて抽出されたMPEG-2形式の動きベクトル情報をMPEG-4形式の動き補償処理に反映させてMPEG-4形式の動きベクトル情報を生成し、該生成したMPEG-4形式の動きベクトル情報を用いて動き補償処理を実行する動き補償部と、前記動き補償部の出力および前記MPEG-2復号部で復号された非圧縮形式の動画データを用いてMPEG-4形式の動画データへの符号化処理を実行するMPEG-4符号化部と、を備え、前記ベクトル抽出部は、前記MPEG-2復号部で復号中の動画データから、符号化対象のMPEG-4形式のマクロブロックに対応するMPEG-2形式のマクロブロックをすべて取り出し、該取り出したMPEG-2形式のマクロブロックをMPEG-2形式のピクチャ内での位置毎に分類し、さらに、前記位置毎に、該位置に分類されたMPEG-2形式の複数のマクロブロックの中に動きベクトル無しのマクロブロックが存在するか否かを判断し、動きベクトル無しのマクロブロックの数が所定の閾値以上の場合には当該位置の動きベクトルを無しとし、一方、それ以外の場合には当該位置の動きベクトルを有りとして、該位置に分類されたMPEG-2形式の複数のマクロブロックの動きベクトルを用いて該位置の動きベクトルを算出し、MPEG-4形式のマクロブロック毎に、該MPEG-4形式のマクロブロックに対応する前記MPEG-2形式のピクチャ内での各位置における動きベクトルを含むMPEG-2形式の動きベクトル情報を生成して前記動き補償部に入力し、前記動き補償部は、前記MPEG-2形式の動きベクトル情報に基づいて、MPEG-4形式のマクロブロック毎に、該MPEG-4形式のマクロブロックに対応する前記MPEG-2形式のピクチャ内での各位置における、動きベクトルの有無の割合を求め、MPEG-4形式のマクロブロック毎に求めた前記割合に基づいて、各MPEG-4形式のマクロブロックの動きベクトルの有無を判断し、動きベクトル無しと判断した場合にはMPEG-4形式の動きベクトル情報を生成せず、一方、動きベクトル有りと判断した場合には前記MPEG-2形式の動きベクトル情報に基づいてMPEG-4形式の動きベクトル情報を生成する、ことを特徴とする。
【００１４】
この発明によれば、MPEG-2形式の動画データ中に既に動きベクトルが存在していることに着目し、MPEG-2形式の動画データをMPEG-4形式に変換するに当たって、非圧縮形式の動画データをMPEG-4形式に符号化する際に、そのまま動きベクトルを全数検索するのではなく、MPEG-2形式の動画データ中に既に存在する動きベクトルを抽出して、MPEG-4形式の動画データに適合するように変換を行って、MPEG-4符号化処理での動き補償処理で利用するようにしている。
【００１５】
つぎの発明にかかる動画データ変換装置は、上記の発明において、前記MPEG-4符号化部は、動き補償部での動き補償処理で用いる局所復号動画データを生成出力するものであり、このMPEG-4符号化部より出力される局所復号動画データおよび前記MPEG-2復号部で復号された非圧縮形式の動画データが入力され、これら各入力データを同時表示する表示部をさらに備えたことを特徴とする。
【００１６】
この発明によれば、MPEG-4符号化部から出力される動き補償処理で用いる局所復号動画データを利用し、この局所復号動画データをMPEG-2復号部で復号された非圧縮形式の動画データと表示部に同時に表示する。
【００１７】
つぎの発明にかかる動画データ変換装置は、上記の発明において、前記MPEG-2形式の動画データと前記MPEG-4符号化部より出力されるMPEG-4形式の動画データとを多重化して出力するデータ多重部をさらに備えたことを特徴とする。
【００１８】
この発明によれば、MPEG-2形式の動画データと前記MPEG-4符号化部より出力されるMPEG-4形式の動画データとを多重化して出力するようにしている。
【００１９】
つぎの発明にかかる動画データ変換プログラムは、MPEG-2形式の動画データをMPEG-4形式の動画データに変換するためにコンピュータを、MPEG-2形式の動画データを非圧縮形式の動画データに復号するMPEG-2復号手段、前記復号中のデータからMPEG-2形式の動きベクトル情報を抽出する動きベクトル抽出手段、前記ベクトル抽出手段にて抽出されたMPEG-2形式の動きベクトル情報をMPEG-4形式の動き補償処理に反映させてMPEG-4形式の動きベクトル情報を生成し、該生成したMPEG-4形式の動きベクトル情報を用いて動き補償処理を実行する動き補償手段、前記動き補償手段の出力および前記MPEG-2復号手段で復号された非圧縮形式の動画データを用いてMPEG-4形式の動画データへの符号化処理を実行するMPEG-4符号化手段、として機能させるための動画データ変換プログラムであって、前記ベクトル抽出手段は、前記MPEG-2復号手段で復号中の動画データから、符号化対象のMPEG-4形式のマクロブロックに対応するMPEG-2形式のマクロブロックをすべて取り出し、該取り出したMPEG-2形式のマクロブロックをMPEG-2形式のピクチャ内での位置毎に分類し、さらに、前記位置毎に、該位置に分類されたMPEG-2形式の複数のマクロブロックの中に動きベクトル無しのマクロブロックが存在するか否かを判断し、動きベクトル無しのマクロブロックの数が所定の閾値以上の場合には当該位置の動きベクトルを無しとし、一方、それ以外の場合には当該位置の動きベクトルを有りとして、該位置に分類されたMPEG-2形式の複数のマクロブロックの動きベクトルを用いて該位置の動きベクトルを算出し、MPEG-4形式のマクロブロック毎に、該MPEG-4形式のマクロブロックに対応する前記MPEG-2形式のピクチャ内での各位置における動きベクトルを含むMPEG-2形式の動きベクトル情報を生成して前記動き補償手段に入力し、前記動き補償手段は、前記MPEG-2形式の動きベクトル情報に基づいて、MPEG-4形式のマクロブロック毎に、該MPEG-4形式のマクロブロックに対応する前記MPEG-2形式のピクチャ内での各位置における、動きベクトルの有無の割合を求め、MPEG-4形式のマクロブロック毎に求めた前記割合に基づいて、各MPEG-4形式のマクロブロックの動きベクトルの有無を判断し、動きベクトル無しと判断した場合にはMPEG-4形式の動きベクトル情報を生成せず、一方、動きベクトル有りと判断した場合には前記MPEG-2形式の動きベクトル情報に基づいてMPEG-4形式の動きベクトル情報を生成する、ことを特徴とする。
【００２０】
この発明によれば、MPEG-2形式の動画データをMPEG-4形式に変換するに当たって、非圧縮形式の動画データをMPEG-4形式に符号化する際に、そのまま動きベクトルを全数検索するのではなく、MPEG-2形式の動画データ中に既に存在する動きベクトルを抽出して、MPEG-4形式の動画データに適合するように変換を行って、MPEG-4符号化処理での動き補償処理で利用するようにしている。
【００２１】
つぎの発明にかかる動画データ変換プログラムにおいて、前記MPEG-4符号化手段は、動き補償手段での動き補償処理で用いる局所復号動画データを生成出力するものであり、前記コンピュータを、さらに、このMPEG-4符号化手段より出力される局所復号動画データおよび前記MPEG-2復号手段で復号された非圧縮形式の動画データを表示画面に同時表示するための制御を行う表示制御手段、として機能させることを特徴とする。
【００２２】
この発明によれば、MPEG-4符号化手段から出力される動き補償処理で用いる局所復号動画データを利用し、この局所復号動画データをMPEG-2復号手段で復号された非圧縮形式の動画データを表示画面に同時に表示する。
【００２３】
つぎの発明にかかる動画データ変換プログラムは、前記コンピュータを、さらに、前記MPEG-2形式の動画データと前記MPEG-4符号化手段より出力されるMPEG-4形式の動画データとを多重化して出力するデータ多重手段、として機能させることを特徴とする。
【００２４】
この発明によれば、MPEG-2形式の動画データと前記MPEG-4符号化部より出力されるMPEG-4形式の動画データとを多重化して出力するようにしている。
【００２５】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる動画データ変換装置および動画データ変換プログラムの好適な実施の形態を詳細に説明する。
【００２６】
MPEG-2、MPEG-4の動画符号化のモードにはいくつかの種類があるが、以下の実施の形態では、MPEG-2はMP@ML（メインプロファイルのメインレベル）、MPEG-4はシンプルプロファイルと呼ばれるMPEG-4の中で、最も基本的なプロファイルを使用した場合について説明する。
【００２７】
実施の形態１．
図１は、動画データ変換装置の実施の形態１の構成を示すブロック図である。
図１において、動画データ変換装置１は、ビットストリーム入力部２と、MPEG-2復号部３と、動きベクトル抽出部４と、動き補償部５と、MPEG-4符号化部６と、ビットストリーム出力部７と、全体制御部８とを有する。
【００２８】
ビットストリーム入力部２は、MPEG-2形式の画像データ（符号化ビットストリーム）を入力し、入力されたMPEG-2形式の画像データの可変長復号化などを実行する。
【００２９】
MPEG-2復号部３は、MPEG-2形式の動画データを非圧縮形式の動画データに復号する機能を有する。この復号化に当たっては、量子化された離散コサイン変換（ＤＣＴ）係数の逆量子化、逆ＤＣＴを行って対象となるマクロブロックと対応する予測マクロブロックとの差分信号を得るとともに、動きベクトルを復号化して動きベクトルに基づいて予測マクロブロックを取得し、これを前記差分信号と加算することによって非圧縮形式の動画データを得る通常の復号化処理が行われる。MPEG-2復号部３は、復号化したMPEG-2形式の非圧縮形式の動画データをMPEG-4符号化部６に出力する。
【００３０】
動きベクトル抽出部４は、MPEG-2復号部３で復号中のデータから動きベクトルを抽出し、該抽出したMPEG-2形式の動きベクトル情報を動き補償部５に出力する。すなわち、可変長復号化が終了したMPEG-2形式の動画データ中には、既に動きベクトルが存在している。動きベクトル抽出部４は、MPEG-2形式の動画データフレーム中の所定のタイムスロットに存在する動きベクトルを抽出したり、あるいは復号化中に動きベクトルを抜き取るなどして、復号化中にMPEG-2形式の動画データから動きベクトルを抽出する。
【００３１】
動き補償部５は、抽出した動きベクトル情報をMPEG-4形式の動き補償処理に反映させたMPEG-4形式の動きベクトル情報を生成し、生成した動きベクトル情報を用いてMPEG-4形式での動き補償処理を実行する。詳細には、動き補償部５は、前記生成したMPEG-4形式の動きベクトル情報と、MPEG-4符号化部６から入力される局所復号化されたデータ（参照フレーム）を用いて、参照フレームを動き補償して最適な予測マクロブロックを取得する。動き補償部５は、この取得した予測マクロブロックをMPEG-4符号化部６に出力する。
【００３２】
MPEG-4符号化部６は、動き補償部５の出力およびMPEG-2復号部３で復号された非圧縮形式の動画データを用いてMPEG-4形式の動画データへの符号化処理を実行する。詳細には、MPEG-4符号化部６は、対象となるマクロブロック（MPEG-2復号部３の出力）と対応する予測マクロブロック（動き補償部５の出力）との差分を求め、この差分信号に対しＤＣＴを施し、ＤＣＴ係数を量子化する。そして、量子化ＤＣＴ係数、動きベクトルおよび量子化幅などをビットストリーム出力部７に入力する。一方、ＤＣＴ係数を量子化したものを逆量子化し、さらに逆ＤＣＴ化し、局所復号動画データを得る。そして、この局所復号動画データを動き補償部５に出力して動き補償処理に利用させる。
【００３３】
ビットストリーム出力部７は、入力された量子化ＤＣＴ係数、動きベクトルおよび量子化幅などを含むMPEG-4形式の動画データに可変長符号化などを施して外部に出力する。
【００３４】
全体制御部８は、動画データ変換装置１内の各構成要素を統括的に制御するととともに、MPEG-4形式の動画データの画面サイズ、ビットレート、目標フレームレートなどの動作パラメータを指示する機能を有する。
【００３５】
つぎに、動きベクトル抽出部４および動き補償部５で行う処理を説明するために必要な、動きベクトル、ピクチャ、マクロブロックなどの概念について説明する。
【００３６】
まず、図２を用いて動きベクトルの一般的な検索処理について説明する。図２(a)は前フレーム、図２(b)は現在のフレームを示している。図２(b)に示す現在のフレームの中で符号化対象となっている対象領域４２に関して設定される所定の検索範囲４３を求め、図２(a)に示す前のフレームにおける前記検索範囲４３中で、対象領域４２にもっとも類似の領域４４を探索する。そして、探索された類似の領域４４から対象領域４２までの動きの方向と大きさを求め、これを対象領域４２の動きベクトル４５とする。つまり、動きベクトルとは、２つのフレーム間での、所定の大きさのブロック領域の動きの方向と大きさを示す情報のことである。なお、通常、動きベクトルの検索単位である前述の対象領域４２は、後述するマクロブロックに対応していることが多い。このような、動きベクトルの検索処理が、従来方式では、全数調査していたが、本装置では、MPEG-2形式の動画データ中に既に存在する動きベクトルを利用するようにしており、このような動きベクトルの検索処理は省略される。
【００３７】
つぎに、図３を参照してMPEG-4形式のピクチャとMPEG-2形式のピクチャとの対応関係について説明する。MPEG-2形式およびMPEG-4形式の動画データは、画像フレームに分割されて符号化される。この分割された画像フレームの単位をピクチャという。インターレースされた動画の場合は、ピクチャを画像フィールドの単位とすることも可能である。
【００３８】
図３(a)はフレームレート30fps（Frame Per Second）の場合のMPEG-2形式のピクチャを示している。図３(b)はフレームレート10fpsの場合のMPEG-4形式のピクチャを示している。図３(b)に示すように、ある時刻ｔ０からｔ１までの時間に存在するMPEG-4形式のピクチャは、ピクチャ１２のみである。一方、MPEG-2形式の場合、図３（a)に示すように、時刻ｔ０からｔ１までの時間には、ピクチャ９、１０、１１の３つのピクチャが存在する。このMPEG-2形式の３つのピクチャ９、１０、１１がMPEG-4形式のピクチャ１２に対応する。つまり、MPEG-4形式のピクチャと時間的に同じ範囲内に存在する複数のMPEG-2形式のピクチャが、MPEG-４形式のピクチャに対応するMPEG-2形式のピクチャとなる。
【００３９】
つぎに、図４を参照してMPEG-4形式のマクロブロックとMPEG-2形式のマクロブロックとの対応関係について説明する。マクロブロックとは、ピクチャを、例えば１６ピクセル×１６ラインごとに分割したときの分割単位のことであり、このマクロブロック毎に動きベクトルの有無を指定するとともに、動きベクトルが存在する場合は、動きベクトルを指定することができる。
【００４０】
図４では、変換前のMPEG-2形式のピクチャを７０２ピクセル×４８０ラインとし、変換後のMPEG-4形式のピクチャを３５２ピクセル×２４０ラインとしている。MPEG-4形式のピクチャ１４をMPEG-2形式のピクチャ１３にスケールを合わせ、この状態で、MPEG-2形式のピクチャ１３と、MPEG-2形式のピクチャ１３にスケールをあわせたMPEG-4形式のピクチャ１４をそれぞれ上記マクロブロックに分割する。MPEG-4形式のピクチャの１つのマクロブロック１９と重なる領域には、MPEG-2形式のピクチャの４つのマクロブロック１５、１６、１７、１８が存在する。つまり、MPEG-4形式のマクロブロックに対応するMPEG-2形式のマクロブロックとは、MPEG-2形式のピクチャとMPEG-4形式のピクチャのスケールを合わせた状態のときに、MPEG-4形式のピクチャのマクロブロックの領域に重なって存在するマクロブロックのことである。
【００４１】
つぎに、図５および図６のフローチャートを参照して、動画データ変換装置１の動作を説明する。図５は動画データ変換装置１の全体的動作を示し、図６は、動きベクトル抽出部４と動き補償部５の詳細な動作を示すものである。ビットストリーム入力部２は、MPEG-2形式の動画データの入力がある場合は（ステップＳ１００）、入力データを読み込み、読み込んだMPEG-2形式の動画データに可変長復号化などを施してMPEG-2復号部３へ出力する（ステップＳ１０１）。
【００４２】
MPEG-2復号部３は、入力されたMPEG-2形式の動画データを、指定された目標フレームレートに従って、MPEG-4形式のピクチャに対応するMPEG-2形式のピクチャを全て復号する（ステップＳ１０２）。
【００４３】
動きベクトル抽出部４は、対象となっているMPEG-2形式のマクロブロックの動きベクトル情報についての抽出処理を実行する（ステップＳ１０３）。
【００４４】
動き補償部５は、動きベクトル抽出部４で抽出された動きベクトル情報に基づいてMPEG-4形式の動きベクトル情報を生成し、この生成されたMPEG-4形式の動きベクトル情報と、MPEG-4符号化部６から入力される局所復号化データを用いて、動き補償処理を実行する。（ステップＳ１０４）。
【００４５】
これら動きベクトル抽出部４および動き補償部５で行われる処理について図６にしたがって詳細に説明する。
【００４６】
まず、動きベクトル抽出部４は、現在符号化対象となっているMPEG-4形式のマクロブロックに対応するMPEG-2形式のマクロブロックをすべて取り出す（ステップＳ２００）。ここで、現在符号化対象となっているMPEG-4形式のマクロブロックに対応する全てのMPEG-2形式のマクロブロックとは、図３を用いて説明したように、時間的に同じ範囲内に存在する複数のMPEG-2形式のマクロブロックと、図４を用いて説明したように、スケール合わせを行った状態のときにMPEG-4形式の当該マクロブロックの領域に重なって存在する複数のMPEG-2形式のマクロブロックのことである。
【００４７】
つぎに、動きベクトル抽出部４は、取り出した現在符号化対象となっているMPEG-4形式のマクロブロックに対応する全てのMPEG-2形式のマクロブロックをMPEG-2形式のピクチャ内でのマクロブロックの位置ごとに分類する（ステップＳ２０１）。例えば、図４に示したように、MPEG-4形式のマクロブロック１９に対してMPEG-2形式のマクロブロック１５、１６、１７、１８が４つの位置に存在し、さらに、図３に示したように、MPEG-4形式のピクチャ１２に対応して３枚のMPEG-2形式のピクチャ９、１０、１１が存在するため、上記のように、全てのMPEG-2形式のマクロブロックを位置ごとに分類すると、１つの位置に対応して３枚のマクロブロックが存在することになる。
【００４８】
つぎに、動きベクトル抽出部４は、同じ位置についての複数の（この場合３つ）マクロブロックについて、動きベクトルの有無を判定する（ステップＳ２０３）。すなわち、同じ位置でのMPEG-2形式のマクロブロックのうち１つでも動きベクトル無しのマクロブロックが存在する場合は、その位置でのMPEG-2形式のマクロブロックの動きベクトルはなしとする（ステップＳ２０５）。
【００４９】
一方、同じ位置でのMPEG-2形式のマクロブロックすべてに動きベクトルが存在する場合は、同じ位置に含まれる複数のMPEG-2形式のマクロブロックの動きベクトルを加算し、この加算結果をこの位置での動きベクトルとする（ステップＳ２０４）。
【００５０】
例えば、MPEG-2形式のピクチャ９のマクロブロック１５に動きベクトルがあり、MPEG-2形式のピクチャ１０のマクロブロック１５には動きベクトルが無い場合は、マクロブロック１５の位置の動きベクトルはなしとする。MPEG-2形式のピクチャ９、１０、１１の３ピクチャのマクロブロック１５がすべて動きベクトルを持っているときだけマクロブロック１５の位置に動きベクトルがあるとして、MPEG-2形式のピクチャ９、１０、１１のマクロブロック１５の動きベクトルを加算する。
【００５１】
動きベクトル抽出部４では、このような処理を、符号化対象となっているMPEG-4形式のマクロブロックがなくなるまで、繰り返し実行する（ステップＳ２０６、Ｓ２０３〜Ｓ２０５）。
【００５２】
上記処理が終了すると、動きベクトル抽出部４は、上述のようにして抽出した、１つのMPEG-4形式のマクロブロック当たり複数の（この場合４つの）MPEG-2形式の動きベクトルを含む動きベクトル情報を動き補償部５に入力する。
【００５３】
動き補償部５においては、動きベクトル抽出部４から入力された動きベクトル情報に基づいて、現在符号化対象となっているMPEG-4形式の各マクロブロックの動きベクトルを算出する。すなわち、各MPEG-4形式のマクロブロックに含まれる複数のMPEG-2形式のマクロブロックの中の動きベクトル有りの個数の存在率を調べることで、各MPEG-4形式のマクロブロックの動きベクトルの有無を決定し、さらに動きベクトル有りと決定したマクロブロックについては、当該MPEG-4形式のマクロブロックに含まれる動きベクトル有りの複数のMPEG-2形式の動きベクトルを用いて当該MPEG-4形式のマクロブロックの動きベクトルを算出する。
【００５４】
具体的には、当該MPEG-4形式のマクロブロックに含まれる複数のMPEG-2形式のマクロブロック中の、動きベクトル無しのマクロブロック数と動きベクトル有りのマクロブロック数を比較し（ステップＳ２０７）、動きベクトル有りのマクロブロック数が動きベクトル無しのブロック数よりも少ない場合は、当該MPEG-4形式のマクロブロックについては、動きベクトルはなしとする（ステップＳ２０８）。一方、動きベクトル有りのマクロブロック数が動きベクトル無しのブロック数よりも多い場合は、動きベクトル有りの複数のMPEG-2形式の動きベクトルの水平方向および垂直方向毎に平均値を求めることで中間的な動きベクトルを生成し、さらにこの中間的な動きベクトルを現在の表示画像の大きさに合わせてスケーリングすることで、最終的なMPEG-4形式の動きベクトルを算出する（ステップＳ２０９）。算出された各マクロブロックに対応するMPEG-4形式の動きベクトルを含む動きベクトル情報は、動き補償処理に用いられる。
【００５５】
つまり、MPEG-2形式の動画データをMPEG-4形式の動画データに変換する際に、動きベクトル抽出部４および動き補償部５で、動きベクトルを全数検索することなしにMPEG-2形式の動きベクトルをMPEG-4形式の動きベクトルに適合するように変換して動き補償で利用するようにしている。
【００５６】
このようにして、動きベクトル抽出部４および動き補償部５による、図５のステップＳ１０３およびＳ１０４の処理が終了する。
【００５７】
MPEG-4符号化部６は、MPEG-2復号部３から入力される対象となるマクロブロックと動き補償部５から入力される対応する予測マクロブロックとの差分を求め、この差分信号に対しＤＣＴを施し、ＤＣＴ係数を量子化する。そして、量子化ＤＣＴ係数、動きベクトルおよび量子化幅などをビットストリーム出力部７に入力する。一方、ＤＣＴ係数を量子化したものを逆量子化し、さらに逆ＤＣＴ化し、局所復号動画データとして、動き補償部５に入力する。MPEG-4符号化部６では、このようにして、MPEG-4形式への符号化処理を実行する（図５ステップＳ１０５）。
【００５８】
このような処理を、MPEG-4のピクチャ中の全てのマクロブロックについて、繰り返し実行する（ステップＳ１０６）。そして、前述の処理を、ビットストリーム入力部２へ入力データがなくなるまで、繰り返し実行する（ステップＳ１００）。
【００５９】
ビットストリーム出力部７は、入力された量子化ＤＣＴ係数、動きベクトルおよび量子化幅などを含むMPEG-4形式の動画データに可変長符号化などを施して外部に出力する（ステップＳ１０７）。
【００６０】
このようにこの実施の形態１においては、MPEG-2形式の動画データ中に既に動きベクトルが存在していることに着目し、MPEG-2形式の動画データをMPEG-4形式に変換するに当たって、非圧縮形式の動画データをMPEG-4形式に符号化する際に、そのまま動きベクトルを全数検索するのではなく、MPEG-2形式の動画データ中に既に存在する動きベクトルを利用して、MPEG-4形式の動画データに適合するように変換を行って、MPEG-4符号化処理中の動き補償処理で利用するようにしているので、MPEG-4符号化処理の負荷が軽減され、変換処理の全体としての計算量および回路規模の軽減が図れるようになる。
【００６１】
なお、上記では、同じ位置でのMPEG-2形式のマクロブロックのうち１つでも動きベクトル無しのマクロブロックが存在する場合は、その位置でのMPEG-2形式のマクロブロックの動きベクトルはなしとしたが、この動きベクトルの有無を決定するための閾値を設定し、この閾値より動きベクトルの存在数が少ないときに動きベクトルがなしと決定するようにしてもよい。また、複数の動きベクトルの合成ベクトルを求める手法も、上述した平均値を用いる手法以外に、重み付け平均を求める手法、適宜の関数を用いる手法など任意の手法を採用するようにしてもよい。また、上記では、動き補償部５で演算した動きベクトルをそのまま使用して符号化を行うようにしたが、スケーリングによって生じた誤差精度範囲で検索した上で動きベクトルを使用することも可能である。検索範囲が限定されているので、全数検索する場合に比較して検索数は大幅に削減される。
【００６２】
実施の形態２．
つぎに、この発明の実施の形態２について説明する。図７は、実施の形態２の動画データ変換装置の構成を示すブロック図である。この実施の形態２における動画データ変換装置１では、表示部２７が追加されている。実施の形態１と同じ機能を持つ構成部分には同一符号を付し、重複する説明は省略する。
【００６３】
MPEG-2復号部２５は、実施の形態１のMPEG-2復号部３が有する機能に加え、表示部２７にMPEG-2形式の非圧縮形式の動画データを出力する機能を有する。MPEG-4符号化部２６は、実施の形態１のMPEG-4符号化部６が有する機能に加え、局部復号データを表示部２７に出力する機能を有する。
【００６４】
MPEG形式の符号化においては、動き補償予測を行うために、符号化中に復号された画像データ（局所復号データ）も生成する。この実施の形態２は、これに着目したものであり、変換処理中に各動画データのフレーム変換処理が完了する毎に、変換前のMPEG-2形式の動画フレームと変換後のMPEG-4形式の動画データを表示部２７に表示させるようにしており、これにより同時点での変換前のMPEG-2の動画データと変換後のMPEG-4形式の動画データとの対応を容易に付けることができる。
【００６５】
図８のフローチャートを参照して、実施の形態２の動画データ変換装置１の動作を説明する。動きベクトルを抽出してからMPEG-4形式の動画データを生成するステップＳ１００〜Ｓ１０７については、実施の形態１と同じ動作であるので、説明を省略する。
【００６６】
動画データ変換装置１は、実施の形態１の動作と同様にMPEG-2形式の動画データをMPEG-4形式の動画データに変換し出力する（ステップＳ１００〜Ｓ１０７）。さらに、フレーム変換処理毎に、MPEG-2復号部２５およびMPEG-4符号化部２６からMPEG-2形式の非圧縮形式の動画データおよび局所復号データが同期して表示部２７に出力される（ステップＳ３００）。これにより、表示部２７には、各動画データのフレーム変換処理が完了する毎に、変換前のMPEG-2形式の動画フレームと変換後のMPEG-4形式の動画データとが同時に表示される。
【００６７】
したがってこの実施の形態２においては、同時点での変換前のMPEG-2形式の動画データと変換後のMPEG-4形式の動画データの対応を容易に付けることができ、MPEG-4形式の動画データの画面サイズ、ビットレート、目標フレームなどのパラメータが最適かどうかを確認することが容易になる。
【００６８】
実施の形態３．
つぎに、この発明の実施の形態３について説明する。図９は、実施の形態３の動画データ変換装置の構成を示すブロック図である。この実施の形態３における動画データ変換装置１では、データ多重部３１が追加されている。実施の形態１と同じ機能を持つ構成部分には同一符号を付し、重複する説明は省略する。
【００６９】
ビットストリーム入力部２９は、MPEG-2形式の動画データを入力し、可変復号化などを施したMPEG-2形式の動画データをMPEG-2復号部３の他にデータ多重部３１に出力する機能を有する。MPEG-4符号化部３０は、実施の形態１に示したMPEG-4符号化部６が有する機能に加え、データ多重部３１にMPEG-4形式の符号化された動画データを出力する機能を有する。
【００７０】
図１０のフローチャートを参照して実施の形態３の動画データ変換装置１の動作を説明する。動きベクトルを抽出してからMPEG-4形式の動画データを生成するステップＳ１００〜Ｓ１０６については、実施の形態１と同じ動作であるので、説明を省略する。
【００７１】
動画データ変換装置１は、実施の形態１の動作と同様にMPEG-2形式の動画データをMPEG-4形式の動画データに変換し出力する（ステップＳ１００〜Ｓ１０６）。
【００７２】
MPEG-4形式の１つのピクチャ内のマクロブロックのすべてが終了する度に（ステップＳ１０６）、ビットストリーム入力部２９およびMPEG-4符号化部３０からデータ多重部３１に符号化されたMPEG-2形式の動画データおよび符号化されたMPEG-4形式の動画データが入力され、データ多重部３１はこれらを多重化してビットストリーム出力部３２に入力する（ステップＳ４００）。
【００７３】
ビットストリーム出力部３２は、入力されたMPEG-2形式およびMPEG-4形式の動画データの多重データに、可変符号化などを施して外部に出力する（ステップＳ４０１）。
【００７４】
この実施の形態３では、データ多重部３１を設け、MPEG-2形式およびMPEG-4形式の符号化データの多重データの外部出力が可能となる。
【００７５】
実施の形態４．
次にこの発明の実施の形態４について説明する。この実施の形態４においては、上述した実施の形態１〜３の機能をソフトウェアによって実現するようにしている。
【００７６】
図１１に示す実施の形態４の動画データ変換装置２０は、ビットストリーム入力部２１と、映像信号処理装置２２と、ビットストリーム出力部２３を有する。
【００７７】
ビットストリーム入力部２１は、MPEG-２形式の動画データを入力し、映像信号処理装置２２に出力する。
【００７８】
映像信号処理装置２２は、実施の形態１のMPEG-2復号部３、動きベクトル抽出部４、動き補償部５、MPEG-4符号化部６および全体制御部８によって実現される前述した各機能、実施の形態２のMPEG-2復号部２５、動きベクトル抽出部４、動き補償部５、MPEG-4符号化部２６および全体制御部８によって実現される前述した各機能、実施の形態３のMPEG-2復号部３、動きベクトル抽出部４、動き補償部５、MPEG-4符号化部３０および全体制御部８によって実現される前述した各機能を、汎用の中央処理演算装置（コンピュータ）に実行させるためのソフトウェアプログラムを備えている。
【００７９】
ビットストリーム出力部２３は、映像信号処理装置２２で変換されたMPEG-4
形式の動画データを出力する。
【００８０】
このように、本発明をソフトウェアプログラムによって実現した場合も、効率の良いMPEG-2からMPEG-4への変換をなし得、変換後の動画データの画質を保ちつつ変換処理時間を短くすることができる。
【００８１】
ところで、上記の各実施の形態においては、MPEG-4として、最も基本的なプロファイルであるシンプルプロファイルを採用するようにしているが、本発明は、シンプルプロファイルに双方向予測モード（B-VOP）と任意形状オブジェクト符号化などを加えて規定したコアプロファイル、さらにはインターレースなどが規定されるメインプロファイルなどにも適用可能である。
【００８２】
【発明の効果】
以上説明したように、この発明にかかる動画データ変換装置によれば、MPEG-2形式の動画データ中に既に動きベクトルが存在していることに着目し、MPEG-2形式の動画データをMPEG-4形式に変換するに当たって、非圧縮形式の動画データをMPEG-4形式に符号化する際に、そのまま動きベクトルを非圧縮フレームから全数検索するのではなく、MPEG-2形式の動画データ中に既に存在する動きベクトルを抽出して、MPEG-4形式の動画データに適合するように変換を行って、MPEG-4符号化処理での動き補償処理で利用するようにしているので、効率の良いMPEG-2からMPEG-4への変換をなし得、これにより変換後の動画データの画質を保ちつつ装置の回路規模を小さくし、処理時間を短くすることができる。
【００８３】
つぎの発明にかかる動画データ変換装置によれば、MPEG-4符号化部から出力される動き補償処理で用いる局所復号動画データを利用し、この局所復号動画データをMPEG-2復号部で復号された非圧縮形式の動画データと表示部に同時に表示するようにしているので、変換前のMPEG-2形式の動画データと変換後のMPEG-4形式の動画データとの対応がつけやすく、MPEG-4形式の動画データの画面サイズ、ビットレート、目標フレームレートなどのパラメータの確認が容易になる。
【００８４】
つぎの発明にかかる動画データ変換装置によれば、MPEG-2形式の動画データとMPEG-4符号化部より出力されるMPEG-4形式の動画データとを多重化して出力しているので、MPEG-2形式の動画データとMPEG-4形式の動画データとの多重化データを得ることができる。
【００８５】
つぎの発明にかかる動画データ変換プログラムによれば、MPEG-2形式の動画データをMPEG-4形式に変換するに当たって、非圧縮形式の動画データをMPEG-4形式に符号化する際に、そのまま動きベクトルを全数検索するのではなく、MPEG-2形式の動画データ中に既に存在する動きベクトルを抽出して、MPEG-4形式の動画データに適合するように変換を行って、MPEG-4符号化処理での動き補償処理で利用するようにしているので、効率の良いMPEG-2からMPEG-4への変換をなし得、これにより変換後の動画データの画質を保ちつつ変換処理時間を短くすることができる。
【００８６】
つぎの発明にかかる動画データ変換プログラムによれば、MPEG-4符号化手段から出力される動き補償処理で用いる局所復号動画データを利用し、この局所復号動画データをMPEG-2復号手段で復号された非圧縮形式の動画データを表示画面に同時に表示するようにしているので、変換前のMPEG-2形式の動画データと変換後のMPEG-4形式の動画データとの対応がつけやすく、MPEG-4形式の動画データの画面サイズ、ビットレート、目標フレームレートなどのパラメータの確認が容易になる。
【００８７】
つぎの発明にかかる動画データ変換プログラムによれば、MPEG-2形式の動画データとMPEG-4符号化部より出力されるMPEG-4形式の動画データとを多重化して出力しているので、MPEG-2形式の動画データとMPEG-4形式の動画データとの多重化データを得ることができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１の構成を示すブロック図である。
【図２】一般的な動きベクトルの検索方法を説明する図である。
【図３】MPEG-4形式のピクチャとMPEG-2形式のピクチャとの対応関係を示す図である。
【図４】MPEG-4形式のマクロブロックとMPEG-2形式のマクロブロックとの対応関係を示す図である。
【図５】図１に示した動画データ変換装置の動作手順を示すフローチャートである。
【図６】図１に示した動画データ変換装置の動作手順を示すフローチャートである。
【図７】この発明の実施の形態２の構成を示すブロック図である。
【図８】図７に示した動画データ変換装置の動作手順を示すフローチャートである。
【図９】この発明の実施の形態３の構成を示すブロック図である。
【図１０】図９に示した動画データ変換装置の動作手順を示すフローチャートである。
【図１１】この発明の実施の形態４の構成を示すブロック図である。
【図１２】従来技術を説明するための図である。
【図１３】従来技術を説明するための図である。
【符号の説明】
１  動画データ変換装置、２  ビットストリーム入力部、３  MPEG-2復号部、４  動きベクトル抽出部、５  動き補償部、６  MPEG-4符号化部、７  ビットストリーム出力部、８  全体制御部、２０  動画データ変換装置、２１  ビットストリーム入力部、２２  映像信号処理装置、２３  ビットストリーム出力部、２５  復号部、２６  MPEG-2符号化部、２７  表示部、２９  ビットストリーム入力部、３０  MPEG-4符号化部、３１  データ多重部、３２  ビットストリーム出力部。
【図１】
0004574090.tif 000002
【図２】
0004574090.tif 000003
【図３】
0004574090.tif 000004
【図４】
0004574090.tif 000005
【図５】
0004574090.tif 000006
【図６】
0004574090.tif 000007
【図７】
0004574090.tif 000008
【図８】
0004574090.tif 000009
【図９】
0004574090.tif 000010
【図１０】
0004574090.tif 000011
【図１１】
0004574090.tif 000012
【図１２】
0004574090.tif 000013
【図１３】
0004574090.tif 000014