(57)【要約】【課題】符号化演算の負荷を従来よりも低減させ、従来よりも効率的に符号化方式を変換することができる画像符号化変換装置等を提供する。【解決手段】画像符号化変換装置１は、第１の符号化データに含まれるデータが既に符号化された既符号化データから予測可能なデータでスキップできることを示すスキップデータであったとき、スキップデータで示された第１の画像符号化方式におけるスキップの符号化条件が、第２の画像符号化方式におけるスキップの符号化条件と一致するか否かを判定するスキップ判定部４４と、スキップ符号化条件判定手段で第１の画像符号化方式におけるスキップの符号化条件が第２の画像符号化方式におけるスキップの符号化条件と一致すると判定した場合、第１の符号化データのスキップデータを第２の画像符号化方式におけるスキップデータとして第２の符号化データに変換するスキップ予測制御部４５及び符号化部２０とを備える。【選択図】図１
2008148060.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像符号化方式で符号化された第１の符号化データを第２の画像符号化方式で符号化された第２の符号化データに変換する画像符号化変換装置であって、
前記第１の符号化データに含まれるデータが既に符号化された既符号化データから予測可能なデータでスキップできることを示すスキップデータであったとき、前記スキップデータで示された前記第１の画像符号化方式におけるスキップの符号化条件が、前記第２の画像符号化方式におけるスキップの符号化条件と一致するか否かを判定するスキップ符号化条件判定手段と、
前記スキップ符号化条件判定手段で前記第１の画像符号化方式におけるスキップの符号化条件が前記第２の画像符号化方式におけるスキップの符号化条件と一致すると判定した場合、前記第１の符号化データのスキップデータを前記第２の画像符号化方式におけるスキップデータとして前記第２の符号化データに変換するスキップデータ変換手段と
を備えることを特徴とする画像符号化変換装置。
【請求項２】
前記画像符号化変換装置はさらに、
前記スキップ符号化条件判定手段で前記第１の画像符号化方式におけるスキップの符号化条件が前記第２の画像符号化方式におけるスキップの符号化条件と一致しないと判定した場合、前記第１の画像符号化方式におけるスキップの符号化条件のうち前記第２の画像符号化方式におけるスキップデータ以外の符号化データとして変換できる有効な符号化条件が存在するか否かを所定のルールに従って判定するスキップデータ外符号化条件判定手段と、
前記スキップデータ外符号化条件判定手段で有効な符号化条件が存在すると判定した場合、前記第１の画像符号化方式におけるスキップの符号化条件をもとに前記第１の符号化データのスキップデータを前記第２の画像符号化方式におけるスキップ外データとして前記第２の符号化データに変換するスキップデータ外変換手段と、
前記スキップデータ外符号化条件判定手段で有効な符号化条件が存在しないと判定した場合、前記第１の符号化データから抽出されたスキップデータに関係なく、前記第１の符号化データを前記第２の画像符号化方式に従って第２の符号化データに変換する第２の符号化変換手段と
を備えることを特徴とする請求項１記載の画像符号化変換装置。
【請求項３】
前記スキップデータ外符号化条件判定手段は、前記第１の画像符号化方式においてスキップデータとして符号化されたときの動き予測及び符号化参照画像に関する条件を少なくとも含む条件を前記有効な符号化条件として前記存否を判定する
ことを特徴とする請求項２記載の画像符号化変換装置。
【請求項４】
前記第２の符号化変換手段はさらに、前記第１の符号化データに含まれるデータがスキップデータで且つ符号化開始コードを有する一連のデータ列の最小単位であるスライスの最後の画像分割最小単位であるマクロブロックのデータであった場合、前記スライスの最後のマクロブロックは前記第２の画像符号化方式に従って第２の符号化データへ符号化する
ことを特徴とする請求項１記載の画像符号化変換装置。
【請求項５】
前記第１の画像符号化方式はＨ．２６４画像符号化方式であり、
前記第２の画像符号化方式はＭＰＥＧ−２画像符号化方式である
ことを特徴とする請求項１〜４のいずれか１項に記載の画像符号化変換装置。
【請求項６】
第１の画像符号化方式で符号化された第１の符号化データを第２の画像符号化方式で符号化された第２の符号化データに変換する画像符号化変換方法であって、
前記第１の符号化データに含まれるデータが既に符号化された既符号化データから予測可能なデータでスキップできることを示すスキップデータであったとき、前記スキップデータで示された前記第１の画像符号化方式におけるスキップの符号化条件が、前記第２の画像符号化方式におけるスキップの符号化条件と一致するか否かを判定するスキップ符号化条件判定ステップと、
前記スキップ符号化条件判定ステップで前記第１の画像符号化方式におけるスキップの符号化条件が前記第２の画像符号化方式におけるスキップの符号化条件と一致すると判定した場合、前記第１の符号化データのスキップデータを前記第２の画像符号化方式におけるスキップデータとして前記第２の符号化データに変換するスキップデータ変換ステップと
を含むことを特徴とする画像符号化変換方法。
【請求項７】
前記第１の画像符号化方式はＨ．２６４画像符号化方式であり、
前記第２の画像符号化方式はＭＰＥＧ−２画像符号化方式である
ことを特徴とする請求項６記載の画像符号化変換方法。
【請求項８】
第１の画像符号化方式で符号化された第１の符号化データを第２の画像符号化方式で符号化された第２の符号化データに変換する画像符号化変換装置のためのプログラムであって、
請求項６記載の画像符号化方法に含まれるステップをコンピュータに実行させることを特徴とするプログラム。
【請求項９】
第１の画像符号化方式で符号化された第１の符号化データを第２の画像符号化方式で符号化された第２の符号化データに変換する集積回路であって、
前記第１の符号化データに含まれるデータが既に符号化された既符号化データから予測可能なデータでスキップできることを示すスキップデータであったとき、前記スキップデータで示された前記第１の画像符号化方式におけるスキップの符号化条件が、前記第２の画像符号化方式におけるスキップの符号化条件と一致するか否かを判定するスキップ符号化条件判定回路と、
前記スキップ符号化条件判定回路で前記第１の画像符号化方式におけるスキップの符号化条件が前記第２の画像符号化方式におけるスキップの符号化条件と一致すると判定した場合、前記第１の符号化データのスキップデータを前記第２の画像符号化方式におけるスキップデータとして前記第２の符号化データに変換するスキップデータ変換回路と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化変換装置及び画像符号化変換方法に関し、特に異なる画像符号化変換方式、例えば、Ｈ．２６４画像符号化方式とＭＰＥＧ−２画像符号化方式との間で、第１の符号化方式で符号化された画像を第２の符号化方式による符号列に変換する画像符号化変換装置及び画像符号化変換方法に関するものである。
【背景技術】
【０００２】
デジタル画像技術の発展に伴い、増大するデータ量を処理するために、データを圧縮する技術がデジタル画像データに使用されて発展してきた。その発展は、画像データの特性を生かした、画像データに特化した圧縮技術となっている。コンピュータの情報処理能力の向上に伴い、圧縮技術における複雑な演算も可能となり、画像データの圧縮率は大幅に高められてきている。例えば、衛星、地上波デジタルハイビジョン放送で採用されている圧縮技術は、ＭＰＥＧ−２と呼ばれる方式である。
【０００３】
ＭＰＥＧ−２の次の画像圧縮技術として規格化されたＨ．２６４は、ＭＰＥＧ−２の２倍前後の圧縮率を実現する規格である。Ｈ．２６４画像符号化方式は、直交変換と動き補償とをベースとしたハイブリッド画像符号化であるという点では従来のＭＰＥＧ符号方式と変わらない。しかしながら、符号化を構成する各要素の符号化ツールの自由度が高く、それらの累積効果で高い符号化効率を実現している。このような高い符号化効率によって、Ｈ．２６４画像符号化を搭載した商品の今後の出荷台数はモバイル、ＣＡＴＶなど広い範囲で急減に増大していくと思われる。
【０００４】
ところで、家庭内ＬＡＮ（ホームネットワーク）を用いてＡＶ機器やパソコン、情報家電を相互に接続し、連携して利用するための技術仕様を策定する業界団体ＤＬＮＡ（Ｄｉｇｉｔａｌ  Ｌｉｖｉｎｇ  Ｎｅｔｗｏｒｋ  Ａｌｌｉａｎｃｅ）の仕様では、動画の符号化方式としてＭＰＥＧ−２を必須とするよう定めている。このため、Ｈ．２６４を搭載した商品が増大すると、ＤＬＮＡの仕様を満たす上で、Ｈ．２６４画像符号化方式からＭＰＥＧ−２への符号化変換（トランスコード）が必要となってくる。
【０００５】
Ｈ．２６４からＭＰＥＧ−２へのトランスコードについては、異なる２つの動き補償予測方式で符号化された動画像の符号化変換効率を向上させる装置が開示されている（例えば、特許文献１）。
【０００６】
上記特許文献１は、Ｈ．２６４の動き補償によって符号化された動画像データをＭＰＥＧ−２の動き補償によって符号化されたデータと同形式の動画像データに変換する画像符号化変換装置であって、Ｈ．２６４の動画像データに含まれるブロックの１つ以上の動きベクトルの中から、ＭＰＥＧ−２の動き補償における動きベクトルの条件を満たす動きベクトルを選択し、ＭＰＥＧ−２の動き補償に従って符号化することを特徴とする。
【０００７】
図８に上記画像符号化変換装置のブロック図を示す。
画像符号化変換装置１００は、外部から入力されるＨ．２６４形式の動画像をＭＰＥＧ−２形式の動画像に変換して出力する装置であって、復号部１０、符号化部２０及び動きベクトル構成部３０から構成される。
【０００８】
復号部１０は、Ｈ．２６４形式で符号化された動画像データ（符号化ストリーム）を入力とし、動画像データに復号化する。また、符号化部２０は、復号部１０で復号化された動画像データを入力とし、ＭＰＥＧ−２形式の動画像データ（符号化ストリーム）に符号化する。
【０００９】
このとき上記画像符号化変換装置１００において特有の処理は動きベクトル構成部３０にある。動きベクトル構成部３０から符号化部２０の動き補償予測部２８へ動きベクトルなどのデータを提供することによって、従来の一般的な符号化部と比べ、動きベクトル探索を省略あるいは探索の演算を大幅に削減できる点が特徴である。
【００１０】
動きベクトル構成部３０は、Ｈ．２６４形式の動画像に含まれる動きベクトル等が再利用できるかどうかを判定し、判定結果に応じて動き補償予測部２８に再利用のためのデータや指示を送る。
【００１１】
まず、復号部１０及び符号化部２０の構成を簡単に説明し、続いて動きベクトル構成部３０について説明する。
【００１２】
復号部１０は、可変長復号部１１、逆量子化部１２、逆直交変換部１３、加算部１４、フレームメモリ１５及び動き補償部１６から構成される。
【００１３】
可変長復号部１１は、Ｈ．２６４形式により符号化された動画像の符号列が外部より入力されると、可変長復号を行い、ピクチャタイプ、マクロブロックタイプ、動き情報、量子化係数等を分離する。逆量子化部１２及び逆直交変換部１３は、分離されたブロック毎の量子化係数に対して逆量子化及び逆直交変換を行ってブロック毎の画素データを得る。加算部１４は、マクロブロックタイプが示す符号化の種類によって、ブロック毎の画素データをそのまま、あるいは動き補償部１６からの予測信号を加えて出力する。フレームメモリ１５は、加算部１４からの出力のうち、参照画像として用いるための画面に相当する画素データを蓄積する。動き補償部１６は、動き補償予測されたブロックについて、可変長復号部１１から得られる動き情報とフレームメモリ１５に蓄積された参照画像とから当該ブロックの予測信号を求め、その予測信号を加算部１４に出力する。
【００１４】
符号化部２０は、減算部２１、直交変換部２２、量子化部２３、逆量子化部２４、逆直交変換部２５、加算部２６、フレームメモリ２７、動き補償予測部２８及び可変長符号化部２９から構成される。
【００１５】
減算部２１は、加算部１４から入力されるブロックの画素データをそのまま、あるいは動き補償予測部２８からの予測信号との減算によって残差信号を出力する。直交変換部２２及び量子化部２３は、減算部２１からのブロックデータを直交変換及び量子化して出力する。逆量子化部２４、逆直交変換部２５及び加算部２６は、逆直交変換及び逆量子化及び予測信号の加算によりブロックの画素データを復元してフレームメモリ２７に出力する。フレームメモリ２７は、復元されたブロックの画素データからなる参照画像を記憶保持する。動き補償予測部２８は、動き補償予測の対象のブロックについて、予測信号及び動きベクトルを求め、予測信号を減算部２１と加算部２６とに出力し、動きベクトルを可変長符号化部２９へ出力する。動き補償予測部２８が動きベクトルを求める際の処理方法は、一般的には、動き探索により参照画像上から動きベクトルを求める方法である。動きベクトル構成部３０により出力される動きベクトルをそのまま、あるいはその動きベクトルを基準とする周辺の画像を参照画像上から探索して求める方法によっても動きベクトルを求める。可変長符号化部２９は、量子化部２３より出力されるブロックデータと動き補償予測部２８より出力される動きベクトル及びマクロブロックタイプを可変長符号化し、その結果のＭＰＥＧ−２形式の符号化列を出力する。
【００１６】
動きベクトル構成部３０は、判定部３１、プログラム記憶部３２及び予測制御部３３から構成される。
【００１７】
プログラム記憶部３２は、動き補償予測部２８の処理方法を決定するためのプログラムを予め記憶する。判定部３１は、プログラム記憶部３２に記憶されているプログラムを実行することにより、動き補償予測部２８に行わせるべき処理方法を決定し、決定した処理方法に応じた指示を予測制御部３３に行わせる。予測制御部３３は、決定された処理方法に応じて動き補償予測部２８に指示を与える。
【００１８】
より具体的にいうと、判定部３１は、動き情報を可変長復号部１１から受信し、その中の動きベクトルと参照ピクチャのピクチャタイプとを基に、新しい動き情報を作成し、符号化部２０は、この新しい動き情報で符号化処理を行う。
【００１９】
ピクチャタイプは、可変長復号部１１から送られてフレームメモリ１５に一旦格納されていたものから、該当するピクチャのピクチャタイプを取得する。
【００２０】
以下に動きベクトル構成部３０の処理を詳しく説明する。
図９は、プログラム記憶部３２に記憶されるプログラムの手順を示すフローチャートである。なお、図中のＡ〜Ｄの記号は、結合子であり、より詳細な手順に続くことを意味するが、ここでは、その詳細な説明を省略する。
【００２１】
プログラムの内容は、簡単には、下記のステップ（１）〜ステップ（３）を順番に実行するというものである。
【００２２】
ステップ（１）：Ｈ．２６４形式の動画像におけるマクロブロックと、それに対応する参照画像との組み合わせの関係を特定する。
【００２３】
ステップ（２）：その関係がＨ．２６４形式で規定されている関係についての条件に適合するかどうかを判定する。
【００２４】
ステップ（３）：判定結果に応じて動き補償予測部２８に行わせるべき処理方法を決定する。
【００２５】
図９は、上記ステップ（１）の全体を説明したものである。なお、ステップＳ（２）とステップＳ（３）の詳細についてはここでは省略する。
【００２６】
ピクチャの先頭に付されているＡＵデリミタ（Ａｃｅｓｓ  Ｕｎｉｔ  Ｄｅｌｉｍｉｔｅｒ）には、そのピクチャに含まれるスライスのスライスタイプを示す情報であるＰｒｉｍａｒｙ＿ｐｉｃ＿ｔｙｐｅが含まれる。判定部３１は、このｐｒｉｍａｒｙ＿ｐｉｃ＿ｔｙｐｅを取得し、ステップＳ２０１，Ｓ２０４において、スライスタイプからピクチャタイプを特定する。
【００２７】
スライスタイプは、スライス内のマクロブロックの符号化モードを限定するもので、Ｐスライスは画面内符号化及び参照ピクチャ１枚を用いた画面間予測符号化を行うスライスで、Ｂスライスは画面内符号化及び参照ピクチャを１枚又は２枚用いた画面間予測符号化を行うスライスである。また、Ｉスライスは画面内符号化のみを行うスライスである。Ｈ．２６４では、スライス毎にスライスの種類を示すスライスタイプが付され、１つのピクチャ内に単一又は複数のスライスタイプが含まれる。そこで、判定部３１は、ピクチャ内の全てのスライスが同一のスライスタイプであれば、そのスライスタイプをピクチャタイプとする。例えば、全てのスライスがＰスライスであれば、そのピクチャをＰピクチャと特定し、全てのスライスがＩスライスであれば、そのピクチャをＩピクチャと特定する。
【００２８】
このようにしてピクチャタイプを特定すると、次に判定部３１は、ステップＳ２０２，Ｓ２０５，Ｓ２０６において、可変長復号により分離された符号化情報から、対象ブロックのマクロブロックを取得し、マクロブロックタイプあるいはサブマクロブロックタイプを取得して、それらに示されている予測モードを判断する。
【００２９】
Ｉピクチャである場合には（ステップＳ２０１及びＳ２０４：ＮＯ）、再利用する動きベクトルは存在しないため、動きベクトルを利用しない処理に移る（Ｄ）。
【００３０】
Ｐピクチャである場合（ステップＳ２０１：ＹＥＳ）には、予測モードが画面間予測であるか否か（ステップＳ２０２）を判断し、画面間予測であれば（ステップＳ２０２：ＹＥＳ）、フレームメモリ１５から動きベクトルの参照画像の取得を行う（ステップＳ２０３）。
【００３１】
画面内予測か非参照であれば（ステップＳ２０２：ＮＯ）、再利用する動きベクトルは存在しないため、動きベクトルを利用しない処理に移る（Ｄ）。
【００３２】
Ｂピクチャである場合には（ステップＳ２０４：ＹＥＳ）、予測モードが画面間予測であるか否か（ステップＳ２０５）を判断し、画面間予測である場合には（ステップＳ２０５：ＹＥＳ）、さらに、１方向参照か否か（２方向参照）（ステップＳ２０６）を判断し、それぞれ動きベクトルの参照画像の取得を行なう（ステップＳ２０７、ステップＳ２０８）。
【００３３】
上記構成の画像符号化変換装置によって、変換前のＨ．２６４で符号化されたブロックの動きベクトルが、変換後のＭＰＥＧ−２での条件に合致するとして選ばれた場合には、変換前のＨ．２６４の動きベクトルを用いて変換後のＭＰＥＧ−２で符号化を行うことができるので、動き探索により全ての動きベクトルを求める必要がなくなり、データ変換の処理時間を短縮することができる。
【特許文献１】特開２００６−１８６９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【００３４】
上記従来の画像符号化変換装置によって、Ｈ．２６４からＭＰＥＧ−２へのトランスコードにおいて動きベクトル探索の省略あるいは軽減により符号化演算の負荷を大幅に低減することができる。
【００３５】
しかしながら、従来の画像符号化変換装置による符号方式の変換には、さらに符号化演算の負荷を低減させる余地が残されている。
【００３６】
そこで、本発明は、符号化演算の負荷を従来よりもさらに低減させ、効率的に符号化方式を変換することができる画像符号化変換装置等を提供することを目的とする。
【課題を解決するための手段】
【００３７】
上記目的を達成するために、本発明ではトランスコード時の演算負荷をさらに効果的に低減させる方法としてスキップマクロブロックに関する符号化情報の利用に着目した。
【００３８】
スキップマクロブロックの符号化情報とは、動きベクトル情報がゼロであって、且つ動き補償後の予測マクロブロックと符号化対象マクロブロックとの予測誤差がゼロのマクロブロックを示す符号化情報である。
【００３９】
このため、トランスコードでは、スキップマクロブロックであることを示すコードのみを符号化すればよいため、符号化演算の負荷を大幅に低減させると共にトランスコードによる符号化効率も維持可能である。
【００４０】
ただし、Ｈ．２６４のスキップマクロブロックの条件はＭＰＥＧ−２のそれと異なるため、Ｈ．２６４のスキップマクロブロックのコードをＭＰＥＧ−２のスキップマクロブロックのコードへそのまま変換できるか否かを判定する必要がある。
【００４１】
また、そのままスキップマクロブロックコードとして変換できない場合でも、Ｈ．２６４からＭＰＥＧ−２へ符号化変換で利用できる符号化情報があるかどうかを判定する必要がある。
【００４２】
そしてさらに、Ｈ．２６４のスキップマクロブロックではスライスの最後のマクロブロックがスキップマクロブロックであった場合、スライス最後のマクロブロックをそのままスキップマクロブロックとして符号化することができるが、ＭＰＥＧ−２ではスライスの最初と最後のマクロブロックは必ず符号化する必要がある。
【００４３】
そこで、本発明に係る画像符号化変換装置は、第１の画像符号化方式で符号化された第１の符号化データを第２の画像符号化方式で符号化された第２の符号化データに変換する画像符号化変換装置で、前記第１の符号化データに含まれるデータが既に符号化された既符号化データから予測可能なデータでスキップできることを示すスキップデータであったとき、前記スキップデータで示された前記第１の画像符号化方式におけるスキップの符号化条件が、前記第２の画像符号化方式におけるスキップの符号化条件と一致するか否かを判定するスキップ符号化条件判定手段と、前記スキップ符号化条件判定手段で前記第１の画像符号化方式におけるスキップの符号化条件が前記第２の画像符号化方式におけるスキップの符号化条件と一致すると判定した場合、前記第１の符号化データのスキップデータを前記第２の画像符号化方式におけるスキップデータとして前記第２の符号化データに変換するスキップデータ変換手段とを備えることを特徴とする。
【００４４】
これにより、動きベクトルだけでなく、スキップマクロブロックについての情報も利用して符号化方式が変換されるので、従来よりも演算負荷が軽減される。
【００４５】
ここで、さらに、前記スキップ符号化条件判定手段で前記第１の画像符号化方式におけるスキップの符号化条件が前記第２の画像符号化方式におけるスキップの符号化条件と一致しないと判定した場合、前記第１の画像符号化方式におけるスキップの符号化条件のうち前記第２の画像符号化方式におけるスキップデータ以外の符号化データとして変換できる有効な符号化条件が存在するか否かを所定のルールに従って判定するスキップデータ外符号化条件判定手段と、前記スキップデータ外符号化条件判定手段で有効な符号化条件が存在すると判定した場合、前記第１の画像符号化方式におけるスキップの符号化条件をもとに前記第１の符号化データのスキップデータを前記第２の画像符号化方式におけるスキップ外データとして前記第２の符号化データに変換するスキップデータ外変換手段と、前記スキップデータ外符号化条件判定手段で有効な符号化条件が存在しないと判定した場合、前記第１の符号化データから抽出されたスキップデータに関係なく、前記第１の符号化データを前記第２の画像符号化方式に従って第２の符号化データに変換する第２の符号化変換手段とを備える。
【００４６】
これにより、スキップマクロブロックの符号化条件がそのままでは利用できない場合であっても、他の有効な符号化条件が存在するときにはその有効な符号化条件を利用して符号化方式が変換されるので、第１の符号化データを第２の符号化データへ効率良く変換することが可能となる。
【００４７】
ここで、前記第１の画像符号化方式におけるスキップの符号化条件のうち前記第２の画像符号化方式におけるスキップデータ以外の符号化データとして変換できる有効な符号化条件とは、前記第１の画像符号化方式においてスキップデータとして符号化されたときの動き予測及び符号化参照画像に関する条件を少なくとも含むことを特徴とする。これにより、符号化変換においてスキップデータ以外の符号化データを有効に利用できる。
【００４８】
また、前記第１の符号化データに含まれるデータがスキップデータで且つ符号化開始コードを有する一連のデータ列の最小単位であるスライスの最後の画像分割最小単位であるマクロブロックのデータであった場合、前記スライスの最後のマクロブロックは前記第２の画像符号化方式に従って第２の符号化データへ符号化することを特徴とする。
【００４９】
これにより、第１の符号化データと第２の符号化データにおけるスキップデータを符号化する際の相違が解消される。
【００５０】
なお、本発明は、このような画像符号化変換装置として実現することができるだけでなく、このような画像符号化変換装置が備える特徴的な手段をステップとする画像符号化変換装方法として実現したり、そのステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体として実現したり、このような画像符号化記録装置が備える特徴的な手段を回路として備えるワンチップあるいは複数チップからなる半導体集積回路として実現したりすることもできる。
【発明の効果】
【００５１】
本発明の画像符号化変換装置及び画像符号化変換方法は、スキップデータに関する符号化情報を利用することによって、Ｈ．２６４からＭＰＥＧ−２へのトランスコードにおける符号化演算の負荷を大幅に削減すると共にトランスコードによる符号化効率も維持可能である。
【発明を実施するための最良の形態】
【００５２】
以下に、本発明を実施するための最良の形態について、図面を参照しながら説明する。
図１は、実施の形態における画像符号化変換装置の構成を示すブロック図である。
【００５３】
図１に示すように、画像符号化変換装置１は、外部から入力されるＨ．２６４形式の動画像をＭＰＥＧ−２形式の動画像に変換して出力する装置であって、復号部１０、符号化部２０及びスキップ・動きベクトル構成部４０から構成される。
【００５４】
本実施の形態の画像符号化変換装置１は、スキップ・動きベクトル構成部４０及びスキップ・動きベクトル構成部４０から符号化部２０への出力が異なっていることを除いて、図８に示す従来の画像符号化変換装置１００の構成と同一である。このため、本実施の形態の画像符号化変換装置１を構成する構成要素のうち、従来の画像符号化変換装置１００を構成する構成要素と同じ機能を有する構成要素には、従来の画像符号化変換装置１００を構成する構成要素に割り当てられた符号と同じ符号が割り当てられている。このため、本実施の形態では、スキップ・動きベクトル構成部４０及びスキップ・動きベクトル構成部４０から符号化部２０への出力についてその機能及び動作を中心に説明する。
【００５５】
復号部１０は、図２に示されるようなＨ．２６４形式で符号化された動画像データ（符号化ストリーム）を入力として、動画像データに復号化する。また、符号化部２０は、復号部１０で復号化された動画像データを入力とし、ＭＰＥＧ−２形式の動画像データ（符号化ストリーム）に符号化する。なお、動画像データ（符号化ストリーム）の詳細については、後述する。
【００５６】
このとき本実施の形態における画像符号化変換装置１において特有の処理はスキップ・動きベクトル構成部４０にある。スキップ・動きベクトル構成部４０から符号化部２０の動き補償予測部２８ないしは可変長符号化部２９へ動き情報ないしはスキップ情報のデータを提供することによって、従来の符号化部と比べ符号化演算の負荷を大幅に削減できる点が特徴である。
【００５７】
スキップ・動きベクトル構成部４０は、Ｈ．２６４形式の動画像に含まれる動き情報及びスキップ情報が再利用できるかどうかを判定し、判定結果に応じて動き補償予測部２８及び可変長符号化部２９に再利用のためのデータや指示を送る。
【００５８】
スキップ・動きベクトル構成部４０は、判定部４１、プログラム記憶部４２、動きベクトル予測制御部４３、スキップ判定部４４及びスキップ予測制御部４５から構成される。
【００５９】
プログラム記憶部４２は、可変長復号部１１から供給される復号化情報（符号化時の符号化情報）における動き情報（動き予測モード、参照ピクチャのピクチャタイプ及び動きベクトルなど）及びスキップ情報（スキップマクロブロックに関する情報）から動き補償予測部２８なしいは可変長符号化部２９への処理方法を決定するためのプログラムを予め記憶する。
【００６０】
判定部４１は、プログラム記憶部４２に記憶されているプログラムを実行することにより、動き補償予測部２８ないしは可変長符号化部２９に行わせるべき処理方法を決定する。このとき、動き情報に関する判定については判定部４１で判定し、そこで決定した処理方法の指示を動きベクトル予測制御部４３へ送る。しかし、スキップ情報に関する判定については動き情報と共にさらにスキップ判定部４４へ情報を送り判定させる。
【００６１】
動きベクトル予測制御部４３は、判定部４１で決定された処理方法に応じて動き補償予測部２８に指示を与える。
【００６２】
スキップ判定部４４は、スキップ情報及び動き情報から、Ｈ．２６４の画像符号化方式としてスキップマクロブロックとして符号化されたマクロブロックがＭＰＥＧ−２のスキップマクロブロックと対応するか否か、またＭＰＥＧ−２のスキップマクロブロックとして対応しない場合でも動き情報として利用できる情報がないかを判定する。そして判定し決定した処理方法に応じた指示をスキップ予測制御部４５に送る。
【００６３】
スキップ予測制御部４５は、スキップ判定部４４で決定された処理方法に応じて動き補償予測部２８ないしは可変長符号化部２９に指示を与える。
【００６４】
より具体的にいうと、判定部４１は、動き情報とスキップ情報を可変長復号部１１から受信する。動き情報については参照ピクチャのピクチャタイプと動きベクトルを基に、新しい動き情報（例えば、ＭＰＥＧ−２として利用できる動き予測情報）を作成し、動きベクトル予測制御部４３から符号化部２０の動き補償予測部２８へ送り、この新しい動き情報に基づき符号化部２０で符号化処理を行う。一方、スキップ情報については上記動き情報と共にスキップ判定部４４へ情報を送る。
【００６５】
判定部４１における動き情報に基づく補償予測部２８への指示、すなわちプログラム記憶部４２、判定部４１及び動きベクトル予測制御部４３については、上記従来例の図８のプログラム記憶部３２、判定部３１及び予測制御部３３の構成に対応するものであり、それと同様な機能と動作を有するため、ここではその詳細は省略する。
【００６６】
本実施の形態の画像符号化変換装置の特徴は、スキップ情報を利用してさらに符号化演算負荷の軽減を目的とするため、追加されたスキップ判定部４４及びスキップ予測制御部４５についてその処理を詳しく説明する。
【００６７】
まず、判定部４１からスキップ判定部４４へ供給されるスキップ情報（スキップマクロブロックに関する情報）について、動画像データ（符号化ストリーム）と併せて説明する。
【００６８】
図２は、ビデオストリームのデータ構造を示す図である。
Ｈ．２６４とＭＰＥＧ−２のビデオストリームは、基本的に同じ形をしている。
【００６９】
ビデオストリームは、画像の空間周波数成分に基づいて圧縮されており、画面上の数画素を一つの圧縮単位としている。その圧縮単位をマクロブロックといい、画面は複数のマクロブロックで構成される。このマクロブロックは、例えば、縦１６画素×横１６画素からなり、復号時にも１個単位で復号処理がなされる。
【００７０】
図２（ａ）は、ビデオストリームの構成を示す。ビデオストリームは、複数のＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）で、構成される（図２（ａ）参照）。ＧＯＰは、Ｉピクチャ、Ｂピクチャ、Ｐピクチャという３つのタイプのピクチャデータ（図中のＩ，Ｐ，Ｂ）を１以上含み、先頭には必ずＩピクチャが存在する（図２（ｂ）参照）。
【００７１】
さらに、各ピクチャデータは、ピクチャタイプを含むピクチャヘッダと、複数のスライスから構成される（図２（ｃ）参照）。
【００７２】
なお、このピクチャタイプは、ピクチャデータがＩピクチャであるか、Ｂピクチャ、Ｐピクチャであるかを示す。ただし、Ｈ．２６４では、ピクチャタイプそのものが入っているのではなく、ピクチャに含まれるスライスタイプが入っており、それらのスライスタイプからピクチャタイプを求めることになる。
【００７３】
スライスは、スライスヘッダと、複数のマクロブロックとを有する（図２（ｄ）参照）。スライスヘッダにはスライスタイプが含まれる。このスライスタイプは、スライスデータがＩスライスであるか、Ｂスライス、Ｐスライスであるかを示す。
【００７４】
ただし、このスライスタイプは、Ｈ．２６４のデータにのみ存在する。すなわち、Ｈ．２６４では、ピクチャに複数タイプのスライスが存在するが、ＭＰＥＧ−２では、１種類のスライスタイプのみが存在する。
【００７５】
次に、マクロブロック２３００は、図２（ｅ）に示されるように、マクロブロックタイプ２３１０、動き情報２３２０及び画面間予測誤差２３３０で構成される。
【００７６】
マクロブロックタイプは、このマクロブロックが画面間予測が必要なものか否か、また、１方向参照なのか２方向参照なのか等の情報を表すものであり、このタイプによって動き情報の形式も異なることになる。
【００７７】
動き情報は、図２（ｆ）に示されるように、参照するピクチャを特定する参照ピクチャ２３２１と、動きベクトル２３２２とで構成される。
【００７８】
図２（ｆ）では、２方向参照の動き情報の例を示している。
「ｒｅｆ．ｉｄｘ０」と「ｒｅｆ．ｉｄｘ１」とは、参照ピクチャを示す番号であり、「ｍｖ０」と「ｍｖ１」とは、参照ピクチャそれぞれにおける動きベクトルを表す。
【００７９】
ただし、この動き情報の例はＨ．２６４規格におけるものであり、ＭＰＥＧ−２規格では、参照ピクチャを示す番号であるところの「ｒｅｆ．ｉｄｘ０」等は存在しない。
【００８０】
ＭＰＥＧ−２では、参照可能なピクチャが決まっているため、データとして持っておく必要がないからである。
【００８１】
ここで、スキップマクロブロックとは、スキップされるマクロブロックのことで、情報をなにも必要としないマクロブロックのことである。また、スキップマクロブロックは、Ｐピクチャ（あるいはＰスライス）及びＢピクチャ（あるいはＢスライス）で指定される符号化モードで、Ｉピクチャ（あるいいはＩスライス）ではスキップされるマクロブロックはない。
【００８２】
ところで、Ｈ．２６４とＭＰＥＧ−２におけるスキップマクロブロックの符号化モード（スキップモード）の定義が幾分異なる。
【００８３】
ＭＰＥＧ−２のスキップモードでは、Ｐピクチャ（あるいはＰスライス）の場合、一つ前のマクロブロック（対象マクロブロックの左マクロブロック）と前方向予測において動きベクトルが同じ（その動きベクトルとの差分がゼロ）で、符号化不要（ＤＣＴ係数のコードをもたない）のマクロブロックである。また、Ｂピクチャ（あるいはＢスライス）の場合、一つ前のマクロブロックと予測方向（前方向、後方向、双方向）と動きベクトルが同じ（その動きベクトルとの差分がゼロ）で符号化不要のマクロブロックである。
【００８４】
他方、Ｈ．２６４のスキップモードは、Ｐピクチャ（あるいはＰスライス）の場合、図３に示すように、対象マクロブロックの近傍（左（Ａ）、上（Ｂ）及び右上（Ｃ）、なお右上が利用不可の場合、左上（Ｄ））マクロブロックと前方向予測（予測に使う参照ピクチャがリスト０（Ｌｉｓｔ＝０）として割り当てられる）において動きベクトルのメディアン予測（近傍マクロブロックの動きベクトルのメディアン値）によって得られた予測動きベクトル（以下、ｐｍｖと呼ぶ）と同じ（そのｐｍｖと対象マクロブロックの動きベクトル（ｍｖ）とが同じで差分ゼロ）で、符号化不要（ＤＣＴ係数のコードをもたない）のマクロブロックである。
【００８５】
また、Ｂピクチャ（あるいはＢスライス）の場合、スキップモードは前方向予測（予測に使う参照ピクチャはＬｉｓｔ＝０）、後方向予測（予測に使う参照ピクチャはリスト１（Ｌｉｓｔ＝１））、あるいは双方向予測（予測に使う参照ピクチャはＬｉｓｔ＝０及びＬｉｓｔ＝１）について異なる。
【００８６】
前方向予測ないし後方向予測については、前方あるいは後方の参照ピクチャについて、対象マクロブロックの近傍（左（Ａ）、上（Ｂ）及び右上（Ｃ）、なお右上が利用不可の場合左上（Ｄ））マクロブロックと前方向予測ないし後方向予測において動きベクトルのメディアン予測よって得られた予測動きベクトルと同じで、符号化不要のマクロブロックである。
【００８７】
双方向予測については、基本的にダイレクトモードと呼ばれる動き予測モードに基づく予測動きベクトルとの差分がゼロで、且つ動き補償後の残差ＤＣＴ符号コードがゼロの場合、スキップマクロブロックとなる。ダイレクトモードには空間ダイレクトモードと時間第レ区モードの２種類がある。これについては、Ｈ．２６４のスキップマクロブロックをＭＰＥＧ−２への変換する場合の説明で後述する。
【００８８】
また、Ｈ．２６４とＭＰＥＧ−２では、スキップモードを可変長符号化するそのシンタックスも異なる。
【００８９】
Ｈ．２６４のスキップマクロブロックではスライスの最後のマクロブロックがスキップマクロブロックであった場合、スライス最後のマクロブロックをそのままスキップマクロブロックとして符号化することができるが、ＭＰＥＧ−２ではスライスの最初と最後のマクロブロックは必ず符号化する必要がある（つまり、スキップマクロブロックとすることが許されない）。
【００９０】
判定部４１からスキップ判定部４４へ、上記スキップ情報と動き情報が提供される。スキップ判定部４４及びスキップ予測制御部４５は、プログラム記憶部４２に記憶されるプログラムに基づき、図５に示すフローチャートの手順で、Ｈ．２６４のスキップマクロブロックをＭＰＥＧ−２の符号化コードへ変換する。
【００９１】
以下、図４及び図５に示すフローチャートに基づき説明する。
プログラムの内容は、従来の処理（図９参照）の他、さらに図４に示されるステップＳ１０〜Ｓ１４を含む。
【００９２】
この追加されたプログラムでは、まず、Ｈ．２６４をＭＰＥＧ−２へ変換する際に、Ｈ．２６４に含まれるデータが既に符号化された既符号化データから予測可能なデータでスキップできることを示すスキップデータ（スキップモード）であったとき、そのスキップの符号化条件が、ＭＰＥＧ−２におけるスキップモードの符号化条件と一致するか否かを判定する（ステップＳ１０）。
【００９３】
次に、上記スキップの符号化条件が一致すると判定された場合（ステップＳ１０でＹｅｓ）、ＭＰＥＧ−２にけるスキップデータとして変換する（ステップＳ１１）。他方、上記スキップモードの符号化条件がＭＰＥＧ−２と一致しないと判定された場合（ステップＳ１０でＮｏ）、Ｈ．２６４におけるスキップモードの符号化条件のうちＭＰＥＧ−２におけるスキップデータ（スキップモード）以外の符号化データ（符号化モード）として変換できる有効な符号化条件が存在するか否かを判定する（ステップＳ１２）。
【００９４】
その結果、有効な符号化条件が存在すると判定された場合には（ステップＳ１２でＹｅｓ）、その符号化条件を利用してＭＰＥＧ−２で符号化する（ステップＳ１３）。具体的には、Ｈ．２６４においてスキップデータ（スキップモード）として符号化されたときの動き予測及び符号化参照画像に関する符号化条件などを抽出し、ＭＰＥＧ−２での動きベクトル探索の演算負荷を軽減させる。
【００９５】
しかし、スキップ外の符号化条件として有効でないと判定された場合（ステップＳ１２でＮｏ）、具体的には動き予測モードへの符号化変換を軽減する符号化条件ではない場合には、Ｈ．２６４から抽出されたスキップデータに関係なく、ＭＰＥＧ−２の画像符号化方式に従って符号化変換する（ステップＳ１４）。
【００９６】
なお、上記プログラムには、Ｈ．２６４に含まれるデータがスキップデータで且つ符号化開始コードを有する一連のデータ列の最小単位であるスライスの最後のマクロブロックがスキップマクロブロックであった場合、Ｈ．２６４からＭＰＥＧ−２への変換において、そのスライスの最後のスキップマクロブロックをＭＰＥＧ−２ではスキップマクロブロックせずに符号化するステップも含まれる。
【００９７】
以下、その詳細なフロー（図５）を説明する。
Ｈ．２６４のストリームが入力されると（ステップＳ１０１）、判定部４１は、復号化ストリームのピクチャの先頭に付されているＡＵデリミタからピクチャに含まれるスライスのスライスタイプを示す情報であるＰｒｉｍａｒｙ＿ｐｉｃ＿ｔｙｐｅを取得し、スライスタイプからピクチャタイプを特定し、Ｐ  ｓｌｉｃｅと、Ｂ  ｓｌｉｃｅとのいずれかであるか否かを判断する（ステップＳ１０２）。
【００９８】
判断の結果、Ｐ  ｓｌｉｃｅと、Ｂ  ｓｌｉｃｅとのいずれでもない場合、つまりＩピクチャである場合には（ステップＳ１０２でＮｏ）、スキップモードは存在しないため、動きベクトル予測制御部４３による制御の下において、符号化部２０は、ＭＰＥＧ−２のマクロブロックとして符号化処理を実行する（ステップＳ１２３）。
【００９９】
特定したピクチャタイプがＰ  ｓｌｉｃｅと、Ｂ  ｓｌｉｃｅとのいずれかである場合（ステップＳ１０２でＹｅｓ）、判定部４１は、可変長復号部１１により分離された符号化情報から、対象ブロックのマクロブロックを取得し、マクロブロックタイプを取得してそれらに示されている予測モードからスキップマクロブロックであるか否かを判定する（ステップＳ１０３）。スキップマクロブロックである場合には（ステップＳ１０３でＹｅｓ）、判定部４１は、スキップモードに関する情報と、動き予測に関する情報をスキップ判定部４４に供給する。これに対してスキップマクロブロックでない場合（ステップＳ１０３でＮｏ）には、つまりスキップモード外の予測モードについては、判定部４１は、プログラム記憶部４２のプログラムに基づき予測モードを判定し、動きベクトル予測制御部４３へ指示を送る（ステップＳ１２２）。なお、指示を受けた動きベクトル予測制御部４３の動作については、従来の処理（図９参照）と同じ処理を実行するので、その詳細な説明を省略する。
【０１００】
他方、スキップマクロブロックとして判定されたマクロブロックについては、スキップ判定部４４は、スキップマクロブロックが、Ｐスライスのスキップマクロブロック（「Ｐ＿ＭＢ」とも記す。）と、Ｂスライスのスキップマクロブロック（「Ｂ＿ＭＢ」とも記す。）とのいずれであるかを判定する（ステップＳ１０４）。
【０１０１】
Ｐスライスのスキップマクロブロックと判定されたマクロブロック（ステップＳ１０４でＰ＿ＭＢ）は、ステップＳ１０５からステップＳ１１２の処理が実行される。
【０１０２】
すなわち、スキップ判定部４４は、まずｌｉｓｔ０＆ｒｅｆ＿ｉｄｘ＝０であるか否か判断する（ステップＳ１０５）。つまり、スキップ判定部４４は、前方向に最も近い直近のピクチャを参照ピクチャとしているか否かを判断する。判断の結果、ｌｉｓｔ０＆ｒｅｆ＿ｉｄｘ＝０である場合（ステップＳ１０５でＹｅｓ）、スキップ判定部４４は、ｐｍｖ＝ｍｖＡであるか否か判断する（ステップＳ１０６）。つまり、スキップ判定部４４は、対象ＭＢに隣接する３つのＭＢの動きベクトルｍｖＡ〜ｍｖＣのメディアン値ｐｍｖがｍｖＡであるか否か判断する。
【０１０３】
判断の結果、ｐｍｖ＝ｍｖＡである場合（ステップＳ１０６でＹｅｓ）、スキップ判定部４４は、Ｐｍｖ−ｍｖ＝０であるか否か判断する（ステップＳ１０７）。つまり、スキップ判定部４４は、メディアン値と対象ＭＢの動きベクトルが同じであるか否か判断する。
【０１０４】
判断の結果、Ｐｍｖ−ｍｖ＝０である場合（ステップＳ１０７でＹｅｓ）、スライス最後のＭＢであるか否か判断する（ステップＳ１０８）。
【０１０５】
判断の結果、スライス最後のＭＢである場合（ステップＳ１０８でＹｅｓ）、ＭＰＥＧ−２ではスキップできないため、スキップ予測制御部４５は、一つ前のマクロブロックの動きベクトルと前方参照ピクチャの参照ＭＢの符号化コードをコピーする（ステップＳ１０９）。
【０１０６】
これに対して、判断の結果、スライス最後のＭＢでない場合（ステップＳ１０８でＮｏ）、Ｈ．２６４とＭＰＥＧ−２との間で互換性が取れるので、スキップ予測制御部４５は、ＭＰＥＧ−２  Ｓｋｉｐｐｅｄ  ＭＢとして符号化する（ステップＳ１１０）。これにより、動きベクトルだけでなく、スキップマクロブロックについての情報も利用して符号化方式が変換されるので、従来よりも少ない処理負荷が軽減される。
【０１０７】
また、ｐｍｖ＝ｍｖＡでない場合（ステップＳ１０６でＮｏ）及びＰｍｖ−ｍｖ＝０でない場合（ステップＳ１０７でＮｏ）のいずれかの場合には、スキップ予測制御部４５の制御の下、符号化部２０は、ｐｍｖを起点に動きベクトルを探索し、ＭＰＥＧ−２のＭＢとして符号化する（ステップＳ１１１）。これにより、スキップマクロブロックの符号化条件がそのままでは利用できない場合であっても、他の有効な符号化条件が存在するときにはその有効な符号化条件を利用して符号化方式が変換されるので、第１の符号化データを第２の符号化データへ効率良く変換することが可能となる。
【０１０８】
また、ステップＳ１０５において、ｌｉｓｔ０＆ｒｅｆ＿ｉｄｘ＝０でない場合（ステップＳ１０５でＮｏ）、スキップ予測制御部４５の制御の下、符号化部２０は、ＭＰＥＧ−２のＭＢとして符号化する（ステップＳ１１２）。
【０１０９】
他方、Ｂスライスのスキップマクロブロックと判定されたマクロブロック（ステップＳ１０４でＰ＿ＭＢ）は、ステップＳ１１３からステップＳ１２１の処理が実行される。
【０１１０】
すなわち、スキップ判定部４４は、まずｄｉｒｅｃｔ  ｍｏｄｅである可否か判断する（ステップＳ１１３）。判断の結果、ｄｉｒｅｃｔ  ｍｏｄｅでない場合（ステップＳ１１３でＮｏ）、スキップ判定部４４は、ｌｉｓｔ０＆ｒｅｆ＿ｉｄｘ＝０  ａｎｄ／ｏｒ  ｌｉｓｔ１＆ｒｅｆ＿ｉｄｘ＝０であるか否か判断する（ステップＳ１１４）。つまり、ｌｉｓｔ０＆ｒｅｆ＿ｉｄｘ＝０と、ｌｉｓｔ１＆ｒｅｆ＿ｉｄｘ＝０と、ｌｉｓｔ０＆ｒｅｆ＿ｉｄｘ＝０で、且つｌｉｓｔ１＆ｒｅｆ＿ｉｄｘ＝０との３つのいずれかであるか否かを判断する。
【０１１１】
判断の結果、ｌｉｓｔ０＆ｒｅｆ＿ｉｄｘ＝０  ａｎｄ／ｏｒ  ｌｉｓｔ１＆ｒｅｆ＿ｉｄｘ＝０である場合（ステップＳ１１４）、スキップ判定部４４は、ｐｍｖ＝ｍｖＡであるか否か判断する（ステップＳ１１５）。
【０１１２】
判断の結果、ｐｍｖ＝ｍｖＡである場合（ステップＳ１１５でＹｅｓ）、スキップ判定部４４は、Ｐｍｖ−ｍｖ＝０であるか否か判断する（ステップＳ１１６）。判断の結果、Ｐｍｖ−ｍｖ＝０である場合（ステップＳ１１６でＹｅｓ）、スキップ判定部４４は、スライス最後のＭＢであるか否か判断する（ステップＳ１１７）。判断の結果、スライス最後のＭＢである場合（ステップＳ１１７でＹｅｓ）、スキップ予測制御部４５の制御の下、符号化部２０は、前方参照ピクチャの参照ＭＢの符号化コードをコピーする（ステップＳ１１８）。
【０１１３】
これに対して、判断の結果、スライス最後のＭＢでない場合（ステップＳ１１７でＮｏ）、すなわち、スキップデータである場合、Ｈ．２６４とＭＰＥＧ−２との間で互換性が取れるので、スキップ予測制御部４５の制御の下、符号化部２０は、ＭＰＥＧ−２  Ｓｋｉｐｐｅｄ  ＭＢとして符号化する（ステップＳ１１９）。これにより、スキップマクロブロックについての情報も利用して符号化方式が変換されるので、従来よりも少ない処理負荷が軽減される。
【０１１４】
また、ｐｍｖ＝ｍｖＡでない場合（ステップＳ１１５でＮｏ）及びＰｍｖ−ｍｖ＝０でない場合（ステップＳ１１６でＮｏ）のいずれかの場合には、ｐｍｖを起点に動きベクトルを探索し、ＭＰＥＧ−２のＭＢとして符号化する（ステップＳ１２０）。これにより、スキップマクロブロックの符号化条件がそのままでは利用できない場合であっても、他の有効な符号化条件が存在するときにはその有効な符号化条件を利用して符号化方式が変換されるので、第１の符号化データを第２の符号化データへ効率良く変換することが可能となる。
【０１１５】
また、ステップＳ１１４において、ｌｉｓｔ０＆ｒｅｆ＿ｉｄｘ＝０  ａｎｄ／ｏｒ  ｌｉｓｔ１＆ｒｅｆ＿ｉｄｘ＝０でない場合（ステップＳ１１４でＮｏ）、スキップ予測制御部４５の制御の下、符号化部２０は、ＭＰＥＧ−２のＭＢとして符号化する（ステップＳ１１２）。
【０１１６】
また、ステップＳ１１３において、ｄｉｒｅｃｔ  ｍｏｄｅである場合（ステップＳ１１３でＹｅｓ）、スキップ予測制御部４５の制御の下、符号化部２０は、前方及び後方参照ピクチャの動きベクトルを参照し、動きベクトルを探索し、ＭＰＥＧ−２のＭＢとして符号化する（ステップＳ１２１）。
【０１１７】
ここで、データ内に存在しないが、マクロブロックを復号する際に動的に求められる動きベクトルを再利用する場合について説明する。
【０１１８】
Ｈ．２６４では、動きベクトルがなくても参照画像を参照することができるダイレクトモードが定義されている。ダイレクトモードは、圧縮効率を上げるために設けられたものであり、動き情報を他のブロックの動き情報から予測生成する符号化モードである。これにより、動き情報に関するデータの量を減らすことができる。
【０１１９】
一方、ＭＰＥＧ−２では、ダイレクトモードがサポートされておらず、Ｈ．２６４からの変換において、再利用する動きベクトルがないので、参照画像を参照させることができない。そこで、このステップＳ１２１においては、Ｈ．２６４の復号時に算出した仮想的な動きベクトルをＭＰＥＧ−２の動きベクトルとして利用するものである。すなわち、Ｈ．２６４では存在していなかった動きベクトルを算出して、ＭＰＥＧ−２で付加することとなる。
【０１２０】
ダイレクトモードには、空間（スペーシャル）ダイレクトモードと、時間（テンポラル）ダイレクトモードとの２種類ある。
【０１２１】
図６は、空間ダイレクトモードである場合における、ＭＰＥＧ−２用の動き情報生成を説明するための図である。
【０１２２】
空間ダイレクトモードは、周辺位置のマクロブロックの動きベクトル情報を利用して、対象となるマクロブロックの動きベクトルを仮想的に求めるダイレクトモードである。より詳しくは、空間ダイレクトモードは、基本的に、対象ブロックの左側のマクロブロック１７０１と上のマクロブロック１７０２と右上のマクロブロック１７０３との３つのマクロブロックを利用して予測を行う。予測の方法は、これら３つのマクロブロック（１７０１、１７０２、１７０３）の動きベクトルの中で、時間的に最も近い過去の参照画像を指す動きベクトルと、時間的に最も近い将来の動きベクトルとを選択し、対象ブロックの仮想動きベクトルとして予測する。対象ブロックは、２方向参照となる。
【０１２３】
図６（ａ）では、３つのマクロブロックの動きベクトルは、それぞれに、マクロブロック１７０１は「ＭＶ５」、マクロブロック１７０２は「ＭＶ１」、マクロブロック１７０３は「ＭＶ２」となる。その中で、時間的に最も近い過去の参照画像を指す動きベクトル「ＭＶ１」と、時間的に最も近い将来の動きベクトル「ＭＶ２」とを選択し、この動きベクトルを平行移動し、そのまま対象ブロックの動きベクトルとする。例えば、対象ブロックの動きベクトルは、ＭＰＥＧ−２においても「ＭＶ３」と「ＭＶ４」とになる（図６（ｂ）参照）。
【０１２４】
「ＭＶ３」はベクトルとしての値は「ＭＶ１」と同じで、「ＭＶ４」も「ＭＶ２」と同じである。また、参照画像は「ＭＶ１」「ＭＶ２」と同じ参照画像１と参照画像２である。参照画像と動きベクトルから、参照ブロック１と参照ブロック２が定まることになる。
【０１２５】
図７は、時間ダイレクトモードである場合における、ＭＰＥＧ−２用の動き情報生成について説明するための図である。
【０１２６】
時間ダイレクトモードは、周辺時間のマクロブロックの動き情報を利用して、対象ブロックの動きベクトルを仮想的に求めるダイレクトモードである。より詳しくは、時間ダイレクトモードは、基本的に、時間的に最も近い将来の参照画像（参照画像２）において、対象ブロックと同じ位置のマクロブロック１８０１を指す動きベクトルから、対象のマクロブロックに対する動きベクトルを推測して、対象ブロックの仮想動きベクトルを求める。対象ブロックは、２方向参照となる。
【０１２７】
図７（ａ）に示されるように、仮想動きベクトルの求め方は、マクロブロック１８０１の動きベクトル「ＭＶ１」を参照画像１〜参照画像２の時間間隔と参照画像１〜対象画像の時間間隔との比から、「ＭＶ２」と「ＭＶ３」を求める。この求めた「ＭＶ２」と「ＭＶ３」を、対象ブロックの動きベクトルとする（図７（ｂ））。この場合、「ＭＶ２」の参照ブロックは、マクロブロック１８０２と同じ参照画像１の参照ブロック１となり、「ＭＶ３」の参照ブロックは、マクロブロック１８０１と同じ参照画像２の参照ブロック２となる。
【０１２８】
したがって、ステップＳ１２１においても、マクロブロックを復号する際に動的に求められる動きベクトルを再利用する簡略化された僅かな処理で、ＭＰＥＧ−２用の符号化データに変換することができる。
【０１２９】
なお、上記した実施の形態では、Ｈ．２６４の符号化ストリームからＭＰＥＧ−２の符号化ストリームに変換する場合について説明したが、これに限られず、他の第１の画像符号化方式（例えば、ＭＰＥＧ−４等）で符号化された第１の符号化データを第２の画像符号化方式（例えば、ＭＰＥＧ−２あるいはＭＰＥＧ−１等）で符号化された第２の符号化データに変換する場合に、本願発明を適用できるのはいうまでもない。
【産業上の利用可能性】
【０１３０】
本発明の画像符号化変換装置は、家庭内ＬＡＮ（ホームネットワーク）に接続されるＡＶ機器や、パソコン、情報家電等に適用することができる。
【図面の簡単な説明】
【０１３１】
【図１】実施の形態における画像符号化変換装置の構成を示すブロック図である。
【図２】ビデオストリームのデータ構造を示す図である。
【図３】Ｈ．２６４とＭＰＥＧ−２におけるスキップモードの相違を説明するための図である。
【図４】スキップモードにおける変換処理の要点を示すフローチャートである。
【図５】変換処理の詳細を示すフローチャートである。
【図６】空間ダイレクトモードである場合における、ＭＰＥＧ−２用の動き情報生成を説明するための図である。
【図７】時間ダイレクトモードである場合における、ＭＰＥＧ−２用の動き情報生成について説明するための図である。
【図８】従来の画像符号化変換装置の構成を示すブロック図である。
【図９】図８に示されるプログラム記憶部３２に記憶されるプログラムの手順を示すフローチャートである。
【符号の説明】
【０１３２】
１  画像符号化変換装置
１０  復号部
１１  可変長復号部
１２，２４  逆量子化部
１３，２５  逆直交変換部
１４，２６  加算部
１５，２７  フレームメモリ
１６  動き補償部
２０  符号化部
２１  減算部
２２  直交変換部
２３  量子化部
２８  動き補償予測部
２９  可変長符号化部
４０  スキップ・動きベクトル構成部
４１  判定部
４２  プログラム記憶部
４３  動きベクトル予測制御部
４４  スキップ判定部
４５  スキップ予測制御部
【図１】
2008148060.tif 000003
【図２】
2008148060.tif 000004
【図３】
2008148060.tif 000005
【図４】
2008148060.tif 000006
【図５】
2008148060.tif 000007
【図６】
2008148060.tif 000008
【図７】
2008148060.tif 000009
【図８】
2008148060.tif 000010
【図９】
2008148060.tif 000011