(57)【特許請求の範囲】
【請求項１】
イントラ符号化及びインター符号化により生成された映像符号化データのビットストリームを入力として、規定の大きさのブロックを単位にして、そのビットストリームを復号して映像信号を生成する映像信号生成装置であって、
前記ビットストリームに含まれる復号対象ブロックについての符号化情報を復号する復号手段と、
前記符号化情報に基づいて、復号対象ブロックと同じ大きさを持つ１ビットプレーン上の規定のビット位置に、それぞれ規定されたビット長の、同期用固定符号領域と、復号対象ブロック巡回番号領域と、ピクチャ符号化情報記述領域と、スライス符号化情報記述領域と、スライスタイプ領域と、復号対象ブロック・イントラ符号領域と、ブロック分割単位フラグ領域と、ブロックタイプ領域とからなる共通領域、および、前記復号対象ブロック・イントラ符号領域の情報がイントラ符号化を示している場合とインター符号化を示している場合とで異なるデータフォーマットの符号化情報が記述される規定されたビット長の切替解釈領域を有する符号化情報フォーマットに従って、前記同期用固定符号領域に、所定値の同期用固定符号を書き込み、前記復号対象ブロック巡回番号領域に、画面内における復号対象ブロックの位置を示す復号対象ブロック巡回番号を書き込み、前記ピクチャ符号化情報記述領域に、復号対象ブロックに割り付けられたピクチャ符号化情報を書き込み、前記スライス符号化情報記述領域に、復号対象ブロックに割り付けられたスライス符号化情報を書き込み、前記スライスタイプ領域に、復号対象ブロックのスライス符号化タイプを書き込み、前記復号対象ブロック・イントラ符号領域に、復号対象ブロックがイントラで符号化されたのかインターで符号化されたのかを示すフラグ値を書き込み、前記ブロック分割単位フラグ領域および前記ブロックタイプ領域に、復号対象ブロックの符号化分割形態を示す情報を書き込み、さらに、前記切替解釈領域に、復号対象ブロックがイントラ符号化で符号化された場合にはイントラ符号化に合わせたデータフォーマットに従ってイントラ符号化の符号化情報を書き込み、インター符号化で符号化された場合にはインター符号化に合わせたデータフォーマットに従ってインター符号化の符号化情報を書き込む書込手段と、
前記１ビットプレーンと復号対象ブロックの復号画像とを重畳することで映像信号を生成する生成手段とを備えることを、
特徴とする映像信号生成装置。
【請求項２】
イントラ符号化及びインター符号化により生成された映像符号化データのビットストリームを入力として、規定の大きさのブロックを単位にして、そのビットストリームを復号して映像信号を生成する映像信号生成装置であって、
前記ビットストリームに含まれる復号対象ブロックについての符号化情報を復号する復号手段と、
前記符号化情報に基づいて、復号対象ブロックと同じ大きさを持つ１ビットプレーン上の規定のビット位置に、それぞれ規定されたビット長の、同期用固定符号領域と、復号対象ブロック巡回番号領域と、ピクチャ符号化情報記述領域と、スライス符号化情報記述領域と、スライスタイプ領域と、復号対象ブロック・イントラ符号領域と、ブロック分割単位フラグ領域と、ブロックタイプ領域と、双方向予測フラグ領域とからなる共通領域、および、前記復号対象ブロック・イントラ符号領域の情報がイントラ符号化を示している場合とインター符号化を示している場合とで異なるデータフォーマットの符号化情報が記述される規定されたビット長の切替解釈領域を有する符号化情報フォーマットに従って、前記同期用固定符号領域に、所定値の同期用固定符号を書き込み、前記復号対象ブロック巡回番号領域に、画面内における復号対象ブロックの位置を示す復号対象ブロック巡回番号を書き込み、前記ピクチャ符号化情報記述領域に、復号対象ブロックに割り付けられたピクチャ符号化情報を書き込み、前記スライス符号化情報記述領域に、復号対象ブロックに割り付けられたスライス符号化情報を書き込み、前記スライスタイプ領域に、復号対象ブロックのスライス符号化タイプを書き込み、前記復号対象ブロック・イントラ符号領域に、復号対象ブロックがイントラで符号化されたのかインターで符号化されたのかを示すフラグ値を書き込み、前記ブロック分割単位フラグ領域および前記ブロックタイプ領域に、復号対象ブロックの符号化分割形態を示す情報を書き込み、前記双方向予測フラグ領域に、復号対象ブロックまたはそのサブブロックについて、双方向予測で符号化されたのか片方向予測で符号化されたのかを示す情報を書き込み、さらに、前記切替解釈領域に、復号対象ブロックがイントラ符号化で符号化された場合にはイントラ符号化に合わせたデータフォーマットに従ってイントラ符号化の符号化情報を書き込み、インター符号化で符号化された場合にはインター符号化に合わせたデータフォーマットに従ってインター符号化の符号化情報を書き込む書込手段と、
前記１ビットプレーンと復号対象ブロックの復号画像とを重畳することで映像信号を生成する生成手段とを備えることを、
特徴とする映像信号生成装置。
【請求項３】
請求項１又は２に記載の映像信号生成装置において、
前記書込手段は、復号対象ブロックの符号化分割形態に応じて前記符号化情報のデータ量が大きくなることで、前記符号化情報が前記切替解釈領域に収まらない場合には、その符号化分割形態に合わせたデータフォーマットに従って、前記符号化情報の一部を省略した形で前記切替解釈領域に書き込むことを、
特徴とする映像信号生成装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の映像信号生成装置において、
前記書込手段は、前記ピクチャ符号化情報記述領域に、復号対象ブロックが属するピクチャについての符号化情報の一部を書き込むことを、
特徴とする映像信号生成装置。
【請求項５】
イントラ符号化及びインター符号化により生成された映像符号化データのビットストリームを入力として、規定の大きさのブロックを単位にして、そのビットストリームを復号して映像信号を生成する映像信号生成方法であって、
前記ビットストリームに含まれる復号対象ブロックについての符号化情報を復号する過程と、
前記符号化情報に基づいて、復号対象ブロックと同じ大きさを持つ１ビットプレーン上の規定のビット位置に、それぞれ規定されたビット長の、同期用固定符号領域と、復号対象ブロック巡回番号領域と、ピクチャ符号化情報記述領域と、スライス符号化情報記述領域と、スライスタイプ領域と、復号対象ブロック・イントラ符号領域と、ブロック分割単位フラグ領域と、ブロックタイプ領域とからなる共通領域、および、前記復号対象ブロック・イントラ符号領域の情報がイントラ符号化を示している場合とインター符号化を示している場合とで異なるデータフォーマットの符号化情報が記述される規定されたビット長の切替解釈領域を有する符号化情報フォーマットに従って、前記同期用固定符号領域に、所定値の同期用固定符号を書き込み、前記復号対象ブロック巡回番号領域に、画面内における復号対象ブロックの位置を示す復号対象ブロック巡回番号を書き込み、前記ピクチャ符号化情報記述領域に、復号対象ブロックに割り付けられたピクチャ符号化情報を書き込み、前記スライス符号化情報記述領域に、復号対象ブロックに割り付けられたスライス符号化情報を書き込み、前記スライスタイプ領域に、復号対象ブロックのスライス符号化タイプを書き込み、前記復号対象ブロック・イントラ符号領域に、復号対象ブロックがイントラで符号化されたのかインターで符号化されたのかを示すフラグ値を書き込み、前記ブロック分割単位フラグ領域および前記ブロックタイプ領域に、復号対象ブロックの符号化分割形態を示す情報を書き込み、さらに、前記切替解釈領域に、復号対象ブロックがイントラ符号化で符号化された場合にはイントラ符号化に合わせたデータフォーマットに従ってイントラ符号化の符号化情報を書き込み、インター符号化で符号化された場合にはインター符号化に合わせたデータフォーマットに従ってインター符号化の符号化情報を書き込む過程と、
前記１ビットプレーンと復号対象ブロックの復号画像とを重畳することで映像信号を生成する過程とを備えることを、
特徴とする映像信号生成方法。
【請求項６】
イントラ符号化及びインター符号化により生成された映像符号化データのビットストリームを入力として、規定の大きさのブロックを単位にして、そのビットストリームを復号して映像信号を生成する映像信号生成方法であって、
前記ビットストリームに含まれる復号対象ブロックについての符号化情報を復号する過程と、
前記符号化情報に基づいて、復号対象ブロックと同じ大きさを持つ１ビットプレーン上の規定のビット位置に、それぞれ規定されたビット長の、同期用固定符号領域と、復号対象ブロック巡回番号領域と、ピクチャ符号化情報記述領域と、スライス符号化情報記述領域と、スライスタイプ領域と、復号対象ブロック・イントラ符号領域と、ブロック分割単位フラグ領域と、ブロックタイプ領域と、双方向予測フラグ領域とからなる共通領域、および、前記復号対象ブロック・イントラ符号領域の情報がイントラ符号化を示している場合とインター符号化を示している場合とで異なるデータフォーマットの符号化情報が記述される規定されたビット長の切替解釈領域を有する符号化情報フォーマットに従って、前記同期用固定符号領域に、所定値の同期用固定符号を書き込み、前記復号対象ブロック巡回番号領域に、画面内における復号対象ブロックの位置を示す復号対象ブロック巡回番号を書き込み、前記ピクチャ符号化情報記述領域に、復号対象ブロックに割り付けられたピクチャ符号化情報を書き込み、前記スライス符号化情報記述領域に、復号対象ブロックに割り付けられたスライス符号化情報を書き込み、前記スライスタイプ領域に、復号対象ブロックのスライス符号化タイプを書き込み、前記復号対象ブロック・イントラ符号領域に、復号対象ブロックがイントラで符号化されたのかインターで符号化されたのかを示すフラグ値を書き込み、前記ブロック分割単位フラグ領域および前記ブロックタイプ領域に、復号対象ブロックの符号化分割形態を示す情報を書き込み、前記双方向予測フラグ領域に、復号対象ブロックまたはそのサブブロックについて、双方向予測で符号化されたのか片方向予測で符号化されたのかを示す情報を書き込み、さらに、前記切替解釈領域に、復号対象ブロックがイントラ符号化で符号化された場合にはイントラ符号化に合わせたデータフォーマットに従ってイントラ符号化の符号化情報を書き込み、インター符号化で符号化された場合にはインター符号化に合わせたデータフォーマットに従ってインター符号化の符号化情報を書き込む過程と、
前記１ビットプレーンと復号対象ブロックの復号画像とを重畳することで映像信号を生成する過程とを備えることを、
特徴とする映像信号生成方法。
【請求項７】
請求項５又は６に記載の映像信号生成方法において、
前記書き込む過程では、復号対象ブロックの符号化分割形態に応じて前記符号化情報のデータ量が大きくなることで、前記符号化情報が前記切替解釈領域に収まらない場合には、その符号化分割形態に合わせたデータフォーマットに従って、前記符号化情報の一部を省略した形で前記切替解釈領域に書き込むことを、
特徴とする映像信号生成方法。
【請求項８】
請求項５ないし７のいずれか１項に記載の映像信号生成方法において、
前記書き込む過程では、前記ピクチャ符号化情報記述領域に、復号対象ブロックが属するピクチャについての符号化情報の一部を書き込むことを、
特徴とする映像信号生成方法。
【請求項９】
請求項１ないし４のいずれか１項に記載の映像信号生成装置を構成する手段としてコンピュータを機能させるための映像信号生成プログラム。
【請求項１０】
請求項１ないし４のいずれか１項に記載の映像信号生成装置を構成する手段としてコンピュータを機能させるための映像信号生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イントラ符号化及びインター符号化により生成された映像符号化データのビットストリームを復号して映像信号を生成する映像信号生成装置およびその方法と、その映像信号生成装置の実現に用いられる映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、Ｈ.264などで符号化された際に発生するデータ量の大きな符号化情報を、ＭＰＥＧ２と同様のモールフォーマットでもって復号映像信号と一緒に伝送できるようにする映像信号生成装置およびその方法と、その映像信号生成装置の実現に用いられる映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
復号した映像信号を再符号化したいという要求がある。この場合、後段のエンコーダが前段のエンコーダの用いた符号化パラメータを用いて符号化を行うようにすると、画質劣化がほとんど発生しないということが知られている。
【０００３】
そこで、復号した映像信号を再符号化したいという要求がある場合には、その復号した映像信号に前段のエンコーダの用いた符号化情報（符号化パラメータの情報）を重畳するようにしている。
【０００４】
このことを実現するために、従来のＭＰＥＧ２のモールフォーマット（ＳＭＰＴＥ規格）では、映像信号と同期して、各マクロブロックに対して、該当するタイミングで、当該マクロブロックの符号化情報を映像信号の色差成分のＬＳＢの１ビットに埋め込むようにしている（例えば、非特許文献１参照）。
【０００５】
ＨＤ−ＳＤＩやＳＤ−ＳＤＩなどのような既存の映像伝送インタフェースは１０ビット伝送であり、８ビットの映像信号を伝送する場合に２ビットの利用が可能であるので、従来のＭＰＥＧ２のモールフォーマット（ＳＭＰＴＥ規格）では、その内の１ビット（ＬＳＢの１ビット）のプレーンを使い、そのプレーンの持つ１６×１６＝２５６ビットの中に、マクロブロックの符号化情報を埋め込むようにしている。
【０００６】
この構成に従って、従来技術では、ＭＰＥＧ２の符号化情報を映像信号と一緒に、２５６ビット／マクロブロック以下で伝送することが可能になっている。
【非特許文献１】ＳＭＰＴＥ  ３１９Ｍ  "Transporting MPEG-2 Recoding Information through 4:2:2 Component Digital Interfaces" SMPTE Journal, February 2000.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
Ｈ.264で符号化した映像信号を復号する場合にも、その復号した映像信号を再符号化したいという要求がある。しかるに、Ｈ.264では、いまだ、ＭＰＥＧ２のＳＭＰＴＥ規格のような規格は存在しない。
【０００８】
ＭＰＥＧ２においては、符号化情報の記録域として１マクロブロック当たり２５６ビットが割り当てられていれば、各マクロブロックの符号化情報を表現することが十分可能である。
【０００９】
これに対して、Ｈ.264では、各マクロブロック毎に複数の符号化モードを持つことから、各種マクロブロックの符号化タイプ・マクロブロックの分割情報・動きベクトルの数などの情報がＭＰＥＧ２に比べて格段と多くなっている。
【００１０】
これから、Ｈ.264の場合には、１マクロブロック当たり２５６ビットでは１つのマクロブロックの符号化情報を表現することはできない。
【００１１】
そうかといって、Ｈ.264独自の規格を設けることは好ましいことではない。Ｈ.264独自の規格を設けるようにすると、現在使われている映像機器が使用できなくなる可能性があるからである。
【００１２】
本発明はかかる事情に鑑みてなされたものであって、Ｈ.264などで符号化された際に発生するデータ量の大きな符号化情報を、ＭＰＥＧ２と同様のモールフォーマットでもって復号映像信号と一緒に伝送できるようにする新たな映像信号生成技術の提供を目的とする。
【課題を解決するための手段】
【００１３】
この目的を達成するために、本発明の映像信号生成装置は、イントラ符号化及びインター符号化により生成された映像符号化データのビットストリームを入力として、規定の大きさのブロックを単位にして、そのビットストリームを復号して映像信号を生成するという構成を採るときに、（１）入力したビットストリームに含まれる復号対象ブロックについての符号化情報を復号する復号手段と、（２）復号手段の復号した符号化情報に基づいて、復号対象ブロックと同じ大きさを持つ１ビットプレーン上の規定のビット位置に、それぞれ規定されたビット長の、同期用固定符号領域と、復号対象ブロック巡回番号領域と、ピクチャ符号化情報記述領域と、スライス符号化情報記述領域と、スライスタイプ領域と、復号対象ブロック・イントラ符号領域と、ブロック分割単位フラグ領域と、ブロックタイプ領域と、双方向予測フラグ領域とからなる共通領域、および、前記復号対象ブロック・イントラ符号領域の情報がイントラ符号化を示している場合とインター符号化を示している場合とで異なるデータフォーマットの符号化情報が記述される規定されたビット長の切替解釈領域を有する符号化情報フォーマットに従って、前記同期用固定符号領域に、所定値の同期用固定符号を書き込み、前記復号対象ブロック巡回番号領域に、画面内における復号対象ブロックの位置を示す復号対象ブロック巡回番号を書き込み、前記ピクチャ符号化情報記述領域に、復号対象ブロックに割り付けられたピクチャ符号化情報を書き込み、前記スライス符号化情報記述領域に、復号対象ブロックに割り付けられたスライス符号化情報を書き込み、前記スライスタイプ領域に、復号対象ブロックのスライス符号化タイプを書き込み、前記復号対象ブロック・イントラ符号領域に、復号対象ブロックがイントラで符号化されたのかインターで符号化されたのかを示すフラグ値を書き込み、前記ブロック分割単位フラグ領域および前記ブロックタイプ領域に、復号対象ブロックの符号化分割形態を示す情報を書き込み、前記双方向予測フラグ領域に、復号対象ブロックまたはそのサブブロックについて、双方向予測で符号化されたのか片方向予測で符号化されたのかを示す情報を書き込み、さらに、前記切替解釈領域に、復号対象ブロックがイントラ符号化で符号化された場合にはイントラ符号化に合わせたデータフォーマットに従ってイントラ符号化の符号化情報を書き込み、インター符号化で符号化された場合にはインター符号化に合わせたデータフォーマットに従ってインター符号化の符号化情報を書き込む書込手段と、（３）書込手段によりフラグ値や符号化情報などの書き込まれた１ビットプレーンと復号対象ブロックの復号画像とを重畳することで映像信号を生成する生成手段とを備えるように構成する。
さらに、共通領域に双方向予測フラグ領域を設け、書込手段により、双方向予測フラグ領域に、復号対象ブロックまたはそのサブブロックについて、双方向予測で符号化されたのか片方向予測で符号化されたのかを示す情報を書き込んでもよい。
【００１４】
この構成を採るときに、書込手段は、復号対象ブロックの符号化分割形態に応じて復号手段の復号した符号化情報のデータ量が大きくなることで、その符号化情報が切替解釈領域に収まらない場合には、その符号化分割形態に合わせたデータフォーマットに従って、その符号化情報の一部を省略した形で切替解釈領域に書き込むように処理する。
【００１５】
また、書込手段は、前記ピクチャ符号化情報記述領域に、復号対象ブロックが属するピクチャについての符号化情報の一部を書き込むように処理する。
【００１６】
以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１７】
このように構成される本発明の映像信号生成装置では、映像符号化データのビットストリームを入力すると、そのビットストリームに含まれる復号対象ブロックについての符号化情報を復号する。
【００１８】
この符号化情報の復号により、復号対象ブロックと同じ大きさを持つ１ビットプレーン上の規定のビット位置に、それぞれ規定されたビット長の、同期用固定符号、復号対象ブロック巡回番号、ピクチャ符号化情報、スライス符号化情報、スライスタイプ、復号対象ブロック・イントラ符号、ブロック分割単位フラグ、ブロックタイプ、双方向予測フラグなどが記述される領域からなる共通領域、および、前記復号対象ブロックがイントラ符号化の場合とインター符号化の場合とで異なるデータフォーマットの符号化情報が記述される切替解釈領域を有する符号化情報フォーマットに従って、特に、共通領域に、復号対象ブロックのスライス符号化タイプや、復号対象ブロックがイントラで符号化されたのかインターで符号化されたのかを示すフラグ値や、復号対象ブロックの符号化分割形態を示す情報などを書き込み、前記双方向予測フラグ領域に、復号対象ブロックまたはそのサブブロックについて、双方向予測で符号化されたのか片方向予測で符号化されたのかを示す情報を書き込む。
【００１９】
また、復号対象ブロックがイントラ符号化で符号化されたものである場合には、前記切替解釈領域に、イントラ符号化に合わせたデータフォーマットに従って復号した符号化情報を書き込む。
【００２０】
一方、復号対象ブロックがインター符号化で符号化されたものである場合には、前記切替解釈領域に、インター符号化に合わせたデータフォーマットに従って復号した符号化情報を書き込む。
【００２１】
このとき、復号対象ブロックの符号化分割形態に応じて復号した符号化情報のデータ量が大きくなることで、その符号化情報が切替解釈領域に収まらない場合には、その符号化分割形態に合わせたデータフォーマットに従って、その符号化情報の一部を省略した形で切替解釈領域に書き込むことになる。
【００２２】
そして、そのフラグ値や符号化情報などを書き込んだ１ビットプレーンと復号対象ブロックの復号画像とを重畳することで映像信号を生成する。
【００２３】
このようにして、本発明の映像信号生成装置では、Ｈ.264などで符号化された映像信号を復号して、その復号した映像信号に符号化情報を重畳する場合に、ＭＰＥＧ２のモールフォーマット（ＳＭＰＴＥ規格）と同様に、映像信号の色差成分のＬＳＢの１ビットに符号化情報を埋め込むようにすることで、ＨＤ−ＳＤＩやＳＤ−ＳＤＩなどのような既存の映像伝送インタフェースを使った伝送を可能にする。
【００２４】
このとき、Ｈ.264などで符号化された場合には符号化情報のデータ量は大きなものとなり、その符号化情報の全てを１６×１６＝２５６ビットのような大きさを持つ１ビットのプレーン上に書き込めないので、その１ビットのプレーン上に、復号対象ブロックがイントラ符号化で符号化されたのかインター符号化で符号化されたのかを示すフラグ値の書込領域を設けるとともに、イントラ符号化で符号化された場合にはイントラ符号化に合わせたデータフォーマットに従って符号化情報を書き込み、インター符号化で符号化された場合にはインター符号化に合わせたデータフォーマットに従って符号化情報を書き込む切替解釈領域を設けることで、できる限りの符号化情報の書き込みが可能になるようにする。
【発明の効果】
【００２５】
本発明によれば、Ｈ.264などで符号化された際に発生するデータ量の大きな符号化情報を、ＭＰＥＧ２と同様のモールフォーマットでもって復号映像信号と一緒に伝送できるようになる。
【００２６】
これから、本発明によれば、Ｈ.264で符号化した映像信号の復号信号を再符号化したいという要求がある場合に、ＨＤ−ＳＤＩやＳＤ−ＳＤＩなどのような既存の映像伝送インタフェースを使って、再符号化に必要となる符号化情報を復号映像信号と一緒に伝送できるようになる。
【発明を実施するための最良の形態】
【００２７】
以下、実施の形態に従って本発明を詳細に説明する。
【００２８】
図１に、本発明を具備する映像復号装置１の一実施形態例を図示する。
【００２９】
本発明の映像復号装置１は、図示しない前段のＨ.264エンコーダが生成した映像符号化データのビットストリームを入力として、そのビットストリームを復号することで復号映像信号を得るとともに、復号映像信号の再符号化のために、マクロブロックを単位にして、その復号映像信号の色差成分のＬＳＢのプレーンに、前段のＨ.264エンコーダが符号化に用いた符号化情報（以下、Ｈ.264符号化情報と称することがある）を重畳するという処理を行う。
【００３０】
図２に、本発明の映像復号装置１が復号映像信号に重畳するＨ.264符号化情報フォーマットの一例を図示する。
【００３１】
この図に示すＨ.264符号化情報フォーマットは、１６×１６＝２５６ビットの大きさを持つ復号映像信号の色差成分のＬＳＢのプレーンに書き込まれるものであり、
（１）“１１１１１”の値を持つ「同期用固定符号」、
（２）画面内の左上から順に１つずつインクリメントする形でマクロブロックに割り付        けられて、画面内におけるマクロブロックの位置を示す「マクロブロック巡回番        号」、
（３）ピクチャ内の全マクロブロックの「ピクチャ符号化情報記述領域」の情報を合わ        せたときにピクチャ符号化情報となる情報の内の当該マクロブロックに割り付け        られた符号化情報について記述する「ピクチャ符号化情報記述領域」、
（４）ピクチャ内の全マクロブロックの「スライス符号化情報記述領域」の情報を合わ        せたときにスライス符号化情報となる情報の内の当該マクロブロックに割り付け        られた符号化情報について記述する「スライス符号化情報記述領域」、
（５）当該マクロブロックのスライス符号化タイプ（I-Slice,P-Slice,B-Slice)につい        て記述する「スライスタイプ」、
（６）当該マクロブロックがイントラで符号化されたのかインターで符号化されたのか        について記述する「マクロブロック・イントラ符号（図中の（１))」、
（７）当該マクロブロックを再分割したブロックのサイズについて記述する「ブロック        分割単位フラグ（図中の（２))」、
（８）再分割ブロックのブロックタイプについて記述する「ブロックタイプ」、
（９）１６×１６あるいは８×８のブロックについて、双方向予測で符号化されたのか        片方向予測で符号化されたのかについて記述する「双方向予測フラグ」、
（10）「マクロブロック・イントラ符号」がイントラ符号化を示している場合には、イ        ントラ符号化の符号化情報について記述し、インター符号化を示している場合に        は、インター符号化の符号化情報について記述する「切替解釈領域」、
などの情報について記述する。
【００３２】
ここで、「ブロック分割単位フラグ」が“０”を示している場合には、１６×１６あるいは１６×８あるいは８×１６のブロックへの再分割であることについて記述し、“１”を示している場合には、８×８のブロックあるいはそれよりも細かいブロックサイズのブロックへの再分割であることについて記述する。
【００３３】
また、「ブロック分割単位フラグ」が“０”を示している場合にあって、「ブロックタイプ」の先頭２ビットが“００”を示している場合には、１６×１６の１つのブロックに再分割したことについて記述し、先頭２ビットが“０１”を示している場合には、水平１６×垂直８の２つのブロックに再分割したことについて記述し、先頭２ビットが“１０”を示している場合には、水平８×垂直１６の２つのブロックに再分割したことについて記述する。
【００３４】
そして、「ブロック分割単位フラグ」が“１”を示している場合には、８×８以下のブロックへの再分割であることを示しているが、このとき、左上の８×８のブロックについては、「ブロックタイプ」の０，１ビット目の２ビットでブロックの再分割タイプについて記述し、右上の８×８のブロックについては、「ブロックタイプ」の２，３ビット目の２ビットでブロックの再分割タイプについて記述し、左下の８×８のブロックについては、「ブロックタイプ」の０，１ビット目の２ビットでブロックの再分割タイプについて記述し、右下の８×８のブロックについては、「ブロックタイプ」の２，３ビット目の２ビットでブロックの再分割タイプについて記述しており、それぞれ、当該２ビットが“００”を示している場合には、８×８の１つのブロックに再分割したことについて記述し、当該２ビットが“０１”を示している場合には、水平８×垂直４の２つのサブブロックに再分割したことについて記述し、当該２ビットが“１０”を示している場合には、水平４×垂直８の２つのサブブロックに再分割したことについて記述し、当該２ビットが“１１”を示している場合には、水平４×垂直４の４つのサブブロックに再分割したことについて記述する。
【００３５】
また、「双方向予測フラグ」は、１６×１６のブロックの場合には、先頭の１ビットの符号が“１”であるならば双方向予測であることについて記述し、“０”であるならぱ片方向予測であることについて記述する。そして、１６×８あるいは８×１６の２つのブロックが存在する場合には、先頭の２ビットを用いて、２つのブロックについて、それぞれ“１”であるならば双方向予測であることについて記述し、“０”であるならぱ片方向予測であることについて記述する。そして、８×８の４つのブロックが存在する場合には、４ビットを用いて、４つのブロックについて、それぞれ“１”であるならば双方向予測であることについて記述し、“０”であるならぱ片方向予測であることについて記述する。
【００３６】
図１に示す本発明の映像復号装置１は、このような符号化情報について記述するＨ.264符号化情報フォーマットを生成して、１６×１６＝２５６ビットの大きさを持つ復号映像信号の色差成分のＬＳＢのプレーンに重畳する処理を行うために、図１に示すように、ピクチャ復号部１０と、マクロブロック符号化データメモリ１１と、イントラ・マクロブロック用切替解釈領域生成部１２と、インター・マクロブロック用切替解釈領域生成部１３と、切替スイッチ１４と、マクロブロック符号化情報生成部１５と、スライス符号化情報生成部１６と、ピクチャ符号化情報生成部１７と、Ｈ.264符号化情報フォーマット生成部１８と、ベースバンド映像ＬＳＢ重畳部１９と、フレームメモリ２０とを備える。
【００３７】
このピクチャ復号部１０は、Ｈ.264デコーダで構成されるものであり、マクロブロックを復号するマクロブロック復号部１００を備えることで、入力したビットストリームからピクチャを復号する。
【００３８】
マクロブロック符号化データメモリ１１は、マクロブロック復号部１００の復号したマクロブロック（処理対象のマクロブロック）の復号情報から抽出される、前段のＨ.264エンコーダがそのマクロブロックの符号化に用いたＨ.264符号化情報を記憶する。
【００３９】
イントラ・マクロブロック用切替解釈領域生成部１２は、イントラ予測サイズ値設定部１２０と予測方向設定部１２１とを備えて、処理対象のマクロブロックがイントラ符号化されていた場合に、前述した「マクロブロック・イントラ符号」にオン（“１”）を書き込むとともに、マクロブロック符号化データメモリ１１に記憶される符号化情報に基づいて、前述した「ブロック分割単位フラグ」、「ブロックタイプ」、「双方向予測フラグ」などに該当するデータを書き込みつつ、それらのデータにより規定されるフォーマットに従って、そのイントラ符号化の符号化情報を前述した「切替解釈領域」に書き込むことで、イントラ・マクロブロック用の切替解釈領域のデータを生成する。
【００４０】
インター・マクロブロック用切替解釈領域生成部１３は、イントラ・マクロブロック用切替解釈領域生成部１２と並列動作して、インター予測サイズ値設定部１３０と参照画像番号設定部１３１と動きベクトル設定部１３２とを備えて、処理対象のマクロブロックがインター符号化されていた場合に、前述した「マクロブロック・イントラ符号」にオフ（“０”）を書き込むとともに、マクロブロック符号化データメモリ１１に記憶される符号化情報に基づいて、前述した「ブロック分割単位フラグ」、「ブロックタイプ」、「双方向予測フラグ」などに該当するデータを書き込みつつ、それらのデータにより規定されるフォーマットに従って、そのインター符号化の符号化情報を前述した「切替解釈領域」に書き込むことでインター・マクロブロック用の切替解釈領域のデータを生成する。
【００４１】
切替スイッチ１４は、マクロブロック符号化データメモリ１１から取得される符号化モード（イントラ符号化であるのかインター符号化であるのかを示すモード）に従って、イントラ・マクロブロック用切替解釈領域生成部１２の生成した切替解釈領域データの方が正規のものであるのか、インター・マクロブロック用切替解釈領域生成部１３の生成した切替解釈領域データの方が正規のものであるのかを判断して、正規の方の切替解釈領域データを選択して出力する。
【００４２】
マクロブロック符号化情報生成部１５は、切替スイッチ１４の選択した切替解釈領域データと、マクロブロック符号化データメモリ１１から取得できる処理対象のマクロブロックに固有の情報とに基づいて、図２に示すＨ.264符号化情報フォーマットに記述される処理対象のマクロブロックについての符号化情報部分であるマクロブロック符号化情報（図１中ではMb＿rate＿information と記載している）を生成する。
【００４３】
スライス符号化情報生成部１６は、処理対象のマクロブロックの復号情報からスライス符号化情報を取得して、その中から一部分を抽出し、その抽出したスライス符号化情報部分に従って、図２に示すＨ.264符号化情報フォーマットに記述されるスライス符号化情報（図１中では Slice＿rate＿information と記載している）を生成する。
【００４４】
ピクチャ符号化情報生成部１７は、処理対象のマクロブロックの復号情報からピクチャ符号化情報を取得して、その中から一部分を抽出し、その抽出したピクチャ符号化情報部分に従って、図２に示すＨ.264符号化情報フォーマットに記述されるピクチャ符号化情報（図１中では Picture＿rate＿information と記載している）を生成する。
【００４５】
Ｈ.264符号化情報フォーマット生成部１８は、マクロブロック符号化情報生成部１５の生成したマクロブロック符号化情報と、スライス符号化情報生成部１６の生成したスライス符号化情報と、ピクチャ符号化情報生成部１７の生成したピクチャ符号化情報とを統合することで、図２に示すＨ.264符号化情報フォーマットを生成する。
【００４６】
ベースバンド映像ＬＳＢ重畳部１９は、処理対象のマクロブロックの復号画像の色差成分のＬＳＢのプレーンに、Ｈ.264符号化情報フォーマット生成部１８の生成したＨ.264符号化情報フォーマットを重畳する。
【００４７】
フレームメモリ２０は、ベースバンド映像ＬＳＢ重畳部１９の生成したＨ.264符号化情報の重畳されたマクロブロック復号画像を蓄積して、Ｈ.264符号化情報の重畳された復号映像信号を生成して出力する。
【００４８】
図３に、本発明の映像復号装置１が復号映像信号に対してＨ.264符号化情報フォーマットを重畳するために実行するフローチャートを図示する。
【００４９】
次に、このフローチャートに従って、図１のように構成される本発明の映像復号装置１の実行する処理について説明する。
【００５０】
本発明の映像復号装置１は、復号対象のピクチャの復号処理に入ると、図３のフローチャートに示すように、先ず最初に、ステップＳ１００で、全マクロブロックを処理したのか否かを判断して、全マクロブロックを処理していないことを判断するときには、ステップＳ１０１に進んで、処理対象のマクロブロックを選択する。
【００５１】
続いて、ステップＳ１０２で、マクロブロック符号化データメモリ１１から、処理対象のマクロブロックの符号化モードを読み込み、続くステップＳ１０３で、その読み込んだ符号化モードに従って、処理対象のマクロブロックがイントラ符号化されているのかインター符号化されているのかを判断する。
【００５２】
このステップＳ１０３の判断処理で、処理対象のマクロブロックがイントラ符号化されていることを判断するときには、ステップＳ１０４に進んで、図２に示す「マクロブロック・イントラ符号」にオンを書き込む。
【００５３】
続いて、ステップＳ１０５で、マクロブロック符号化データメモリ１１から、イントラ予測サイズおよび予測方向の情報を読み込む。すなわち、処理対象のブロックがイントラ符号化されている場合には、Ｈ.264符号化情報の中に、イントラ予測サイズや予測方向の情報が記録されているので、それらの情報を読み込むのである。
【００５４】
続いて、ステップＳ１０６で、読み込んだイントラ予測サイズおよび予測方向の情報に基づいて、イントラ用の切替解釈領域のデータを生成する。
【００５５】
図４に、このときに生成するイントラ用の切替解釈領域のデータを図示する。
【００５６】
この図４に示すように、イントラ予測サイズが４×４のブロックである場合には、１６個のイントラ予測方向があるので、「イントラタイプ」の記述領域に４×４ブロック予測であることを示す“１”を書き込むとともに、１６個用意される「イントラ予測モード[0] 〜[15]」に、１６個の４×４ブロックのイントラ予測方向を書き込む。
【００５７】
また、イントラ予測サイズが８×８のブロックである場合には、４個のイントラ予測方向があるので、「イントラタイプ」の記述領域に８×８ブロック予測であることを示す“２”を書き込むとともに、１６個用意される「イントラ予測モード[0] 〜[15]」の内の４個の「イントラ予測モード[0] 〜[3] 」に、４個の８×８ブロックのイントラ予測方向を書き込む。
【００５８】
また、イントラ予測サイズが１６×１６のブロックである場合には、１個のイントラ予測方向があるので、「イントラタイプ」の記述領域に８×８ブロック予測であることを示す“３”を書き込むとともに、１６個用意される「イントラ予測モード[0] 〜[15]」の内の１個の「イントラ予測モード[0] 」に、１個の１６×１６ブロックのイントラ予測方向を書き込む。
【００５９】
このようにして、処理対象のマクロブロックがイントラ符号化された場合には、図２に示すＨ.264符号化情報フォーマットの持つ「切替解釈領域」に、イントラ符号化の全符号化情報を書き込むことができることになる。
【００６０】
一方、ステップＳ１０３の判断処理で、処理対象のマクロブロックがインター符号化されていることを判断するときには、ステップＳ１０７に進んで、図２に示す「マクロブロック・イントラ符号」にオフを書き込む。
【００６１】
続いて、ステップＳ１０８で、マクロブロック符号化データメモリ１１から、インター予測サイズ、予測方向、参照画像番号および動きベクトルの情報を読み込む。すなわち、処理対象のブロックがインター符号化されている場合には、Ｈ.264符号化情報の中に、インター予測サイズや予測方向や参照画像番号や動きベクトルの情報が記録されているので、それらの情報を読み込むのである。
【００６２】
続いて、ステップＳ１０９で、読み込んだインター予測サイズに従って切替解釈領域のデータフォーマットを決定して、その決定したデータフォーマットに従って、切替解釈領域に、読み込んだ予測方向、参照画像番号および動きベクトルを書き込むことで、インター用の切替解釈領域のデータを生成する。
【００６３】
図５および図６に、このときに生成するインター用の切替解釈領域のデータを図示する。
【００６４】
この図５に示すように、１６×１６ブロックでのインター符号化である場合、すなわち、図２の「ブロック分割単位フラグ」に“０”を書き込むとともに、「ブロックタイプ」の先頭２ビットに“００”を書き込む場合にあって、片方向予測の場合には、切替解釈領域Ａのみを使用して、そこに図６（ａ）のデータフォーマットに従って動きベクトル・参照画像番号・予測方向を書き込み、双方向予測の場合には、切替解釈領域Ａ，Ｂのみを使用して、そこに図６（ａ）のデータフォーマットに従って動きベクトル・参照画像番号・予測方向を書き込む。
【００６５】
また、水平１６×垂直８の２ブロックあるいは水平８×垂直１６の２ブロックでのインター符号化である場合、すなわち、図２の「ブロック分割単位フラグ」に“０”を書き込むとともに、「ブロックタイプ」の先頭２ビットに“０１”あるいは“１０”を書き込む場合にあって、片方向予測の場合には、切替解釈領域Ａ，Ｂのみを使用して、そこに図６（ａ）のデータフォーマットに従って動きベクトル・参照画像番号・予測方向を書き込み、双方向予測の場合には、切替解釈領域Ａ，Ｂ，Ｃ，Ｄを使用して、そこに図６（ａ）のデータフォーマットに従って動きベクトル・参照画像番号・予測方向を書き込む。
【００６６】
また、水平８×垂直８の４ブロックでのインター符号化である場合、すなわち、図２の「ブロック分割単位フラグ」に“１”を書き込むとともに、「ブロックタイプ」の先頭２ビットに“００”を書き込む場合にあって、片方向予測の場合には、切替解釈領域Ａ，Ｂ，Ｃ，Ｄを使用して、そこに図６（ａ）のデータフォーマットに従って動きベクトル・参照画像番号・予測方向を書き込む。
【００６７】
また、水平８×垂直８の４ブロックでのインター符号化である場合、すなわち、図２の「ブロック分割単位フラグ」に“１”を書き込むとともに、「ブロックタイプ」の先頭２ビットに“００”を書き込む場合にあって、双方向予測の場合には、切替解釈領域Ａ，Ｂ，Ｃ，Ｄを使用して、そこに図６（ｂ）のデータフォーマットに従って動きベクトル・参照画像番号・予測方向を書き込む。このとき、動きベクトルの書込領域が小さなものになっているので、正確な動きベクトルを書き込むことができないので、ＬＳＢ側の５ビットのみを書き込むことになる。
【００６８】
また、水平８×垂直８よりも細かいブロックでのインター符号化である場合、すなわち、図２の「ブロック分割単位フラグ」に“１”を書き込むとともに、「ブロックタイプ」の先頭２ビットに“００”以外の値を書き込む場合には、動きベクトルの個数が多くなっていることで、切替解釈領域Ａ，Ｂ，Ｃ，Ｄに動きベクトルを書き込むことはできないので、切替解釈領域Ａ，Ｂ，Ｃ，Ｄを使用して、そこに図６（ｃ）のデータフォーマットに従って参照画像番号・予測方向を書き込む。
【００６９】
このようにして、処理対象のマクロブロックがインター符号化された場合には、図２に示すＨ.264符号化情報フォーマットの持つ「切替解釈領域」に、インター符号化の符号化情報の全てを書き込むことができない場合があるので、そのような場合には、可能な限り書き込むという形態に従ってインター符号化の符号化情報を書き込むようにするのである。
【００７０】
ステップＳ１０６でイントラ用の切替解釈領域のデータを生成し、あるいは、ステップＳ１０９でインター用の切替解釈領域のデータを生成すると、続いて、ステップＳ１１０で、その生成した切替解釈領域のデータと、マクロブロック符号化データメモリ１１から取得できる処理対象のマクロブロックに固有の情報とに基づいて、図２に示すＨ.264符号化情報フォーマットに記述する処理対象のマクロブロックについての符号化情報部分であるマクロブロック符号化情報を生成する。
【００７１】
続いて、ステップＳ１１１で、処理対象のマクロブロックの復号情報からスライス符号化情報を取得して、その中から一部分を抽出し、その抽出したスライス符号化情報部分に従って、図２に示すＨ.264符号化情報フォーマットに記述するスライス符号化情報を生成する。
【００７２】
続いて、ステップＳ１１２で、処理対象のマクロブロックの復号情報からピクチャ符号化情報を取得して、その中から一部分を抽出し、その抽出したピクチャ符号化情報部分に従って、図２に示すＨ.264符号化情報フォーマットに記述するピクチャ符号化情報を生成する。
【００７３】
続いて、ステップＳ１１３で、生成したマクロブロック符号化情報と、生成したスライス符号化情報と、生成したピクチャ符号化情報とを統合することで、図２に示すＨ.264符号化情報フォーマットを生成する。
【００７４】
続いて、ステップＳ１１４で、処理対象のマクロブロックの復号画像のＬＳＢのプレーンに、生成したＨ.264符号化情報フォーマットを重畳してから、ステップＳ１００の処理に戻る。
【００７５】
そして、ステップＳ１００〜ステップＳ１１４の処理を繰り返していくことで、ステップＳ１００で、全マクロブロックを処理したことを判断すると、ステップＳ１１５に進んで、Ｈ.264符号化情報の重畳されたマクロブロック復号画像を合成することで復号画像を生成してそれを出力することで、Ｈ.264符号化情報の重畳された映像信号を生成して出力することになる。
【００７６】
このようにして、本発明の映像復号装置１では、Ｈ.264で符号化された際に発生するデータ量の大きな符号化情報を、ＭＰＥＧ２と同様のモールフォーマットでもって復号映像信号と一緒に伝送するように処理するのである。
【産業上の利用可能性】
【００７７】
本発明は、イントラ符号化及びインター符号化により生成された映像符号化データを復号することで得た復号映像信号を再符号化する場合に適用できるものであり、Ｈ.264などで符号化された際に発生するデータ量の大きな符号化情報を、ＭＰＥＧ２と同様のモールフォーマットでもって復号映像信号と一緒に伝送できるようにすることを実現する。
【図面の簡単な説明】
【００７８】
【図１】本発明の映像復号装置の一実施形態例である。
【図２】本発明の映像復号装置が生成するＨ.264符号化情報フォーマットの説明図である。
【図３】本発明の映像復号装置が実行するフローチャートである。
【図４】本発明の映像復号装置が生成するＨ.264符号化情報フォーマットの説明図である。
【図５】本発明の映像復号装置が生成するＨ.264符号化情報フォーマットの説明図である。
【図６】本発明の映像復号装置が生成するＨ.264符号化情報フォーマットの説明図である。
【符号の説明】
【００７９】
１      映像復号装置
１０    ピクチャ復号部
１１    マクロブロック符号化データメモリ
１２    イントラ・マクロブロック用切替解釈領域生成部
１３    インター・マクロブロック用切替解釈領域生成部
１４    切替スイッチ
１５    マクロブロック符号化情報生成部
１６    スライス符号化情報生成部
１７    ピクチャ符号化情報生成部
１８    Ｈ.264符号化情報フォーマット生成部
１９    ベースバンド映像ＬＳＢ重畳部
２０    フレームメモリ
１２０  イントラ予測サイズ値設定部
１２１  予測方向設定部
１３０  インター予測サイズ値設定部
１３１  参照画像番号設定部
１３２  動きベクトル設定部
【図１】
0004739295.tif 000002
【図２】
0004739295.tif 000003
【図３】
0004739295.tif 000004
【図４】
0004739295.tif 000005
【図５】
0004739295.tif 000006
【図６】
0004739295.tif 000007