(57)【要約】【課題】全ての符号化ストリームを全ての復号化装置で復号化できるようにする。【解決手段】各画像をスライスへ分解して符号化する符号化手段が設けられており、各スライスはそれぞれ独立に符号化される、ビデオデータ符号化装置において、スライスへの分解に関する構造を表す少なくとも１つのメッセージをデータストリームに挿入するメッセージ挿入手段が設けられている。【選択図】図１
2007166625.tif 000002
【特許請求の範囲】
【請求項１】
各画像をスライスへ分解して符号化する符号化手段が設けられており、各スライスはそれぞれ独立に符号化される、
ビデオデータ符号化装置において、
スライスへの分解に関する構造を表す少なくとも１つのメッセージ（ＳＥＩ）をデータストリームに挿入するメッセージ挿入手段が設けられている
ことを特徴とするビデオデータ符号化装置。
【請求項２】
前記メッセージ挿入手段は符号化すべきＧＯＰごとにメッセージを挿入する、請求項１記載の装置。
【請求項３】
前記メッセージ挿入手段は符号化すべき画像ごとにメッセージを挿入する、請求項１記載の装置。
【請求項４】
各画像をスライスへ分解し、各スライスをそれぞれ独立に符号化するステップを有する、
ビデオデータ符号化方法において、
スライスへの分解に関する構造を表す少なくとも１つのメッセージ（ＳＥＩ）をデータストリームに挿入するステップを有する
ことを特徴とするビデオデータ符号化方法。
【請求項５】
スライスに分解され各スライスがそれぞれ独立に符号化されたビデオデータに対する
ビデオデータ復号化装置において、
データのスライスへの分解を保証するためにビデオデータを分析する分析手段と、
ビデオデータをスライスごとに復号化する復号化手段と、
復号化後に種々のビデオデータを再構成する再構成手段と
が設けられている
ことを特徴とするビデオデータ復号化装置。
【請求項６】
ビデオデータをスライスごとに復号化する複数の復号化手段と、種々のスライスを複数の復号化装置の利用可能性にしたがって、複数のスライスが同時に復号化されるように各復号化装置へ配向する配向手段とが設けられている、請求項５記載の装置。
【請求項７】
前記分析手段はスライスへの分解に関する構造情報を含む少なくとも１つのメッセージを認識して抽出する、請求項５または６記載の装置。
【請求項８】
スライスに分解され各スライスがそれぞれ独立に符号化されたビデオデータに対する
ビデオデータ復号化方法において、
データのスライスへの分解を保証するためにビデオデータを分析するステップ、
複数の復号化手段の利用可能性にしたがって種々のスライスを各復号化手段へ配向するステップ、
ビデオデータをスライスごとに並列的に復号化するステップ、および
復号化後に種々のビデオデータを再構成するステップ
を有する
ことを特徴とするビデオデータ復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデータ符号化装置、ビデオデータ符号化方法、ビデオデータ復号化装置およびビデオデータ復号化方法に関する。
【０００２】
より詳しく云えば、本発明は、復号化を容易にするための所定数の情報エレメントとともに符号化画像を送信する際に用いられる符号化規格に関する。
【背景技術】
【０００３】
ＭＰＥＧ２および最近のＨ．２６４などの圧縮規格は符号化画像をグループオブピクチャＧＯＰの形式で送信する。ＧＯＰはその構造を記述する情報を含み、当該の情報は後にデコーダで画像を復号化する際に用いられる。
【０００４】
Ｈ．２６４規格はＧＯＰをスライス構造として送信する。１つのスライスは１つの画像の全体を含むこともできるし、画像の一部のみを含むこともできる。エンコーダは画像からスライスへの分解を担当しており、スライスはたいてい凍結コンフィグレーションを基礎としているが、デコーダは基本的に画像のスライス構造を知らず、復号化プロセスにおいてこれを発見しなければならない。
【０００５】
スライスはＮＡＬ（Network Adaptation Layer）タイプのユニットとしてカプセル課される。
【０００６】
画像スライスへ分解されていれば付加的な同期ポイントを画像中に挿入できるようになるので有利である。つまりトランスポート層がスライス"０"を含むＮＡＬを送信しているあいだにエラーを生じた場合、復号化はスライス"１"から再開される。画像がスライスへ分解されない場合、デコーダは画像全体を無視してしまう。
【０００７】
一般的に見れば多くのデコーダは１つの完全なビデオシーケンスの全画像に対して一様な分解を行っているが、実際には分解はエンコーダに依存する。
【０００８】
ここで本発明の発明者らは、スライスをデコーダから独立に符号化すれば、これを容易に並列に復号化できるとの想を得た。つまり、並列に復号化処理を行えるプロセッサが存在するかぎり、プロセッサ"０"がスライス"０を処理し、プロセッサ"１"がスライス"１"を処理するように構成すればよい。ただしスライスへの分解の形式はデコーダでは未知である。したがってデコーダがスライスへの分解を予測できないと、並列処理は不可能となってしまう。
【０００９】
この問題を簡単に解決するには、エンコーダにおいてつねに同じ構造でスライスへの分解を行う。しかしこれには幾つかの制限がある。したがってスライスへの分解は規格に準拠した全てのデコーダに対して標準化されなければならず、望ましくは全ての符号化ストリームを市販されている全てのデコーダで復号化できるようにすべきである。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の課題は上述の欠点を回避し、全ての符号化ストリームを全ての復号化装置で復号化できるようにすることである。
【課題を解決するための手段】
【００１１】
この課題は、各画像をスライスへ分解して符号化する符号化手段が設けられており、各スライスはそれぞれ独立に符号化される、ビデオデータ符号化装置において、スライスへの分解に関する構造を表す少なくとも１つのメッセージをデータストリームに挿入するメッセージ挿入手段が設けられている構成により解決される。
【発明を実施するための最良の形態】
【００１２】
このように本発明ではストリームがその構造に関する情報を含む。したがって有利には、復号化装置にとって既知ではない符号化装置によっても、ビデオデータを選択された形式で符号化することができる。
【００１３】
本発明の有利な実施形態によれば、メッセージ挿入手段により符号化すべきＧＯＰごとにメッセージが挿入される。
【００１４】
本発明の別の有利な実施形態によれば、メッセージ挿入手段により符号化すべき画像ごとにメッセージが挿入される。
【００１５】
本発明の第２の手段は、各画像をスライスへ分解し、各スライスをそれぞれ独立に符号化するステップを有する、ビデオデータ符号化方法に関する。本発明の符号化方法は、スライスへの分解に関する構造を表す少なくとも１つのメッセージをデータストリームに挿入するステップを有する。
【００１６】
本発明の第３の手段は、スライスに分解され各スライスがそれぞれ独立に符号化されたビデオデータに対するビデオデータ復号化装置に関する。本発明の復号化装置には、データのスライスへの分解を保証するためにビデオデータを分析する分析手段と、ビデオデータをスライスごとに復号化する復号化手段と、復号化後に種々のビデオデータを再構成する再構成手段とが設けられている。
【００１７】
本発明の装置の有利な実施形態によれば、ビデオデータをスライスごとに復号化する複数の復号化手段と、種々のスライスを複数の復号化装置の利用可能性にしたがって複数のスライスが同時に復号化されるように複数の復号化装置へ配向する配向手段とが設けられている。
【００１８】
有利には、種々のスライスは並列に復号化され、全体画像は同一の画像に相応する全てのスライスが復号化された後に再構成される。
【００１９】
有利には、分析手段はスライスへの分解に関する構造情報を含む少なくとも１つのメッセージを認識して抽出する。
【００２０】
本発明の第４の手段は、スライスに分解されて各スライスがそれぞれ独立に符号化されたビデオデータに対するビデオデータ復号化方法に関する。本発明の復号化方法は、データのスライスへの分解を保証するためにビデオデータを分析するステップ、複数の復号化手段の利用可能性にしたがって種々のスライスを各復号化手段へ配向するステップ、ビデオデータをスライスごとに並列的に復号化するステップ、および復号化後に種々のビデオデータを再構成するステップを有する。
【実施例】
【００２１】
本発明を以下に図示の実施例に則して詳細に説明する。ただし実施例は本発明を限定するものではない。
【００２２】
図示されているモジュールは機能ユニットであり、物理的に区別可能であってもそうでなくてもよい。例えばこれらのモジュールまたはその一部は１つのコンポーネントにまとめられてもよいし、また同一のソフトウェアプログラムの種々の機能であってもよい。これに対して、必要に応じて分離した物理的ユニットとして構成されるモジュールも存在する。
【００２３】
以下の説明はＨ．２６４規格に準拠したデータ符号化方法に基づく。ただし実施例はこのタイプの符号化方法のみに限定されない。本発明は実際には後の利用を容易にするための情報がストリームに挿入される全ての符号化方法に関連する。
【００２４】
図１には本発明にしたがって符号化されるストリームの構造が示されている。
【００２５】
画像は分解方式で符号化される。各画像はスライスとして知られているセクションへ分解される。スライスへの分解は符号化プロセスにおいて決定される。当該のスライスへの分解は符号化装置のユーザ、特に番組放送者を介して実行される。
【００２６】
各復号化装置は単独で利用されている分解のタイプを決定する。つまり復号化装置によって用いられる分解に関する情報は当該の復号化装置以外では未知である。他の装置は当該の情報を用いることができない。
【００２７】
この実施例によれば、各ＧＯＰの前にＳＥＩメッセージが挿入される。ＳＥＩメッセージは相互に関連するＧＯＰのスライスへの分解を表している。新たな画像からのスライスへの分解形式が先行の画像からのスライスへの分解形式とは異なる場合、新たなＳＥＩメッセージが挿入される。したがって第１のＳＥＩメッセージがそれぞれ３つずつのスライスへ分解される画像０，画像１，画像２に対して挿入され、第２のＳＥＩメッセージがそれぞれ２つずつのスライスへ分解される画像３，画像４に対して挿入される。さらに続く画像５が画像４とは異なる形式で分解される場合、新たな第３のＳＥＩメッセージが画像５のスライスの前に挿入される。
【００２８】
図２には本発明の符号化装置が示されている。
【００２９】
その時点のフレームＦｎは符号化すべきものとして符号化モジュールの入力側に供給される。当該のフレームはマクロブロックと称される１６＊１６のピクセルグループとして符号化される。各マクロブロックはイントラモードまたはインターモードで符号化される。イントラモードまたはインターモードのいずれであっても、マクロブロックは再構成画像に基づいて符号化される。モジュール１０９はその時点のフレームの符号化モードを画像のコンテンツにしたがって定める。イントラモードでは図２のピクチャＰは、先行して符号化され、復号化および再構成されたその時点でのフレームＦｎ（図２のｕＦ’ｎ［ｕはフィルタリングされていないことを意味する］）のサンプルから形成される。インターモードでは、図２のピクチャＰは１つまたは複数のフレームＦ’ｎ−１に基づく動き予測から形成される。
【００３０】
動き予測モジュール１０１はその時点のフレームＦｎと少なくとも１つの先行フレームフレームＦ’ｎ−１とのあいだの動きを予測する。当該の動き予測に基づいて、動き補償モジュール１０２は、その時点のフレームＦｎをインターモードで符号化しなければならない場合、ピクチャＰを形成する。
【００３１】
減算器１０３は符号化すべきフレームＦｎとピクチャＰとのあいだの差を表す信号Ｄｎを形成する。次に当該のピクチャは変換モジュール１０４によりＤＣＴ変換される。変換されたピクチャは量子化モジュール１０５により量子化される。さらにピクチャは再編成モジュール１１１により再編成される。その後ＣＡＢＡＣ（Context-based Adaptive Bineary Arithmetic Coding）タイプのエントロピー符号化モジュール１１２が各ピクチャを符号化する。
【００３２】
逆変換モジュール１０６および逆量子化モジュール１０７はそれぞれ変換および量子化後の差Ｄ’ｎを再構成のために逆量子化および逆変換する。
【００３３】
画像がイントラモードで符号化される場合、モジュール１０９にしたがって、イントラ予測モジュール１０８がピクチャを符号化する。フレームｕＦ’ｎは加算器１１４の出力側で、信号Ｄ’ｎと信号Ｐとの和として得られる。当該のイントラ予測モジュール１０８の入力側にはフィルタリングされていない再構成ピクチャｕＦ’ｎが供給される。
【００３４】
フィルタモジュール１１０はピクチャｕＦ’ｎに基づいてフィルタリングされた再構成ピクチャＦ’ｎを形成する。
【００３５】
エントロピー符号化モジュール１１２は符号化されたスライスをＮＡＬタイプのユニットへカプセル化して送信する。ＮＡＬはスライスに加えて例えばヘッダに関する情報を含む。ＮＡＬタイプのユニットはモジュール１１３へ送信される。モジュール１１３は種々の符号化ピクチャが通信ネットワークへ送信される前にＳＥＩメッセージを挿入する。
【００３６】
ＳＥＩメッセージは図１に示されたストリームを得るために挿入される。
【００３７】
図３には本発明の復号化装置が示されている。
【００３８】
モジュール２０９はデータストリームとして受け取られたＳＥＩメッセージを分析する。ＳＥＩメッセージは種々の種類があってよい。有利にはＳＥＩメッセージは復号化プロセスに利用可能な別のデータの伝送など、他の目的に使用することもできる。
【００３９】
ＳＥＩメッセージの分析後、データは分析結果に応じて種々の復号化装置Ｄ１，Ｄ２，Ｄ３，Ｄｉ，…，Ｄｎへ送信される。有利には、利用可能なハードウェアまたはソフトウェアのコンフィグレーションに依存して、１つまたは複数の復号化装置Ｄ１，Ｄ２，Ｄ３，Ｄｉ，…，Ｄｎが利用可能である。復号化装置の数が符号化画像のスライスの最大数に等しいと有利である。例えば画像が４つのスライスへ分解されて符号化される場合、符号化速度の点で特に有利に、スライスは並列に復号化され、画像が迅速に再構成される。
【００４０】
復号化装置の数がスライス数よりも小さい場合にも、スライスは種々の復号化装置のモジュールにおいて並列に復号化される。残りのスライスはいずれかの復号化装置が利用可能となった時点で順に復号化される。つまり所定の時点ｔで各復号化装置がそれぞれ異なる画像に属するスライスを復号化していることもありうる。
【００４１】
各復号化装置に対するスライスの配向はモジュール２０９で決定される。この配向は各復号化装置の利用可能性、復号化装置の数、および、到来するＳＥＩメッセージによって表される値を考慮して行われる。有利には、ＳＥＩメッセージが値"３"である場合、１つまたは複数の画像は３つのスライスへ分解される。３つの復号化装置が利用可能であれば、当該のＧＯＰに最適に、各スライスが復号化装置Ｄ１〜Ｄ３へ送信される。
【００４２】
タイプＮＡＬのピクチャはエントロピー復号化モジュール２０１へ送信される。エントロピー復号化モジュール２０１は図２のエントロピー符号化モジュール１１２の逆演算を実行する。その後データは係数のセットを取得するために再編成モジュール２０２へ送信される。当該の係数は逆量子化モジュール２０３での逆量子化を経て逆変換モジュール２０４で逆ＤＣＴ変換され、その出力側に、マクロブロックＤ’ｎ（Ｄｎの変形）として生じる。このＤ’ｎには予測ブロックＰが加算器２５５により加算され、マクロブロックｕＦ’ｎが再構成される。ブロックＰは、インターモードまたはマクロブロックｕＦ’ｎのイントラ予測が行われる場合には、動き補償モジュール２０８で先行して復号化されたフレームの動き補償が行われた後に取得され、またイントラモードではモジュール２０７によって取得される。さらに信号はフィルタ２０６にかけられて歪み効果が低減され、このように形成されたマクロブロック列から再構成スライスＦ’ｎが形成される。
【００４３】
スライスは、各復号化装置Ｄ１〜Ｄｎによって復号化された後、順に配置され、完全な画像が再構成される。これは例えばアプリケーションに送信されるまで再構成バッファメモリ２１０に記憶される。
【００４４】
図４には、ソフトウェアによって実行される本発明の復号化方法の実施例が示されている。
【００４５】
ステップＥ１において、符号化データストリームが図２の符号化装置で受信される。符号化ストリームは図１に示した構造を有する。ステップＥ２ではＳＥＩメッセージが分析される。ＳＥＩメッセージの分析ステップではＳＥＩメッセージが画像のスライスへの分解に関する情報を含むか否かが検査される。当該の情報が存在する場合、ＳＥＩメッセージの分析に続いて、ステップＥ３において種々の復号化装置Ｄ１〜Ｄｎに対するスライスの配向が決定される。復号化装置Ｄ１〜Ｄｎはソフトウェアによって形成されていてもよい。
【００４６】
ステップＥ４では各スライスが各復号化装置により並列に復号化される。
【００４７】
ステップＥ５では、例えば図３の再構成バッファメモリ２０１を介して、画像が再構成される。
【００４８】
次表にはＳＥＩメッセージのペイロード部分が示されている。表中の"user_data_unregistered"タイプのペイロードはＨ．２６４規格のタイプ６ペイロードに相応する。
【００４９】
【表１】
2007166625.tif 000003
【００５０】
１２８ｂｉｔの語"uuid_iso_iec_11578"は復号化フェーズにおけるメッセージのタイプを復号化モジュールに示すものである。Ｈ．２６４規格は当該の語に対して意味に依存する所定数の値を定めている。その１つである上掲の値はメッセージが"user_data_payload"タイプのメッセージであることを表している。
【００５１】
８ｂｉｔの語"user_data_payload_byte"はＳＥＩメッセージの一部を含む。当該の語はプロプラエタリアプリケーションに関するデータ、特にこの場合には本発明に関連して下記のように符号化されるデータの符号化に用いられる。
【００５２】
payloadSizeは１７ｂｙｔｅであり、そのうち１６ｂｙｔｅはＵＵＩＤに、１ｂｙｔｅはuser_data_payload_byteに対するものである。user_data_unregisteredではuser_data_payload_byteのストリングが上掲の表に挙げられているように表される。このｂｙｔｅストリングは実際には３ｂｙｔｅのストラクチャ（２ｂｙｔｅ＋１ｂｙｔｅ）の反復である。このときpayloadSizeの値は３である。
【００５３】
語"user_data_payload_byte"により、画像のスライス数およびマクロブロックで表される各スライスのサイズが符号化される。ここで第１のｂｙｔｅはスライス数を表し、続く２つのｂｙｔｅはマクロブロックで表されるスライスのサイズを表す。したがってここでは２ｂｙｔｅ＋１ｂｙｔｅのストラクチャが用いられていることになる。
【００５４】
【表２】
2007166625.tif 000004
【００５５】
復号化装置が前述したような本発明のＳＥＩメッセージの分析モジュールを含まない場合、復号化装置はＨ．２６４規格の特別の要求に基づいてこれを無視するように構成されていることに注意されたい。したがってデータの復号化の際に本発明によって得られる利点、すなわち種々のスライスを並列に復号化できるという利点が達成されない。ただしこのようにすれば現在市販されている復号化装置に対して或る程度の互換性が保持される。
【図面の簡単な説明】
【００５６】
【図１】本発明により符号化されたデータストリームの構造を示す図である。
【図２】本発明の符号化装置を示す図である。
【図３】本発明の復号化装置を示す図である。
【図４】ＧＯＰの復号化におけるデータストリーム分析を示すフローチャートである。
【符号の説明】
【００５７】
１０１  動き予測モジュール、  １０２，２０８  動き補償モジュール、  １０３  減算器、  １０４  変換モジュール、  １０５  量子化モジュール、  １０６  逆変換モジュール、  １０７  逆量子化モジュール、  １０８，２０７  イントラ予測モジュール、  １０９，２０９  符号化モード選択モジュール、  １１０，２０６  フィルタ、  １１１，２０２  再編成モジュール、  １１２  エントロピー符号化モジュール、  １１３  メッセージ挿入モジュール、  １１４，２０５  加算器、  ２０１  エントロピー復号化モジュール、  ２０３  逆量子化モジュール、  ２０４  逆変換モジュール、  ２１０  バッファメモリ
【図１】
2007166625.tif 000005
【図２】
2007166625.tif 000006
【図３】
2007166625.tif 000007
【図４】
2007166625.tif 000008