(57)【要約】  本発明は、デパケタイズ処理における不要な待機時間を低減させ、処理を容易かつ高速に行うことができるようにすることができる情報処理装置および方法に関する。解析部６２１は、入力された画像データと、記憶部６２２より読み出した１つ前のピクチャの画像データとを比較する。隠蔽用ヘッダ生成部６２３は、その解析結果に基づいて、受信装置６０３がエラー隠蔽処理の際に参照する隠蔽用ヘッダを生成する。ロス解析部６３１は、隠蔽用ヘッダに基づいて、記憶部６３２に記憶されている符号化データを適宜利用しながら、伝送誤りの発生に対してエラー隠蔽を行う。本発明は、例えば、符号化装置に適用することができる。
2008123496.tif 000002
【特許請求の範囲】
【請求項１】
画像データを符号化する情報処理装置であって、
画像データを構成するフレーム又はフィールドを対象として、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に比較する比較手段と、
前記比較手段による比較結果に応じて、ラインブロックのエラーの隠蔽方法を示す隠蔽情報を生成する生成手段と、
周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられた係数データを符号化して符号化データを生成する符号化手段と、
前記生成手段により生成された隠蔽情報を、前記符号化手段により生成された符号化データに多重化するように、前記符号化手段を制御する制御手段と
を備える情報処理装置。
【請求項２】
前記制御手段は、前記隠蔽情報をヘッダとして前記符号化データをパケット化するように、前記符号化手段を制御する
請求項１に記載の情報処理装置。
【請求項３】
前記符号化手段は、
前記係数データを符号化して符号化データを生成する係数符号化手段と、
前記符号化データをパケット化するパケット化手段と
を含む請求項２に記載の情報処理装置。
【請求項４】
前記隠蔽情報は、フレーム又はフィールドを構成するラインブロックを他のフレーム又は他のフィールドを構成するラインブロックに置き換え可能か否かを示すフラグ情報を含む
請求項１に記載の情報処理装置。
【請求項５】
前記比較手段は、前記画像データに対するフレーム間の差分値又はフィールド間の差分値と閾値を比較する
請求項４に記載の情報処理装置。
【請求項６】
前記生成手段は、前記レーム間の差分値又は前記フィールド間の差分値が閾値以下の場合、前記フラグ情報を置き換え可能に設定する
請求項５に記載の情報処理装置。
【請求項７】
前記隠蔽情報は、フレーム又はフィールドを構成するラインブロックを他のフレーム又は他のフィールドを構成するラインブロックに置き換え可能な場合、どのピクチャ又はフィールドまで遡って置き換え可能かを示す情報を含む
請求項１に記載の情報処理装置。
【請求項８】
前記隠蔽情報は、フレーム又はフィールドを構成するラインブロックを他のフレーム又は他のフィールドを構成するラインブロックに置き換え可能な場合、置き換え可能なピクチャ又はフィールド以降のピクチャ又はフィールドで置き換え可能かを示すフラグ情報を含む
請求項１に記載の情報処理装置。
【請求項９】
前記係数データは、ラインブロック毎に、低域成分から高域成分の順に並び替えられている
請求項１に記載の情報処理装置。
【請求項１０】
画像データを符号化する情報処理装置の情報処理方法であって、
比較手段は、画像データを構成するフレーム又はフィールドを対象として、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に比較し、
生成手段は、前記比較手段による比較結果に応じて、ラインブロックのエラーの隠蔽方法を示す隠蔽情報を生成し、
符号化手段は、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられた係数データを符号化して符号化データを生成し、
制御手段は、前記生成手段により生成されて隠蔽情報を、前記符号化手段により生成された符号化データに多重化するように、前記符号化手段を制御する
情報処理方法。
【請求項１１】
画像データが符号化された符号化データにエラー隠蔽処理を行う情報処理装置であって、
前記画像データが周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられた係数データを符号化して得られる符号化データから、画像データを構成するフレーム又はフィールドを対象として少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に、ラインブロックのエラーの隠蔽方法を示す隠蔽情報を取得する取得手段と、
前記取得手段により取得されたエラー隠蔽情報に示されるエラー隠蔽情報に従って、前記符号化データに含まれるエラーを、ラインブロックごとに隠蔽処理する隠蔽手段と
を備える情報処理装置。
【請求項１２】
前記符号化データは、前記隠蔽情報をヘッダとしてパケット化されており、
前記取得手段は、前記隠蔽情報をヘッダとして取得する
請求項１１に記載の情報処理装置。
【請求項１３】
前記隠蔽手段により隠蔽処理された符号化データを復号して画像データを生成する復号手段を更に備える
請求項１１に記載の情報処理装置。
【請求項１４】
前記隠蔽手段により隠蔽処理された符号化データを記録媒体に記録する記録手段を更に備える
請求項１１に記載の情報処理装置。
【請求項１５】
画像データが符号化された符号化データにエラー隠蔽処理を行う情報処理装置の情報処理方法であって、
取得手段が、前記画像データが周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられた係数データを符号化して得られる符号化データから、画像データを構成するフレーム又はフィールドを対象として少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に、ラインブロックのエラーの隠蔽方法を示す隠蔽情報を取得し、
隠蔽手段が、前記取得手段により取得されたエラー隠蔽情報に示されるエラー隠蔽情報に従って、前記符号化データに含まれるエラーを、ラインブロックごとに隠蔽処理する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法に関し、特に、パケット送受信時における遅延を低減させることができるようにした情報処理装置および方法に関する。
【背景技術】
【０００２】
従来、双方向テレビジョン会議システムのような映像や音声を用いたコミュニケーションシステムや、放送局などにおける非圧縮環境との混在システム等において、映像や音声のデータをより遅延無く伝送することが求められている。近年、特に、映像や音声の高品質化に伴いそれらのデータ量も増大しており、より低遅延なデータ伝送が求められている。【０００３】
例えば、MPEG（Moving Picture Experts Group）やＨ．２６ｘ系の圧縮方式では動き予測により圧縮率を高めているが、動き予測を行うとアルゴリズムが複雑になり、その処理時間はフレームサイズの２乗に比例して大きくなるため、原理的に数フレームの符号化遅延が発生する。双方向実時間通信を行う際には、許容遅延時間２５０ｍｓぎりぎりの遅延時間となり、無視できない大きさである。【０００４】
また、JPEG（Joint Photographic Experts Group）２０００に代表されるような、イントラフレームコーデックはフレーム間の差分情報を利用しないため、上述したような遅延は発生しない。しかしながら、フレーム単位での圧縮となるため、エンコード開始まで、最低でも１フレームは待つ必要がある。現在の一般的なシステムでは１秒間に３０フレームであることが多いため、エンコード開始までに１６ｍｓ程度の待ち時間が必要となる。【０００５】
そこでこの遅延をさらに低減することが求められており、例えば、パケタイズ処理やデパケタイズ処理のように、エンコードやデコード以外の部分における遅延の低減も必要になってきた。例えば、伝送遅延を低減させるために、バッファメモリの容量を低減させる方法も考えられてきた（例えば、特許文献１参照）。【０００６】
ところで、映像や音声のデータを伝送するデジタルビデオ通信において、通信過程で伝送誤りが発生し、再生品質に影響を与えることがしばしば起こる。【０００７】
【特許文献１】特開２００５-１２７５３号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このような伝送誤りに対しても何らかの対処が施されるが、データ伝送のさらなる低遅延化のためには、この伝送誤りに対する処理においても低遅延化が求められる。【０００９】
本発明は、このような従来の実情に鑑みて提案されたものであり、データを送受信する際に発生する遅延時間を低減させることができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面は、画像データを符号化する情報処理装置であって、画像データを構成するフレーム又はフィールドを対象として、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に比較する比較手段と、前記比較手段による比較結果に応じて、ラインブロックのエラーの隠蔽方法を示す隠蔽情報を生成する生成手段と、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられた係数データを符号化して符号化データを生成する符号化手段と、前記生成手段により生成された隠蔽情報を、前記符号化手段により生成された符号化データに多重化するように、前記符号化手段を制御する制御手段とを備える情報処理装置である。【００１１】
前記制御手段は、前記隠蔽情報をヘッダとして前記符号化データをパケット化するように、前記符号化手段を制御することができる。【００１２】
前記符号化手段は、前記係数データを符号化して符号化データを生成する係数符号化手段と、前記符号化データをパケット化するパケット化手段とを含むことができる。【００１３】
前記隠蔽情報は、フレーム又はフィールドを構成するラインブロックを他のフレーム又は他のフィールドを構成するラインブロックに置き換え可能か否かを示すフラグ情報を含むようにすることができる。【００１４】
前記比較手段は、前記画像データに対するフレーム間の差分値又はフィールド間の差分値と閾値を比較することができる。【００１５】
前記生成手段は、前記レーム間の差分値又は前記フィールド間の差分値が閾値以下の場合、前記フラグ情報を置き換え可能に設定することができる。【００１６】
前記隠蔽情報は、フレーム又はフィールドを構成するラインブロックを他のフレーム又は他のフィールドを構成するラインブロックに置き換え可能な場合、どのピクチャ又はフィールドまで遡って置き換え可能かを示す情報を含むようにすることができる。【００１７】
前記隠蔽情報は、フレーム又はフィールドを構成するラインブロックを他のフレーム又は他のフィールドを構成するラインブロックに置き換え可能な場合、置き換え可能なピクチャ又はフィールド以降のピクチャ又はフィールドで置き換え可能かを示すフラグ情報を含むようにすることができる。【００１８】
前記係数データは、ラインブロック毎に、低域成分から高域成分の順に並び替えられているようにすることができる。【００１９】
本発明の一側面はまた、画像データを符号化する情報処理装置の情報処理方法であって、比較手段は、画像データを構成するフレーム又はフィールドを対象として、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に比較し、生成手段は、前記比較手段による比較結果に応じて、ラインブロックのエラーの隠蔽方法を示す隠蔽情報を生成し、符号化手段は、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられた係数データを符号化して符号化データを生成し、制御手段は、前記生成手段により生成されて隠蔽情報を、前記符号化手段により生成された符号化データに多重化するように、前記符号化手段を制御する情報処理方法である。【００２０】
本発明の他の側面は、画像データが符号化された符号化データにエラー隠蔽処理を行う情報処理装置であって、前記画像データが周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられた係数データを符号化して得られる符号化データから、画像データを構成するフレーム又はフィールドを対象として少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に、ラインブロックのエラーの隠蔽方法を示す隠蔽情報を取得する取得手段と、前記取得手段により取得されたエラー隠蔽情報に示されるエラー隠蔽情報に従って、前記符号化データに含まれるエラーを、ラインブロックごとに隠蔽処理する隠蔽手段とを備える情報処理装置である。【００２１】
前記符号化データは、前記隠蔽情報をヘッダとしてパケット化されており、前記取得手段は、前記隠蔽情報をヘッダとして取得することができる。【００２２】
前記隠蔽手段により隠蔽処理された符号化データを復号して画像データを生成する復号手段を更に備えることができる。【００２３】
前記隠蔽手段により隠蔽処理された符号化データを記録媒体に記録する記録手段を更に備えることができる。【００２４】
本発明の他の側面はまた、画像データが符号化された符号化データにエラー隠蔽処理を行う情報処理装置の情報処理方法であって、取得手段が、前記画像データが周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられた係数データを符号化して得られる符号化データから、画像データを構成するフレーム又はフィールドを対象として少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に、ラインブロックのエラーの隠蔽方法を示す隠蔽情報を取得し、隠蔽手段が、前記取得手段により取得されたエラー隠蔽情報に示されるエラー隠蔽情報に従って、前記符号化データに含まれるエラーを、ラインブロックごとに隠蔽処理する情報処理方法である。【００２５】
本発明の一側面においては、画像データを構成するフレーム又はフィールドを対象として、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に比較され、その比較結果に応じて、ラインブロックのエラーの隠蔽方法を示す隠蔽情報が生成され、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられた係数データを符号化して符号化データが生成され、生成された隠蔽情報を符号化データに多重化するように制御が行われる。【００２６】
本発明の他の側面においては、画像データが周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられた係数データを符号化して得られる符号化データから、画像データを構成するフレーム又はフィールドを対象として少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に、ラインブロックのエラーの隠蔽方法を示す隠蔽情報が取得され、取得されたエラー隠蔽情報に示されるエラー隠蔽情報に従って、符号化データに含まれるエラーが、ラインブロックごとに隠蔽処理される。
【発明の効果】
【００２７】
本発明によれば、データを送受信することができる。特に、データ送受信において発生する遅延時間を低減させることができる。
【図面の簡単な説明】
【００２８】
【図１】本発明を適用した伝送システムの構成例を示すブロック図である。
【図２】図１の符号化部の構成例を示すブロック図である。
【図３】ウェーブレット変換について概略的に説明するための略線図である。
【図４】ウェーブレット変換について概略的に説明するための略線図である。
【図５】５×３フィルタのリフティングによるフィルタリングを分解レベル＝２まで実行した例を示す略線図である。
【図６】この発明によるウェーブレット変換およびウェーブレット逆変換の流れを概略的に示す略線図である。
【図７】プレシンクトヘッダの構成例を示す図である。
【図８】ピクチャヘッダの構成例を示す図である。
【図９】符号化部とパケタイズ処理部との間で授受される情報の例を示す図である。
【図１０】図１のパケタイズ処理部の詳細な構成例を示すブロック図である。
【図１１】プレシンクトの例を説明するための模式図である。
【図１２】パケットの作成例を説明するための模式図である。
【図１３】RTPヘッダの構成例を説明するための模式図である。
【図１４】RTPペイロードヘッダの構成例を説明するための模式図である。
【図１５】共通ヘッダの構成例を示す図である。
【図１６】量子化パラメータ情報の構成例を示す図である。
【図１７】サイズ情報の構成例を示す図である。
【図１８】フォーマット情報の構成例を示す図である。
【図１９】ピクチャ情報の構成例を示す図である。
【図２０】カラー情報の構成例を示す図である。
【図２１】図１のデパケタイズ処理部の詳細な構成例を示すブロック図である。
【図２２】制御モードの遷移の様子の例を示す図である。
【図２３】デパケタイズ処理部と復号部との間で授受される情報の例を示す図である。
【図２４】図１の復号部の詳細な構成例を示すブロック図である。
【図２５】符号化処理の流れの例を説明するためのフローチャートである。
【図２６】パケタイズ処理の流れの例を説明するためのフローチャートである。
【図２７】スタートモード処理の流れの例を説明するためのフローチャートである。
【図２８】モード共通処理の流れの例を説明するためのフローチャートである。
【図２９】スタンバイモード処理の流れの例を説明するためのフローチャートである。
【図３０】プロセッシングモード処理の流れの例を説明するためのフローチャートである。
【図３１】ロスモード処理の流れの例を説明するためのフローチャートである。
【図３２】復号制御処理の流れの例を説明するためのフローチャートである。
【図３３】復号処理の流れの例を説明するためのフローチャートである。
【図３４】エラー通知対応処理の流れの例を説明するためのフローチャートである。
【図３５】エラー通知対応の様子の例を説明する模式図である。
【図３６】RTPペイロードヘッダの他の構成例を示す図である。
【図３７】セグメント情報の構成例を示す図である。
【図３８】パケタイズ処理の流れの、他の例を説明するためのフローチャートである。
【図３９】送信装置および受信装置の各要素が行う並列動作の様子の例を概略的に示す略線図である。
【図４０】図１の符号化部の他の構成例を示すブロック図である。
【図４１】ウェーブレット係数の並び替え処理を符号化部側で行う場合の処理の流れを説明するための略線図である。
【図４２】ウェーブレット係数の並び替え処理を復号部側で行う場合の処理の流れを説明するための略線図である。
【図４３】図１の符号化部の、さらに他の構成例を示すブロック図である。
【図４４】図４３の符号化部に対応する復号部の構成例を示すブロック図である。
【図４５】本発明を適用した伝送システムの、他の構成例を示すブロック図である。
【図４６】図４５の送信装置および受信装置の、詳細な構成例を示すブロック図である。
【図４７】隠蔽用ヘッダの構成例を示す模式図である。
【図４８】伝送される画像データの構成例を示す模式図である。
【図４９】解析処理の流れの例を説明するフローチャートである。
【図５０】隠蔽用ヘッダ生成処理の流れの例を説明するフローチャートである。
【図５１】ロス解析処理を説明するフローチャートである。
【図５２】本発明を適用した情報処理システムの構成例を示す図である。
【符号の説明】
【００２９】
１００  伝送システム，  １０２  送信装置，  １０３  受信装置，  １１０  回線，  １３２  デパケタイズ処理部，  １３３  復号部，  ２０２  RTPヘッダ作成部，  ２０３  共通ヘッダ作成部，  ２０４  拡張ヘッダ作成部，  ２０５  ピクチャ情報作成部，  ２０６  フラグ確認部，  ２０７  サイズ確認部，  ２０８  フラグメント処理部，  ２０９  パケット化部，  ２５２  ヘッダ情報解析部，  ２５３  制御モード遷移部，  ２５４  制御部，  ２５５  ヘッダ供給部，  ２５６  データ供給部，  ２５７  エラー通知部，  ２５８  制御信号供給部，  ３５１  制御情報取得部，  ３５２  復号制御部，  ３５３  復号処理実行部，  ３５４  ヘッダ取得部，  ３５５  データ取得部，  ３５６  エラー通知取得部，  ３５７  破棄処理部，  ６０２  送信装置，  ６０３  受信装置，  ６２１  解析部，  ６２２  記憶部，  ６２３  隠蔽用ヘッダ生成部，  ６３１  ロス解析部，  ６３２  記憶部，  ６４０  隠蔽用ヘッダ，  ６４３  置き換え先頭ピクチャID，  ６４４  RF，  ６４５  SF，  ６４６  置き換え先頭プレシンクトID
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態について説明する。【００３１】
図１は、本発明を適用した伝送システムの構成例を示すブロック図である。【００３２】
図１において、伝送システム１００は、撮像装置１０１が生成した画像データを送信装置１０２が圧縮符号化し、パケット化して送信し、回線１１０を介して伝送されるそのパケットを、受信装置１０３が受信してデパケタイズして復号し、表示装置１０４が得られた画像データの画像を表示するデータ伝送システムである。【００３３】
撮像装置１０１は、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）等を利用した撮像素子を有し、被写体を撮像し、その撮像画像をデジタルデータの画像データに変換し、得られた画像データを送信装置１０２に供給する。【００３４】
送信装置１０２は、符号化部１２１、パケタイズ処理部１２２、および送信部１２３を有する。送信装置１０２は、符号化部１２１において、撮像装置１０１より供給される画像データを所定の方法で符号化し、その符号化により得られた符号化データをパケタイズ処理部１２２においてパケット化し、生成されたパケットを送信部１２３より所定の通信方法で回線１１０に送出する。【００３５】
回線１１０は、送信装置１０２と受信装置１０３を接続し、送信装置１０２より送出されるパケットを受信装置１０３に伝送する任意の伝送媒体である。【００３６】
受信装置１０３は、受信部１３１、デパケタイズ処理部１３２、および復号部１３３を有する。受信装置１０３は、受信部１３１において、回線１１０を介して伝送されてきたパケットを受信し、デパケタイズ処理部１３２において、その受信したパケットから符号化データを抽出し、復号部１３３において、その抽出した符号化データを送信装置１０２の符号化部１２１に対応する復号方法で復号し、得られたベースバンドの画像データを表示装置１０４に出力する。【００３７】
表示装置１０４は、ディスプレイを有し、受信装置１０３より供給された画像データの画像をそのディスプレイに表示する。【００３８】
この図１の伝送システム１００は、パケタイズ処理部１２２によるパケタイズ処理による遅延時間、および、デパケタイズ処理部１３２によるデパケタイズ処理による遅延時間を低減し、撮像装置１０１において撮像されてから、その画像が表示装置１０４に表示されるまでの遅延時間を低減させることができるシステムである。【００３９】
図１の伝送システム１００において、送信装置１０２が送信する画像データを提供する装置として撮像装置１０１が示されているが、画像データを提供することができる装置であればどのような装置であってもよい。また、受信装置１０３が受信した画像データを利用する装置として表示装置１０４が示されているが、画像データを利用することができる装置であればどのような装置であってもよい。【００４０】
また、ここでは伝送されるデータとして画像データについてのみ説明するが、例えば、音声データ等、その他のデータが画像データとともに伝送されてもよい。【００４１】
送信装置１０２が行うパケットの送信方法は、受信装置１０３に対してのみ送信するユニキャストであってもよいし、受信装置１０３を含む複数の装置に対して送信するマルチキャストであってもよいし、不特定多数の装置に対して送信するブロードキャストであってもよい。【００４２】
回線１１０は、パケットを伝送可能なものであればどのような形態のものであってもよく、有線であってもよいし、無線であってもよいし、その両方を含むものであってもよい。また、図１において回線１１０は、１本の矢印により示されているが、専用または汎用の伝送ケーブルであってもよいし、例えばLAN（Local Area Network）やインターネット等のような、１つまたは複数の通信網を含むようにしてもよいし、何らかの通信中継装置を含むようにしてもよい。さらに、回線１１０の回線数（チャネル数）は何本であってもよい。【００４３】
次に、図１に示される送信装置１０２および受信装置１０３の各部の詳細について説明する。【００４４】
図２は、図１の送信装置１０２の符号化部１２１の内部の構成例を示すブロック図である。図２において、符号化部１２１は、ウェーブレット変換部１５０、途中計算用バッファ部１５１、係数並び替え用バッファ部１５２、係数並び替え部１５３、レート制御部１５４、およびエントロピ符号化部１５５を有する。【００４５】
符号化部１２１に入力された画像データは、途中計算用バッファ部１５１に一時的に溜め込まれる。ウェーブレット変換部１５０は、途中計算用バッファ部１５１に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部１５０は、途中計算用バッファ部１５１から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部１５１に格納する。ウェーブレット変換部１５０は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部１５０は、途中計算用バッファ部１５１に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部１５１に格納される。【００４６】
ウェーブレット変換部１５０は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部１５１から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部１５２に書き込む。【００４７】
係数並び替え部１５３は、係数並び替え用バッファ部１５２に書き込まれた係数データを所定の順序で読み出し、エントロピ符号化部１５５に供給する。エントロピ符号化部１５５は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。【００４８】
エントロピ符号化部１５５は、レート制御部１５４と連動的に動作し、出力される圧縮符号化データのビットレートが略一定値となるように制御される。すなわち、レート制御部１５４は、エントロピ符号化部１５５からの符号化データ情報に基づき、エントロピ符号化部１５５により圧縮符号化されたデータのビットレートが目標値に達した時点あるいは目標値に達する直前でエントロピ符号化部１５５による符号化処理を終了するように制御する制御信号を、エントロピ符号化部１５５に対して供給する。エントロピ符号化部１５５は、レート制御部１５４から供給される制御信号に応じて符号化処理が終了した時点で、符号化データを出力する。【００４９】
なお、エントロピ符号化部１５５が、係数並び替え部１５３から読み出された係数データに対して、最初に量子化を行い、得られた量子化係数に対してハフマン符号化や算術符号化等の情報源符号化処理を施すようにすれば、さらに圧縮効果の向上を期待することができる。この量子化の方法としてはどのようなものを用いても良く、例えば、一般的な手段、つまり、以下の式（１）に示されるような、係数データＷを量子化ステップサイズΔで除算する手法を用いれば良い。【００５０】
量子化係数＝Ｗ／Δ  ・・・（１）【００５１】
この時の量子化ステップサイズΔは、例えばレート制御部１５４において算出される。【００５２】
エントロピ符号化部１５５は、符号化により得られた符号化データをパケタイズ処理部１２２に供給する。【００５３】
次に、図２のウェーブレット変換部１５０で行われる処理について、より詳細に説明する。先ず、ウェーブレット変換について、概略的に説明する。画像データに対するウェーブレット変換では、図３に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。こうして、空間周波数の低い帯域のデータをより小さな領域に追い込んでいくことで、効率的な圧縮符号化を可能とする。【００５４】
なお、図３は、画像データの最低域成分領域に対する低域成分の領域Ｌおよび高域成分の領域Ｈへの分割処理を３回、繰り返し、分割の階層の総数を示す分割レベル＝３とした場合の例である。図３において、"Ｌ"および"Ｈ"は、それぞれ低域成分および高域成分を表し、"Ｌ"および"Ｈ"の順序は、前側が横方向に分割した結果の帯域を示し、後側が縦方向に分割した結果の帯域を示す。また、"Ｌ"および"Ｈ"の前の数字は、その領域の階層を示しており、低域成分の階層ほど小さい値で表されている。【００５５】
また、図３の例から分かるように、画面の右下の領域から左上の領域にかけて段階的に処理がなされ、低域成分が追い込まれていく。すなわち、図３の例では、画面の右下の領域が最も低域成分の少ない（高域成分が最も多く含まれる）領域３ＨＨとされる、画面が４分割された左上の領域は、さらに４分割され、この４分割された領域のうち左上の領域がさらに４分割される。最も左上隅の領域は、最も低域成分を多く含む領域０ＬＬとされる。【００５６】
低域成分に対して繰り返し変換および分割を行うのは、画像のエネルギが低域成分に集中しているためである。このことは、図４のＡに一例が示される分割レベル＝１の状態から、図４のＢに一例が示される分割レベル＝３の状態のように分割レベルを進めていくに従って、図４のＢに示されるようにしてサブバンドが形成されていくことからも、理解される。例えば、図３におけるウェーブレット変換の分割レベルは３であり、この結果、１０個のサブバンドが形成されている。【００５７】
ウェーブレット変換部１５０は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。【００５８】
このウェーブレット変換の具体的な例として、５×３フィルタを用いた方法について説明する。この５×３フィルタを用いた方法は、JPEG２０００規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。【００５９】
５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（２）および式（３）に示すように、低域フィルタＨ0（ｚ）と、高域フィルタＨ1（ｚ）とから構成される。式（２）および式（３）から、低域フィルタＨ0（ｚ）は、５タップで、高域フィルタＨ1（ｚ）は、３タップであることが分かる。【００６０】
Ｈ0（ｚ）＝（−１＋２ｚ-1＋６ｚ-2＋２ｚ-3−ｚ-4）／８    ・・・（２）
Ｈ1（ｚ）＝（−１＋２ｚ-1−ｚ-2）／２            ・・・（３）【００６１】
これら式（２）および式（３）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。【００６２】
次に、このウェーブレット変換方法について、さらに具体的に説明する。図５は、５×３フィルタのリフティングによるフィルタ処理を、分解レベル＝２まで実行した例を示している。なお、図５において、図の左側に分析フィルタとして示される部分は、ウェーブレット変換部１５０のフィルタである。また、図の右側に合成フィルタとして示される部分は、後述する復号装置におけるウェーブレット逆変換部のフィルタである。【００６３】
なお、以下の説明では、例えば表示デバイスなどにおいて画面の左上隅の画素を先頭として、画素が画面の左端から右端に向けて走査されて１ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて１画面が構成されるものとする。【００６４】
図５において、左端列は、原画像データのライン上の対応する位置にある画素データが縦方向に並べられて示されている。すなわち、ウェーブレット変換部１５０におけるフィルタ処理は、垂直フィルタを用いて画面上を画素が縦に走査されて行われる。左端から１列目乃至３列目が分割レベル＝１のフィルタ処理を示し、４列目乃至６列目が分割レベル＝２のフィルタ処理を示す。左端から２列目は、左端の原画像データの画素に基づく高域成分出力、左端から３列目は、原画像データおよび高域成分出力に基づく低域成分出力を示す。分割レベル＝２のフィルタ処理は、左端から４列目乃至６列目に示されるように、分割レベル＝１のフィルタ処理の出力に対して処理がなされる。【００６５】
分解レベル＝１のフィルタ処理において、第１段階のフィルタ処理として、原画像データの画素に基づき高域成分の係数データが算出され、第２段階のフィルタ処理として、第１段階のフィルタ処理で算出された高域成分の係数データと、原画像データの画素とに基づき低域成分の係数データが算出される。分解レベル＝１の一例のフィルタ処理を、図５における左側（分析フィルタ側）の第１列目乃至第３列目に示す。算出された高域成分の係数データは、図２の係数並び替え用バッファ部１５２に格納される。また、算出された低域成分の係数データは、図２の途中計算用バッファ部１５１に格納される。【００６６】
図５においては、係数並び替え用バッファ部１５２は、一点鎖線で囲まれた部分として示し、途中計算用バッファ部１５１は、点線で囲まれた部分として示す。【００６７】
途中計算用バッファ部１５１に保持された分解レベル＝１のフィルタ処理の結果に基づき、分解レベル＝２のフィルタ処理が行われる。分解レベル＝２のフィルタ処理では、分解レベル＝１のフィルタ処理において低域成分の係数として算出された係数データを、低域成分および高域成分を含んだ係数データと見做して、分解レベル＝１と同様のフィルタ処理を行う。分解レベル＝２のフィルタ処理により算出された、高域成分の係数データおよび低域成分の係数データは、係数並び替え用バッファ部１５２に格納される。【００６８】
ウェーブレット変換部１５０では、上述したようなフィルタ処理を、画面の水平方向および垂直方向にそれぞれ行う。例えば、先ず、分解レベル＝１のフィルタ処理を水平方向に行い、生成された高域成分および低域成分の係数データを途中計算用バッファ部１５１に格納する。次に、途中計算用バッファ部１５１に格納された係数データに対して、垂直方向に分解レベル＝１のフィルタ処理を行う。この分解レベル＝１の水平および垂直方向の処理により、高域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＨＨおよび領域ＨＬと、低域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＬＨおよび領域ＬＬとの４領域が形成される。【００６９】
そして、分解レベル＝２では、水平方向および垂直方向のそれぞれについて、分解レベル＝１で生成された低域成分の係数データに対してフィルタ処理が行われる。すなわち、分解レベル＝２では、分解レベル＝１で分割されて形成された領域ＬＬがさらに４分割され、領域ＬＬ内にさらに領域ＨＨ、領域ＨＬ、領域ＬＨおよび領域ＬＬが形成される。【００７０】
ウェーブレット変換部１５０は、ウェーブレット変換によるフィルタ処理を、画面の縦方向について、数ライン毎の処理に分割して、複数回に分けて段階的に行うようにしている。図５の例では、画面上の第１ラインからの処理になる１回目の処理は、７ラインについてフィルタ処理を行い、８ライン目からの処理になる２回目以降の処理は、４ライン毎にフィルタ処理を行っている。このライン数は、高域成分と低域成分とに２分解した後に、１ライン分の最低域成分が生成されるために必要なライン数に基づく。【００７１】
なお、以下において、この最低域成分の１ライン分（最低域成分のサブバンドの１ライン分の係数データ）を生成するために必要な、他のサブバンドも含めたラインの集まりを、プレシンクト（またはラインブロック）と称する。ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、または各サブバンド内において形成される１行分の画素データ若しくは係数データのことを示す。すなわち、プレシンクト（ラインブロック）とは、ウェーブレット変換前の元の画像データにおける、ウェーブレット変換後の最低域成分のサブバンド１ライン分の係数データを生成するために必要なライン数分の画素データ群、または、その画素データ群をウェーブレット変換して得られる各サブバンドの係数データ群のことを示す。【００７２】
図５によれば、分解レベル＝２のフィルタ処理結果で得られる係数Ｃ５は、係数Ｃ４および途中計算用バッファ部１５１に格納された係数Ｃaに基づき算出され、係数Ｃ４は、途中計算用バッファ部１５１に格納された係数Ｃa、係数Ｃbおよび係数Ｃcに基づき算出される。さらに、係数Ｃcは、係数並び替え用バッファ部１５２に格納される係数Ｃ２および係数Ｃ３、並びに、第５ラインの画素データに基づき算出される。また、係数Ｃ３は、第５ライン乃至第７ラインの画素データに基づき算出される。このように、分割レベル＝２における低域成分の係数Ｃ５を得るためには、第１ライン乃至第７ラインの画素データが必要とされる。【００７３】
これに対して、２回目以降のフィルタ処理においては、前回までのフィルタ処理で既に算出され係数並び替え用バッファ部１５２に格納されている係数データを用いることができるので、必要なライン数が少なくて済む。【００７４】
すなわち、図５によれば、分解レベル＝２のフィルタ処理結果で得られる低域成分の係数のうち、係数Ｃ５の次の係数である係数Ｃ９は、係数Ｃ４および係数Ｃ８、並びに、途中計算用バッファ部１５１に格納された係数Ｃcに基づき算出される。係数Ｃ４は、上述した１回目のフィルタ処理により既に算出され、係数並び替え用バッファ部１５２に格納されている。同様に、係数Ｃcは、上述の１回目のフィルタ処理により既に算出され、途中計算用バッファ部１５１に格納されている。したがって、この２回目のフィルタ処理においては、係数Ｃ８を算出するためのフィルタ処理のみが、新たになされることになる。
この新たなフィルタ処理は、第８ライン乃至第１１ラインがさらに用いられてなされる。【００７５】
このように、２回目以降のフィルタ処理は、前回までのフィルタ処理により算出され途中計算用バッファ部１５１および係数並び替え用バッファ部１５２に格納されたデータを用いることができるので、それぞれ４ライン毎の処理で済むことになる。【００７６】
なお、画面上のライン数が符号化のライン数と合致しない場合は、原画像データのラインを所定の方法で複製してライン数を符号化のライン数と合わせて、フィルタ処理を行う。【００７７】
このように、最低域成分１ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて（プレシンクト単位で）行うことで、符号化データを伝送した際に低遅延で復号画像を得ることを可能としている。【００７８】
ウェーブレット変換を行うためには、ウェーブレット変換そのものを実行するために用いられる第１のバッファと、所定の分割レベルまで処理を実行する間に生成される係数を格納するための第２のバッファとが必要とされる。第１のバッファは、途中計算用バッファ部１５１に対応し、図５においては点線で囲まれて示されている。また、第２のバッファは、係数並び替え用バッファ部１５２に対応し、図５においては一点鎖線に囲まれて示されている。第２のバッファに格納された係数は、復号の際に用いられるため、後段のエントロピ符号化処理の対象とされる。【００７９】
次に、図２の係数並び替え部１５３の処理について説明する。上述したように、ウェーブレット変換部１５０で算出された係数データは、係数並び替え用バッファ部１５２に格納され、係数並び替え部１５３により順序を並び替えられて読み出され、コーディングユニット単位でエントロピ符号化部１５５に送出される。【００８０】
既に説明したように、ウェーブレット変換においては、高域成分側から低域成分側へと係数が生成されていく。図５の例では、１回目において、原画像の画素データにより、分解レベル＝１のフィルタ処理で、高域成分の係数Ｃ１、係数Ｃ２および係数Ｃ３が順次生成される。そして、分解レベル＝１のフィルタ処理で得られた低域成分の係数データに対して分解レベル＝２のフィルタ処理を行い、低域成分の係数Ｃ４および係数Ｃ５が順次生成される。すなわち、第１回目では、係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に、係数データが生成される。この係数データの生成順は、ウェーブレット変換の原理上、必ずこの順序（高域から低域の順）になる。【００８１】
これに対して、復号側では、低遅延で即座に復号を行うためには低域成分から画像の生成および出力を行う必要がある。そのため、符号化側で生成された係数データを最低域成分側から高域成分側に向けて並び替えて復号側に供給することが望ましい。【００８２】
図５の例を用いて、より具体的に説明する。図５の右側は、逆ウェーブレット変換を行う合成フィルタ側を示す。復号側の、出力画像データの第１ライン目を含む１回目の合成処理（逆ウェーブレット変換処理）は、符号化側の１回目のフィルタ処理で生成された最低域成分の係数Ｃ４および係数Ｃ５と、係数Ｃ１とを用いて行われる。【００８３】
すなわち、１回目の合成処理においては、係数Ｃ５、係数Ｃ４、係数Ｃ１の順に符号化側から復号側に係数データを供給し、復号側では、分解レベル＝２に対応する合成処理である合成レベル＝２の処理で、係数Ｃ５および係数Ｃ４に対して合成処理を行って係数Ｃfを生成し、バッファに格納する。そして、分解レベル＝１に対応する合成処理である合成レベル＝１の処理で、この係数Ｃfと係数Ｃ１に対して合成処理を行って、第１ラインを出力する。【００８４】
このように、第１回目の合成処理においては、符号化側で係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に生成され係数並び替え用バッファ部１５２に格納された係数データが、係数Ｃ５、係数Ｃ４、係数Ｃ１、・・・の順に並び替えられて復号側に供給される。【００８５】
なお、図５の右側に示す合成フィルタ側では、符号化側から供給される係数について、括弧内に符号化側での係数の番号を記し、括弧外に合成フィルタのライン順を記す。例えば係数Ｃ１（５）は、図５の左側の分析フィルタ側では係数Ｃ５であって、合成フィルタ側では第１ライン目であることを示す。【００８６】
符号化側の２回目以降のフィルタ処理で生成された係数データによる復号側の合成処理は、前回の合成処理の際に合成あるいは符号化側から供給された係数データを用いて行うことができる。図５の例では、符号化側の２回目のフィルタ処理で生成された低域成分の係数Ｃ８および係数Ｃ９を用いて行う、復号側の２回目の合成処理は、符号化側の１回目のフィルタ処理で生成された係数Ｃ２および係数Ｃ３がさらに必要とされ、第２ライン乃至第５ラインが復号される。【００８７】
すなわち、２回目の合成処理においては、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３の順に符号化側から復号側に係数データを供給する。復号側では、合成レベル＝２の処理において、係数Ｃ８および係数Ｃ９と、１回目の合成処理の際に符号化側から供給された係数Ｃ４とを用いて係数Ｃgを生成し、バッファに格納する。この係数Ｃgと、上述の係数Ｃ４と、１回目の合成処理により生成されバッファに格納された係数Ｃfとを用いて係数Ｃhを生成し、バッファに格納する。【００８８】
そして、合成レベル＝１の処理において、合成レベル＝２の処理で生成されバッファに格納された係数Ｃgおよび係数Ｃhと、符号化側から供給された係数Ｃ２（合成フィルタでは係数Ｃ６（２）と示されている）および係数Ｃ３（合成フィルタでは係数Ｃ７（３）と示されている）とを用いて合成処理が行われ、第２ライン乃至第５ラインが復号される。【００８９】
このように、第２回目の合成処理においては、符号化側で係数Ｃ２、係数Ｃ３、（係数Ｃ４、係数Ｃ５）、係数Ｃ６、係数Ｃ７、係数Ｃ８、係数Ｃ９の順に生成された係数データが、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３、・・・の順に並び替えられて復号側に供給される。【００９０】
３回目以降の合成処理においても、同様にして、係数並び替え用バッファ部１５２に格納された係数データが所定の順序に並び替えられて復号部に供給され、４ラインずつ、ラインが復号される。【００９１】
なお、符号化側において画面の下端のラインを含むフィルタ処理（以下、最後の回と呼ぶ）に対応する復号側の合成処理では、それまでの処理で生成されバッファに格納された係数データを全て出力することになるため、出力ライン数が多くなる。図５の例では、最後の回に８ラインが出力される。【００９２】
なお、係数並び替え部１５３による係数データの並び替え処理は、例えば、係数並び替え用バッファ部１５２に格納された係数データを読み出す際の読み出しアドレスを、所定の順序に設定することでなされる。【００９３】
図６を用いて、上述までの処理をより具体的に説明する。図６は、５×３フィルタを用いて、分解レベル＝２までウェーブレット変換によるフィルタ処理を施した例である。ウェーブレット変換部１５０において、図６のＡに一例が示されるように、入力画像データの第１ラインから第７ラインに対して１回目のフィルタ処理が水平および垂直方向にそれぞれ行われる（図６のＡのＩｎ−１）。【００９４】
１回目のフィルタ処理の分解レベル＝１の処理において、係数Ｃ１、係数Ｃ２、および係数Ｃ３の３ライン分の係数データが生成され、図６のＢに一例が示されるように、分解レベル＝１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに配置される（図６のＢのＷＴ−１）。【００９５】
また、分解レベル＝１で形成される領域ＬＬは、分解レベル＝２による水平および垂直方向のフィルタ処理でさらに４分割される。分解レベル＝２で生成される係数Ｃ５および係数Ｃ４は、分解レベル＝１による領域ＬＬ内において、領域ＬＬに係数Ｃ５による１ラインが配置され、領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに、係数Ｃ４による１ラインが配置される。【００９６】
ウェーブレット変換部１５０による２回目以降のフィルタ処理では、４ライン毎にフィルタ処理が行われ（図６のＡのＩｎ−２・・・）、分解レベル＝１で２ラインずつの係数データが生成され（図６のＢのＷＴ−２）、分解レベル＝２で１ラインずつの係数データが生成される。【００９７】
図５の２回目の例では、分解レベル＝１のフィルタ処理で係数Ｃ６および係数Ｃ７の２ライン分の係数データが生成され、図６のＢに一例が示されるように、分解レベル１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨの、１回目のフィルタ処理で生成された係数データの次から配置される。同様に、分解レベル＝１による領域ＬＬ内において、分解レベル＝２のフィルタ処理で生成された１ライン分の係数Ｃ９が領域ＬＬに配置され、１ライン分の係数Ｃ８が領域ＨＨ、領域ＨＬおよび領域ＬＨにそれぞれ配置される。【００９８】
図６のＢのようにウェーブレット変換されたデータを復号した際には、図６のＣに一例が示されるように、符号化側の第１ライン乃至第７ラインによる１回目のフィルタ処理に対して、復号側の１回目の合成処理による第１ラインが出力される（図６のＣのＯｕｔ−１）。
以降、符号化側の２回目から最後の回の前までのフィルタ処理に対して、復号側で４ラインずつが出力される（図６のＣのＯｕｔ−２・・・）。そして、符号化側の最後の回のフィルタ処理に対して、復号側で８ラインが出力される。【００９９】
ウェーブレット変換部１５０で高域成分側から低域成分側へと生成された係数データは、係数並び替え用バッファ部１５２に順次格納される。係数並び替え部１５３は、上述した係数データの並び替えが可能となるまで係数並び替え用バッファ部１５２に係数データが蓄積されると、係数並び替え用バッファ部１５２から合成処理に必要な順に並び替えて係数データを読み出す。読み出された係数データは、エントロピ符号化部１５５に順次、供給される。【０１００】
以上のようにプレシンクト単位で符号化された画像データ（符号化データ）は、パケタイズ処理部１２２に供給される。その際、エントロピ符号化部１５５は、プレシンクト単位で、その画像データに関する情報をヘッダ情報（プレシンクトヘッダ）としてパケタイズ処理部１２２に供給する。図７にそのプレシンクトヘッダの構成例を示す。【０１０１】
図７に示されるように、プレシンクトヘッダ１７１は、４ワード（３２×４ビット）分のデータよりなり、PID、AT、AID、FT、CF、IF、プレシンクトタイムスタンプ、量子化係数、およびプレシンクトコード長等の情報を含む。【０１０２】
PID（Precinct ID）は、ピクチャの先頭から数えたプレシンクトの番号を示す１２ビットの情報である。AT（Align Unit Type）は、プレシンクト内に構成されるアラインユニットの属性を示す４ビットの情報である。アラインユニットは、プレシンクト内の符号化データが、例えば符号化単位等、所定のデータ単位で分割されたものである。つまり、プレシンクトは１つまたは複数のアラインユニットにより構成される。AID（Align Unit ID）は、プレシンクトの先頭から数えたアラインユニットの番号を示す５ビットの情報である。FT（Field Type）は、ピクチャがプログレッシブであるか、または、インタレースのどちらのフィールドであるかを示す２ビットのフラグ情報である。CF（Component Flag）は、輝度成分Ｙ、色差成分Cb、および色差成分Crのコンポーネントの内、複数のコンポーネントをひとつのアラインユニットやプレシンクトにまとめたことを示す３ビットの情報である。【０１０３】
IF（Incomplete Flag）は、何らかの理由で符号化に失敗したアラインユニットまたはプレシンクトであることを示す１ビットのフラグ情報である。この失敗の範囲は、PID、AT、およびAIDが示すペイロードに限定される。【０１０４】
プレシンクトタイムスタンプ（Precint Time Stamp）は、そのプレシンクトのタイムスタンプの下位３２ビットを示す情報である。量子化係数（QP Y or C）は、そのプレシンクトの、輝度成分Ｙまたは色差成分Ｃの量子化の際に使用された量子化係数の値を示す１６ビットの情報である。プレシンクトコード長（Precinct Code Length Y or C）は、そのプレシンクトの、輝度成分Ｙまたは色差成分Ｃの符号化データのデータ長を示す２６ビットの情報である。【０１０５】
また、エントロピ符号化部１５５は、ピクチャ単位で、その画像データに関する情報をヘッダ情報（ピクチャヘッダ）としてパケタイズ処理部１２２に供給する。図８にそのピクチャヘッダの構成例を示す。【０１０６】
図８に示されるように、ピクチャヘッダ１７２は、２６ワード（３２×２６ビット）分のデータよりなり、PI、ｗ、CEF、CBD、DL、WF、PDI、SF、FR、AR、DBSZ、フルタイムスタンプ、V0スタートポジション、SD、Ｈスタートポジション、VF、Ｖ合計サイズ、TSD、Ｈ合計サイズ、PXCS、Ｖサイズ、VSD、Ｈサイズ、BRT、CTS、およびWTm等の情報を含む。【０１０７】
PI（Profile Indication）は、プロファイルの指定を行う５ビットの情報である。ｗは、重み付け係数のカスタム値を設定するためのテーブル情報であるウェイティングテーブルをパケットに含めるか否かを示す１ビットのフラグ情報である。CEF（Color Extension Flag）は、カラー情報の拡張ヘッダを使用するか否かを示す１ビットのフラグ情報である。CBD（Component Bit Depth）は、コンポーネントのビット深度を示す５ビットの情報である。予め指定された値から「８」を引いた値が格納される。DL（DWT Level）は、ウェーブレット変換の分割数（分割レベル）を示す３ビットの情報である。WF（Wavelet Filter）は、ウェーブレット変換において使用されたフィルタの種類を示す２ビットの情報である。PDI（Picture Discontinuity Indication）は、タイムスタンプの連続性を示す１ビットの情報である。SF（Sampling Format）は、色差のサンプリング法を示す２ビットの情報である。【０１０８】
FR（Frame Rate）は、フレームレートを示す１ビットの情報である。AR（Aspect Ratio）は、画素アスペクト比を示す６ビットの情報である。DBSZ（Decoder Buffer Size）は、デコーダでのプレシンクトバッファサイズを示す４ビットの情報である。フルタイムスタンプ（FTS（Full Time Stamp））は、フルサイズのタイムスタンプを示す４６ビットの情報である。【０１０９】
V0スタートポジション（FFVS（First Field Vertical Start））は、先頭フィールドの垂直方向有効画素開始位置を示す１３ビットの情報である。SD（Start Diff）は、FFVSと第２フィールドとの差分を示す２ビットの情報である。Ｈスタートポジション（HS（Horizontal Start））は、水平方向の有効画素開始位置を示す１３ビットの情報である。VF（Video Format）は、圧縮信号の映像フォーマットを示す４ビットの情報である。【０１１０】
Ｖ合計サイズ（FFVTS（First Field Vertical Total Size））は、先頭フィールドのブランクを含めた総画素数を示す１３ビットの情報である。TSD（Total Size Diff）は、FFVTSと第２フィールドとの差分を示す２ビットの情報である。Ｈ合計サイズ（HTS（Horizontal Total Size））は、水平方向のブランクを含めた総画素数を示す１３ビットの情報である。PXCS（Pixel Clock Scale）は、クロックの倍率を示す３ビットの情報である。【０１１１】
Ｖサイズ（FFVVS（First Field Vertical Valid Size））は、先頭フィールドの垂直方向有効画素サイズを示す１３ビットの情報である。VSD（Valid Size Diff）は、FFVVSと第２フィールドとの差分を示す２ビットの情報である。Ｈサイズ（HVS（Horizontal Valid Size））は、水平方向の有効画素サイズを示す１３ビットの情報である。BRT（B Value Reset Timing）は、Ｂ値のリセットタイミングを示す２ビットの情報である。【０１１２】
CTS（Custom Table Size）は、カスタムテーブルのサイズを示す１６ビットの情報である。指定値の数だけ後続のカスタム値が存在し、そのサイズはCTS×２バイトである。WTｍ（Weighting Table ｍ）は、ｍ番目のウェイティングテーブルを示す１６×ｍビットの情報である。【０１１３】
なお、実際には、図９に示されるように、符号化部１２１からパケタイズ処理部１２２へは、データ以外にも、属性情報やVALID情報等が供給される。属性情報は、供給するデータが、ヘッダであるか画像データであるかを示したり、輝度成分のデータであるか色差成分のデータであるかを示したりする情報である。VALID情報は、データの読み取りタイミングを通知する情報である。【０１１４】
パケタイズ処理部１２２は、所定のデータ単位（プレシンクト）毎に供給される符号化データに対して、そのデータのサイズと、別途指定されるパケットサイズに基づいて、パケタイズ処理を行う。【０１１５】
図１０は、図１のパケタイズ処理部１２２の内部の構成例を示すブロック図である。【０１１６】
図１０においてパケタイズ処理部１２２は、データ取得部２０１、RTP（Real-time Transport Protocol）ヘッダ作成部２０２、共通ヘッダ作成部２０３、拡張ヘッダ作成部２０４、ピクチャ情報作成部２０５、フラグ確認部２０６、サイズ確認部２０７、フラグメント処理部２０８、パケット化部２０９、および出力部２１０を有する。【０１１７】
データ取得部２０１は、符号化部１２１より供給される符号化データやパケット等を、そのデータともに供給される属性情報やVALID情報等に基づいて取得する。例えば、プレシンクトヘッダ１７１を取得すると、データ取得部２０１は、それを、RTPヘッダ作成部２０２、共通ヘッダ作成部２０３、拡張ヘッダ作成部、フラグ確認部２０６、およびサイズ確認部２０７に供給する。また、例えば、ピクチャヘッダ１７２を取得すると、データ取得部２０１は、それをピクチャ情報作成部２０５に供給する。さらに、例えば、符号化データを取得すると、データ取得部２０１は、それをフラグメント処理部２０８に供給する。【０１１８】
RTPヘッダ作成部２０２は、データ取得部２０１がプレシンクトヘッダを取得すると、その取得されたプレシンクトヘッダに基づいて、RTPパケットのヘッダであるRTPヘッダを作成する。RTPヘッダの詳細については後述する。RTPヘッダ作成部２０２は、作成したRTPヘッダをパケット化部２０９に供給し、処理終了を共通ヘッダ作成部２０３に通知する。【０１１９】
RTPヘッダ作成部２０２より通知を受けると、共通ヘッダ作成部２０３は、データ取得部２０１が取得したプレシンクトヘッダ１７１に基づいて、そのプレシンクトより作成される各パケットに付加される共通のヘッダである共通ヘッダを作成する。共通ヘッダにはそのプレシンクトに関する基本的な情報が含まれる。共通ヘッダの詳細については後述する。共通ヘッダ作成部２０３は、作成した共通ヘッダをパケット化部２０９に供給し、処理終了を拡張ヘッダ作成部２０４に通知する。【０１２０】
共通ヘッダ作成部２０３より通知を受けると、拡張ヘッダ作成部２０４は、データ取得部２０１が取得したプレシンクトヘッダ１７１に基づいて、そのプレシンクトに関する、共通ヘッダには含まれない情報を必要に応じて付与する拡張ヘッダの情報を作成する。この拡張ヘッダの作成により、送信者は柔軟かつ効率的なヘッダ作成が可能になる。拡張ヘッダの情報の内容は任意であるが、例えば、量子化係数に関する情報や、サイズに関する情報等がある。拡張ヘッダの詳細については後述する。拡張ヘッダ作成部２０４は、作成した拡張ヘッダをパケット化部２０９に供給し、処理終了をピクチャ情報作成部２０５に通知する。【０１２１】
拡張ヘッダ作成部２０４より通知を受け、さらに、データ取得部２０１がピクチャヘッダ１７２を取得すると、ピクチャ情報作成部２０５は、そのピクチャヘッダ１７２に基づいて、そのピクチャに関する情報を含むピクチャ情報を作成する。このピクチャ情報の詳細については後述する。ピクチャ情報作成部２０５は、作成したピクチャ情報をパケット化部２０９に供給し、そのピクチャ情報を拡張ヘッダに挿入させ、処理終了をフラグ確認部２０６に通知する。なお、データ取得部２０１がピクチャヘッダ１７２を取得しない場合、ピクチャ情報作成部２０５は、ピクチャ情報を作成せずに、処理終了をフラグ確認部２０６に通知する。【０１２２】
ピクチャ情報作成部２０５より通知を受けると、フラグ確認部２０６は、データ取得部２０１が取得したプレシンクトヘッダ１７１に含まれるIFを参照し、そのフラグの値に応じて、パケットに符号化データを含めるか否かを判定する。例えば、「IF＝１」である場合、フラグ確認部２０６は、そのプレシンクトのデータの符号化は失敗したと判定し、データ取得部２０１に、その復号不可能な符号化データを破棄させる（取得しない）ようにし、さらに、パケット化部２０９を制御し、ヘッダ情報のみで（ペイロードを含めないように）パケット化させる。また、例えば、「IF＝０」である場合、フラグ確認部２０６は、そのプレシンクトの符号化は成功したと判定し、パケット化部２０９にペイロードを含めてパケット化させるようにし、処理終了をサイズ確認部２０７に通知する。【０１２３】
フラグ確認部２０６より通知を受けると、サイズ確認部２０７は、データ取得部２０１が取得したプレシンクトヘッダに含まれるプレシンクトコード長に基づいて、プレシンクトのデータサイズが、予め別途設定されているパケットサイズ（１つのパケットに含まれるペイロードのデータサイズの最大値）より大きいか否かを確認する。例えば、パケットサイズよりプレシンクトのデータサイズの方が大きい場合、サイズ確認部２０７は、フラグメント処理部２０８を制御し、データ取得部２０１が取得する符号化データをパケットサイズ毎に分割させる。逆に、例えば、パケットサイズよりプレシンクトのデータサイズの方が大きくない場合、サイズ確認部２０７は、フラグメント処理部２０８を制御し、データ取得部２０１が取得する符号化データを分割させないようにする。【０１２４】
フラグメント処理部２０８は、サイズ確認部２０７に制御されて、プレシンクトのデータサイズがパケットサイズより大きい場合、データ取得部２０１が取得する符号化データを、パケットサイズ毎に分割してパケット化部２０９に供給する。つまり、この場合、フラグメント処理部２０８は、データ取得部２０１がヘッダ部分も考慮した１パケットサイズ分の符号化データを取得する度に、その１パケットサイズ分の符号化データを１つのペイロードとしてパケット化部２０９に供給する。【０１２５】
逆に、プレシンクトのデータサイズがパケットサイズより大きくない場合、フラグメント処理部２０８は、サイズ確認部２０７に制御されて、データ取得部２０１が取得する符号化データを、そのままパケット化部２０９に供給する。つまり、この場合、フラグメント処理部２０８は、データ取得部２０１が取得する１プレシンクト分の符号化データを１つのペイロードとしてパケット化部２０９に供給する。【０１２６】
パケット化部２０９は、各部より供給されるヘッダ情報を用いてフラグメント処理部２０８より供給されるペイロードをパケット化する。例えば、１プレシンクトの符号化データがフラグメント処理部２０８により複数のペイロードに分割される場合、パケット化部２０９は、各ペイロードに対して、それぞれ必要なヘッダ情報を付加し、それぞれをパケット化する。また、例えば、フラグメント処理部２０８が符号化データを分割しない場合、パケット化部２０９は、フラグメント処理部２０８より供給された１つのペイロードに対して必要なヘッダ情報を付加しパケット化する。さらに、例えば、フラグ確認部２０６が、ペイロードをパケットに含めないように指示する場合、パケット化部２０９は、その指示に基づいてヘッダ情報のみでパケット化を行う。【０１２７】
また、パケット化部２０９は、生成した各パケットの共通ヘッダに含まれるSFFやＭ等のフラグ情報の値を適宜設定する。SFF（Start Fragment Flag）は、そのパケットがプレシンクトの先頭部分を含むパケット（先頭パケット）であるか否かを示すフラグ情報であり、Ｍ（Marker）は、プレシンクトの終端部分を含むパケット（最終パケット）であるか否かを示すフラグ情報である。これらのフラグ情報は、デパケタイズ処理部１３２によるデパケタイズ処理時に参照される。【０１２８】
例えば、フラグメント処理部２０８が符号化データを分割する場合、パケット化部２０９は、１プレシンクトの符号化データが分割されて生成されたペイロード群の内、先頭のペイロードのパケットのSFFを１に設定し、最後のペイロードのパケットのＭを１に設定する。【０１２９】
また、例えば、フラグメント処理部２０８が符号化データを分割しない場合、パケット化部２０９は、生成された１つのパケットのSFFおよびＭのそれぞれを１に設定する。【０１３０】
このようにSFFやＭ等のフラグ情報を設定することにより、デパケタイズ処理部１３２は、このフラグ情報を参照するだけで容易に、そのパケットがプレシンクトの先頭パケットであるか、最終パケットであるか、またはそれ以外のパケットであるかを把握することができる。これにより、デパケタイズ処理部１３２は、後述するように待機時間を低減させることができ、デパケタイズ処理の遅延時間を低減させることができる。【０１３１】
パケット化部２０９は、生成したパケットを出力部２１０に供給する。【０１３２】
出力部２１０は、パケット化部２０９より供給されるRTPパケットを、送信部１２３（図１）に供給し、受信装置１０３（図１）に送信させる。【０１３３】
上述したように符号化部１２１は、図１１に示されるように、１ピクチャ（フレームまたはフィールド）を、複数のプレシンクトに分割し、そのプレシンクト毎に符号化を行う。【０１３４】
パケタイズ処理部１２２は、図１２に示されるように、１つのプレシンクトの符号化データを所定のパケットサイズ毎に分割してパケット化する。プレシンクトのデータサイズがパケットサイズより大きくなければ、生成されるパケットは１つとなる。図１２の例においては１つのプレシンクトの符号化データから５つのパケットが生成されている。【０１３５】
画像データの伝送フォーマットの一例について以下に示す。【０１３６】
図１３は、RTPヘッダ作成部２０２が作成する、RTPパケットのヘッダ情報であるRTPヘッダの構成を示している。RTPヘッダ２２１には、バージョン番号（Ｖ）、パディング（Ｐ）、拡張ヘッダ（Ｘ）の有無、送信元数（Counter）（CC）、マーカ情報（marker bit）（Ｍ）、ペイロードタイプ（Payload type）（PT）、シーケンス番号、タイムスタンプ、および同期ソース（送信元）識別子（SSRC（Synchronization Source Identifier））の各フィールドが設けられている。【０１３７】
バージョン番号（Ｖ）は、RTPのバージョン番号を示す２ビットの情報である。パディング（Ｐ）は、１ビットのフラグ情報であり、その値が「１」のとき、ペイロードの最後にパディング・オクテット（埋め込みデータ）が１つ以上付加されていることを示す。拡張ヘッダ（Ｘ）の有無は、１ビットのフラグ情報であり、その値が「１」のとき、固定長ヘッダの他に拡張ヘッダが付加されている（ヘッダ拡張がある）ことを示す。送信元数（CC）は、CSRCの識別子の数を示す４ビットの情報であり、例えば、多地点電話会議のように、複数のデータ源のデータを１つのRTPパケット化したときの、個々のデータ源の識別子の数を示す。【０１３８】
マーカ情報（Ｍ）は、１ビットのフラグ情報であり、例えば、ペイロードにおける任意のイベント等を示す。このマーカ情報（Ｍ）の利用方法は、例えば、ペイロードタイプ（PT）等において設定される。ペイロードタイプ（PT）は、そのパケットで運ぶペイロードの形式を指定する７ビットの情報である。【０１３９】
シーケンス番号は、RTPデータパケットの順序を示す１６ビットの番号情報であり、初期値はランダムに設定され、その後に続くパケットにおいては値が「１」ずつ増える。このシーケンス番号は、伝送される符号化データ（画像データ）全体を通してのパケットの順序を示す。【０１４０】
タイムスタンプは、RTPパケットの最初のバイトのサンプリング時刻を示す３２ビットの情報である。サンプリングクロックは、ペイロードのデータプロファイルによって決まる。例えば、音声信号の標本化周波数を８kHzとすると、タイムスタンプの値は１２５μsec毎に「１」増えるので、RTPデータパケットが２０msecのデータとすると、タイムスタンプの値はパケットごとに１６０ずつ増える。なお、初期値はランダムに設定される。【０１４１】
同期ソース（送信元）識別子（SSRC）は、このパケットの送信元を示す３２ビットの識別子である。この情報はランダムに生成される。トランスポートアドレスが変わると、このSSRC識別子も更新される。【０１４２】
共通ヘッダ作成部２０３、拡張ヘッダ作成部２０４、およびピクチャ情報作成部２０５はRTPヘッダに続くペイロードヘッダに含まれる各種情報を生成する。図１４にペイロードヘッダの構成例を示す。図１４に示されるように、ペイロードヘッダは、共通ヘッダ２３１、量子化パラメータ情報２３２、サイズ情報２３３、フォーマット情報２３４、ピクチャ情報２３５、およびカラー情報２３６により構成され、ペイロード２３７の前に付加される。【０１４３】
共通ヘッダ２３１は、共通ヘッダ作成部２０３により作成されるプレシンクトに関する基本的な情報を含むヘッダ情報である。この共通ヘッダ２３１は必須のヘッダであり、全パケットに付加される。【０１４４】
量子化パラメータ情報２３２は、拡張ヘッダ作成部２０４により作成される拡張ヘッダであり、量子化係数に関する情報を含む。サイズ情報２３３は、拡張ヘッダ作成部２０４により作成される拡張ヘッダであり、データサイズに関する情報を含む。フォーマット情報２３４は、拡張ヘッダ作成部２０４により作成される拡張ヘッダであり、データのフォーマットに関する情報を含む。ピクチャ情報２３５は、ピクチャ情報作成部２０５により作成される拡張ヘッダであり、元画像（つまり、符号化され、パケット化されて伝送される画像データ）に関する情報を含む。カラー情報２３６は、拡張ヘッダ作成部２０４により作成される拡張ヘッダであり、画像データの色に関する情報を含む。【０１４５】
量子化パラメータ情報２３２、フォーマット情報２３４、ピクチャ情報２３５、およびカラー情報２３６は、プレシンクトの先頭のパケット（フラグメントを行わない場合のパケットも含む）に拡張ヘッダとして付加される。サイズ情報２３３は、拡張ヘッダとして任意のパケットに付加される。【０１４６】
つまり、全てのパケットにサイズ情報を付加する場合、プレシンクトの先頭のパケットには、共通ヘッダ２３１乃至ペイロード２３７の全てが含まれる。これに対して、プレシンクトの先頭のパケット以外のパケットには、共通ヘッダ２３１とサイズ情報２３３とペイロード２３７のみが含まれる。【０１４７】
各情報の詳細について説明する。【０１４８】
図１５は、共通ヘッダ２３１の構成例を示す図である。図１５に示されるように、共通ヘッダ２３１は、PID、AT、AID、SFF、Ｍ、TSF、NF、FT、CF、IF、Ｘ、およびTS等の情報を含む。つまり、共通ヘッダ２３１の第１ワード（上から１段目）と第２ワード（上から２段目）は、符号化部１２１より供給されるプレシンクトヘッダ１７１の第１ワード（Word０）と第２ワード（Word１）をそのまま利用して作成されており、第１ワードの空きフィールド（Reserved）であった４ビットに、SFF、Ｍ、TSF、およびNFを追加したものである。【０１４９】
SFF（Start Fragment Flag）は、PID、AT、およびAIDが示すペイロードの先頭であるか否かを示す１ビットのフラグ情報である。つまり、このパケットがプレシンクトの先頭のパケット（先頭パケット）である場合、このSFFの値が「１」に設定され、それ以外の場合、「０」に設定される。【０１５０】
Ｍ（Marker）は、PID、AT、およびAIDが示すペイロードの終端部分を含むか否かを示す１ビットのフラグ情報である。つまり、このパケットがプレシンクト若しくはアラインユニットの終端部分を含むパケット（最終パケット）である場合、このＭの値が「１」に設定され、それ以外の場合、「０」に設定される。【０１５１】
TSF（Time Stamp Flag）は、共通ヘッダにタイムスタンプを含むか否かを示す１ビットのフラグ情報である。つまり、このTSFの値が「１」の場合、共通ヘッダ２３１の第２ワードには、プレシンクトヘッダ１７１の第２ワード（Word１）が付加されている。【０１５２】
NF（Next Flag）は、後続ペイロードの存在を示す１ビットのフラグ情報である。つまり、このパケットに複数のプレシンクト若しくはアラインユニットのペイロードが付加されていて、かつ、このヘッダがパケット中の最後のプレシンクト若しくはアラインユニットではない場合、このNFの値が「１」に設定される。【０１５３】
TS（Time Stamp）は、このパケットのペイロードが属するプレシンクトのタイムスタンプの下位３２ビットを示す情報であり、プレシンクトヘッダ１７１の第２ワード（Word１）に対応する。【０１５４】
なお、図１５に示される第３ワード（上から３段目）は、共通ヘッダ２３１に連続して付与される拡張ヘッダを示している。【０１５５】
図１６は、拡張ヘッダに含まれる量子化パラメータ情報２３２の構成例を示す図である。図１６に示されるように、量子化パラメータ情報２３２は、ET、QP、およびＸ等の情報を含む情報である。拡張ヘッダ作成部２０４は、符号化部１２１より供給されるプレシンクトヘッダ１７１の第３ワード（Word２）を利用して、この量子化パラメータ情報２３２を作成する。【０１５６】
ET（Extension Type）は、拡張ヘッダの内容を示す５ビットの情報である。この量子化パラメータ情報２３２使用時の場合の指定値は任意であるが、例えば「０００１１」である。QP（Quantize Parameter）は、量子化係数の値を示す１６ビットの情報である。Ｘ（Extension）は、拡張ヘッダを使用するか否かを示すフラグである。【０１５７】
図１７は、拡張ヘッダに含まれるサイズ情報２３３の構成例を示す図である。図１７に示されるように、サイズ情報２３３は、ET、SS、およびＸ等の情報を含む情報である。拡張ヘッダ作成部２０４は、符号化部１２１より供給されるプレシンクトヘッダ１７１の第４ワード（Word３）を利用して、このサイズ情報２３３を作成する。【０１５８】
ET（Extension Type）は、拡張ヘッダの内容を示す５ビットの情報である。このサイズ情報２３３使用時の場合の指定値は任意であるが、例えば「００１００」である。SS（Segment Size）は、セグメントのペイロードサイズをワード長で示す２６ビットの情報である。Ｘ（Extension）は、拡張ヘッダを使用するか否かを示すフラグである。【０１５９】
図７、並びに、図１５乃至図１７に示されるように、符号化部１２１は、共通ヘッダ２３１や拡張ヘッダ（量子化パラメータ情報２３２やサイズ情報２３３）と同じフォーマットのプレシンクトヘッダ１７１を、パケタイズ処理部１２２に供給する。これにより、パケタイズ処理部１２２の共通ヘッダ作成部２０３および拡張ヘッダ作成部２０４は、容易かつ高速に共通ヘッダおよび拡張ヘッダを作成することができる。【０１６０】
図１８は、拡張ヘッダに含まれるフォーマット情報２３４の構成例を示す図である。フォーマット情報２３４は、基本的に、図１８のＡに示されるように、ET、FTI、およびＸ等の情報を含む。拡張ヘッダ作成部２０４は、例えば符号化部１２１より供給される情報を利用して、このフォーマット情報２３４を作成する。【０１６１】
ET（Extension Type）は、拡張ヘッダの内容を示す５ビットの情報である。このフォーマット情報２３４使用時の場合の指定値は任意であるが、例えば「００１０１」である。
FTI（Format Type Identifier）は、どのフォーマットタイプに関する情報が記述されているかを示す情報である。この値は任意であるが、例えば、ベイヤ情報が記述されている場合、値「００００１」が設定される。Ｘ（Extension）は、拡張ヘッダを使用するか否かを示すフラグである。【０１６２】
図１８のＢに、ベイヤ情報が記述されている場合の、フォーマット情報２３４の構成例を示す。この場合、フォーマット情報２３４には、ET、FTI、およびXの他に、MT、SMT、BLF、VLOF、SSF、EVF、DC、BL、RBL、RVLO、DSS、NSS、およびEV等の情報が含まれる。【０１６３】
MT（Mosaic Type）は、ペイロードのモザイクタイプを示す４ビットの情報である。SMT（Start Mosaic Type）は、フレーム左上の最初の画素情報を示す４ビットの情報である。BLF（Black Level Flag）は、黒レベル情報の存在を示す１ビットのフラグ情報である。VLOF（Vertical Line Offset Flag）は、縦筋補正情報の存在を示す１ビットのフラグ情報である。SSF（Shutter Speed Flag）は、シャッタースピード情報の存在を示す１ビットのフラグ情報である。EVF（EV Flag）は、EV情報の存在を示す１ビットのフラグ情報である。DC（Defect Correction）は、欠陥補正を行うか否かを示す１ビットのフラグ情報である。【０１６４】
BL（Black Level）は、黒レベル値を示す３２ビットのフラグ情報である。RBL（Revised Black Level）は、黒レベル補正オフセット値を示す３２ビットの情報である。BLとRBLは、BLFの値が「１」の場合のみ存在する。【０１６５】
RVLO（Revised Vertical Line Offset）は、縦筋補正オフセット値を示す３２ビットの情報である。RVLOは、VLOFの値が「１」の場合のみ存在する。【０１６６】
DSSは、シャッタースピード分子（APEX単位）を示す３２ビットの情報である。NSSは、シャッタースピード分母（APEX単位）を示す３２ビットの情報である。DSSとNSSは、SSFの値が「１」の場合のみ存在する。【０１６７】
EVは、EV値を示す３２ビットの情報である。EVは、EVFの値が「１」の場合のみ存在する。
図１９は、拡張ヘッダに含まれるピクチャ情報２３５の構成例を示す図である。図１９に示されるように、ピクチャ情報２３５は、ET、PI、CEF、CBD、DL、WF、PDI、SF、FR、AR、DBSZ、FTS、FFVS、SD、HS、VF、FFVTS、TSD、HTS、PXCS、FFVVS、VSD、HVS、BRT、WCF、X、CTS、およびWTｍ等の情報を含む。ピクチャ情報作成部２０５は、符号化部１２１より供給されるピクチャヘッダ１７２を利用して、このピクチャ情報２３５を作成する。【０１６８】
つまり、ピクチャ情報２３５は、符号化部１２１より供給されるピクチャヘッダ１７２の、第１ワード（Word０）の空きフィールド（Reserved）にETを追加し、第６ワード（Word５）の空きフィールド（Reserved）にWCFとXを追加したものである。【０１６９】
ET（Extension Type）は、拡張ヘッダの内容を示す５ビットの情報である。このピクチャ情報２３５使用時の場合の指定値は任意であるが、例えば「０００１０」である。WCF（Waighting Custom Flag）は、重み付け係数のカスタム値を使用するかを示す１ビットのフラグ情報である。このWCFの値が「１」のときのみCTSが存在する。Ｘ（Extension）は、拡張ヘッダをこのヘッダに続けて使用するか否かを示すフラグである。【０１７０】
図８、および図１９に示されるように、符号化部１２１は、ピクチャ情報２３５と同じフォーマットのピクチャヘッダ１７２を、パケタイズ処理部１２２に供給する。これにより、パケタイズ処理部１２２のピクチャ情報作成部２０５は、容易かつ高速にピクチャ情報２３５を作成することができる。【０１７１】
図２０は、拡張ヘッダに含まれるカラー情報２３６の構成例を示す図である。図２０に示されるように、カラー情報２３６は、ETやＸ等の情報を含む。拡張ヘッダ作成部２０４は、符号化部１２１より供給される情報等を利用して、このカラー情報２３６を作成する。【０１７２】
ET（Extension Type）は、拡張ヘッダの内容を示す５ビットの情報である。Ｘ（Extension）は、拡張ヘッダを使用するか否かを示すフラグである。【０１７３】
パケタイズ処理部１２２は、以上のようにプレシンクト毎の符号化データをパケット化し、送信部１２３に供給する。送信部１２３は、そのパケットを順次、回線１１０を介して受信装置１０３に送信する。【０１７４】
以上のようなフォーマットで送信部１２３より送出されたパケットは、回線１１０を介して受信装置１０３の受信部１３１に供給される。受信部１３１は、そのパケットを受信すると、それをデパケタイズ処理部１３２に供給する。【０１７５】
図２１は、デパケタイズ処理部１３２の内部の構成例を示すブロック図である。図２１に示されるように、デパケタイズ処理部１３２は、例えば、パケット取得部２５１、ヘッダ情報解析部２５２、制御モード遷移部２５３、制御部２５４、ヘッダ供給部２５５、データ供給部２５６、エラー通知部２５７、および制御信号供給部２５８を有する。【０１７６】
パケット取得部２５１は、受信部１３１より供給されるパケットを取得する。そのとき、パケット取得部２５１は、RTPペイロードヘッダまで情報を取得すると、その取得を続けながら、既に取得した情報を順次、ヘッダ情報解析部２５２に供給する。つまり、パケット取得部２５１は、ペイロードの取得が完了する前に、ヘッダ情報をヘッダ情報解析部２５２に供給する。また、パケット取得部２５１は、ヘッダ情報はヘッダ供給部２５５にも供給し、ペイロードはデータ供給部２５６にも供給する。【０１７７】
ヘッダ情報解析部２５２は、パケット取得部２５１が取得したRTPパケットのヘッダ情報、つまり、RTPヘッダやペイロードヘッダの情報を解析し、その解析結果を制御モード遷移部２５３や制御部２５４に供給する。【０１７８】
制御モード遷移部２５３は、ヘッダ情報解析部２５２より供給されるヘッダ情報の解析結果に基づいて制御部２５４の動作モードを制御し、必要に応じて遷移させる。【０１７９】
制御部２５４は、制御モード遷移部２５３により制御されて遷移した制御モードで、ヘッダ情報解析部２５２より供給される解析結果に基づいて、ヘッダ供給部２５５、データ供給部２５６、エラー通知部２５７、および制御信号供給部２５８の動作を制御する。【０１８０】
ヘッダ供給部２５５は、制御部２５４に制御されて、パケット取得部２５１より供給されるペイロードヘッダに含まれる各種情報を抽出し、プレシンクトヘッダ１７１やピクチャヘッダ１７２を復元し、復号部１３３に供給する。データ供給部２５６は、制御部２５４に制御されて、パケット取得部２５１より供給されるペイロードデータを復号部１３３に供給する。エラー通知部２５７は、制御部２５４に制御されて、パケットロスの発生等のエラーを復号部１３３に通知する。制御信号供給部２５８は、制御部２５４に制御されて、ヘッダやデータ以外の各種制御情報を復号部１３３に供給する。【０１８１】
制御部２５４の制御モードには、図２２に示されるように、スタートモード３０１、スタンバイモード３０２、プロセッシングモード３０３、およびロスモード３０４の４つのモードがある。制御モード遷移部２５３は、ヘッダ情報解析部２５２によるヘッダ情報の解析結果に基づいて、RTPパケットの受信状況を把握し、その状況に応じて制御部２５４の制御モードを、最適なモードに遷移させる。【０１８２】
スタートモード３０１は、符号化データ全体の最初のパケットを処理するためのモードである。デパケタイズ処理開始時、制御部２５４は、このスタートモード３０１に設定される。スタンバイモード３０２は、プレシンクトの先頭のパケットを処理するためのモードである。プレシンクトの最後のパケットが処理された後、制御部２５４は、このスタンバイモード３０２に設定される。プロセッシングモード３０３は、パケットロスが発生していない通常時、プレシンクトの先頭以外の各パケットを処理するためのモードである。
パケットロスが発生していないとき、プレシンクトの先頭以外の各パケットに対して、制御部２５４は、このプロセッシングモード３０３に設定される。ロスモード３０４は、パケットロス等のエラーが発生したときに、そのプレシンクトの残りのパケットを処理するためのモードである。パケットロスが発生した場合、制御部２５４は、このロスモード３０４に設定される。【０１８３】
各モードにおけるデパケタイズ処理部１３２の動作の詳細については後述する。【０１８４】
なお、実際には、図２３に示されるように、デパケタイズ処理部１３２から復号部１３３へは、データ以外にも、スタート情報、エンド情報、VALID情報、属性情報、およびエラー通知等が供給される。【０１８５】
スタート情報は、プレシンクト若しくはアラインユニットの先頭パケットのペイロードを示す情報であり、デパケタイズ処理部１３２が、プレシンクト若しくはアラインユニットの先頭パケットのペイロードを復号部１３３に供給するとき、このスタート情報に値「１」が設定される。エンド情報は、プレシンクト若しくはアラインユニットの最終パケットのペイロードを示す情報であり、デパケタイズ処理部１３２が、プレシンクト若しくはアラインユニットの最終パケットのペイロードを復号部１３３に供給するとき、このエンド情報に値「１」が設定される。【０１８６】
属性情報は、供給するデータが、ヘッダであるか画像データであるかを示したり、輝度成分のデータであるか色差成分のデータであるかを示したりする情報である。VALID情報は、データの読み取りタイミングを通知する情報である。エラー通知は、パケットロス等のエラーの発生を復号部１３３に通知する情報である。【０１８７】
図２４は、図１の復号部１３３の内部の構成例を示すブロック図である。図２４に示されるように、復号部１３３は、制御情報取得部３５１、復号制御部３５２、復号処理実行部３５３、ヘッダ取得部３５４、データ取得部３５５、エラー通知取得部３５６、および破棄処理部３５７を有する。【０１８８】
制御情報取得部３５１は、デパケタイズ処理部１３２より、スタート情報、エンド情報、VALID情報、および属性情報等の制御情報を取得し、その制御情報を復号制御部３５２に供給する。復号制御部３５２は、その制御情報に基づいて、所定のタイミングで復号処理実行部３５３に復号処理を開始させる。【０１８９】
復号処理実行部３５３は、デパケタイズ処理部１３２より供給され、ヘッダ取得部３５４により取得されたヘッダ情報に基づいて、データ取得部３５５により取得された符号化データの復号処理を行う。復号処理実行部３５３は、図２４に示されるように、バッファ部３６１、エントロピ復号部３６２、およびウェーブレット逆変換部３６３を有する。バッファ部３６１は、データ取得部３５５より供給される符号化データを一時的に保持し、必要に応じてその符号化データをエントロピ復号部３６２に供給する。また、バッファ部３６１は、エントロピ復号部３６２より供給される、符号化データの復号結果である係数データを一時的に保持し、必要に応じてその係数データをウェーブレット逆変換部３６３に供給する。【０１９０】
エントロピ復号部３６２は、復号制御部３５２に制御されて、バッファ部３６１に保持されている符号化データを読み出して、符号化部１２１のエントロピ符号化部１５５に対応する方法でエントロピ復号し、係数データを生成する。なお、エントロピ符号化部１５５において、量子化を行う場合、エントロピ復号部３６２は、エントロピ復号処理を行った後、得られる係数データに対して逆量子化処理も行う。エントロピ復号部３６２は、得られた係数データをバッファ部３６１に供給して蓄積させる。【０１９１】
ウェーブレット逆変換部３６３は、所定のタイミングでバッファ部３６１に蓄積された係数データを読み出し、符号化部１２１のウェーブレット変換部１５０に対応する方法でウェーブレット逆変換処理を行い、得られたベースバンドの画像データを出力画像データとして、表示装置１０４に出力する。【０１９２】
ヘッダ取得部３５４は、デパケタイズ処理部１３２より供給されるプレシンクトヘッダやピクチャヘッダ等のヘッダ情報を取得し、それをバッファ部３６１に供給して保持させる。データ取得部３５５は、デパケタイズ処理部１３２より供給されるペイロードデータを取得し、それをバッファ部３６１に供給して保持させる。【０１９３】
エラー通知取得部３５６は、デパケタイズ処理部１３２より供給される、受信処理においてパケットのロスが発生したこと等を通知するエラー通知を取得し、それを破棄処理部３５７に供給する。破棄処理部３５７は、エラー通知を取得すると、復号処理実行部３５３のバッファ部３６１に蓄積されている符号化データを破棄させる。つまり、破棄処理部３５７は、パケットの受信処理においてパケットのロスが発生した場合（シーケンス番号に基づいてパケットロスの発生が確認された場合）、そのパケットロスが発生した現在のプレシンクトに対する正常なエントロピ復号処理が実行不可能であるので、バッファ部３６１に蓄積されている、パケットロスが発生した現在のプレシンクトの符号化データを全て破棄する。【０１９４】
次に、各部の実行する処理の流れについて説明する。最初に、送信装置１０２の符号化部１２１により実行される符号化処理の流れの例を図２５のフローチャートを参照して説明する。【０１９５】
符号化処理が開始されると、ウェーブレット変換部１５０は、ステップＳ１において、処理対象プレシンクトの番号Ａを初期設定にする。通常の場合、番号Ａは「１」に設定される。設定が終了すると、ウェーブレット変換部１５０は、ステップＳ２において、最低域サブバンドにおいて上からＡ番目の１ラインを生成するのに必要なライン数（すなわち、１プレシンクト）の画像データを取得し、その画像データに対して、ステップＳ３において画面垂直方向に並ぶ画像データに対して分析フィルタリングを行う垂直分析フィルタリング処理を行い、ステップＳ４において画面水平方向に並ぶ画像データに対して分析フィルタリング処理を行う水平分析フィルタリング処理を行う。【０１９６】
ステップＳ５においてウェーブレット変換部１５０は、分析フィルタリング処理を最終レベルまで行ったか否かを判定し、分解レベルが最終レベルに達していないと判定した場合、処理をステップＳ３に戻し、現在の分解レベルに対して、ステップＳ３およびステップＳ４の分析フィルタリング処理を繰り返す。【０１９７】
ステップＳ５において、分析フィルタリング処理が最終レベルまで行われたと判定した場合、ウェーブレット変換部１５０は、処理をステップＳ６に進める。【０１９８】
ステップＳ６において、係数並び替え部１５３は、プレシンクトＡ（ピクチャ（フレームまたはフィールド）の上からＡ番目のプレシンクト）の係数を低域から高域の順番に並び替える。エントロピ符号化部１５５は、ステップＳ７において、その係数に対してライン毎にエントロピ符号化する。【０１９９】
エントロピ符号化が終了すると、エントロピ符号化部１５５は、まず、ステップＳ８においてプレシンクトヘッダ１７１（図７）を送出し、ステップＳ９において、現在の処理対象のプレシンクトがピクチャの先頭のプレシンクト（つまり、Ａ＝１）であるか否かを判定する。ピクチャの先頭であると判定された場合、処理はステップＳ１０に進み、エントロピ符号化部１５５は、ピクチャヘッダ１７２（図８）を送出する。ステップＳ１０の処理が終了すると、処理はステップＳ１１に進む。また、ステップＳ９において、現在の処理対象のプレシンクトがピクチャの先頭のプレシンクトでないと判定された場合、ステップＳ１０の処理は省略され、処理はステップＳ１１に進む。【０２００】
エントロピ符号化部１５５は、ステップＳ１１において、ヘッダ情報に続いてプレシンクトＡの符号化データを外部に送出する。【０２０１】
ウェーブレット変換部１５０は、ステップＳ１２において番号Ａの値を「１」インクリメントして次のプレシンクトを処理対象とし、ステップＳ１３において、処理対象のピクチャについて、未処理の画像入力ラインが存在するか否かを判定し、存在すると判定した場合、処理をステップＳ２に戻し、新たな処理対象のプレシンクトに対してそれ以降の処理を繰り返す。【０２０２】
以上のようにステップＳ２乃至ステップＳ１３の処理が繰り返し実行され、各プレシンクトが符号化される。そして、ステップＳ１３において、未処理の画像入力ラインが存在しないと判定した場合、ウェーブレット変換部１５０は、そのピクチャに対する符号化処理を終了する。次のピクチャに対しては新たに符号化処理が開始される。【０２０３】
従来のウェーブレット変換の方法の場合、まず、水平分析フィルタリング処理をピクチャ全体に対して行い、次に垂直分析フィルタリング処理をそのピクチャ全体に対して行う。そして得られた低域成分全体に対して同様の水平分析フィルタリング処理と垂直分析フィルタリング処理を順に行う。以上のように、分解レベルが最終レベルに達するまで、分析フィルタリング処理が再帰的に繰り返される。従って、各分析フィルタリング処理の結果をバッファに保持させる必要があるが、その際、バッファは、ピクチャ全体、若しくは、その時点の分解レベルの低域成分全体のフィルタリング結果を保持する必要があり、多大なメモリ容量を必要とすることになる（保持するデータ量が多い）。【０２０４】
また、この場合、ピクチャ内において全てのウェーブレット変換が終了するまで、後段の係数並び替えやエントロピ符号化を行うことができず、遅延時間が増大する。【０２０５】
これに対して、符号化部１２１のウェーブレット変換部１５０の場合、上述したようにプレシンクト単位で垂直分析フィルタリング処理および水平分析フィルタリング処理を最終レベルまで連続して行うので、従来の方法と比較して、一度に（同時期に）保持する（バッファリングする）必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、最終レベルまで分析フィルタリング処理が行われることにより、後段の係数並び替えやエントロピ符号化等の処理も行うことができる（つまり、係数並び替えやエントロピ符号化をプレシンクト単位で行うことができる）。従って、従来の方法と比較して遅延時間を大幅に低減させることができる。【０２０６】
また、エントロピ符号化部１５５は、符号化データとともに、プレシンクト毎にプレシンクトヘッダ１７１を、ピクチャ毎にピクチャヘッダ１７２をパケタイズ処理部１２２に供給するので、パケタイズ処理部１２２は、容易にヘッダ情報を生成することができる。
また、このプレシンクトヘッダ１７１およびピクチャヘッダ１７２のフォーマットは、パケタイズ処理部１２２がパケットに付加するペイロードヘッダのフォーマットと同様であるので、パケタイズ処理部１２２は、さらに容易にヘッダ情報を生成することができる。【０２０７】
さらに、エントロピ符号化部１５５は、何らかの理由で符号化に失敗した場合、プレシンクトヘッダ１７１のIFを立てることにより、そのプレシンクトまたはアラインユニットが、符号化に失敗したプレシンクトまたはアラインユニットであることを示す。このIFを参照することによりパケタイズ処理部１２２は、復号できない不要なデータをパケット化して受信装置１０３に送信することを容易に抑制することができる。【０２０８】
次に、パケタイズ処理部１２２によるパケタイズ処理の流れの例を、図２６のフローチャートを参照して説明する。【０２０９】
ステップＳ３１において、パケタイズ処理部１２２のデータ取得部２０１は、プレシンクトヘッダ１７１を取得したか否かを判定し、取得したと判定するまで待機する。符号化部１２１より供給されたプレシンクトヘッダ１７１を取得したと判定された場合、処理はステップＳ３２に進む。【０２１０】
ステップＳ３２において、RTPヘッダ作成部２０２は、RTPヘッダ２２１を作成する。ステップＳ３３において、共通ヘッダ作成部２０３は、プレシンクトヘッダ１７１に基づいて、共通ヘッダ２３１を作成する。このとき、共通ヘッダ作成部２０３は、プレシンクトヘッダ１７１の第１ワード（Word０）に、SFF、Ｍ、TSF、およびNFのフィールドを追加する。【０２１１】
ステップＳ３４において、拡張ヘッダ作成部２０４は、プレシンクトヘッダ１７１に基づいて、量子化パラメータ情報２３２、サイズ情報２３３、フォーマット情報２３４、およびカラー情報２３６等の拡張ヘッダを作成する。【０２１２】
ステップＳ３５において、ピクチャ情報作成部２０５は、ピクチャヘッダ１７２を取得したか否かを判定する。ピクチャヘッダ１７２を取得したと判定された場合、処理はステップＳ３６に進む。ステップＳ３６において、ピクチャ情報作成部２０５は、ピクチャヘッダ１７２を参照し、ｗの値が「１」であるか否かを判定し、ｗの値が「１」であると判定した場合、ステップＳ３７においてウェイティングテーブル（WTｍ）もパケット化するようにピクチャ情報に含める。ステップＳ３７の処理が終了すると、処理はステップＳ３９に進む。【０２１３】
また、ステップＳ３６において、ｗの値が「０」であると判定した場合、ピクチャ情報作成部２０５は、ステップＳ３８において、ウェイティングテーブル（WTｍ）をピクチャ情報より削除する。ステップＳ３８の処理が終了すると、処理はステップＳ３９に進む。【０２１４】
さらに、ステップＳ３５において、ピクチャヘッダを取得していないと判定された場合、処理は、ステップＳ３９に進む。【０２１５】
ステップＳ３９において、フラグ確認部２０６は、プレシンクトヘッダ１７１のIFの値が０であるか否かを判定する。プレシンクトヘッダ１７１のIFの値が０であると判定された場合、処理はステップＳ４０に進む。【０２１６】
ステップＳ４０において、サイズ確認部２０７は、プレシンクトのデータサイズがパケットのペイロードの最大サイズ（パケットサイズ）より大きいか否かを判定する。【０２１７】
プレシンクトのサイズがパケットサイズより大きいと判定された場合、処理はステップＳ４１に進む。ステップＳ４１において、フラグメント処理部２０８は、１プレシンクトの符号化データをパケットサイズ毎に分割し、互いに異なるペイロードとする。ステップＳ４１の処理が終了すると、処理はステップＳ４３に進む。【０２１８】
また、ステップＳ４０において、プレシンクトのデータサイズがパケットサイズより大きくないと判定された場合、フラグメント処理部２０８は、符号化データの分割を行わない。つまり、この場合、ステップＳ４１の処理は省略され、処理はステップＳ４３に進む。【０２１９】
さらに、ステップＳ３９において、「IF＝０」と判定された場合、処理はステップＳ４２に進む。ステップＳ４２において、データ取得部２０１は、フラグ確認部２０６に制御されて、供給される符号化データを破棄する。ステップＳ４２の処理が終了すると、処理はステップＳ４３に進む。【０２２０】
パケット化部２０９は、ステップＳ４３において、各ペイロードやヘッダ情報を用いてRTPパケットを生成し、ステップＳ４４において、各パケットのSFFおよびＭ等のフラグ情報を設定する。【０２２１】
以上のように各フラグ情報が設定されると、出力部２１０は、そのRTPパケットを、送信部１２３に出力する。【０２２２】
ステップＳ４５において、データ取得部２０１は、全てのプレシンクトを処理したか否かを判定する。未処理のプレシンクトが存在すると判定された場合、処理はステップＳ３１に戻り、それ以降の処理が繰り返される。また、ステップＳ４５において全てのプレシンクトを処理したと判定された場合、パケタイズ処理は終了する。【０２２３】
以上のように、パケタイズ処理部１２２は、符号化部１２１より供給されるヘッダ情報に基づいて容易に共通ヘッダや拡張ヘッダを生成することができる。【０２２４】
また、上述したように、ステップＳ３６乃至ステップＳ３８において、ピクチャ情報作成部２０５は、プレシンクトヘッダ１７１のｗの値に基づいてウェイティングテーブルの付加を容易かつ高速に制御することができる。つまり、ピクチャ情報作成部２０５は、プレシンクトヘッダ１７１のｗの値を確認するだけで、ウェイティングテーブルを必要なときのみ適切に付加することができる。これにより、送信装置１０２より受信装置１０３に転送されるデータ量の不要な増大や、それに伴う各部の不要な負荷の増大を抑制することができる。【０２２５】
さらに、上述したように、ステップＳ３９においてプレシンクトヘッダ１７１のIFの値が「１」である場合、フラグ確認部２０６は、ステップＳ４２においてデータ取得部２０１を制御して、符号化データを取得させないようにし、パケットにペイロードを付加させないようにする。つまり、この場合、パケタイズ処理部１２２より出力されるRTPパケットにはヘッダ情報のみが含まれ、ペイロードは含まれない。このようにすることにより、パケタイズ処理部１２２は、符号化部１２１より供給されるプレシンクトヘッダ１７１を参照するだけで、容易かつ高速に復号できない不要なデータの送信を低減させることができ、送信部１２３、回線１１０、および受信装置１０３等の不要な負荷の増大を抑制することができる。【０２２６】
また、上述したようにステップＳ４０において、サイズ確認部２０７は、プレシンクトヘッダ１７１に基づいてプレシンクトのサイズがパケットサイズより大きいか否かを判定することができるので、パケタイズ処理部１２２は、１プレシンクトの符号化データを、蓄積することなく、容易かつ高速にフラグメントするか否かを判定することができる。【０２２７】
さらに、パケット化部２０９は、ステップＳ４４において、プレシンクトの先頭パケットについては、共通ヘッダ２３１のSFFのフラグを立て、プレシンクトの最終パケットについては、共通ヘッダ２３１のＭのフラグを立てる。このようなフラグを立てることにより、受信装置１０３のデパケタイズ処理部１３２は、ヘッダ情報を参照するだけで容易に、プレシンクトの先頭とプレシンクトの終端を識別することができる。これによりデパケタイズ処理部１３２は、後述するようにデパケタイズ処理を高速かつ容易に行うことができる。【０２２８】
さらに、このとき、共通ヘッダ２３１のIFのフラグが立てられていることにより、受信装置１０３のデパケタイズ処理部１３２は、ヘッダ情報を参照するだけで容易に、パケットにペイロードが含まれていないことを識別することができる。これによりデパケタイズ処理部１３２は、後述するようにデパケタイズ処理を高速かつ容易に行うことができる。【０２２９】
次に、パケットを受信する受信装置１０３のデパケタイズ処理部１３２が実行する処理について説明する。上述したようにデパケタイズ処理部１３２は、４つの制御モードでデパケタイズ処理を行う。デパケタイズ処理を開始する際、デパケタイズ処理部１３２は、スタートモード３０１に設定される。【０２３０】
最初に、そのスタートモード３０１のデパケタイズ処理部１３２により実行されるスタートモード処理の流れの例を図２７のフローチャートを参照して説明する。【０２３１】
ステップＳ６１において、パケット取得部２５１は、パケットを取得したか否かを判定し、受信部１３１を介してパケットを取得したと判定するまで待機する。パケットを取得したと判定された場合、処理はステップＳ６２に進む。ステップＳ６２において、ヘッダ情報解析部２５２は、パケットのヘッダ情報を取得し、「PID＝０」、「CF＝４」、かつ「SFF＝１」であるか否かを判定する。つまり、ヘッダ情報解析部２５２は、複数のコンポーネントを１つにまとめた、ピクチャの先頭のプレシンクトの最初のパケットであるか否かを判定する。「PID＝０」、「CF＝４」、かつ「SFF＝１」ではないと判定された場合、処理はステップＳ６１に戻りそれ以降の処理が繰り返される。つまり、「PID＝０」、「CF＝４」、かつ「SFF＝１」であると判定されるまで、ステップＳ６１およびステップＳ６２の処理が繰り返され、「PID＝０」、「CF＝４」、かつ「SFF＝１」であると判定されると、処理はステップＳ６３に進む。【０２３２】
ステップＳ６３において、制御部２５４は、後述するように各モードで実行される、プレシンクトの先頭のパケットに対するデパケタイズ処理であるモード共通処理を実行する。モード共通処理の詳細については後述する。モード共通処理が終了すると、制御モードは他のモードに遷移するので、スタートモード処理は終了する。【０２３３】
以上のように、スタートモードにおいて、制御部２５４は、共通ヘッダ２３１のSFFの値を参照するだけで、ピクチャの先頭のプレシンクトの先頭パケットを容易に検出することができる。また、制御部２５４は、そのピクチャの先頭のプレシンクトの先頭パケットを検出することにより、その時点でモード共通処理を開始し、そのプレシンクトからペイロードの抽出を開始することができる。つまり、制御部２５４は、プレシンクトの最終パケットを確認することなく、新規のプレシンクトを把握することができるので、ペイロードの抽出の開始タイミングをより早くすることができ、遅延時間を低減させることができる。【０２３４】
次に、図２７のステップＳ６３において実行されるモード共通処理の流れの例を図２８のフローチャートを参照して説明する。このモード共通処理は、後述するように、他のモードにおいても実行される処理であり、デパケタイズ処理部１３２が、１つ前のプレシンクトの最終パケットが確認されていないが、新しいプレシンクトの先頭パケットを確認した場合に、そのプレシンクトに対するデパケタイズ処理を行うものである。【０２３５】
従って、このモード共通処理は、パケット取得部２５１がパケットを既に取得している状態で開始される。【０２３６】
モード共通処理が開始されると、ステップＳ８２において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「IF＝０」であるか否かを判定する。「IF＝１」であると判定された場合、処理はステップＳ８３に進む。【０２３７】
「IF＝１」であると判定された場合、制御部２５４は、ステップＳ８３において、ヘッダ供給部２５５およびデータ供給部２５６を制御して、パケットのヘッダ部分のみを復号部１３３に転送させる。IF＝１の場合、基本的にそのパケットにペイロードは含まれていない。仮に含まれているとしても復号不可能であるので、制御部２５４は、データ供給部２５６を制御してそのペイロードの転送を禁止する。【０２３８】
ステップＳ８３の処理が終了すると、制御モード遷移部２５３は、ステップＳ８４において、制御モードを、次のプレシンクトの先頭パケットを待ち受けるスタンバイモードへ遷移する。スタンバイモードの処理については後述する。制御モードが遷移されるとモード共通処理は終了する。【０２３９】
ステップＳ８２において、「IF＝０」であると判定された場合、処理は、ステップＳ８５に進む。この場合、ペイロードの符号化データは正常に符号化されたデータである。ステップＳ８５において、ヘッダ供給部２５５は、制御部２５４に制御されて、プレシンクトヘッダ４ワード分を、復号部１３３に転送する。【０２４０】
ステップＳ８６において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「PID＝０」かつ「CF＝４」であるか否かを判定する。「PID＝０」かつ「CF＝４」であると判定された場合、処理は、ステップＳ８７に進む。ステップＳ８７において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「ｗ＝１」であるか否かを判定する。「ｗ＝１」であると判定された場合、処理はステップＳ８８に進み、ヘッダ供給部２５５は、制御部２５４に制御されて、ピクチャヘッダ１７２を、ウェイティングテーブルも含めるように２６ワード分復号部１３３に転送する。ステップＳ８８の処理が終了すると、処理はステップＳ９０に進む。【０２４１】
また、ステップＳ８７において、「ｗ＝１」でないと判定された場合、処理はステップＳ８９に進み、ヘッダ供給部２５５は、制御部２５４に制御されて、ピクチャヘッダ１７２を、ウェイティングテーブルも含めないように６ワード分のみ復号部１３３に転送する。ステップＳ８９の処理が終了すると、処理はステップＳ９０に進む。【０２４２】
また、ステップＳ８６において、「PID＝０」かつ「CF＝４」であると判定された場合、ピクチャの先頭のプレシンクトではないので、ヘッダ供給部２５５は、制御部２５４に制御されて、ピクチャヘッダ１７２を復号部１３３に転送しない。従って、この場合、処理はステップＳ９０に進む。【０２４３】
ステップＳ９０において、データ供給部２５６は、制御部２５４に制御されて、パケットの残りのペイロード、つまり符号化データを復号部１３３に転送する。ステップＳ９１において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「Ｍ＝１」であるか否かを判定する。「Ｍ＝１」であり、処理対象のパケットがプレシンクトの最終パケットであると判定された場合、処理はステップＳ９２に進み、制御部２５４は、制御モード遷移部２５３に制御されて、制御モードをスタンバイモードへ遷移する。つまり、今回最終パケットの処理が終了したので、制御モードは、次のプレシンクトの先頭パケットを待ち受けるスタンバイモードへ遷移される。制御モードが遷移されるとモード共通処理は終了する。【０２４４】
また、ステップＳ９１において、「Ｍ＝１」でなく、処理対象のパケットがプレシンクトの最終パケットでないと判定された場合、処理はステップＳ９３に進み、制御部２５４は、制御モード遷移部２５３に制御されて、制御モードをプロセッシングモードへ遷移する。つまり、今回最終パケットでないパケットの転送処理が正常に終了したので、制御モードは、同じプレシンクトの後続のパケットを待ち受けるプロセッシングモードへ遷移される。制御モードが遷移されるとモード共通処理は終了する。このモード共通処理が図２７のステップＳ６３において実行されたのであれば、モード共通処理終了により、処理は図２７のステップＳ６３に戻り、スタートモード処理が終了される。【０２４５】
以上のように、デパケタイズ処理部１３２は、SFFやＭの値に基づいて、プレシンクトの先頭パケットや最終パケットを容易に識別することができる。また、Ｍにより最終パケットを識別することができるので、デパケタイズ処理部１３２は、容易にプレシンクト毎にモードを適宜遷移させることができる。これにより、デパケタイズ処理部１３２は、各プレシンクトに対して適切にデパケタイズ処理を行うことができる。さらに、SFFにより先頭パケットを識別することができるので、デパケタイズ処理部１３２は、最終パケットを確認しなくてもプレシンクトの更新を把握することができる。つまり、例えば、パケットロスが発生した場合、つまり、取得したパケットのシーケンス番号が前回取得したパケットのシーケンス番号と連続していない場合であっても、デパケタイズ処理部１３２は、そのパケットが新たなプレシンクトの先頭パケットであるならば、次のプレシンクトを待たずに、その新たなプレシンクトのパケットからペイロードの抽出を開始することができる。つまり、デパケタイズ処理部１３２は、不要な待機時間を低減させることができる。
もちろん、スタートモードだけでなく、プロセッシングモードやロスモードにおいてモード共通処理を実行する場合も、デパケタイズ処理部１３２は、待機時間を短縮することができるので、遅延時間の短縮を実現することができる。【０２４６】
また、ステップＳ８３のように、デパケタイズ処理部１３２は、共通ヘッダ２３１を参照するだけで、容易に、復号不可能な不要なペイロードを復号部１３３に供給することを抑制することができる。これにより復号部１３３の復号処理の負荷を軽減させることができる。なお、ヘッダ情報は、復号処理に利用可能であるので、制御部２５４は、ヘッダ情報のみを転送させる。【０２４７】
次に、スタンバイモード処理の流れの例を図２９のフローチャートを参照して説明する。このスタンバイモード処理は、次のプレシンクトの先頭パケットを待ち受けるモードの処理であり、制御モード遷移部２５３により制御モードがスタンバイモードに遷移されると、開始される。【０２４８】
スタンバイモード処理が開始されると、パケット取得部２５１は、ステップＳ１１１において、パケットを受信したか否かを判定し、受信したと判定するまで待機する。受信部１３１よりパケットが供給され、パケットを受信したと判定された場合、処理はステップＳ１１２に進む。【０２４９】
ステップＳ１１２において、ヘッダ情報解析部２５２は、RTPヘッダ２２１を参照し、シーケンス番号が前回受信したパケットと連続するか否かを判定する。シーケンス番号が前回受信したパケットと連続していない場合、パケットの受信に失敗している（パケットロスが発生している）ことを示す。シーケンス番号が前回受信したパケットと連続しており、パケットロスが発生していないと判定された場合、処理はステップＳ１１３に進む。【０２５０】
ステップＳ１１３乃至ステップＳ１２２の各処理は、図２８を参照して説明したモード共通処理のステップＳ８２およびステップＳ８３、ステップＳ８５乃至ステップＳ９１、並びに、ステップＳ９３の各処理と同様に実行される。【０２５１】
つまり、ステップＳ１１３の処理はステップＳ８２に対応し、ステップＳ１１４の処理はステップＳ８３に対応する。ただし、スタンバイモード処理の場合、既にスタンバイモードであるので、図２８のステップＳ８４に対応する処理は省略され、ステップＳ１１１に処理が進められる（図２８においてスタンバイモードに遷移し、スタンバイモード処理が開始されるのと同等である）。【０２５２】
また、ステップＳ１１５乃至ステップＳ１２１は、それぞれ、図２８のステップＳ８５乃至ステップＳ９１に対応する。ただし、スタンバイモード処理の場合、既にスタンバイモードであるので、ステップＳ１２１において「Ｍ＝１」であると判定された場合、図２８のステップＳ９２に対応する処理は省略され、ステップＳ１１１に処理が進められる（図２８においてスタンバイモードに遷移し、スタンバイモード処理が開始されるのと同等である）。【０２５３】
なお、ステップＳ１２１において、「Ｍ＝１」でないと判定された場合、処理はステップＳ１２２に進む。このステップＳ１２２の処理は、図２８のステップＳ９３の処理に対応し、制御モード遷移部２５３が制御モードをプロセッシングモードに遷移させると、スタンバイモード処理は終了される。【０２５４】
また、ステップＳ１１２において、シーケンス番号が前回受信したパケットと連続しておらず、パケットロスが発生したと判定された場合、処理はステップＳ１２３に進む。【０２５５】
ステップＳ１２３において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「SFF＝１」であるか否かを判定する。「SFF＝１」であると判定された場合、処理はステップＳ１１３に戻り、それ以降の処理を繰り返す。復号処理はプレシンクト単位で行われるので、プレシンクト内においてパケットロスが発生していなければ、そのプレシンクトは復号可能である。つまり、「SFF＝１」である場合、現在処理対象のパケットが属するプレシンクトではなく、過去のプレシンクトにおいてパケットロスが発生したことを示している。その上、スタンバイモードの場合、その過去のプレシンクトの符号化データの、復号部１３３による蓄積は終了している。従って、パケットロスが発生しても、新たに取得したパケットが新たなプレシンクトの先頭パケットであるならば、そのパケットロスは無視され、処理はステップＳ１１３に戻される。【０２５６】
ステップＳ１２３において、「SFF＝１」でないと判定された場合、処理はステップＳ１２４に進む。この場合、パケットロスは、処理対象のパケットと同じプレシンクト内において発生している。従って、そのプレシンクトは復号することができないので、ペイロードの転送は中止される。つまり、ステップＳ１２４において、データ供給部２５６は、制御部２５４に制御されて、受信したパケットを、復号部１３３に転送せずに破棄する。【０２５７】
上述したように、スタンバイモードであるので、過去のプレシンクトの符号化データの、復号部１３３による蓄積は終了しており、新たなプレシンクトの符号化データはまだ蓄積されていない。従って、この場合、復号部１３３はデータを破棄する必要がないので、デパケタイズ処理部１３２は、復号部１３３にエラーを通知する必要は無い。【０２５８】
ステップＳ１２５において、制御部２５４は、制御モード遷移部２５３に制御されて、制御モードを、エラーが発生したプレシンクトにおいて次のプレシンクトのパケットを取得するまで待機するモードであるロスモードに遷移する。制御モードがロスモードに遷移されると、スタンバイモード処理は終了される。【０２５９】
以上のように、スタンバイモードにおいてデパケタイズ処理部１３２は、SFFやＭの値に基づいて、プレシンクトの先頭パケットや最終パケットを容易に識別することができる。また、Ｍにより最終パケットを識別することができるので、デパケタイズ処理部１３２は、容易にプレシンクト毎にモードを適宜遷移させることができる。これにより、デパケタイズ処理部１３２は、各プレシンクトに対して適切にデパケタイズ処理を行うことができる。さらに、SFFにより先頭パケットを識別することができるので、デパケタイズ処理部１３２は、最終パケットを確認しなくてもプレシンクトの更新を把握することができる。つまり、例えば、パケットロスが発生した場合、つまり、取得したパケットのシーケンス番号が前回取得したパケットのシーケンス番号と連続していない場合であっても、デパケタイズ処理部１３２は、そのパケットが新たなプレシンクトの先頭パケットであるならば、次のプレシンクトを待たずに、その新たなプレシンクトのパケットからペイロードの抽出を開始することができる。つまり、デパケタイズ処理部１３２は、不要な待機時間を低減させることができる。【０２６０】
次に、プロセッシングモード処理の流れの例を図３０のフローチャートを参照して説明する。このプロセッシングモード処理は、同じプレシンクトの後続のパケットを待ち受けるモードの処理であり、制御モード遷移部２５３により制御モードがプロセッシングモードに遷移されると、開始される。【０２６１】
プロセッシングモード処理が開始されると、パケット取得部２５１は、ステップＳ１４１において、パケットを受信したか否かを判定し、受信したと判定するまで待機する。受信部１３１よりパケットが供給され、パケットを受信したと判定された場合、処理はステップＳ１４２に進む。【０２６２】
ステップＳ１４２において、ヘッダ情報解析部２５２は、RTPヘッダ２２１を参照し、シーケンス番号が前回受信したパケットと連続するか否かを判定する。シーケンス番号が前回受信したパケットと連続しており、パケットロスが発生していないと判定された場合、処理はステップＳ１４３に進む。【０２６３】
ステップＳ１４３において、ヘッダ供給部２５５は、制御部２５４に制御されて、パケットより共通ヘッダ２３１を削除する。ステップＳ１４４において、データ供給部２５６は、制御部２５４に制御されて、残りのペイロードデータを復号部１３３へ転送する。ステップＳ１４５において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「Ｍ＝１」であるか否かを判定し、「Ｍ＝１」ではなくプレシンクトの最終パケットでないと判定された場合、同じプレシンクトに後続のパケットが存在するので、処理はステップＳ１４１に戻り、それ以降の処理が繰り返される。【０２６４】
つまり、ステップＳ１４１乃至ステップＳ１４５の処理が繰り返されながら、プレシンクトの各パケットよりペイロードが抽出されて復号部１３３に転送される。【０２６５】
ステップＳ１４５において、「Ｍ＝１」であり、処理対象のパケットがプレシンクトの最終パケットであると判定された場合、処理はステップＳ１４６に進み、制御部２５４は、制御モード遷移部２５３に制御されて、制御モードをスタンバイモードに遷移する。制御モードがスタンバイモードに遷移されるとプロセッシングモード処理は終了される。【０２６６】
また、ステップＳ１４２において、シーケンス番号が前回受信したパケットと連続しておらず、パケットロスが発生したと判定された場合、処理はステップＳ１４７に進む。【０２６７】
この場合、そのプレシンクトのデータを復号部１３３において蓄積中であるので、ステップＳ１４７において、エラー通知部２５７は、制御部２５４に制御されて、転送エラーを復号部１３３に通知する。【０２６８】
エラー通知が終了すると、ヘッダ情報解析部２５２は、ステップＳ１４８において、共通ヘッダ２３１を参照し、「SFF＝１」であるか否かを判定する。「SFF＝１」であると判定された場合、処理はステップＳ１４９に進む。ステップＳ１４９において、制御部２５４は、図２８のフローチャートを参照して説明したモード共通処理を実行する。この場合、モード共通処理が終了すると、処理は図３０のステップＳ１４９に戻り、プロセッシングモード処理が終了される。【０２６９】
また、ステップＳ１４８において、「SFF＝１」でないと判定された場合、処理はステップＳ１５０に進み、データ供給部２５６は、制御部２５４に制御されて受信したパケットを破棄する。ステップＳ１５１において、制御部２５４は、制御モード遷移部２５３に制御されて、制御モードをロスモードに遷移する。制御モードがロスモードに遷移されるとプロセッシングモード処理は終了される。【０２７０】
以上のように、プロセッシングモードにおいてデパケタイズ処理部１３２は、SFFやＭの値に基づいて、プレシンクトの先頭パケットや最終パケットを容易に識別することができる。また、Ｍにより最終パケットを識別することができるので、デパケタイズ処理部１３２は、容易にプレシンクト毎にモードを適宜遷移させることができる。これにより、デパケタイズ処理部１３２は、各プレシンクトに対して適切にデパケタイズ処理を行うことができる。さらに、SFFにより先頭パケットを識別することができるので、デパケタイズ処理部１３２は、最終パケットを確認しなくてもプレシンクトの更新を把握することができる。【０２７１】
例えば、パケットロスが発生していない場合、デパケタイズ処理部１３２は、順次供給される各パケットよりペイロードを抽出し、Ｍの値に基づいて最終パケットを確認し、そのプレシンクトに対する処理が終了したと判定した場合、スタンバイモードに遷移する。
パケットロスが発生した場合、デパケタイズ処理部１３２は、復号部１３３にエラーを通知し、先頭パケットで無ければそのパケットを破棄し、次のプレシンクトのパケットを確認するまで待機するようにロスモードに遷移する。ただし、「SFF＝１」であるとき、つまり、パケットロスを確認したときに取得したパケットが新たなプレシンクトの先頭パケットであれば、デパケタイズ処理部１３２は、モード共通処理を実行することにより、スタンバイモードやロスモードに遷移することなく、つまり、新たなプレシンクトのパケットを待たずに、そのプレシンクトからペイロード抽出を開始することができるので、ペイロード抽出の開始タイミングをより早くすることができ、遅延時間を低減させることができる。【０２７２】
次に、図３１のフローチャートを参照してロスモード処理の流れの例を説明する。このロスモード処理は、同じプレシンクトにおいてパケットロスが発生したときに次のプレシンクトのパケットを受信するまで待機するモードの処理であり、制御モード遷移部２５３により制御モードがロスモードに遷移されると、開始される。【０２７３】
ロスモード処理が開始されると、パケット取得部２５１は、ステップＳ１７１において、パケットを受信したか否かを判定し、受信したと判定するまで待機する。受信部１３１よりパケットが供給され、パケットを受信したと判定された場合、処理はステップＳ１７２に進む。【０２７４】
ステップＳ１７２において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「SFF＝１」であるか否かを判定する。「SFF＝１」でなく、プレシンクトの先頭パケットでないと判定された場合、処理はステップＳ１７３に進み、ヘッダ情報解析部２５２は、今度は、「Ｍ＝１」であるか否かを判定する。「Ｍ＝１」でない、つまりプレシンクトの最終パケットで無いと判定された場合、処理は、ステップＳ１７１に戻りそれ以降の処理が繰り返される。【０２７５】
ステップＳ１７３において、「Ｍ＝１」であると判定された場合、処理はステップＳ１７４に進み、制御部２５４は、制御モード遷移部２５３に制御されて制御モードをスタンバイモードに遷移する。制御モードがスタンバイモードに遷移されるとロスモード処理は終了される。【０２７６】
また、ステップＳ１７２において、「SFF＝１」であると判定された場合、制御部２５４は、図２８のフローチャートを参照して説明したモード共通処理を実行する。この場合、モード共通処理が終了すると、処理は図３１のステップＳ１７５に戻り、ロスモード処理が終了される。【０２７７】
つまり、ロスモードにおいても、デパケタイズ処理部１３２は、SFFやＭの値に基づいて、プレシンクトの先頭パケットや最終パケットを容易に識別することができる。また、Ｍにより最終パケットを識別することができるので、デパケタイズ処理部１３２は、容易にプレシンクト毎にモードを適宜遷移させることができる。これにより、デパケタイズ処理部１３２は、各プレシンクトに対して適切にデパケタイズ処理を行うことができる。さらに、SFFにより先頭パケットを識別することができるので、デパケタイズ処理部１３２は、最終パケットを確認しなくてもプレシンクトの更新を把握することができる。【０２７８】
ロスモードの場合、デパケタイズ処理部１３２は、パケットを取得しながら、基本的に待機し、Ｍの値に基づいて最終パケットを検出した場合、スタンバイモードに遷移し、次のプレシンクトの先頭パケットの取得に備える。また、SFFの値に基づいて先頭パケットを検出した場合、デパケタイズ処理部１３２は、モード共通処理を実行することによって、そのプレシンクトからペイロードの抽出を開始する。【０２７９】
このようにすることにより、デパケタイズ処理部１３２は、ペイロードの抽出の開始タイミングをより早くすることができ、遅延時間を低減させることができる。【０２８０】
以上のように、状況に応じて制御モードを切り替えながらデパケタイズ処理を行うことにより、デパケタイズ処理部１３２は、デパケタイズ用のバッファを設けて、プレシンクト毎にパケットを蓄積しなくても、供給されるパケットのヘッダ情報に基づいて順次適切に処理を行うことができ、容易かつ高速にデパケタイズ処理を行うことができる。また、パケットロスが発生した場合、デパケタイズ処理部１３２は、必要に応じてエラー通知を行うので復号部１３３は、不要な復号処理の実行を抑制し、復号処理の負荷を軽減させることができる。【０２８１】
さらに、IFの値により、デパケタイズ処理部１３２は、容易に、復号不可能な不要なペイロードを復号部１３３に供給することを抑制することができる。これにより復号部１３３の復号処理の負荷を軽減させることができる。【０２８２】
復号部１３３は、以上のようなデパケタイズ処理部１３２の処理に対応して、デパケタイズ処理部１３２より供給される符号化データの復号処理を行う。そのために、復号部１３３は、復号処理の実行を制御する復号制御処理を実行する。図３２のフローチャートを参照して、復号制御処理の流れの例を説明する。この符号化制御処理は、符号化データの供給が開始されてから終了するまでの間実行される。【０２８３】
ステップＳ１９１において、データ取得部３５５は、デパケタイズ処理部１３２より供給される符号化データを取得する。ステップＳ１９２において、バッファ部３６１は、その符号化データを蓄積する。ステップＳ１９３において、制御情報取得部３５１は、制御情報を取得する。ステップＳ１９４において、復号制御部３５２は、制御情報取得部３５１が取得した制御情報に基づいて、データ取得部３５５が取得したデータがプレシンクトの先頭パケットのペイロードであるか否かを判定する。プレシンクトの先頭パケットのペイロードであると判定された場合、処理はステップＳ１９５に進む。ステップＳ１９５において、復号制御部３５２は、制御情報取得部３５１が取得した制御情報に基づいて、データ取得部３５５に取得されバッファ部３６１に蓄積されたデータが連続しているか否かを判定する。パケットロスが発生しておらず、データ取得部３５５に取得されバッファ部３６１に蓄積されたデータが連続していると判定された場合、処理は、ステップＳ１９１に戻り、次の符号化データに対して、ステップＳ１９１以降の処理が繰り返される。【０２８４】
また、ステップＳ１９５において、パケットロスが発生し、データが連続していないと判定された場合、処理はステップＳ１９６に進む。ステップＳ１９６において、復号制御部３５２は、エントロピ復号部３６２を制御し、補完処理を開始させる。エントロピ復号部３６２は、プレシンクト単位で復号処理を行うが、プレシンクトのデータが欠落した場合、他のプレシンクトのデータ等を用いて補完処理を行う。【０２８５】
従って、復号制御部３５２は、前回取得したパケットと連続していない先頭パケットを取得した場合、エントロピ復号部３６２を制御し、その１つ前のプレシンクトに対して補完処理を実行させる。補完処理が終了すると、処理はステップＳ１９７に進む。【０２８６】
ステップＳ１９７において、復号制御部３５２は、復号制御処理を終了するか否かを判定し、終了しないと判定された場合、処理はステップＳ１９１に戻り、それ以降の処理が繰り返される。また、ステップＳ１９７において、復号制御処理を終了すると判定された場合、復号制御処理が終了される。【０２８７】
また、ステップＳ１９４において、データ取得部３５５が取得したデータがプレシンクトの先頭パケットのペイロードでないと判定された場合、処理はステップＳ１９８に進み、復号制御部３５２は、データ取得部３５５が取得したデータがプレシンクトの最終パケットのペイロードであるか否かを判定する。プレシンクトの最終パケットのペイロードであると判定された場合、処理はステップＳ１９９に進み、復号制御部３５２は、エントロピ復号部３６２を制御して、バッファ部３６１に蓄積されている符号化データに対して、復号処理を開始させる。ステップＳ１９９の処理が終了されると、処理はステップＳ１９７に戻る。【０２８８】
また、ステップＳ１９８において、データ取得部３５５が取得したデータがプレシンクトの最終パケットのペイロードでないと判定された場合、処理はステップＳ１９７に戻る。【０２８９】
次に、図３３のステップＳ１９９において開始される復号処理の流れの例を図３５のフローチャートを参照して説明する。この復号処理は、図３４の復号制御処理により制御され、プレシンクト単位で実行される。【０２９０】
復号処理が開始されると、エントロピ復号部３６２は、ステップＳ２１１において、バッファ部３６１に蓄積されている符号化データを取得し、ステップＳ２１２において、ライン毎に符号化データをエントロピ復号する。ステップＳ２１３において、バッファ部３６１は、その復号されて得られた係数データを保持する。ステップＳ２１４においてウェーブレット逆変換部３６３は、バッファ部３６１に１プレシンクト分の係数データが蓄積されたか否かを判定し、蓄積されていないと判定した場合、処理をステップＳ２１１に戻し、それ以降の処理を実行させ、バッファ部３６１に１プレシンクト分の係数データが蓄積されるまで待機する。【０２９１】
ステップＳ２１４においてバッファ部３６１に１プレシンクト分の係数データが蓄積されたと判定した場合、ウェーブレット逆変換部３６３は、処理をステップＳ２１５に進め、バッファ部３６１に保持されている係数データを１プレシンクト分読み出す。【０２９２】
そしてその読み出した係数データに対して、ウェーブレット逆変換部３６３は、ステップＳ２１６において、画面垂直方向に並ぶ係数データに対して合成フィルタリング処理を行う垂直合成フィルタリング処理を行い、ステップＳ２１７において、画面水平方向に並ぶ係数データに対して合成フィルタリング処理を行う水平合成フィルタリング処理を行い、ステップＳ２１８において、合成フィルタリング処理がレベル１（分解レベルの値が「１」のレベル）まで終了したか否か、すなわち、ウェーブレット変換前の状態まで逆変換したか否かを判定し、レベル１まで達していないと判定した場合、処理をステップＳ２１６に戻し、ステップＳ２１６およびステップＳ２１７のフィルタリング処理を繰り返す。【０２９３】
ステップＳ２１８において、レベル１まで逆変換処理が終了したと判定した場合、ウェーブレット逆変換部３６３は、処理をステップＳ２１９に進め、逆変換処理により得られた画像データを外部に出力する。【０２９４】
ステップＳ２２０において、エントロピ復号部３６２は、復号処理を終了するか否かを判定し、復号処理を終了しないと判定した場合、処理をステップＳ２１１に戻し、それ以降の処理を繰り返す。また、ステップＳ２２０において、プレシンクトが終了するなどして復号処理を終了すると判定した場合、エントロピ復号部３６２は、復号処理を終了する。【０２９５】
従来のウェーブレット逆変換の方法の場合、処理対象の分解レベルの全係数に対して、まず、画面水平方向に水平合成フィルタリング処理を行い、次に画面垂直方向に垂直合成フィルタリング処理を行っていた。つまり、各合成フィルタリング処理の度に、その合成フィルタリング処理の結果をバッファに保持させる必要があるが、その際、バッファは、その時点の分解レベルの合成フィルタリング結果と、次の分解レベルの全係数を保持する必要があり、多大なメモリ容量を必要とすることになる（保持するデータ量が多い）。【０２９６】
また、この場合、ピクチャ（インタレース方式の場合フィールド）内において全てのウェーブレット逆変換が終了するまで画像データ出力が行われないので、入力から出力までの遅延時間が増大する。【０２９７】
これに対して、復号部１３３のウェーブレット逆変換部３６３の場合、上述したようにプレシンクト単位で垂直合成フィルタリング処理および水平合成フィルタリング処理をレベル１まで連続して行うので、従来の方法と比較して、一度に（同時期に）バッファリングする必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、レベル１まで合成フィルタリング処理（ウェーブレット逆変換処理）が行われることにより、ピクチャ内の全画像データが得られる前に（プレシンクト単位で）画像データを順次出力させることができ、従来の方法と比較して遅延時間を大幅に低減させることができる。【０２９８】
次に、復号部１３３において、図３２の復号制御処理と並行して行われる、デパケタイズ処理部１３２からのエラー通知に対する処理であるエラー通知対応処理の流れの例を図３４のフローチャートを参照して説明する。【０２９９】
図３４において、エラー通知処理が開始されると、エラー通知取得部３５６は、ステップＳ２４１において、デパケタイズ処理部１３２よりエラー通知を取得したか否かを判定する。エラー通知を取得したと判定されるまで処理は待機する。ステップＳ２４１においてエラー通知を取得したと判定された場合、処理はステップＳ２４２に進む。ステップＳ２４２において、破棄処理部３５７は、バッファ部３６１に現在受信途中のプレシンクト（パケットロスが発生した最新のプレシンクトに属する符号化データ）が存在するか否かを判定する。【０３００】
現在受信途中であるプレシンクトがバッファ部３６１に存在すると判定された場合、処理は、ステップＳ２４３に進む。ステップＳ２４３において、破棄処理部３５７は、バッファ部３６１に蓄積されている受信中のスライスを破棄する。ステップＳ２４３の処理が終了すると、処理は、ステップＳ２４４に進む。また、ステップＳ２４２において、現在受信途中であるスライスがバッファ部３６１に存在しないと判定された場合、ステップＳ２４３の処理は省略され、処理はステップＳ２４４に進む。【０３０１】
ステップＳ２４４において、破棄処理部３５７は、エラー通知対応処理を終了するか否かを判定する。デパケタイズ処理は続いており、エラー通知対応処理も終了しないと判定された場合、処理はステップＳ２４１に戻り、それ以降の処理を繰り返す。また、ステップＳ２４４において、エラー通知対応処理を終了すると判定された場合、エラー通知対応処理は終了される。【０３０２】
以上のように、復号部１３３は、デパケタイズ処理部１３２からのエラー通知に応じて、パケットロスが発生したスライスの符号化データを破棄するので、不要な復号処理を行わないようにすることができる。このように適切な復号処理を行うことができるので、復号部１３３は、復号処理を容易かつ高速に行うことができ、復号処理の負荷を低減し、回路規模やコストを低減させることができる。【０３０３】
デパケタイズ処理部１３２により行われるエラー通知の様子の例を図３５に示す。【０３０４】
図３５において、デパケタイズ処理部１３２と復号部１３３は、６本の信号線で接続されているものとする。デパケタイズ処理部１３２は、受信したパケット１からRTPヘッダなどを削除して抽出した符号化データ（Data１）を復号部１３３に供給する。このとき、この符号化データ（Data１）が新たなスライスの先頭であった場合、デパケタイズ処理部１３２の制御信号供給部２５８は、制御部２５４に制御されてスタート情報（START）を通知する。【０３０５】
次に届いたパケットがパケット５であった場合、パケットロスがあったと判断される。
このとき、復号部１３３にはプレシンクトの一部であるData1が既に伝送されているため、デパケタイズ処理部１３２のエラー通知部２５７は、制御部２５４に制御されてエラー通知を行う。また、パケット５は「SFF＝１」であったため、デパケタイズ処理部１３２の制御信号供給部２５８は、制御部２５４に制御されて、スタート情報（START）を通知する。【０３０６】
なお、以上においては、パケタイズ処理部１２２は、プレシンクトのデータサイズがパケットサイズより大きい場合、データを分割して複数のパケットを生成し、そうでない場合、１つのパケットを生成するように説明したが、プレシンクトのデータサイズがパケットサイズに比べて小さい場合、複数のプレシンクトのデータを１つのパケットとするようにしてもよい。【０３０７】
その場合、ペイロードヘッダの構成は、例えば、図３６に示されるように、ヘッダ情報およびペイロードが順次並べられる。図３６の例の場合、１つ目のプレシンクトのデータである共通ヘッダ２３１乃至ペイロード２３７の後に、２つ目のプレシンクトのデータであるセグメント情報４３１、量子化パラメータ情報４３２、サイズ情報４３３、フォーマット情報４３４、ピクチャ情報４３５、カラー情報４３６、及びペイロード４３７が構成され、その後には、３つ目以降のプレシンクトのデータが並ぶ。【０３０８】
セグメント情報４３１は、２つ目のプレシンクトに対する共通ヘッダであり、図３７に示されるように、基本的に共通ヘッダ２３１と同様の情報が含まれる。つまり、セグメント情報４３１は、プレシンクトヘッダ１７１に基づいて作成される。なお、自分自身よりも後に他のプレシンクトのデータが存在する場合、共通ヘッダ２３１（セグメント情報４３１も同様）において、NFの値が「１」に設定される。【０３０９】
この場合のパケタイズ処理の流れの例を図３８のフローチャートを参照して説明する。【０３１０】
図３８に示されるように、この場合のパケタイズ処理も基本的に図２６を参照して説明した場合と同様に実行される。ステップＳ３０１乃至ステップＳ３１２の各処理は、図２６のステップＳ３１乃至ステップＳ４２の各処理と同様に実行され、ステップＳ３１５乃至ステップＳ３１７の各処理は、図２６のステップＳ４３乃至ステップＳ４５の各処理と同様に実行される。【０３１１】
ただし、ステップＳ３１０において、プレシンクトのサイズがパケットサイズより大きく無いと判定された場合、パケタイズ処理部１２２のサイズ確認部２０７は、同じパケットに新たなペイロードを追加可能であるか否かを判定する。パケットサイズに余裕があり、ペイロード追加可能と判定された場合、処理はステップＳ３１４に進み、データ取得部２０１は、プレシンクトヘッダを取得したか否かを判定し、取得したと判定するまで待機する。プレシンクトヘッダを取得したと判定した場合、処理はステップＳ３０３に戻り、パケットに追加するプレシンクトに対してそれ以降の処理が繰り返される。つまり、ステップＳ３０３乃至ステップＳ３１０、並びに、ステップＳ３１３およびステップＳ３１４のループ処理が繰り返されることにより、符号化データの合計のデータサイズがパケットサイズより大きくなるまで、同じパケットにプレシンクトが順次追加される。【０３１２】
なお、ステップＳ３１３において、パケットにペイロード追加不可能であると判定された場合、処理は、ステップＳ３１３に戻り、それ以降の処理が実行される。つまりこの場合、１つのプレシンクトの符号化データで１つのパケットが生成される。【０３１３】
以上のようにパケタイズ処理を行うことにより、１つのパケットに複数のプレシンクトのデータを含めることができる。【０３１４】
以上のような図１に示される伝送システム１００の各部により実行される各種処理は、例えば、図３９に示されるように、適宜、並列的に実行される。【０３１５】
図３９は、図１に示される伝送システム１００の各部により実行される処理の各要素の並列動作の例を概略的に示す図である。この図３９は、上述した図６と対応するものである。画像データの入力Ｉｎ−１（図３９のＡ）に対して、ウェーブレット変換部１５０（図２）で１回目のウェーブレット変換ＷＴ−１が施される（図３９のＢ）。図５を参照し説明したように、この１回目のウェーブレット変換ＷＴ−１は、最初の３ラインが入力された時点で開始され、係数Ｃ１が生成される。すなわち、画像データＩｎ−１の入力からウェーブレット変換ＷＴ−１が開始されるまで、３ライン分の遅延が生じる。【０３１６】
生成された係数データは、係数並び替え用バッファ部１５２（図２）に格納される。以降、入力された画像データに対してウェーブレット変換が施され、１回目の処理が終了すると、そのまま２回目のウェーブレット変換ＷＴ−２に処理が移行する。【０３１７】
２回目のウェーブレット変換ＷＴ−２のための画像データＩｎ−２の入力と、当該２回目のウェーブレット変換ＷＴ−２の処理と並列的に、係数並び替え部１５３（図２）により３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の並び替えＯｒｄ−１が実行される（図３９のＣ）。【０３１８】
なお、ウェーブレット変換ＷＴ−１の終了から並び替えＯｒｄ−１が開始されるまでの遅延は、例えば、並び替え処理を係数並び替え部１５３に指示する制御信号の伝達に伴う遅延や、制御信号に対する係数並び替え部１５３の処理開始に要する遅延、プログラム処理に要する遅延といった、装置やシステム構成に基づく遅延であって、符号化処理における本質的な遅延ではない。【０３１９】
係数データは、並び替えが終了した順に係数並び替え用バッファ部１５２から読み出され、エントロピ符号化部１５５（図２）に供給され、エントロピ符号化ＥＣ−１が行われる（図３９のＤ）。このエントロピ符号化ＥＣ−１は、３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の、全ての並び替えの終了を待たずに開始することができる。例えば、最初に出力される係数Ｃ５による１ラインの並び替えが終了した時点で、当該係数Ｃ５に対するエントロピ符号化を開始することができる。この場合、並び替えＯｒｄ−１の処理開始からエントロピ符号化ＥＣ−１の処理開始までの遅延は、１ライン分となる。【０３２０】
エントロピ符号化部１５５によるエントロピ符号化ＥＣ−１が終了した符号化データは、所定の信号処理が施された後、回線１１０を介して受信装置１０３に伝送される（図３９のＥ）。このとき、符号化データは、パケット化されて伝送される。【０３２１】
送信装置１０２の符号化部１２１に対して、１回目の処理による７ライン分の画像データ入力に続けて、画面上の下端のラインまで画像データが順次、入力される。符号化部１２１では、画像データの入力Ｉｎ−ｎ（ｎは２以上）に伴い、上述したようにして、４ライン毎にウェーブレット変換ＷＴ−ｎ、並び替えＯｒｄ−ｎおよびエントロピ符号化ＥＣ−ｎを行う。符号化部１２１における最後の回の処理に対する並び替えＯｒｄおよびエントロピ符号化ＥＣは、６ラインに対して行われる。これらの処理は、符号化部１２１において、図３９のＡ乃至図３９のＤに例示されるように、並列的に行われる。【０３２２】
符号化部１２１によるエントロピ符号化ＥＣ−１により符号化された符号化データのパケットは、受信装置１０３に伝送され、デパケタイズ処理等が施された後、復号部１３３に供給される。復号部１３３のエントロピ復号部３６２は、供給された、エントロピ符号化ＥＣ−１により符号化された符号化データに対して、順次、エントロピ符号の復号ｉＥＣ−１を行い、係数データを復元する（図３９のＦ）。復元された係数データは、順次、バッファ部３６１に格納される。ウェーブレット逆変換部３６３は、バッファ部３６１にウェーブレット逆変換が行えるだけ係数データが格納されたら、バッファ部３６１から係数データを読み出して、読み出された係数データを用いてウェーブレット逆変換ｉＷＴ−１を行う（図３９のＧ）。【０３２３】
図５を参照して説明したように、ウェーブレット逆変換部３６３によるウェーブレット逆変換ｉＷＴ−１は、係数Ｃ４および係数Ｃ５がバッファ部３６１に格納された時点で開始することができる。したがって、エントロピ復号部３６２による復号ｉＥＣ−１が開始されてからウェーブレット逆変換部３６３によるウェーブレット逆変換ｉＷＴ−１が開始されるまでの遅延は、２ライン分となる。【０３２４】
ウェーブレット逆変換部３６３において、１回目のウェーブレット変換による３ライン分のウェーブレット逆変換ｉＷＴ−１が終了すると、ウェーブレット逆変換ｉＷＴ−１で生成された画像データの出力Ｏｕｔ−１が行われる（図３９のＨ）。出力Ｏｕｔ−１では、図５および図６を用いて説明したように、第１ライン目の画像データが出力される。【０３２５】
復号部１３３に対して、符号化部１２１における１回目の処理による３ライン分の符号化された係数データの入力に続けて、エントロピ符号化ＥＣ−ｎ（ｎは２以上）により符号化された係数データが順次、入力される。復号部１３３では、入力された係数データに対して、上述したようにして、４ライン毎にエントロピ復号ｉＥＣ−ｎおよびウェーブレット逆変換ｉＷＴ−ｎを行い、ウェーブレット逆変換ｉＷＴ−ｎにより復元された画像データの出力Ｏｕｔ−ｎを順次、行う。符号化部１２１の最後の回に対応するエントロピ復号ｉＥＣおよびウェーブレット逆変換ｉＷＴは、６ラインに対して行われ、出力Ｏｕｔは、８ラインが出力される。これらの処理は、復号部１３３において、図３９のＦ乃至図３９のＨに例示されるように、並列的に行われる。【０３２６】
上述のようにして、画面上部から下部の方向に順番に、符号化部１２１および復号部１３３における各処理を並列的に行うことで、画像圧縮処理および画像復号処理をより低遅延で行うことが可能となる。【０３２７】
図３９を参照して、５×３フィルタを用いて分解レベル＝２までウェーブレット変換を行った場合の、画像入力から画像出力までの遅延時間を計算してみる。第１ライン目の画像データが符号化部１２１に入力されてから、この第１ライン目の画像データが復号部１３３から出力されるまでの遅延時間は、下記の各要素の総和となる。なお、ここでは、伝送路における遅延や、装置各部の実際の処理タイミングに伴う遅延などの、システムの構成により異なる遅延は、除外している。【０３２８】
（１）最初のライン入力から７ライン分のウェーブレット変換ＷＴ−１が終了するまでの遅延Ｄ＿ＷＴ
（２）３ライン分の計数並び替えＯｒｄ−１に伴う時間Ｄ＿Ｏｒｄ
（３）３ライン分のエントロピ符号化ＥＣ−１に伴う時間Ｄ＿ＥＣ
（４）３ライン分のエントロピ復号ｉＥＣ−１に伴う時間Ｄ＿ｉＥＣ
（５）３ライン分のウェーブレット逆変換ｉＷＴ−１に伴う時間Ｄ＿ｉＷＴ【０３２９】
図３９を参照して、上述の各要素による遅延の計算を試みる。（１）の遅延Ｄ＿ＷＴは、１０ライン分の時間である。（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴは、それぞれ３ライン分の時間である。また、符号化部１２１において、並び替えＯｒｄ−１が開始されてから１ライン後には、エントロピ符号化ＥＣ−１を開始することができる。同様に、復号部１３３において、エントロピ復号ｉＥＣ−１が開始されてから２ライン後には、ウェーブレット逆変換ｉＷＴ−１を開始することができる。また、エントロピ復号ｉＥＣ−１は、エントロピ符号化ＥＣ−１で１ライン分の符号化が終了した時点で処理を開始することができる。【０３３０】
したがって、この図３９の例では、符号化部１２１に第１ライン目の画像データが入力されてから、復号部１３３から当該第１ライン目の画像データが出力されるまでの遅延時間は、１０＋１＋１＋２＋３＝１７ライン分となる。【０３３１】
遅延時間について、より具体的な例を挙げて考察する。入力される画像データがHDTV(High Definition Television)のインタレースビデオ信号の場合、例えば１９２０画素×１０８０ラインの解像度で１フレームが構成され、１フィールドは、１９２０画素×５４０ラインとなる。したがって、フレーム周波数を３０Hzとした場合、１フィールドの５４０ラインが１６.６７msec（＝１sec/６０フィールド）の時間に、符号化部１２１に入力されることになる。【０３３２】
したがって、７ライン分の画像データの入力に伴う遅延時間は、０.２１６msec（＝１６.６７msec×７/５４０ライン）であり、例えば１フィールドの更新時間に対して非常に短い時間となる。また、上述した（１）の遅延Ｄ＿ＷＴ、（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴの総和についても、処理対象のライン数が少ないため、遅延時間が非常に短縮される。各処理を行う要素をハードウェア化すれば、処理時間をさらに短縮することも可能である。【０３３３】
ここで、SFFおよびＭのフラグ情報について説明する。【０３３４】
上述したように伝送システム１００においては、遅延時間の増大に対する許容度が低く、少しでも効率よくデータを伝送し、効率よく必要な処理を行うことが求められる。【０３３５】
従来においても、所定のデータ単位で符号化や復号を行うシステムは存在する。図１の伝送システム１００のように、符号化データをパケット化して伝送する場合、そのデータ単位の符号化データを複数に分割してそれぞれをパケット化して伝送するものもある。ただし、従来のシステムの場合、遅延時間に対する許容度は大きいので、デパケタイズ処理では、そのデータ単位分のパケットを蓄積し、データ単位毎にデパケタイズ処理が行われる。このようにすることにより、データ単位分揃った符号化データのみを復号部に供給し復号させることができる。【０３３６】
しかしながら、この方法では、デパケタイズ処理部においても符号化部においてもバッファリングする必要が生じるので、遅延時間の低減が求められる伝送システム１００においては望ましくない。【０３３７】
そこで、デパケタイズ処理部１３２は、上述したように、伝送される符号化データが各部においてその供給順に処理が可能であることを利用して、受信したパケットよりペイロードデータを順次抽出し、蓄積せずに復号部１３３に供給する。復号部１３３は、順次供給される符号化データをプレシンクト分蓄積する毎に復号処理を開始する。これにより、符号化データのバッファリングの回数を低減させることができるので、伝送システム１００は、遅延時間をより短縮させることができる。【０３３８】
SFFおよびＭは、プレシンクトの先頭または終端を示すフラグ情報であり、デパケタイズ処理部１３２は、このフラグ情報に基づいてプレシンクトの先頭や終端を検出することができ、その旨を復号部１３３に通知することができる。復号部１３３は、そのデパケタイズ処理部１３２からの通知に基づいて、プレシンクトの切れ目を把握し、復号処理をプレシンクト単位で開始することができる。【０３３９】
これだけであればプレシンクトの終端を示すＭだけでも十分である。仮に、プレシンクトを複数に分割したパケットと分割していないパケットが混在するのであれば、分割したことを示すフラグ情報があれば、それらのパケットの識別は可能である。【０３４０】
しかしながら、実際には受信部１３１がパケットの受信に失敗する（ロスする）ことも考えられる。このようにパケットロスが発生した場合、デパケタイズ処理部１３２は、パケットのバッファリングを行わないため、通常時と処理を変える必要がある。例えば、パケットロスが発生すると、伝送システム１００の場合、そのパケットを送信装置１０２に再送させる時間が確保できないので、そのプレシンクトの符号化データは揃わないことになる。つまり、パケットロスの発生により復号部１３３は、そのプレシンクトに対する復号処理を実行することができなくなる。【０３４１】
従って、例えばプレシンクトの途中のパケットでロスが発生した場合、復号部１３３には、そのプレシンクトのそれまでの符号化データが蓄積されていることも考えられる。このような場合、デパケタイズ処理部１３２は、復号部１３３にパケットロスの発生を通知し、その蓄積している、ロスされたパケットの符号化データと同じプレシンクトの符号化データを破棄させる。これにより、復号部１３３は、そのプレシンクトに対して不要な復号処理（失敗する復号処理）の実行を回避することができ、負荷を軽減させることができる。【０３４２】
また、一度パケットロスが発生すると、そのプレシンクトのそれ以降の符号化データは不要になる。従って、デパケタイズ処理部１３２は、次以降のプレシンクトになるまで、パケットを取得しても、符号化データを復号部１３３に供給しない。そして新たなプレシンクトのパケットを取得すると、デパケタイズ処理部１３２は、符号化データの供給を再開する。【０３４３】
このようにデパケタイズ処理部１３２は、その状況に応じて、制御モードを変更し、適宜適切な処理を行う。そのために、デパケタイズ処理部１３２は、SFFやＭを参照し、プレシンクトの先頭や終端を検出する。このとき、終端を示すＭしかないと、プレシンクトの終端を検出するまで、デパケタイズ処理部１３２は、プレシンクトが変わったと判定することができなくなる。例えば、プレシンクトの最終パケットをロスした場合、デパケタイズ処理部１３２は、さらに次の新たなプレシンクトを待たなければならなくなり、遅延時間が増大してしまうだけでなく、復号部１３３において復号処理を行うことができず、復元された画像の画質が劣化する恐れがある。【０３４４】
これに対して、SFFの値を参照し、先頭パケットを検出することにより、デパケタイズ処理部１３２は、復号部１３３へのデータを再開させる等、不要な待機時間を低減させるだけでなく、例えば、復号部１３３に符号化データだけでなくヘッダ情報も供給したり、パケットロスの発生を復号部１３３に通知するエラー通知を省略したり、パケットロスが発生しても復号部１３３への符号化データの供給を継続させたりするなど、先頭パケットに対してのみ例外的な処理を行うこともできる。【０３４５】
このようにSFFおよびＭのフラグ情報によりデパケタイズ処理部１３２は適切に処理を行うことができ、遅延時間をより短縮させることができる。【０３４６】
また、デパケタイズ処理部１３２は、このSFFやＭに基づいて、供給する符号化データがプレシンクトの先頭であることや終端であることを復号部１３３に通知したりする。これにより、復号部１３３は、プレシンクトの先頭と終端を容易に把握することができるので、例えば、プレシンクトの終端が供給されたのであれば、復号処理を開始することができるし、連続していない新たなプレシンクトの先頭が供給されたのであれば、その前のロスしたプレシンクトに対して補完処理を行うことができる。つまり、復号部１３３は、デパケタイズ処理部１３２からの通知に基づいて、このような制御を容易かつ高速に行うことができる。【０３４７】
以上のように、SFFやＭは、単にデパケタイズ処理や復号処理の開始タイミングを通知するためのフラグ情報ではなく、デパケタイズ処理部１３２および復号部１３３に、符号化データを復号して出力するまでの遅延時間をより短縮させるように、適切なタイミングで適切な処理を選択させ実行させるようにするためのフラグ情報である。【０３４８】
ところで、図２においては、係数の並び替えをウェーブレット変換の直後（エントロピ符号化の前）に行うように説明したが、符号化データが低域から高域の順に復号部１３３のウェーブレット逆変換部３６３に供給されればよく（つまり、低域のサブバンドに属する係数データを符号化して得られる符号化データから、高域のサブバンドに属する係数データを符号化して得られる符号化データの順に供給されればよく）、並び替えのタイミングは、ウェーブレット変換の直後以外であってもよい。【０３４９】
例えば、エントロピ符号化によって得られる符号化データの順序を並び替えるようにしてもよい。図４０は、その場合の符号化部の構成例を示すブロック図である。【０３５０】
図４０の場合、符号化部５００は、図２の符号化部１２１の場合と同様に、ウェーブレット変換部１５０、途中計算用バッファ部１５１、エントロピ符号化部１５５、およびレート制御部１５４を有するが、図２の係数並び替え用バッファ部１５２および係数並び替え部１５３の代わりに、符号並び替え用バッファ部５０１および符号並び替え部５０２を有する。【０３５１】
符号並び替え用バッファ部５０１は、エントロピ符号化部１５５において符号化された符号化データの出力順を並び替えるためのバッファであり、符号並び替え部５０２は、その符号並び替え用バッファ部５０１に蓄積される符号化データを所定の順に読み出すことにより、符号化データの出力順の並び替えを行う。【０３５２】
つまり、図４０の場合、ウェーブレット変換部１５０より出力されるウェーブレット係数は、エントロピ符号化部１５５に供給されて符号化される。その符号化により得られた各符号化データが、順次、符号並び替え用バッファ部５０１に供給され、並び替えのために一時的に蓄積される。【０３５３】
符号並び替え部５０２は、符号並び替え用バッファ部５０１に書き込まれた符号化データを、所望の順序で読み出し、符号化部５００の外部に出力する。【０３５４】
図４０の例の場合、エントロピ符号化部１５５は、ウェーブレット変換部１５０による出力順に、各係数データの符号化を行い、得られた符号化データを符号並び替え用バッファ部５０１に書き込む。つまり、符号並び替え用バッファ部５０１には、符号化データが、ウェーブレット変換部１５０によるウェーブレット係数の出力順に対応する順序で格納される。通常の場合、１つのプレシンクトに属する係数データ同士を比較すると、ウェーブレット変換部１５０は、より高域のサブバンドに属する係数データほど先に出力し、より低域のサブバンドに属する係数データほど後に出力する。つまり、符号並び替え用バッファ部５０１には、各符号化データが、高域のサブバンドに属する係数データをエントロピ符号化して得られた符号化データから、低域のサブバンドに属する係数データをエントロピ符号化して得られた符号化データに向かう順に記憶される。【０３５５】
これに対して、符号並び替え部５０２は、この順序とは独立して、任意の順序でその符号並び替え用バッファ部５０１に蓄積された各符号化データを読み出すことにより、符号データの並び替えを行う。【０３５６】
例えば、符号並び替え部５０２は、低域のサブバンドに属する係数データを符号化して得られた符号化データほど優先的に読み出し、最後に、最も高域のサブバンドに属する係数データを符号化して得られた符号化データを読み出す。このように、符号化データを低域から高域に向かって読み出すことにより、符号並び替え部５０２は、復号部１３３が、取得した順で各符号化データを復号することができるようにし、復号部１３３による復号処理おいて生じる遅延時間を低減させるようにすることができる。【０３５７】
符号並び替え部５０２は、符号並び替え用バッファ部５０１に蓄積されている符号化データを読み出し、それを符号化部５００の外部に出力する。【０３５８】
なお、図４０に示される符号化部５００で符号化され出力されたデータは、図２４を用いて既に説明した復号部１３３により、図２の符号化部１２１より出力される符号化データの場合と同様に復号することができる。【０３５９】
また、並び替えの処理を行うタイミングは、上述した以外であってもよい。例えば、図４１において一例が示されるように、符号化部において行うようにしてもよいし、図４２において一例が示されるように、復号部において行うようにしてもよい。【０３６０】
ウェーブレット変換で生成された係数データを並び替える処理では、係数並び替え用バッファの記憶容量として比較的大容量が必要となると共に、係数並び替えの処理自体にも、高い処理能力が要求される。この場合でも、符号化装置の処理能力がある程度以上高い場合には何ら問題は生じない。【０３６１】
ここで、携帯電話端末やPDA(Personal Digital Assistant)といった所謂モバイル端末などの、比較的処理能力の低い機器に符号化装置が搭載される場合について考える。例えば、近年では、携帯電話端末に対して撮像機能を付加した製品が広く普及している（カメラ機能付き携帯電話端末と呼ぶ）。このようなカメラ機能付き携帯電話端末で撮像された画像データをウェーブレット変換およびエントロピ符号化により圧縮符号化し、無線あるいは有線通信を介して伝送することが考えられる。【０３６２】
このような例えばモバイル端末は、CPU（Central Processing Unit）の処理能力も限られ、また、メモリ容量にもある程度の上限がある。そのため、上述したような係数並び替えに伴う処理の負荷などは、無視できない問題となる。【０３６３】
そこで、図４２に一例が示されるように、並び替え処理を復号部に組み入れることで、符号化部の負荷が軽くなり、符号化部をモバイル端末などの比較的処理能力が低い機器に搭載することが可能となる。【０３６４】
図４３は、その場合の符号化部の一例の構成を示すブロック図である。なお、この図４３において、上述の図２と共通する部分には同一の符号を付して、詳細な説明を省略する。【０３６５】
この図４３に示される符号化部５１０の構成は、上述の図２で示した符号化部１２１の構成に対して係数並び替え部１５３および係数並び替え用バッファ部１５２を除去した構成となっている。すなわち、符号化部５１０は、符号化部１２１と同様の、ウェーブレット変換部１５０、途中計算用バッファ部１５１、レート制御部１５４、およびエントロピ符号化部１５５を有している。【０３６６】
入力された画像データは、途中計算用バッファ部１５１に一時的に溜め込まれる。ウェーブレット変換部１５０は、途中計算用バッファ部１５１に溜め込まれた画像データに対してウェーブレット変換を施し、生成された係数データを、係数データの生成順に順次、エントロピ符号化部１５５に供給する。すなわち、エントロピ符号化部１５５に対して、ウェーブレット変換の順序に従い高域成分から低域成分の順に、生成された係数データが供給される。エントロピ符号化部１５５は、供給された係数に対して、レート制御部１５４により出力データのビットレートを制御されながらエントロピ符号化を施す。エントロピ符号化部１５５から、ウェーブレット変換により生成された係数データがエントロピ符号化された符号化データが出力される。【０３６７】
図４４は、この符号化部５１０に対応する復号装置の一例の構成を示すブロック図である。なお、この図４４において、上述の図２４と共通する部分には同一の符号を付し、詳細な説明を省略する。【０３６８】
図４４に示されるように、この場合の復号部５２０は、図２４の復号部１３３と同様に、制御情報取得部３５１、復号制御部３５２、復号処理実行部３５３、ヘッダ取得部３５４、データ取得部３５５、エラー通知取得部３５６、および破棄処理部３５７を有するが、復号処理実行部３５３は、さらに、係数並び替え用バッファ部５２１を有する。【０３６９】
図４３で説明した符号化部５１０のエントロピ符号化部１５５から出力された符号化データは、図４４の復号部５２０においてバッファ部３６１を介してエントロピ復号部３６２に供給され、エントロピ符号を復号され係数データとされる。この係数データは、バッファ部３６１を介して係数並び替え用バッファ部５２１に格納される。ウェーブレット逆変換部３６３は、係数並び替え用バッファ部５２１に係数データの並び替えが可能となるまで係数データが蓄積されると、係数並び替え用バッファ部５２１に格納された係数データを、低域成分から高域成分の順に並び替えて読み出し、読み出された順に係数データを用いてウェーブレット逆変換処理を行う。５×３フィルタを用いる場合は、上述の図４２で示したようになる。【０３７０】
すなわち、ウェーブレット逆変換部３６３は、例えば１フレームの先頭からの処理であれば、係数並び替え用バッファ部５２１にエントロピ符号の復号がなされた係数Ｃ１、係数Ｃ４、および係数Ｃ５が格納された時点で、係数並び替え用バッファ部５２１から係数データを読み出し、ウェーブレット逆変換処理を行う。ウェーブレット逆変換部３６３でウェーブレット逆変換を施されたデータは、順次、出力画像データとして出力される。【０３７１】
なお、この場合でも、図３９を用いて既に説明したように、符号化部５１０における各要素の処理と、伝送路に対する符号化データの伝送と、復号部５２０における各要素の処理とが並列的に実行される。【０３７２】
以上のように、本発明は、多様な形態に適用することができ、容易に多様な用途に応用することができる（すなわち汎用性が高い）ことも大きな効果である。【０３７３】
ところで、上述したように、映像や音声のデータを伝送するデジタルビデオ通信において、通信過程で伝送誤りが発生し、再生品質に影響を与えることがしばしば起こる。【０３７４】
これら伝送誤りによる影響は、何らかの方法で軽減させることが望ましいが、その方法として、例えば、誤ったデータそのものの復元を試みる方法（データを修復する方法）がある。しかしながら、この方法の場合、修復が成功すれば完全な画像を再現することができるものの、データを復元するための時間が必要になったり、エラー修復のために実効レートが落ちたりするなど、遅延時間が増大する恐れがある。【０３７５】
これに対して、誤ったデータはそのままで、直前のエラーが無い画像をそのまま表示したり、前後の画からエラー部分を推定するなどしてデコード後のエラーをなるべく目立たなくする方法（エラーを隠蔽する方法）がある。【０３７６】
このエラーを隠蔽する方法の場合、完全な画像を再生することはできないが、エラーが発生したデータを、前後のフレーム等の他のデータで置き換えるだけであるので、データ修復の時間を待つ必要が無い。そのため、より低遅延に処理することができる。しかしながら、このようなデータの置き換えは、ピクチャ（フレームまたはフィールド）単位か、それよりも荒い粒度で行う必要がある。【０３７７】
例えば、ピクチャ（フレームまたはフィールド）の一部分において発生したエラーに対して、その部分だけを前後のピクチャに置き換えると、その部分の絵柄が他の部分の絵柄と一致しなくなり、ピクチャ全体で画像が成立しなくなってしまう恐れがあるので、ピクチャ全体を（または複数のピクチャに渡って）置き換える必要がある。そのため、このようなデータの置き換えのために、１ピクチャ分以上の遅延が必要になり、データ伝送のさらなる低遅延化を実現することが困難になる。【０３７８】
そこで、遅延時間の増大を抑制しながら、伝送誤りによる影響を軽減させる方法を以下に説明する。【０３７９】
図４５は、本発明を適用した伝送システムの他の構成例を示す図である。【０３８０】
図４５に示される伝送システム６００は、図１に示される伝送システム１００と基本的に同様のシステムであり、撮像装置１０１が生成した画像データを送信装置６０２が圧縮符号化し、パケット化して送信し、回線１１０を介して伝送されるそのパケットを、受信装置６０３が受信してデパケタイズして復号し、表示装置１０４が得られた画像データの画像を表示するデータ伝送システムである。【０３８１】
送信装置６０２および受信装置６０３のより詳細な構成例を図４６に示す。【０３８２】
図４６に示されるように、送信装置６０２は、符号化部１２１、パケタイズ処理部１２２、および送信部１２３の他に、解析部６２１、記憶部６２２、および隠蔽用ヘッダ生成部６２３を有する。【０３８３】
解析部６２１は、入力される画像データに対して、エラー隠蔽のための解析を行う。なお、エラー隠蔽とは、データ伝送時に発生する伝送誤りを隠蔽することである。記憶部６２２は、例えばハードディスクや半導体メモリ等の記憶媒体を有し、入力される画像データを１ピクチャ分以上必要な程度保持する。解析部６２１は、入力された画像データと、記憶部６２２より読み出した１つ前のピクチャの画像データとを比較する。なお、解析部６２１は、どの様なデータ単位で解析を行うことも可能であるが、ここでは遅延低減のために、プレシンクト（ラインブロック）単位で処理を行うものとする。つまり、解析部６２１は、連続する２つのピクチャ（フレームまたはフィールド）間で、互いに同じ位置のプレシンクトの画像を比較する。解析部６２１は、その比較結果を解析結果として隠蔽用ヘッダ生成部６２３に供給する。【０３８４】
隠蔽用ヘッダ生成部６２３は、その解析結果に基づいて、プレシンクトのエラーの隠蔽方法を示す隠蔽情報である隠蔽用ヘッダを生成する。より具体的に説明すると、隠蔽用ヘッダ生成部６２３は、受信装置６０３によるエラー隠蔽処理の際に、エラーが発生したプレシンクトに置き換え可能なプレシンクトを示す情報（どのピクチャのどのプレシンクトのデータなら置き換え可能かを示す情報）を含むヘッダ情報（隠蔽用ヘッダ）を生成し、それをパケタイズ処理部１２２に供給する。【０３８５】
パケタイズ処理部１２２は、符号化部１２１より供給される符号化データと隠蔽用ヘッダ生成部６２３より供給される隠蔽用ヘッダから伝送用のパケットを作成する（パケット化する）つまり、パケタイズ処理部１２２は、符号化データに隠蔽用ヘッダを付加（多重化）してパケット化する。このように生成されたパケットは、送信部１２３により受信装置６０３に送信される。【０３８６】
また、図４６に示されるように、受信装置６０３は、受信部１３１、デパケタイズ処理部１３２、および復号部１３３の他に、ロス解析部６３１および記憶部６３２を有する。【０３８７】
送信装置６０２より送信されたパケットは、受信部１３１により受信され、デパケタイズ処理部１３２によりデパケタイズされて符号化データが抽出される。抽出された符号化データは、ロス解析部６３１に供給される。また、このとき、デパケタイズ処理部１３２は、符号化データとともに、隠蔽用ヘッダも抽出し、ロス解析部６３１に供給する。【０３８８】
ロス解析部６３１は、隠蔽用ヘッダに基づいて、記憶部６３２に記憶されている符号化データを適宜利用しながら、伝送誤りの発生に対してエラー隠蔽を行う。なお、ロス解析部６３１は、どの様なデータ単位で解析を行うことも可能であるが、ここでは遅延低減のために、プレシンクト単位で処理を行うものとする。【０３８９】
記憶部６３２は、例えば、ハードディスクや半導体メモリ等の記憶媒体を有し、過去に伝送された符号化データ（過去の符号化データ）を必要なだけ保持している。ロス解析部６３１は、隠蔽用ヘッダを参照して、データの置き換えに使用可能な過去の符号化データ（つまり、どのピクチャのどのプレシンクトのデータを用いて置き換えるか）を特定する。そして、ロス解析部６３１は、その特定した符号化データを記憶部６３２より読みだし、伝送誤りが発生したプレシンクトを、そのデータで置き換える。【０３９０】
復号部１３３は、ロス解析部６３１より供給されるエラー隠蔽処理後の符号化データを復号し、ベースバンドの画像データを出力する。【０３９１】
次に、隠蔽用ヘッダについて説明する。図４７は、隠蔽用ヘッダの構成例を説明する図である。図４７に示されるように、隠蔽用ヘッダ６４０は、３２ビットの情報であり、ピクチャID６４１、プレシンクトID６４２、置き換え先頭ピクチャID６４３、RF（Replacement Flag）６４４、SF（Slide Flag）６４５、および置き換え先頭プレシンクトID６４６を含む。【０３９２】
ピクチャID６４１は、動画像データ全体において現在の（処理対象の）ピクチャを識別する８ビットの識別情報である。プレシンクトID６４２は、ピクチャ内において現在の（処理対象の）プレシンクトを識別する８ビットの識別情報である。置き換え先頭ピクチャID６４３は、それぞれが現在の（処理対象の）プレシンクトに置き換え可能なプレシンクトを有し、現在の（処理対象の）ピクチャまで時間方向に連続するピクチャ群の先頭のピクチャを示す８ビットの識別情報である。つまり、置き換え先頭ピクチャID６４３は、現在の（処理対象の）プレシンクトを、どのピクチャまで遡って置き換え可能であるかを示す情報である。この置き換え先頭ピクチャID６４３には、動画像データ全体においてピクチャを識別する識別情報（ピクチャID６４１と同種のID）がセットされる。【０３９３】
RF６４４は、１ビットのフラグ情報であり、現在の（処理対象の）プレシンクトを、置き換え先頭ピクチャID６４３より後のピクチャのデータで置き換え可能か否かを示す。当然、置き換え先頭ピクチャID６４３を参照することにより、過去のピクチャを用いて置き換え可能であるか否かを判定することも可能であるが、RF６４４を用いる方が、判定が容易になる。【０３９４】
SF６４５は、１ビットのフラグ情報であり、現在の（処理対象の）プレシンクトを、同一ピクチャの過去のプレシンクトのデータで置き換えが可能かを示すビットである。置き換え先頭プレシンクトID６４６は、現在の（処理対象の）ピクチャ内において、現在の（処理対象の）プレシンクトまで空間方向に連続する、現在の（処理対象の）プレシンクトに置き換え可能なプレシンクト群の先頭のプレシンクトを示す６ビットの識別情報である。つまり、置き換え先頭プレシンクトID６４６は、現在の（処理対象の）プレシンクトを、どのプレシンクトまで遡って置き換え可能であるかを示す情報である。【０３９５】
この置き換え先頭プレシンクトID６４６には、ピクチャ内において現在の（処理対象の）プレシンクトを識別する識別情報（プレシンクトID６４２と同種のID）が６ビットに圧縮されてセットされる。【０３９６】
なお、この隠蔽用ヘッダ６４０のビット長は任意である。従って、置き換え先頭プレシンクトID６４６のビット長をプレシンクトID６４２と同じビット長としてもよい。また、上述した各情報のビット長も任意である。【０３９７】
以上のように、隠蔽用ヘッダ６４０には、現在の（処理対象の）プレシンクトを置き換え可能なデータの範囲を示す情報が含まれる。ロス解析部６３１は、この情報に基づいて、その範囲を把握し、記憶部６３２に保持されている、その範囲に含まれる符号化データを用いてデータの置き換えを行う。【０３９８】
図４８を参照して、隠蔽用ヘッダ６４０の各情報についてより具体的に説明する。図４８は、送信装置６０２より受信装置６０３に伝送される画像データの様子の例を示す図である。【０３９９】
図４８に示されるピクチャ６５１乃至ピクチャ６５３は、送信装置６０２より受信装置６０３に伝送される画像データの一部のピクチャを模式的に表わしたものである。ピクチャ６５１乃至ピクチャ６５３は、この順で時間方向に連続する３ピクチャである。つまり、この３ピクチャの中で、ピクチャ６５１が最も時間的に前の（古い）ピクチャであり、ピクチャ６５３が時間的に最も後の（新しい）ピクチャである。【０４００】
ここでは、説明の簡略化のため、ピクチャ６５１乃至ピクチャ６５３のそれぞれが、３つのプレシンクトで構成されるものとする。すなわち、ピクチャ６５１は、プレシンクト６５１−１乃至プレシンクト６５１−３により構成され、ピクチャ６５２は、プレシンクト６５２−１乃至プレシンクト６５２−３により構成され、ピクチャ６５３は、プレシンクト６５３−１乃至プレシンクト６５３−３により構成されるものとする。【０４０１】
また、これらのプレシンクトのデータは、図４８の上側から下側に向かう順に伝送されるものとする。つまり、図４８に示されるプレシンクトの中で、ピクチャ６５１のプレシンクト６５１−１が最初に伝送され、ピクチャ６５３のプレシンクト６５３−３が最後に伝送される。【０４０２】
さらに、ここで、プレシンクト６５３−３が現在の（処理対象の）プレシンクトであるとし、このプレシンクト６５３−３において伝送誤りが発生したとする。【０４０３】
このときプレシンクト６５３−３の（全てまたは一部の）パケットに付加された隠蔽用ヘッダ６４０の、RF６４４およびSF６４５の値がオフ（例えば「０」）であれば、プレシンクト６５３−３に置き換え可能なプレシンクトが存在しない。【０４０４】
また、RF６４４の値がオフでSF６４５の値がオン（例えば「１」）であるとき、ピクチャ６５３内において置き換え可能なプレシンクトが存在する。例えば、置き換え先頭プレシンクトID６４６がプレシンクト６５３−２を示す値であれば、プレシンクト６５３−３は、プレシンクト６５３−２により置き換えることができる。また、例えば、置き換え先頭プレシンクトID６４６がプレシンクト６５３−１を示す値であれば、プレシンクト６５３−３は、プレシンクト６５３−１およびプレシンクト６５３−２のいずれでも置き換え可能である。【０４０５】
実際には、プレシンクトは数ライン程度の画素で構成される場合が多く、一般的な画像の場合、隣接するプレシンクトの類似性が高く、その差分が小さくなることが多い。つまり、同一ピクチャ内の近いプレシンクトほど、置き換えることができる可能性が高い。そこで隠蔽用ヘッダ６４０においては、置き換え先頭プレシンクトID６４６により、置き換え可能なプレシンクトのうち、現在の（処理対象の）プレシンクトから最も遠い（時間的に最も早い）プレシンクトが示される。換言すれば、置き換え先頭プレシンクトID６４６により示されるプレシンクトよりも後の（現在のプレシンクトまでの間の）プレシンクトは、置き換え可能であることが保証されている。【０４０６】
また、RF６４４の値がオンであれば、他のピクチャに置き換え可能なプレシンクトが存在する。例えば、置き換え先頭ピクチャID６４３がピクチャ６５２を示す値であれば、プレシンクト６５３−３は、ピクチャ６５２の同じ位置のプレシンクト６５２−３により置き換えることができる。また、例えば、置き換え先頭ピクチャID６４３がピクチャ６５１を示す値であれば、プレシンクト６５３−３は、ピクチャ６５１の同じ位置のプレシンクト６５１−３、および、ピクチャ６５２の同じ位置のプレシンクト６５２−３のいずれでも置き換え可能である。【０４０７】
通常の動画像の場合、シーンチェンジ等の特異点を除き、基本的に連続するピクチャの絵柄は近似し、その差分は小さい。つまり、一般的な画像の場合、時間的に近いピクチャほど、置き換え可能なプレシンクトを有する可能性が高い。そこで隠蔽用ヘッダ６４０においては、置き換え先頭ピクチャID６４３により、置き換え可能なプレシンクトを有するピクチャのうち、現在の（処理対象の）ピクチャから最も遠い（時間的に最も早い）ピクチャが示される。換言すれば、置き換え先頭ピクチャID６４３により示されるピクチャよりも後の（現在のピクチャまでの間の）ピクチャは、置き換え可能なプレシンクトを有することが保証されている。【０４０８】
ただし、実際には、記憶部６３２がそのデータを保持していなければ、ロス解析部６３１はプレシンクトを置き換えることができない。例えば、置き換え先頭ピクチャID６４３がピクチャ６５１を示す値であり、かつ、記憶部６３２がピクチャ６５２のデータを保持していれば、ロス解析部６３１は、プレシンクト６５３−３を、プレシンクト６５２−３で置き換えることができる。【０４０９】
以上のように、隠蔽用ヘッダ６４０により、置き換え可能なデータが存在する位置（範囲）が示される。つまり、この隠蔽用ヘッダ６４０を生成する送信装置６０２が、この範囲を指定する。より具体的には、解析部６２１は、今回入力されたプレシンクトのデータと、記憶部６２２に保持されている１つ前のプレシンクトのデータとの差分値を算出する。また、解析部６２１は、今回入力されたプレシンクトのデータと、記憶部６２２に保持されている１つ前のピクチャの同じ位置のプレシンクトのデータとの差分値を算出する。解析部６２１は、これらの演算結果に基づいて、今回入力されたプレシンクトのデータと、同一ピクチャの１つ前のプレシンクト、または、１つ前の同一位置のプレシンクトとの類似性を判定し、置き換え可能か否かを判定する。【０４１０】
隠蔽用ヘッダ生成部６２３は、この判定結果に従い、置き換え不可能である場合、置き換え先頭ピクチャID６４３や置き換え先頭プレシンクトID６４６の情報を適宜更新する。【０４１１】
次にこれらの処理の流れについて説明する。最初に、図４９のフローチャートを参照して、送信装置６０２の解析部６２１により実行される解析処理の流れの例を説明する。【０４１２】
解析処理が開始されると、解析部６２１は、ステップＳ６０１において、現在の（処理対象の）プレシンクトと、記憶部６２２より読み出した前ピクチャの同じプレシンクト（１つ前のピクチャの同じ位置のプレシンクト）との差分計算を行い、ステップＳ６０２において、その差分が予め定められた所定の閾値以下であるか否かを判定する。差分が閾値以下であると判定した場合、解析部６２１は、ステップＳ６０３に処理を進め、解析結果として「前ピクチャ置き換え可」を設定し、ステップＳ６０５に処理を進める。また、ステップＳ６０２において、差分が閾値より大きいと判定した場合、解析部６２１は、ステップＳ６０４に処理を進め、解析結果として「前ピクチャ置き換え不可」を設定し、ステップＳ６０５に処理を進める。【０４１３】
解析部６２１は、ステップＳ６０５において、現在の（処理対象の）プレシンクトと、記憶部６２２より読み出した前プレシンクト（１つ前のプレシンクト）との差分計算を行い、ステップＳ６０６において、その差分が予め定められた所定の閾値以下であるか否かを判定する。差分が閾値以下であると判定した場合、解析部６２１は、ステップＳ６０７に処理を進め、解析結果として「前プレシンクト置き換え可」を設定し、解析処理を終了する。また、ステップＳ６０６において、差分が閾値より大きいと判定した場合、解析部６２１は、ステップＳ６０８に処理を進め、解析結果として「前プレシンクト置き換え不可」を設定し、解析処理を終了する。【０４１４】
以上のように、各処理を実行することにより、解析部６２１は、フレーム間の画像の類似性を判定することができ、隠蔽用ヘッダ生成部６２３に、隠蔽用ヘッダ６４０の生成のために必要な情報を提供することができる。【０４１５】
次に、隠蔽用ヘッダ生成部６２３による隠蔽用ヘッダ生成処理の流れの例を図５０のフローチャートを参照して説明する。【０４１６】
隠蔽用ヘッダ生成処理が開始されると、隠蔽用ヘッダ生成部６２３は、ステップＳ６２１において、解析結果として「前ピクチャ置き換え可」がセットされているか否かを判定する。【０４１７】
「前ピクチャ置き換え可」がセットされていると判定した場合、隠蔽用ヘッダ生成部６２３は、ステップＳ６２２に処理を進め、置き換え先頭ピクチャID６４３の値を前回と同じ値にセットする。ステップＳ６２３において、隠蔽用ヘッダ生成部６２３は、前ピクチャ置き換えフラグであるRF６４４の値をオン（例えば、「１」）にし、処理をステップＳ６２６に進める。【０４１８】
また、ステップＳ６２１において、「前ピクチャ置き換え不可」がセットされていると判定した場合、隠蔽用ヘッダ生成部６２３は、ステップＳ６２４に処理を進め、置き換え先頭ピクチャID６４３の値を現在のピクチャの識別情報に更新する。ステップＳ６２５において、隠蔽用ヘッダ生成部６２３は、前ピクチャ置き換えフラグであるRF６４４の値をオフ（例えば、「０」）にし、処理をステップＳ６２６に進める。【０４１９】
ステップＳ６２６において、隠蔽用ヘッダ生成部６２３は、解析結果として「前プレシンクト置き換え可」がセットされているか否かを判定する。【０４２０】
「前プレシンクト置き換え可」がセットされていると判定した場合、隠蔽用ヘッダ生成部６２３は、処理をステップＳ６２７に進め、置き換え先頭プレシンクトID６４６の値を前回と同じ値にセットする。ステップＳ６２８において、隠蔽用ヘッダ生成部６２３は、前プレシンクト置き換えフラグであるSF６４５の値をオン（例えば、「１」）にし、隠蔽用ヘッダ生成処理を終了する。【０４２１】
また、ステップＳ６２６において、「前プレシンクト置き換え不可」がセットされていると判定した場合、隠蔽用ヘッダ生成部６２３は、処理をステップＳ６２９に進め、置き換え先頭プレシンクトID６４６の値を現在のプレシンクトの識別情報に更新する。ステップＳ６３０において、隠蔽用ヘッダ生成部６２３は、前プレシンクト置き換えフラグであるSF６４５の値をオフ（例えば、「１」）にし、隠蔽用ヘッダ生成処理を終了する。【０４２２】
以上のように各処理を行うことにより、隠蔽用ヘッダ生成部６２３は、遅延時間の増大を抑制しながら、伝送誤りによる影響を軽減させるために参照される隠蔽用ヘッダ６４０を生成することができる。この隠蔽用ヘッダ６４０が受信装置６０３に提供されることにより、受信装置６０３は、ピクチャ単位よりも小さいプレシンクト単位で適切にエラー隠蔽処理を行うことができるようになる。【０４２３】
次に、この隠蔽用ヘッダ６４０を用いて行われるロス解析処理の流れの例を図５１のフローチャートを参照して説明する。【０４２４】
ロス解析処理が開始されると、ロス解析部６３１は、ステップＳ６５１において、現在の（処理対象の）プレシンクトにおいてロス（エラー）が発生したか否かを判定し、ロスが発生していないと判定した場合、ロス解析処理を終了する。【０４２５】
また、ステップＳ６５１において、ロスが発生したと判定した場合、ロス解析部６３１は、処理をステップＳ６５２に進め、隠蔽用ヘッダ６４０を取得できたか否かを判定する。取得できなかったと判定した場合、正確なエラー隠蔽を行うことが困難であるので、ロス解析部６３１は、ロス解析処理を終了する。【０４２６】
また、ステップＳ６５２において、隠蔽用ヘッダ６４０を取得したと判定した場合、ロス解析部６３１は、処理をステップＳ６５３に進め、その隠蔽用ヘッダ６４０の情報に基づいて、前ピクチャの同じプレシンクト（１つ前のピクチャの同じ位置のプレシンクト）で置き換え可能か否かを判定する。RF６４４の値がオン（例えば「１」）であり、置き換え可能と判定した場合、ロス解析部６３１は、処理をステップＳ６５４に進める。【０４２７】
ステップＳ６５４において、ロス解析部６３１は、記憶部６３２より読み出した前ピクチャのピクチャIDの値が、置き換え先頭ピクチャID６４３以上であるか否か、すなわち、置き換え先頭ピクチャIDで示されるピクチャの方が、記憶部６３２より読み出した前ピクチャよりも古いか否かを判定する。記憶部６３２より読み出した前ピクチャが、置き換え先頭ピクチャIDで示されるピクチャよりも後であると判定された場合、ロス解析部６３１は、処理をステップＳ６５５に進め、現在の（処理対象）のプレシンクトを、記憶部６３２より読み出した前ピクチャの同じ位置のプレシンクトに置き換え、ロス解析処理を終了する。また、ステップＳ６５４において、記億部６３２より読み出した前ピクチャのピクチャIDの値が、置き換え先頭ピクチャIDより小さいと判定した場合、ロス解析部６３１は、置き換え可能なピクチャのデータが記憶部６３２に保持されていないので、ロス解析処理を終了する。【０４２８】
また、ステップＳ６５３において、記憶部６３２より読み出した前ピクチャの同一の位置のプレシンクトで置き換えることができないと判定した場合、ロス解析部６３１は、処理をステップＳ６５６に進め、記憶部６３２より読み出した同ピクチャの前プレシンクト（同じピクチャの１つ前のプレシンクト）で置き換え可能か否かを判定する。SF６４５の値がオフ（例えば「０」）であり、置き換え可能でないと判定した場合、ロス解析部６３１は、ロス解析処理を終了する。【０４２９】
また、ステップＳ６５６において、SF６４５の値がオン（例えば「１」）であり、記憶部６３２より読み出した同ピクチャの前プレシンクトで置き換え可能であると判定した場合、ロス解析部６３１は、処理をステップＳ６５７に進め、記憶部６３２より読み出された前プレシンクトのプレシンクトIDの値が、置き換え先頭プレシンクトID６４６以上か否かを判定する。【０４３０】
記憶部６３２より読み出された前プレシンクトのプレシンクトIDの値が、置き換え先頭プレシンクトID６４６より小さいと判定された場合、つまり、記憶部６３２より読み出された前プレシンクトが、置き換え先頭プレシンクトID６４６により示されるプレシンクトより前のプレシンクトであると判定された場合、記憶部６３２に置き換え可能なプレシンクトが保持されていないので、ロス解析部６３１は、ロス解析処理を終了する。【０４３１】
また、記憶部６３２より読み出された前プレシンクトのプレシンクトIDの値が、置き換え先頭プレシンクトID６４６以上であると判定された場合、つまり、記憶部６３２より読み出された前プレシンクトが、置き換え先頭プレシンクトID６４６により示されるプレシンクトより後のプレシンクトであると判定された場合、ロス解析部６３１は、処理をステップＳ６５８に進め、現在の（処理対象）のプレシンクトを、記憶部６３２より読み出した同ピクチャの前プレシンクトに置き換え、ロス解析処理を終了する。【０４３２】
以上のように、ロス解析部６３１は、ロス解析処理を行う。これにより、ロス解析部６３１は、上述したように処理を行うことにより、隠蔽用ヘッダ６４０に基づいて、ピクチャ単位よりも小さいプレシンクト単位で適切にエラー隠蔽処理を行うことができる。つまり、ロス解析部６３１は、遅延時間の増大を抑制しながら、伝送誤りによる影響を軽減させることができる。【０４３３】
なお、置き換え可能か否かを受信装置６０３において判断するようにし、上述したような隠蔽用ヘッダ６４０を用いずに、ピクチャ単位よりも小さい単位で置き換えを行うことができるようにしてもよいが、その場合、受信装置６０３においてバッファ量が増え、遅延時間が増大してしまう恐れがある。また、受信装置６０３側においては、データの欠損の可能性があるため、正確な判定に長時間を必要とする恐れがある。【０４３４】
そこで、上述したように、データが揃っている送信装置６０２において、置き換え可能か否かの判断を行い、隠蔽用ヘッダ６４０を用いてその情報を受信装置６０３に通知するようにすることにより、送信装置６０２は、受信装置６０３に、遅延時間の増大を抑制しながら、伝送誤りによる影響を軽減させるようにすることができる。【０４３５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ、または、複数の装置よりなる情報処理システムの情報処理装置などに、プログラム記録媒体からインストールされる。【０４３６】
図５２は、上述した一連の処理をプログラムにより実行する情報処理システムの構成の例を示すブロック図である。【０４３７】
図５２に示されるように、情報処理システム８００は、情報処理装置８０１、その情報処理装置８０１とPCIバス８０２によって接続された、記憶装置８０３、複数台のビデオテープレコーダ（VTR）であるVTR８０４-１乃至VTR８０４-S、ユーザがこれらに対する操作入力を行うためのマウス８０５、キーボード８０６、並びに操作コントローラ８０７により構成されるシステムであり、インストールされたプログラムによって、上述したような画像符号化処理や画像復号処理等を行うシステムである。【０４３８】
例えば情報処理システム８００の情報処理装置８０１は、RAID（Redundant Arrays of Independent Disks）でなる大容量の記憶装置８０３に記憶されている動画コンテンツを符号化して得られた符号化データを記憶装置８０３に記憶させたり、記憶装置８０３に記憶されている符号化データを復号して得られた復号画像データ（動画コンテンツ）を記憶装置８０３に記憶させたり、符号化データや復号画像データをVTR８０４-１乃至VTR８０４-Sを介してビデオテープに記録したりすることができる。また、情報処理装置８０１は、VTR８０４-１乃至VTR８０４-Sに装着されたビデオテープに記録された動画コンテンツを記憶装置８０３に取り込み得るようにもなされている。その際、情報処理装置８０１が、動画コンテンツを符号化するようにしてもよい。【０４３９】
情報処理装置８０１は、マイクロプロセッサ９０１、GPU（Graphics Processing Unit）９０２、XDR（Extreme Data Rate）-RAM９０３、サウスブリッジ９０４、HDD（Hard Disk Drive）９０５、USBインタフェース（USB I/F）９０６、およびサウンド入出力コーデック９０７を有している。【０４４０】
GPU９０２は専用のバス９１１を介してマイクロプロセッサ９０１に接続される。XDR-RAM９０３は専用のバス９１２を介してマイクロプロセッサ９０１に接続される。サウスブリッジ９０４は、専用のバスを介してマイクロプロセッサ９０１のI/Oコントローラ９４４に接続される。このサウスブリッジ９０４には、HDD９０５、USBインタフェース９０６、および、サウンド入出力コーデック９０７も接続されている。このサウンド入出力コーデック９０７にはスピーカ９２１が接続されている。また、GPU９０２にはディスプレイ９２２が接続されている。【０４４１】
またサウスブリッジ９０４には、さらに、PCIバス８０２を介して、マウス８０５、キーボード８０６、VTR８０４-１乃至VTR８０４-S、記憶装置８０３、並びに、操作コントローラ８０７が接続されている。【０４４２】
マウス８０５およびキーボード８０６は、ユーザの操作入力を受け、PCIバス８０２およびサウスブリッジ９０４を介して、ユーザの操作入力の内容を示す信号を、マイクロプロセッサ９０１に供給する。記憶装置８０３およびVTR８０４-１乃至VTR８０４-Sは、所定のデータを記録または再生できるようになされている。【０４４３】
PCIバス８０２にはさらに、必要に応じてドライブ８０８が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてHDD９０５にインストールされる。【０４４４】
マイクロプロセッサ９０１は、OS（Operating System）等の基本プログラムを実行する汎用のメインCPUコア９４１と、メインCPUコア９４１に内部バス９４５を介して接続された複数（この場合８個）のRISC（Reduced Instruction Set Computer）タイプの信号処理プロセッサである、サブCPUコア９４２-１乃至サブCPUコア９４２-８と、例えば２５６[MByte]の容量を持つXDR-RAM９０３に対するメモリコントロールを行うメモリコントローラ９４３と、サウスブリッジ９０４との間でデータの入出力を管理するI/O（In/Out）コントローラ９４４とが１チップに集積されたマルチコア構成でなり、例えば動作周波数４[GHz]を実現している。【０４４５】
このマイクロプロセッサ９０１は、起動時、HDD９０５に格納された制御プログラムに基づき、HDD９０５に格納されている必要なアプリケーションプログラムを読み出してXDR-RAM９０３に展開し、この後このアプリケーションプログラム及びオペレータ操作に基づいて必要な制御処理を実行する。【０４４６】
また、マイクロプロセッサ９０１は、ソフトウェアを実行することにより、例えば、上述した符号化処理や復号処理を実現し、エンコードの結果得られた符号化ストリームを、サウスブリッジ９０４を介して、HDD９０５に供給して記憶させたり、デコードした結果得られる動画像コンテンツの再生映像を、GPU９０２へデータ転送して、ディスプレイ９２２に表示させたりすることができる。【０４４７】
マイクロプロセッサ９０１内の各CPUコアの使用方法は任意であるが、例えば、メインCPUコア９４１が、画像符号化処理や画像復号処理の制御に関する処理を行い、８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８に、ウェーブレット変換、係数並び替え、エントロピ符号化、エントロピ復号、ウェーブレット逆変換、量子化、および逆量子化等の各処理を、例えば図３９を参照して説明したように同時並列的に実行させるようにしてもよい。その際、メインCPUコア９４１が、８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８のそれぞれに対してプレシンクト単位で処理を割り振るようにすれば、符号化処理や復号処理が、図３９を参照して説明した場合と同様にプレシンクト単位で同時並列的に実行される。つまり、符号化処理や復号処理の効率を向上させ、処理全体の遅延時間を短縮させ、さらに、負荷、処理時間、および、処理に必要なメモリ容量を低減させることができる。もちろん、これ以外の方法で各処理を行うようにしてもよい。【０４４８】
例えば、マイクロプロセッサ９０１の８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８のうちの一部がエンコード処理を、他の部分がデコード処理を、同時並列的に実行するようにすることも可能である。【０４４９】
また、例えば、PCIバス８０２に、独立したエンコーダまたはデコーダ、もしくは、コーデック処理装置が接続されている場合、マイクロプロセッサ９０１の８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８が、サウスブリッジ９０４およびPCIバス８０２を介して、これらの装置が実行する処理を制御するようにしてもよい。さらに、これらの装置が複数接続されている場合、または、これらの装置が複数のデコーダまたはエンコーダを含んでいる場合、マイクロプロセッサ９０１の８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８は、複数のデコーダまたはエンコーダが実行する処理を、分担して制御するようにしてもよい。【０４５０】
このときメインCPUコア９４１は、８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８の動作を管理し、各サブCPUコアに対して処理を割り当てたり、処理結果を引き取ったりする。さらに、メインCPUコア９４１は、これらのサブCPUコアが行う以外の処理も行う。例えば、メインCPUコア９４１は、サウスブリッジ９０４を介してマウス８０５、キーボード８０６、または、操作コントローラ８０７から供給された命令を受け付け、命令に応じた種々の処理を実行する。【０４５１】
GPU９０２は、ディスプレイ９２２に表示する動画コンテンツの再生映像を動かすときのテクスチャの張り込みなどに関する最終的なレンダリング処理に加えて、動画コンテンツの再生映像及び静止画コンテンツの静止画像をディスプレイ９２２に一度に複数表示するときの座標変換計算処理や、動画コンテンツの再生映像及び静止画コンテンツの静止画像に対する拡大・縮小処理等を行う機能を司り、マイクロプロセッサ９０１の処理負担を軽減させるようになされている。【０４５２】
GPU９０２は、マイクロプロセッサ９０１の制御のもとに、供給された動画コンテンツの映像データや静止画コンテンツの画像データに対して所定の信号処理を施し、その結果得られた映像データや画像データをディスプレイ９２２へ送出して、画像信号をディスプレイ９２２へ表示させる。【０４５３】
ところで、マイクロプロセッサ９０１における８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８で同時並列的にデコードされた複数の動画コンテンツにおける再生映像は、バス９１１を介してGPU９０２へデータ転送されるが、このときの転送速度は、例えば、最大３０[Gbyte/sec]であり、特殊効果の施された複雑な再生映像であっても高速かつ滑らかに表示し得るようになされている。【０４５４】
また、マイクロプロセッサ９０１は、動画コンテンツの映像データ及び音声データのうち音声データに対して音声ミキシング処理を施し、その結果得られた編集音声データを、サウスブリッジ９０４およびサウンド入出力コーデック９０７を介して、スピーカ９２１へ送出することにより、音声信号に基づく音声をスピーカ９２１から出力させることもできる。【０４５５】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。【０４５６】
この記録媒体は、例えば、図５２に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM,DVDを含む）、光磁気ディスク（MDを含む）、もしくは半導体メモリなどよりなるリムーバブルメディア８１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているHDD９０５や記憶装置８０３等で構成される。もちろん、記録媒体は、ROMやフラッシュメモリ等の半導体メモリであってもよい。【０４５７】
以上においては、マイクロプロセッサ９０１内に８個のサブCPUコアが構成されるように説明したが、これに限らず、サブCPUコアの数は任意である。また、マイクロプロセッサ９０１が、メインCPUコアとサブCPUコアのような複数のコアにより構成されていなくてもよく、シングルコア（１つのコア）により構成されるCPUを用いるようにしてもよい。
また、マイクロプロセッサ９０１の代わりに複数のCPUを用いるようにしてもよいし、複数の情報処理装置を用いる（すなわち、本発明の処理を実行するプログラムを、互いに連携して動作する複数の装置において実行する）ようにしてもよい。【０４５８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。【０４５９】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。【０４６０】
なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。
【産業上の利用可能性】
【０４６１】
以上説明したこの発明は、データ伝送を容易かつ高速に行うものであり、画像を圧縮符号化して伝送し、伝送先で圧縮符号を復号して出力するような装置またはシステムであれば、様々なものに適用することができる。この発明は、特に、画像の圧縮符号化から復号および出力までの遅延が短いことが要求されるような装置またはシステムに用いて好適である。【０４６２】
例えば、この発明は、ビデオカメラで撮影された映像を見ながらマジックハンドを操作して治療行為を行うような、医用遠隔医療診断の用途に用いて好適である。また、この発明は、放送局内などにおける、画像を符号化して伝送し、復号して表示または記録するようなシステムに用いて好適である。【０４６３】
さらに、実況中継される映像の配信を行うシステム、教育現場において生徒と教師との間でインタラクティブな通信を可能としたシステムなどに、この発明を適用することができる。【０４６４】
さらにまた、カメラ機能付き携帯電話端末といった、撮像機能を有するモバイル端末で撮影された画像データの送信や、テレビジョン会議システム、監視カメラおよび監視カメラで撮影された映像を記録するレコーダによるシステムなどに、この発明を適用することができる。
【図１】
2008123496.tif 000003
【図２】
2008123496.tif 000004
【図３】
2008123496.tif 000005
【図４】
2008123496.tif 000006
【図５】
2008123496.tif 000007
【図６】
2008123496.tif 000008
【図７】
2008123496.tif 000009
【図８】
2008123496.tif 000010
【図９】
2008123496.tif 000011
【図１０】
2008123496.tif 000012
【図１１】
2008123496.tif 000013
【図１２】
2008123496.tif 000014
【図１３】
2008123496.tif 000015
【図１４】
2008123496.tif 000016
【図１５】
2008123496.tif 000017
【図１６】
2008123496.tif 000018
【図１７】
2008123496.tif 000019
【図１８】
2008123496.tif 000020
【図１９】
2008123496.tif 000021
【図２０】
2008123496.tif 000022
【図２１】
2008123496.tif 000023
【図２２】
2008123496.tif 000024
【図２３】
2008123496.tif 000025
【図２４】
2008123496.tif 000026
【図２５】
2008123496.tif 000027
【図２６】
2008123496.tif 000028
【図２７】
2008123496.tif 000029
【図２８】
2008123496.tif 000030
【図２９】
2008123496.tif 000031
【図３０】
2008123496.tif 000032
【図３１】
2008123496.tif 000033
【図３２】
2008123496.tif 000034
【図３３】
2008123496.tif 000035
【図３４】
2008123496.tif 000036
【図３５】
2008123496.tif 000037
【図３６】
2008123496.tif 000038
【図３７】
2008123496.tif 000039
【図３８】
2008123496.tif 000040
【図３９】
2008123496.tif 000041
【図４０】
2008123496.tif 000042
【図４１】
2008123496.tif 000043
【図４２】
2008123496.tif 000044
【図４３】
2008123496.tif 000045
【図４４】
2008123496.tif 000046
【図４５】
2008123496.tif 000047
【図４６】
2008123496.tif 000048
【図４７】
2008123496.tif 000049
【図４８】
2008123496.tif 000050
【図４９】
2008123496.tif 000051
【図５０】
2008123496.tif 000052
【図５１】
2008123496.tif 000053
【図５２】
2008123496.tif 000054
【国際調査報告】
2008123496.tif 000055
2008123496.tif 000056
2008123496.tif 000057
2008123496.tif 000058