(57)【要約】【課題】フレームヘッダ消失にも、フレームヘッダを再生し画像表示を可能とする。【解決手段】ＲＴＰ復号部１１により復号化されたデータに基づきフレームヘッダを再生するための関連情報をデータ解析部１３により解析・収集し、この解析・収集された前記関連情報と復号化されたＲＴＰヘッダ情報とに基づきフレームヘッダをフレームヘッダ生成部１４にて再構成する。【選択図】図１
2008067237.tif 000002
【特許請求の範囲】
【請求項１】
ＲＴＰパケットデータを復号化するＲＴＰ復号部と、
フレームヘッダを含むパケットの消失を判定するフレームヘッダ消失判定部と、
前記ＲＴＰ復号部により復号化されたデータに基づきフレームヘッダを再生するための関連情報を解析・収集するデータ解析部と、
前記フレームヘッダ消失判定部によりフレームヘッダを含むパケットが消失されたと判定された場合に、前記ＲＴＰ復号部により復号化されたＲＴＰヘッダ情報と前記データ解析部により解析・収集された前記関連情報とに基づきフレームヘッダを再構成するフレームヘッダ生成部と、
前記フレームヘッダ生成部により生成されたフレームヘッダ情報と前記ＲＴＰ復号部により復号化されたデータとを多重化する多重化部と、前記多重化部により多重化された多重化映像符号化データを復号化する映像復号部と
を具備することを特徴とする動画像受信処理装置。
【請求項２】
到来する映像符号化データについてフレームヘッダを含むパケットの消失を判定するフレームヘッダ消失判定部と、
前記到来する映像符号化データに基づきフレームヘッダを再生するための関連情報を解析・収集するデータ解析部と、
前記フレームヘッダ消失判定部によりフレームヘッダを含むパケットが消失されたと判定された場合に、前記データ解析部により解析・収集された前記関連情報に基づきフレームヘッダを再構成するフレームヘッダ生成部と、
前記フレームヘッダ生成部により生成されたフレームヘッダ情報と前記映像符号化データを多重化する多重化部と、前記多重化部により多重化された多重化映像符号化データを復号化する映像復号部と
を具備することを特徴とする動画像受信処理装置。
【請求項３】
ＲＴＰパケットデータを復号化するＲＴＰ復号部と、
フレームヘッダを含むパケットの消失を判定するフレームヘッダ消失判定部と、
前記ＲＴＰ復号部により復号化されたデータに基づきフレームヘッダを再生するための関連情報を解析・収集するデータ解析部と、
前記フレームヘッダ消失判定部によりフレームヘッダを含むパケットが消失されたと判定された場合に、前記ＲＴＰ復号部により復号化されたＲＴＰヘッダ情報と前記データ解析部により解析・収集された前記関連情報とに基づきフレームヘッダを再構成し、再構成されたフレームヘッダ情報からビデオパケットヘッダ情報を生成するビデオパケットヘッダ生成部と、
前記ビデオパケットヘッダ生成部により生成されたビデオパケットヘッダ情報と前記ＲＴＰ復号部により復号されたデータとを多重化しかつ符号列として整合性を保つように前記映像符号化データの一部について書き換えを行う書換・多重化部と、
前記書換・多重化部により多重化された多重化映像符号化データを復号する映像復号部と
を具備することを特徴とする動画像受信処理装置。
【請求項４】
到来する映像符号化データについてフレームヘッダを含むパケットの消失を判定するフレームヘッダ消失判定部と、
前記到来する映像符号化データに基づきフレームヘッダを再生するための関連情報を解析・収集するデータ解析部と、
前記フレームヘッダ消失判定部によりフレームヘッダを含むパケットが消失されたと判定された場合に、前記データ解析部により解析・収集された前記関連情報に基づきフレームヘッダを再構成し、再構成されたフレームヘッダ情報からビデオパケットヘッダ情報を生成するビデオパケットヘッダ生成部と、
前記ビデオパケットヘッダ生成部により生成されたビデオパケットヘッダ情報と前記映像符号化データとを多重化しかつ符号列として整合性を保つように前記映像符号化データの一部について書き換えを行う書換・多重化部と、
前記書換・多重化部により多重化された多重化映像符号化データを復号する映像復号部と
を具備することを特徴とする動画像受信処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、消失したフレームヘッダ情報を再構築することのできる動画像受信処理装置に関するものである。
【背景技術】
【０００２】
ＭＰＥＧ−４などで符号化されたデータを伝送する際、通信路で誤りが発生すると再生される画像品質が低下する。通常、誤りが符号化された画像データに混入した場合には、一つの画像フレームが復号できず、画質低下が起こる。このような誤りの影響を少なくする方法として、ＭＰＥＧ−４では１フレームを複数のビデオパケットと呼ばれる単位に分割し、ビデオパケット単位に同期コードなどを付加することで１つの誤りで１フレーム全体が破棄されることのないよう工夫をしている。
【０００３】
例えば、ＭＥＰＧ−４による１画像フレームのデータ構成は、図１６（ａ）に示されているように、同期語ＰＳＣ（Primary Synchronization Code）に続いてフレームヘッダ情報が付加され、この後に複数のＭＢ（マクロブロック）データが付加される。１ビデオパケットの次に、ビデオパケットの同期語ＶＰＳＣ、ビデオパケットのヘッダ情報（ＶＰヘッダ情報）及び複数のＭＢデータが付加されて１ビデオパケットが構成される。図１６（ｂ）は、複数のＭＢデータをまとめて示したデータ構造である。
【０００４】
図１７（ａ）に示されている通り、例えば、４ビデオパケットにより１画像フレームが構成され、正常に４ビデオパケットが受信された場合には、図１７（ｂ）に示されているように１画面が正常に再生される。しかし、４ビデオパケット中の第３番目のビデオパケットに誤りが混入した場合には、図１７（ｃ）に示されているように第３番目のビデオパケットに対応する領域の画像が失われた画面が再生される。
【０００５】
上記のような誤りが生じた場合には、ビデオパケット単位で破棄がなされることになるが、フレームの先頭に配置されたビデオパケットは、フレーム全体に関するヘッダ情報を保持しているため、このフレーム先頭のビデオパケットに誤りが混入すると、それ以降のビデオパケットが正しく受信できた場合でも、復号ができない状態になる。例えば、図１８（ａ）に示されているように、第１番目のビデオパケットに誤りが混入し場合には、図１８（ｃ）に示されているように全てが復号化できなくなり、本来図１８（ｂ）に示されるように表示される１フレーム分の画像が失われる。
【０００６】
係る問題に対して、ＭＰＥＧ−４では、ヘッダの二重化という手法で、先頭以外のビデオパケットに対してフレームのヘッダ情報に相当するデータを付加できる機能を有しており、特許文献１にはヘッダ・エクステンション・コードＨＥＣを用いて二重化する手法が開示されている。
【特許文献１】特開２０００−３０８０４９号公報（特に、従来技術の欄）
【０００７】
しかしながら、全てのビデオパケット毎にフレームのヘッダ情報を付加することは符号化効率の面からは非効率的であることなどの理由で、現実に運用されているデータについてもあまりこのヘッダ情報の二重化機能を利用していないのが現状である。このため、先頭のビデオパケットが誤りにより破壊された場合、１フレームのデータ全てが復号化できないことになっている。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記の通り、ヘッダ情報の二重化は非効率的であり、この機能を利用していないのが現状であるため、先頭のビデオパケットが誤りにより破壊された場合、１フレームのデータ全てが復号化できない問題がある点に鑑み、本発明では、フレームヘッダが破壊された場合にも、フレームヘッダを再生して画像表示を可能とする動画像受信処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明に係る動画像受信処理装置は、ＲＴＰパケットデータを復号化するＲＴＰ復号部と、フレームヘッダを含むパケットの消失を判定するフレームヘッダ消失判定部と、前記ＲＴＰ復号部により復号化されたデータに基づきフレームヘッダを再生するための関連情報を解析・収集するデータ解析部と、前記フレームヘッダ消失判定部によりフレームヘッダを含むパケットが消失されたと判定された場合に、前記ＲＴＰ復号部により復号化されたＲＴＰヘッダ情報と前記データ解析部により解析・収集された前記関連情報とに基づきフレームヘッダを再構成するフレームヘッダ生成部と、前記フレームヘッダ生成部により生成されたフレームヘッダ情報と前記ＲＴＰ復号部により復号化されたデータとを多重化する多重化部と、前記多重化部により多重化された多重化映像符号化データを復号化する映像復号部とを具備することを特徴とする。
【００１０】
本発明に係る動画像受信処理装置は、到来する映像符号化データについてフレームヘッダを含むパケットの消失を判定するフレームヘッダ消失判定部と、前記到来する映像符号化データに基づきフレームヘッダを再生するための関連情報を解析・収集するデータ解析部と、前記フレームヘッダ消失判定部によりフレームヘッダを含むパケットが消失されたと判定された場合に、前記データ解析部により解析・収集された前記関連情報に基づきフレームヘッダを再構成するフレームヘッダ生成部と、前記フレームヘッダ生成部により生成されたフレームヘッダ情報と前記映像符号化データを多重化する多重化部と、前記多重化部により多重化された多重化映像符号化データを復号化する映像復号部とを具備することを特徴とする。
【００１１】
本発明に係る動画像受信処理装置は、ＲＴＰパケットデータを復号化するＲＴＰ復号部と、フレームヘッダを含むパケットの消失を判定するフレームヘッダ消失判定部と、前記ＲＴＰ復号部により復号化されたデータに基づきフレームヘッダを再生するための関連情報を解析・収集するデータ解析部と、前記フレームヘッダ消失判定部によりフレームヘッダを含むパケットが消失されたと判定された場合に、前記ＲＴＰ復号部により復号化されたＲＴＰヘッダ情報と前記データ解析部により解析・収集された前記関連情報とに基づきフレームヘッダを再構成し、再構成されたフレームヘッダ情報からビデオパケットヘッダ情報を生成するビデオパケットヘッダ生成部と、前記ビデオパケットヘッダ生成部により生成されたビデオパケットヘッダ情報と前記ＲＴＰ復号部により復号されたデータとを多重化しかつ符号列として整合性を保つように前記映像符号化データの一部について書き換えを行う書換・多重化部と、前記書換・多重化部により多重化された多重化映像符号化データを復号する映像復号部とを具備することを特徴とする。
【００１２】
本発明に係る動画像受信処理装置は、到来する映像符号化データについてフレームヘッダを含むパケットの消失を判定するフレームヘッダ消失判定部と、前記到来する映像符号化データに基づきフレームヘッダを再生するための関連情報を解析・収集するデータ解析部と、前記フレームヘッダ消失判定部によりフレームヘッダを含むパケットが消失されたと判定された場合に、前記データ解析部により解析・収集された前記関連情報に基づきフレームヘッダを再構成し、再構成されたフレームヘッダ情報からビデオパケットヘッダ情報を生成するビデオパケットヘッダ生成部と、前記ビデオパケットヘッダ生成部により生成されたビデオパケットヘッダ情報と前記映像符号化データとを多重化しかつ符号列として整合性を保つように前記映像符号化データの一部について書き換えを行う書換・多重化部と、前記書換・多重化部により多重化された多重化映像符号化データを復号する映像復号部とを具備することを特徴とする。
【発明の効果】
【００１３】
本発明に係る動画像受信処理装置では、ＲＴＰ復号部により復号化されたデータに基づきフレームヘッダを再生するための関連情報を解析・収集し、この解析・収集された前記関連情報と復号化されたＲＴＰヘッダ情報とに基づきフレームヘッダを再構成するので、先頭のビデオパケットが誤りにより破壊された場合にも、１フレームのデータを復号化できるようになる。また、本発明に係る動画像受信処理装置では、到来する映像符号化データに基づきフレームヘッダを再生するための関連情報を解析・収集し、この解析・収集された関連情報に基づきフレームヘッダを再構成し、再構成されたフレームヘッダ情報からビデオパケットヘッダ情報を生成するので、先頭のビデオパケットが誤りにより破壊された場合にも、１フレームのデータを復号化できるようになる。
【発明を実施するための最良の形態】
【００１４】
以下添付図面を参照して、本発明に係る動画像受信処理装置の一実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。本実施例では、ＭＰＥＧ−４の動画像の映像符号化データについてＲＴＰ（Real-time Transport Protocol）パケットの構成を採用した映像符号化データを受信するものとする。ＲＴＰパケットの構成を図１に示す。ＲＴＰパケットは、ＲＴＰヘッダとＲＴＰペイロード（本実施例では、ＭＰＥＧ−４の映像符号化データ）とにより構成される。ＲＴＰヘッダには、ペイロードタイプＰＴ（Payload Type）、シーケンス番号ＳＮ（Sequence Number ）、タイムスタンプＴＳ（Time Stamp）などが配置されている。ＲＴＰペイロードであるＭＰＥＧ−４の映像符号化データの構成に関しては、図１６に示した通りである。
【００１５】
本発明に係る動画像受信処理装置の第１の実施例は、図２に示されるように、ＲＴＰ復号部１１、フレームヘッダ消失判定部１２、データ解析部１３、フレームヘッダ生成部１４、多重化部１５及び映像復号部１６を備える。
【００１６】
ＲＴＰ復号部１１は、ＲＴＰパケットデータを復号化するもので、復号化されたデータは、フレームヘッダ消失判定部１２、データ解析部１３、フレームヘッダ生成部１４及び多重化部１５へ送られる。また、ＲＴＰ復号部１１は、例えばシーケンス番号ＳＮなどに基づき（シーケンス番号ＳＮが連続しているかに基づき）ＲＴＰパケットの消失について検出を行い、結果をフレームヘッダ消失判定部１２へ送出するものである。
【００１７】
フレームヘッダ消失判定部１２は、ＲＴＰペイロードであるＭＰＥＧ−４に関するフレームヘッダを含むパケットの消失を判定するものであり、図１６に示したフレームヘッダ情報等について例えば同期語ＰＳＣについてチェックなどを行い、フレームヘッダを含むパケットの消失を判定するものである。フレームヘッダ消失判定部１２による判定結果は、データ解析部１３及びフレームヘッダ生成部１４へ送られる。
【００１８】
データ解析部１３は、上記ＲＴＰ復号部１１により復号化されたデータに基づきフレームヘッダを再生するための関連情報を解析・収集するものであり、本実施例では、図３に示されるフレームヘッダの各要素について、図３に示すような「推定」、「固定値」配置などの処理を行うための情報を得るものである。なお、同期語ＰＳＣについては、所定ビットの固定値であるので、「固定値」配置を行うことができる。また、マーカMarkerについても所定ビットの固定値であるので、「固定値」配置を行うことができる。データ解析部１３により解析・収集された情報は、フレームヘッダ生成部１４により参照されてフレームヘッダ生成に用いられる。
【００１９】
フレームヘッダ生成部１４は、上記フレームヘッダ消失判定部１２によりフレームヘッダを含むパケットが消失されたと判定された場合に、ＲＴＰ復号部１１により復号化されたＲＴＰヘッダ情報と上記データ解析部１３により解析・収集された上記関連情報とに基づきフレームヘッダを再構成するものである。
【００２０】
多重化部１５は、上記フレームヘッダ生成部１４により生成されたフレームヘッダ情報と上記ＲＴＰ復号部１１により復号化されたデータとを多重化するものである。また、映像復号部１６は、上記多重化部１５により多重化された多重化映像符号化データを復号化してモニタにて動画像を表示可能とする。
【００２１】
次に、図３に示したフレームヘッダの各要素について、データ解析部１３とフレームヘッダ生成部１４が行う処理動作を説明する。図４のフローチャートは、VOP Coding Typeに関し再生を行うための処理を示す。データ解析部１３は、フレームヘッダ消失判定部１２の判定結果に基づきフレームヘッダロスを検出し（Ｓ１１）、フレームヘッダロスが生じていなければ、コーディングタイプ毎にフレームのデータサイズを測定して、平均値を求めると共に閾値を決定する（Ｓ１２）。
【００２２】
コーディングタイプは、Ｉ、Ｐ、Ｂのフレームのいずれであるかを示す情報であるから、例えば、図５に示すようにＩフレームとＰフレームによるシステム運用がなされている場合には、ＩフレームとＰフレームのそれぞれの平均値を求めて、蓄積しておくものである。閾値はデータ量からＩフレームであることを判定するためのもので、Ｉフレームに比べてＰフレームのデータ量が極めて少ないことから、例えば、Ｐフレームの平均値のＸ倍を超えるとＩフレームと判定する場合のＸの値とする。
【００２３】
上記のようにステップ１２の処理をデータ解析部１３が行う一方、ステップＳ１１において、フレームヘッダロスが生じていることが検出されると、到来したフレームのデータ量と保持してあるＩフレームとＰフレームのデータ量の平均値を比較して、近い方を当該到来フレームのコーディングタイプVOP Coding Typeと決定する（Ｓ１３）。また、到来したフレームのデータ量がＰフレームの平均値のＸ倍を超えている場合には、Ｉフレームと判定する（Ｓ１３）。このようにして、データ解析部１３がコーディングタイプVOP Coding Typeを求め、これを用いフレームヘッダ生成部１４がフレームヘッダ生成を行う。なお、この例では、ＩフレームとＰフレームのみによる例を示したが、Ｂフレームについてもフレームのデータ量平均値を求めておき、比較によりコーディングタイプVOP Coding Typeを求めることが可能である。
【００２４】
図６のフローチャートは、VOP Coding Typeに関し再生を行うための他の処理手法を示す。データ解析部１３はフレームヘッダロスを検出し（Ｓ２１）、フレームヘッダロスが生じていなければ、到来したフレームについてコーディングタイプVOP Coding Type、タイムスタンプＴＳ、フレーム番号を示すシーケンス番号ＳＮを蓄積し、コーディングタイプVOP Coding Type毎の周期、コーディングタイプVOP Coding Typeの間隔（時間間隔）などを求めて蓄積しておく（Ｓ２２）。
【００２５】
図７に、ＩフレームとＰフレームを用いるシステムにおいて、Ｉフレーム周期を測定する例を示す。また、この図７から分かるように、例えば、Ｉフレームの次は必ずＰフレームとなるという規則が検出されると、この規則と隣接するＰフレームの間隔(時間)を求め蓄積する。また、この図７には示されないが、Ｂフレームを用いるシステムにおいては、Ｂフレームと隣接するフレーム（Ｉ、Ｐ、Ｂ）との間隔(時間)等を求めて蓄積する。
【００２６】
上記のようにステップＳ２２の処理をデータ解析部１３が行う一方、ステップＳ２１において、フレームヘッダロスが生じていることが検出されると、当該フレームに関し、前の（時間的に古い）Ｉ、Ｐ、Ｂフレームまでの間隔をそれぞれ求め、ステップＳ２２において蓄積された周期やフレーム間隔等のデータを参照して、間隔が一致するコーディングタイプVOP Coding Typeを推定（決定）する（Ｓ２３）。例えば、図７に示すようにＩフレームの間隔が求まっている場合に、フレームヘッダロスに係るフレームから前のＩフレームまでの間隔が、上記求められた間隔と一致する場合に、当該フレームのコーディングタイプVOP Coding TypeをＩフレームと特定することができる。
【００２７】
なお、この図６のフローチャートに対応する処理と、図４に示されるフローチャートに対応する処理の両方を行っても良く、この場合には、それぞれで推定したコーディングタイプVOP Coding Typeが異なる場合には、例えば、図４に示されるフローチャートに対応する処理結果を採用するように構成する。これにより、推定の精度を上げることができる。
【００２８】
図３のヘッダ情報において、モジュロタイムベースModulo Time BaseとタイムインクリメントVOP Time incrimentは、タイムスタンプを構成する。タイムインクリメントVOP Time incrimentは、１秒以上の部分について、前のフレームからの時間差分で表したものであり、モジュロタイムベースModulo Time Baseは、１秒未満のミリ秒を絶対値で表したものである。例えば、タイムインクリメントVOP Time incrementが「２」で、モジュロタイムベースModulo Time Baseが「０．６６」で、前のフレームのタイムスタンプ（算出した時刻）が「５．００」である場合には、「５．００」にタイムインクリメントVOP Time increment「２」を加算して「７．００」となり、１秒未満のミリ秒としてモジュロタイムベースModulo Time Base「０．６６」を付加して、タイムスタンプ「７．６６」を得ることができる。
【００２９】
図８のフローチャートは、ＭＰＥＧ−４におけるタイムスタンプ（モジュロタイムベースModulo Time BaseとタイムインクリメントVOP Time incriment）の再生を行うための処理を示したものである。フレームヘッダロスを検出し（Ｓ３１）、フレームヘッダロスが生じていなければ、タイムスタンプ（ＲＴＰヘッダのタイムスタンプＴＳ（Time Stamp））の蓄積を行う（Ｓ３２：データ解析部１３による処理）。一方、フレームヘッダロスが生じている場合には、ＲＴＰヘッダのタイムスタンプＴＳが有効であるか否かを検出し（Ｓ３３）、当該フレームのＲＴＰヘッダにおけるタイムスタンプＴＳ（Time Stamp）から時刻情報を得て（Ｓ３４：データ解析部１３による処理）、前のフレームのタイムスタンプ（ＲＴＰヘッダのタイムスタンプＴＳ（Time Stamp））を用いて、当該フレームのタイムスタンプ（モジュロタイムベースModulo Time BaseとタイムインクリメントVOP Time increment）について再生処理する（Ｓ３４：フレームヘッダ生成部１４による処理）。
【００３０】
例えば、フレームヘッダロスが生じている場合にＲＴＰヘッダのタイムスタンプＴＳが有効であるときには、ＲＴＰヘッダのタイムスタンプＴＳ（Time Stamp）から時刻情報を１５秒３３とそのまま時刻情報として得ることができ、前のフレームにおけるＲＴＰヘッダのタイムスタンプＴＳ（Time Stamp）が１３秒００であったとすると、上記時刻情報１５秒３３を用いてタイムインクリメントVOP Time incrementは、秒の部分の差分「２」となり、モジュロタイムベースModulo Time Baseはミリ秒の実時間「３３」となる。このようにして、ＲＴＰヘッダのタイムスタンプＴＳ（Time Stamp）を用いた再生がなされる。なお、ステップＳ３３においてＲＴＰヘッダのタイムスタンプＴＳが有効でないことが検出されると、次の図９に示すフローチャートに基づく処理によってタイムスタンプの推定がなされる。
【００３１】
図９のフローチャートは、ＭＰＥＧ−４におけるタイムスタンプ（モジュロタイムベースModulo Time BaseとタイムインクリメントVOP Time incriment）の再生を行うための他の処理を示したものであり、ＲＴＰヘッダのタイムスタンプＴＳ（Time Stamp）を用いることなく行われる。フレームヘッダロスを検出し（Ｓ４１）、フレームヘッダロスが生じていなければ、コーディングタイプVOP Coding Type、タイムスタンプとしてＭＰＥＧ−４のヘッダにあるモジュロタイムベースModulo Time BaseとタイムインクリメントVOP Time incriment、フレーム番号を示すシーケンス番号ＳＮを蓄積し、ＭＰＥＧ−４のヘッダによるタイムスタンプから各フレームの時刻情報を求めて、コーディングタイプVOP Coding Type毎の周期、コーディングタイプVOP Coding Typeの間隔（時間間隔）などを求めて蓄積しておく（Ｓ４２）。
【００３２】
一方、フレームヘッダロスが生じている場合には、ステップＳ４２において求めた周期や間隔から当該フレームのモジュロタイムベースModulo Time BaseとタイムインクリメントVOP Time incrimentを算出する。既に示した図７においては、例えば、Ｉフレームの周期が求まるから、当該フレームヘッダロスが生じているフレームがＩフレームであることが推定されると、その周期とそれ以前のＩフレームについて得られているモジュロタイムベースModulo Time BaseとタイムインクリメントVOP Time incrimentから算出した時刻情報とから、当該フレームのタイムスタンプ（モジュロタイムベースModulo Time BaseとタイムインクリメントVOP Time incriment）について再生処理する（Ｓ４３：フレームヘッダ生成部１４による処理）。
【００３３】
以上の通りにしてデータ解析部１３とフレームヘッダ生成部１４とがフレームヘッダを再構成すると、再構成されたフレームヘッダ情報はフレームヘッダ生成部１４から多重化部１５へ送られる。多重化部１５では、フレームヘッダ情報が到来すると、ＲＴＰ復号部１１から送られる復号化されたデータとフレームヘッダ情報を多重化して映像復号部１６へ送出する。
【００３４】
フレームヘッダを含むパケットの消失が図１０（ａ）に示すように生じた場合に、フレームヘッダ生成部１４から多重化部１５へ送られるフレームヘッダ情報として、図１０（ｂ）の「再生」に示すような、マクロブロックを含まないものを送る。これにより、多重化部１５は、図１０（ｂ）に示すように、マクロブロックを含まないフレームヘッダ情報を符号列に多重化して出力する。
【００３５】
なお、フレームヘッダ生成部１４はフレームヘッダ消失判定部１２からフレームヘッダ消失の通知を受けた場合に、多重化部１５へフレームヘッダ消失通知するものとし、これにより、該当フレームは多重化部１５にバッファリングされる。一方、多重化部１５へフレームヘッダ消失通知がなければ、ＲＴＰ復号部１１により復号化されたデータを多重化部１５はそのまま通過させる。斯して、フレームヘッダが破壊された場合にも、フレームヘッダが再生されて１フレームのデータとされて多重化部１５から出力されるので、映像復号部１６にて復号して画像表示を可能とする。
【００３６】
フレームヘッダ生成部１４から多重化部１５へ送られるフレームヘッダ情報として、図１０（ｃ）の「再生」により示すような、擬似マクロブロック（Not Coded（ＮＣ））ＭＢを含むものを送ることもできる。このように擬似マクロブロックＭＢ（ＮＣ）を含むものを送ることにより、マクロブロックを全く含まないパケットをエラーとして処理する復号器により符号を行うシステムに対応することができる。
【００３７】
図１１には、第２の実施例に係る動画像受信処理装置の構成が示されている。この動画像受信処理装置では、ＲＴＰヘッダの情報を用いないため、ＲＴＰ復号部１１を備えていない。データ解析部１３Ａでは、図８に示すフローチャートに対応する処理を行わずに、図９に示すフローチャートに対応する処理によりタイムスタンプの再生を行う。また、フレームヘッダ生成部１４Ａは、ＲＴＰヘッダの情報を用いることなく、データ解析部１３Ａによる情報のみを用いてフレームヘッダの生成を行う。これ以外の点においては、第１の実施例に係る動画像受信処理装置の構成と同様であり、この構成によって、フレームヘッダが破壊された場合にも、フレームヘッダが再生されて１フレームのデータとされて多重化部１５から出力されるので、映像復号部１６にて復号して画像表示を可能とする。
【００３８】
図１２には、第３の実施例に係る動画像受信処理装置の構成が示されている。この動画像受信処理装置では、第１の実施例におけるフレームヘッダ生成部１４に代えてビデオパケットヘッダ生成部１７を備えると共に、第１の実施例における多重化部１５に代えて書換・多重化部１８を備える。これ以外の構成は、第１の実施例と同じである。
【００３９】
ビデオパケットヘッダ生成部１７は、ＲＴＰ復号部１１により復号化されたＲＴＰヘッダ情報とデータ解析部１３により解析・収集された情報とに基づきフレームヘッダを再構成し、再構成されたフレームヘッダ情報からビデオパケットヘッダ情報を生成するものである。具体的には、ビデオパケットヘッダ生成部１７は、第１の実施例におけるフレームヘッダ生成部１４と全く同様に本来フレームヘッダにセットされる情報を生成するが、ビデオパケット内にセットする情報とする。即ち、ＭＰＥＧ−４においては、ヘッダ・エクステンション・コードＨＥＣを用いて、本来フレームヘッダにセットされる情報を、ビデオパケット内にセットするものである。
【００４０】
書換・多重化部１８は、ビデオパケットヘッダ生成部１７により生成されたビデオパケットヘッダ情報とＲＴＰ復号部１１により復号されたデータとを多重化しかつ符号列として整合性を保つように映像符号化データの一部について書き換えを行うものである。
【００４１】
フレームヘッダを含むパケットの消失が図１０（ａ）に示すように生じた場合に、本実施例の各部は第１の実施例と同様に動作を行って、フレームヘッダを再構成し、ビデオパケットヘッダ生成部１７は、再構成されたフレームヘッダ情報からビデオパケットヘッダ情報を生成し、図１３に示されるモジュロタイムベースModulo Time Baseからfcode までを書換・多重化部１８へ送出する。
【００４２】
書換・多重化部１８は、消失したフレームヘッダを含むパケットの次のビデオパケットについて、ヘッダ・エクステンション・コードＨＥＣ(図１３の第４番目の要素)を参照し、これが「１」であり、図１３に示されるように、ヘッダ・エクステンション・コードＨＥＣに続けてモジュロタイムベースModulo Time Baseからfcode までがセットされている場合には、特に処置を行うことはない。
【００４３】
一方、消失したフレームヘッダを含むパケットの次のビデオパケットについて、ヘッダ・エクステンション・コードＨＥＣ(図１４の第４番目の要素)を参照し、これが図１４（ａ）に示されるように「０」である場合には、書換・多重化部１８は図１４（ｂ）に示されるように、ヘッダ・エクステンション・コードＨＥＣを「０」から「１」へ変更すると共に、これに続けてビデオパケットヘッダ生成部１７から送られたモジュロタイムベースModulo Time Baseからfcode までをセットし多重化して映像復号部１６へ送出する。この構成によって、フレームヘッダが破壊された場合にも、フレームヘッダ相当の情報がビデオパケットヘッダから再生されるので、映像復号部１６にて復号して画像表示を可能とする。
【００４４】
図１５には、第４の実施例に係る動画像受信処理装置の構成が示されている。この動画像受信処理装置では、ＲＴＰヘッダの情報を用いないため、ＲＴＰ復号部１１を備えていない。データ解析部１３Ａでは、図８に示すフローチャートに対応する処理を行わずに、図９に示すフローチャートに対応する処理によりタイムスタンプの再生を行う。また、ビデオパケットヘッダ生成部１７Ａは、ＲＴＰヘッダの情報を用いることなく、データ解析部１３Ａによる情報のみを用いてフレームヘッダとビデオパケットヘッダの生成を行う。これ以外の点においては、第３の実施例に係る動画像受信処理装置の構成と同様であり、この構成によって、フレームヘッダが破壊された場合にも、第３の実施例と同様にフレームヘッダ相当の情報がビデオパケットヘッダから再生されるので、映像復号部１６にて復号して画像表示を可能とする。
【図面の簡単な説明】
【００４５】
【図１】ＲＴＰパケットの構成を示す図。
【図２】本発明に係る動画像受信処理装置における第１の実施例の構成を示す図。
【図３】ＭＥＰＧ−４によるフレームヘッダの各要素を示す図。
【図４】本発明に係る動画像受信処理装置によるVOP Coding Typeに関し再生を行うための処理を示すフローチャート。
【図５】本発明に係る動画像受信処理装置によるVOP Coding Typeに関し再生を行うための処理を示す図。
【図６】本発明に係る動画像受信処理装置によるVOP Coding Typeに関し再生を行うための他の処理を示すフローチャート。
【図７】本発明に係る動画像受信処理装置によるVOP Coding Typeに関し再生を行うための他の処理を示す図。
【図８】本発明に係る動画像受信処理装置によるＭＰＥＧ−４におけるタイムスタンプに関し再生を行うための処理を示す図。
【図９】本発明に係る動画像受信処理装置によるＭＰＥＧ−４におけるタイムスタンプに関し再生を行うための他の処理を示す図。
【図１０】フレームヘッダ消失、その場合に本発明に係る動画像受信処理装置による再生処理結果を示す図。
【図１１】本発明に係る動画像受信処理装置における第２の実施例の構成を示す図。
【図１２】本発明に係る動画像受信処理装置における第３の実施例の構成を示す図。
【図１３】フレームヘッダ消失の場合に本発明に係る動画像受信処理装置によるビデオパケットを用いた処理を示す図。
【図１４】フレームヘッダ消失の場合に本発明に係る動画像受信処理装置によるビデオパケットを用いた処理を示す図。
【図１５】本発明に係る動画像受信処理装置における第４の実施例の構成を示す図。
【図１６】ＭＥＰＧ−４による１画像フレームのデータ構成を示す図。
【図１７】ビデオパケット中に誤りがない場合と、誤りがある場合の再生画像を示す図。
【図１８】フレームの先頭ビデオパケットに誤りがない場合と、誤りがある場合の再生画像を示す図。
【符号の説明】
【００４６】
１１  ＲＴＰ復号部
１２  フレームヘッダ消失判定部
１３、１３Ａ  データ解析部
１４、１４Ａ  フレームヘッダ生成部
１５  多重化部
１６  映像復号部
１７、１７Ａ  ビデオパケットヘッダ生成部
１８、１８Ａ  書換・多重化部
【図１】
2008067237.tif 000003
【図２】
2008067237.tif 000004
【図３】
2008067237.tif 000005
【図４】
2008067237.tif 000006
【図５】
2008067237.tif 000007
【図６】
2008067237.tif 000008
【図７】
2008067237.tif 000009
【図８】
2008067237.tif 000010
【図９】
2008067237.tif 000011
【図１０】
2008067237.tif 000012
【図１１】
2008067237.tif 000013
【図１２】
2008067237.tif 000014
【図１３】
2008067237.tif 000015
【図１４】
2008067237.tif 000016
【図１５】
2008067237.tif 000017
【図１６】
2008067237.tif 000018
【図１７】
2008067237.tif 000019
【図１８】
2008067237.tif 000020