(57)【要約】送信パケットに含まれるデータから計算された誤り検出符号と誤り検出符号の計算に用いたデータ部分を特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信方法は、送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小に従ってグループに分類する段階と、各々の送信パケットを作成して送信する際に、各送信パケットごとに、所定の基準に従って影響度が大きいグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として、決定する段階と、を有する。
2004073246.tif 000002
【特許請求の範囲】
【請求項１】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信方法であって、
送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小に従って、ｎ（ｎは２以上の予め定められた正の整数）個のグループに分類する段階と、
各々の送信パケットを作成して送信する際に、各送信パケットごとに、所定の基準に従って前記影響度が大きいグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する段階と、
を有する、メディア符号化データ送信方法。
【請求項２】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信方法であって、
送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小に従って、ｎ（ｎは２以上の予め定められた正の整数）個のグループに分類する段階と、
各々の送信パケットを作成して送信する際に、各送信パケットごとに、その送信パケットに含まれるデータ要素が属するグループの組み合わせを検出して、該検出したグループの組み合わせによって一意に定まる選択対象グループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する段階と、
を有する、メディア符号化データ送信方法。
【請求項３】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信方法であって、
送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが、受信側の再生品質に与える影響度の大小を表す誤り感度の高低に従って、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のグループに分類する段階と、
各々の送信パケットを作成して送信する際に、各送信パケットごとに、その送信パケットに含まれるグループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する段階と、
を有するメディア符号化データ送信方法。
【請求項４】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信方法であって、
送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが、受信側の再生品質に与える影響度の大小を表す誤り感度の高低に従って、最も順位の高い第１グループ、その次に順位の高い第２グループ、最も順位の低い第３グループに分類し、さらに前記第２グループに含まれるデータ要素を、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループに分類する段階と、
各々の送信パケットを作成して送信する際に、各送信パケット毎に、その送信パケットに含まれる第１グループに属するデータ要素と、その送信パケットに含まれる第２グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素とを全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する段階と、
を有するメディア符号化データ送信方法。
【請求項５】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信方法であって、
送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小である誤り感度の高低に従って、順位の高い第１グループと順位の低い第２グループに分類し、さらに前記第２グループに含まれるデータ要素を、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループに分類する段階と、
各々の送信パケットを作成して送信する際に、各送信パケットごとに、その送信パケットに含まれる第１グループに属するデータ要素と、その送信パケットに含まれる第２グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素とを全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する段階と、
を有するメディア符号化データ送信方法。
【請求項６】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信方法であって、
送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小である誤り感度の高低に従って、順位の高い第１グループと順位の低い第２グループに分類し、さらに前記第１グループに含まれるデータ要素を、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループに分類する段階と、
各々の送信パケットを作成して送信する際に、各送信パケットごとに、その送信パケットに含まれる第１グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する段階と、
を有するメディア符号化データ送信方法。
【請求項７】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、少なくともビデオのメディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信方法であって、
各々の送信パケットを作成して送信する際に、
（ａ）送信パケットが、ビデオのシーケンス全体の情報を格納するヘッダであるビデオシーケンスヘッダか、フレーム全体の情報を格納するヘッダであるフレームヘッダを含む場合は、前記誤り検出符号を計算するためのデータ部分が、送信パケットヘッダとビデオシーケンスヘッダとフレームヘッダとを含むように、前記誤り検出符号を計算するためのデータ部分を決定し、
（ｂ）送信パケットが、ビデオシーケンスヘッダも、フレームヘッダも含まない場合は、前記誤り検出符号を計算するためのデータ部分が、送信パケットヘッダと送信パケットに含まれるビデオ符号化データの中で重要なデータ要素とを含み、かつ、データ長が最小となるように、前記誤り検出符号を計算するためのデータ部分を決定する、
メディア符号化データ送信方法。
【請求項８】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、少なくともビデオのメディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信方法であって、
各々の送信パケットを作成して送信する際に、
（ａ）送信パケットが、ビデオのシーケンス全体の情報を格納するヘッダであるビデオシーケンスヘッダか、フレーム全体の情報を格納するヘッダであるフレームヘッダを含む場合は、前記誤り検出符号を計算するためのデータ部分が、送信パケットヘッダとビデオシーケンスヘッダとフレームヘッダとを含み、かつ、データ長が最小となるように、前記誤り検出符号を計算するためのデータ部分を決定し、
（ｂ）送信パケットが、ビデオシーケンスヘッダも、フレームヘッダも含まない場合は、前記誤り検出符号を計算するためのデータ部分が、送信パケットヘッダと送信パケットに含まれるビデオ符号化データの中で重要なデータ要素とを含み、かつ、データ長が最小となるように、前記誤り検出符号を計算するためのデータ部分を決定し、
（ｃ）送信パケットが、ビデオシーケンスヘッダも、フレームヘッダも含まず、かつ、ビデオ符号化データの中で重要なデータ要素も含まない場合は、前記誤り検出符号を計算するためのデータ部分が、全ての符号化データを含むように、決定する、
メディア符号化データ送信方法。
【請求項９】
ビデオ以外のメディア符号化データのデータ要素は、常に、前記の誤り検出符号を計算するためのデータに含まれる、請求項７に記載のメディア符号化データ送信方法。
【請求項１０】
ビデオ以外のメディア符号化データのデータ要素は、常に、前記の誤り検出符号を計算するためのデータに含まれる、請求項８に記載のメディア符号化データ送信方法。
【請求項１１】
前記ビデオ符号化データの中で重要なデータ要素が、ビデオパケット全体に関わるヘッダと、マクロブロック全体に関わるヘッダと、動き補償画像の作成に必要な情報と、直交変換係数の直流成分である、請求項７に記載のメディア符号化データ送信方法。
【請求項１２】
前記ビデオ符号化データの中で重要なデータ要素が、ビデオパケット全体に関わるヘッダと、マクロブロック全体に関わるヘッダと、動き補償画像の作成に必要な情報と、直交変換係数の直流成分である、請求項８に記載のメディア符号化データ送信方法。
【請求項１３】
前記プロトコルがＵＤＰ−Ｌｉｔｅである、請求項１に記載のメディア符号化データ送信方法。
【請求項１４】
前記プロトコルがＵＤＰ−Ｌｉｔｅである、請求項７に記載のメディア符号化データ送信方法。
【請求項１５】
前記プロトコルがＵＤＰ−Ｌｉｔｅである、請求項８に記載のメディア符号化データ送信方法。
【請求項１６】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信装置であって、
送信パケットを構成し得るデータ要素の各々について、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小に従って、ｎ（ｎは２以上の予め定められた正の整数）個のグループの何れに分類されるかを示した分類表と、
前記分類表を参照して、各々の送信パケットごとに、当該送信パケットに含まれるグループを検出する検出手段と、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、所定の基準に従って前記影響度が大きいグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段と、
を備えるメディア符号化データ送信装置。
【請求項１７】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信装置であって、
送信パケットを構成し得るデータ要素の各々について、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小に従って、ｎ（ｎは２以上の予め定められた正の整数）個のグループの何れに分類されるかを示した分類表と、
送信パケットに含まれるデータ要素が属するグループの組み合わせと選択対象グループとの関係を示すマッピング表と、
前記分類表を参照して、各々の送信パケットごとに、当該送信パケットに含まれるグループを検出する検出手段と、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、当該送信パケットに含まれるグループの組み合わせによって前記マッピング表から一意に定まる選択対象グループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段と、
を備えるメディア符号化データ送信装置。
【請求項１８】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信装置であって、
送信パケットを構成し得るデータ要素の各々について、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小を表す誤り感度の高低に従って、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のグループの何れに分類されるかを示した分類表と、
前記分類表を参照して、各々の送信パケットごとに、当該送信パケットに含まれるグループを検出する検出手段と、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、当該送信パケットに含まれるグループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段と、
を備えるメディア符号化データ送信装置。
【請求項１９】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信装置であって、
送信パケットを構成し得るデータ要素の各々について、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小を表す誤り感度の高低に従って、最も順位の高い第１グループ、その次に順位の高い第２グループ、最も順位の低い第３グループの何れのグループに分類されるか、および前記第２グループに分類されるデータ要素の各々について、誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループの何れのサブグループに分類されるかを示す分類表と、
前記分類表を参照して、各々の送信パケットごとに、その送信パケットに含まれるグループを検出する検出手段と、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、その送信パケットに含まれる第１グループに属するデータ要素と、その送信パケットに含まれる第２グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素とを全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段と、
を備えるメディア符号化データ送信装置。
【請求項２０】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信装置であって、
送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小である誤り感度の高低に従って、順位の高い第１グループと順位の低い第２グループの何れのグループに分類されるか、および前記第２グループに分類されるデータ要素の各々について、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループの何れのサブグループに分類されるかを示す分類表と、
前記分類表を参照して、各々の送信パケットごとに、その送信パケットに含まれるグループを検出する検出手段と、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、その送信パケットに含まれる第１グループに属するデータ要素と、その送信パケットに含まれる第２グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素とを全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段と、
を備えるメディア符号化データ送信装置。
【請求項２１】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信装置であって、
送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小を表す誤り感度の高低に従って、順位の高い第１グループと順位の低い第２グループの何れのグループに分類されるか、および前記第１グループに分類されるデータ要素の各々について、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループの何れのサブグループに分類されるかを示す分類表と、
前記分類表を参照して、各々の送信パケットごとに、その送信パケットに含まれるグループを検出する検出手段と、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、その送信パケットに含まれる第１グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段と、
を備えるメディア符号化データ送信装置。
【請求項２２】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、少なくともビデオのメディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信装置であって、
送信パケットを送信する送信手段と、
各々の送信パケットを作成して送信する際に、送信パケットが、ビデオのシーケンス全体の情報を格納するヘッダであるビデオシーケンスヘッダか、フレーム全体の情報を格納するヘッダであるフレームヘッダを含む場合は、送信パケットヘッダとビデオシーケンスヘッダとフレームヘッダとを含み、かつ、データ長が最小となるように、送信パケットが、ビデオシーケンスヘッダも、フレームヘッダも含まない場合は、送信パケットヘッダと送信パケットに含まれるビデオ符号化データの中で重要なデータ要素を含み、かつ、データ長が最小となるように、前記誤り検出符号を計算するためのデータ部分を決定する誤り検出対象データ長決定手段と、
を備えるメディア符号化データ送信装置。
【請求項２３】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、少なくともビデオのメディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信装置であって、
送信パケットを送信する送信手段と、
各々の送信パケットを作成して送信する際に、送信パケットが、ビデオのシーケンス全体の情報を格納するヘッダであるビデオシーケンスヘッダか、フレーム全体の情報を格納するヘッダであるフレームヘッダを含む場合は、送信パケットヘッダとビデオシーケンスヘッダとフレームヘッダとを含み、かつ、データ長が最小となるように、送信パケットが、ビデオシーケンスヘッダも、フレームヘッダも含まない場合は、送信パケットヘッダと送信パケットに含まれるビデオ符号化データの中で重要なデータ要素を含み、かつ、データ長が最小となるように、送信パケットが、ビデオシーケンスヘッダも、フレームヘッダも含まず、かつ、ビデオ符号化データの中で重要なデータ要素も含まない場合は、全ての符号化データを含むように、前記誤り検出符号を計算するためのデータ部分を決定する誤り検出対象データ長決定手段と、
を備えるメディア符号化データ送信装置。
【請求項２４】
前記誤り検出対象データ長決定手段は、ビデオ以外のメディア符号化データのデータ要素は、常に、前記の誤り検出符号を計算するためのデータに含める、請求項２２に記載のメディア符号化データ送信装置。
【請求項２５】
前記誤り検出対象データ長決定手段は、ビデオ以外のメディア符号化データのデータ要素は、常に、前記の誤り検出符号を計算するためのデータに含める、請求項２３に記載のメディア符号化データ送信装置。
【請求項２６】
前記ビデオ符号化データの中で重要なデータ要素が、ビデオパケット全体に関わるヘッダと、マクロブロック全体に関わるヘッダと、動き補償画像の作成に必要な情報と、直交変換係数の直流成分である、請求項２２に記載のメディア符号化データ送信装置。
【請求項２７】
前記ビデオ符号化データの中で重要なデータ要素が、ビデオパケット全体に関わるヘッダと、マクロブロック全体に関わるヘッダと、動き補償画像の作成に必要な情報と、直交変換係数の直流成分である、請求項２３に記載のメディア符号化データ送信装置。
【請求項２８】
前記プロトコルがＵＤＰ−Ｌｉｔｅである請求項１６に記載のメディア符号化データ送信装置。
【請求項２９】
前記プロトコルがＵＤＰ−Ｌｉｔｅである請求項２２に記載のメディア符号化データ送信装置。
【請求項３０】
前記プロトコルがＵＤＰ−Ｌｉｔｅである請求項２３に記載のメディア符号化データ送信装置。
【請求項３１】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを送信パケットに格納して送信するメディア符号化データ送信装置を構成するコンピュータを、
送信パケットを構成し得るデータ要素の各々について、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小に従って、ｎ（ｎは２以上の予め定められた正の整数）個のグループの何れに分類されるかを示した分類表を参照して、各々の送信パケットごとに、その送信パケットに含まれるグループを検出する検出手段、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、所定の基準に従って前記影響度が大きいグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段、
として機能させるプログラム。
【請求項３２】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを送信パケットに格納して送信するメディア符号化データ送信装置を構成するコンピュータを、
送信パケットを構成し得るデータ要素の各々について、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小に従って、ｎ（ｎは２以上の予め定められた正の整数）個のグループの何れに分類されるかを示した分類表を参照して、各々の送信パケットごとに、その送信パケットに含まれるグループを検出する検出手段、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、その送信パケットに含まれるグループの組み合わせによって、送信パケットに含まれるデータ要素が属するグループの組み合わせと選択対象グループとの関係を示すマッピング表から一意に定まる選択対象グループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段、
として機能させるプログラム。
【請求項３３】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを送信パケットに格納して送信するメディア符号化データ送信装置を構成するコンピュータを、
送信パケットを構成し得るデータ要素の各々について、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小を表す誤り感度の高低に従って、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のグループの何れに分類されるかを示した分類表を参照して、各々の送信パケットごとに、その送信パケットに含まれるグループを検出する検出手段、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、その送信パケットに含まれるグループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段、
として機能させるプログラム。
【請求項３４】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを送信パケットに格納して送信するメディア符号化データ送信装置を構成するコンピュータを、
送信パケットを構成し得るデータ要素の各々について、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小を表す誤り感度の高低に従って、最も順位の高い第１グループ、その次に順位の高い第２グループ、最も順位の低い第３グループの何れのグループに分類されるか、および前記第２グループに分類されるデータ要素の各々について、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループの何れのサブグループに分類されるかを示す分類表を参照して、各々の送信パケットごとに、その送信パケットに含まれるグループを検出する検出手段、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、その送信パケットに含まれる第１グループに属するデータ要素と、その送信パケットに含まれる第２グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素とを全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデーダ部分として、決定する決定手段、
として機能させるプログラム。
【請求項３５】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを送信パケットに格納して送信するメディア符号化データ送信装置を構成するコンピュータを、
送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小を表す誤り感度の高低に従って、順位の高い第１グループと順位の低い第２グループの何れのグループに分類されるか、および前記第２グループに分類されるデータ要素の各々について、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループの何れのサブグループに分類されるかを示す分類表を参照して、各々の送信パケットごとに、その送信パケットに含まれるグループを検出する検出手段、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、その送信パケットに含まれる第１グループに属するデータ要素と、その送信パケットに含まれる第２グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素とを全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段、
として機能させるプログラム。
【請求項３６】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを送信パケットに格納して送信するメディア符号化データ送信装置を構成するコンピュータを、
送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小を表す誤り感度の高低に従って、順位の高い第１グループと順位の低い第２グループの何れのグループに分類されるか、および前記第１グループに分類されるデータ要素の各々について、前記誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループの何れのサブグループに分類されるかを示す分類表を参照して、各々の送信パケットごとに、その送信パケットに含まれるグループを検出する検出手段、
前記検出手段の検出結果に基づき、各々の送信パケットごとに、その送信パケットに含まれる第１グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、前記誤り検出符号を計算するためのデータ部分として、決定する決定手段、
として機能させるプログラム。
【請求項３７】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、少なくともビデオのメディアが符号化されたデータを送信パケットに格納して送信するメディア符号化データ送信装置を構成するコンピュータを、
各々の送信パケットを作成して送信する際に、送信パケットが、ビデオのシーケンス全体の情報を格納するヘッダであるビデオシーケンスヘッダか、フレーム全体の情報を格納するヘッダであるフレームヘッダを含む場合は、送信パケットヘッダとビデオシーケンスヘッダとフレームヘッダとを含み、かつ、データ長が最小となるように、送信パケットが、ビデオシーケンスヘッダも、フレームヘッダも含まない場合は、送信パケットヘッダと送信パケットに含まれるビデオ符号化データの中で重要なデータ要素を含み、かつ、データ長が最小となるように、前記誤り検出符号を計算するためのデータ部分を決定する誤り検出対象データ長決定手段、
として機能させるプログラム。
【請求項３８】
送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と前記誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、少なくともビデオのメディアが符号化されたデータを送信パケットに格納して送信するメディア符号化データ送信装置を構成するコンピュータを、
各々の送信パケットを作成して送信する際に、送信パケットが、ビデオのシーケンス全体の情報を格納するヘッダであるビデオシーケンスヘッダか、フレーム全体の情報を格納するヘッダであるフレームヘッダを含む場合は、送信パケットヘッダとビデオシーケンスヘッダとフレームヘッダとを含み、かつ、データ長が最小となるように、送信パケットが、ビデオシーケンスヘッダも、フレームヘッダも含まない場合は、送信パケットヘッダと送信パケットに含まれるビデオ符号化データの中で重要なデータ要素を含み、かつ、データ長が最小となるように、送信パケットが、ビデオシーケンスヘッダも、フレームヘッダも含まず、かつ、ビデオ符号化データの中で重要なデータ要素も含まない場合は、全ての符号化データを含むように、前記誤り検出符号を計算するためのデータ部分を決定する誤り検出対象データ長決定手段、
として機能させるプログラム。
【発明の詳細な説明】
技術分野：
本発明は、ビデオ、オーディオなどのメディアの符号化データをパケット化して送信するメディア符号化送信方法に関し、特に、パケットデータの一部または全部のデータから計算された誤り検出符号をパケットデータに付加することのできるパケット伝送プロトコルを効果的に利用して、メディア符号化伝送の誤り耐性を高めることを可能にするメディア符号化データ送信方法および装置に関する。
背景技術：
近年、ビデオデータやオーディオデータなどのメディアデータを効率良く伝送する方法として、圧縮符号化技術を用いる方法が多く用いられている。代表的なビデオ圧縮符号化方式には、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４方式がある。オーディオ符号化方式の例としては、ＭＰＥＧ−１  Ａｕｄｉｏ  Ｌａｙｅｒ  ３、ＭＰＥＧ−２  ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）、ＭＰＥＧ−４  ＡＡＣがある。また、音声符号化方式には、Ｇ．７２９  ３ＧＰＰ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）のＡＭＲ（Ａｄａｐｔｉｖｅ  Ｍｕｌｔｉ−Ｒａｔｅ）などがある。
これらの符号化方式を用いたメディア伝送において、符号化データの伝送中に、データの誤りや欠落が生じることが避けられない場合がある。このため、伝送誤りが受信側で再生されるビデオ・オーディオの品質に与える影響を小さく抑えるための、いわゆる誤り耐性技術が、数多く開発されてきた。これらの技術は、圧縮符号化方式における誤り対策、伝送プロトコルにおける誤り対策、両者を組み合わせた誤り対策に分類することができる。
圧縮符号化における対策の一例に、ＭＰＥＧ−４ビデオ圧縮符号化方式のデータパーティショニングツールがある。このツールを用いると、ビデオパケットと呼ばれる符号化データ列の中で、ビデオパケットを構成するデータ要素が、その要素に伝送誤りが生じた場合に復号画像の品質に与える影響が大きいものから順に並ぶように、配置される。このような配置のビデオパケットデータを作成すると、伝送誤りが生じた場合でも、先頭に近い箇所に配置された符号化データが正しく復号できる確率が高いため、伝送誤りによる復号画像の品質劣化をなるべく目立たなくすることができる。
伝送プロトコルにおいて誤り対策を施した例として、ＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）−Ｌｉｔｅプロトコルがある。ＵＤＰ−Ｌｉｔｅは、インターネットプロトコル（ＩＰ）の新しいバージョンであるＩＰｖ６に関してドラフトと提案されているトランスポート層プロトコルである。
ＵＤＰ−Ｌｉｔｅは、ＵＤＰプロトコルを元に拡張されたものである。ＵＤＰは、ＲＦＣ（Ｒｅｑｕｅｓｔ  ｆｏｒ  Ｃｏｍｍｅｎｔ）−７６８で規定されたトランスポート層プロトコルであり、現在のＩＰにおいてメディア伝送を行う場合に利用されるプロトコルである。ＵＤＰは、通常のデータ通信で用いられるＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）と異なり、パケットの消失や誤りが発生した際の再送を行わないため、パケット再送に伴う不要なトラフィックの増大や、遅延時間の発生が許容されない用途で利用されている。
以下に、ＵＤＰとＵＤＰ−Ｌｉｔｅを順に説明する。図１Ａは、ＵＤＰパケットの構造を示している。このパケットにおいてはその先頭から、送信元のポート番号、送信先のポート番号、パケット長（Ｌｅｎｇｔｈ）、誤り検出符号（Ｃｈｅｃｋｓｕｍ）が格納され、５バイト目以降に、マルチメディア符号化データを含む、ＵＤＰの上位層のデータが格納される。誤り検出符号は、パケットデータの全部から計算された１６ビットのチェックサムであり、受信側は、受け取ったＵＤＰパケットのチェックサムを検算することで、伝送誤りを検出できる。
マルチメディア伝送システムの一つの適用例では、受信側は、受け取ったＵＤＰパケットのチェックサム検算により伝送誤りが検出されると、得られたメディア符号化データを復号せずに廃棄する。また、符号化データの消失によってビデオ、オーディオの再生品質が著しく損なわれないように、受信装置の中のメディア復号処理部に対し、再生データの誤りを目立たなくする誤り隠蔽処理や、復号品質が回復するまで再生停止を行う指示が送られる。
しかしながら、伝送誤りが含まれるパケットを、受信側で全て廃棄するのが好適でない場合がある。受信パケットの全部を正しく得ることができなくても、再生品質に大きな影響を与える、すなわち誤り感度の高い箇所の符号化データが得られているならば、その情報を適切に用いることで、誤りの目立たない再生データを作成できる場合があるからである。例えば、ＭＰＥＧ−４でデータパーティショニングを用いて符号化されたビデオパケットの中で、誤り感度の低い直交変換係数に誤りが発生しても、誤り感度の高い動きベクトルや直交変換係数の直流成分が正しく得られたならば、そのデータを用いて誤りの目立たない復号画像を作成できる。
とはいえ、誤りを目立たなくできるのは、誤り感度の高い箇所の符号化データが、誤りなく得られている場合に限られている。誤り感度の高い部分が誤っている符号化データを復号してしまうと、著しく劣化したメディアデータが再生されてしまう。ＵＤＰでは、パケットデータの全部からチェックサムが計算されるため、誤りが検出された場合に、誤り感度の高い箇所の符号化データが誤りなく得られているのかどうかは分らない。誤り耐性技術に関する従来技術として、例えば、特開２００１−７７７５号公報では、送信パケット中のデータを重要な部分とそうでない部分とに分け、重要な部分は第１および第２の誤り訂正符号で二重に符号化し、非重要部分は第２の誤り訂正符号で符号化することが提案されている。この技術を使用すれば、パケットデータに誤りが検出された場合に、誤り感度の高い箇所の符号化データに誤りが存在するのかどうかを特定することができる。しかしながら、複数の誤り訂正符号で多重に符号化するためデータの冗長度が大きくなるという問題がある。
そこで、ＵＤＰを簡易に拡張したプロトコルが、ＵＤＰ−Ｌｉｔｅとして提案されている。図１Ｂは、ＵＤＰ−Ｌｉｔｅパケットの構造を示している。図１Ａに示したＵＤＰパケットとの違いは、ＵＤＰ−ＬｉｔｅパケットではＬｅｎｇｔｈフィールドがＣｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅフィールドに変更されている点である。Ｃｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅは、送信側がチェックサムの計算に用いたチェックサム対象データを、パケット先頭からのバイト数で示す。このため、ＵＤＰ−Ｌｉｔｅでは、パケットの全データからだけでなく、パケット先頭に位置する一部のデータからチェックサムを計算できる。
ＵＤＰ−Ｌｉｔｅを好適に用いたメディア伝送システムでは、パケットを構成するデータ要素の中で、誤り感度の高いデータ要素がチェックサム計算の対象となり、誤り感度の低いデータ要素はなるべくチェックサムの対象に含まれないように、ＵＤＰ−Ｌｉｔｅのパケットデータが作成され、送信される。受信側は、チェックサムの検算によって、受け取ったＵＤＰ−Ｌｉｔｅパケットの伝送誤りを検出した場合にのみ、受信パケットデータを廃棄し、誤りを目立たなくするための対応を行う。その結果、誤り感度の低いデータ要素の伝送誤りによって、誤り感度の高いデータ要素が廃棄されないため、パケットの全部のデータからチェックサムを計算する場合に比較して、受信側で誤りが目立たない隠蔽処理を行うことができ、復号データの品質を高めることができる。また、チェックサムの検算によって、誤り感度の高いデータ要素に生じた誤りが検出されるため、再生品質が大きく損なわれることもない。
このように、ＵＤＰ−Ｌｉｔｅを利用し、Ｃｈｅｃｋｓｕｍ  ＣｏｖｅｒａｇｅフィールドとＣｈｅｃｋｓｕｍフィールドに適切な値を設定しながら、メディア符号化データのパケット伝送を行うことで、伝送誤りへの耐性を高めることができる。
なお、ＵＤＰ−Ｌｉｔｅプロトコルを用いる場合は、ＭＰＥＧ−４のデータパーティショニングツールのように、符号化データを誤り感度の高い順に並び替えてパケット化すると、誤り耐性を高める上で効果的である。
しかしながら、ビデオやオーディオなどのメディア符号化データを、ＵＤＰ−ＬｉｔｅまたはＵＤＰ−Ｌｉｔｅに類するプロトコルを用いて送信するシステムにおいて、誤り耐性を高めるために、誤り検出の対象とする部分データの長さをどのように決定すべきかについては、有効かつ明確な方法が提案されていない。
典型的な方法は、パケットを構成するデータ要素を、予め、誤り感度の高いデータ要素と誤り感度の低いデータ要素とに分類しておき、誤り感度の高いデータ要素を含む最小のデータ部分を、誤り検出の対象とする方法であろうが、このような方法では、送信する個々のパケットに適した形で誤り検出の対象とするデータ部分を決定することができない。
発明の開示：
本発明の目的は、ビデオやオーディオなどのメディアが符号化されたデータをパケット化して送信する際に、誤り検出の対象とする部分データの長さを適切に設定することで、伝送誤り耐性を高めることの可能なメディア符号化データ送信方法を提供することである。
本発明の別の目的は、ビデオやオーディオなどのメディアが符号化されたデータをパケット化して送信する際に、誤り検出の対象とする部分データの長さを適切に設定することで、伝送誤り耐性を高めることの可能なメディア符号化データ送信装置を提供することである。
本発明の第１の目的は、送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信方法であって、送信パケットを構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小に従って、ｎ（ｎは２以上の予め定められた正の整数）個のグループに分類する段階と、各々の送信パケットを作成して送信する際に、各送信パケットごとに、所定の基準に従って影響度が大きいグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として、決定する段階と、を有する、メディア符号化データ送信方法によって達成される。
本発明の第２の目的は、送信パケットに含まれる一部または全部のデータから計算された誤り検出符号と誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット中に格納できるプロトコルを用いて、メディアが符号化されたデータを、送信パケットに格納して送信するメディア符号化データ送信装置であって、送信パケットを構成し得るデータ要素の各々について、そのデータ要素の誤りが受信側の再生品質に与える影響度の大小に従って、ｎ（ｎは２以上の予め定められた正の整数）個のグループの何れに分類されるかを示した分類表と、分類表を参照して、各々の送信パケットごとに、当該送信パケットに含まれるグループを検出する検出手段と、検出手段の検出結果に基づき、各々の送信パケットごとに、所定の基準に従って影響度が大きいグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として、決定する決定手段と、を備えるメディア符号化データ送信装置によって達成される。
本発明では、送信するパケットごとに、その送信パケットに含まれるデータ要素が属するグループの組み合わせに応じて、誤り検出符号を計算するためのデータに含めるグループが動的に決定されるため、送信する個々のパケットに適した形で誤り検出の対象とするデータ部分を決定することができる。すなわち本発明によれば、送信されるパケットデータの中で、相対的に誤り感度の高いデータ要素から誤り検出符号を計算して、パケットに格納することで、受信側が、誤り感度の高いデータ要素が誤っているにも関わらず、受信した符号化データを復号して、著しく品質の劣化した再生を行ってしまうことを防止することができる。また、誤り感度の低いデータ要素から、誤り検出符号を計算しないようにすることで、誤り感度の低いデータ要素の伝送誤りによって、誤り感度の高いデータ要素を廃棄する確率を小さく抑えられる。さらに、これらの誤り検出符号の計算および格納は、送信される個々のパケットに適した形で行われる。以上の結果、メディア符号化データを含むパケットの伝送誤りによって生じる、メディア再生品質の劣化を、抑えることができる。
【図面の簡単な説明】  図１Ａは、ＵＤＰプロトコルによるパケットの構成を示す図である。
図１Ｂは、ＵＤＰ−Ｌｉｔｅプロトコルによるパケットの構成を示す図である。
図２は、本発明の第１の実施形態に基づくメディア符号化データ送信装置の要部ブロック図である。
図３は、図２に示した装置において使用される分類表の一例を示す図である。
図４Ａ〜４Ｃは、図２に示した装置において各パケットごとに決定される、誤り検出符号を計算するためのデータ部分を示す図である。
図５は、本発明の第２の実施の形態のメディア符号化データ送信装置で使用される分類表の一例を示す図である。
図６Ａ〜６Ｃは、第２の実施の形態の装置において各パケットごとに決定される、誤り検出符号を計算するためのデータ部分を示す図である。
図７は、本発明の第３の実施の形態のメディア符号化データ送信装置で使用される分類表の一例を示す図である。
図８Ａ〜８Ｃは、第３の実施の形態の装置において各パケットごとに決定される、誤り検出符号を計算するためのデータ部分を示す図である。
図９は、本発明の第４の実施の形態のメディア符号化データ送信装置で使用する分類表の一例を示す図である。
図１０Ａ〜１０Ｃは、第４の実施の形態の装置において各パケットごとに決定される、誤り検出符号を計算するためのデータ部分を示す図である。
図１１は、本発明の第５の実施の形態のメディア符号化データ送信装置の要部を示すブロック図である。
図１２は、図１１に示した装置において使用するマッピング表の一例を示す図である。
図１３は、本発明の実施例１のビデオ・オーディオ符号化伝送システムの構成を示すブロック図である。
図１４は、実施例１のビデオ・オーディオ符号化伝送システムにおけるビデオ・オーディオ符号化送信装置の構成を示すブロック図である。
図１５は、実施例１でのビデオ・オーディオ符号化送信装置で使用する分類表を示す図である。
図１６は、実施例１でのビデオ・オーディオ符号化送信装置における、誤り検出符号を計算するためのデータ部分を決定する処理例を示すフローチャートである。
図１７Ａ〜１７Ｃは、実施例１における、データ要素の例と決定された誤り検出対象データ長（Ｃｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅ）とを示す図である。
図１８は、本発明の実施例２における、パケットにグループが含まれるか否かの真偽の組み合わせと誤り検出の対象となるデータに含まれるグループとの対応関係を示すマッピング表を示す図である。
発明を実施するための最良の形態：
《第１の実施形態》
図２に示す本発明の第１の実施形態のメディア符号化データ送信装置１０３は、送信パケット１０１に含まれる一部または全部のデータから計算された誤り検出符号とこの誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット１０１中に格納できるＵＤＰ−Ｌｉｔｅあるいはそれに類するプロトコルを用いて、メディア１０２が符号化されたデータを、送信パケット１０１に格納して送信するものである。メディア符号化データ送信装置１０３は、分類表１０４と検出部１０５と決定部１０６とを含んで構成されている。
分類表１０４は、送信パケット１０１を構成し得るデータ要素の各々について、そのデータ要素の誤りが、受信側の再生品質に与える影響度の大小、すなわち誤り感度の高低に従って、誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のグループの何れに分類されるかを示す表である。
検出部１０５は、分類表１０４を参照して、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれるグループを検出する。決定部１０６は、検出部１０５の検出結果に基づき、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれるグループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として決定する。
メディア１０２としてビデオデータとオーディオデータとを扱い、ｎ＝４とした場合の分類表１０４の一例を図３に示す。送信パケットヘッダ（例えばＵＤＰ−ＬｉｔｅヘッダとＲＴＰヘッダ）は最も重要であるため、グループ１に属している。ビデオ符号化データに関しては、ビデオのシーケンス全体の情報を格納するヘッダであるビデオシーケンスヘッダ（例えば、ＭＰＥＧ−４  Ｖｉｓｕａｌ方式における、Ｖｉｓｕａｌ  Ｏｂｊｅｃｔ  Ｓｅｑｕｅｎｃｅ  Ｈｅａｄｅｒ、Ｖｉｓｕａｌ  Ｏｂｊｅｃｔ  Ｈｅａｄｅｒ、Ｖｉｓｕａｌ  Ｏｂｊｅｃｔ  Ｌａｙｅｒ  Ｈｅａｄｅｒなどと呼ばれるヘッダ）、フレーム全体の情報を格納するヘッダであるフレームヘッダ（例えば、ＭＰＥＧ−４  Ｖｉｓｕａｌ方式における、Ｖｉｓｕａｌ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ  Ｈｅａｄｅｒ：ＶＯＰヘッダ）を、グループ２に含め、ビデオパケット全体に関わるヘッダであるビデオパケットヘッダ、マクロブロック全体に関わるヘッダであるマクロブロックヘッダ、動き補償画像の作成に必要な情報である動きベクトル、直交変換係数の直流（ＤＣ）成分を、グループ３に含める。直交変換係数の交流（ＡＣ）成分は、グループ４に属する。オーディオ符号化データは、すべてグループ１に属する。
図３に示した分類表に基づいて、検出部１０５は、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれるグループを検出し、決定部１０６は、その検出結果に基づき、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれるグループの上位ｍ個のグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として決定する。
図４Ａ〜４Ｃは、ｍが２である場合における、各パケットごとに決定される、誤り検出符号を計算するためのデータ部分の例を示す図である。図４Ａは、全てのグループおよびサブグループを含むパケットの例である。まず、誤り検出符号を計算するためのデータ部分は、グループ１に属する送信パケットヘッダを含み、パケット中に含まれるグループ２に属するヘッダを含む。図示の例では、グループ２に属するヘッダとして、ビデオシーケンスヘッダ、フレームヘッダのうちのフレームヘッダが含まれている。グループ３に属するビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数、グループ４に属するＡＣ係数は、グループ３、４が上位ｍ（＝２）のグループではないので、誤り検出符号を計算するためのデータ部分としない。
図４Ｂは、図４Ａで示したパケットから、グループ２に属するフレームヘッダを取り除いた例である。図４Ａに示したものと異なり、図４Ｂでは、グループ３が上位ｍ（＝２）のグループに含まれるため、グループ３に属するビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数が、誤り検出符号を計算するためのデータ部分に含まれる。
図４Ｃは、オーディオデータを格納した送信パケットの例であるが、パケットを構成するデータ要素が全てグループ１に属するため、パケット全体が誤り検出の対象となる。誤り検出符号を計算するためのデータ部分のサイズは、パケット長に等しい。
ここで、図４Ａ〜４Ｃに例示した３種類のパケットを伝送する際に、通信路にて伝送誤りが発生し、正しいパケットデータを受信側で得られなかった状況を考える。
図４Ａに示したパケットを伝送する際に、グループ１もしくはグループ２のデータ要素に伝送誤りが発生した場合、この誤りは誤り検出符号により検出されるため、受信パケットは廃棄され、誤りを目立たなくするための処理が行なわれる。このとき、送信パケットは、誤り感度の高い送信パケットヘッダ、もしくはフレームヘッダに誤りを含んでいる。このようなパケットを復号してしまうと、全く復号できないか、あるいは著しく乱れたビデオ・オーディオ信号が生成されてしまうが、そのようなことは、本実施の形態に従う送信装置を用いることで防ぐことができる。
図４Ａに示したパケットを伝送する際に、グループ１とグループ２のデータ要素には伝送誤りが発生せずに、グループ３のデータ要素に誤りが発生した場合、この誤りは検出されずに、受信パケットの復号が行われる。このとき、受信パケットは、誤り感度の高いビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数のいずれかもしくは複数に誤りを含んでいるため、乱れの生じたビデオ・オーディオ信号が再生される。とはいえ、この受信パケットを仮に廃棄してしまうと、グループ３よりも重要であるグループ２に属するフレームヘッダも廃棄することになる。この影響は、現在受信したパケットにとどまらず、以後に受信したパケットにも影響を与えることがあり、暫くの間、著しい乱れが継続することになる。本実施の形態では、再生データに大きな乱れが生じるものの、乱れが局所化されることが分かる。
図４Ａに示したパケットを伝送する際に、グループ１とグループ２とグループ３の各データ要素には伝送誤りが発生せずに、グループ４のデータ要素に誤りが発生した場合、この誤りは検出されずに、受信パケットの復号が行われる。このとき、受信パケットは、誤り感度の低いＡＣ係数にのみ誤りが含まれ、それよりも誤り感度の高い箇所に誤りを含んでいない。この場合は、誤ったＡＣ係数の影響によって復号画像に乱れが生じるものの、その乱れは比較的小さい。このパケット全体の誤りを検出することで、フレームヘッダを廃棄してしまい、再生画像に著しい乱れが生じる場合に比較して、伝送誤りへの耐性が高い。
図４Ｂに示したパケットを伝送する際に、グループ１またはグループ３のデータ要素に伝送誤りが発生した場合、この誤りは誤り検出符号により検出されるため、受信パケットは廃棄され、誤りを目立たなくするための処理が行なわれる。このとき、受信パケットは、誤り感度の高いビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数のいずれかもしくは複数に誤りを含んでおり、このデータを復号すると、著しい乱れの生じたビデオ・オーディオ信号が再生される。しかし本実施の形態では、そのようなことは発生しない。
図４Ｂに示したパケットを伝送する際に、グループ１とグループ３のデータ要素には伝送誤りが発生せずに、グループ４のデータ要素に誤りが発生した場合、この誤りは検出されずに、受信パケットの復号が行われる。このとき、受信パケットは、誤り感度の低いＡＣ係数にのみ誤りが含まれ、それよりも誤り感度の高い箇所に誤りを含んでいない。この場合は、誤ったＡＣ係数の影響によって復号画像に乱れが生じるものの、その乱れは比較的小さく、正しく伝送されたビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数を用いることで、誤りの目立たない復号画像を得ることができる。
図４Ｃに示したパケットを伝送する際に誤りが発生した場合、この誤りは検出されるため、受信パケットは廃棄され、その影響をなるべく少なくするための補完処理が行なわれる。これにより、誤ったオーディオ符号化データの復号による異音の発生を防ぐことができる。
以上のように、第１の実施の形態では、１つだけにとどまらず、複数のビデオパケットデータの復号に影響を与えるビデオシーケンスヘッダとフレームヘッダが、その他のビデオ符号化データの伝送誤りによって廃棄されない。かつ、ビデオシーケンスヘッダとフレームヘッダが含まれない場合に限って、その他のビデオ符号化データの中で誤り感度の高いビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数などに対する誤り検出符号を加えることで、これらのデータ要素の誤った復号を防ぐとともに、その他の誤り感度の低いデータ要素の伝送誤りによって、全てのビデオ符号化データが廃棄される場合を防いでいる。これらの結果、個々の送信パケットデータの構成に適した誤り検出符号を付加することができ、伝送誤りへの耐性が高まる。
《第２の実施形態》
本発明の第２の実施形態のメディア符号化データ送信装置は、図２に示した第１の実施形態のメディア符号化データ送信装置と同様の構成のものであるが、分類表１０４の内容が第１の実施形態のものと異なり、また、決定部１０６での処理内容も第１の実施形態のものと異なっている。
第２の実施形態において、分類表１０４は、送信パケット１０１を構成し得るデータ要素の各々について、そのデータ要素の誤りが、受信側の再生品質に与える影響度の大小、すなわち誤り感度の高低に従って、最も順位の高い第１グループ、その次に順位の高い第２グループ、最も順位の低い第３グループの何れのグループに分類されるか、および第２グループに分類されるデータ要素の各々について、誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループの何れのサブグループに分類されるかを示す表である。
検出部１０５は、分類表１０４を参照して、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれるグループを検出する。決定部１０６は、検出部１０５の検出結果に基づき、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれる第１グループに属するデータ要素と、その送信パケット１０１に含まれる第２グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素とを全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として決定する。
メディア１０２としてビデオデータとオーディオデータとを扱い、ｎ＝２とした場合の第２の実施形態での分類表１０４の一例を図５に示す。送信パケットヘッダは最も重要であるため、グループ１に属している。ビデオ符号化データに関しては、ビデオシーケンスヘッダ、フレームヘッダを、グループ２の１番目のサブグループに含め、ビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、直交変換係数のＤＣ成分を、グループ２の２番目のサブグループに含める。直交変換係数のＡＣ成分は、グループ３に属する。オーディオ符号化データは、グループ１に属する。
図５に示した分類表に基づいて、検出部１０５は、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれるグループを検出し、決定部１０６は、その検出結果に基づき、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれる第１グループに属するデータ要素と、その送信パケット１０１に含まれる第２グループの上位ｍ個のサブグループに属するデータ要素とを全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として決定する。
図６Ａ〜６Ｃは、ｍ＝１とした場合の、各パケットごとに決定される、誤り検出符号を計算するためのデータ部分を示している。図６Ａは、全てのグループおよびサブグループを含むパケットの例を示している。まず、誤り検出符号を計算するためのデータ部分は、グループ１に属する送信パケットヘッダを含み、また、パケット中に含まれるサブグループ２−１とサブグループ２−２の中で最も順位の高いサブグループ２−１に属するヘッダを含む。図示の例では、サブグループ２−１に属するヘッダとして、ビデオシーケンスヘッダ、フレームヘッダのうちのフレームヘッダが含まれている。サブグループ２−２に属するビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル及びＤＣ係数は、サブグループ２−１に属するデータ要素がパケット中に含まれるため、誤り検出符号を計算するためのデータ部分とならない。グループ３に属するＡＣ係数は誤り検出符号を計算するためのデータ部分としない。
図６Ｂは、図６Ａで示したパケットから、サブグループ２−１に属するフレームヘッダを取り除いた例を示している。図６Ａと異なり、サブグループ２−１がパケット中に存在しないため、サブグループ２−２に属するビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数が誤り検出符号を計算するためのデータ部分に含まれる。
図６Ｃは、オーディオデータを格納したパケットの例を示しているが、パケットを構成するデータ要素が全てグループ１に属するため、パケット全体が誤り検出の対象となる。誤り検出符号を計算するためのデータ部分のサイズは、パケット長に等しい。
図６Ａ〜６Ｃと図４Ａ〜４Ｃとを比較すると明らかなように、図６Ａ〜６Ｃの各パケットにおける誤り検出符号を計算するためのデータ部分は、第１の実施形態と同じである。従って、第２の実施形態でも、第１の実施形態と同様の効果が得られる。
《第３の実施の形態》
本発明の第３の実施形態のメディア符号化データ送信装置は、図２に示した第１の実施形態のメディア符号化データ送信装置と同様の構成のものであるが、分類表１０４の内容が第１の実施形態のものと異なり、また、決定部１０６での処理内容も第１の実施形態のものと異なっている。
第３の実施形態において、分類表１０４は、送信パケット１０１を構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが、受信側の再生品質に与える影響度の大小、すなわち誤り感度の高低に従って、順位の高い第１グループと順位の低い第２グループの何れのグループに分類されるか、および第２グループに分類されるデータ要素の各々について、誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループの何れのサブグループに分類されるかを示す表である。
検出部１０５は、分類表１０４を参照して、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれるグループを検出する。決定部１０６は、検出部１０５の検出結果に基づき、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれる第１グループに属するデータ要素と、その送信パケット１０１に含まれる第２グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素とを全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として決定する。
メディア１０２としてビデオデータとオーディオデータとを扱い、ｎ＝３とした場合の分類表１０４の一例を図７に示す。送信パケットヘッダは最も重要であるため、グループ１に属している。ビデオ特号化データに関しては全てをグループ２に含め、そのうち、より重要なビデオシーケンスヘッダ、フレームヘッダを、サブグループ２−１に含め、次に重要なビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、直交変換係数のＤＣ成分を、サブグループ２−２に含めている。直交変換係数のＡＣ成分は、サブグループ２−３に属する。オーディオ符号化データは、すべてグループ１に属する。
図７に示した分類表１０４に基づいて、検出部１０５は、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれるグループを検出し、決定部１０６は、その検出結果に基づき、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれる第１グループに属するデータ要素と、その送信パケット１０１に含まれる第２グループの上位ｍ個のサブグループに属するデータ要素とを全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として決定する。
図８Ａ〜８Ｃは、ｍ＝１とした場合の、各パケットごとに決定される、誤り検出符号を計算するためのデータ部分を示している。図８Ａは、全てのグループおよびサブグループを含むパケットの例である。まず、誤り検出符号を計算するためのデータ部分は、グループ１に属する送信パケットヘッダを含み、また、パケット中に含まれるサブグループ２−１に属するヘッダを含む。図示の例では、サブグループ２−１には、ビデオシーケンスヘッダ、フレームヘッダのうちのフレームヘッダが含まれている。サブグループ２−２に属するビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル及びＤＣ係数と、サブグループ２−３に属するＡＣ係数とは、サブグループ２−２、２−３が上位ｍ（＝１）のサブグループではないので、誤り検出符号を計算するためのデータ部分としない。
図８Ｂは、図８Ａで示したパケットから、サブグループ２−１に属するフレームヘッダを取り除いた例を示している。図８Ａに示したものと異なり、サブグループ２−２が上位ｍ（＝１）のサブグループに含まれるため、サブグループ２−２に属するビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル及びＤＣ係数が、誤り検出符号を計算するためのデータ部分に含まれる。
図８Ｃは、オーディオデータを格納したパケットの例を示しているが、パケットを構成するデータ要素が全てグループ１に属するため、パケット全体が誤り検出の対象となる。誤り検出符号を計算するためのデータ部分のサイズは、パケット長に等しい。
図８Ａ〜８Ｃと図４Ａ〜４Ｃとを比較すると明らかなように、図８Ａ〜８Ｃの各パケットにおける誤り検出符号を計算するためのデータ部分は、第１の実施形態と同じである。従って、第３の実施形態でも、第１の実施形態と同様の効果が得られる。
《第４の実施形態》
本発明の第４の実施形態のメディア符号化データ送信装置は、図２に示した第１の実施形態のメディア符号化データ送信装置と同様の構成のものであるが、分類表１０４の内容が第１の実施形態のものと異なり、また、決定部１０６での処理内容も第１の実施形態のものと異なっている。
第４の実施形態において分類表１０４は、送信パケット１０１を構成し得るデータ要素の各々について、予め、そのデータ要素の誤りが、受信側の再生品質に与える影響度の大小、すなわち誤り感度の高低に従って、順位の高い第１グループと順位の低い第２グループの何れのグループに分類されるか、および第１グループに分類されるデータ要素の各々について、誤り感度の高い方から順位付けられたｎ（ｎは２以上の予め定められた正の整数）個のサブグループの何れのサブグループに分類されるかを示す表である。
検出部１０５は、分類表１０４を参照して、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれるグループを検出する。決定部１０６は、検出部１０５の検出結果に基づき、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれる第１グループの上位ｍ（ｍは１以上、ｎ−１以下の予め定められた正の整数）個のサブグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として決定する。
メディア１０２としてビデオデータとオーディオデータとを扱い、ｎ＝３とした場合の分類表１０４の一例を図９に示す。送信パケットヘッダは最も重要であるため、グループ１のサブグループ１−１に属している。ビデオ符号化データに関しては、より重要なビデオシーケンスヘッダ、フレームヘッダを、グループ１のサブグループ１−２に含め、次に重要なビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、直交変換係数の直流（ＤＣ）成分を、サブグループ１−３に含める。直交変換係数の交流（ＡＣ）成分は、それらに比べて重要でないので、グループ２に属する。オーディオ符号化データは、グループ１に属する。
図９に示した分類表に基づいて、検出部１０５は、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれるグループを検出し、決定部１０６は、その検出結果に基づき、各々の送信パケット１０１ごとに、その送信パケット１０１に含まれる第１グループの上位ｍ個のサブグループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として決定する。
図１０Ａ〜１０Ｃは、ｍ＝１とした場合の、各パケットごとに決定される、誤り検出符号を計算するためのデータ部分を示している。図１０Ａは、全てのグループおよびサブグループを含むパケットの例である。まず、誤り検出符号を計算するためのデータ部分は、サブグループ１−１に属する送信パケットヘッダを含み、また、パケット中に含まれるサブグループ１−２に属するヘッダを含む。図示した例では、サブグループ１−２には、ビデオシーケンスヘッダ、フレームヘッダのうちのフレームヘッダが含まれている。サブグループ１−３に属するビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル及びＤＣ係数は、サブグループ１−３が上位ｍ（＝２）のサブグループでないので、誤り検出符号を計算するためのデータ部分に含めない。
図１０Ｂは、図１０Ａで示したパケットから、サブグループ１−２に属するフレームヘッダを取り除いた例を示している。図１０Ａに示すものと異なり、サブグループ１−３が上位ｍ（＝２）のサブグループに含まれるため、サブグループ１−３に属するビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル及びＤＣ係数が、誤り検出符号を計算するためのデータ部分に含まれる。
図１０Ｃは、オーディオデータを格納したパケットの例を示しているが、オーディオデータのパケットの場合、パケットを構成するデータ要素が全てグループ１に属するため、パケット全体が誤り検出の対象となる。誤り検出符号を計算するためのデータ部分のサイズは、パケット長に等しい。
図１０Ａ〜１０Ｃと図４Ａ〜４Ｃとを比較すると明らかなように、図１０Ａ〜１０Ｃの各パケットにおける誤り検出符号を計算するためのデータ部分は、第１の実施形態と同じである。従って、第４の実施形態でも、第１の実施形態と同様の効果が得られる。
《第５の実施形態》
図１０に示す本発明の第５の実施形態のメディア符号化データ送信装置２０３は、送信パケット２０１に含まれる一部または全部のデータから計算された誤り検出符号とその誤り検出符号の計算に用いたデータ部分を受信側で特定するための情報とを送信パケット２０１中に格納できるプロトコルを用いて、メディア２０２が符号化されたデータを、送信パケット２０１に格納して送信するものである。このメディア符号化データ送信装置２０３は、分類表２０４と、マッピング表２０５と、検出部２０６と、決定部２０７とを含んで構成されている。
分類表２０４は、送信パケット２０１を構成し得るデータ要素の各々について、そのデータ要素の誤りが、受信側の再生品質に与える影響度の大小、すなわち誤り感度の高低に従って、ｎ（ｎは２以上の予め定められた正の整数）個のグループの何れに分類されるかを示した表である。
マッピング表２０５は、送信パケット２０１に含まれるデータ要素が属するグループの組み合わせと、誤り検出符号を計算するためのデータ部分に含まれるグループである選択対象グループとの関係を示す表である。
検出部２０６は、分類表２０４を参照して、各々の送信パケット２０１ごとに、その送信パケット２０１に含まれるグループを検出する。決定部２０７は、検出部２０６の検出結果に基づき、各々の送信パケット２０１ごとに、その送信パケット２０１に含まれるグループの組み合わせによってマッピング表２０５から一意に定まる選択対象グループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として決定する。
メディア２０２としてビデオデータとオーディオデータとを扱い、ｎ＝４とした場合の分類表２０４としては、例えば図３に示したものと同じものを使うことができる。すなわち、送信パケットヘッダは最も重要であるため、グループ１に属し、ビデオ符号化データに関しては、ビデオシーケンスヘッダとフレームヘッダをグループ２に含め、ビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、直交変換係数のＤＣ成分を、グループ３に含め、直交変換係数の交流成分は、グループ４に含める。また、オーディオ符号化データは、すべてグループ１に含める。
図３に示した分類表に基づいて、検出部２０６は、各々の送信パケット２０１ごとに、その送信パケット２０１に含まれるグループを検出し、決定部２０７は、その検出結果に基づき、各々の送信パケット２０１ごとに、その送信パケット２０１に含まれるグループの組み合わせによってマッピング表２０５から一意に定まる選択対象グループに属するデータ要素を全て含み、かつ、データ長が最小となるデータ部分を、誤り検出符号を計算するためのデータ部分として決定する。
図１２は、マッピング表２０５の内容の一例を示している。この例では、送信パケット２０１にグループ１、２、３、４の全て、またはグループ１、２、３のみ、またはグループ１、２、４のみ、またはグループ１、２のみが含まれている場合、誤り検出符号を計算するためのデータ部分に含めるべきグループはグループ１、２であることが示されている。また、送信パケット２０１にグループ１、３、４のみ、またはグループ１、３のみが含まれている場合、誤り検出符号を計算するためのデータ部分に含めるべきグループはグループ１、３であることが示されている。さらに、送信パケット２０１にグループ１、４のみが含まれている場合、誤り検出符号を計算するためのデータ部分に含めるべきグループはグループ１であることが示されている。
従って、図３に示した分類表と図１２に示したマッピング表を用いた場合、図４Ａに示したような構成のパケットのときは、図４Ａを用いて説明した場合と同様に、送信パケットヘッダとフレームヘッダが誤り検出符号を計算するためのデータ部分となる。また、図４Ｂに示したような構成のパケットのときは、図４Ｂを用いて説明した場合と同様に、送信パケットヘッダと、ビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル及びＤＣ係数とが誤り検出符号を計算するためのデータ部分となる。さらに、図４Ｃに示したような構成のパケットのときは、図４Ｃを用いて説明した場合と同様に、パケット全てが誤り検出符号を計算するためのデータ部分となる。このため、第５の実施形態も第１の実施形態と同様の効果を奏することができる。
以下、本発明の具体的な実施例を説明する。
図１３は本発明の実施例１によるビデオ・オーディオ符号化伝送システムを示している。この符号化伝送システムは、ビデオ・オーディオ符号化送信装置３０１と、ビデオ・オーディオ受信復号装置３０２と、これら符号化送信装置３０１と受信復号装置３０２とを接続するインターネット（Ｉｎｔｅｒｎｅｔ）などのパケット伝送路３０３とを備えている。ビデオ・オーディオ符号化送信装置３０１は、入力されたビデオ信号とオーディオ信号を符号化し、パケット伝送路３０３で接続されたビデオ・オーディオ受信復号装置３０２に送信する。ビデオ・オーディオ符号化送信装置３０１としては、上述した第２の実施形態のメディア符号化データ送信装置に基づくものが使用されている。ビデオ・オーディオ受信復号装置３０２は、受信した符号化データを復号し、ビデオ信号とオーディオ信号を出力する。
この実施例では、パケット伝送は、インターネットプロトコル（ＩＰ）に従って行われるとする。伝送路は、途中に無線区間を含んでおり、送信されたパケットにビット誤りが発生することがある。その際、誤ったパケットの再送は行われない。
ビデオ信号は、ＭＰＥＧ−４  Ｖｉｓｕａｌ方式のデータパーティショニングを用いて符号化されるとし、オーディオ信号は、ＭＰＥＧ−４  ＡＡＣで符号化されるとする。したがって、ビデオ・オーディオ符号化送信装置３０１は、ビデオ信号をＭＰＥＧ−４  Ｖｉｓｕａｌ方式で符号化するビデオエンコーダ３０１１と、オーディオ信号をＭＰＥＧ−４  ＡＡＣで符号化するオーディオエンコーダ３０１２と、ビデオエンコーダ３０１１で符号化されたビデオ信号とオーディオエンコーダ３０１２で符号化されたオーディオ信号とに基づいてパケットを生成するＲＴＰ／ＵＤＰ−Ｌｉｔｅ／ＩＰパケット作成送信部３０１３と、を含んでいる。一方、ビデオ・オーディオ受信復号装置３０２は、パケットを受信して符号化されたビデオ信号と符号化されたオーディオ信号とを出力するＲＴＰ／ＵＤＰ−Ｌｉｔｅ／ＩＰパケット受信部３０２１と、符号化されたビデオ信号をＭＰＥＧ−４  Ｖｉｓｕａｌ方式で復号するビデオデコーダ３０２２と、符号化されたオーディオ信号をＭＰＥＧ−４  ＡＡＣで復号するオーディオデコーダ３０２３と、を備えている。
符号化されたメディアデータの伝送には、各層において、ＲＴＰプロトコル、ＵＤＰ−Ｌｉｔｅプロトコル、ＩＰプロトコルを用いる。ＵＤＰ−Ｌｉｔｅパケットは、パケットの先頭から途中までのデータから計算された誤り検出符号（チェックサム（Ｃｈｅｃｋｓｕｍ））と、誤り検出符号の計算に用いたパケットデータの長さ（Ｃｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅ）を格納することができる。
ビデオ・オーディオ受信復号装置３０２は、受信したパケットのチェックサムを検算することで、先頭からの長さがＣｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅで示されるパケットの部分データの中に、伝送誤りが発生したかどうかを検出することが可能である。ビデオ・オーディオ受信復号装置３０２は、受信パケットの伝送誤りを検出すると、そのパケットに含まれるビデオ・オーディオの符号化データを復号せずに廃棄し、符号化データの欠落により生じるビデオ・オーディオ信号の乱れを目立たなくするための処置を施す。
図１４は、実施例１におけるビデオ・オーディオ符号化送信装置３０１の詳細な構成を示している。図１４において、ビデオエンコーダ３０１１は、入力されたビデオ信号をＭＰＥＧ−４  Ｖｉｓｕａｌ方式に従って符号化し、得られたデータをビデオ用バッファ４０２に出力する。オーディオエンコーダ３０１２は、入力オーディオ信号をＭＰＥＧ−４  ＡＡＣ方式に従って符号化し、得られたデータをオーディオ用バッファ４０４に出力する。パケット化データ選択部４０５は、ビデオ用バッファ４０２とオーディオ用バッファ４０４に格納されたデータの中から、送信すべき符号化データを取り出して、パケット作成バッファ４０６に出力する。パケットヘッダ作成部４０７は、パケット作成バッファ４０６に出力されたデータに、適切なＲＴＰヘッダ、ＵＤＰ−Ｌｉｔｅヘッダ、ＩＰパケットヘッダを加える。誤り検出対象データ長決定部４０８は、パケット作成バッファ４０６に格納されたデータ要素の構成を元に、誤り検出の対象とすべき部分データの長さを決定し、ＵＤＰ−ＬｉｔｅパケットヘッダのＣｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅフィールドの値として出力する。この値の決定方法については、後で詳しく述べる。誤り検出符号計算部４０９は、誤り検出対象データ長決定部４０８で決定された長さのデータをバッファ４０６から取り出してチェックサムを計算し、ＵＤＰ−ＬｉｔｅパケットヘッダのＣｈｅｃｋｓｕｍフィールドの値として出力する。以上の動作により、バッファ４０６に得られたパケットデータは、パケット送信バッファ４１０に出力されて、パケット伝送路３０３に送信される。
誤り検出対象データ長決定部４０８が、誤り検出の対象とする部分データの長さを決定する方法を説明する。
図１５は、ビデオ符号化データ、オーディオ符号化データおよび送信パケットを構成するデータ要素の分類を示している。ＵＤＰ−ＬｉｔｅヘッダとＲＴＰヘッダは最も重要であるため、グループ１に属している。ＭＰＥＧ−４ビデオ符号化データに関しては、ビデオシーケンスヘッダ及びフレームヘッダをグループ２の１番目のサブグループに含め、ビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル及び直交変換係数の直流（ＤＣ）成分を、グループ２の２番目のサブグループに含める。直交変換係数の交流（ＡＣ）成分は、グループ３に属する。ＭＰＥＧ−４オーディオ符号化データは、グループ１に属する。このような分類の仕方については、誤り検出対象データ長決定部４０８に内蔵された分類表（図示せず）に予め設定されている。
図１５に示した分類に基づいて、誤り検出対象データ長決定部４０８では、誤り検出の対象となる部分データが、グループ１に属するデータ要素と、パケット中に含まれるサブグループの中で相対的に最も順位の高いサブグループに属するデータ要素とを全て含み、かつ最小の長さとなるように、ＵＤＰ−Ｌｉｔｅパケット中のＣｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅ値を決定する。以下に、誤り検出対象データ長決定部４０８のより具体的な動作例を２つ示す。
動作例１：
まず、誤り検出対象データ長決定部４０８は、図１５に示された各々のグループについて、パケット作成バッファ４０６に格納された送信パケット中に含まれているか否かを調べる。
これを調べる具体的な方法については、例えば、誤り検出対象データ長決定部４０８自身が、パケット作成バッファ４０６に格納されたパケットデータを読み出して判断する方法がある。別の方法として、分類表をビデオエンコーダ４０１、オーディオエンコーダ４０３から参照可能とし、それらが、メディア符号化データを生成しビデオ用バッファ４０２とオーディオ用バッファ４０４に出力する際に、符号化データが属するグループを調べ、属するグループの種類と、符号化データ内での位置や長さをビデオ用バッファ４０２、オーディオ用バッファ４０３に格納しておき、これを元に、パケット化データ選択部４０５が、パケット作成バッファ４０６に出力したパケットデータに含まれるグループに関する情報を、バッファ４０６を通じて誤り検出対象データ長決定部４０８に伝える方法がある。
次に、このように調べた結果に基づいて、誤り検出対象データ長決定部４０８が、誤り検出の対象となる部分データが、グループ１に属するデータ要素と、パケット中に含まれるサブグループの中で相対的に最も順位の高いサブグループに属するデータ要素とを全て含み、かつ最小の長さとなるように、ＵＤＰ−Ｌｉｔｅパケット中のＣｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅ値を決定する。
動作例２：
背景技術の項で述べたように、ＵＤＰ−Ｌｉｔｅプロトコルを用いる場合は、ＭＰＥＧ−４のデータパーティショニングツールのように、符号化データを誤り感度の高い順に並び替えてパケット化すると、誤り耐性を高める上で効果的である。パケット作成バッファ４０６に作成されるパケットデータが誤り感度の高い順に並んでいる場合、それを利用することで、パケットデータに含まれる全てのグループを調べることなく、Ｃｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅ値を決定することができる。この場合の誤り検出対象データ長決定部４０８の処理の一例を図１６に示す。
誤り検出対象データ長決定部４０８は、パケット作成バッファ４０６に作成される送信パケットごとに、図１６に示した処理を実行する。まずステップＳ１１において、内部変数ＣとＦを０に初期化する。内部変数Ｃは最終的にＣｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅ値が置かれる変数である。内部変数Ｆはサブグループ２−１に属するデータ要素が送信パケットに含まれていたかどうかを管理する変数である。
次に、ステップＳ１２において、パケットの先頭から順に、１つのデータ要素を取り出し、ステップＳ１３において、データ要素があるかどうかを確認した上で、ステップＳ１４〜Ｓ１６において、図１５に示した分類を記述した内部の分類表を参照して、今回取り出したデータ要素がどのグループに属するかを判定する。ステップＳ１４でＹＥＳであった場合、すなわちグループ１に属するデータ要素であれば、ステップＳ１９において、今回取り出したデータ要素のサイズを内部変数Ｃに加算し、ステップＳ１２に戻って次のデータ要素を取り出し、上述した処理を繰り返す。ステップＳ１５でＹＥＳであった場合、すなわちグループ２−１に属するデータ要素であれば、ステップＳ１７において、内部変数Ｆを１に設定してグループ２−１に属するデータ要素が送信パケットに含まれていたことを記憶し、ステップＳ１９において、今回取り出したデータ要素のサイズを内部変数Ｃに加算し、ステップＳ１２に戻る。ステップＳ１６でＹＥＳであった場合、すなわちグループ２−２に属するデータ要素であれば、ステップＳ１８において、内部変数Ｆが０かどうかを判別し、内部変数Ｆが０であれば、つまりグループ２−１が送信パケットに含まれていなかったならば、ステップＳ１９において、今回取り出したデータ要素のサイズを内部変数Ｃに加算し、ステップＳ１２に戻る。
パケット作成バッファ４０６に作成される送信パケットは、符号化データを誤り感度の高い順に並べてパケット化されているため、ステップＳ１２で取り出されたデータ要素が、グループ２−２に属するデータ要素であってかつ内部変数Ｆが１に設定されていたとき、すなわちステップＳ１８でＮＯの場合、及び、ステップＳ１２で取り出されたデータ要素がグループ３に属するデータ要素の場合、すなわちＳ１６でＮＯの場合、及び、最後のデータ要素まで取り出し終えた場合、すなわちステップＳ１３でＮＯの場合には、そのとき以降はもはや内部変数Ｃの値は変更されないので、ステップＳ２０において、内部変数Ｃに保持されている値をＣｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅ値として出力する。
図１７Ａ〜１７Ｃは、送信パケットを構成するデータ要素の例と決定されたＣｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅ値とを示している。図１７Ａは、全てのグループおよびサブグループを含むパケットの例を示している。まず、チェックサム計算データは、グループ１に属するＵＤＰ−ＬｉｔｅヘッダとＲＴＰヘッダを含むとともに、パケット中に含まれるサブグループ２−１とサブグループ２−２の中で最も順位の高いサブグループ２−１に属するヘッダを含む。図示の例では、サブグループ２−１に属するヘッダとして、ビデオシーケンスヘッダ、フレームヘッダのうちのフレームヘッダが含まれている。サブグループ２−２に属するビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル及びＤＣ係数は、サブグループ２−１に属するデータ要素がパケット中に含まれるため、チェックサム計算の対象データとならない。グループ３に属するＡＣ係数はチェックサム計算の対象データとしない。
図１７Ｂは、図１７Ａで示したパケットから、サブグループ２−１に属するヘッダを取り除いた例を示している。図１６Ａに示したものと異なり、サブグループ２−１がパケット中に存在しないため、サブグループ２−２に属するビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル及びＤＣ係数がチェックサム計算の対象データとなる。
図１７Ｃは、ＭＰＥＧ−４オーディオデータを格納したＵＤＰ−Ｌｉｔｅパケットの例を示している。パケットを構成するデータ要素が全てグループ１に属するため、パケット全体が誤り検出の対象となる。Ｃｈｅｃｋｕｓｕｍ  Ｃｏｖｅｒａｇｅ値はＵＤＰ−Ｌｉｔｅパケット長に等しい。
実施例１において図１７Ａ〜１７Ｃに例示した３種類のパケットを伝送する際に、通信路上で伝送誤りが発生し、正しいパケットデータを、ビデオ・オーディオ受信復号装置で得られなかった状況を考える。
図１７Ａに示したパケットを伝送する際に、グループ１もしくはグループ２−１のデータ要素に伝送誤りが発生した場合、この誤りはチェックサムにより検出されるため、受信パケットは廃棄され、誤りを目立たなくするための処理が行なわれる。このとき、送信パケットは、誤り感度の高いＵＤＰ−ＬｉｔｅヘッダとＲＴＰヘッダ、もしくはビデオシーケンスヘッダ、フレームヘッダに誤りを含んでいる。このようなパケットを復号してしまうと、全く復号できないか、著しく乱れたビデオ・オーディオ信号を生成されてしまうが、そのようなことは本実施例に従う送信装置を用いることで防ぐことができる。
図１７Ａに示したパケットを伝送する際に、グループ１とグループ２−１のデータ要素には伝送誤りが発生せずに、グループ２−２のデータ要素に誤りが発生した場合、この誤りは検出されずに、受信パケットの復号が行われる。このとき、受信パケットは、誤り感度の高いビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数のいずれかもしくは複数に誤りを含んでいるため、乱れの生じたビデオ・オーディオ信号が再生される。とはいえ、この受信パケットを仮に廃棄してしまうと、グループ２−２よりも重要であるグループ２−１に属するビデオシーケンスヘッダとフレームヘッダも廃棄することになる。この影響は、現在受信したパケットにとどまらず、以後に受信したパケットにも影響を与えることがあり、暫くの間、著しい乱れが継続することになる。本実施例では、再生データに大きな乱れが生じるものの、乱れが局所化されることが分かる。
図１７Ａに示したパケットを伝送する際に、グループ１とグループ２−１とグループ２−２のデータ要素には伝送誤りが発生せずに、グループ３のデータ要素に誤りが発生した場合、この誤りは検出されずに、受信パケットの復号が行われる。このとき、受信パケットは、誤り感度の低いＡＣ係数にのみ誤りが含まれ、それよりも誤り感度の高い箇所に誤りを含んでいない。この場合は、誤ったＡＣ係数の影響によって復号画像に乱れが生じるものの、その乱れは比較的小さい。このパケット全体の誤りを検出することで、ビデオシーケンスヘッダとフレームヘッダを廃棄してしまい、再生画像に著しい乱れが生じる場合に比較して、伝送誤りへの耐性が高い。
図１７Ｂに示したパケットを伝送する際に、グループ１またはグループ２−２のデータ要素に伝送誤りが発生した場合、この誤りはチェックサムにより検出されるため、受信パケットは廃棄され、誤りを目立たなくするための処理が行なわれる。このとき、受信パケットは、誤り感度の高いビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数のいずれかもしくは複数に誤りを含んでおり、このデータを復号すると、著しい乱れの生じたビデオ・オーディオ信号が再生される。しかし、本実施例では、そのようなことは発生しない。
図１７Ｂに示したパケットを伝送する際に、グループ１とグループ２−２のデータ要素には伝送誤りが発生せずに、グループ３のデータ要素に誤りが発生した場合、この誤りは検出されずに、受信パケットの復号が行われる。このとき、受信パケットは、誤り感度の低いＡＣ係数にのみ誤りが含まれ、それよりも誤り感度の高い箇所に誤りを含んでいない。この場合は、誤ったＡＣ係数の影響によって復号画像に乱れが生じるものの、その乱れは比較的小さく、正しく伝送されたビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数を用いることで、誤りの目立たない復号画像を得ることができる。
図１７Ｃに示したパケットを伝送する際に誤りが発生した場合、この誤りは検出されるため、受信パケットは廃棄され、その影響をなるべく少なくするための補完処理を行う。これにより、誤ったオーディオ符号化データの復号による異音の発生を防ぐことができる。
以上のように、実施例１では、１つだけにとどまらず、複数のビデオパケットデータの復号に影響を与えるビデオシーケンスヘッダとフレームヘッダが、その他のビデオ符号化データの伝送誤りによって廃棄されない。かつ、ビデオシーケンスヘッダとフレームヘッダが含まれない場合に限って、その他のビデオ符号化データの中で誤り感度の高いビデオパケットヘッダ、マクロブロックヘッダ、動きベクトル、ＤＣ係数などに対する誤り検出符号を加えることで、これらのデータ要素の誤った復号を防ぐとともに、その他の誤り感度の低いデータ要素の伝送誤りによって、全てのビデオ符号化データが廃棄される場合を防いでいる。これらの結果、個々の送信パケットデータの構成に適した誤り検出符号を付加することができ、伝送誤りへの耐性が高まる。
以上、第２の実施形態のメディア符号化データ送信装置を適用することを前提として、実施例１のビデオ・オーディオ符号化伝送システムを説明したが、同様に、第１の実施形態、第３の実施形態及び第４の実施形態に基づくビデオ・オーディオ符号化伝送システムを構成することができる。その場合は、上述の実施例１における誤り検出対象データ長決定部４０８の動作と使用する分類表が、それぞれ、第１、第３、第４の実施形態で説明したようなものとなるだけであり、その他の点は、実施例１と同じである。
【実施例２】  次に、本発明の実施例２のビデオ・オーディオ符号化伝送システムを説明する。実施例２のビデオ・オーディオ符号化伝送システムは、図１３〜１４に示した実施例１のビデオ・オーディオ符号化伝送システムと同様のものであるが、誤り検出対象データ長決定部４０８における処理が異なっている。実施例２における、ビデオ符号化データ、オーディオ符号化及びパケットを構成するデータ要素の分類は、実施例１と同じく、図１５に示したものとする。
実施例２において、まず、誤り検出対象データ長決定部４０８は、パケットデータに含まれるデータ要素を、図１５に示す表に基づいて分類し、グループ１、グループ２−１、グループ２−２、グループ３の４つのグループ各々のデータ要素が、パケットデータに含まれているか否かの判定を行う。
ＵＤＰ−Ｌｉｔｅヘッダの所属するグループ１は必ず含まれること、オーディオかビデオの符号化データが含まれることから、この判定の結果は全部で７通りに限られる。図１８における各行が、これら７通りの組み合わせを示しており、黒丸の記号「●」または白丸の記号「○」は、各グループを含んでいることを示しており、記号「−」はグループを含んでいないことを示す。例えば、組み合わせ１は、全てのグループを含んでいる場合を示し、組み合わせ５は、グループ１とグループ２−２、グループ３のデータ要素を含み、グループ２−１のデータ要素を含んでいない場合を示す。
次に、誤り検出対象データ長決定部４０８は、どのグループに属するデータ要素を、誤り検出の対象データに含めるかを決定する。
図１８において、黒丸の記号と白丸の記号の区別は、そのグループが誤り検出符号の対象データに必ず含まれるかを否かを示している。黒丸の記号で示されたグループは、誤り検出の対象にされ、白丸の記号で示されたグループは、誤り検出の対象データに必ずしも含まれない。例えば、図１８における組み合わせ１の場合、パケットデータに含まれたデータ要素の中から、グループ１とグループ２−１のデータ要素を誤り検出対象データに含め、グループ２−２とグループ３のデータ要素は誤り検出データに含めない。組み合わせ５の場合、グループ１とグループ２−２のデータ要素を誤り検出対象データに含め、グループ３のデータ要素は誤り検出データに含めない。すなわち、図１８の表は、第５の実施形態で説明したマッピング表に相当する。
誤り検出対象データ長決定部４０８は、誤り検出の対象となる部分データが、図１８において黒丸の記号で示されたグループに属する全データ要素を含み、かつ最小の長さとなるように、Ｃｈｅｃｋｓｕｍ  Ｃｏｖｅｒａｇｅ値を決定する。
以上が、実施例２における誤り検出対象データ長の決定手順である。
実施例２における誤り検出対象データ長決定部４０８の動作は、実施例１における誤り検出対象データ長決定部４０８の動作と異なるものの、結果として実施例１と同等の機能が実現されている。このため、前述した図１７Ａ〜１７Ｃは、実施例２により作成されたＵＤＰ−Ｌｉｔｅパケットの例をも示している。また、実施例２による効果は、実施例１による効果と同様である。
このように、実施例２では、複数のビデオパケットデータの復号に影響を与えるビデオシーケンスヘッダとフレームヘッダが廃棄される確率を小さく抑えながら、かつ、誤り感度の高いデータ要素の伝送誤りにより生じるビデオ・オーディオ再生品質の著しい乱れを、可能な限り抑え、誤り感度の低いデータ要素のみに誤りが生じた場合は、比較的乱れの少ないビデオ・オーディオ再生信号を生成できる。
以上本発明の実施形態および実施例について説明したが、本発明は以上の実施形態および実施例にのみ限定されず、その他各種の付加変更が可能である。また、本発明のメディア符号化データ送信装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリなどのコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを、前述した各実施形態における検出部および決定部として機能させ、また前述した各実施例における誤り検出対象データ長決定部、ビデオエンコーダ、オーディオエンコーダ、パケット化データ選択部、ＲＴＰ／ＵＤＰ−Ｌｉｔｅパケットヘッダ作成部、誤り検出符号計算部として機能させる。
2004073246.tif 000003
【図２】
2004073246.tif 000004
【図３】
2004073246.tif 000005
2004073246.tif 000006
【図５】
2004073246.tif 000007
2004073246.tif 000008
【図７】
2004073246.tif 000009
2004073246.tif 000010
【図９】
2004073246.tif 000011
2004073246.tif 000012
【図１１】
2004073246.tif 000013
【図１２】
2004073246.tif 000014
【図１３】
2004073246.tif 000015
【図１４】
2004073246.tif 000016
【図１５】
2004073246.tif 000017
【図１６】
2004073246.tif 000018
2004073246.tif 000019
【図１８】
2004073246.tif 000020
【国際調査報告】
2004073246.tif 000021
2004073246.tif 000022
2004073246.tif 000023
2004073246.tif 000024