【手続補正書】
【提出日】平成24年11月19日(2012.11.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、送信装置および方法、並びに、受信装置および方法に関し、特に、不要な遅延時間を増大させない低遅延データ伝送を、ネットワーク状況に依らず、より安定的に行うことができるようにした送信装置および方法、並びに、受信装置および方法に関する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の一側面は、画像データを符号化し、符号化データを生成する符号化手段と、前記符号化データを、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記符号化手段による前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を、前記符号化データに符号化ヘッダ情報として付加する符号化時バッファ時間付加手段と、前記同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を、前記符号化データに、前記符号化ヘッダ情報と異なる伝送ヘッダ情報として付加する伝送時バッファ時間付加手段と、前記符号化時バッファ時間付加手段により前記符号化時バッファ時間を含む前記符号化ヘッダ情報が付加され、さらに、前記伝送時バッファ時間付加手段により前記伝送時バッファ時間を含む前記伝送ヘッダ情報が付加された前記符号化データを、ネットワークを介して、前記同期再生を行う他の装置に送信する送信手段とを備える送信装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本発明の一側面は、また、送信装置の符号化手段が、画像データを符号化し、符号化データを生成し、前記送信装置の符号化時バッファ時間付加手段が、前記符号化データを、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を、前記符号化データに符号化ヘッダ情報として付加し、前記送信装置の伝送時バッファ時間付加手段が、前記同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を、前記符号化データに、前記符号化ヘッダ情報と異なる伝送ヘッダ情報として付加し、前記送信装置の送信手段が、前記符号化時バッファ時間を含む前記符号化ヘッダ情報が付加され、さらに、前記伝送時バッファ時間を含む前記伝送ヘッダ情報が付加された前記符号化データを、ネットワークを介して、前記同期再生を行う他の装置に送信する送信方法である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
本発明の一側面においては、画像データが符号化され、符号化データが生成され、符号化データを、符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間が、符号化データに符号化ヘッダ情報として付加され、同期再生が、画像データの符号化と符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間が、符号化データに、符号化ヘッダ情報と異なる伝送ヘッダ情報として付加され、符号化時バッファ時間を含む符号化ヘッダ情報が付加され、さらに、伝送時バッファ時間を含む伝送ヘッダ情報が付加された符号化データが、ネットワークを介して、同期再生を行う他の装置に送信される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（１）および式（２）に示すように、低域フィルタＨ０（ｚ）と、高域フィルタＨ１（ｚ）とから構成される。式（１）および式（２）から、低域フィルタＨ０（ｚ）は、５タップで、高域フィルタＨ１（ｚ）は、３タップであることが分かる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】
エントロピ符号化部１５５からの符号生成出力（CODEC符号生成）は、図９の一番上の段に示されるように、キャプチャ時刻に同期したタイムスタンプが付加され出力される。キャプチャ単位毎の出力データサイズは不均一であり、RTPパケット化した場合のパケット数も不均一であるので、図９の上から２段目に示されるように、符号化内平滑化部１５６により平滑化処理が行われる（CODEC内平滑化出力）。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１６７
【補正方法】変更
【補正の内容】
【０１６７】
再生時刻設定部３０４は、例えば、ストリームの最初のパケットをタイミング規定パケットとし、その到着時刻から、初期バッファ遅延Bt_init時間遅れた時刻を最初のパケットに付加されたタイムスタンプ値に対する再生時刻として設定する。同期処理部３０５は、以降のパケットに関して、その再生時刻を基準とし、付加されたタイムスタンプに同期した時刻に再生を行うように制御する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０２５４
【補正方法】変更
【補正の内容】
【０２５４】
このようなシステムの場合、再送パケットの到着を待つためのバッファ時間であるARQ対応バッファ時間Bt_arqを初期バッファ遅延Bt_initに反映させる必要がある。より具体的には、例えば、ネットワーク対応バッファ時間Bt_netは、以下の式（１３）のように求めるようにすればよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２６３
【補正方法】変更
【補正の内容】
【０２６３】
このようにすることにより、送信装置５０１および受信装置５０２は、ジッタ吸収機能やパケットロス回復機能等、ネットワーク１０３の状況に応じて、不要な遅延時間を増大させない低遅延データ伝送を、ネットワーク状況に依らず、より安定的に行うことができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０２６８
【補正方法】変更
【補正の内容】
【０２６８】
なお、以上においては、符号化時バッファ時間および伝送時バッファ時間を、送信装置が算出し、受信装置に供給するように説明したが、これに限らず、送信装置が、符号化に関する情報やネットワーク状況情報等を受信装置に伝送し、受信装置がそれらの情報に基づいて符号化時バッファ時間および伝送時バッファ時間を算出し、さらに初期バッファ遅延を求めるようにしてもよい。その場合、装置間において伝送される情報や、演算を行う装置が異なるだけで、システム全体において実行される処理は基本的に上述した他の場合と同様である。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０２６９
【補正方法】変更
【補正の内容】
【０２６９】
＜４．第４の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図２５に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【手続補正１２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データを符号化し、符号化データを生成する符号化手段と、
前記符号化データを、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記符号化手段による前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を、前記符号化データに符号化ヘッダ情報として付加する符号化時バッファ時間付加手段と、
前記同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を、前記符号化データに、前記符号化ヘッダ情報と異なる伝送ヘッダ情報として付加する伝送時バッファ時間付加手段と、
前記符号化時バッファ時間付加手段により前記符号化時バッファ時間を含む前記符号化ヘッダ情報が付加され、さらに、前記伝送時バッファ時間付加手段により前記伝送時バッファ時間を含む前記伝送ヘッダ情報が付加された前記符号化データを、ネットワークを介して、前記同期再生を行う他の装置に送信する送信手段と
を備える送信装置。
【請求項２】
前記ネットワークの通信に関する状況の情報であり、伝送レート、ネットワークジッタ、パケット損失率、および伝送遅延を少なくとも含むネットワーク状況情報を収集するネットワーク状況情報収集手段と、
前記ネットワーク状況情報収集手段により収集された前記ネットワーク状況情報を用いて、前記同期再生が、前記符号化データの伝送による遅延によって破たんしないようにするために最低限必要なバッファ時間であるネットワーク対応バッファ時間を算出するネットワーク対応バッファ時間算出手段と、
前記ネットワーク対応バッファ時間算出手段により算出された前記ネットワーク対応バッファ時間、および、前記符号化時バッファ時間を用いて、前記伝送時バッファ時間を算出する伝送時バッファ時間算出手段と
をさらに備える請求項１に記載の送信装置。
【請求項３】
前記伝送時バッファ時間算出手段は、前記符号化時バッファ時間と前記ネットワーク対応バッファ時間との和を前記伝送時バッファ時間とする
請求項２に記載の送信装置。
【請求項４】
前記伝送時バッファ時間算出手段は、前記符号化時バッファ時間若しくは前記ネットワーク対応バッファ時間のうちの大きい方を選択する
請求項２に記載の送信装置。
【請求項５】
前記ネットワーク対応バッファ時間算出手段は、前記同期再生が、前記ネットワークの前記ネットワークジッタによる遅延の増大によって破たんしないようにするために最低限必要なバッファ時間であるネットワークジッタ対応バッファ時間を前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
【請求項６】
前記同期再生が、前記符号化手段による前記画像データの符号化の符号化レートと、前記伝送レートとの比によって破たんしないようにするために最低限必要なバッファ時間であるレート比対応バッファ時間を算出するレート比対応バッファ時間算出手段をさらに備え、
前記ネットワーク対応バッファ時間算出手段は、前記レート比対応バッファ時間算出手段により算出された前記レート比対応バッファ時間を前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
【請求項７】
前記ネットワーク対応バッファ時間算出手段は、前記同期再生が、再送処理による遅延によって破たんしないようにするために最低限必要なバッファ時間である再送対応バッファ時間を前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
【請求項８】
前記ネットワーク対応バッファ時間算出手段は、前記同期再生が前記ネットワークの前記ネットワークジッタによる遅延の増大によって破たんしないようにするために最低限必要なバッファ時間であるネットワークジッタ対応バッファ時間、前記同期再生が前記符号化手段による前記画像データの符号化の符号化レートと、前記伝送レートとの比によって破たんしないようにするために最低限必要なバッファ時間であるレート比対応バッファ時間、および、前記同期再生が再送処理による遅延によって破たんしないようにするために最低限必要なバッファ時間である再送対応バッファ時間の総和を前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
【請求項９】
前記ネットワーク対応バッファ時間算出手段は、前記同期再生が前記ネットワークの前記ネットワークジッタによる遅延の増大によって破たんしないようにするために最低限必要なバッファ時間であるネットワークジッタ対応バッファ時間、若しくは、前記同期再生が再送処理による遅延によって破たんしないようにするために最低限必要なバッファ時間である再送対応バッファ時間のうちの大きい方と、前記同期再生が前記符号化手段による前記画像データの符号化の符号化レートと、前記伝送レートとの比によって破たんしないようにするために最低限必要なバッファ時間であるレート比対応バッファ時間との和を前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
【請求項１０】
前記ネットワーク対応バッファ時間算出手段は、前記同期再生が前記ネットワークの前記ネットワークジッタによる遅延の増大によって破たんしないようにするために最低限必要なバッファ時間であるネットワークジッタ対応バッファ時間、前記同期再生が前記符号化手段による前記画像データの符号化の符号化レートと、前記伝送レートとの比によって破たんしないようにするために最低限必要なバッファ時間であるレート比対応バッファ時間、および、前記同期再生が再送処理による遅延によって破たんしないようにするために最低限必要なバッファ時間である再送対応バッファ時間のうち、最も大きいものを前記ネットワーク対応バッファ時間とする
請求項２に記載の送信装置。
【請求項１１】
前記符号化時バッファ時間を算出する符号化時バッファ時間算出手段をさらに備え、
前記符号化時バッファ時間付加手段は、前記符号化時バッファ時間算出手段により算出された前記符号化時バッファ時間を、前記符号化データに前記符号化ヘッダ情報として付加する
請求項１に記載の送信装置。
【請求項１２】
前記符号化時バッファ時間算出手段は、前記画像データの符号化の符号化レートを、前記画像データの符号化に用いられるバッファサイズで除算した値を前記符号化時バッファ時間とする
請求項１１に記載の送信装置。
【請求項１３】
送信装置の符号化手段が、画像データを符号化し、符号化データを生成し、
前記送信装置の符号化時バッファ時間付加手段が、前記符号化データを、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を、前記符号化データに符号化ヘッダ情報として付加し、
前記送信装置の伝送時バッファ時間付加手段が、前記同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を、前記符号化データに、前記符号化ヘッダ情報と異なる伝送ヘッダ情報として付加し、
前記送信装置の送信手段が、前記符号化時バッファ時間を含む前記符号化ヘッダ情報が付加され、さらに、前記伝送時バッファ時間を含む前記伝送ヘッダ情報が付加された前記符号化データを、ネットワークを介して、前記同期再生を行う他の装置に送信する
送信方法。
【請求項１４】
他の装置において画像データが符号化されて生成され、ネットワークを介して伝送された符号化データを受信する受信手段と、
前記受信手段により受信された前記符号化データから、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を抽出し、取得する符号化時バッファ時間取得手段と、
前記受信手段により受信された前記符号化データから、前記符号化データの同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を抽出し、取得する伝送時バッファ時間取得手段と、
前記符号化時バッファ時間取得手段により取得された前記符号化時バッファ時間、および、前記伝送時バッファ時間取得手段により取得された前記伝送時バッファ時間を用いて、前記同期再生が破たんしないようにするために必要なバッファ時間の初期値である初期バッファ遅延を算出する初期バッファ遅延算出手段と、
前記受信手段により受信された前記符号化データを格納する格納手段と、
前記格納手段により格納されている前記符号化データの読み出しタイミングを制御することにより、前記同期再生を制御する同期制御手段と、
前記同期制御手段による制御に従って前記格納手段より読みだされた前記符号化データを復号する復号手段と
を備える受信装置。
【請求項１５】
前記初期バッファ遅延算出手段は、前記符号化データに付加される前記伝送時バッファ時間が有効である場合、前記伝送時バッファ時間を前記初期バッファ遅延とし、前記伝送時バッファ時間が無効である場合、前記符号化データに付加される前記符号化時バッファ時間を前記初期バッファ遅延とする
請求項１４に記載の受信装置。
【請求項１６】
復号装置の受信手段が、他の装置において画像データが符号化されて生成され、ネットワークを介して伝送された符号化データを受信し、
前記復号装置の符号化時バッファ時間取得手段が、受信された前記符号化データから、前記符号化データに付加されたタイムスタンプに同期して復号して再生する同期再生が、前記画像データの符号化による遅延によって破たんしないようにするために最低限必要なバッファ時間である符号化時バッファ時間を抽出し、取得し、
前記復号装置の前記伝送時バッファ時間取得手段が、受信された前記符号化データから、前記符号化データの同期再生が、前記画像データの符号化と前記符号化データの伝送との両方による遅延によって破たんしないようにするために最低限必要なバッファ時間である伝送時バッファ時間を抽出し、取得し、
前記復号装置の前記初期バッファ遅延算出手段が、取得された前記符号化時バッファ時間、および、取得された前記伝送時バッファ時間を用いて、前記同期再生が破たんしないようにするために必要なバッファ時間の初期値である初期バッファ遅延を算出し、
前記復号装置の格納手段が、受信された前記符号化データを格納し、
前記復号装置の同期制御手段が、格納されている前記符号化データの読み出しタイミングを制御することにより、前記同期再生を制御し、
前記復号装置の復号手段が、前記制御に従って、読みだされた前記符号化データを復号する
受信方法。
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2011130065.tif 000001
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2011130065.tif 000002
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図１９
【補正方法】変更
【補正の内容】
【図１９】
2011130065.tif 000003
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2011130065.tif 000004