(57)【特許請求の範囲】
【請求項１】
データを送信する際の送信レートを調整するレート調整部と、
前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整部と、
前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化部と、
予め決められた送信バッファ時間および前記送信レートに基づいて、前記符号化データを一時的に保存するためのバッファのサイズを変更する変更部と、
前記バッファに保存されている前記符号化データを読み出して送信部に出力する出力部と、
前記出力部により出力される前記符号化データを送信する前記送信部と
を含み、
前記パラメータ調整部は、前記レート調整部による調整後の前記送信レート、および、その調整後の送信レートに従って変更されたバッファサイズに応じて前記バッファに保存可能なサイズを表す残りバッファサイズに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートを調整する
送信装置。
【請求項２】
前記パラメータ調整部は、前記送信レートおよび前記残りバッファサイズに基づいて、前記バッファに保存される前記符号化データのデータサイズが前記バッファのサイズ以下となるように、前記データ生成レートを調整する
請求項１に記載の送信装置。
【請求項３】
前記出力部は、前記バッファのサイズが、前記バッファに保存済みの前記データのデータサイズ未満に変更された場合、前記データサイズが前記バッファのサイズ以下となるまで、前記バッファに保存済みの前記データを破棄する
請求項１又は２に記載の送信装置。
【請求項４】
前記出力部は、前記バッファのサイズが、前記データサイズ未満に変更された場合、前記データサイズが前記バッファのサイズ以下となるまで、前記バッファに保存済みの前記データを、予め決められた優先順序に従って破棄する
請求項３に記載の送信装置。
【請求項５】
前記符号化部は、空間周波数の高い高域成分と空間周波数の低い低域成分とに画像データを分割する分析フィルタリングを、分割により得られる低域成分に対して再帰的に繰り返すことにより、前記画像データを、空間周波数成分毎の係数データに変換する符号化処理を行い、
前記出力部は、前記画像データの高域成分の前記係数データを含むパケットを優先的に破棄する
請求項４に記載の送信装置。
【請求項６】
前記符号化部は、前記画像データに対して、ウェーブレット変換を用いた符号化を施すウェーブレット符号化処理を行う
請求項５に記載の送信装置。
【請求項７】
前記レート調整部は、前記データを送信する際に用いるデータ伝送路の状況を表す伝送品質情報に基づいて、前記送信レートを調整する
請求項１乃至６に記載の送信装置。
【請求項８】
前記レート調整部は、前記データの損失率、往復伝送遅延、ジッタ、S/N比(signal to noise ratio)、又はBER(Bit Error Rate)の少なくとも１つを含む前記伝送品質情報に基づいて、前記送信レートを調整する
請求項７に記載の送信装置。
【請求項９】
データを送信する送信装置の送信方法において、
データを送信する際の送信レートを調整するレート調整ステップと、
前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整ステップと、
前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化ステップと、
予め決められた送信バッファ時間および前記送信レートに基づいて、前記符号化データを一時的に保存するためのバッファのサイズを変更する変更ステップと、
前記バッファに保存されている前記符号化データを読み出して出力する出力ステップと、
前記出力ステップにより出力された前記符号化データを送信する送信ステップと
を含み、
調整後の前記送信レート、および、その調整後の送信レートに従って変更されたバッファサイズに応じて前記バッファに保存可能なサイズを表す残りバッファサイズに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートが調整される
送信方法。
【請求項１０】
コンピュータを、
データを送信する際の送信レートを調整するレート調整部と、
前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整部と、
前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化部と、
予め決められた送信バッファ時間および前記送信レートに基づいて、前記符号化データを一時的に保存するためのバッファのサイズを変更する変更部と、
前記バッファに保存されている前記符号化データを読み出して送信部に出力する出力部と、
前記出力部により出力される前記符号化データを送信する前記送信部と
して機能させ、
前記パラメータ調整部は、前記レート調整部による調整後の前記送信レート、および、その調整後の送信レートに従って変更されたバッファサイズに応じて前記バッファに保存可能なサイズを表す残りバッファサイズに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートを調整する
ためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、送信装置、送信方法、及びプログラムに関し、特に、例えば、ネットワーク等のデータ伝送路の状況に拘わらず、低遅延でデータを送信できるようにした送信装置、送信方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、例えば、遠隔地においてロボットアームを操作して患者を手術する遠隔手術が行われつつある。この遠隔手術では、手術の様子を撮像して得られる動画像を見ながら、執刀医がロボットアームを操作するため、数フレーム以下の低遅延（ほぼリアルタイム）で、動画像が伝送されることが望ましい。
【０００３】
そこで、インターネット等のデータ伝送路を経由して、動画像等を、数フレーム以下の低遅延で送信（伝送）するために、動画像を構成する各ピクチャの数ライン毎に、ウェーブレット変換による符号化（圧縮）を行う符号化技術が提案されている（例えば、引用文献１参照）。
【０００４】
この符号化技術では、送信装置において、ピクチャ内のデータ全ての入力を待つことなく符号化を開始し、その結果得られる符号化データを送信することができる。また、受信装置においても、送信装置からの符号化データ全てを受信する前に復号（伸張）を開始することができる。
【０００５】
このため、ネットワークに輻輳（トラフィックの混雑）が生じていない場合、ネットワークの輻輳に起因する遅延が生じないので、符号化データの伝送時間（送信装置からネットワークを介して受信装置に到達するまでに要する時間）は十分に短いものとなり、送信装置は、低遅延で動画像を送信できる。
【０００６】
しかしながら、ネットワークに輻輳が生じている場合、ネットワークの輻輳に起因する遅延が生じてしまうため、符号化データの伝送時間が長くなってしまい、送信装置は、低遅延で動画像を送信することができなくなる。
【０００７】
そこで、ネットワークの輻輳状況に拘らず、伝送時間を十分に短くするために、ネットワークの輻輳状況に応じて、単位時間当りにおける符号化データの送信量を表す送信レートを調整するようにしたレート制御処理が存在する。
【０００８】
このレート制御処理では、送信装置において、内蔵する送信バッファに符号化データを一時的に保存し、レート制御処理により調整される送信レートで受信装置に送信するようにしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−３１１９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
送信装置において、送信レートが、単位時間当りにおける符号化データの生成量を表すデータ生成レートよりも高い場合、送信バッファに保存される符号化データの生成量よりも、送信バッファから出力されて送信される送信量の方が多くなる。
【００１１】
この場合、符号化データが送信バッファ内に滞在する時間は十分に短くなるため、低遅延で動画像を送信することができる。
【００１２】
しかしながら、送信装置において、送信レートが、符号化データのデータ生成レートよりも低い場合には、送信バッファから出力されて送信される送信量よりも、送信バッファに保存される符号化データの生成量の方が多くなってしまう。
【００１３】
この場合、符号化データが送信バッファ内に滞在する時間は長くなるため、低遅延で動画像を送信することができなくなることが生じ得る。
【００１４】
このように、ネットワークの輻輳に応じて送信レートを調整することにより、ネットワークの輻輳に起因する遅延を回避することはできるものの、送信レートによっては、低遅延で動画像を送信することができなくなってしまう。
【００１５】
本開示は、このような状況に鑑みてなされたものであり、ネットワーク等のデータ伝送路の状況に拘らず、低遅延によりデータを伝送できるようにするものである。
【課題を解決するための手段】
【００１６】
本開示の一側面の送信装置は、データを送信する際の送信レートを調整するレート調整部と、前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整部と、前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化部と、予め決められた送信バッファ時間および前記送信レートに基づいて、前記符号化データを一時的に保存するためのバッファのサイズを変更する変更部と、前記バッファに保存されている前記符号化データを読み出して送信部に出力する出力部と、前記出力部により出力される前記符号化データを送信する前記送信部とを含み、前記パラメータ調整部は、前記レート調整部による調整後の前記送信レート、および、その調整後の送信レートに従って変更されたバッファサイズに応じて前記バッファに保存可能なサイズを表す残りバッファサイズに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートを調整する送信装置である。
【００１７】
前記パラメータ調整部には、前記送信レートおよび前記残りバッファサイズに基づいて、前記バッファに保存される前記符号化データのデータサイズが前記バッファのサイズ以下となるように、前記データ生成レートを調整させることができる。
【００１８】
前記出力部には、前記バッファのサイズが、前記バッファに保存済みの前記データのデータサイズ未満に変更された場合、前記データサイズが前記バッファのサイズ以下となるまで、前記バッファに保存済みの前記データを破棄させることができる。
【００１９】
前記出力部には、前記バッファのサイズが、前記データサイズ未満に変更された場合、前記データサイズが前記バッファのサイズ以下となるまで、前記バッファに保存済みの前記データを、予め決められた優先順序に従って破棄させることができる。
【００２０】
前記符号化部には、空間周波数の高い高域成分と空間周波数の低い低域成分とに画像データを分割する分析フィルタリングを、分割により得られる低域成分に対して再帰的に繰り返すことにより、前記画像データを、空間周波数成分毎の係数データに変換する符号化処理を行わせ、前記出力部には、前記画像データの高域成分の前記係数データを含むパケットを優先的に破棄させることができる。
【００２１】
前記符号化部には、前記画像データに対して、ウェーブレット変換を用いた符号化を施すウェーブレット符号化処理を行わせることができる。
【００２２】
前記レート調整部には、前記データを送信する際に用いるデータ伝送路の状況を表す伝送品質情報に基づいて、前記送信レートを調整させることができる。
【００２３】
前記レート調整部には、前記データの損失率、往復伝送遅延、ジッタ、S/N比(signal to noise ratio)、及びBER(Bit Error Rate)の少なくとも１つを含む前記伝送品質情報に基づいて、前記送信レートを調整させることができる。
【００２４】
本開示の一側面の送信方法は、データを送信する送信装置の送信方法であって、データを送信する際の送信レートを調整するレート調整ステップと、前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整ステップと、前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化ステップと、予め決められた送信バッファ時間および前記送信レートに基づいて、前記符号化データを一時的に保存するためのバッファのサイズを変更する変更ステップと、前記バッファに保存されている前記符号化データを読み出して出力する出力ステップと、前記出力ステップにより出力された前記符号化データを送信する送信ステップとを含み、調整後の前記送信レート、および、その調整後の送信レートに従って変更されたバッファサイズに応じて前記バッファに保存可能なサイズを表す残りバッファサイズに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートが調整される送信方法である。
【００２５】
本開示の一側面のプログラムは、コンピュータを、データを送信する際の送信レートを調整するレート調整部と、前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整部と、前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化部と、予め決められた送信バッファ時間および前記送信レートに基づいて、前記符号化データを一時的に保存するためのバッファのサイズを変更する変更部と、前記バッファに保存されている前記符号化データを読み出して送信部に出力する出力部と、前記出力部により出力される前記符号化データを送信する前記送信部として機能させ、前記パラメータ調整部は、前記レート調整部による調整後の前記送信レート、および、その調整後の送信レートに従って変更されたバッファサイズに応じて前記バッファに保存可能なサイズを表す残りバッファサイズに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートを調整するためのプログラムである。
【００２６】
本開示によれば、データを送信する際の送信レートが調整され、前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータが調整され、前記データに対して、前記符号化パラメータに基づく符号化処理が行われ、予め決められた送信バッファ時間および前記送信レートに基づいて、前記符号化データを一時的に保存するためのバッファのサイズが変更され、前記バッファに保存されている前記符号化データが読み出されて出力され、出力された前記符号化データが送信される。さらに、調整後の前記送信レート、および、その調整後の送信レートに従って変更されたバッファサイズに応じて前記バッファに保存可能なサイズを表す残りバッファサイズに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートが調整される。
【発明の効果】
【００２７】
本開示によれば、ネットワーク等のデータ伝送路の状況に拘らず、低遅延でデータを伝送することが可能となる。
【図面の簡単な説明】
【００２８】
【図１】第１の実施の形態である第１の送受信システムの構成例を示すブロック図である。
【図２】主に、保存可能バッファサイズを変更するときの処理の一例を示す図である。
【図３】主に、保存可能バッファサイズを変更した際に、送信バッファ内のデータを破棄するときの一例を示す図である。
【図４】図１の送信装置が行う送信処理を説明するためのフローチャートである。
【図５】図４のステップＳ９における第１のレート制御処理の詳細を説明するためのフローチャートである。
【図６】図１の受信装置が行う受信処理を説明するためのフローチャートである。
【図７】保存可能バッファサイズを変更した際に、優先度に応じて送信バッファ内のデータを破棄するときの一例を示す図である。
【図８】第２の実施の形態であるNICの構成例を示すブロック図である。
【図９】図８のバッファ制御部が行う処理の一例を示す図である。
【図１０】図８のNICが行う送信処理を説明するためのフローチャートである。
【図１１】図１０のステップＳ７７における第２のレート制御処理の詳細を説明するためのフローチャートである。
【図１２】図８のNICが行う受信処理を説明するためのフローチャートである。
【図１３】第３の実施の形態である無線中継装置の構成例を示すブロック図である。
【図１４】第４の実施の形態である第２の送受信システムの構成例を示すブロック図である。
【図１５】図１４のバッファ制御部が行う処理の一例を示す図である。
【図１６】図１４のバッファ制御部及びレート制御部が行う処理の一例を説明するための図である。
【図１７】図１４の送信装置が行う送信処理を説明するためのフローチャートである。
【図１８】図１７のステップＳ１３９における第３のレート制御処理の詳細を説明するためのフローチャートである。
【図１９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（送信バッファの保存可能バッファサイズを調整して、低遅延データ伝送を行うときの一例）
２．第２の実施の形態（NICを用いて低遅延データ伝送を行うときの一例）
３．第３の実施の形態（無線中継装置において低遅延データ伝送を行うときの一例）
４．第４の実施の形態(送信バッファに保存されたデータを破棄することなく、低遅延データ伝送を行うときの一例)
【００３０】
＜１．第１の実施の形態＞
[送受信システム１００の構成例]
図１は、第１の実施の形態である送受信システム１００を示している。
【００３１】
この送受信システム１００は、送信装置１０１、受信装置１０２、及びインターネット等のネットワーク１０３から構成される。
【００３２】
なお、この送受信システム１００は、送信装置１０１の送信レートRに拘らず、後述する送信バッファ１１２aの送信バッファ時間を一定時間T（以下、送信バッファ時間Tともいう）に維持するように制御して、低遅延でデータを送信できるようにするものである。
【００３３】
ここで、送信バッファ時間Tとは、データが送信バッファ１１２aに保存されたときから出力されるまでに要する最大時間を表す。なお、送信バッファ時間Tは、ユーザや送信装置１０１を製造する企業等により予め決定され、送信バッファ時間Tが短い程に、より低遅延によるデータ伝送が可能となる。
【００３４】
また、送受信システム１００では、例えば、IETF(Internet Engineering Task Force) RFC(Request for Comments)3550に記載のRTP(Real time Transport Protocol)/RTCP(Real time Transport Control Protocol)を用いて、送信装置１０１から受信装置１０２に対してデータの送信や、ネットワーク状況等の収集が行なわれる。
【００３５】
以下において、第１の実施の形態では、送信装置１０１から受信装置１０２に対して、低遅延で画像データを送信する場合について説明するが、低遅延で送信されるデータは、画像データに限定されず、低遅延で送信すべきデータであれば、どのようなデータであってもよい。
【００３６】
[送信装置１０１の構成例]
送信装置１０１は、符号化部１１１、送信バッファ１１２aを内蔵するバッファ制御部１１２、RTP送信部１１３、RTCP部１１４、レート制御部１１５、制御部１１６、及び操作部１１７から構成される。
【００３７】
符号化部１１１は、外部から入力される画像データ（ビデオINに対応）を符号化する符号化処理を行う。なお、符号化処理としては、画像データに対して、例えばウェーブレット変換を用いた符号化を施して圧縮するウェーブレット符号化処理を採用することができる。このウェーブレット符号化処理は、ITU-T H.264や、上述の引用文献１等に詳細に記載されている。
【００３８】
ここで、ウェーブレット変換とは、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）に分割する分析フィルタリングを、分割により得られる低域成分に対して再帰的に繰り返すことにより、画像データを、空間周波数成分毎の係数データに変換する処理をいう。
【００３９】
なお、符号化部１１１において、例えば、高域成分の係数データほど圧縮率を小さくし、低域成分の係数データほど圧縮率を大きくするようにすれば、画像データの画質劣化の少ない符号化処理が可能となる。
【００４０】
また、符号化部１１１は、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）してバッファ制御部１１２に出力する。なお、RTPパケットとは、IETF RFC3550に記載のRTPに則った形式のパケットを表す。
【００４１】
さらに、符号化部１１１は、バッファ制御部１１２からの、送信バッファ１１２a内にRTPパケットを保存可能な残りサイズを表す残りバッファサイズbr（図２）と、レート制御部１１５からの送信レートRに基づいて、符号化処理に用いる符号化パラメータを調整する。そして、符号化部１１１は、調整後の符号化パラメータを用いて、上述の符号化処理を行うようにしている。
【００４２】
ここで、符号化パラメータとは、符号化処理におけるデータの圧縮率や、単位時間当たりにおける、RTPパケットの生成量を表すデータ生成レート等を含むものである。
【００４３】
バッファ制御部１１２は、符号化部１１１からのRTPパケットを、送信バッファ１１２aに供給して保存させ、FIFO(First In First Out)で出力させる。
【００４４】
また、バッファ制御部１１２は、送信バッファ１１２a内にRTPパケットを保存したときから送信バッファ時間T以内に出力するように、レート制御部１１５からの送信レートRに応じて、送信バッファ１１２aにRTPパケットを保存可能なデータサイズを表す保存可能バッファサイズBを変更する。なお、保存可能バッファサイズBの変更方法は、本開示により開示する技術のポイント部分であるため、図２及び図３を参照して詳述する。
【００４５】
さらに、バッファ制御部１１２は、レート制御部１１５からの送信レートRで、送信バッファ１１２a内のRTPパケットを、RTP送信部１１３に送信（出力）させる平滑化送信を行う。これにより、RTP送信部１１３では、レート制御部１１５により調整された送信レートRで、RTPパケットを送信することができるようになる。
【００４６】
なお、平滑化送信としては、例えば、ITU-T Y.1221に記載されたトークンバケットビヘイビアやリーキーバケットビヘイビアを用いた平滑化送信を採用することができる。
【００４７】
送信バッファ１１２aは、例えば、バッファ制御部１１２からの制御に従って、平滑化送信を行う。すなわち、送信バッファ１１２aは、RTPパケットを出力する際の出力レートを、レート制御部１１５からの送信レートRに合わせるように平滑化して送信するための平滑化バッファとして機能する。
【００４８】
送信バッファ１１２aは、バッファ制御部１１２により調整される保存可能バッファサイズBで、符号化部１１１からのRTPパケットを保存し、FIFOで出力する。なお、送信バッファ１１２aは、十分に大きな記憶容量を有しており、調整され得る最大の保存可能バッファサイズB以上の記憶容量とされる。
【００４９】
RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットに対して、タイムスタンプとして、例えばRTPパケットを受信装置１０２に送信する際の送信時刻等を付加する。そして、RTP送信部１１３は、タイムスタンプを付加したRTPパケットを、レート制御部１１５から通知される送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
【００５０】
RTP送信部１１３では、タイムスタンプを付加したRTPパケットを送信するようにしたので、受信装置１０２において、送信装置１０１から送信されてくるRTPパケットの時間的関係（例えば、送信順序等）を把握することができる。このため、受信装置１０２において、RTPパケットの遅延ゆらぎ（ジッタ）等の影響を受けずに同期をとって、正確に画像データを再生することができる。
【００５１】
ここで、RTPは、実時間（リアルタイム）によるRTPパケットの送信を保証するものではない。また、RTPパケットの送信における優先度、設定、管理などは、RTPが提供するトランスポートサービスの範疇ではない。
【００５２】
このため、RTPパケットには、RTPパケットを送信したときから所定時間内に受信装置１０２に到達しない伝送遅延や、RTPパケットにエラー（誤り）が生じるパケット損失が生じ得る。
【００５３】
受信装置１０２において、伝送遅延やパケット損失が生じたRTPパケットは破棄される。そして、受信装置１０２において、伝送遅延及びパケット損失のいずれも生じていないRTPパケットのみを対象として再生等の処理が行われる。
【００５４】
なお、伝送遅延やパケット損失が生じたRTPパケットを破棄するようにしたのは、RTPパケットとしての画像データ（動画像）によるリアルタイム再生を実現するためである。
【００５５】
ここで、RTPパケットによる伝送遅延やパケット損失は、ネットワーク１０３の輻輳により引き起こされることが多い。すなわち、例えば、送信装置１０１において、高品質な画像データのRTPパケットを送信しても、ネットワーク１０３の輻輳の程度によっては、RTPパケットに対して、無視できないほどの伝送遅延やパケット損失が生じ得る。
【００５６】
この場合、受信装置１０２において、RTPパケットに伝送遅延やパケット損失が生じたことに起因して、多くのRTPパケットが破棄されてしまうので、高品質な画像データを再生できないことが生じ得る。
【００５７】
そこで、後述するレート制御部１１５では、ネットワーク１０３の状況（例えば、輻輳の程度等）に応じて送信レートRを調整するようにして、RTPパケットに生じる伝送遅延やパケット損失を抑制するようにしている。これにより、受信装置１０２において、ネットワーク１０３の状況に拘らず、送信装置１０１からの画像データの画質等を維持したまま、画像データを再生することができるようになる。
【００５８】
また、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、RTPパケットの伝送状態を表すRTPパケット伝送情報を生成してRTCP部１１４に供給する。
【００５９】
RTCP部１１４は、RTP送信部１１３からのRTPパケット伝送情報に基づいて、送信装置１０１と受信装置１０２との間のデータ伝送路（例えば、ネットワーク１０３）の状況を表す伝送品質情報を生成し、レート制御部１１５に供給する。
【００６０】
ここで、伝送品質情報には、データ伝送路の状況を判断するために必要な情報が含まれる。
【００６１】
すなわち、伝送品質情報は、例えば、往復伝送遅延（RTT(Round Trip Time)）、伝送ジッタ、パケット損失率、S/N比(signal to noise ratio)、及びBER(Bit Error Rate)等の少なくとも１つを含む。なお、無線通信により伝送が行われる場合には、無線通信における電波強度も含めるようにしてもよい。
【００６２】
また、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部１１５に供給する。
【００６３】
なお、伝送品質情報は、RTCP部１１４と、後述する受信装置１０２のRTCP部１２４との間で、IETF RFC 3550に記載のRTCP Receiver Report(RR)パケットやRTCP Sender Report(SR)パケットを送受信することにより収集される。
【００６４】
レート制御部１１５は、RTCP部１１４からの伝送品質情報に基づいて、送信装置１０１からRTPパケットを送信する際の送信レートRを調整し、符号化部１１１、バッファ制御部１１２、及びRTP送信部１１３に通知する。
【００６５】
なお、レート制御部１１５による送信レートRの調整は、例えば、IETF RFC3448に記載の「TCP Friendly Rate Control(TFRC):Protocol Specification」、いわゆるTFRCに従って行われる。
【００６６】
このように、レート制御部１１５は、ネットワーク１０３の状況に応じて送信レートRを調整するようにしているので、ネットワーク１０３の輻輳に起因する遅延を回避することが可能となる。
【００６７】
制御部１１６は、例えば、操作部１１７からの操作信号に基づいて、符号化部１１１、バッファ制御部１１２、RTP送信部１１３、RTCP部１１４、及びレート制御部１１５の各部を制御する。
【００６８】
操作部１１７は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部１１６に供給する。
【００６９】
[受信装置１０２の構成例]
受信装置１０２は、RTP受信部１２１、受信バッファ１２２、復号部１２３、RTCP部１２４、制御部１２５、及び操作部１２６から構成される。
【００７０】
RTP受信部１２１は、RTP送信部１１３からネットワーク１０３を介して送信されてくるRTPパケットを受信し、受信バッファ１２２に供給して保存させる。また、RTP受信部１２１は、RTPパケットの受信状況等に基づいて、RTPパケットの伝送状態を表すRTPパケット伝送情報を生成してRTCP部１２４に供給する。
【００７１】
受信バッファ１２２は、RTP受信部１２１からのRTPパケットを一時的に保存する。なお、受信バッファ１２２は、オーバーフローしない程度に十分に大きな記憶容量を有するものとする。
【００７２】
復号部１２３は、受信バッファ１２２からRTPパケットを読み出し、読み出したRTPパケットを組み立てることにより、復号対象とされる符号化データを生成する。そして、復号部１２３は、生成した符号化データに対して、符号化部１１１で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを図示せぬモニタ等に出力する。
【００７３】
ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
【００７４】
RTCP部１２４は、RTP受信部１２１からのRTPパケット伝送情報に基づいて、伝送品質情報を生成し、ネットワーク１０３を介して送信装置１０１のRTCP部１１４に送信する。
【００７５】
制御部１２５は、例えば、操作部１２６からの操作信号に基づいて、RTP受信部１２１、受信バッファ１２２、及び復号部１２３、RTCP部１２４の各部を制御する。
【００７６】
操作部１２６は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部１２５に供給する。
【００７７】
[保存可能バッファサイズの調整方法]
次に、図２及び図３を参照して、主にバッファ制御部１１２が行う処理について説明する。
【００７８】
図２は、主に、バッファ制御部１１２が行う処理の一例を示している。
【００７９】
バッファ制御部１１２は、レート制御部１１５からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、次式（１）を用いて、保存可能バッファサイズBを変更する。
B(bit) = R(bps) × T(sec)      ・・・（１）
【００８０】
具体的には、例えば、現在の送信レートRをRnとし、現在の保存可能バッファサイズBをBn（=Rn×T）とした場合、レート制御部１１５は、送信レートRnを送信レートRn+1に調整したことに応じて、送信レートRn+1を、符号化部１１１、バッファ制御部１１２及びRTP送信部１１３に通知する。
【００８１】
このとき、バッファ制御部１１２は、レート制御部１１５から通知された送信レートRn+1と、送信バッファ時間Tに基づいて、式（１）を用いて、保存可能バッファサイズBn+1（=Rn+1×T）を算出する。そして、バッファ制御部１１２は、送信バッファ１１２aの保存可能バッファサイズBnを保存可能バッファサイズBn+1に変更する。
【００８２】
なお、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づき、符号化パラメータとして、例えば、RTPパケットのデータ生成レートを調整し、調整後のデータ生成レートによる符号化処理を行うようにしている。
【００８３】
これにより、符号化部１１１からのRTPパケットにより、送信バッファ１１２aのバッファ内データサイズbiが、保存可能バッファサイズBよりも大きくなることを防止するようにしている。送信バッファ１１２aにおいて、バッファ内データサイズbiが、保存可能バッファサイズB以下である限り、低遅延データ伝送は保証される。
【００８４】
なお、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、データ生成レートを調整するようにした。しかしながら、符号化部１１１が、レート制御部１１５による送信レートRの調整が行われたことに対応して、迅速にデータ生成レートを調整できる場合には、レート制御部１１５からの送信レートRのみを用いて、データ生成レートを、レート制御部１１５からの送信レートRに調整するようにしてもよい。
【００８５】
また、符号化部１１１が、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、データ生成レートを調整するようにしたが、レート制御部１１５が、データ生成レートを算出して符号化部１１１に通知するようにしてもよい。
【００８６】
すなわち、例えば、レート制御部１１５は、バッファ制御部１１２から残りバッファサイズbrを取得し、取得した残りバッファサイズbrと、算出した送信レートRに基づいて、データ生成レートを算出し、符号化部１１１に通知するようにしてもよい。
【００８７】
ところで、送信レートRnが送信レートRn+1に調整されたことに応じて、保存可能バッファサイズBnが、バッファ内データサイズbiよりも小さな保存可能バッファサイズBn+1に調整されることが生じ得る。
【００８８】
この場合、送信バッファ１１２a内のバッファ内データサイズbiが、保存可能バッファサイズBn+1よりも大きくなってしまい、低遅延データ伝送を行うことができなくなってしまう。
【００８９】
そこで、第１の実施の形態では、バッファ内データサイズbiが、保存可能バッファサイズBn+1よりも大きくなってしまった場合には、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のRTPパケットを破棄するようにして、低遅延データ伝送を保証するようにしている。
【００９０】
なお、符号化部１１１が、送信レートRに拘らず、固定のデータ生成レートで符号化処理を行う場合や、調整後の送信レートRn+1に応じて、迅速にデータ生成レートを調整できなかった場合等には、符号化部１１１から送信バッファ１１２aに対して多くのRTPパケットが出力されることが生じ得る。
【００９１】
この場合についても同様に、送信バッファ１１２a内のバッファ内データサイズbiが、保存可能バッファサイズBn+1よりも大きくなってしまう。しかしながら、第１の実施の形態では、上述のように、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のRTPパケットは破棄されるので、やはり、低遅延データ伝送は保証される。
【００９２】
[送信バッファ１１２a内のデータを破棄するときの一例]
次に、図３は、保存可能バッファサイズBnが、バッファ内データサイズbiよりも小さな保存可能バッファサイズBn+1に変更される場合には、送信バッファ１１２a内のRTPパケットを一部分だけ破棄するときの一例を示している。
【００９３】
バッファ制御部１１２は、例えば、レート制御部１１５から、送信レートRn+1(=Rn/2)が供給されたことに応じて、式（１）に基づいて、図３Aに示される現在の保存可能バッファサイズBnを、図３Bに示される保存可能バッファサイズBn+1（=Bn/2）に変更する。
【００９４】
この場合、送信バッファ１１２aのバッファ内データサイズbiは、変更後の保存可能バッファサイズBn+1よりも大きなものとなる。したがって、バッファ制御部１１２は、図３Bに示されるように、送信バッファ１１２a内のRTPパケットを一部分（斜線で示す）だけ破棄して、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるように調整する。
【００９５】
なお、送信バッファ１１２a内のRTPパケットを破棄する場合、任意のRTPパケットを破棄するようにしてもよいし、破棄する際の優先度を付加するようにして、優先度の高い順にRTPパケットを破棄するようにしてもよい。
【００９６】
すなわち、例えば、ウェーブレット変換により得られる周波数成分毎の係数データを含むRTPパケットにおいて、高域成分の係数データを含むRTPパケットほど、高い優先度を付加するようにして、RTPパケットの破棄を行うようにしてもよい。優先度に応じてRTPパケットを破棄する方法については、図７を参照して詳述する。
【００９７】
[送信装置１０１の動作説明]
次に、図４のフローチャートを参照して、送信装置１０１が行う送信処理(以下、第１の送信処理という)について説明する。
【００９８】
ステップＳ１において、符号化部１１１は、外部からの画像データに対して、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づき算出したデータ生成レートで符号化処理を行う。
【００９９】
ステップＳ２において、符号化部１１１は、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）する。そして、符号化部１１１は、パケット化により得られる複数のRTPパケットを、バッファ制御部１１２に出力する。
【０１００】
ステップＳ３において、バッファ制御部１１２は、符号化部１１１からのRTPパケットを、内蔵する送信バッファ１１２aに供給して保存させる。そして、バッファ制御部１１２は、レート制御部１１５から通知される送信レートRと同一の出力レートで、送信バッファ１１２aからRTP送信部１１３に対してRTPパケットを出力する。
【０１０１】
ステップＳ４において、バッファ制御部１１２は、送信バッファ１１２aにおける保存可能バッファサイズBが、バッファ内データサイズbi以上であるか否かを判定する。
【０１０２】
そして、ステップＳ４において、バッファ制御部１１２は、図３Bに示されるように、保存可能バッファサイズBがバッファ内データサイズbi以上ではない、すなわち、バッファ内データサイズbiが保存可能バッファサイズBよりも大きいと判定した場合、処理を、ステップＳ５に進める。
【０１０３】
ステップＳ５では、バッファ制御部１１２は、バッファ内データサイズbiが、保存可能バッファサイズB以下となるまで、送信バッファ１１２a内のRTPパケットを破棄して、処理をステップＳ１に戻し、それ以降同様の処理が行なわれる。
【０１０４】
なお、ステップＳ５では、RTPパケットに対して、破棄する際の優先度を付加するようにし、その優先度に応じてRTPパケットを破棄するようにしてもよい。なお、優先度に応じてRTPパケットを破棄する処理の詳細は、図７を参照して後述する。
【０１０５】
また、ステップＳ４において、バッファ制御部１１２は、図３Aに示されるように、保存可能バッファサイズＢがバッファ内データサイズbi以上であると判定した場合、処理をステップＳ６に進める。
【０１０６】
ステップＳ６において、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、バッファ制御部１１２からのRTPパケットを送信可能であるか否かを判定し、送信可能であると判定するのを待って、処理をステップＳ７に進める。
【０１０７】
ステップＳ７において、RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットを、レート制御部１１５からの送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
【０１０８】
ステップＳ８において、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部１１５に供給する。
【０１０９】
ステップＳ９において、符号化部１１１がデータ生成レートを、バッファ制御部１１２が保存可能バッファサイズBを、レート制御部１１５が送信レートRを調整する第１のレート制御処理が行なわれる。この第１のレート制御処理の詳細は、図５のフローチャートを参照して後述する。
【０１１０】
ステップＳ１０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第１の送信処理を終了するか否かを判定し、第１の送信処理を終了しないと判定した場合、処理をステップＳ１に戻し、それ以降同様の処理が行なわれる。
【０１１１】
また、ステップＳ１０において、制御部１１６は、第１の送信処理を終了すると判定した場合、第１の送信処理は終了される。
【０１１２】
以上説明したように、第１の送信処理によれば、ネットワーク１０３の状況に応じて、送信レートRを調整するようにしたので、ネットワーク１０３の状況に拘らず、RTPパケットの伝送遅延やパケット損失を抑止することができる。よって、RTPパケットの伝送遅延やパケット損失に起因して、画像データの画質が劣化する事態を抑止することが可能となる。
【０１１３】
また、第１の送信処理によれば、送信レートRの調整に応じて、保存可能バッファサイズBを変更するようにして、送信バッファ１１２aの送信バッファ時間を一定時間Tに維持するようにした。このため、ネットワーク１０３の状況に拘らず、画像データを低遅延で伝送することが可能となる。
【０１１４】
[第１のレート制御処理の詳細]
次に、図５のフローチャートを参照して、図４のステップＳ９における第１のレート制御処理の詳細を説明する。
【０１１５】
ステップＳ３１において、レート制御部１１５は、RTCP部１１４からの伝送品質情報を取得する。ステップＳ３２において、レート制御部１１５は、RTCP部１１４からの伝送品質情報に基づいて、送信レートRを調整し、符号化部１１１、バッファ制御部１１２及びRTP送信部１１３に供給する。
【０１１６】
ステップＳ３３において、バッファ制御部１１２は、レート制御部１１５からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、内蔵する送信バッファ１１２aの保存可能バッファサイズBを算出して変更する。
【０１１７】
また、バッファ制御部１１２は、算出した保存可能バッファイサイズBから、送信バッファ１１２a内のバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１１１に供給する。
【０１１８】
ステップＳ３４において、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、図４のステップＳ１で行う符号化処理におけるデータ生成レートを算出する。
【０１１９】
以上で第１のレート制御処理は終了され、図４のステップＳ９にリターンされ、ステップＳ１０に進められる。
【０１２０】
[受信装置１０２の動作説明]
次に、図６のフローチャートを参照して、受信装置１０２が行う受信処理（以下、第１の受信処理という）について説明する。
【０１２１】
ステップＳ５１において、RTP受信部１２１は、RTP送信部１１３からネットワーク１０３を介して送信されてくるRTPパケットを受信し、受信バッファ１２２に供給して保存させる。
【０１２２】
ステップＳ５２において、復号部１２３は、受信バッファ１２２からRTPパケットを読み出し、読み出したRTPパケットを組み立てることにより、復号対象とされる符号化データを生成する。
【０１２３】
そして、ステップＳ５３において、復号部１２３は、生成した符号化データに対して、符号化部１１１で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを図示せぬモニタ等に出力する。
【０１２４】
ステップＳ５４において、RTCP部１２４は、RTCPに従って、ネットワーク１０３を介して送信装置１０１のRTCP部１１４と通信を行う。これにより、RTCP部１１４は、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集する。
【０１２５】
ステップＳ５５において、制御部１２５は、操作部１２６からの操作信号等に基づいて、第１の受信処理を終了するか否かを判定し、第１の受信処理を終了しないと判定した場合、処理をステップＳ５１に戻し、それ以降同様の処理が行なわれる。
【０１２６】
また、ステップＳ５５において、制御部１２５は、第１の受信処理を終了すると判定した場合、第１の受信処理は終了される。
【０１２７】
以上説明したように、第１の受信処理によれば、送信装置１０１において送信レートRを調整するために用いる伝送品質情報をRTCPに従って送信装置１０１に供給するようにした。
【０１２８】
このため、送信装置１０１では、受信装置１０２からの伝送品質情報に基づいて、送信レートRを調整できるようになるので、ネットワーク１０３等のデータ伝送路の状況に応じて生じる遅延を無視できる程度に小さくすることが可能となる。
【０１２９】
[優先度に応じたRTPパケットの破棄]
次に、図７は、RTPパケットに優先度を付加するようにし、付加された優先度に応じた順序でRTPパケットを破棄する場合の一例を示している。
【０１３０】
なお、図７において、RTPパケットL1は、画像データの高域成分（の係数データ）を符号化してパケット化したものを表す。また、RTPパケットL2は、画像データの中域成分（高域成分と低域成分との間）を符号化してパケット化したものを表す。さらに、RTPパケットL3は、画像データの低域成分を符号化してパケット化したものを表す。
【０１３１】
バッファ制御部１１２は、例えば、レート制御部１１５から、送信レートRn+1(=2/3×Rn)が供給されたことに応じて、式（１）に基づいて、図７Aに示される現在の保存可能バッファサイズBnを、図７Bに示される保存可能バッファサイズBn+1（=2/3×Bn）に調整する。
【０１３２】
この場合、図７Bに示されるように、送信バッファ１１２aのバッファ内データサイズbiは、調整後の保存可能バッファサイズBn+1よりも大きなものとなる。したがって、バッファ制御部１１２は、バッファ内データサイズbiが保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のデータのうち、例えば、高域成分のRTPパケットを優先的に破棄する。
【０１３３】
具体的には、例えば、バッファ制御部１１２は、図７Bに示されるように、高域成分のRTPパケットL1を破棄して、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるように調整する。
【０１３４】
ここで、高域成分のRTPパケットから優先的に破棄するようにしたのは、画像データにおいて、低域成分ほど、画像データを、大まかな画像（例えば、画像内に表示された人物を、人物として大まかに認識できる程度の画像）として成立させるために重要な要素であることによる。
【０１３５】
なお、高域成分は、画像データを、大まかな画像から詳細な画像（例えば、画像内に表示された人物を詳細に認識できる程度の画像）に高画質化するために必要とされる。また、RTPパケットの優先度としては、その他、例えば、IETF RFC 2474"Definition of the Differentiated Services Field(DS Field) in the IPv4 and IPv6 Headers"に記載のIPヘッダ内の「Tos(Type of Service)」や「DSCP(Differentiated Services Code Point)」、IEEE 802.1Qタグ内の「Cos(Class of Service)」に記載された優先度を用いるようにしてもよい。
【０１３６】
ところで、第１の実施の形態では、低遅延でRTPパケットを送信する送信装置１０１について説明したが、例えば、送信装置１０１と受信装置１０２の機能をそれぞれ有する送受信装置に対して、本開示により開示した技術を適用することができる。
【０１３７】
また、符号化部１１１及び復号部１２３それぞれの機能をいずれも有さない送受信装置として、例えば、NIC(Network Interface Card)や、無線LAN(Local Area Network)アクセスポイント等の無線中継装置を、低遅延データ伝送が可能な送受信装置として採用することができる。
【０１３８】
次に、第２の実施の形態として、図８乃至図１２を参照して、低遅延データ伝送が可能なNICについて説明する。また、第３の実施の形態として、図１３を参照して、低遅延データ伝送が可能な無線中継装置について説明することとする。
【０１３９】
＜２．第２の実施の形態＞
次に、図８は、パーソナルコンピュータ１４１（以下、PC１４１という）のカードスロットに挿入されて接続されるNIC１４２の一例を示している。
【０１４０】
なお、PC１４１は、主に、符号化部１５１及び復号部１５２から構成されており、NIC１４２を介して、パケットの送受信を行う。
【０１４１】
符号化部１５１は、図１の符号化部１１１と同様の処理を行う。すなわち、符号化部１５１は、NIC１４２からの送信レートR及び残りバッファサイズbrに基づいて、データ生成レートを算出する。
【０１４２】
そして、符号化部１５１は、外部から入力される画像データ（ビデオIN）に対して、算出したデータ生成レートで符号化処理を行い、その結果得られる符号化データに対してパケット化を行う。符号化部１５１は、パケット化により得られるパケットを、NIC１４２に出力する。
【０１４３】
復号部１５２は、図１の復号部１２３と同様の処理を行う。すなわち、復号部１５２は、NIC１４２からのパケットを組み立てて、符号化データを生成し、生成した符号化データに対して復号処理を行い、その結果得られる画像データを、図示せぬモニタ等に出力する。
【０１４４】
NIC１４２は、受信部１６１、受信バッファ１６２、レート制御部１６３、送信バッファ１６４aを内蔵するバッファ制御部１６４、変調部１６５、及び送信部１６６から構成される。
【０１４５】
受信部１６１は、外部から送信されてくるパケットを受信し、受信バッファ１６２に供給して保存させる。また、受信部１６１は、パケットの受信状況等に基づいて、伝送品質情報を生成してレート制御部１６３に供給する。
【０１４６】
受信バッファ１６２は、受信部１６１からのパケットを一時的に保存して、パーソナルコンピュータ１４１の復号部１５２に出力する。
【０１４７】
レート制御部１６３は、受信部１６１及び送信部１６６からの伝送品質情報に基づいて、NIC１４２の送信レートR及び変調方式を調整する。そして、レート制御部１６３は、調整した送信レートRを、バッファ制御部１６４及び送信部１６６に供給する。また、レート制御部１６３は、調整した変調方式を、変調部１６５に供給する。
【０１４８】
バッファ制御部１６４は、図１のバッファ制御部１１２と同様の処理を行う。すなわち、バッファ制御部１６４は、図９に示されるように、レート制御部１６３からの送信レートRと、予め決められたバッファ送信時間Tに基づいて、式（１）を用いて、保存可能バッファサイズBを変更する。
【０１４９】
また、バッファ制御部１６４は、送信バッファ１６４aにおいて、保存可能バッファサイズBからバッファ内データサイズbiを減算して得られる残りバッファサイズbrを生成する。そして、バッファ制御部１６４は、図９に示されるように、生成した残りバッファサイズbrと、レート制御部１６３からの送信レートRとを、符号化部１５１に供給する。
【０１５０】
さらに、バッファ制御部１６４は、図９に示されるように、符号化部１５１からのパケットを、内蔵する送信バッファ１６４aに供給して保存させる。
【０１５１】
バッファ制御部１６４は、レート制御部１６３からの送信レートRで、送信バッファ１６４aからパケットを、変調部１６５に送信（出力）させる平滑化送信を行う。
【０１５２】
送信バッファ１６４aは、図１の送信バッファ１１２aと同様の処理を行う。すなわち、例えば、送信バッファ１６４aは、バッファ制御部１６４からの制御に従って、平滑化送信を行う。すなわち、送信バッファ１６４aは、パケットを出力する際の出力レートを、レート制御部１６３からの送信レートRに合わせるように平滑化する平滑化バッファとして機能する。
【０１５３】
送信バッファ１６４aは、バッファ制御部１６４により調整される保存可能バッファサイズBで、符号化部１５１からのパケットを保存し、FIFOで出力する。なお、送信バッファ１６４aは、十分に大きな記憶容量を有しており、調整され得る最大の保存可能バッファサイズB以上の記憶容量とされる。
【０１５４】
変調部１６５は、バッファ制御部１６４からのパケットを、レート制御部１６３から通知された変調方式で変調し、変調後のパケットを送信部１６６に供給する。
【０１５５】
送信部１６６は、変調部１６５からのパケットを、レート制御部１６３から通知される送信レートRで送信する。また、送信部１６６は、パケットの送信状況等に基づいて、伝送品質情報を生成し、レート制御部１６３に供給する。
【０１５６】
[NIC１４２の動作説明]
次に、図１０のフローチャートを参照して、NIC１４２が行う送信処理（以下、第２の送信処理という）について説明する。
【０１５７】
ステップＳ７１において、バッファ制御部１６４は、符号化部１５１からのパケットを取得する。
【０１５８】
ステップＳ７２において、バッファ制御部１６４は、符号化部１５１からのパケットを、内蔵する送信バッファ１６４aに供給して保存させる。そして、バッファ制御部１６４は、レート制御部１６３から通知される送信レートRと同一の出力レートで、送信バッファ１６４aから変調部１６５に対してパケットを出力する。
【０１５９】
ステップＳ７３において、バッファ制御部１６４は、送信バッファ１６４a内の保存可能バッファサイズBが、送信バッファ１６４a内のバッファ内データサイズbi以上であるか否かを判定する。
【０１６０】
そして、ステップＳ７３において、バッファ制御部１６４は、保存可能バッファサイズBが、バッファ内データサイズbi以上ではないと判定した場合、処理を、ステップＳ７４に進める。
【０１６１】
ステップＳ７４では、バッファ制御部１６４は、バッファ内データサイズbiが、保存可能バッファサイズB以下となるように、送信バッファ１６４a内のパケットを破棄し、処理をステップＳ７１に戻し、それ以降同様の処理が行なわれる。
【０１６２】
なお、ステップＳ７４では、図７に示したように、パケットに対して、破棄する際の優先度を付加するようにし、その優先度に応じてパケットを破棄する順序を決めるようにしてもよい。
【０１６３】
また、ステップＳ７３において、保存可能バッファサイズBがバッファ内データサイズbi以上であると判定された場合、処理はステップＳ７５に進められる。
【０１６４】
ステップＳ７５において、変調部１６５は、バッファ制御部１６４からのパケットを、レート制御部１６３から通知される変調方式で変調し、変調後のパケットを送信部１６６に供給する。
【０１６５】
ステップＳ７６において、送信部１６６は、変調部１６５からのパケットを、レート制御部１６３から通知される送信レートRで送信する。
【０１６６】
ステップＳ７７において、レート制御部１６３が送信レートRを、バッファ制御部１６４が保存可能バッファサイズBを調整する第２のレート制御処理が行なわれる。この第２のレート制御処理の詳細は、図１１のフローチャートを参照して後述する。
【０１６７】
ステップＳ７８において、NIC１４２の図示せぬ制御部は、パーソナルコンピュータ１４１からの制御信号等に基づいて、第２の送信処理を終了するか否かを判定し、第２の送信処理を終了しないと判定した場合、処理をステップＳ７１に戻し、それ以降同様の処理が行なわれる。
【０１６８】
また、ステップＳ７８において、NIC１４２の図示せぬ制御部は、第２の送信処理を終了すると判定した場合、第２の送信処理は終了される。
【０１６９】
以上説明したように、第２の送信処理によれば、パケットを送受信するためのデータ伝送路の状況に応じて、送信レートRを調整するようにしたので、データ伝送路の状況に拘らず、パケットの伝送遅延やパケット損失を抑止することができる。よって、パケットの伝送遅延やパケット損失に起因して、画像データの画質が劣化する事態を抑止することが可能となる。
【０１７０】
また、第２の送信処理によれば、送信レートRの調整に応じて、保存可能バッファサイズBを変更するようにして、送信バッファ１６４aの送信バッファ時間を一定時間Tに維持するようにした。このため、データ伝送路の状況に拘らず、画像データを低遅延で伝送することが可能となる。
【０１７１】
次に、図１１のフローチャートを参照して、図１０のステップＳ７７における第２のレート制御処理の詳細を説明する。
【０１７２】
ステップＳ９１において、レート制御部１６３は、受信部１６１及び送信部１６６から伝送品質情報を取得する。なお、受信部１６１は、パケットの受信状況等に基づいて伝送品質情報を生成してレート制御部１６３に供給し、送信部１６６は、パケットの送信状況等に基づいて伝送品質情報を生成してレート制御部１６３に供給する。
【０１７３】
ステップＳ９２において、レート制御部１６３は、受信部１６１及び送信部１６６からの伝送品質情報に基づいて、送信レートR及び変調方式を調整する。そして、レート制御部１６３は、調整後の送信レートRを、バッファ制御部１６４及び送信部１６６に供給し、調整後の変調方式を、変調部１６５に供給する。
【０１７４】
ステップＳ９３において、バッファ制御部１６４は、レート制御部１６３からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、式（１）を用いて、送信バッファ１６４aの保存可能バッファサイズBを算出して調整する。
【０１７５】
ステップＳ９４において、バッファ制御部１６４は、算出した保存可能バッファイサイズBから、送信バッファ１６４a内のデータのバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１５１に通知する。また、バッファ制御部１６４は、レート制御部１６３からの送信レートRを、符号化部１５１に通知する。これにより、符号化部１５１は、バッファ制御部１６４から通知される送信レートR及び残りバッファサイズbrに基づいて、データ生成レートを算出し、算出したデータ生成レートで符号化処理を行う。
【０１７６】
以上で第２のレート制御処理は終了され、図１０のステップＳ７７にリターンされ、ステップＳ７８に進められる。
【０１７７】
次に、図１２のフローチャートを参照して、NIC１４２が行う受信処理（以下、第２の受信処理という）について説明する。
【０１７８】
ステップＳ１１１において、受信部１６１は、外部から送信されてくるパケットを受信する。ステップＳ１１２において、受信部１６１は、受信したパケットを、受信バッファ１６２に供給して保存させる。
【０１７９】
ステップＳ１１３において、受信バッファ１６２は、受信部１６１からのパケットを一時的に保存して、パーソナルコンピュータ１４１の復号部１５２に出力する。
【０１８０】
ステップＳ１１４において、NIC１４２の図示せぬ制御部は、パーソナルコンピュータ１４１からの制御信号等に基づいて、第２の受信処理を終了するか否かを判定し、第２の受信処理を終了しないと判定した場合、処理をステップＳ１１１に戻し、それ以降同様の処理が行なわれる。
【０１８１】
また、ステップＳ１１４において、NIC１４２の図示せぬ制御部は、第２の受信処理を終了すると判定した場合、第２の受信処理は終了される。
【０１８２】
＜３．第３の実施の形態＞
次に、図１３は、低遅延データ伝送が可能な無線中継装置の一例を示している。
【０１８３】
この無線中継装置１８１は、例えば、ネットワークとパーソナルコンピュータとの間で送受信される画像データ等を中継する無線LANアクセスポイントである。
【０１８４】
無線中継装置１８１は、宛先解析部１９１、通常伝送デバイス１９２1乃至１９２N、及び低遅延伝送デバイス１９３から構成される。
【０１８５】
宛先解析部１９１は、通常伝送デバイス１９２1乃至１９２N、及び低遅延伝送デバイス１９３それぞれからのパケットに含まれるヘッダに記載された宛先アドレス（例えば、MACアドレス）の解析を行う。
【０１８６】
そして、宛先解析部１９１は、宛先アドレスの解析により得られるパケットの宛先（を表す情報）を、パケットの供給先（通常伝送デバイス１９２1乃至１９２N、又は低遅延伝送デバイス１９３のいずれか）に返送する。
【０１８７】
通常伝送デバイス１９２1は、パケットを受信し、宛先解析部１９１に供給する。また、通常伝送デバイス１９２1は、宛先解析部１９１からの宛先に対して、受信したパケットを送信する。なお、通常伝送デバイス１９２2乃至１９２Nは、通常伝送デバイス１９２1と同様に構成されるため、それらの説明は省略する。
【０１８８】
低遅延伝送デバイス１９３は、パケットを受信し、宛先解析部１９１に供給する。また、低遅延伝送デバイス１９３は、宛先解析部１９１からの宛先に対して、受信したパケットを送信する。なお、低遅延伝送デバイス１９３は、図８のNIC１４２と同様に構成されているため、宛先解析部１９１からの宛先に対して、低遅延でパケットを送信することができる。
【０１８９】
＜４．第４の実施の形態＞
[送受信システム２００の構成例]
図１４は、第４の実施の形態である送受信システム２００の構成例を示している。
【０１９０】
なお、この送受信システム２００は、第１の実施の形態である送受信システム１００と同様に構成されている部分については、同一の符号を付すようにしたので、それらの部分についての説明は、適宜省略する。
【０１９１】
すなわち、この送受信システム２００は、図１の送信装置１０１に代えて送信装置２０１が設けられている他は、第１の実施の形態である送受信システム１００と同様に構成される。
【０１９２】
そして、送信装置２０１は、バッファ制御部１１２、及びレート制御部１１５に代えて、送信バッファ２１１aを内蔵するバッファ制御部２１１、及びレート制御部２１２が設けられている他は、図１の送信装置１０１と同様に構成される。
【０１９３】
ここで、この送受信システム２００は、図１５Aに示されるように、送信バッファ２１１aにおいて、保存可能バッファサイズBnよりも小さな追加可能バッファサイズBsn以下のデータサイズで、送信バッファ２１１aにデータ（RTPパケット）を保存させるようにするものである。
【０１９４】
そして、送信レートRnから送信レートRn+1に調整されたことに応じて、図１５Bに示されるように、保存可能バッファサイズBnを、追加可能バッファサイズBsn以上の保存可能バッファサイズBn+1、すなわち、バッファ内データサイズbi以上の保存可能バッファサイズBn+1に変更するものである。
【０１９５】
第４の実施の形態では、このようにして、保存可能バッファサイズBn+1が、バッファ内データサイズbiよりも小さいサイズとなる事態を防止して、送信バッファ２１１a内のデータを破棄することなく、低遅延データ伝送を実現するものである。
【０１９６】
すなわち、第４の実施の形態では、送信バッファ２１１a内のデータが破棄されることを防止できる点が、第１の実施の形態とは大きく異なる。
【０１９７】
なお、第４の実施の形態では、保存可能バッファサイズBn+1を、追加可能バッファサイズBsn以上とするために、送信レートRを調整する際に、一定の制約が課せられることとなる。
【０１９８】
図１４において、バッファ制御部２１１は、保存可能バッファサイズBではなく、追加可能バッファサイズBsを超えない範囲内で、符号化部１１１からのRTPパケットを送信バッファ２１１aに保存して、FIFOで出力させる。
【０１９９】
また、バッファ制御部２１１は、レート制御部２１２からの送信レートRに基づいて、保存可能バッファサイズB及び追加可能バッファサイズBsを変更する。なお、バッファ制御部２１１においては、送信バッファ２１１a内のRTPパケットを破棄することなく、送信バッファ２１１a内にRTPパケットを保存したときから送信バッファ時間T以内に出力できるように、保存可能バッファサイズB及び追加可能バッファサイズBsが変更される。
【０２００】
送信バッファ２１１aは、保存可能バッファサイズBよりも小さな追加可能バッファサイズBsの範囲内で、符号化部１１１から出力されるRTPパケットを保存し、FIFOでRTP送信部１１３に出力する。
【０２０１】
レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づき、一定の制約下で、送信レートRを調整し、符号化部１１１、RTP送信部１１３及びバッファ制御部２１１に通知する。
【０２０２】
ここで、例えば、レート制御部２１２において、送信レートRを変更する際の制約として、送信レートRnを送信レートRn+1に変更したときのレート変更比率L(=Rn+1/Rn)が、予め決められたレート変更比率下限値Lmin以上であるという制約が課される。
【０２０３】
また、例えば、レート制御部２１２において、送信レートRを調整（変更）する際の制約として、送信レートRを低くするように変更したときからレート変更最小間隔Ti(sec)だけ、送信レートRの変更が制限（禁止）される。
【０２０４】
[バッファ制御部２１１及びレート制御部２１２の詳細]
次に、図１６は、バッファ制御部２１１及びレート制御部２１２が行う処理の詳細の一例を示している。
【０２０５】
バッファ制御部２１１は、レート制御部２１２からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、上述の式（１）を用いて保存可能バッファサイズBを変更する。
【０２０６】
また、バッファ制御部２１１は、送信バッファ閾値時間を、予め決められた一定時間Ts（以下、送信バッファ閾値時間Tsともいう）に維持するように、送信バッファ閾値時間Tsと、レート制御部２１２からの送信レートRに応じて、次式（２）を用いて、追加可能バッファサイズBsを変更する。
Bs (bit) = R(bps) ×Ts (sec)      ・・・（２）
【０２０７】
ここで、送信バッファ閾値時間Tsとは、追加可能バッファサイズBs以下のバッファ容量を満たす範囲内で、データが送信バッファ２１１aに保存されたときから出力されるまでに要する最大時間を表す。なお、送信バッファ閾値時間Tsは、送信バッファ時間Tよりも小さな値とされる。
【０２０８】
レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づいて、一定の制約下で、送信レートRを調整する。
【０２０９】
すなわち、例えば、レート制御部２１２は、送信レートRnを送信レートRn+1に変更（調整）したときのレート変更比率L(=Rn+1/Rn)が、レート変更比率下限値Lmin以上となるという変更条件を満たす範囲内で、送信レートRn+1を決定する。ここで、レート変更比率下限値Lminは、送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、次式（３）により決定される。
Ts ≦ T×Lmin                     ・・・（３）
【０２１０】
具体的には、例えば、レート制御部２１２は、図１のレート制御部１１５と同様にして、RTCP部１１４からの伝送品質情報に基づいて、送信レートRcを算出する。そして、レート制御部２１２は、送信レートRcが、上述の変更条件を満たす場合には、次式（４）に示されるように、送信レートRcをそのまま、変更後の送信レートRn+1に決定する。
Rc/Rn ≧ Lminの場合Rn+1 = Rc        ・・・（４）
【０２１１】
この場合、レート変更比率Lはレート変更比率下限値Lmin以上となり、変更条件を満たす。
【０２１２】
また、レート制御部２１２は、上述の変更条件を満たさない場合には、次式（５）に示されるように、送信レートRcを、変更条件を満たすように修正した上で、変更後の送信レートRn+1に決定する。
Rc/Rn < Lminの場合Rn+1 = Lmin×Rn  ・・・（５）
【０２１３】
この場合、レート変更比率Lはレート変更比率下限値Lminとなり、変更条件を満たす。
【０２１４】
なお、送信レートRが低くなるように調整された場合、図１５Bに示されるように、バッファ内データサイズbiが追加可能バッファサイズBsn+1よりも大きくなってしまうことが生じ得る。したがって、この場合、レート制御部２１２において、バッファ内データサイズbiが追加可能バッファサイズBsn+1以下となるまで、送信レートRの調整が制限される。
【０２１５】
具体的には、例えば、レート制御部２１２は、送信レートRを低くするように調整した場合、送信レートRを調整したときから、次式（６）に示されるレート変更最小間隔Ti(sec)を経過するまでの間、送信レートRの調整を制限（禁止）する。
Ti = T - Ts                      ・・・（６）
【０２１６】
ここで、レート変更最小間隔Tiは、送信レートRnが送信レートRn+1に変更されたときから、バッファ内データサイズbiが追加可能バッファサイズBsn+1以下となるまでに要する最大時間を表す。
【０２１７】
なお、送信レートRが高くなるように調整された場合、バッファ内データサイズbiが追加可能バッファサイズBsn+1よりも大きくなることはないので、レート制御部２１２において、送信レートRの調整を制限する必要はない。
【０２１８】
なお、第１の実施の形態では、符号化部１１１は、バッファ内データサイズbiが保存可能バッファサイズBよりも大きくなることを防止するように符号化パラメータを調整するようにした。この点について、第４の実施の形態では、符号化部１１１は、バッファ内データサイズbiが追加可能バッファサイズBsよりも大きくなることを防止するように符号化パラメータを調整する点が異なる。また、符号化部１１１は、上述の図１５Bにも示されるように、バッファ制御部２１１からの残りバッファサイズbr等に基づいて、バッファ内データサイズbiが追加可能バッファサイズBs以下となるまでは、RTPパケットをバッファ制御部２１１（送信バッファ２１１a）に出力しないものとする。
【０２１９】
[送信装置２０１の動作説明]
次に、図１７のフローチャートを参照して、送信装置２０１が行う送信処理（以下、第３の送信処理という）について説明する。
【０２２０】
ステップＳ１３１において、レート制御部２１２は、ユーザの設定操作等に応じて、送信バッファ時間T及び送信バッファ閾値時間Tsを設定する。また、レート制御部２１２は、設定された送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、式（３）を用いて、レート変更比率下限値Lminを設定する。
【０２２１】
さらに、レート制御部２１２は、設定された送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、式（６）を用いて、レート変更最小間隔Tiを設定する。
【０２２２】
ステップＳ１３２において、符号化部１１１は、外部からの画像データに対して、レート制御部２１２からの送信レートRに応じて算出したデータ生成レートで符号化処理を行う。
【０２２３】
ステップＳ１３３において、符号化部１１１は、例えば、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）するパケット化を行い、その結果得られる複数のRTPパケットを、バッファ制御部２１１に出力する。
【０２２４】
ステップＳ１３４において、バッファ制御部２１１は、符号化部１１１からのRTPパケットを、内蔵する送信バッファ２１１aに供給して保存させる。そして、バッファ制御部２１１は、レート制御部２１２から通知される送信レートRと同一の出力レートで、送信バッファ２１１aからRTP送信部１１３に対してRTPパケットをFIFOで出力する。
【０２２５】
ステップＳ１３５において、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、バッファ制御部２１１からのRTPパケットを送信可能であるか否かを判定し、送信可能であると判定するのを待って、処理をステップＳ１３６に進める。
【０２２６】
ステップＳ１３６において、RTP送信部１１３は、RTPに従って、バッファ制御部２１１からのRTPパケットを、レート制御部２１２により通知される送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
【０２２７】
ステップＳ１３７において、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置２０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部２１２に供給する。
【０２２８】
ステップＳ１３８において、レート制御部２１２は、前回の送信レートRの変更からレート変更最小間隔Ti以上経過したか否かを判定し、レート変更最小間隔Ti以上経過していないと判定した場合、処理をステップＳ１３５に戻し、それ以降同様の処理を繰り返す。
【０２２９】
また、ステップＳ１３８において、レート制御部２１２は、前回の送信レートRの変更からレート変更最小間隔Ti以上経過したと判定した場合、処理をステップＳ１３９に進める。
【０２３０】
なお、前回の送信レートRの変更により、送信レートが高く設定された場合には、レート変更最小間隔Ti以上経過するのを待つ必要がないので、ステップＳ１３８の処理をスキップするようにしてもよい。
【０２３１】
ステップＳ１３９において、符号化部１１１がデータ生成レートを、バッファ制御部２１１が保存可能バッファサイズB及び追加可能バッファサイズBsを、レート制御部２１２が送信レートRを調整する第３のレート制御処理が行なわれる。この第３のレート制御処理の詳細は、図１８のフローチャートを参照して詳述する。
【０２３２】
ステップＳ１４０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第３の送信処理を終了するか否かを判定し、第３の送信処理を終了しないと判定した場合、処理をステップＳ１３２に戻し、それ以降同様の処理が行なわれる。
【０２３３】
また、ステップＳ１４０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第３の送信処理を終了すると判定した場合、第３の送信処理は終了される。
【０２３４】
以上説明したように、第３の送信処理によれば、送信装置２０１において、送信レートRが低くなるように変更された場合でも、送信バッファ２１１a内のデータを破棄することなく、低遅延データ伝送を行えるようにした。
【０２３５】
このため、送信装置２０１により送信される画像データにおいて、送信バッファ２１１a内のデータが破棄されることにより、破棄されたデータ分だけ画質が劣化する事態を防止することが可能となる。
【０２３６】
したがって、受信装置１０２においては、例えば、送信装置２０１からのRTPパケットを低遅延で受信できるとともに、受信したRTPパケットを組み立てて復号することにより得られる、比較的、高画質な画像データを再生できるようになる。
【０２３７】
[第３のレート制御処理の詳細]
次に、図１８のフローチャートを参照して、図１７のステップＳ１３９における第３のレート制御処理の詳細について説明する。
【０２３８】
ステップＳ１６１において、レート制御部２１２は、RTCP部１１４からの伝送品質情報を取得する。なお、RTCP部１１４は、RTCPに従ってネットワーク１０３を介して、受信装置１０２のRTCP部１２４と通信を行い、送信装置２０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部２１２に供給する。
【０２３９】
ステップＳ１６２において、レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づいて、送信レートRcを算出する。
【０２４０】
ステップＳ１６３において、レート制御部２１２は、変更前の送信レートRnと、算出した送信レートRcに基づいて、レート変更比率L（=Rc/Rn）がレート変更比率下限値Lmin以上であるという条件を満たしているか否かを判定する。
【０２４１】
ステップＳ１６３において、レート制御部２１２は、レート変更比率Lがレート変更比率下限値Lmin以上であると判定した場合、処理をステップＳ１６４に進め、変更後の送信レートRn+1を送信レートRcとし、符号化部１１１、RTP送信部１１３、及びバッファ制御部２１１に供給する。
【０２４２】
また、ステップＳ１６３において、レート制御部２１２は、レート変更比率Lがレート変更比率下限値Lmin以上ではない場合、処理をステップＳ１６５に進め、送信レートRn+1を送信レートLmin×Rnとし、符号化部１１１、RTP送信部１１３、及びバッファ制御部２１１に供給する。
【０２４３】
ステップＳ１６６において、バッファ制御部２１１は、レート制御部２１２からの送信レートRと、送信バッファ時間Tに基づいて、式（１）を用いて、送信バッファ２１１aの保存可能バッファサイズBを算出して変更する。また、バッファ制御部２１１は、レート制御部２１２からの送信レートRと、送信バッファ閾値時間Tsに基づいて、式（２）を用いて、追加可能バッファサイズBsを算出して変更する。
【０２４４】
さらに、バッファ制御部２１１は、算出した保存可能バッファイサイズBから、送信バッファ２１１a内のデータのバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１１１に供給する。
【０２４５】
ステップＳ１６７において、符号化部１１１は、レート制御部２１２からの送信レートRと、バッファ制御部２１１からの残りバッファサイズbrに基づいて、データ生成レートを算出する。
【０２４６】
以上で第３のレート制御処理は終了され、図１７のステップＳ１３９にリターンされ、ステップＳ１４０に進められる。
【０２４７】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０２４８】
[コンピュータの構成例]
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２４９】
CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、又は記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU３０１、ROM３０２、及びRAM３０３は、バス３０４により相互に接続されている。
【０２５０】
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホン等よりなる入力部３０６、ディスプレイ、スピーカ等よりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０２５１】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０２５２】
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
【０２５３】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
【０２５４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア３１１、又は、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０２５５】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２５７】
なお、本開示の実施の形態は、上述した第１乃至第４の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５８】
１００  送受信システム，  １０１  送信装置，  １０２  受信装置，  １０３  ネットワーク，  １１１  符号化部，  １１２  バッファ制御部，  １１２a  送信バッファ，  １１３  RTP送信部，  １１４  RTCP部，  １１５  レート制御部，  １１６  制御部，  １１７  操作部，  １２１  RTP受信部，  １２２  受信バッファ，  １２３  復号部，  １２４  RTCP部，  １２５  制御部，  １２６  操作部，  １４１  PC，  １４２  NIC，  １５１  符号化部，  １５２  復号部，  １６１  受信部，  １６２  受信バッファ，  １６３  レート制御部，  １６４  バッファ制御部，  １６４a  送信バッファ，  １６５  変調部，  １６６  送信部，  １８１  無線中継装置，  １９１  宛先解析部，  １９２1乃至１９２N  通常伝送デバイス，  １９３  低遅延伝送デバイス，  ２００  送受信システム，  ２０１  送信装置，  ２１１  バッファ制御部，  ２１１a  送信バッファ，  ２１２  レート制御部
【図１】
0005664229.tif 000002
【図２】
0005664229.tif 000003
【図３】
0005664229.tif 000004
【図４】
0005664229.tif 000005
【図５】
0005664229.tif 000006
【図６】
0005664229.tif 000007
【図７】
0005664229.tif 000008
【図８】
0005664229.tif 000009
【図９】
0005664229.tif 000010
【図１０】
0005664229.tif 000011
【図１１】
0005664229.tif 000012
【図１２】
0005664229.tif 000013
【図１３】
0005664229.tif 000014
【図１４】
0005664229.tif 000015
【図１５】
0005664229.tif 000016
【図１６】
0005664229.tif 000017
【図１７】
0005664229.tif 000018
【図１８】
0005664229.tif 000019
【図１９】
0005664229.tif 000020