(57)【特許請求の範囲】
【請求項１】
非圧縮データを符号化して伝送する適応的符号化伝送装置において、
該非圧縮データの最初の予定区間は第１のレートで符号化し、該予定区間以降は第２のレート（ただし、第１のレート＜第２のレート）で符号化する符号化装置と、
該符号化装置で符号化されたデータを蓄積する蓄積装置とを具備したことを特徴とする適応的符号化伝送装置。
【請求項２】
前記第２のレートは、ネットワークの伝送レートと等しく、前記蓄積装置は該ネットワークの伝送レートで蓄積データを送出することを特徴とする請求項１に記載の適応的符号化伝送装置。
【請求項３】
請求項１又は２の適応的符号化装置から、ネットワークを介して伝送されてきたデータを受信する受信バッファと、
受信データの最初の予定区間は前記第１のレートで復号し、該予定区間以降は前記第２のレートで復号する復号装置とを具備したことを特徴とする受信装置。
【請求項４】
非圧縮データを符号化して伝送する適応的符号化伝送装置において、
該非圧縮データを符号化する符号化装置と、
該符号化装置により符号化されたデータからデータを削減するストリーム変換装置と、
該ストリーム変換装置から出力されたデータを蓄積する蓄積装置とを具備し、
前記ストリーム変換装置で、前記符号化データの最初の予定区間は第１の削減率でデータを削減し、該予定区間以降は第２の削減率（ただし、第１の削減率＞第２の削減率）で削減または削減しないようにしたことを特徴とする適応的符号化伝送装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動画像データや音声データ等の適応的符号化伝送装置および受信装置に関し、特に、インターネット等に使用して好適な適応的符号化伝送装置および受信装置に関する。
【０００２】
【従来の技術】
従来、有線のインターネットにおいて、ネットワーク輻輳を抑制する制御を備えた動画像伝送システムが開発されている。また、該動画像伝送システムにおいて、ＴＣＰ等の到達確認および再送機能付きトランスポートプロトコルを用いるものが提案されている。
【０００３】
さて、有線及び無線による通信にとらわれず、パケット通信を行う時には、パケットロスによる再送等に起因して、受信装置に届くデータに、データ到着揺らぎが生ずる。このデータ到着揺らぎを吸収するために、受信装置に受信バッファが設けられている。この受信バッファは、最初に多くのデータを蓄積されるほど、データ到着揺らぎに対する耐性が強くなる。
【０００４】
また、パケットロスが非常に多いとき等には、受信できるデータのスループットが低くなり、受信側の復号にデータの到着が間に合わなくなる恐れがある。この時、通常は、ネットワークの輻輳を抑制するために、ビデオのビットレートを下げる制御が行われている。まら、この時、コンテンツの継続時間が非常に長い時に、安定動作するように制御されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記した従来技術には、次のような問題がある。
【０００６】
(1)前記受信バッファに最初に多くのデータを蓄積するほどデータ到着揺らぎに対する耐性は強くなるが、反面、受信を開始してから該多くのデータを蓄積するまでに時間がかかり、動画像や音楽の再生開始までに時間がかかるという問題があった。
【０００７】
(2)前記したように、受信側の復号が滞りなく行われるように、システムは、コンテンツの継続時間が非常に長い時に、安定動作するように制御されている。しかし、例えば、携帯電話向けのサービス等を考えると、コンテンツの継続時間は比較的短い。よって、従来のシステムは、コンテンツ継続時間が比較的短い場合について、何らの配慮もされていないという問題があった。
【０００８】
本発明の目的は、前記した従来技術の問題を解消し、データ到着揺らぎに対する耐性は確保しながら、受信後、動画像や音楽等の再生を即時に開始できる適応的符号化伝送装置および復号装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、  非圧縮データを符号化して伝送する適応的符号化伝送装置において、該非圧縮データの最初の予定区間は第１のレートで符号化し、該予定区間以降は第２のレート（ただし、第１のレート＜第２のレート）で符号化する符号化装置と、該符号化装置で符号化されたデータを蓄積する蓄積装置とを具備した点に第１の特徴がある。
【００１０】
また、前記適応的符号化装置から、ネットワークを介して伝送されてきたデータを受信する受信バッファと、受信データの最初の予定区間は前記第１のレートで復号し、該予定区間以降は前記第２のレートで復号する復号装置とを具備した点に第２の特徴がある。
【００１１】
前記第１、２の特徴によれば、データ到着揺らぎに対する耐性は確保しながら、受信後、動画像や音楽等の再生を即時に開始できる符号化伝送装置と復号装置を提供することができる。
【００１３】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態のシステム構成を示すブロック図である。
【００１４】
図において、送信側装置１は、制御装置１１、符号化装置１２、および符号化データを蓄積する蓄積装置１３を含んでいる。また、受信側装置３は、受信バッファ３１、制御装置３２、および復号装置３３を含んでいる。前記送信側装置１と受信側装置３は、ネットワーク２で接続されている。
【００１５】
次に、本実施形態の動作を説明する。制御装置１１は、符号化装置１２の符号化ビットレートを制御する。該制御装置１１の動作を、図２を参照して説明する。符号化が開始されると、ステップＳ１では図示されていないタイマーがスタートする。ステップＳ２では、ｔ１秒経過したか否かの判断がなされる。この判断が否定の時には、ステップＳ３に進んで、符号化ビットレートを目標値Ｒのｘ％（０＜ｘ＜１００）に設定する。一方、前記判断が肯定になると、ステップＳ４に進んで、符号化ビットレートを目標値Ｒに設定する。
【００１６】
符号化装置１２は、前記制御装置から指示された符号化ビットレートで、非圧縮の動画像あるいは音声データａを符号化する。符号化されたデータは、蓄積装置１３にファイル名を付されて蓄積される。該蓄積装置１３に蓄積された符号化データは、図３に示されているように、時間０〜ｔ１は符号化ビットレートＲ×ｘ（％）で符号化したデータ、時間ｔ１以降は符号化ビットレートＲで符号化したデータとなる。
【００１７】
次に、前記受信側装置３から送信側装置１にデータの送信要求があると、蓄積装置１３はネットワーク２の伝送ビットレートで符号化データを最初から送信する。ここでは、該ネットワーク２の伝送ビットレート＝符号化装置の目標符号化ビットレートＲとする。
【００１８】
受信側装置３では、送信側装置１の蓄積装置１３に蓄積されているデータが、時間ｔ１までは符号化ビットレートＲ×ｘ（％）で符号化され、時間ｔ１以降は符号化ビットレートＲで符号化されていることが予め分かっているので、制御装置３２は図４に示されているような復号制御をする。すなわち、ステップＳ１１では、タイマーをスタートし、ステップＳ１２ではｔ１秒経過したか否かの判断をする。この判断が否定の時にはステップＳ１３に進んで、復号速度を、Ｒ×ｘ（％）とする。一方、該判断が肯定の時にはステップＳ１４に進んで、復号速度を、Ｒとする。
【００１９】
送信側装置１及び受信側装置３は前記した動作をするので、受信側装置３がデータの受信と同時に復号を開始しても、データ到着揺らぎに対する耐性は確保されることになる。すなわち、受信バッファ３１は、時間０〜ｔ１ではネットワーク２から伝送速度Ｒでデータを受信し、復号速度Ｒ×ｘ（％）で復号されるので、受信バッファ３１の蓄積量は、図５に示されているように、０〜ｔ１の間増加する。そして、ｔ１以降は、ネットワーク２から受信するデータ量と復号装置３３に送出するデータ量とは等しくなるので、一定となる。
【００２０】
なお、データ到着揺らぎを吸収するために必要とされる受信バッファ３１の蓄積量をＫビットとすると、前記時間ｔ１は、ｔ１＝Ｋ／Ｒ（１−ｘ／１００）とするのが好適である。
【００２１】
以上のように、本実施形態によれば、データ到着揺らぎに対する耐性を確保しつつ、受信側装置はデータの受信と同時に復号を開始することができるようになる。
【００２２】
次に、本発明の第２実施形態を図６を参照して説明する。この実施形態では、送信側装置は、符号化装置１２、制御装置１４、ストリーム変換装置１５、および蓄積装置１３を含んでいる。該ストリーム変換装置１５は、伝送されるデータのビットレートを削減する機能を有するものであり、その一具体例を図７に示す。
【００２３】
ストリーム変換装置１５は、図７に示されているように、符号化装置１２に入力されるデータが動画像である場合、符号化されたデータｂを、Ｉ、Ｐ、およびＢピクチャに分離し、次いで、該Ｉ、Ｐ、およびＢピクチャをそれぞれ低周波、高周波成分に分離する。分離された低周波、高周波成分は、それぞれ選択部１９に送られ、制御装置１４からの制御により、選択または削除される。この結果、該ストリーム変換装置１５からは、ビットレートを削減されたデータｃが出力される。
【００２４】
図８に、前記制御装置１４の動作例を示す。ステップＳ２１では、図示されていないタイマーが起動され、ステップＳ２２ではｔ１秒経過したか否かの判断がなされる。ステップＳ２３では、前記選択部によりＩ、ＰピクチャとＢピクチャの低周波成分を選択し、Ｂピクチャの高周波成分を削除する。前記の判断が肯定になると、ステップＳ２４に進んで、Ｉ、Ｐ、およびＢピクチャを選択して出力する。したがって、蓄積装置１３には、最初のｔ１秒間はビットレートの低いデータが蓄積され、ｔ１秒が経過すると、ビットレートの高いデータが蓄積されることになる。
【００２５】
次に、受信側装置は、受信バッファ３１、復号装置３３、および制御装置３４を含んでいる。該制御装置３４は、図９に示されているように、ステップＳ３２の判断が否定の時には、復号装置３３に対して，Ｉ、ＰピクチャおよびＢピクチャの低周波成分を復号する指示を出す。一方、該判断が肯定になると、ステップＳ３４に進んで、Ｉ、Ｐ、およびＢピクチャを復号する。
【００２６】
受信側装置からデータ送信の要請を受けると、送信側装置の蓄積装置１３からは、前記第１実施形態と同様に、ネットワーク２の伝送速度と等しい伝送速度でデータが読みだされて受信バッファ３１に送られるので、第１実施形態と同様の効果が得られることは明らかである。
【００２７】
次に、本発明の第３実施形態を、図１０を参照して説明する。図において、制御装置４１は、後述のようにして符号化ビットレートｃ(t)を求め、出力する。符号化装置４２は、該制御装置４１から指示された符号化ビットレートで、非圧縮の比較的短い有限長の動画像あるいは音声データａ（以下、有限コンテンツａと呼ぶ）を符号化する。符号化データｂは、送信装置４３により、ネットワーク４４へ送出される。
【００２８】
一方、受信側装置は、受信バッファ５１、該受信バッファ５１のデータ蓄積量を監視する監視装置５２、および復号装置５３等からなり、該監視装置５２は受信バッファ５１のデータ蓄積量τ(t)を制御装置４１に通知する。
【００２９】
ここで、前記制御装置４１は、次のようにして符号化ビットレートｃ(t)を求める。ある時刻ｔにおいて、有限コンテンツａの残り時間（まだ伝送していない分）をｒ(t)秒、受信バッファ５１の蓄積量の目標値をＴ(t)、受信バッファ５１に実際に蓄積されているデータ量をτ(t)、伝送ビットレートをｖ(t)とすると、有限コンテンツａの符号化ビットレートｃ(t)は次の(1)式で求められる。
Ｔ（ｔ＋Δｔ）＝τ(t)−Δｔ＋（ｖ(t)／ｃ(t)）×Δｔ  ・・・(1)
【００３０】
ここに、Δｔは、制御の時間解像度であり、例えば、１秒に１回の割合で制御する時には、Δｔ＝１とする。
【００３１】
前記受信バッファ５１の蓄積量の目標値Ｔ(t)は、データ伝送に伴うジッタを吸収する能力に関するパラメータであり、図１１の曲線ｐ１、ｐ２、・・・に示すように、時刻ｔ３〜ｔ２の間を任意の曲線とすることができる。ここに、ｔ２は有限コンテンツａの再生終了時刻を示す。なお、従来は、制御装置４１は、コンテンツの継続時間が非常に長い時に、安定動作するように制御していたので、直線ｑを採用していた。なお、図１１の縦軸は前記Ｔ(t)、横軸は時間ｔを示す。
【００３２】
図１２(a)、(b)は、受信バッファ５１のデータ受信完了時刻ｔ４と復号完了時刻ｔ５とを示す図であり、(a)図は従来,(b)図は本実施形態を示す。図から明らかなように、従来は前記曲線ｑの制御をしていたので、データの受信完了時刻ｔ４と復号完了時刻ｔ５とは一致しないが、本実施形態では前記曲線ｐ１、ｐ２、・・・の制御をするので、データの受信完了時刻ｔ４と復号完了時刻ｔ５とは一致することになる。
【００３３】
本実施形態では、図１１の曲線ｐ１、ｐ２、・・・に見られるように、時刻ｔ３からＴ(t)の削減を開始し、時刻ｔ２でＴ(t)＝０になるようにしているので、ｔ３〜ｔ２の期間は、前記(1)式から明らかなように、コンテンツａの符号化ビットレートｃ(t)を大きくすることができる。換言すれば、受信バッファが最終的に空になっても良いので、符号化ビットレートをより高くすることができ、画質を向上することができる。また、本実施形態では、コンテンツ継続時間が比較的短いデータ（有限コンテンツ）に適した制御を行うようにしたので、従来より高い品質のデータを伝送できるようになる。
【００３４】
以上のように、前記第１、第２実施形態によれば、受信側から送信側に動画像や音声データの送信要求があると、受信側は受信データを受信と同時に復号することができるようになり、小さな待ち時間で、受信者に動画像や音楽を提供することができるようになる。また、前記第３実施形態によれば、コンテンツ継続時間が比較的短いデータを利用する携帯電話機などの移動機の利用者に、高品質の動画像や音楽を提供できるようになる。
【００３５】
【発明の効果】
以上の説明から明らかなように、本発明によれば、受信装置は、データ到着揺らぎに対する耐性を確保しながら、受信データをその受信と同時に復号できるようになる。このため、動作の信頼性を確保しつつ、殆ど待ち時間なく動画像や音楽を移動機などの受信者に提供できるようになる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の概略の構成を示すブロック図である。
【図２】図１の送信側の制御装置の動作を示すフローチャートである。
【図３】図１の符号化装置で符号化されたデータの概念図である。
【図４】図１の受信側の制御装置の動作を示すフローチャートである。
【図５】受信バッファの蓄積量を示すグラフである。
【図６】本発明の第２実施形態の概略の構成を示すブロック図である。
【図７】図６のストリーム変換装置の一具体例を示すブロック図である。
【図８】図６の送信側の制御装置の動作を示すフローチャートである。
【図９】図６の受信側の制御装置の動作を示すフローチャートである。
【図１０】本発明の第３実施形態の概略の構成を示すブロック図である。
【図１１】受信バッファ蓄積量の目標値を示すグラフである。
【図１２】受信完了時刻と復号完了時刻の関係を示す図である。
【符号の説明】
１・・・送信側装置、２、４４・・・ネットワーク、３・・・受信側装置、１１、１４、３２、３４、４１・・・制御装置、１２、４２・・・符号化装置、１３・・・蓄積装置、３１、５１・・・受信バッファ、３３、５３・・・復号装置、１５・・・ストリーム変換装置、５２・・・監視装置。
【図１】
0004591939.tif 000002
【図２】
0004591939.tif 000003
【図３】
0004591939.tif 000004
【図４】
0004591939.tif 000005
【図５】
0004591939.tif 000006
【図６】
0004591939.tif 000007
【図７】
0004591939.tif 000008
【図８】
0004591939.tif 000009
【図９】
0004591939.tif 000010
【図１０】
0004591939.tif 000011
【図１１】
0004591939.tif 000012
【図１２】
0004591939.tif 000013