(57)【要約】【課題】従来、受信再生器のデータ蓄積バッファのデータ残量管理や映像音声データ通信の遅延によってデータ再生の途切れ問題があった。【解決手段】ネットワークを経由して映像音声データを配信する映像音声サーバと、蓄積バッファを備え、ネットワークより前記映像音声データを受信し前記蓄積バッファに格納する中継器と、受信バッファを備え、前記中継器より送信される前記映像音声データを受信し前記受信バッファに格納し、または再生する受信再生器と、から構成され、前記受信再生器において前記受信バッファに再生すべきデータが無いと判断さえた場合には、前記受信再生器は前記中継器に対して前記受信バッファにデータが無いこと通知し、前記中継器は前記受信再生器に対して音声データを送信する映像音声データ通信制御システムである。【選択図】図１
2006197163.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを経由して映像音声データを配信する映像音声サーバと、
蓄積バッファを備え、ネットワークより前記映像音声データを受信し前記蓄積バッファに格納する中継器と、
受信バッファを備え、前記中継器より送信される前記映像音声データを受信し前記受信バッファに格納し、または再生する受信再生器と、
から構成され、
前記受信再生器において前記受信バッファに再生すべきデータが無いと判断さえた場合には、
前記受信再生器は前記中継器に対して前記受信バッファにデータが無いこと通知し、
前記中継器は前記受信再生器に対して音声データを送信する
ことを特徴とする映像音声データ通信制御システム。
【請求項２】
ネットワークを経由して映像音声データを配信する映像音声サーバと、
蓄積バッファを備え、ネットワークより前記映像音声データを受信し前記蓄積バッファに格納する中継器と、
受信バッファを備え、前記中継器より送信される前記映像音声データを受信し前記受信バッファに格納し、または再生する受信再生器と、
から構成され、
前記受信再生器においてデータ受信が遅延していると判断した場合には、
前記受信再生器は前記中継器に対して音声データの受信が遅延していること通知し、
前記中継器は前記受信再生器に対して音声データを送信する
ことを特徴とする映像音声データ通信制御システム。
【請求項３】
前記中継器は、
映像音声データをネットワークから受信する映像音声データ受信手段Ａと、
受信した前記映像音声データを格納する前記蓄積バッファと、
前記映像音声データを前記蓄積バッファから読み出して前記受信再生器に送出する映像音声データ送信手段と、
を備え、
前記受信再生器は、
映像音声データをネットワークから受信する映像音声データ受信手段Ｂと、
受信した前記映像音声データを格納する前記受信バッファと、
前記受信バッファから映像音声データを出力する映像音声出力手段と、
前記受信バッファの使用状況の情報を管理し、前記中継器に通知するバッファ情報通信手段と、
を備え、
前記中継器は前記バッファ情報通信手段よりの前記受信バッファの使用状況に基づいて、前記映像音声データ送信手段より送信される音声データの送信タイミングを制御することを特徴とする請求項１に記載の映像音声データ通信制御システム。
【請求項４】
前記中継器は、
映像音声データをネットワークから受信する映像音声データ受信手段Ａと、
受信した前記映像音声データを格納する前記蓄積バッファと、
前記映像音声データを前記蓄積バッファから読み出して前記受信再生器に送出する映像音声データ送信手段と、
を備え、
前記受信再生器は、
映像音声データをネットワークから受信する映像音声データ受信手段Ｂと、
受信した前記映像音声データを格納する前記受信バッファと、
前記受信バッファから映像音声データを出力する映像音声出力手段と、
前記映像音声データの受信に関する時間情報を管理し、前記中継器に通知する時間管理手段と、
を備え、
前記中継器は前記時間管理手段よりの前記映像音声データの受信に関する時間情報に基づいて、前記映像音声データ送信手段より送信される音声データの送信タイミングを制御することを特徴とする請求項２に記載の映像音声データ通信制御システム。
【請求項５】
前記中継器は、少なくとも
映像音声データをネットワークから受信する映像音声データ受信ステップと、
前記受信再生器からの通知データを受信したことを判断するステップと、
前記受信再生器からの通知データに基づいて前記受信再生器へ映像データまたは音声データを送信するステップの、
処理手順を含み、
前記受信再生器は、少なくとも
前記受信バッファの使用状況の情報を管理するステップと、
前記中継器に受信バッファの使用状況の情報を通知するステップと、
前記受信バッファから映像音声データを出力するステップの、
処理手順を含むことを特徴とする請求項１に記載の映像音声データ通信制御システム。
【請求項６】
前記中継器は、少なくとも
映像音声データをネットワークから受信する映像音声データ受信ステップと、
前記受信再生器からの通知データを受信したことを判断するステップと、
前記受信再生器からの通知データに基づいて前記受信再生器へ映像データまたは音声データを送信するステップの、
処理手順を含み、
前記受信再生器は、少なくとも
前記前記映像音声データの受信に関する時間情報を管理するステップと、
前記中継器に前記映像音声データの受信に関する時間情報を通知するステップと、
前記受信バッファから映像音声データを出力するステップの、
処理手順を含むことを特徴とする請求項１に記載の映像音声データ通信制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像音声データのデータ通信制御システムに関するものである。
【背景技術】
【０００２】
一般にネットワークを用いた映像音声データ通信を行うシステムでは、例えば、図７のように映像音声サーバ１００からネットワークに映像音声データが送信され、受信器４００がその映像音声データを受信して、一旦受信バッファ４１０に蓄積する。そして受信器４００は受信バッファ４１０から映像音声データを取り出し、再生する映像音声データを映像音声再生器５００に対して出力する。このようなシステムの場合、映像音声サーバ１００の映像音声データの送出時間やネットワーク上の通信時間のゆらぎによって、映像音声データが受信器４００へ到着する受信時間が変動するため、受信バッファ４１０に再生すべきデータが無い、または満杯の状態になる可能性がある。受信バッファ４１０に再生すべきデータが無くなった場合、映像音声再生装置５００での映像音声データの再生が途切れてしまう。このような映像音声データの再生途の切れを防ぐため映像音声データを格納する受信バッファ４１０のバッファサイズを大きくするなどの方法が用いられている。
【０００３】
しかし、バッファサイズが大きい場合、映像音声データを受信開始してから、バッファにデータを蓄積して、実際に再生を開始するまでの時間が増大してしまう。またバッファに使用される記憶領域のサイズが大きくなり、コストが上がってしまう。
【０００４】
一方、図１０のように映像音声データの通信を中継する中継器２００に蓄積バッファ２１０を持たせて、映像音声データの受信時間の揺らぎを吸収させる方法も考えられる。この場合、中継器２００の蓄積バッファ２１０と受信再生器３００の受信バッファ３１０のバッファサイズを小さくすれば、バッファのコストを抑えることができるが、バッファサイズが小さいためバッファが満杯になる、またはバッファに再生すべきデータが無い状態になる可能性が高くなる。
【０００５】
例えば、図１１（Ａ）のように、映像音声サーバ１００から映像音声データが２周期毎に送信され、中継器２００は、映像音声サーバ１００から受信した映像音声データを次の周期に受信再生器３００に送信し、さらに受信再生器３００は受信した映像音声データを次の周期に再生する場合、中継器２００と受信再生器３００の蓄積バッファ２１０，受信バッファ３１０の各バッファの使用状況は図１１（Ｂ）のようになる。
【０００６】
しかし、例えば、図１２（Ａ）のように、第２周期において映像音声サーバ１００から映像音声データが送信されなかった場合には、第３周期と第４周期において図１２（Ｂ）のように受信再生器３００の受信バッファ３１０に再生すべきデータが無い状態となり、映像音声データを再生することができなくなる。特に音声データの再生が途切れた場合にはノイズとなり、人間の聴覚的にもわかり易いため問題となる。また音声と映像の再生時間がズレた場合においても、音声は映像よりも時間的に認識し易いため、音声データの遅延やゆらぎは重要な問題である。
【０００７】
そこで、そのような映像音声データの通信時間の遅延や揺らぎをできるだけ抑えるために、ネットワークの通信プロトコルを用いて制御する方法（ＲＴＣＰ等）が提案されている。ＲＴＣＰでは映像音声データの送信側と受信側の間で一定時間毎に通信状態を通知する。例えば、受信側から受信時間間隔や受信データ数などの情報を送信側へ通知し、受信時間間隔が増大した場合、送信側で送信時間を早める、また送信時間間隔を小さくすることによって、受信側での受信時間間隔の短縮を図る。
【０００８】
しかし、このような方法では一般に数秒から数十秒の時間間隔で通信状態を通知するので、数ミリ秒以下の時間間隔で映像音声データが通信されている場合、わずか数十ミリ秒程度の通信遅延が発生しただけで、直ちに受信側の受信バッファには再生すべきデータが無い状態になってしまう。また、このようなバッファの問題を防ぐため映像音声データの通信と同じ程度の時間間隔（例えば数ミリ秒）で制御用データの通信を行った場合、映像音声データの通信と制御用データの通信の頻度が同程度になるため返って通信時間の揺らぎや遅延を増大させてしまう可能性が高くなってしまう。
【特許文献１】特開２００３−４６９０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記のように、従来の映像音声データ通信制御システムでは、通信の揺らぎや遅延に対して、どのようにして映像音声データの通信を制御するか、という課題があった。
【００１０】
本発明はかかる点に鑑み、受信側のバッファ使用状況や受信遅延など情報を通信することによって、リアルタイムな音声データの通信制御を行う、映像音声データ通信制御システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
この課題を解決するために、請求項１に記載の本願第１の発明の映像音声データ通信制御システムは、ネットワークを経由して映像音声データを配信する映像音声サーバと、蓄積バッファを備え、ネットワークより前記映像音声データを受信し前記蓄積バッファに格納する中継器と、受信バッファを備え、前記中継器より送信される前記映像音声データを受信し前記受信バッファに格納し、または再生する受信再生器と、から構成され、前記受信再生器において前記受信バッファに再生すべきデータが無いと判断さえた場合には、前記受信再生器は前記中継器に対して前記受信バッファにデータが無いこと通知し、前記中継器は前記受信再生器に対して音声データを送信することを特徴とするものである。
【００１２】
また、請求項２に記載の本願第２の発明の映像音声データ通信制御システムは、ネットワークを経由して映像音声データを配信する映像音声サーバと、蓄積バッファを備え、ネットワークより前記映像音声データを受信し前記蓄積バッファに格納する中継器と、受信バッファを備え、前記中継器より送信される前記映像音声データを受信し前記受信バッファに格納し、または再生する受信再生器と、から構成され、前記受信再生器においてデータ受信が遅延していると判断した場合には、前記受信再生器は前記中継器に対して音声データの受信が遅延していること通知し、前記中継器は前記受信再生器に対して音声データを送信することを特徴とするものである。
【発明の効果】
【００１３】
本発明によれば、映像音声データの通信状態の影響を軽減した、リアルタイムな音声データの再生を行うことができる。
【発明を実施するための最良の形態】
【００１４】
（実施の形態１）
図１から図４は本発明の映像音声データ通信制御システムを利用した第１の実施の形態を示す図である。
【００１５】
図１は本発明の映像音声データ通信制御システムのブロック図である。図２は映像音声データの通信制御の時間関係を示している。図３は中継器２００の処理フローを示している。図４は受信再生器３００の処理フローを示している。
【００１６】
実施の形態１のデータ通信制御システムについて、図１から図４を用いて説明する。
【００１７】
図１において、映像音声サーバ１００はネットワークを経由して映像音声データをまず中継器２００に送信する。中継器２００は映像音声データを映像音声データ受信手段Ａ２１１で受信し、蓄積バッファ２１０に一旦格納し、映像音声データ送信手段２１２より映像または音声データとして受信再生器３００へ送信する。
【００１８】
受信再生器３００では、中継器２００より送信された映像または音声データを映像音声データ送信手段Ｂ３１１で受信し受信バッファ３１０に一旦格納し、映像音声出力手段３１２で映像音声データを再生し出力する。
【００１９】
一方、バッファ情報通信手段３１３では受信バッファ３１０に再生すべき映像音声データの残量、消費状況の情報を管理し中継器２００に通知する。中継器２００では受信した受信バッファ３１０の管理情報に基づいて映像音声データ送信手段２１２より送信される音声データの送信タイミングを制御する。受信バッファ３１０に再生すべき映像音声データの残量が無い場合は次の送信タイミングを待たずに直ちに音声データを受信再生器３００へ送信する。
【００２０】
図２（Ａ）のように、映像音声データの通信は１周期の時間単位で処理される場合を考える。時刻０に映像音声サーバ１００から映像音声データが中継器２００へ送信された後、中継器２００で受信されて、第１周期目に中継器２００から音声データが受信再生器３００へ送信される。第２周期目に音声データは受信再生器３００から再生出力される。
【００２１】
また図２（Ｂ）は中継器２００の蓄積バッファ２１０と受信再生器３００の受信バッファ３１０の格納状態を示している。
【００２２】
受信再生器３００の動作について図４の処理フローに従って説明する。
【００２３】
まず受信再生器３００では、受信バッファ３１０に再生すべきデータがあるかどうか判断する（Ｓ２１）。受信バッファ３１０に再生すべきデータが無い場合、受信バッファ３１０に再生すべきデータが無いことを中継器２００に通知するため、受信再生器３００より受信バッファ３１０に再生すべきデータが無いという情報を中継器２００に送信する（Ｓ２２）。
【００２４】
例えば、図２（Ａ）において、第２周期と第３周期の間にある、右上がりの矢印は、受信バッファ３１０に再生すべきデータが無いという情報を中継器２００に送信していることを示している。
【００２５】
また、受信再生器３００では受信バッファ３１０に再生すべきデータが残っている場合には、中継器２００から送信される音声データを受信するまで待機する（Ｓ２３）。
【００２６】
仮に受信バッファ３１０に再生すべきデータが無いという情報を中継器２００に送信する上記のような処理がない場合、中継器２００からの音声データの受信が遅延し、受信バッファ３１０に再生すべきデータが無い状態である時間が延びることになる。
【００２７】
受信再生器３００が中継器２００からの音声データを受信した場合には受信バッファ３１０に格納する。そして１周期分の時間の経過を待機した後（Ｓ２４）、音声データを再生出力する（Ｓ２５）。さらに音声データの再生を中止する場合には全ての処理を終了する（Ｓ２６）。再生を継続する場合には、これまでの処理を繰り返す。
【００２８】
次に図３の処理フローに従って、中継器２００の処理について説明する。
【００２９】
中継器２００ではネットワークからデータを受信するまで待機し、第１周期以内にデータを受信し（Ｓ１１）、その受信データが受信再生器３００からのデータでない、即ち、映像音声サーバ１００からの映像音声データと判断された場合、映像音声データから音声データを抽出し蓄積バッファ２１０に格納する。１周期分の時間が経過するまで待機した後（Ｓ１３）、受信再生器３００に対して音声データを送信する（Ｓ１４）。
【００３０】
さらに、中継器２００で映像音声データの中継を中止する場合には全処理を終了する（Ｓ１５）。中継を継続する場合、Ｓ１１からの処理を繰り返す。
【００３１】
また、ネットワークから受信したデータが受信再生器３００からの受信バッファ３１０に再生すべきデータが無いという通知のデータであった場合（Ｓ１２）、中継器２００は受信再生器３００に対して、第３周期と第４周期の間に音声データを送信する（Ｓ１４）。
【００３２】
このようにして、仮に受信再生器３００の受信バッファ３０１に再生すべきデータが無い場合であっても、受信再生器３００が直ちに中継器２００に対して、バッファに再生すべきデータが無いという情報を通知することによって、受信再生器３００では１周期以内に中継器２００から音声データを受信することができ、次の周期には音声データを再生出力できることになる。
【００３３】
このように、受信再生器３００の受信バッファ３１０の使用状況に関する情報を、中継器２００に対して送信することによって、映像音声データの通信状態の影響を軽減した、音声データの再生途切れのないリアルタイムな音声データの再生を行うことができる。
【００３４】
以上のように、本実施の形態によれば、データ受信の遅延情報をリアルタイムに通信して制御することによって、再生の途切れが発生しないような、映像音声データ通信を実現することができる。
【００３５】
（実施の形態２）
図５から図８は本発明の映像音声データ通信制御システムを利用した第２の実施の形態を示す図である。
【００３６】
図５は本発明の映像音声データ通信制御システムのブロック図である。図６は映像音声データの通信制御の時間関係を示している。図７は中継器２００の処理フローを示している。図８は受信再生器３００の処理フローを示している。
【００３７】
実施の形態２のデータ通信制御システムについて、図５から図８を用いて説明する。
【００３８】
図８において、映像音声サーバ１００はネットワークを経由して映像音声データをまず中継器２００に送信する。中継器２００は映像音声データを映像音声データ受信手段Ａ２１１で受信し、蓄積バッファ２１０に一旦格納し、映像音声データ送信手段２１２より映像または音声データとして受信再生器３００へ送信する。
【００３９】
受信再生器３００では、中継器２００より送信された映像または音声データを映像音声データ送信手段Ｂ３１１で受信し受信バッファ３１０に一旦格納し、映像音声出力手段３１２で映像音声データを再生し出力する。
【００４０】
一方、時間管理手段３１４では受信した映像音声データの受信遅れ具合を管理し中継器２００に通知する。中継器２００では受信した映像音声データの時間管理情報に基づいて映像音声データ送信手段２１２より送信される音声データの送信タイミングを制御する。受信した映像音声データの受信遅れが一単位周期またはそれ以上遅れが生じた場合は次の送信タイミングを待たずに直ちに音声データを受信再生器３００へ送信する。
【００４１】
図６（Ａ）のように、映像音声データが２周期毎に映像音声サーバ１００から中継器２００へ送信され、さらに受信再生器３００へ送信されて再生出力される。
【００４２】
仮に図６（Ａ’）のように、映像音声サーバ１００からの映像音声データの送信が、時間０から第１周期近く遅れて送信され、第２周期目に中継器２００から受信再生器３００へ音声データが送信されたとする。
【００４３】
図６（Ｂ’）はこの時の中継器２００の蓄積バッファ２１０と受信再生器３００の受信バッファ３１０の格納状態を示している。
【００４４】
このように中継器２００に対して映像音声データの受信が遅延している場合について、図８の処理フローに従って説明する。
【００４５】
受信再生器３００では、データ受信が遅延しているかどうか判断し（Ｓ４１）、遅延していた場合、中継器２００に対して音声データの受信が遅延しているという情報を中継器２００に送信する（Ｓ４２）。
【００４６】
図６（Ａ’）においては、第２周期と第３周期の間にある、右上がりの矢印は、中継器２００に対して映像音声データの受信が遅延しているという情報を中継器２００に送信することを示している。
【００４７】
受信が遅延していない場合には、受信再生器３００は中継器２００から送信される音声データを受信するまで待機する（Ｓ４３）。
【００４８】
以下実施の形態１の図４の説明と同様に、受信再生器３００が中継器２００からの音声データを受信した場合には受信バッファ３１０に格納する。そして１周期分の時間の経過を待機した後（Ｓ４４）、音声データを再生出力する（Ｓ４５）。さらに音声データの再生を中止する場合には全ての処理を終了する（Ｓ４６）。再生を継続する場合には、これまでの処理を繰り返す。
【００４９】
仮に、受信遅延であるという情報を中継器２００に送信する上記のような処理がない場合、中継器２００からの音声データの受信が遅延し、受信バッファ３１０に再生すべきデータが無い状態のままであるため音声データを出力できない。
【００５０】
次に図７の処理フローに従って、中継器２００の処理について説明する。
【００５１】
中継器２００ではネットワークからのデータを受信するまで待機し、第１周期以内にデータを受信して（Ｓ３１）、その受信データが映像音声サーバ１００からの映像音声データと判断された場合には、実施の形態１で説明したのと同様に、受信再生器３００に対して音声データを送信するか、また全処理を終了する（Ｓ３２〜Ｓ３５）。
【００５２】
ネットワークから受信したデータが受信再生器３００からの受信遅延の通知データであった場合（Ｓ３２）、図６（Ａ’）の第２周期と第３周期の間のように、中継器２００は直ちに受信再生器３００に対して、音声データを送信する（Ｓ３４）。
【００５３】
このようにして、仮に受信再生器３００のデータ受信が遅延した場合、直ちに中継器２００に対して、データ受信遅延の情報を通知することによって、受信再生器３００では１周期以内に中継器２００から音声データを受信することができ、次の周期には音声データを再生出力できることになる。
【００５４】
このように、受信再生器３００の受信バッファ３１０の使用状況に関する情報を、中継器２００に対して送信することによって、映像音声データの通信状態の影響を軽減した、音声データの再生途切れのないリアルタイムな音声データの再生を行うことができる。
【００５５】
以上のように、本実施の形態によれば、バッファの使用状況の情報をリアルタイムに通信して制御することによって、遅延などの影響を受けにくい映像音声データ通信を実現することができる。
【００５６】
なお、図１，図５の中継器２００と受信再生器３００との間の通信経路において、映像データ、音声データ、受信バッファの使用状況の情報、受信データに関する時間情報の各データを直接入出力するように表示したが、映像データ、音声データを合成、変調して伝送することも可能であり、また映像音声サーバ１００と中継器２００との通信のようにネットワークを介して通信、データ伝送をすることも可能であることはいうまでもない。
【産業上の利用可能性】
【００５７】
本発明にかかる映像音声データ通信制御システムは、ネットワークの通信の遅延や揺らぎの影響を防ぐためリアルタイムな映像音声データの通信を行う上で有用である。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態１の映像音声データ通信制御システムのブロック図
【図２】本発明の実施の形態１の映像音声データの通信の時間関係を示す図
【図３】本発明の実施の形態１の中継器の処理フローを示す図
【図４】本発明の実施の形態１の受信再生器の処理フローを示す図
【図５】本発明の実施の形態２の映像音声データの通信制御システムのブロック図
【図６】本発明の実施の形態２の映像音声データの通信の時間関係を示す図
【図７】本発明の実施の形態２の中継器の処理フローを示す図
【図８】本発明の実施の形態２の受信再生器の処理フローを示す図
【図９】従来の映像音声データ通信の構成を示す図
【図１０】映像音声データ通信の構成を示す図
【図１１】従来の映像音声データ通信の時間関係を示す図
【図１２】従来の映像音声データ通信の時間関係を示す図
【符号の説明】
【００５９】
１００  映像音声サーバ
２００  中継器
２１０  蓄積バッファ
２１１  映像音声データ受信手段Ａ
２１２  映像音声データ送信手段
３００  受信再生器
３１０  受信バッファ
３１１  映像音声データ送信手段Ｂ
３１２  映像音声出力手段
３１３  バッファ情報通信手段
３１４  時間管理手段
４００  受信器
５００  映像音声再生器
【図１】
2006197163.tif 000003
【図２】
2006197163.tif 000004
【図３】
2006197163.tif 000005
【図４】
2006197163.tif 000006
【図５】
2006197163.tif 000007
【図６】
2006197163.tif 000008
【図７】
2006197163.tif 000009
【図８】
2006197163.tif 000010
【図９】
2006197163.tif 000011
【図１０】
2006197163.tif 000012
【図１１】
2006197163.tif 000013
【図１２】
2006197163.tif 000014