(57)【要約】【課題】音声パケットと映像パケットの遅延時間の差を、音声の品質を保ちながら縮小可能なパケット通信システム、及びデータ受信機器を提供することを課題とする。【解決手段】データ送信機器とデータ受信機器を有するパケット通信システムにおいて、データ受信機器は、映像ジッタバッファに蓄積された映像パケットの量を検出する蓄積量検出手段と、音声パケットの情報量を算出する情報量算出手段と、情報量算出手段が算出した情報量が所定値以下であることを判定する情報量判定手段と、を有し、再生制御手段は、蓄積量検出手段の検出した映像パケットの量に応じて、情報量判定部が所定値以下の情報量であると判定した音声パケットの再生時間を変更することを特徴とするパケット通信システム、及びデータ受信機器。【選択図】図３
2007318283.tif 000002
【特許請求の範囲】
【請求項１】
映像信号をパケット化して映像パケットにする映像パケットエンコーダと、
音声信号をパケット化して音声パケットにする音声パケットエンコーダと、
映像パケットと音声パケットに時刻情報を付与するタイムスタンプ付与部と、
前記時刻情報を付与された映像パケットと音声パケットを順次送信する送信部と、を備えたデータ送信機器と、
伝送回線を介して送信された前記映像パケットと前記音声パケットを受信する受信部と、
前記受信部が受信した前記映像パケットを順次蓄積する映像ジッタバッファと、
前記受信部が受信した前記音声パケットを順次蓄積する音声ジッタバッファと、
前記映像パケットをデコードして再生する映像パケットデコーダと、
前記音声パケットをデコードして再生する音声パケットデコーダと、
前記時刻情報を検出する時刻情報検出手段と、
前記時刻情報検出手段が検出した前記時刻情報に基づいて、前記映像パケットデコーダと、前記音声パケットデコーダに再生を指令する再生制御手段と、を備えたデータ受信機器と、
を有するパケット通信システムにおいて、
前記データ受信機器は、
前記映像ジッタバッファに蓄積された映像パケットの量を検出する蓄積量検出手段と、
前記音声パケットデコーダで再生する音声パケットの情報量を算出する情報量算出手段と、
前記情報量算出手段が算出した情報量を判定する情報量判定手段とを有し、
前記再生制御手段は、
前記蓄積量検出手段の検出した映像パケットの量に応じて、前記情報量判定手段が所定値以下の情報量であると判定した音声パケットに関しその再生時間を変更することを特徴とするパケット通信システム。
【請求項２】
前記再生制御手段は、
前記蓄積量検出手段が検出した映像パケットの量が所定値以上のとき、
前記情報量判定手段が所定値以下の情報量であると判定した音声パケットの再生を行わず、情報量が所定値以上の音声パケットを順次再生することを特徴とする請求項１に記載のパケット通信システム。
【請求項３】
前記再生制御手段は、
再生する音声パケットより古い時刻情報を有する前記映像ジッタバッファに蓄積された映像パケットを、廃棄することを特徴とする請求項２に記載のパケット通信システム。
【請求項４】
前記再生制御手段は、
前記蓄積量検出手段が検出した映像パケットの量が所定値以下のとき、
前記情報量判定手段が所定値以下の情報量であると判定した音声パケットの再生を前記映像パケットの量に応じて繰り返した後、次の音声パケットを順次再生することを特徴とする請求項１に記載のパケット通信システム。
【請求項５】
前記情報量算出手段は、前記音声信号の平均値に基づいて前記情報量を算出することを特徴とする請求項１乃至４の何れか１項に記載のパケット通信システム。
【請求項６】
前記情報量算出手段は、前記音声信号の各周波数成分を算出し、前回までに算出した音声パケットの各周波数成分の値との加算平均値と、今回算出した各周波数成分の値との差分に基づいて前記情報量を算出することを特徴とする請求項１乃至４の何れか１項に記載のパケット通信システム。
【請求項７】
映像パケットと音声パケットを受信する受信部と、
前記受信部が受信した前記映像パケットを順次蓄積する映像ジッタバッファと、
前記受信部が受信した前記音声パケットを順次蓄積する音声ジッタバッファと、
前記映像パケットをデコードして再生する映像パケットデコーダと、
前記音声パケットをデコードして再生する音声パケットデコーダと、
前記映像パケットと前記音声パケットに付与された時刻情報を検出する時刻情報検出手段と、
前記時刻情報検出手段が検出した前記時刻情報に基づいて、前記映像パケットデコーダと、前記音声パケットデコーダに再生を指令する再生制御手段と、を備えたデータ受信機器において、
前記データ受信機器は、
前記映像ジッタバッファに蓄積された映像パケットの量を検出する蓄積量検出手段と、
前記音声パケットデコーダで再生する音声パケットの情報量を算出する情報量算出手段と、
前記情報量算出手段が算出した情報量を判定する情報量判定手段とを有し、
前記再生制御手段は、
前記蓄積量検出手段の検出した映像パケットの量に応じて、前記情報量判定手段が所定値以下の情報量であると判定した音声パケットに関しその再生時間を変更することを特徴とするデータ受信機器。
【請求項８】
前記再生制御手段は、
前記蓄積量検出手段が検出した映像パケットの量が所定値以上のとき、
前記情報量判定手段が所定値以下の情報量であると判定した音声パケットの再生を行わず、情報量が所定値以上の音声パケットを順次再生することを特徴とする請求項７に記載のデータ受信機器。
【請求項９】
前記再生制御手段は、
再生する音声パケットより古い時刻情報を有する前記映像ジッタバッファに蓄積された映像パケットを、廃棄することを特徴とする請求項８に記載のデータ受信機器。
【請求項１０】
前記再生制御手段は、
前記蓄積量検出手段が検出した映像パケットの量が所定値以下のとき、
前記情報量判定手段が所定値以下の情報量であると判定した音声パケットの再生を前記映像パケットの量に応じて繰り返した後、次の音声パケットを順次再生することを特徴とする請求項７に記載のデータ受信機器。
【請求項１１】
前記情報量算出手段は、音声信号の平均値に基づいて前記情報量を算出することを特徴とする請求項７乃至１０の何れか１項に記載のデータ受信機器。
【請求項１２】
前記情報量算出手段は、前記音声信号の各周波数成分を算出し、前回までに算出した音声パケットの各周波数成分の値との加算平均値と、今回算出した各周波数成分の値との差分に基づいて前記情報量を算出することを特徴とする請求項７乃至１０の何れか１項に記載のデータ受信機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パケット通信システム、及びデータ受信機器に関する。
【背景技術】
【０００２】
通信回線を通じて映像および音声を送受信するシステム、たとえばＴＶ会議システムにおいて、話者の口の動きとスピーカから再生される声を同期させることは通話の違和感を無くすために重要であり、映像と音声とを同期させる、いわゆるリップシンク調整が行われている。
【０００３】
例えば、映像信号の遅延量を検出し、遅延量に合わせて音声信号の遅延量を変化させることにより、画質や画像の変化に対して常に映像と音声の出力タイミングを合わせる方法が提案されている（例えば、特許文献１参照）。
【０００４】
また、例えば、映像信号と音声信号にそれぞれ同時刻にタイミング信号を記録して別々の回線で送信し、受信側で受信した映像信号に記録されたタイミング信号と同時刻に記録されたタイミング信号を持つ音声信号を映像信号に合わせて再生する方法が提案されている（例えば、特許文献２参照）。
【０００５】
しかしながら、特許文献１、特許文献２では音声信号を映像信号に合わせて再生するので、音声信号が映像信号に対し遅れると音が途切れ、聞き苦しい再生になるという課題があった。
【０００６】
このような課題に対応するため、それぞれ同時期に発生した映像信号と音声信号に、同じ一意なマークを付与してパケット化して送信し、受信側で音声パケットより遅れた映像パケットを廃棄することにより、音声の品質を保ちながら音声と映像を同期させて再生する方法が提案されている（例えば、特許文献３参照）。
【特許文献１】特開平７−１８４１８２号公報
【特許文献２】特開２００１−２４９９２号公報
【特許文献３】特開平７−５０８１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献３の方法では音声パケットが映像パケットより遅れた場合、音声パケットの再生を優先するので、音声は再生されるが映像が全く再生されないという課題がある。
【０００８】
本発明は、上記課題に鑑みてなされたものであって、音声パケットが映像パケットより遅れた場合でも、音声の品質を保ちながら映像を音声と同期させて再生可能なパケット通信システム、及びデータ受信機器を提供することを課題とする。
【課題を解決するための手段】
【０００９】
１．
映像信号をパケット化して映像パケットにする映像パケットエンコーダと、
音声信号をパケット化して音声パケットにする音声パケットエンコーダと、
映像パケットと音声パケットに時刻情報を付与するタイムスタンプ付与部と、
前記時刻情報を付与された映像パケットと音声パケットを順次送信する送信部と、を備えたデータ送信機器と、
伝送回線を介して送信された前記映像パケットと前記音声パケットを受信する受信部と、
前記受信部が受信した前記映像パケットを順次蓄積する映像ジッタバッファと、
前記受信部が受信した前記音声パケットを順次蓄積する音声ジッタバッファと、
前記映像パケットをデコードして再生する映像パケットデコーダと、
前記音声パケットをデコードして再生する音声パケットデコーダと、
前記時刻情報を検出する時刻情報検出手段と、
前記時刻情報検出手段が検出した前記時刻情報に基づいて、前記映像パケットデコーダと、前記音声パケットデコーダに再生を指令する再生制御手段と、を備えたデータ受信機器と、
を有するパケット通信システムにおいて、
前記データ受信機器は、
前記映像ジッタバッファに蓄積された映像パケットの量を検出する蓄積量検出手段と、
前記音声パケットデコーダで再生する音声パケットの情報量を算出する情報量算出手段と、
前記情報量算出手段が算出した情報量を判定する情報量判定手段とを有し、
前記再生制御手段は、
前記蓄積量検出手段の検出した映像パケットの量に応じて、前記情報量判定手段が所定値以下の情報量であると判定した音声パケットに関しその再生時間を変更することを特徴とするパケット通信システム。
【００１０】
２．
前記再生制御手段は、
前記蓄積量検出手段が検出した映像パケットの量が所定値以上のとき、
前記情報量判定手段が所定値以下の情報量であると判定した音声パケットの再生を行わず、情報量が所定値以上の音声パケットを順次再生することを特徴とする１に記載のパケット通信システム。
【００１１】
３．
前記再生制御手段は、
再生する音声パケットより古い時刻情報を有する前記映像ジッタバッファに蓄積された映像パケットを、廃棄することを特徴とする２に記載のパケット通信システム。
【００１２】
４．
前記再生制御手段は、
前記蓄積量検出手段が検出した映像パケットの量が所定値以下のとき、
前記情報量判定手段が所定値以下の情報量であると判定した音声パケットの再生を前記映像パケットの量に応じて繰り返した後、次の音声パケットを順次再生することを特徴とする１に記載のパケット通信システム。
【００１３】
５．
前記情報量算出手段は、前記音声信号の平均値に基づいて前記情報量を算出することを特徴とする１乃至４の何れか１項に記載のパケット通信システム。
【００１４】
６．
前記情報量算出手段は、前記音声信号の各周波数成分を算出し、前回までに算出した音声パケットの各周波数成分の値との加算平均値と、今回算出した各周波数成分の値との差分に基づいて前記情報量を算出することを特徴とする１乃至４の何れか１項に記載のパケット通信システム。
【００１５】
７．
映像パケットと音声パケットを受信する受信部と、
前記受信部が受信した前記映像パケットを順次蓄積する映像ジッタバッファと、
前記受信部が受信した前記音声パケットを順次蓄積する音声ジッタバッファと、
前記映像パケットをデコードして再生する映像パケットデコーダと、
前記音声パケットをデコードして再生する音声パケットデコーダと、
前記映像パケットと前記音声パケットに付与された時刻情報を検出する時刻情報検出手段と、
前記時刻情報検出手段が検出した前記時刻情報に基づいて、前記映像パケットデコーダと、前記音声パケットデコーダに再生を指令する再生制御手段と、を備えたデータ受信機器において、
前記データ受信機器は、
前記映像ジッタバッファに蓄積された映像パケットの量を検出する蓄積量検出手段と、
前記音声パケットデコーダで再生する音声パケットの情報量を算出する情報量算出手段と、
前記情報量算出手段が算出した情報量を判定する情報量判定手段とを有し、
前記再生制御手段は、
前記蓄積量検出手段の検出した映像パケットの量に応じて、前記情報量判定手段が所定値以下の情報量であると判定した音声パケットに関しその再生時間を変更することを特徴とするデータ受信機器。
【００１６】
８．
前記再生制御手段は、
前記蓄積量検出手段が検出した映像パケットの量が所定値以上のとき、
前記情報量判定手段が所定値以下の情報量であると判定した音声パケットの再生を行わず、情報量が所定値以上の音声パケットを順次再生することを特徴とする７に記載のデータ受信機器。
【００１７】
９．
前記再生制御手段は、
再生する音声パケットより古い時刻情報を有する前記映像ジッタバッファに蓄積された映像パケットを、廃棄することを特徴とする８に記載のデータ受信機器。
【００１８】
１０．
前記再生制御手段は、
前記蓄積量検出手段が検出した映像パケットの量が所定値以下のとき、
前記情報量判定手段が所定値以下の情報量であると判定した音声パケットの再生を前記映像パケットの量に応じて繰り返した後、次の音声パケットを順次再生することを特徴とする７に記載のデータ受信機器。
【００１９】
１１．
前記情報量算出手段は、音声信号の平均値に基づいて前記情報量を算出することを特徴とする７乃至１０の何れか１項に記載のデータ受信機器。
【００２０】
１２．
前記情報量算出手段は、前記音声信号の各周波数成分を算出し、前回までに算出した音声パケットの各周波数成分の値との加算平均値と、今回算出した各周波数成分の値との差分に基づいて前記情報量を算出することを特徴とする７乃至１０の何れか１項に記載のデータ受信機器。
【発明の効果】
【００２１】
本発明によれば、音声パケットと映像パケットの遅延時間の差を、情報量の少ない音声パケットの再生時間を変更することにより調整するので、音声パケットが映像パケットより遅れた場合でも、音声の品質を保ちながら映像を音声と同期させて再生可能なパケット通信システム、及びデータ受信機器を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、実施形態により本発明を詳しく説明するが、本発明はこれに限定されるものではない。
【００２３】
図１は本発明におけるパケット通信システムの一例を示すブロック図である。
【００２４】
図１（ａ）は全体構成を示すブロック図、図１（ｂ）はメインマイコン部７１３の詳細なブロック図である。
【００２５】
図１（ａ）のデータ送信装置７０１とデータ受信装置７０２は伝送回線７１７に接続されている。データ送信装置７０１は入力された映像と音声を音声パケットと映像パケットにエンコードして伝送回線７１７に送信し、伝送回線７１７を介して音声パケットと映像パケットを受信したデータ受信装置７０２は映像と音声を再生する。
【００２６】
データ送信装置７０１は、音声入力部７０３、音声パケットエンコーダ７０４、映像パケットエンコーダ７０５、映像入力部７０６、タイムスタンプ付与部７０７、送信部７０８から構成される。
【００２７】
音声入力部７０３から入力された音声信号は音声パケットエンコーダ７０４でパケット化され、音声パケットになる。また、映像入力部７０６から入力された映像信号は映像パケットエンコーダ７０５でパケット化され、映像パケットになる。音声パケットと映像パケットは、次にタイムスタンプ付与部７０７に入力され、タイムスタンプ付与部７０７は入力された時刻の時刻情報をタイムスタンプとして音声パケットと映像パケットに記録する。送信部７０８はタイムスタンプを付与された音声パケットと映像パケットを伝送回線７１７に送信する。
【００２８】
伝送回線７１７は有線ネットワーク、又は、無線ネットワークであり、インターネット、イントラネットの何れでも良い。また、映像パケットと音声パケットの伝送回線７１７内の伝送経路は同じ経路に限定されるものではなく、別々の経路でデータ受信装置７０２に送信されて良い。
【００２９】
データ受信装置７０２は、音声出力部７０９、音声パケットデコーダ部７１０、映像パケットデコーダ部７１１、映像出力部７１２、メインマイコン部７１３、受信部７１４、映像ジッタバッファ７１５、音声ジッタバッファ７１６から構成されている。
【００３０】
受信部７１４で伝送回線７１７を介して受信した音声パケットと映像パケットは、それぞれ音声ジッタバッファ７１６と映像ジッタバッファ７１５に順次記憶される。音声ジッタバッファ７１６と映像ジッタバッファ７１５は、伝送回線７１７を介して受信する音声パケットと映像パケットの到着時間のバラツキを補正するために設けられたバッファメモリであり、受信した音声パケットと映像パケットは、音声ジッタバッファ７１６と映像ジッタバッファ７１５にそれぞれ一旦蓄えられる。
【００３１】
音声パケットデコーダ部７１０、映像パケットデコーダ部７１１は、それぞれパケット化された音声パケットと映像パケットをデコードし、デコードした音声信号と映像信号を再生し、それぞれ音声出力部７０９、映像出力部７１２から出力する。
【００３２】
次に、図１（ｂ）を用いてメインマイコン部７１３について説明する。
【００３３】
メインマイコン部７１３は、マイクロコンピュータを備えて構成される。すなわち、メインマイコン部７１３は、各種演算処理を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０と、演算を行うための作業領域となるＲＡＭ２１と、制御プログラム等が記憶されるＲＯＭ２２とを備え、データ受信装置７０２の各処理部の動作を統括的に制御する。不揮発性メモリであるＲＯＭ２２としては、例えば、データの電気的な書き換えが可能なＥＥＰＲＯＭが採用される。
【００３４】
本実施形態のＣＰＵ２０は、時刻情報検出部１０、再生制御部１１、蓄積量検出部１２、情報量算出部１３、情報量判定部１４を有している。時刻情報検出部１０、再生制御部１１、蓄積量検出部１２、情報量算出部１３、情報量判定部１４は、本発明の時刻情報検出手段、再生制御手段、蓄積量検出手段、情報量算出手段、情報量判定手段である。
【００３５】
時刻情報検出部１０は映像パケット、音声パケットのタイムスタンプから時刻情報を検出する。
【００３６】
再生制御部１１は、時刻情報検出部１０が検出した時刻情報に基づいて、映像パケットデコーダ７１１と、音声パケットデコーダ７１０にデコードと再生を指令する。
【００３７】
蓄積量検出部１２は、映像ジッタバッファ７１５に蓄積された映像パケットの量を検出する。映像ジッタバッファ７１５には映像パケットが順に蓄積されるので、蓄積量検出部１２は、映像ジッタバッファ７１５に蓄積された先頭の映像パケットのアドレスから映像ジッタバッファ７１５に蓄積された映像パケットの量を検出できる。
【００３８】
情報量算出部１３は音声パケットの情報量を算出し、情報量判定部１４は算出した情報量が所定値以下か、否か、判定する。情報量は、例えば音声信号のレベルであり、所定値は無音状態と判定できるレベルである。このように音声信号のレベルが低い場合は、情報量も低く重要な情報が含まれない、と考えられる。
【００３９】
本実施形態では、データ送信装置７０１は、一例として、１５ｆｐｓの動画の１コマ毎の静止画をパケット化して映像パケットとして送信し、２０ｍｓｅｃ分の音声をパケット化して音声パケットにするものとする。また、タイムスタンプ付与部７０７は内蔵するクロックにより得た時刻情報を、映像パケットと音声パケットにタイムスタンプとして付与し、送信部７０８からデータ受信装置７０２に送信するものとして以下の処理を説明する。
【００４０】
本実施形態のＣＰＵ２０の処理について、具体的な例を説明する。
【００４１】
再生制御部１１は、受信した音声パケットが音声ジッタバッファ７１６に所定量蓄えられるまで再生を開始しない。例えば、再生制御部１１は、蓄積量検出部１２が検出した音声ジッタバッファ７１６に蓄積された音声パケットの量が、音声ジッタバッファ７１６の記憶容量の５０％に達した時点から再生を開始する。
【００４２】
再生制御部１１の再生制御は、時刻情報検出部１０が検出した音声パケットのタイムスタンプに記されている時刻情報を基準にしている。再生制御部１１は、再生しようとする音声パケットの時刻情報から、その音声の再生中に再生すべき映像パケットを映像ジッタバッファ７１５から検索して映像パケットデコーダ部７１１に送り、映像を再生する。
【００４３】
例えば、これから再生しようとする音声パケットＡのタイムスタンプがＴ１であるとすると、この音声の再生中に再生すべき映像パケットはＴ１＋２０ｍｓｅｃの範囲のタイムスタンプを持つ映像パケットである。例えば、メインマイコン部７１３が映像ジッタバッファ７１５からＴ１＋１０ｍｓｅｃのタイムスタンプを持つ映像パケットＡを検索したとすると、再生制御部１１は、音声パケットＡの再生を開始してから１０秒後に映像パケットデコーダ部７１１で映像パケットＡの映像を再生するように制御する。このようにして、再生制御部１１は音声と映像の同期処理を行う。
【００４４】
ネットワークの伝搬遅延や、データ受信装置７０２のデータ処理時間の影響により、音声ジッタバッファ７１６、映像ジッタバッファ７１５がアンダーフローやオーバフローを起こす場合がある。図２を用いてこの現象について説明する。
【００４５】
図２はアンダーフロー、オーバフローを模式的に説明する説明図である。図２において７１５は映像ジッタバッファ７１５に蓄えられた映像パケットの状態、７１６は音声ジッタバッファ７１６に蓄えられた音声パケットの状態を模式的に表す図である。図２の７１５、７１６の外形はそれぞれ音声ジッタバッファ７１６、映像ジッタバッファ７１５の最大メモリ容量を表している。横軸はメモリアドレスであり、音声パケット、映像パケットは図２の左端のメモリアドレスから順にＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）で蓄積される。斜線部は音声パケット、映像パケットが音声ジッタバッファ７１６、映像ジッタバッファ７１５に蓄積されている部分を表している。したがって、図２の左側の矢印方向に蓄積された音声パケット、映像パケットほど「新しい」パケットであり、右側の矢印方向に蓄積された音声パケット、映像パケットほど「古い」パケットである。
【００４６】
図２（ａ）はオーバーフローの状態を説明する説明図である。
【００４７】
図２（ａ）では音声ジッタバッファ７１６に蓄積された音声パケットより、映像ジッタバッファ７１５に映像パケットが多く蓄積されている状態を示している。矢印Ａ１は次に再生する先頭の音声パケットを示している。一方、矢印Ａ１で示す音声パケットの時刻情報に対応する映像パケットは、矢印Ｖ１で示す映像パケットであり、矢印Ｖ１より右側には映像ジッタバッファ７１５には再生されないまま古い映像パケットが残っている。
【００４８】
このような現象は、例えば、映像パケットデコーダ部７１の処理時間がタイムスタンプに記されている時間間隔より長くなった場合などであり、この場合処理が追いつかず映像ジッタバッファ７１５に映像パケットがどんどんたまっていくので、オーバーフローを生じる。
【００４９】
図２（ｂ）では映像ジッタバッファ７１５に蓄積された映像パケットより、音声ジッタバッファ７１６に蓄積された音声パケットが多く蓄積されている状態を示している。矢印Ａ２は次に再生する先頭の音声パケットを示している。一方、矢印Ａ２で示す音声パケットの時刻情報に対応する映像パケットは、矢印Ｖ２で示す先頭の映像パケットであり、映像ジッタバッファ７１５に蓄積されている映像パケットが少ない状態を示している。
【００５０】
このような現象は、例えば、当初遅滞なく到達していた映像パケットが、ネットワークが混雑してきたため、パケット到達に遅延が生じた場合である。この場合、映像ジッタバッファ７１５に蓄積された映像パケットが枯渇し、再生すべき映像パケットがなくなる、という状況に陥る。
【００５１】
このようなアンダーフロー、オーバーフローは、ＩＰネットワーク経由でデータの送受信を行っているため避けられない現象である。また、エンコーダー、デコーダーの処理時間の個体差により発生する。
【００５２】
次に、本実施形態においてアンダーフロー、オーバーフローのおそれが発生したときの処理について説明する。
【００５３】
図３はメインマイコン部７１３による再生制御の流れを示すフローチャート処理である。
【００５４】
図３のフローチャートでは、受信した音声パケットの数が、例えば音声ジッタバッファ７１６の記憶容量の５０％に達し、再生を開始してからの処理について説明する。
【００５５】
Ｓ１０１：最も古い時刻情報を持つ音声パケットをデコードするステップである。
【００５６】
再生制御部１１は、時刻情報検出部１０に指令して音声ジッタバッファ７１６に記憶されている最も古い時刻情報を有する音声パケットを検索し、検索した音声パケットを音声パケットデコーダ部７１０に送り、音声パケットデコーダ部７１０は該音声パケットをデコードして音声データにする。
【００５７】
Ｓ５００：デコードした音声パケットの情報量を算出するステップである。
【００５８】
情報量算出部１３は、デコードした音声パケットの情報量を算出するサブルーチンをコールし、音声パケットの情報量の値を得る。例えば会議中に発言が活発に行われているときは音声パケットの情報量が多く、発言が途切れてほぼ無音状態になったり、空調の音など背景音だけが聞こえる場合などは情報量が少ない。音声データから情報量算出するアルゴリズムについては後に詳しく説明する。
【００５９】
Ｓ１０２：音声の再生を開始するステップである。
【００６０】
再生制御部１１は、音声パケットデコーダ部７１０に指令し、デコードした音声データを再生して音声出力部７０９から出力する。
【００６１】
Ｓ１０３：再生中の音声と同期する映像パケットを検索するステップである。
【００６２】
例えば、音声パケットＡの再生時間が２０ｍｓｅｃ、タイムスタンプがＴ１であるとすると、この音声の再生中に再生すべき映像パケットはＴ１＋２０ｍｓｅｃの範囲のタイムスタンプを持つ映像パケットである。再生制御部１１は、時刻情報検出部１０に指令して映像ジッタバッファ７１５でこの範囲のタイムスタンプを持つ映像パケットを検索する。
【００６３】
同期する映像パケットが無い場合、（ステップＳ１０３；Ｎｏ）、ステップＳ１２２に進む。
【００６４】
同期する映像パケットが無い場合は、映像ジッタバッファ７１５はアンダーフロー状態であるのでステップＳ１２２に進む。
【００６５】
同期する映像パケットがある場合、（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０４に進む。
【００６６】
Ｓ１０４：映像パケットが映像ジッタバッファ７１５においてオーバーフローのおそれがあるか、否か判定するステップである。
【００６７】
蓄積量検出部１２は、映像ジッタバッファ７１５に蓄積されている映像パケットの先頭アドレスを調べて、蓄積量を検出する。再生制御部１１は、所定値と比較し映像ジッタバッファ７１５においてオーバーフローのおそれがあるか、否か判定する。例えば、所定値は７０％であり、映像ジッタバッファ７１５に蓄積されている映像パケットが７０％以上の場合、オーバーフローのおそれがある、と判定する。
【００６８】
オーバーフローのおそれが無い場合、（ステップＳ１０４；Ｎｏ）、ステップＳ１０５に進む。
【００６９】
オーバーフローのおそれがある場合、（ステップＳ１０４；Ｙｅｓ）、ステップＳ１０８に進む。
【００７０】
Ｓ１０８：映像パケットを再生するステップである。
【００７１】
再生制御部１１は、ステップＳ１０３で検索した映像パケットを、デコードし所定のタイミングで再生するよう映像パケットデコーダ部７１１に指令する。
【００７２】
Ｓ１０９：古い映像パケットを廃棄するステップである。
【００７３】
再生制御部１１は、映像ジッタバッファ７１５に蓄積されている映像パケットのうち現在再生中の音声パケットより古い映像パケットを廃棄する。オーバーフローのおそれがある場合は、映像の再生が遅れ古い映像パケットがどんどん蓄積していくので、再生されない古い映像パケットを廃棄する。
【００７４】
Ｓ１１０：音声の情報量は所定値以下か、否か、判定するステップである。
【００７５】
情報量判定部１４は、ステップＳ５００で算出した音声の情報量の値が所定値以下か、否か、判定する。所定値は例えば無音状態や背景音のみが聞こえている状態を判定する閾値であり、使用環境に応じて予め設定する。
【００７６】
所定値以上の場合、（ステップＳ１１０；Ｎｏ）、ステップＳ１１２に進む。
【００７７】
音声の再生を継続し、ステップＳ１１２に進む。
【００７８】
所定値以下の場合、（ステップＳ１１０；Ｙｅｓ）、ステップＳ１１１に進む。
【００７９】
Ｓ１１１：音声再生を中止するステップである。
【００８０】
再生制御部１１は、音声パケットデコーダ部７１０に音声再生を中止するよう指令し、次のステップＳ１１２に進む。この場合、音声パケットの到着が遅れているので、音声の遅延が大きく、例えば会話を行うときの違和感が大きい。そのため、情報量の少ない、例えば無音状態や背景音のみが聞こえている音声パケットの再生を中止し、音声の遅延を減少させるようにしている。このようにすると、聞いている人にとって違和感が少なく、また重要な情報を聞き漏らすことなく、音声の遅延時間を短縮できる。
【００８１】
Ｓ１０５：映像パケットが映像ジッタバッファ７１５においてアンダーフローのおそれがあるか、否か判定するステップである。
【００８２】
蓄積量検出部１２は、映像ジッタバッファ７１５に蓄積されている映像パケットの先頭アドレスを調べて、映像ジッタバッファ７１５に蓄積された映像パケットの蓄積量を検出する。再生制御部１１は、所定値と比較しアンダーフローのおそれがあるか、否か判定する。例えば、所定値は３０％であり、再生制御部１１は、映像ジッタバッファ７１５に蓄積されている映像パケットが３０％以下の場合はオーバーフローのおそれ有りと判定する。
【００８３】
アンダーフローのおそれが無い場合、（ステップＳ１０５；Ｎｏ）、ステップＳ１３０に進む。
【００８４】
アンダーフローのおそれがある場合、（ステップＳ１０５；Ｙｅｓ）、ステップＳ１２１に進む。
【００８５】
Ｓ１３０：映像パケットを再生するステップである。
【００８６】
再生制御部１１は、ステップＳ１０３で検索した映像パケットを、デコードし所定のタイミングで再生するよう映像パケットデコーダ部７１１に指令する。次にステップＳ１１２に進む。
【００８７】
Ｓ１２１：映像パケットを再生するステップである。
【００８８】
再生制御部１１は、ステップＳ１０３で検索した映像パケットを、デコードし所定のタイミングで再生するよう映像パケットデコーダ部７１１に指令する。
【００８９】
Ｓ１２２：音声の情報量は所定値以下か、否か、判定するステップである。
【００９０】
再生制御部１１は、ステップＳ５００で算出した音声データの情報量の値が所定値以下か、否か、判定する。所定値は例えば無音状態や背景音のみが聞こえている状態を判定する閾値であり、使用環境に応じて予め設定する。
【００９１】
所定値以上の場合、（ステップＳ１２２；Ｎｏ）、ステップＳ１１２に進む。
【００９２】
音声の再生を継続し、ステップＳ１１２に進む。
【００９３】
所定値以下の場合、（ステップＳ１２２；Ｙｅｓ）、ステップＳ１２３に進む。
【００９４】
Ｓ１２３：音声を繰り返し再生するステップである。
【００９５】
再生制御部１１は、ステップＳ１２２で所定量以下の情報量の音声データと判定された音声データを、映像パケットが映像ジッタバッファ７１５に所定量蓄積されるまで、音声パケットデコーダ７１０に繰り返し再生するように指令する。この場合、映像パケットの到着が音声パケットの到着より遅れているので、情報量の少ない、例えば無音状態や背景音のみが聞こえている音声パケットを繰り返して再生し、映像パケットが映像ジッタバッファ７１５に所定量蓄積されるまで待つ。メインマイコン部７１３は、映像パケットが映像ジッタバッファ７１５に所定量蓄積されたことを蓄積量検出部１２が検出すると、ステップ１１２に進む。
【００９６】
Ｓ１１２：次の音声パケットがあるか、否か、判定するステップである。
【００９７】
再生制御部１１は、音声ジッタバッファ７１６を検索し、次に再生する音声パケットを検索する。
【００９８】
音声パケットがある場合、（ステップＳ１１２；Ｙｅｓ）、ステップＳ１０１に戻る。
【００９９】
ステップＳ１０１に戻り、次の音声パケットを再生する。
【０１００】
音声パケットがない場合、（ステップＳ１１２；Ｎｏ）、終了する。
【０１０１】
このように、情報量の少ない、例えば無音状態や背景音のみが聞こえている音声パケットの再生を中止、または繰り返し再生することにより音声の実時間からの遅延時間を調整し、映像ジッタバッファ７１５に蓄積されている映像パケットの量を一定量にして音声と同期させる映像パケットを確保しているので、重要な音声情報が損なわれることが無く、通話者が再生された音声に違和感を感じることが少ないパケット通信システムを提供できる。
【０１０２】
次に、図４、図５を用いてステップＳ５００で説明した音声の情報量を算出するルーチンについて説明する。
【０１０３】
図４は本発明の音声の情報量算出ルーチンの第１の実施形態である。
【０１０４】
Ｓ５０１：音声信号の平均信号レベルを算出する。
【０１０５】
情報量算出部１３は、音声パケットデコーダ７１０がデコードした音声データの平均信号レベルを算出し、この値を音声の情報量とする。
【０１０６】
例えば、音声データが１２ｂｉｔであり、完全な無音状態がデジタル値０だとする。ステップＳ５００で算出した平均値がデジタル値８０だったとすると、デジタル値８０が音声の情報量の値である。例えばステップＳ１１０で判定する所定値が１００だとすると、音声の情報量の値が８０の場合は、無音状態と判定される。
【０１０７】
図５は本発明の音声の情報量算出ルーチンの第２の実施形態である。
【０１０８】
Ｓ６０１：音声信号を周波数変換する。
【０１０９】
情報量算出部１３は、音声パケットデコーダ７１０がデコードした音声データを周波数変換し、各周波数毎の信号レベルの値を求める。
【０１１０】
Ｓ６０２：前回までの値と加算平均する。
【０１１１】
メインマイコン部７１３は、内蔵するメモリに記憶されている前回までの各周波数毎の信号レベルの値と今回の値に重み付けをして加算し、各周波数毎の平均値を求める。
【０１１２】
このように毎回の周波数分布の加算平均を算出すると、常に同じ音を発生している、例えば空調の音などの背景音の周波数分布の平均値が算出される。
【０１１３】
Ｓ６０３：加算平均値と今回の値の差分を算出する。
【０１１４】
情報量算出部１３は、ステップＳ６０２で求めた各周波数毎の加算平均値と今回の値との差分を算出する。
【０１１５】
Ｓ６０４：周波数毎の差分の総和を算出する。
【０１１６】
情報量算出部１３は、ステップＳ６０３で求めた各周波数毎の差分の総和を算出する。
【０１１７】
ステップＳ６０４で求めた総和の値を情報量とし、もとのルーチンに戻る。
【０１１８】
例えば、情報量が低い無音状態が続いて居る場合は、このようにして算出した値は０であり、一方、会議などで複数の人が発言する場合は周波数分布が毎回異なることが多いので、得られた値は大きくなる。
【０１１９】
以上このように、本発明によれば、音声パケットが映像パケットより遅れた場合でも、音声の品質を保ちながら映像を音声と同期させて再生可能なパケット通信システム、及びデータ受信機器を提供できる。
【図面の簡単な説明】
【０１２０】
【図１】本発明に係るパケット通信システムの構成の一実施形態を示すブロック図である。
【図２】アンダーフロー、オーバフローを模式的に説明する説明図である。
【図３】メインマイコン部７１３による再生制御の流れを示すフローチャート処理である。
【図４】本発明の音声の情報量算出ルーチンの第１の実施形態である。
【図５】本発明の音声の情報量算出ルーチンの第２の実施形態である。
【符号の説明】
【０１２１】
１０  時刻情報検出部
１１  再生制御部
１２  蓄積量検出部
１３  情報量算出部
１４  情報量判定部
２０  ＣＰＵ
２１  ＲＡＭ
２２  ＲＯＭ
７０１  データ送信機器
７１３  メインマイコン部
７０２  データ受信機器
７１７  伝送回線
【図１】
2007318283.tif 000003
【図２】
2007318283.tif 000004
【図３】
2007318283.tif 000005
【図４】
2007318283.tif 000006
【図５】
2007318283.tif 000007