(57)【要約】【課題】既存のパケットフォーマットに改変を加えることなく、無音区間の発生原因を受信側に把握させることを可能にする。【解決手段】受け取った音声データが無音を示している場合に、そのデータ値をその近傍の予め定められた値に変換して出力するデータ変換手段と、データ変換手段から順次出力されるデータを所定の数ずつその出力順にペイロード部へ書き込んだデータブロックを生成し所定の時間間隔で通信網を介して相手装置へ送信する送信手段と、を有し、データブロックを送信してから所定の時間間隔に応じた時間が経過するまでに、新たな音声データを受け取らなかった場合に、無音を示す音声データを所定の数分だけペイロード部に書き込んだデータブロックを生成し送信する送信装置を提供する。【選択図】図３
2007274369.tif 000002
【特許請求の範囲】
【請求項１】
映像または音声を示すデータを受け取り、そのデータ値が無映像または無音を示す第１の値であるか否かを判定し、前記第１の値であると判定した場合には、前記第１の値の近傍の所定の値に書き換えて出力するデータ変換手段と、
前記データ変換手段から順次出力されるデータを所定の時間間隔に応じた所定の数ずつその出力順にペイロード部へ書き込んだデータブロックを生成し、そのデータブロックを前記所定の時間間隔で通信網を介して送信する送信手段と、を有する送信装置と、
前記送信装置から送信されたデータブロックを前記通信網を介して受信し、該データブロックのペイロード部に書き込まれているデータを読み出して出力する受信手段と、
前記受信手段から出力されるデータにしたがって映像または音声の再生制御を行う制御手段と、を有する受信装置と、
を備え、
前記送信手段は、
前記データブロックを送信してから前記所定の時間間隔に応じた時間が経過するまでに、前記データ変換手段から新たなデータを受け取らなかった場合に、データ値が前記第１の値であるデータを前記所定の数だけペイロード部に書き込んだデータブロックを生成して送信し、
前記受信手段は、
データブロックを受信してから前記所定の時間間隔に応じた時間が経過するまでに、後続するデータブロックを受信しなかった場合には、前記第１の値と前記所定の値との何れとも異なる第２の値をデータ値として有するデータを前記所定の数だけ出力し、
前記受信装置は、
データ値が前記第１の値である前記所定の数のデータが連続して前記受信手段から出力された場合には、前記送信装置の故障を示す第１のメッセージを報知し、データ値が前記第２の値である前記所定の数のデータが連続して前記受信手段から出力された場合には、前記通信網に障害が発生していることを示す第２のメッセージを報知し、データ値が前記所定の値であるデータが予め定められた一定の時間間隔に応じた数だけ連続して前記受信手段から出力された場合に、映像または音声のミュートが為されている旨を示す第３のメッセージを報知する報知手段をさらに有する
ことを特徴とする通信システム。
【請求項２】
前記送信装置は、
前記映像または音声を示すデータの供給元でミュートが為されているか否かを判定する判定手段を備え、
前記データ変換手段は、
データ値が前記第１の値であるデータの書き換えを行う際に、ミュートが為されていると前記判定手段により判定された場合には、前記第１および第２の値の何れとも異なる第３の値に書き換える一方、ミュートが為されていないと前記判定手段により判定された場合には、前記第１、第２および第３の値の何れとも異なる第４の値に書き換え、
前記報知手段は、
データ値が前記第３の値であるデータが予め定められた一定の時間間隔に応じた数以上連続して前記受信手段から出力された場合にのみ、前記第３のメッセージを報知する
ことを特徴とする請求項１に記載の通信システム。
【請求項３】
映像または音声を示すデータを受け取り、そのデータ値が無映像または無音を示す第１の値であるか否かを判定し、前記第１の値であると判定した場合には、前記第１の値の近傍の所定の値に書き換えて出力するデータ変換手段と、
前記データ変換手段から順次出力されるデータを所定の時間間隔に応じた所定の数ずつその出力順にペイロード部へ書き込んだデータブロックを生成し、そのデータブロックを前記所定の時間間隔で通信網を介して送信する送信手段と、を有し、
前記送信手段は、
前記データブロックを送信してから前記所定の時間間隔に応じた時間が経過するまでに、前記データ変換手段から新たなデータを受け取らなかった場合に、データ値が前記第１の値であるデータを前記所定の数だけペイロード部に書き込んだデータブロックを生成し送信する
ことを特徴とする送信装置。
【請求項４】
映像または音声を示すデータを受け取り、そのデータをペイロード部に書き込んだデータブロックを通信網を介して所定の時間間隔で送信する送信装置であって、前記データのデータ値が無映像または無音を示す第１の値である場合には、前記第１の値とは異なる所定の値に書き換えて前記ペイロード部へ書き込む一方、前記データブロックを送信してから前記所定の時間間隔に応じた時間が経過するまでに、新たなデータを受取らなかった場合には、データ値が前記第１の値であるデータを前記所定の時間間隔に応じた数だけペイロード部に書き込んだデータブロックを生成して送信する送信装置と前記通信網を介して通信する受信装置において、
前記送信装置から送信されたデータブロックを前記通信網を介して受信し、該データブロックのペイロード部に書き込まれているデータを読み出して出力するとともに、データブロックを受信してから前記所定の時間間隔に応じた時間が経過するまでに、後続するデータブロックを受信しなかった場合には、前記第１の値と前記所定の値との何れとも異なる第２の値をデータ値として有するデータを前記所定の数だけ出力する受信手段と、
前記受信手段から出力されるデータにしたがって映像または音声の再生制御を行う制御手段と、
データ値が前記第１の値である前記所定の数のデータが連続して前記受信手段から出力された場合には、前記送信装置の故障を示す第１のメッセージを報知し、データ値が前記第２の値である前記所定の数のデータが連続して前記受信手段から出力された場合には、前記通信網に障害が発生していることを示す第２のメッセージを報知し、データ値が前記所定の値であるデータが予め定められた一定の時間間隔に応じた数だけ連続して前記受信手段から出力された場合に、映像または音声のミュートが為されている旨を示す第３のメッセージを報知する報知手段と
を有することを特徴とする受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信網を介して蓄積交換方式のデータ通信を行う技術に関し、特に、音声データや映像データの送受信を行う技術に関する。
【背景技術】
【０００２】
例えば、楽曲のストリーミング配信や、送信側にてマイクロホンにより収音した音声に対応する音声データをインターネットなどのパケット通信網を介して受信側へ送信するなど、通信網を介したパケット通信により音声データの送受信を行う技術が一般に普及している。
【０００３】
マイクロホンにより収音した音声に対応する音声データをパケット通信により送信する場合には、１パケット分の音声データが蓄積されるまでパケットの送信が遅延することになるが、上記１パケット分の音声データのデータ量は、その音声データが有音を示す有音データである場合と、無音を示す無音データである場合とで異なっている。このため、何らかの音が鳴っている有音区間と無音区間とでパケットの送信間隔が異なってしまう。具体的には、有音区間については、約２０ミリ秒間隔でパケットが送信され、無音区間については約８０ミリ秒間隔でパケットが送信されることが一般的である。
【０００４】
一方、音声データの受信側においては、通信網の遅延により音声の再生が途切れてしまうことを回避するため、送信側から送られてくるパケットをバッファへ蓄積し充分な数のパケットの蓄積が為された時点でそのパケットに含まれている音声データの再生を開始するように構成されていることが一般的である。しかしながら、上記無音区間についての遅延に対応するために受信側のバッファサイズをより大きくしなければならないとしたならば、受信側の装置の製造コストの増加を招き好ましくない。そこで、無音区間についての送信遅延が発生しないようにするための技術が従来より種々提案されており、その一例としては特許文献１に開示された技術が挙げられる。
【０００５】
特許文献１には、無音データが入力された場合には、その無音データの直前の有音データに無音フラグを付与して送信パケットを生成する一方、無音データに後続する最初の有音データに有音フラグを付与して送信パケットを生成し、無音データのみからなる送信パケットを生成しないようにすることで、無音データのみからなるパケットを送信することなく、無音区間の開始および終了を受信側へ伝達することを可能にする技術が開示されている。
【特許文献１】特開平９−６４９１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術では、上記無音フラグや有音フラグによって、無音区間の開始および終了を受信側へ伝達するようにしているため、これらフラグの示す意味内容を受信側が解釈することができない場合（すなわち、このようなフラグが付与されたパケットフォーマット（パケットのデータ構造）に受信側が対応していない場合）には、音声再生を正しく行うことができなくなる、といった問題点がある。
【０００７】
また、特許文献１に開示された技術では、無音区間の開始および終了を伝達することはできるものの、その無音区間が、送信側におけるミュートにより生じているのか（すなわち、意図されたものであるのか）、それとも、送信側においてマイクロホンが外れたなどの何らかの障害が発生したことにより生じているのか、また、通信網の遅延により生じているのか、を受信側では把握することはできない、といった問題点もある。
【０００８】
本発明は上記課題に鑑みて為されたものであり、既存のパケットフォーマットに改変を加えることなく、無音区間の発生原因を受信側で把握することを可能にする技術を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、映像または音声を示すデータを受け取り、そのデータ値が無映像または無音を示す第１の値であるか否かを判定し、前記第１の値であると判定した場合には、前記第１の値の近傍の所定の値に書き換えて出力するデータ変換手段と、前記データ変換手段から順次出力されるデータを所定の時間間隔に応じた所定の数ずつその出力順にペイロード部へ書き込んだデータブロックを生成し、そのデータブロックを前記所定の時間間隔で通信網を介して送信する送信手段と、を有する送信装置と、前記送信装置から送信されたデータブロックを前記通信網を介して受信し、該データブロックのペイロード部に書き込まれているデータを読み出して出力する受信手段と、前記受信手段から出力されるデータにしたがって映像または音声の再生制御を行う制御手段と、を有する受信装置と、を備え、前記送信手段は、前記データブロックを送信してから前記所定の時間間隔に応じた時間が経過するまでに、前記データ変換手段から新たなデータを受け取らなかった場合に、データ値が前記第１の値であるデータを前記所定の数だけペイロード部に書き込んだデータブロックを生成して送信し、前記受信手段は、データブロックを受信してから前記所定の時間間隔に応じた時間が経過するまでに、後続するデータブロックを受信しなかった場合には、前記第１の値と前記所定の値との何れとも異なる第２の値をデータ値として有するデータを前記所定の数だけ出力し、前記受信装置は、データ値が前記第１の値である前記所定の数のデータが連続して前記受信手段から出力された場合には、前記送信装置の故障を示す第１のメッセージを報知し、データ値が前記第２の値である前記所定の数のデータが連続して前記受信手段から出力された場合には、前記通信網に障害が発生していることを示す第２のメッセージを報知し、データ値が前記所定の値であるデータが予め定められた一定の時間間隔に応じた数だけ連続して前記受信手段から出力された場合に、映像または音声のミュートが為されている旨を示す第３のメッセージを報知する報知手段をさらに有することを特徴とする通信システム、を提供する。
【００１０】
より好ましい態様においては、前記送信装置は、前記映像または音声を示すデータの供給元でミュートが為されているか否かを判定する判定手段を備え、前記データ変換手段は、  データ値が前記第１の値であるデータの書き換えを行う際に、ミュートが為されていると前記判定手段により判定された場合には、前記第１および第２の値の何れとも異なる第３の値に書き換える一方、ミュートが為されていないと前記判定手段により判定された場合には、前記第１、第２および第３の値の何れとも異なる第４の値に書き換え、前記報知手段は、データ値が前記第３の値であるデータが予め定められた一定の時間間隔に応じた数以上連続して前記受信手段から出力された場合にのみ、前記第３のメッセージを報知する、ことを特徴としている。
【００１１】
また、上記課題を解決するために本発明は、映像または音声を示すデータを受け取り、そのデータ値が無映像または無音を示す第１の値であるか否かを判定し、前記第１の値であると判定した場合には、前記第１の値の近傍の所定の値に書き換えて出力するデータ変換手段と、前記データ変換手段から順次出力されるデータを所定の時間間隔に応じた所定の数ずつその出力順にペイロード部へ書き込んだデータブロックを生成し、そのデータブロックを前記所定の時間間隔で通信網を介して送信する送信手段と、を有し、前記送信手段は、前記データブロックを送信してから前記所定の時間間隔に応じた時間が経過するまでに、前記データ変換手段から新たなデータを受け取らなかった場合に、データ値が前記第１の値であるデータを前記所定の数だけペイロード部に書き込んだデータブロックを生成し送信することを特徴とする送信装置、を提供する。
【００１２】
また、上記課題を解決するために本発明は、映像または音声を示すデータを受け取り、そのデータをペイロード部に書き込んだデータブロックを通信網を介して所定の時間間隔で送信する送信装置であって、前記データのデータ値が無映像または無音を示す第１の値である場合には、前記第１の値とは異なる所定の値に書き換えて前記ペイロード部へ書き込む一方、前記データブロックを送信してから前記所定の時間間隔に応じた時間が経過するまでに、新たなデータを受取らなかった場合には、データ値が前記第１の値であるデータを前記所定の時間間隔に応じた数だけペイロード部に書き込んだデータブロックを生成して送信する送信装置と前記通信網を介して通信する受信装置において、前記送信装置から送信されたデータブロックを前記通信網を介して受信し、該データブロックのペイロード部に書き込まれているデータを読み出して出力するとともに、データブロックを受信してから前記所定の時間間隔に応じた時間が経過するまでに、後続するデータブロックを受信しなかった場合には、前記第１の値と前記所定の値との何れとも異なる第２の値をデータ値として有するデータを前記所定の数だけ出力する受信手段と、前記受信手段から出力されるデータにしたがって映像または音声の再生制御を行う制御手段と、データ値が前記第１の値である前記所定の数のデータが連続して前記受信手段から出力された場合には、前記送信装置の故障を示す第１のメッセージを報知し、データ値が前記第２の値である前記所定の数のデータが連続して前記受信手段から出力された場合には、前記通信網に障害が発生していることを示す第２のメッセージを報知し、データ値が前記所定の値であるデータが予め定められた一定の時間間隔に応じた数だけ連続して前記受信手段から出力された場合に、映像または音声のミュートが為されている旨を示す第３のメッセージを報知する報知手段とを有することを特徴とする受信装置、を提供する。
【００１３】
また、上記課題を解決するための別の態様においては、コンピュータ装置を、映像または音声を示すデータを受け取り、そのデータ値が無映像または無音を示す第１の値であるか否かを判定し、前記第１の値であると判定した場合には、前記第１の値の近傍の所定の値に書き換えて出力するデータ変換手段と、前記データ変換手段から順次出力されるデータを所定の時間間隔に応じた数ずつその出力順にペイロード部へ書き込んだデータブロックを生成し、そのデータブロックを前記所定の時間間隔で通信網を介して送信する送信手段と、として機能させ、前記送信手段は、前記データブロックを送信してから前記所定の時間間隔に応じた時間が経過するまでに、前記データ変換手段から新たなデータを受け取らなかった場合に、データ値が前記第１の値であるデータを前記所定の数だけペイロード部に書き込んだデータブロックを生成し送信することを特徴とするプログラムを提供するとしても良い。このようなプログラムを一般的なコンピュータ装置へインストールし、そのプログラムにしたがってそのコンピュータ装置を作動させるようにすれば、一般的なコンピュータ装置に本発明に係る送信装置と同一の機能を付与することが可能になる。
【００１４】
また、上記課題を解決するための別の態様においては、コンピュータ装置を、映像または音声を示すデータを受け取り、そのデータをペイロード部に書き込んだデータブロックを通信網を介して所定の時間間隔で送信する送信装置であって、前記データのデータ値が無映像または無音を示す第１の値である場合には、前記第１の値とは異なる所定の値に書き換えて前記ペイロード部へ書き込む一方、前記データブロックを送信してから前記所定の時間間隔に応じた時間が経過するまでに、新たなデータを受け取らなかった場合には、データ値が前記第１の値であるデータを前記所定の時間間隔に応じた数だけペイロード部に書き込んだデータブロックを生成して送信する送信装置と前記通信網を介して通信する受信装置において、前記送信装置から送信されたデータブロックを前記通信網を介して受信し、該データブロックのペイロード部に書き込まれているデータを読み出して出力するとともに、データブロックを受信してから前記所定の時間間隔に応じた時間が経過するまでに、後続するデータブロックを受信しなかった場合には、前記第１の値と前記所定の値との何れとも異なる第２の値をデータ値として有するデータを前記所定の数だけ出力する受信手段と、前記受信手段から出力されるデータにしたがって映像または音声の再生制御を行う制御手段と、データ値が前記第１の値である前記所定の数のデータが連続して前記受信手段から出力された場合には、前記送信装置の故障を示す第１のメッセージを報知し、データ値が前記第２の値である前記所定の数のデータが連続して前記受信手段から出力された場合には、前記通信網に障害が発生していることを示す第２のメッセージを報知し、データ値が前記所定の値であるデータが予め定められた一定の時間間隔に応じた数だけ連続して前記受信手段から出力された場合に、映像または音声のミュートが為されている旨を示す第３のメッセージを報知する報知手段として機能させることを特徴とするプログラムを提供するとしても良い。このようなプログラムを一般的なコンピュータ装置へインストールし、そのプログラムにしたがってそのコンピュータ装置を作動させるようにすれば、一般的なコンピュータ装置に本発明に係る受信装置と同一の機能を付与することが可能になる。
【発明の効果】
【００１５】
本発明によれば、既存のパケットフォーマットに改変を加えることなく、無音区間の発生原因を受信側で把握することが可能になる、といった効果を奏する。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しつつ本発明の実施形態について説明する。
（Ａ：構成）
図１は、本発明に係る通信システムの１実施形態である遠隔会議システム１０の構成例を示すブロック図である。図１に示すように、この遠隔会議システム１０には、通信網２００に有線接続されている通信端末１００Ａおよび１００Ｂが含まれている。なお、以下では、通信端末１００Ａと１００Ｂとを区別する必要がない場合には、単に「通信端末１００」と表記する。また、図１では、２台の通信端末１００が通信網２００に接続されている場合について例示されているが、３台以上の通信端末１００が、通信網２００に接続されているとしても良いことは勿論である。
【００１７】
通信網２００は、例えば、インターネットであり、詳細な図示は省略したが、ルータなどのネットワーク機器を多数含んでいる。この通信網２００は、通信端末１００Ａと通信端末１００Ｂとの間で所定の通信プロトコルにしたがって行われる音声データ通信を仲介するためのものである。なお、本実施形態では、通信端末１００が通信網２００に有線接続されている場合について説明するが、通信網２００が例えば無線ＬＡＮ（Local Area Network）などの無線パケット通信網であり、通信端末１００は、この無線パケット通信網に接続される無線通信端末であるとしても勿論良い。
【００１８】
本実施形態では、上記通信プロトコルとして以下に述べる各通信プロトコルが用いられている。すなわち、アプケケーション層の通信プロトコルとしては、Real-time Transport Protocol （以下、「ＲＴＰ」）が用いられており、トランスポート層の通信プロトコルとしては、ＵＤＰが用いられており、ネットワーク層の通信プロトコルとしてはＩＰが持ちいれられている。なお、ＵＤＰとＩＰについては、一般に広く用いられている通信プロトコルであるため説明を省略し、ＲＴＰについての説明する。
ＲＴＰとは、リアルタイム特性のある音声データや映像データを end-to-end で送受信する通信サービスを提供するための通信プロトコルであり、その詳細はＲＦＣ１８８９に規定されている。ＲＴＰにおいては、所定時間（例えば、２０ミリ秒）分の音声データや映像データに上記ＲＦＣ１８８９にて規定されているＲＴＰヘッダを付与して生成されるＲＴＰパケットを下位層の通信プロトコルへ引渡すことによって音声データや映像データの送信が為され、逆、下位層から受け取ったＲＴＰパケットのペイロード部を切り出すことによって音声データや映像データの受信が為される。なお、詳細については上記ＲＦＣ１８８９に規定されているが、上記ＲＴＰヘッダには、ペイロード部に書き込まれているデータの種別を示すペイロードタイプやペイロード部に書き込まれているデータの出力元および入力先を示す識別子、ペイロード部に書き込まれているデータをサンプリングした時刻を示すタイムスタンプなどが書き込まれている。また、本実施形態では、上記所定時間は、２０ミリ秒に定められている。
【００１９】
通信端末１００は、自装置のユーザの音声を収音しその音声に対応する音声データをＲＴＰにしたがって通信網２００経由で相手装置へ送信する一方、ＲＴＰにしたがって相手装置から送信されてくる音声データを受信し、その音声データにしたがって音声を再生する機能を備えている。そして、この通信端末１００は、相手装置へ音声データを送信する際に、本発明に特徴的なデータ変換を施して送信することにより、特殊なパケットフォーマットを用いることなく無音区間の発生原因を受信側に把握させることを可能にしている。
【００２０】
図２は、通信端末１００のハードウェア構成の一例を示すブロック図である。
図２に示すように、通信端末１００は、音声入力部１１０と、送信データ変換部１２０と、パケット通信部１３０と、状態報知部１４０と、音声出力部１５０と、を備えている。
【００２１】
音声入力部１１０は、例えば、マイクロホン１１１とアナログ／ディジタル（以下、「Ａ／Ｄ」と略記する）変換器１１２とを含んでいる。
マイクロホン１１１は、ユーザの音声を収音しその音声に応じた音声信号をＡ／Ｄ変換器１１２へ出力する。
Ａ／Ｄ変換器１１２は、マイクロホン１１１から引渡された音声信号にＡ／Ｄ変換を施し、その変換結果である音声データを送信データ変換部１２０へ出力する。より詳細に説明すると、Ａ／Ｄ変換器１１２は、マイクロホン１１１から引渡された音声信号の信号レベルを所定のサンプリング周期（例えば、４４．１ｋＨＺ）でサンプリングしそのサンプリング結果に１６ビットの量子化を施すことによって、上記音声信号の信号レベル（すなわち、音量）を−３２７６８〜３２７６７の６５５３６段階の値で表す音声データのデータ列に変換して出力する。なお、本実施形態では、サンプリング周波数が４４．１ｋＨＺであり、１６ビットの量子化を施す場合について説明したが、サンプリング周波数や量子化ビット数が上記の値に限定されるものではないことは言うまでもない。
【００２２】
送信データ変換部１２０は、音声入力部１１０がミュートされているか否か、また、音声入力部１１０から引渡された音声データのデータ値が、無音を示す所定の値（本実施形態では、“０”）であるか否かを判定し、ミュートされている場合、または、無音を示す所定の値である場合に、その音声データを上記無音を示す値の近傍の予め定められた第１の値（本実施形態では、“１”）に変換してパケット通信部１３０へ引渡すものである。なお、データ値が“１”である音声データは、音が鳴っていることを示す有音データであるが、その音量は極めて低く、聴感上の影響を与えることはない。
【００２３】
パケット通信部１３０は、図２に示すように、送信データ変換部１２０に接続されているＲＴＰパケット送信部１３１と、状態報知部１４０に接続されているＲＴＰパケット受信部１３２と、ＲＴＰパケット送信部１３１およびＲＴＰパケット受信部１３２に接続されている通信インターフェイス（以下、「ＩＦ」と表記する）部１３３と、を有している。
【００２４】
ＲＴＰパケット送信部１３１は、送信データ変換部１２０から引渡される音声データを蓄積するバッファ（図示省略）を有し、上記ＲＴＰパケットを生成してそのペイロード部に、送信データ変換部１２０から引渡される音声データを引渡された順に上記所定時間分ずつ書き込んで通信ＩＦ部１３３へ引渡すものである。
加えて、このＲＴＰパケット送信部１３１は、予め定められたタイミング（例えば、音声通信の開始を指示されたてから上記所定時間が経過する時点や、ＲＴＰパケットを通信ＩＦ部１３３へ引渡してから上記所定時間が経過する時点）で上記所定時間分の音声データを送信データ変換部１２０から受け取っていない場合には、データ値が上記無音を示す値（すなわち、“０”）である音声データを補完し、その音声データを上記ペイロード部へ書き込んだＲＴＰパケットを通信ＩＦ部１３３へ引渡す処理を行うものである。なお、データ値が“０”である音声データを補完するとは、データ値が“０”である音声データを上記所定時間に応じた数だけ生成することである。
【００２５】
ＲＴＰパケット受信部１３２は、通信ＩＦ部１３３から引渡されたＲＴＰパケットのペイロード部から上記所定時間分の音声データを読み出し、その先頭から順に状態報知部１４０へ引渡すものである。加えて、このＲＴＰパケット受信部１３２は、予め定められたタイミング（例えば、音声通信の開始を指示されたてから上記所定時間が経過する時点や、ＲＴＰパケットを通信ＩＦ部１３３から受け取ってから上記所定時間が経過する時点）で新たなＲＴＰパケットを通信ＩＦ部１３３から受け取っていない場合には、データ値が“０”である音声データを補完し、その音声データを状態報知部１４０へ引渡すものである。
【００２６】
通信ＩＦ部１３３は、例えばＮＩＣ（Network Interface Card）であり、通信網２００に有線接続されている。この通信ＩＦ部１３３は、ＲＴＰパケット送信部１３１から引渡されたＲＴＰパケットを下位層の通信プロトコルにしたがって順次カプセル化すること（すなわち、上記ＲＴＰパケットをペイロード部に書き込んだＵＤＰセグメントを生成し、さらに、そのＵＤＰセグメントをペイロード部に書き込んだＩＰパケットを生成すること）により得られるＩＰパケットを通信網２００へ送出する一方、通信網２００を介して受信したＩＰパケットから上記カプセル化とは逆の処理を行うことによって、そのＩＰパケットにカプセル化されているＲＴＰパケットを読み出しＲＴＰパケット受信部１３２へ引渡すものである。
【００２７】
状態報知部１４０は、パケット通信部１３０から引渡された音声データのデータ値に基づいて、その音声データの送信元や通信網２００の状態を判定し、送信側または通信網に何らかの障害が発生していると判定された場合、または、送信側にてミュートが為されていると判定された場合に、その旨を報知するとともに、その音声データを音声出力部１５０へ引渡すものである。より詳細に説明すると、状態報知部１４０は、例えば液晶ディスプレイとその駆動回路などの表示手段を含んでおり、上記判定結果を示すメッセージをその表示手段に表示させるものである。なお、本実施形態では、表示手段にメッセージを表示させることによって、送信側または通信網の状態を報知する場合について説明するが、送信側または通信網の状態を示す音声メッセージを音声出力部１５０に出力させることによって、送信側または通信網の状態を報知するようにしても勿論良い。
【００２８】
音声出力部１５０は、状態報知部１４０から引渡される音声データに応じた音声の再生制御を行うものであり、Ｄ／Ａ変換器１５１とスピーカ１５２とを含んでいる。Ｄ／Ａ変換器１５１は、状態報知部１４０から引渡される音声データのデータ列に対して、Ａ／Ｄ変換器１１２と逆の処理（すなわち、Ｄ／Ａ変換）を施すことによって音声信号へ変換しスピーカ１５２へ引渡すものである。そして、スピーカ１５２は、Ｄ／Ａ変換器１５１から引渡された音声信号に応じた音声を放音する。
以上が、通信端末１００の構成である。
【００２９】
（Ｂ：動作）
次いで、通信端末１００が行う動作について図面を参照しつつ説明する。
以下では、通信端末１００Ａのユーザ（以下、「ユーザＡ」と呼ぶ）と通信端末１００Ｂのユーザ（以下、「ユーザＢ」と呼ぶ）とが遠隔会議を行っている状況下で、ユーザＡが発言を行い、ユーザＡの発言をユーザＢが聴く場合に通信端末１００Ａおよび１００Ｂが行う動作について説明する。
なお、以下に説明する動作例では、通信端末１００Ａの構成要素と通信端末１００Ｂの構成要素とを区別する必要がある場合には、次のように表記する。すなわち、通信端末１００Ａの構成要素については、「音声入力部１１０Ａ」、「送信データ変換部１２０Ａ」、「パケット通信部１３０Ａ」、「状態報知部１４０Ａ」および「音声出力部１５０Ａ」と表記し、通信端末１００Ｂの構成要素については、「音声入力部１１０Ｂ」、「送信データ変換部１２０Ｂ」、「パケット通信部１３０Ｂ」、「状態報知部１４０Ｂ」および「音声出力部１５０Ｂ」と表記する。
また、音声入力部１１０、パケット通信部１３０、音声出力部１５０の各々の構成要素について通信端末１００Ａと１００Ｂとで区別する必要がある場合にも同様に表記する。例えば、音声入力部１１０Ａの構成要素については、「マイクロホン１１１Ａ」および「Ａ／Ｄ変換器１１２Ａ」と表記し、音声入力部１１０Ｂの構成要素については、「マイクロホン１１１Ｂ」および「Ａ／Ｄ変換器１１２Ｂ」と表記する。
【００３０】
ユーザＡがマイクロホン１１１Ａに向かって発言すると、その発言に対応する音声信号がマイクロホン１１１ＡからＡ／Ｄ変換器１１２Ａへ入力され、この音声信号に応じた音声データのデータ列がＡ／Ｄ変換器１１２Ａから送信データ変換部１２０Ａへ引渡される。以下、これらデータ列を受け取った場合に送信データ変換部１２０Ａが行う動作について図３を参照しつつ説明する。
【００３１】
図３は、送信データ変換部１２０Ａが行うデータ変換処理の流れを示すフローチャートである。図３に示すように、送信データ変換部１２０Ａは、まず、マイクロホン１１１Ａのミュートが為されているか否かを判定する（ステップＳＡ１００）。
【００３２】
ステップＳＡ１００の判定結果が“Ｎｏ”である場合（すなわち、ミュートが為されていないと判定した場合）には、送信データ変換部１２０Ａは、音声入力部１１０Ａから順次引渡される音声データの各々についてそのデータ値が“０”（すなわち、無音を示す値）であるか否かを判定する（ステップＳＡ１１０）。
そして、送信データ変換部１２０Ａは、ステップＳＡ１１０の判定結果が“Ｙｅｓ”である場合には、音声入力部１１０から引渡された音声データに“１”を加算し（ステップＳＡ１２０）、その音声データをパケット通信部１３０Ａへ引渡す（ステップＳＡ１３０）。逆に、ステップＳＡ１１０の判定結果が“Ｎｏ”である場合には、上記ステップＳＡ１２０の処理を行うことなく、上記ステップＳＡ１３０の処理を実行する。
【００３３】
ステップＳＡ１００に戻って、その判定結果が“Ｙｅｓ”である場合（すなわち、ミュートが為されていると判定した場合）には、送信データ変換部１２０Ａは、上記ステップＳＡ１２０およびステップＳＡ１３０の処理を順次実行する。
【００３４】
このような動作が営まれるため、本実施形態に係る通信端末１００Ａにおいては、送信データ変換部１２０Ａが正常に稼動している場合、データ値が“０”（無音を示す値）である音声データがパケット通信部１３０Ａへ引渡されることはない。以下、送信データ変換部１２０Ａから引渡された音声データを受け取った場合に、パケット通信部１３０Ａが行う動作について図４を参照しつつ説明する。
【００３５】
図４は、パケット通信部１３０ＡのＲＴＰパケット送信部１３１Ａが行うＲＴＰパケット送信処理の流れを示すフローチャートである。図４に示すように、ＲＴＰパケット送信部１３１Ａは、まず、予め定められた正しいタイミングで送信データ変換部１２０Ａから所定時間分の音声データを受け取ったか否かを判定する（ステップＳＡ１４０）。具体的には、ＲＴＰパケット送信部１３１Ａは、音声通信の開始を指示された直後においては、その指示がなされてから上記所定時間が経過するまでに所定時間分の音声データを受け取ったか否か、また、既にＲＴＰパケットの送信を行った後においては、ＲＴＰパケットを通信ＩＦ部１３３へ引渡してから上記所定時間が経過するまでに次の所定時間分の音声データを受け取ったか否かを判定し、受け取っていない場合に、予め定められた正しいタイミングで所定時間分の音声データを受け取っていないと判定する。
【００３６】
ステップＳＡ１４０の判定結果が“Ｙｅｓ”である場合（すなわち、受け取ったと判定した場合）には、ＲＴＰパケット送信部１３１Ａは、送信データ変換部１２０Ａから受け取った所定時間分の音声データのデータ列をペイロード部に書き込んだＲＴＰパケットを生成し、通信ＩＦ部１３３へ引渡す（ステップＳＡ１５０）。
逆に、ステップＳＡ１４０の判定結果が“Ｎｏ”である場合には、ＲＴＰパケット送信部１３１Ａは、送信データ変換部の故障を報知し（ステップＳＡ１６０）、データ値が“０”（無音を示す値）である音声データを補完し（ステップＳＡ１７０）、ステップＳＡ１７０にて補完した音声データについて上記ステップＳＡ１５０の処理を実行する。
【００３７】
以降、通信ＩＦ部１３３Ａは、ＲＴＰパケット送信部１３１Ａから引渡されたＲＴＰパケットを順次カプセル化してＩＰパケットを生成し、このＩＰパケットを通信網２００を介して通信端末１００Ｂ宛てに送信する。このようにして通信端末１００Ａから送信されたＩＰパケットは通信網２００に含まれているネットワーク機器によって適宜ルーティングされ、通信端末１００Ｂへ到達する。なお、ＩＰパケットの宛先が複数である場合（すなわち、遠隔会議の参加者が３人以上である場合）には、各宛先分のＩＰパケットを生成し上記複数の宛先の各々へ送信するようにしても良く、ＩＰマルチキャストによりそれら複数の宛先へＩＰパケットを送信するようにしても良い。
【００３８】
一方、通信端末１００Ｂの通信ＩＦ部１３３Ｂは、上記ＩＰパケットを受信すると、上記カプセル化とは逆の手順でそのＩＰパケットにカプセル化されているＲＴＰパケットを読み出し、そのＲＴＰパケットをＲＴＰパケット受信部１３２Ｂへ引渡す。以下、図５を参照しつつ、ＲＴＰパケット受信部１３２Ｂが行うＲＴＰパケット受信処理について説明する。
【００３９】
図５は、ＲＴＰパケット受信部１３２Ｂが行うＲＴＰパケット受信処理の流れを示すフローチャートである。図５に示すように、ＲＴＰパケット受信部１３２Ｂは、まず、予め定められた正しいタイミングでＲＴＰパケットを受信したか否かを判定する（ステップＳＢ１００）。
ステップＳＢ１００の判定結果が“Ｎｏ”である場合には、ＲＴＰパケット受信部１３２Ｂは、データ値が“−１”である音声データを補完し（ステップＳＢ１１０）し、状態報知部１４０Ｂへ引渡す（ステップＳＢ１３０）。
逆に、ステップＳＢ１００の判定結果が“Ｙｅｓ”である場合には、ＲＴＰパケット受信部１３２Ｂは、通信ＩＦ部１３３Ｂから受け取ったＲＴＰパケットのペイロード部から音声データを読み出し（ステップＳＢ１２０）、この音声データについて上記ステップＳＢ１３０の処理を実行する。
【００４０】
次いで、パケット通信部１３０Ｂから音声データを引渡された場合に、状態報知部１４０Ｂが行う動作について図６を参照しつつ説明する。
図６は、状態報知部１４０Ｂが行う状態報知処理の流れを示すフローチャートである。
図６に示すように、状態報知部１４０Ｂは、まず、データ値が“−１”である音声データがパケット通信部１３０Ｂから引渡されたか否かを判定する（ステップＳＢ１４０）。
そして、状態報知部１４０Ｂは、ステップＳＢ１４０の判定結果が“Ｙｅｓ”である場合には、「通信網に何らかの障害が発生していることを示すメッセージ」を表示手段に表示させ（ステップＳＢ１５０）、その音声データを音声出力部１５０Ｂへ引渡す（ステップＳＢ２００）。ここで、上記メッセージを表示する理由は、状態報知部１４０Ｂに引渡される音声データのデータ値が“−１”である事象が発生するのは、ＲＴＰパケット受信部１３２Ｂにより音声データの補完が行われた場合であり、これは、通信網２００の障害によりＩＰパケットを正しいタイミングで受信しなかったことを意味しているからである。
一方、ステップＳＢ１４０の判定結果が“Ｎｏ”である場合には、状態報知部１４０Ｂは、データ値が“０”である音声データがパケット通信部１３０Ｂから引渡されたか否かを判定する（ステップＳＢ１６０）。
【００４１】
ステップＳＢ１６０の判定結果が“Ｙｅｓ”である場合には、状態報知部１４０Ｂは、「送信装置に何らかの故障が発生していることを示すメッセージ」を表示手段に表示させ（ステップＳＢ１７０）、その音声データを音声出力部１５０Ｂへ引渡す（ステップＳＢ２００）。ここで、上記メッセージを表示する理由は、状態報知部１４０Ｂに引渡される音声データのデータ値が“０”である事象が発生するのは、通信網を介して予め定められたタイミングでＩＰパケットを受信したものの（すなわち、通信網に障害は発生していない）、そのＩＰパケットに含まれている音声データは、送信側のＲＴＰパケット送信部１３１Ａにより補完されたものであり、これは、送信データ変換部１２０Ａに障害が発生したことを意味しているからである。
ステップＳＢ１６０の判定結果が“Ｎｏ”である場合には、状態報知部１４０Ｂは、データ値が“１”である音声データを連続して一定期間（例えば、３０秒など、上記所定時間に比べて充分長い時間）分受け取ったか否かを判定し（ステップＳＢ１８０）、その判定結果が“Ｙｅｓ”である場合には、「送信装置側がミュートしていることを示す旨のメッセージ」を表示手段に表示させ（ステップＳＢ１９０）、上述したステップＳＢ２００の処理を実行する。逆に、ステップＳＢ１８０の判定結果が“Ｎｏ”である場合には、上記ステップＳＢ１９０の処理を実行することなく、ステップＳＢ２００の処理を実行する。
【００４２】
以降、通信端末１００Ｂにおいては、状態報知部１４０Ｂから音声出力部１５０Ｂへ順次引渡される音声データはＤ／Ａ変換器１５１によって音声信号に変換され、その音声信号に応じた音声がスピーカ１５２から出力される。これにより、ユーザＡの発言がユーザＢへ伝達されることになる。なお、上記動作例では、ユーザＡが発言しユーザＢがその発言を聴く場合について説明したが、ユーザＢが発言しユーザＡがその発言を聴く場合には、通信端末１００Ｂにおいて図３および図４に示す処理が実行され、通信端末１００Ａにおいて図５および図６に示す処理が実行されることになる。
【００４３】
以上に説明したように、本実施形態に係る通信端末１００によれば、音声データの受信側において、再生対象である音声データのデータ値が“０”または“−１”であるか否かを検証することによって、送信装置または通信網に何らかの障害が発生していることを検出することが可能であり、また、データ値が“１”である音声データを連続して一定期間分受け取ったか否かを判定することによって、送信装置側でミュートが為されているか否かを検出することが可能になる。加えて、本実施形態では、以上に説明したように音声データのデータ値の変換および音声データの補完を行うことによって送信装置の状態が受信装置へ伝達されるため、既存のパケットフォーマット（ＲＦＣ１８８９に規定されているパケットフォーマット）に何らの改変を加える必要もない。
【００４４】
（Ｃ：変形）
以上、本発明の実施形態について説明したが、係る実施形態を以下に述べるように変形しても良いことは勿論である。
（１）上述した実施形態では、アプリケーション層の通信プロトコルとしてＲＴＰを用いる場合について説明したが、他の通信プロトコルを用いても良いことは勿論である。要は、所定のヘッダ部とペイロード部とを有するデータブロックのペイロード部に、音声データを所定時間分ずつ書き込んで送信する通信プロトコルであれば、どのような通信プロトコルであっても良い。また、上述した実施形態では、トランスポート層の通信プロトコルとしてＵＤＰを用いる場合について説明したが、ＴＣＰを用いるようにしても良い。同様にネットワーク層の通信プロトコルがＩＰに限定されるものではないことは言うまでもない。
【００４５】
（２）上述した実施形態では、ＲＴＰにしたがって音声データの送受信を行う場合について説明したが、ＲＴＰにしたがって映像データの送受信を行う際に、その映像データの送信側または通信網に異常が発生しているか否かや送信側にてミュートが為されているか否かをその受信側に把握させることが可能である。具体的には、送信側の通信端末において、送信対象である映像データのデータ値が、映像のブラックアウトを示す値である場合に、その映像データのデータ値を予め定められた他の値に書き換えて送信させるようにすれば良い。
【００４６】
（３）上述した実施形態では、音声入力部１１０が、マイクロホンとＡ／Ｄ変換器とで構成されている場合について説明したが、例えばハードディスクなど音声データを記憶しその音声データを適宜読み出して出力する記憶装置や、音声データが記録された記録媒体（例えば、Compact Disk）からその音声データを読み出して出力する記録媒体読み取り装置で音声入力部を構成するとしても勿論良い。
【００４７】
（４）上述した実施形態では、通信端末１００Ａと１００Ｂの両者が、本発明に特徴的なデータ変換機能および状態報知機能を備え、双方向に音声データ通信を行う場合について説明した。しかしながら、一方から他方への一方向のみで音声データ通信を行う場合には、その音声データの送信装置には、音声入力部１１０と、送信データ変換部１２０と、ＲＴＰパケット送信部１３１および通信ＩＦ部１３３のみからなるパケット通信部と、を設けておけば良く、その音声データの受信装置には、ＲＴＰパケット受信部１３２および通信ＩＦ部１３３のみからなるパケット通信部と、状態報知部１４０と、音声出力部１５０とを設けておけば良い。
また、上述した実施形態では、遠隔会議システムに本発明を適用する場合について説明したが、音声データや映像データのストリーミング配信を行うデータ配信システムに本発明を適用するとしても良い。具体的には、音声入力部１１０に替えて、音声データや映像データが記憶されている記憶装置を有する上記送信装置と、上記受信装置とを組み合わせて上記データ配信システムを構成することが可能である。
【００４８】
（５）上述した実施形態では、マイクロホンのミュートが為されている場合と、ミュートが為されておらず、かつ、音声データのデータ値が無音を示す値（“０”）である場合とで、音声データのデータ値を同一の値（“１”）に変換する場合について説明した。しかしながら、前者と後者とで異なる値に変換するようにしても良い。具体的には、前者の場合には、“１”に変換し、後者の場合には“２”に変換するようにしても良い。このようにすると、マイクロホンのミュートが為されている場合と、ミュートは為されていないが相手が沈黙している場合とを受信装置側に正確に区別させることが可能になる。
また、上述した実施形態では、送信データ変換部に障害が発生した場合には、データ値が“０”である音声データを補完して送信する場合について説明した。しかしながら、送信データ変換部の故障原因を特定することができる場合には、その故障原因毎に異なるデータ値を有する音声データを補完して送信するようにしても良い。このようにすると、送信装置に生じた障害の詳細内容を受信装置へ伝達することが可能になる。
【００４９】
（６）上述した実施形態では、各々固有の機能を担い、図３〜図６に示すフローチャートにしたがって連携作動するハードウェアモジュールを組み合わせることによって通信端末１００を構成する場合について説明した。しかしながら、図３〜図６のフローチャートに示す処理をＣＰＵ（Central Processing Unit）に実行させるプログラムを、音声入力部１１０や音声出力部１５０、通信ＩＦ部１３３を備えたコンピュータ装置へインストールし、そのプログラムにしたがってそのコンピュータ装置のＣＰＵを作動させることによって、そのコンピュータ装置に通信端末１００と同一の機能を付与するようにしても勿論良い。
同様に、音声入力部１１０と通信ＩＦ部１３３を備えたコンピュータ装置に、図３および図４のフローチャートに示す処理をＣＰＵに実行させるプログラムをインストールし、そのプログラムにしたがってそのコンピュータ装置のＣＰＵを作動させることによって、そのコンピュータ装置に本発明に係る送信装置と同一の機能を付与するとしても良く、また、音声出力部１５０と通信ＩＦ部１３３を備えたコンピュータ装置に、図５および図６のフローチャートに示す処理をＣＰＵに実行させるプログラムをインストールし、そのプログラムにしたがってそのコンピュータ装置のＣＰＵを作動させることによって、そのコンピュータ装置に本発明に係る受信装置と同一の機能を付与するとしても良い。
また、上記の如きプログラムを配布する際には、例えばＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やＤＶＤ（Digital Versatile Disk）などのコンピュータ装置読み取り可能な記録媒体に上記プログラムを書き込んで配布するとしても良く、また、インターネットなどの電気通信回線経由のダウンロードにより配布するとしても良い。
【図面の簡単な説明】
【００５０】
【図１】本発明の１実施形態に係る遠隔会議システム１０の構成例を示すブロック図である。
【図２】同通信端末１００の構成例を示すブロック図である。
【図３】送信データ変換部１２０が実行するデータ変換処理の流れを示すフローチャートである。
【図４】ＲＴＰパケット送信部１３１が実行するＲＴＰパケット送信処理の流れを示すフローチャートである。
【図５】ＲＴＰパケット受信部１３２が実行するＲＴＰパケット受信処理の流れを示すフローチャートである。
【図６】状態報知部１４０が実行する状態報知処理の流れを示すフローチャートである。
【符号の説明】
【００５１】
１０…遠隔会議システム、１００，１００Ａ，１００Ｂ…通信端末、１１０…音声入力部、１２０…送信データ変換部、１３０…パケット通信部、１４０…状態報知部、１５０…音声出力部。
【図１】
2007274369.tif 000003
【図２】
2007274369.tif 000004
【図３】
2007274369.tif 000005
【図４】
2007274369.tif 000006
【図５】
2007274369.tif 000007
【図６】
2007274369.tif 000008