(57)【要約】【課題】この発明はインターネットのような低速の一般回線においても遅延が少なく、スムーズな会話が多地点間できるビデオ会議システムおよび情報通信プログラムを提供することを目的とする。【解決手段】上記の目的を解決するために、本発明の情報通信プログラムは、ビデオデータ列を複数の部分列パケットに分割し、概ね等間隔で送信するもので、画像送信状態と画像非送信状態を判断するルーチンを有し、画像送信状態のときはビデオデータ中の画像データと音声データを送信し、画像非送信状態のときはビデオデータ中の音声データのみを送信する。【選択図】図２
2006262112.tif 000002
【特許請求の範囲】
【請求項１】
１回の送信単位として情報通信プログラムに引き渡されたビデオデータ分のパケットの列を複数の部分列に分割し、このビデオデータの表示時間内で部分列を概ね等間隔で送信する情報通信プログラム。
【請求項２】
１フレームのビデオデータ分のパケットの列を複数の部分列に分割し、１フレームのビデオデータの表示時間内で部分列を概ね等間隔で送信する請求項１に記載の情報通信プログラム。
【請求項３】
フレーム数nのビデオデータから画像データを間引いて音声データのみを送信するに際して、ｎ＋１フレーム時間で１フレーム分のビデオデータ部分列とnフレーム分の音声データ部分列をｎ＋１フレーム時間内で概ね等間隔で送信する請求項１に記載の情報通信プログラム。
【請求項４】
画像送信状態と画像非送信状態を判断するルーチンを有し、
画像送信状態のときはビデオデータ中の画像データと音声データを送信し、
画像非送信状態のときはビデオデータ中の音声データのみを送信する、請求項１ないし請求項３のいずれかに記載の情報通信プログラム。
【請求項５】
複数のビデオデータ送信端末から１つを選択し、
ビデオ送信端末に対して画像送信状態か画像非送信状態か示す識別データを送信し、
選択されたビデオデータ送信端末のみより画像データを受信する、請求項１ないし請求項３のいずれかに記載の情報通信プログラム。
【請求項６】
複数のビデオデータ送信端末の全てから音声データを受信し、これらの音声データを合成するとともに、
各ビデオデータ送信端末からの音声データの音量が閾値をこえるか否かの判定に基いて画像送信状態となるべきビデオデータ送信端末を選択する請求項５に記載の情報通信プログラム。
【請求項７】
ビデオデータ入力端子と、演算処理装置と、ビデオモニタ接続端子と、情報通信網に接続して情報の送受信を行う送受信器を有し、請求項１ないし請求項４のいずれかに記載の情報通信プログラムを有するビデオ会議システム。
【請求項８】
演算処理装置と、情報通信網に接続して情報の送受信を行う送受信器を有し、請求項５又は請求項６に記載の情報通信プログラムを有するビデオ会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多地点間の端末同士で通信回線を介して双方向の映像伝送を行うビデオ会議システムに関するものである。
【背景技術】
【０００２】
従来より、インターネットやＬＡＮを使用したマルチメディアアプリケーションの需要が高まっている。特に近年はインターネットで使用される回線の高速化、広帯域化が進んでおり、映像や音声を高速インターネット回線を通して双方向通信を行うビデオ会議などのシステムが現実的に利用可能になってきている。
【０００３】
従来のビデオ議会システムの例について説明する。図３は従来のビデオ議会システムの構成を示すブロック図である。４地点間でのビデオ議会の例であり、各地点には、ビデオカメラ２、送受信器を有する端末３、ビデオモニタ４が設けられている。また、通信回線６によって送受信可能に接続された中継システム５は、送受信器１１、Ｄ／Ａ変換器１２、Ａ／Ｄ変換器１３、フレーム同期機器１４、画像合成機器１５を有する。
【０００４】
各地点においてビデオカメラ２から出力されるビデオデータが端末３より中継システム５に送られる。中継システム５は、これら４地点のビデオデータを受信し、画像合成機器１５によって４地点の画像が１画面で表示されるような画像合成を行い、この構成された画像を端末３に対して送信する。各地点に設けられたビデオモニタ４には、４地点の画像が合成されたものが表示される。  
【０００５】
ここで、中継システム５における画像合成はアナログ式で行われる。したがって、受信されたビデオデータはＤ／Ａ変換器１２によってアナログ信号に変換される。さらに、4つのアナログ信号を同期機器１４でフレーム同期をとった後、合成された画像信号はＡ／Ｄ変換器１３によってデジタル信号に変換されて送信される。
【０００６】
送受信器によるビデオデータの送信について説明する。図２（ａ）は、ビデオデータの送信の信号処理を示す説明図である。１フレーム分のビデオデータは、例えば１００個のパケットの部分列で構成される。１００個のパケットの列は極めて短い時間（フレームレートを30fps[frame per second]とすると1/30秒間に100パケット）で入力されるので、汎用基本ソフト（ＯＳ）下の送信プログラムは各パケットの送信間隔時間を制御することなくそのまま全てのパケットの列を通信回線６の速度に従いバースト状に送信している。
【０００７】
また、特許文献１には４画面合成をデジタル式に行うことが記載されている。
【特許文献１】特開２００５−２０４６６号公開特許公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来のビデオ会議システムにおいては、ビデオモニタで同時に多数の会議参加者の様子をみることができるという利点はある。しかし、Ｄ／Ａ変換、フレーム同期、画像合成処理、Ａ／Ｄ変換を行うために大きな遅延時間が生じる。通常のシステムでは、約３秒程度の遅延時間の増加が認められる。このため、スムーズな会話が困難になるという問題がある。
【０００９】
さらに、ビデオデータパケットの部分列をバースト状に送信するので、送信の瞬間においては大きな実効伝送容量が通信回線に要求される。容量の大きな高速回線を少人数で潤沢に使用できる場合には、このような送信も可能であろうが、インターネットのような各人に等価的に割り当てられる容量が小さい一般回線では、パケット欠落が発生する。したがって、画像が正常に表示できなかったり、長時間同じ画面が表示されたりすることになる。
【００１０】
特許文献１のビデオ会議システムでは、多地点の画像の処理がデジタル式に行われるが、デジタル式の画像合成には大きな処理能力の計算機が必要となり、パーソナルコンピュータなどには適用できない。
【００１１】
この発明はインターネットのような低速の一般回線においても遅延が少なく、スムーズな会話が多地点間できるビデオ会議システムおよび情報通信プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を解決するために、本発明の情報通信プログラムは、１回の送信単位として情報通信プログラムに引き渡されたビデオデータ分のパケットの列を複数の部分列に分割し、このビデオデータの表示時間内で部分列を概ね等間隔で送信するものである。１回の送信単位としてビデオカメラから１フレームのビデオデータ分のパケットの列を受け取ってもよく、数フレームのビデオデータ分であってもよい。また、フレーム数nのビデオデータから画像データを間引いて音声データのみを送信する場合にも適用でき、１フレーム分のビデオデータ部分列とnフレーム分の音声データ部分列を１回の送信単位として受け取り、これらのパケット列を部分列に分割して、ｎ＋１フレーム時間内で概ね等間隔で送信することもできる。さらに、画像送信状態と画像非送信状態を判断するルーチンを有し、画像送信状態のときはビデオデータ中の画像データと音声データを送信し、画像非送信状態のときはビデオデータ中の音声データのみを送信するようにしてもよい。中継システムに適用するときは、複数のビデオデータ送信端末から１つを選択し、ビデオ送信端末に対して画像送信状態か画像非送信状態か示す識別データを送信し、選択されたビデオデータ送信端末のみより画像データを受信するようにしてもよい。複数のビデオデータ送信端末の全てから音声データを受信し、これらの音声データを合成するとともに、各ビデオデータ送信端末からの音声データの音量が閾値をこえるか否かの判定に基づいて画像送信状態となるべきビデオデータ送信端末を選択するようにしてもよい。
【００１３】
また、本発明のビデオ会議システムは、ビデオデータ入力端子と、演算処理装置と、ビデオモニタ接続端子と、情報通信網に接続して情報の送受信を行う送受信器を有し、上述の情報通信プログラムを有するものである。
【００１４】
さらに、本発明のビデオ会議システムは、中継システムに適用する場合に、演算処理装置と、情報通信網に接続して情報の送受信を行う送受信器を有し、上述の情報通信プログラムを有するものである。
【発明の効果】
【００１５】
この発明の情報通信プログラムおよびビデオ会議システムは、１フレームのビデオデータ分のパケットの列を複数の部分列に分割し、１フレームのビデオデータの表示時間内で部分列を概ね等間隔で送信することによって瞬間的な送信速度の急増をおこさないので、通信回線の送信能力を効率的に活用することができる。ビデオデータの送信エラーの発生を少なくし、劣化の少ない高品質の画像が表示できる。また、遅延時間が少なく、スムーズな会話ができるという効果を有する。
【発明を実施するための最良の形態】
【００１６】
この発明を実施するための最良の形態について図面に基づいて説明する。図１はこの発明のビデオ議会システムの構成を示すブロック図である。
【００１７】
各地点にはそれぞれ参加者システムが設けられるが、この参加者システムにはビデオカメラ２、参加者端末３、ビデオモニタ４が含まれる。ビデオカメラ２は、市販されているデジタルビデオカメラなどが使用できる。参加者端末３としては、様々なコンピュータが使用できるが、特に大きな処理能力は必要でなく、パーソナルコンピュータ程度でも使用できる。また、ビデオデータ入力端子と、演算処理装置と、ビデオモニタ接続端子と、情報通信網に接続して情報の送受信を行う送受信器など最小限のハードウエアを組み込んだ専用端末を作成してもよい。この例では３地点に参加者端末３が設けられているが、これより多くの地点にも適用できる。この発明のシステムでは、参加者端末３の数が増えてもシステム全体への影響は小さい。
【００１８】
中継システム５は、通信回線６によって各地の参加者端末３に接続されている。ここで、通信回線６は高速回線でもよいが、インターネットのような低速の一般回線でも使用できる。
【００１９】
参加者端末３および中継システム５には、それぞれ情報通信プログラムがインストールされている。
【００２０】
中継システムはすべての参加者端末３と接続されているが、そのうちの１つの参加者端末（たとえば地点１の参加者端末３ａ）を選択し、その参加者端末３ａだけから画像データを受信する。一方、この例では、音声データは全ての参加者端末３ａ、ｂ、ｃから受信する。受信された音声データは混合される。そして、受信された画像データと混合された音声データとを組み合わせてデジタルビデオデータにし、このビデオデータを全ての参加者端末３ａ、ｂ、ｃへユニキャスト送信する。通信量を減らすためマルチキャスト送信でもよい。また、画像データを受信するために選択された参加者端末３ａには画像送信状態であることを示す識別信号を送信し、それ以外の参加者端末３ｂ、ｃには画像非送信状態であることを示す識別信号を送信する。
【００２１】
参加者端末３ａが画像送信状態であるということは、地点１の参加者が発言者であることを意味する。地点１の参加者はビデオカメラ２に向かって発言する。ビデオカメラ２から参加者端末３ａへビデオデータが送られるが、このビデオデータは画像データも含めて通信回線６を介して中継システム５へ送信される。
【００２２】
画像非送信状態であることを通知された参加者端末３ｂ、ｃは、ビデオカメラ２から受け取ったビデオデータから画像データを取り除き、音声データのみを通信回線６を介して中継システム５へ送信する。
【００２３】
発言者が交代するとき、中継システム５の通信プログラムは、次の発言者のいる地点の参加者端末３ａが画像送信状態になるように識別信号を切替えていく。この例においては、この切替えは音声信号に基いて行う。発言者の参加者端末３から受信する音声データの大きさが所定の閾値を越えている間はその参加者端末３を画像送信状態に指定し続ける。そして、ある時間以上、閾値を下回る状態が継続したら発言が終了したと判断する。その次に閾値を越える音声データが現れたときに、その音声データを送信している参加者端末３を新たに画像送信状態に指定し、それまでの参加者端末３を画像非送信状態に指定する。このように、音声データの音量が閾値をこえるか否かの判定に基いて自動的に画像送信状態となるべき参加者端末を選択することができる。同時に複数の発言があった場合は、それまで画像非送信状態だった参加者端末３を優先して画像送信状態に指定してもよい。
【００２４】
次に、ビデオデータデータの送受信について詳細に説明する。図２（ｂ）は、このビデオ会議システムのビデオデータの送信の信号処理を示す説明図である。この例において、ビデオデータ中の音声データは誤り回復用に冗長に送信してもよい。１フレームの画像データは１００個程度のパケットで構成されている。従来の送信技術では図２（ａ）に示すように、ビデオカメラから１フレームの画像データを受け取るとすぐに全てのパケットを送信していた。したがって、その瞬間は平均送信速度を大きく上回る通信回線６と同程度の送信速度になっていた。しかし、本発明の情報通信プログラムは１パケットずつ一定の時間間隔で送信する。音声データパケットを冗長に送信する場合や、画像非送信状態でビデオデータ中の音声データのみを送信する場合も、同様に１パケットずつ一定の時間間隔で送信する。このようにして、１フレーム分のビデオデータを、そのフレームが表示される程度の時間内に平滑して送信する。したがって、瞬間送信速度が一時的に平均送信速度を大きく上回るようなことは起こらず、通信回線の通信容量を最大限に活用しながら、高品質のビデオデータを安定して送信できる。
【００２５】
画像非送信状態である参加者端末３では、ビデオデータから音声データのみを取り出して送信する。
【００２６】
同様に、中継システム５の通信プログラムは、ビデオデータ中の音声データは誤り回復用に冗長に送信してもよい。１フレームのビデオデータを１パケットずつ一定間隔時間空けて送信することは、参加者端末３の情報通信プログラムと同様である。
【００２７】
なお、パケット間隔の時間制御は必ずしも１パケットずつ厳密に行う必要はない。数個単位の部分列に分割しても平滑化の効果はあり、実質的な送信速度や安定性を向上できる。
【００２８】
中継システム５から送信されるビデオデータは、従来の情報通信プログラムによって受信・再生できる。したがって、参加者端末３の外、通常のパーソナルコンピュータ端末に対してもマルチキャスト送信することができる。これら一般端末８は、オブザーバーとしてビデオ会議を視聴できる。
【００２９】
以上、発言者以外の参加者端末３からの音声も合成して中継する例で説明した。しかし、発言者の音声のみを中継するビデオ会議システムも可能である。この場合、システムはより単純なものになる。各ビデオデータ送信端末からの音声データの音量が閾値をこえるか否かの判定を中継システムにて行う必要はない。画像送信状態（発言者）である参加者端末３は、ビデオデータを送信し、それ以外の参加者端末３はビデオデータを送信しない。中継システムにおいても音声合成の必要はなくなり、画像送信状態である参加者端末３からのみビデオデータを受信すればよい。ただし、この場合は、音声の音量に基づいた発言者の自動切換えは行えなくなる。そのかわり、例えば、ボタン操作などによって手動で発言者を指定することができる。中継システム５をいずれかの参加者端末３の手元におくか、あるいは、同一ユニット内に設ける。その地点の参加者は議事進行役も兼任し、ボタン操作によって適宜発言者を切替えていく。
【産業上の利用可能性】
【００３０】
この発明は、インターネットのようなユーザ一人当たりに割り当てられた通信速度が低い通信回線においても安定して送受信できる情報通信システムとして利用できる。多地点間におけるビデオデータの送受信を安価な設備で実施でき、ビデオ会議システムとして利用できるものである。
【図面の簡単な説明】
【００３１】
【図１】この発明のビデオ議会システムの一例の構成を示すブロック図である。
【図２】ビデオデータの送信の信号処理を示す説明図である。
【図３】従来のビデオ議会システムの構成を示すブロック図である。
【符号の説明】
【００３２】
１．参加者システム
２．ビデオカメラ
３．参加者端末
４．ビデオモニタ
５．中継システム
６．通信回線
【図１】
2006262112.tif 000003
【図２】
2006262112.tif 000004
【図３】
2006262112.tif 000005