(57)【要約】【課題】相手に自分の音声が伝わっていることを直接確認しつつ、安心感のあるコミュニケーションを行うことを可能にする。【解決手段】利用者端末装置４において、ネットワーク５を介し、会議の相手側から送信された音声信号を受信した際（ステップＳ１）、この音声信号によって特定される音声の音声レベルを示す音声レベル情報を生成し（ステップＳ２）、このように生成された音声レベル情報を、ネットワーク５を介し、制御サーバ装置３に送信する（ステップＳ３）。制御サーバ装置３に送信された音声レベル情報は、ネットワーク５を介し、会議の参加者の利用者端末装置２に配信され（ステップＳ４）、この音声レベル情報が配信された利用者端末装置２は、この音声レベル情報によって特定される音声レベルを視覚的に表示する（ステップＳ５）。【選択図】        図１
2004186870.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介し、音声と映像を用いた双方向コミュニケーションを行うテレビ会議方法において、
第１の利用者端末装置で行われる、
前記ネットワークを介し、会議の相手側から送信された音声信号を受信する音声信号受信ステップと、
前記音声信号受信ステップにおいて受信された前記音声信号によって特定される音声の音声レベルを示す音声レベル情報を生成する音声レベル情報生成ステップと、
前記音声レベル情報生成ステップで生成された前記音声レベル情報を、前記ネットワークを介し、制御サーバ装置に送信する音声レベル情報送信ステップと、
前記制御サーバ装置で行われる、
前記第１の利用者端末装置から送信された前記音声レベル情報を、前記ネットワークを介し、会議の参加者の利用者端末装置に配信する音声レベル情報配信ステップと、
第２の利用者端末装置で行われる、
前記制御サーバ装置から送信された前記音声レベル情報によって特定される前記音声レベルを視覚的に表示する音声レベル表示ステップと、
を有することを特徴とするテレビ会議方法。
【請求項２】
第１の利用者端末装置で行われる、
前記音声信号受信ステップにおいて受信された前記音声信号を音声変換し、該音声の平均音圧を、単位時間毎に計測する平均音圧測定ステップをさらに有し、
前記音声レベル情報生成ステップは、
前記平均音圧測定ステップにおいて計測された前記平均音圧が、１単位時間前に測定された前記平均音圧に比べて所定量以上変化していた場合にのみ、前記音声レベル情報を生成する、
ことを特徴とする請求項１に記載のテレビ会議方法。
【請求項３】
ネットワークを介し、音声と映像を用いた双方向コミュニケーションを行う利用者端末装置の処理方法において、
前記ネットワークを介し、会議の相手側から送信された音声信号を受信する音声信号受信ステップと、
前記音声信号受信ステップにおいて受信された前記音声信号によって特定される音声の音声レベルを示す音声レベル情報を生成する音声レベル情報生成ステップと、
前記音声レベル情報生成ステップで生成された前記音声レベル情報を、前記ネットワークを介し、前記会議の相手側に送信する音声レベル情報送信ステップと、
を有することを特徴とする利用者端末装置の処理方法。
【請求項４】
前記音声信号受信ステップにおいて受信された前記音声信号を音声変換し、該音声の平均音圧を、単位時間毎に計測する平均音圧測定ステップをさらに有し、
前記音声レベル情報生成ステップは、
前記平均音圧測定ステップにおいて計測された前記平均音圧が、１単位時間前に測定された前記平均音圧に比べて所定量以上変化していた場合にのみ、前記音声レベル情報を生成する、
ことを特徴とする請求項３に記載の利用者端末装置の処理方法。
【請求項５】
ネットワークを介し、音声と映像を用いた双方向コミュニケーションを行う使用者端末装置の処理方法において、
前記ネットワークを介し、音声信号を会議の相手側へ送信する音声信号送信ステップと、
前記会議の相手側から送信された音声レベル情報によって特定される音声レベルを視覚的に表示する音声レベル表示ステップと、
を有することを特徴とする利用者端末装置の処理方法。
【請求項６】
ネットワークを介し、音声と映像を用いた双方向コミュニケーションを行う利用者端末装置において、
前記ネットワークを介し、会議の相手側から送信された音声信号を受信する音声信号受信手段と、
前記音声信号受信手段において受信された前記音声信号によって特定される音声の音声レベルを示す音声レベル情報を生成する音声レベル情報生成手段と、
前記音声レベル情報生成手段で生成された前記音声レベル情報を、前記ネットワークを介し、前記会議の相手側に送信する音声レベル情報送信手段と、
を有することを特徴とする利用者端末装置。
【請求項７】
前記音声信号受信手段において受信された前記音声信号を音声変換し、該音声の平均音圧を、単位時間毎に計測する平均音圧測定手段をさらに有し、
前記音声レベル情報生成手段は、
前記平均音圧測定手段において計測された前記平均音圧が、１単位時間前に測定された前記平均音圧に比べて所定量以上変化していた場合にのみ、前記音声レベル情報を生成する、
ことを特徴とする請求項６に記載の利用者端末装置。
【請求項８】
ネットワークを介し、音声と映像を用いた双方向コミュニケーションを行う利用者端末装置において、
前記ネットワークを介し、音声信号を会議の相手側へ送信する音声信号送信手段と、
前記会議の相手側から送信された音声レベル情報によって特定される音声レベルを視覚的に表示する音声レベル表示手段と、
を有することを特徴とする利用者端末装置。
【請求項９】
請求項３から５の何れかに記載された利用者端末装置の処理方法の各ステップを、コンピュータ上に実行させるためのプログラム。
【請求項１０】
請求項９に記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ネットワークを介して接続されたコンピュータ上で、音声と映像を用いてコミュニケーションを行うテレビ会議方法、それに使用される利用者端末装置、その処理方法、その機能をコンピュータに実行させるためのプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、インターネット等の各種情報通信網の発達により、ネットワークを介して接続されたコンピュータ上で、音声や映像を用いてコミュニケーションを行うテレビ会議システム（ディスクトップ会議システム）や音声会議システムの普及が進んでいる。このようなテレビ会議システム等に使用される利用者端末装置には、自分の音声がこの利用者端末装置にどの程度の音量で入力されたかを表示するゲージと、相手から送信された音声がどの程度の音量で出力されているかを表示するゲージが設けられていることが一般的であり、利用者は、このゲージを参照することにより、自分の音声が十分に入力されているか、及び相手から送られた音声が十分に出力されているか、ということを視覚的に確認することができる。
【０００３】
【発明が解決しようとする課題】
しかし、従来の利用者端末装置には、自分が送った音声が相手方にどの程度聞こえているかを表示するゲージが設けられておらず、自分が送った音声が相手方にどの程度聞こえているかということを直接知ることができないという問題点がある。
そのため、本来の会議の進行以外に、必要の都度、会議の相手に問いかけを行い、それに対する相手側のレスポンスによって、相手に自分の音声が、どの程度聞こえているかということを判断しなければならないという問題があった。
【０００４】
本発明はこのような点に鑑みてなされたものであり、自分が送った音声が相手方にどの程度聞こえているか否かを直接知ることができ、相手に自分の音声が伝わっていることを直接確認しつつ、安心感のあるコミュニケーションを行うことを可能とするテレビ会議方法を提供することを目的とする。
また、本発明の他の目的は、自分が送った音声が相手方にどの程度聞こえているか否かを直接知ることができ、相手に自分の音声が伝わっていることを直接確認しつつ、安心感のあるコミュニケーションを行うことを可能とする利用者端末装置の処理方法を提供することである。
【０００５】
さらに、本発明の他の目的は、自分が送った音声が相手方にどの程度聞こえているか否かを直接知ることができ、相手に自分の音声が伝わっていることを直接確認しつつ、安心感のあるコミュニケーションを行うことを可能とする利用者端末装置を提供することである。
また、本発明の他の目的は、自分が送った音声が相手方にどの程度聞こえているか否かを直接知ることができ、相手に自分の音声が伝わっていることを直接確認しつつ、安心感のあるコミュニケーションを行うことを可能とする機能をコンピュータに実行させるためのプログラムを提供することである。
【０００６】
さらに、本発明の他の目的は、自分が送った音声が相手方にどの程度聞こえているか否かを直接知ることができ、相手に自分の音声が伝わっていることを直接確認しつつ、安心感のあるコミュニケーションを可能とする機能をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することである。
【０００７】
【課題を解決するための手段】
この発明では上記課題を解決するために、第１の利用者端末装置において、ネットワークを介し、会議の相手側から送信された音声信号を受信した際、この音声信号によって特定される音声の音声レベルを示す音声レベル情報を生成し、このように生成された音声レベル情報を、ネットワークを介し、制御サーバ装置に送信する。
制御サーバ装置に送信された音声レベル情報は、ネットワークを介し、会議の参加者の利用者端末装置に配信され、この音声レベル情報が配信された第２の利用者端末装置は、この音声レベル情報によって特定される音声レベルを視覚的に表示する。
そして、各利用者は、この各利用者端末装置に視覚的に表示された音声レベルを見ることにより、自分が送った音声が相手方にどの程度聞こえているか否かを直接知ることができる。
【０００８】
【発明の実施の形態】
以下、この発明の実施の形態を図面を参照して説明する。
なお、以下では、まず本発明の概略を説明した後、その実施の形態の例について説明を行っていく。
図１は、この発明の概略構成を例示した概念図である。
図１に例示するように、この例のテレビ会議システム１は、テレビ会議を行う利用者が使用するコンピュータ等の利用者端末装置２、４、このシステムを制御する制御サーバ装置３、及びインターネット等のネットワーク５によって構成されている。この例の利用者端末装置２、４には、その利用者の画像を撮影するビデオカメラや、その音声の入力を受け付けるマイクロホンが接続されており、このテレビ会議システム１の利用者は、このビデオカメラに映し出され、ネットワーク５を介して送信された通信相手の画像を見ながら、その相手側との音声と映像による双方向コミュニケーションを行う。
【０００９】
以下、このテレビ会議システム１における処理の概要を例示する。なお、ここでは、利用者端末装置２の利用者が発話した音声を、利用者端末装置４で出力する際の処理を例にとって説明する。
利用者端末装置２の利用者が発話した音声は、図示していない利用者端末装置２のマイクロホンによって受音され、その後、利用者端末装置２内でデジタル信号である音声信号に変換される。このように変換された音声信号は、ネットワーク５を介して制御サーバ装置３に送信され、そこで、図示していない他の利用者端末装置から送信された音声信号とともにミキシングされる。そして、この音声信号は、利用者端末装置４を含む他の利用者端末装置にネットワーク５を介して配信され、利用者端末装置４によって受信される（ステップＳ１）。
【００１０】
音声信号を受信した利用者端末装置４は、この音声信号によって特定される音声の音声レベルを示す音声レベル情報を生成する（ステップＳ２）。ここでの生成は、例えば、この音声信号をアナログ信号に変換してスピーカ出力した後、その音圧の測定値を音声レベル情報として生成することとしてもよく、受信した音声信号自体の破損をパリティチェック方式等により検出し、その破損の有無を音声レベル情報として生成することとしてもよい。さらには、スピーカ出力された音声の音圧測定結果と音声信号とを対比し、この音圧測定結果から、音声信号に対応しない雑音部分を除去する処理を行うことにより、この音声レベル情報を生成することとしてもよい。
【００１１】
このように生成された音声レベル情報は、ネットワーク５を介し、制御サーバ装置３に送信され、制御サーバ装置３は、この送信された音声レベル情報を、ネットワーク５を介し、利用者端末装置２を含む、会議参加者の利用者端末装置に配信する（ステップＳ４）。
配信された音声レベル情報は利用者端末装置２に受信され、利用者端末装置２は、受信した音声レベル情報によって特定される音声レベルを視覚的に表示する（ステップＳ５）。
【００１２】
この表示された音声レベルは、利用者端末装置２から送信した音声信号の受信者側である利用者端末装置４において生成された音声レベル情報をもとにしており、その表示結果は、利用者端末装置４の音声信号の受信・再生状態を示している。従って、利用者端末装置２の利用者は、自分が送った音声が相手方にどの程度聞こえているか否かを直接知ることができ、相手に自分の音声が伝わっていることを直接確認しつつ、安心感のあるコミュニケーションを行うことが可能となる。
【００１３】
次に、本発明における第１の実施の形態について説明を行う。
図２は、この形態におけるテレビ会議システム１０の全体構成を例示した概念図である。
図２に例示するように、この例のテレビ会議システム１０は、テレビ会議を行う利用者が使用する利用者端末装置２０〜４０、テレビ会議システム１０全体を制御する制御サーバ装置５０、及びそれらを通信可能なように接続するネットワーク６０によって構成されている。
【００１４】
利用者端末装置２０〜４０は、例えば、モデム、ＤＳＵ（Ｄｉｇｉｔａｌ  Ｓｅｒｖｉｃｅ  Ｕｎｉｔ）、ＮＣＵ（Ｎｅｔｗｏｒｋ  Ｃｏｎｔｏｒｏｌ  Ｕｎｉｔ）、ＴＡ（Ｔｅｒｍｉｎａｌ  Ａｄａｐｔｅｒ）等のデータ回線終端装置が具備され、或いは接続されたコンピュータである。そして、この利用者端末装置２０〜４０には、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）等の所定の規格に対応した音声・画像圧縮、再生用ソフトウェア（ＣＯＤＥＣ（ＣＯｄｅ−ＤＥＣｏｄｅ））がインストールされており、このソフトウェアを用いることにより、ネットワーク６０を介した画像・音声ストリームのやり取りが可能な構成となっている。なお、この音声・画像圧縮、再生用ソフトウェアの機能の少なくとも一部をハードウェア的に構成することとしてもよい（音響ボード）。また、利用者端末装置２０〜４０には、それぞれ、音声を出力するスピーカ２２ａ〜４２ａ、及び音声を入力するマイクロホン２１ａ〜４１ｂが設けられている。
【００１５】
また、制御サーバ装置５０は、例えば、モデム、ＤＳＵ、ＮＣＵ、ＴＡ等のデータ回線終端装置が具備され、或いは接続されたコンピュータであり、利用者端末装置２０〜４０間の通信を中継する。
ネットワーク６０は、例えば、インターネット、イントラネット、エクストラネット、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＶＡＮ（Ｖａｌｕｅ  Ａｄｄｅｄ  Ｎｅｔｗｏｒｋ）、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）等であり、その形態について特に制限はない。
【００１６】
なお、図２では、３つの利用者端末装置２０〜４０を例示したが、利用者端末装置の数は、その会議の参加者の数等に応じ、これよりも多くても少なくてもよい。また、図２では、１つの制御サーバ装置５０を有する構成としたが、制御サーバ装置５０をこれより多く設け、その処理を分散させることとしてもよい。さらには、制御サーバ装置５０を設けず、この機能を利用者端末装置２０〜４０に分散処理させることとしてもよい。また、テレビ会議とは、ネットワークを介したデータ通信によって行う画像と音声とによるコミュニケーション全般を意味し、ルーム型のテレビ会議、インターネットテレビ電話通信、インターネット会議等を広く含む概念である。
【００１７】
図３は、この形態における利用者端末装置２０のハードウェア構成を例示したブロック図である。
図３に例示するように、この例の利用者端末装置２０は、マイクロホン２１ａ、２１ｂ、音声入力回路２１ｃ、スピーカ２２ａ、音声出力回路２２ｂ、ディスプレイ２３ａ、ビデオ回路２３ｂ、ビデオカメラ２４ａ、映像入力回路２４ｂ、ＣＰＵ（Ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央処理装置）２５、外部記憶装置２６、通信制御装置２７、及びバス２８を有しており、通信制御装置２７を介してネットワーク６０と通信可能なように接続され、或いは接続可能なように構成されている。
【００１８】
この例のマイクロホン２１ａ、２１ｂは、音をアナログ電気信号に変換する機器であり、その方式は、例えば、エレクトレットコンデンサ型、セラミック型、リラクタンス型等どのようなものであってもよい。音声入力回路２１ｃは、例えば、マイクロホン２１ａ、２１ｂから入力されたアナログ電気信号をバッファし、増幅し、デジタル化して、バス２８に出力する回路である。
この例のスピーカ２２ａは、アナログ電気信号を音に変換する機器であり、音声出力回路２２ｂは、バス２８から供給されたデジタル電気信号をバッファし、アナログ電気信号に変換してスピーカ２２ａに出力する。
【００１９】
ディスプレイ２３ａは、例えば、画面表面の蛍光素材に電子ビームを当てることによって映像の表示を行うＣＲＴ（Ｃａｔｈｏｄｅ−ｒａｙ  Ｔｕｂｅ）ディスプレイ、或いは、電圧を加えた際に分子配列が変化する液晶の性質を利用した液晶ディスプレイ等であり、供給されたアナログ電気信号をもとに、所定の映像の表示を行う。ビデオ回路２３ｂは、例えば、バス２８から供給されたデジタル電気信号をバッファし、アナログ電気信号に変換してディスプレイ２３ａに供給する。
ビデオカメラ２４ａは、例えば、光学レンズを介して入力された映像をアナログ電気信号に変換する機器であり、映像入力回路２４ｂは、ビデオカメラ２４ａから入力されたアナログ電気信号をバッファし、デジタル化して、バス２８に出力する回路である。
【００２０】
ＣＰＵ２５は、例えば、制御装置と演算装置を有するＣＩＳＣ（Ｃｏｍｐｌｅｘ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）方式、或いはＲＩＳＣ（Ｒｅｄｕｃｅｄ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）方式の中央処理装置であり、図示していない発信器から供給されるクロック信号に同期し、外部記憶装置２６から図示していない主記憶装置に記録されたオペレーティングシステム、アプリケーションプログラム等の各種プログラムの実行を行い、周辺機器の制御、必要データの呼び出し、呼び出したデータの演算・加工、演算・加工後のデータのメモリへの格納、周辺機器への出力等の各種処理を行う。
【００２１】
外部記憶装置２６は、例えば、磁性体が蒸着された薄い円盤を高速回転させ、この磁性体を磁気ヘッドによって磁化することでデータの記録を行うハードディスク装置等である。
通信制御装置２７は、例えば、ＵＳＡＲＴ（Ｕｎｉｖｅｒｓａｌ  Ｓｙｎｃｈｒｏｎｏｕｓ  ａｎｄ  Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｒｅｃｅｉｖｅｒ−Ｔｒａｎｓｍｉｔｔｅｒ）等の汎用同期・非同期送受信回路であり、ネットワーク６０を介したデータ送受信時にデータの直列変換等を行う。
バス２８は、例えば、データバス、アドレスバス、コントロールバス等によって構成され、音声入力回路２１ｃ、音声出力回路２２ｂ、ビデオ回路２３ｂ、映像入力回路２４ｂ、ＣＰＵ２５、外部記憶装置２６、及び通信制御装置２７間のデータ、アドレス情報、制御情報の受け渡しを行う。
【００２２】
なお、ここでは説明を省略するが、この例の利用者端末装置３０、４０も、利用者端末装置２０と同様なハードウェア構成をとるものとする。
図４は、この形態の例における制御サーバ装置５０のハードウェア構成を例示したブロック図である。
図４に例示するように、この例の制御サーバ装置５０は、ＣＰＵ５１、外部記憶装置５２、出力装置５３、入力装置５４、通信制御装置５５及びバス５６を有している。そして、ＣＰＵ５１、外部記憶装置５２、出力装置５３、入力装置５４、及び通信制御装置５５は、バス５６を介して相互に情報のやり取りが可能なように接続され、通信制御装置５５は、ネットワーク６０と通信可能なように接続され、或いは接続可能なように構成される。なお、ここで出力装置５３は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ等であり、入力装置５４は、例えば、キーボードやマウス等の入出力デバイスである。
【００２３】
図５は、図３に例示したハードウェアにおいて所定のプログラム（ソフトウェア）を実行させることにより、このハードウェアとソフトウェアとが協働した具体的手段によって構築される利用者端末装置２０の処理機能を例示した機能ブロック図である。
図５に例示するように、この例の利用者端末装置２０は、音声信号入力手段２０ａ、音声信号送信手段２０ｂ、音声レベル情報受信手段２０ｃ、音声レベル表示手段２０ｄ、及び制御手段２０ｅによって構成されている。
【００２４】
ここで、音声信号入力手段２０ａは、発話された音声等の入力を受け付け、入力された音声等をデジタル電気信号（音声信号）に変換する手段である。また、音声信号送信手段２０ｂは、音声信号入力手段２０ａから出力された音声信号を、ネットワーク６０を介して送信する手段である。そして、音声レベル情報受信手段２０ｃは、ネットワーク６０を介して送信された音声レベル情報を受信する手段であり、音声レベル表示手段２０ｄは、送信された音声レベル情報によって特定される音声レベルを視覚的に表示する手段である。また、制御手段２０ｅは、利用者端末装置２０全体を制御する手段である。
【００２５】
また、図５に例示するように、音声信号入力手段２０ａ、音声信号送信手段２０ｂ、音声レベル情報受信手段２０ｃ、及び音声レベル表示手段２０ｄは、制御手段２０ｅと、情報の提供・受け取りの少なくとも一方が可能なように構成されており、音声信号送信手段２０ｂ、及び音声レベル情報受信手段２０ｃは、ネットワーク６０と通信可能なように接続され、或いは接続可能なように構成されている。
図６は、図３に例示したハードウェアにおいて所定のプログラム（ソフトウェア）を実行させることにより、このハードウェアとソフトウェアとが協働した具体的手段によって構築される利用者端末装置３０の処理機能を例示した機能ブロック図である。
【００２６】
図６に例示するように、この例の利用者端末装置３０は、音声信号受信手段３０ａ、音声出力手段３０ｂ、音声レベル情報生成手段３０ｃ、音声レベル情報送信手段３０ｄ、記憶手段３０ｅ、及び制御手段３０ｆを有している。
ここで、音声信号受信手段３０ａは、ネットワーク６０を介し、会議の相手側から送信された音声信号を受信する手段であり、音声出力手段３０ｂは、この音声信号を音に変換して出力する手段である。また、音声レベル情報生成手段３０ｃは、音声信号受信手段３０ａにおいて受信された音声信号によって特定される音声の音声レベルを示す音声レベル情報を生成する手段であり、音声レベル情報送信手段３０ｄは、音声レベル情報生成手段３０ｃで生成された音声レベル情報を、ネットワーク６０を介し、制御サーバ装置５０に送信する手段である。そして、記憶手段３０ｅは、各種情報を記憶する手段であり、制御手段３０ｆは、利用者端末装置３０全体を制御する手段である。
【００２７】
また、図６に例示するように、音声信号受信手段３０ａ、音声出力手段３０ｂ、音声レベル情報生成手段３０ｃ、音声レベル情報送信手段３０ｄ、及び記憶手段３０ｅは、制御手段３０ｆと、情報の提供・受け取りの少なくとも一方が可能なように構成されており、音声信号受信手段３０ａ、及び音声レベル情報送信手段３０ｄは、ネットワーク６０と通信可能なように接続され、或いは接続可能なように構成されている。
なお、ここでは説明を省略するが、この例の利用者端末装置４０についても、利用者端末装置３０と同様な機能構成を有するものとする。また、利用者端末装置２０が、利用者端末装置３０、４０の処理機能の少なくとも一部を併せ持つこととしてもよく、利用者端末装置３０、４０が、利用者端末装置２０の処理機能の少なくとも一部を併せ持つこととしてもよい。
【００２８】
図７は、図４に例示したハードウェアにおいて所定のプログラム（ソフトウェア）を実行させることにより、このハードウェアとソフトウェアとが協働した具体的手段によって構築される制御サーバ装置５０の処理機能を例示した機能ブロック図である。
図７に例示するように、この例の制御サーバ装置５０は、音声信号受信手段５０ａ、音声信号配信手段５０ｂ、音声レベル情報受信手段５０ｃ、音声レベル情報配信手段５０ｄ、及び制御手段５０ｆを有している。
【００２９】
ここで、音声信号受信手段５０ａは、送信された音声信号を受信する手段であり、音声信号配信手段５０ｂは、音声信号受信手段５０ａによって受信された音声信号をミキシングして各利用者端末装置に配信する手段である。また、音声レベル情報受信手段５０ｃは、送信された音声レベル情報を受信する手段であり、音声レベル情報配信手段５０ｄは、利用者端末装置から送信された音声レベル情報を、ネットワーク６０を介し、会議の参加者の利用者端末装置に配信する手段である。そして、制御手段５０ｆは、制御サーバ装置５０全体を制御する手段である。
【００３０】
図７に例示するように、音声信号受信手段５０ａ、音声信号配信手段５０ｂ、音声レベル情報受信手段５０ｃ、及び音声レベル情報配信手段５０ｄは、制御手段５０ｆと、情報の提供・受け取りの少なくとも一方が可能なように構成されており、音声信号受信手段５０ａ、音声信号配信手段５０ｂ、音声レベル情報受信手段５０ｃ、及び音声レベル情報配信手段５０ｄは、ネットワーク６０と通信可能なように接続され、或いは接続可能なように構成されている。
図８は、この形態におけるテレビ会議システム１０の処理動作を説明するためのフローチャートである。なお、以下では、このフローチャートに沿って説明を行っていくが、このフローチャートとは異なる順序でこれらの処理を行うこととしてもよい。また、以下では、説明の簡略化のため、利用者端末装置４０の処理については説明を省略するが、その処理動作は、利用者端末装置２０、３０のものと同様である。
【００３１】
ステップＳ１０：
このステップでは、利用者端末装置２０の音声信号入力手段２０ａにおいて、発話入力を受け付ける。具体的には、図１、図３に例示したマイクロホン２１ａに対して音声を入力する。
ステップＳ１１：
このステップでは、利用者端末装置２０の音声信号入力手段２０ａにおいて、ステップ１０で入力された音声を、例えば、デジタル信号である音声信号に変換する。変換された音声信号は、制御手段２０ｅを介し、音声信号送信手段２０ｂに送られる。
【００３２】
ステップＳ１２：
このステップでは、利用者端末装置２０の音声信号送信手段２０ｂにおいて、音声信号を、ネットワーク６０を介して制御サーバ装置５０に送信する。
ステップＳ１３：
このステップでは、制御サーバ装置５０の音声信号受信手段５０ａで、ネットワーク６０を介して送信された音声信号を受信する。
ステップＳ１４：
このステップでは、制御サーバ装置５０の音声信号配信手段５０ｂにおいて、ステップＳ１３で受信した音声信号を、ネットワーク６０を介し、各利用者端末装置３０、４０に配信する。なお、制御サーバ装置５０に複数の利用者端末装置から音声信号が送信される場合には、これらの複数の音声信号をミキシングして生成した音声信号を配信することとしてもよい。
【００３３】
ステップＳ１５：
このステップでは、利用者端末装置３０の音声信号受信手段３０ａにおいて、ステップＳ１４で送信された音声信号を受信する。
ステップＳ１６：
このステップでは、利用者端末装置３０の音声レベル情報生成手段３０ｃにおいて、音声レベル情報を生成する。
【００３４】
ここで、音声レベル情報とは、送信された音声信号によって特定される音声の音声レベルを示す情報を意味し、具体的には、例えば、この音声の大きさを表す情報、送信された音声信号が有する音量データが示す音量情報、送信された音声信号によって音声が復元できるか否かの情報、復元できた割合を示す情報等を意味する。
また、この音声レベル情報の生成方法としては、以下のような方法を例示できるが、これに限定されるものではない。なお、これらの方法の何れか１つのみを用いる構成としてもよいし、これらのうちから、何れかの方法を選択できる構成としてもよい。
【００３５】
［方法１］音声信号を再生し、その音声を再びマイクロホンによって検出し、その検出結果を音声レベル情報とする方法。
具体的には、例えば、音声信号を再生した音声を、図２に例示したスピーカ３２ａから出力し、この音声をマイクロホン３１ｂによって再び検出し、この検出音声の音圧測定結果をデジタル変換して音声レベル情報とする。なお、例えば、この場合のマイクロホン３１ｂは、音声レベル情報生成時の音声検出専用に用いるものとし、利用者端末装置３０の利用者の発話入力は、他のマイクロホンによって行うものとする。発話入力用のマイクロホンを、この音声レベル情報生成時の音声検出用としても兼用されることは、ハウリングを生じさせる原因になるからである。したがって、図３において利用者端末装置２０が２つのマイクロホン２１ａ、２１ｂを有する構成としたのと同様に、利用者端末装置３０についても、発話入力用マイクロホンと、音声レベル情報生成時の音声検出用マイクロホンと、が別個に構成されることになる。また、発話入力用マイクロホンと音声レベル情報生成時の音声検出用マイクロホンとを兼用させ、これによって生じるハウリングを防止するハードウェア的、ソフトウェア的措置を講じることとしてもよい。
【００３６】
［方法２］送信された音声信号そのものを解析して、その解析結果を音声レベル情報とする方法。
具体的には、例えば、図６に例示した音声信号受信手段３０ａで受信された音声信号そのものが有する音量データを読み出し、そのデータそのものを音声レベル情報とする。また、この音量データがネットワーク６０送信中に破損しており、音量データを再現できない場合には、無音状態を示す情報を音声レベル情報とすることとしてもよい。さらに、この破損により音量データを再現でない割合（ビット誤り率等）を音声レベル情報として用いることとしてもよい（例えば、再現できる割合が高い程、音声レベル情報によって特定される値を大きくする等）。なお、この音量データの破損の検出は、例えば、パリティチェック方式、ハミング符号方式等を用いて行う。
【００３７】
［方法３］音声信号を再生し、その音声を再びマイクロホンによって検出するとともに、送信された音声信号そのものを解析し、これらの検出・解析結果から音声レベル情報を生成する方法。
具体的には、例えば、まず、音声信号を再生した音声を、図２に例示したスピーカ３２ａから出力し、この音声をマイクロホン３１ｂによって再び検出するとともに、受信された音声信号そのものを検出する。そして、この音声信号に示されるスペクトラムから、マイクロホン３１ｂによって検出された音声が有する音声成分と、雑音成分とを分離し、この音声成分のみの音圧測定値をデジタル変換して音声レベル情報とする。これにより、雑音成分を排除した、より正確な受信レベルを示す音声レベル情報を生成することができる。
【００３８】
ステップＳ１７：
このステップでは、利用者端末装置３０の音声レベル情報送信手段３０ｄにおいて、ステップＳ１６で生成された音声レベル情報を、ネットワーク６０を介して、制御サーバ装置５０に送信する。なお、この際、音声信号が受信されたことを示す、レスポンス信号を合わせて送信することとしてもよい。なお、このレスポンス信号は、例えば、ネットワーク６０を介して、利用者端末装置２０に送信されることとなる。
【００３９】
ステップＳ１８：
このステップでは、制御サーバ装置５０の音声レベル情報受信手段５０ｃにおいて、ステップＳ１７において送信された音声レベル情報を受信する。
ステップＳ１９：
このステップでは、制御サーバ装置５０の音声レベル情報配信手段５０ｄにおいて、音声レベル情報を、ネットワーク６０を介し、利用者端末装置配信する。
ここでの配信は、例えば、音声レベル情報の発信元の利用者端末装置３０以外のすべての利用者端末装置２０、４０に対して行われるものとする。
【００４０】
ステップＳ２０：
このステップでは、利用者端末装置２０の音声レベル情報受信手段２０ｃにおいて、ステップＳ１９において送信された音声レベル情報を受信する。このように受信された音声レベル情報は、例えば、制御手段２０ｅを介し、音声レベル表示手段２０ｄに送られる。
ステップＳ２１：
このステップでは、利用者端末装置２０の音声レベル表示手段２０ｄにおいて、ステップＳ２０で受信した音声レベル情報を視覚的に表示する。ここでの表示は、例えば、図３に例示したディスプレイ２３ａによって行われ、その表示形態としては、ゲージ等の図形表示、或いは数値表示が挙げられる。
【００４１】
図９は、このように利用者端末装置２０に表示された音声レベル情報を有する端末装置表示画面１００を例示した図である。
図９に例示するように、この例の端末装置表示画面１００は、画像表示部１１０〜１３０、マイクロホン音量表示部１１１、スピーカ音量表示部１１２、音声レベル表示部１２１、１３１を有している。
この例の場合、画像表示部１１０には、発話者である利用者端末装置２０の利用者の画像が「発話者自画像」として表示され、画像表示部１２０には、利用者端末装置３０の利用者の画像が「会議メンバＡ」として表示され、画像表示部１３０には、利用者端末装置４０の利用者の画像が「会議メンバＢ」として表示される。なお、これらの画像は、利用者端末装置２０が有するビデオカメラ２４ａによって撮影され、或いは、利用者端末装置３０、４０が有するビデオカメラによって撮影されネットワーク６０を介して利用者端末装置２０に送信された画像データを元に表示される画像である。
【００４２】
マイクロホン音量表示部１１１は、例えば、利用者端末装置２０の利用者に発話され、マイクロホン２１ａに入力された音声の音圧を視覚的に表示するものである。具体的には、図９に例示するレベルゲージ１１１ａの長さによって、その音圧の大きさ、すなわち音量を視覚的に表示する。
スピーカ音量表示部１１２は、例えば、スピーカ２２ａから出力される音声の音量を、レベルゲージ等の長さによって、視覚的に表示する。
音声レベル表示部１２１、１３１は、利用者端末装置２０が、利用者端末装置３０、４０からそれぞれ送信された音声レベル情報によって特定される音声レベルを視覚的に表示するものである。具体的には、図９に例示するレベルゲージ１２１ａの長さによって、その音声レベル、すなわち音量を視覚的に表示する。
【００４３】
図９の例の場合、マイクロホン音量表示部１１１のレベルゲージ１１１ａより、利用者端末装置２０のマイクロホン２１ａには発話入力が行われていることが分かる。そして、音声レベル表示部１２１にも、レベルゲージ１２１ａが表示されており、その長手方向の長さは、マイクロホン音量表示部１１１のレベルゲージ１１１ａと同等である。これにより、利用者端末装置２０の利用者は、自らの発話が利用者端末装置３０で再生されており、しかもその音量も十分であることを、直接、視覚的に知ることができる。一方、音声レベル表示部１３１には、レベルゲージが表示されておらず、これにより、利用者端末装置２０の利用者は、自らの発話が利用者端末装置４０では再生されていないことを、直接、視覚的に知ることができる。なお、利用者端末装置２０の利用者が発話したにもかかわらず、他の利用者端末装置３０、４０から、何のレスポンスもない（音声レベル情報が送信されない）場合にも、音声レベル表示部１２１、１３１にはレベルゲージが表示されず、これによっても、自らの発話が利用者端末装置３０、４０では再生されていないことを、直接、視覚的に知ることができる。また、このように音声レベル情報の送信がなかった利用者端末装置、及び前述のレスポンス信号の送信がなかった利用者端末装置に関する情報を、不具合情報として、他の利用者端末装置に送信する構成としてもよい。
【００４４】
このように、この形態の例では、利用者端末装置３０において、ネットワーク６０を介し、会議の相手側から送信された音声信号を受信し、受信した音声信号によって特定される音声の音声レベルを示す音声レベル情報を生成し、生成した音声レベル情報を、ネットワーク６０を介し、制御サーバ装置５０に送信し、制御サーバ装置５０において、利用者端末装置３０から送信された音声レベル情報を、ネットワーク６０を介し、会議の参加者の利用者端末装置２０、４０に配信し、利用者端末装置２０において、制御サーバ装置５０から送信された音声レベル情報によって特定される音声レベルを視覚的に表示することとしたため、自分が送った音声が相手方にどの程度聞こえているか否かを直接知ることができ、相手に自分の音声が伝わっていることを直接確認しつつ、安心感のあるコミュニケーションを行うことができる。
【００４５】
なお、この発明は上述の実施の形態に限定されるものではない。例えば、この形態の例では、利用者端末装置２０〜４０をコンピュータとした場合を例示したが、ＣＯＤＥＣを搭載し、ビデオカメラやマイクロホンを具備した、テレビ会議専用機器を用いて、この形態の例を実現することとしてもよい。
次に、この形態における第２の実施の形態について説明する。
この形態は、第１の実施の形態の変形例であり、利用者端末装置３０において、受信した音声信号を音声変換し、該音声の平均音圧を、単位時間毎に計測し、このように計測された平均音圧が、１単位時間前に測定された平均音圧に比べて所定量以上変化していた場合にのみ音声レベル情報を生成する点が第１の実施の形態と相違する。その結果、常時音声レベル情報を生成してネットワーク配信する場合に比べ、ネットワークの付加を低減させることができる。以下、第１の実施の形態との相違点を中心に説明を行い、第１の実施の形態と共通する事項については、その説明を省略する。
【００４６】
まず、この形態のシステム構成、利用者端末装置、制御サーバ装置のハードウェア構成、機能ブロック構成は、第１の実施の形態と同様であるため、それらの説明は省略し、以下では、第１の実施の形態で用いたシステム構成、利用者端末装置、制御サーバ装置のハードウェア構成、機能ブロック構成、及びそれらの図面の番号を用いて説明を行っていく。
図１０は、この形態におけるテレビ会議システム１０の処理動作を説明するためのフローチャートである。なお、以下では、このフローチャートに沿って説明を行っていくが、このフローチャートとは異なる順序でこれらの処理を行うこととしてもよい。
【００４７】
ステップＳ３０〜ステップＳ３５までの処理は、第１の実施の形態におけるステップＳ１０〜ステップＳ１５までの処理と同様である。つまり、利用者端末装置２０において、発話入力（ステップＳ３０）、音声データ変換（ステップＳ３１）、音声信号送信（ステップＳ３２）を行い、制御サーバ装置５０で音声信号を受信し（ステップＳ３３）、音声信号配信を行い（ステップＳ３４）、利用者端末装置３０で音声信号を受信する（ステップＳ３５）。
【００４８】
ステップＳ３６：
このステップでは、利用者端末装置３０の音声レベル情報生成手段３０ｃにおいて、単位時間ごとの平均音圧を測定する。この測定は、例えば、第１の実施の形態におけるステップＳ１６の説明で述べたのと同様な方法で、利用者端末装置３０のスピーカ３２ａから出力される音声の音圧を測定し、その測定結果の平均をとることによって行われる。また、単位時間としては、７０〜１３０ｍｓｅｃ程度が望ましく、１００ｍｓｅｃ程度がより望ましい。これより単位時間を短くすると、上述したネットワーク付加の低減を十分に図れないことになり、逆にこれよりも単位時間を長くすると、発話者が使用する利用者端末装置２０に対し、利用者端末装置３０での音声再生状況を十分に伝達できず、この発明の効果を十分に発揮することができなくなるからである。
このように測定された平均音圧は、制御手段３０ｆを介して記憶手段３０ｅに記憶される。
【００４９】
ステップＳ３７：
このステップでは、利用者端末装置３０の音声レベル情報生成手段３０ｃにおいて、１単位時間前と平均音圧の測定結果が同一であったか否かを判断する。
具体的には、まず、記憶手段３０ｅに記憶された１単位時間前の平均音圧データを抽出し、このデータと最新の測定データとの比較を行う。その結果、この最新の平均音圧が、１単位時間前に測定された平均音圧に比べて所定量以上変化していた場合には、ステップＳ３８に進み、所定量以上変化しておらず実質的に同一である場合には処理を終了する。なお、この所定量は、例えば、このシステムの利用者が自由に選択・設定できるものとする。
【００５０】
ステップＳ３８：
このステップでは、利用者端末装置３０の音声レベル情報生成手段３０ｃにおいて、音声レベル情報を生成する。なお、この音声レベル情報は、第１の実施の形態におけるステップＳ１６と同様の方法によって生成することとしてもよく、また、この平均音圧の変化量を示す情報を音声レベル情報として生成することとしてもよい。
その後のステップＳ３９〜ステップＳ４３までの処理は、第１の実施の形態におけるステップＳ１７〜ステップＳ２１までの処理と同様である。すなわち、利用者端末装置３０において音声レベル情報を制御サーバ装置５０に送信し（ステップＳ３９）、制御サーバ装置５０において、音声レベル情報を受信し（ステップＳ４０）、音声レベル情報を配信し（ステップＳ４１）、利用者端末装置２０において、音声レベル情報を受信し（ステップＳ４２）、音声レベル表示を行う（ステップＳ４３）。ただし、平均音圧の変化量を示す情報を音声レベル情報とした場合、利用者端末装置２０において表示される音声レベル（ステップＳ４３）は、音声レベル情報に示される音声レベルの変化量を、変化前の音声レベルに加算或いは減算した値となる。
【００５１】
このように、この形態では、利用者端末装置３０の音声レベル情報生成手段３０ｃにおいて、受信した音声信号を音声変換し、該音声の平均音圧を、単位時間毎に計測し、このように計測された平均音圧が、１単位時間前に測定された平均音圧に比べて所定量以上変化していた場合にのみ音声レベル情報を生成することとしたため、常時音声レベル情報を生成してネットワーク配信する場合に比べ、ネットワークのトラフィック量を低減させることが可能となり、その結果、ネットワークの付加を低減させることができる。
【００５２】
また、この形態の例でも、第１の実施の形態と同様、利用者端末装置３０において、ネットワーク６０を介し、会議の相手側から送信された音声信号を受信し、受信した音声信号によって特定される音声の音声レベルを示す音声レベル情報を生成し、生成した音声レベル情報を、ネットワーク６０を介し、制御サーバ装置５０に送信し、制御サーバ装置５０において、利用者端末装置３０から送信された音声レベル情報を、ネットワーク６０を介し、会議の参加者の利用者端末装置２０、４０に配信し、利用者端末装置２０において、制御サーバ装置５０から送信された音声レベル情報によって特定される音声レベルを視覚的に表示することとしたため、自分が送った音声が相手方にどの程度聞こえているか否かを直接知ることができ、相手に自分の音声が伝わっていることを直接確認しつつ、安心感のあるコミュニケーションを行うことができる。
【００５３】
なお、この発明は上述の実施の形態に限定されるものではない。例えば、この形態の例では、利用者端末装置２０〜４０をコンピュータとした場合を例示したが、ＣＯＤＥＣを搭載し、ビデオカメラやマイクロホンを具備した、テレビ会議専用機器を用いて、この形態の例を実現することとしてもよい。
また、上述のように、第１の実施の形態及び第２の実施の形態の処理機能は、コンピュータによって実現することができる。この場合、利用者端末装置２、４、２０〜３０、制御サーバ装置３、５０が有すべき機能の処理内容はプログラムによって記述され、このプログラムをコンピュータで実行することにより、上記処理機能をコンピュータ上で実現することができる。
【００５４】
また、この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）等を、光磁気記録媒体として、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｃ）等を用いることができる。
【００５５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。
さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｅｒｖｉｃｅ  Ｐｒｏｖｉｄｅｒ）型のサービスによって、上述の処理を実行する構成としてもよい。
なお、上記におけるプログラムとは、電子計算機に対する指令であって、一の結果を得ることができるように組合されたものをいい、その他電子計算機による処理の用に供する情報であってプログラムに準ずるものをも含むものとする。
【００５６】
【発明の効果】
以上説明したようにこの発明では、第１の利用者端末装置において、ネットワークを介し、会議の相手側から送信された音声信号を受信した際、この音声信号によって特定される音声の音声レベルを示す音声レベル情報を生成し、このように生成された音声レベル情報を、ネットワークを介し、制御サーバ装置に送信し、制御サーバ装置に送信された音声レベル情報は、ネットワークを介し、会議の参加者の利用者端末装置に配信され、この音声レベル情報が配信された第２の利用者端末装置は、この音声レベル情報によって特定される音声レベルを視覚的に表示することとした。
これにより、自分が送った音声が相手方にどの程度聞こえているか否かを直接知ることができ、相手に自分の音声が伝わっていることを直接確認しつつ、安心感のあるコミュニケーションを行うことが可能となる。
【図面の簡単な説明】
【図１】この発明の概略構成を例示した概念図。
【図２】テレビ会議システムの全体構成を例示した概念図。
【図３】利用者端末装置のハードウェア構成を例示したブロック図。
【図４】制御サーバ装置のハードウェア構成を例示したブロック図。
【図５】利用者端末装置の処理機能を例示した機能ブロック図。
【図６】利用者端末装置の処理機能を例示した機能ブロック図。
【図７】制御サーバ装置の処理機能を例示した機能ブロック図。
【図８】テレビ会議システムの処理動作を説明するためのフローチャート。
【図９】利用者端末装置に表示された音声レベル情報を有する端末装置表示画面を例示した図。
【図１０】テレビ会議システムの処理動作を説明するためのフローチャート。
【符号の説明】
１、１０  テレビ会議システム
２、４、２０〜３０  利用者端末装置
３、５０  制御サーバ装置
１００  端末装置表示画面
１２１、１３１  音声レベル表示部
１２１ａ  レベルゲージ
【図１】
2004186870.tif 000003
【図２】
2004186870.tif 000004
【図３】
2004186870.tif 000005
【図４】
2004186870.tif 000006
【図５】
2004186870.tif 000007
【図６】
2004186870.tif 000008
【図７】
2004186870.tif 000009
【図８】
2004186870.tif 000010
【図９】
2004186870.tif 000011
【図１０】
2004186870.tif 000012