(57)【要約】【課題】電話会議システム等の発言者の判定をより自然なものとして、発言者の音声を聞きやすくすることのできる通信会議装置を提供する。【解決手段】複数の音声会議端末が接続された通信会議システムにおける通信会議装置であって、会議参加者の音量を監視して発言者を特定し、発言者の音量をより大きく、非発言者の不要な音声を抑制して快適な音声会議環境を提供する。また、発言者の発言の区切りを無音時間の監視により判定し、過剰な制御による不自然な音量コントロールを抑える。【選択図】図１
2009027239.tif 000002
【特許請求の範囲】
【請求項１】
複数の音声会議端末が接続された通信会議システムにおける通信会議装置であって、前記複数の音声会議端末のうち、近傍の通信会議参加者の発言音声を入力している音声会議端末を特定する機能と、前記近傍の通信会議参加者の発言音声を入力している音声会議端末毎に送話利得を可変する機能と、前記近傍の通信会議参加者が発言を終了したことを判定する機能と、前記音声会議端末を表示する機能を備えていることを特徴とする通信会議装置。
【請求項２】
請求項１に記載の通信会議装置において、
前記近傍の通信会議参加者の音声を入力している音声会議端末の送話利得を近傍の通信会議参加者の音声を入力していない音声会議端末より大きくして送信することを特徴とする通信会議装置。
【請求項３】
請求項１または２に記載の通信会議装置において、
前記音声会議端末毎の発言音声パターンを監視して、発言の区切り又は終わりを前記音声会議端末毎に判定することを特徴とする通信会議装置。
【請求項４】
請求項１から３に記載の通信会議装置において、
発言音声を検出した時に送話利得を小から大に切り替えるシステム設定がされている場合、前記発言音声を一時的に蓄積する機能と、前記送話利得を小から大に切り替えた後に前記一時蓄積した発言音声を再生する機能と、前記発言音声の再生開始後無音部分を検出する度に無音部分を再生する機能と、を具備することを特徴とする通信会議装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、３人以上で音声通話による通信会議を行う際に用いられ、電話会議や遠隔テレビ会議等に用いる通信会議装置に関する。
【背景技術】
【０００２】
特許文献１には電話会議システムが開示されており、上記電話会議システムは、一つの電話装置の受話器を用いて複数の人と会話する場合に、通常の会話とは感覚が異なり、円滑にコミュニケーションを図ることができない問題点を解決するものである。また、同時に会話する人数が多くなるにつれて、会話の中心となる相手の話を聞き分けることが困難になり、使い勝手が悪い問題点を解決するものであり、具体的に以下の手段を採っている。
【０００３】
・音声の重なり時間Ｔ１と当該音声の発言時間Ｔ２の比で議論対象音声と判断し、
・重みＷ＝Ｔ１／Ｔ２でゲインコントロールアンプを制御する。
【特許文献１】特開２０００−４９９４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された電話会議システムには以下の問題点がある。
・Ｔ１，Ｔ２を計測してＷを算出した時、既に議論は進行している。
・整然とした議論では発言は重ならず、Ｔ１が注目音声の判断指標とは限らない。
つまり、注目した音声と実際の発言者との間に時間的なずれが生じる場合があり必ずしも自然な会話とはならない。
【０００５】
本発明は、発言者の判定をより自然なものとして、発言者の音声を聞き易くすることのできる通信会議装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の通信会議装置は、複数の音声会議端末が接続された通信会議システムにおいて、前記複数の音声会議端末のうち、通信会議の参加者が発言中の音声会議端末を特定する機能と、前記参加者が発言中の音声会議端末毎に通話音量を可変する機能と、前記参加者が発言を終了したことを判定する機能と、前記参加者が発言中の前記音声会議端末を強調する機能を備えていることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、音声会議端末のマイクから発言中の、発言者の音声を強調してより自然な通信会議を実現することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を用いて、本発明の実施の形態について説明する。
【０００９】
本発明の通信会議装置は以下の構成により発言者を判定する。
（１）Ａが発言すると通話判定音量以上の音量を検出すると、通信会議端末１aが発言したと判定し、参加者Ａ以外のアンプ利得を低下させる。
（２）Ａの無音期間を監視し、無音監視時間Ｔ０以上の時間が経過すると、発言が終了したと判定し、Ａ以外のアンプ利得を元に戻す。そして次の発言者を待つ。通話判定音量及び無音監視時間Ｔ０については後述する。
（３）つぎにＢが発言すると発言者Ｂとし、発言者Ｂ以外のアンプ利得を低下させる。
【００１０】
図１は、本発明の通信会議装置１０を用いた通信会議システムの全体図である。図１において、１a，１ｂ，１ｃは、音声会議（汎用）端末、２はネットワーク／電話回線、１０は通信会議装置である。会議参加者Ａ，Ｂ，Ｃは、音声会議（汎用）端末１a，１ｂ，１ｃを使い、ネットワーク／電話回線２を介して通信会議を行う。
【００１１】
ネットワーク／電話回線２には、本発明の通信会議装置１０が接続されており、通信会議装置１０は、ネットワーク／電話回線２を介した音声による通信会議を円滑に推進する。
【実施例１】
【００１２】
図２は、本発明の実施例１の通信会議装置１０のブロック構成図である。図２において、１００はネットワークインタフェース入力回路及び分解回路、１０１は入力音量調整部、１０２は音量監視部、１０３は発言分析部、１０４は利得調整部、１０５は加算回路及びネットワークインタフェース出力回路、１０６は中央制御回路、１０７はデータベースを示す。
【００１３】
本ブロック構成図で示した各機能ブロックは、デジタル信号処理用のプロセッサで実現しても良いし、ハードウェアで実現しても良い。
【００１４】
各機能ブロックについて、以下に説明する。ネットワークインタフェース入力回路及び分解回路１００は、ネットワークから通信会議の複数の参加者の音声データが含まれているデータを受信し、それぞれの音声会議端末毎に分解し、各入力音声調整部１０１に音声データを渡す。
【００１５】
入力音量調整部１０１は、音量監視部１０２からの各音声会議端末の音量データに基づき、それぞれの会議参加者からの入力音声の音量を予め定められた一定の音声レベルに音量を調整する。
【００１６】
音量監視部１０２は、入力音量調整部１０１を通過し一定の音声レベルにされた音声データを分析し、その音量を監視する。
【００１７】
発言分析部１０３は、入力音量調整部１０１を通過した音声データを監視し、会議参加者の発言の状況を分析する。例えば、発言の回数、通話判定音量以下になった時点から次の発言が通話判定音量以上になるまでの時間やこの時間の発生度数分布等を分析する。
【００１８】
利得調整部１０４は、発言を強調する参加者と抑える参加者の区別をするため、中央制御回路の指示により、強調したい参加者のアンプ利得を「大」に調整し、強調したい発言者以外のアンプ利得を「小」に調整することによって発言者の送話利得が向上される。
【００１９】
加算回路及びネットワークインタフェース出力回路１０５は、入力音声調整部１０１、利得調整部１０４を通過した会議参加者音声データをミキシングし全ての会議参加者へマルチキャストまたはブロードキャストで送出する。
【００２０】
中央制御回路１０６は、音量監視部１０２や発言分析部１０３から収集した情報を基に当該発言者の発言のあり／なしを判定し、発言ありの場合はどの発言を強調するかを判別し利得調整部１０４へ指示する。
【００２１】
データベース１０７は、発言者毎の最大音量、平均音量、入力音量調整値、及び発生度数分布（発言と発言の間隔など）の分析結果等を保存する。
【００２２】
図３を使って、本発明の実施例１の入力音声とアンプ利得制御の基本動作について説明する。
【００２３】
図３において、
（１）発言なしの状態。ＡＢＣ全ての参加者のアンプ利得を「大」に設定する。アンプ調整を「大」から「小」に設定することで発話中の参加者は自然な会話を行うことができる。
（２）Ａさんの音声が「通話判定音量Ｖｓｈ」を超えたので、Ｂさん及びＣさんの利得を「小」にしてＡさんの発言を強調する。
【００２４】
（３）Ａさんの音声が「通話判定音量Ｖｓｈ」を下回り、無音監視期間となる。
（４）Ａさんの音声が「無音監視時間Ｔ０」の間に再び通話判定音量Ｖｓｈを超えることがなかったので、発言者なしの状態と判断し、ＡＢＣ全ての利用者の利得を「大」とする。ここで無音監視時間Ｔ０とは発話者の息継ぎの無音時間や発話者の会話と会話の間の時間を意味する。
（５）Ｂさんの音声が通話判定音量Ｖｓｈを超えたので、Ａさん及びＣさんの利得を「小」にしてＡさんの発言を強調する。
【００２５】
（６）Ｂさんの発言中に、Ｃさんの音声が通話判定音量Ｖｓｈを超えたが、Ｂさんの音声が通話判定音量Ｖｓｈより上にあるため、Ｃさんの利得は「小」のまま変化しない。
（７）Ｂさんの音声が通話判定音量Ｖｓｈを下回り、無音監視期間となる。
（８）Ｂさんの音声が無音監視時間Ｔ０の間に再び通話判定音量Ｖｓｈを超えたので、前の状態を継続する。
【００２６】
（９）Ｂさんの音声が通話判定音量Ｖｓｈを下回り、無音監視期間となる。
（１０）Ｂさんの音声が無音監視時間Ｔ０の間に再び通話判定音量Ｖｓｈを超えることがなかったので、発言者なしの状態とし、ＡＢＣ全ての利用者の利得を「大」とする。
【００２７】
図４は、この発明の実施例１の発言者毎の音量の調整の動作に用いるデータベースを生成する動作を説明するフローチャートである。
【００２８】
図４のフローチャートが開始されると、入力音声レベル（人の発する声の周波数）が予め定められた通話判定音量（Ｖｓｈ）を越えるのを待つ（Ｓ１００）。入力音声レベルが通話判定音量（Ｖｓｈ）を越えたら（Ｓ１００：Ｙ）入力音声の計測を開始する（Ｓ１０１）。入力音声の計測は入力音声レベルが通話判定音量（Ｖｓｈ）を下回るまで継続する（Ｓ１０２）。
【００２９】
入力音声レベルが通話判定音量（Ｖｓｈ）を下回ると（Ｓ１０２：Ｙ）、入力音声レベルの計測を終了する（Ｓ１０３）。そして計測データを分析し、入力音声レベルの最大値、平均値が算出され、算出された値はデーベース１０７に追加される（Ｓ１０４）。データベース７に登録されていた過去のデータと新たに追加したデータから発言者毎に適切な入力音量調整値を算出し更新する（１０５）。
【００３０】
図４のフローによって会議参加者それぞれの環境、機材の違いや  発言者個人の音量の違いにより、会議装置に到達する段階では参加者ごとに音量が異なっていることが考えられる。そのまま、発言者の判定を行おうとした場合に、例えば、声の大きい人またはよりマイクからの距離が近い人が勝つことになってしまい、発言の機会を公平に与えられない。
【００３１】
そこで入力音量調整値を算出することで、会議装置に到達した音量を参加者毎に適宜監視して、発言者判定に適切な会議参加者間で同等の音量となるよう会議装置の入力音量を調整する。また、入力段で適切な音量調整を行うので、発言者を強調する為のアンプ利得の切り替えは、「大」「小」の２段階を切り替えるだけのシンプルなものとすることができる。
【００３２】
図５は、データベース７に保存される発言者毎の音量の調整情報を示す図である。データベース１０７には、参加者、入力音声レベルの最大音量、平均音量、通話判定音量、入力音量調整値のデータが記録されている。
【００３３】
図６は、無音監視時間Ｔ０を適応させるための動作を説明するフローチャートである。
【００３４】
通信会議において一気に発言する者もいれば、一言一句を考えながら慎重に発言するものがおり、参加者によって個人差がある。後者の場合、発言中であるにも関わらず無音時間が一定の時間を越えて発言者なしと誤判定されてしまうことが多発する。
【００３５】
無音監視時間Ｔ０を最適化することにより、参加者ごとに誤判定の回数を低減することができる。
【００３６】
発言のパターン（発言と発言の間隔など）を適宜監視して、区切りを判定する時間（無音監視時間Ｔ０）を適応させる。
【００３７】
図６のフローチャートに示すように、まず、通信会議に参加した時に参加者毎の無音監視適応の為のデータベースに過去の参加者記録が存在しないかを検索する。具体的には、図７に図示しないが参加者毎に声紋認証用の情報を蓄積し、入力された音声によって当該参加者を特定する。（Ｓ２００）
【００３８】
データベースに過去データがある場合（Ｓ２００：Ｙ）、無音監視時間Ｔ０をデータベースに記録されている値を設定する（Ｓ２０１）。
【００３９】
データベースに過去データがない場合（Ｓ２００：Ｎ）には、無音監視時間Ｔ０をシステムデフォルト値Ｘ（例えば３００ｍＳ）に設定する（Ｓ２０２）。そしてさらにデータベースに新たな参加者として追加する（Ｓ２０３）。
【００４０】
次に、当該参加者毎に無音が検出されたかどうかの判定（即ち、通話判定音量Ｖｓｈを下回るか？）を行う（Ｓ２０４）。無音を検出しない場合は、検出されるまで処理を繰り返す。
【００４１】
無音を検出した場合（Ｓ２０４：Ｙ）、発言が完了したことを判定または、無音監視時間を計測するために、予め定められた時間（例えば３秒）でタイムアウトする無音時間計測タイマＴ１を起動し、無音時間の計測を開始する（Ｓ２０５）。ここで、通信会議終了の場合（Ｓ２０６：Ｙ）には、無音時間計測タイマＴ１を停止し（Ｓ２０７）、処理を終了する。
【００４２】
通常、通信会議が終了していない場合（Ｓ２０６：Ｎ）、無音時間計測タイマＴ１がタイムアウトするかを判定する（Ｓ２０８）。
【００４３】
タイムアウトしていない場合（Ｓ２０８：Ｎ）、音声が入力されるのを待つ（Ｓ２０９）。ここで参加者の音声が検出（ステップＳ２０９：Ｙ）されると、無音時間計測タイマＴ１を停止し、停止時の時間ｔ１の値を分析し、図７に示す無音監視時間データベース７を更新する。具体的にはそのタイマ値にあてはまる発生度数分布の区分の度数を１つ追加して、標本数を＋１する。さらにデータベースの内容を分析して無音時間最頻値、無音監視時間ｔ０を最適な値に更新しその後、無音時間計測タイマＴ１をリセットしてから、ステップＳ２０４に戻って、無音を検出するのを待つ。
【００４４】
無音時間計測タイマＴ１が一定時間経過し、タイムアウトした場合（Ｓ２０８：Ｙ）、参加者のアンプ利得を「大」に調整（ステップＳ２１１）し、無音時間計測タイマＴ１をリセットしてから、ステップＳ２０６に移行する。
【００４５】
図７は、本発明の実施例１の無音監視時間Ｔ０を適応させるために利用するデータベース１０７である。データベース１０７には、参加者、標本数、無音時間最頻値、発生度数分布、無音監視時間Ｔ０が記録されている。
【実施例２】
【００４６】
図８は、本発明の実施例２の発言の冒頭部分の不要な利得変化を解消する方式の基本原理を説明する図である。
本発明の実施例１では、発言者がいないときには全ての会議参加者の利得を「大」にすることを特徴とし、発言者強調の為の利得可変時において発言者の音量変化を行わず違和感をなくすことにしている。
【００４７】
しかしながら、会議参加者の内一人でも背景雑音が大きい環境から参加している者がいる場合には発言者がいないときに、会議参加者全員又は背景雑音の大きい参加者の利得を「小」に制御したほうが良く、その場合においては発言開始時利得が「小」→「大」と変化する為に、参加者の発言が聞き苦しくなる。
【００４８】
図９は、本発明の実施例２の通信会議装置のブロック構成図である。図８には、各利得調整部１０４の前に、それぞれ、音声データのバッファ１０８を追加した構成が示されている。
【００４９】
音声データのバッファ１０８によって、喋り始めの音声を、一時的に音声をメモリに蓄えて、利得を「大」に引き上げてからわずかな時間遅らせて再生することで喋り始めの音量変化を排除する。なお、ここで発生させたわずかな遅延を、例えば無音時間の再生を省略しながら行うことにより発言が進むにつれ実際の音声に近づけることが可能であり、遅延が好ましくない環境においても、影響を軽減できる。
【００５０】
図９に示された「実際の音声」と「再生音声」の時間的な変化を参照すると、「実際の音声」について（１）音声を検出し、「再生音声」については、（２）利得調整回路の利得を「小」→「大」にしてから、（３）音声データの出力を開始する。また、（４）「再生音声」の無音区間を少しずつ間引いて「実際の音声」に近づけるようにする。（５）では、「実際の音声」と「再生音声」の開始時間は、ほぼ一致する。
【００５１】
そのまま再生すると、利得調整回路の利得調整前に音声が出力され不自然となる。図９には、各利得調整部１０４の前に、それぞれ、バッファを追加するブロック図上の位置を示す（１０８）。再生音声が実際の音声に近づいたかどうかは、バッファに存在するデータの量で判断する。データ量が少ないほど実際の音声と再生音声のタイミングが近づいていることを示す。
【００５２】
なお、複数の音声会議端末の利得調整に当っては、演説モード：アンプ利得が変動しにくいモード、議論モード：アンプ利得が変動し易いモード、或いは、２人以上の複数の参加者の発言が強調されるモードなどを設定可能とし、発言者がずっと喋り続けた場合には、演説モードの設定やゲインバランスのリセットにより、他の人の音声が低レベルのままになる欠点を解消することができる。
【００５３】
また、一定時間または無音期間毎に、会議参加者全ての調整済みゲインバランスをリセットして、複数の音声会議端末の利得調整を確実に設定することができる。
【００５４】
尚、本実施例では、通話判定音量Ｖｓｈを使って説明してきたが、参加者の発言開始の判定と参加者の発言終了の判定音量を分けて実施してもよい。具体的には通話開始判定音量Ｖｓｈ１と通話終了判定音量Ｖｓｈ２を設けて通話開始判定音量Ｖｓｈ１の判定音量は低く設定し、通話終了判定音量Ｖｓｈ２の判定音量は高く設定することで、より高い精度の無音監視時間Ｔ０を測定することができる。
【図面の簡単な説明】
【００５５】
【図１】図１は、本発明の通信会議装置を用いた通信会議システムの全体図である。
【図２】図２は、本発明の実施例１の通信会議装置のブロック構成図である。
【図３】図３は、本発明の実施例１の入力音声とアンプ利得制御との関係の基本原理を説明する図である。
【図４】図４は、本発明の実施例１のデータベース作成の動作を説明するフローチャートである。
【図５】図５は、本発明の実施例１の発言者毎に音量を適宜監視して音量の調整を行うためのデータベースを示す図である。
【図６】図６は、本発明の実施例１の無音監視時間Ｔ０を適応させるための動作を説明するフローチャートである。
【図７】図７は、本発明の実施例１の無音監視時間Ｔ０を適応させるために利用するデータベースを示す図である。
【図８】図８は、本発明の実施例２の通信会議装置のブロック構成図である。
【図９】図９は、本発明の実施例２の発言の冒頭部分の不要な利得変化を解消する方式の基本原理を説明する図である。
【符号の説明】
【００５６】
１ａ    音声会議端末
１ｂ    音声会議端末
１ｃ    音声会議端末
２    ネットワーク／電話回線
１０    通信会議装置
１００    ネットワークインタフェース入力回路及び分解回路
１０１    入力音量調整部
１０２    音量監視部
１０３    発言分析部
１０４    利得調整部
１０５    加算回路及びネットワークインタフェース出力回路
１０６    中央制御回路
１０７    データベース
１０８    バッファ
【図１】
2009027239.tif 000003
【図２】
2009027239.tif 000004
【図３】
2009027239.tif 000005
【図４】
2009027239.tif 000006
【図５】
2009027239.tif 000007
【図６】
2009027239.tif 000008
【図７】
2009027239.tif 000009
【図８】
2009027239.tif 000010
【図９】
2009027239.tif 000011