(57)【要約】【課題】従来の多地点会議においては、地点数に比例して多地点音声通信装置の規模およびコストが増大するという課題があった。【解決手段】ネットワークを介して多地点間で同時に音声通信を行う際の音声情報の中継分配を行う多地点音声通信装置において、各地点から送信されてくる符号化データから音声情報の発生状況を示す特徴量を検出して各地点に優先度を付与し、優先度の高い順に所定の数の地点を優先グループとし、優先グループに属する地点からの音声情報のみを中継分配の対象として、全地点に中継分配するように構成して、地点の数が増大しても装置の規模およびコストを抑制できるようにする。【選択図】      図１
2004179776.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して多地点間で同時に音声通信を行う際の音声情報の中継分配を行う多地点音声通信装置において、
各地点から送信されてくる符号化データから音声情報の発生状況を示す特徴量を検出して各地点の優先度を設定する優先度設定手段と、優先度の高い順に所定の数の地点を選択して、優先グループとする優先グループ設定手段と、該優先グループに属する優先地点から受信した符号化データを音声データに復号する優先地点毎に設けられた復号手段と、復号された音声データを優先地点へ合成して出力する優先地点毎に設けられた第一の音声合成出力手段と、該優先グループに属さない非優先地点へ音声データを合成して出力する第二の音声合成出力手段とを備え、該優先グループに属する優先地点へは、該優先地点を除く全ての優先地点からの音声データを第一の音声合成出力手段により合成して出力し、該優先グループに属さない非優先地点へは、全ての優先地点からの音声データを第二の音声合成出力手段により合成して出力する、
ことを特徴とする多地点音声通信装置。
【請求項２】
ネットワークを介して多地点間で同時に音声通信を行う際の音声情報の中継分配を行う多地点音声通信装置において、
各地点から送信されてくる符号化データを音声データに復号する各地点毎に設けられた復号手段と、該音声データに含まれる音声情報の発生状況を示す特徴量を検出して、各地点の優先度を設定する優先度設定手段と、優先度の高い順に所定の数の地点を選択して優先グループとする優先グループ設定手段と、該優先グループに属する優先地点へ音声データを合成して出力する優先地点毎に設けられた第一の音声合成出力手段と、該優先グループに属さない非優先地点へ音声データを合成して出力する第二の音声合成出力手段とを備え、該優先グループに属する優先地点へは、該優先地点を除く全ての優先地点からの音声データを第一の音声合成出力手段により合成して出力し、該優先グループに属さない非優先地点へは、全ての優先地点からの音声データを第二の音声合成手段により合成して出力する、
ことを特徴とする多地点音声通信装置。
【請求項３】
請求項１または請求項２のいずれかに記載の多地点音声通信装置において、
前記特徴量は、各地点から送信されてきた符号化データまたは該符号化データを復号した音声データに含まれる音声の有無を示す音声識別情報である、
ことを特徴とする多地点音声通信装置。
【請求項４】
請求項１または請求項２のいずれかに記載の多地点音声通信装置において、
前記優先度設定手段は、各地点に識別番号ｉを付与して、地点ｉの前記特徴量をｘ（ｉ）と表記し、また、定周期で継続的に検出される前記特徴量の過去の検出周期に現時点から溯った通番の識別番号ｊを付与して、現時点からｊ周期前の地点ｉの過去の前記特徴量をｙ（ｉ，ｊ）と表記した場合、地点ｉの過去の特徴量の評価値ｙ（ｉ）として、ｊ周期前の特徴量ｙ（ｉ，ｊ）に所定の重み付け係数ｂ（ｊ）を掛けた値を、１周期前から所定の周期数ｎまで溯って累積加算した評価式
ｙ（ｉ）  ＝  ｂ（１）＊ｙ（ｉ，１）  ＋  ｂ（２）＊ｙ（ｉ，２）  ＋  ・・・  ＋  ｂ（ｎ）＊ｙ（ｉ，ｎ）
により算出し、地点ｉの優先度を判定するための評価値を、前記特徴量ｘ（ｉ）に所定の重み付け係数ａを掛けた値に、地点ｉの過去の特徴量を示す前記評価値ｙ（ｉ）、および、各地点に割り当てられた所定の優先度定数ｃ（ｉ）を加算した評価式
ａ＊ｘ（ｉ）  ＋  ｙ（ｉ）  ＋  ｃ（ｉ）
を用いて算出し、地点ｉの優先度を設定する
ことを特徴とする多地点音声通信装置。
【請求項５】
ネットワークを介して多地点間で会議を行う際に音声情報および画像情報の中継分配を行う多地点会議センター装置において、
該音声情報の中継に、請求項１ないし請求項４の多地点音声通信装置のいずれかを用いる、
ことを特徴とする多地点会議センター装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声会議，テレビ会議などで利用する多地点音声通信装置および多地点会議センター装置に係り、特に、地点数が増大しても装置の規模およびコストを抑制できる多地点音声通信装置および多地点会議センター装置に関する。
出張コスト削減や、遠隔学習などを目的として、多地点の音声会議やテレビ会議の用途が拡大しつつある。次世代の携帯テレビ電話の普及により、この傾向は加速するものと思われ、より多くの地点を低コストで接続可能な音声会議システムの実現が望まれている。
【０００２】
【従来の技術】
図８に従来技術の多地点音声通信装置の構成を示す。この多地点音声通信装置は、多地点会議を行う際に、各地点から送られてくる音声情報や映像情報を中継分配するためのセンター装置の一部として設置されるものである。
音声通話においては，自分の声が遅延して自分の耳に届いた場合、非常に大きな違和感が生じる。多地点会議での音声通話においても同様であり、円滑なコミュニケーションを実現するために、自分が現在いる地点の音声については、自分がいる地点を除いた他の地点に分配されるようにセンター装置を構成し、センター装置へ送信した自分の声が回線経由で自分がいる地点へフィードバックされないようにしている（例えば、特許文献１参照）。
【０００３】
例えば、図８において、地点１の会議室で発生した音声情報は、符号化データＲ１としてバッファ４に受信される。その後、多地点音声通信装置の処理周期に従って、バッファ４に格納されている符号化データＲ１が取出され、復号部１により音声データＡ１に復号された後、地点１以外のすべての他の地点（ここでは地点２および地点３）に接続されている音声合成部（ここでは音声合成部２ａおよび音声合成部２ｂ）に分配される。一方、地点１に接続されている音声合成部２では、自分が接続されている地点１以外のすべての他の地点（ここでは地点２および地点３）からの復号された音声データ（ここでは音声データＡ２およびＡ３）を合成して音声データＢ１を出力し、符号化部３で符号データＳ１に符号化した後、自分が接続されている地点１に送信する。以上の処理により、自分の会議室が在る地点１には、自分の声がセンター装置からフィードバックされることなく、かつ、すべての他の地点の会議室の音声情報が受信されて、多地点音声通信ができるようになる。他の地点２および地点３についても同様である。
【０００４】
図８の構成は、多地点会議の地点数が３の場合であるが、地点数が３より大きい場合も同様で、地点数分の復号部、音声合成部、符号化部が設けられ、各音声合成部では該音声合成部が接続されている地点以外のすべての他の地点からの音声データを合成した後、該音声データを符号化して、該音声合成部が接続されている地点へ送信するように構成している。
【０００５】
【特許文献１】
特開平８−２５６２１９号公開公報（第３〜５頁、第１図）
【０００６】
【発明が解決しようとする課題】
従来は、比較的少ない地点（例えば４地点程度以下）を接続した会議が想定されていたため、地点数分の復号部、音声合成部および符号化部を設けて構成することが可能であった。しかしながら、より大規模な多地点会議を実現する場合には、地点数に比例して多地点音声通信装置の規模およびコストが増大するという課題があった。
【０００７】
本発明は、ネットワークを介して多地点間で同時に音声通信を行う際の音声情報の中継分配を行う多地点音声通信技術において、地点数が増大しても、装置の規模およびコストを抑制できる多地点音声通信装置および多地点会議センター装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
第１の発明では、ネットワークを介して多地点間で同時に音声通信を行う際の音声情報の中継分配を行う多地点音声通信装置において、各地点から送信されてくる符号化データから音声情報の発生状況を示す特徴量を検出して各地点の優先度を設定する優先度設定手段と、優先度の高い順に所定の数の地点を選択して、優先グループとする優先グループ設定手段と、該優先グループに属する優先地点から受信した符号化データを音声データに復号する優先地点毎に設けられた復号手段と、復号された音声データを優先地点へ合成して出力する優先地点毎に設けられた第一の音声合成出力手段と、該優先グループに属さない非優先地点へ音声データを合成して出力する第二の音声合成出力手段とを備え、該優先グループに属する優先地点へは、該優先地点を除く全ての優先地点からの音声データを第一の音声合成出力手段により合成して出力し、該優先グループに属さない非優先地点へは、全ての優先地点からの音声データを第二の音声合成出力手段により合成して出力する、ように構成している。
【０００９】
第１の発明によれば、多地点会議を行う際に各地点からの音声情報を中継分配するために必要となる多地点音声通信装置を構成する場合に、会議に参加する地点数が増加しても、同一時点で同時に会話できる地点数を予め設定しておくことにより、その所定の地点数にプラス１した個数の復号手段および音声合成出力手段を設置するだけで多地点音声通信装置を構成することが可能となり、装置の規模およびコストの増大を抑制することができる。
【００１０】
第２の発明では、ネットワークを介して多地点間で同時に音声通信を行う際の音声情報の中継分配を行う多地点音声通信装置において、各地点から送信されてくる符号化データを音声データに復号する各地点毎に設けられた復号手段と、該音声データに含まれる音声情報の発生状況を示す特徴量を検出して、各地点の優先度を設定する優先度設定手段と、優先度の高い順に所定の数の地点を選択して優先グループとする優先グループ設定手段と、該優先グループに属する優先地点へ音声データを合成して出力する優先地点毎に設けられた第一の音声合成出力手段と、該優先グループに属さない非優先地点へ音声データを合成して出力する第二の音声合成出力手段とを備え、該優先グループに属する優先地点へは、該優先地点を除く全ての優先地点からの音声データを第一の音声合成出力手段により合成して出力し、該優先グループに属さない非優先地点へは、全ての優先地点からの音声データを第二の音声合成手段により合成して出力する、ように構成している。
【００１１】
第２の発明によれば、多地点会議を行う際に各地点からの音声情報を中継分配するために必要となる多地点音声通信装置を構成する場合に、会議に参加する地点数が増加しても、同一時点で同時に会話できる所定の地点数を予め設定しておくことにより、地点数分の復号手段と、その所定の地点数にプラス１した個数の音声合成出力手段を設置するだけで多地点音声通信装置を構成することが可能となり、装置の規模およびコストの増大を抑制することができる。
【００１２】
第３の発明では、第１の発明ないし第２の発明に記載の多地点音声通信装置において、前記特徴量は、各地点から送信されてきた符号化データまたは該符号化データを復号した音声データに含まれる音声の有無を示す音声識別情報である、ように構成している。
第３の発明によれば、会議に参加している地点の中で、実際に会話を行っている地点を検出することができ、それらの地点を優先地点としてグループ化し、優先地点から発信された音声情報のみを中継分配の対象とすることにより、実質的に会議をリードしている優先地点を常時把握しながら、優先地点のグループ化を動的に変更することにより、従来の全地点からの音声情報を常に中継分配するのと実質的に遜色のない会議の運用が可能となる。
【００１３】
第４の発明では、第１の発明ないし第２の発明に記載の多地点音声通信装置において、前記優先度設定手段は、各地点に識別番号ｉを付与して、地点ｉの前記特徴量をｘ（ｉ）と表記し、また、定周期で継続的に検出される前記特徴量の過去の検出周期に現時点から溯った通番の識別番号ｊを付与して、現時点からｊ周期前の地点ｉの過去の前記特徴量をｙ（ｉ，ｊ）と表記した場合、地点ｉの過去の特徴量の評価値ｙ（ｉ）として、ｊ周期前の特徴量ｙ（ｉ，ｊ）に所定の重み付け係数ｂ（ｊ）を掛けた値を、１周期前から所定の周期数ｎまで溯って累積加算した評価式
ｙ（ｉ）  ＝  ｂ（１）＊ｙ（ｉ，１）  ＋  ｂ（２）＊ｙ（ｉ，２）  ＋  ・・・  ＋  ｂ（ｎ）＊ｙ（ｉ，ｎ）
により算出し、地点ｉの優先度を判定するための評価値を、前記特徴量ｘ（ｉ）に所定の重み付け係数ａを掛けた値に、地点ｉの過去の特徴量を示す前記評価値ｙ（ｉ）、および、各地点に割り当てられた所定の優先度定数ｃ（ｉ）を加算した評価式
ａ＊ｘ（ｉ）  ＋  ｙ（ｉ）  ＋  ｃ（ｉ）
を用いて算出し、地点ｉの優先度を設定する、ように構成している。
【００１４】
第４の発明によれば、現時点に検出した特徴量に対する所定の重み付け係数ａ、現時点から過去に溯ったｊ番目の検出周期で検出された特徴量に対する所定の重み付け係数ｂ（ｊ）、および、各地点の識別番号ｉ毎に割り当てられた所定の優先度定数ｃ（ｉ）を調整することにより、実際に多地点会議を行う環境条件に適合した優先度の設定が行えるようになる。
【００１５】
第５の発明では、ネットワークを介して多地点間で会議を行う際に音声情報および画像情報の中継を行う多地点会議センター装置において、該音声情報の中継に、前記第１の発明ないし第４の発明の多地点音声通信装置のいずれかを用いる、ように構成している。
第５の発明によれば、本発明の多地点音声通信装置を多地点会議センター装置に組み込むことにより、本発明の特徴である実際に会話を行っている地点を優先地点としてグループ化する際の優先度グループ設定信号を連携データとして用いることにより、音声情報と一体化した画像情報の表示が可能となり、より効果的な多地点テレビ会議システムの実現が可能となる。
【００１６】
【発明の実施の形態】
本発明は、一般に多地点会議では、会議に参加している地点が多数ある場合であっても、同一時点で同時に会話を行う地点の数は少ない（２〜３地点程度）場合が多いことに着目し、実際に会話を行っている地点を常時監視して、実際に会話を行っている度合いを各地点の特徴量として検出し、該特徴量を基に各地点に優先度を付与し、優先度の高い順に所定の数の地点を選択して優先グループとし、実質的に会議をリードしている該優先グループに属する地点の音声のみを合成および符号化の対象にして各地点に分配することにより、会議の実質的な進行に影響を与えることなく、音声合成および符号化の装置規模およびコストを低減するものである。
【００１７】
図１は、本発明の多地点音声通信装置の第１の構成である。
会議室が設置されている地点１〜地点５からは、一定周期でかつ各地点毎に異なるタイミングで符号化データＲ１〜Ｒ５が送信されてくるため、それらの符号化データはそれぞれバッファ４、４ａ、４ｂ、４ｃ、４ｄに一旦格納される。その後、多地点音声通信装置の処理周期に従って、中継分配処理が行われる。
【００１８】
優先度設定部５は、バッファ４、４ａ、４ｂ、４ｃ、４ｄにそれぞれ格納されている符号化データＲ１〜Ｒ５に含まれている、各地点の音声情報の発生度合いを示す特徴量を検出する。そして、該特徴量を基に予め定めた評価式により評価値を算出して、その結果を基に各地点の優先度を決定して、各地点とその優先度の対応関係を示した優先度設定データＳＷを、優先グループ設定手段となる受信符号化データ選択部６および送信符号化データ分配部７へ引き渡す。
【００１９】
受信符号化データ選択部６は、引き渡された優先度設定データＳＷをもとに、優先度が高い順に所定の数の地点を優先グループとして選択する。そして、該優先グループの中から優先度順に地点を選択し、予め優先度順に配置されている復号部、音声合成部および符号化部と対応付ける。図１の構成では、所定の数は”３”で、優先グループは優先度順に地点１、地点５および地点４であり、受信符号化データ選択部６の枠内に点線矢印で示すように、それぞれ、優先度順に配置された復号部１、１ａ、１ｂに対応付けられる。第一の音声合成出力手段となる音声合成部２、２ａ、２ｂおよび符号化部３、３ａ、３ｂについても同様に、優先度順に地点１、地点５および地点４と対応付けられる。つまり、地点１からの音声情報は復号部１、音声合成部２および符号化部３で処理され、地点５からの音声情報は復号部１ａ、音声合成部２ａおよび符号化部３ａで処理され、地点４からの音声情報は復号部１ｂ、音声合成部２ｂおよび符号化部３ｂで処理される。
【００２０】
復号部１、１ａ、１ｂは、それぞれ、受信符号化データ選択部６から渡された地点１、地点５、地点４からの符号化データＸ１、Ｘ２、Ｘ３を、音声データＡ１、Ａ２、Ａ３へ復号する。
音声合成部２、２ａ、２ｂは音声データＡ１、Ａ２、Ａ３の中から、自分が対応付けられた地点以外の地点を発信元とする音声データを全て合成して、それぞれＢ１、Ｂ２、Ｂ３として符号化部３、３ａ、３ｂへ渡す。つまり、音声合成部２は音声データＡ２、Ａ３を合成して合成データＢ１を出力し、音声合成部２ａは音声データＡ１、Ａ３を合成して合成データＢ２を出力し、音声合成部２ｂは音声データＡ１、Ａ２を合成して合成データＢ３を出力する。
【００２１】
符号化部３、３ａ、３ｂは、それぞれ、音声合成部２、２ａ、２ｂから引き渡された合成データＢ１、Ｂ２、Ｂ３を符号化して符号化データＹ１、Ｙ２、Ｙ３とし、送信符号化データ分配部７へ引き渡す。
一方、第二の音声合成出力手段となる音声合成部２ｘおよび符号化部３ｘにおいて、音声合成部２ｘは上記優先グループに属する優先地点からの全ての音声データＡ１、Ａ２、Ａ３を合成して合成データＢ０を符号化部３ｘへ引き渡し、符号化部３ｘはそれを符号化して符号化データＹ０として送信符号化データ分配部７へ引き渡す。
【００２２】
送信符号化データ分配部７は、上記の受信符号化データ選択部６の処理と同様に、優先度設定部５から引き渡された優先度設定データＳＷをもとに、優先度が高い順に所定の数の地点を優先グループとして選択する。そして、該優先グループに属する優先地点を優先度順に、予め優先度順に配置されている第一の音声合成出力手段となる音声合成部および符号化部に対応付ける。図１の構成では、所定の数は”３”で、優先グループは優先度順に地点１、地点５および地点４であり、送信符号化データ分配部７の枠内に点線矢印で示すように、それぞれ、優先度順に配置された第一の音声合成出力手段の構成要素である符号化部３、３ａ、３ｂに対応付けられ、符号化部から出力された符号化データＹ１、Ｙ２、Ｙ３は、それぞれ、地点１、地点５、地点４に送信される。
【００２３】
送信符号化データ分配部７では、さらに、送信符号化データ分配部７の枠内に点線矢印で示すように、第二の音声合成出力手段となる音声合成部２ｘおよび符号化部３ｘを、優先グループに属さない全ての非優先地点に対応付ける。そして、符号化部３ｘから出力される優先地点からの全ての音声データが合成された符号化データＹ０を、すべての非優先地点へ分配する。図１の構成では、優先グループを構成する地点１、地点５、地点４からの音声データＡ１、Ａ２、Ａ３は音声合成部２Ｘで合成データＢ０に合成され、符号化部３ｘで符号データＹ０に符号化された後、非優先地点である地点２および地点３へ中継分配される。
【００２４】
上記の処理は、所定の周期（例えば２０ｍｓ程度の短い時間）で継続的に行われるため、実際に会話を行っている優先グループを動的に設定し直しながら、会議を進行することが可能であり、会議に参加している全地点において、常に、実質的に会議をリードしている優先地点の会話を聞きながら会議に参加することができるだけでなく、多地点音声通信装置としては、優先地点分の復号部、合成部および符号化部に、非優先地点用の合成部および符号化部をそれぞれ１個付加するだけで装置を構成することができ、地点の数が増大しても、装置の規模およびコストを抑制することが可能となる。
【００２５】
図２は、上記の優先度設定を実現するための、本発明の多地点音声通信装置の優先度設定部の第１の構成である。
地点１からの音声情報の扱いについて説明すると、特徴量検出部５１は、地点１から送信されてきた符号化データＲ１より、特徴量ｘ（１）を検出して遅延部５２および評価値算出部５３へ出力する。
【００２６】
遅延部５２は、入力された特徴量ｘ（１）を１周期の間一時記憶した後、該特徴量を１周期前の特徴量ｙ（１，１）として評価値算出部５３に出力する。
評価値算出部５３では、次の評価式で評価値を算出する。
Ｅｉ  ＝  ａ  ＊  ｘ（ｉ）  ＋  ｙ（ｉ）  ＋  ｃ（ｉ）
ｙ（ｉ）  ＝  ｂ（１）＊ｙ（ｉ，１）  ＋  ｂ（２）＊ｙ（ｉ，２）  ＋  ・・・  ＋  ｂ（ｎ）＊ｙ（ｉ，ｎ）
ここで、  ｘ（ｉ）およびｙ（ｉ）は、それぞれ地点ｉの現時点および過去の特徴量であり、ａは現時点の地点ｉの特徴量ｘ（ｉ）に対する所定の重み付け係数であり、
ｂ（ｊ）は、現時点から過去に溯ったｊ番目の検出周期で検出された特徴量に対する所定の重み付け係数であり、ｙ（ｉ，ｊ）は、地点ｉにおける過去ｊ番目の検出周期で検出された特徴量であり、ｎは過去の特徴量の算出の際に溯る最大の検出周期の数であり、ｃ（ｉ）は地点ｉに割り当てられる所定の優先度定数である。また、図２の構成では、ｎ＝１であり、
ｙ（ｉ）  ＝  ｂ（１）＊ｙ（ｉ，１）
となる。
【００２７】
地点１については、ｉ＝  １であり、評価値Ｅ（１）は、
Ｅ（１）  ＝  ａ  ＊  ｘ（１）  ＋  ｙ（１）  ＋  ｃ（１）
ｙ（１）  ＝  ｂ（１）＊ｙ（１，１）
となる。そして、算出した評価値Ｅ（１）は優先度判定部５４へ引き渡される。
上記では、地点１からの符号化データについての処理を説明したが、地点２〜５についても同様で、地点ｉの評価値Ｅ（ｉ）は、
Ｅ（ｉ）  ＝  ａ  ＊  ｘ（ｉ）  ＋  ｙ（ｉ）  ＋  ｃ（ｉ）
ｙ（ｉ）  ＝  ｂ（１）＊ｙ（ｉ，１）
で算出されて、優先度判定部５４へ引き渡される。
【００２８】
優先度判定部５４では、入力された各地点（地点１〜５）の評価値Ｅ（１）〜Ｅ（５）の大きさを判定し、大きい順に優先度大として優先度を決定し、その結果を、優先度設定データＳＷとして、優先グループ設定手段となる受信符号化データ選択部６および送信符号化データ分配部７へ引き渡す。
優先グループ設定手段となる受信符号化データ選択部６および送信符号化データ分配部７は、前述のように、引き渡された優先度設定データＳＷをもとに、優先地点については、自分の地点以外の全優先地点からの音声情報が合成されて送信されるようにし、優先グループに属さない地点（非優先地点）については、全ての優先地点からの音声情報が合成されて、該非優先地点に送信されるように、多地点音声通信装置内の音声情報の中継分配ルートを設定する。
【００２９】
上記のような構成にすることにより、各地点の音声情報の発生状況を監視しながら、実際に会話を行っている地点（優先地点）を適切に判定し、その地点からの音声情報のみを処理の対象として全地点に分配することにより、実際の会議の運用を損なうことなく、従来技術と遜色のない会議の運用が可能となる。
次に、各地点の優先度判定の基となる特徴量として、音声の有無を示す音声識別情報として無音検出情報を用いた場合の優先度判定方法について説明する。
【００３０】
各地点から送信されてくる符号化データに含まれる無音検出情報の代表的な例としては、ＶＡＤ（Ｖｏｉｃｅ  Ａｃｔｉｖｉｔｙ  Ｄｅｔｅｃｔｉｏｎ）情報がある。
図３は、本発明で用いる符号化データの構成例であり、音声の有無を示す音声識別情報として無音検出情報の一つであるＶＡＤ情報を用いている。符号化データの先頭１ｂｉｔは、音声の有無を示す音声識別情報となるＶＡＤフラグで、ＶＡＤフラグ＝１の場合は，有音を意味し、ＶＡＤフラグにつづいて符号化データの長さと符号化データが存在する。ＶＡＤフラグ＝１の場合は、無音を意味し、ＶＡＤフラグのみであり、符号化データの長さおよび符号化データは存在しない。
【００３１】
図４は、本発明のＶＡＤ情報による優先度の判定手順である。特徴量となる無音検出情報として上記のＶＡＤフラグを用いた場合の各地点の優先度の判定手順について、シーケンス番号Ｓ１〜Ｓ５に沿って説明する。
図４において、ＶＡＤｘ（ｉ）、ＶＡＤｙ（ｉ）、Ｅ（ｉ）およびＬ（ｉ）は、それぞれ、地点ｉ  （ｉ＝１〜５）の現時点の特徴量であるＶＡＤフラグ、１周期前の過去の特徴量であるＶＡＤフラグ、評価値および優先度を表わし、ＶＡＤｘｉ、ＶＡＤｙｉ、ＥｉおよびＬｉはそれらを格納する領域を表わす。
【００３２】
Ｓ１．  現時点から１周期前の処理タイミングで、各地点から送信されてきてバッファ４、４ａ、４ｂ、４ｃ、４ｄに格納されている符号化データＲ１〜Ｒ５の中から、それぞれ、特徴量としてＶＡＤフラグＶＡＤｘ（１）〜ＶＡＤｘ（５）を検出し、次の周期（現時点）で１周期前の過去の特徴量ｙ（１，１）〜ｙ（５，１）として使用するために、領域ＶＡＤｙ１〜ＶＡＤｙ５に一時記憶しておく。
【００３３】
Ｓ２．  現時点の処理タイミングにおいて、各地点から送られてきてバッファ４、４ａ、４ｂ、４ｃ、４ｄに格納されている符号化データＲ１〜Ｒ５の中から、それぞれ、特徴量となるＶＡＤフラグＶＡＤｘ（１）〜ＶＡＤｘ（５）を検出し、現時点の特徴量ｘ（１）〜ｘ（５）として領域ＶＡＤｘ１〜ＶＡＤｘ５へ格納する。
Ｓ３．  シーケンスＳ１で一時記憶した１周期前の各地点の特徴量を示すＶＡＤフラグ  ＶＡＤｙ（１）〜ＶＡＤｙ（５）、および、シーケンスＳ２で抽出した現時点の各地点の特徴量を示すＶＡＤフラグＶＡＤｘ（１）〜ＶＡＤｘ（５）から、次の評価式により、各地点の優先度判定の根拠となる評価値Ｅ（１）〜Ｅ（５）を算出し、領域Ｅ１〜Ｅ５に格納する。
【００３４】
Ｅ（ｉ）  ＝  ５０  ＊  ＶＡＤｘ（ｉ）  ＋  ２５  ＊  ＶＡＤｙ（ｉ）  ＋  ｉ
ここで、ｉは地点番号で、このケースでは  ｉ  ＝  １  〜  ５  の値をとる。
本評価式は、前記の評価式、
Ｅｉ  ＝  ａ  ＊  ｘ（ｉ）  ＋  ｙ（ｉ）  ＋  ｃ（ｉ）
ｙ（ｉ）  ＝  ｂ（１）＊ｙ（ｉ，１）  ＋  ｂ（２）＊ｙ（ｉ，２）  ＋  ・・・  ＋  ｂ（ｎ）＊ｙ（ｉ，ｎ）
において、ｎ＝１、ｙ（ｉ，１）＝ＶＡＤｙ（ｉ）、ｂ（１）＝２５、ｘ（ｉ）＝ＶＡＤｘ（ｉ）、ａ＝５０、ｃ（ｉ）＝ｉとした例を表わしている。
【００３５】
Ｓ４．  シーケンスＳ３で算出した評価値から、各地点の優先度Ｌ（１）〜Ｌ（５）を決定する。ここで、シーケンスＳ３で算出した評価値が大きい地点を優先度が高いとみなし、優先度としてその順位の番号１〜５をＬ（１）〜Ｌ（５）に割り当てる。図４の例では、地点１の優先度Ｌ（１）は”１”、地点２の優先度Ｌ（２）は”４”、地点３の優先度Ｌ（３）は”５”、地点４の優先度Ｌ（４）は”３”、地点５の優先度Ｌ（５）は”２”となる。つまり、優先度の高い方からの順位は、地点１、地点５、地点４、地点２、地点３の順となる。
【００３６】
Ｓ５．シーケンスＳ４で決定した優先順位に従って、優先グループ設定手段である受信符号化データ選択部６および送信符号化データ分配部７へ、優先度設定データＳＷを引き渡して、優先グループを設定する。図４の例では、Ｌ（１）＝１、Ｌ（５）＝２、Ｌ（４）＝３、Ｌ（２）＝４、Ｌ（３）＝５となるため、地点１、地点５、地点４、地点２、地点３の順に優先度”１”、”２”、”３”、”４”、”５”が割り当てられる。そして、優先度の高い３地点（地点１、地点５、地点４）が優先グループとして設定される。
【００３７】
上記の本発明の多地点音声通信装置の第１の構成については、説明の便宜上、地点の数を５地点とし、優先地点を３個所としたが、地点の数および優先地点の数はこれに限定されるものではなく、それ以外の数であっても、本発明は同様に適用される。
また、過去の特徴量として、１周期前の特徴量のみを用いる構成としたが、さらに過去の特徴量を用いることも可能である。
【００３８】
また、特徴量として無音検出情報の一つであるＶＡＤ情報の例を説明したが、それ以外の音声の有無を示す音声識別情報を用いてもよい。
図５は、本発明の多地点音声通信装置の第２の構成である。
図５に示す構成は、前記本発明の多地点音声通信装置の第１の構成では特徴量を検出して優先度を判定する優先度設定部が、受信した符号化データを復号する前の位置に置かれていたものを、復号化した後の音声データを入力とする位置に配置したものである。
【００３９】
会議室が設置されている地点１〜地点５からは、一定周期でかつ各地点毎に異なるタイミングで符号化データＲ１〜Ｒ５が送信されてくるため、それらの符号化データはバッファ４、４ａ、４ｂ、４ｃ、４ｄに一旦格納される。その後、多地点音声通信装置の処理周期に従って、中継分配処理が行われる。
まず、復号部１、１ａ、１ｂ、１ｃ、１ｄは、それぞれ、バッファ４、４ａ、４ｂ、４ｃ、４ｄに格納されている符号化データＲ１〜Ｒ５を、音声データＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５に復号する。
【００４０】
優先度設定部８は、音声データＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５に含まれている、各地点の音声情報の発生度合いを示す特徴量を検出する。そして、該特徴量を基に予め定めた評価式により評価値を算出して、その結果を基に各地点の優先度を決定し、各地点とその優先度の対応関係を示した優先度設定データＳＷを、優先グループ設定手段となる受信音声データ選択部９および送信符号化データ分配部７へ引き渡す。
【００４１】
受信音声データ選択部９は、引き渡された優先度設定データＳＷをもとに、優先度が高い順に所定の数の地点を優先グループとして選択する。そして、該優先グループの中から優先度順に地点を選択し、予め優先度順に配置されている第一の音声合成出力手段となる音声合成部および符号化部に対応付ける。図５の構成では、所定の数は”３”で、優先グループは優先度順に地点１、地点５および地点４であり、受信音声データ選択部９の枠内に点線矢印で示すように、各優先地点からの音声データＺ１、Ｚ５、Ｚ４は、それぞれ、音声データＡ１、Ａ２、Ａ３に接続され、優先度順に配置された第一の音声合成出力手段となる音声合成部２、２ａ、２ｂおよび符号化部３、３ａ、３ｂに対応付けられる。つまり、地点１からの音声データＺ１は音声合成部２および符号化部３で処理され、地点５からの音声データＺ５は音声合成部２ａおよび符号化部３ａで処理され、地点４からの音声データＺ４は音声合成部２ｂおよび符号化部３ｂで処理される。
【００４２】
音声合成部２、２ａ、２ｂは音声データＡ１、Ａ２、Ａ３の中から、自分が対応付けられた地点以外の優先地点を発信元とする音声データを全て合成して、それぞれ合成データＢ１、Ｂ２、Ｂ３として符号化部３、３ａ、３ｂへ渡す。つまり、音声合成部２は音声データＡ２、Ａ３を合成して合成データＢ１を出力し、音声合成部２ａは音声データＡ１、Ａ３を合成して合成データＢ２を出力し、音声合成部２ｂは音声データＡ１、Ａ２を合成して合成データＢ３を出力する。
【００４３】
符号化部３、３ａ、３ｂは、それぞれ、音声合成部２、２ａ、２ｂから引き渡された合成データＢ１、Ｂ２、Ｂ３を符号化して符号化データＹ１、Ｙ２、Ｙ３とし、送信符号化データ分配部７へ引き渡す。
一方、第二の音声合成出力手段となる音声合成部２ｘおよび符号化部３ｘでは、音声合成部２ｘが上記優先グループに属するの優先地点からの全ての音声データＡ１、Ａ２、Ａ３を合成して合成データＢ０を符号化部３ｘへ引き渡し、符号化部３ｘはそれを符号化して符号化データＹ０として送信符号化データ分配部７へ引き渡す。
【００４４】
送信符号化データ分配部７は、上記の受信音声データ選択部９の処理と同様に、優先度設定部８から引き渡された優先度設定データＳＷをもとに、優先度が高い順に所定の数の地点を優先グループとして選択する。そして、該優先グループの中から優先度順に地点を選択し、予め優先度順に配置されている音声合成部および符号化部と対応付ける。図５の構成では、所定の数は”３”で、優先グループは優先度順に地点１、地点５および地点４であり、送信符号化データ分配部７の枠内に点線矢印で示すように、それぞれ、優先度順に配置された第一の音声合成出力手段の構成要素である符号化部３、３ａ、３ｂに対応付けられ、符号化部から出力された符号化データＹ１、Ｙ２、Ｙ３は、それぞれ、地点１、地点５、地点４に送信される。
【００４５】
送信符号化データ分配部７では、さらに、送信符号化データ分配部７の枠内に点線矢印で示すように、第二の音声合成出力手段となる音声合成部２ｘおよび符号化部３ｘを、優先グループに属さない全ての非優先地点に対応付ける。そして、符号化部３ｘから出力される優先地点からの全ての音声データが合成された符号化データＹ０を、全ての非優先地点へ中継分配する。図５の構成では、優先グループに属する地点１、地点５、地点４からの音声データＡ１、Ａ２、Ａ３は音声合成部２Ｘで合成データＢ０に合成され、符号化部３ｘで符号データＹ０に符号化された後、非優先地点である地点２および地点３へ中継分配される。
【００４６】
上記の処理は、所定の周期（例えば２０ｍｓ程度の短い時間）で継続的に行われるため、実際に会話を行っている優先グループを動的に設定し直しながら、会議を進行することが可能であり、会議に参加している全地点において、常に、実質的に会議をリードしている優先地点の会話を聞きながら会議に参加することができるだけでなく、多地点音声通信装置としては、地点数分の復号部、優先地点分の音声合成部および符号化部に、非優先地点用の合成部および符号化部をそれぞれ１個付加するだけで装置を構成することができ、地点の数が増大しても、装置の規模およびコストを抑制することが可能となる。
【００４７】
図６は、上記の本発明の多地点音声通信装置の第２の構成において、優先グループの設定を実現するための、本発明の優先度設定部の第２の構成である。図６の構成は、図２の本発明の優先度設定部の第１の構成では、各地点から送信されてくる符号化データＲ１〜Ｒ５から特徴量を検出したのに対し、復号化後の音声データＺ１〜Ｚ５から特徴量を検出している点が異なっている。
【００４８】
例えば地点１に対応した処理としては、特徴量検出部８１は、地点１から送信されてきた音声データＺ１より、特徴量となる情報を検出し、該特徴量を遅延部８２および評価値算出部８３へ出力する。
遅延部８２は、入力された特徴量ｘ（１）を１周期分の間一時記憶した後、該特徴量を１周期前の特徴量ｙ（１，１）として評価値算出部８３に出力する。
【００４９】
評価値算出部８３では、次の評価式で評価値を算出する。
Ｅｉ  ＝  ａ  ＊  ｘ（ｉ）  ＋  ｙ（ｉ）  ＋  ｃ（ｉ）
ｙ（ｉ）  ＝  ｂ（１）＊ｙ（ｉ，１）  ＋  ｂ（２）＊ｙ（ｉ，２）  ＋  ・・・  ＋  ｂ（ｎ）＊ｙ（ｉ，ｎ）
ここで、  ｘ（ｉ）およびｙ（ｉ）は、それぞれ地点ｉの現時点および過去の特徴量であり、ａは現時点の地点ｉの特徴量ｘ（ｉ）に対する所定の重み付け係数であり、
ｂ（ｊ）は、現時点から過去に溯ったｊ番目の検出周期で検出された特徴量に対する所定の重み付け係数であり、ｙ（ｉ，ｊ）は、地点ｉにおける過去ｊ番目の検出周期で検出された特徴量であり、ｎは過去の特徴量の算出の際に溯る最大の検出周期の数であり、ｃ（ｉ）は地点ｉに割り当てられる所定の優先度定数である。また、図６の構成では、ｎ＝１であり、
ｙ（ｉ）  ＝  ｂ（１）＊ｙ（ｉ，１）
となる。
【００５０】
地点１については、ｉ＝  １であり、評価値Ｅ（１）は、
Ｅ（１）  ＝  ａ  ＊  ｘ（１）  ＋  ｙ（１）  ＋  ｃ（１）
ｙ（１）  ＝  ｂ（１）＊ｙ（１，１）
となる。そして、算出した評価値Ｅ（１）は優先度判定部８４へ引き渡される。
上記では、地点１からの音声情報についての処理を説明したが、地点２〜５についても同様で、地点ｉの評価値Ｅ（ｉ）は、
Ｅ（ｉ）  ＝  ａ  ＊  ｘ（ｉ）  ＋  ｙ（ｉ）  ＋  ｃ（ｉ）
ｙ（ｉ）  ＝  ｂ（１）＊ｙ（ｉ，１）
で算出された後、優先度判定部８４へ引き渡される。
【００５１】
優先度判定部８４では、入力された各地点（地点１〜５）の評価値Ｅ（１）〜Ｅ（５）の大きさを判定し、大きい順に優先度大として優先度を決定し、その結果を、優先度設定データＳＷとして、優先グループ設定手段となる受信音声データ選択部９および送信符号化データ分配部７へ引き渡す。
優先グループ設定手段となる受信音声データ選択部９および送信符号化データ分配部７では、優先度設定データＳＷを受信すると、優先地点については、自分の地点以外の全優先地点からの音声情報が合成されて送信されるようにし、優先グループに属さない地点（非優先地点）については、全ての優先地点からの音声情報が合成されて、該非優先地点に送信されるように、多地点音声通信装置内での音声情報の中継分配ルートの接続を設定する。
【００５２】
上記のような構成にすることにより、各地点の音声情報の発生状況を監視しながら、ダイナミックに実質的に会議に参加している地点（優先地点）を適切に判定し、その地点の音声情報のみを処理の対象として全地点に分配することにより、実際の会議の運用を損なうことなく、従来技術と遜色のない会議の運用が可能となる。
【００５３】
上記の本発明の第２の構成については、説明の便宜上、地点の数を５地点とし、優先地点を３個所としたが、地点の数および優先地点の数はこれに限定されるものではなく、それ以外の数であっても、本発明は同様に適用される。
また、過去の特徴量として、１周期前の特徴量のみを用いる構成としたが、さらに過去の特徴量を用いることも可能である。
【００５４】
次に、本発明の多地点音声通信装置を用いた多地点テレビ会議システムについて、図７に示す本発明の多地点会議センター装置の構成を用いて説明する。
多地点テレビ会議システムでは、音声情報と画像情報が多重化されて、各地点から多地点会議センター装置へ送信されてくる。多地点会議センター装置では，各地点から送信されてくる多重化データＲＭ１、ＲＭ２、ＲＭ３、ＲＭ４、ＲＭ５をＤＭＵＸ（Ｄｅ−ｍｕｌｔｉｐｌｅｘｅｒ、分離部）１０１、１０１ａ、１０１ｂ、１０１ｃ、１０１ｄにより分離して，音声符号化データＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５として本発明の多地点音声通信装置１０６に引き渡す。多地点音声通信装置１０６は、上記のように、引き渡された音声符号化データＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５から音声情報の発生状況を示す特徴量を検出して、優先度を付与して優先グループを設定し、優先グループに属する地点の音声情報を合成して符号化し、音声符号化データＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５として、ＭＵＸ（Ｍｕｌｔｉｐｌｅｘｅｒ、多重化部）１０５、１０５ａ、１０５ｂ、１０５ｃ、１０５ｄへ引き渡す。
【００５５】
一方、ＤＭＵＸ１０１、１０１ａ、１０１ｂ、１０１ｃ、１０１ｄにより分離された画像情報は、ビデオＤＥＣ（Ｄｅｃｏｒｄｅｒ）１０２、１０２ａ、１０２ｂ、１０２ｃ、１０２ｄで復号された後に、画像合成装置１０３により１画面に合成され、ビデオＥＮＣ（Ｅｎｃｏｒｄｅｒ）１０４により符号化された後、各地点への画像符号化データとして、ＭＵＸ１０５、１０５ａ、１０５ｂ、１０５ｃ、１０５ｄへ引き渡される。ＭＵＸ１０５、１０５ａ、１０５ｂ、１０５ｃ、１０５ｄは、音声符号化データおよび画像符号化データを多重化して、多重化データＳＭ１、ＳＭ２、ＳＭ３、ＳＭ４、ＳＭ５として各地点に送信する。
【００５６】
本実施例では、音声情報と画像情報を独立に処理する例を示したが、図７の構成のように、例えば画像合成装置が入力地点数より少ない場合には、合成する画像データを選択する必要があり、この場合、本発明の多地点音声通信装置で生成された優先度設定データを選択情報として用いることにより、音声情報と連携した画像情報の切替え表示が可能となる。つまり、画像情報と音声情報が連動した効果的な多地点テレビ会議が実現できるようになる。
【００５７】
上記の図７の本発明による多地点会議センター装置の構成では、説明の便宜上地点の数を５地点としたが、本発明ではこれに限定されるものではなく、それ以外の数であっても、本発明は同様に適用される。
【００５８】
【発明の効果】
本発明は、多地点会議を行う際に各地点からの音声情報を中継分配するために必要となる多地点音声通信装置を効率的に構成するもので、会議に参加している各地点の音声情報の発生状況を監視しながら、実際に会話を行っていて、実質的に会議をリードしている優先地点を動的に判定してグループ化し、該優先地点の音声情報のみを処理対象として全地点に中継分配する。
【００５９】
これにより、実際の会議の運用を損なうことなく、かつ、音声合成部、符号化部などの多地点音声通信装置に必要な構成要素は、予め定められた数の優先地点からの音声情報を中継分配するのに必要なものに限定され、地点の数が増大しても、装置の規模およびコストを抑制することが可能となる。
【図面の簡単な説明】
【図１】本発明の多地点音声通信装置の第１の構成
【図２】本発明の優先度設定部の第１の構成
【図３】本発明で用いる符号化データの構成例
【図４】本発明のＶＡＤ情報による優先度の判定手順
【図５】本発明の多地点音声通信装置の第２の構成
【図６】本発明の優先度設定部の第２の構成
【図７】本発明によるの多地点会議センター装置の構成
【図８】従来技術の多地点音声通信装置の構成
【符号の説明】
１，１ａ，１ｂ      復号部
２，２ａ，２ｂ，２ｘ    音声合成部
３，３ａ，３ｂ，３ｘ    符号化部
４，４ａ，４ｂ，４ｃ，４ｄ  バッファ
５    優先度設定部
６    受信符号化データ選択部
７    送信符号化データ分配部
８    優先度設定部
９    受信音声データ選択部
１０１，１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ    ＤＭＵＸ
１０２，１０２ａ，１０２ｂ，１０２ｃ，１０２ｄ    ビデオＤＥＣ
１０３    画像合成装置
１０４    ビデオＥＮＣ
１０５，１０５ａ，１０５ｂ，１０５ｃ，１０５ｄ    ＭＵＸ
１０６    多地点音声通信装置
Ａ１，Ａ２，Ａ３    復号された音声データ
Ｂ１，Ｂ２，Ｂ３    合成された音声データ
Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５    地点１〜５から送信されてきた符号化データ
Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５    地点１〜５へ送信する符号化データ
ＳＷ    優先グループ設定データ
Ｘ１，Ｘ２，Ｘ３    符号化データ
Ｙ０，Ｙ１，Ｙ２，Ｙ３    符号化データ
Ｚ１，Ｚ２，Ｚ３，Ｚ４，Ｚ５    音声データ
ＲＭ１，ＲＭ２，ＲＭ３，ＲＭ４，ＲＭ５    受信多重化データ
ＳＭ１，ＳＭ２，ＳＭ３，ＳＭ４，ＳＭ５    送信多重化データ
ａ    現在の特徴量に対する重み付け係数
ｂ（１）    １周期前の過去の特徴量に対する重み付け係数
ｉ    各地点に付与された識別番号を表わす変数
ｘ（ｉ），ｘ（１），ｘ（２），ｘ（３），ｘ（４），ｘ（５）    現時点の特徴量
ｙ（ｉ，１），ｙ（１，１），ｙ（２，１），ｙ（３，１），ｙ（４，１），ｙ（５，１）    １周期前の過去の特徴量
ｃ（ｉ），ｃ（１），ｃ（２），ｃ（３），ｃ（４），ｃ（５）    各地点に割付られた優先度係数
Ｅ（ｉ），Ｅ（１），Ｅ（２），Ｅ（３），Ｅ（４），Ｅ（５）    評価値
Ｌ（ｉ），Ｌ（１），Ｌ（２），Ｌ（３），Ｌ（４），Ｌ（５）    優先度
ＶＡＤｘ（ｉ），ＶＡＤｘ（１），ＶＡＤｘ（２），ＶＡＤｘ（３），ＶＡＤｘ（４），ＶＡＤｘ（５）    現時点のＶＡＤフラグ
ＶＡＤｙ（ｉ），ＶＡＤｙ（１），ＶＡＤｙ（２），ＶＡＤｙ（３），ＶＡＤｙ（４），ＶＡＤｙ（５）    １周期前の過去のＶＡＤフラグ
ＶＡＤｘ１，ＶＡＤｘ２，ＶＡＤｘ３，ＶＡＤｘ４，ＶＡＤｘ５    現在のＶＡＤ情報の格納領域
ＶＡＤｙ１，ＶＡＤｙ２，ＶＡＤｙ３，ＶＡＤｙ４，ＶＡＤｙ５    １周期前の過去のＶＡＤ情報の格納領域
Ｅ１，Ｅ２，Ｅ３，Ｅ４，Ｅ５    評価値の格納領域
Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５    優先度の格納領域
【図１】
2004179776.tif 000003
【図２】
2004179776.tif 000004
【図３】
2004179776.tif 000005
【図４】
2004179776.tif 000006
【図５】
2004179776.tif 000007
【図６】
2004179776.tif 000008
【図７】
2004179776.tif 000009
【図８】
2004179776.tif 000010