(57)【特許請求の範囲】
【請求項１】
複数の携帯可能な端末装置を含み、各端末装置間で通信路を確立させて音声信号を授受する会議支援システムにおいて、前記各端末装置は、
会議参加者の発生音声を取り込んで第１音声信号を得る入力手段と、
他の端末装置から送信されてきた第２音声信号の受信及び前記第１音声信号の送信を行う通信手段と、
前記第２音声信号を音声として出力するための出力手段と、
前記第１音声信号と前記第２音声信号との類似性から会議参加者の発声音声が直接到達するか否かを判定する判定手段と、
前記判定手段により前記発声音声が直接到達すると判定された場合は前記他の端末装置へ前記第２音声信号の送信を停止する要求を送出し、前記判定手段により前記発声音声が直接到達しないと判定された場合は前記出力手段に対して前記第２音声信号を音声として出力させる制御手段と、
を具備することを特徴とする会議支援システム。
【請求項２】
複数の携帯可能な端末装置を含み、各端末装置間で通信路を確立させて音声信号を授受する会議支援システムの制御方法であって、
会議参加者の発生音声を取り込んで第１音声信号を得る入力ステップと、
他の端末装置から送信されてきた第２音声信号の受信及び前記第１音声信号の送信を行う通信ステップと、
前記第１音声信号と前記第２音声信号との類似性から会議参加者の発声音声が直接到達するか否かを判定する判定ステップと、
前記判定ステップにより前記発声音声が直接到達すると判定された場合は前記他の端末装置へ前記第２音声信号の送信を停止する要求を送出するステップと、
前記判定ステップにより前記発声音声が直接到達しないと判定された場合は前記第２音声信号を音声として出力するステップと、を含む処理を前記各端末装置において行うことを特徴とする会議支援システムの制御方法。
【請求項３】
音声を取り込んで第１音声信号を得る入力手段と、送信されてきた第２音声信号の受信及び前記第１音声信号の送信を行う通信手段と、前記第２音声信号を音声として出力するための出力手段とをそれぞれ有する複数台の端末装置を用いて構成され、各端末装置間で通信路を確立させて音声信号を授受する会議支援システムにおいて、
前記各端末装置は、前記第１音声信号の強度情報を取得し、この強度情報が十分なレベルを示すものである場合には前記出力手段からの音声出力を停止させ、前記強度情報が予め定めた所定レベル以上ある場合は前記通信手段から前記第２音声信号の送信を停止する要求を前記第２音声信号の送信元の端末装置に対して送信させ、前記強度情報が十分なレベルを示すものでない場合には前記第２音声信号を前記出力手段から音声として出力させる制御部を有することを特徴とする会議支援システム。
【請求項４】
音声を取り込んで第１音声信号を得る入力手段と、送信されてきた第２音声信号の受信及び前記第１音声信号の送信を行う通信手段と、前記第２音声信号を音声として出力するための出力手段とをそれぞれ有する複数台の端末装置を用いて構成され、各端末装置間で通信路を確立させて音声信号を授受する会議支援システムの制御方法であって、
前記第１音声信号の強度情報を取得し、この強度情報が十分なレベルを示すものである場合には前記出力手段からの音声出力を停止させ、前記強度情報が予め定めた所定レベル以上ある場合は前記通信手段から前記第２音声信号の送信を停止する要求を前記第２音声信号の送信元の端末装置に対して送信させ、前記強度情報が十分なレベルを示すものでない場合には前記第２音声信号を前記出力手段から音声として出力させる処理を前記各端末装置において行うことを特徴とする会議支援システムの制御方法。
【請求項５】
音声を取り込んで第１音声信号を得る入力手段と、送信されてきた第２音声信号の受信及び前記第１音声信号の送信を行う通信手段と、前記第２音声信号を音声として出力するための出力手段とをそれぞれ有する複数台の端末装置を用いて構成され、各端末装置間で通信路を確立させて音声信号を授受する会議支援システムにおいて、
前記各端末装置は、前記第１音声信号の強度情報を取得し、この強度情報が十分なレベルを示すものである場合には前記出力手段からの音声出力を停止させ、前記強度情報が十分なレベルを示すものでない場合には前記第２音声信号を前記出力手段から音声として出力させる制御手段を有することを特徴とする会議支援システム。
【請求項６】
音声を取り込んで第１音声信号を得る入力手段と、送信されてきた第２音声信号の受信及び前記第１音声信号の送信を行う通信手段と、前記第２音声信号を音声として出力するための出力手段とをそれぞれ有する複数台の端末装置を用いて構成され、各端末装置間で通信路を確立させて音声信号を授受する会議支援システムの制御方法であって、
前記第１音声信号の強度情報を取得し、この強度情報が十分なレベルを示すものである場合には前記出力手段からの音声出力を停止させ、前記強度情報が十分なレベルを示すものでない場合には前記第２音声信号を前記出力手段から音声として出力させる処理を前記各端末装置において行うことを特徴とする会議支援システムの制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、対面あるいは遠隔で行なわれる会議を支援するための会議支援システムおよび会議支援システムの制御方法に関する。
【０００２】
【従来の技術】
近年、電子計算機技術および通信技術の進展に伴い、文字情報のみならず音声情報や、静止画および動画を含む画像情報などの、マルチメディア情報を処理する技術や、それらマルチメディア情報を通信するための技術を応用し、人間同士のコミュニケーションや協同作業、あるいはさらに計算機サービスを併用した活動を支援するため、グループウェア技術あるいはＣＳＣＷ（Ｃｏｍｐｕｔｅｒ Ｓｕｐｐｏｒｔｅｄ Ｃｏｏｐｅｒａｔｉｖｅ Ｗｏｒｋ）技術の開発が進められている。
【０００３】
現在、このような背景の下で、ＣＳＣＷ技術を応用した、新しい形態での会議を支援する機器の実現への要求も高まっており、例えば、“「情報処理学会編／石井著／グループウェアのデザイン」における図３．１”に示される如きのグループウェアシステムの分類などに紹介されている「Ｃｏｌａｂ（Ｘｅｒｏｘ）」などの様々な会議支援システムの試作がなされている。
【０００４】
これらの会議支援システムでは、会議室にテレビカメラ、大型スクリーン、マイク、スピーカ装置、あるいはコンピュータ端末などの端末装置間で通信回線を介して通信することなどによって会議を支援する。
【０００５】
そして、従来の会議支援システムでは、位置的に固定的に設置された機器によって、ＣＳＣＷ環境を実現するものが多く、たとえ遠隔間の通信を行なうような構成の会議支援システムにおいても、個々の設備に関しては位置的に固定された環境での利用を仮定したものがほとんどであった。
【０００６】
しかし、近年の計算機技術と通信技術の進展に伴って、例えば、特開平６‐０７５７５７号公報に示される如き通信制御方式などの技術を応用し、携帯可能でしかも自立的にネットワークを形成できるようにした新しい情報処理機器が提案されている。
【０００７】
この技術は、携帯可能な情報処理端末装置を、例えば、自分の机の回りや、室内の他の部屋や、あるいは野外や移動中の乗物内など、いろいろな場所で利用したいという要求の高まりに応えるために開発されたものであり、ノートパソコンやＰＤＡ（個人向け携帯情報端末装置）などのインテリジェント端末を応用したもので、このような端末を持ち寄るだけで、それらの端末機器の間に自立的にワイヤレスの通信ネットワークを構築して、互いに通信できるように動作するものであり、従って、このような端末を持ち寄るだけで誰でも、何処でも、しかも、簡単にマルチメディア情報のやりとりがその端末によって出来るようにした情報処理機器の技術である（電子情報通信学会技術報告−ＳＳＥ９４−２１９，ｉｎ  ９４−１６１，１９９５／３参照）。
【０００８】
そして、さらにこの技術を応用することにより、会議支援システム（情報処理学会マルチメディア通信と分散処理研究会資料６８−２１、グループウェア研究会資料９−２１，１９９５．１．２７参照）を構成することも可能であり、例えば、従来の会議では書類として配布していた必要情報を個々の会議参加者の利用しているパソコンや携帯情報端末装置の画面に送信したり、会議中にその端末装置上で書き加えた注釈などの情報を個々の会議参加者の端末装置に送って配布したりすることを可能としたり、また、会議への途中参加や途中退出する参加者があった場合にも、適切に必要情報の共有や送受といったことを行なうことが出来るようにすることが可能になるものである。
【０００９】
このような、携帯し、移動して利用が可能な情報処理機器、あるいは自立的にネットワーク形成が可能な情報処理機器（以後、これを「携帯端末」あるい単に「端末」と呼ぶこととする）を応用し、このような携帯端末を参加者各自が携帯することなどによって実現される会議支援システム（以後、これを「携帯端末会議システム」と呼ぶこととする）では、固定的な設備による従来の会議支援システムでは全く考える必要のなかった以下のような独特の課題が浮上してくることとなる。
【００１０】
すなわち、会議支援を実現するためには、使用される端末装置は、音声の授受、テキストの授受、画像の授受等を可能にするための機能が必要であり、そのためには、個々の端末から入力あるいは蓄積用意されている音声や画像などのマルチメディア情報を適宜他の端末へ通信し配送する機能が必要がある。
【００１１】
例えば、会議参加者の発言などの音声情報について考えると、他の会議参加者が遠隔地にいる場合、あるいは他の部屋にいる場合や、同室していても距離が離れていたり、周囲雑音などのために、遠い位置の発声者の発した音声が直接、届かない場所にいる場合には、その音声情報を端末間の通信路を利用して対応する端末へ伝送し、受け手側の端末で音声として再生出力することなどによって聞き取れるようになり、会議を支援することが可能となる。
【００１２】
従来の会議支援システムでは位置的に固定的な環境での利用を仮定しているため、上述のような音声信号の伝達に関して、遠隔地のみに伝達し再生し、直接の音声が到達するような近接した端末間にはそのような伝送および再生の機能を用意しないか、あるいはある固定された出力レベルでの再生がなされるような仕組みとなっていた。
【００１３】
しかし、携帯端末会議システムでは、個々の端末は移動可能であるため、固定的な位置関係を仮定することが出来ず、位置関係が利用の度に異なるものとなる可能性がある。そのため、最も簡単には、端末装置に音声情報の授受の機能と、その音声情報を音声として出力させる機能を持たせて、一義的に音声情報の授受と音声出力をさせるようにすることが考えられるが、このようにすると、発言者の至近にある端末装置では、発言者の肉声が直に十分なレベルで届くのに、無用に音声出力を併用することになり、かえって聞き辛くなる。
【００１４】
さらに、会議の開催される場所が特定の場所に限定されないため、周囲雑音などの環境条件も固定されず、対話参加者の発声した音声などの情報が直接伝達する範囲を固定的に設定しておくことが出来ない。
【００１５】
さらに、端末装置は運搬可能であるため、参加者が会議途中に場所を移動するとその参加者の携えた端末装置も移動することとなり、通信によって情報を伝達すべき端末の組合せが変動する可能性がある。
【００１６】
このように固定的な環境で利用されるという保証が全くない携帯端末装置を利用した会議支援システムでは、上述のような様々な問題点が浮上する。
そしてさらに、全ての端末間で上述のような通信を実施することは、端末間で利用可能な通信路帯域の制限や通信路資源および駆動エネルギの有効利用の観点から考えて不経済かつ非効率的であり、将来、一層大量の情報の通信が必要となることが否めない状況を考えると、これは大きな問題点である。
【００１７】
また、たとえば対話参加者の発言の音声をある端末から取り込み、他の全ての端末に通信し、それぞれの端末で音声信号として再生することは、上述の通り通信資源の浪費であると共に、直接音声と各端末の出力音声の内の複数が対話参加者に聞こえるような場合には、それぞれの音声信号が重複や干渉を起こす可能性がある。
【００１８】
さらに、上述のように全ての端末で伝送された情報を音声出力した場合には、ある複数から送られた音声信号が他の端末の音声出力となりまたその音声出力がある端末に拾われそれが通信によって伝送されるなどして、ループを形成し、エコーやハウリングなどの現象を起こし、円滑な会議の進行を妨げる可能性がある。
【００１９】
【発明が解決しようとする課題】
端末装置に音声を取り込む機能と、その音声を伝送する機能と、取り込んだ音声または伝送されてきた音声を音声出力する機能と、テキストや画像を配信、表示するといった機能を持たせた携帯端末を使用して会議を支援する携帯端末会議システムが提案されている。
【００２０】
このような携帯端末会議システムでは、個々の端末は移動可能であり、個々の端末の位置関係が利用の度に異なるものとなることを抑止できないため、位置的に固定的な環境での利用を仮定することはできない。
【００２１】
また、携帯端末会議システムでは、会議の開催される場所が特定の場所に限定されない利点がある反面、それがために、周囲雑音などの環境条件も固定されないこととなり、従って、対話参加者の発声した音声などの情報が直接伝達する範囲を固定的に設定しておくことが出来ないことから、その対策が必要となる。
【００２２】
さらに、携帯端末会議システムでは、端末は運搬可能であるため、会議参加者が自己の携える端末と共に会議途中で場所を移動することが可能であり、その場合、通信によって情報を伝達すべき端末の組合せが変動する可能性がある。
【００２３】
そこで、全ての端末間で、会議参加者の発言音声など、入力された情報を他の端末へと伝送しあうようにすることが考えられるが、このようにすると、例えば音声信号のように近接した端末間では、端末間の通信路を介さずとも直接伝達するため通信する必要のない情報も含めて通信がなされることになるため、端末間で利用可能な通信路帯域の制限や有効利用の観点から考えて不経済かつ非効率的になるという問題がある。
【００２４】
さらに、全ての端末間で、会議参加者の発言音声など入力された情報を他の端末へと伝送しあうことは、例えば音声信号のように近接した端末間では、双方の端末からの出力が重複あるいは干渉する可能性があり、その重複によって、エコーなどの現象を生じ、会議の進行に悪影響を及ぼすという問題も残る。
【００２５】
さらに、全ての端末間で、会議参加者の発言音声など入力された情報を他の端末へと伝送しあうことは、ある機器の出力が再度他の機器に入力されることによって、ループが形成され、ハウリングなどの現象を生じ、会議の進行に悪影響を及ぼし得るという問題を残す。
【００２６】
このような状況のため、自立的にネットワークを形成する情報機器あるいは携帯可能な情報機器をそのまま利用して会議支援システムを構築するには現状としては問題が多い。
【００２７】
そこで本発明はこのような事情を考慮してなされたもので、自立的にネットワークを形成できる情報機器あるいは携帯可能な情報機器の応用によって実現される携帯端末会議システムとして、周囲雑音などを含め、環境条件の変化の影響を受けず、必要な場合にのみ、音声情報の伝送や音声出力を行なうことができるようにした合理的な端末装置を実現して会議支援を可能にする会議支援システムおよび会議支援方法を提供することにある。
【００２８】
また、会議参加者が会議途中に空間的に移動しても端末間で通信によって授受すべき情報を適切に決定することの出来る端末装置を実現して会議支援を可能にする会議支援システムおよび会議支援システムの制御方法を提供することにある。
【００２９】
【課題を解決するための手段】
上記目的を達成するため本発明はつぎのように構成する。すなわち、音声を取り込んで音声信号を得る入力手段と、送信されてきた音声信号を受信し、また、前記入力手段からの音声信号もしくは前記受信した音声信号を送信する通信手段と、前記入力手段からの音声信号もしくは前記通信手段にて受信した音声信号を音声として出力する出力手段とをそれぞれ有する端末装置複数台を用いて構成するシステムであって、各端末装置間で通信路を確立させて、音声信号を授受できるようにした会議支援システムにおいて、
第１には、
前記端末装置は、
前記入力手段および前記通信手段から得られる他端末装置からの端末間通信情報に応じて、前記出力手段の音声出力を制御するとともに、前記入力手段からえら得た情報または前記通信手段から得られる他端末装置からの情報を、前記通信手段から出力する制御手段と、
を具備した構成とする。
【００３０】
また、第２には
前記音声信号の強度情報を取得し、この強度情報が十分な場合には前記出力手段からの音声出力を停止し、かつ、この音声信号を強度情報と共に前記通信手段にて他端末装置に送信し、
取得した前記音声信号の前記強度情報が十分でない場合には前記音声信号と前記通信手段にて受信した音声信号のうち強度の高い方の音声信号を用いて前記出力手段から音声出力を発生させるようにした。
【００３１】
本発明では、発言者の音声や他端末装置からの出力音声等を入力手段にて収集し、これを音声信号化すると共に、この音声信号の強度情報を取得し、この強度情報が十分な場合には前記出力手段からの音声出力を停止し、かつ、この音声信号を強度情報と共に前記通信手段にて他端末装置に送信し、
取得した前記音声信号の前記強度情報が十分でない場合には前記音声信号と前記通信手段にて受信した音声信号のうち強度の高い方の音声信号を用いて前記出力手段から音声出力を発生させる。
【００３２】
また、第３には、前記音声信号の強度情報を取得し、この強度情報が十分な場合には前記出力手段からの音声出力を停止し、かつ、この音声信号を強度情報と共に前記通信手段にて他端末装置に送信し、また、前記入力手段からの音声信号の前記強度情報が予め定めた所定レベル以上あるときは自己に対する音声信号の送信を停止する要求を送信元の端末装置に送信して送信停止させるようにし、
取得した前記音声信号の前記強度情報が十分なレベルを示すものでない場合には前記音声信号と前記通信手段にて受信した音声信号のうち強度の高い方の音声信号を用いて前記出力手段から音声出力を発生させるようにする。
【００３３】
【発明の実施の形態】
本発明は、音声を取り込んで音声信号を得る入力手段と、送信されてきた音声信号を受信し、また、前記入力手段からの音声信号もしくは前記受信した音声信号を送信する通信手段と、前記入力手段からの音声信号もしくは前記通信手段にて受信した音声信号を音声として出力する出力手段とをそれぞれ有する端末装置複数台を用いて構成するシステムであって、各端末装置間で通信路を確立させて、音声信号を授受できるようにした会議支援システムにおいて、
前記端末装置は、
前記入力手段および前記通信手段から得られる他端末装置からの情報に応じて、前記出力手段の音声出力を制御するとともに、前記入力手段から得た情報または前記通信手段から得られる他端末装置からの情報を、前記通信手段から出力制御する制御手段と、
を具備した構成とする。
【００３４】
特に、制御手段は、前記音声信号の強度情報を取得し、この強度情報が十分な場合には前記出力手段からの音声出力を停止し、かつ、この音声信号を強度情報と共に前記通信手段にて他端末装置に送信し、また、前記入力手段からの音声信号の前記強度情報が予め定めた所定レベル以上あるときは自己に対する音声信号の送信を停止する要求を送信元の端末装置に送信して送信停止させるようにし、取得した前記音声信号の前記強度情報が十分なレベルを示すものでない場合には前記音声信号と前記通信手段にて受信した音声信号のうち強度の高い方の音声信号を用いて前記出力手段から音声出力を発生させるように制御する機能を持たせる。
【００３５】
本発明では、発言者の音声や他端末装置からの出力音声等を入力手段にて収集し、これを音声信号化すると共に、この音声信号の強度情報を取得し、この強度情報が十分な場合には前記出力手段からの音声出力を停止し、かつ、この音声信号を強度情報と共に前記通信手段にて他端末装置に送信し、取得した前記音声信号の前記強度情報が十分でない場合には前記音声信号と前記通信手段にて受信した音声信号のうち強度の高い方の音声信号を用いて前記出力手段から音声出力を発生させる。
【００３６】
従って、本発明によれば、自立的にネットワークを形成できる情報機器あるいは携帯可能な情報機器の応用によって実現される携帯端末会議システムにおいて、発言者の音声が十分に届くところや、近くの端末装置の出力音声が十分に届くところでは、自己の端末装置からの音声の出力を抑制でき、また、発言者の音声あるいは、近くの端末装置の出力音声が十分に届かないところでは自己の端末装置から音声を出力させて聴取することができるようになる等、環境条件の変化に対しても適切に必要な情報を伝達することが可能となる。
【００３７】
そしてまた、本システムでは、前記入力手段からの音声信号の前記強度情報が予め定めた所定レベル以上あるときは自己に対する音声信号の送信を停止する要求を送信元の端末装置に送信して送信停止させる。故に、無用な通信を行なわずに済み、通信資源や電力エネルギの節減効果が得られる。
【００３８】
また、本システムでは、各端末装置によって入力手段から得られる音声信号の少なくとも一部を含む端末間通信情報を通信手段で授受し、制御手段によって、自己の入力手段から得られる音声信号と自己の通信手段から得られる端末通信情報の間で、相関を比較し伝達関数を推定するなどしてその類似性を判定することにより、各会議参加者の各発声について、最も近くに存在する端末を判定することができる発言者判定手段と、該発言者判定手段によって得られる情報に基づき、各端末間の通信によって授受する情報を決定する機能を制御手段に持たせる。
【００３９】
また、あるいは、発言者判定手段によって得られる情報に基づき、制御手段は各端末装置の音声出力の内容を決定する。
また、あるいは、制御手段によって、各端末装置において、入力手段から得られる音声信号の少なくとも一部を含む端末間通信情報を通信手段で授受し、自己の入力手段から得られる音声信号と自己の通信手段から得られる端末通信情報の間で、相関を比較し伝達関数を推定するなどしてその類似性を判定することによって、会議参加者の各発声について、該発声の音声信号が直接到達する端末の組合せを判断する直接伝達判定手段と、該直接伝達判定手段によって得られる情報に基づき端末間の通信によって授受する情報を決定する。
【００４０】
また、あるいは、制御手段は直接伝達判定手段によって得られる情報に基づき、各端末の音声出力信号の出力内容を決定する。
また、あるいは、制御手段は各端末で音声入力信号の一部および入力手段あるいは出力手段あるいは発言者判定手段あるいは直接伝達判定手段の動作状況の少なくとも一部を含む端末通信情報に基づき、ある端末で入力された音声信号を通信路を通じて伝送し合い、音声出力すべき端末を決定する。
【００４１】
この結果、どの端末には情報を送って音声出力をさせ、どの端末にはそれをさせないといった選択制御ができ、無駄のない運用が自動的に行なえるようになる。
【００４２】
従って、本発明によれば、自立的にネットワークを形成できる情報機器あるいは携帯可能な情報機器の応用によって実現される携帯端末会議システムにおいて、発言者の音声が直に十分届くところや、近くの端末装置の出力音声が十分に届くところでは、自己の端末装置からの音声の出力を抑制でき、また、発言者の音声あるいは、近くの端末装置の出力音声が十分に届かないところでは自己の端末装置から音声を出力させて聴取することができるようになる等、環境条件の変化に対しても適切に必要な情報を伝達することが可能となる。
【００４３】
また、端末装置間で通信により授受すべき情報を動的に決定するので、ある端末装置からの音声出力が他の端末装置の所有者にも十分聞こえるような場合に、その端末装置に対する通信や音声出力を中止させることができるので、無駄な通信と音声の出力を抑制することが可能となり、端末装置間の通信路を効率的に利用することが可能となる。
【００４４】
また、端末装置を携えた参加者が会議途中に場所を移動しても端末装置間で通信によって授受すべき情報を適切に決定し、適切な情報の伝達を行なうことが可能となる。
【００４５】
また、端末間で通信により授受すべき情報を動的に決定するので、複数の端末の音声出力の重複やエコーなどの現象を回避することが可能となり、特に、ある端末装置の音声出力などが他の端末装置に入力され、再度出力されることによりループが形成され、ハウリングなどが起こることを、本発明では端末装置間で通信により授受すべき情報を動的に決定することによって、回避することが可能となる。
【００４６】
このように、本システムは、発話者等からの音声の入力手段と、その音声の送受信手段と、音声の出力手段とを有し、近隣の端末装置間で自立的に通信路をリンクさせて、音声情報を授受することができるようにした端末装置を用いる場合に、入力音声のレベルをチェックし、その入力レベルに応じてその音声情報の出力手段からの出力と、リンク先相手端末への送信を制御するようにした。そのため、音声が大きい場合にはその端末からの音声出力を中止し、音声が小さい場合にはその端末からの音声出力を実施するといった制御や、音声の送信の中止や送信実施を状況対応に実施することができ、更にはハウリングの防止を図ることができるようになり、また、無駄な音声送信を抑制することができるなど、最適な音声伝達制御が可能になる等の特徴が得られるようになる。
【００４７】
（より具体的な実施の態様）
以下、図面を参照して本発明の請求項目６の一実施例に係る会議支援装置および方式につき説明する。
【００４８】
［本装置の構成］
図１は、本発明の具体的な実施の例としての会議支援装置の構成の概要を示している。
【００４９】
図１に於いて、Ｔｎ（ｎ＝ｉ，ｊ，ｋ，ｌ，…）は、本会議支援装置を構成する端末装置を表しており、さらに、該端末装置Ｔｎが、入力部１、通信部２、制御部３、および出力部４から構成されていることを表している。この端末装置Ｔｎは個人々々が携帯し、移動して利用が可能な情報処理機器であり、近隣に他の同種の端末装置があると自立的にそれとネットワーク形成が可能な情報処理機器である。
【００５０】
これらのうち、入力部１はマイクやアンプあるいはＡ／Ｄ（アナログ／ディジタル）変換装置などからなる入力部を表しており、端末装置の利用者の発言や、周囲の雑音、あるいは他の端末装置からの出力音声などの音声信号を収集し、音声入力情報として制御部３に送るようにしている。
【００５１】
また、通信部２は電波あるいは赤外線などを利用した無線伝送のための送受信回路、あるいは通信ケーブルなどの有線伝送を行なうための送受信回路を持つ通信手段であり、自立的に他の端末装置と通信回線をリンクして通信路を確立し、他の端末装置から送信される端末間通信情報を受信して自端末装置の制御部３へ送ったり、あるいはこの制御部３の制御に基づき、入力部１から入力された音声入力情報などを他の端末装置に向けて送信したりすることができる構成としている。
【００５２】
制御部３は、入力音声情報、端末間通信情報および、入力部１、通信部２、出力部４の動作状況に応じて、端末間通信情報、出力音声情報の生成と、入力部１、通信部２、出力部４の動作制御などを行なう演算制御の中枢である。
【００５３】
図２は、制御部３の構成を示すブロック図であり、入力情報記憶部３ａ、出力情報記憶部３ｂ、通信情報記憶部３ｃ、および中央演算部３ｄからなる。なお、図２において、実線矢印はデータの流れを表し、破線矢印は制御信号の流れを表している。
【００５４】
これらのうち、入力情報記憶部３ａは、入力部１から得られる入力音声情報を時間情報とともに適宜記録する記憶手段であり、記憶情報は中央演算部３ｄから参照できるように構成してある。
【００５５】
図３は、各端末装置Ｔｎ（ｎ＝ｉ，ｊ，ｋ，ｌ，…）の制御部３における入力情報記憶部３ａの内容の例を表しており、入力部１から得られる音声入力情報Ｉが、開始時刻情報Ａ、音声波形Ｂ、強度情報Ｃなどと分類され記録されるようにしている。
【００５６】
なお、図３の（ａ）、（ｂ）、（ｃ）、（ｄ）は、それぞれ、端末装置Ｔｉ，Ｔｊ，Ｔｋ，Ｔｌの各入力情報記憶部３ａの内容の例を表している。
入力情報記憶部３ａには、図３に示す如くエントリ（格納アドレス）、開始時刻情報Ａ、音声波形情報Ｂ、強度情報Ｃが格納される。そして、各エントリにおいて、開始時刻情報Ａの欄には、入力音声情報Ｉｉの入力が開始された時刻である時刻情報ｔ１が記録されるようにしてある。
【００５７】
また、音声波形情報Ｂの欄には、入力部１によって得られる入力音声波形の情報が、例えばＰＣＭ（パルスコード・モジュレーション）ディジタル波形などの形で記録されるようにしており、強度情報Ｃの欄には、たとえば振幅などに基づく入力音声波形の強度を表す情報が記録されるようにしてある。
【００５８】
なお、図３などにおいて、音声波形Ｂの欄には、記述上の都合により、対応する音声の書き下し結果を音声波形の代わりに示すようにしている。
図２の説明に戻る。図２における出力情報記憶部３ｂは、中央演算部３ｄから得られ、出力部４から音声出力として出力すべき出力音声情報を適宜記録するための記憶手段であり、記録された内容は中央演算部３ｄおよび出力部４から参照できるように構成してある。
【００５９】
図４（ａ）〜（ｄ）は、各端末装置Ｔｉ〜Ｔｌにおける出力情報記憶部３ｂの内容の一例を示しており、各端末装置Ｔｉ〜Ｔｌにおける制御部３ｄの制御に従い、通信情報記憶部３ｃなどから得られる音声波形情報が、例えばＰＣＭ（パルスコードモジュレーション）ディジタル波形などの形で、出力音声波形情報Ａの欄に記録されるようにしてある。
【００６０】
なお、図４などにおいても、出力音声波形Ａの欄には記述上の都合により、波形の代わりに、対応する音声の書き下し結果を示すようにしている。
また、図中の記号「…」および記号「−」は、説明の上で明記する必要のない部分を省略したことを表している（以後同様）。
【００６１】
また、図４の（ａ）、（ｂ）、（ｃ）、（ｄ）は、それぞれ、端末装置Ｔｉ、Ｔｊ、Ｔｋ、Ｔｌの各出力情報記憶部３ｂの内容の例を表している。
図２の説明に戻る。図２の通信情報記憶部３ｃは、通信部２から得られる端末間通信情報、および中央演算部３ｄによって生成される端末間通信情報を適宜記録する記憶手段であり、その記録内容は通信部２および中央演算部３ｄから参照できるようになっている。
【００６２】
図５（ａ）〜（ｄ）は、各端末装置Ｔｉ，Ｔｊ，Ｔｋ，Ｔｌの通信情報記憶部３ｃの内容の例を表しており、通信部２から得られる他端末からの情報が、開始時刻情報Ａ、音声波形情報Ｂ、強度情報Ｃ、状態情報Ｄ、および送出元端末識別情報Ｅに分類され、記録されるようにしている。
【００６３】
すなわち、図５に示す如きの記録内容を含む通信情報記憶部３ｃの各エントリには、それぞれ開始時刻情報Ａ、音声波形情報Ｂ、強度情報Ｃ、送出元端末識別情報Ｅ、および状態情報Ｄが対応して記録できるようにしてあり、本エントリに対応する端末間通信情報Ｃｘに含まれる入力音声情報Ｉｘの、それぞれ開始時刻情報Ａ、音声波形情報Ｂおよび強度情報Ｃがこれら開始時刻情報Ａ、音声波形情報Ｂ、および強度情報Ｃの欄対応に記録されるようにしており、送出元端末識別情報Ｅの欄には、端末間通信情報Ｃｘを送出した端末装置の識別記号が記録されるようにしている。
【００６４】
さらに、状態情報Ｄの欄には、本エントリに対する本端末装置による処理の状態を表す「未処理」、「出力中」、「出力済」、「同一である」、「同一でない」、「要出力」、「同一だが要出力」などといった記号が記録されるようにしている。
【００６５】
なお、図５などにおいても、出力音声波形Ａの欄には、記述上の都合により波形の代わりに対応する音声の書き下し結果を記録内容として示してある。
また、図５の（ａ）、（ｂ）、（ｃ）、（ｄ）は、それぞれ、端末装置Ｔｉ、Ｔｊ、Ｔｋ、Ｔｌの各通信情報記憶部３ｃの内容の例を表している。
【００６６】
図２における中央演算部３ｄは演算や制御の中枢を担うものであり、この中央演算部３ｄは、入力記憶部３ａ、出力情報記憶部３ｂ、および通信情報記憶部３ｃの内容を参照し、入力部１、通信部２および出力部４、および、入力情報記憶部３ａ、出力情報記憶部３ｂ、および通信情報記憶部３ｃといった制御部３内の各構成要素を制御するものである。
【００６７】
なお、この制御部３の動作が、本発明の実現において中心的な役割を担うものであるため、後ほど詳しく説明することとする。
図１における出力部４はスピーカ、アンプあるいはＤ／Ａ（ディジタル／アナログ）変換装置などからなる出力手段であり、制御部３から得られる出力音声情報を、入力部１から入力された音声情報、あるいは通信部２を用いた通信によって得られた音声入力情報、あるいは制御部３に記録保持されている音声入力情報を、制御部３からの制御に従って、音声出力として出力する機能を有するものである。
【００６８】
以上が本装置の構成の概要である。
［本装置の動作］
続いて、本装置の動作について説明を行なう。
【００６９】
本例にかかる会議支援装置は、各端末装置Ｔｎ（ｎ＝ｉ，ｊ，ｋ，ｌ…）の制御部３の中央演算装置３ｄが、以下に示す主制御並びに入出力および記録処理《基本動作規則Ａ》に従って動作することによって実現されている。また、各端末装置（たとえばＴｉ）の中央演算部３ｄは、以下の《基本動作規則Ａ》に従って制御され、並列に動作する。
【００７０】
《基本動作規則Ａ》
［ステップＡ１］．  自端末装置の入力部１から入力音声が得られる場合は、自端末装置の入力情報記憶部３ａに、新たなエントリ（例えばＶｉ）を設け、開始時刻情報Ａおよび強度情報Ｃと共に、音声波形情報Ｂを順次記録する。
【００７１】
［ステップＡ２］．  自端末装置の通信部２に、他の端末装置（例えばＴｘ）から送られた端末間通信情報（例えばＣｘ＿ｉ）が得られる場合には、（端末装置Ｔｉの）通信情報記憶部３ｃに、新たなエントリ（例えばＷｘ＿ｉ）を設け、開始時刻情報Ａ、強度情報Ｃ、状態情報Ｄ、送出端末識別情報Ｅと共に音声波形情報Ｂを順次記録する。なお状態情報Ｄの欄には、記号「未処理」を記録する。
【００７２】
［ステップＡ３］．  通信情報記憶部３ｃの新たに記録されたエントリ（例えばＷｘ＿ｉ）について、以下の同一音声判定処理である《基本動作手順Ｂ》に沿った一連の処理を実施する。
【００７３】
［ステップＡ４］．  これが終わると次に入力情報記憶部３ａに新たに記録されたエントリ（例えばＶｉ）について、類似性／同一性判定処理である以下の《基本動作手順Ｃ》に沿った一連の処理を並列に実施する。
【００７４】
［ステップＡ５］．  次に自端末装置の通信情報記憶部３ｃの内容を参照して、状態情報Ｄの内容が「要出力」である各エントリ（例えばＷｘ＿ｉ）の音声波形情報Ｂの内容を、出力情報記憶部３ｂの新たなエントリの出力音声情報記Ａの欄に記録し、エントリＷｘ＿ｉの状態情報Ｄに「処理済」を記録する。
【００７５】
［ステップＡ６］．  次に自端末装置の出力情報記憶部３ｂの内容を参照して、新たに記録されたエントリの音声波形情報Ａの内容を、出力部３から出力する。
【００７６】
［ステップＡ７］．  自端末装置の通信部２が、ある他端末装置（例えばＴｘ）より、通信停止信号Ｄｉ＿ｘを受信した場合には、その端末装置Ｔｘへ向けて現在送信中の端末間通信情報の送出が存在する場合、それを中止して当該端末装置Ｔｘへ向けての通信は終了する。
【００７７】
以上が主制御並びに音声の入出力および記録処理である《基本動作手順Ａ》の内容である。端末装置（例えばＴｉ）における同一音声判定処理としての《基本動作手順Ｂ》は、以下の手順に沿って行なわれる（なお、端末間通信情報記憶部３ｃの、あるエントリＷｘ＿ｉについて処理が行なわれるものとする）。
【００７８】
《基本動作手順Ｂ（同一音声判定処理）》
［ステップＢ１］．  エントリＷｘ＿ｉの開始時刻情報Ａの時刻Ｔｗと、予め定めたある小さな値をｔとし、
Ｔｗ−ｔ  ＜  Ｔ  ≦  Ｔｗ
なる条件を満たす時刻Ｔを開始時刻情報Ａに持つ入力情報記憶部３ａのエントリＶｉが存在するか否かを調べ、その結果、存在する場合はステップＢ４へ進み、存在しない場合は次のステップＢ２進む。
【００７９】
［ステップＢ２］．  予め定めたある小さな値をｓとし、時刻Ｔｗ＋ｓになるまでに、時刻Ｔｗについて
Ｔｗ  ＜  Ｔ  ＜  Ｔｗ＋ｓ
なる条件を満たす時刻Ｔを開始時刻情報Ａに持つ端末装置Ｔｉの入力情報記憶部３ａのエントリＶｉが入力したか否かを調べ、入力した場合は、ステップＢ４へ進み、入力してない場合は次のステップＢ３へ進む。
【００８０】
［ステップＢ３］．  エントリＷｘ＿ｉの状態情報Ｅの欄に「要出力」を記録し、ステップＢ９の処理へ進む。
［ステップＢ４］．  音声処理信号処理でのキャンセレーション技術などに於ける伝達関数推定処理や、音声認識技術における周波数分析結果の時系列パターン間での復号類似度法やダイナミックプログラミング（ＤＰ）による類似性比較処理やニューラルネットワークなどを利用した従来技術による音声信号間の類似性判定処理によって、エントリＶｉの音声波形情報Ｂと、Ｗｘ＿ｉの音声波形情報Ｂとの間で、類似性／同一性の判定を行なう。
【００８１】
［ステップＢ５］．  ステップＢ４での類似性／同一性の判定において、予め定めたある閾値ｕ以上の類似性が得られ、かつエントリＶｉの強度情報Ｃの値が、予め定めたある閾値ｖ以上である場合は、ステップＢ７へ進む。閾値ｖ以上でなければステップＢ６の処理に移る。
【００８２】
［ステップＢ６］．  エントリＷｘ＿ｉの状態情報Ｅの欄に、記号「要出力」を記録し、ステップＢ９へ進む。
［ステップＢ７］．  ステップＢ７ではまずはじめにエントリＷｘ＿ｉの送出端末識別情報Ｅを参照し、この端末間通信情報の送出元の端末装置（例えば端末装置Ｔｘ）へ通信停止信号Ｄｉ＿ｘを送出する。そして、ステップＢ８の処理に進む。
【００８３】
［ステップＢ８］．  ステップＢ８ではエントリＷｘ＿ｉの状態情報Ｅの欄に、記号「処理済」を記録する。そして、ステップＢ９の処理に進む。
［ステップＢ９］．  ステップＢ９はサブルーチンの終了であり、エントリＷｘ＿ｉに関する《基本動作手順Ｂ》を終了して《基本動作規則Ａ》のステップＡ５に移る。
【００８４】
以上が同一音声判定のための処理である《基本動作手順Ｂ》の内容である。次に類似性／同一性判定処理である《基本動作手順Ｃ》の内容を説明する。端末装置（例えばＴｉ）における《基本動作手順Ｃ》は、以下の手順に沿って行なわれる（なお、入力情報記憶部３ａｉのあるエントリＹｉについて処理が行なわれるものとする（添字ｉは端末装置Ｔｉの構成要素であることを示す））。
【００８５】
《基本動作手順Ｃ》
［ステップＣ１］． ステップＡ４からこのステップＣ１に処理が移ると、ここでは、まずはじめにエントリＹｉの開始時刻情報Ａに記録されている時刻Ｔｙについて、ある小さな値ｐ、およびある小さな値ｑを用い、Ｔｙ−ｐ ＜ Ｔｗ かつ Ｔｗ ＜ Ｔｙ＋ｑなる条件を満たす時刻Ｔｗを、開始時刻情報Ａの欄に持つ各エントリ（Ｗｊ＿ｉとする）について、以下のステップＣ２〜Ｃ３を実施する．
【００８６】
［ステップＣ２］． 音声信号処理でのキャンセレーション技術などに於ける伝達関数推定処理や、音声認識技術における周波数分析結果の時系列パターン間での復号類似度法やダイナミックプログラミング（ＤＰ）による類似性比較処理やニューラルネットワークなどを利用した従来技術による音声信号間の類似性判定処理によって、エントリＶｉの音声波形情報Ｂと、Ｗｊ＿ｉの音声波形情報Ｂとの間で、類似性／同一性の判定を行なう。
【００８７】
［ステップＣ３］． ステップＣ２において、予め定めたある閾値ｕ以上の類似性が得られ、かつエントリＶｉの強度情報Ｃの値が、予め定めたある閾値ｖ以上である場合は、エントリＷｊ＿ｉに関する＜基本動作手順Ｃ＞の処理を終了する。
【００８８】
［ステップＣ４］．  エントリＶｉの開始時刻情報Ａおよび、音声波形情報Ｂ、および強度情報Ｃを参照して、他の端末装置（例えばＴｊ、Ｔｋ、…）に対する、新たな端末間通信情報（例えばＣｉ＿ｊ、Ｃｉ＿ｋ、…）を生成し、通信部２を通じて送出する。なお、送出元端末識別情報Ｅの欄には、端末装置Ｔｉの識別記号「Ｔｉ」を記録しておく。
【００８９】
［ステップＣ５］．  これが終わると以上の＜基本動作手順Ｃ＞の処理を終了する。
以上の《基本動作規則Ａ》（主制御並びに入出力および記録処理）、および《基本動作手順Ｂ》（同一音声判定処理）、および《基本動作手順Ｃ》（類似性／同一性判定処理）に沿った処理が各端末装置Ｔｎにおいて実施されることによって、本システムが目指す会議支援が実現される。
【００９０】
以上が本会議支援装置の基本的な動作であり、各端末装置Ｔｎの入力部１から得られた音声入力が、必要に応じて自己以外の他の端末装置に送られ、それが各端末装置Ｔｎの出力部４から音声出力として出力されることによって、会議の支援が実現される。
【００９１】
ここでの端末装置Ｔｎでの入力音声情報と端末間通信情報との比較によって授受される直接伝達制御情報を用いた出力音声の制御が、直接伝達判定手段および発言者判定手段の機能を実現している。
【００９２】
また、《基本動作手順Ａ》のステップＡ３において、入力音声情報Ｉｉの発言者にもっとも近い端末装置が端末装置Ｔｉであることとする処理によって、各発言の発言者を決定する発言者決定手段が実現されている。
【００９３】
以上が本装置とその機能である。
ここで先ず上述した会議支援装置での処理における各端末装置の動作について、図１〜図６を参照して更に詳しく具体的に説明する。
【００９４】
図６は、４人の会議参加者Ａｉ、Ａｊ、Ａｋ、Ａｌが、それぞれの端末装置Ｔｉ、Ｔｊ、Ｔｋ、Ｔｌを持って会議を行なっている場面を示しており、会議参加者Ａｉが「こんにちは…」という音声入力Ｖｉを行なうという具体的な例を表している。
【００９５】
この発声動作により、各端末装置Ｔｉ、Ｔｊ、Ｔｋ、Ｔｌにおいて《基本的動作規則Ａ》に沿った処理が次のように行なわれる。
〔端末装置Ｔｉの動作〕
端末装置Ｔｉは「こんにちは…」という音声をした会議参加者Ａｉが携えた端末装置である。この発声により端末装置Ｔｉではその制御部３の中央演算部３ｄが《基本動作規則Ａ》のステップＡ１に従った処理を行なうことによって、その端末装置Ｔｉの入力部１を介して得られた「こんにちは…」なる入力音声Ｖｉが当該端末装置Ｔｉの制御部３内の入力情報記憶部３ａに取り込まれる。
【００９６】
つまり、ステップＡ１の処理によって制御部３内の入力情報記憶部３ａには図３（ａ）のエントリＰｉ１に示した如き内容が当該入力情報記憶部３ａに開始時刻情報Ａおよび強度情報Ｃと共に記録される。ここでの音声の強度は“１０”であり、開始時刻はｔ１であったとする。
【００９７】
その後、制御部３の中央演算部３ｄが《基本動作規則Ａ》のステップＡ２，Ａ３に従った処理を行ない、それが終わるとステップＡ４の処理を行なうことにより《基本動作手順Ｃ》が起動される。
【００９８】
《基本動作手順Ｃ》の処理ではそのステップＣ１〜Ｃ３の処理を経る。この場合、端末装置Ｔｉの制御部３における通信情報記憶部３ｃの内容は空であるため、制御部３の中央演算部３ｄはステップＣ４の処理へ進む。
【００９９】
ステップＣ４では、端末装置Ｔｉに入力された入力音声Ｖｉを含む端末間通信情報が生成され、他の端末装置Ｔｊ、Ｔｋ、Ｔｌへの端末間通信情報Ｃｉ＿ｊ、Ｃｉ＿ｋ、Ｃｉ＿ｌがそれぞれ順次送出される。
【０１００】
後ほど説明するが、端末装置Ｔｊから通信停止信号Ｄｊｉが送信されたとすると、これを受けて中央演算部３ｄは《基本動作規則Ａ》のステップＡ７に従った処理によって、当該通信停止信号Ｄｊｉを受信した時点で、端末装置Ｔｊへの端末間通信情報の送出処理を停止する。なお、その他の端末装置Ｔｋ、およびＴｌからの通信停止信号がないとすると、これら端末装置Ｔｋ、およびＴｌへの端末間通信情報の送出処理は、この例では、ずっと続けられることになる。
【０１０１】
〔端末装置Ｔｊの動作〕
一方、端末装置Ｔｊではその制御部３の中央演算部３ｄが《基本動作規則Ａ》のステップＡ２に従った処理によって、端末装置Ｔｉから送出された端末間通信情報Ｃｉ＿ｊを、当該端末装置Ｔｊの通信部２を通じて取り込み、これを当該端末装置Ｔｊの制御部３の通信情報記憶部３ｃに図５（ｂ）のエントリＲｊ２の如く書き込むことで、通信情報記憶部３ｃに記録する。
【０１０２】
端末装置Ｔｊでは次にその制御部３の中央演算部３ｄが《基本動作規則Ａ》のステップＡ３に従った処理を行なうことによって、《基本動作手順Ｂ》を起動する。
【０１０３】
端末装置Ｔｊでは次に中央演算部３ｄがステップＢ１の処理に進み、当該端末装置Ｔｊの制御部３における入力情報記憶部３ａから条件に合うエントリを検索する。
【０１０４】
一方、ある時刻ｔ２において、会議参加者Ａｉの発生した発言の入力音声信号Ｖｉが端末装置Ｔｊの入力部１に到達したとする。すると、当該端末装置Ｔｊの制御部３における入力情報記憶部３ａに、図３（ｂ）のエントリＰｊ２が記録されることになる。なお、ここで、音声入力信号の強度は“７”であったとする。
【０１０５】
そして、このＰｊ２が、ステップＢ１あるいはステップＢ２での条件を満たしたとする。
すると端末装置Ｔｊでは中央演算部３ｄがステップＢ４の処理で、端末装置Ｔｉから送出され、自己に到達し、自己（端末装置Ｔｊ）の制御部３における通信情報記憶部３ｃのエントリＲｊ２に記憶されている端末間通信情報Ｃｉ＿ｊと、自己（端末装置Ｔｊ）の制御部３における入力情報記憶部３ａのエントリＰｊ２との間で、音声信号処理による類似性／同一性判定処理が行なわれる。
【０１０６】
この類似性／同一性判定処理において端末装置Ｔｊの中央演算部３ｄはステップＢ５処理で、「同一であり」かつ「十分な強度を持つ（つまり、音声入力信号の強度が“７”であるから）」ことを表す条件が満足されることになるので、ステップＢ７の処理へと進む。
【０１０７】
端末装置Ｔｊの中央演算部３ｄはステップＢ７で、エントリＲｊ２の送出端末情報Ｅを参照し、送出元である端末装置Ｔｉに対して、自己（端末装置Ｔｊ）の通信部２を通じて、通信停止信号Ｄｊｉを送出する。
【０１０８】
この結果、上述の端末装置Ｔｉから端末装置Ｔｊへ行なわれていた端末間通信情報の送出が停止されることとなる。
次に端末装置Ｔｊの中央演算部３ｄはステップＢ８の処理を行ない、自己の制御部３における通信情報記憶部３ｃのエントリＲｊ２の状態情報Ｄの欄に記号「処理済」を記録する。
【０１０９】
次に端末装置Ｔｊの中央演算部３ｄはステップＢ９の処理に移り、これにより《基本動作手順Ｂ》の処理が終了する。
〔端末装置Ｔｋの動作〕
また、端末装置Ｔｋではその制御部３の中央演算部３ｄが《基本動作規則Ａ》のステップＡ２に従った処理を行なうことによって、前述の端末装置Ｔｉから送出された端末間通信情報Ｃｉ＿ｋを、自己（端末装置Ｔｋ）の通信部２を通じて取り込み、これを当該端末装置Ｔｋの制御部３の通信情報記憶部３ｃに、図５（ｃ）のエントリＲｋ２の如く書き込むことで、自己の制御部３における通信情報記憶部３ｃに記録する。
【０１１０】
端末装置Ｔｋでは次にその制御部３の中央演算部３ｄが《基本動作規則Ａ》のステップＡ３に従った処理を行なうことによって、《基本動作手順Ｂ》が起動される。
【０１１１】
端末装置Ｔｋでは次に中央演算部３ｄがステップＢ１の処理に進み、当該端末装置Ｔｋの制御部３における入力情報記憶部３ａから条件に合うエントリを検索する。
【０１１２】
一方、ある時刻ｔ３において、会議参加者Ａｉの発生した発言の入力音声信号Ｖｉが端末装置Ｔｋの入力部１に到達したとする。すると、当該端末装置Ｔｋの制御部３における入力情報記憶部３ａに、図３（ｃ）のエントリＰｋ３が記録されることになる。ここで、音声入力信号の強度は“４”であったとする。
【０１１３】
そして、このＰｋ３が、ステップＢ１あるいはステップＢ２の条件を満たしたとする。
すると端末装置Ｔｋでは中央演算部３ｄがステップＢ４の処理で、端末装置Ｔｉから送出され、自己に到達し、自己（端末装置Ｔｋ）の制御部３における通信情報記憶部３ｃのエントリＲｋ３に記憶されている端末間通信情報Ｃｉ＿ｋと、自己（端末装置Ｔｋ）の入力情報記憶部３ａのエントリＰｋ３との間で、音声信号処理による類似性／同一性判定処理が行なわれる。
【０１１４】
この類似性／同一性判定処理において端末装置Ｔｋの中央演算部３ｄはステップＢ５で、「同一である」が「十分な強度が無い（つまり、音声入力信号の強度が“４”であるから）」ために、条件が満足されないことから、ステップＢ６の処理へと進む。
【０１１５】
端末装置Ｔｋの中央演算部３ｄはステップＢ６の処理で、エントリＲｋ３の状態情報Ｅの欄に、記号「要出力」を記録する。
そして、次にステップＢ９の処理に移り、《基本動作手順Ｂ》を終了する。そして、ステップＡ５の処理に移る。
【０１１６】
端末装置Ｔｋの中央演算部３ｄはステップＡ５に従った処理の結果、端末装置Ｔｋの制御部３における通信情報記憶部３ｃのエントリＲｋ３の状態情報Ｄの内容が「要出力」であることから、エントリＲｋ３の音声波形情報Ｂの内容を、出力情報記憶部３ｂの新たなエントリＱｋ３の出力音声情報記Ａの欄に記録し、エントリＲｋ３の状態情報Ｄに「処理済」を記録する。
【０１１７】
端末装置Ｔｋの中央演算部３ｄは次に《基本動作規則Ａ》のステップＡ６の処理に移り、ここで端末装置Ｔｋの制御部３における出力情報記憶部３ｂの内容を参照して、新たに記録されたエントリＱｋ３の音声波形情報Ａの内容を、自己（端末装置Ｔｋ）の出力部３から音声として出力する。
【０１１８】
〔端末装置Ｔｌの動作〕
一方、端末装置Ｔｌではその制御部３の中央演算部３ｄが《基本動作規則Ａ》のステップＡ２に従った処理によって、端末装置Ｔｉから送出された端末間通信情報Ｃｉ＿ｌを、自己（端末装置Ｔｌ）の通信部２を通じて取り込み、これを自己（端末装置Ｔｌ）の制御部３の通信情報記憶部３ｃに、図５（ｄ）のエントリＲ１４の如く書き込むことで、通信情報記憶部３ｃに記録する。
【０１１９】
端末装置Ｔｌでは次にその制御部３の中央演算部３ｄが《基本動作規則Ａ》のステップＡ３に従った処理を行なうことによって、《基本動作手順Ｂ》を起動する。
【０１２０】
端末装置Ｔｌでは次にその制御部３の中央演算部３ｄがステップＢ１の処理に進み、自己（端末装置Ｔｌ）の制御部３における入力情報記憶部３ａから条件に合うエントリを検索する。
【０１２１】
ここでは、該当するエントリが存在しないので、中央演算部３ｄはステップＢ３の処理へと進み、エントリＲｌ４の状態情報Ｅの欄に、記号「要出力」を記録する。
【０１２２】
次に端末装置Ｔｌの中央演算部３ｄはステップＢ９の処理に移り、これにより《基本動作手順Ｂ》を終了してステップＡ５の処理に移る。
次に端末装置Ｔｌの中央演算部３ｄは《基本動作規則Ａ》のステップＡ５に従った処理を行なう。その結果、自己の演算部３における通信情報記憶部３ｃのエントリＲｌ４の状態情報Ｄの内容が「要出力」であることから、エントリＲ１４の音声波形情報Ｂの内容を、出力情報記憶部３ｂ‐ｉの新たなエントリＱｌ４の出力音声情報記Ａの欄に記録し、エントリＲｌ４の状態情報Ｄに「処理済」を記録する。
【０１２３】
次に端末装置Ｔｌの中央演算部３ｄは《基本動作規則Ａ》のステップＡ６に従った処理によって、自己の演算部３における出力情報記憶部３ｂの内容を参照して、新たに記録されたエントリＱｌ４の音声波形情報Ａの内容を、自己（端末装置Ｔｌ）の出力部３から出力する。
【０１２４】
以上は具体的動作例を説明したが、さらに、上述した会議支援装置システムでの全体の動作の様子について、図７〜図１１の例に係る全体の動作例（（その１）〜（その５））を参照してわかり易く説明する。
【０１２５】
〔（その１）〕まず、図７において、会議参加者Ａｉが「こんにちは」と発声を行ない、その音声が、端末装置Ｔｉの入力部１から、強度“１０”の音声入力として取り込まれる。
【０１２６】
この発声音はやがて他の会議参加者Ａｊ，Ａｋの携える端末装置Ｔｊ、および端末装置Ｔｋへも到達し、それぞれの端末の入力部１から取り込まれるが、発言した会議参加者Ａｉから遠い位置にある会議参加者Ａｌの携える端末装置Ｔｌへは到達しないものとする。
【０１２７】
〔（その２）〕
次に、図８において、端末装置Ｔｉの内部で、《基本動作規則Ａ》のステップＡ１に従った処理によって入力音声が記録される。
【０１２８】
つづいて、《基本動作規則Ａ》のステップＡ４に従った処理によって《基本動作手順Ｃ》が起動されるが、自己（端末装置Ｔｉ）の通信情報記憶部３ｃの内容が空であるため、他の端末装置Ｔｊ、Ｔｋ、Ｔｌに向けて、端末間通信情報Ｃｉ＿ｊ、およびＣｉ＿ｋ、およびＣｉ＿ｌをそれぞれ送出し、それぞれの端末装置Ｔｊ、Ｔｋ、Ｔｌでは自己の通信部２によりこれを受信してそれぞれ自己の端末間通信情報記憶部３ｃに記録する。
【０１２９】
〔（その３）〕
つぎに、図９において、まず端末装置Ｔｊでは、自己の入力部１から直接到達した音声が強度“７”で入力されているものとすると、この入力音声と自己の端末間通信情報記憶部３ｃの内容の間で、同一／類似性判定処理が行なわれる。その結果、端末装置Ｔｉからの通信によって得られた音声情報と直接到達した音声が、「同一であり」かつ直接到達した音声（強度は“７”）が「十分な強度を持つ」と判断される。
【０１３０】
その結果、端末装置Ｔｊでは、この端末間通信情報の送出元である端末装置Ｔｉに対して、通信停止信号Ｄjiが送出される。つまり、「十分な強度を持つ」という判定基準を満たした場合には、その端末装置の制御部３から通信停止信号を送信するように通信部２に指令が出され、通信部２から送信元に対して、自己（端末装置Ｔｊ）に対する通信を停止する要求である通信停止信号（この場合はＤji）が送出される。
【０１３１】
また端末装置Ｔｋでは、自己の入力部１から直接到達した音声が強度“４”で入力されているものとすると、この入力音声と端末装置Ｔｋの端末間通信情報記憶部３ｃの内容の間で、同一／類似性判定処理が行なわれる。そしてこの場合、端末装置Ｔｉからの通信によって得られた音声情報と直接到達した音声が、「同一である」が端末装置Ｔｋの入力部１で得た音声の強度が“４”のため、「十分な強度を持たない」と判断される。
【０１３２】
その結果、端末装置Ｔｋの制御部３はこの端末間通信情報に含まれる音声信号は「要出力」であると判断して、端末装置Ｔｋの出力部４からこの端末間通信情報に含まれる音声信号を音声として出力して、この端末装置Ｔｋのユーザである会議参加者Ｔｋに提供することになる。
【０１３３】
一方、端末装置Ｔｌでは、会議参加者Ａｌの位置から遠いため、この会議参加者Ａｌの音声が直接到達しない。そのため、その端末装置Ｔｌの入力部１からの会議参加者Ａｌの音声入力は無く、その結果、端末装置Ｔｌの制御部３は自己の端末間通信情報記憶部３ｃに含まれる音声信号は「要出力」であると判断して、端末装置Ｔｌの出力部４から音声信号として出力させ、端末装置Ｔｌのユーザである会議参加者Ａｌに提供する。
【０１３４】
〔（その４）〕
つぎに、図１０に示すように、端末装置Ｔｉにおいて、端末装置Ｔｊから送出された通信中止信号Ｄjiが受信される。すると、端末装置Ｔｉの制御部３は《基本動作規則Ａ》のステップＡ７に従った処理を実施することによって、端末装置Ｔｉから端末装置Ｔｊへの端末間通信情報の送出を停止させる。
【０１３５】
〔（その５）〕
以上説明した如きの動作によって、図１１に示すように会議参加者Ａｉの発言Ｖｉが、十分な音量で直接届く端末装置Ｔｊに関しては、通信路による音声情報の伝達と端末装置Ｔｊの出力部４からの音声出力が行なわれず、無駄な通信路の利用が避けられ、ハウリングも防止できる。
【０１３６】
また、発言者から直接伝達される発声音の音量が小さ過ぎる端末装置Ｔｋと、音声音が届かない端末装置Ｔｌへは、通信路による音声情報の伝達と、この伝達された音声情報を用いた端末装置の出力部からの音声出力が行なわれる。そして、これによって、移動可能な携帯端末装置による会議支援における通信路の有効利用が可能となり、また、不要な音声出力による障害の回避ができるなどの効果が得られる。
【０１３７】
以上の説明の如きの動作によって、ある会議参加者Ａｉの発言Ｖｉが、十分な音量で直接届く端末装置Ｔｊに関しては、通信路による音声情報の伝達と端末装置からの音声出力が行なわれず、直接伝達する音量が小さ過ぎる端末装置Ｔｋと、音声情報が届かない端末装置Ｔｌへは、通信路による音声情報の伝達と、端末装置からの音声出力が行なわれることによって、移動可能な携帯端末装置による会議支援における、通信路の有効利用、不要な音声出力による障害の回避などの本発明の効果が実現できることになる。
【０１３８】
従って、本発明によれば、自立的にネットワークを形成できる情報機器あるいは携帯可能な情報機器の応用によって実現される携帯端末会議システムにおいて、周囲雑音などの環境条件の変化しても適切に必要な情報を伝達することが可能となる。
【０１３９】
また、参加者が会議途中に空間的に移動しても端末間で通信によって授受すべき情報を適切に決定し、適切な情報の伝達を行なうことが可能となる。
また、端末間で通信によって授受すべき情報を動的に決定することによって、端末間の通信路を効率的に利用することが可能となる。
【０１４０】
また、端末間で通信によって授受すべき情報を動的に決定することによって、ある端末からの出力が複数の端末の出力の代用とできる場合に、無駄な通信と出力を押さえることが可能となる。
【０１４１】
また、端末間で通信によって授受すべき情報を動的に決定することによって、複数の端末の出力の重複やエコーなどの現象を回避することが可能となる。
また、端末間で通信によって授受すべき情報を動的に決定することによって、ある端末の出力などが他の端末に入力され、再度出力されることによりループが形成され、ハウリングなどが起こることを回避することが可能となる。
【０１４２】
尚、本発明にかかる会議支援装置の効果も上述した例に限定されるものではない。例えば、上述の実施例では、音声情報の入出力および内部の処理でＰＣＭディジタル方式を用いていたが、これもディジタル方式に限定されるものではない。
【０１４３】
また、各端末装置において、自己の入力部と出力部の位置関係およびそれぞれの入力音声信号と出力音声信号の内容は既知であるので、自己の出力信号を入力信号から差し引くキャンセレーションの従来技術を組み合わせることも可能である。
【０１４４】
さらに、同一音声判定である《基本動作手順Ｂ》のステップＢ４における閾値Ｗは、各端末装置の位置に於ける音声信号に対する会議参加者の要求に対応づけることができるので、この値を例えばボリュームなどによって調整できるようにすることで、各端末装置を持つ会議参加者がそれぞれの希望に沿った音量での会議音声を得ることができる。
【０１４５】
さらに、上述の実施例で示した会議支援装置では、そのアルゴリズムから、ある端末装置から送信された音声情報を、複数台の端末装置で音声出力する必要があるような場合でも、そのなかの一部が出力を開始することによって（いわばサテライト的に配置されることによって）、その出力が他の端末装置に到達することによって、その他の端末装置での音声出力とそこへの通信が不要になることによって、さらに効率的な通信資源の活用が可能となる。
【０１４６】
さらに、上述の実施例で示した会議支援装置では、そのアルゴリズムから、複数の端末装置の間で、閾値Ｗを高い値に設定した端末装置から優先して音声が出力されるようになっており、高い閾値Ｗを設定した端末装置が上述のサテライトとして機能するようにすることが可能である。
【０１４７】
また、上述の例では、各端末装置での音声入力信号と通信される信号との比較処理によって、ある発言の発言者と近接する端末装置を判定しているが、例えば、会議参加者の顔画像を処理する視覚情報などを利用した方法によっても、発言者の判定を行なうことが可能であり、それによって本発明を実現することも可能である。
【０１４８】
また、同一音声判定処理ＢのステップＢ１では、時間情報に対する不等号式によって、同一性の判定における条件付けを行なっているが、ここで音声波の伝達遅延や端末装置の入／出力部での遅延、および処理における遅延を考慮した条件を設定することによってより精度を向上させることも可能である。
【０１４９】
また、会議記録の蓄積を行なう会議支援装置においても本発明の技術を併用することが可能である。
また、イヤホンやヘッドホンといった機器を併用する端末装置を一部含む利用形態においても、本発明の効果を同様に得ることができる。
【０１５０】
また、本具体例では、会議支援における音声情報の授受を例題として説明を行なったが、扱う情報は音声情報に限定されるわけではない。
また、上述の具体例では、対等の立場にある複数の端末装置が協調動作して本発明の効果を発揮する例を示したが、たとえば１つの中央処理装置としての役割を持つ装置を設定した形態でも同様の効果を得ることができる。
【０１５１】
【発明の効果】
以上説明したように、本発明によれば、自立的にネットワークを形成できる情報機器あるいは携帯可能な情報機器の応用によって実現される携帯端末会議システムに於いて、周囲雑音などの環境条件の変化しても適切に必要な情報を伝達することが可能となる。
【０１５２】
また、参加者が会議途中に空間的に移動しても端末間で通信によって授受すべき情報を適切に決定し、適切な情報の伝達を行なうことが可能となる。
また、端末間で通信によって授受すべき情報を動的に決定することによって、端末間の通信路を効率的に利用することが可能となる。
【０１５３】
また、端末間で通信によって授受すべき情報を動的に決定することによって、ある端末からの出力が複数の端末の出力の代用とできる場合に、無駄な通信と出力を押えることが可能となる。
【０１５４】
また、端末間で通信によって授受すべき情報を動的に決定することによって、複数の端末の出力の重複やエコーなどの現象を回避することが可能となる。
また、端末間で通信によって授受すべき情報を動的に決定することによって、ある端末の出力などが他の端末に入力され、再度出力されることによりループが形成され、ハウリングなどが起こることを回避することが可能となる等の実用上多大な効果が奏せられる。
【図面の簡単な説明】
【図１】本発明の具体例の説明をするための図であって、本発明による会議支援装置の構成例を示すブロック図。
【図２】本発明の具体例の説明をするための図であって、本発明による会議支援装置の制御部３の構成例を示すブロック図。
【図３】本発明の具体例の説明をするための図であって、入力情報記憶部３ａの内容の例を示す図。
【図４】本発明の具体例の説明をするための図であって、出力情報記憶部３ｂの内容の例を示す図。
【図５】本発明の具体例の説明をするための図であって、通信情報記憶部３ｃの内容の例を示す図。
【図６】本発明の具体例の説明をするための図であって、具体的動作例の説明図。
【図７】本発明の具体例の説明をするための図であって、本発明の会議支援装置の全体の動作例（その１）を説明するための図。
【図８】本発明の具体例の説明をするための図であって、本発明の会議支援装置の全体の動作例（その２）を説明するための図。
【図９】本発明の具体例の説明をするための図であって、本発明の会議支援装置の全体の動作例（その３）を説明するための図。
【図１０】本発明の具体例の説明をするための図であって、本発明の会議支援装置の全体の動作例（その４）を説明するための図。
【図１１】本発明の具体例の説明をするための図であって、本発明の会議支援装置の全体の動作例（その５）を説明するための図。
【符号の説明】
１…入力部
２…通信部
３…制御部
３ａ…入力情報記憶部
３ｂ…出力情報記憶部
３ｃ…通信情報記憶部
３ｄ…中央演算装置
４…出力部
Ｔｉ，Ｔｊ，Ｔｋ，Ｔｌ…端末装置。
【図１】
0003828185.tif 000002
【図２】
0003828185.tif 000003
【図３】
0003828185.tif 000004
【図４】
0003828185.tif 000005
【図５】
0003828185.tif 000006
【図６】
0003828185.tif 000007
【図７】
0003828185.tif 000008
【図８】
0003828185.tif 000009
【図９】
0003828185.tif 000010
【図１０】
0003828185.tif 000011
【図１１】
0003828185.tif 000012