(57)【特許請求の範囲】
【請求項１】
拠点に配された情報処理装置であって、
それぞれの再生音量を変更可能であってそれぞれ優先度を有する複数の音声出力装置を接続する接続手段と、
他の拠点の複数の音声入力装置により入力された音声データであってそれぞれ優先度を有する音声データのそれぞれをネットワークを介して受信する受信手段と、
前記他の拠点の複数の音声入力装置により入力された各音声データの優先度と前記複数の音声出力装置のそれぞれの優先度とに基づいて、前記他の拠点の複数の音声入力装置から入力された音声データのそれぞれについて出力先となる前記拠点の音声出力装置を決定する決定手段と、
前記他の拠点の前記複数の音声入力装置のうち第１の音声入力装置により入力された第１の音声データ及び前記複数の音声入力装置のうち第２の音声入力装置により入力され前記第１の音声データの優先度と同じ優先度を有する第２の音声データの出力先として、前記拠点の前記複数の音声出力装置のうち前記第１の音声データ及び前記第２の音声データの優先度と同じ優先度を有する第１の音声出力装置が前記決定手段により決定されるとともに、
前記他の拠点の前記複数の音声入力装置のうち第３の音声入力装置により入力され前記第１の音声データ及び前記第２の音声データが有する優先度とは異なる優先度を有する第３の音声データの出力先として、前記拠点の前記複数の音声出力装置のうち前記第３の音声データと同じ優先度を有する第２の音声出力装置が前記決定手段により決定された場合、
前記第１及び第２の音声入力装置により入力された前記第１及び第２の音声データを前記第１の音声出力装置へ出力するためにミキシングするミキシング手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記決定手段は、前記第１及び第２の音声データを前記第１の音声出力装置へ出力し、前記第３の音声データを前記第２の音声出力装置へ出力することを、前記音声入力装置及び前記音声出力装置の機種に基づいて前記音声データの優先度及び前記音声出力装置の優先度を設定することにより、決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
音声入力装置により入力された音声データが、前記出力先として決定された複数の音声出力装置で出力されるように分配する分配手段を有することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記受信手段は、前記決定手段により決定された出力先の変更のための指示を前記他の拠点から前記ネットワークを介して受信し、
前記情報処理装置は、更に、
前記受信した指示に応じて前記決定手段により決定された出力先を変更する変更手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記決定手段により決定された出力先の変更のための指示を入力する入力手段と、
前記入力に応じて前記決定手段により決定された出力先を変更するための変更手段と
を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項６】
拠点に配された情報処理装置であって、それぞれの再生音量を変更可能であってそれぞれ優先度を有する複数の音声出力装置に接続された情報処理装置が行う制御方法であって、
他の拠点の複数の音声入力装置により入力された音声データであってそれぞれ優先度を有する音声データのそれぞれをネットワークを介して受信する受信工程と、
前記他の拠点の複数の音声入力装置により入力された各音声データの優先度と前記複数の音声出力装置のそれぞれの優先度とに基づいて前記他の拠点の複数の音声入力装置から入力された音声データのそれぞれについて出力先となる前記拠点の音声出力装置を決定する決定工程と、
前記他の拠点の前記複数の音声入力装置のうち第１の音声入力装置により入力された第１の音声データ及び前記複数の音声入力装置のうち第２の音声入力装置により入力され前記第１の音声データの優先度と同じ優先度を有する第２の音声データの出力先として、前記拠点の前記複数の音声出力装置のうち前記第１の音声データ及び前記第２の音声データの優先度と同じ優先度を有する第１の音声出力装置が前記決定工程において決定されるとともに、
前記他の拠点の前記複数の音声入力装置のうち第３の音声入力装置により入力され前記第１の音声データ及び前記第２の音声データが有する優先度とは異なる優先度を有する第３の音声データの出力先として、前記拠点の前記複数の音声出力装置のうち前記第３の音声データと同じ優先度を有する第２の音声出力装置が前記決定工程において決定された場合、
前記第１及び第２の音声入力装置により入力された前記第１及び第２の音声データを前記第１の音声出力装置へ出力するためにミキシングするミキシング工程と
を有することを特徴とする制御方法。
【請求項７】
拠点に配され、それぞれの再生音量を変更可能であってそれぞれ優先度を有する複数の音声出力装置に接続されたコンピュータに、
他の拠点の複数の音声入力装置により入力された音声データであってそれぞれ優先度を有する音声データのそれぞれをネットワークを介して受信する受信手順と、
前記他の拠点の複数の音声入力装置により入力された各音声データの優先度と前記複数の音声出力装置のそれぞれの優先度とに基づいて前記他の拠点の複数の音声入力装置から入力された音声データのそれぞれについて出力先となる前記拠点の音声出力装置を決定する決定手順と、
前記他の拠点の前記複数の音声入力装置のうち第１の音声入力装置により入力された第１の音声データ及び前記複数の音声入力装置のうち第２の音声入力装置により入力され前記第１の音声データの優先度と同じ優先度を有する第２の音声データの出力先として、前記拠点の前記複数の音声出力装置のうち前記第１の音声データ及び前記第２の音声データの優先度と同じ優先度を有する第１の音声出力装置が前記決定手順において決定されるとともに、
前記他の拠点の前記複数の音声入力装置のうち第３の音声入力装置により入力され前記第１の音声データ及び前記第２の音声データが有する優先度と異なる優先度を有する第３の音声データの出力先として、前記拠点の前記複数の音声出力装置のうち前記第３の音声データと同じ優先度を有する第２の音声出力装置が前記決定手順において決定された場合、
前記第１及び第２の音声入力装置により入力された前記第１及び第２の音声データを前記第１の音声出力装置へ出力するためにミキシングするミキシング手順と
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音声出力装置が接続された情報処理装置において、ネットワークを介して受信した音声データの出力先を制御する制御技術に関するものである。
【背景技術】
【０００２】
従来より、ＩＳＤＮ回線を使用して通信することで、複数の拠点を結ぶテレビ会議システムが知られている。当該システムでは、１つの拠点に複数の端末装置を利用して構成する場合、各々の端末装置において受信した入力音声を、ＭＣＵ（Ｍｕｌｔｉ  Ｐｏｉｎｔ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）を介してミキシングして配信するのが一般的であった。
【０００３】
また、１つの端末装置に複数の音声入力装置を接続して構成する場合は、当該端末装置内で入力音声をミキシングして配信するのが一般的であった（特許文献１参照）。
【特許文献１】特開２００２−３６８８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献により実現されるテレビ会議システムの場合、以下のような問題がある。
【０００５】
第１に、入力側において特定の端末装置が受信した入力音声の音量を、出力側において変更しようとしても所望の変更を行うことができないという問題がある。
【０００６】
例えば、出力側の利用者が入力側の特定の端末装置からの入力音声の音量が小さいと感じた場合に、出力側の利用者が利用している端末装置の音声出力の音量を変更しても、入力側の特定の端末装置からの入力音声の音量だけを変更することはできない。つまり、この場合、入力側の他の端末装置からの入力音声の音量も同じように変更されてしまうこととなる。
【０００７】
第２に、入力側において、特定の端末装置が受信した入力音声の音量を変更したうえで配信することとすると、出力側の特定の利用者だけが、変更後の音量の入力音声を受けとりたい場合に、これを実現することができないという問題がある。
【０００８】
例えば、ミキシングした音声を配信する端末装置（もしくはＭＣＵ）にて特定の入力音声の音量を変更した場合、特定の利用者に配信された入力音声のみでなく、他の利用者に配信された入力音声の音量も変更されてしまうこととなる。
【０００９】
本発明は上記課題に鑑みてなされたものであり、複数の音声出力装置が接続された情報処理装置において受信した複数の入力音声の中の特定の入力音声の音量を変更できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
拠点に配された情報処理装置であって、
それぞれの再生音量を変更可能であってそれぞれ優先度を有する複数の音声出力装置を接続する接続手段と、
他の拠点の複数の音声入力装置により入力された音声データであってそれぞれ優先度を有する音声データのそれぞれをネットワークを介して受信する受信手段と、
前記他の拠点の複数の音声入力装置により入力された各音声データの優先度と前記複数の音声出力装置のそれぞれの優先度とに基づいて前記他の拠点の複数の音声入力装置から入力された音声データのそれぞれについて出力先となる前記拠点の音声出力装置を決定する決定手段と、
前記他の拠点の前記複数の音声入力装置のうち第１の音声入力装置により入力された第１の音声データ及び前記複数の音声入力装置のうち第２の音声入力装置により入力され前記第１の音声データの優先度と同じ優先度を有する第２の音声データの出力先として、前記拠点の前記複数の音声出力装置のうち前記第１の音声データ及び前記第２の音声データの優先度と同じ優先度を有する第１の音声出力装置が前記決定手段により決定されるとともに、
前記他の拠点の前記複数の音声入力装置のうち第３の音声入力装置により入力され前記第１の音声データ及び前記第２の音声データが有する優先度と異なる優先度を有する第３の音声データの出力先として、前記拠点の前記複数の音声出力装置のうち前記第３の音声データと同じ優先度を有する第２の音声出力装置が前記決定手段により決定された場合、
前記第１及び第２の音声入力装置により入力された前記第１及び第２の音声データを前記第１の音声出力装置へ出力するためにミキシングするミキシング手段とを有する。
【発明の効果】
【００１１】
本発明によれば、複数の音声出力装置に接続された情報処理装置において受信した複数の入力音声の中の特定の入力音声の音量を変更できるようになる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照しながら各実施形態の詳細について説明する。
【００１３】
［第１の実施形態］
１．テレビ会議システムの全体構成
図１は本発明の第１の実施形態にかかる情報処理装置（端末装置１０４〜１０６）がネットワーク１３４を介して３つの拠点１０１〜１０３を接続した情報処理システムを用いることにより構築したテレビ会議システムの全体構成図である。なお、図１の例では、説明の簡略化のため、テレビ会議システムのうち、音声データの入出力機能についてのみ図示している。
【００１４】
各拠点１０１〜１０３に配された端末装置には、それぞれマイクなどの音声入力装置と、スピーカなどの音声出力装置が接続されている。
【００１５】
拠点１０１で利用可能な音声入力装置は、参照番号１０７から１１１の５台であり、利用可能な音声出力装置は、参照番号１１２から１１４の３台である。また、拠点１０２で利用可能な音声入力装置は、参照番号１１５の１台であり、利用可能な音声出力装置は、参照番号１１６と１１７の２台である。更に、拠点１０３で利用可能な音声入力装置は、参照番号１１８から１２５までの８台であり、利用可能な音声出力装置は、参照番号１２６から１３３の８台である。
【００１６】
なお、音声入力装置と音声出力装置は、端末装置に直接接続するマイクやスピーカ等でも良いし、ネットワークなどを介して端末装置に接続することが可能なテレビやパソコンやカメラ等の機器に内蔵もしくは接続されているマイクやスピーカであってもよい。
【００１７】
２．端末装置の構成
図２は端末装置１０４〜１０６の機能構成図である。図２において、２０５はネットワーク１３４を介して音声データ等の送受信を行う通信部である。２０２はマイクなどの音声入力装置から入力された音声に基づいて音声データを生成する音声入力部である。複数の音声入力装置を接続する場合には、複数の音声入力部２０２が配されることとなる。
【００１８】
２０３は音声データをスピーカなどの音声出力装置にて再生させる音声出力部である。複数の音声出力装置を接続する場合は、複数の音声出力部２０３が配されることとなる。
【００１９】
なお、上述したように音声入力装置及び音声出力装置としては、ネットワークを介して接続されるパソコンやテレビやカメラなどの機器に内蔵もしくは接続されているマイクやスピーカを利用することもできる。この場合、音声入力部２０２と音声出力部２０３は、後述する処理部２０６と上述の通信部２０５にその機能が含まれることとなる。
【００２０】
２０４はＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）やハードディスクや光ディスクやメモリカードなど、データを記憶する記憶部である。記憶部２０４には、音声入力部２０２を介して接続されている複数の音声入力装置間の関係を示す音声入力関係情報２０７と、音声出力部２０３を介して接続されている複数の音声出力装置間の関係を示す音声出力関係情報２０８が記憶されている。
【００２１】
なお、音声入力関係情報２０７と音声出力関係情報２０８は、利用者が入力することで生成されるように構成しても良い。あるいは、端末装置が音声入力装置と音声出力装置の接続を検知した際に、それぞれの装置が持っている機種や設置位置や役割などの特定の情報を取得し、これらの情報を利用することによって端末装置自身が生成するように構成してもよい。
【００２２】
２０６は端末装置の制御と演算処理を行うＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）などの処理部である。
【００２３】
３．端末装置の処理部の機能構成
図３は、図２の処理部２０６で実現される機能を示した機能構成の一例を示す図である。なお、本実施形態において、図３の各部の機能は、図２の記憶部２０４に記憶されたプログラムが、図２の処理部２０６に読み込まれて実行されることにより実現されるものとする。
【００２４】
図３において、３０１は端末装置全体を制御する全体制御部である。全体制御部では、利用可能なマイクなどの音声入力装置と、スピーカなどの音声出力装置の接続／非接続を検知し、記憶部２０４に記憶されている音声入力関係情報２０７および音声出力関係情報２０８を更新する。
【００２５】
３０２は音声入力関係情報２０７と音声出力関係情報２０８とに基づいて音声データと音声出力装置の割り当てを算出する割り当て算出部である。３０３は音声データを分配して複数の音声出力装置で再生することができるようにするための分配部である。３０４は複数の音声データをミキシング処理するミキシング部である。
【００２６】
図４は割り当て算出部３０２における算出結果の一例を示す図である。図４は、５つの音声データを受信して、８つの音声出力装置に割り当てた例を示している。各行が音声データとその音声データを再生する音声出力装置の組み合わせを示している。
【００２７】
例えば、Ａｕｄｉｏ２とＡｕｄｉｏ３（音声入力装置１０８、１０９）にて生成された音声データはミキシングされ、ミキシングされた音声データがＳＰ４とＳＰ５とＳＰ６に該当する音声出力装置１２９〜１３１に分配され、再生されることを示している。
【００２８】
４．端末装置における再生処理の流れ
次に、割り当て算出部３０２における算出結果に基づいて実行される、端末装置１０４〜１０６の再生処理の流れについて説明する。図５は、端末装置１０４〜１０６の処理部２０６において実行される再生処理の流れを示すフローチャートである。
【００２９】
ステップＳ５０１では、全体制御部３０１が、割り当て算出部３０２による算出結果の組み合わせとして音声データが２つ以上含まれる組み合わせがあるか否かを判断する。ステップＳ５０１において、２つ以上含まれる組み合わせがあると判断した場合には、ステップＳ５０２に進み、受信した音声データから該当する音声データを取得し、ミキシング部３０４がミキシング処理を実行する。
【００３０】
一方、ステップＳ５０１において、各組み合わせに含まれる音声データは１つであると判断した場合には、ステップＳ５０３に進み、受信した音声データから該当する音声データを取得する。
【００３１】
ステップＳ５０４では、全体制御部３０１が、割り当て算出部３０２による算出結果の組み合わせとして音声出力装置が２つ以上含まれる組み合わせがあるかを判断する。
【００３２】
ステップＳ５０４において、２つ以上含まれる組み合わせがあると判断した場合には、ステップＳ５０５に進み、当該音声データを分配部３０３が、該当する数に分配する処理を実行し、音声出力部２０３を介して該当する音声出力装置に再生させる。
【００３３】
一方、ステップＳ５０４において、各組み合わせに含まれる音声出力装置は１つであると判断した場合には、ステップＳ５０６に進み、音声データを音声出力部２０３を介して該当する音声出力装置に再生させる。
【００３４】
５．テレビ会議システムにおける動作例
以下、図１に示すテレビ会議システムにおける動作例について説明する。具体的には、拠点１０１で入力した音声を拠点１０２と拠点１０３に配信して再生させるまでの動作について説明する。
【００３５】
拠点１０１の端末装置１０４では、音声入力部２０２を介して接続されている１０７から１１１までの５台の音声入力装置から入力されたそれぞれの音声データを取得する。そして、５つの音声データを多重化したうえで、または個別のストリームにて通信部２０５を介して拠点１０２の端末装置１０５と拠点１０３の端末装置１０６に配信する。
【００３６】
同時に、拠点１０１の端末装置１０４では、５つの音声入力装置間の関係を示す音声入力関係情報２０７を、通信部２０５を介して拠点１０２の端末装置１０５と拠点１０３の端末装置１０６に配信する。
【００３７】
拠点１０２の端末装置１０５の全体制御部３０１では、割り当て算出部３０２を動作させる。割り当て算出部３０２では、受信した音声入力関係情報と端末装置１０５の記憶部２０４に記憶されている音声出力関係情報２０８とに基づいて、音声出力部２０３に接続されている２台の音声出力装置に再生させる音声データの割り当てを算出する。
【００３８】
算出の結果、５つの音声データのうち３つの音声データを音声出力装置１１６で再生し、残り２つの音声データを音声出力装置１１７で再生するように割り当てたとする。この場合、端末装置１０５の全体制御部３０１では、ミキシング部３０４を動作させる。ミキシング部３０４は、受信した５つの音声データから算出結果に該当する３つの音声データについてミキシング処理を実行し、音声出力部２０３を介して音声出力装置１１６に再生させる。また、算出結果に該当する２つの音声データについてミキシング処理を実行し、音声出力部２０３を介して音声出力装置１１７に再生させる。
【００３９】
同様に、拠点１０３の端末装置１０６の全体制御部３０１では、割り当て算出部３０２を動作させる。割り当て算出部３０２では、受信した音声入力関係情報と端末装置１０６の記憶部２０４に記憶されている音声出力関係情報２０８とに基づいて、音声出力部２０３に接続されている８台の音声出力装置に再生させる音声データの割り当てを算出する。
【００４０】
算出の結果、５つの音声データのうち１つを音声出力装置１２６から１２９の４台で再生し、残りの４つの音声データを音声出力装置１３０から１３３の４台で１つずつ再生するように割り当てたとする。この場合、端末装置１０６の全体制御部３０１では分配部３０３を動作させる。分配部３０３は、算出結果より該当する１つの音声データを４つに分配処理し、音声出力部２０３を介して音声出力装置１２６から１２９に再生させる。また、残りの４つの音声データを、それぞれ算出結果に該当する音声出力装置１３０から１３３に音声出力部２０３を介して再生させる。
【００４１】
他の一例として、算出の結果、５つの音声データを全て合わせて８台の音声出力装置でそれぞれ再生させるように割り当てたとする。この場合、端末装置１０６の全体制御部３０１では、ミキシング部３０４と分配部３０３をそれぞれ動作させる。ミキシング部３０４は、５つの音声データをミキシング処理する。また、分配部３０３は８台の音声出力装置１２６から１３３で再生するように分配処理する。そして、音声出力部２０３を介して音声出力装置１２６から１３３に再生させる。
【００４２】
以上の説明から明らかなように、本実施形態によれば、例えばＳＰ１（音声出力装置１２６）の再生音量を変更することで送信側の音声入力装置うちの１つの音声データ（Ａｕｄｉｏ１で生成された音声データ）の再生音量のみを変更することが可能となる。つまり、受信側において送信側の個々の音声入力装置の音声データの再生音量を変更することが可能となる。
【００４３】
[第２の実施形態]
上記第１の実施形態では、音声入力関係情報及び音声出力関係情報が予め決定されている場合について説明したが、本発明はこれに限定されず、例えば、送信側にて、音声入力関係情報を逐次変更できるように構成してもよい。
【００４４】
具体的には、送信側の端末装置の記憶部２０４を、複数の音声入力関係情報２０７が記憶できるように構成し、そのうちの１つの音声入力関係情報を選択的に他の端末装置に送信できるように構成する。このとき、音声入力関係情報２０７の切り替えが、音声データの送信中においてもできるようにする。
【００４５】
受信側の端末装置では、受信した音声入力関係情報２０７とその端末装置の記憶部２０４に記憶されている音声出力関係情報２０８とに基づいて、割り当て算出部３０２において音声データの音声出力装置への割り当てを算出する。
【００４６】
そして、送信側の端末装置から送信される音声入力関係情報２０７が変更されたことを検知すると、割り当て算出部３０２が再度動作する。そして、変更された音声入力関係情報２０７と受信側の端末装置に記憶されている音声出力関係情報２０８とに基づいて音声データの音声出力装置への割り当てを算出しなおした後、その算出結果に基づいて音声データの再生を行う。
【００４７】
このように、送信側の端末装置に複数の音声入力関係情報を記憶させ、該複数の音声入力関係情報を切り替えて送信することで、受信側の端末装置にて再生される音声データの音声出力装置への割り当てを逐次変更することが可能となる。
【００４８】
[第３の実施形態]
上記第２の実施形態では、送信側にて音声入力関係情報を切り替えて送信する構成としたが、本発明はこれに限定されず、受信側にて音声出力関係情報を切り替える構成としてもよい。
【００４９】
具体的には、受信側の端末装置の記憶部２０４を、複数の音声出力関係情報２０８が記憶できるように構成し、そのうちの１つの音声出力関係情報を選択的に割り当て算出部３０２が使用し、算出処理を実行するようにする。
【００５０】
そして、全体制御部３０１では、受信した音声データの再生中に割り当て算出部３０２が使用する音声出力関係情報２０８を切り替えて算出処理を行うよう指示する。全体制御部３０１が切り替えを指示すると、割り当て算出部３０２では、音声データの音声出力装置への割り当てを再度算出しなおし、その算出結果に基づいてミキシング部または分配部が、音声データをミキシング処理または分配処理し、再生を行う。
【００５１】
このように、受信側の端末装置で使用する音声出力関係情報２０８を切り替えることで、受信側の他の端末装置に影響を与えることなく、音声データの音声出力装置への割り当てを逐次変更することが可能となる。
【００５２】
[第４の実施形態]
上記第１の実施形態では、音声データの音声出力装置への割り当てを算出する算出処理の詳細について言及しなかったが、例えば、以下のような音声出力関係情報を用いて、算出処理を実行するようにしてもよい。
【００５３】
１．音声出力関係情報
図６は、音声出力関係情報２０８の一例を示す図である。図６に示すように、本実施形態にかかる音声出力関係情報２０８は、送信側の端末装置の数に応じた、受信側の複数の音声出力装置のグルーピングを示す情報により構成されている。
【００５４】
送信側の端末装置が１台の場合は、８台の音声出力装置は全て同じグループに属することとなる。一方、送信側の端末装置が２台の場合は、ＳＰ１からＳＰ４（音声出力装置１２６〜１２９）までが第１のグループに属し、ＳＰ５からＳＰ８（音声出力装置１３０〜１３３）までが第２のグループに属することとなる。
【００５５】
更に、送信側の端末装置が３台の場合は、ＳＰ１からＳＰ３（音声出力装置１２６〜１２８）までが第１のグループに属することとなる。また、ＳＰ４からＳＰ６（音声出力装置１２９〜１３１）までが第２のグループに属することとなる。更に、ＳＰ７とＳＰ８（音声出力装置１３２、１３３）が第３のグループに属することとなる。
【００５６】
図１において端末装置１０４と端末装置１０５が送信側の端末装置であり、端末装置１０６が受信側の端末装置であるとする。この場合、送信側の端末装置の数は２になるので、ＳＰ１からＳＰ４までのグループと、ＳＰ５からＳＰ８までの２つのグループとにグループ分けされることとなる。
【００５７】
なお、受信側の端末装置が図６に示す音声出力関係情報を有する場合、送信側の端末装置が送信する音声入力関係情報は、それぞれの音声データが、どの端末装置を介して配信されたかを示す情報となる。この場合の割り当て算出部３０２における割り当ての算出処理は以下のようになる。
【００５８】
２．割り当て算出部における割り当ての算出処理の流れ
図７は、上記音声入力関係情報及び音声出力関係情報に基づいて、割り当て算出部３０２が実行する割り当ての算出処理の流れを示すフローチャートである。図７を参照しながら処理内容を説明する。
【００５９】
ステップＳ７０１では、端末装置を制御する全体制御部３０１が取得した、自端末装置に接続されている送信側の端末装置の数を読み込む。
【００６０】
ステップＳ７０２では、自端末装置の音声出力関係情報２０８を読み込む。ステップＳ７０３では、ステップＳ７０１で取得した端末装置数とステップＳ７０２で読み込んだ音声出力関係情報２０８とに基づいて音声出力装置をグループ分けし、各グループに対応づける送信側の端末装置を決定する。
【００６１】
ステップＳ７０４では、各グループごとに順次処理を継続する。ステップＳ７０５では、処理対象のグループに対応付けた端末装置からの音声入力関係情報を取得する。更に、ステップＳ７０６では、処理対象のグループの音声出力装置に対する音声データの割り当てを算出する。
【００６２】
ステップＳ７０７では、全てのグループに対して処理を実行したか否かを判断する。未処理のグループがあると判断した場合には、ステップＳ７０４に戻り、当該未処理のグループに対してステップＳ７０５及びＳ７０６の処理を行う。
【００６３】
一方、全てのグループに対して処理を実行したと判断した場合には、ステップＳ７０８に進み、各グループの算出結果を結合し、全体の算出結果として出力する。
【００６４】
以上の説明から明らかなように、本実施形態では、音声出力関係情報として、送信側の端末装置の数に応じた、受信側の音声出力装置のグルーピングを示す情報を有することにより、割り当てを算出することが可能となる。
【００６５】
この結果、各拠点ごとに音声出力装置をグループ分けすることが可能となり、例えば音声出力装置の設置位置をグループごとに右側と左側のようにわけることで、利用者は音声が再生される方向をもとに、送信側の拠点を判別することが可能となる。
【００６６】
[第５の実施形態]
上記第１の実施形態では、送信側の端末装置が１台で、受信側の端末装置が複数ある場合について説明したが、本発明はこれに限定されず、送信側の端末装置が複数で、受信側の端末装置が１台であってもよい。
【００６７】
具体的には、図１に示すテレビ会議システムにおいて、同時に複数の端末装置から音声データを受信した場合における、受信側の端末装置の音声データの音声出力装置への割り当ての算出処理と音声データの再生処理とについて説明する。
【００６８】
図８は、受信側の端末装置において実行される、音声データの音声出力装置への割り当ての算出処理と音声データの再生処理の流れを示すフローチャートである。
【００６９】
多拠点を接続するテレビ会議システムの場合には、それぞれの拠点の端末装置から音声入力関係情報２０７とその拠点の音声入力装置からの音声データとが送信されてくる。そこでステップＳ８０１では、複数の端末装置から音声入力関係情報２０７と音声データとを受信すると、送信側の端末装置毎に順次処理を開始する。
【００７０】
ステップＳ８０２では、処理対象の端末装置からの音声入力関係情報２０７と受信側の端末装置の音声出力関係情報２０８とに基づいて、割り当て算出部３０２が割り当ての算出処理を実行する。
【００７１】
ステップＳ８０３では、算出された音声データと音声出力装置との組み合わせ毎に順次処理を行う。ステップＳ８０４では、処理対象となる組み合わせに、音声データが２つ以上含まれているか否かを判断する。
【００７２】
ステップＳ８０４において、音声データが２つ以上含まれていると判断した場合には、ステップＳ８０５に進み、受信した音声データから該当する音声データを取得し、ミキシング部３０４が、ミキシング処理を実行する。
【００７３】
一方、ステップＳ８０４において、含まれている音声データが１つであると判断した場合には、ステップＳ８０９に進み、受信した音声データから該当する音声データを取得する。
【００７４】
ステップＳ８０６では、処理対象の組み合わせに音声出力装置が２つ以上含まれているか否かを判断する。ステップＳ８０６において、２つ以上含まれていると判断した場合には、ステップＳ８０７に進み、分配部３０３が、当該音声データを該当する数に分配する分配処理を行う。更に、記憶部２０４が、音声データと音声出力装置とを関連付けて一時的に記憶する。
【００７５】
一方、ステップＳ８０６において、含まれている音声出力装置が１つであると判断した場合には、ステップＳ８１０に進み、記憶部２０４が、当該音声データと音声出力装置とを関連付けて一時的に記憶する。
【００７６】
ステップＳ８０８では、算出された音声データと音声出力装置との組み合わせを全て処理したか否かを判断する。ステップＳ８０８において、組み合わせを全て処理していないと判断した場合には、ステップＳ８０３に戻り、未処理の組み合わせに対して処理を行う。
【００７７】
一方、全ての組み合わせを処理したと判断した場合には、ステップＳ８１１に進み、送信側の全ての端末装置について処理したか否かを判断する。
【００７８】
ステップＳ８１１において、送信側の全ての端末装置について処理をしていないと判断した場合には、ステップＳ８０１に戻り、送信側の未処理の端末装置に対して処理を行う。一方、送信側の全ての端末装置について処理をしたと判断した場合には、ステップＳ８１２に進み、記憶部２０４に一時的に記憶した音声データと音声出力装置との関連付けについて、音声出力装置毎に順次処理をする。
【００７９】
ステップＳ８１３では、処理対象の音声出力装置と関連付けられた音声データが２つ以上あるかを判断する。ステップＳ８１３において、関連付けられた音声データが２つ以上あると判断した場合には、ステップＳ８１４において、ミキシング部３０４が、当該２つ以上の音声データについてミキシング処理を行う。
【００８０】
一方、ステップＳ８１３において、関連付けられた音声データが１つであると判断した場合、もしくはステップＳ８１４の処理が完了した後は、ステップＳ８１５に進み、音声データを音声出力部２０３を介して該当する音声出力装置に再生させる。
【００８１】
ステップＳ８１６では、記憶部２０４に記憶した音声データと音声出力装置との関連付けについて全ての音声出力装置について処理を行ったか否かを判断する。ステップＳ８１６において、全ての音声出力装置について処理をしていないと判断した場合には、ステップＳ８１２に戻り未処理の音声出力装置について処理を行う。一方、ステップＳ８１６において、全ての音声出力装置について処理をしたと判断した場合には、終了する。
【００８２】
以上の説明から明らかなように、本実施形態によれば、送信側の端末装置が１つであった場合の割り当てと、複数であった場合の割り当てとが同じとなるため、利用者は接続している送信側の端末装置を意識する必要がない。
【００８３】
また、例えば、音声入力関係情報２０７及び音声出力関係情報２０８がその音声入力装置と音声出力装置を利用する人の司会者やプレゼンターや聴講者などの役割を示すものであった場合、拠点をまたいで役割ごとに再生の音量を変更することが可能となる。
【００８４】
[第６の実施形態]
上記第４の実施形態では、音声出力関係情報として、送信側の端末装置の数に応じた受信側の音声出力装置のグルーピングを示す情報を用いることとしたが、本発明はこれに限定されない。例えば、音声入力関係情報として、音声データとその優先度との組み合わせを用い、音声出力関係情報として、音声出力装置とその優先度との組み合わせを用いるようにしてもよい。
【００８５】
以下、図１のテレビ会議システムにおいて５つの音声入力装置が接続されている端末装置１０４から、８つの音声出力装置が接続されている端末装置１０６に音声データが送信される場合について説明する。
【００８６】
１．音声入力関係情報の一例
図９Ａは、端末装置１０４から５つの音声データとともに送信される、本実施形態における音声入力関係情報２０７の一例を示す図である。図９Ａに示すように、本実施形態における音声入力関係情報は、各音声データが生成される音声入力装置の識別子とその優先度（１の優先度が高く、５の優先度が低い）に関する情報とから構成されている。
【００８７】
２．音声出力関係情報の一例
図９Ｂは、端末装置１０６の本実施形態における音声出力関係情報２０８の一例を示す図である。図９Ｂに示すように、本実施形態における音声出力関係情報は、各音声出力装置の識別子とその優先度に関する情報とから構成されている。
【００８８】
３．割り当て算出部における割り当て処理の流れ
図１０は割り当て算出部３０２における割り当ての算出処理の流れを示すフローチャートである。図１０を参照しながら、本実施形態における割り当ての算出処理の流れについて説明する。
【００８９】
ステップＳ１００１では、未処理の優先度について高い方から順次処理対象として処理をしていく。ステップＳ１００２では、音声入力関係情報内に処理対象の優先度を有する音声データが存在するか否かを判断する。
【００９０】
ステップＳ１００２において、処理対象の優先度を有する音声データがあると判断した場合には、ステップＳ１００３に進み、音声出力関係情報に処理対象の優先度と同じ優先度を有する音声出力装置が存在するか否かを判断する。
【００９１】
ステップＳ１００３において、処理対象の優先度と同じ優先度を有する音声出力装置があると判断した場合には、ステップＳ１００４に進み、当該音声データと当該音声出力装置とを組み合わせる。
【００９２】
ステップＳ１００５では、全ての優先度について処理を行ったか否かを判断する。ステップＳ１００５において、未処理の優先度があると判断した場合には、ステップＳ１００１に戻り、未処理の優先度について処理を実行する。
【００９３】
一方、ステップＳ１００３において、処理対象の優先度と同じ優先度を有する音声出力装置がないと判断した場合には、ステップＳ１００６に進み、処理対象の優先度が、優先度の最小値よりも大きいか否かを判断する。ステップＳ１００６において、処理対象の優先度が、優先度の最小値よりも大きいと判断した場合には、ステップＳ１００７に進み、当該処理対象の優先度を１つ下げる。
【００９４】
一方、ステップＳ１００２において、処理対象の優先度を有する音声データがないと判断した場合には、ステップＳ１００８に進み、処理対象の優先度と同じ優先度を有する音声出力装置が存在するかを判断する。ステップＳ１００８において、音声出力装置が存在すると判断した場合には、ステップＳ１００９に進み、処理対象の優先度を一時的に１つ上げる。
【００９５】
更に、ステップＳ１０１０では、一時的に変更した優先度が優先度の最大値以下であるか否かを判断する。ステップＳ１０１０において、優先度の最大値以下であると判断した場合には、ステップＳ１０１２に進み、これまでの処理の中で一時的に変更した優先度における音声データと音声出力装置との組み合わせが有るか否かを判断する。
【００９６】
ステップＳ１０１２において、組み合わせがあると判断した場合には、ステップＳ１０１３に進み、当該組み合わせに、ステップＳ１００８で有りと判断した音声出力装置を追加する。一方、ステップＳ１０１２において、組み合わせがないと判断した場合には、ステップＳ１００９に戻り、処理を継続する。
【００９７】
一方、ステップＳ１０１０において一時的に変更した優先度が優先度の最大値よりも大きいと判断した場合、もしくはステップＳ１０１３において組み合わせに音声出力装置を追加した場合には、ステップＳ１０１１に進み、一時的に変更した優先度を元に戻す。
【００９８】
以上のように算出処理を実行することにより、送信側の拠点では受信側の拠点の音声出力装置の構成を意識することなく、入力される音声データの優先度について音声入力関係情報を設定するだけで、適切な音声出力装置が割り当てられることとなる。
【００９９】
同様に受信側の拠点では送信側の拠点の音声入力装置の構成や参加者などを意識することなく、自拠点の音声出力装置の機種や設置位置などから優先度を決めて音声出力関係を設定すれば、適切な音声出力装置が割り当てられることとなる。つまり、相手先の拠点の装置などの環境や構成を知る必要がないので設定が容易になる。
【０１００】
図１１は図９Ａと図９Ｂとから割り当てが算出された音声データと音声出力装置の組み合わせの一例である。優先度２のＳＰ３（音声出力装置１２８）は優先度２の音声データがないので、１つ高い優先度１の音声出力装置との組み合わせに加えられる。優先度３の音声データ（Ａｕｄｉｏ３にて生成された音声データ）は同じ優先度の音声出力装置がないので、１つ低い優先度４の音声データとの組み合わせに加えられる。
【０１０１】
以上の説明から明らかなように、本実施形態によれば、利用者は、それぞれの拠点において音声データとその優先度、または音声出力装置とその優先度を設定するだけで、自動的に音声データを最適な音声出力装置に割り当てることが可能となる。
【０１０２】
[第７の実施形態]
上記第６の実施形態では、音声入力関係情報として、音声データとその優先度を設定し、音声出力関係情報として、音声出力装置とその優先度について設定することとしたが、本発明はこれに限定されない。
【０１０３】
例えば、音声入力関係情報として、音声入力装置の設置位置の情報を設定し、音声出力関係情報として、音声出力装置の設置位置の情報を設定してもよい。
【０１０４】
具体的には、音声入力関係情報として、送信側の端末装置の拠点にある所定の基準点と各音声入力装置の収音領域との相対的な領域を設定する。
【０１０５】
また、音声出力関係情報として、受信側の端末の拠点にある所定の基準点と各音声出力装置の出力領域との相対的な領域を設定する。
【０１０６】
そして、受信側の端末装置の割り当て算出部３０２では、受信した音声入力関係情報における基準点と、記憶している音声出力関係情報の基準点とが同じ位置にあるものについて、組み合わせを算出する。具体的には、音声入力装置の収音領域と音声出力装置の出力境域とが重なる音声データと音声出力装置とを組み合わせる。
【０１０７】
このように構成することにより、各端末装置は自拠点の音声入力装置または音声出力装置の設置位置に基づいて音声入力関係情報と音声出力関係情報を設定すればよいこととなる。つまり、相手先の拠点の音声入力装置または音声出力装置の設置位置を知る必要がないので設定が容易になる。
【０１０８】
[第８の実施形態]
上記第６の実施形態では、音声入力関係情報及び音声出力関係情報をテーブルにて設定することとしたが、本発明はこれに限定されない。
【０１０９】
例えば、音声入力関係情報として、音声入力装置間の関係を木構造で定義するとともに、音声出力関係情報として、音声出力装置間の関係を木構造で定義するようにしてもよい。
【０１１０】
１．音声入力関係情報及び音声出力関係情報の一例
図１２Ａ、Ｂは、図１に示すテレビ会議システムにおいて５つの音声入力装置が接続されている端末装置１０４から８つの音声出力装置が接続されている端末装置１０６に音声データが送信される場合の音声入力関係情報及び音声出力関係情報の一例である。
【０１１１】
図１２Ａは端末装置１０４から５つの音声データとともに送信される音声入力関係情報２０７であり、各音声データを生成する音声入出力装置間の関係が木構造で定義されている。この木構造の関係は、音声データの優先度を示すものでもよいし、音声データの音声入力装置の設置位置を示すものでもよいし、それらの組み合わせであってもよい。
【０１１２】
図１２Ｂは端末装置１０６の音声出力関係情報２０８であり、各音声出力装置間の関係が木構造で示されている。この木構造の関係は、音声出力装置の優先度を示すものでもよいし、音声出力装置の設置位置を示すものでもよいし、それらの組み合わせであってもよい。
【０１１３】
２．割り当て算出部における割り当ての算出処理の概要
端末装置１０６の割り当て算出部３０２では、まず、音声入力関係情報２０７と音声出力関係情報２０８の木構造をルートから重ね合わせる。そして、どちらかがリーフに到達した場合はそのリーフの音声データ（もしくは音声出力装置）とそのリーフに対応するもう一方の木構造のノードより先のリーフの音声出力装置（もしくは音声データ）とを組み合わせる。
【０１１４】
図１３は図１２Ａの音声入力関係情報と図１２Ｂの音声出力関係情報の木構造を重ね合わせた場合のイメージ図である。図１３において、音声出力関係情報のＳＰ１が音声入力関係情報よりも先にリーフに到達している。このため、そのリーフに対応する音声入力関係情報のノードより先にあるリーフのＡｕｄｉｏ１とＡｕｄｉｏ２（音声入力装置１０７、１０８）の音声データをＳＰ１（音声出力装置１２６）と組み合わせる。
【０１１５】
また、音声入力関係情報のＡｕｄｉｏ３は音声出力関係情報よりも先にリーフに到達しているので、対応するノードの先のリーフのＳＰ２とＳＰ３（音声出力装置１２７、１２８）をＡｕｄｉｏ３（音声入力装置１０９）の音声データと組み合わせる。
【０１１６】
同様に、音声入力関係情報のＡｕｄｉｏ４は音声出力関係情報よりも先にリーフに到達しているので対応するノードの先のリーフのＳＰ４とＳＰ５（音声出力装置１２９、１３０）をＡｕｄｉｏ４（音声入力装置１１０）の音声データと組み合わせる。
【０１１７】
更に、音声入力関係情報のＡｕｄｉｏ５は音声出力関係情報よりも先にリーフに到達しているので対応するノードの先のリーフのＳＰ６とＳＰ７とＳＰ８（音声出力装置１３１〜１３３）をＡｕｄｉｏ５（音声入力装置１１１）の音声データと組み合わせる。
【０１１８】
図１４は図１２Ａと図１２Ｂとから算出された音声データの音声出力装置への割り当てを示す図である。
【０１１９】
なお、音声入力関係情報及び音声出力関係情報は、ＸＭＬなどの属性を含むことができるデータ形式にて木構造を記述するようにしてもよい。
【０１２０】
３．割り当て算出部における割り当ての算出処理の詳細
図１５および図１６は割り当て算出部３０２における割り当ての算出処理を示すフローチャートである。図１５および図１６を参照しながら本実施形態における割り当ての算出処理の流れについて説明する。
【０１２１】
ステップＳ１５０１では、割り当ての算出処理を行うために木構造で表現された音声入力関係情報を読み込む。ステップＳ１５０２では、割り当ての算出処理を行うために木構造で表現された音声出力関係情報を読み込む。
【０１２２】
ステップＳ１５０３では、木構造のルートのノードに対して解析処理を実行する。なお解析処理の詳細は後述する。ステップＳ１５０４では、ステップＳ１５０３での解析処理の結果、算出された音声データと音声出力装置の組み合わせを結合して算出結果として出力する。
【０１２３】
図１６は、ステップＳ１５０３における解析処理の詳細な処理の流れを示すフローチャートである。
【０１２４】
ステップＳ１６０１では、処理対象のノードの音声出力関係情報の木構造での子ノードをリストアップする。ステップＳ１６０２では、処理対象のノードの音声入力関係情報の木構造での子ノードをリストアップする。
【０１２５】
ステップＳ１６０３では、音声出力関係情報の子ノードのリストと音声入力関係情報の子ノードのリストで共通する子ノードをリストアップする。ステップＳ１６０４では、共通する子ノードについて順次処理を行う。
【０１２６】
ステップＳ１６０５では、処理対象の子ノードは音声出力関係情報においてリーフであるか否かを判断する。ステップＳ１６０５において、処理対象の子ノードが音声出力関係情報においてリーフであると判断した場合には、ステップＳ１６１１に進む。ステップＳ１６１１では、音声入力関係情報においてその子ノードを含み、その子ノードよりも子側のツリーを解析し、音声データをリストアップする。更に、ステップＳ１６１２では、処理対象の子ノードの音声出力装置とステップＳ１６１１でリストアップした音声データとを組み合わせる。
【０１２７】
一方、ステップＳ１６０５において、子ノードが音声出力関係情報においてリーフでないと判断した場合には、ステップＳ１６０６において、処理対象の子ノードが音声入力関係情報においてリーフであるか否かを判断する。
【０１２８】
ステップＳ１６０６において、子ノードが音声入力関係情報においてリーフであると判断した場合には、ステップＳ１６０９に進む。ステップＳ１６０９では、音声出力関係情報においてその子ノードを含み、その子ノードよりも子側のツリーを解析し、音声出力装置をリストアップする。
【０１２９】
更に、ステップＳ１６１０では、処理対象の子ノードの音声データとステップＳ１６０９でリストアップした音声出力装置とを組み合わせる。
【０１３０】
一方、ステップＳ１６０６において、子ノードが音声入力関係情報においてリーフでないと判断した場合には、ステップＳ１６０７に進み、処理対象の子ノードに対して図１６の処理を再帰呼び出しして処理を行う。
【０１３１】
ステップＳ１６０８では、ステップＳ１６０３でリストアップした全ての共通子ノードについて処理を実行したかを判断する。ステップＳ１６０８において、未処理の子ノードがあると判断した場合には、ステップＳ１６０４に戻り、未処理の子ノードに対して処理を実行する。
【０１３２】
一方、全ての共通子ノードについて処理を実行したと判断した場合には、処理を終了する。
【０１３３】
以上の説明から明らかなように、本実施形態によれば、相手先の拠点の装置構成を意識することなく自拠点の音声入力装置または音声出力装置についてのみ考慮して音声入力関係情報または音声出力関係情報を設定すればよいこととなる。
【０１３４】
[第９の実施形態]
上記第８の実施形態では、送信側の端末装置と受信側の端末装置とがそれぞれ１台の場合について説明したが、本発明はこれに限定されない。例えば、送信側の端末装置が複数で、受信側の端末装置が１台であってもよい。
【０１３５】
具体的には、図１に示すテレビ会議システムにおいて、端末装置１０４から５つの音声データが送信され、端末装置１０５から１つの音声データが送信された場合の、端末装置１０６における処理内容について説明する。
【０１３６】
なお、端末装置１０４から送信される音声入力関係情報２０７は図１２Ａに示すとおりであり、端末装置１０５から送信される音声入力関係情報２０７は図１７Ａに示すとおりであるとする。また、端末装置１０６が記憶している音声出力関係情報２０８は図１２Ｂに示すとおりであるとする。
【０１３７】
端末装置１０６の割り当て算出部３０２では、受信したそれぞれの音声入力関係情報に含まれる音声データの識別子を一意に区別できるようにし、受信した全ての音声入力関係情報を新たなノードを追加するなどして一つの木構造に合成する。
【０１３８】
図１７Ｂは、図１２Ａと図１７Ａのそれぞれのルートをつなげて一つの木構造にした様子を示す図である。一つに合成する方法は、ルート同士をつなげても良いし、ある木構造の途中にノードを追加して別の木構造のルートをそのノードに追加するようにしてもよい。
【０１３９】
端末装置１０６の割り当て算出部３０２では、まず、合成した音声入力関係情報と音声出力関係情報２０８の木構造をルートから重ね合わせる。そして、どちらかがリーフに到達した場合は、そのリーフの音声データ（もしくは音声出力装置）とそのリーフに対応するもう一方の木構造のノードより先のリーフの音声出力装置（もしくは音声データ）とを組み合わせる。
【０１４０】
図１７Ｃは図１７Ｂに示す合成した音声入力関係情報と図１２Ｂに示す音声出力関係情報の木構造とを重ね合わせた場合のイメージ図である。端末装置１０５から送信されたＡｕｄｉｏ１（音声入力装置１１５）の音声データとＳＰ１（音声出力装置１２６）はともにリーフに到達しているので組み合わせる。
【０１４１】
同様に、端末装置１０４のＡｕｄｉｏ１（音声入力装置１０７）の音声データとＳＰ２（音声出力装置１２７）とを組み合わせる。また、端末装置１０４のＡｕｄｉｏ２（音声入力装置１０８）の音声データとＳＰ３（音声出力装置１２８）とを組み合わせる。また、端末装置１０４のＡｕｄｉｏ４（音声入力装置１１０）の音声データとＳＰ６（音声出力装置１３１）とを組み合わせる。
【０１４２】
また、音声データを生成したＡｕｄｉｏ３が先にリーフに到達しているので対応するノードの先のリーフのＳＰ４及びＳＰ５（音声出力装置１２９、１３０）と、Ａｕｄｉｏ３（音声入力装置１０９）の音声データとを組み合わせる。同様にＡｕｄｉｏ５が先にリーフに到達しているので、対応するノードの先のリーフのＳＰ７及びＳＰ８（音声出力装置１３２、１３３）と、Ａｕｄｉｏ５（音声入力装置１１１）の音声データとを組み合わせる。
【０１４３】
図１７Ｄは、音声入力関係情報の図１２Ａ及び図１７Ａと、音声出力関係情報の図１２Ｂとに基づいて算出された、音声データの音声出力装置への割り当てを示す図である。
【０１４４】
このように構成することにより、送信側の端末装置が複数で、受信側の端末装置が１台であっても、割り当てを算出することができる。
【０１４５】
[第１０の実施形態]
上記各実施形態では、端末装置に、音声入力装置及び音声出力装置が直接接続されている場合について説明したが、本発明はこれに限定されない。
【０１４６】
例えば、端末装置が、ネットワークに接続された別の機器（パソコンやネットワークカメラやテレビなど）に内蔵もしくは接続されているマイクやスピーカを音声入力装置または音声出力装置として利用するようにしてもよい。
【０１４７】
この場合、記憶部２０４は、音声入力装置の識別子と、音声入力装置として使用するマイクが接続されている機器のアドレスと、その機器から音声データを取得するためのプロトコル（Ｈ３２３やＳＩＰやＨＴＴＰや独自プロトコルなど）を記憶しておく。また、必要に応じて音声データのコーデック（Ｇ７１１やｇｓｍやｕｌａｗやＭＰ３など）を記憶しておく。
【０１４８】
そして、端末装置が音声データを得るにあたっては、処理部２０６は該当する機器のアドレスとプロトコルとコーデックの情報を記憶部２０４から取得する。更に、通信部２０５を介してその機器に対して、所定のプロトコルにて音声を含むデータを送信するよう要求し、取得したデータからプロトコルとコーデックについてデコード処理をして音声データを取得する。
【０１４９】
一方、端末装置が音声データを出力するにあたっては、機器のアドレスとプロトコルとコーデックの情報を記憶部２０４から取得する。そして、音声データをコーデックの情報でエンコードし、所定のプロトコルに変換して、該当する機器のアドレスに通信部２０５を介して送信する。
【０１５０】
このように構成することにより、ネットワークを介して音声入力装置と音声出力装置を使用することが可能となる。
【０１５１】
[第１１の実施形態]
上記各実施形態では、割り当ての算出結果の表示方法については特に言及しなかったが、本発明にかかる端末装置は、割り当て算出部３０２における割り当ての算出処理の結果を、表示する機能を有していてもよい。
【０１５２】
また、上記各実施形態では、音声入力関係情報及び音声出力関係情報の設定方法については特に言及しなかったが、本発明にかかる端末装置は、所定のユーザインタフェースを介して設定を行うことができるように構成されていてもよい。
【０１５３】
図１８は上記第６の実施形態で説明をした音声入力関係情報と音声出力関係情報に基づいて、割り当てを算出した場合の算出結果の表示例を示す図である。１８０１はディスプレイやダイアログやウィンドウなどの表示領域である。
【０１５４】
１８０２と１８０３は組み合わせとなった集合を表示する領域である。１８０４から１８０８までの５つの領域は優先度を示している。１８０９から１８１３は音声データを示すアイコンであり、１８１４から１８２１は音声出力装置を示すアイコンである。
【０１５５】
図１８の例では、Ａｕｄｉｏ１とＡｕｄｉｏ２の音声データがＳＰ１とＳＰ２とＳＰ３の音声出力装置から再生されることを示している。また、Ａｕｄｉｏ３とＡｕｄｉｏ４の音声データがＳＰ４とＳＰ５とＳＰ６とＳＰ７とＳＰ８から再生され、Ａｕｄｉｏ５の音声データは再生されないことを示している。
【０１５６】
本実施形態にかかる端末装置では、ＳＰ８のアイコンを優先度５のところに移動すると、ＳＰ８はＡｕｄｉｏ４の音声データからＡｕｄｉｏ５の音声データに再生が切り替えられるとともに、音声出力関係情報もＳＰ５の優先度が５に変更される。
【０１５７】
なお、図１８において、１８０２と１８０３の組み合わせ領域の表示がなく、１８１４から１８２１の音声出力装置のアイコンの表示がない状態が、音声入力関係情報２０７の表示例となる。この場合、１８０９から１８１３の音声データのアイコンを移動することで音声入力関係情報を変更することができる。
【０１５８】
また図１８において、１８０２と１８０３の組み合わせ領域の表示がなく、１８０９から１８１３の音声データのアイコンの表示がない状態が、音声出力関係情報２０８の表示例となる。この場合、１８１４から１８２１の音声出力装置のアイコンを移動することで音声出力関係情報を変更することができる。
【０１５９】
図１９は、上記第８の実施形態で説明をした音声入力関係情報と音声出力関係情報が木構造で定義されている場合において、割り当てを算出した場合の算出結果の表示例を示す図である。１９０１はディスプレイやダイアログやウィンドウなどの表示領域である。
【０１６０】
１９０２は音声入力関係情報と音声出力関係情報として規定された木構造を重ね合わせた木構造の表示である。１９０３から１９０７までは音声データを示すアイコンである。１９０８から１９１５までは音声出力装置を示すアイコンである。
【０１６１】
図１９の例では、Ａｕｄｉｏ１とＡｕｄｉｏ２の音声データがミキシングされＳＰ１の音声出力装置から再生される。Ａｕｄｉｏ３の音声データはＳＰ２とＳＰ３の音声出力装置に分配されて再生される。Ａｕｄｉｏ４の音声データはＳＰ４とＳＰ５の音声出力装置に分配されて再生される。Ａｕｄｉｏ５の音声データはＳＰ６とＳＰ７とＳＰ８の音声出力装置に分配されて再生される。
【０１６２】
本実施形態にかかる端末装置では、音声データのアイコンもしくは音声出力装置のアイコンもしくは木構造のノードを移動させることで、音声データの音声出力装置への割り当てを変更することができる。
【０１６３】
なお、上記第９の実施形態で説明をした複数の端末装置と接続をしている場合においても、割り当ての算出結果が木構造と音声出力装置のアイコンと音声データのアイコンで表示されるものとする。また、音声出力装置のアイコンと木構造のノードとを移動することで、あるいは各拠点の木構造のルートを移動することによって割り当てを変更することができるものとする。
【０１６４】
なお、図１９において、１９０８から１９１５の音声出力装置のアイコンの表示がない状態が、音声入力関係情報２０７の表示例となる。この場合、１９０３から１９０７の音声データのアイコンを移動することで音声入力関係情報を変更することができる。
【０１６５】
また図１９において、１９０３から１９０７の音声データのアイコンの表示がない状態が、音声出力関係情報２０８の表示例となる。この場合、１９０８から１９１５の音声出力装置のアイコンを移動することで音声出力関係情報を変更することができる。
【０１６６】
以上のように表示することにより、利用者は音声データの音声出力装置への割り当ての算出結果が分かりやすくなるだけでなく、割り当ての変更も容易になる。また音声入力関係情報と音声出力関係情報の設定がしやすくなる。
【０１６７】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１６８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶したコンピュータ読取可能な記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１６９】
プログラムコードを供給するための記録媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１７０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１７１】
さらに、記録媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。
【図面の簡単な説明】
【０１７２】
【図１】本発明の第１の実施形態にかかる情報処理装置（端末装置１０４〜１０６）がネットワーク１３４を介して３つの拠点１０１〜１０３を接続した情報処理システムを用いることにより構築したテレビ会議システムの全体構成図である。
【図２】端末装置１０４〜１０６の機能構成図である。
【図３】処理部２０６で実現される機能を示した機能構成の一例を示す図である。
【図４】割り当て算出部３０２における算出結果の一例を示す図である。
【図５】端末装置１０４〜１０６の処理部２０６において実行される再生処理の流れを示すフローチャートである。
【図６】音声出力関係情報２０８の一例を示す図である。
【図７】割り当て算出部３０２が実行する割り当ての算出処理の流れを示すフローチャートである。
【図８】受信側の端末装置において実行される、音声データの音声出力装置への割り当ての算出処理と音声データの再生処理の流れを示すフローチャートである。
【図９Ａ】音声入力関係情報２０７の一例を示す図である。
【図９Ｂ】音声出力関係情報２０８の一例を示す図である。
【図１０】割り当て算出部３０２における割り当ての算出処理の流れを示すフローチャートである。
【図１１】図９Ａと図９Ｂとから割り当てが算出された音声データと音声出力装置の組み合わせの一例である。
【図１２Ａ】音声入力関係情報２０７の一例を示す図である。
【図１２Ｂ】音声出力関係情報２０８の一例を示す図である。
【図１３】図１２Ａの音声入力関係情報と図１２Ｂの音声出力関係情報の木構造を重ね合わせた場合のイメージ図である。
【図１４】図１２Ａと図１２Ｂとから算出された音声データの音声出力装置への割り当てを示す図である。
【図１５】割り当て算出部３０２における割り当ての算出処理を示すフローチャートである。
【図１６】割り当て算出部３０２における割り当ての算出処理を示すフローチャートである。
【図１７Ａ】音声入力関係情報の一例を示す図である。
【図１７Ｂ】図１２Ａと図１７Ａのそれぞれのルートをつなげて一つの木構造にした様子を示す図である。
【図１７Ｃ】図１７Ｂに示す合成した音声入力関係情報と図１２Ｂに示す音声出力関係情報の木構造とを重ね合わせた場合のイメージ図である。
【図１７Ｄ】音声入力関係情報の図１２Ａ及び図１７Ａと、音声出力関係情報の図１２Ｂとに基づいて算出された、音声データの音声出力装置への割り当てを示す図である。
【図１８】算出結果の表示例を示す図である。
【図１９】算出結果の表示例を示す図である。
【図１】
0004871898.tif 000002
【図２】
0004871898.tif 000003
【図３】
0004871898.tif 000004
【図４】
0004871898.tif 000005
【図５】
0004871898.tif 000006
【図６】
0004871898.tif 000007
【図７】
0004871898.tif 000008
【図８】
0004871898.tif 000009
【図９Ａ】
0004871898.tif 000010
【図９Ｂ】
0004871898.tif 000011
【図１０】
0004871898.tif 000012
【図１１】
0004871898.tif 000013
【図１２Ａ】
0004871898.tif 000014
【図１２Ｂ】
0004871898.tif 000015
【図１３】
0004871898.tif 000016
【図１４】
0004871898.tif 000017
【図１５】
0004871898.tif 000018
【図１６】
0004871898.tif 000019
【図１７Ａ】
0004871898.tif 000020
【図１７Ｂ】
0004871898.tif 000021
【図１７Ｃ】
0004871898.tif 000022
【図１７Ｄ】
0004871898.tif 000023
【図１８】
0004871898.tif 000024
【図１９】
0004871898.tif 000025