(57)【要約】【課題】多者間通信に参加する通信装置が増加しても通信帯域を圧迫することがなく、通信装置の高機能化・高価格化を抑制し、多者間通信サービスを提供する事業者との事前契約を不要とすることができる通信装置および通信システムを提供する。【解決手段】他の通信装置から受信した音声データと自通信装置の生成する音声データとを合成して新たな一つの音声データを生成する音声データ合成部１８と、音声データ合成部１８により合成された音声データを音声パケットとして構成するＣＰＵ１０とを備えている。【選択図】  図１
2004241934.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して接続された複数の通信装置の間でパケット化された音声データの通信を行う通信システムに用いられる通信装置であって、
他の通信装置から受信した音声データと自通信装置の生成する音声データとを合成して新たな一つの音声データを生成する音声データ合成手段と、
上記音声データ合成手段により合成された音声データを音声パケットとして構成する音声パケット構成手段とを備えていることを特徴とする通信装置。
【請求項２】
ネットワークを介して接続された複数の通信装置の間でパケット化された音声データの通信を行う通信システムに用いられる通信装置であって、
他の通信装置から受信した音声データの音量と、自通信装置の生成する音声データの音量との大小を判定する音量判定手段と、
上記音量判定手段の判定結果に基づき、上記受信した音声データと上記自通信装置の生成する音声データとから新たな一つの音声データを生成し、該データを音声パケットとして構成する音声パケット構成手段とを備えていることを特徴とする通信装置。
【請求項３】
ネットワークを介して接続された複数の通信装置の間でパケット化された音声データおよび映像データの通信を行う通信システムに用いられる通信装置であって、
他の通信装置から受信した音声データの音量と、自通信装置の生成する音声データの音量との大小を判定する音量判定手段と、
上記音量判定手段の判定結果に基づき、上記受信した音声データに対応する映像データと上記自通信装置の生成する映像データとから新たな一つの映像データを生成し、該データを映像パケットとして構成する映像パケット構成手段とを備えていることを特徴とする通信装置。
【請求項４】
第１の映像コーデック方式に基づいて映像データの圧縮を行う符号化手段と、
第１の映像コーデック方式とは異なる第２の映像コーデック方式に基づいて映像データの復号化を行う復号化手段とを備えていることを特徴とする請求項３に記載の通信装置。
【請求項５】
第１の音声コーデック方式に基づいて音声データの圧縮を行う符号化手段と、
第１の音声コーデック方式とは異なる第２の音声コーデック方式に基づいて音声データの復号化を行う復号化手段とを備えていることを特徴とする請求項１ないし４のいずれか１項に記載の通信装置。
【請求項６】
請求項１ないし５のいずれか１項に記載の通信装置を備えていることを特徴とする通信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の通信装置を用いることにより多人数の間における音声および映像を含む情報の通信を実現するシステムにおいて、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）化された音声パケット、映像パケットが増加することを抑制するパケット通信方式およびパケット通信装置に関する。特に、特定の複数人通信サービスを提供する中央制御装置に依存しない、音声、映像等の通信データのパケット通信方式、パケット通信装置に関する。
【０００２】
【従来の技術】
従来、複数人の間において同時に通信（通話）を可能とするシステムが提案されていた。
【０００３】
たとえば、図１４に、ネットワーク提供会社により提供される、複数の通信装置の間における多者間通信システムの概要を示す。図１４に示すように、該システムは、センター内の中央制御装置が各通信装置との間の通信回線を確立する構成である。通信回線としては、たとえばアナログ電話回線を用いることができる。以下、通信回線がアナログ電話回線であるものとして、上記システムの構成を具体的に説明する。
【０００４】
中央制御装置は、各通信装置からアナログ電話回線を介して送信される通話音声を合成し、合成された通話音声を、各通信装置に送信する。
【０００５】
たとえば、通信装置Ｋに対し、中央制御装置は、通信装置Ｋ以外の他の通信装置からの音声を合成し、アナログ電話回線を経由して通信装置Ｋに送信する。一方、通信装置Ｋは、このように送信された合成音声を、通信装置Ｋ内に設けられたスピーカＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）に出力する。ユーザは、このようにスピーカＩ／Ｆから出力される合成音声により、複数の通話者の音声を同時に聞くことができる。
【０００６】
上記構成の多者間通信システムは、特開２００２−２７１４３号公報に記載されているように、ネットワークセンター側のシステムに依存しているので、多者間通信に参加するためには、あらかじめサービス提供会社に多者間通信サービスの利用者登録を行うことが必要である。すなわち、従来の多者間通信システムでは、登録されたメンバーの間でしか、多者間通信を行うことができなかった。
【０００７】
特開２００２−２７１４３号公報ではこの問題を解決する方法として、各通信装置において複数の回線モジュールを構築することにより、中央制御装置を介さずに複数の通信装置間に直接回線を確立する方法を開示している。
【０００８】
該方法では、アナログ回線での通信の際、自通信装置に中央制御装置の役割を代行させることも可能である。また、ＩＰネットワークにおいては、回線モジュールは１つでもよい。また、該方法では、ＶｏＩＰ（Ｖｏｉｃｅ  ｏｖｅｒ  ＩＰ）技術によりＩＰ化された複数の人の音声がパケットにより相互に送受信されることにより、複数人の通信が可能とされている。
【０００９】
さらに、中央制御装置による従来の多者間通信サービスでは実現できなかった、各話者から受信する音声の音量を判別することにより話者を特定し、誰が話者であるかを容易に判別できる方式の発明が記載されている。
【００１０】
しかし、上述のＩＰネットワークは、複数の通信装置が相互に音声パケットを送受信する構成であるので、Ｎ人の通信装置が同時に会話に参加している場合、Ｎ×（Ｎ−１）のデータがネットワーク上を流れることとなる。
【００１１】
このとき、音声パケットの宛先アドレスは、自通信装置以外のすべての端末のアドレスとなり、音声パケットの発信元アドレスは、自通信装置のアドレスとなる。すなわち、自通信装置から送信するＮ−１ケのパケットの宛先アドレスは、すべて異なっていることになる。
【００１２】
上述したネットワーク上を送受信される音声パケットの流れについて、図１５を参照しつつ説明する。
【００１３】
図１５に示すように、通信装置Ａ１は、通信装置Ｂ１、通信装置Ｃ１および通信装置Ｄ１に対して音声パケットを送信する。同様に、通信装置Ｂ１は、通信装置Ａ１、通信装置Ｃ１および通信装置Ｄ１に対して、通信装置Ｃ１は、通信装置Ａ１、通信装置Ｂ１および通信装置Ｄ１に対して、通信装置Ｄ１は、通信装置Ａ１、通信装置Ｂ１および通信装置Ｃ１に対し、音声パケットを送信する。すなわち、ネットワーク上にて送受信される音声パケットの総数は１２ケとなる。
【００１４】
なお、通信装置Ａ１、通信装置Ｂ１、通信装置Ｃ１、および通信装置Ｄ１は、自通信装置以外の３つの通信装置に並行して音声パケットを送信する機能、３つの通信装置からの音声パケットに含まれる音声データを各通信装置間で取りきめたコーデック方式に基づき復号化する機能、または音声パケットに含まれる音声データを合成する機能を有している。
【００１５】
また、多地点接続サーバを用いて複数の通信装置を接続する方式では、図１６に示すように、会議に参加している各通信装置は、多地点接続サーバに対し音声データを送信する。一方、多地点接続サーバは、会議に参加している各通信装置の音声データを合成し、合成された一つの音声データを各通信装置に送信する。当該方式では、会議の参加者Ｎ人に対し、２×Ｎケの音声パケットが流れることとなる。
【００１６】
図１６の通信方式においては、各通信装置が送信する音声パケットの宛先アドレスは、多地点接続サーバのアドレスとなり、多地点接続サーバから送信する音声パケットの宛先アドレスは、Ｎ台の通信装置のアドレスとなる。
【００１７】
また、各通信装置におけるデータ処理は、多地点接続サーバと１対１で通信する場合における処理と変わらない。しかしながら、圧縮された受信音声データの復号処理または合成処理、あるいは通信装置に送信するための圧縮処理など、多者間通信に参加する通信装置が増えるに伴いデータ処理の負担が増大し、多地点接続サーバの負荷が増える。これにより、音声データの通信遅延が増大する場合がある。また、別の専用装置を設けると、コストが増大し、システムの柔軟性が失われるという問題を招来する。
【００１８】
また、上述の通信方式以外に、Ｎ台の通信装置が会議に参加している場合に、各通信装置からの音声を合成せずに多者間通信を行う方式も存在する。たとえば、通信装置ｍ以外のＮ−１台の通信装置（通信装置１〜通信装置ｍ−１、通信装置ｍ＋１〜通信装置Ｎ）のユーザが発するすべての音声を、多地点接続サーバが通信装置ｍに送信する方式である。
【００１９】
当該方式では、多地点接続サーバは音声を合成する必要はない。しかし、各通信装置は、Ｎ−１台の通信装置からの音声パケットを受信する必要がある。また、通信装置ｍは、自装置以外のＮ−１ケの音声パケットを合成する必要がある。したがって、高機能の通信装置が必要となり、コストが増大してしまう。
【００２０】
また、各通信装置から送話者を指定するメッセージを中央制御装置に送る一方で、指定された人の通信装置が音声データを中央制御装置に送信し、中央制御装置がその音声データを各通信装置に送信する多者間通信方法もある。この方式において、中央制御装置は、通信装置と同様に、機器構成を簡単に実現できる。しかしながら、送話者をその都度指定するのは煩雑な作業である。
【００２１】
特開平１１−２６１６３７号公報では、上記課題の解決手段として、同様に多地点接続サーバを用いる方法で、図１６と同様のシステム構成を有する多地点接続会議システムが開示されている。すなわち、該方法は、クライアントで自通信装置のマイクからの音量を計測し、その音量が一定値以下ならば中央制御装置に音声パケットを送信しない構成である。さらに、中央制御装置でクライアントの負荷状態を計測し、次回の処理実行時のクライアントの負荷を予測する。
【００２２】
そして、クライアントの予測された処理状態値が、ある一定値以下なら中央制御装置からクライアントへ音声パケットを送り、一定値以上ならばパケットを一部転送せず、残りを転送する。これにより、クライアントでは、中央制御装置から受信した複数の音声パケットを復号化し、複数のアナログ音声データを、一つのアナログ音声データに合成してスピーカ部に出力する。このように、クライアントの時々の負荷状態を計測することで中央制御装置がクライアントへの音声パケットの量を調整する方法が述べられている。
【００２３】
上述のように、センター局にあるＶｏＩＰ技術を用いる中央制御装置を使用し、音声、映像を含めた複数人による多者間通信を実現する方法は既存の技術として提案されている。しかしながら、上記の既存技術は、複数通信を提供するサービスに登録した人しか通信に参加できず、また、そのための通信者に対する費用の負担が発生するという問題を有している。
【００２４】
このような問題を解決すべく、中央制御装置を使用しないで複数の人による音声、映像を含めた多者間通信が実現することが検討されていた。
【００２５】
【特許文献１】
特開２００２−２７１４３号公報（公開日２００２年１月２５日）
【００２６】
【特許文献２】
特開平１１−２６１６３７号公報（公開日１９９９年９月２４日）
【００２７】
【発明が解決しようとする課題】
しかしながら、図１５を用いて４者間での多者間通信を例示したように、各通信装置の間で相互に音声データを送受信すると、多者間通信に参加する人が増えるほど、各通信装置は自分以外の全ての通信装置に対し、自分の音声パケットを送信することが必要である。
【００２８】
また、多者間通信において、現在誰が話者となっているかは事前に決められないため、話者の音声を自通信装置で聞くためには、自通信装置以外のすべての通信装置からの音声データを受信するとともに、それらの音声データを一つに合成し、さらに自通信装置のスピーカに出力する必要がある。このような機能を実現する通信装置は高機能、高価なものとなってしまう。
【００２９】
また、上述のようにＮ人の多者間通信においては、ネットワーク上を送受信される全体のパケットの量はＮ×（Ｎ−１）ケとなる。また、その通信に参加するすべての通信装置は、（Ｎ−１）ケの受信パケット、および（Ｎ−１）ケの送信パケット、すなわち２（Ｎ−１）ケのパケットを処理する必要がある。このように増大された音声データが、各通信装置からインターネットを構成するＩＳＰ（インターネットサービスプロバイダー）への帯域の多くを占めてしまうので、通信参加者の数によっては音声データを中心とする通信データのロスが多数発生し、通信自体が成立しない可能性もある。
【００３０】
これを避けるために、多地点接続サーバと同様の中央制御装置を設けて多者間通信を実現する方式もある。しかしながらこの方式では、事前に通信参加者が多者間通信サービスを提供する事業者とサービス契約を結ぶことが必要となり、この契約を結んだユーザしか多者間通信に参加できないという問題があった。
【００３１】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、多者間通信に参加する通信装置が増加しても通信帯域を圧迫することがなく、通信装置の高機能化・高価格化を抑制し、多者間通信サービスを提供する事業者との事前契約を不要とすることができる通信装置および通信システムを提供することにある。
【００３２】
【課題を解決するための手段】
本発明の通信装置は、上記課題を解決するために、ネットワークを介して接続された複数の通信装置の間でパケット化された音声データの通信を行う通信システムに用いられる通信装置であって、上記通信装置は、他の通信装置から受信した音声データと自通信装置の生成する音声データとを合成して新たな一つの音声データを生成する音声データ合成手段と、上記音声データ合成手段により合成された音声データを音声パケットとして構成する音声パケット構成手段とを備えていることを特徴としている。
【００３３】
上記構成によれば、音声パケット構成手段により、他の通信装置から受信した音声データと自通信装置の生成する音声データとを合成した一つの音声データを音声パケットとして構成し、他の通信装置に送信することができる。したがって、本発明の通信装置は、音声データ合成手段と音声パケット構成手段とにより、該通信装置にて受信される複数の音声データから、一つの音声データのみを他の通信装置に送信することが可能である。
【００３４】
したがって、現在多者間通信を行っている複数の通信装置と、新規に多者間通信に参加する通信装置とを、本発明の通信装置により中継すれば、新規に多者間通信に参加する通話装置は、本発明の通信装置から、現在多者間通信を行っているユーザの音声データが合成された音声データを受信することができる。すなわち、新規に多者間通信に参加する通信装置と、現在多者間通信を行っている複数の通信装置のそれぞれとの間において音声パケットの送受信を行わなくても、多者間通信を実現することができる。
【００３５】
よって、本発明の通信装置によれば、多者間通信に参加する通信装置の増加に伴う音声パケットの増加を抑えることができる。それゆえ、多者間通信を行うことによる通信帯域への圧迫を抑制することができる。
【００３６】
また、新規に多者間通信に参加する通信装置は、多者間通信を行っているすべての通信装置との通信機能を備えていなくても、本発明の通信装置との通信を行いさえすれば多者間通信を実現できる。したがって、新規に多者間通信に参加する通信装置の高機能化、高価格化を抑制できる。さらに、従来必要であった多者間通信サービスを提供する事業者との事前契約を不要とすることができる。
【００３７】
また、本発明の通信装置は、上記課題を解決するために、ネットワークを介して接続された複数の通信装置の間でパケット化された音声データの通信を行う通信システムに用いられる通信装置であって、他の通信装置から受信した音声データの音量と、自通信装置の生成する音声データの音量との大小を判定する音量判定手段と、上記音量判定手段の判定結果に基づき、上記受信した音声データと上記自通信装置の生成する音声データとから新たな一つの音声データを生成し、該データを音声パケットとして構成する音声パケット構成手段とを備えていることを特徴としている。
【００３８】
上記構成によれば、音量判定手段により、他の通信装置から受信した音声データの音量と自通信装置の生成する音声データとのいずれが大きいかを判定することができる。すなわち、音量判定手段により、現在の多者間通信において、主導的に会話しているユーザの音声データを判定することができる。
【００３９】
さらに、音声パケット構成手段により、大きいほうの音声データを音声パケットとして構成し、他の通信装置に送信することができる。すなわち、本発明の通信装置は、音声パケット構成手段により、主導的に会話しているユーザの音声データのみをパケット化して他の通信装置へ送信することができる。
【００４０】
このように、本発明の通信装置は、音量判定手段と音声パケット構成手段とにより、該通信装置にて受信される複数の音声データから、主導的に会話しているユーザの音声データのみを音量比較により抽出し、他の通信装置に送信することが可能である。
【００４１】
したがって、現在多者間通信を行っている複数の通信装置と、新規に多者間通信に参加する通信装置とを、本発明の通信装置により中継すれば、新規に多者間通信に参加する通話装置は、本発明の通信装置から、現在の通信において主導的に会話しているユーザの音声を受信することができる。すなわち、新規に多者間通信に参加する通信装置と、現在多者間通信を行っている複数の通信装置のそれぞれとの間において音声パケットの送受信を行わなくても、多者間通信を実現することができる。
【００４２】
よって、本発明の通信装置は、多者間通信に参加する通信装置の増加に伴う音声パケットの増加を抑えることができる。さらに、本発明の通信装置は、音量判定手段と音声パケット構成手段とにより、主導的に会話しているユーザの音声データのみを音量比較により抽出するので、主導的に会話しているユーザ以外のユーザのひそひそ声やバックグラウンドノイズをカットすることができる。それゆえ、本発明の通信装置によれば、多者間通信を行うことによる通信帯域への圧迫を抑制することができる。
【００４３】
また、新規に多者間通信に参加する通信装置は、多者間通信を行っているすべての通信装置との通信機能を備えていなくても、本発明の通信装置との通信を行いさえすれば多者間通信を実現できる。したがって、新規に多者間通信に参加する通信装置の高機能化、高価格化を抑制できる。さらに、従来必要であった多者間通信サービスを提供する事業者との事前契約を不要とすることができる。
【００４４】
また、本発明の通信装置は、上記課題を解決するために、ネットワークを介して接続された複数の通信装置の間でパケット化された音声データおよび映像データの通信を行う通信システムに用いられる通信装置であって、他の通信装置から受信した音声データの音量と、自通信装置の生成する音声データの音量との大小を判定する音量判定手段と、上記音量判定手段の判定結果に基づき、上記受信した音声データに対応する映像データと上記自通信装置の生成する映像データとから新たな一つの映像データを生成し、該データを映像パケットとして構成する映像パケット構成手段とを備えていることを特徴としている。
【００４５】
上記構成によれば、音量判定手段により、他の通信装置から受信した音声データの音量と自通信装置の生成する音声データとのいずれが大きいかを判定することができる。すなわち、音量判定手段により、現在の多者間通信において、主導的に会話しているユーザの音声データを判定することができる。
【００４６】
さらに、映像パケット構成手段により、大きいほうの音声データに対応する映像データを映像パケットとして構成し、他の通信装置に送信することができる。すなわち、本発明の通信装置は、映像パケット構成手段により、主導的に会話しているユーザの映像データのみをパケット化して他の通信装置へ送信することができる。
【００４７】
このように、本発明の通信装置は、音量判定手段と映像パケット構成手段とにより、該通信装置にて受信される複数の映像データから、主導的に会話しているユーザの映像データのみを音量比較により抽出し、他の通信装置に送信することが可能である。
【００４８】
したがって、現在多者間通信を行っている複数の通信装置と、新規に多者間通信に参加する通信装置とを、本発明の通信装置により中継すれば、新規に多者間通信に参加する通話装置は、本発明の通信装置から、現在の通信において主導的に会話しているユーザの映像を受信することができる。すなわち、新規に多者間通信に参加する通信装置と、現在多者間通信を行っている複数の通信装置のそれぞれとの間において映像パケットの送受信を行わなくても、多者間通信を実現することができる。
【００４９】
よって、本発明の通信装置は、多者間通信に参加する通信装置の増加に伴う映像パケットの増加を抑えることができる。それゆえ、本発明の通信装置によれば、多者間通信を行うことによる通信帯域への圧迫を抑制することができる。
【００５０】
また、新規に多者間通信に参加する通信装置は、多者間通信を行っているすべての通信装置との通信機能を備えていなくても、本発明の通信装置との通信を行いさえすれば多者間通信を実現できる。したがって、新規に多者間通信に参加する通信装置の高機能化、高価格化を抑制できる。さらに、従来必要であった多者間通信サービスを提供する事業者との事前契約を不要とすることができる。
【００５１】
また、本発明の通信装置は、上記課題を解決するために、上記構成の通信装置において、第１の映像コーデック方式に基づいて映像データの圧縮を行う符号化手段と、第１の映像コーデック方式とは異なる第２の映像コーデック方式に基づいて映像データの復号化を行う復号化手段とを備えていることを特徴としている。
【００５２】
上記構成によれば、本発明の通信装置は、復号化手段を用いて第２の映像コーデック方式により圧縮された映像データを復号化し、その復号化された映像データを符号化手段により第１の映像コーデック方式に基づいて圧縮することができる。すなわち、本発明の通信装置によれば、映像データのコーデック方式を変換することができる。
【００５３】
したがって、本発明の通信装置を、多者間通信において共通の映像コーデック方式をもたない通信装置の間に配置することにより、コーデック方式の異なる通信装置間での映像データの通信を可能とすることができる。
【００５４】
また、本発明の通信装置は、上記課題を解決するために、上記構成の通信装置において、第１の音声コーデック方式に基づいて音声データの圧縮を行う符号化手段と、第１の音声コーデック方式とは異なる第２の音声コーデック方式に基づいて音声データの復号化を行う復号化手段とを備えていることを特徴としている。
【００５５】
上記構成によれば、本発明の通信装置は、復号化手段を用いて第２の音声コーデック方式により圧縮された音声データを復号化し、その復号化された音声データを符号化手段により第１の音声コーデック方式に基づいて圧縮することができる。すなわち、本発明の通信装置によれば、音声データのコーデック方式を変換することができる。
【００５６】
したがって、本発明の通信装置を、多者間通信において共通の音声コーデック方式をもたない通信装置の間に配置することにより、コーデック方式の異なる通信装置間での音声データの通信を可能とすることができる。
【００５７】
また、本発明の通信システムは、上記構成のいずれかの通信装置を備えていることを特徴としている。
【００５８】
上記構成の通信システムによれば、上記構成の通信装置と同様の作用効果を得ることができる。
【００５９】
【発明の実施の形態】
本発明の実施の一形態について添付する図面に基づいて説明すれば、以下の通りである。
【００６０】
図２に示すように、本実施の形態の通信システムに用いる通信装置１は、マイク２と、スピーカ３と、操作部４と、制御部５と、表示部６と、映像カメラ入力部７とを備えている。
【００６１】
制御部５は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；音声パケット構成手段、映像パケット構成手段）１０と、プログラムを格納するＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１と、ＣＰＵ１０の動作時におけるワークエリアを構成する一方で送受信する音声パケットを一次蓄積しＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ，  Ｆｉｒｓｔ  Ｏｕｔ）を構成するＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２と、インターネット等に接続するためのＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）  Ｉ／Ｆ部１３と、マイク２から入力したアナログ音声をデジタルデータに変換するＡ／Ｄ変換部１４と、その音声デジタルデータおよび映像カメラ入力部７からカメラＩ／Ｆ部２０を経由して入力した映像データを圧縮する符号化部（符号化手段）１５と、インターネットからＷＡＮ  Ｉ／Ｆ部１３を介してＶｏＩＰ方式で受信した圧縮された音声データ、または圧縮された映像データを復元する復号化部（復号化手段）１６と、その音声デジタルデータをアナログデータに変換しスピーカ３に出力するＤ／Ａ変換部１７と、映像データを表示部６に表示する表示制御部１９と、複数の音声データの音量を比較する音量判定部（音量判定手段）２１と、複数の音声データを合成する音声データ合成部（音声データ合成手段）１８とを備えている。
【００６２】
なお、映像データを通信しない場合、通信装置１は、表示部６または映像カメラ入力部７を備えていなくてもよい。一方、制御部５においては、符号化部１５および復号化部１６に映像処理機能を担保させることは不要になる。さらに、表示制御部１９またはカメラＩ／Ｆ部２０はなくてもよい。
【００６３】
また、音声データの圧縮を行わない場合、符号化部１５、復号化部１６はなくてもよい。社内ＬＡＮに使用する場合にはＷＡＮ  Ｉ／Ｆ部１３はＥｔｈｅｒｎｅｔ（登録商標）などの通信方式になる場合もある。
【００６４】
次に、音量判定部２１および音声データ合成部１８について説明する。なお、以下では、ＣＰＵ１０と、音量判定部２１と、音声データ合成部１８とで取り扱う圧縮されていない元音声データは、マイク２から入力されるアナログ値である音声が、Ａ／Ｄ変換部１４によりサンプリング周期Ｔｓにて離散的に電圧値が測定されデジタル値に変換された後のものとする。
【００６５】
このデジタル化された後の元音声データは、所定の時間幅Ｔｗの期間にサンプリング周期Ｔｓで区切られた、すなわち（Ｔｗ／Ｔｓ）回デジタル的に測定された（Ｔｗ／Ｔｓ）個の音声の電圧値Ｖ１〜Ｖｎを有する。なお、ｎは、Ｔｗ／Ｔｓ以下の正の整数である。
【００６６】
音量判定部２１は、ＣＰＵ１０により複数の元音声データが設定された後、各音声データに含まれる時間幅Ｔｗ期間の音声の電圧値Ｖ１〜Ｖｎを加算した合計値を音声データ毎に求め、この合計値を比較する。なお、本明細書において「音量比較」という文言は、このように一定時間の音声データにおける電圧値の合計値を比較することを意味しているが、必ずしもこれに限定されるものではない。また、各音声データでサンプリング周期が異なっているような場合、サンプリング周期の相違を考慮して各音声データの合計値を求める必要がある。
【００６７】
音声データ合成部１８は、複数の元音声データを電気的に混合し１つの音声データを生成するものである。元音声データは、電圧値だけでなく、電圧値の変化状態を示す周波数成分の情報も含んでいる。
【００６８】
また、音声データ合成部１８は、複数の元音声データ毎に、時間軸上にならんだ形の音声の電圧値Ｖ１〜Ｖｎを、周波数軸上の音声の電圧値Ｖｆ１〜Ｖｆｍに変換する。なお、ｍは正の整数である。
【００６９】
そして、各周波数区間でその電圧値の最大値を選択した後、周波数軸上にならんだ周波数区間毎の音声の電圧加算値の集まりを、時間軸上の電圧値の集まりに変換する。
【００７０】
また、ＣＰＵ１０が、複数の音声の音量比較または音声の合成をＲＯＭ１１に記録されたプログラムにて実現する場合は、音量判定部２１、音声データ合成部１８は設けなくてもよい。また、音声データをデジタル値として処理するのではなく、アナログ値として処理することも可能である。
【００７１】
さらに、各通信装置が受信した音声パケットは、一旦、受信元毎にＲＡＭ１２に構成されたＦＩＦＯに、順次に蓄積される。そして、蓄積された音声パケットは、蓄積された順番に受信元との間で決められた音声コーデック方式で元音声データに復号化される。
【００７２】
さらに、復号化された元音声データは、受信元毎に構成した元音声データ用ＦＩＦＯに蓄積され、この蓄積された複数の元音声データは自通信装置の元音声データと組み合わされ一つのデータに再構成される。
【００７３】
また、元音声データを宛先毎に構成したＦＩＦＯに蓄積し、この蓄積した元音声データを、宛先との間で決められた音声コーデック方式により圧縮した後、宛先毎に構成した別のＦＩＦＯに蓄積する。
【００７４】
このように、音声データは、各処理ステップ毎に各ＦＩＦＯを移動する。
【００７５】
なお、ＦＩＦＯの構成手段、蓄積手段、取りだし手段、処理順序ポインタ制御手段、およびこれらの手段を実現するプロセスとこれらプロセスを監視する制御手段に関しては、ＣＰＵ１０により実現されている。以下の記載では、ＦＩＦＯの制御に関し、本発明と本質的な関係がある場合以外の詳細な説明は省略している。
【００７６】
次に、各通信装置間において送受信される通信用データパケットの構成について説明する。通信用データパケットは、図３に示すように、ヘッダ部と、送信元アドレスと、宛先アドレスと、通信プロトコル領域と、データ領域とで構成される。
【００７７】
データ領域は、音声データまたは映像データを含む。データ領域においては、図４に示すように、データパケットが再構成されている。再構成されたデータパケットには、データの生成元が判断できるよう、データ元アドレスを設定する領域を設けてもよい。このようにデータ元アドレスを設定する領域を設けることにより、データパケットが複数の通信装置に中継された後でも、データを生成した通信装置を特定することができる。
【００７８】
また、通信プロトコル領域には、ＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）のフラッグが設定されているが、これに限定されるものではない。
【００７９】
音声データまたは映像データを含むパケットでない制御パケットは、図５に示すように、ヘッダ部と、送信元アドレスと、宛先アドレスと、通信プロトコル領域と、データ領域とで構成されている。通信プロトコル領域には、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）のフラッグが設定されているが、これに限定されるものではない。また、データ領域には、制御内容を示す制御メッセージが格納されている。
【００８０】
なお、該データ領域に、メッセージ元アドレスを設定することも可能である。メッセージ元アドレスを設定する領域を設けることにより、データパケットが複数の通信装置に中継された後でも、メッセージを生成した通信装置を特定することができる。
【００８１】
また、音声パケットまたは映像パケットを用いた通信では、通信に参加した各通信装置間で一定周期毎にデータパケットの送受信を行う。以下では説明の簡単のために、ある瞬間におけるデータパケットの経路について記載する。したがって、以下の説明において、「１つのパケット」、「ｎ個のパケット」等の表現は、ある瞬間におけるインターネット上のデータパケットの個数を意味している。
【００８２】
さらに、本発明の実施例として、既にユーザＡ，ユーザＢ、ユーザＣの３者で音声、映像を含めたデータパケットによる多者間通信を行っているとき、ユーザＤが４人目として多者間通信に参加する場合について記載する。また、各通信装置は図２の構成をとるものとして以下説明するが、同様な機能を持つのであれば他の構成をとってもよい。
【００８３】
まず最初に音声データを含んだ音声パケットのみでの多者間通信（ＶｏＩＰ）の場合に関する実施例を実施例１として記載する。その後、音声パケットと映像データを持つ映像パケットとを多者間通信する場合の実施例を実施例２として記載する。
【００８４】
〔実施例１〕
図６に示すように、新規に多者間通信に加入された通信装置Ｄへ送信される音声パケットおよび通信装置Ｄから送信される音声パケットは、通信装置Ｃを経由する。なお、通信装置ＤのユーザをユーザＤとし、通信装置ＣのユーザをユーザＣとする。
【００８５】
通信装置Ｄへ送信される音声パケットは、通信装置Ａおよび通信装置Ｂから通信装置Ｃへ送信される音声パケットと、通信装置Ｃから送信される音声パケットとが、一つの音声パケットとして再構成されたものである。
【００８６】
通信装置Ｄから通信装置Ｃへ送信される音声パケットは、通信装置Ｃから通信装置Ｄに送信された音声パケットとともに合成処理または音量比較処理がなされ、１つの音声パケットに再構成される。送信装置Ｃは、通信装置Ｄが多者間通信に加入する前と同様に、通信装置Ａおよび通信装置Ｂへ再構成された音声パケットを送信する。
【００８７】
このように、通信装置Ｄと、通信装置Ａおよび通信装置Ｂとの間では、直接音声パケットの送受信は行なわれない。
【００８８】
また、通信装置Ａと通信装置Ｂとの間における通信には通信装置Ｃは介在せず、相互に音声パケットの送受信を行う。
【００８９】
受信した複数の音声パケットの中の音声データが圧縮されている場合、各通信装置は、該音声データを復号化し複数の元音声データとする。これら複数の元音声データは、各通信装置において合成されてスピーカに出力される。これにより、多者間通信の参加者は複数の話者の音声を聞くことができる。なお、実施例１において、音声パケットの総数は８である。
【００９０】
以下、上記構成の通信システムについてより具体的に説明する。
【００９１】
なお、本通信システムは、通信装置が受信した音声パケットに含まれる音声データと自通信装置が生成する音声データとを処理して一つの音声データとするために、２通りの方法を用いる。これら２通りの方法を方法１、方法２とし、本通信システムが各方法を用いる場合を分けて説明する。
【００９２】
いずれの方法を用いる場合であっても、音声パケット構成手段で新たな音声パケットを構成するのは通信装置Ｃのみである。なお、音声パケット構成手段とは、以下に詳細に記述するように、受信した少なくとも一つの音声パケットと自通信装置で生成する音声データとから一つの音声データを生成する一方で、コーデック方式を用いる場合には取りきめられた方式で圧縮することにより一つの圧縮後データを生成し、それに通信に必要な送信元アドレスと宛先アドレスを付加して新たな音声パケットを構成するものである。音声パケット構成手段は、ＣＰＵ１０にＲＯＭ１１に記憶されたプログラムを実行させることにより実現可能である。あるいは、音声パケット構成手段として、専用の部品を設けてもよい。
【００９３】
〔方法１を用いる場合〕
まず通信装置Ｃにおける通信装置Ａ、通信装置Ｂ、および通信装置Ｄとの間の中継に関して説明する。なお、中継とは、通信装置Ｃにおける音声パケットの送信と同じ意味である。
【００９４】
図６において、音声パケットには、Ｘ−Ｙ［Ｚ］という表記を付している。Ｘは送信元の通信装置、Ｙは音声パケットの宛先の通信装置、Ｚは音声パケットに含まれる音声データの生成元の通信装置を表している。
【００９５】
また、以下の説明では、元音声データＺは、ユーザＺの音声をデジタル化した後のデータ、音声データ［Ｚ］は元音声データＺを圧縮した後のデータを意味している。なお、データ圧縮を用いない場合には、元音声データＺと音声データ［Ｚ］は同一のものである。
【００９６】
また、音声パケットにＸ−Ｙ［Ｚ１＆Ｚ２＆Ｚ３］という表記が付されている場合、Ｘ、Ｙの意味は上述したとおりである。また、［  ］内は、通信装置Ｚ１、通信装置Ｚ２、および通信装置Ｚ３から生成された音声データが、デジタル化されるとともに合成され、一つの元音声データＺ１＆Ｚ２＆Ｚ３となっていることを示す。
【００９７】
この元音声データＺ１＆Ｚ２＆Ｚ３は圧縮されていないデータである。音声データ［Ｚ１＆Ｚ２＆Ｚ３］は元音声データＺ１＆Ｚ２＆Ｚ３が圧縮された後のデータを意味し、圧縮を用いない場合には、元音声データＺ１＆Ｚ２＆Ｚ３と音声データ［Ｚ１＆Ｚ２＆Ｚ３］は同一のものである。以下では圧縮を用いる場合についてのみ記載する。
【００９８】
次に、図６のネットワーク上を送受信される８つの音声パケットのそれぞれの構成について、図７を参照しつつ具体的に説明する。図７に示すように、通信装置Ａから通信装置Ｂへ送信される音声パケットＡ−Ｂ［Ａ］は、送信元アドレスとして通信装置Ａのアドレスが設定されているとともに、宛先アドレスとして通信装置Ｂのアドレスが設定されている。また、データ部には、ユーザＡの音声データが格納されている。
【００９９】
また、通信装置Ｂから通信装置Ａへ送信される音声パケットＢ−Ａ［Ｂ］は、送信元アドレスとして通信装置Ｂのアドレスが設定されているとともに、宛先アドレスとして通信装置Ａのアドレスが設定されている。また、データ部には、ユーザＢの音声データが格納されている。
【０１００】
また、通信装置Ａから通信装置Ｃへ送信される音声パケットＡ−Ｃ［Ａ］は、送信元アドレスとして通信装置Ａのアドレスが設定されているとともに、宛先アドレスとして通信装置Ｃのアドレスが設定されている。また、データ部には、ユーザＡの音声データが格納されている。
【０１０１】
また、通信装置Ｂから通信装置Ｃへ送信される音声パケットＢ−Ｃ［Ｂ］は、送信元アドレスとして通信装置Ｂのアドレスが設定されているとともに、宛先アドレスとして通信装置Ｃのアドレスが設定されている。また、データ部には、ユーザＢの音声データが格納されている。
【０１０２】
また、通信装置Ｄから通信装置Ｃへ送信される音声パケットＤ−Ｃ［Ｄ］は、送信元アドレスとして通信装置Ｄのアドレスが設定されているとともに、宛先アドレスとして通信装置Ｃのアドレスが設定されている。また、データ部には、ユーザＤの音声データが格納されている。
【０１０３】
また、通信装置Ｃから通信装置Ａへ送信される音声パケットＣ−Ａ［Ｃ＆Ｄ］は、送信元アドレスとして通信装置Ｃのアドレスが設定されているとともに、宛先アドレスとして通信装置Ａのアドレスが設定されている。また、データ部には、ユーザＤとユーザＣの合成された音声データが格納されている。
【０１０４】
また、通信装置Ｃから通信装置Ｂへ送信される音声パケットＣ−Ｂ［Ｃ＆Ｄ］は、送信元アドレスとして通信装置Ｃのアドレスが設定されているとともに、宛先アドレスとして通信装置Ｂのアドレスが設定されている。また、データ部には、ユーザＤとユーザＣの合成された音声データが格納されている。
【０１０５】
また、通信装置Ｃから通信装置Ｄへ送信される音声パケットＣ−Ｄ［Ａ＆Ｂ＆Ｃ］は、送信元アドレスとして通信装置Ｃのアドレスが設定されているとともに、宛先アドレスとして通信装置Ｄのアドレスが設定されている。また、データ部には、ユーザＡ、ＢおよびＣの合成された音声データが格納されている。
【０１０６】
次に、上述した各音声パケットがどのように通信装置間を送信されているかをより具体的に説明する。
【０１０７】
〔通信装置Ｃから通信装置Ａ、通信装置Ｂへの音声パケットの送信〕
通信装置Ｃは、自装置のＷＡＮ  Ｉ／Ｆ部１３を介して通信装置Ｄからの音声パケットＤ−Ｃ［Ｄ］を受けると、そのパケットに含まれる圧縮された音声データ［Ｄ］を、通信装置Ｄと通信装置Ｃの間で予め取りきめられた音声コーデック方式に基づき通信装置Ｃの復号化部１６で復号化し元音声データとする。
【０１０８】
通信装置Ｃは、復号化した元音声データを、自装置のマイク２から入力されたユーザＣの音声と音声データ合成部１８で合成し、一つの元音声データＣ＆Ｄとする。その後、通信装置Ｃは、通信装置Ａおよび通信装置Ｂと通信装置Ｃとの間で予め取りきめられた音声コーデック方式に基づき、元音声データＣ＆Ｄを自装置の符号化部１５で圧縮して一つの音声データ［Ｃ＆Ｄ］を生成する。
【０１０９】
さらに、通信装置Ｃは、自装置のＷＡＮ  Ｉ／Ｆ部１３により、音声データ［Ｃ＆Ｄ］に、通信装置Ｃを送信元アドレス、通信装置Ａのアドレスを宛先アドレスとして付加して構成した音声パケットＣ−Ａ［Ｃ＆Ｄ］を通信装置Ａに送信する。同様に、通信装置Ｃは、装置Ｃのアドレスを送信元アドレス、装置Ｂのアドレスを宛先アドレスとして付加して構成した音声パケットＣ−Ｂ［Ｃ＆Ｄ］を通信装置Ｂに送信する。
【０１１０】
なお、通信装置Ａ、通信装置Ｂ、通信装置Ｃおよび通信装置Ｄの間で共通の音声コーデック方式を持つ場合には、復号化部１６、符号化部１５での処理は省略できる。以下も同様である。
【０１１１】
〔通信装置Ｃから通信装置Ｄへの音声パケットの送信〕
次に、通信装置Ｃから通信装置Ｄへの音声パケットの送信について説明する。通信装置Ｃは、通信装置Ａからの音声パケットＡ−Ｃ［Ａ］および通信装置Ｂからの音声パケットＢ−Ｃ［Ｂ］を、自装置のＷＡＮ  Ｉ／Ｆ部１３を介して受信する。その後、通信装置Ｃは、音声パケットＡ−Ｃ［Ａ］および音声パケットＢ−Ｃ［Ｂ］のそれぞれに含まれる圧縮された元音声データ［Ａ］および［Ｂ］を、通信装置Ａおよび通信装置Ｂと通信装置Ｃとの間で取りきめられた音声コーデック方式に基づき復号化部１６で各々復号化することにより、元音声データＡと元音声データＢとを生成する。
【０１１２】
さらに、通信装置Ｃは、これら２つの元音声データと、マイク２から入力されＡ／Ｄ変換部１４でデジタル化されたユーザＣの元音声データＣとを、一つの元音声データＡ＆Ｂ＆Ｃとして音声データ合成部１８で合成する。その後、通信装置Ｃは、合成された元音声データＡ＆Ｂ＆Ｃを、通信装置Ｃと通信装置Ｄとの間で予め取りきめられた音声コーデック方式に基づき、符号化部１５で圧縮して音声データ［Ａ＆Ｂ＆Ｃ］とする。
【０１１３】
そして、通信装置Ｃは、通信装置Ｃのアドレスを送信元アドレスとし、通信装置Ｄのアドレスを宛先アドレスとして設定した音声パケットＣ−Ｄ［Ａ＆Ｂ＆Ｃ］を、ＷＡＮ  Ｉ／Ｆ部１３を介して通信装置Ｄに送る。
【０１１４】
〔通信装置Ｃにおける音声パケットの受信〕
次に、通信装置ＣにおいてユーザＣが他のユーザＡ、ユーザＢ、ユーザＤの音声を聞く方法について説明する。
【０１１５】
ユーザＣは、通信装置Ａからの音声パケットＡ−Ｃ［Ａ］、通信装置ＢからのパケットＢ−Ｃ［Ｂ］、および通信装置Ｄからの音声パケットＤ−Ｃ［Ｄ］の３つの音声パケットを、ＷＡＮ  Ｉ／Ｆ部１３を介して受け取る。
【０１１６】
受信した音声パケットＡ−Ｃ［Ａ］および音声パケットＢ−Ｃ［Ｂ］は、通信装置Ｃと通信装置Ａおよび通信装置Ｂとの間で予め取りきめられた音声コーデック方式により、通信装置Ｃの復号化部１６で復号化され、ユーザＡおよびユーザＢの元音声データＡと元音声データＢとなる。
【０１１７】
また、音声パケットＤ−Ｃ［Ｄ］は、通信装置Ｃと通信装置Ｄとの間で予め取りきめられた音声コーデック方式により、符号化部１５で復号化されユーザＤの元音声データＤとなる。
【０１１８】
さらに、ユーザＡ，ユーザＢおよびユーザＤの元音声データは、通信装置Ｃの音声データ合成部１８で合成され一つの元音声データＡ＆Ｂ＆Ｄとなる。合成された元音声データＡ＆Ｂ＆Ｄは、通信装置ＣのＤ／Ａ変換部１７に出力され、その後通信装置Ｃのスピーカ３に出力される。これにより、ユーザＣは、ユーザＡ、ユーザＢ、ユーザＣの音声を聞くことができる。
【０１１９】
〔通信装置Ａの音声パケットの送信〕
次に、通信装置Ａから音声パケットを送信する手法について説明する。ユーザＡの音声は、通信装置Ａのマイク２から入力され、通信装置ＡのＡ／Ｄ変換部１４によりデジタルデータとしての元音声データＡに変換される。その後、元音声データＡは、通信装置Ａと通信装置Ｂ、通信装置Ｃとの間で予め取りきめられた音声コーデック方式に基づき、通信装置Ａの符号化部１５にて圧縮され、音声データ［Ａ］となる。
【０１２０】
さらに、通信装置Ａは、通信装置Ａのアドレスを送信元アドレスとし、通信装置Ｂのアドレスを宛先アドレスとした音声パケットＡ−Ｂ［Ａ］と、通信装置Ｃのアドレスを宛先アドレスとした音声パケットＡ−Ｃ［Ａ］との２種類の音声パケットを生成する。そして、通信装置Ａは、ＷＡＮ  Ｉ／Ｆ部１３を介してこれら２種類の音声パケットを、通信装置Ｂおよび通信装置Ｃに送信する。
【０１２１】
〔通信装置Ａの音声パケットの受信〕
次に、通信装置Ａにおいて音声パケットを受信する手法について説明する。通信装置Ａは、自装置のＷＡＮ  Ｉ／Ｆ部１３を介して通信装置Ｂから受信したユーザＢの音声パケットＢ−Ａ［Ｂ］と、通信装置Ｃから受信したユーザＣおよびユーザＤの音声を含む音声パケットＣ−Ａ［Ｃ＆Ｄ］とを、通信装置Ａおよび通信装置Ｂと通信装置Ｃとの間であらかじめ取りきめられた音声コーデック方式に基づいて復号化部１６で復号化することによって、元音声データＢと元音声データＣ＆Ｄとを生成する。通信装置Ａは、これら２つの元音声データを自装置の音声データ合成部１８にて合成して１つの元音声データＢ＆Ｃ＆Ｄを生成する。
【０１２２】
その後、通信装置Ａは、合成された元音声データＢ＆Ｃ＆Ｄを通信装置ＡのＤ／Ａ変換部１７に出力し、その後、スピーカ３に出力する。これにより、ユーザＡは、ユーザＢ、ユーザＣ、ユーザＤの音声を聞くことが可能となる。
【０１２３】
〔通信装置Ｂの音声パケットの送信〕
次に、通信装置Ｂが音声パケットを送信する手順について説明する。通信装置Ｂは、自装置のマイク２から入力されたユーザＢの音声を、Ａ／Ｄ変換部１４によりデジタルデータとしての元音声データＢに変換する。
【０１２４】
その後、通信装置Ｂは、通信装置Ｂと通信装置Ａおよび通信装置Ｃとの間で予め取りきめられた音声コーデック方式に基づき、元音声データＢを符号化部１５により圧縮して音声データ［Ｂ］とする。さらに、通信装置Ｂは、通信装置Ｂのアドレスを送信元アドレスとし、通信装置Ａのアドレスを宛先アドレスとした音声パケットＢ−Ａ［Ｂ］と、通信装置Ｃのアドレスを宛先アドレスとする音声パケットＢ−Ｃ［Ｂ］とを生成し、これらをＷＡＮ  Ｉ／Ｆ部１３を介して通信装置Ａおよび通信装置Ｃに送信する。
【０１２５】
〔通信装置Ｂの音声パケットの受信〕
次に、通信装置Ｂが音声パケットを受信する手順について説明する。通信装置Ｂは、自装置のＷＡＮ  Ｉ／Ｆ部１３を介し、通信装置Ａから受信したユーザＡの音声を含む音声パケットＡ−Ｂ［Ａ］と、通信装置Ｃから受信したユーザＣおよびユーザＤの音声を含む音声パケットＣ−Ｂ［Ｃ＆Ｄ］とを受信する。
【０１２６】
さらに、通信装置Ｂは、これら２つの音声パケットに含まれる音声データ［Ａ］と音声データ［Ｃ＆Ｄ］とを、通信装置Ａおよび通信装置Ｃと通信装置Ｂとの間であらかじめ取りきめられた音声コーデック方式に基づいて、復号化部１６により各々復号化する。これにより、音声データ［Ａ］は元音声データＡとなり、音声データ［Ｃ＆Ｄ］は元音声データＣ＆Ｄとなる。通信装置Ｂは、これら２つの元音声データを音声データ合成部１８で合成して一つの元音声データＡ＆Ｃ＆Ｄを生成し、Ｄ／Ａ変換部１７に出力し、その後スピーカ３に出力する。これにより、ユーザＢはユーザＡ、ユーザＣおよびユーザＤの音声を聞くことが可能となる。
【０１２７】
〔通信装置Ｄの音声パケットの送信〕
次に、通信装置Ｄが音声パケットを送信する手順について説明する。通信装置Ｄは、ユーザＤの音声パケットＤを通信装置Ｃに対してのみ送信する。ユーザＤの音声は、通信装置Ｄのマイク２から入力され、通信装置ＤのＡ／Ｄ変換部１４によりデジタルデータとしての元音声データＤに変換される。
【０１２８】
その後、通信装置Ｄは、通信装置Ｄと通信装置Ｃとの間で予め取りきめられた音声コーデック方式に基づき、元音声データＤを符号化部１５にて圧縮して音声データ［Ｄ］を生成する。さらに、通信装置Ｄは、通信装置Ｄのアドレスを送信元アドレスとし、通信装置Ｃのアドレスを宛先アドレスとした音声パケットＤ−Ｃ［Ｄ］を生成し、自装置のＷＡＮ  Ｉ／Ｆ部１３を介して通信装置Ｃにのみ送信する。
【０１２９】
〔通信装置Ｄの音声パケットの受信〕
次に、通信装置Ｄが音声パケットを受信する手順について説明する。通信装置Ｄは、自装置のＷＡＮ  Ｉ／Ｆ部１３を介して、ユーザＡ、ユーザＢ、ユーザＣの音声が合成された一つの音声パケットＣ−Ｄ［Ａ＆Ｂ＆Ｃ］のみを通信装置Ｃから受信する。
【０１３０】
さらに、通信装置Ｄは、通信装置Ｃと通信装置Ｄとの間であらかじめ取りきめられた音声コーデック方式で音声データ［Ａ＆Ｂ＆Ｃ］を復号化部１６で復号化し、元音声データＡ＆Ｂ＆Ｃを生成する。その後、通信装置Ｄは、元音声データＡ＆Ｂ＆ＣをＤ／Ａ変換部１７に出力し、その後スピーカ３に出力する。これにより、ユーザＤは、ユーザＡ、ユーザＢおよびユーザＣの音声を聞くことが可能となる。
【０１３１】
このようにして、ユーザＡ、ユーザＢ、ユーザＣおよびユーザＤは各々の音声を他のユーザに伝えることができ、且つ他のユーザの音声を聞くことができる。
【０１３２】
〔方法２を用いる場合〕
次に、実施例１の通信システムが方法２を用いる場合について図８を用いて説明する。方法２を用いる場合も、通信装置Ｃが、通信装置Ｄと通信装置Ａおよび通信装置Ｂとの間を中継するのは方法１と同様である。また、受信した音声パケットおよび自通信装置で生成する音声データから、新たな音声パケットを以下に説明する手順で構成するのは、装置Ｃのみである。また、通信装置毎の構成についての説明は省略するが、各通信装置の音声の音量の大きさを、通信装置Ｂ＞通信装置Ａ＞通信装置Ｄ＞通信装置Ｃとして以下説明する。
【０１３３】
なお、音声パケット、元音声データ、音声データの表記は方法１と同じである。また、音声パケットにＸ−Ｙ［ＣＭＰ（Ｚ１：Ｚ２：Ｚ３）］と表記が付されている場合は、その音声パケットは、送信元である通信装置Ｘが、元音声データＺ１と元音声データＺ２と元音声データＺ３とのうちで音量判定部２１により最も音量が大きいと判定した元音声データＣＭＰ（Ｚ１：Ｚ２：Ｚ３）を、圧縮して音声データ［ＣＭＰ（Ｚ１：Ｚ２：Ｚ３）］とした後、通信装置Ｙに送信した音声パケットであることを意味する。
【０１３４】
〔通信装置Ｃの音声パケットの送信〕
まず、通信装置Ｃが音声パケットを中継する手順に関して説明する。この中継は、通信装置Ｃの音声パケットの送信と同じ意味である。
【０１３５】
通信装置Ｃは、自装置ＣのＷＡＮ  Ｉ／Ｆ部１３を経由して通信装置Ｄから音声パケットＤ−Ｃ［Ｄ］を受信すると、通信装置Ｃと通信装置Ｄとの間で予め取りきめられた音声コーデック方式に基づき、復号化部１６で元音声データＤに復号化する。さらに、通信装置Ｃは、マイク２を介して入力した音声をＡ／Ｄ変換部１４にてデジタルデータとしての元音声データＣに変換する。
【０１３６】
さらに、通信装置Ｃは、音量判定部２１にて、元音声データＣと元音声データＤとの音量レベルを計測・比較し、音量レベルの大きい方を元音声データＣＭＰ（Ｃ：Ｄ）とする。すなわち、本実施例では、元音声データＤを元音声データＣＭＰ（Ｃ：Ｄ）とする。
【０１３７】
その後、通信装置Ｃは、通信装置Ａおよび通信装置Ｂと通信装置Ｃとの間で予め取りきめられた音声コーデック方式で、元音声データＣＭＰ（Ｃ：Ｄ）を符号化部１５にて圧縮し、音声データ［ＣＭＰ（Ｃ：Ｄ）］を生成する。
【０１３８】
さらに、通信装置Ｃは、音声データ［ＣＭＰ（Ｃ：Ｄ）］に対して送信元アドレスとして通信装置Ｃのアドレスを付加する一方で、宛先アドレスとして通信装置Ａのアドレスを付加し、上記方法１の場合と同様に音声パケットＣ−Ａ［ＣＭＰ（Ｃ：Ｄ）］を構成し、該音声パケットを通信装置Ａに送信する。同様に、通信装置Ｃは、音声データ［ＣＭＰ（Ｃ：Ｄ）］に対して、送信元アドレスとして通信装置Ｃのアドレスを付加する一方で宛先アドレスとして通信装置Ｂのアドレスを付加することにより、音声パケットＣ−Ｂ［ＣＭＰ（Ｃ：Ｄ）］を構成し、該音声パケットを通信装置Ｂに送信する。
【０１３９】
なお、本実施例では、ＣＭＰ（Ｃ：Ｄ）＝（Ｄ）、すなわち通信装置Ｃから通信装置Ａ、通信装置Ｂに送信されるのはユーザＤの音声である。
【０１４０】
また、通信装置Ｃは、自装置ＣのＷＡＮ  Ｉ／Ｆ部１３を経由して受信した通信装置Ａ、通信装置Ｂからの音声パケットＡおよび音声パケットＢを受信すると、通信装置Ａおよび通信装置Ｂと通信装置Ｃとの間で予め取りきめられた音声コーデック方式に基づいて復号化部１６により元音声データＡと元音声データＢに復元し、これら２つの元音声データの音量レベルを計測する。
【０１４１】
また、通信装置Ｃは、自装置の音声レベルも同様に計測し、元音声データＡ、元音声データＢ、および元音声データＣの音量レベルを音量判定部２１により比較し、これら３つの元音声データのうち音量レベルの最も大きいものを元音声データＣＭＰ（Ａ：Ｂ：Ｃ）とする。
【０１４２】
さらに、通信装置Ｃは、通信装置Ｃと通信装置Ｄとの間で予め取りきめられた音声コーデック方式に基づき、元音声データＣＭＰ（Ａ：Ｂ：Ｃ）を符号化部１５にて圧縮し音声データ［ＣＭＰ（Ａ：Ｂ：Ｃ）］を生成する。その後、通信装置Ｃは、該音声データに送信元アドレスとして通信装置Ｃのアドレス、宛先アドレスとして通信装置Ｄのアドレスを付加し、新たな音声パケットＣ−Ｄ［ＣＭＰ（Ａ：Ｂ：Ｃ）］を構成する。さらに、通信装置Ｃは、ＷＡＮ  Ｉ／Ｆ部１３を経由して音声パケットＣ−Ｄ［ＣＭＰ（Ａ：Ｂ：Ｃ）］を通信装置Ｄに送信する。
【０１４３】
なお、本実施例では、ＣＭＰ（Ａ：Ｂ：Ｃ）＝（Ｂ）、すなわち通信装置Ｃから通信装置Ｄに送信されるのはユーザＢの音声データである。
【０１４４】
なお、ユーザＤの通信装置Ｄは、ある瞬間においては１つの音声パケットしか受信していない。すなわち、通信装置Ｄは、音量レベルの最も大きな一人のユーザの音声データ（本実施例ではユーザＢの音声）しか受信しない。しかしながら、音量レベルの最も大きな音声データを受信できれば、その多者間通信において主導的に会話しているユーザの音声を把握できるので、ユーザＤが多者間通信の内容を把握できないということはない。
【０１４５】
また、ユーザＣは、通信装置Ｃにより通信装置Ａ、通信装置Ｂ、および通信装置Ｄから各ユーザの音声パケットを受信しており、３つの音声データ［Ａ］、音声データ［Ｂ］、音声データ［Ｃ］を自装置の復号化部１６にて各々元音声データＡ、元音声データＢ、元音声データＣに復号化する。その後、通信装置Ｃは、これら３つの元音声データのうち、音量判定部２１にて音量が最も大きいと判定された元音声データＣＭＰ（Ａ：Ｂ：Ｄ）を、Ｄ／Ａ変換部１７、スピーカ３に出力する。これにより、ユーザＣは話者である一人の音声のみを聞くことができる。
【０１４６】
なお、通信装置Ｃの音声データ合成部１８で元音声データＡ，Ｂ，Ｃを合成し、一つの元音声データＡ＆Ｂ＆Ｃとした後、該元音声データを通信装置ＣのＤ／Ａ変換部１７を介してスピーカ３に出力するように構成してもよい。これにより、各ユーザの音声を聞くことも可能である。
【０１４７】
以上に説明したように、通信装置Ａ，通信装置Ｂ、通信装置Ｃ、および通信装置Ｄの４者通信における音声パケットは、通信装置Ａと通信装置Ｂの間に２パケット存在し、通信装置Ｂと通信装置Ｃの間に２パケット存在し、通信装置Ａと通信装置Ｃとの間に２パケット存在し、通信装置Ｃと通信装置Ｄとの間に２パケット存在する。すなわち、本実施例の４者通信は、合計８パケットの音声パケットにより実現されている。したがって、従来４者通信を実現するために１２パケット必要であったが（図１５参照）、本実施例では音声パケットの数が２／３に抑えられている。
【０１４８】
また、通信装置Ｃが受信した音声パケットから新たな送信用の音声パケットを構成するので、通信装置Ａと通信装置Ｂとは、３者間通信機能、すなわち受信する２つの音声パケットに含まれる２つの音声データの復号化機能、加工・再生機能、および２つの通信装置への自通信装置の音声パケットの送信機能を有していればよい。また、通信装置Ｄは、単に２者間通信の機能、すなわち、受信した１つの音声パケットに含まれる１つの音声データの復号化機能、再生機能、および音声パケットの送信機能を有していさえすれば、４者間の通信に参加することができる。したがって、多者間通信に参加するすべての通信装置が高機能である必要であった従来の方式との差は明確である。
【０１４９】
以上説明した２つの方法は、いずれも、通信装置Ｄが、従来技術として記述した自装置以外の３つの通信装置に対し音声パケットを送信する機能、または自通信装置以外の３つの通信装置からの音声パケットを受信しその３つの音声パケットに含まれる音声を合成する機能を持たない通信装置であるような場合に特に有用である。
【０１５０】
また、従来技術で説明した中央制御装置を用いた場合の多者間通信における中央制御装置の機能を、多者間通信システム内の一つの通信装置が持った場合の多者間通信において、当該通信装置が持つべき機能・性能は、従来技術と本発明とでほとんど同一である。したがって、以下では中央制御装置がある場合について従来技術を本発明の方式と比較する。
【０１５１】
図１６に示すように、中央制御装置はすべての通信装置の音声パケットを受信し、宛先以外から受信した音声パケットに含まれる音声データを合成、または音量比較した後、すべての宛先の通信装置に音声パケットを送信するというように高い機能が必要である。しかしながら、上記した本発明の実施例の場合、通信装置Ａと通信装置Ｂの間の音声パケットの送受信に通信装置Ｃは介在しないので、中央制御装置に必要なほど高い機能は、通信装置Ｃには必要でない。
【０１５２】
図９に示すようにユーザ数が増えて１２者間通信（通話）を行う場合、すなわち上述した通信装置Ｃの役割を通信装置Ａ、通信装置Ｂ、通信装置Ｄ、通信装置Ｅ、および通信装置Ｆも実施する場合を想定すれば、従来技術に対する差は明確になる。すなわち、通信装置Ａ〜Ｆは４者間通話機能があればよい。また、ユーザの通信装置の数が増えてもパケットの増加は２×（増加したユーザ数）である。
【０１５３】
一方、従来技術を用いて中央制御装置で音声の合成をする場合にはユーザ数が増えれば、その負荷は中央制御装置に集中する。すなわち、１２者間通話の場合、１２者からの音声のうち１１者の音声をリアルタイムに合成し、合成された音声を各々１２者の通信装置に送信するという高機能なものが要求される。また、従来の各話者の音量を比較する方式でも、宛先の通信装置以外の１１者の音声の音量を、１２種類の組み合わせに関して比較することが必要である。
【０１５４】
本実施の形態の４者通信機能を通信装置が持てば、通信に参加するユーザ数に依存せず多者間通信を実現できるので、そのシステムの柔軟性の差は明白である。
【０１５５】
また、通信装置Ａが用いる音声コーデック方式と、通信装置Ｄが用いる音声コーデック方式とが一致せず、通信装置Ａと通信装置Ｄとでは直接通信できないような場合、通信装置Ｃが通信装置Ｄの音声を通信装置Ａが対応可能な音声コーデック方式に変換することで、通信装置Ａと通信装置Ｄとの間での通信が可能となる。
【０１５６】
なお、音声の合成は、各ユーザの音声をアナログに復元した後に行ってもよいし、デジタルデータのままＤＳＰ等の専用部品を使用して行ってもよい。上述の説明は、デジタルデータのまま合成する場合について記載されている。
【０１５７】
ここまで、音声パケットの各通信装置間での送受信に関して説明した。さらに、本実施例のシステムでは、通信開始時に相互の通信装置において通信に必要なアドレス等の情報はもちろんのこと、各通信装置の音声コーデック方式、性能等の情報を交換する必要がある。次に、この情報交換の手順の例を図１０に基づいて説明する。
【０１５８】
なお、通信装置Ａ、通信装置Ｂおよび通信装置ＣがＶｏＩＰ技術を用いたパケット通信を行っている場合、ユーザＤの通信装置Ｄが通信装置Ｃにアクセスし、新たに通信に加わるときから説明する。ここでは多者間通信中に他のユーザが新たにアクセスする場合の手順について記載するが、通信中の任意のユーザが通信に参加していないユーザＤにアクセスすることも同様の手順で実行可能である。
【０１５９】
先ず、通信装置ＤのユーザＤが通信装置Ｃに発呼する（Ｓ０）。この発呼接続の技術に関してはＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）またはＨ．３２３などの方式が普及している。なお、ゲートキーパ機能等を用いた発呼制御の手順に関する説明は、本発明と本質的な関係がないことから省略している。
【０１６０】
通信装置Ｃは、通信装置Ｄからの発呼を受けると、通信装置Ｂへ図５のパケットの構成を持った保留メッセージを送信する（Ｓ１）。さらに通信装置Ａへも同様に保留メッセージを送信する（Ｓ２）。
【０１６１】
このとき、ユーザＡとユーザＢとは、この２者間での通信をしていてもよい。ここでは、単に保留となった場合に関して記載する。通信装置Ａと通信装置Ｂとは、それぞれの通信装置が通信装置Ｃに対して音声パケットの送信を一旦中止すること、および通信装置Ｃからの音声パケットが送信されないことを了解する旨を示す図５の構成を持った保留確認応答メッセージを送信する（Ｓ４、Ｓ３）。
【０１６２】
この後、ユーザＣとユーザＤとの間で通信し、通信内容がユーザＡおよびユーザＢに関することであり、ユーザＡおよびユーザＢも通信に加わる必要が発生したとする。ここで、ユーザＣは、通信装置Ｃの操作部４を操作し、その時点でのユーザＣとユーザＤとの通信に、一旦保留したユーザＡおよびユーザＢを加える。
【０１６３】
具体的には、通信装置Ｃは通信装置Ｄの多者間通信機能を知る必要があるため、通信装置Ｃから通信装置Ｄに対し、図５の構成を持った制御メッセージとして多者通信機能要求メッセージＲｑ＿ＣＤを送信する（Ｓ５）。これを受けた通信装置Ｄは、上記Ｒｑに対する制御応答メッセージＲａ＿ＤＣを返信する（Ｓ６）。
【０１６４】
このＲａには、通信装置Ｄのアドレス等、通常のデータ通信において必要とされる情報以外に、通信装置Ｄの性能、通信装置Ｄで対応可能な音声コーデック方式および映像コーデック方式、通信装置Ｄが通信装置Ｃ以外の別の通信装置と通信中かどうか、などの情報が含まれている。
【０１６５】
また、以下の説明では、通信装置Ｄの情報をＩｎｆｏ−Ｄと記載する。このＩｎｆｏ−Ｄは、ユーザＤの名前、住所、電話番号などの情報を含んでいてもよい。同様に、通信装置Ａの情報はＩｎｆｏ−Ａ、通信装置Ｂの情報はＩｎｆｏ−Ｂ、通信装置Ｃの情報はＩｎｆｏ−Ｃと記載する。
【０１６６】
通信装置ＤのＩｎｆｏ−Ｄを受信した通信装置Ｃは、通信装置Ａおよび通信装置Ｂに、通信装置ＣからＩｎｆｏ−Ｄを送信する制御コマンドとして新通信加入要求メッセージＲＯ＿ＣＡ（Ｓ８）、ＲＯ＿ＣＢ（Ｓ７）を送信する。
【０１６７】
このＩｎｆｏ−Ｄは、通信装置Ａ、通信装置Ｂによって直接使用されなくとも多者間通信自体は可能である。また、ＲＯ＿ＣＡ、ＲＯ＿ＣＢは、単にそれまでの通信に新たな通信者が加わるという情報だけ含んでいてもよい。
【０１６８】
Ｉｎｆｏ−ＤをＲＯ＿ＣＡで受信した通信装置Ａ、またはＩｎｆｏ−ＤをＲＯ＿ＣＢで受信した通信装置Ｂでは、ユーザＤの情報を通信中の人の一覧表示するなどの目的に使用可能である。また、各通信装置のアドレス帳にユーザＤの情報Ｉｎｆｏ−Ｄを加え次回の通信（通話）に使用するなどに適応可能である。
【０１６９】
これにより、通信装置Ａおよび通信装置Ｂは、新たに加入した通信装置Ｄの情報Ｉｎｆｏ−Ｄ（通信装置Ｄのアドレス、音声コーデックおよび映像コーデックの機能等）を入手する。さらに、通信装置Ａは、通信装置Ｃに対し、通信装置Ｄの通信加入許可メッセージとしてＡｄｄ＿ＯＫ＿Ａを送信する（Ｓ１０）。一方、通信装置Ｂは通信装置Ｄの通信加入許可メッセージとしてＡｄｄ＿ＯＫ＿Ｂを通信装置Ｃに送信する（Ｓ９）。
【０１７０】
これらの通信加入許可メッセージを受信した通信装置Ｃは、それまでのユーザＡおよびユーザＢとの３者間通信開始時に得ていた通信装置ＡのＩｎｆｏ−Ａ、通信装置ＢのＩｎｆｏ−Ｂおよび自通信装置ＣのＩｎｆｏ−Ｃを、通信装置Ｄに送信する。
【０１７１】
また、ユーザ毎のユーザ情報を個別に設定することも可能である。この場合、ユーザＤに示すユーザＡ、ユーザＢ、ユーザＣの情報を通信装置Ｃは収集する必要がある。この場合には、通信装置Ｃは、各通信装置のユーザ情報を、通信装置Ａに対してはＲｑ＿ＣＡとして送信し（Ｓ１２）、通信装置Ｂに対してはＲｑ＿ＣＢとして送信する（Ｓ１１）。
【０１７２】
Ｒｑ＿ＣＡを受信した通信装置Ａは、ユーザＤに提供する自情報としてＩｎｆｏ−ＡをＲａ＿ＡＣに含めて通信装置Ｃに送信する（Ｓ１４）。また、通信装置Ｂは、ユーザＤに提供する自情報としてＩｎｆｏ−ＢをＲａ＿ＢＣに含めて通信装置Ｃに送信する（Ｓ１３）。
【０１７３】
この通信装置ＤへのＩｎｆｏ−Ａ、Ｉｎｆｏ−Ｂ、Ｉｎｆｏ−Ｃの送信は、上記ＲＯの制御メッセージを用いて行うが、一つ一つのメッセージに分割してもよいし、一つのメッセージにまとめて送信してもよい。ここでは一つのメッセージにまとめる場合について説明する。
【０１７４】
通信装置ＣはＩｎｆｏ−Ａ，Ｉｎｆｏ−Ｂ、Ｉｎｆｏ−Ｃを一つのメッセージにまとめ、ＲＯ＿ＣＤとして通信装置Ｄに送信する（Ｓ１５）。それを受信した通信装置Ｄは、ユーザＡ、ユーザＢ、ユーザＣの情報を自通信装置に登録する。
【０１７５】
なお、通信装置Ｄは、通信装置Ａ，通信装置Ｂとは直接音声パケットの送受信も、制御メッセージの交換も行わないため、Ｉｎｆｏ−Ｃ以外の情報は、このとき必要ではない。すなわち、通信装置Ｃは、Ｉｎｆｏ−Ｃのみを通信装置Ｄに送信する構成であってもよい。しかしながら、Ｉｎｆｏ−Ａ，Ｉｎｆｏ−Ｂ、Ｉｎｆｏ−Ｃがまとめられたメッセージは、通信中の話者の一覧表示などに使用も可能なので、ここではすべての通信者の情報を通信装置Ｄが持つものとして記載した。
【０１７６】
Ｉｎｆｏ−Ａ、Ｉｎｆｏ−ＢおよびＩｎｆｏ−Ｃを受信した通信装置Ｄは、新通信加入を了解する旨の応答Ａｄｄ＿ＯＫ＿Ｄを通信装置Ｃに返信する（Ｓ１６）。通信装置Ｃは、通信装置Ａ、通信装置Ｂおよび通信装置Ｄに対し通信開始メッセージＴ＿ＳＴＡＲＴを送信する（Ｓ１７）。通信装置Ｃは、通信開始メッセージＴ＿ＳＴＡＲＴ発信後に、音声パケットの送信を開始する。一方、通信装置Ａ、通信装置Ｂおよび通信装置Ｄは、通信開始メッセージＴ＿ＳＴＡＲＴ受信後に音声パケットの送信を開始する。
【０１７７】
〔実施例２〕
本発明の他の実施例として、映像と音声とを両方含めた映像パケットの多者間通信を実現する構成について以下記載する。なお、音声パケットの多者間通信を実現する構成は実施例１と同様である。また、３者間における通信に新たな通信者が参加した際における映像パケットの送受信方式を中心に説明する。
【０１７８】
本実施例で受信した映像パケットと自装置で生成する映像データとから新たな映像パケットを構成するのは通信装置Ｃのみである。また、実施例２では、映像パケットと音声パケットとの中継方式は実施例１と同様の方式を用いる。以下の説明では、方法２を用いてパケットを中継するものとする。
【０１７９】
図１１に示すように、ユーザＡの通信装置Ａ、ユーザＢの通信装置Ｂ、およびユーザＣの通信装置Ｃにて、音声だけでなく映像を含めた多者間通信を行っている際に、ユーザＤがこの通信に加わったとする。なお、通信装置Ａ、通信装置Ｂ、通信装置Ｃは相互に音声パケット、映像パケットを送受信しているものとする。また、音声データと映像データとは、別のパケットでもよいし、一つのパケットにまとめられていてもよい。ここでは別のパケットとなっている場合を記載する。
【０１８０】
各通信装置の表示部６には、図１２に示すように、この通信に参加しているユーザＡ、ユーザＢ、ユーザＣおよびユーザＤの映像の表示領域２２・２３・２４・２５が設けられている。これらの表示領域には、各ユーザの通信装置から送られる映像データを元に、各ユーザの映像がそれぞれ表示されている。
【０１８１】
また、４者の間で映像、音声を含んだ通信を開始する時点では、各ユーザの通信装置には他ユーザの映像が初期値として与えられており、通信中は、他ユーザの映像が更新されるものとして以下説明する。なお、ユーザ自身の映像は、常に自通信装置の映像カメラ入力部７から入力された映像が表示領域にて更新されるものとする。
【０１８２】
映像パケットの構成例を図１３に示す。図１３に示すように、映像パケットの構成は、図３に示した音声パケットにおけるデータ領域に映像データが格納された構成と考えてよい。なお、データ領域には、各ユーザの映像データが合成されたデータではなく、いずれか一人のユーザの映像データのみが格納されるものとする。また、図４のように、データ領域にデータの生成元のアドレスを設定することも可能である。なお、映像パケットの構成は、映像パケット構成手段としてのＣＰＵ１０により実行される。
【０１８３】
また、以下の説明では、実施例１と同様、映像パケットの送受信について通信装置毎に説明する。また、映像データは音声データの音量により送信されるかどうかが決まるため、各通信装置の音声の音量の大きさを
通信装置Ｂの音量＞通信装置Ａの音量＞通信装置Ｄの音量＞通信装置Ｃの音量として以下説明する。
【０１８４】
また、映像パケットにたとえばＸ−Ｙ［ＩｍａｇｅＺ１：ＩｍａｇｅＺ２：ＩｍａｇｅＺ３］というように表記されている場合、その映像パケットの送信元は通信装置Ｘであり、宛先は通信装置Ｙであることを意味する。また、［  ］内は、映像データの生成元が通信装置Ｚ１、通信装置Ｚ２および通信装置Ｚ３であることを示している。さらに、［  ］内は、それらの各通信装置の映像カメラ入力部７から入力された映像をカメラＩ／Ｆ部２０でデジタル化した通信装置Ｚ１の映像データＩｍａｇｅＺ１、通信装置Ｚ２の映像データＩｍａｇｅＺ２および通信装置Ｚ３の映像データＩｍａｇｅＺ３のうち、音声データの音量で最も大きかった通信装置の元映像データを示す。
【０１８５】
さらに、ＩｍａｇｅＺ１：ＩｍａｇｅＺ２：ＩｍａｇｅＺ３の元映像データは圧縮されていないデータである。また、映像データ［ＩｍａｇｅＺ１：ＩｍａｇｅＺ２：ＩｍａｇｅＺ３］は、元映像データＩｍａｇｅＺ１：ＩｍａｇｅＺ２：ＩｍａｇｅＺ３を圧縮した後の映像データを意味する。元映像データを圧縮しない場合もあるが、ここでは圧縮された映像データを元に通信を行う場合について説明する。また、通信装置ＸのユーザをユーザＸ、通信装置ＹのユーザをユーザＹというように表記するのは実施例１と同じである。
【０１８６】
なお、通信装置Ａ、通信装置Ｂ、通信装置Ｃおよび通信装置Ｄは、各通信装置間で相互に初期値としての各ユーザの映像を交換しているものとし、初期値としての映像データは順次更新されるものとする。初期値となる映像の交換は、実施例１で説明した各装置間の性能、情報交換の最終段階で、たとえばＴ＿ＳＴＡＲＴメッセージに含めて実行することも可能である。
【０１８７】
〔通信装置Ｃに関して〕
本実施例における通信装置Ｃの役割を図１１、図１３を用いて説明する。
【０１８８】
〔通信装置Ａ、通信装置Ｂへの映像パケットの送信〕
通信装置Ｃは、音声パケットに対しては実施例１の方法２と同様の処理の処理を行う。また、通信装置Ｃは、通信装置Ａに音声パケットＣ−Ａ［ＣＭＰ（Ｃ：Ｄ）］、通信装置Ｂに音声パケットＣ−Ｂ［ＣＭＰ（Ｃ：Ｄ）］を、ＷＡＮ  Ｉ／Ｆ部１３を介して送信する。
【０１８９】
この際、通信装置Ｃは、通信装置Ｄから受信した音声パケットＤ−Ｃ［Ｄ］に含まれる圧縮された音声データを、復号化部１６で元音声データＤに復元する。さらに、通信装置Ｃは、元音声データＤの音量と、通信装置Ｃで生成されたユーザＣの元音声データＣの音量とを音量判定部２１で比較し、ＣＭＰ（Ｃ：Ｄ）を生成する。なお、ここでは通信装置Ｄの元音声データの音量の方が、通信装置Ｃの元音声データの音量よりも大きいので、ＣＭＰ（Ｃ：Ｄ）は元音声データＤである。
【０１９０】
また、通信装置Ｃは、映像カメラ入力部７で写されたユーザＣの映像をカメラＩ／Ｆ部２０でデジタルデータとし、ＲＡＭ１２に一旦記憶する。また、通信装置Ｄからの映像パケットＤ−Ｃ［ＩｍａｇｅＤ］は、一旦通信装置ＣのＲＡＭ１２に記憶される。
【０１９１】
さらに、通信装置Ｃは、通信装置Ｄの音声の音量が通信装置Ｃのそれより大きい場合、通信装置Ｄから受信し自装置のＲＡＭ１２に記憶した映像パケットＤ−Ｃ［ＩｍａｇｅＤ］を、通信装置Ｄと通信装置Ｃの間で予め取りきめられた映像コーデック方式に基づき、復号化部１６で復号化する。そして、通信装置Ｃは、復号化により生成された元映像データＩｍａｇｅＤを再度ＲＡＭ１２に記憶する。
【０１９２】
その後、通信装置Ｃは、ＲＡＭ１２より通信装置ＤからのユーザＤの映像を呼び出し、通信装置Ｃと通信装置Ａおよび通信装置Ｂとの間で予め取りきめた映像コーデック方式で符号化部１５にて圧縮する。さらに、通信装置Ｃは、送信元アドレスとして装置Ｃのアドレスを、宛先アドレスとして装置Ａのアドレスを付加した映像パケットＣ−Ａ［ＩｍａｇｅＣ：ＩｍａｇｅＤ］を構成し、ＷＡＮ  Ｉ／Ｆ部１３を介して通信装置Ａに送信する。
【０１９３】
また、通信装置Ｃは、送信元アドレスとして装置Ｃのアドレスを、宛先アドレスとして装置Ｂのアドレスを付加した映像パケットＣ−Ｂ［ＩｍａｇｅＣ：ＩｍａｇｅＤ］を構成し、ＷＡＮ  Ｉ／Ｆ部１３を介して通信装置Ｂに送信する。なお、ユーザＤの音量の方がユーザＣの音量よりも大きいので、［ＩｍａｇｅＣ：ＩｍａｇｅＤ］＝［ＩｍａｇｅＤ］である。また、通信装置Ａ、通信装置Ｂ、通信装置Ｃおよび通信装置Ｄで共通の映像コーデック方式を用いる場合、映像に関する復号化部１６、符号化部１５での処理は省略できる。以下も同様である。
【０１９４】
〔通信装置Ｄへの送信〕
通信装置Ｃは、通信装置ＡからユーザＡの音声パケットＡ−Ｃ［Ａ］と、ユーザＡの映像パケットＡ−Ｃ［ＩｍａｇｅＡ］とを受信し、通信装置ＢからユーザＢの音声パケットＢ−Ｃ［Ｂ］と映像パケットＢ−Ｃ［ＩｍａｇｅＢ］とを受信している。さらに、通信装置Ｃは、実施例１の方法２によりユーザＡ、ユーザＢ、ユーザＣの音声の中で、音量判定部２１にて音量が最も大きいと判定された音声を選択する。ここでは、ユーザＢの音声の音量が最も大きいと判定されたとする。
【０１９５】
また、ユーザＣの映像は、通信装置Ｃの映像カメラ入力部７から入力され、カメラＩ／Ｆ部２０によりデジタルデータに変換され、通信装置ＣのＲＡＭ１２に記憶される。しかしながら、通信装置Ｂの音声のほうが大きいため、ユーザＣの映像は送信されずに破棄される。
【０１９６】
また、ユーザＢの映像パケットＢ−Ｃ［ＩｍａｇｅＢ］に含まれる圧縮されたユーザＢの映像データは、通信装置Ｂから受信され通信装置ＣのＲＡＭ１２に記憶される。通信装置Ｃは、通信装置Ｃと通信装置Ａおよび通信装置Ｂとの間で予め取りきめられた映像コーデック方式に基づき、復号化部１６により、圧縮されたユーザＢの映像データを元映像データＩｍａｇｅＢに復号化し、ＲＡＭ１２に記憶する。
【０１９７】
その後、ＲＡＭ１２より呼び出されたユーザＢの元映像データＩｍａｇｅＢは、通信装置Ｃと通信装置Ｄとの間で取りきめられた映像コーデック方式に基づき、通信装置Ｃの符号化部１５により圧縮される。通信装置Ｃは、圧縮した映像データに対し、送信元アドレスとして通信装置Ｃのアドレスを、宛先アドレスとして通信装置Ｄのアドレスを付加して構成した映像パケットＣ−Ｄ［ＩｍａｇｅＡ：ＩｍａｇｅＢ：ＩｍａｇｅＣ］を構成し、ＷＡＮ  Ｉ／Ｆ部１３を介して通信装置Ｄに送信する。なお、本実施例ではユーザＢの音声の音量が最も大きいので、［ＩｍａｇｅＡ：ＩｍａｇｅＢ：ＩｍａｇｅＣ］＝［ＩｍａｇｅＢ］である。
【０１９８】
〔通信装置Ｃの映像パケットの受信に関して〕
通信装置Ｃは、通信装置Ａより音声パケットＡ−Ｃ［Ａ］と映像パケットＡ−Ｃ［ＩｍａｇｅＡ］とを受信し、通信装置Ｂより音声パケットＢ−Ｃ［Ｂ］と映像パケットＢ−Ｃ［ＩｍａｇｅＢ］とを受信し、通信装置Ｄより音声パケットＤ−Ｃ［Ｄ］と映像パケットＤ−Ｃ［ＩｍａｇｅＤ］とを受信し、各々のデータをＲＡＭ１２に記憶する。実施例１の方法２と同様に、通信装置Ｃは、各音声パケットに含まれる音声のうち、最も音量の大きい音声のユーザを特定する。本実施例ではユーザＢの音声の音量が最も大きい。
【０１９９】
通信装置Ｃは、ＲＡＭ１２に記憶した映像パケットＢ−Ｃ［ＩｍａｇｅＢ］を、通信装置Ｃと通信装置Ａおよび通信装置Ｂとの間で予め取りきめられた映像コーデック方式に基づき、復号化部１６でユーザＢの元映像データＩｍａｇｅＢに復元する。その後、表示制御部１９に元映像データＩｍａｇｅＢを設定することで、表示部６のユーザＢの表示領域２３における映像が更新される。これにより、通信装置Ｃのユーザは、話者であるユーザＢの音声を、ユーザＢのリアルタイム映像を見ながら聞くことができる。
【０２００】
〔通信装置Ａに関して〕
次に、本実施例における通信装置Ａの役割について説明する。
【０２０１】
〔通信装置Ａの映像パケットの送信に関して〕
通信装置Ａは、音声データに関しては実施例１と同様の処理を行い、ＷＡＮ  Ｉ／Ｆ部１３を介して、音声パケットＡ−Ｂ［Ａ］を通信装置Ｂに送信する一方で、音声パケットＡ−Ｃ［Ａ］を通信装置Ｃに送信する。
【０２０２】
また、通信装置Ａは、映像カメラ入力部７で写されたユーザＡの映像をカメラＩ／Ｆ部２０でデジタルデータとし、該デジタルデータを通信装置Ｂおよび通信装置Ｃと通信装置Ａとの間で予め取りきめられた映像コーデック方式に基づいて符号化部１５にて圧縮する。さらに、通信装置Ａは、図３に示したパケット構成におけるデータ領域にユーザＡの圧縮された映像データを格納する。さらに、通信装置Ａは、通信装置Ｂに映像パケットＡ−Ｂ［ＩｍａｇｅＡ］、通信装置Ｃに対しては映像パケットＡ−Ｃ［ＩｍａｇｅＡ］を構成し、ＷＡＮ  Ｉ／Ｆ部１３を介してそれぞれの通信装置に送信する。
【０２０３】
〔通信装置Ａの映像パケットの受信に関して〕
通信装置Ａは、通信装置ＢからユーザＢの音声パケットＢ−Ａ［Ｂ］および映像パケットＢ−Ａ［ＩｍａｇｅＢ］を、通信装置ＣからユーザＣまたはユーザＤの音声を含む音声パケットＣ−Ａ［Ｃ：Ｄ］および映像パケットＣ−Ａ［ＩｍａｇｅＣ：ＩｍａｇｅＤ］を、ＷＡＮ  Ｉ／Ｆ部１３を介して受信する。その後、通信装置Ａは、実施例１と同様に、受信した音声パケットＢ−Ａ［Ｂ］とＣ−Ａ［Ｃ：Ｄ］とからそれぞれの元音声データを復号化し、この２つの元音声データの音量を比較する。本実施例では、受信した元音声データＢと元音声データＣ：Ｄを比較した結果、元音声データＢの音量が大きかったとする。
【０２０４】
さらに、通信装置Ａは、音量の大きかったユーザＢの映像パケットＢ−Ａ［ＩｍａｇｅＢ］を通信装置Ａと通信装置Ｂおよび通信装置Ｃとの間で予め取りきめられた映像コーデック方式で、復号化部１６にて復号化し元映像データＩｍａｇｅＢを生成する。さらに、通信装置Ａは、該元映像データを、表示制御部１９に設定し、表示部６の表示領域２３におけるユーザＢの映像を更新する。なお、この際、通信装置Ａは、通信装置Ｃから受信したＣ−Ａ［ＩｍａｇｅＣ：ＩｍａｇｅＤ］を使用せず破棄する。これにより、ユーザＡは、話者であるユーザＢの音声を聞きながらユーザＢの映像をリアルタイムに見ることができる。
【０２０５】
〔通信装置Ｂに関して〕
次に、本実施例における通信装置Ｂの役割について説明する。
【０２０６】
〔通信装置Ｂの映像パケットの送信に関して〕
通信装置Ｂは、音声データに関しては実施例１と同様の処理を行う。また、通信装置Ｂは、ＷＡＮ  Ｉ／Ｆ部１３を介して、通信装置Ａに音声パケットＢ−Ａ［Ｂ］、通信装置Ｃに音声パケットＢ−Ｃ［Ｂ］を送信する。
【０２０７】
また、通信装置Ｂは、映像カメラ入力部７から入力されるユーザＢの映像を、カメラＩ／Ｆ部２０でデジタルデータとし、該デジタルデータを、通信装置Ａおよび通信装置Ｃと通信装置Ｂとの間で予め取りきめられた映像コーデック方式に基づいて、符号化部１５にて圧縮する。さらに、通信装置Ｂは、図３に示したパケット構成におけるデータ領域にユーザＢの圧縮された映像データ［ＩｍａｇｅＢ］を格納する。さらに、通信装置Ｂは、ＷＡＮ  Ｉ／Ｆ部１３を介して、通信装置Ａに映像パケットＢ−Ａ［ＩｍａｇｅＢ］、通信装置ＣにＢ−Ｃ［ＩｍａｇｅＢ］を送信する。
【０２０８】
〔通信装置Ｂの映像パケットの受信に関して〕
通信装置Ｂは、通信装置ＡからユーザＡの音声パケットＡ−Ｂ［Ａ］および映像パケットＡ−Ｂ［ＩｍａｇｅＡ］を、通信装置ＣからユーザＣまたはユーザＤの音声を含む音声パケットＣ−Ｂ［Ｃ：Ｄ］および映像パケットＣ−Ｂ［ＩｍａｇｅＣ：ＩｍａｇｅＤ］をＷＡＮ  Ｉ／Ｆ部１３を介して受信する。その後、通信装置Ｂは、実施例１と同様に、受信した音声パケットＡ−Ｂ［Ａ］とＣ−Ｂ［Ｃ：Ｄ］からそれぞれの元音声データを復号化し、この２つの元音声データの音量を比較する。なお、本実施例では、ユーザＡの音量が大きいものとする。
【０２０９】
さらに、通信装置Ｂは、音量の大きかったユーザＡの映像Ａ−Ｂ［ＩｍａｇｅＡ］を、通信装置Ａ、通信装置Ｂおよび通信装置Ｃとの間で予め取りきめられた映像コーデック方式で、復号化部１６にて復号化し、元映像データＩｍａｇｅＡを生成する。その後、通信装置Ｂは、該元映像データを表示制御部１９に設定し、表示部６の表示領域２２におけるユーザＡの映像を更新する。この際、通信装置Ｂは、通信装置Ｃから受信したＣ−Ｂ［ＩｍａｇｅＣ：ＩｍａｇｅＤ］を使用せず破棄する。これにより、ユーザＢは、自通信装置以外で音声の音量の最も大きいユーザＡの映像をリアルタイムで見ることが可能となる。
【０２１０】
〔通信装置Ｄに関して〕
次に、本実施例における通信装置Ｄの役割について説明する。
【０２１１】
〔通信装置Ｄの映像パケットの送信に関して〕
通信装置Ｄは、音声データに関しては実施例１と同様の処理を行う。また、通信装置Ｄは、ＷＡＮ  Ｉ／Ｆ部１３を介して、通信装置Ｃに音声パケットＤ−Ｃ［Ｄ］を送信する。
【０２１２】
また、通信装置Ｄは、映像カメラ入力部７から入力されるユーザＤの映像を、カメラＩ／Ｆ部２０でデジタルデータとし、該デジタルデータを、通信装置Ｄと通信装置Ｃとの間で予め取りきめられた映像コーデック方式に基づいて、符号化部１５にて圧縮する。さらに、通信装置Ｄは、図３に示したパケット構成におけるデータ領域にユーザＤの圧縮された映像データ［ＩｍａｇｅＤ］を格納する。さらに、通信装置Ｄは、ＷＡＮ  Ｉ／Ｆ部１３を介して、通信装置Ｃに映像パケットＤ−Ｃ［ＩｍａｇｅＤ］を送信する。
【０２１３】
〔通信装置Ｄの映像パケットの受信に関して〕
通信装置Ｄは、通信装置ＣからユーザＡ、ユーザＢ、ユーザＣの中で最も音量の大きかったユーザの音声データを含んだ音声パケットＣ−Ｄ［Ａ：Ｂ：Ｃ］、およびそのユーザの映像データを含んだ映像パケットＣ−Ｄ［ＩｍａｇｅＡ：ＩｍａｇｅＢ：ＩｍａｇｅＣ］を、ＷＡＮ  Ｉ／Ｆ部１３を介して受信する。その後、通信装置Ｄは、通信装置Ｄと通信装置Ｃとの間で予め取りきめられた音声コーデック方式で元音声データを、復号化する。通信装置Ｄは、通信装置Ｃからの音声パケットに含まれる音声データがどのユーザのものであるかは、データパケットが図４の構成を取る方法を用いることにより可能である。ここでは、ユーザＢの音声データが通信装置Ｃからの音声パケットに含まれているとする。
【０２１４】
通信装置Ｄは、映像パケットＣ−Ｄ［ＩｍａｇｅＡ：ＩｍａｇｅＢ：ＩｍａｇｅＣ］に含まれるのがユーザＢの映像であるので、その映像パケットに含まれるユーザＢの圧縮された映像データ［ＩｍａｇｅＢ］を、通信装置Ｄと通信装置Ｃとの間で予め取りきめられた映像コーデック方式で復号化部１６にて復号化することにより元映像データＩｍａｇｅＢを生成する。その後、通信装置Ｄは、該元映像データを表示制御部１９に設定し、表示部６の表示領域２３におけるユーザＢの映像を更新する。なお、通信装置Ｄは、この際、ユーザＡおよびユーザＣの映像は更新しない。
【０２１５】
以上が本発明の説明であるが、話者以外の映像が更新されないまま長時間が経過するのを避けるため、ある周期的な時間を設定し、その時間毎に話者でない映像パケットを送信することで、話者でないユーザの映像も周期的に更新するように構成してもよい。
【０２１６】
【発明の効果】
本発明の通信装置は、以上のように、他の通信装置から受信した音声データと自通信装置の生成する音声データとを合成して新たな一つの音声データを生成する音声データ合成手段と、上記音声データ合成手段により合成された音声データを音声パケットとして構成する音声パケット構成手段とを備えているものである。
【０２１７】
上記構成によれば、音声パケット構成手段により、他の通信装置から受信した音声データと自通信装置の生成する音声データとを合成した一つの音声データを音声パケットとして構成し、他の通信装置に送信することができる。したがって、本発明の通信装置は、音声データ合成手段と音声パケット構成手段とにより、該通信装置にて受信される複数の音声データから、一つの音声データのみを他の通信装置に送信することが可能である。
【０２１８】
したがって、現在多者間通信を行っている複数の通信装置と、新規に多者間通信に参加する通信装置とを、本発明の通信装置により中継すれば、新規に多者間通信に参加する通話装置は、本発明の通信装置から、現在多者間通信を行っているユーザの音声データが合成された音声データを受信することができる。すなわち、新規に多者間通信に参加する通信装置と、現在多者間通信を行っている複数の通信装置のそれぞれとの間において音声パケットの送受信を行わなくても、多者間通信を実現することができる。
【０２１９】
よって、本発明の通信装置によれば、多者間通信に参加する通信装置の増加に伴う音声パケットの増加を抑えることができる。それゆえ、多者間通信を行うことによる通信帯域への圧迫を抑制することができるという効果を奏する。
【０２２０】
また、新規に多者間通信に参加する通信装置は、多者間通信を行っているすべての通信装置との通信機能を備えていなくても、本発明の通信装置との通信を行いさえすれば多者間通信を実現できる。したがって、新規に多者間通信に参加する通信装置の高機能化、高価格化を抑制できるという効果を奏する。さらに、従来必要であった多者間通信サービスを提供する事業者との事前契約を不要とすることができるという効果を奏する。
【０２２１】
また、本発明の通信装置は、以上のように、他の通信装置から受信した音声データの音量と、自通信装置の生成する音声データの音量との大小を判定する音量判定手段と、上記音量判定手段の判定結果に基づき、上記受信した音声データと上記自通信装置の生成する音声データとから新たな一つの音声データを生成し、該データを音声パケットとして構成する音声パケット構成手段とを備えているものである。
【０２２２】
上記構成によれば、音量判定手段により、他の通信装置から受信した音声データの音量と自通信装置の生成する音声データとのいずれが大きいかを判定することができる。すなわち、音量判定手段により、現在の多者間通信において、主導的に会話しているユーザの音声データを判定することができる。
【０２２３】
さらに、音声パケット構成手段により、大きいほうの音声データを音声パケットとして構成し、他の通信装置に送信することができる。すなわち、本発明の通信装置は、音声パケット構成手段により、主導的に会話しているユーザの音声データのみをパケット化して他の通信装置へ送信することができる。
【０２２４】
このように、本発明の通信装置は、音量判定手段と音声パケット構成手段とにより、該通信装置にて受信される複数の音声データから、主導的に会話しているユーザの音声データのみを音量比較により抽出し、他の通信装置に送信することが可能である。
【０２２５】
したがって、現在多者間通信を行っている複数の通信装置と、新規に多者間通信に参加する通信装置とを、本発明の通信装置により中継すれば、新規に多者間通信に参加する通話装置は、本発明の通信装置から、現在の通信において主導的に会話しているユーザの音声を受信することができる。すなわち、新規に多者間通信に参加する通信装置と、現在多者間通信を行っている複数の通信装置のそれぞれとの間において音声パケットの送受信を行わなくても、多者間通信を実現することができる。
【０２２６】
よって、本発明の通信装置は、多者間通信に参加する通信装置の増加に伴う音声パケットの増加を抑えることができる。さらに、本発明の通信装置は、音量判定手段と音声パケット構成手段とにより、主導的に会話しているユーザの音声データのみを音量比較により抽出するので、主導的に会話しているユーザ以外のユーザのひそひそ声やバックグラウンドノイズをカットすることができる。それゆえ、本発明の通信装置によれば、多者間通信を行うことによる通信帯域への圧迫を抑制することができるという効果を奏する。
【０２２７】
また、新規に多者間通信に参加する通信装置は、多者間通信を行っているすべての通信装置との通信機能を備えていなくても、本発明の通信装置との通信を行いさえすれば多者間通信を実現できる。したがって、新規に多者間通信に参加する通信装置の高機能化、高価格化を抑制できるという効果を奏する。さらに、従来必要であった多者間通信サービスを提供する事業者との事前契約を不要とすることができるという効果を奏する。
【０２２８】
また、本発明の通信装置は、以上のように、他の通信装置から受信した音声データの音量と、自通信装置の生成する音声データの音量との大小を判定する音量判定手段と、上記音量判定手段の判定結果に基づき、上記受信した音声データに対応する映像データと上記自通信装置の生成する映像データとから新たな一つの映像データを生成し、該データを映像パケットとして構成する映像パケット構成手段とを備えているものである。
【０２２９】
上記構成によれば、音量判定手段により、他の通信装置から受信した音声データの音量と自通信装置の生成する音声データとのいずれが大きいかを判定することができる。すなわち、音量判定手段により、現在の多者間通信において、主導的に会話しているユーザの音声データを判定することができる。
【０２３０】
さらに、映像パケット構成手段により、大きいほうの音声データに対応する映像データを映像パケットとして構成し、他の通信装置に送信することができる。すなわち、本発明の通信装置は、映像パケット構成手段により、主導的に会話しているユーザの映像データのみをパケット化して他の通信装置へ送信することができる。
【０２３１】
このように、本発明の通信装置は、音量判定手段と映像パケット構成手段とにより、該通信装置にて受信される複数の映像データから、主導的に会話しているユーザの映像データのみを音量比較により抽出し、他の通信装置に送信することが可能である。
【０２３２】
したがって、現在多者間通信を行っている複数の通信装置と、新規に多者間通信に参加する通信装置とを、本発明の通信装置により中継すれば、新規に多者間通信に参加する通話装置は、本発明の通信装置から、現在の通信において主導的に会話しているユーザの映像を受信することができる。すなわち、新規に多者間通信に参加する通信装置と、現在多者間通信を行っている複数の通信装置のそれぞれとの間において映像パケットの送受信を行わなくても、多者間通信を実現することができる。
【０２３３】
よって、本発明の通信装置は、多者間通信に参加する通信装置の増加に伴う映像パケットの増加を抑えることができる。それゆえ、本発明の通信装置によれば、多者間通信を行うことによる通信帯域への圧迫を抑制することができるという効果を奏する。
【０２３４】
また、新規に多者間通信に参加する通信装置は、多者間通信を行っているすべての通信装置との通信機能を備えていなくても、本発明の通信装置との通信を行いさえすれば多者間通信を実現できる。したがって、新規に多者間通信に参加する通信装置の高機能化、高価格化を抑制できるという効果を奏する。さらに、従来必要であった多者間通信サービスを提供する事業者との事前契約を不要とすることができるという効果を奏する。
【０２３５】
また、本発明の通信装置は、以上のように、上記構成の通信装置において、第１の映像コーデック方式に基づいて映像データの圧縮を行う符号化手段と、第１の映像コーデック方式とは異なる第２の映像コーデック方式に基づいて映像データの復号化を行う復号化手段とを備えているものである。
【０２３６】
上記構成によれば、本発明の通信装置は、復号化手段を用いて第２の映像コーデック方式により圧縮された映像データを復号化し、その復号化された映像データを符号化手段により第１の映像コーデック方式に基づいて圧縮することができる。すなわち、本発明の通信装置によれば、映像データのコーデック方式を変換することができる。
【０２３７】
したがって、本発明の通信装置を、多者間通信において共通の映像コーデック方式をもたない通信装置の間に配置することにより、コーデック方式の異なる通信装置間での映像データの通信を可能とすることができるという効果を奏する。
【０２３８】
また、本発明の通信装置は、以上のように、上記構成の通信装置において、第１の音声コーデック方式に基づいて音声データの圧縮を行う符号化手段と、第１の音声コーデック方式とは異なる第２の音声コーデック方式に基づいて音声データの復号化を行う復号化手段とを備えているものである。
【０２３９】
上記構成によれば、本発明の通信装置は、復号化手段を用いて第２の音声コーデック方式により圧縮された音声データを復号化し、その復号化された音声データを符号化手段により第１の音声コーデック方式に基づいて圧縮することができる。すなわち、本発明の通信装置によれば、音声データのコーデック方式を変換することができる。
【０２４０】
したがって、本発明の通信装置を、多者間通信において共通の音声コーデック方式をもたない通信装置の間に配置することにより、コーデック方式の異なる通信装置間での音声データの通信を可能とすることができるという効果を奏する。
【０２４１】
また、本発明の通信システムは、以上のように、上記構成のいずれかの通信装置を備えているものである。
【０２４２】
上記構成の通信システムによれば、上記構成の通信装置と同様の作用効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る通信装置の制御部の構成を示すブロック図である。
【図２】図１の制御部を有する通信装置の構成を示す図である。
【図３】図２の通信装置により送受信される音声パケットまたは映像パケットの構成を示す図である。
【図４】図３の音声パケットまたは映像パケットがデータ元アドレスを含む場合の構成を示す図である。
【図５】図２の通信装置により送受信される制御メッセージパケットの構成を示す図である。
【図６】本発明の通信システムによりネットワーク上を送受信される、音声パケットの経路の一実施例を示す図である。
【図７】図６の経路にて送受信される音声パケットの構成を示す図である。
【図８】本発明の通信システムによりネットワーク上を送受信される、音声パケットの経路に係る他の実施例を示す図である。
【図９】本発明の通信システムにより１２個の通信装置間で多者間通信を行う場合の音声パケットの経路を示す図である。
【図１０】本発明の通信システムにより４個の通信装置間で多者間通信を行う場合の制御メッセージの交換手順を示す図である。
【図１１】本発明の通信システムによりネットワーク上を送受信される、映像パケットの経路の一実施例を示す図である。
【図１２】本発明の通信装置における表示部の構成を示す図である。
【図１３】図１２の経路にて送受信される映像パケットの構成を示す図である。
【図１４】中央制御装置を用いる従来の多者間通信システムの構成を示す図である。
【図１５】従来の多者間通信システムにおける音声パケットの経路を示す図である。
【図１６】多地点接続サーバを用いる従来の多者間通信システムの構成を示す図である。
【符号の説明】
１    通信装置
１０  ＣＰＵ（音声パケット構成手段、映像パケット構成手段）
１５  符号化部（符号化手段）
１６  復号化部（復号化手段）
１８  音声データ合成部（音声データ合成手段）
２１  音量判定部（音量判定手段）
【図１】
2004241934.tif 000003
【図２】
2004241934.tif 000004
【図３】
2004241934.tif 000005
【図４】
2004241934.tif 000006
【図５】
2004241934.tif 000007
【図６】
2004241934.tif 000008
【図７】
2004241934.tif 000009
【図８】
2004241934.tif 000010
【図９】
2004241934.tif 000011
【図１０】
2004241934.tif 000012
【図１１】
2004241934.tif 000013
【図１２】
2004241934.tif 000014
【図１３】
2004241934.tif 000015
【図１４】
2004241934.tif 000016
【図１５】
2004241934.tif 000017
【図１６】
2004241934.tif 000018