(57)【要約】【課題】音声の明瞭度を向上させ，また映像に合わせて音声による音像を定位させることを可能とすることにより会議などの臨場感をより高める。【解決手段】多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続し，各端末装置は，複数の音声出力チャンネル１０９と，複数の映像出力チャンネル１０７とを備え，受信音声重畳器１５０により，ネットワークを介して取込んだ他の端末装置ごとの各音声情報に基づいて，スピーカなどが接続されている音声出力チャンネルの数に応じた重畳処理を行い，映像重畳器１４０により，ネットワークを介して取込んだ他の端末装置ごとの各映像情報及びカメラ１８２から取込んだ映像情報に基づいて，モニタが接続されている映像出力チャンネルの数に応じた重畳処理を行うことにより，複数のチャンネルに音声，映像を適切に配分しつつ各地点の音声と映像を出力する。【選択図】    図１５
2004208051.tif 000002
【特許請求の範囲】
【請求項１】
多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステムであって，
前記各端末装置は，
音声出力手段を接続可能な１又は複数の音声出力チャンネルと，
前記音声出力チャンネルを介して出力する音声信号を生成する音声信号生成手段とを備え，
前記音声信号生成手段は，前記ネットワークを介して受信した他の端末装置ごとの音声情報に基づいて，少なくとも前記音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って，前記音声信号を生成することを特徴とする多地点間コミニュケーションシステム。
【請求項２】
多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステムであって，
前記各端末装置は，
映像表示手段を接続可能な１又は複数の映像出力チャンネルと，
前記映像出力チャンネルを介して出力する映像信号を生成する映像信号生成手段とを備え，
前記映像信号生成手段は，少なくとも前記ネットワークを介して取込んだ他の端末装置ごとの映像情報に基づいて，少なくとも前記映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，前記映像信号を生成することを特徴とする多地点間コミニュケーションシステム。
【請求項３】
多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステムの端末装置であって，
音声出力手段を接続可能な１又は複数の音声出力チャンネルと，
前記音声出力チャンネルを介して出力する音声信号を生成する音声信号生成手段とを備え，
前記音声信号生成手段は，前記ネットワークを介して取込んだ他の端末装置ごとの音声情報に基づいて，少なくとも前記音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って，前記音声信号を生成することを特徴とする端末装置。
【請求項４】
さらに，集音手段を接続可能な音声入力チャンネルと，
前記ネットワークを介して他の端末装置へ送信する音声信号を生成する送信音声信号生成手段とを設け，
前記送信音声信号生成手段は，前記ネットワークを介して取込んだ他の端末装置ごとの音声情報及び前記音声入力チャンネルを介して入力した前記集音手段からの音声情報に基づいて，送信対象となる端末装置の音声を除く他の音声をそれぞれ分離可能に加えて送信用の音声信号を生成することを特徴とする請求項３に記載の端末装置。
【請求項５】
前記音声信号生成手段は，前記音声出力手段を接続して使用する音声出力チャンネルが２つの場合に，前記各端末装置から入力された各地点の音声情報に対して重畳処理を行って，各地点の音声情報を２つの音声出力チャンネルへ振り分ける音声信号を生成することを特徴とする請求項３に記載の端末装置。
【請求項６】
前記音声信号生成手段は，前記ネットワークを介して取込んだ他の端末装置ごとの音声符号化データを伸張復号化して出力する復号手段と，
前記復号手段からの出力信号に基づいて，前記音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って前記音声信号を生成して出力する音声信号重畳手段と，
前記音声信号重畳手段からの出力信号に対して，その出力信号に基づく音声を放音させるために雑音を除去するフィルタ処理を行うフィルタ処理手段と，
前記フィルタ処理手段からの出力信号を前記音声出力手段に応じた信号に変換して，当該音声出力チャンネルへ出力する音声出力信号変換手段と，
を設けたことを特徴とする請求項３に記載の端末装置。
【請求項７】
前記音声信号生成手段は，前記ネットワークを介して受信した他の端末装置ごとの音声情報に基づいて，自端末装置に接続されている他の端末装置の数及び前記音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って，前記音声信号を生成することを特徴とする請求項３に記載の端末装置。
【請求項８】
前記音声信号生成手段は，前記音声出力手段を接続して使用する音声出力チャンネルの数が，自端末装置に接続されている他の端末装置の数よりも多いか又は等しいときには，前記他の端末装置からの各音声情報に対して重畳処理を行わずに音声信号を生成し，各音声信号を前記各音声出力チャンネルへ出力することを特徴とする請求項７に記載の端末装置。
【請求項９】
前記音声信号生成手段は，前記音声出力手段を接続して使用する音声出力チャンネルの数が，自端末装置に接続されている他の端末装置の数よりも少ないときには，前記ネットワークを介して受信した他の端末装置ごとの音声情報に対して，前記音声出力チャンネル数に応じて各音声を振分ける重畳処理を行って，前記音声信号を生成することを特徴とする請求項７に記載の端末装置。
【請求項１０】
各端末装置からの音声情報の送受信は，パケット化されたデータのやり取りにより行うことを特徴とする請求項３に記載の端末装置。
【請求項１１】
各端末装置からの音声情報の送受信は，回線インタフェースを介して行うことを特徴とする請求項３に記載の端末装置。
【請求項１２】
前記音声出力チャンネル数は少なくとも５つであり，各音声出力チャンネルを５．１チャンネルのサラウンドアンプに接続したことを特徴とする請求項３に記載の端末装置。
【請求項１３】
前記音声出力手段は，ヘッドフォンステレオアンプであることを特徴とする請求項３に記載の端末装置。
【請求項１４】
多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステムの端末装置であって，
映像表示手段を接続可能な１又は複数の映像出力チャンネルと，
前記映像出力チャンネルを介して出力する映像信号を生成する映像信号生成手段とを備え，
前記映像信号生成手段は，少なくとも前記ネットワークを介して取込んだ他の端末装置ごとの映像情報に基づいて，少なくとも前記映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，前記映像信号を生成することを特徴とする端末装置。
【請求項１５】
さらに，撮像手段を接続可能な映像入力チャンネルと，
前記ネットワークを介して他の端末装置へ送信する映像信号を生成する送信映像信号生成手段とを設け，
前記送信映像信号生成手段は，前記ネットワークを介して取込んだ他の端末装置ごとの映像情報及び前記映像入力チャンネルを介して入力した前記撮像手段からの映像情報に基づいて，各映像をそれぞれ分離可能に加えて送信用の映像信号を生成することを特徴とする請求項１４に記載の端末装置。
【請求項１６】
前記映像信号生成手段は，前記各端末装置から入力された各地点の映像情報に対して，各地点数に応じて１つの画面を分割し，各分割部位に各地点からの映像が位置するように重畳処理を行って，映像信号を生成することを特徴とする請求項１４に記載の端末装置。
【請求項１７】
前記映像信号生成手段は，前記ネットワークを介して取込んだ他の端末装置ごとの映像符号化データを伸張復号化して出力する復号手段と，
前記復号手段からの出力信号及び前記映像入力チャンネルを介して入力した前記撮像手段からの入力信号に対して，前記映像表示手段が接続されている映像出力チャンネルの数に応じた重畳処理を行って前記映像信号を生成して出力する映像信号重畳手段と，
前記映像信号重畳手段からの出力信号を前記映像表示手段に応じた信号に変換して，当該映像出力チャンネルへ出力する映像出力信号変換手段と，
を設けたことを特徴とする請求項１４に記載の端末装置。
【請求項１８】
前記映像信号生成手段は，少なくとも前記ネットワークを介して受信した他の端末装置ごとの映像情報に基づいて，自端末装置に接続されている他の端末装置の数及び前記映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，前記映像信号を生成することを特徴とする請求項１４に記載の端末装置。
【請求項１９】
前記映像信号生成手段は，前記映像表示手段を接続して使用する映像出力チャンネルの数が，自端末装置に接続されている他の端末装置の数よりも多いか又は等しいときには，前記他の端末装置からの各映像情報に対して重畳処理を行わずに映像信号を生成し，各映像信号を前記各映像出力チャンネルへ出力することを特徴とする請求項１８に記載の端末装置。
【請求項２０】
前記映像信号生成手段は，前記映像表示手段を接続して使用する映像出力チャンネルの数が，自端末装置に接続されている他の端末装置の数よりも少ないときには，前記ネットワークを介して受信した他の端末装置ごとの映像情報に対して，前記映像出力チャンネル数に応じて各映像を振分ける重畳処理を行って，前記映像信号を生成することを特徴とする請求項１８に記載の端末装置。
【請求項２１】
各端末装置からの映像情報の送受信は，パケット化されたデータのやり取りにより行うことを特徴とする請求項１４に記載の端末装置。
【請求項２２】
各端末装置からの映像情報の送受信は，回線インタフェースを介して行うことを特徴とする請求項１４に記載の端末装置。
【請求項２３】
前記映像信号生成手段は，撮像手段を接続可能な映像入力チャンネルを備え，前記ネットワークを介して受信した他の端末装置ごとの映像情報及び前記映像入力チャンネルを介して取込んだ前記撮像手段からの映像情報に基づいて，少なくとも前記映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，前記映像信号を生成することを特徴とする請求項１４に記載の端末装置。
【請求項２４】
多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステムの端末装置であって，
音声出力手段を接続可能な１又は複数の音声出力チャンネルと，
映像表示手段を接続可能な１又は複数の映像出力チャンネルと，
前記音声出力チャンネルを介して出力する音声信号を生成する音声信号生成手段と，
前記映像出力チャンネルを介して出力する映像信号を生成する映像信号生成手段とを備え，
前記音声信号生成手段は，前記ネットワークを介して取込んだ他の端末装置ごとの音声情報に基づいて，少なくとも前記音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って，前記音声信号を生成し，
前記映像信号生成手段は，少なくとも前記ネットワークを介して取込んだ他の端末装置ごとの映像情報に基づいて，少なくとも前記映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，前記映像信号を生成することを特徴とする端末装置。
【請求項２５】
前記映像信号生成手段は，前記各端末装置から入力された各地点の映像情報に対して，各地点数に応じて１つの画面を分割し，各分割部位に各地点からの映像が位置するように重畳処理を行って，映像信号を生成し，
前記音声信号生成手段は，前記各端末装置から入力された各音声情報に対して，映像信号生成手段によって重畳処理される各映像の位置に応じて対応する音声が前記音声出力チャンネルへ振分けられるように重畳処理することを特徴とする請求項２４に記載の端末装置。
【請求項２６】
前記映像表示手段を接続して使用する映像出力チャンネルは，１チャンネルであり，
前記映像信号生成手段は，１つの画面を少なくとも左右方向に複数分割して各分割部位に各映像が表示されるように重畳処理を行って，映像信号を生成し，
前記音声出力手段を接続して使用する音声出力チャンネルは，ステレオ２チャンネルであり，
分割部位に表示される映像に合わせて各音声を左右の音声出力チャンネルに振分けるように重畳処理を行って，音声信号を生成することを特徴とする請求項２５に記載の端末装置。
【請求項２７】
各端末装置は，前記音声情報と前記映像情報の送受信を行うインタフェースを設け，
前記インタフェースは，前記音声情報と前記映像情報とを時分割によりパケット化したデータを送受信することを特徴とする請求項２４に記載の端末装置。
【請求項２８】
各端末装置は，前記音声情報と前記映像情報の送受信を行うインタフェースを設け，
前記インタフェースは，前記音声情報と前記映像情報とを分離可能に多重化したデータを送受信することを特徴とする請求項２４に記載の端末装置。
【請求項２９】
多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステムの多地点間コミニュケーション方法であって，
各端末装置は，
前記ネットワークを介して取込んだ他の端末装置ごとの音声情報に基づいて，音声出力手段を接続可能な１又は複数の音声出力チャンネルのうち，少なくとも前記音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って，前記音声信号を生成し，
生成された音声信号を前記音声出力チャンネルを介して前記音声出力手段へ出力することを特徴とする多地点間コミニュケーション方法。
【請求項３０】
多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステムの多地点間コミニュケーション方法であって，
少なくとも前記ネットワークを介して取込んだ他の端末装置ごとの映像情報に基づいて，映像表示手段を接続可能な１又は複数の映像出力チャンネルのうち，少なくとも前記映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，前記映像信号を生成し，
生成された映像信号を前記映像出力チャンネルを介して前記映像表示手段へ出力することを特徴とする多地点間コミニュケーション方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，多地点間において例えば会議などのコミニュケーションを行うための多地点間コミニュケーションシステム，端末装置，多地点間コミニュケーション方法に関する。
【０００２】
【従来の技術】
多地点間コミニュケーションシステムとしては例えば多地点会議システムがある。多地点会議システムは，例えば各地点に配置された端末装置を接続して構成される。各端末装置は，その地点の映像を撮像するカメラ，その地点の音声を入力するマイクなどが接続される。そして，上記カメラで撮った映像や上記マイクから入力された音声は，圧縮符号化などの所定の処理が施された後，例えばＩＳＤＮなどの公衆回線を介して各端末装置に送出される。また各地点からの映像や音声が受信されると，伸張復号化などの所定の処理が施された後，その映像や音声がモニタやスピーカから出力される。これにより，例えば遠隔地にいる相手と顔を見ながらリアルタイムに話しができる（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−１３８９１３号公報
【発明が解決しようとする課題】
しかし，このような多地点会議システムにおいては，音声はできる限り明瞭であることが望ましい。この点，例えば音声を重畳して１つの音声出力チャンネルを介してスピーカから出力するものもあるが，このようなものでは複数の音声が１つのスピーカから聞えてくるので，各地点の音声が不明瞭で聞き難いという問題がある。各地点の音声を複数のスピーカから出力すれば音声の明瞭度は得られるとも考えられる。ところが，このようなものでは地点数が多いほど，多数のチャンネルを備えたスピーカシステムが必要となり，多地点会議システムが大型化してしまう。
【０００４】
また，多地点会議システムにおいては，まるでモニタの画面に映っている人が話をしているようにスピーカなどから音声が出力されるような臨場感あふれる会議を行うことができることが望ましい。この点，例えば各地点からの映像を重畳して１つの画面にしてモニタに映し出すものがある。ところが，例えば１つのスピーカから各地点の音声を重畳して出力するもののように，映像に対して音声による音像の定位が合わない場合には，モニタの画面に映っている人が話しをしているように聞くことは困難である。
【０００５】
また，各地点からの映像や音声を出力するモニタやスピーカなどのＡＶ（audiovisual）システムは，会議等を行う場所の大きさや会議等の規模などにより異なる場合が多い。このような場合にＡＶシステムの規模，例えばオーディオチャンネル数やビデオチャンネル数（又はモニタの数）などに合わせて，映像や音声を重畳して出力したり，重畳しないで出力したりすることができると便利である。
【０００６】
そこで，本発明は，このような問題に鑑みてなされたもので，その目的とするところは，音声の明瞭度をより向上させることができ，また映像に合わせて音声による音像を定位させることを可能とすることにより会議などの臨場感をより高めることができ，また映像や音声を出力する様々なシステムの規模に対応可能な多地点会議システム等を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するために，本発明のある観点によれば，多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステム又はこのシステムを構成する端末装置が提供される。このシステムの端末装置は，音声出力手段を接続可能な１又は複数の音声出力チャンネルと，音声出力チャンネルを介して出力する音声信号を生成する音声信号生成手段とを備え，音声信号生成手段は，ネットワークを介して受信した他の端末装置ごとの音声情報に基づいて，少なくとも音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って，音声信号を生成することを特徴とする。
【０００８】
本発明によれば，端末装置が備える１又は複数の音声出力チャンネルのうち，スピーカなどの音声出力手段を接続して使用する音声出力チャンネルの数に少なくとも応じた重畳処理を行って，その音声出力チャンネルを介して出力する音声信号を生成する。音声出力手段を接続して使用する音声出力チャンネルの数にはこれから接続して使用する場合のみならず，実際に音声出力手段が接続されている場合も含まれる。これにより，使用する音声出力チャンネルの数に応じて例えば複数の音声出力チャンネルへ振分けるように音声を重畳したり，重畳しないで出力することができる。このため，音声の明瞭度を向上させることができる。また，使用する音声出力チャンネルへ振分けることができるので，例えばその音声チャンネルへ接続するスピーカなどの配置を調整することにより，各地点の映像が表示される位置に応じて音声を出力させることもできる。これにより，映像に合わせて音声による音像の定位させることができるので，会議などの臨場感を向上させることができる。さらに，音声を出力するスピーカシステムなどのＡＶシステムの規模に応じて最適な音声の重畳を行うことができる。これにより，小さな規模のＡＶシステムであっても，音声の明瞭度を向上させることができ，臨場感も向上させることができる。
【０００９】
また，上記端末装置は，集音手段を接続可能な音声入力チャンネルと，ネットワークを介して他の端末装置へ送信する音声信号を生成する送信音声信号生成手段とを設け，送信音声信号生成手段は，ネットワークを介して取込んだ他の端末装置ごとの音声情報及び音声入力チャンネルを介して入力した集音手段からの音声情報に基づいて，送信対象となる端末装置の音声を除く他の音声をそれぞれ分離可能に加えて送信用の音声信号を生成するようにしてもよい。
【００１０】
これによれば，送信側の端末装置において，各地点の音声を受信側の端末装置で分離できるように加えて，送信用の音声信号を生成することができるので，受信側の端末装置で各地点の音声を全部又は一部重畳したり，又は重畳しないで出力することができる。このように，受信側の端末装置において各地点の音声の重畳を自由に行うことができる。また，送信対象となる端末装置の音声を除くことにより，エコーやハウリングなど防止することができる。
【００１１】
また，上記音声信号生成手段は，音声出力手段を接続して使用する音声出力チャンネルが２つの場合に，各端末装置から入力された各地点の音声情報に対して重畳処理を行って，各地点の音声情報を２つの音声出力チャンネルへ振り分ける音声信号を生成するように構成してもよい。
【００１２】
上記２つの音声出力チャンネルに例えばステレオ２チャンネルを有するオーディオシステムなどを接続すれば，各地点の音声を左右のスピーカに振分けるように重畳することができる。これにより，音声の明瞭度を向上させることができる。また例えばモニタに映像を左右に分割して出力するような場合には，映像に合わせて音声を左右の音声出力チャンネルに振分けることができるので，音声の明瞭度や臨場感をより向上させることができ，効果が大きい。
【００１３】
また，上記音声信号生成手段は，ネットワークを介して取込んだ他の端末装置ごとの音声符号化データを伸張復号化して出力する復号手段と，復号手段からの出力信号に基づいて，音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って音声信号を生成して出力する音声信号重畳手段と，音声信号重畳手段からの出力信号に対して，その出力信号に基づく音声を放音させるために雑音を除去するフィルタ処理を行うフィルタ処理手段と，フィルタ処理手段からの出力信号を音声出力手段に応じた信号に変換して，当該音声出力チャンネルへ出力する音声出力信号変換手段とを設けて構成してもよい。これによれば，受信した音声符号化データから音声信号を生成する際に，フィルタ処理を施すことにより，音声信号の回り込みによるエコーやハウリングを除去することができる。
【００１４】
また，上記音声信号生成手段は，ネットワークを介して受信した他の端末装置ごとの音声情報に基づいて，自端末装置に接続されている他の端末装置の数及び音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って，音声信号を生成するようにしてもよい。この場合，例えば音声出力手段を接続して使用する音声出力チャンネルの数が，自端末装置に接続されている他の端末装置の数よりも少ないときには，音声出力チャンネル数に応じて各音声を振分ける重畳処理を行って，音声信号を生成するようにしてもよい。また，音声出力手段を接続して使用する音声出力チャンネルの数が，自端末装置に接続されている他の端末装置の数よりも多いか又は等しいときには，他の端末装置からの各音声情報に対して重畳処理を行わずに音声信号を生成し，各音声信号を各音声出力チャンネルへ出力するようにしてもよい。
【００１５】
これによれば，音声出力チャンネルの数のみならず，他の端末装置の数，すなわち他の地点数も考慮して音声の重畳処理を行うので，他の地点数が多い場合であっても，音声出力手段を接続して使用する音声出力チャンネル数に応じて他の地点の音声を適切に重畳することができる。特に音声出力チャンネルが少ないＡＶシステムで音声を出力する場合であっても，各地点を振分けて重畳することができるので，音声の明瞭度を向上することができる。また音声出力手段を接続して使用する音声出力チャンネル数が多い場合には，各地点の音声を重畳しないでそれぞれの音声出力チャンネルから出力するので，音声の明瞭度をさらに向上することができる。
【００１６】
また，上記音声出力チャンネル数が少なくとも５つある場合には，各音声出力チャンネルを５．１チャンネルのサラウンドアンプに接続してもよい。これにより，１台のサラウンドアンプを利用することができるので，個別のオーディオアンプやアクティブスピーカを用意する必要がない点で，より簡単なＡＶシステムの構成により出力することができる。
【００１７】
また，音声出力手段は，ヘッドフォンステレオアンプであってもよい。これにより，ヘッドフォンからの他の地点の音声がマイクに入り込むことを防止できるので，エコーやハウリングを防止できる。このため，各端末装置にエコーキャンセラなどのフィルタ手段を設ける必要がなくなり，端末装置の構成をより簡単にすることができる。
【００１８】
各端末装置からの音声情報の送受信は，パケット化されたデータのやり取りにより行うようにしてもよく，回線インタフェースを介して行うようにしてもよい。これにより，インターネットなどの公衆回線網，ＷＡＮ，ＬＡＮ，ＩＰ−ＶＰＮなどの閉鎖回線網などあらゆるネットワークに対してデータのやり取りを行うことができる。
【００１９】
上記課題を解決するために，本発明の別の観点によれば，多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステム又はこのシステムを構成する端末装置が提供される。このシステムの端末装置は，映像表示手段を接続可能な１又は複数の映像出力チャンネルと，映像出力チャンネルを介して出力する映像信号を生成する映像信号生成手段とを備え，映像信号生成手段は，少なくともネットワークを介して取込んだ他の端末装置ごとの映像情報に基づいて，少なくとも映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，映像信号を生成することを特徴とする。
【００２０】
本発明によれば，端末装置が備える１又は複数の映像出力チャンネルのうち，モニタなどの映像表示手段を接続して使用する映像出力チャンネルの数に少なくとも応じた重畳処理を行って，その映像出力チャンネルを介して出力する映像信号を生成する。映像表示手段を接続して使用する映像出力チャンネルの数には，映像表示手段をこれから接続して使用する場合のみならず，実際に映像表示手段が接続されている場合も含まれる。これにより，複数のモニタを接続して使用する場合であっても，使用する映像出力チャンネルの数に応じて振分けるように映像を重畳したり，重畳しないで出力することができる。これにより，多くの地点と会話する場合であっても，映像を出力するＡＶシステムの規模に応じて最適な映像の重畳を行うことができる。また，音声の重畳に合わせて映像を重畳することができるので，音声による音像の定位を映像に合わせることができ，より小さな規模のＡＶシステムでも臨場感を向上させることができる。
【００２１】
また，上記端末装置は，撮像手段を接続可能な映像入力チャンネルと，ネットワークを介して他の端末装置へ送信する映像信号を生成する送信映像信号生成手段とを設け，送信映像信号生成手段は，ネットワークを介して取込んだ他の端末装置ごとの映像情報及び映像入力チャンネルを介して入力した撮像手段からの映像情報に基づいて，各映像をそれぞれ分離可能に加えて送信用の映像信号を生成するようにしてもよい。
【００２２】
これによれば，送信側の端末装置において，各地点の映像を受信側の端末装置で分離できるように加えて，送信用の映像信号を生成することができるので，受信側の端末装置で各地点の映像を全部又は一部重畳したり，又は重畳しないで出力することができる。このように，受信側の端末装置において各地点の映像の重畳を自由に行うことができる。
【００２３】
また，上記映像信号生成手段は，各端末装置から入力された各地点の映像情報に対して重畳処理を行って，各地点数に応じて１つの画面を分割し，各分割部位に各地点からの映像が位置する映像信号を生成するようにしてもよい。
【００２４】
これによれば，各地点数に応じて１つの画面を２分割，３分割，４分割，６分割などに分割して，各分割部位に各地点からの映像がそれぞれ位置するようにすることができるので，映像表示手段を接続して使用する映像出力チャンネルが少ない場合であっても，できる限り多くの地点の映像を表示することができる。また，例えば音声が近い位置に映像を位置することもできるので，音声による音像の定位を映像に合わせることができ，会議などの臨場感を向上させることができる。
【００２５】
また，上記映像信号生成手段は，ネットワークを介して取込んだ他の端末装置ごとの映像符号化データを伸張復号化して出力する復号手段と，復号手段からの出力信号及び映像入力チャンネルを介して入力した撮像手段からの入力信号に対して，映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って映像信号を生成して出力する映像信号重畳手段と，映像信号重畳手段からの出力信号を映像表示手段に応じた信号に変換して，当該映像出力チャンネルへ出力する映像出力信号変換手段とを設けて構成してもよい。これによれば，モニタなどの映像表示手段に合わせて例えばＮＴＳＣ，ＰＡＬ，ＳＥＣＡＭなどの信号規格に沿うように映像信号を所定のビデオフォーマットに変換することができる。これにより，あらゆる映像表示手段を有するＡＶシステムを利用できる。
【００２６】
また，上記映像信号生成手段は，少なくともネットワークを介して受信した他の端末装置ごとの映像情報に基づいて，自端末装置に接続されている他の端末装置の数及び映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，映像信号を生成するようにしてもよい。この場合，映像表示手段を接続して使用する映像出力チャンネルの数が，自端末装置に接続されている他の端末装置の数よりも多いか又は等しいときには，他の端末装置からの各映像情報に対して重畳処理を行わずに映像信号を生成し，各映像信号を各映像出力チャンネルへ出力するようにしてもよい。また，映像表示手段を接続して使用する映像出力チャンネルの数が，自端末装置に接続されている他の端末装置の数よりも少ないときには，映像出力チャンネル数に応じて各映像を振分ける重畳処理を行って，映像信号を生成するようにしてもよい。
【００２７】
これによれば，映像出力チャンネルの数のみならず，他の端末装置の数，すなわち他の地点数も考慮して映像の重畳処理を行うので，他の地点数が多い場合であっても，映像表示手段を接続して使用する映像出力チャンネル数に応じて他の地点の映像を適切に重畳することができる。また映像表示手段を接続して使用する映像出力チャンネル数が多い場合には，各地点の映像を重畳しないでそれぞれの映像出力チャンネルから出力することもできる。
【００２８】
また，各端末装置からの映像情報の送受信は，パケット化されたデータのやり取りにより行うようにしてもよく，また回線インタフェースを介して行うようにしてもよい。これにより，インターネットなどの公衆回線網，ＷＡＮ，ＬＡＮ，ＩＰ−ＶＰＮなどの閉鎖回線網などあらゆるネットワークに対してデータのやり取りを行うことができる。
【００２９】
また，上記映像信号生成手段は，撮像手段を接続可能な映像入力チャンネルを備え，ネットワークを介して受信した他の端末装置ごとの映像情報及び映像入力チャンネルを介して取込んだ撮像手段からの映像情報に基づいて，少なくとも映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，映像信号を生成するようにしてもよい。これによれば，他の地点からの映像に加えて自端末装置からの映像も表示することができる。
【００３０】
上記課題を解決するため，本発明の別の観点によれば，多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステムの端末装置が提供される。この端末装置は，音声出力手段を接続可能な１又は複数の音声出力チャンネルと，映像表示手段を接続可能な１又は複数の映像出力チャンネルと，音声出力チャンネルを介して出力する音声信号を生成する音声信号生成手段と，映像出力チャンネルを介して出力する映像信号を生成する映像信号生成手段とを備え，音声信号生成手段は，ネットワークを介して取込んだ他の端末装置ごとの音声情報に基づいて，少なくとも音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って，音声信号を生成し，映像信号生成手段は，少なくともネットワークを介して取込んだ他の端末装置ごとの映像情報に基づいて，少なくとも映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，映像信号を生成することを特徴とする。これにより，音声の明瞭度を向上させることができるとともに，会議などの臨場感も向上させることができる。また映像や音声を出力する場合に，様々な規模のＡＶシステムに対応することができる。
【００３１】
上記の場合，映像信号生成手段は，各端末装置から入力された各地点の映像情報に対して，各地点数に応じて１つの画面を分割し，各分割部位に各地点からの映像が位置するように重畳処理を行って，映像信号を生成し，音声信号生成手段は，各端末装置から入力された各音声情報に対して，映像信号生成手段によって重畳処理される各映像の位置に応じて対応する音声が音声出力チャンネルへ振分けられるように重畳処理するようにしてもよい。例えば，映像表示手段を接続して使用する映像出力チャンネルは１チャンネル，音声出力チャンネルはステレオ２チャンネルであるときには，映像信号生成手段は，１つの画面を少なくとも左右方向に複数分割して各分割部位に各映像が表示されるように重畳処理を行って，映像信号を生成し，分割部位に表示される映像に合わせて各音声を左右の音声出力チャンネルに振分けるように重畳処理を行って，音声信号を生成するようにしてもよい。
【００３２】
これにより，各地点の映像の左右方向の位置に応じて各地点の音声を左右の音声出力チャンネルに振分けることができるので，音声の明瞭度を向上させることができるとともに，まるで映像に映っている人が話しているように聞えるので，会議などの会話の臨場感をより向上させるとができる。
【００３３】
また，上記各端末装置は，音声情報と映像情報の送受信を行うインタフェースを設け，インタフェースは音声情報と映像情報とを時分割によりパケット化したデータを送受信するようにしてもよい。またインタフェースは音声情報と映像情報とを分離可能に多重化したデータを送受信するようにしてもよい。これにより，音声情報と映像情報のやり取りを，インターネットなどの公衆回線網，ＷＡＮ，ＬＡＮ，ＩＰ−ＶＰＮなどの閉鎖回線網などあらゆるネットワークで行うことができる。
【００３４】
上記課題を解決するため，本発明の別の観点によれば，多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステムの多地点間コミニュケーション方法が提供される。この方法では，各端末装置は，ネットワークを介して取込んだ他の端末装置ごとの音声情報に基づいて，音声出力手段を接続可能な１又は複数の音声出力チャンネルのうち，少なくとも音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って，音声信号を生成し，生成された音声信号を音声出力チャンネルを介して音声出力手段へ出力することを特徴とする。
【００３５】
また別の観点によれば，多地点にそれぞれ設置された端末装置をそれぞれネットワークを介して接続してなる多地点間コミニュケーションシステムの多地点間コミニュケーション方法が提供される。この方法は，少なくともネットワークを介して取込んだ他の端末装置ごとの映像情報に基づいて，映像表示手段を接続可能な１又は複数の映像出力チャンネルのうち，少なくとも映像表示手段を接続して使用する映像出力チャンネルの数に応じた重畳処理を行って，映像信号を生成し，生成された映像信号を映像出力チャンネルを介して映像表示手段へ出力することを特徴とする。
【００３６】
上記方法によれば，音声の明瞭度を向上させることができるとともに，会議などの臨場感も向上させることができる。また映像や音声を出力する場合に，様々な規模のＡＶシステムに対応することができる。
【００３７】
【発明の実施の形態】
以下に添付図面を参照しながら，本発明にかかる多地点間コミニュケーションシステムの好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。
【００３８】
（第１の実施の形態）
本発明の第１の実施形態では，多地点間コミニュケーションシステムの１例として多地点会議システムについて説明する。本実施の形態にかかる多地点会議システムの全体ブロック構成を図１に示す。この多地点会議システムは，６地点テレビ会議装置の例である。多地点会議システムは，ある地点Ｎの多地点会議用の端末装置１００Ｎと，その地点Ｎ以外の５つの地点Ａ〜Ｅの多地点会議用の端末装置１００Ａ〜１００Ｅとをネットワーク１０１を介して接続して構成される。
【００３９】
上記ネットワーク１０１は，各端末装置を相互に双方向通信可能に接続するものであればよく，インターネットなどの公衆回線網，ＷＡＮ，ＬＡＮ，ＩＰ−ＶＰＮなどの閉鎖回線網も含まれる。第１の実施の形態では，ネットワーク１０１として例えばＬＡＮで接続される例を示す。なお，各端末装置をネットワーク１０１へ接続するための接続媒体は，ＦＤＤＩ（Fiber Distributed Data Interface）などによる光ファイバケーブル，Ｅｔｈｅｒｎｅｔによる同軸ケーブル又はツイストペアケーブル，もしくはＩＥＥＥ８０２．１１ｂなど，有線無線を問わず，衛星通信網なども含む。
【００４０】
上記端末装置１００Ｎは，自端末装置（又は近端端末装置）である。自端末装置が設置されている地点を例えば自機の地点（又は近端地点）という。端末装置１００Ａ〜１００Ｅは，自端末装置以外の他の端末装置（又は遠隔端末装置）である。他の端末装置が設置されている地点を例えば他機の地点（又は遠隔地点）という。
【００４１】
（端末装置の構成）
各端末装置１００Ａ〜１００Ｅ，１００Ｎは同様の構成であるため，端末装置１００Ｎの構成を図２を参照しながら代表して説明する。端末装置１００Ｎは，映像出力チャンネルを１つ，音声出力チャンネルを２つ設けたものである。この端末装置１００Ｎは，受信インタフェースの１例としてのデパケッタイザ１０２，送信インタフェースの１例としてのパケッタイザ１０４，制御部１０８を備える。上記デパケッタイザ１０２は，ネットワーク１０１から例えば時分割多重化などのパケット化処理されたデータを受信し，受信したデータのパケット化を解除する処理を行って，各地点に対応する映像符号データと音声符号データに分離する。上記パケッタイザ１０４は各地点に対応する映像符号データと音声符号データをパケット化処理して送信単位に構成し，ネットワーク１０１に送信する。
【００４２】
上記制御部１０８は，例えば制御部本体を構成するＣＰＵ（Central Processing Unit），ＣＰＵが実行するプログラムを記憶するＲＯＭ（Read Only Memory），ＣＰＵが処理を行う場合に使用するメモリエリアなどが設けられたＲＡＭ（Random Access Memory）などの他，ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），フラッシュメモリなどの読み書き可能な不揮発性メモリ１０８ａを備える。上記制御部１０８は後述する映像重畳器１４０，受信音声重畳器１５０に対して所定のコマンドを送出する。なお，制御部１０８の映像重畳器１４０に対する処理及び受信音声重畳器１５０に対する処理の詳細は後述する。
【００４３】
また制御部１０８のＣＰＵは，映像重畳器１４０や受信音声重畳器１５０などの端末装置１００Ｎ内の回路と例えばホストインタフェースにより接続されている。なお，ＣＰＵと端末装置１００Ｎ内の回路とは，ホストインタフェースに限られず，例えばＰＣＩバスインタフェース，シリアルインタフェースなどで接続するようにしてもよい。
【００４４】
上記制御部１０８は例えば操作パネルなどからなるユーザインタフェース１０５に接続されている。制御部１０８は，上記ユーザインタフェース１０５からの入力事項を不揮発性メモリ１０８ａに記憶するようになっている。
【００４５】
上記入力事項としては，端末装置情報，映像音声出力情報などがある。端末装置情報としては，例えば自端末装置１００Ｎに接続されている他の端末装置の数が挙げられる。また映像音声出力情報としては例えばビデオ情報としてモニタなどの映像表示手段を接続して使用する映像出力チャンネルの数（又は接続されているモニタの数）や画面タイプなどが挙げられる。
【００４６】
上記映像表示手段を接続して使用する映像出力チャンネルの数には，映像表示手段をこれから接続して使用する映像出力チャンネルの数のみならず，実際に映像表示手段が接続されている映像出力チャンネルの数も含まれる。例えば不揮発性メモリ１０８ａにはデフォルト値として端末装置に設けられているすべての映像出力チャンネルを，映像表示手段を接続して使用する映像出力チャンネルの数として記憶しておき，このデフォルト値を後からユーザインタフェース１０５などにより変更することができるようにしてもよい。
【００４７】
上記画面タイプというのは例えば通常のテレビ画面のような４：３画面（４対３スクリーン），ハイビジョンやワイドテレビの画面のような１６：９画面（１６対９スクリーン）などである。
【００４８】
その他の映像音声出力情報としては，自端末装置にスピーカなどの音声出力手段を接続して使用する音声出力チャンネルの数（又は接続されているスピーカの数）が挙げられる。上記音声出力手段を接続して使用する音声出力チャンネルの数には，音声表示手段をこれから接続して使用する音声出力チャンネルの数のみならず，実際に音声出力手段が接続されている音声出力チャンネルの数も含まれる。例えば不揮発性メモリ１０８ａにはデフォルト値として端末装置に設けられているすべての音声出力チャンネルを，音声出力手段を接続して使用する音声出力チャンネルの数として記憶しておき，このデフォルト値を後からユーザインタフェース１０５などにより変更することができるようにしてもよい。
【００４９】
これらの各情報を不揮発性メモリ１０８ａに記憶することにより，端末装置１００Ｎの電源を投入する度に各情報の入力を行う手間を省くことができる。なお，不揮発性メモリ１０８ａは必ずしも制御部１０８内に設けられている必要はなく，制御部１０８とは別個に設けてもよい。
【００５０】
また，上記端末装置１００Ｎは，デパケッタイザ１０２で分離された映像符号データを伸張復号化し，伸張処理して映像信号として出力する映像復号化手段の１例としての映像復号器１１０，映像重畳器１４０からの映像信号を圧縮符号化することにより映像符号データとしてパケッタイザ１０４に送る映像符号化手段の１例としての映像符号器１０６，デパケッタイザ１０２からの音声信号を伸張復号化して音声信号として出力する音声復号化手段の１例としての音声復号器１２０，送信音声重畳器１６０からの音声信号を圧縮符号化することにより音声符号データとしてパケッタイザ１０４に送る音声符号化手段の１例としての音声符号器１３０を備える。映像符号器１０６，音声符号器１３０はそれぞれエンコーダなどで構成される。
【００５１】
上記映像復号器１１０は，自端末装置１００Ｎが設置される地点以外の地点（Ａ〜Ｅ）からの映像信号をそれぞれ処理する映像復号器Ａ１１１〜Ｅ１１５により構成される。音声復号器１２０は，上記地点（Ａ〜Ｅ）からの音声信号をそれぞれ処理する音声復号器Ａ１２１〜Ｅ１２５により構成される。音声符号器１３０は，上記地点（Ａ〜Ｅ）へ送信する音声信号をそれぞれ処理する音声符号器Ａ１３１〜Ｅ１３５により構成される。映像復号器１１０，音声復号器１２０はそれぞれデコーダなどで構成される。
【００５２】
さらに，上記端末装置１００Ｎは，映像信号に対して後述する所定の映像重畳処理を行う映像重畳器１４０，受信した音声信号に対して後述する所定の音声重畳処理（例えば合成処理，ミキシング，音声定位のパンニングの処理）を行う受信音声重畳器１５０，送信する音声信号に対して後述する所定の音声重畳処理を行う送信音声重畳器１６０，音声信号の回り込み（エコー）を防止するフィルタ手段の１例としての後述のエコーキャンセラ１７０，入力映像変換器１８４，音声ＡＤ変換器１８８，出力映像変換器１９２，音声ＤＡ変換器１９４，１９６，モニタなどの映像表示手段を接続可能な映像出力チャンネル１０７，スピーカなどの音声出力手段を接続可能な音声出力チャンネル１０９Ｌ，１０９Ｒを備える。上記映像出力チャンネル１０７，音声出力チャンネル１０９Ｌ，１０９Ｒは，それぞれ映像出力端子，音声出力端子を介してステレオ２チャンネルのスピーカを内蔵したモニタ１９８が接続されている。
【００５３】
上記入力映像変換器１８４は，カメラ１８２などの撮像手段から入力した映像データにアナログデジタル変換などの所定の処理を施して端末装置１００Ｎ内で処理可能な映像信号とする。この入力映像変換器１８４からの映像信号は，上記映像重畳器１４０へ出力される。上記音声ＡＤ変換器１８８は，マイク１８６などの集音手段からの音声データをアナログデジタル変換などの処理を行って音声信号とする。この音声ＡＤ変換器１８８からの音声信号は，上記エコーキャンセラ１７０を介して送信音声重畳器１６０へ出力される。
【００５４】
上記出力映像変換器１９２は，上記映像重畳器１４０からの映像信号（出力信号Ｖ）を，映像出力チャンネル１０７に接続されているモニタ１９８の種類に応じた映像データに変換する。具体的にはモニタ１９８の種類に応じて例えばＮＴＳＣ，ＰＡＬ，ＳＥＣＡＭなどの信号規格に沿うように映像信号を所定のビデオフォーマットに変換し，映像出力チャンネル（ビデオ出力チャンネル）１０７から映像出力信号（Ｖｉｄｅｏ）として出力する。
【００５５】
上記音声ＤＡ変換器１９４，１９６は，音声信号に対してデジタルアナログ変換などの処理を行ってアナログ信号に変換し，音声出力チャンネル（オーディオ出力チャンネル）１０９Ｌ，１０９Ｒから擬似的なステレオ２チャンネルの音声出力信号（ＡｕｄｉｏＬ，ＡｕｄｉｏＲ）として出力する。映像出力チャンネル１０７，音声出力チャンネル１０９Ｌ，１０９Ｒは，例えば図２に示すようなステレオ２チャンネルの左右のスピーカを内蔵した１６：９画面構成のモニタ１９８に接続される。
【００５６】
上記映像重畳器１４０，受信音声重畳器１５０，送信音声重畳器１６０は例えばＭＵＸ（Multiplexer）により構成される。また映像重畳器１４０，受信音声重畳器１５０はそれぞれ上記制御部１０８からのコマンドによって所定の動作を行うようになっている。なお，端末装置１００Ｎに例えばパーソナルコンピュータなどのコンピュータを上位機として接続し，このコンピュータからのコマンドにより動作するように構成してもよい。
【００５７】
なお，大局的にとらえれば，各端末装置は映像出力チャンネルから出力する映像信号を生成する映像信号生成手段と，音声出力チャンネルから出力する音声信号を生成する音声信号生成手段を備える。上記映像信号生成手段は，少なくとも上記映像重畳器１４０を備える。但し，映像信号生成手段は，上記映像重畳器１４０の他に，映像復号器１１０，出力映像変換器１９２を含んでもよい。また音声信号生成手段は，少なくとも上記受信音声重畳器１５０を備える。但し，音声信号生成手段は，上記受信音声重畳器１５０の他に，音声復号器１２０，音声ＤＡ変換器１９４を含んでもよい。他の実施の形態においても同様である。
【００５８】
（映像重畳器への処理）
ここで，上記制御部１０８が行う映像重畳器１４０への処理の１例を図３に示す。先ずステップＳ１００にてモニタ１９８などの映像表示手段が接続されている映像出力チャンネルの数（又は端末装置１００Ｎに接続されているモニタの数）Ｋの情報を取得し，ステップＳ１１０にて端末装置１００Ｎに接続されているモニタ１９８の画面タイプ（例えば４：３画面か１６：９画面か）を取得する。上記映像出力チャンネル数Ｋやモニタの画面タイプは，例えば制御部１０８の不揮発性メモリ１０８ａに記憶されている映像音声出力情報から取得する。なお，上記映像出力チャンネル数Ｋや画面タイプの情報は，必ずしも制御部１０８の不揮発性メモリ１０８ａから取得する場合に限られない。例えば上記映像出力チャンネル数Ｋは，映像出力チャンネルごとに，モニタが接続しているか否かの接続状況を検出することにより取得してもよい。
【００５９】
次に，ステップＳ１２０にて端末装置１００Ｎに接続されている他の地点の端末装置の数（接続地点数）Ｔを取得する。接続地点数Ｔは，例えば制御部１０８の不揮発性メモリ１０８ａに記憶された端末装置情報から取得する。具体的には例えば図２の端末装置１００Ｎでは，接続地点数Ｔは５となる。
【００６０】
続いてステップＳ１３０にて接続地点数Ｔとモニタが接続されている映像出力チャンネル数Ｋを比較して，接続地点数Ｔが映像出力チャンネル数Ｋより少ないか又は等しいか（接続地点数Ｔ≦映像出力チャンネル数Ｋか否か）を判断する。
【００６１】
上記ステップＳ１３０にて接続地点数Ｔ≦映像出力チャンネル数Ｋであると判断した場合はステップＳ１４０にて映像を重畳しない画像重畳コマンドを映像重畳器１４０へ送信する。具体的には分割画面数を１とし，画面の両側の切り取りをなし（０）とする画像重畳コマンドを送信する。これにより，後述する図１６に示すように複数の映像出力チャンネルに複数のモニタが接続されている場合には，各モニタにそれぞれ各地点の映像が出力される。
【００６２】
上記ステップＳ１３０にて接続地点数Ｔ≦映像出力チャンネル数Ｋでないと判断した場合は，ステップＳ１５０にて接続地点数Ｔ≦４×Ｋ−１であるか否かを判断する。１つの画面を例えば左右に２分割しさらにそれを上下に分割して４分割した各分割画面に各地点の映像を表示することができるか否かの判断である。１つの画面を４分割する場合には，１つのモニタに最大で４地点の映像を表示することができるので，映像出力チャンネル数（モニタの数）Ｋの４倍の地点の映像を表示することができる。ところが，ここでは自端末装置１００Ｎのカメラ１８２から入力した映像も表示するため，映像出力チャンネルに接続されているモニタで表示できる最大の地点数４×Ｋから自分の地点数１を引算した４×Ｋ−１が他の地点の映像を表示できる最大の数となる。
【００６３】
上記ステップＳ１５０にて接続地点数≦４×Ｋ−１であると判断した場合はステップＳ１６０にて図４に示すような４分割画面の処理のサブルーチンを実行する。なお，このサブルーチンはモニタが複数接続されている場合には，各モニタへ出力する映像ごとに処理を実行する。
【００６４】
上記４分割画面の処理としては，図４に示すようにステップＳ２００にて上述したステップＳ１１０により取得したモニタの画面タイプの情報に基づいて，１６：９画面のモニタであるか否かを判断する。ステップＳ２００にて１６：９画面のモニタでないと判断した場合は，ステップＳ２１０にて４：３画面のモニタに４分割画面を出力する画像重畳コマンドを映像重畳器１４０へ送信して図３に示すステップＳ１６０へ戻る。具体的には画面分割数を４，画面の両側の切り取りをなし（０）とする画像重畳コマンドを送信する。
【００６５】
一方，映像重畳器１４０では，このような４：３画面のモニタに４分割画面を出力する画像重畳コマンドを受信すると，例えば図５に示す機能ブロックのような処理を行う。すなわち，映像重畳器１４０は，各地点の端末装置からの映像Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｎを入力すると，画像平坦化処理を行い，水平１／２間引処理，垂直１／２間引処理を行う。こうして処理された画像を画像合成処理して出力信号Ｖとして出力する。このとき画像合成処理は，接続されている地点の端末装置からの画像だけを選択して画像を合成する。例えばネットワーク１０１に端末装置Ｎの他に３地点の端末装置が接続されている場合には，図５に示すように自端末装置の地点Ｎを含む全４地点Ａ，Ｂ，Ｃ，Ｎの映像を１画面に合成した４分割画面の出力信号Ｖが出力される。これにより，モニタ１９８には４分割画面が出力される。例えば画面の左上部に地点Ａの映像，左下部に地点Ｃの映像，右上部に地点Ｂの映像，右下部に地点Ｎの画像が出力される。
【００６６】
図４に示すステップＳ２００にて１６：９画面のモニタ１９８であると判断した場合は，ステップＳ２２０にて１６：９画面のモニタに４分割画面を出力する画像重畳コマンドを映像重畳器１４０へ送信して図３に示すステップＳ１６０へ戻る。具体的には画面分割数を４，画面の両側の切り取りをなし（０）とする画像重畳コマンドを送信する。一方，映像重畳器１４０では，１６：９画面のモニタ１９８に４分割画面を出力する画像重畳コマンドを受信すると，図５に示すものと同様の処理を行う。これにより，モニタ１９８には４分割画面が出力される。
【００６７】
図３に示すステップＳ１５０にて接続地点数Ｔ≦４×Ｋ−１でないと判断した場合はステップＳ１７０にて接続地点数Ｔ≦６×Ｋ−１であるか否かを判断する。１つの画面を例えば左右中央に３分割しさらにそれを上下に分割した６分割の各分割画面に各地点の映像を表示することができるか否かの判断である。１つの画面を６分割する場合には，１つのモニタに最大で６地点の映像を表示することができるので，映像出力チャンネル数（モニタの数）Ｋの６倍の地点の映像を表示することができる。ところが，ここでは自端末装置１００Ｎのカメラ１８２から入力した映像も表示するため，映像出力チャンネルに接続されているモニタで表示できる最大の地点数６×Ｋから自分の地点数１を引算した６×Ｋ−１が他の地点の映像を表示できる最大の数となる。
【００６８】
上記ステップＳ１７０にて接続地点数Ｔ≦６×Ｋ−１であると判断した場合はステップＳ１８０にて図６に示すような６分割画面の処理のサブルーチンを実行する。なお，このサブルーチンはモニタが複数接続されている場合には，各モニタへ出力する映像ごとに処理を実行する。
【００６９】
上記６分割画面の処理としては，図６に示すようにステップＳ３００にて上述したステップＳ１１０により取得したモニタの画面タイプの情報に基づいて，１６：９画面のモニタであるか否かを判断する。ステップＳ３００にて１６：９画面のモニタでないと判断した場合は，ステップＳ３１０にて４：３画面のモニタに６分割画面を出力する画像重畳コマンドを映像重畳器１４０へ送信して図３に示すステップＳ１８０へ戻る。具体的には画面分割数を６，画面の両側の切り取りを１／６とする画像重畳コマンドを送信する。
【００７０】
一方，映像重畳器１４０では，このような４：３画面のモニタに６分割画面を出力する画像重畳コマンドを受信すると，例えば図７に示す機能ブロックのような処理を行う。すなわち，映像重畳器１４０は，各地点Ａ〜Ｅ，Ｎの端末装置からの映像を入力するとそれぞれの映像に対して，画像平坦化処理を行い，水平１／２間引処理，垂直１／２間引処理を行う。こうして処理された画像を画像合成処理して出力信号Ｖとして出力する。このとき画像合成処理は，接続されている地点の端末装置からの画像だけを選択して画像を合成する。例えばネットワーク１０１に端末装置の他に５地点の端末装置が接続されている場合には，図７に示すように自端末装置の地点Ｎを含む全６地点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｎの映像を１画面に合成した６分割画面の出力信号Ｖが出力される。これにより，モニタ１９８には６分割画面が表示される。例えば左上に地点Ａの映像，左下に地点Ｄの映像，中央上部に地点Ｂの映像，中央下部に地点Ｎの画像，右上に地点Ｃの映像，右下に地点Ｅの映像が出力される。
【００７１】
図６に示すステップＳ３００にて１６：９画面のモニタ１９８であると判断した場合は，ステップＳ３２０にて１６：９画面のモニタに６分割画面を出力する画像重畳コマンドを映像重畳器１４０へ送信して図３に示すステップＳ１８０へ戻る。具体的には画面分割数を６，画面の両側の切り取りを１／１８とする画像重畳コマンドを送信する。一方，映像重畳器１４０では，このような１６：９画面のモニタ１９８に６分割画面を出力する画像重畳コマンドを受信すると，図７に示すものと同様の処理を行う。これにより，モニタ１９８には６分割画面が表示される。
【００７２】
なお，映像重畳器１４０による画面分割の方法は，上述した４分割画面や６分割画面に限られず，例えば図８に示すような画面の左部と右部に２分割する２分割画面としてもよい。図８（ａ）は４：３画面の場合であり，図８（ｂ）は１６：９画面の場合である。また，図９に示すような画面の左部，中央部，右部に３分割する３分割画面としてもよい。図９（ａ）は４：３画面の場合であり，図９（ｂ）は１６：９画面の場合である。自端末装置Ｎの映像（地点Ｎの映像）は含まない映像に合成してもよい。図８及び図９は地点Ｎの映像を含まない例である。
【００７３】
例えば全体の地点数が３地点（接続地点数Ｔが２）の場合，モニタが図８（ａ）に示すような４：３画面であれば，映像の横方向を１／２のサイズにカットまたはスケーリングし，また図８（ｂ）に示すような１６：９画面であれば，映像の横方向を２／３のサイズにカットまたはスケーリングする。これにより，接続地点の２つの映像を左右に分割してはめ込むことができる。このとき，音声出力チャンネルにステレオ２チャンネルのスピーカが接続されていれば，各地点の音声の重畳は行わない。従って一方のスピーカから１つの地点（遠隔地点）の音声が出力され，他方のスピーカから他の地点（遠隔地点）の音声が出力される。このように擬似ステレオとすることができ，音声の明瞭度を向上させることができる。これにより，各地点の映像に音声による音像の定位を合わせることができ，会議等の臨場感も向上させることができるのでより効果的である。
【００７４】
また，全体の地点数が４地点（接続地点数Ｔが３）の場合，モニタが図９に示すような４：３画面であれば，映像の横方向を１／３のサイズにカットまたはスケーリングし，モニタが図９（ｂ）に示すような１６：９画面であれば，映像の横方向を４／９にカットまたはスケーリングする。これにより，接続地点の３つの映像を３分割してはめ込むことができる。このとき，音声出力チャンネルにステレオ２チャンネルのスピーカが接続されていれば，画面左側に表示された映像の音声は左のスピーカからのみ出力されるようにし，画面右側に表示された映像の音声は右のスピーカからのみ出力されるようにし，画面中央に表示された映像の音声は左右両方のスピーカから出力されるように各地点の音声を重畳処理する。これにより，音声の明瞭度を向上させることができる。また各地点の映像に音声による音像の定位を合わせることができ，会議等の臨場感も向上させることができる。
【００７５】
このように，映像重畳器１４０は，端末装置１００Ｎに接続される地点数（接続地点数）Ｔ，モニタが接続されている映像出力チャンネルの数Ｋ，モニタの画面構成などに応じた映像重畳処理を行うことができる。これにより，例えば接続地点数Ｔ，映像出力チャンネル数Ｋ，モニタの画面構成などの情報をユーザインタフェース１０５を介して入力することにより，例えば各地点からの映像を重畳して出力するか又は重畳しないで各地点の映像ごとに出力するか，また映像を重畳する場合にはどのように重畳して出力するかを選択することもできる。
【００７６】
（受信音声重畳器の構成）
次に，上記受信音声重畳器１５０の具体的な回路構成の１例を図１０に示す。図２に示す各音声復号器Ａ〜Ｅからの音声信号をそれぞれＡＤ．Ａ，ＡＤ．Ｂ，ＡＤ．Ｃ，ＡＤ．Ｄ，ＡＤ．Ｅとすると，受信音声重畳器１５０はこれら各地点Ａ〜Ｅからの音声信号ＡＤ．Ａ〜ＡＤ．Ｅをそれぞれ入力し，各音声信号ＡＤ．Ａ〜ＡＤ．Ｅを例えばステレオ２チャンネルに相当する出力信号Ａ（Ｌ：Ｌｅｆｔ），Ｂ（Ｒ：Ｒｉｇｈｔ）に振分ける。
【００７７】
具体的には，受信音声重畳器１５０は，図１０に示すように増幅器（アンプ）１５２ａ〜１５２ｊ，加算器１５４ａ〜１５４ｈを備える。増幅器（アンプ）１５２ａ〜１５２ｊは，それぞれ例えば制御部１０８からのマトリクスデータ（Matrix G）を有する後述の音声重畳コマンドに基づいてゲインが設定される。
【００７８】
上記マトリクスデータは，端末装置に接続されている音声出力チャンネル（オーディオ出力チャンネルともいう）の数及び端末装置に接続されている端末装置の数（地点数ともいう）に応じて設定される。すなわち，端末装置に接続されている音声出力チャンネル数をｎとし，端末装置に接続されている地点数をＴとすると，マトリクスデータは以下に示す（１）式のようになる。
【００７９】
マトリクスデータ（Matrix G）＝｛（Ａ１，Ａ２，…Ａｎ），（Ｂ１，Ｂ２，…Ｂｎ），…，（Ｔ１，Ｔ２，…Ｔｎ）｝                    …（１）
【００８０】
従って，例えば図２に示す端末装置１００Ｎでは，音声出力チャンネル数がｎ＝２，各地点数がＴ＝５であるため，マトリクスデータは以下に示す（２）式のようになる。
【００８１】
マトリクスデータ（Matrix G）＝｛（Ａ１，Ａ２，０．０，…０．０），（Ｂ１，Ｂ２，０．０，…，０．０），…，（Ｅ１，Ｅ２，０．０，…，０．０）｝…（２）
【００８２】
このようなマックスデータにより設定されたゲインによって，各音声信号ＡＤ．Ａ〜ＡＤ．Ｅが出力信号Ａ（Ｌ：Ｌｅｆｔ），Ｂ（Ｒ：Ｒｉｇｈｔ）に振分けられる割合が決まる。増幅器（アンプ）１５２ａ〜１５２ｊにより振分けられた信号は，加算器１５４ａ〜１５４ｈを介して出力信号Ａ（Ｌ：Ｌｅｆｔ），Ｂ（Ｒ：Ｒｉｇｈｔ）として出力される。
【００８３】
（受信音声重畳器への処理）
ここで，上記制御部１０８が行う上記受信音声重畳器１５０のゲインを設定する処理について図１１を参照しながら説明する。先ずステップＳ４００にてスピーカなどの音声出力手段が接続されている音声出力チャンネル数Ｍの情報を取得する。上記音声出力チャンネル数Ｍは制御部１０８の不揮発性メモリ１０８ａに記憶されている映像音声出力情報から取得する。例えば図２に示す例ではＡｕｄｉｏＬ，ＡｕｄｉｏＲのステレオ２チャンネルが使用されているため，上記音声出力チャンネル数Ｍは２という情報を取得する。なお，上記音声出力チャンネル数Ｍは，必ずしも制御部１０８の不揮発性メモリ１０８ａから取得する場合に限られない。例えば上記音声出力チャンネルＭは，音声出力チャンネルにスピーカなどが接続しているか否かの接続状況を検出することにより取得してもよい。
【００８４】
次に，ステップＳ４１０にて端末装置１００Ｎに接続されている他の地点の端末装置１００の数（接続地点数）Ｔを取得する。接続地点数Ｔは，上述したステップＳ１２０の場合と同様に，例えば制御部１０８の不揮発性メモリ１０８ａに記憶された端末装置情報から取得するようにしてもよい。
【００８５】
続いてステップＳ４２０にて接続地点数Ｔと音声出力チャンネル数Ｍを比較して，接続地点数Ｔが音声出力チャンネル数Ｍより少ないか又は等しいか（接続地点数Ｔ≦音声出力チャンネル数Ｍか否か）を判断する。ステップＳ４２０にて接続地点数Ｔ≦音声出力チャンネル数Ｍであると判断した場合はステップＳ４３０にて各音声出力チャンネルに各地点の音声が別々に出力されるようなゲインとなるマトリクスデータを設定する。例えば，上記（１）式にあてはめると，以下に示す（３）式のようになる。
【００８６】
2004208051.tif 000003
【００８７】
このようにステップＳ４３０にてマトリクスデータが設定されると，ステップＳ４４０にてこのマトリクスデータを含む音声重畳コマンドを受信音声重畳器１５０へ送信する。これにより，受信音声重畳器１５０はゲインが設定され，各地点の音声が各音声出力チャンネルへ出力される。これにより，各音声出力チャンネルに接続されたスピーカから各地点の音声が独立して出力されるため，音声の明瞭度を向上させることができる。
【００８８】
また，上記ステップＳ４２０にて接続地点数≦音声出力チャンネル数でないと判断した場合は，ステップＳ４５０にて各音声出力チャンネル数に応じて各地点の音声が振分けられるようにマトリクスデータを設定する。例えば音声出力チャンネル数がｎ＝２，各地点数が５の場合には，上記（２）式にあてはめると，以下に示す（４）式のようになる。
【００８９】
2004208051.tif 000004
【００９０】
このようにステップＳ４３０にてマトリクスデータが設定されると，ステップＳ４４０にてこのマトリクスデータを含む音声重畳コマンドを受信音声重畳器１５０へ送信する。これにより，受信音声重畳器１５０はゲインが設定され，各地点の音声が各音声出力チャンネルへ振分けられて出力される。
【００９１】
このように，受信音声重畳器１５０は，端末装置１００Ｎに接続される地点数（接続地点数）Ｔ，スピーカなどが接続されている音声出力チャンネルの数Ｍなどに応じた音声重畳処理を行うことができる。これにより，例えば接続地点数Ｔ，音声出力チャンネル数Ｍなどの情報をユーザインタフェース１０５を介して入力することにより，例えば各地点からの音声を重畳して出力するか又は重畳しないで各地点の映像ごとに出力するか，また映像を重畳する場合にはどのように重畳して出力するかを選択することができる。
【００９２】
この受信音声重畳器１５０の処理により，各音声出力チャンネルに接続されたスピーカから各地点の音声が各音声出力チャンネル数に応じて振分けられて出力されるので，音声出力チャンネル数が少なくても，すべての地点の音声が合成された場合に比して音声の明瞭度を向上させることができる。
【００９３】
例えば複数の音声をステレオ２チャンネルに重畳する場合，端末装置１００Ｎに接続される他の端末装置の数（接続地点数Ｔ）によって，又は映像の重畳の仕方によって，映像に合わせてその映像の地点に対応する音声のバランスを左右に適切に配分することができる。このように，左右へのレベル配分を適切に行うことで音声による音像の定位を映像に合わせることができ，より臨場感を向上させることができる。
【００９４】
さらに，各地点の音声を各音声出力チャンネル数に応じて振分ける割合をマトリクスデータにより自由に変えることができるので，各地点の映像出力に応じて音声を出力させることができる。例えば各地点Ａ〜Ｅの映像を図２に示すモニタ１９８の画面のように構成した場合には，地点Ａと地点Ｄの音声は左のスピーカだけから出力され，地点Ｂの音声は左右両方のスピーカから出力され，地点Ｃ及び地点Ｅは右のスピーカから出力されるようにすることができる。これにより，音声の明瞭度を向上させることができるとともに，各地点の映像に近いところから音声が聞えるようにすることができるので，より臨場感を向上させることができる。
【００９５】
（エコーキャンセラの構成）
次に，上記エコーキャンセラ１７０の具体的な回路構成の１例を図１２に示す。エコーキャンセラ１７０は，音声などの信号の回り込み（エコー）を消去するために用いられる。例えばスピーカで拡声された音声が室内で反射して再度マイクから集音され，そのまま発信者に戻ってきてしまう，いわゆる信号の回り込み（エコー）が発生することがある。このようなエコーが発生すると，会話の明瞭度が非常に低下するので，このようなエコーを消去するためにエコーキャンセラ１７０を設けている。エコーキャンセラ１７０は，例えば適応フィルタ（ＡＤＦ：Adaptive Digital Filter）などから構成される。
【００９６】
具体的には，エコーキャンセラ１７０は，図１２に示すように，受信音声重畳器１５０からの信号Ａ（Ｌ），Ｂ（Ｒ）に対応する適応フィルタ（ＡＤＦ．Ａ）１７２ａ，適応フィルタ（ＡＤＦ．Ｂ）１７２ｂ，加算器１７４ａ，１７４ｂを備える。エコーキャンセラ１７０は，上記受信音声重畳器１５０からの信号Ａ（Ｌ），Ｂ（Ｒ）と，マイクからの信号ＡＤ．ＭＩＣを入力し，上記受信音声重畳器１５０からの各信号Ａ（Ｌ），Ｂ（Ｒ）のラインとマイクからの信号ＡＤ．ＭＩＣの信号ラインの間にそれぞれ適応フィルタＡＤＦ．Ａ，ＡＤＦ．Ｂを介在させることにより，受信した音声信号からマイクで収録される信号を予測し，差し引いてＬｅｆｔ，Ｒｉｇｈｔとして音声ＤＡ変換器１９４，１９６にそれぞれ出力する。これにより，音声信号の回り込み（エコー）を防止して，会話の明瞭度を向上させることができる。
【００９７】
（送信音声重畳器の構成）
次に，上記送信音声重畳器１６０の具体的な回路構成の１例を図１３に示す。送信音声重畳器１６０は音声を送出する端末装置で発生する音声を消去するものである。具体的には，送信音声重畳器１６０は図１３に示すように地点Ａの端末装置１００Ａに送信する音声出力（ＡＥ．Ａ）を生成するための加算器１６１ａ〜１６１ｄ，地点Ｂの端末装置１００Ｂに送信する音声出力（ＡＥ．Ｂ）を生成するための加算器１６２ａ〜１６２ｄ，地点Ｃの端末装置１００Ｃに送信する音声出力（ＡＥ．Ｃ）を生成するための加算器１６３ａ〜１６３ｄ，地点Ｄの端末装置１００Ｄに送信する音声出力（ＡＥ．Ｄ）を生成するための加算器１６４ａ〜１６４ｄ，地点Ｅの端末装置１００Ｅに送信する音声出力（ＡＥ．Ｅ）を生成するための加算器１６５ａ〜１６５ｄを備える。
【００９８】
送信音声重畳器１６０は自端末装置１００Ｎからの音声信号であるマイク１８６からの信号（ＡＤ．ＭＩＣ）をエコーキャンセラを介して信号（ＥＣ）として入力する。また，自端末装置１００Ｎ以外の各端末装置１００Ａ〜１００Ｅから受信した音声信号ＡＤ．Ａ〜ＡＤ．Ｅをそれぞれ入力する。自端末装置１００Ｎからの音声信号であるＥＣに音声信号を送信する端末装置の音声信号を除くすべての端末装置の音声信号を各加算器により加算して送信する音声信号を生成する。例えば，端末装置１００Ａに送信する音声信号は，自端末装置１００Ｎからの音声信号であるＥＣに加算器１６１ａ〜１６１ｄにより，音声信号を送信する端末装置１００Ａの音声であるＡＤ．Ａを除くＡＤ．Ｂ〜ＡＤ．Ｅの信号を加算して音声信号ＡＥ．Ａとして出力される。これにより，各地点の端末装置１００Ａ〜１００Ｅでは，音声を自分の音声が消去された状態でスピーカから出力することができる。これにより，会話の明瞭度を向上させることができる。
【００９９】
（端末装置の動作）
このような構成の端末装置１００Ｎにおいては，例えばネットワーク１０１から受信した映像情報，音声情報のデータは，デパケッタイザ１０２により各地点（Ａ〜Ｅ）に対応する映像符号データと音声符号データに分けられる。
【０１００】
先ず，映像符号データの処理について説明する。デパケッタイザ１０２で分離された映像符号データは，映像復号器１１０により伸張復号化されて映像信号となり，その各映像信号は映像重畳器１４０に送られる。
【０１０１】
一方，端末装置１００Ｎ（近端装置）へ入力される映像は，カメラ１８２により撮像され，入力映像変換器１８４により映像信号に変換され，映像重畳器１４０に送られる。
【０１０２】
この映像重畳器１４０では，入力された映像復号器１１０及び入力映像変換器１８４からの各映像信号（Ａ〜Ｅ地点及びＮ地点の映像信号）が，例えば図２に示すモニタ１９８に示すような１枚の映像に重畳され，出力映像変換器１９２に送られる。
【０１０３】
次いで，出力映像変換器１９２では，映像信号をＮＴＳＣやＰＡＬなど所定のビデオフォーマットに変換し，映像出力チャンネルを介してモニタ１９８に送る。ここで，モニタ１９８の映像は，近端地点Ｎと５つの遠隔地点Ａ，Ｂ，Ｃ，Ｄ，Ｅの各６地点に応じて所定の位置に６分割される。Ａは地点Ａからの映像，Ｂは地点Ｂからの映像というように，それぞれの地点の映像がはめ込まれる。なお，Ｎは近端地点の映像である。
【０１０４】
映像重畳器１４０で重畳された信号は，さらに映像符号器１０６に送られて映像符号データに変換され，パケッタイザ１０４で音声符号データとともに送信単位のコードデータとして構成されて，ネットワーク１０１へ送信される。これにより，各遠隔地点Ａ〜Ｅの端末装置においても，近端地点Ｎの端末装置に接続されたモニタ１９８に映し出されているものと同じ映像を見ることができる。
【０１０５】
次に，音声符号データの処理について説明する。デパケッタイザ１０２で分離された各地点の音声符号データは，映像符号データの場合と同様に，音声復号器１２０により伸張復号化されて音声信号となり，各音声信号は受信音声重畳器１５０に送られる。ここで各音声信号は，受信音声重畳器１５０により擬似的な２チャンネルステレオに重畳され，エコーキャンセラ１７０に送られる。エコーキャンセラ１７０では，例えば適応フィルタ処理を行う。
【０１０６】
上記エコーキャンセラ１７０を通過した音声信号は，音声ＤＡ変換器１９４，１９６によってアナログ信号に変換され，音声出力チャンネルを介してモニタ１９８に送られる。モニタ１９８に送られた音声信号は，モニタ１９８に内蔵されたスピーカから放音され，各地点からの映像の位置に応じた定位で音声が再生される。
【０１０７】
なお，地点Ｎの音声は，マイク１８６により集音され，音声ＡＤ変換器１８８により音声信号に変換され，エコーキャンセラ１７０に送られる。エコーキャンセラ１７０によって，入力された各地点（Ａ〜Ｅ地点及びＮ地点）の音声信号から音声信号に基づく音声を放音させるために雑音を除去するフィルタ処理が行われる。これによりエコーやハウリングを防止することができる。
【０１０８】
送信音声重畳器１６０は，エコーキャンセラ１７０からの信号及び音声復号器１２０からの信号を入力し，近端地点Ｎ以外の各地点Ａ〜Ｅへ送信する音声を重畳処理する。送信音声重畳器１６０によって重畳された音声信号は，対応する各地点の音声符号器１３０に送られ，圧縮符号化処理されて音声符号データに変換される。この音声符号データは，パケッタイザ１０４により上述した映像符号データとともに送信単位にパケット化されて映像情報と音声情報のデータとして構成されて，ネットワーク１０１へ送信される。これにより，各遠隔地の地点Ａ〜Ｅに設置された端末装置１００Ａ〜１００Ｅにおいては，自端末装置以外の各端末装置からの音声が再生される。このように，送信側の端末装置において，各地点の映像，音声を受信側の端末装置で分離できるように加えて，送信用の映像情報，音声情報のデータを生成することができるので，受信側の端末装置で各地点の映像，音声を全部又は一部重畳したり，又は重畳しないで出力することができる。すなわち，受信側の端末装置において各地点の映像，音声の重畳を自由に行うことができる。
【０１０９】
このような構成の多地点会議システムによれば，各地点からの映像を必要に応じて重畳したり，重畳しなかったりすることができるので，映像や音声の音声出力チャンネルに接続されている数，すなわちＡＶシステムの規模に応じて映像や音声を重畳したり，重畳しないで地点ごとに出力したりすることができる。これにより，映像，音声を出力する様々なＡＶシステムに対応することができる。
【０１１０】
例えば端末装置１００Ｎに接続されている端末装置の地点数が３で，端末装置１００Ｎに接続されているＡＶシステムが１つのモニタと２つのスピーカにより構成されている場合には，図１４（ａ）に示すように，地点Ａ，Ｂ，Ｃ，Ｎの映像は重畳して，４分割した各部分に各地点の映像をそれぞれはめ込んで１つの画面としてモニタから出力させることができる。そして，画面の左に位置する地点Ａ，Ｃの映像に対応する地点Ａ，Ｃの音声は重畳して左スピーカから出力させることができる。また画面の右に位置する地点Ｂの映像に対応する地点Ｂの音声は右スピーカから出力させることができる。
【０１１１】
また，上記ＡＶシステムが３つのスピーカにより構成されている場合には，図１４（ｂ）に示すように，各地点Ａ，Ｂ，Ｃの映像に対応する各地点Ａ，Ｂ，Ｃからの音声はそれぞれ各スピーカから出力させることができる。これにより，音声の明瞭度をより向上させることができる。なお，いずれの場合も地点Ｎである自分の音声は出力されない。
【０１１２】
このように，地点数が多くても各地点の音声を複数の音声出力チャンネルに振分けることができるので，音声出力チャンネル数の少ないＡＶシステムであっても音声の明瞭度を向上させることができる。特に音声出力チャンネルとして左右２チャンネルを有する一般的なＡＶシステムにおいて音声の明瞭度を向上させることができる点で効果が大きい。また，音声を重畳して１つの音声出力チャンネルを介してスピーカから出力する場合に比して，音声の明瞭度を向上させることができる。
【０１１３】
さらに，例えばモニタ画面の左側に表示された映像の音声は左側の音声出力チャンネルに重畳し，モニタ画面の右側に表示された映像の音声は右側の音声出力チャンネルに重畳するなどのように，各地点の映像に合わせて各地点の音声による音像を定位させることができる。これにより，会議などの臨場感をより高めることができる。すなわち，まるで映像で写っている人が話をしているようにスピーカなどから音声が出力されるようにすることができ，臨場感あふれる会議などを行うことができる。
【０１１４】
なお，図２に示す端末装置１００Ｎは，１つの映像出力チャンネルとステレオ２チャンネルの２つの音声出力チャンネルを設けたものについて説明したが，これに限られることはなく，２つ以上の映像出力チャンネルを設けたものであってもよく，また３つ以上の音声出力チャンネルを設けたものであってもよい。この場合，エコーキャンセラ１７０は，端末装置１００Ｎに設けられた音声出力チャンネルの数だけ適応フィルタ（ＡＤＦ）を設けてもよい。これにより，各音声出力チャンネルへ出力される音声信号に対してそれぞれフィルタ処理を行うことにより信号の回り込み（エコー）を消去することができる。
【０１１５】
例えば端末装置１００Ｎは，図１５に示すように構成してもよい。図１５に示す端末装置１００Ｎは，２つの映像出力チャンネル１０７ａ，１０７ｂ及びステレオ２チャンネルが２組で合計４つの音声出力チャンネル１０９ａＬ，１０９ａＲ，１０９ｂＬ，１０９ｂＲを備えた例である。各映像出力チャンネル１０７ａ，１０７ｂにはそれぞれ出力映像変換器１９２ａ，１９２ｂが接続されている。また各音声出力チャンネル１０９ａＬ，１０９ａＲ，１０９ｂＬ，１０９ｂＲにはそれぞれ音声ＤＡ変換器１９４ａ，１９６ａ，１９４ｂ，１９６ｂが接続されている。
【０１１６】
図１５に示す映像重畳器１４０は，モニタなどの映像表示手段が接続されている音声出力チャンネルの数に応じた重畳処理を行って，各地点Ａ〜Ｅ，Ｎの映像を最大で２つの映像出力チャンネル１０７ａ，１０７ｂに振分ける。また，図１５に示す受信音声重畳器１５０は，スピーカなどの音声出力手段を接続して使用する音声出力チャンネルの数に応じた重畳処理を行って，最大で４つの音声出力チャンネルに振分ける。
【０１１７】
例えば図１５に示す端末装置１００Ｎでは，２つのステレオスピーカが内蔵された２組のモニタが接続されいる。具体的には映像出力チャンネル１０７ａと音声出力チャンネル１０９ａＬ，１０９ａＲには，それぞれ映像出力端子，音声出力端子を介してモニタ１９８ａが接続されている。また映像出力チャンネル１０７ｂと音声出力チャンネル１０９ｂＬ，１０９ｂＲには，それぞれ映像出力端子，音声出力端子を介してモニタ１９８ｂが接続されている。この場合には，図３の映像重畳器１４０への処理において接続地点数Ｔは５となる。映像出力チャンネル１０７ａ，１０７ｂにはそれぞれモニタ１９８ａ，１９８ｂが接続されているので，映像出力チャンネル数Ｋは２となる。音声出力チャンネル１０９ａＬと１０９ａＲ，１０９ｂＬと１０９ｂＲにはそれぞれ，モニタ１９８ａ，１９８ｂに内蔵されているステレオ２チャンネルのスピーカが接続されているので，音声出力チャンネル数Ｍは４となる。
【０１１８】
従って，各地点Ａ〜Ｅ，Ｎの映像は，図３に示す映像重畳器１４０への処理により次のように処理される。すなわちステップＳ１３０では，接続地点数Ｔ＝５よりもモニタが接続されている映像出力チャンネル数Ｋ＝２の方が小さいので，次のステップＳ１５０の処理に移る。ステップＳ１５０では，接続地点数Ｔ＝５よりも判断基準式４×Ｋ−１＝７の方が大きいので，ステップＳ１６０の４分割画面の処理（図４に示すサブルーチン）に移る。４分割画面の処理は各モニタ１９８ａ，１９８ｂへ出力する映像ごとに行われる。
【０１１９】
これにより，映像重畳コマンドが映像重畳器１４０に送信される。映像重畳器１４０は，受信した映像重畳コマンドに基づいてモニタ１９８ａ，１９８ｂに各地点Ａ〜Ｅ，Ｎの映像を振分けた映像信号を生成し，出力信号Ｖとして出力する。こうして，例えば図１５に示すようにモニタ１９８ａに地点Ａ〜Ｄまでの映像が４分割された１つの画面に表示することができる。またモニタ１９８ｂには，残りの地点Ｅ，Ｎの映像が４分割された１つの画面を表示することができる。
【０１２０】
また，各地点Ａ〜Ｅの音声は，図１１に示す受信音声重畳器１５０への処理により次のように処理される。すなわちステップＳ４２０では，接続地点数Ｔ＝５よりもスピーカなどが接続されている音声出力チャンネル数Ｍ＝４の方が小さいので，次のステップＳ４５０の処理に移る。ステップＳ４５０では，各地点Ａ〜Ｅ，Ｎの音声を４つの音声出力チャンネル数に振分けるマトリクスデータを含む音声重畳コマンドを生成し，受信音声重畳器１５０に送信する。
【０１２１】
これにより，受信音声重畳器１５０は，受信した音声重畳コマンドに基づいてモニタ１９８ａ，１９８ｂに内蔵された各スピーカに出力する音声信号を生成する。生成された音声信号はエコーキャンセラ１７０によるフィルタ処理が行われた後，音声ＤＡ変換器１９４，１９６から音声出力チャンネルへ出力される。こうして，例えば図１５に示すようにモニタ１９８ａにおいては，地点Ａ，Ｃの映像に近い左スピーカから地点Ａ，Ｃの音声を出力し，地点Ｂ，Ｄの映像に近い右スピーカから地点Ｂ，Ｄの音声を出力することができる。モニタ１９８ｂにおいては，地点Ｅの映像に近い左スピーカから地点Ｅの音声を出力することができる。なお，モニタ１９８ｂにおいては，右側に自分の映像が表示されるので，右スピーカからは音声は出力されない。
【０１２２】
このように，地点数が多くても各地点の音声を複数の音声出力チャンネルに振分けることができるので，音声の明瞭度を向上させることができる。また，各地点の映像に合わせて各地点の音声による音像を定位させることができる。これにより，会議などの臨場感をより高めることができる。
【０１２３】
（第２の実施の形態）
次に，本発明の第２の実施形態にかかる多地点会議システムを図１６〜図１８を参照しながら説明する。図１６は，本実施の形態における多地点会議システムにおける端末装置２００Ｎの構成を示すブロック図である。端末装置２００Ｎにおいて，図２に示す端末装置１００Ｎと異なるのは，少なくとも端末装置１００Ｎに接続されている他の端末装置１００Ａ〜１００Ｅの数以上の，映像出力チャンネル２０７ａ〜２０７ｅ，音声出力チャンネル２０９ａ〜２０９ｅを設け，各地点Ａ〜Ｅからの映像信号，音声信号をそれぞれ重畳せずに映像出力チャンネル２０７ａ〜２０７ｅ，音声出力チャンネル２０９ａ〜２０９ｅから出力することもできるようにした点である。
【０１２４】
具体的には，本実施の形態における映像重畳器１４０においては，各地点Ａ〜Ｅからの映像が重畳されずに出力信号Ｖとして出力される。また本実施の形態における受信音声重畳器２５０においては，各地点からの音声が重畳されずにエコーキャンセラ２７０を介して出力される。また，端末装置２００Ｎは，映像重畳器１４０からの各地点からの映像信号を圧縮符号化する出力映像変換器２１１〜２１５，受信音声重畳器２５０からエコーキャンセラ２７０を介して出力される音声信号をデジタルアナログ変換する音声ＤＡ変換器２２１〜２２５を備える。
【０１２５】
上記出力映像変換器２１１〜２１５からの出力は各映像信号出力チャンネル２０７ａ〜２０７ｅからそれぞれＶｉｄｅｏ．Ａ〜Ｖｉｄｅｏ．Ｅとして出力される。また，エコーキャンセラ２７０からの出力は各音声出力チャンネル２０９ａ〜２０９ｅからそれぞれＡｕｄｉｏ．Ａ〜Ａｕｄｉｏ．Ｅとして出力される。各映像信号出力チャンネル２０７ａ〜２０７ｅにはモニタ２３１〜２３５が接続可能である。また各音声信号出力チャンネル（各１チャンネル）２０９ａ〜２０９ｂにはスピーカが接続可能である。図１６では，例えば各音声信号出力チャンネル（各１チャンネル）２０９ａ〜２０９ｂには各モニタ２３１〜２３５に内蔵されているスピーカの音声入力端子が接続されている。但し，スピーカは必ずしも内蔵されていなくてもよい。
【０１２６】
（受信音声重畳器の構成）
第２の実施形態における受信音声重畳器２５０は，例えば図１７に示すように構成される。この受信音声重畳器２５０は，図１０に示すものと同様の構成である。但し，受信音声重畳器２５０は，ＡＤ．Ｃ〜ＡＤ．Ｅの入力をそのまま出力するＣ，Ｄ，Ｅも使用する。また出力Ａ，ＢについてもＡＤ．Ｃ〜ＡＤ．Ｅからの出力をそのまま出力させる。そのためには，制御部１０８からのゲイン設定を行うためのマトリクスデータは次の（５）式に示すようにすればよい。
【０１２７】
2004208051.tif 000005
【０１２８】
（エコーキャンセラの構成）
第２の実施形態におけるエコーキャンセラ２７０は，例えば図１８に示す。図１２に示すエコーキャンセラ１７０と異なるのは，上記受信音声重畳器１５０からの信号として，Ａ（Ｌ），Ｂ（Ｒ）のラインに加え，Ｃ，Ｄ，Ｅのラインが追加されるので，これらの信号Ｃ，Ｄ，Ｅのラインに対応する適応フィルタ（ＡＤＦ．Ｃ）１７２ｃ及び加算器１７４ｃ，適応フィルタ（ＡＤＦ．Ｄ）１７２ｄ及び加算器１７４ｄ，適応フィルタ（ＡＤＦ．Ｅ）１７２ｅ及び加算器１７４ｅをそれぞれ追加した点である。
【０１２９】
受信音声重畳器１５０からの信号Ａ（Ｌ），Ｂ（Ｒ），Ｃ，Ｄ，Ｅのラインとマイクからの信号ＡＤ．ＭＩＣの信号ラインの間に適応フィルタ１７２ｃ〜１７２ｅをそれぞれ介在させることにより，受信した音声信号からマイクで収録される信号を予測し，差し引いてＡ〜Ｅとして音声ＤＡ変換器２２１〜２２５にそれぞれ出力する。これにより，各地点Ａ〜Ｅの音声について音声信号の回り込み（エコー）を防止して，会話の明瞭度を向上させることができる。
【０１３０】
なお，第２の実施の形態における映像重畳器１４０への処理は図３〜図９に示す処理と同様であり，受信音声重畳器２５０への処理は図１１の処理と同様である。例えば端末装置２００Ｎでは，図３の映像重畳器１４０への処理において接続地点数Ｔは５となる。モニタが接続されている映像出力チャンネル数Ｋは５となる。スピーカなどが接続されている音声出力チャンネル数Ｍは５となる。
【０１３１】
従って，各地点Ａ〜Ｅの映像は，図３に示す映像重畳器１４０への処理により次のように処理される。すなわちステップＳ１３０では，接続地点数Ｔ＝５よりもモニタが接続されている映像出力チャンネル数Ｋ＝５と等しいので，次のステップＳ１４０の処理に移る。ステップＳ１４０では画面分割数＝１，すなわち画像分割を行わず，重畳処理をしない映像重畳コマンドが映像重畳器１４０に送信される。これにより，映像重畳器１４０は，受信した映像重畳コマンドに基づいてモニタ２３１〜２３５に各地点Ａ〜Ｅの映像をそのまま出力信号Ｖとして出力する。こうして，例えば図１６に示すようにモニタ２３１〜２３５には各地点Ａ〜Ｅの映像がそれぞれの画面に表示することができる。
【０１３２】
また，各地点Ａ〜Ｅの音声は，図１１に示す受信音声重畳器２５０への処理により次のように処理される。すなわちステップＳ４２０では，接続地点数Ｔ＝５はスピーカなどが接続されている音声出力チャンネル数Ｍ＝５と等しいので，次のステップＳ４３０の処理に移る。ステップＳ４３０では，各地点Ａ〜Ｅの音声を各音声出力チャンネルにそのまま出力するマトリクスデータを含む音声重畳コマンドを生成し，受信音声重畳器２５０に送信する。
【０１３３】
これにより，受信音声重畳器２５０は，受信した音声重畳コマンドに基づいて各地点Ａ〜Ｅの音声をそのまま出力する。これらの音声信号はエコーキャンセラ１７０によるフィルタ処理が行われた後，音声ＤＡ変換器２２１〜２２５から各音声出力チャンネル２０９ａ〜２０９ｅへ出力される。こうして，例えば図１６に示すようにモニタ２３１〜２３５においては，表示されている映像の地点の音声を出力することができる。これにより，各地点Ａ〜Ｅの音声は対応する音声出力チャンネルからそれぞれ出力されるので，音声の明瞭度を向上させることができる。また各地点Ａ〜Ｅの音声は，映像が表示されたモニタからそれぞれ出力されるので，映像に映像に合わせて各地点の音声による音像を定位させることができる。
【０１３４】
なお，図１６に示すように端末装置２００Ｎに設けられた映像出力チャンネル２０７ａ〜２０７ｅと音声出力チャンネル２０９ａ〜２０９ｅのすべてにスピーカ内蔵のモニタが接続されている場合について説明したが，必ずしもこれに限られることはなく，映像出力チャンネル２０７ａ〜２０７ｅと音声出力チャンネル２０９ａ〜２０９ｅの一部にモニタやスピーカが接続されていてもよい。
【０１３５】
例えば２組の映像出力チャンネルと音声出力チャンネルにそれぞれスピーカ内蔵のモニタ２３１，２３２を接続した例を図１９に示す。具体的には映像出力チャンネル２０７ａと音声出力チャンネル２０９ａにはスピーカ内蔵のモニタ２３１が接続されており，映像出力チャンネル２０７ｂと音声出力チャンネル２０９ｂにはスピーカ内蔵のモニタ２３２が接続されている。
【０１３６】
この場合には，各地点Ａ〜Ｅ，Ｎの映像は図１５に示す場合と同様に４分割画面で各モニタ２３１，２３２に振分けて出力することができる。また各地点Ａ〜Ｅの音声は，地点Ａ〜Ｄまでの音声は重畳されて音声出力チャンネル２０９ａを介してモニタ２３１に内蔵されたスピーカから出力し，地点Ｅの音声は音声出力チャンネル２０９ｂを介してモニタ２３２に内蔵されたスピーカから出力することができる。これによっても，音声の明瞭度を向上させることができ，また各地点の映像に合わせて各地点の音声による音像を定位させることができる。これにより，会議などの臨場感を高めることができる。
【０１３７】
また，各地点Ａ〜Ｅ，Ｎの映像は地点Ａ，Ｂ，Ｃと地点Ｄ，Ｅ，Ｎに振分けて各モニタ２３１，２３２で表示されるようにしてもよい。この場合の各地点Ａ〜Ｅの音声は地点Ａ，Ｂ，Ｃと地点Ｄ，Ｅ，Ｎに振分けてそれぞれ映像が表示されている各モニタ２３１，２３２から出力されるようにしてもよい。これにより，より音声の明瞭度を向上させることができる。
【０１３８】
（第３の実施の形態）
次に，本発明の第３の実施形態にかかる多地点会議システムを図２０及び図２１を参照しながら説明する。図２０は，本実施の形態における多地点会議システムにおける端末装置３００Ｎの構成を示すブロック図である。端末装置３００Ｎにおいて，図１６に示す端末装置１００Ｎと異なるのは，各地点Ａ〜Ｅの映像信号については１つの画面に重畳して映像出力チャンネル（ビデオ出力チャンネル），音声出力チャンネル（オーディオ出力チャンネル）から出力する点である。
【０１３９】
具体的には，本実施の形態における映像重畳器３４０においては，各地点Ａ〜Ｅの映像を重畳して１つの出力信号Ｖとして１つの出力映像変換器３１１を介して１つのモニタ３９０に出力される。
【０１４０】
なお，音声ＤＡ変換器２２１〜２２５の出力は，同じ数のアンプを接続し，それぞれのアンプに接続したスピーカから音声を出力させるようにしてもよい。また音声ＤＡ変換器２２１〜２２５の出力は，図２０に示すようにＡｕｄｉｏ５．１チャンネルを備えたサラウンドアンプ３８０に接続してもよい。これによれば，個別のオーディオアンプやアクティブスピーカを使う代わりに，既存のサラウンドアンプ３８０を利用して音声を出力することができるので，より簡単なＡＶシステムにより多地点の音声を出力することができる。
【０１４１】
この場合，図２１に示すように例えばサラウンドアンプ３８０に接続するスピーカ３８１〜３８５をそれぞれモニタ３９０に表示される各地点Ａ〜Ｅの画面の構成に応じて周りに配置するようにしてもよい。モニタ３９０の画面において，分割された各地点の映像に最も近い場所にそれぞれスピーカ３８１〜３８５を設置する。
【０１４２】
例えばモニタ３９０の６分割の画面において，左側上部，左側下部にそれぞれ地点Ａ，Ｄの映像が表示され，中央上部，中央下部にそれぞれに地点Ｂ，Ｎの映像が表示され，右側上部に地点Ｃ，Ｅの映像が表示される。この場合にスピーカ３８１〜３８５をそれぞれ６分割された映像に近い場所に設置する。こうすることにより，各地点Ａ〜Ｅの映像に最も近い各スピーカ３８１〜３８５から各地点Ａ〜Ｅの音声がそれぞれ出力される。
【０１４３】
このように，本実施の形態にかかる端末装置３００Ｎによれば，各地点からの映像に最も近い位置から各地点の音声をそれぞれ出力することができる。このため，各地点の映像に合わせて各地点の音声による音像を定位させることができる。これにより，会議などの臨場感をより高めることができる。さらに，各地点からの音声は各スピーカ３８１〜３８５から独立して出力させることができるので，各地点の音声の明瞭度も向上させることができる。
【０１４４】
（第４の実施の形態）
次に，本発明の第４の実施形態にかかる多地点会議システムを図２２を参照しながら説明する。図２２は，本実施の形態における多地点会議システムにおける端末装置４００Ｎの構成を示すブロック図である。端末装置４００Ｎにおいて，図２に示す端末装置１００Ｎと異なるのは，音声ＤＡ変換器１９４，１９６からの音声出力チャンネルへステレオヘッドフォンアンプ４１０を接続し，ステレオヘッドフォンアンプ４１０を介して例えばマイク付きのヘッドフォン（ヘッドセット）４１２に音声を出力する点である。また，ヘッドセット４１２のマイクからの音声は音声ＡＤ変換器１８８へ入力するようになっている。また，エコーキャンセラ１７０をなくし，代りに受信音声重畳器１５０からの出力（Ａ（Ｌ），Ｂ（Ｒ））をそのまま音声ＤＡ変換器１９４，１９６に入力させるとともに，音声ＡＤ変換器１８８の出力をそのまま送信音声重畳器１６０に入力させるようにしてある。
【０１４５】
このようにヘッドセット４１２を用いることにより，ヘッドフォンからの音声がマイクに入り込むことを防止できる。このため，音声各地点Ａ〜Ｅの音声について音声信号の回り込み（エコー）を防止することができる。これにより，各端末装置４００Ｎのようにエコーキャンセラ１７０などのフィルタ手段を設ける必要がなくなり，端末装置の構成をより簡単にすることができる。
【０１４６】
なお，音声出力手段としては，必ずしもマイク付のヘッドセットを使用する必要はなく，マイクが付いていないヘッドフォンを使用してもよい。また，本実施の形態では，ヘッドフォンを第１の実施の形態における端末装置１００Ｎに適用した場合の具体例を説明したが，必ずしもこれに限られず，上述した第２の実施の形態における端末装置２００Ｎ，第３の実施の形態における端末装置３００Ｎ，後述する第５の実施の形態における端末装置５００Ｎに適用してもよい。
【０１４７】
（第５の実施の形態）
次に，本発明の第５の実施形態にかかる多地点会議システムを図２３を参照しながら説明する。図２３は，本実施の形態における多地点会議システムにおける端末装置５００Ｎの構成を示すブロック図である。端末装置５００Ｎは，回線インタフェースを少なくとも他の端末装置の地点の数以上設けた例である。そして，端末装置５００Ｎは，他の端末装置と上記回線インタフェースを介して図１に示す場合と同様にネットワーク１０１によりそれぞれ相互に接続されている。本実施の形態ではネットワーク１０１として例えばサービス総合ディジタル網（ISDN:Integrated Services Digital Network）などの公衆回線網，専用回線網で接続される例を示す。
【０１４８】
具体的には，端末装置５００Ｎにおいては，他の地点Ａ〜Ｅの端末装置を上記ネットワークを介してそれぞれ接続する回線インタフェース５１０（５１１〜５１５），信号分離回路５２０（５２１〜５２５），信号多重回路５３０（５３１〜５３５）を備える点で，図２に示す端末装置１００Ｎと異なる。
【０１４９】
各回線インタフェース５１０（５１１〜５１５）には，映像情報，音声情報が多重化されたデータが受信される。各回線インタフェース５１０（５１１〜５１５）から受信したデータはそれぞれ，信号分離回路５２０（５２１〜５２５）により音声信号と映像信号に分離されて，映像復号器１１０（１１１〜１１５），音声復号器１２０（１２１〜１２５）に送られる。また，映像符号器１０６及び音声符号器１３０（１３１〜１３５）からの信号は信号多重回路５３０（５３１〜５３５）により映像信号と音声信号が多重化されて，各回線インタフェース５１０を介して各地点Ａ〜Ｅの端末装置へ送出される。
【０１５０】
このような構成の本実施の形態にかかる多地点会議システムによれば，各地点の端末装置を回線インタフェースを介して相互に接続することにより，ローカルエリアネットワーク（ＬＡＮ）だけでなく，サービス総合ディジタル網（ISDN:Integrated Services Digital Network）等やその他の公衆回線網，専用線など他のあらゆる通信ネットワークに対しても本発明にかかる多地点会議システムを適用できる。
【０１５１】
（他の多地点会議システムの比較）
次に本願発明にかかる多地点会議システムと比較するため，従来の多地点会議システム（第１の多地点会議システムという）の構成を図２４を参照しながら説明する。第１の多地点会議システムは，多地点接続装置（ＭＣＵ：Multipoint Control Unit）６００に各地点（Ａ〜Ｆ）の端末装置７００を回線網等を介してそれぞれ接続して構成される。
【０１５２】
先ず，ＭＣＵ６００の構成を説明する。ＭＣＵ６００は，各地点Ａ〜Ｆの端末装置から受信した映像信号を重畳し，各地点からのすべての映像を１つだけの画像に合成する映像信号重畳回路６０２，各地点Ａ〜Ｆから受信した音声信号を重畳し，各地点Ａ〜Ｆの端末装置に送信するための音声信号を構成する音声信号重畳回路６０４，映像信号重畳回路６０２で１つの画像に合成された映像信号を圧縮符号化する映像符号器６０６を備える。
【０１５３】
またＭＣＵ６００は，各端末装置に対して公衆回線網などを介してデータを送受信する回線インタフェース６１１〜６１６，各端末装置からのデータを映像符号データと音声符号データに分離化する信号分離回路６２１〜６２６，映像符号データと音声符号データとを多重化する信号多重回路６３１〜６３６，各端末装置からの映像符号データを復号伸張して映像信号として出力する映像復号器６４１〜６４６，各端末装置からの音声符号データを復号伸張して音声信号として出力する音声復号器６５１〜６５６，各端末装置へ送信する音声信号を圧縮符号化して音声符号データとして出力する音声符号器６６１〜６６６を備える。
【０１５４】
次に，各端末装置の構成を説明する。上記各端末装置は同様の構成であるため，ここでは端末装置７００Ｎを代表して説明する。端末装置７００は，回線インタフェース７０１，信号多重回路７０２，信号分離回路７０３，映像符号器７０４，音声符号器７０５，映像復号器７０６，音声復号器７０７，エコーキャンセラ７０８，カメラ７１３からの信号をデジタル信号に変換する映像用ＡＤ変換器７０９，マイク７１４からの信号をデジタル信号に変換する音声用ＡＤ変換器７１０，モニタ７１５に接続される映像用ＤＡ変換器７１１，図示しないスピーカに接続される音声用ＤＡ変換器７１２を備える。
【０１５５】
このような構成の多地点会議システムにおいては，１つの端末装置１００Ｆにカメラ７１３から入力された映像とマイク７１４から入力された音声はそれぞれ，ＡＤ変換器７０９，７１０によりデジタル信号に変換される。そして映像信号は映像符号化器７０４を介して信号多重回路７０２に送られる。また音声信号はエコーキャンセラ７０８及び音声符号器７０５を介して信号多重化回路７０２に送られ，上記映像信号とともに多重化される。多重化された信号は回線インタフェース７０１により回線網等を介してＭＣＵ６００に送信される。
【０１５６】
ＭＣＵ６００では，各地点（Ａ〜Ｆ）の端末装置７００からのデータを回線インタフェース６１１〜６１６から受信すると，受信された各端末装置からの信号はそれぞれ信号分離回路６２１〜６２６に送られ，映像信号と音声信号に分離される。
【０１５７】
上記信号分離回路６２１〜６２６により分離された各映像信号は，映像復号器６４１〜６４６により伸張復号化されて映像信号重畳回路６０２に送られる。映像信号重畳回路６０２では，各地点Ａ〜Ｆからの映像信号を重畳して，１つの画像に合成する。このとき，映像信号重畳回路６０２は，各地点からの映像信号を画面分割処理して分割されたそれぞれの画面領域に各地点の映像をすべて挿入した１つの映像信号として出力する。
【０１５８】
映像信号重畳回路６０２から出力された映像信号は，映像符号器６０６により圧縮符号化されて信号多重回路６３１〜６３６により後述の音声信号とともに多重化されて，各地点Ａ〜Ｆの端末装置へ回線インタフェース６１１〜６１６を介して出力される。
【０１５９】
一方，上記信号分離回路６２１〜６２６により分離された各音声信号は，音声復号器６５１〜６５６により伸張復号化されて音声信号重畳回路６０４へ送られる。音声信号重畳回路６０４では，各地点Ａ〜Ｆからの音声信号を重畳して，各地点Ａ〜Ｆへ送信するための音声信号を構成する。音声信号については，各地点Ａ〜Ｆの音声をすべて加算（ミックス）して１つの音声信号として出力する。
【０１６０】
音声信号重畳回路６０４により構成された各音声信号は，音声符号器６６１〜６６６により符号化され，信号多重回路６３１〜６３６により上記映像信号とともに多重化されて，各地点Ａ〜Ｆへ回線インタフェース６１１〜６１６を介して出力される。
【０１６１】
端末装置１００Ｆは，ＭＣＵ６００から多重化されたデータを回線インタフェース７０１を介して受信すると，信号分離回路７０３により映像信号及び音声信号に分離化する。そして映像信号は，映像復号器７０６，映像用ＤＡ変換器７１１を介してモニタ７１５に送信される。これにより，モニタ７１５では各地点Ａ〜Ｆの映像が１つの画像に合成されたものが表示される。一方，音声信号は，エコーキャンセラ７０８により自端末装置１００Ｆのマイクからの音声が除去され，音声用ＤＡ変換器７１２を介して１チャンネルのスピーカに出力される。
【０１６２】
また，従来の他の多地点会議システム（第２の多地点会議システムという）の構成を図２５に示す。第２の多地点会議システムは，図２５に示すように複数の端末装置を回線網等を介して接続するものであり，図２４に示す多地点会議システムのＭＣＵ６００が備える機能を各端末装置に内蔵したものである。
【０１６３】
各端末装置は同様の構成であるため，ここでは端末装置８００Ｎの構成を代表して説明する。端末装置１００Ｎは，図２４に示すものと同様に，映像信号重畳回路６０２，映像符号器６０６，回線インタフェース６１１〜６１５，信号分離回路６２１〜６２５，信号多重回路６３１〜６３５，映像復号器６４１〜６４５，音声復号器６５１〜６５５，音声符号器６６１〜６６５，エコーキャンセラ７０８，カメラ７１３に接続される映像用ＡＤ変換器７０９，マイク７１４に接続される音声用ＡＤ変換器７１０，モニタに７１５に接続される映像用ＤＡ変換器７１１，モニタに７１５のスピーカに接続される音声用ＤＡ変換器７１２を備える。
【０１６４】
図２５に示す端末装置８００Ｎは，音声信号重畳回路として，受信用音声信号重畳回路８０２と送信用音声信号重畳回路８０３を備える。送信用音声信号重畳回路８０３は地点Ａ〜Ｅの端末装置からの音声に自端末装置８００Ｎからの音声を加えて重畳する。従って，各端末装置に送信される音声は，地点Ａ〜Ｅに地点Ｎを加えたものとなる。
【０１６５】
このような地点Ａ〜Ｅに地点Ｎを加えた音声を各端末装置から受信するので，これらの音声を受信用音声信号重畳回路８０２で重畳した後，エコーキャンセラ７０８により自端末装置８００Ｎの音声を除去する。これにより，モニタ７１５のスピーカからは自端末装置８００Ｎ以外の地点Ａ〜Ｅの音声が１チャンネルのスピーカから出力される。
【０１６６】
このような図２４又は図２５に示す多地点会議システムにおいては，図２４に示すＭＣＵの機能又は図２５に示すＭＣＵと同様の機能（以下，これらをまとめて「ＭＣＵに相当する機能」という）により端末装置に伝送される音声信号は，ＭＣＵに相当する機能により伝送する受信端末ごとに一つの音声信号にミキシングされるため，各地点ごとの音声信号は各端末装置に個別に伝送されることはない。このため，各端末装置に接続されたスピーカからは，常に各地点からの音声が１チャンネルで合成された状態で出力されるので，各地点からの音声の明瞭度が損われる。また音声出力チャンネルに重畳音声が１チャンネルで合成されているので，音声による音像の定位を映像に合わせることができない。
【０１６７】
これに対して，上記第１〜第５の実施の形態にかかる多地点会議システムは，各地点の映像，音声を１チャンネルの出力に限らず，複数の音声出力チャンネルに各地点の音声を振分けるように重畳したり，音声出力チャンネルが多い場合には重畳しないで出力したりすることができる。これにより，各地点の音声の明瞭度を向上させることができる。また，音声を複数の音声出力チャンネルに振分けるように重畳することにより，音声出力チャンネルに接続するスピーカの位置をモニタの画面上にある各地点の映像の位置に合わせることにより，音声による音像の定位を映像に合わせることができる。このため，まるで映像で写っている人が話をしているようにスピーカから音声が出力されるような臨場感で会議などを行うことができる。
【０１６８】
以上，添付図面を参照しながら本発明に係る好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１６９】
例えば，本発明にかかる多地点間コミニュケーションシステムは，上記実施の形態で説明した多地点会議システムに限定されることはなく，例えば遠隔監視システムや，遠隔教育システム，遠隔医療システムなどに適用することもできる。
【０１７０】
【発明の効果】
以上詳述したように本発明によれば，各地点からの映像，音声に対して適切な重畳処理を行うことによって，出力される各地点からの音声の明瞭度をより向上させることができ，また各地点の映像に合わせて対応する地点の音声による音像を定位させることができる。これにより，例えば画面に映っている人の声がその方向から聞えてくるように音声を出力することができ，会議などの臨場感をより高めることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる多地点会議システムの全体構成の１例を示す図である。
【図２】同実施形態における端末装置の回路構成の１例を示す図である。
【図３】同実施形態における映像重畳器への処理を示す流れ図である。
【図４】図３に示す４分割画面の処理を示す流れ図である。
【図５】同実施形態における映像重畳器が行う処理の機能ブロック図である。
【図６】図３に示す６分割画面の処理を示す流れ図である。
【図７】同実施形態における映像重畳器が行う処理の機能ブロック図である。
【図８】同実施形態における画面表示の他の例（２分割画面）を示す図である。
【図９】同実施形態における画面表示の他の例（３分割画面）を示す図である。
【図１０】同実施形態における受信音声重畳器の回路構成の１例を示す図である。
【図１１】同実施形態における受信音声重畳器への処理を示す流れ図である。
【図１２】同実施形態におけるエコーキャンセラの回路構成の１例を示す図である。
【図１３】同実施形態における送信音声重畳器の回路構成の１例を示す図である。
【図１４】同実施形態における画面表示とスピーカの配置の例を示す図である。
【図１５】同実施形態における端末装置の他の構成例を示す図である。
【図１６】本発明の第２の実施形態における端末装置の回路構成の１例を示す図である。
【図１７】同実施形態における受信音声重畳器の回路構成の１例を示す図である。
【図１８】同実施形態におけるエコーキャンセラの回路構成の１例を示す図である。
【図１９】同実施形態における端末装置の他の構成例を示す図である。
【図２０】本発明の第３の実施形態における端末装置の回路構成の１例を示す図である。
【図２１】同実施形態における画面表示とスピーカの配置の例を示す図である。
【図２２】本発明の第４の実施形態における端末装置の回路構成の１例を示す図である。
【図２３】本発明の第５の実施形態における端末装置の回路構成の１例を示す図である。
【図２４】多地点会議システムの別の例を示す図である。
【図２５】多地点会議システムの別の例を示す図である。
【符号の説明】
１００      端末装置
１０１      ネットワーク
１０２      デパケッタイザ
１０４      パケッタイザ
１０６      映像符号器
１０７      映像出力チャンネル
１０８      制御部
１０９      音声出力チャンネル
１１０      映像復号器
１２０      音声復号器
１３０      音声符号器
１４０      映像重畳器
１５０      受信音声重畳器
１６０      送信音声重畳器
１７０      エコーキャンセラ
１８２      カメラ
１８４      入力映像変換器
１８６      マイク
１８８      音声ＡＤ変換器
１９２      出力映像変換器
１９４      出力音声変換器
１９８      モニタ
２００      端末装置
２０７      映像出力チャンネル
２０９      音声出力チャンネル
２５０      受信音声重畳器
２７０      エコーキャンセラ
３００      端末装置
３１１      出力映像変換器
３４０      映像重畳器
３８０      サランウンドアンプ
４００      端末装置
４１２      ヘッドセット
５００      端末装置
５１０      回線インタフェース
５２０      信号分離回路
５３０      信号多重回路
【図１】
2004208051.tif 000006
【図２】
2004208051.tif 000007
【図３】
2004208051.tif 000008
【図４】
2004208051.tif 000009
【図５】
2004208051.tif 000010
【図６】
2004208051.tif 000011
【図７】
2004208051.tif 000012
【図８】
2004208051.tif 000013
【図９】
2004208051.tif 000014
【図１０】
2004208051.tif 000015
【図１１】
2004208051.tif 000016
【図１２】
2004208051.tif 000017
【図１３】
2004208051.tif 000018
【図１４】
2004208051.tif 000019
【図１５】
2004208051.tif 000020
【図１６】
2004208051.tif 000021
【図１７】
2004208051.tif 000022
【図１８】
2004208051.tif 000023
【図１９】
2004208051.tif 000024
【図２０】
2004208051.tif 000025
【図２１】
2004208051.tif 000026
【図２２】
2004208051.tif 000027
【図２３】
2004208051.tif 000028
【図２４】
2004208051.tif 000029
【図２５】
2004208051.tif 000030