(57)【特許請求の範囲】
【請求項１】
少なくとも３つの通信装置を含む通信システムで使用され、上記通信装置のそれぞれに対して他の通信装置から通信される通信データをグルーピングするグルーピング装置において、
上記通信装置のそれぞれに対応するユーザの、他の通信装置からの通信データのそれぞれに対する注目度に基づいて、上記通信データのグルーピングを行うグルーピング手段と、
上記グルーピング手段による上記グルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを備え、
上記グルーピング手段は、上記通信装置が検出した上記ユーザの向いている方向及びその方向の継続時間に基づく上記他の通信装置からの通信データに対する注目度に基づいて、上記通信データのグルーピングを行うことを特徴とするグルーピング装置。
【請求項２】
上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第１の通信データに対する他の通信装置の上記注目度が所定の値より高い場合には、上記第１の通信データと、上記他の通信装置が送信した第２の通信データとを同じグループとすることを特徴とする請求項１記載のグルーピング装置。
【請求項３】
上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第１の通信データに対する他の通信装置の上記注目度が所定の値より高く、且つ、上記他の通信装置が送信した第２の通信データに対する上記一の通信装置の上記注目度が所定の値より高い場合には、上記第１の通信データと上記第２の通信データとを同じグループとすることを特徴とする請求項１記載のグルーピング装置。
【請求項４】
上記グルーピング手段は、第１のグループにグルーピングされた第１の通信データに対する、第２のグループにグルーピングされた第２の通信データに対応するユーザの注目度が所定の値より高い場合には、上記第１のグループと上記第２のグループとを１つのグループに統合することを特徴とする請求項１記載のグルーピング装置。
【請求項５】
少なくとも３つの通信装置を含む通信システムで使用され、上記通信装置のそれぞれに対して他の通信装置から通信される通信データをグルーピングするグルーピング方法において、
上記通信装置のそれぞれに対応するユーザの、他の通信装置からの通信データのそれぞれに対する注目度に基づいて、上記通信データのグルーピングを行うグルーピング工程と、
上記グルーピング工程による上記グルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備え、
上記グルーピング工程では、上記通信装置が検出した上記ユーザの向いている方向及びその方向の継続時間に基づく上記他の通信装置からの通信データに対する注目度に基づいて、上記通信データのグルーピングを行うことを特徴とするグルーピング方法。
【請求項６】
少なくとも３つの通信装置を含む通信システムで使用され、上記通信装置のそれぞれに対して他の通信装置から通信される通信データをグルーピングするコンピュータ制御可能なグルーピングプログラムが記録された記録媒体において、
上記グルーピングプログラムは、
上記通信装置のそれぞれに対応するユーザの、他の通信装置からの通信データのそれぞれに対する注目度に基づいて、上記通信データのグルーピングを行うグルーピング工程と、
上記グルーピング工程による上記グルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備え、
上記グルーピング工程では、上記通信装置が検出した上記ユーザの向いている方向及びその方向の継続時間に基づく上記他の通信装置からの通信データに対する注目度に基づいて、上記通信データのグルーピングを行うことを特徴とするグルーピングプログラムが記録された記録媒体。
【請求項７】
情報処理装置と少なくとも３つの通信装置とを有する通信システムにおける情報処理装置において、
上記通信装置のそれぞれから送信された通信データに対する注目度を受信する受信手段と、
上記注目度に基づいて、上記通信データのグルーピングを行うグルーピング手段と、
上記グルーピング手段による上記グルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを備え、
上記グルーピング手段は、上記通信装置が検出した、該通信装置のそれぞれに対応するユーザの向いている方向及びその方向の継続時間に基づく他の通信装置からの通信データに対する注目度に基づいて、上記通信データのグルーピングを行うことを特徴とする情報処理装置。
【請求項８】
上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第１の通信データに対する他の通信装置の上記注目度が所定の値より高い場合には、上記第１の通信データと、上記他の通信装置が送信した第２の通信データとを同じグループとすることを特徴とする請求項７記載の情報処理装置。
【請求項９】
上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第１の通信データに対する他の通信装置の上記注目度が所定の値より高く、且つ、上記他の通信装置が送信した第２の通信データに対する上記一の通信装置の上記注目度が所定の値より高い場合には、上記第１の通信データと上記第２の通信データとを同じグループとすることを特徴とする請求項７記載の情報処理装置。
【請求項１０】
上記グルーピング手段は、第１のグループにグルーピングされた第１の通信データに対する、第２のグループにグルーピングされた第２の通信データに対応するユーザの注目度が所定の値より高い場合には、上記第１のグループと上記第２のグループとを１つのグループに統合することを特徴とする請求項７記載の情報処理装置。
【請求項１１】
上記受信手段は、上記注目度の代わりに、上記通信装置のそれぞれから送信された通信データを受信し、
当該情報処理装置は、上記通信データのそれぞれに対するユーザの注目度を検出する注目度検出手段をさらに備え、
上記注目度検出手段は、上記ユーザの向いている方向及びその方向の継続時間を検出し、該ユーザの向いている方向及びその方向の継続時間に基づいて他の通信装置からの上記通信データに対する上記ユーザの注目度を検出することを特徴とする請求項７記載の情報処理装置。
【請求項１２】
情報処理装置と少なくとも３つの通信装置とを有する通信システムにおける情報処理方法において、
上記通信装置のそれぞれから送信された通信データに対する注目度を受信する受信工程と、
上記注目度に基づいて、上記通信データのグルーピングを行うグルーピング工程と、
上記グルーピング工程による上記グルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備え、
上記グルーピング工程では、上記通信装置が検出した、該通信装置のそれぞれに対応するユーザの向いている方向及びその方向の継続時間に基づく他の通信装置からの通信データに対する注目度に基づいて、上記通信データのグルーピングを行うことを特徴とする情報処理方法。
【請求項１３】
情報処理装置と少なくとも３つの通信装置とを有する通信システムにおけるコンピュータ制御可能な情報処理プログラムが記録された記録媒体において、
上記情報処理プログラムは、
上記通信装置のそれぞれから送信された通信データに対する注目度を受信する受信工程と、
上記注目度に基づいて、上記通信データのグルーピングを行うグルーピング工程と、
上記グルーピング工程による上記グルーピングの結果を示すグループ情報を出力するグループ情報出力工程と備え、
上記グルーピング工程では、上記通信装置が検出した、該通信装置のそれぞれに対応するユーザの向いている方向及びその方向の継続時間に基づく他の通信装置からの通信データに対する注目度に基づいて、上記通信データのグルーピングを行うことを特徴とする情報処理プログラムが記録された記録媒体。
【請求項１４】
情報処理装置と少なくとも３つの通信装置とを有する通信システムにおける通信装置において、
上記通信装置からの上記通信データのそれぞれに対するユーザの反応情報を取得する情報取得手段と、
上記ユーザの反応情報に基づいて、上記通信データのそれぞれに対する注目度を検出する注目度検出手段と、
上記情報処理装置からの通信データと、上記情報処理装置から送信された上記通信データの属するグループを示すグループ情報とを受信するとともに、上記注目度を上記情報処理装置に送信する通信手段と、
上記グループ情報に基づいて、上記通信データを加工する加工手段と、
上記加工手段によって加工された通信データを提示装置に出力する加工データ出力手段とを備え、
上記注目度検出手段は、上記ユーザの向いている方向及びその方向の継続時間を検出し、該ユーザの向いている方向及びその方向の継続時間に基づいて他の通信装置からの上記通信データに対する上記ユーザの注目度を検出することを特徴とする通信装置。
【請求項１５】
上記加工手段は、所定のグループに属する通信データを、上記所定のグループに属さない通信データに対して相対的に強調された状態に加工することを特徴とする請求項１４記載の通信装置。
【請求項１６】
上記通信データは音声データを含むものであり、
上記加工手段は、上記音声データを加工することを特徴とする請求項１４記載の通信装置。
【請求項１７】
上記加工手段は、上記音声データの音量を調整することで上記音声データを加工することを特徴とする請求項１６記載の通信装置。
【請求項１８】
上記加工手段は、上記音声データの音質を調整することで上記音声データを加工することを特徴とする請求項１６記載の通信装置。
【請求項１９】
上記通信データは画像データを含むものであり、
上記加工手段は、上記画像データを加工することを特徴とする請求項１４記載の通信装置。
【請求項２０】
上記加工手段は、上記画像データの画質を調整することで上記画像データを加工することを特徴とする請求項１９記載の通信装置。
【請求項２１】
上記提示装置は、上記他の通信装置のそれぞれから送信された上記通信データを入力する入力手段と、
上記他の通信装置のそれぞれに対応して、上記通信データを提示する提示手段と
を有することを特徴とする請求項１４記載の通信装置。
【請求項２２】
情報処理装置と少なくとも３つの通信装置とを有する通信システムにおける通信方法において、
上記通信装置からの上記通信データのそれぞれに対するユーザの反応情報を取得する情報取得工程と、
上記ユーザの反応情報に基づいて、上記通信データのそれぞれに対する注目度を検出する注目度検出工程と、
上記注目度を上記情報処理装置に送信する送信工程と、
上記情報処理装置からの通信データと、上記情報処理装置から送信された上記通信データの属するグループを示すグループ情報とを受信する受信工程と、
上記グループ情報に基づいて、上記通信データを加工する加工工程と、
上記加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備え、
上記注目度検出工程では、上記ユーザの向いている方向及びその方向の継続時間が検出され、該ユーザの向いている方向及びその方向の継続時間に基づいて他の通信装置からの上記通信データに対する上記ユーザの注目度が検出されることを特徴とする通信方法。
【請求項２３】
情報処理装置と少なくとも３つの通信装置とを有する通信システムにおけるコンピュータ制御可能な通信プログラムが記録された記録媒体において、
上記通信プログラムは、
上記通信装置からの上記通信データのそれぞれに対するユーザの反応情報を取得する情報取得工程と、
上記ユーザの反応情報に基づいて、上記通信データのそれぞれに対する注目度を検出する注目度検出工程と、
上記ユーザの反応情報を上記情報処理装置に送信する送信工程と、
上記情報処理装置からの通信データと、上記情報処理装置から送信された上記通信データの属するグループを示すグループ情報とを受信する受信工程と、
上記グループ情報に基づいて、上記通信データを加工する加工工程と、
上記加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備え、
上記注目度検出工程では、上記ユーザの向いている方向及びその方向の継続時間が検出され、該ユーザの向いている方向及びその方向の継続時間に基づいて他の通信装置からの上記通信データに対する上記ユーザの注目度が検出されることを特徴とする通信プログラムが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、少なくとも３つの通信装置間で通信を行う通信システムに関する。
【０００２】
【従来の技術】
従来より、遠隔会議システムにおいては、遠く離れている複数の会議室における画像及び音声をネットワークを介して相互に通信し、各会議室において他の会議室の画像及び音声を提示することにより、あたかも１つのテーブルを囲んでいるかのように会議を行うことが可能となっている。
【０００３】
ところで、従来の遠隔会議システムにおいては、各会議室における会議参加者が同時に発言できるようになされている。このため、従来の遠隔会議システムにおいては、複数の会議参加者が同時に発言している場合には、聞き取りたい発言が他の発言に邪魔されて聞き取り難くなる問題があった。
【０００４】
また、従来の遠隔会議システムにおいては、各会議室における画像が全て同じ明るさ、同じ画質となされている。したがって、従来の遠隔会議システムにおいては、例えば所望の会議室の画像をより明るくして見たり、より詳しく見るようなことは考えられなかった。
【０００５】
さらに、従来の遠隔会議システムにおいて、例えば複数の話題が存在しているような場合に、例えばある１つの話題に参加している各会議参加者の発言を、同じ話題に参加している他の各会議参加者に対して特に聞き取り易くしたり、また見易くするようなことは考えられなかった。
【０００６】
【発明の開示】
【発明が解決しようとする課題】
本発明は、このような実情に鑑みてなされたものであり、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする、グルーピング装置、グルーピング方法及びグルーピングプログラムが記録された記録媒体、情報処理装置、情報処理方法及び情報処理プログラムが記録された記録媒体、並びに、通信装置、通信方法及び通信プログラムが記録された記録媒体を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
上述した目的を達成する本発明にかかるグルーピング装置は、少なくとも３つの通信装置を含む通信システムで使用され、通信装置のそれぞれに対して他の通信装置から通信される通信データをグルーピングするグルーピング装置において、通信装置のそれぞれに対応するユーザの、他の通信装置からの通信データのそれぞれに対する注目度に基づいて、通信データのグルーピングを行うグルーピング手段と、グルーピング手段によるグルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを備え、グルーピング手段は、通信装置が検出したユーザの向いている方向及びその方向の継続時間に基づく他の通信装置からの通信データに対する注目度に基づいて、通信データのグルーピングを行うことにより、上述した課題を解決する。
【０００８】
また、上述した目的を達成する本発明にかかるグルーピング方法は、少なくとも３つの通信装置を含む通信システムで使用され、通信装置のそれぞれに対して他の通信装置から通信される通信データをグルーピングするグルーピング方法において、通信装置のそれぞれに対応するユーザの、他の通信装置からの通信データのそれぞれに対する注目度に基づいて、通信データのグルーピングを行うグルーピング工程と、グルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備え、グルーピング工程では、通信装置が検出したユーザの向いている方向及びその方向の継続時間に基づく他の通信装置からの通信データに対する注目度に基づいて、通信データのグルーピングを行うことにより、上述した課題を解決する。
【０００９】
また、上述した目的を達成する本発明にかかるグルーピングプログラムが記録された記録媒体は、少なくとも３つの通信装置を含む通信システムで使用され、通信装置のそれぞれに対して他の通信装置から通信される通信データをグルーピングするコンピュータ制御可能なグルーピングプログラムが記録された記録媒体において、グルーピングプログラムは、通信装置のそれぞれに対応するユーザの、他の通信装置からの通信データのそれぞれに対する注目度に基づいて、通信データのグルーピングを行うグルーピング工程と、グルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備え、グルーピング工程では、通信装置が検出したユーザの向いている方向及びその方向の継続時間に基づく他の通信装置からの通信データに対する注目度に基づいて、通信データのグルーピングを行うことにより、上述した課題を解決する。
【００１０】
さらに、上述した目的を達成する本発明にかかる情報処理装置は、情報処理装置と少なくとも３つの通信装置とを有する通信システムにおける情報処理装置において、通信装置のそれぞれから送信された通信データに対する注目度を受信する受信手段と、注目度に基づいて、通信データのグルーピングを行うグルーピング手段と、グルーピング手段によるグルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを備え、グルーピング手段は、通信装置が検出した、通信装置のそれぞれに対応するユーザの向いている方向及びその方向の継続時間に基づく他の通信装置からの通信データに対する注目度に基づいて、通信データのグルーピングを行うことにより、上述した課題を解決する。
【００１１】
また、この情報処理装置は、受信手段が、注目度の代わりに、通信装置のそれぞれから送信された通信データを受信し、当該情報処理装置は、通信データのそれぞれに対するユーザの注目度を検出する注目度検出手段をさらに備え、注目度検出手段は、ユーザの向いている方向及びその方向の継続時間を検出し、ユーザの向いている方向及びその方向の継続時間に基づいて他の通信装置からの通信データに対するユーザの注目度を検出することにより、上述した課題を解決する。
【００１２】
さらにまた、上述した目的を達成する本発明にかかる情報処理方法は、情報処理装置と少なくとも３つの通信装置とを有する通信システムにおける情報処理方法において、通信装置のそれぞれから送信された通信データに対する注目度を受信する受信工程と、注目度に基づいて、通信データのグルーピングを行うグルーピング工程と、グルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備え、グルーピング工程では、通信装置が検出した、通信装置のそれぞれに対応するユーザの向いている方向及びその方向の継続時間に基づく他の通信装置からの通信データに対する注目度に基づいて、通信データのグルーピングを行うことにより、上述した課題を解決する。
【００１３】
また、上述した目的を達成する本発明にかかる情報処理プログラムが記録された記録媒体は、情報処理装置と少なくとも３つの通信装置とを有する通信システムにおけるコンピュータ制御可能な情報処理プログラムが記録された記録媒体において、情報処理プログラムは、通信装置のそれぞれから送信された通信データに対する注目度を受信する受信工程と、注目度に基づいて、通信データのグルーピングを行うグルーピング工程と、グルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程と備え、グルーピング工程では、通信装置が検出した、通信装置のそれぞれに対応するユーザの向いている方向及びその方向の継続時間に基づく他の通信装置からの通信データに対する注目度に基づいて、通信データのグルーピングを行うことにより、上述した課題を解決する。
【００１４】
さらに、上述した目的を達成する本発明にかかる通信装置は、情報処理装置と少なくとも３つの通信装置とを有する通信システムにおける通信装置において、通信装置からの通信データのそれぞれに対するユーザの反応情報を取得する情報取得手段と、ユーザの反応情報に基づいて、通信データのそれぞれに対する注目度を検出する注目度検出手段と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信するとともに、注目度を情報処理装置に送信する通信手段と、グループ情報に基づいて、通信データを加工する加工手段と、加工手段によって加工された通信データを提示装置に出力する加工データ出力手段とを備え、注目度検出手段は、ユーザの向いている方向及びその方向の継続時間を検出し、ユーザの向いている方向及びその方向の継続時間に基づいて他の通信装置からの通信データに対するユーザの注目度を検出することにより、上述した課題を解決する。
【００１５】
さらにまた、上述した目的を達成する本発明にかかる通信方法は、情報処理装置と少なくとも３つの通信装置とを有する通信システムにおける通信方法において、通信装置からの通信データのそれぞれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報に基づいて、通信データのそれぞれに対する注目度を検出する注目度検出工程と、注目度を情報処理装置に送信する送信工程と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信する受信工程と、グループ情報に基づいて、通信データを加工する加工工程と、加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備え、注目度検出工程では、ユーザの向いている方向及びその方向の継続時間が検出され、ユーザの向いている方向及びその方向の継続時間に基づいて他の通信装置からの通信データに対するユーザの注目度が検出されることにより、上述した課題を解決する。
【００１６】
また、上述した目的を達成する本発明にかかる通信プログラムが記録された記録媒体は、情報処理装置と少なくとも３つの通信装置とを有する通信システムにおけるコンピュータ制御可能な通信プログラムが記録された記録媒体において、通信プログラムは、通信装置からの通信データのそれぞれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報に基づいて、通信データのそれぞれに対する注目度を検出する注目度検出工程と、ユーザの反応情報を情報処理装置に送信する送信工程と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信する受信工程と、グループ情報に基づいて、通信データを加工する加工工程と、加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備え、注目度検出工程では、ユーザの向いている方向及びその方向の継続時間が検出され、ユーザの向いている方向及びその方向の継続時間に基づいて他の通信装置からの通信データに対するユーザの注目度が検出されることにより、上述した課題を解決する。
【００１７】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【００１８】
この実施の形態は、遠隔地に居る複数の会議参加者による会議を行うことができる遠隔会議システムであって、会議参加者の注目度を検出し、その検出結果に基づいて、各会議参加者が何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、このグループ判定用情報に基づいてグループ分けを行い、各会議参加者が何れのグループに属しているのかを表すグループ情報を生成し、このグループ情報に基づいて、他の各会議参加者にそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施すものであり、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となるものである。
【００１９】
まず、本発明を適用した第１の実施の形態として示す遠隔会議システムについて説明する。
【００２０】
遠隔会議システムの概略構成を図１に示す。この遠隔会議システムにおいて、複数箇所（１〜ｎ箇所）に居る各会議参加者ＨＭ１〜ＨＭｎには、それぞれ対応した遠隔会議装置ＴＣＤ１〜ＴＣＤｎが割り当てられており、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎは、例えばＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）等からなる通信ネットワークＮＴを介して接続されている。
【００２１】
なお、以下では、各会議参加者ＨＭ１〜ＨＭｎを個々に区別する必要がない場合には、単に会議参加者ＨＭと記述し、同様に、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎを個々に区別する必要がない場合には、単に遠隔会議装置ＴＣＤと記述するものとする。また、図１には、通信ネットワークＮＴとしてＩＳＤＮを例に挙げたが、ＩＳＤＮの代わりに、例えばケーブルテレビ網、インターネット、ディジタル衛星通信のような他の伝送媒体を用いることも可能である。
【００２２】
各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。すなわち、各遠隔会議装置ＴＣＤは、画像及び音声をモニタ可能とされている。
【００２３】
この遠隔会議システムにおける各遠隔会議装置ＴＣＤは、それぞれ、図２に示すような構成を備えている。なお、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎは、それぞれ、同一の構成を有することから、図２には、これら複数の遠隔会議装置ＴＣＤ１〜ＴＣＤｎのうち、代表して遠隔会議装置ＴＣＤ１の詳細な構成例を示している。
【００２４】
遠隔会議装置ＴＣＤ１は、通信ネットワークＮＴと接続され、遠隔会議システムにおける他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎとの間で通信を行うとともに、送受信される信号に対して後述するような信号処理を施す信号処理装置ＳＰＤ１と、遠隔会議システムにおける他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた会議参加者ＨＭ２〜ＨＭｎの画像データ及び音声データを、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応して表示及び／又は提示するモニタ装置ＭＤ２〜ＭＤｎとを、少なくとも備える。
【００２５】
なお、以下では、モニタ装置ＭＤ２〜ＭＤｎを個々に区別する必要がない場合には、単にモニタ装置ＭＤと記述するものとする。
【００２６】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１は、通信ネットワークＮＴと接続されるネットワーク接続端子ＴＮ１と、通信ネットワークＮＴとの間で情報送受信を行うための情報送受信部ＴＲＢ１と、各モニタ装置ＭＤ２〜ＭＤｎに供給される信号に対して後述する情報加工処理を施す加工装置を構成する情報加工部ＰＢ１と、後述するように会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置を構成するグループ判定用情報生成部ＪＢ１と、各モニタ装置ＭＤ２〜ＭＤｎへ個々に供給される信号の出力端子ＴＯ２〜ＴＯｎと、各モニタ装置ＭＤ２〜ＭＤｎから個々に供給された信号の入力端子ＴＩ２〜ＴＩｎと、グループ判定の際に使用される後述するスイッチ押下情報を生成するスイッチＳＷからの信号の入力端子ＴＳとを備えている。
【００２７】
各モニタ装置ＭＤ２〜ＭＤｎは、その詳細な構成については後述するが、それぞれが主要構成要素として、モニタ装置ＭＤの筐体正面側に設けられるスピーカと、画面が所定の方向、具体的には会議参加者ＨＭ１の方向に向くように配置されたディスプレイ装置とを少なくとも備えている。また、モニタ装置ＭＤ２〜ＭＤｎのうち少なくとも１つのモニタ装置ＭＤには、遠隔会議装置ＴＣＤ１の周囲及び会議参加者ＨＭ１の発言の音を取り込むためのマイクロホンと、会議参加者ＨＭ１の画像を取り込むための例えばビデオカメラといったカメラとが設けられている。なお、マイクロホンとカメラが設けられるモニタ装置は、会議参加者ＨＭ１の正面に配置されるモニタ装置、すなわち図２の例ではモニタ装置ＭＤｍであることが望ましい。勿論、遠隔会議装置ＴＣＤ１においては、全てのモニタ装置ＭＤ２〜ＭＤｎにマイクロホンとカメラを設けることも可能である。また、遠隔会議装置ＴＣＤ１においては、所望の位置に別途マイクロホンとカメラを設置してもよい。
【００２８】
カメラから取り込まれた画像データとマイクロホンから取り込まれた音声データは、信号処理装置ＳＰＤ１及び通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。
【００２９】
また、各モニタ装置ＭＤ２〜ＭＤｎのディスプレイ装置には、それぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた画像データに基づく画像が表示され、スピーカからは、同じくそれぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた音声データに基づく音声が出力される。すなわち、これらモニタ装置ＭＤ２〜ＭＤｎのうち、モニタ装置ＭＤ２のディスプレイ装置の画面上には、遠隔会議装置ＴＣＤ２のカメラによって撮影されて通信ネットワークＮＴを介して供給されてきた画像データ、すなわち会議参加者ＨＭ２及びその周辺風景の画像データに基づく画像が表示され、モニタ装置ＭＤ２のスピーカからは、遠隔会議装置ＴＣＤ２のマイクロホンによって取り込まれて通信ネットワークＮＴを介して供給された音声データ、すなわち会議参加者ＨＭ２の発言による音声データに基づく音声が出力される。同様に、モニタ装置ＭＤ３のディスプレイ装置の画面上には、遠隔会議装置ＴＣＤ３のカメラによって撮影されて送信されてきた画像データに基づく画像が表示され、スピーカからは、遠隔会議装置ＴＣＤ３のマイクロホンによって取り込まれて送信されてきた音声データに基づく音声が出力される。他のモニタ装置ＭＤも同様であり、それぞれ対応する遠隔会議装置ＴＣＤから送信されてきた画像が表示され、また音声が出力される。なお、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎ間で通信ネットワークＮＴを介して送受信される画像データとしては、動画データの例以外に静止画データも考えられる。
【００３０】
これらモニタ装置ＭＤ２〜ＭＤｎは、図２に示すように、遠隔会議装置ＴＣＤ１を備えた会議室に居る会議参加者ＨＭ１と、他の離れた場所に居る他の会議参加者ＨＭ２〜ＨＭｎ（各モニタ装置ＭＤ２〜ＭＤｎの各ディスプレイ装置上に表示されている他の会議参加者ＨＭ２〜ＨＭｎ）とが、あたかも１つのテーブルを囲んで会議を行うかのように配置されている。なお、遠隔会議システムにおける遠隔会議装置ＴＣＤが６台有り、各遠隔会議装置ＴＣＤ内のモニタ装置ＭＤが５台となるような場合には、１つの遠隔会議装置ＴＣＤ内の５台のモニタ装置ＭＤの配置は、会議参加者ＨＭとこれら５台のモニタ装置ＭＤとが例えば正六角形となるような配置とすることができる。
【００３１】
各遠隔会議装置ＴＣＤにおける信号処理装置ＳＰＤ内のグループ判定用情報生成部ＪＢは、以下に述べるようにして、会議中において同じ話題に参加している各会議参加者をグループ分けする際に使用されるグループ判定用情報を生成する。なお、以下では、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに対応する各グループ判定用情報生成部ＪＢ１〜ＪＢｎのうち、代表して遠隔会議装置ＴＣＤ１の信号処理装置ＳＰＤ１内のグループ判定用情報生成部ＪＢ１の動作を例に挙げて説明する。
【００３２】
グループ判定用情報生成部ＪＢ１は、会議参加者ＨＭ１の例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データに基づいて、会議参加者ＨＭ１の注目度を検出し、その検出結果に基づいて、後述するように会議参加者ＨＭ１が何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成する。なお、会議参加者ＨＭ１における注目度とは、会議参加者ＨＭ１がモニタ装置ＭＤ２〜ＭＤｎの何れか或いはそれら以外の方向へ注目している場合のような注目の有無を表す場合、すなわち注目の有無をいわゆるディジタル的に０，１で表す場合だけでなく、モニタ装置ＭＤ２〜ＭＤｎについてそれぞれどれくらい注目しているかを表す場合、すなわちアナログ的或いは段階的に表す場合も含まれる。
【００３３】
グループ判定用情報生成部ＪＢ１は、詳細については後述するが、モニタ装置ＭＤｍのカメラから供給される会議参加者ＨＭ１の画像データを解析し、会議参加者ＨＭ１の向いている方向を一定の時間毎に検出する。
【００３４】
すなわち、グループ判定用情報生成部ＪＢ１は、まず、図３中上段に示すように、会議参加者ＨＭ１の向いている方向及びその方向の継続時間を表す情報として期間Ｉｊを検出する。なお、Ｉｊのｊは、他の各会議参加者ＨＭ２〜ＨＭｎに対応する２〜ｎ及びこれら各会議参加者ＨＭ２〜ＨＭｎの何れでもないことを表す０のどれかの値である。グループ判定用情報生成部ＪＢ１は、会議参加者ＨＭ２の画像が表示されているモニタ装置ＭＤ２の方を向いている期間Ｉ２、会議参加者ＨＭ３の画像が表示されているモニタ装置ＭＤ３の方を向いている期間Ｉ３、会議参加者ＨＭｍの画像が表示されているモニタ装置ＭＤｍの方を向いている期間Ｉｍ、会議参加者ＨＭｎ−１の画像が表示されているモニタ装置ＭＤｎ−１の方を向いている期間Ｉｎ−１、会議参加者ＨＭｎの画像が表示されているモニタ装置ＭＤｎの方を向いている期間Ｉｎ等、及び、それら各モニタ装置ＭＤ２〜ＭＤｎの何れの方をも向いていない期間Ｉ０を検出する。
【００３５】
続いて、グループ判定用情報生成部ＪＢ１は、それら検出した各期間Ｉ２〜Ｉｎ或いはＩ０について、特に時間Ｔｃｏｎｔ以上続く期間を検出し、時間Ｔｃｏｎｔ以上続く期間を検出した場合には、この検出した期間に対応するモニタ装置（表示されている会議参加者の画像）を会議参加者ＨＭ１が注目していることを示す図３中下段に示すような情報（Ｈｉ：Ａｊ）を生成する。なお、この（Ｈｉ：Ａｊ）のｉは、会議参加者ＨＭｉのｉに対応しており、ここでは、ｉ＝１である。また、（Ｈｉ：Ａｊ）のｊは、他の各会議参加者ＨＭ２〜ＨＭｎ及びそれ以外に対応する２〜ｎ及び０のどれかの値である。すなわち、図３の例で説明すると、グループ判定用情報生成部ＪＢ１は、各期間Ｉ２〜Ｉｎ或いはＩ０から、時間Ｔｃｏｎｔ以上続く期間として期間Ｉ３とＩ０とＩ２を検出した場合には、その検出した期間Ｉ３に対応するモニタ装置ＭＤ３を会議参加者ＨＭ１が注目していることを示す情報（Ｈ１：Ａ３）と、期間Ｉ０に対応して会議参加者ＨＭ１が各モニタ装置ＭＤの何れにも注目していないこと或いは各モニタ装置ＭＤ以外のものに注目していることを示す情報（Ｈ１：Ａ０）と、期間Ｉ２に対応するモニタ装置ＭＤ２を会議参加者ＨＭ１が注目していることを示す情報（Ｈ１：Ａ２）とを、グループ判定用情報として生成する。
【００３６】
また、グループ判定用情報生成部ＪＢ１は、各期間Ｉｊの検出とともに、会議参加者ＨＭ１が注目していることを示すスイッチＳＷからのスイッチ押下情報に基づいて、当該グループの判定のためのグループ判定用情報を生成するようにしてもよい。すなわち、この場合のグループ判定用情報生成部ＪＢ１は、図４中上段に示すように、会議参加者ＨＭ１の向いている方向及びその方向の継続時間を表す情報として期間Ｉｊを検出し、それら検出した各期間Ｉ２〜Ｉｎ或いはＩ０について、会議参加者ＨＭ１がスイッチＳＷを押下することによって得られる図４中中段に示すようなスイッチ押下の「ＯＮ」信号が供給されたとき、このスイッチ押下信号が「ＯＮ」信号となっている期間に対応するモニタ装置（表示されている会議参加者の画像）を会議参加者ＨＭ１が注目していることを示す図４中下段に示すような情報（Ｈ１：Ａｊ）を生成する。図４の例で説明すると、グループ判定用情報生成部ＪＢ１は、各期間Ｉ２〜Ｉｎ或いはＩ０から、スイッチ押下信号が「ＯＮ」となされた期間としてＩ３とＩ４を検出した場合には、その検出した期間Ｉ３に対応するモニタ装置ＭＤ３を会議参加者ＨＭ１が注目していることを示す情報（Ｈ１：Ａ３）と、期間Ｉ４に対応するモニタ装置ＭＤ４を会議参加者ＨＭ１が注目していることを示す情報（Ｈ１：Ａ４）とを、グループ判定用情報として生成する。
【００３７】
その他、会議参加者ＨＭ１の注目している方向を、当該会議参加者ＨＭ１が自ら明確に指示するようにすることも可能である。例えば、他の各会議参加者ＨＭ２〜ＨＭｎの各人毎に対応するボタンとそれらの何れにも注目していない場合に対応するボタンとを準備し、これらのボタンを当該会議参加者ＨＭ１が自ら押すことにより、自己が注目している相手を指定する。この場合、これら各ボタンの押下情報が上述したグループ判定用情報となる。
【００３８】
上述のように、グループ判定用情報生成部ＪＢ１が会議参加者ＨＭ１の挙動や指示を下に何れのモニタ装置ＭＤ２〜ＭＤｎ（各会議参加者ＨＭ２〜ＨＭｎ）を注目しているかを検出することによって生成されたグループ判定用情報は、信号処理装置ＳＰＤ１における情報送受信部ＴＲＢ１に供給され、さらに、ネットワーク接続端子ＴＮ１を介して通信ネットワークＮＴから、後述するサーバＳＶに送信される。
【００３９】
サーバＳＶは、図５に示すように構成され、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。
【００４０】
この図５において、サーバＳＶは、通信ネットワークＮＴと接続されるネットワーク接続端子１１と、通信ネットワークＮＴとの間で情報送受信を行うための情報送受信部１０と、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきたグループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成し、このグループ情報を各遠隔会議装置ＴＣＤ１〜ＴＣＤｎの情報加工部ＰＢに送信するグループ判定部ＧＪＤとを備えている。
【００４１】
情報送受信部１０は、通信ネットワークＮＴを介して、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部ＧＪＤに供給する。また、情報送受信部１０は、グループ判定部ＧＪＤによって生成されたグループ情報を通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送信する。
【００４２】
グループ判定部ＧＪＤは、各グループ判定用情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎを介して会議に参加している各会議参加者ＨＭ１〜ＨＭｎがそれぞれ何れのグループに属するか、すなわち何れの話題に参加しているかの判定及び更新を行うとともに、そのグループ判定及び更新結果に基づいて、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。
【００４３】
なお、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎは、詳細については後述するが、サーバＳＶから送信されてきたグループ情報を情報加工部ＰＢに供給し、情報加工部ＰＢにより、このグループ情報に基づいて後述するように音量や音質、画質等の調整を行うためのパラメータを生成し、画像や音声等の調整をすることになる。
【００４４】
サーバＳＶにおいて用いられるグループ判定の基準には種々のものが考えられるが、以下では、例として、「注目している人と注目されている人の間にリンクをはることを利用して、直接或いは間接にリンクで結ばれている人の集まりを１つのグループとする」という基準を用いる場合につき、サーバＳＶのグループ判定部ＧＪＤにおけるグループ判定用情報に基づいたグループ判定及び更新処理の詳細について説明する。
【００４５】
グループ判定部ＧＪＤは、図６に示すように、遠隔会議システムに参加している各会議参加者に対応する番号である「本人番号」と、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎを使用している各会議参加者ＨＭ１〜ＨＭｎが注目している相手先の会議参加者を表す番号である「注目先番号」と、グループ表への登録状態を表す「グループ表への登録」とを有する注目先表を保持するとともに、図７に示すように、遠隔会議システムに存在する各グループの番号を表す「グループ番号」と、各グループに属する会議参加者の「人数」と、各グループに属する会議参加者を表す「メンバー」とを有するグループ表を保持している。
【００４６】
ここで、グループ判定部ＧＪＤは、グループ判定用情報を受信する前段として、図８に示すように、通信開始時の初期化処理を行う。
【００４７】
すなわち、グループ判定部ＧＪＤは、図８に示すように、まずステップＳ１１の処理として、図６に示した注目先表の作成と初期化とを行う。この初期化では、図６に示した注目先表の「本人番号」として、当該遠隔会議システムに参加している各会議参加者に対応する番号、すなわち図７の例ではＨ１〜Ｈｎが設定され、また、「注目先番号」として、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎを使用している各会議参加者ＨＭ１〜ＨＭｎが何れの相手先にも注目していないことを表す番号Ａ０が全てに設定され、さらに、「グループ表への登録」として、何れのグループにも登録されていないことを表す「×」が全てに設定される。
【００４８】
そして、グループ判定部ＧＪＤは、ステップＳ１２の処理として、図７に示したグループ表の作成と初期化とを行う。この初期化では、図７に示したグループ表の「グループ番号」として、当該遠隔会議システムに参加している各遠隔会議装置ＴＣＤ１〜ＴＣＤｎの個数からなるグループであるグループＧ１〜Ｇｎが設定され、また、「人数」として、何れのグループについて誰も参加していないとして全てに０が設定され、さらに、「メンバー」として、何れのグループについても当該グループを構成するメンバーが存在しないとして全て空にされる。
【００４９】
さらに、グループ判定部ＧＪＤは、グループ判定用情報を受信すると、図９に示すように、グループ判定用情報発生時の処理を開始する。
【００５０】
すなわち、グループ判定部ＧＪＤは、図９に示すように、グループ判定用情報を受信すると、まず、ステップＳ２１の処理として、注目先表にグループ判定用情報を実際に反映する。すなわち、グループ判定用情報の反映とは、例えば図１０に示すように、上述した情報（Ｈｉ，Ａｊ）、つまりＨｉ番で表される会議参加者ＨＭｉがＡｊ番に相当する他の会議参加者ＨＭｊに注目しているという情報を受けて、本人番号Ｈｉのエントリの「注目先番号」をＡｊにするという意味である。また、このとき、「グループ表への登録」は、全て「×」に初期化される。なお、図１０の例では、「本人番号」Ｈ１で表される会議参加者ＨＭ１が注目する相手先として会議参加者ＨＭ３に対応するＡ３が「注目先番号」として設定され、「本人番号」Ｈ２の会議参加者ＨＭ２が注目する相手先として誰にも注目していないことを表すＡ０が「注目先番号」として設定され、同様に、会議参加者ＨＭ３が会議参加者ＨＭ５を注目することで「注目先番号」にはＡ５が設定され、会議参加者ＨＭ４が会議参加者ＨＭ２を注目することで「注目先番号」にはＡ２が設定されている。以下の説明は省略する。
【００５１】
また、グループ判定部ＧＪＤは、ステップＳ２２の処理として、グループ表について図７と同様に「人数」を全て０に設定し、「メンバー」を全て空に設定する。
【００５２】
グループ判定部ＧＪＤは、これらのステップＳ２１及びステップＳ２２における設定後、ステップＳ２３の処理として、「本人番号」のＨ１〜Ｈｎのそれぞれに対して、順に注目先表の内容をグループ表に反映していく。
【００５３】
図９に示したフローチャートのステップＳ２３における注目先表内容のグループ表への反映処理の詳細な流れは、図１１に示すようになる。なお、この図１１において、「登録」とは、グループ表への登録を意味し、「自エントリ」とは、注目先表での自己のエントリを示し、「注目先」とは、自エントリにおける注目先を示し、「注目先エントリ」とは、注目先表での注目先のエントリを示し、「自グループ」とは、自分がメンバーに登録されているグループを示し、「注目先グループ」とは、注目先がメンバーに登録されているグループを示す。また、実際の操作における登録とは、グループ表における人数を１人増やすこと、グループ表におけるメンバーに対応番号を追加すること、注目先表におけるグループ表への登録の内容を「×」から「〇」にすることである。
【００５４】
まず、注目先表における会議参加者Ｈｉのエントリの反映に関する要件について説明する。本人番号Ｈｉに対応する会議参加者ＨＭｉに関する注目先表のエントリの反映に関する要件は、まず、本人番号Ｈｉがグループ表に登録され、注目先表の本人番号Ｈｉのエントリにおけるグループ表への登録が「〇」となることである。以下では、各遠隔会議装置ＴＣＤにおけるこのような要件を要件１と称するものとする。本人番号Ｈｉの注目先番号がＡ０の場合、すなわち他の何れの会議参加者にも注目していない場合における要件はこれだけである。
【００５５】
ここで、もし、本人番号Ｈｉの注目先番号がＡ０でないならば、さらに注目先番号がグループ表に登録され、注目先表における注目先のエントリにおけるグループ表への登録内容が「〇」となること、及び、本人番号Ｈｉとその注目先がグループ表において同じグループに登録されていることが要件となる。以下では、各遠隔会議装置ＴＣＤにおけるこのような要件を要件２と称するものとする。
【００５６】
このような要件が満たされていることを図１１のフローチャートを追いながら確認する。
【００５７】
まず、グループ判定部ＧＪＤは、図１１に示すように、ステップＳ３１の処理として、注目先表における本人番号Ｈｉの自エントリでグループ表への登録が「〇」となっているか否かを判定する。このステップＳ３１にて自エントリの「登録」が「〇」となっていればグループ表への登録も保証されることから、要件１は既に満たされていることになる。したがって、このステップＳ３１にてＹＥＳと判定した場合、グループ判定部ＧＪＤは、本人番号Ｈｉのグループ表への登録に関する作業は行わず、ステップＳ３３の処理へと移行する。一方、グループ判定部ＧＪＤは、自エントリで「登録」が「×」であるため、ステップＳ３１にてＮＯと判定した場合には、ステップＳ３２の処理へと移行する。
【００５８】
ここで、ステップＳ３２の処理に移行すると、グループ判定部ＧＪＤは、グループ表において人数が０である最小の番号のグループに自己を登録、すなわち本人番号を登録し、その後、ステップＳ３３の処理へと移行する。
【００５９】
これらのステップＳ３１及びステップＳ３２の結果、次のステップＳ３３の処理の前には、何れにせよ要件１が満たされていることになる。
【００６０】
続いて、ステップＳ３３の処理に移行すると、グループ判定部ＧＪＤは、注目先番号がＡ０であるかの確認を行う。ここで、注目先番号がＡ０である場合には既に全ての要件が満たされていることになることから、グループ判定部ＧＪＤは、このステップＳ３３においてＮＯと判定した場合には、一連の処理を終了する。一方、注目先番号がＡ０でなく、ステップＳ３３にてＹＥＳと判定した場合には、グループ判定部ＧＪＤの処理は、要件２を満たすべく、ステップＳ３４へと移行する。
【００６１】
ステップＳ３４の処理に移行すると、グループ判定部ＧＪＤは、注目先エントリでのグループ表への登録の内容が「〇」であるか否かを判定する。
【００６２】
ここで、注目先エントリでの登録が「×」の場合には、注目先エントリがグループ表に登録されていないことが確実であることから、グループ判定部ＧＪＤは、ステップＳ３４にてＮＯと判定すると、ステップＳ３８の処理へと移行し、注目先を自己と同じグループ、すなわち自グループに登録し、さらに注目先表の注目先エントリにおけるグループ表への登録内容を「〇」とする。このステップＳ３８の処理により、要件２は確実に満たされることから、グループ判定部ＧＪＤは一連の処理を終了する。
【００６３】
一方、ステップＳ３４の判定において、注目先エントリでの登録が「〇」となされており、注目先が既に登録されている場合には、残る要件は要件２の後半の本人番号Ｈｉとその注目先とが同じグループとなっていることの保証のみとなる。そこで、グループ判定部ＧＪＤは、ステップＳ３４の判定でＹＥＳと判定すると、次のステップＳ３５においてグループ表を参照して注目先グループを探索した上、ステップＳ３６において本人番号Ｈｉとその注目先とが同じグループとなっているかどうかを確認する。
【００６４】
ステップＳ３６にて既に同じグループであると確認された場合には、要件２は既に満たされているので、グループ判定部ＧＪＤは、このステップＳ３６にてＹＥＳと判定した場合には一連の処理を終了する。
【００６５】
一方、ステップＳ３６にてＮＯと判定した場合には、本人番号Ｈｉとその注目先との属するグループを同じにしなければならないことから、グループ判定部ＧＪＤは、ステップＳ３７の処理として、それぞれの属する２つのグループをマージする。すなわち、２つのグループのうち番号の小さい側に大きい側をマージ、より具体的には、小さい側の人数に大きい側の人数を加算し、小さい側のメンバーに大きい側のメンバーを追加し、大きい側の人数を０、大きい側のメンバーを空にする。この結果、要件２が満たされ、全ての要件が満たされることから、グループ判定部ＧＪＤは、一連の処理を終了する。
【００６６】
このようにして、グループ判定部ＧＪＤは、注目先表における会議参加者Ｈｉのエントリの反映に関する要件についての確認を終了する。
【００６７】
次に、本人番号Ｈｉのエントリに関する反映の終了後には、本人番号Ｈｉのエントリの反映とともに、その１つ前の本人番号Ｈｉ−１までのエントリの反映がされていることが要件となる。なお、本人番号Ｈ１のエントリに関する反映に関しては、それまでに他のエントリを反映していないので、当該本人番号Ｈ１のエントリだけが反映されていればよい。
【００６８】
一方、本人番号Ｈｉのエントリを反映する場合に行う操作は、グループ表への新規登録、グループ表における２グループのマージ、及び、注目先表におけるグループ表への登録内容の「〇」への変更である。ここで、この結果として本人番号Ｈｉの１つ前の本人番号Ｈｉ−１までのエントリにしたがい登録した番号が消されること、グループ表への登録が「×」になることはなく、同じグループに属していた２つの番号が分断されることもない。このため、本人番号Ｈｉについての反映処理により、その１つ前の本人番号Ｈｉ−１までの処理において満たされていた要件が満たされなくなることはない。したがって、全ての本人番号Ｈｉに関し、本人番号Ｈｉのエントリに関する図１１に示した処理の終了後、本人番号Ｈ１からＨｉの全てのエントリに関する要件が満たされていることがわかる。
【００６９】
つぎに、図１１に示したフローチャートの処理を行った場合の注目先表及びグループ表の内容の変遷について、具体例を挙げながら説明する。なお、ここでは、初期状態として、グループ表は図７に示したような状態となっており、また、グループ判定用情報が反映されたときの注目先表が図１０に示したようになっている場合を例に挙げ、これらの注目先表とグループ表とがどのように変遷するかについて説明する。
【００７０】
まず、会議参加者ＨＭ１（本人番号Ｈ１）のエントリの反映について説明する。
【００７１】
このとき、グループ表への登録内容は「×」であることから、図１１中ステップＳ３１においてＮＯと判定され、次のステップＳ３２において本人番号Ｈ１のエントリへの登録が行われる。このステップＳ３２の処理の結果、グループ表は、図１２に示すように、最小の番号のグループであるグループ番号Ｇ１について人数が１となり、メンバーには自己を表す本人番号Ｈ１が登録される。また、このとき、注目先表は、図１３に示すように、本人番号Ｈ１についてのグループ表への登録内容が「〇」となる。
【００７２】
次に、ステップＳ３３の判定処理においてＹＥＳと判定され、注目先として例えば会議参加者ＨＭ３を表す注目先番号Ａ３が得られたときには、図１３に示すように、本人番号Ｈ３のエントリのグループ表への登録内容が「×」となっていることから、ステップＳ３４の判定処理においてＮＯと判定され、その結果、ステップＳ３８において当該注目先の本人番号Ｈ３が自グループであるグループＧ１に登録される。これにより、グループ表は、図１４に示すように、グループＧ１について人数が２となり、そのメンバーがＨ１，Ｈ３とされる。また、注目先表は、図１５に示すように、それら本人番号Ｈ１及び本人番号Ｈ３についてのグループ表への登録内容が「〇」となる。
【００７３】
これにより、会議参加者ＨＭ１（本人番号Ｈ１）についてのエントリの反映は終了する。
【００７４】
続いて、会議参加者ＨＭ２（本人番号Ｈ２）のエントリの反映について説明する。
【００７５】
本人番号Ｈ２のエントリの反映を行う場合には、この時点でのグループ表への登録内容は「×」であることから、図１１中ステップＳ３１においてＮＯと判定され、次のステップＳ３２において本人番号Ｈ２のエントリへの登録が行われる。このステップＳ３２の処理の結果、グループ表は、図１６に示すように、最小の番号の次のグループであるグループ番号Ｇ２について人数が１となり、メンバーには自己を表す本人番号Ｈ２が登録される。また、このとき、注目先表は、図１７に示すように、本人番号Ｈ２についてのグループ表への登録内容が「〇」となる。さらに、この図１７の例に示すように、本人番号Ｈ２についての注目先番号が例えばＡ０となっている場合には、この時点でエントリの反映処理が終了する。
【００７６】
続いて、会議参加者ＨＭ３（本人番号Ｈ３）のエントリの反映について説明する。
【００７７】
本人番号Ｈ３のエントリの反映を行う場合には、この時点でのグループ表への登録内容は、先の本人番号Ｈ１のエントリ反映処理が行われている結果、図１７に示すように、「〇」となされていることから、図１１中ステップＳ３１においてＹＥＳと判定され、さらに、本人番号Ｈ３の会議参加者ＨＭ３が例えば会議参加者ＨＭ５を注目しているとすると、ステップＳ３３においてＹＥＳと判定される。この時点で、注目先の本人番号Ｈ５についてのグループ表への登録内容は、図１７に示すように、「×」となっていることから、図１１中ステップＳ３４においてＮＯと判定される。
【００７８】
その結果、ステップＳ３８において当該注目先の本人番号Ｈ５は、本人番号Ｈ３についての自グループであるグループＧ１に登録される。これにより、グループ表は、図１８に示すように、グループＧ１について人数が３に更新され、そのメンバーがＨ１，Ｈ３，Ｈ５に更新される。また、注目先表は、図１９に示すように、本人番号Ｈ５についてのグループ表への登録内容が「〇」に更新される。
【００７９】
これにより、会議参加者ＨＭ３（本人番号Ｈ３）についてのエントリの反映は終了する。
【００８０】
続いて、会議参加者ＨＭ４（本人番号Ｈ４）のエントリの反映について説明する。
【００８１】
本人番号Ｈ４のエントリの反映を行う場合には、この時点でのグループ表への登録内容は「×」であることから、図１１中ステップＳ３１においてＮＯと判定され、次のステップＳ３２において本人番号Ｈ４のエントリへの登録が行われる。このステップＳ３２の処理の結果、グループ表は、図２０に示すように、既に設定されているグループＧ１，Ｇ２の次のグループであるグループ番号Ｇ３について人数が１となり、メンバーには自己を表す本人番号Ｈ４が登録される。また、このとき、注目先表は、図２１に示すように、本人番号Ｈ４についてのグループ表への登録内容が「〇」となる。
【００８２】
次に、ステップＳ３３の判定処理においてＹＥＳと判定され、注目先として例えば会議参加者ＨＭ２を表す注目先番号Ａ２が得られたときには、この時点での注目先表は、図２１に示すように、注目先である本人番号Ｈ２のグループ表への登録内容が「〇」となっていることから、ステップＳ３４の判定処理においてＹＥＳと判定される。
【００８３】
次に、ステップＳ３５において当該注目先の本人番号Ｈ２についてグループ番号の探索を行うことにより、当該注目先の本人番号Ｈ２のグループ番号Ｇ２が求められる。そして、次のステップＳ３６において、現時点での本人番号Ｈ４についてのグループ番号はＧ３であり、一方、注目先の本人番号Ｈ２のグループ番号Ｇ２となされていることから、ＮＯと判定され、次のステップＳ３７において、本人番号Ｈ４についてのグループ番号Ｇ３は、より小さい番号である注目先の本人番号Ｈ２のグループ番号Ｇ２にマージされる。
【００８４】
これにより、グループ表は、図２２に示すように、グループＧ２について人数が２に更新され、そのメンバーがＨ２，Ｈ４に更新される。また、注目先表は、図２３に示すように、更新される。すなわち、注目先表は、図２１に示したもののままとされる。
【００８５】
これにより、会議参加者ＨＭ４（本人番号Ｈ４）についてのエントリの反映は終了する。
【００８６】
最後に、会議参加者ＨＭ５（本人番号Ｈ５）のエントリの反映について説明する。
【００８７】
本人番号Ｈ５のエントリの反映を行う場合には、この時点でのグループ表への登録内容は図２３に示したように「〇」となされていることから、図１１中ステップＳ３１においてＹＥＳと判定され、さらに、本人番号Ｈ５の会議参加者ＨＭ５が例えば会議参加者ＨＭ３を注目しているとすると、ステップＳ３３においてＹＥＳと判定される。この時点で、注目先の本人番号Ｈ３についてのグループ表への登録内容は、図２３に示したように、「〇」となっていることから、図１１中ステップＳ３４においてＹＥＳと判定される。
【００８８】
次に、ステップＳ３５において当該注目先の本人番号Ｈ３についてグループ番号の探索を行うことにより、当該注目先の本人番号Ｈ３のグループ番号Ｇ１が求められる。そして、次のステップＳ３６において、注目先の本人番号Ｈ３のグループ番号Ｇ１となされており、また、このグループ番号Ｇ１には既に本人番号Ｈ５が登録されていることから、ＹＥＳと判定され処理を終了する。
【００８９】
これにより、グループ表は、図２４に示すように、更新され、また、注目先表は、図２５に示すように、更新される。すなわち、グループ表は、図２２に示したもののままとされ、注目先表は、図２３に示したもののままとされる。
【００９０】
以上説明したような処理により、注目先表の全ての本人番号に関する情報の反映が終わった段階で、注目先表の「グループ表への登録」は全て「〇」となり、また、全ての本人番号はそれぞれグループ表においてどれか１つのグループのメンバーとして登録されていることになる。
【００９１】
上述したグループ判定部ＧＪＤは、このような全ての情報反映が終了した時点での注目先表及びグループ表の情報を、上述したように、各会議参加者ＨＭが何れのグループに属しているか、すなわち何れの話題に参加しているかを表すグループ情報として生成する。
【００９２】
なお、このグループ情報は、サーバＳＶから各遠隔会議装置ＴＣＤに送信されることになるが、このときの送信内容及び送信先としては、例えばグループ表における人数が０でないグループの構成全てを全地点の遠隔会議装置ＴＣＤに送信する場合や、各地点の遠隔会議装置ＴＣＤに対しその地点で会議参加者ＨＭが属しているグループの構成を送信するといった方法が考えられる。
【００９３】
つぎに、遠隔会議システムにおいて、各遠隔会議装置ＴＣＤから送信された画像データ及び音声データと、サーバＳＶから上述したグループ情報とを受け取った遠隔会議装置ＴＣＤの動作について説明する。なお、ここでは、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎのうち、代表して図２に示した遠隔会議装置ＴＣＤ１を例に挙げてその動作を説明する。
【００９４】
遠隔会議装置ＴＣＤ１における情報送受信部ＴＲＢ１は、通信ネットワークＮＴを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応する画像データ及び音声データを分離するとともに、上述したグループ情報を取り出し、分離した各画像データ及び各音声データをそれぞれ情報加工部ＰＢ１に供給するとともに、取り出したグループ情報も情報加工部ＰＢ１に供給する。
【００９５】
情報加工部ＰＢ１は、グループ情報に基づいて、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ２〜ＭＤｎに対して供給する。
【００９６】
ここで、情報加工部ＰＢ１における調整処理の具体的な内容について、以下に例を挙げながら説明する。
【００９７】
この調整処理の第１の具体例としては、他の遠隔会議装置ＴＣＤ２〜ＴＣＤｎから遠隔会議装置ＴＣＤ１に送信されてきた画像データ及び音声データのうち、特に音声データをグループ情報から生成したパラメータに基づいて増幅させる処理を挙げることができる。
【００９８】
図２６に、この調整処理の第１の具体例として、グループ情報から生成したパラメータに基づいて音声データを増幅させるようにした場合の遠隔会議装置ＴＣＤ１における情報加工部ＰＢ１の主要部の概略構成を示す。
【００９９】
この図２６において、遠隔会議装置ＴＣＤ１における情報加工部ＰＢ１の端子２１には、上述した情報送受信部ＴＲＢ１が分離した各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応する音声データが供給され、端子２２には、情報送受信部ＴＲＢ１からグループ情報が供給される。なお、この図２６の例では、画像データについては当該情報加工部ＰＢ１をそのまま通過してそれぞれ対応するモニタ装置ＭＤ２〜ＭＤｎに供給されるため、当該画像データの経路については省略している。
【０１００】
各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応する音声データは、各モニタ装置ＭＤ２〜ＭＤｎに対応して設けられている音声加工器ＡＰ２〜ＡＰｎに供給される。なお、以下では、各音声加工器ＡＰ２〜ＡＰｎを個々に区別する必要がない場合には、単に音声加工器ＡＰと記述するものとする。
【０１０１】
音声加工パラメータ演算部２０は、グループ情報に基づいて、この遠隔会議装置ＴＣＤ１の会議参加者ＨＭ１が何れのグループに属しているのか、すなわち何れの話題に参加しているのかを認識し、会議参加者ＨＭ１が属しているグループに対応する音声の音量のみを上げ、それ以外の音声の音量を下げるためのパラメータを生成する。すなわち、音声加工パラメータ演算部２０は、会議参加者ＨＭ１が属しているグループ内の会議参加者ＨＭの発言の音声を増幅し、且つ、その他の会議参加者ＨＭの発言の音声を減衰するためのパラメータとして、音声増幅率を演算によって求める。この音声加工パラメータ演算部２０から各モニタ装置ＭＤ２〜ＭＤｎに対応して個々に出力された音声増幅率の情報は、これらの各モニタ装置ＭＤ２〜ＭＤｎに対応して設けられている音声加工器ＡＰ２〜ＡＰｎに供給される。
【０１０２】
これにより、各音声加工器ＡＰ２〜ＡＰｎは、音声増幅率の情報に基づいて、それぞれ個々に供給されている音声データを増幅或いは減衰させる調整処理を行う。これらの各音声加工器ＡＰ２〜ＡＰｎにて調整処理が施された後の音声データは、それぞれ対応する出力端子ＡＯ２〜ＡＯｎから出力され、図２に示した信号処理装置ＳＰＤ１における対応する出力端子ＴＯ２〜ＴＯｎに供給される。
【０１０３】
信号処理装置ＳＰＤ１における各出力端子ＴＯ２〜ＴＯｎより出力された音声データは、それぞれ対応したモニタ装置ＭＤ２〜ＭＤｎのスピーカに供給される。これにより、会議参加者ＨＭ１が属しているグループ、すなわち話題に参加しているグループに対応するモニタ装置ＭＤのスピーカより発生される音声の音量は、大きく聞き易い状態となり、一方、会議参加者ＨＭ１が属していないグループ、すなわち話題に参加していないグループに対応するモニタ装置ＭＤのスピーカより発生される音声の音量は、小さくなる。
【０１０４】
すなわち、この調整処理において、上述したように、自己、すなわちこの例では会議参加者ＨＭ１が属しているグループに対応する音声のみを増幅しようとするのは、以下のような理由による。
【０１０５】
例えば、通信ネットワークを利用した遠隔会議システムのように、複数の会議参加者がそれぞれ遠隔会議装置を使用して会議を行うような場合には、例えば複数の話題が同時に存在すると、自分の聞きたい話題の音声が他の話題の音声に邪魔されて聞こえ難いことがある。この問題を解決するためには、例えば自分の注目している会議参加者の発言の音声のみを聞こえ易くし、それ以外の会議参加者の発言の音量を下げればよい。しかしながら、一般的な会議では、複数の会議参加者が同じ話題についてそれぞれ発言を行うため、上述したように、自分の注目している会議参加者の発言の音声のみを聞こえ易くし、それ以外の会議参加者の発言の音量を下げるようにすると、例えば同じ話題に参加している各会議参加者の中で自分が注目していない別の会議参加者の発言の音量までも下げられてしまうため、この別の会議参加者の発言が聞こえにくくなり、その発言を聞き逃してしまうことになる虞がある。
【０１０６】
そこで、ここでは、同じ話題に参加している各会議参加者をグループ化し、そのグループに属している会議参加者の音声については、自分が注目していなくてもその発言の音量を下げるようなことは行わないようにし、別の話題に参加しているグループの発言についての音量のみを下げるようにしている。
【０１０７】
このような調整処理の第１の具体例によれば、自己、すなわちこの場合は会議参加者ＨＭ１と同じ話題に参加している各会議参加者の音声が聞き取り易くなり、その一方で、自己と異なる話題の音声は小さくなり、自己と同じ話題に参加している各会議参加者の発言の妨げにならないようになっている。
【０１０８】
つぎに、調整処理の第２の具体例について説明する。調整処理の第１の具体例としては、グループ情報に基づいて各会議参加者ＨＭの発言音声の音量を増幅或いは減衰させる調整の例を挙げたが、情報加工部ＰＢ１は、調整処理の第２の具体例として、グループ情報に基づいて各会議参加者ＨＭの発言音声の周波数特性を調整するようなことも可能である。
【０１０９】
この調整処理の第２の具体例のように、音声の周波数特性を調整するようにした場合には、図２６に示した音声加工パラメータ演算部２０は、グループ情報に基づいて、会議参加者ＨＭ２〜ＨＭｎの発言の音声の周波数特性を個々に調整するためのフィルタパラメータを演算によって求め、このフィルタパラメータを音声加工器ＡＰ２〜ＡＰｎに供給する。
【０１１０】
図２７に、この調整処理の第２の具体例として、グループ情報から生成したパラメータに基づいて音声の周波数特性を調整するような処理を行う場合の音声加工器ＡＰの構成例を示す。
【０１１１】
この図２７おいて、端子３２には、端子２１を介して情報送受信部ＴＲＢ１から供給された図２８に示すような周波数特性を有する音声データが入力され、端子３１には、音声加工パラメータ演算部２０から供給された図２９に示すような周波数制御特性のフィルタパラメータＫ（ｔ）が入力される。なお、図２９に示すＦｍａｘは、固定値とされる入力音声の最大周波数である。端子３２を介した音声データと、端子３１を介したフィルタパラメータＫ（ｔ）は、音声加工器ＡＰの主要構成要素であるＬＰＦ（ローパスフィルタ）に入力される。
【０１１２】
ＬＰＦは、端子３２から供給された図２８に示す特性を有する音声データに対して、端子３１から入力された図２９に示すようなＫ（ｔ）・Ｆｍａｘの遮断周波数を有する低域通過のフィルタ処理を施す。これにより、ＬＰＦからは、図３０に示すような特性の出力音声データが得られる。この出力音声データは、端子３３からそれぞれ対応する出力端子ＡＯを介してモニタ装置ＭＤのスピーカに供給される。このスピーカから出力された音声は、会議参加者ＨＭ１が属するグループにおいて聞き取り易いように、周波数特性制御がなされたものとなる。
【０１１３】
このような調整処理の第２の具体例によれば、自己、すなわちこの場合は会議参加者ＨＭ１と同じ話題に参加している各会議参加者の音声が聞き取り易くなり、その一方で、自己と異なる話題の会議参加者による音声については、自己と同じ話題に参加している各会議参加者の発言の妨げにならないようになっている。
【０１１４】
つぎに、調整処理の第３の具体例について説明する。この調整処理の第３の具体例としては、他の遠隔会議装置ＴＣＤ２〜ＴＣＤｎから遠隔会議装置ＴＣＤ１に送信されてきた画像データ及び音声データのうち、特に画像データをグループ情報から生成したパラメータに基づいて調整する処理を挙げることができる。
【０１１５】
図３１に、調整処理の第３の具体例として、グループ情報から生成したパラメータに基づいて画像データを調整するようにした場合の遠隔会議装置ＴＣＤ１における情報加工部ＰＢ１の主要部の概略構成を示す。
【０１１６】
この図３１において、遠隔会議装置ＴＣＤ１における情報加工部ＰＢ１の端子２４には、情報送受信部ＴＲＢ１が分離した各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応する画像データが供給され、端子２５には、情報送受信部ＴＲＢ１からグループ情報が供給される。なお、この図３１の例では、音声データについては当該情報加工部ＰＢ１をそのまま通過してそれぞれ対応するモニタ装置ＭＤ２〜ＭＤｎに供給されるため、当該音声データの経路については省略している。
【０１１７】
各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応する画像データは、各モニタ装置ＭＤ２〜ＭＤｎに対応して設けられている画像加工器ＶＰ２〜ＶＰｎに供給される。また、グループ情報は、画像加工パラメータ演算部２３に供給される。
【０１１８】
画像加工パラメータ演算部２３は、グループ情報に基づいて、この遠隔会議装置ＴＣＤ１の会議参加者ＨＭ１が何れのグループに属しているのか、すなわち何れの話題に参加しているのかを認識し、会議参加者ＨＭ１が属しているグループに対応する画像の輝度や色のレベルを上げ、それ以外の会議参加者の画像の輝度や色のレベルを下げるための画質調整用のパラメータを生成する。すなわち、画像加工パラメータ演算部２３は、会議参加者ＨＭ１が属しているグループ内の会議参加者ＨＭについての画像の輝度や色のレベルを増幅し、且つ、その他の会議参加者ＨＭについての画像の輝度や色のレベルを減衰等するためのパラメータとして、画質調整値を演算によって求める。この画像加工パラメータ演算部２３から各モニタ装置ＭＤ２〜ＭＤｎに対応して個々に出力された画質調整値は、これらの各モニタ装置ＭＤ２〜ＭＤｎに対応して設けられている画像加工器ＶＰ２〜ＶＰｎに供給される。
【０１１９】
これにより、各画像加工器ＶＰ２〜ＶＰｎは、画質調整値に基づいて、それぞれ個々に供給されている画像データの輝度や色のレベルを増幅或いは減衰させる調整処理を行う。これらの各画像加工器ＶＰ２〜ＶＰｎにて調整処理が施された後の画像データは、それぞれ対応する出力端子ＶＯ２〜ＶＯｎから出力され、図２に示した信号処理装置ＳＰＤ１における対応する出力端子ＴＯ２〜ＴＯｎに供給される。
【０１２０】
信号処理装置ＳＰＤ１における各出力端子ＴＯ２〜ＴＯｎより出力された画像データは、それぞれ対応したモニタ装置ＭＤ２〜ＭＤｎのディスプレイ装置に供給される。これにより、会議参加者ＨＭ１が属しているグループ、すなわち話題に参加しているグループに対応するモニタ装置ＭＤのディスプレイ装置上に表示される画像は、例えば明るく見易くなり、一方、会議参加者ＨＭ１が属していないグループ、すなわち話題に参加していないグループに対応するモニタ装置ＭＤのディスプレイ装置上に表示される画像は、例えば暗くなる。
【０１２１】
このような調整処理の第３の具体例によれば、自己、すなわちこの場合は会議参加者ＨＭ１と同じ話題に参加している各会議参加者の画像は見易くなり、その一方で、自己と異なる話題の会議参加者の画像は見難くなり、自己と同じ話題に参加している各会議参加者をより鮮明に見ることが可能となる。
【０１２２】
図３２に、この調整処理の第３の具体例として、グループ情報から生成したパラメータに基づいて画像の画質調整処理を行う場合の画像加工器ＶＰの構成例を示す。なお、この図３２の例では、画像加工処理として、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色データのそれぞれのゲインを調整する処理を例に挙げる。
【０１２３】
図３２において、端子３５，３６，３７には、端子２４を介して情報送受信部ＴＲＢ１から供給されたＲ，Ｇ，Ｂの原色データが入力され、端子３４には、画像加工パラメータ演算部２３から供給された画質調整値Ｖ（ｔ）が入力される。端子３５，３６，３７を介したＲ，Ｇ，Ｂの原色データと、端子３４を介した画質調整値Ｖ（ｔ）は、画像加工器ＶＰに入力される。
【０１２４】
画像加工器ＶＰは、端子３５，３６，３７から入力されたＲ，Ｇ，Ｂの原色データに対して、端子３４から入力された画質調整値Ｖ（ｔ）による画像加工処理を施す。これにより、画像加工器ＶＰからは、Ｒ，Ｇ，Ｂの各原色データにそれぞれ画質調整値Ｖ（ｔ）によるレベル調整が施されたデータが出力される。これらの画像加工処理後のＲ，Ｇ，Ｂのデータは、それぞれ対応する端子３８，３９，４０から出力され、出力端子ＶＯ２〜ＶＯｎを介して、図２に示した信号処理装置ＳＰＤ１における対応する出力端子ＴＯ２〜ＴＯｎに供給される。
【０１２５】
つぎに、調整処理の第４の具体例について説明する。この調整処理の第４の具体例としては、他の遠隔会議装置ＴＣＤ２〜ＴＣＤｎから遠隔会議装置ＴＣＤ１に送信されてきた画像データ及び音声データの両方に対して、グループ情報から生成したパラメータに基づく調整処理を行うようにすることも可能である。すなわち、この調整処理の第４の具体例では、グループ情報に応じた情報加工処理として、音量、音質、画質の調整をそれぞれ別個に行うのではなく、それらの調整を組み合わせて行う。
【０１２６】
図３３に、この調整処理の第４の具体例として、グループ情報から生成したパラメータに基づいて画像データ及び音声データの両方に対して調整を行うようにした場合の遠隔会議装置ＴＣＤ１における情報加工部ＰＢ１の主要部の概略構成を示す。
【０１２７】
この図３３において、遠隔会議装置ＴＣＤ１における情報加工部ＰＢ１の端子２８には、情報送受信部ＴＲＢ１が分離した各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応する画像データと音声データとが供給され、端子２９には、情報送受信部ＴＲＢ１からグループ情報が供給される。
【０１２８】
各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応する画像データは、画像加工装置２６に供給され、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応する音声データは、音声加工装置２７に供給される。また、グループ情報は、これらの画像加工装置２６と音声加工装置２７とに供給される。
【０１２９】
画像加工装置２６は、図３１に示したような画像加工器ＶＰ２〜ＶＰｎを備えている。したがって、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応する画像データは、図３１の場合と同様に、各画像加工器ＶＰ２〜ＶＰｎに供給される。また、画像加工装置２６に入力されたグループ情報は、図３１に示した画像加工パラメータ演算部２３に供給される。
【０１３０】
一方、音声加工装置２７は、図２６に示したような音声加工器ＡＰ２〜ＡＰｎを備えている。したがって、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応する音声データは、図２６の場合と同様に、各音声加工器ＡＰ２〜ＡＰｎに供給される。また、音声加工装置２７に入力されたグループ情報は、図２６に示した音声加工パラメータ演算部２０に供給される。
【０１３１】
画像加工装置２６にて図３１に示したものと同様に画質調整処理が施された画像データと、音声加工装置２７にて図２６に示したものと同様に音量或いは音質調整処理が施された音声データは、それぞれ対応する出力端子ＳＯ２〜ＳＯｎを介して、図２に示した信号処理装置ＳＰＤ１における対応する出力端子ＴＯ２〜ＴＯｎに供給される。
【０１３２】
信号処理装置ＳＰＤ１における各出力端子ＴＯ２〜ＴＯｎより出力された画像データ及び音声データは、それぞれ対応したモニタ装置ＭＤ２〜ＭＤｎのディスプレイ装置とスピーカとに供給される。これにより、会議参加者ＨＭ１が属しているグループ、すなわち話題に参加しているグループに対応するモニタ装置ＭＤのディスプレイ装置上に表示される画像は見易くなり、且つ、その音声は聞き取り易くなる。一方、会議参加者ＨＭ１が属していないグループ、すなわち話題に参加していないグループに対応するモニタ装置ＭＤのディスプレイ装置上に表示される画像は暗くなり、且つ、その音声は邪魔にならないものとなる。
【０１３３】
このような調整処理の第４の具体例によれば、自己、すなわちこの場合は会議参加者ＨＭ１と同じ話題に参加している各会議参加者の画像は見易くなり且つ音声は聞き易くなり、その一方で、自己と異なる話題の会議参加者の画像は見難く、音声は邪魔にならなくなる。
【０１３４】
なお、音声についての情報加工処理としては、同じグループに属していない会議参加者の音声の音量を下げる例や、周波数の低域通過フィルタを用いることによって音声における最大周波数を低くする例以外に、音量と周波数をともに変化させる例といったものが考えられる。また、音声についての情報加工処理としては、同じグループであった会議参加者が同じグループでなくなるとき、及び、その逆の変遷があるときの音量や最大周波数を瞬時に変化させる方法以外に、特定の時定数を以て徐々に変化させる例も考えられる。
【０１３５】
また、画像についての情報加工処理としては、同じグループに属していない会議参加者の画像の輝度を下げる例だけでなく、それら同じグループに属さない会議参加者の画像を無彩色、或いは、色を薄くする例や、輝度及び色ともに加工する例、画像の解像度やシャープネスを調整する例といったものが考えられる。また、画像についての情報加工処理としては、同じグループであった会議参加者が同じグループでなくなるとき、及び、その逆の変遷があるときの画像の輝度や色を瞬時に色を変化させる方法以外に、特定の時定数を以て徐々に変化させる例も考えられる。
【０１３６】
さらに、音声と画像について上述したように特定の時定数を以て徐々に変化させるようにした場合には、その制御を音声と画像とで同期して行う例や、片方の変化を一定時間遅らせる例、両者で時定数を変える例といったものが考えられる。
【０１３７】
なお、注目度に応じて音量を調整する技術については、本願出願人が既に出願している特願平１０−２８７５０６号に記載されている。
【０１３８】
つぎに、図２に示したグループ判定用情報生成部ＪＢ１において、会議参加者ＨＭ１の例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データに基づき、会議参加者ＨＭ１が注目している方向、すなわちモニタ装置ＭＤ２〜ＭＤｎの何れか或いはそれら以外の方向を検出する際の処理の具体例について説明する。
【０１３９】
遠隔会議装置ＴＣＤ１におけるグループ判定用情報生成部ＪＢ１で行われる会議参加者ＨＭ１の注目する方向検出処理の第１の具体例としては、以下に述べるように、会議参加者ＨＭ１の視線の向き検出、すなわち視線検出を挙げることができる。
【０１４０】
図３４に、グループ判定用情報生成部ＪＢ１にて視線検出を行う場合の処理の流れを示す。
【０１４１】
グループ判定用情報生成部ＪＢ１は、図３４に示すように、ステップＳ４１の処理として、例えば会議参加者ＨＭ１の正面に配置されたモニタ装置ＭＤｍに設けられているカメラが撮像した画像データを受け取ると、次のステップＳ４２の処理として、この供給された画像の色彩情報を用いて、会議参加者ＨＭ１の顔画像における両目の輪郭を検出する。すなわち、グループ判定用情報生成部ＪＢ１は、供給された画像の色彩情報から例えば肌、白目、黒目等の色領域を抽出し、それら抽出した色領域の例えば境界を求めること等により、図３５に示すように、右目の輪郭Ｅ及び左目の輪郭Ｅを検出する。なお、図３５では、片目のみを示している。
【０１４２】
次に、グループ判定用情報生成部ＪＢ１は、ステップＳ４３の処理として、ステップＳ４２で求めた両目のそれぞれの輪郭Ｅに基づいて、右目の左右端点Ｆ１，Ｆ２の位置及び左目の左右端点Ｆ１，Ｆ２の位置を求め、これらの右目及び左目のそれぞれの左右端点Ｆ１，Ｆ２の位置を基準として、図３６に示すような鼻孔を探索するための探索範囲ＮＥを決定し、この探索範囲ＮＥ内から鼻孔ＮＨの位置を検出する。すなわち、グループ判定用情報生成部ＪＢ１は、左右両目について、図３５に示すように、それぞれ目の輪郭Ｅを構成する画素集合の重心Ｑと、目の輪郭Ｅを構成する画素集合の２次モーメント（線に関する慣性）を最小にする線Ｍとを求め、さらに、目の輪郭Ｅを構成する画素集合の中から、線Ｍの方向において重心Ｑからの距離が最大距離Ｌ１，Ｌ２となる位置の画素を、重心Ｑから左右方向に１つずつ求め、これらの画素位置を左右端点Ｆ１，Ｆ２として求める。次いで、グループ判定用情報生成部ＪＢ１は、図３６に示すように、上述のようにして求めた右目の左右端点Ｆ１，Ｆ２の位置と、左目の左右端点Ｆ１，Ｆ２の位置とを基準とし、これらの各左右端点Ｆ１，Ｆ２から下方側に、鼻孔を探索するための探索範囲ＮＥを決定する。ここで、鼻孔ＮＨ部分の画像は他の部分の画像に比べて暗く写ることから、グループ判定用情報生成部ＪＢ１は、探索範囲ＮＥ内で輝度が低い画像部分を鼻孔ＮＨの位置として検出する。
【０１４３】
次に、グループ判定用情報生成部ＪＢ１は、ステップＳ４４の処理として、図３７に示すように、右目の左右端点Ｆ１，Ｆ２の位置と、左目の左右端点Ｆ１，Ｆ２の位置と、鼻孔ＮＨの位置との幾何学的な位置関係に基づいて、眼球ＥＢの中心位置ＥＣ及び眼球ＥＢの半径ｒを推定する。
【０１４４】
さらに、グループ判定用情報生成部ＪＢ１は、ステップＳ４５の処理として、右目の輪郭Ｅ及び左目の輪郭Ｅ内の画像の輝度情報を用いて、図３６に示すように、瞳孔ＥＡの中心位置ＥＡＣを検出する。
【０１４５】
次に、グループ判定用情報生成部ＪＢ１は、ステップＳ４６の処理として、図３８に示すように、ステップＳ４４で検出した眼球ＥＢの中心位置ＥＣと、ステップＳ４５で検出した瞳孔ＥＡの中心位置ＥＡＣとを結ぶベクトルＥＶを演算し、得られたベクトルＥＶを視線の方向として、そのベクトルＥＶがモニタ装置ＭＤ２〜ＭＤｎのうちの何れを向いているかの方向判定を行う。
【０１４６】
以上の流れにより、グループ判定用情報生成部ＪＢ１は、会議参加者ＨＭ１の視線を検出する。
【０１４７】
なお、輪郭Ｅのような特定の画素集合の２次モーメントを最小にする線Ｍは、例えば以下のような演算によって求めることができる。
【０１４８】
ここでは、図３９に示すように、次式（１）で表される直線Ｍを例に挙げる。
ｘｓｉｎθ−ｙｃｏｓθ＋ρ＝０（１）。
【０１４９】
また、輪郭Ｅの画素集合上の各点（ｘｉ，ｙｉ）と直線Ｍとの距離をＲｉとするとき、直線Ｍに関する２次モーメントｍは、次式（２）のように表すことができる。
【０１５０】
【数１】
0004487467.tif 000002
【０１５１】
すなわち、２次モーメントを最小にする直線Ｍとは、上式（２）のｍを最小にする直線Ｍのことである。結論を述べると、上式（２）のｍを最小にするには、上式（２）中のθ、ρとして、次式（３）及び次式（４）の条件を満たすものを使用する。
θ：ｓｉｎ２θ＝ｂ／（ｂ２＋（ａ−ｃ）２）１／２，ｃｏｓ２θ＝（ａ−ｃ）／（ｂ２＋（ａ−ｃ）２）１／２（３）
ρ：ρ＝−ｘ０ｓｉｎθ＋ｙ０ｃｏｓθ（４）。
【０１５２】
なお、上式（４）（ｘ０ｓｉｎθ−ｙ０ｃｏｓθ＋ρ＝０）は、画素集合の重心を通ることを意味する。
【０１５３】
但し、上式（３）及び上式（４）において、ａ，ｂ，ｃは、次式（５）、次式（６）及び次式（７）で表される。なお、（ｘ０，ｙ０）は、画素集合の重心である。
【０１５４】
【数２】
0004487467.tif 000003
【０１５５】
つぎに、遠隔会議装置ＴＣＤ１におけるグループ判定用情報生成部ＪＢ１で行われる会議参加者ＨＭ１の注目する方向検出処理の第２の具体例について説明する。この方向検出処理の第２の具体例としては、以下に述べるように、会議参加者ＨＭ１の顔向き検出を挙げることができる。
【０１５６】
図４０に、グループ判定用情報生成部ＪＢ１にて顔向き検出を行う場合の処理の流れを示す。
【０１５７】
グループ判定用情報生成部ＪＢ１は、図４０に示すように、ステップＳ５１の処理として、会議参加者ＨＭ１の正面に配置されたモニタ装置ＭＤｍに設けられているカメラから、例えば図４１や図４２に示すような顔の原画像データが供給されると、次のステップＳ５２の処理として、この供給された顔画像の色彩情報を用いて、肌領域と髪領域とを検出する。すなわち、グループ判定用情報生成部ＪＢ１は、供給された顔画像の色彩情報から、例えば肌、髪の色領域を抽出し、それら抽出した色領域により、図４３や図４４に示すように、肌領域ｓｅと髪領域ｈｅとを検出する。
【０１５８】
次に、グループ判定用情報生成部ＪＢ１は、ステップＳ５３の処理として、図４５や図４６に示すように、肌領域ｓｅと髪領域ｈｅとの和領域ｆｅ（＝ｓｅ＋ｈｅ）の重心ｆｑと、肌領域ｓｅの重心ｓｑとの検出を行うための枠の設定を行う。ここで、この枠の設定は、画像の例えば垂直方向の範囲指定によって行う。具体的に説明すると、この範囲指定は、例えば髪領域ｈｅと肌領域ｓｅとの和領域ｆｅの上端ｒｅを基準とし、この基準の上端ｒｅより下方向の区間ｃｏｎｓｔ＿ａから区間ｃｏｎｓｔ＿ａ＋ｃｏｎｓｔ＿ｂの間を範囲とするように行う。
【０１５９】
続いて、グループ判定用情報生成部ＪＢ１は、ステップＳ５４の処理として、ステップＳ５３にて設定した枠の範囲内において、髪領域ｈｅと肌領域ｓｅとの和領域ｆｅの重心ｆｑと、肌領域ｓｅの重心ｓｑとを求める。なお、これらの重心は、後段の処理において、水平方向成分と垂直方向成分との両方を用いる場合や、水平方向成分と垂直方向成分との何れかを用いる場合が考えられるが、ここでは一例として水平方向成分についてのみ用いる場合の例を挙げて説明する。
【０１６０】
グループ判定用情報生成部ＪＢ１は、ステップＳ５４にて髪領域ｈｅと肌領域ｓｅとの和領域ｆｅの重心ｆｑと、肌領域ｓｅの重心ｓｑとを求めると、ステップＳ５５の処理として、肌領域ｓｅの重心ｓｑの値から、髪領域ｈｅと肌領域ｓｅとの和領域ｆｅの重心ｆｑの値を引いた差分値を求める。
【０１６１】
次に、グループ判定用情報生成部ＪＢ１は、ステップＳ５６の処理として、ステップＳ５５にて求めた差分値から顔の向きを検出する。ここで、差分値から顔向きを検出する処理としては、例えば以下のような２つの方法の何れかを用いる。なお、ここでは、差分値をＸ、顔向き角度をＹで表現することにし、また、会議参加者ＨＭ１がモニタ装置ＭＤｍのカメラの方向を向いているときの角度を０度と定義する。ステップＳ５６の処理の一方法例では、当該顔向き検出処理に先立って、予め差分値Ｘと顔向き角度Ｙとに関する統計をとり、差分値Ｘに対する顔向き角度Ｙの値を例えば平均値として求め、図４７に示すようにその対応関係のグラフを用意しておき、この図４７の対応関係に基づいて、ステップＳ５５にて求めた差分値Ｘから顔向き角度Ｙを得る。また、ステップＳ５６の処理の他の方法例では、ステップＳ５５にて求めた差分値Ｘを用い、次式（８）によって顔向き角度Ｙを求める。
Ｙ＝ａ×ｓｉｎ（Ｘ）（８）。
【０１６２】
以上の流れにより、グループ判定用情報生成部ＪＢ１は、会議参加者ＨＭ１の顔向きを検出する。
【０１６３】
なお、この顔向き検出処理については、本願出願人が既に出願している特願平１１−２５３８５３号に記載されている。
【０１６４】
また、会議参加者ＨＭ１の向いている方向を検出するさらに他の具体的な方法としては、例えば、会議参加者ＨＭ１の顔に赤外線を照射し、この会議参加者ＨＭ１の顔にて反射された赤外線を受光して生成した画像を用いて、方向検出を行うような方法も考えられる。
【０１６５】
つぎに、図２に示した遠隔会議装置ＴＣＤ１における各モニタ装置ＭＤ２〜ＭＤｎの具体的構成例について、図４８及び図４９を用いて説明する。なお、図４８には、モニタ装置ＭＤの側面側の概略的な透視図を示し、図４９には、モニタ装置ＭＤの概略的な正面図を示している。
【０１６６】
各モニタ装置ＭＤ２〜ＭＤｎは、それぞれが図４８及び図４９に示すように、主要構成要素として、筐体５０と、筐体５０の正面、すなわちモニタ装置ＭＤの正面側に設けられるスピーカ５３と、画面５４が所定の方向、すなわち図４８及び図４９の例では上方に向くように配置されたディスプレイ装置５５と、このディスプレイ装置５５の画面５４から出た光を同図中一点鎖線ＢＯに示すように反射してモニタ装置ＭＤの正面側に導くとともに、同図中二点鎖線ＢＩに示すように当該モニタ装置ＭＤの正面側から入射した光を透過するハーフミラー５２と、このハーフミラー５２の後方に支持部５８によって支持されて配置される例えばビデオカメラといったカメラ５６とを備えている。また、モニタ装置ＭＤの例えば筐体５０の上面には、支持部５７によって支持されたマイクロホン５１が設けられている。なお、このマイクロホン５１は、モニタ装置ＭＤ２〜ＭＤｎのうち、例えば会議参加者ＨＭ１の正面に配置されたいるモニタ装置、すなわち図２の例ではモニタ装置ＭＤｍにのみ設けるようにしてもよい。
【０１６７】
各モニタ装置ＭＤ２〜ＭＤｎにおける各カメラ５６は、図４８中二点鎖線ＢＩに示すように、例えば会議参加者ＨＭ１の光像等のハーフミラー５２を透過した入射光を取り込んで画像データに変換する。これらの各カメラ５６から出力された画像データは、信号処理装置ＳＰＤ１における情報送受信部ＴＲＢ１に供給され、通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。また、各モニタ装置ＭＤ２〜ＭＤｎのうち、特に、会議参加者ＨＭ１の例えば正面に配置されるモニタ装置ＭＤｍのカメラ５６から出力された画像データは、信号処理装置ＳＰＤ１におけるグループ判定用情報生成部ＪＢ１にも供給され、上述したように、グループ判定用情報生成の際の視線検出或いは顔向き検出のために用いられる。
【０１６８】
各モニタ装置ＭＤ２〜ＭＤｎにおける各マイクロホン５１は、遠隔会議装置ＴＣＤ１の周囲の音や会議参加者ＨＭ１の発言等の音を音声データに変換する。これらの各マイクロホン５１から出力された音声データは、信号処理装置ＳＰＤ１における情報送受信部ＴＲＢ１に供給され、通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。
【０１６９】
また、これらのモニタ装置ＭＤ２〜ＭＤｎのうち、モニタ装置ＭＤ２のディスプレイ装置５５の画面５４上には、例えば遠隔会議装置ＴＣＤ２において会議参加者ＨＭ１に対応して設けられているモニタ装置ＭＤ１のカメラ５６によって撮影されて通信ネットワークＮＴを介して供給されてきた画像データ、すなわち会議参加者ＨＭ２及びその周辺風景の画像データに基づく画像が表示され、また、遠隔会議装置ＴＣＤ１におけるモニタ装置ＭＤ２のスピーカ５３からは、遠隔会議装置ＴＣＤ２において会議参加者ＨＭ１に対応して設けられているモニタ装置ＭＤ１のマイクロホン５１によって取り込まれて通信ネットワークＮＴを介して供給された音声データ、すなわち会議参加者ＨＭ２の発言による音声データに基づく音声が出力される。同様に、モニタ装置ＭＤ３のディスプレイ装置５５の画面上には、遠隔会議装置ＴＣＤ３において会議参加者ＨＭ１に対応して設けられているモニタ装置ＭＤ１のカメラ５６によって撮影されて送信されてきた画像データに基づく画像が表示され、スピーカ５３からは、遠隔会議装置ＴＣＤ３において会議参加者ＨＭ１に対応して設けられているモニタ装置ＭＤ１のマイクロホン５１によって取り込まれて送信されてきた音声データに基づく音声が出力される。他のモニタ装置ＭＤも同様であり、それぞれ対応する遠隔会議装置ＴＣＤから送信されてきた画像が表示され、また音声が出力される。
【０１７０】
ここで、各モニタ装置ＭＤ２〜ＭＤｎは、図４８に示したように、ディスプレイ装置５５の画面５４から出た光が、ハーフミラー５２によって同図中一点鎖線ＢＯに示す方向へと反射されて会議参加者ＨＭ１側へ進むように構成されていることから、ディスプレイ装置５５の画面５４上に表示される相手方の会議参加者ＨＭの顔画像等は、ハーフミラー５２によって反射されることで本来の正しい状態に視認できる鏡像となされている。なお、図４９中ＲＶは、ディスプレイ装置５５の画面５４上に表示された相手方の会議参加者ＨＭの鏡像がハーフミラー５２によって反射されて得られる像、すなわち相手方会議参加者ＨＭの顔の虚像である。
【０１７１】
また、モニタ装置ＭＤにおいて、ディスプレイ装置５５の画面５４上に相手方の会議参加者の鏡像を表示する際には、ハーフミラー５２を介することで当該鏡像の目の位置と光学的に共役となる虚像の目の位置が、カメラ５６のレンズの主点と略々一致するように表示を行うことにより、会議参加者ＨＭ１と相手方会議参加者ＨＭとの視線が一致するようにしている。
【０１７２】
すなわち、一例として、遠隔会議装置ＴＣＤ１では会議参加者ＨＭ１がモニタ装置ＭＤｍの方を見て会議参加者ＨＭｍの画像を見ており、遠隔会議装置ＴＣＤｍでは会議参加者ＨＭｍがモニタ装置ＭＤ１の方を見て会議参加者ＨＭ１の画像を見ている場合を例に挙げて説明する。この例の場合、遠隔会議装置ＴＣＤ１におけるモニタ装置ＭＤｍのディスプレイ装置５５の画面５４上に表示されるのは、会議参加者ＨＭｍの顔等の鏡像であり、モニタ装置ＭＤｍのカメラ５６では、当該モニタ装置ＭＤｍの方を向いている会議参加者ＨＭ１の画像が取り込まれ、その画像データが遠隔会議装置ＴＣＤｍ等に送信される。また、この例の場合、遠隔会議装置ＴＣＤｍにおけるモニタ装置ＭＤ１のディスプレイ装置５５の画面５４上に表示されるのは、会議参加者ＨＭ１の顔等の鏡像であり、モニタ装置ＭＤ１のカメラ５６では、当該モニタ装置ＭＤ１の方を向いている会議参加者ＨＭｍの画像が取り込まれ、その画像データが遠隔会議装置ＴＣＤ１等に送信される。
【０１７３】
このような状態となっている場合において、遠隔会議装置ＴＣＤ１側では、モニタ装置ＭＤｍのディスプレイ装置５５の画面５４上に相手方の会議参加者ＨＭｍの鏡像を表示する際に、当該鏡像の目の位置と光学的に共役となる虚像の目の位置がカメラ５６のレンズの主点と略々一致するように表示を行うようにし、同時に、遠隔会議装置ＴＣＤｍ側では、モニタ装置ＭＤ１のディスプレイ装置５５の画面５４上に相手方の会議参加者ＨＭ１の鏡像を表示する際に、当該鏡像の目の位置と光学的に共役となる虚像の目の位置がカメラ５６のレンズの主点と略々一致するように表示を行うようにすることにより、遠隔会議装置ＴＣＤ１側では、会議参加者ＨＭ１の視線と相手方会議参加者ＨＭｍの虚像の視線とが一致するようになり、また、遠隔会議装置ＴＣＤｍでは、会議参加者ＨＭｍの視線と相手方会議参加者ＨＭ１の虚像の視線とが一致するようになる。
【０１７４】
なお、一般的な従来の遠隔会議システムにおいては、本実施の形態のようにハーフミラーによる虚像ではなくディスプレイ装置の画面上に表示された画像、すなわち実像を、会議参加者が直接見るようになされており、また、カメラは例えばディスプレイ装置の画面の上下左右何れかの近傍に配置されることになる。したがって、一般的な従来の遠隔会議システムの場合、会議参加者の視線は、ディスプレイ装置の画面上に表示された画像（実像）上に向けられ、カメラのレンズから外れた方向に向くことになる。このため、ディスプレイ装置の画面上に表示される相手方の会議参加者の視線は、自分の方を向いているようには見えないことになり、本実施の形態の場合のように互いに視線を一致させて会話を行うようなことはできない。
【０１７５】
これに対して、本実施の形態として示す遠隔会議システムにおいては、各遠隔会議装置ＴＣＤにおけるモニタ装置ＭＤを、図４８及び図４９に示したような構成とすることにより、上述したように、会議参加者とその相手方の会議参加者との双方が互いに相手方の目を見ながら、すなわち視線を一致させた状態で、会話をすることが可能となっている。
【０１７６】
また、遠隔会議システムにおいては、遠隔会議装置ＴＣＤ内の複数のモニタ装置ＭＤを、図２に示したように、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎの会議参加者ＨＭ２〜ＨＭｎが会議参加者ＨＭ１とともにテーブルを囲んでいるような状態に配置した場合、すなわち各遠隔会議装置ＴＣＤ２〜ＴＣＤｎの各地点における会議参加者ＨＭ２〜ＨＭｎの相対的な位置関係が保存されているような状態に配置した場合には、会議参加者ＨＭ１と相手方の会議参加者との間で上述したような視線一致を実現できるだけでなく、他の会議参加者ＨＭがそれぞれ誰の方を向いているのかをも確認できるようになる。
【０１７７】
つぎに、図５０に、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤやサーバＳＶを実現する実際の装置構成例を示す。なお、これらの装置は、例えばパーソナルコンピュータ等にて実現することができる。
【０１７８】
この図５０に示す構成は、各部を制御するＣＰＵ６０と、例えばＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔＯｕｔｐｕｔＳｙｓｔｅｍｓ）や各種の初期値等が格納されたＲＯＭ６１と、各種のプログラムやデータ、演算途中のデータ等を一時的に記憶するＲＡＭ６２と、ＯＳ（オペレーティングシステム）や各種アプリケーションプログラム（コンピュータプログラム）、その他のデータ等を格納するハードディスクを駆動するハードディスクドライブ（ＨＤＤ）６４と、ＣＤ−ＲＯＭやＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、着脱可能なハードディスクや半導体メモリ等の各種のリムーバブルメディア６６が装填されるリムーバブルメディアドライブ６５と、上述したＩＳＤＮ、一般電話回線、ケーブルテレビ回線、ディジタル通信衛星回線等の外部通信網（通信ネットワークＮＴ）と接続したり、ＩＥＥＥ１３９４規格やＵＳＢ等の外部バス、各種の外部接続端子に接続するための通信インターフェイス（Ｉ／Ｆ）部６３等を備えている。なお、図示しないが、図５０に示す構成は、さらに例えばユーザによって操作されるマウスやキーボード等の入力操作装置や情報を表示するためのモニタ等を備えることも可能である。
【０１７９】
ここで、遠隔会議システムにおける信号処理装置ＳＰＤの機能、特に、グループ判定用情報生成部ＪＢでの方向検出やグループ判定情報の生成機能、情報加工部ＰＢでの情報加工機能、或いは、サーバＳＶにおけるグループ判定処理及びグループ情報の生成機能等を実現するためのアプリケーションプログラムは、予めＨＤＤ６４内のハードディスクやＲＯＭ６１等に格納されていたり、リムーバブルメディア６６により、或いは通信インターフェイス部６３を介する通信によって提供される。
【０１８０】
これらのリムーバブルメディア６６や通信インターフェイス部６３によって提供されたアプリケーションプログラムは、ＨＤＤ６４内のハードディスクに格納され、当該ＨＤＤ６４のハードディスクから読み出されてＲＡＭ６２に一時的に格納され、これにより、ＣＰＵ６０は、当該ＲＡＭ６２に一時的に記憶されたアプリケーションプログラムに応じて、上述したような遠隔会議システムにおける各種の動作を実行する。
【０１８１】
つぎに、遠隔会議装置ＴＣＤ１の他の構成例を図５１に示す。
【０１８２】
この図５１に示す構成例では、他の遠隔会議装置ＴＣＤ２〜ＴＣＤｎの各会議参加者ＨＭ２〜ＨＭｎの画像を映し出す表示手段として、先に図２に示したような他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎ、すなわち他の会議参加者ＨＭ２〜ＨＭｎのそれぞれに対応したモニタ装置ＭＤ２〜ＭＤｎを設けるのではなく、例えば湾曲した１つのスクリーン７１を設け、このスクリーン７１に例えばプロジェクタによって画像を表示するようにしている。
【０１８３】
すなわちこの図５１の構成例では、会議参加者ＨＭ１とともに他の各会議参加者ＨＭ２〜ＨＭｎが、あたかも１つのテーブルを囲んで会議を行うかのように、スクリーン７１上にそれら他の各会議参加者ＨＭ２〜ＨＭｎの画像が表示される。
【０１８４】
カメラ７４及びマイクロホン７５は、例えば会議参加者ＨＭ１の正面に配置される。カメラ７４によって撮像された会議参加者ＨＭ１の画像データとマイクロホン７５によって集音された会議参加者ＨＭ１の音声データは、通信ネットワークＮＴを介して、他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。また、この図５１の構成例において、カメラ７４で撮像された会議参加者ＨＭ１の画像データは、信号処理装置ＳＰＤ１におけるグループ判定用情報生成部ＪＢ１にも供給される。
【０１８５】
一方、他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた各会議参加者ＨＭ２〜ＨＭｎの音声データは、それら個々の音像がスクリーン７１上に表示されている各会議参加者ＨＭ２〜ＨＭｎの画像近傍に定位するように制御された後、スクリーン７１の左右に配置されたスピーカ７２，７３に供給され、出力される。これにより、スクリーン７１上に表示された各会議参加者ＨＭ２〜ＨＭｎの画像位置と、それら各会議参加者ＨＭ２〜ＨＭｎの発言（音声）が聞こえてくる位置は、略々一致することになる。
【０１８６】
つぎに、遠隔会議装置ＴＣＤ１のさらに他の構成例を図５２に示す。
【０１８７】
すなわち、この図５２には、図５１の構成例と同様に、湾曲した１つのスクリーン８１が設けられ、さらに２人の会議参加者ＨＭ１ａ，ＨＭ１ｂを同席可能にした場合の遠隔会議装置ＴＣＤ１の構成例が示されている。
【０１８８】
この図５２の構成例では、同席する２人の会議参加者ＨＭ１ａ，ＨＭ１ｂとともに、他の各会議参加者ＨＭ２〜ＨＭｎが、あたかも１つのテーブルを囲んで会議を行うかのように、スクリーン８１上に他の各会議参加者ＨＭ２〜ＨＭｎの画像が表示される。
【０１８９】
カメラ８４及びマイクロホン８６は、例えば会議参加者ＨＭ１ａの正面に配置される。カメラ８４によって撮像された会議参加者ＨＭ１ａの画像データとマイクロホン８６によって集音された会議参加者ＨＭ１ａの音声データは、通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。また、カメラ８５及びマイクロホン８７は、例えば会議参加者ＨＭ１ｂの正面に配置される。カメラ８５によって撮像された会議参加者ＨＭ１ｂの画像データとマイクロホン８７によって集音された会議参加者ＨＭ１ｂの音声データは、通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。
【０１９０】
さらに、この図５２の構成例において、カメラ８４で撮像された会議参加者ＨＭ１ａの画像データとカメラ８５で撮像された会議参加者ＨＭ１ｂの画像データは、信号処理装置ＳＰＤ１におけるグループ判定用情報生成部ＪＢ１にも供給される。この図５２の構成例の場合、グループ判定用情報生成部ＪＢ１は、これらの会議参加者ＨＭ１ａ，ＨＭ１ｂがそれぞれ注目する方向を検出し、それら会議参加者ＨＭ１ａ，ＨＭ１ｂがそれぞれ注目する方向の検出結果の平均値から、上述したグループ判定用情報を生成する。したがって、この場合、サーバＳＶは、方向検出結果の平均値から得られたグループ用判定情報から、上述したグループ情報を生成する。なお、会議参加者ＨＭ１ａ及びＨＭ１ｂがそれぞれ注目する方向の検出結果の平均値をとるのではなく、それら会議参加者ＨＭ１ａ，ＨＭ１ｂがそれぞれ注目する方向の検出結果から個別にグループ判定用情報を生成してサーバＳＶに送信し、サーバＳＶにてそれら個別のグループ判定用情報から個別のグループ情報を生成するようなことも可能である。この場合、情報加工部ＰＢは、このグループ情報から会議参加者ＨＭ１ａ，ＨＭ１ｂのそれぞれに関する音量、音質、画質等のパラメータを独立に演算し、画像や音声の調整の際に各会議参加者ＨＭ２〜ＨＭｎに関し、会議参加者ＨＭ１ａ，ＨＭ１ｂに関するパラメータの平均値を用いる。
【０１９１】
一方、他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた各会議参加者ＨＭ２〜ＨＭｎの音声データは、それら個々の音像がスクリーン８１上に表示されている各会議参加者ＨＭ２〜ＨＭｎの画像近傍に定位するように制御された後、スクリーン８１の左右に配置されたスピーカ８２，８３に供給され、出力される。これにより、スクリーン８１上に表示された各会議参加者ＨＭ２〜ＨＭｎの画像位置と、それら各会議参加者ＨＭ２〜ＨＭｎの発言（音声）が聞こえてくる位置は、略々一致することになる。
【０１９２】
つぎに、遠隔会議装置ＴＣＤ１のさらに他の構成例を図５３に示す。
【０１９３】
すなわち、この図５３の構成例は、図５２の構成例と同様に、湾曲した１つのスクリーン９１を設け、さらに２人の会議参加者ＨＭ１ａ，ＨＭ１ｂを同席可能にしているが、図５２の構成例のスピーカ８２，８３に代えて、会議参加者ＨＭ１ａ，ＨＭ１ｂに対して個別にヘッドホン９２，９３を設けた場合を示している。
【０１９４】
この図５３の構成例では、同席する２人の会議参加者ＨＭ１ａ，ＨＭ１ｂとともに、他の各会議参加者ＨＭ２〜ＨＭｎが、あたかも１つのテーブルを囲んで会議を行うかのように、スクリーン９１上に他の各会議参加者ＨＭ２〜ＨＭｎの画像が表示される。
【０１９５】
カメラ９４及びマイクロホン９６は、例えば会議参加者ＨＭ１ａの正面に配置される。カメラ９４によって撮像された会議参加者ＨＭ１ａの画像データとマイクロホン９６によって集音された会議参加者ＨＭ１ａの音声データは、通信ネットワークＮＴを介して遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。
【０１９６】
また、カメラ９５及びマイクロホン９７は、例えば会議参加者ＨＭ１ｂの正面に配置される。カメラ９５によって撮像された会議参加者ＨＭ１ｂの画像データとマイクロホン９７によって集音された会議参加者ＨＭ１ｂの音声データは、通信ネットワークＮＴを介して遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。
【０１９７】
一方、他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた各会議参加者ＨＭ２〜ＨＭｎの音声データは、それら個々の音像がスクリーン９１上に表示されている各会議参加者ＨＭ２〜ＨＭｎの画像近傍に定位するように制御された後、会議参加者ＨＭ１ａ，ＨＭ１ｂが個別に装着するヘッドホン９２，９３に供給され、出力される。これにより、スクリーン９１上に表示された各会議参加者ＨＭ２〜ＨＭｎの画像位置と、それら各会議参加者ＨＭ２〜ＨＭｎの発言（音声）が聞こえてくる位置は、略々一致することになる。
【０１９８】
また、この図５３の構成例において、カメラ９４で撮像された会議参加者ＨＭ１ａの画像データとカメラ９５で撮像された会議参加者ＨＭ１ｂの画像データは、信号処理装置ＳＰＤ１におけるグループ判定用情報生成部ＪＢ１にも供給される。この図５３の構成例の場合、図５２の例と同様に、グループ判定用情報生成部ＪＢ１は、これらの会議参加者ＨＭ１ａ及びＨＭ１ｂがそれぞれ注目する方向を検出し、それら会議参加者ＨＭ１ａ及びＨＭ１ｂがそれぞれ注目する方向の検出結果の平均値から、上述したグループ判定用情報を生成する。したがって、サーバＳＶは、方向検出結果の平均値から得られたグループ用判定情報から、上述したグループ情報を生成する。なお、図５３の例においても、会議参加者ＨＭ１ａ及びＨＭ１ｂがそれぞれ注目する方向の検出結果の平均値をとるのではなく、それら会議参加者ＨＭ１ａとＨＭ１ｂがそれぞれ注目する方向の検出結果から個別にグループ判定用情報を生成してサーバＳＶに送信し、サーバＳＶにてそれら個別のグループ判定用情報から個別のグループ情報を生成するようなことも可能である。この場合、情報加工部ＰＢは、このグループ情報から会議参加者ＨＭ１ａ、ＨＭ１ｂそれぞれに関する音量、音質、画質等のパラメータを独立に演算し、画像の調整の際には会議参加者ＨＭ１ａとＨＭ１ｂに関するパラメータの平均値を用いて両者共用の画像を作るとともに音声についてはそれぞれ独立のパラメータを用いて別個の音声を作成して会議参加者ＨＭ１ａ、ＨＭ１ｂそれぞれのヘッドホンに供給する。なお、特殊なスクリーンを用いて会議参加者ＨＭ１ａ、ＨＭ１ｂに別個の画像をそれぞれ独立のパラメータをもとに作って提示することも可能である。
【０１９９】
つぎに、遠隔会議装置ＴＣＤ１のさらに他の構成例を図５４に示す。
【０２００】
この図５４の構成例では、他の遠隔会議装置ＴＣＤ２〜ＴＣＤｎの各会議参加者ＨＭ２〜ＨＭｎの画像データは通信されず、音声データだけが通信される。この図５４の構成例の場合は、会議参加者ＨＭ１とともに、他の各会議参加者ＨＭ２〜ＨＭｎが、あたかも１つのテーブルを囲んで会議を行うかのように、他の各会議参加者ＨＭ２〜ＨＭｎの音声を個々に出力するためのスピーカＳＫ２〜ＳＫｎが配置される。但し、会議参加者ＨＭ２〜ＨＭｎの音声データを出力するスピーカＳＫ２〜ＳＫｎの近傍には、例えば写真ＰＴ２〜ＰＴｎ成いはイラストのような各会議参加者ＨＭ２〜ＨＭｎをそれぞれ象徴するものが配置される。
【０２０１】
カメラ１０１及びマイクロホン１０２は、例えば会議参加者ＨＭ１の正面に配置される。マイクロホン１０２によって集音された会議参加者ＨＭ１の音声データは、通信ネットワークＮＴを介して他の各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。また、この図５４の構成例において、カメラ１０１で撮像された会議参加者ＨＭ１の画像データは、信号処理装置ＳＰＤ１におけるグループ判定用情報生成部ＪＢ１に供給される。
【０２０２】
一方、遠隔会議装置ＴＣＤ２〜ＴＣＤｎから個々に送信されてきた各会議参加者ＨＭ２〜ＨＭｎの音声データは、それぞれ対応して設けられているスピーカＳＫ２〜ＳＫｎから出力される。
【０２０３】
以上のように、本発明を適用した第１の実施の形態として示す遠隔会議システムは、遠隔会議装置ＴＣＤにおけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、サーバＳＶにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、遠隔会議装置ＴＣＤにおける情報加工部ＰＢにより、グループ情報に基づいて、他の各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。したがって、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０２０４】
つぎに、本発明を適用した第２の実施の形態として示す遠隔会議システムについて説明する。
【０２０５】
この遠隔会議システムは、基本構成を第１の実施の形態として示した遠隔会議システムと同様とするが、図５５に概略構成を示すように、上述したグルーピング装置として機能するサーバＳＶを設けず、グルーピング装置の機能を各遠隔会議装置ＴＣＤにおいて実現するものである。したがって、第１の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。
【０２０６】
図５５に示すように、この遠隔会議システムにおいて、複数箇所（１〜ｎ箇所）に居る各会議参加者ＨＭ１〜ＨＭｎには、それぞれ対応した遠隔会議装置ＴＣＤ１〜ＴＣＤｎが割り当てられており、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎは、例えばＩＳＤＮ等からなる通信ネットワークＮＴを介して接続されている。
【０２０７】
各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。
【０２０８】
この遠隔会議システムにおける各遠隔会議装置ＴＣＤは、それぞれ、図５６に示すような構成を備えている。なお、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎは、それぞれ、同一の構成を有することから、図５６には、これら複数の遠隔会議装置ＴＣＤ１〜ＴＣＤｎのうち、代表して遠隔会議装置ＴＣＤ１の詳細な構成例を示している。以下では、この遠隔会議装置ＴＣＤ１について説明する。
【０２０９】
遠隔会議装置ＴＣＤ１は、上述したように、信号処理装置ＳＰＤ１と、モニタ装置ＭＤ２〜ＭＤｎとを、少なくとも備える。
【０２１０】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１は、上述したように、ネットワーク接続端子ＴＮ１と、情報送受信部ＴＲＢ１と、情報加工部ＰＢ１と、グループ判定用情報生成部ＪＢ１と、出力端子ＴＯ２〜ＴＯｎと、入力端子ＴＩ２〜ＴＩｎと、入力端子ＴＳとを備えるとともに、上述したサーバＳＶにおけるグループ判定部ＧＪＤに相当するグループ判定部ＧＪＤ１を備えている。
【０２１１】
各モニタ装置ＭＤ２〜ＭＤｎは、それぞれ、図４８及び図４９に示したものと同様の構成からなる。各モニタ装置ＭＤ２〜ＭＤｎのうち少なくとも１つのモニタ装置ＭＤに設けられるカメラから取り込まれた画像データと、同じく少なくとも１つのモニタ装置ＭＤに設けられるマイクロホンから取り込まれた音声データは、上述したように、信号処理装置ＳＰＤ１及び通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。
【０２１２】
また、各モニタ装置ＭＤ２〜ＭＤｎのディスプレイ装置には、上述したように、それぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた画像データに基づく画像が表示され、スピーカからは、同じくそれぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた音声データに基づく音声が出力される。
【０２１３】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１内のグループ判定用情報生成部ＪＢ１は、上述したように、グループ判定用情報を生成する。
【０２１４】
グループ判定用情報生成部ＪＢ１は、例えば図３又は図４に示したように、会議参加者ＨＭ１の例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報に基づいて、会議参加者ＨＭ１の注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部ＪＢ１は、上述した方向検出処理を行う。
【０２１５】
グループ判定用情報生成部ＪＢ１によって生成されたグループ判定用情報は、信号処理装置ＳＰＤ１における情報送受信部ＴＲＢ１に供給され、通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。また、グループ判定用情報生成部ＪＢ１によって生成されたグループ判用情報は、上述したサーバＳＶに代わるグループ判定部ＧＪＤ１に供給される。
【０２１６】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１内のグループ判定部ＧＪＤ１は、上述したサーバＳＶにおけるグループ判定部ＧＪＤと同様のものであるが、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎからの各グループ判定用情報に基づいて各会議参加者についてのグループ情報を一括して生成するのではなく、グループ判定用情報生成部ＪＢ１から供給されたグループ判定用情報と、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきたグループ判定用情報とに基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて会議参加者ＨＭ１が何れのグループに属しているのかを表すグループ情報を生成する。すなわち、遠隔会議装置ＴＣＤ１は、自己、すなわちこの場合は会議参加者ＨＭ１に関するグループ判定用情報を、グループ判定用情報生成部ＪＢ１から受け取るとともに、他の会議参加者ＨＭ２〜ＨＭｎに関するグループ判定用情報を、通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた信号を受信する情報送受信部ＴＲＢ１から受け取る。
【０２１７】
ここで、グループ判定部ＧＪＤ１は、図６に示した注目先表と、図７に示したグループ表とを保持しており、グループ判定用情報生成部ＪＢ１及び各遠隔会議装置ＴＣＤ２〜ＴＣＤｎからグループ判定用情報を受け取る前段として、図８に示した通信開始時の初期化処理を行う。また、グループ判定部ＧＪＤ１は、グループ判定用情報生成部ＪＢ１及び各遠隔会議装置ＴＣＤ２〜ＴＣＤｎからグループ判定用情報を受け取ると、図９に示したグループ判定用情報発生時の処理を行う。グループ判定部ＧＪＤ１は、生成したグループ情報を信号処理装置ＳＰＤ１における情報加工部ＰＢ１に供給する。
【０２１８】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１内の情報加工部ＰＢ１は、グループ判定部ＧＪＤ１から供給されたグループ情報に基づいて、上述したように、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ２〜ＭＤｎに対して供給する。
【０２１９】
このような遠隔会議システムは、遠隔会議装置ＴＣＤにおけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、遠隔会議装置ＴＣＤにおけるグループ判定部ＧＪＤにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、遠隔会議装置ＴＣＤにおける情報加工部ＰＢにより、グループ情報に基づいて、他の各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。
【０２２０】
以上のように、本発明を適用した第２の実施の形態として示す遠隔会議システムは、グルーピング装置の機能を各遠隔会議装置ＴＣＤにおいて実現することができ、各遠隔会議装置ＴＣＤによって生成したグループ情報を全ての遠隔会議装置ＴＣＤで共有することにより、グルーピング装置として機能するサーバＳＶを設ける必要がない。そのため、遠隔会議システムは、バックヤードとしてのサーバを備える必要がなく、簡易な構成の下に遠隔会議を行うことを可能とする。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０２２１】
なお、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤは、図５０に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置ＴＣＤとしては、図５１乃至図５４に示した構成とすることもできる。
【０２２２】
つぎに、本発明を適用した第３の実施の形態として示す遠隔会議システムについて説明する。
【０２２３】
この遠隔会議システムは、上述したグルーピング装置として機能するサーバＳＶを設けない点で、基本構成を図５５に示した第２の実施の形態として示した遠隔会議システムと同様とするが、グルーピング装置の機能を１つの遠隔会議装置ＴＣＤにおいて実現し、他の遠隔会議装置ＴＣＤにはグルーピング装置の機能を備えないものである。したがって、第２の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。
【０２２４】
この遠隔会議システムにおいて、各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。
【０２２５】
以下では、遠隔会議装置ＴＣＤ１がグルーピング装置の機能を備えるものとして説明する。
【０２２６】
遠隔会議装置ＴＣＤ１は、図５７に示すように、信号処理装置ＳＰＤ１と、モニタ装置ＭＤ２〜ＭＤｎとを、少なくとも備える。
【０２２７】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１は、上述したように、ネットワーク接続端子ＴＮ１と、情報送受信部ＴＲＢ１と、情報加工部ＰＢ１と、グループ判定用情報生成部ＪＢ１と、グループ判定部ＧＪＤ１と、出力端子ＴＯ２〜ＴＯｎと、入力端子ＴＩ２〜ＴＩｎと、入力端子ＴＳとを備えている。
【０２２８】
各モニタ装置ＭＤ２〜ＭＤｎは、それぞれ、図４８及び図４９に示したものと同様の構成からなる。各モニタ装置ＭＤ２〜ＭＤｎのうち少なくとも１つのモニタ装置ＭＤに設けられるカメラから取り込まれた画像データと、同じく少なくとも１つのモニタ装置ＭＤに設けられるマイクロホンから取り込まれた音声データは、上述したように、信号処理装置ＳＰＤ１及び通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。
【０２２９】
また、各モニタ装置ＭＤ２〜ＭＤｎのディスプレイ装置には、上述したように、それぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた画像データに基づく画像が表示され、スピーカからは、同じくそれぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた音声データに基づく音声が出力される。
【０２３０】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１内のグループ判定用情報生成部ＪＢ１は、上述したように、グループ判定用情報を生成する。
【０２３１】
グループ判定用情報生成部ＪＢ１は、例えば図３又は図４に示したように、会議参加者ＨＭ１の例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報に基づいて、会議参加者ＨＭ１の注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部ＪＢ１は、上述した方向検出処理を行う。
【０２３２】
グループ判定用情報生成部ＪＢ１によって生成されたグループ判定用情報は、グループ判定部ＧＪＤ１に供給される。すなわち、このグループ判定用情報生成部ＪＢ１は、第２の実施の形態として示した遠隔会議システムにおけるグループ判定用情報生成部ＪＢ１とは異なり、生成したグループ判定用情報をグループ判定部ＧＪＤ１のみに供給する。
【０２３３】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１内のグループ判定部ＧＪＤ１は、グループ判定用情報生成部ＪＢ１から供給されたグループ判定用情報と、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきたグループ判定用情報とに基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。すなわち、遠隔会議装置ＴＣＤ１は、自己、すなわちこの場合は会議参加者ＨＭ１に関するグループ判定用情報を、グループ判定用情報生成部ＪＢ１から受け取るとともに、他の会議参加者ＨＭ２〜ＨＭｎに関するグループ判定用情報を、通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた信号を受信する情報送受信部ＴＲＢ１から受け取る。
【０２３４】
ここで、グループ判定部ＧＪＤ１は、図６に示した注目先表と、図７に示したグループ表とを保持しており、グループ判定用情報生成部ＪＢ１及び各遠隔会議装置ＴＣＤ２〜ＴＣＤｎからグループ判定用情報を受け取る前段として、図８に示した通信開始時の初期化処理を行う。また、グループ判定部ＧＪＤ１は、グループ判定用情報生成部ＪＢ１及び各遠隔会議装置ＴＣＤ２〜ＴＣＤｎからグループ判定用情報を受け取ると、図９に示したグループ判定用情報発生時の処理を行う。グループ判定部ＧＪＤ１によって生成されたグループ情報は、信号処理装置ＳＰＤ１における情報加工部ＰＢ１に供給されるとともに、情報送受信部ＴＲＢ１から通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。すなわち、このグループ判定部ＧＪＤ１は、第２の実施の形態として示した遠隔会議システムにおけるグループ判定部ＧＪＤ１とは異なり、生成したグループ情報を情報加工部ＰＢ１だけでなく、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信する。
【０２３５】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１内の情報加工部ＰＢ１は、グループ判定部ＧＪＤ１から供給されたグループ情報に基づいて、上述したように、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ２〜ＭＤｎに対して供給する。
【０２３６】
一方、遠隔会議システムにおける他の遠隔会議装置ＴＣＤ２〜ＴＣＤｎは、それぞれ、図５８に示すような構成を備えている。なお、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎは、それぞれ、同一の構成を有することから、図５８には、これら複数の遠隔会議装置ＴＣＤ２〜ＴＣＤｎのうち、代表して遠隔会議装置ＴＣＤ２の詳細な構成例を示している。以下では、この遠隔会議装置ＴＣＤ２について説明する。
【０２３７】
遠隔会議装置ＴＣＤ２は、遠隔会議装置ＴＣＤ１と同様に、信号処理装置ＳＰＤ２と、モニタ装置ＭＤ１，ＭＤ３〜ＭＤｎとを、少なくとも備える。
【０２３８】
遠隔会議装置ＴＣＤ２における信号処理装置ＳＰＤ２は、ネットワーク接続端子ＴＮ２と、情報送受信部ＴＲＢ２と、情報加工部ＰＢ２と、グループ判定用情報生成部ＪＢ２と、出力端子ＴＯ１，ＴＯ３〜ＴＯｎと、入力端子ＴＩ１，ＴＩ３〜ＴＩｎと、入力端子ＴＳとを備えている。
【０２３９】
各モニタ装置ＭＤ１，ＭＤ３〜ＭＤｎは、それぞれ、図４８及び図４９に示したものと同様の構成からなる。各モニタ装置ＭＤ１，ＭＤ３〜ＭＤｎのうち少なくとも１つのモニタ装置ＭＤに設けられるカメラから取り込まれた画像データと、同じく少なくとも１つのモニタ装置ＭＤに設けられるマイクロホンから取り込まれた音声データは、上述したように、信号処理装置ＳＰＤ２及び通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ１，ＴＣＤ３〜ＴＣＤｎに送信される。
【０２４０】
また、各モニタ装置ＭＤ１，ＭＤ３〜ＭＤｎのディスプレイ装置には、上述したように、それぞれ対応する遠隔会議装置ＴＣＤ１，ＴＣＤ３〜ＴＣＤｎから送信されてきた画像データに基づく画像が表示され、スピーカからは、同じくそれぞれ対応する遠隔会議装置ＴＣＤ１，ＴＣＤ３〜ＴＣＤｎから送信されてきた音声データに基づく音声が出力される。
【０２４１】
遠隔会議装置ＴＣＤ２における信号処理装置ＳＰＤ２内のグループ判定用情報生成部ＪＢ２は、上述したように、グループ判定用情報を生成する。
【０２４２】
グループ判定用情報生成部ＪＢ２は、例えば図３又は図４に示したように、会議参加者ＨＭ２の例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報に基づいて、会議参加者ＨＭ２の注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部ＪＢ２は、上述した方向検出処理を行う。
【０２４３】
グループ判定用情報生成部ＪＢ２によって生成されたグループ判定用情報は、信号処理装置ＳＰＤ２における情報送受信部ＴＲＢ２に供給される。
【０２４４】
遠隔会議装置ＴＣＤ２における信号処理装置ＳＰＤ２内の情報加工部ＰＢ２は、遠隔会議装置ＴＣＤ１から送信されて情報送受信部ＴＲＢ２によって受信されたグループ情報に基づいて、上述したように、各遠隔会議装置ＴＣＤ１，ＴＣＤ３〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ１，ＴＣＤ３〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、各遠隔会議装置ＴＣＤ１，ＴＣＤ３〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ１，ＭＤ３〜ＭＤｎに対して供給する。
【０２４５】
このような遠隔会議システムは、全ての遠隔会議装置ＴＣＤにおけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、遠隔会議装置ＴＣＤ１におけるグループ判定部ＧＪＤ１により、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、全ての遠隔会議装置ＴＣＤにおける情報加工部ＰＢにより、グループ情報に基づいて、他の各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。
【０２４６】
以上のように、本発明を適用した第３の実施の形態として示す遠隔会議システムは、グルーピング装置の機能を１つの遠隔会議装置ＴＣＤにおいて実現することができ、この遠隔会議装置ＴＣＤによって生成したグループ情報を全ての遠隔会議装置ＴＣＤで共有することにより、グルーピング装置として機能するサーバＳＶを設ける必要がない。そのため、遠隔会議システムは、バックヤードとしてのサーバを備える必要がなく、簡易な構成の下に遠隔会議を行うことを可能とする。特に、遠隔会議システムは、グルーピング装置として機能する遠隔会議装置ＴＣＤを１つだけ備えればよいことから、低コストの下に構成することができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０２４７】
なお、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤは、図５０に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置ＴＣＤとしては、図５１乃至図５４に示した構成とすることもできる。
【０２４８】
つぎに、本発明を適用した第４の実施の形態として示す遠隔会議システムについて説明する。
【０２４９】
この遠隔会議システムは、上述したサーバＳＶを設ける点で、基本構成を図２に示した第１の実施の形態として示した遠隔会議システムと同様とするが、グルーピング装置及び上述した情報加工部を有する加工装置の機能を１つのサーバＳＶにおいて実現し、遠隔会議装置ＴＣＤにはグルーピング装置及び加工装置の機能を備えないものである。したがって、第１の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。
【０２５０】
この遠隔会議システムにおいて、各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。
【０２５１】
この遠隔会議システムにおける各遠隔会議装置ＴＣＤは、それぞれ、図５９に示すような構成を備えている。なお、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎは、それぞれ、同一の構成を有することから、図５９には、これら複数の遠隔会議装置ＴＣＤ１〜ＴＣＤｎのうち、代表して遠隔会議装置ＴＣＤ１の詳細な構成例を示している。以下では、この遠隔会議装置ＴＣＤ１について説明する。
【０２５２】
遠隔会議装置ＴＣＤ１は、上述したように、信号処理装置ＳＰＤ１と、モニタ装置ＭＤ２〜ＭＤｎとを、少なくとも備える。
【０２５３】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１は、ネットワーク接続端子ＴＮ１と、情報送受信部ＴＲＢ１と、グループ判定用情報生成部ＪＢ１と、出力端子ＴＯ２〜ＴＯｎと、入力端子ＴＩ２〜ＴＩｎと、入力端子ＴＳとを備えている。すなわち、遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１は、上述した情報加工部ＰＢ１と、グループ判定部ＧＪＤ１とを備えていない。
【０２５４】
各モニタ装置ＭＤ２〜ＭＤｎは、それぞれ、図４８及び図４９に示したものと同様の構成からなる。各モニタ装置ＭＤ２〜ＭＤｎのうち少なくとも１つのモニタ装置ＭＤに設けられるカメラから取り込まれた画像データと、同じく少なくとも１つのモニタ装置ＭＤに設けられるマイクロホンから取り込まれた音声データは、上述したように、信号処理装置ＳＰＤ１及び通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。
【０２５５】
また、各モニタ装置ＭＤ２〜ＭＤｎのディスプレイ装置には、上述したように、それぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた画像データに基づく画像が表示され、スピーカからは、同じくそれぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた音声データに基づく音声が出力される。
【０２５６】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１内のグループ判定用情報生成部ＪＢ１は、上述したように、グループ判定用情報を生成する。
【０２５７】
グループ判定用情報生成部ＪＢ１は、例えば図３又は図４に示したように、会議参加者ＨＭ１の例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報に基づいて、会議参加者ＨＭ１の注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部ＪＢ１は、上述した方向検出処理を行う。
【０２５８】
グループ判定用情報生成部ＪＢ１によって生成されたグループ判定用情報は、信号処理装置ＳＰＤ１における情報送受信部ＴＲＢ１に供給され、さらに、ネットワーク接続端子ＴＮ１を介して通信ネットワークＮＴから、サーバＳＶに送信される。
【０２５９】
サーバＳＶは、図６０に示すように構成され、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。また、サーバＳＶは、生成したグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う加工装置として機能する。
【０２６０】
この図６０において、サーバＳＶは、上述したネットワーク接続端子１１と、情報送受信部１０とを備えるとともに、グループ判定部ＧＪＤと、情報加工部ＰＢとを備えている。
【０２６１】
情報送受信部１０は、通信ネットワークＮＴを介して、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部ＧＪＤに供給する。また、情報送受信部１０は、通信ネットワークＮＴを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び音声データを分離し、分離した各画像データ及び各音声データをそれぞれ情報加工部ＰＢに供給する。さらに、情報送受信部１０は、情報加工部ＰＢによって調整処理された各画像データ・各音声データを通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送信する。
【０２６２】
グループ判定部ＧＪＤは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。
【０２６３】
ここで、グループ判定部ＧＪＤは、図６に示した注目先表と、図７に示したグループ表とを保持しており、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎからグループ判定用情報を受け取る前段として、図８に示した通信開始時の初期化処理を行う。また、グループ判定部ＧＪＤは、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎからグループ判定用情報を受け取ると、図９に示したグループ判定用情報発生時の処理を行う。グループ判定部ＧＪＤは、生成したグループ情報を情報加工部ＰＢに供給する。
【０２６４】
情報加工部ＰＢは、グループ判定部ＧＪＤから供給されたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、情報送受信部１０及びネットワーク接続端子１１を介して通信ネットワークＮＴから、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ１〜ＭＤｎに対して送信する。
【０２６５】
このような遠隔会議システムは、全ての遠隔会議装置ＴＣＤにおけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報のみを生成する。そして、遠隔会議システムは、サーバＳＶにおけるグループ判定部ＧＪＤにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成し、サーバＳＶにおける情報加工部ＰＢにより、グループ情報に基づいて、各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。
【０２６６】
以上のように、本発明を適用した第４の実施の形態として示す遠隔会議システムは、グルーピング装置及び加工装置の機能を１つのサーバＳＶにおいて実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置ＴＣＤの処理負担を軽減することができ、構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０２６７】
なお、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤやサーバＳＶは、図５０に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置ＴＣＤとしては、図５１乃至図５４に示した構成とすることもできる。
【０２６８】
つぎに、本発明を適用した第５の実施の形態として示す遠隔会議システムについて説明する。
【０２６９】
この遠隔会議システムは、遠隔会議装置ＴＣＤにはグルーピング装置及び加工装置の機能を備えない点で、基本構成を第４の実施の形態として示した遠隔会議システムと同様とするが、図６１に概略構成を示すように、グルーピング装置及び加工装置の機能をそれぞれ２つのサーバＳＶ１，ＳＶ２において実現するものである。したがって、第４の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。
【０２７０】
この遠隔会議システムにおいて、各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。
【０２７１】
この遠隔会議システムにおける各遠隔会議装置ＴＣＤは、それぞれ、図５９に示したような構成を備えている。すなわち、各遠隔会議装置ＴＣＤは、それぞれ、信号処理装置ＳＰＤ内にグループ判定用情報生成部ＪＢを備えており、上述したように、グループ判定用情報を生成する。グループ判定用情報生成部ＪＢによって生成されたグループ判定用情報は、通信ネットワークＮＴを介してサーバＳＶ１に送信される。
【０２７２】
サーバＳＶ１は、図６２に示すように構成され、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。
【０２７３】
この図６２において、サーバＳＶ１は、上述したネットワーク接続端子１１１と、情報送受信部１０１とを備えるとともに、グループ判定部ＧＪＤを備えている。
【０２７４】
情報送受信部１０１は、通信ネットワークＮＴを介して、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部ＧＪＤに供給する。また、情報送受信部１０１は、グループ判定部ＧＪＤによって生成されたグループ情報をネットワーク接続端子１１１及び通信ネットワークＮＴを介してサーバＳＶ２に送信する。
【０２７５】
グループ判定部ＧＪＤは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。
【０２７６】
ここで、グループ判定部ＧＪＤは、図６に示した注目先表と、図７に示したグループ表とを保持しており、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎからグループ判定用情報を受け取る前段として、図８に示した通信開始時の初期化処理を行う。また、グループ判定部ＧＪＤは、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎからグループ判定用情報を受け取ると、図９に示したグループ判定用情報発生時の処理を行う。グループ判定部ＧＪＤは、生成したグループ情報を情報送受信部１０１に供給する。
【０２７７】
一方、サーバＳＶ２は、図６３に示すように構成され、サーバＳＶ１から送信されてきたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う加工装置として機能する。
【０２７８】
この図６３において、サーバＳＶ２は、上述したネットワーク接続端子１１２と、情報送受信部１０２とを備えるとともに、情報加工部ＰＢを備えている。
【０２７９】
情報送受信部１０２は、通信ネットワークＮＴを介して、サーバＳＶ１から送信されてきたグループ情報を受信し、このグループ情報を情報加工部ＰＢに供給する。また、情報送受信部１０２は、通信ネットワークＮＴを介して、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた信号を受信すると、この信号から各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び音声データを分離し、分離した各画像データ及び各音声データをそれぞれ情報加工部ＰＢに供給する。さらに、情報送受信部１０２は、情報加工部ＰＢによって調整処理された各画像データ・各音声データを通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送信する。
【０２８０】
情報加工部ＰＢは、情報送受信部１０２から供給されたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、情報送受信部１０２及びネットワーク接続端子１１２を介して通信ネットワークＮＴから、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ１〜ＭＤｎに対して送信する。
【０２８１】
このような遠隔会議システムは、全ての遠隔会議装置ＴＣＤにおけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報のみを生成する。そして、遠隔会議システムは、サーバＳＶ１におけるグループ判定部ＧＪＤにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成し、さらに、サーバＳＶ２における情報加工部ＰＢにより、グループ情報に基づいて、各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。
【０２８２】
以上のように、本発明を適用した第５の実施の形態として示す遠隔会議システムは、グルーピング装置及び加工装置の機能をそれぞれ２つのサーバＳＶ１，ＳＶ２において実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置ＴＣＤの処理負担を軽減して構成を簡易なものとすることができるとともに、サーバＳＶ１，ＳＶ２の処理負担も軽減して構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０２８３】
なお、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤやサーバＳＶ１，ＳＶ２は、図５０に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置ＴＣＤとしては、図５１乃至図５４に示した構成とすることもできる。
【０２８４】
つぎに、本発明を適用した第６の実施の形態として示す遠隔会議システムについて説明する。
【０２８５】
この遠隔会議システムは、上述したサーバＳＶを設ける点で、基本構成を図２に示した第１の実施の形態として示した遠隔会議システムと同様とするが、上述したグループ判定用情報生成部を有する注目度検出装置及びグルーピング装置の機能を１つのサーバＳＶにおいて実現し、遠隔会議装置ＴＣＤには注目度検出装置及びグルーピング装置の機能を備えないものである。したがって、第１の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。
【０２８６】
この遠隔会議システムにおいて、各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。
【０２８７】
この遠隔会議システムにおける各遠隔会議装置ＴＣＤは、それぞれ、図６４に示すような構成を備えている。なお、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎは、それぞれ、同一の構成を有することから、図６４には、これら複数の遠隔会議装置ＴＣＤ１〜ＴＣＤｎのうち、代表して遠隔会議装置ＴＣＤ１の詳細な構成例を示している。以下では、この遠隔会議装置ＴＣＤ１について説明する。
【０２８８】
遠隔会議装置ＴＣＤ１は、上述したように、信号処理装置ＳＰＤ１と、モニタ装置ＭＤ２〜ＭＤｎとを、少なくとも備える。
【０２８９】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１は、ネットワーク接続端子ＴＮ１と、情報送受信部ＴＲＢ１と、情報加工部ＰＢ１と、出力端子ＴＯ２〜ＴＯｎと、入力端子ＴＩ２〜ＴＩｎと、入力端子ＴＳとを備えている。すなわち、遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１は、上述したグループ判定用情報生成部ＪＢ１と、グループ判定部ＧＪＤ１とを備えていない。
【０２９０】
各モニタ装置ＭＤ２〜ＭＤｎは、それぞれ、図４８及び図４９に示したものと同様の構成からなる。各モニタ装置ＭＤ２〜ＭＤｎのうち少なくとも１つのモニタ装置ＭＤに備えられるカメラから取り込まれた画像データと、同じく少なくとも１つのモニタ装置ＭＤに備えられるマイクロホンから取り込まれた音声データは、上述したように、信号処理装置ＳＰＤ１及び通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。
【０２９１】
また、各モニタ装置ＭＤ２〜ＭＤｎのディスプレイ装置には、上述したように、それぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた画像データに基づく画像が表示され、スピーカからは、同じくそれぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた音声データに基づく音声が出力される。
【０２９２】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１内の情報送受信部ＴＲＢ１は、サーバＳＶから送信されてきたグループ情報を受信し、このグループ情報を情報加工部ＰＢ１に供給する。また、情報送受信部ＴＲＢ１は、通信ネットワークＮＴを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応する画像データ及び音声データを分離し、分離した各画像データ及び各音声データをそれぞれ情報加工部ＰＢ１に供給する。さらに、情報送受信部ＴＲＢ１は、会議参加者ＨＭ１の例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報をネットワーク接続端子ＴＮ１を介して通信ネットワークＮＴから、サーバＳＶに送信する。
【０２９３】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１内の情報加工部ＰＢ１は、通信ネットワークＮＴを介して、サーバＳＶから送信されて情報送受信部ＴＲＢ１によって受信されたグループ情報に基づいて、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ２〜ＭＤｎに対して供給する。
【０２９４】
一方、サーバＳＶは、図６５に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。また、サーバＳＶは、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。
【０２９５】
この図６５において、サーバＳＶは、上述したネットワーク接続端子１１と、情報送受信部１０とを備えるとともに、グループ判定用情報生成部ＪＢと、グループ判定部ＧＪＤとを備えている。
【０２９６】
情報送受信部１０は、通信ネットワークＮＴを介して、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた各会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤのカメラから供給された画像データやスイッチ押下情報を受信し、これらの画像データやスイッチ押下情報をグループ判定用情報生成部ＪＢに供給する。また、情報送受信部１０は、グループ判定部ＧＪＤによって生成されたグループ情報をネットワーク接続端子１１及び通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送信する。
【０２９７】
グループ判定用情報生成部ＪＢは、上述したように、グループ判定用情報を生成する。
【０２９８】
グループ判定用情報生成部ＪＢは、例えば図３又は図４に示したように、会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報に基づいて、各会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部ＪＢは、上述した方向検出処理を行う。
【０２９９】
グループ判定用情報生成部ＪＢによって生成されたグループ判定用情報は、グループ判定部ＧＪＤに供給される。
【０３００】
グループ判定部ＧＪＤは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。
【０３０１】
ここで、グループ判定部ＧＪＤは、図６に示した注目先表と、図７に示したグループ表とを保持しており、グループ判定用情報生成部ＪＢからグループ判定用情報を受け取る前段として、図８に示した通信開始時の初期化処理を行う。また、グループ判定部ＧＪＤは、グループ判定用情報生成部ＪＢからグループ判定用情報を受け取ると、図９に示したグループ判定用情報発生時の処理を行う。グループ判定部ＧＪＤは、生成したグループ情報を情報送受信部１０に供給する。
【０３０２】
このような遠隔会議システムは、サーバＳＶにおけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、サーバＳＶにおけるグループ判定部ＧＪＤにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、全ての遠隔会議装置ＴＣＤにおける情報加工部ＰＢにより、グループ情報に基づいて、各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。
【０３０３】
以上のように、本発明を適用した第６の実施の形態として示す遠隔会議システムは、注目度検出装置及びグルーピング装置の機能を１つのサーバＳＶにおいて実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置ＴＣＤの処理負担を軽減することができ、構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０３０４】
なお、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤやサーバＳＶは、図５０に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置ＴＣＤとしては、図５１乃至図５４に示した構成とすることもできる。
【０３０５】
つぎに、本発明を適用した第７の実施の形態として示す遠隔会議システムについて説明する。
【０３０６】
この遠隔会議システムは、遠隔会議装置ＴＣＤには注目度検出装置及びグルーピング装置の機能を備えない点で、基本構成を第６の実施の形態として示した遠隔会議システムと同様とするが、注目度検出装置及びグルーピング装置の機能をそれぞれ２つのサーバＳＶ１，ＳＶ２において実現するものである。したがって、第６の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。
【０３０７】
この遠隔会議システムにおいて、各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。
【０３０８】
この遠隔会議システムにおける各遠隔会議装置ＴＣＤは、それぞれ、図６４に示したような構成を備えている。すなわち、各遠隔会議装置ＴＣＤは、それぞれ、信号処理装置ＳＰＤ内に情報加工部ＰＢを備えており、通信ネットワークＮＴを介して、サーバＳＶ２から送信されて情報送受信部ＴＲＢによって受信されたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施す。また、各遠隔会議装置ＴＣＤは、それぞれ、会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報をネットワーク接続端子ＴＮ１を介して通信ネットワークＮＴから、サーバＳＶ１に送信する。
【０３０９】
サーバＳＶ１は、図６６に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。
【０３１０】
この図６６において、サーバＳＶ１は、上述したネットワーク接続端子１１１と、情報送受信部１０１とを備えるとともに、グループ判定用情報生成部ＪＢを備えている。
【０３１１】
情報送受信部１０１は、通信ネットワークＮＴを介して、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた各会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤのカメラから供給された画像データやスイッチ押下情報を受信し、これらの画像データやスイッチ押下情報をグループ判定用情報生成部ＪＢに供給する。また、情報送受信部１０１は、グループ判定用情報生成部ＪＢによって生成されたグループ判定用情報をネットワーク接続端子１１１及び通信ネットワークＮＴを介してサーバＳＶ２に送信する。
【０３１２】
グループ判定用情報生成部ＪＢは、上述したように、グループ判定用情報を生成する。
【０３１３】
グループ判定用情報生成部ＪＢは、例えば図３又は図４に示したように、会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報に基づいて、各会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部ＪＢは、上述した方向検出処理を行う。
【０３１４】
グループ判定用情報生成部ＪＢは、生成したグループ判定用情報を情報送受信部１０１に供給する。
【０３１５】
一方、サーバＳＶ２は、図６７に示すように構成され、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。
【０３１６】
この図６７において、サーバＳＶ２は、上述したネットワーク接続端子１１２と、情報送受信部１０２とを備えるとともに、グループ判定部ＧＪＤを備えている。
【０３１７】
情報送受信部１０２は、通信ネットワークＮＴを介して、サーバＳＶ１から送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部ＧＪＤに供給する。また、情報送受信部１０２は、グループ判定部ＧＪＤによって生成されたグループ情報を通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送信する。
【０３１８】
グループ判定部ＧＪＤは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。
【０３１９】
ここで、グループ判定部ＧＪＤは、図６に示した注目先表と、図７に示したグループ表とを保持しており、サーバＳＶ１からグループ判定用情報を受け取る前段として、図８に示した通信開始時の初期化処理を行う。また、グループ判定部ＧＪＤは、サーバＳＶ１からグループ判定用情報を受け取ると、図９に示したグループ判定用情報発生時の処理を行う。グループ判定部ＧＪＤは、生成したグループ情報を情報送受信部１０２及びネットワーク接続端子１１２を介して通信ネットワークＮＴから、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送信する。
【０３２０】
このような遠隔会議システムは、サーバＳＶ１におけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、さらに、サーバＳＶ２におけるグループ判定部ＧＪＤにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、全ての遠隔会議装置ＴＣＤにおける情報加工部ＰＢにより、グループ情報に基づいて、各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。
【０３２１】
以上のように、本発明を適用した第７の実施の形態として示す遠隔会議システムは、注目度検出装置及びグルーピング装置の機能をそれぞれ２つのサーバＳＶ１，ＳＶ２において実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置ＴＣＤの処理負担を軽減して構成を簡易なものとすることができるとともに、サーバＳＶ１，ＳＶ２の処理負担も軽減して構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０３２２】
なお、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤやサーバＳＶ１，ＳＶ２は、図５０に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置ＴＣＤとしては、図５１乃至図５４に示した構成とすることもできる。
【０３２３】
つぎに、本発明を適用した第８の実施の形態として示す遠隔会議システムについて説明する。
【０３２４】
この遠隔会議システムは、上述したサーバＳＶを設ける点で、基本構成を図２に示した第１の実施の形態として示した遠隔会議システムと同様とするが、注目度検出装置、グルーピング装置及び加工装置の機能を１つのサーバＳＶにおいて実現し、遠隔会議装置ＴＣＤには注目度検出装置、グルーピング装置及び加工装置の機能を備えないものである。したがって、第１の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。
【０３２５】
この遠隔会議システムにおいて、各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。
【０３２６】
この遠隔会議システムにおける各遠隔会議装置ＴＣＤは、それぞれ、図６８に示すような構成を備えている。なお、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎは、それぞれ、同一の構成を有することから、図６８には、これら複数の遠隔会議装置ＴＣＤ１〜ＴＣＤｎのうち、代表して遠隔会議装置ＴＣＤ１の詳細な構成例を示している。以下では、この遠隔会議装置ＴＣＤ１について説明する。
【０３２７】
遠隔会議装置ＴＣＤ１は、上述したように、信号処理装置ＳＰＤ１と、モニタ装置ＭＤ２〜ＭＤｎとを、少なくとも備える。
【０３２８】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１は、ネットワーク接続端子ＴＮ１と、情報送受信部ＴＲＢ１と、出力端子ＴＯ２〜ＴＯｎと、入力端子ＴＩ２〜ＴＩｎと、入力端子ＴＳとを備えている。すなわち、遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１は、上述したグループ判定用情報生成部ＪＢ１と、情報加工部ＰＢ１と、グループ判定部ＧＪＤ１とを備えていない。
【０３２９】
各モニタ装置ＭＤ２〜ＭＤｎは、それぞれ、図４８及び図４９に示したものと同様の構成からなる。各モニタ装置ＭＤ２〜ＭＤｎのうち少なくとも１つのモニタ装置ＭＤに備えられるカメラから取り込まれた画像データと、同じく少なくとも１つのモニタ装置ＭＤに備えられるマイクロホンから取り込まれた音声データは、上述したように、信号処理装置ＳＰＤ１及び通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ２〜ＴＣＤｎに送信される。
【０３３０】
また、各モニタ装置ＭＤ２〜ＭＤｎのディスプレイ装置には、上述したように、それぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた画像データに基づく画像が表示され、スピーカからは、同じくそれぞれ対応する遠隔会議装置ＴＣＤ２〜ＴＣＤｎから送信されてきた音声データに基づく音声が出力される。
【０３３１】
遠隔会議装置ＴＣＤ１における信号処理装置ＳＰＤ１内の情報送受信部ＴＲＢ１は、会議参加者ＨＭ１の例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報をネットワーク接続端子ＴＮ１を介して通信ネットワークＮＴから、サーバＳＶに送信する。
【０３３２】
一方、サーバＳＶは、図６９に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。また、サーバＳＶは、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。さらに、サーバＳＶは、生成したグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う加工装置として機能する。
【０３３３】
この図６９において、サーバＳＶは、上述したネットワーク接続端子１１と、情報送受信部１０とを備えるとともに、グループ判定用情報生成部ＪＢと、グループ判定部ＧＪＤと、情報加工部ＰＢとを備えている。
【０３３４】
情報送受信部１０は、通信ネットワークＮＴを介して、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた各会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤのカメラから供給された画像データやスイッチ押下情報を受信し、これらの画像データやスイッチ押下情報をグループ判定用情報生成部ＪＢに供給する。また、情報送受信部１０は、通信ネットワークＮＴを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び音声データを分離し、分離した各画像データ及び各音声データをそれぞれ情報加工部ＰＢに供給する。さらに、情報送受信部１０は、情報加工部ＰＢによって調整処理された各画像データ・各音声データを通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送信する。
【０３３５】
グループ判定用情報生成部ＪＢは、上述したように、グループ判定用情報を生成する。
【０３３６】
グループ判定用情報生成部ＪＢは、例えば図３又は図４に示したように、会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報に基づいて、各会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部ＪＢは、上述した方向検出処理を行う。
【０３３７】
グループ判定用情報生成部ＪＢによって生成されたグループ判定用情報は、グループ判定部ＧＪＤに供給される。
【０３３８】
グループ判定部ＧＪＤは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。
【０３３９】
ここで、グループ判定部ＧＪＤは、図６に示した注目先表と、図７に示したグループ表とを保持しており、グループ判定用情報生成部ＪＢからグループ判定用情報を受け取る前段として、図８に示した通信開始時の初期化処理を行う。また、グループ判定部ＧＪＤは、グループ判定用情報生成部ＪＢからグループ判定用情報を受け取ると、図９に示したグループ判定用情報発生時の処理を行う。グループ判定部ＧＪＤは、生成したグループ情報を情報加工部ＰＢに供給する。
【０３４０】
情報加工部ＰＢは、グループ判定部ＧＪＤから供給されたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、情報送受信部１０及びネットワーク接続端子１１を介して通信ネットワークＮＴから、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ１〜ＭＤｎに対して送信する。
【０３４１】
このような遠隔会議システムは、サーバＳＶにおけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、さらに、サーバＳＶにおけるグループ判定部ＧＪＤにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成し、さらに、サーバＳＶにおける情報加工部ＰＢにより、グループ情報に基づいて、各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。
【０３４２】
以上のように、本発明を適用した第８の実施の形態として示す遠隔会議システムは、注目度検出装置、グルーピング装置及び加工装置の機能を１つのサーバＳＶにおいて実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置ＴＣＤの処理負担を軽減することができ、構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０３４３】
なお、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤやサーバＳＶは、図５０に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置ＴＣＤとしては、図５１乃至図５４に示した構成とすることもできる。
【０３４４】
つぎに、本発明を適用した第９の実施の形態として示す遠隔会議システムについて説明する。
【０３４５】
この遠隔会議システムは、遠隔会議装置ＴＣＤには注目度検出装置、グルーピング装置及び加工装置の機能を備えない点で、基本構成を第８の実施の形態として示した遠隔会議システムと同様とするが、注目度検出装置及びグルーピング装置、並びに、加工装置の機能をそれぞれ２つのサーバＳＶ１，ＳＶ２において実現するものである。したがって、第８の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。
【０３４６】
この遠隔会議システムにおいて、各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。
【０３４７】
この遠隔会議システムにおける各遠隔会議装置ＴＣＤは、それぞれ、図６８に示したような構成を備えている。すなわち、各遠隔会議装置ＴＣＤは、それぞれ、会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報をネットワーク接続端子ＴＮ１を介して通信ネットワークＮＴから、サーバＳＶ１に送信する。
【０３４８】
サーバＳＶ１は、図７０に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。また、サーバＳＶ１は、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。
【０３４９】
この図７０において、サーバＳＶ１は、上述したネットワーク接続端子１１１と、情報送受信部１０１とを備えるとともに、グループ判定用情報生成部ＪＢと、グループ判定部ＧＪＤとを備えている。
【０３５０】
情報送受信部１０１は、通信ネットワークＮＴを介して、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた各会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤのカメラから供給された画像データやスイッチ押下情報を受信し、これらの画像データやスイッチ押下情報をグループ判定用情報生成部ＪＢに供給する。また、情報送受信部１０１は、グループ判定部ＧＪＤによって生成されたグループ情報をネットワーク接続端子１１１及び通信ネットワークＮＴを介してサーバＳＶ２に送信する。
【０３５１】
グループ判定用情報生成部ＪＢは、上述したように、グループ判定用情報を生成する。
【０３５２】
グループ判定用情報生成部ＪＢは、例えば図３又は図４に示したように、会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報に基づいて、各会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部ＪＢは、上述した方向検出処理を行う。
【０３５３】
グループ判定用情報生成部ＪＢは、生成したグループ判定用情報をグループ判定部ＧＪＤに供給する。
【０３５４】
グループ判定部ＧＪＤは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。
【０３５５】
ここで、グループ判定部ＧＪＤは、図６に示した注目先表と、図７に示したグループ表とを保持しており、グループ判定用情報生成部ＪＢからグループ判定用情報を受け取る前段として、図８に示した通信開始時の初期化処理を行う。また、グループ判定部ＧＪＤは、グループ判定用情報生成部ＪＢからグループ判定用情報を受け取ると、図９に示したグループ判定用情報発生時の処理を行う。グループ判定部ＧＪＤは、生成したグループ情報を情報送受信部１０１及びネットワーク接続端子１１１を介して通信ネットワークＮＴから、サーバＳＶ２に送信する。
【０３５６】
一方、サーバＳＶ２は、図７１に示すように構成され、サーバＳＶ１から送信されてきたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う加工装置として機能する。
【０３５７】
この図７１において、サーバＳＶ２は、上述したネットワーク接続端子１１２と、情報送受信部１０２とを備えるとともに、情報加工部ＰＢを備えている。
【０３５８】
情報送受信部１０２は、通信ネットワークＮＴを介して、サーバＳＶ１から送信されてきたグループ情報を受信し、このグループ情報を情報加工部ＰＢに供給する。また、情報送受信部１０２は、通信ネットワークＮＴを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び音声データを分離し、分離した各画像データ及び各音声データをそれぞれ情報加工部ＰＢに供給する。さらに、情報送受信部１０２は、情報加工部ＰＢによって調整処理された各画像データ・各音声データを通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送信する。
【０３５９】
情報加工部ＰＢは、情報送受信部１０２から供給されたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、情報送受信部１０２及びネットワーク接続端子１１２を介して通信ネットワークＮＴから、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ１〜ＭＤｎに対して送信する。
【０３６０】
このような遠隔会議システムは、サーバＳＶ１におけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、サーバＳＶ１におけるグループ判定部ＧＪＤにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、サーバＳＶ２における情報加工部ＰＢにより、グループ情報に基づいて、各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。
【０３６１】
以上のように、本発明を適用した第９の実施の形態として示す遠隔会議システムは、注目度検出装置及びグルーピング装置、並びに、加工装置の機能をそれぞれ２つのサーバＳＶ１，ＳＶ２において実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置ＴＣＤの処理負担を軽減して構成を簡易なものとすることができるとともに、サーバＳＶ１，ＳＶ２の処理負担も軽減して構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０３６２】
なお、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤやサーバＳＶ１，ＳＶ２は、図５０に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置ＴＣＤとしては、図５１乃至図５４に示した構成とすることもできる。
【０３６３】
つぎに、本発明を適用した第１０の実施の形態として示す遠隔会議システムについて説明する。
【０３６４】
この遠隔会議システムは、遠隔会議装置ＴＣＤには注目度検出装置、グルーピング装置及び加工装置の機能を備えない点で、基本構成を第８の実施の形態として示した遠隔会議システムと同様とするが、注目度検出装置、並びに、グルーピング装置及び加工装置の機能をそれぞれ２つのサーバＳＶ１，ＳＶ２において実現するものである。したがって、第８の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。
【０３６５】
この遠隔会議システムにおいて、各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。
【０３６６】
この遠隔会議システムにおける各遠隔会議装置ＴＣＤは、それぞれ、図６８に示したような構成を備えている。すなわち、各遠隔会議装置ＴＣＤは、それぞれ、会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報をネットワーク接続端子ＴＮ１を介して通信ネットワークＮＴから、サーバＳＶ１に送信する。
【０３６７】
サーバＳＶ１は、図７２に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。
【０３６８】
この図７２において、サーバＳＶ１は、上述したネットワーク接続端子１１１と、情報送受信部１０１とを備えるとともに、グループ判定用情報生成部ＪＢを備えている。
【０３６９】
情報送受信部１０１は、通信ネットワークＮＴを介して、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた各会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤのカメラから供給された画像データやスイッチ押下情報を受信し、これらの画像データやスイッチ押下情報をグループ判定用情報生成部ＪＢに供給する。また、情報送受信部１０１は、グループ判定用情報生成部ＪＢによって生成されたグループ判定用情報をネットワーク接続端子１１１及び通信ネットワークＮＴを介してサーバＳＶ２に送信する。
【０３７０】
グループ判定用情報生成部ＪＢは、上述したように、グループ判定用情報を生成する。
【０３７１】
グループ判定用情報生成部ＪＢは、例えば図３又は図４に示したように、会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報に基づいて、各会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部ＪＢは、上述した方向検出処理を行う。
【０３７２】
グループ判定用情報生成部ＪＢは、生成したグループ判定用情報を情報送受信部１０１に供給する。
【０３７３】
一方、サーバＳＶ２は、図７３に示すように構成され、サーバＳＶ１から送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。また、サーバＳＶ２は、グループ判定部ＧＪＤから供給されたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う加工装置として機能する。
【０３７４】
この図７３において、サーバＳＶ２は、上述したネットワーク接続端子１１２と、情報送受信部１０２とを備えるとともに、グループ判定部ＧＪＤと、情報加工部ＰＢとを備えている。
【０３７５】
情報送受信部１０２は、通信ネットワークＮＴを介して、サーバＳＶ１から送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部ＧＪＤに供給する。また、情報送受信部１０２は、通信ネットワークＮＴを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び音声データを分離し、分離した各画像データ及び各音声データをそれぞれ情報加工部ＰＢに供給する。さらに、情報送受信部１０２は、情報加工部ＰＢによって調整処理された各画像データ・各音声データを通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送信する。
【０３７６】
グループ判定部ＧＪＤは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。
【０３７７】
ここで、グループ判定部ＧＪＤは、図６に示した注目先表と、図７に示したグループ表とを保持しており、サーバＳＶ１からグループ判定用情報を受け取る前段として、図８に示した通信開始時の初期化処理を行う。また、グループ判定部ＧＪＤは、サーバＳＶ１からグループ判定用情報を受け取ると、図９に示したグループ判定用情報発生時の処理を行う。グループ判定部ＧＪＤは、生成したグループ情報を情報加工部ＰＢに供給する。
【０３７８】
情報加工部ＰＢは、グループ判定部ＧＪＤから供給されたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、情報送受信部１０２及びネットワーク接続端子１１２を介して通信ネットワークＮＴから、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ１〜ＭＤｎに対して送信する。
【０３７９】
このような遠隔会議システムは、サーバＳＶ１におけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成する。そして、遠隔会議システムは、サーバＳＶ２におけるグループ判定部ＧＪＤにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成し、サーバＳＶ２における情報加工部ＰＢにより、グループ情報に基づいて、各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。
【０３８０】
以上のように、本発明を適用した第１０の実施の形態として示す遠隔会議システムは、注目度検出装置、並びに、グルーピング装置及び加工装置の機能をそれぞれ２つのサーバＳＶ１，ＳＶ２において実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置ＴＣＤの処理負担を軽減して構成を簡易なものとすることができるとともに、サーバＳＶ１，ＳＶ２の処理負担も軽減して構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０３８１】
なお、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤやサーバＳＶ１，ＳＶ２は、図５０に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置ＴＣＤとしては、図５１乃至図５４に示した構成とすることもできる。
【０３８２】
つぎに、本発明を適用した第１１の実施の形態として示す遠隔会議システムについて説明する。
【０３８３】
この遠隔会議システムは、遠隔会議装置ＴＣＤには注目度検出装置、グルーピング装置及び加工装置の機能を備えない点で、基本構成を第８の実施の形態として示した遠隔会議システムと同様とするが、図７４に概略構成を示すように、注目度検出装置、グルーピング装置及び加工装置の機能をそれぞれ３つのサーバＳＶ１，ＳＶ２，ＳＶ３において実現するものである。したがって、第８の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。
【０３８４】
この遠隔会議システムにおいて、各遠隔会議装置ＴＣＤは、それぞれ対応する会議参加者ＨＭの画像データ及び音声データを取り込み、この会議参加者ＨＭの画像データ及び音声データを通信ネットワークＮＴを介して他の遠隔会議装置ＴＣＤに送信するとともに、他の遠隔会議装置ＴＣＤから送信されてきた他の会議参加者ＨＭの画像データ及び音声データを受信し、提示することができる。
【０３８５】
この遠隔会議システムにおける各遠隔会議装置ＴＣＤは、それぞれ、図６８に示したような構成を備えている。すなわち、各遠隔会議装置ＴＣＤは、それぞれ、会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報をネットワーク接続端子ＴＮ１を介して通信ネットワークＮＴから、サーバＳＶ１に送信する。
【０３８６】
サーバＳＶ１は、図７５に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。
【０３８７】
この図７５において、サーバＳＶ１は、上述したネットワーク接続端子１１１と、情報送受信部１０１とを備えるとともに、グループ判定用情報生成部ＪＢを備えている。
【０３８８】
情報送受信部１０１は、通信ネットワークＮＴを介して、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎから送信されてきた各会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤのカメラから供給された画像データやスイッチ押下情報を受信し、これらの画像データやスイッチ押下情報をグループ判定用情報生成部ＪＢに供給する。また、情報送受信部１０１は、グループ判定用情報生成部ＪＢによって生成されたグループ判定用情報をネットワーク接続端子１１１及び通信ネットワークＮＴを介してサーバＳＶ２に送信する。
【０３８９】
グループ判定用情報生成部ＪＢは、上述したように、グループ判定用情報を生成する。
【０３９０】
グループ判定用情報生成部ＪＢは、例えば図３又は図４に示したように、会議参加者ＨＭの例えば正面に配置されているモニタ装置ＭＤｍのカメラから供給された画像データや上述したスイッチＳＷからのスイッチ押下情報に基づいて、各会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部ＪＢは、上述した方向検出処理を行う。
【０３９１】
グループ判定用情報生成部ＪＢは、生成したグループ判定用情報を情報送受信部１０１に供給する。
【０３９２】
サーバＳＶ２は、図７６に示すように構成され、サーバＳＶ１から送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。
【０３９３】
この図７６において、サーバＳＶ２は、上述したネットワーク接続端子１１２と、情報送受信部１０２とを備えるとともに、グループ判定部ＧＪＤを備えている。
【０３９４】
情報送受信部１０２は、通信ネットワークＮＴを介して、サーバＳＶ１から送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部ＧＪＤに供給する。また、情報送受信部１０２は、グループ判定部ＧＪＤによって生成されたグループ情報をネットワーク接続端子１１２及び通信ネットワークＮＴを介してサーバＳＶ３に送信する。
【０３９５】
グループ判定部ＧＪＤは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。
【０３９６】
ここで、グループ判定部ＧＪＤは、図６に示した注目先表と、図７に示したグループ表とを保持しており、サーバＳＶ１からグループ判定用情報を受け取る前段として、図８に示した通信開始時の初期化処理を行う。また、グループ判定部ＧＪＤは、サーバＳＶ１からグループ判定用情報を受け取ると、図９に示したグループ判定用情報発生時の処理を行う。グループ判定部ＧＪＤは、生成したグループ情報を情報送受信部１０２に供給する。
【０３９７】
サーバＳＶ３は、図７７に示すように構成され、サーバＳＶ２から送信されてきたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う加工装置として機能する。
【０３９８】
この図７７において、サーバＳＶ３は、上述したネットワーク接続端子１１２と、情報送受信部１０２とを備えるとともに、情報加工部ＰＢを備えている。
【０３９９】
情報送受信部１０３は、通信ネットワークＮＴを介して、サーバＳＶ２から送信されてきたグループ情報を受信し、このグループ情報を情報加工部ＰＢに供給する。また、情報送受信部１０３は、通信ネットワークＮＴを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び音声データを分離し、分離した各画像データ及び各音声データをそれぞれ情報加工部ＰＢに供給する。さらに、情報送受信部１０３は、情報加工部ＰＢによって調整処理された各画像データ・各音声データを通信ネットワークＮＴを介して各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに送信する。
【０４００】
情報加工部ＰＢは、情報送受信部１０３から供給されたグループ情報に基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応する画像データ及び／又は音声データに対して情報加工を行う際に利用するパラメータを演算し、さらに、この演算によって求めたパラメータに基づいて、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎにそれぞれ対応して分離された画像データ及び／又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ・各音声データを、情報送受信部１０３及びネットワーク接続端子１１３を介して通信ネットワークＮＴから、各遠隔会議装置ＴＣＤ１〜ＴＣＤｎに対応して設けられている各モニタ装置ＭＤ１〜ＭＤｎに対して送信する。
【０４０１】
このような遠隔会議システムは、サーバＳＶ１におけるグループ判定用情報生成部ＪＢにより、会議参加者ＨＭの注目度を検出し、その検出結果に基づいて、各会議参加者ＨＭが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成する。そして、遠隔会議システムは、サーバＳＶ２におけるグループ判定部ＧＪＤにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者ＨＭが何れのグループに属しているのかを表すグループ情報を生成する。さらに、遠隔会議システムは、サーバＳＶ３における情報加工部ＰＢにより、グループ情報に基づいて、各遠隔会議装置ＴＣＤにそれぞれ対応する画像データ及び／又は音声データに所望の調整処理を施す。
【０４０２】
以上のように、本発明を適用した第１１の実施の形態として示す遠隔会議システムは、注目度検出装置、グルーピング装置及び加工装置の機能をそれぞれ３つのサーバＳＶ１，ＳＶ２，ＳＶ３において実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置ＴＣＤの処理負担を大幅に軽減して構成を簡易なものとすることができるとともに、サーバＳＶ１，ＳＶ２，ＳＶ３の処理負担も軽減して構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０４０３】
なお、遠隔会議システムにおける各遠隔会議装置ＴＣＤの信号処理装置ＳＰＤやサーバＳＶ１，ＳＶ２，ＳＶ３は、図５０に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置ＴＣＤとしては、図５１乃至図５４に示した構成とすることもできる。
【０４０４】
以上説明したように、本発明の実施の形態として示す遠隔会議システムにおいては、複数の会議参加者が同時に発言するような場合でも、自己が属するグループの発言を聞き易くなり、また、画像も見易くなる。したがって、遠隔会議システムは、各会議参加者において情報の充足と快適さを与えることができる。
【０４０５】
なお、本発明は、上述した実施の形態に限定されるものではない。例えば、上述した全ての実施の形態では、各モニタ装置ＭＤと信号処理装置ＳＰＤとが別構成であるものとして説明したが、各モニタ装置ＭＤのそれぞれ或いは１つに信号処理装置ＳＰＤの機能を持たせることも可能である。
【０４０６】
また、上述した全ての実施の形態では、方向検出の具体例として視線と顔向き検出をそれぞれ別個に行う例を挙げて説明したが、それら両方の方向検出を同時に行うことも可能である。
【０４０７】
さらに、上述した全ての実施の形態では、１人の会議参加者が所属できるグループを各時刻において１つとした例を挙げているが、それ以外に、例えば、主に属しているグループや発言はしないが情報は得たいグループといった複数のグループを定義しておき、各人の会議参加者を複数のグループに所属可能とし、相手方の会議参加者の各人がどのグループに属しているかにより、音声、画像等の情報を制御／加工するような例も考えられる。また、このとき、各会議参加者にそれぞれ対応するモニタ装置に照明器が設けられているような場合には、相手方の会議参加者の各人がどのグループに属しているかにより、照明器を制御することも考えられる。
【０４０８】
さらにまた、上述した全ての実施の形態では、グループ判定用情報に基づいてグループ判定した結果を、グループ情報の生成に用いるものとして説明したが、このグループ判定結果は、様々な利用方法が考えられる。
【０４０９】
例えば、グループ判定結果の他の利用方法としては、会議に先立ち、議論すべき複数の議題と、議題毎の必要な参加者とを登録しておき、会議中、各会話毎にグループ判定した結果に基づいて、各グループ内で話し合える議題を画像や音声で提示するものが考えられる。この際、議題に必要な参加者の全員が揃っていない場合でも、例えばある議題に必要な参加者の大半からなるグループが存在するような場合には、必要な参加者のうちグループ内にいない人、及び、議題自体を画像や音声で提示することもできる。
【０４１０】
また、グループ判定結果のさらに他の利用方法としては、遠隔会議装置ＴＣＤの娯楽的利用に供するものである。すなわち、グループ判定結果のさらに他の利用方法としては、会議に先立ち、各会議参加者が自分の興味のある分野を登録しておき、会議中、各グループ内にいる参加者に応じて興味の集中分野を調べ、集中度の高い分野に関する話題を提供するものが考えられる。この利用方法を適用した場合には、例えば、野球が好きであると登録している参加者が多く含まれるグループに対しては、会議に近い時点で行われた野球の試合結果等を提示することができる。
【０４１１】
このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０４１２】
【発明の効果】
以上詳細に説明したように、本発明にかかるグルーピング装置は、少なくとも３つの通信装置を含む通信システム で使用され、通信装置のそれぞれに対して他の通信装置から通信される通信データをグルーピングするグルーピング装置において、通信装置のそれぞれに対応するユーザの、他の通信装置からの通信データのそれぞれに対する注目度に基づいて、通信データのグルーピングを行うグルーピング手段と、このグルーピング手段によるグルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを備える。
【０４１３】
したがって、本発明にかかるグルーピング装置は、少なくとも３つの通信装置間で通信を行う場合に適用することにより、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。
【０４１４】
さらにまた、本発明にかかるグルーピング方法は、少なくとも３つの通信装置を含む通信システムで使用され、通信装置のそれぞれに対して他の通信装置から通信される通信データをグルーピングするグルーピング方法において、通信装置のそれぞれに対応するユーザの、他の通信装置からの通信データのそれぞれに対する注目度に基づいて、通信データのグルーピングを行うグルーピング工程と、このグルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備える。
【０４１５】
したがって、本発明にかかるグルーピング方法は、少なくとも３つの通信装置間で通信を行う場合に適用することにより、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。
【０４１６】
また、本発明にかかるグルーピングプログラムが記録された記録媒体は、少なくとも３つの通信装置を含む通信システム で使用され、通信装置のそれぞれに対して他の通信装置から通信される通信データをグルーピングするコンピュータ制御可能なグルーピングプログラムが記録された記録媒体において、グルーピングプログラムは、通信装置のそれぞれに対応するユーザの、他の通信装置からの通信データのそれぞれに対する注目度に基づいて、通信データのグルーピングを行うグルーピング工程と、このグルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備える。
【０４１７】
したがって、本発明にかかるグルーピングプログラムが記録された記録媒体は、少なくとも３つの通信装置間で通信を行う場合に適用することにより、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することが可能となり、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０４１８】
さらに、本発明にかかる情報処理装置は、情報処理装置と少なくとも３つの通信装置とを有する通信システム における情報処理装置において、通信装置のそれぞれから送信された通信データに対する注目度を受信する受信手段と、注目度に基づいて、通信データのグルーピングを行うグルーピング手段と、このグルーピング手段によるグルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを備える。
【０４１９】
したがって、本発明にかかる情報処理装置は、少なくとも３つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。
【０４２０】
また、この情報処理装置は、受信手段が、注目度の代わりに、通信装置のそれぞれから送信された通信データを受信し、当該情報処理装置は、通信データのそれぞれに対するユーザの注目度を検出する注目度検出手段をさらに備える。
【０４２１】
したがって、この情報処理装置は、少なくとも３つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度を検出することができ、さらに、この注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。
【０４２２】
さらにまた、本発明にかかる情報処理方法は、情報処理装置と少なくとも３つの通信装置とを有する通信システムにおける情報処理方法において、通信装置のそれぞれから送信された通信データに対する注目度を受信する受信工程と、注目度に基づいて、通信データのグルーピングを行うグルーピング工程と、このグルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備える。
【０４２３】
したがって、本発明にかかる情報処理方法は、少なくとも３つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。
【０４２４】
また、本発明にかかる情報処理プログラムが記録された記録媒体は、情報処理装置と少なくとも３つの通信装置とを有する通信システム におけるコンピュータ制御可能な情報処理プログラムが記録された記録媒体において、情報処理プログラムは、通信装置のそれぞれから送信された通信データに対する注目度を受信する受信工程と、注目度に基づいて、通信データのグルーピングを行うグルーピング工程と、このグルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備える。
【０４２５】
したがって、本発明にかかる情報処理プログラムが記録された記録媒体は、少なくとも３つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することが可能となり、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【０４２６】
さらに、本発明にかかる通信装置は、情報処理装置と少なくとも３つの通信装置とを有する通信システム における通信装置において、通信装置からの通信データのそれぞれに対するユーザの反応情報を取得する情報取得手段と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信するとともに、ユーザの反応情報を情報処理装置に送信する通信手段と、グループ情報に基づいて、通信データを加工する加工手段と、この加工手段によって加工された通信データを提示装置に出力する加工データ出力手段とを備える。
【０４２７】
したがって、本発明にかかる通信装置は、少なくとも３つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。
【０４２８】
さらにまた、本発明にかかる通信方法は、情報処理装置と少なくとも３つの通信装置とを有する通信システム における通信方法において、通信装置からの通信データのそれぞれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報を情報処理装置に送信する送信工程と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信する受信工程と、グループ情報に基づいて、通信データを加工する加工工程と、この加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備える。
【０４２９】
したがって、本発明にかかる通信方法は、少なくとも３つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。
【０４３０】
また、本発明にかかる通信プログラムが記録された記録媒体は、情報処理装置と少なくとも３つの通信装置とを有する通信システム におけるコンピュータ制御可能な通信プログラムが記録された記録媒体において、通信プログラムは、通信装置からの通信データのそれぞれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報を情報処理装置に送信する送信工程と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信する受信工程と、グループ情報に基づいて、通信データを加工する加工工程と、この加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備える。
【０４３１】
したがって、本発明にかかる通信プログラムが記録された記録媒体は、少なくとも３つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することが可能となり、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態として示す遠隔会議システムの構成例を示すブロック図である。
【図２】同遠隔会議システムを構成する１つの遠隔会議装置の構成例を示すブロック図である。
【図３】会議参加者の注目する方向と、それに応じて生成されるグループ判定用情報の説明に用いる図であって、会議参加者の向いている方向及びその方向の継続時間を表す情報として期間を検出する様子を上段に示し、検出した期間に対応するモニタ装置を会議参加者が注目していることを示す情報を生成する様子を下段に示す図である。
【図４】会議参加者の注目する方向及びスイッチ押下情報と、それに応じて生成されるグループ判定用情報の説明に用いる図であって、会議参加者の向いている方向及びその方向の継続時間を表す情報として期間を検出する様子を上段に示し、検出した各期間について、会議参加者がスイッチを押下することによって得られる信号の様子を中段に示し、スイッチ押下信号が「ＯＮ」信号となっている期間に対応するモニタ装置を会議参加者が注目していることを示す情報を生成する様子を下段に示す図である。
【図５】同遠隔会議システムを構成するサーバの構成例を示すブロック図である。
【図６】初期状態の注目先表を示す図である。
【図７】初期状態のグループ表を示す図である。
【図８】通信開始時における注目先表及びグループ表の初期化処理の流れを示すフローチャートである。
【図９】グループ判定用情報発生時の処理の流れを示すフローチャートである。
【図１０】グループ判定用情報を反映させたときの注目先表を示す図である。
【図１１】注目先表の内容をグループ表へ反映させる処理の流れを示すフローチャートである。
【図１２】会議参加者ＨＭ１について図１１のフローチャートのステップＳ５２の処理が終了したときのグループ表を示す図である。
【図１３】会議参加者ＨＭ１について図１１のフローチャートのステップＳ５２の処理が終了したときの注目先表を示す図である。
【図１４】会議参加者ＨＭ１について図１１のフローチャートのステップＳ５８の処理が終了したときのグループ表を示す図である。
【図１５】会議参加者ＨＭ１について図１１のフローチャートのステップＳ５８の処理が終了したときの注目先表を示す図である。
【図１６】会議参加者ＨＭ２について図１１のフローチャートのステップＳ５２の処理が終了したときのグループ表を示す図である。
【図１７】会議参加者ＨＭ２について図１１のフローチャートのステップＳ５２の処理が終了したときの注目先表を示す図である。
【図１８】会議参加者ＨＭ３について図１１のフローチャートのステップＳ５８の処理が終了したときのグループ表を示す図である。
【図１９】会議参加者ＨＭ３について図１１のフローチャートのステップＳ５８の処理が終了したときの注目先表を示す図である。
【図２０】会議参加者ＨＭ４について図１１のフローチャートのステップＳ５２の処理が終了したときのグループ表を示す図である。
【図２１】会議参加者ＨＭ４について図１１のフローチャートのステップＳ５２の処理が終了したときの注目先表を示す図である。
【図２２】会議参加者ＨＭ４について図１１のフローチャートのステップＳ５７の処理が終了したときのグループ表を示す図である。
【図２３】会議参加者ＨＭ４について図１１のフローチャートのステップＳ５７の処理が終了したときの注目先表を示す図である。
【図２４】会議参加者ＨＭ５について図１１のフローチャートのステップＳ５６の処理が終了したときのグループ表を示す図である。
【図２５】会議参加者ＨＭ５について図１１のフローチャートのステップＳ５６の処理が終了したときの注目先表を示す図である。
【図２６】音声の情報加工を行う情報加工部の具体的構成例を示すブロック図である。
【図２７】音質制御を行う場合の音声加工器の具体的構成例を示すブロック図である。
【図２８】音質制御を行う場合の音声加工器への入力音声信号の周波数特性を示す図である。
【図２９】音質制御を行う場合の音声加工器の周波数制御特性を示す図である。
【図３０】音質制御を行う場合の音声加工器からの出力音声信号の周波数特性を示す図である。
【図３１】画像の情報加工を行う情報加工部の具体的構成例を示すブロック図である。
【図３２】画質制御を行う場合の画像加工器の具体的構成例を示すブロック図である。
【図３３】画像及び音声の情報加工を行う情報加工部の具体的構成例を示すブロック図である。
【図３４】視線検出処理の流れを示すフローチャートである。
【図３５】目の両端位置検出の説明に用いる図である。
【図３６】鼻孔の位置検出範囲の説明に用いる図である。
【図３７】目の両端位置、鼻孔位置、眼球中心位置の説明に用いる図である。
【図３８】視線の方向検出の説明に用いる図である。
【図３９】特定の画素集合の２次モーメントを最小にする線の求め方の説明に用いる図である。
【図４０】顔向き検出処理の流れを示すフローチャートである。
【図４１】顔向き検出の際の原画像を示す図である。
【図４２】顔向き検出の際の他の原画像を示す図である。
【図４３】顔向き検出の際の髪領域と肌領域の説明に用いる図である。
【図４４】顔向き検出の際の他の髪領域と肌領域の説明に用いる図である。
【図４５】髪領域と肌領域の重心の説明に用いる図である。
【図４６】他の髪領域と肌領域の重心の説明に用いる図である。
【図４７】顔向き検出の際の差分値と角度の関係例を示す図である。
【図４８】具体例のモニタ装置を側面側から見た概略的な透視図である。
【図４９】具体例のモニタ装置の概略的な正面図である。
【図５０】同遠隔会議システムにおける各遠隔会議装置の信号処理装置やサーバを実現する実際の装置構成例を示すブロック構成図である。
【図５１】遠隔会議装置の他の例として、スクリーン上に会議参加者の画像を表示し、スピーカによる音像を定位させる場合の概略構成を示す図である。
【図５２】遠隔会議装置の他の例として、スクリーン上に会議参加者の画像を表示し、２人の会議参加者を同席可能にした場合の概略構成を示す図である。
【図５３】遠隔会議装置の他の例として、スクリーン上に会議参加者の画像を表示し、２人の会議参加者を同席可能とするとともに、ヘッドホンによって音像を定位させる場合の概略構成を示す図である。
【図５４】遠隔会議装置の他の例として、会議参加者の音声のみを通信するようにした場合の概略構成を示す図である。
【図５５】本発明の第２の実施の形態として示す遠隔会議システムの構成例を示すブロック図である。
【図５６】同遠隔会議システムを構成する１つの遠隔会議装置の構成例を示すブロック図である。
【図５７】本発明の第３の実施の形態として示す遠隔会議システムを構成する１つの遠隔会議装置の構成例を示すブロック図であって、グルーピング装置として機能する遠隔会議装置の構成例を示すブロック図である。
【図５８】同遠隔会議システムを構成する１つの遠隔会議装置の構成例を示すブロック図であって、グルーピング装置として機能しない遠隔会議装置の構成例を示すブロック図である。
【図５９】本発明の第４の実施の形態として示す遠隔会議システムを構成する１つの遠隔会議装置の構成例を示すブロック図である。
【図６０】同遠隔会議システムを構成するサーバの構成例を示すブロック図である。
【図６１】本発明の第５の実施の形態として示す遠隔会議システムの構成例を示すブロック図である。
【図６２】同遠隔会議システムを構成するサーバの構成例を示すブロック図であって、グルーピング装置として機能するサーバの構成例を示すブロック図である。
【図６３】同遠隔会議システムを構成するサーバの構成例を示すブロック図であって、加工装置として機能するサーバの構成例を示すブロック図である。
【図６４】本発明の第６の実施の形態として示す遠隔会議システムを構成する１つの遠隔会議装置の構成例を示すブロック図である。
【図６５】同遠隔会議システムを構成するサーバの構成例を示すブロック図である。
【図６６】本発明の第７の実施の形態として示す遠隔会議システムを構成するサーバの構成例を示すブロック図であって、注目度検出装置として機能するサーバの構成例を示すブロック図である。
【図６７】同遠隔会議システムを構成するサーバの構成例を示すブロック図であって、グルーピング装置として機能するサーバの構成例を示すブロック図である。
【図６８】本発明の第８の実施の形態として示す遠隔会議システムを構成する１つの遠隔会議装置の構成例を示すブロック図である。
【図６９】同遠隔会議システムを構成するサーバの構成例を示すブロック図である。
【図７０】本発明の第９の実施の形態として示す遠隔会議システムを構成するサーバの構成例を示すブロック図であって、注目度検出装置及びグルーピング装置として機能するサーバの構成例を示すブロック図である。
【図７１】同遠隔会議システムを構成するサーバの構成例を示すブロック図であって、加工装置として機能するサーバの構成例を示すブロック図である。
【図７２】本発明の第１０の実施の形態として示す遠隔会議システムを構成するサーバの構成例を示すブロック図であって、注目度検出装置として機能するサーバの構成例を示すブロック図である。
【図７３】同遠隔会議システムを構成するサーバの構成例を示すブロック図であって、グルーピング装置及び加工装置として機能するサーバの構成例を示すブロック図である。
【図７４】は、本発明の第１１の実施の形態として示す遠隔会議システムの構成例を示すブロック図である。
【図７５】同遠隔会議システムを構成するサーバの構成例を示すブロック図であって、注目度検出装置として機能するサーバの構成例を示すブロック図である。
【図７６】同遠隔会議システムを構成するサーバの構成例を示すブロック図であって、グルーピング装置として機能するサーバの構成例を示すブロック図である。
【図７７】同遠隔会議システムを構成するサーバの構成例を示すブロック図であって、加工装置として機能するサーバの構成例を示すブロック図である。
【図１】
0004487467.tif 000004
【図２】
0004487467.tif 000005
【図３】
0004487467.tif 000006
【図４】
0004487467.tif 000007
【図５】
0004487467.tif 000008
【図６】
0004487467.tif 000009
【図７】
0004487467.tif 000010
【図８】
0004487467.tif 000011
【図９】
0004487467.tif 000012
【図１０】
0004487467.tif 000013
【図１１】
0004487467.tif 000014
【図１２】
0004487467.tif 000015
【図１３】
0004487467.tif 000016
【図１４】
0004487467.tif 000017
【図１５】
0004487467.tif 000018
【図１６】
0004487467.tif 000019
【図１７】
0004487467.tif 000020
【図１８】
0004487467.tif 000021
【図１９】
0004487467.tif 000022
【図２０】
0004487467.tif 000023
【図２１】
0004487467.tif 000024
【図２２】
0004487467.tif 000025
【図２３】
0004487467.tif 000026
【図２４】
0004487467.tif 000027
【図２５】
0004487467.tif 000028
【図２６】
0004487467.tif 000029
【図２７】
0004487467.tif 000030
【図２８】
0004487467.tif 000031
【図２９】
0004487467.tif 000032
【図３０】
0004487467.tif 000033
【図３１】
0004487467.tif 000034
【図３２】
0004487467.tif 000035
【図３３】
0004487467.tif 000036
【図３４】
0004487467.tif 000037
【図３５】
0004487467.tif 000038
【図３６】
0004487467.tif 000039
【図３７】
0004487467.tif 000040
【図３８】
0004487467.tif 000041
【図３９】
0004487467.tif 000042
【図４０】
0004487467.tif 000043
【図４１】
0004487467.tif 000044
【図４２】
0004487467.tif 000045
【図４３】
0004487467.tif 000046
【図４４】
0004487467.tif 000047
【図４５】
0004487467.tif 000048
【図４６】
0004487467.tif 000049
【図４７】
0004487467.tif 000050
【図４８】
0004487467.tif 000051
【図４９】
0004487467.tif 000052
【図５０】
0004487467.tif 000053
【図５１】
0004487467.tif 000054
【図５２】
0004487467.tif 000055
【図５３】
0004487467.tif 000056
【図５４】
0004487467.tif 000057
【図５５】
0004487467.tif 000058
【図５６】
0004487467.tif 000059
【図５７】
0004487467.tif 000060
【図５８】
0004487467.tif 000061
【図５９】
0004487467.tif 000062
【図６０】
0004487467.tif 000063
【図６１】
0004487467.tif 000064
【図６２】
0004487467.tif 000065
【図６３】
0004487467.tif 000066
【図６４】
0004487467.tif 000067
【図６５】
0004487467.tif 000068
【図６６】
0004487467.tif 000069
【図６７】
0004487467.tif 000070
【図６８】
0004487467.tif 000071
【図６９】
0004487467.tif 000072
【図７０】
0004487467.tif 000073
【図７１】
0004487467.tif 000074
【図７２】
0004487467.tif 000075
【図７３】
0004487467.tif 000076
【図７４】
0004487467.tif 000077
【図７５】
0004487467.tif 000078
【図７６】
0004487467.tif 000079
【図７７】
0004487467.tif 000080