(57)【特許請求の範囲】
【請求項１】
他の情報処理装置とネットワークを介してデータの授受を行う情報処理装置において、
被写体の画像を撮像する撮像手段と、
前記被写体が発した音声を取り込む取り込み手段と、
前記被写体の角度を検出する検出手段と、
前記撮像手段により撮像された画像、前記取り込み手段により取り込まれた音声、および前記検出手段により検出された角度の、それぞれのデータを前記他の情報処理装置に送信する送信手段と、
前記他の情報処理装置から送信された他の被写体を撮像した画像の画像データ、前記他の被写体が発した音声の音声データ、および前記他の被写体が向いている方向を示す角度データを受信する受信手段と、
前記受信手段により受信された角度データが示す角度が、所定の条件を満たすか否かを判断することで、前記他の被写体が前記被写体の方向に向いていないと判断された場合、前記受信手段で受信された画像データに基づく画像の解像度を落として表示するための制御、または前記受信手段で受信された音声データに基づく音声の音量レベルを小さくして出力するための制御のうち、少なくとも一方を行う制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
他の情報処理装置とネットワークを介してデータの授受を行う情報処理装置の情報処理方法において、
被写体の画像を撮像する撮像ステップと、
前記被写体が発した音声を取り込む取り込みステップと、
前記被写体の角度を検出する検出ステップと、
前記撮像ステップで撮像された画像、前記取り込みステップで取り込まれた音声、および前記検出ステップで検出された角度の、それぞれのデータを前記他の情報処理装置に送信する送信ステップと、
前記他の情報処理装置から送信された他の被写体を撮像した画像の画像データ、前記他の被写体が発した音声の音声データ、および前記他の被写体が向いている方向を示す角度データを受信する受信ステップと、
前記受信ステップで受信された角度データが示す角度が、所定の条件を満たすか否かを判断することで、前記他の被写体が前記被写体の方向に向いていないと判断された場合、前記受信ステップの処理で受信された画像データに基づく画像の解像度を落として表示するための制御、または前記受信ステップの処理で受信された音声データに基づく音声の音量レベルを小さくして出力するための制御のうち、少なくとも一方を行う制御ステップと
を含むことを特徴とする情報処理方法。
【請求項３】
他の情報処理装置とネットワークを介してデータの授受を行う情報処理装置に、
被写体の画像を撮像する撮像ステップと、
前記被写体が発した音声を取り込む取り込みステップと、
前記被写体の角度を検出する検出ステップと、
前記撮像ステップで撮像された画像、前記取り込みステップで取り込まれた音声、および前記検出ステップで検出された角度の、それぞれのデータを前記他の情報処理装置に送信する送信ステップと、
前記他の情報処理装置から送信された他の被写体を撮像した画像の画像データ、前記他の被写体が発した音声の音声データ、および前記他の被写体が向いている方向を示す角度データを受信する受信ステップと、
前記受信ステップで受信された角度データが示す角度が、所定の条件を満たすか否かを判断することで、前記他の被写体が前記被写体の方向に向いていないと判断された場合、前記受信ステップの処理で受信された画像データに基づく画像の解像度を落として表示するための制御、または前記受信ステップの処理で受信された音声データに基づく音声の音量レベルを小さくして出力するための制御のうち、少なくとも一方を行う制御ステップと
を含む処理を実行させるコンピュータが読み取り可能なプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は情報処理装置および方法、並びに記録媒体に関し、特に、テレビ会議システムに参加している参加者の向いている方向を検出し、その検出された方向に従って、各会議室に設置されているスピーカから出力される音量や、ディスプレイに表示される画像を制御することにより、自分に注目している他の参加者を認識させるようにする情報処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
複数の会議室をネットワークを用いて接続し、あたかも１つのテーブルを囲んで会議しているような遠隔会議システムが提案されている。このようなシステムにおける各会議室には、自分（参加者Ａと称する）以外の参加者の映像を映し出すディスプレイと、そのディスプレイに映し出されている参加者の発言を出力するスピーカが備え付けられている。ディスプレイとスピーカは、参加者Ａを除いた参加人数と同じ数だけ設置される。
【０００３】
また、各会議室には、その会議室にいる参加者を撮像するためのビデオカメラと、音声を取り込む為のマイクロホンも備え付けられている。そのビデオカメラやマイクロホンは、各会議室に備え付けられているディスプレイの近傍（主に上部）に設置されている。ビデオカメラにより撮像された参加者Ａの映像や、マイクロホンにより取り込まれた音声は、各会場に備え付けられた、参加者Ａに対応するディスプレイとスピーカに出力される。
【０００４】
【発明が解決しようとする課題】
上述した会議室の構成において、複数の参加者が同時に発言したとき、その発言は、それぞれの参加者に対応するスピーカから出力される。その結果、注目している参加者の発言を聞き取りづらくなってしまう課題があった。
【０００５】
また、上述した会議室の構成では、ディスプレイの映像は、差異なく表示されているので、自分の発言に注目している参加者や、自分に対して話しかけている参加者とを区別することができず、自分に注目している参加者を認識することは困難であった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、参加者の向いている方向を検出し、その検出された方向に従って、スピーカから出力される音量やディスプレイに表示される画像を制御することにより、自分に注目している参加者を認識させるようにするものである。
【００１０】
【課題を解決するための手段】
本発明の情報処理装置は、被写体の画像を撮像する撮像手段と、被写体が発した音声を取り込む取り込み手段と、被写体の角度を検出する検出手段と、撮像手段により撮像された画像、取り込み手段により取り込まれた音声、および検出手段により検出された角度の、それぞれのデータを他の情報処理装置に送信する送信手段と、他の情報処理装置から送信された他の被写体を撮像した画像の画像データ、他の被写体が発した音声の音声データ、および他の被写体が向いている方向を示す角度データを受信する受信手段と、受信手段により受信された角度データが示す角度が、所定の条件を満たすか否かを判断することで、他の被写体が被写体の方向に向いていないと判断された場合、受信手段で受信された画像データに基づく画像の解像度を落として表示するための制御、または受信手段で受信された音声データに基づく音声の音量レベルを小さくして出力するための制御のうち、少なくとも一方を行う制御手段とを備えることを特徴とする。
【００１１】
本発明の情報処理方法は、被写体の画像を撮像する撮像ステップと、被写体が発した音声を取り込む取り込みステップと、被写体の角度を検出する検出ステップと、撮像ステップで撮像された画像、取り込みステップで取り込まれた音声、および検出ステップで検出された角度の、それぞれのデータを他の情報処理装置に送信する送信ステップと、他の情報処理装置から送信された他の被写体を撮像した画像の画像データ、他の被写体が発した音声の音声データ、および他の被写体が向いている方向を示す角度データを受信する受信ステップと、受信ステップで受信された角度データが示す角度が、所定の条件を満たすか否かを判断することで、他の被写体が被写体の方向に向いていないと判断された場合、受信ステップの処理で受信された画像データに基づく画像の解像度を落として表示するための制御、または受信ステップの処理で受信された音声データに基づく音声の音量レベルを小さくして出力するための制御のうち、少なくとも一方を行う制御ステップとを含むことを特徴とする。
【００１２】
本発明の記録媒体は、情報処理装置に、被写体の画像を撮像する撮像ステップと、被写体が発した音声を取り込む取り込みステップと、被写体の角度を検出する検出ステップと、撮像ステップで撮像された画像、取り込みステップで取り込まれた音声、および検出ステップで検出された角度の、それぞれのデータを他の情報処理装置に送信する送信ステップと、他の情報処理装置から送信された他の被写体を撮像した画像の画像データ、他の被写体が発した音声の音声データ、および他の被写体が向いている方向を示す角度データを受信する受信ステップと、受信ステップで受信された角度データが示す角度が、所定の条件を満たすか否かを判断することで、他の被写体が被写体の方向に向いていないと判断された場合、受信ステップの処理で受信された画像データに基づく画像の解像度を落として表示するための制御、または受信ステップの処理で受信された音声データに基づく音声の音量レベルを小さくして出力するための制御のうち、少なくとも一方を行う制御ステップとを含む処理を実行させるコンピュータが読みとり可能なプログラムを記録したことを特徴とする。
【００１４】
本発明の情報処理装置および方法、並びに記録媒体においては、被写体の画像が撮像され、被写体が発した音声が取り込まれ、被写体の角度が検出され、撮像された画像、取り込まれた音声、および検出された角度の、それぞれのデータが他の情報処理装置に送信され、他の情報処理装置から送信された他の被写体を撮像した画像の画像データ、他の被写体が発した音声の音声データ、および他の被写体が向いている方向を示す角度データが受信され、受信された角度データが示す角度が、所定の条件を満たすか否かが判断されることで、他の被写体が被写体の方向に向いていないと判断された場合、受信された画像データに基づく画像の解像度を落として表示するための制御、または受信された音声データに基づく音声の音量レベルを小さくして出力するための制御のうち、少なくとも一方が行われる。
【００１５】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。また、従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１７】
請求項１に記載の情報処理装置は、被写体の画像を撮像する撮像手段（例えば、図９の正面ビデオカメラ３１−２１）と、被写体が発した音声を取り込む取り込み手段（例えば、図９のマイクロホン３２）と、被写体の角度を検出する検出手段（例えば、図１０のステップＳ２２）と、撮像手段により撮像された画像、取り込み手段により取り込まれた音声、および検出手段により検出された角度の、それぞれのデータを他の情報処理装置に送信する送信手段（例えば、図１０のステップＳ２３）と、他の情報処理装置から送信された他の被写体を撮像した画像の画像データ、他の被写体が発した音声の音声データ、および他の被写体が向いている方向を示す角度データを受信する受信手段（例えば、図９の送受信装置４２）と、受信手段により受信された角度データが示す角度が、所定の条件を満たすか否かを判断することで、他の被写体が前記被写体の方向に向いていないと判断された場合、受信手段で受信された画像データに基づく画像の解像度を落として表示するための制御、または受信手段で受信された音声データに基づく音声の音量レベルを小さくして出力するための制御のうち、少なくとも一方を行う制御手段（例えば、図１１のステップＳ３３，Ｓ３４）とを備えることを特徴とする。
【００１８】
図１は、本発明の情報処理装置を適用したテレビ会議システムの構成を示している。なお、本明細書において、システムとは、複数の装置で構成される全体的な装置を表すものとする。図１に示されるように、複数（この実施の形態の場合、４つ）の通信センタ１−１乃至１ー４が、例えば、ISDN（Integrated Service Digital Network）などのネットワーク２を介して相互に接続されている。また、各通信センタは、例えば、図２に示すような１つの会議室を備えている。
【００１９】
図２に示す会議室においては、１つのテーブル１０、１つの椅子及び３台のディスプレイ装置が設けられている。例えば、通信センタ１−４の会議室においては、図２に示される番号４の位置に椅子が配置されており、番号１乃至３の位置にディスプレイ装置が配置されている。また、通信センタ１−３の会議室においては、図２に示される番号３の位置に椅子が配置されており、番号１，２、および４の位置にディスプレイ装置が配置されている。また、通信センタ１−２の会議室においては、図２に示される番号２の位置に椅子が配置されており、番号１，３、および４の位置にディスプレイ装置が配置されている。さらに、通信センタ１−１の会議室においては、図２に示される番号１の位置に椅子が配置されており、番号２乃至４の位置にディスプレイ装置が配置される。
【００２０】
また、通信センタ１−４の会議室に配置されたディスプレイ装置において、図２に示される番号１の位置に配置されたディスプレイ装置には、通信センタ１−１の参加者を撮影した画像が表示され、番号２の位置に配置されたディスプレイ装置には、通信センタ１−２の参加者を撮影した画像が表示され、番号３の位置に配置されたディスプレイ装置には、通信センタ１−３の参加者を撮影した画像が表示されるようになされている。他の通信センタも同様に、参加者が座る椅子以外の位置に配置されたディスプレイ装置には、対応する通信センタの参加者を撮影した映像が表示されることになる。
【００２１】
このように、それぞれの通信センタの会議室には、その通信センタの特定の位置に参加者が座るための椅子が配置されており、その他は、他の通信センタの参加者を表示するディスプレイ装置が配置されることになる。したがって、このように、会議室を構成することにより、どの通信センタの会議室においても、参加者の配置が同一の位置となる。すなわち、あたかも、テーブル１０を中心にして、４人の参加者が、実際に特定の位置に配置されたような状態となる。ただし、各通信センタの会議室において、実在する参加者自身以外は、全てディスプレイ表示による参加者になるが、どの会議室においても、同様の会議状態が実現されていることになる。
【００２２】
次に、各通信センタの詳細について、図３を用いて説明する。なお、各通信センタとも、ディスプレイ装置の配置状態は多少異なるが、ほぼ同一の構成であるため、ここでは、通信センタ１−４についてのみ説明し、他の通信センタ１−１乃至１−３の説明は省略する。
【００２３】
まず、通信センタ１−４の会議室には、図２に示したように、番号４の位置に椅子が配置されており、番号１乃至３の位置にディスプレイ装置がそれぞれ配置されている。従って、図３に示される参加者２４は、図２の番号４の位置に配置されている椅子に座ることになる。また、各ディスプレイ装置２１乃至２３には、参加者２４の映像を取り込むために、参加者２４の左側に設置されている左側面ビデオカメラ３１−２２、参加者２４の正面に設置されている正面ビデオカメラ３１−２１、および参加者２４の右側に設置されている右側面ビデオカメラ３１−２３が設けられている。さらに、その参加者２４の発言を取り込むマイクロホン３２−２１乃至３２−２３（以下、マイクロホン３２−２１乃至３２−２３を個々に区別する必要がない場合、単にマイクロホン３２と記述する。その他の装置に付いても同様に記述する）、他の通信センタからそれぞれ供給される音声を出力するスピーカ部３３−２１乃至３３−２３、およびその音声に対応する画像を表示するディスプレイ部３４−２１乃至３４−２３が設けられている。
【００２４】
スピーカ部３３−２１乃至３３−２３とディスプレイ部３４−２１乃至３４−２３は、通信センタ１−１乃至１−３から送信されてきた画像とその画像に対応する音声をそれぞれ出力するようになされている。すなわち、例えば、ディスプレイ装置２１のディスプレイ部３４−２１には、通信センタ１−１の参加者の画像が表示され、スピーカ部３３−２１からは、その参加者の発言が出力されるようになされている。また、ディスプレイ装置２２のディスプレイ部３４−２２には、通信センタ１−２の参加者の画像が表示され、スピーカ部３３−２２からは、その参加者の発言が出力されるようになされている。さらに、ディスプレイ装置２３のディスプレイ部３４−２３には、通信センタ１−３の参加者の画像が表示され、スピーカ部３３−２３からは、その参加者の発言が出力されるようになされている。
【００２５】
また、ディスプレイ装置２１に配置されている正面ビデオカメラ３１−２１は、通信センタ１−４の参加者２４を撮影し、マイクロホン３２−２１は、その参加者２４の発言を取り込み、その参加者２４の画像と発言が、通信センタ１−１に供給される。また、ディスプレイ装置２２に設置されている左側面ビデオカメラ３１−２２は、通信センタ１−４の参加者２４を撮影し、マイクロホン３２−２２は、その参加者２４の発言を取り込み、その参加者２４の画像と発言が、通信センタ１−２に供給される。さらに、ディスプレイ装置２３に設置されているビデオカメラ３１−２３は、通信センタ１−４の参加者２４を撮影し、マイクロホン３２−２３は、その参加者２４の発言を取り込み、その参加者２４の画像と発言が、通信センタ１−３に供給される。
【００２６】
そして、図３に示すように、ディスプレイ装置２１乃至２３は、参加者２４が各ディスプレイ装置２１乃至２３のディスプレイ部３４−２１乃至３４−２３を見ることができるように、図２に示された所定の位置に配置されている。
【００２７】
このような構成をもつ会議室において、参加者２４が注目している参加者を検出し、その参加者に対応するディスプレイ装置２１乃至２３のスピーカ部３３から出力される発言、または、ディスプレイ部３４に映し出される映像を強調する方法について説明する。まず、発言を強調する場合を説明する。
【００２８】
図４は、参加者２４が注目している参加者を判断し、換言すれば、見ているディスプレイ装置２１乃至２３を判断し、その参加者の発言を強調するための処理を行うのに必要な装置を示したブロック図である。参加者２４は、例えば頭部に、参加者２４の向いている方向（角度）を検出するための角度検出装置４１を装着する。この角度検出装置４１は、例えば、磁気センサ、ジャイロ、角速度センサなどから構成され、参加者２４の水平方向の顔の向きを検出する。
【００２９】
演算装置４２は、スピーカ部３３−２１乃至３３−２３と、それぞれ接続されており、角度検出装置４１により検出された参加者２４の顔の向きを基に、送受信装置４３により受信された音声データが、各スピーカ部３３から出力される際の音量を制御するようになされている。具体的には、参加者２４が向いていると判断されたスピーカ部３３の音量を、他のスピーカ部３３よりも大きくする、または逆に、他のスピーカ部３３の音量を参加者２４が向いていると判断されたスピーカ部３３の音量よりも小さくする。または、周波数を変化することにより、参加者２４の顔の向きに応じて聞こえる音質を変化させるようにしても良い。すなわち、正面から聞こえてくる音以外の音は、壁などに反射した後に聞こえてくる音であるから、その壁の質にもよるが、一般的には、高い帯域の音声信号は減衰して聞こえる。このことを考慮し、参加者２４が向いている方に存在するスピーカ部３３以外のスピーカ部３３から出力される音は、高い帯域の音声信号が減衰された音として出力されるようにしても良い。。
【００３０】
ここでは、参加者２４が向いていると判断されたスピーカ部３３の音量を大きくすることにより、他のスピーカ部３３から出力される音と区別が付くようにする場合を例に挙げて説明する。
【００３１】
ここで、正面ビデオカメラ３１−２１、左側面ビデオカメラ３１−２２、および右側面ビデオカメラ３１−２３の配置について、図５を参照して説明する。角度ｄＩ1，ｄＩ2，ｄＩ3は、それぞれ正面ビデオカメラ３１−２１、左側面ビデオカメラ３１−２２、右側面ビデオカメラ３１−２３の角度を表している。ここでは、正面ビデオカメラ３１−２１の角度ｄＩ1を０度とする。そして、左側面ビデオカメラ３１−２２と、正面ビデオカメラ３１−２１との角度ｄＩ2をマイナス４５度とし、ビデオカメラ３１−２３と、正面ビデオカメラ３１−２１との角度ｄＩ3を４５度とする。そして、角度検出装置４１で検出される参加者２４の角度ｄＩ1に対しての角度を、角度ｄ（−４５度乃至４５度）とする。
【００３２】
角度Ｔｈ2と角度Ｔｈ3は、それぞれ、角度ｄＩ1となす所定の大きさの角度である。この角度は、参加者２４が、どのビデオカメラ３１に向いているのかを決定する際の閾値として用いられる。
【００３３】
図６は、演算装置４２の動作を説明するフローチャートである。ステップＳ１において、ユーザは、正面ビデオカメラ３１−２１に向かって座り、その時の角度検出装置４１で検出された角度を、演算装置４２は、初期値０度（角度ｄＩ1）として設定する。初期値が設定されたら、ステップＳ２に進み、角度検出装置４１での、参加者２４の顔の向きの検出が開始される。
【００３４】
ステップＳ３において、演算装置４２は、角度検出装置４１で検出された角度ｄが閾値である角度Ｔｈ2よりも小さいか否かが判断される。角度ｄが角度Ｔｈ2よりも小さいと判断された場合、参加者２４は、左側面ビデオカメラ３１−２２の方に向いていると判断され、ステップＳ４において、演算装置４２は、スピーカ部３３−２２から出力される音量を、スピーカ部３３−２１とスピーカ部３３−２３よりも大きな音量で出力されるように制御する。
【００３５】
一方、ステップＳ３において、角度ｄが角度Ｔｈ2と等しいか、それよりも大きいと判断された場合、ステップＳ５に進み、角度ｄが角度Ｔｈ3よりも大きいか否かが判断される。角度ｄが角度Ｔｈ3よりも大きいと判断された場合、参加者２４は、右側面ビデオカメラ３１−２３の方に向いていると判断され、ステップＳ６において、演算装置４２は、スピーカ部３３−２３から出力される音量を、スピーカ部３３−２１とスピーカ部３３−２２よりも大きな音量で出力されるように制御する。
【００３６】
ステップＳ５において、角度ｄが角度Ｔｈ3と等しいか、それよりも小さいと判断された場合、換言すれば、角度ｄが、角度Ｔｈ2≦角度ｄ≦角度Ｔｈ3の関係にあると判断された場合、参加者２４は、正面ビデオカメラ３１−２１の方に向いていると判断され、ステップＳ７において、演算装置４２は、スピーカ部３３−２１から出力される音量を、スピーカ部３３−２２とスピーカ部３３−２３よりも大きな音量で出力されるように制御する。
【００３７】
ステップＳ２乃至ステップＳ７の処理が、会議中繰り返されることにより、スピーカ部３３から出力される音量が、参加者２４の向いている方向に対応して制御される。このフローチャートの処理は、会議が終了した時点で、割り込み処理として終了される。
【００３８】
図７は、角度検出装置４２により検出された参加者２４の顔の向きにより、ディスプレイ部３４に映し出される映像を制御する場合の構成例を示すブロック図である。この構成においては、送受信装置４３で受信された画像データが、演算装置４２を介して、それぞれ対応するディスプレイ部３４−２１乃至３４−２３に供給される。
【００３９】
図７に示した演算装置４２の動作について、図８のフローチャートを参照して説明するが、ステップＳ１１乃至Ｓ１３、およびステップＳ１５の処理は、図６のステップＳ１乃至Ｓ３、およびステップＳ５の処理と同様の処理なので、その説明は省略する。
【００４０】
ステップＳ１３において、角度Ｔｈ2よりも角度ｄの方が小さいと判断された場合、換言すれば、ディスプレイ部３４−２２に映し出されている参加者の方を向いていると判断された場合、ステップＳ１４に進む。ステップＳ１４において、演算装置４２は、ディスプレイ部３４−２２に映し出された映像が、他のディスプレイ部３４−２１とディスプレイ部３４−２３に映し出されている映像よりも強調されるように制御する。具体的には、ディスプレイ部３４−２１とディスプレイ部３４−２３に映し出される映像の輝度を下げる、解像度を下げるなどの処理が行われる。
【００４１】
ステップＳ１５において、角度Ｔｈ3よりも角度ｄの方が大きいと判断された場合、換言すれば、ディスプレイ部３４−２３に映し出されている参加者の方を向いていると判断された場合、ステップＳ１６に進み、ディスプレイ部３４−２３に映し出された映像が、他のディスプレイ部３４−２１とディスプレイ部３４−２２に映し出されている映像よりも強調されるように制御される。また、ステップＳ１５において、角度Ｔｈ3よりも角度ｄの方が小さいと判断された場合、換言すれば、ディスプレイ部３４−２１の方を向いていると判断された場合、ステップＳ１７に進み、ディスプレイ部３４−２１に映し出された映像が、他のディスプレイ部３４−２２とディスプレイ部３４−２３に映し出されている映像よりも強調されるように制御される。
【００４２】
上述した説明においては、音声または映像のうち、一方を制御するようにしたが、両方とも制御するようにしてもよい。また、上述した説明では、参加者２４の会議室に備え付けられているスピーカ部３３やディスプレイ部３４を制御するようにしたが、換言すれば、送受信装置４３で受信されたデータを制御していたが、送信するデータを制御することにより同様の効果を得ることも可能である。以下に、送信するデータを制御する場合を、図９を参照して説明する。
【００４３】
図９においては、演算装置４２に正面ビデオカメラ３１−２１、左側面ビデオカメラ３１−２２、右側面ビデオカメラ３１−２３、およびマイクロホン３２が接続されている。マイクロホン３２は、図３においては、ディスプレイ装置２１乃至２３毎に設置されていたが、以下の実施の形態においては、１本のマイクロホン３２が、参加者２４の前に設置されているとして説明する。また、マイクロホン３２は、参加者２４の耳から装着できるタイプにすると、参加者２４とマイクロホン３２が常に一定の位置関係に保てるので、マイクロホン３２を机の上などに固定しておくよりも良い。さらに、そのようなマイクロホン３２を用いる場合、そのマイクロホン３２の一部に、例えば、耳にかける枝の部分に角度検出装置４１を装着することにより、頭上に付けるよりも目立たずに、角度を検出することが可能となる。
【００４４】
図９に示した演算装置４２の動作について、図１０のフローチャートを参照して説明する。ステップＳ２１において、図６のステップＳ１で説明した場合と同様に、角度検出装置４１の初期化が行われる。ステップＳ２２において、初期化された角度を基準に、角度検出装置４１により角度検出が開始される。そして、ステップＳ２３において、検出された角度は、演算装置４２により、各ビデオカメラ３１で撮像された画像と、マイクロホン３２で取り込まれた音声とともに、送受信装置４３に出力され、対応する会議室（通信センタ１−１乃至１−３）に送信される。
【００４５】
図１１のフローチャートを参照して、演算装置４２が、他の通信センタから送信されたデータを受信した際の動作を説明する。ステップＳ３１において、送受信装置４３で受信されたデータは、通信センタ１−１から送信されたデータであるか否かが判断される。通信センタ１−１から送信されたデータであると判断された場合、ステップＳ３２に進む。ステップＳ３２において、受信された角度情報の角度ｄが、角度Ｔｈ2以上、角度Ｔｈ3以下であるか否かが判断される。角度ｄが角度Ｔｈ2≦角度ｄ≦角度Ｔｈ3の関係にあると判断された場合、換言すれば、通信センタ１−１の参加者が参加者２４が映し出されているディスプレイ装置の方を向いていると判断された場合、ステップＳ３３に進み、演算装置４２は、受信された画像データを、ディスプレイ部３４−２１に、解像度等に処理を加えないで出力する。
【００４６】
一方、ステップＳ３２において、角度Ｔｈ2≦角度ｄ≦角度Ｔｈ3の関係ではないと判断された場合、ステップＳ３４に進む。ステップＳ３４において、演算装置４２は、受信された画像データを、解像度が落とされて表示されるように処理し、ディスプレイ部３４−２１に出力する。
【００４７】
ステップＳ３１において、受信されたデータが通信センタ１−１から送信されたデータではないと判断された場合、ステップＳ３５に進み、通信センタ１−２から送信されたデータであるか否かが判断される。受信されたデータが通信センタ１−２から送信されたデータであると判断された場合、ステップＳ３６に進む。ステップＳ３６において、受信された角度情報の角度ｄが、角度ｄ＞角度Ｔｈ3の関係にあるか否かが判断される。角度ｄが、角度ｄ＞角度Ｔｈ3の関係にあると判断された場合、換言すれば、通信センタ１−２の参加者が参加者２４が映し出されているディスプレイ装置の方を向いていると判断された場合、ステップＳ３３に進み、演算装置４２は、受信された画像データを、ディスプレイ部３４−２２に、解像度等に処理を加えないで出力する。
【００４８】
一方、ステップＳ３６において、角度ｄ＞角度Ｔｈ3の関係ではないと判断された場合、ステップＳ３４に進む。ステップＳ３４において、演算装置４２は、受信された画像データを、解像度が落とされて表示されるように処理し、ディスプレイ部３４−２２に出力する。
【００４９】
ステップＳ３５において、受信されたデータが通信センタ１−２から送信されたデータではないと判断された場合、ステップＳ３７に進み、通信センタ１−３から送信されたデータであるか否かが判断される。受信されたデータが通信センタ１−３から送信されたデータであると判断された場合、ステップＳ３８に進む。ステップＳ３８において、受信された角度情報の角度ｄが、角度ｄ＜角度Ｔｈ2の関係にあるか否かが判断される。角度ｄが、角度ｄ＜角度Ｔｈ2の関係にあると判断された場合、換言すれば、通信センタ１−３の参加者が参加者２４が映し出されているディスプレイ装置の方を向いていると判断された場合、ステップＳ３３に進み、演算装置４２は、受信された画像データを、ディスプレイ部３４−２３に、解像度等に処理を加えないで出力する。
【００５０】
一方、ステップＳ３８において、角度ｄ＜角度Ｔｈ2の関係ではないと判断された場合、ステップＳ３４に進む。ステップＳ３４において、演算装置４２は、受信された画像データを、解像度が落とされて表示されるように処理し、ディスプレイ部３４−２３に出力する。
【００５１】
ステップＳ３７において、受信されたデータが通信センタ１−３から送信されたデータではないと判断された場合、ステップＳ３９に進む。ステップＳ３９に進むということは、通信センタ１−１乃至１−３のうちの、いずれの通信センタからも送信されたデータではないと判断された場合であるので、エラーが生じたと判断され、エラー処理が行われる。エラー処理としては、例えば、受信されたデータを破棄するなどである。
【００５２】
上述した説明においては、ディスプレイ部３４に映し出される画像が制御されるようにしたが、スピーカ部３３から出力される音声を制御するようにしてもよい。
【００５３】
このようにして、参加者が注目しているディスプレイ装置の情報（角度情報）とともに、画像データと音声データを送受信することにより、自分に注目している参加者を認識する事が可能となる。
【００５４】
図１２は、図９で示した演算装置４２の他の動作を説明するフローチャートである。このフローチャートにおいて、図６のフローチャートと同様の処理は、その説明を省略する。
【００５５】
ステップＳ４１とステップＳ４２の処理が終了され、ステップＳ４３において、演算装置４２が角度Ｔｈ2が角度ｄよりも小さいと判断された場合、ステップＳ４４に進む。角度Ｔｈ2が角度ｄよりも小さいと判断された場合、参加者２４は、左側面ビデオカメラ３１−２２の方に向いていると判断されたことになるので、演算装置４２は、ステップＳ４４において、正面ビデオカメラ３１−２１と右側面ビデオカメラ３１−２３から出力された画像データの、輝度を小さくする、または解像度を落とすなどの処理を施して、送受信装置４３に出力する。この際、演算装置４２は、マイクロホン３２から出力されたデータを、正面ビデオカメラ３１−２１と右側面ビデオカメラ３１−２３から出力されたデータと共に送るとき、その音声データは、音量が小さくなるように制御し、送受信装置３２に出力するようにしても良い。
【００５６】
ステップＳ４５において、角度Ｔｈ3が角度ｄよりも小さいと判断された場合、ステップＳ４６に進む。ステップＳ４６において、正面ビデオカメラ３１−２１と左側面ビデオカメラ３１−２２から出力されるデータが制御され、送受信装置４３に出力される。
【００５７】
ステップＳ４５において、角度Ｔｈ3が角度ｄと等しいか、それよりも大きいと判断された場合、ステップＳ４７に進む。ステップＳ４７において、左側面ビデオカメラ３１−２１と右側面ビデオカメラ３１−２３から出力されるデータが制御され、送受信装置４３に出力される。
【００５８】
このようにして、制御され、送受信装置４３に出力されたデータは、ステップＳ４８において、それぞれ対応する通信センタ１−１乃至１−３に送信される。
【００５９】
このように、送信されるデータを制御することにより、送信されるデータ量を減少させることができ、さらに、受信されたデータを再生することにより、臨場感があるテレビ会議を行うことが可能となる。
【００６０】
上述した説明においては、参加者２４の顔の向きを検出するのに、角度検出装置４１を用いたが、予め、参加者２４の顔の画像と角度を関連付けて記憶しておくことにより、同様の効果を得ることができる。図１３に示した構成例では、記憶部５１が新たに設けられ、演算装置４２には、正面ビデオカメラ３１−２１、送受信装置４３、および記憶部５１が接続されている。
【００６１】
参加者２４は、正面ビデオカメラ３１−２１の前に座り、一定角度毎に、一時静止し、その時の画像を正面ビデオカメラ３１−２１に撮像させる。撮像された画像は、撮像された時の角度と関係づけられて、演算装置４２を介して、記憶部５１に記憶される。このようにして、記憶部５１には、一定の角度毎に得られた参加者２４の顔の画像が記憶される。
【００６２】
このような構成において、得られた角度からスピーカ部３３から出力される音量を制御する場合は、図４を参照して説明したのと同様に、演算装置４２にスピーカ部３３−２１乃至３３−２３が接続される。また、得られた角度からディスプレイ部３４の映像を制御する場合は、図７を参照して説明したのと同様に、演算装置４２にディスプレイ部３４−２１乃至３４−２３が接続される。さらに、得られた角度から送信する画像データや音声データを制御する場合は、図９を参照して説明したのと同様に、演算装置４２に正面ビデオカメラ３１−２１の他に、左側面ビデオカメラ３１−２２と右側面ビデオカメラ３１−２３も接続され、さらにマイクロホン３２も接続される。
【００６３】
図１４のフローチャートを参照して、演算装置４２の動作について説明する。ステップＳ５１において、演算装置４２は、正面ビデオカメラ３１−２１から得られた参加者２４の顔の画像を、角度と関連付けて記憶部５１に記憶させる。所定の枚数の画像が記憶されたら、ステップＳ５２に進む。ステップＳ５２において、参加者２４の顔が向いている方向を判断するために、まず、参加者２４の顔の画像が、正面ビデオカメラ３１−２１により撮像される。
【００６４】
演算装置４２は、記憶部５１に記憶されている画像から、撮像された画像に近似する画像を検索する。その検索の仕方としては、例えば、正規化相関関数が用いられる。その正規化相関関数を以下に示す。
【数１】
0004244416.tif 000002
この式において、Ｒは、ステップＳ５１において、記憶部５１に記憶されたリファレンス画像の画素値を示し、ＣはステップＳ５２において、正面ビデオカメラ３１−２１により撮像された画像の画素値を示し、アルファベットの添字は、その画像の画素値の位置を示し、アルファベット上部の横線は、その画像の画素値の平均値を示す。
【００６５】
式（１）により求められた値が、１に近ければ近いほど、相関が高い画像であることを示している。また、式（１）のように、画像毎の画素値の平均値を基準値として相関度を求めてもよいし、次式（２）に示すように、画像毎の画素値の平均値を用いない式により相関度を求めるようにしてもよい。
【数２】
0004244416.tif 000003
【００６６】
ステップＳ５３において、式（１）または式（２）により、記憶部５１に記憶されている画像と近似する画像（相関度が高い画像）が検索されたら、ステップＳ５４において、その画像に関連付けられている角度情報が取得される。上述したように、記憶部５１に記憶されている基準画像は、角度情報と関連づけられて記憶されているので、相関度が高いと判断された基準画像と関連付けられている角度を検索することにより、角度情報が得られる
【００６７】
演算装置４２は、取得された角度情報を用いて、例えば、図４に示したように、スピーカ部３３を制御するようになされている場合、図６のステップＳ３以降の処理を行う。同様に、図７に示したように、ディスプレイ部３４を制御するようにされている場合、図８のステップＳ１３以降の処理を行う。
【００６８】
このように、参加者２４が演算装置４１を装着しなくても、角度情報を予め記憶された画像との相関度を算出することにより求めることが可能である。
【００６９】
なお、上述した実施の形態においては、水平方向の向きのみを検出の対象としたが、垂直方向の向きも検出するようにしても良い。垂直方向の向きも検出する場合、例えば、参加者２４が所定の角度以上、下または上を向いているとき、水平方向に顔を動かしたとしても、その角度の検出は行わず、換言すると、音量や映像の制御を行わず、送受信装置４３で送信するデータ、または受信したデータをそのまま送受信する。このようにすることで、例えば、参加者２４が書類を見るために下を向いているときに、顔を左右に動かしたとしても、音声や映像が変化することがないので、注目していないのに音声や映像が変化するといった不都合を解消することができる。
【００７０】
本明細書中において、上記処理を実行するコンピュータプログラムをユーザに提供する提供媒体には、磁気ディスク、CD-ROMなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【００７１】
【発明の効果】
以上の如く本発明によれば、臨場感があるテレビ会議などを提供する事が可能となる。
【図面の簡単な説明】
【図１】本発明の情報処理装置を適用したテレビ会議システムの構成例を示す図である。
【図２】  テレビ会議システムにおける各通信センタの会議室の状態を示す図である。
【図３】図１における通信センタにおけるディスプレイ装置の配置状態を示す図である。
【図４】参加者の向きを検出する装置の構成を示すブロック図である。
【図５】ビデオカメラの配置を説明する図である。
【図６】図４に示した演算装置の動作を説明するフローチャートである。
【図７】参加者の向きを検出する装置の他の構成を示すブロック図である。
【図８】図７に示した演算装置の動作を説明するフローチャートである。
【図９】参加者の向きを検出する装置のさらに他の構成を示すブロック図である。
【図１０】図９に示した演算装置の動作を説明するフローチャートである。
【図１１】図９の送受信装置から送信された情報を受信した演算装置の動作を説明するフローチャートである。
【図１２】図９に示した演算装置の他の動作を説明するフローチャートである。
【図１３】参加者の向きを検出する装置のさらに他の構成を示すブロック図である。
【図１４】図１３に示した演算装置の動作を説明するフローチャートである。
【符号の説明】
１−１乃至１−６  通信センタ，  ２  ネットワーク，  ２１−２３  ディスプレイ装置，  ３５−２１  正面ビデオカメラ，  ３５−２２  左側面ビデオカメラ，  ３５−２３  右側面ビデオカメラ，  ３６−２１乃至３６−２３  マイクロホン，  ３７−２１乃至３７−２３  ディスプレイ部，  ３８−２１乃至３８−２３  スピーカ部，  ４１  角度検出装置，  ４２  演算装置，  ４３  送受信装置，  ５１  記憶部
【図１】
0004244416.tif 000004
【図２】
0004244416.tif 000005
【図３】
0004244416.tif 000006
【図４】
0004244416.tif 000007
【図５】
0004244416.tif 000008
【図６】
0004244416.tif 000009
【図７】
0004244416.tif 000010
【図８】
0004244416.tif 000011
【図９】
0004244416.tif 000012
【図１０】
0004244416.tif 000013
【図１１】
0004244416.tif 000014
【図１２】
0004244416.tif 000015
【図１３】
0004244416.tif 000016
【図１４】
0004244416.tif 000017