(57)【特許請求の範囲】
【請求項１】
他の使用者の画像を表示する表示手段と、
前記表示手段を介して使用者を撮像する撮像手段と
を含む複数の端末とともに、ネットワークに接続され、仮想空間を提供する画像処理装置において、
所定の数の前記端末によりユニットを構成し、複数の前記ユニットを仮想空間内の所定の位置に配置する配置手段と、
前記配置手段による配置に対応して、各端末の前記撮像手段により撮像された画像に基づいて生成された、前記端末の前記仮想空間内の配置位置から見た前記仮想空間内の各端末の画像が前記端末において表示されるように、前記ユニットの各端末の画像の表示を制御する制御手段と、
前記端末の使用者の移動入力を検出し、検出された前記移動入力により示される移動先の前記ユニットを構成する端末が予め定められた特定の数より少ない場合、前記端末が前記移動先の前記ユニットを構成するように、前記仮想空間内で前記端末を前記移動先の前記ユニットの配置位置に移動させる移動手段と
を含むことを特徴とする画像処理装置。
【請求項２】
前記移動手段は、前記移動入力を、前記端末の使用者の所定の位置の視線、顔の向き、ジェスチャ、または機械的な操作入力から検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記端末を前記移動先の前記ユニットに移動させた場合、移動後の前記ユニットを構成する各端末の配置に応じて、前記ユニットの各端末の画像の表示または音の出力を更新する
ことを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、テレビ会議システムにおいて、テレビ会議出席者の視線とビデオカメラの目線とを一致させることができるようにした画像処理装置に関する。
【０００２】
【従来の技術】
遠隔地に位置する複数の人の間で、画像、音声、データなどを通信し、意志の疎通を図るシステムとして、テレビ電話システムやテレビ会議システムがある。これらのシステムは、既に実用段階にあり、ビジネス用途を中心に普及しつつある。
【０００３】
これらのシステムにおいては、人の顔を撮像し、また、その音声を取り込むために、ビデオカメラとマイクロホンが用意されている。さらに、相手側から伝送されてきた画像と音声を出力するために、モニタとスピーカが用意されている。通常、ビデオカメラは、モニタの周辺（例えば、上部、下部、または側面）に設置される。
【０００４】
また、テレビ会議システムにおいて、多くの人数で会議を行うような場合、コスト的な問題やオフィス環境の狭さなどの理由に基づき、参加者全員の顔の画像をモニタ上にタイル状に並べて表示することが多い。そして、出席者の数が多くなった場合、画像のサイズを小さくして（１つのタイルの大きさを小さくして）、多くの参加者の画像を表示するようにしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、ビデオカメラをモニタの周辺に配置すると、モニタの中心とビデオカメラの目線とは一致しない。その結果、通常、使用者は、ビデオカメラではなく、モニタを見ながら、そのモニタに写されている相手に話をするため、例えば、ビデオカメラがモニタの上部に設置されている場合、モニタに写し出される相手の顔は、若干うつ向き加減の画像となる。ビデオカメラがモニタの下部に設置されている場合、逆に、モニタに写し出された相手の顔は、上向き加減の画像となる。いずれの場合にも、不自然な画像となり、使用者は違和感を覚えることがあった。
【０００６】
また、参加者の画像をタイル状に表示すると、全ての人が自分に向かって話をしているかのように感じられ、やはり実際の会議におけるような臨場感を得ることができない課題があった。
【０００７】
さらに、参加者の数の増加にともなって、画像のサイズを小さくすると、参加者の顔が見にくくなり、自然なコミュニケーションを図ることができなくなる課題があった。
本発明はこのような状況に鑑みてなされたものであり、参加者の視線とカメラ目線とを一致させることができるようにするものである。
【０００８】
また、本発明は、参加者が多くても、自然な臨場感で会議に参加することができるようにするものである。
【００１２】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、所定の数の端末によりユニットを構成し、複数のユニットを仮想空間内の所定の位置に配置する配置手段と、配置手段による配置に対応して、各端末の撮像手段により撮像された画像に基づいて生成された、端末の仮想空間内の配置位置から見た仮想空間内の各端末の画像が端末において表示されるように、ユニットの各端末の画像の表示を制御する制御手段と、端末の使用者の移動入力を検出し、検出された移動入力により示される移動先のユニットを構成する端末が予め定められた特定の数より少ない場合、端末が移動先のユニットを構成するように、仮想空間内で端末を移動先のユニットの配置位置に移動させる移動手段とを含むことを特徴とする。
【００１６】
請求項１に記載の画像処理装置においては、所定の数の端末によりユニットが構成され、複数のユニットが仮想空間内の所定の位置に配置される。
【００１７】
【発明の実施の形態】
図１は、本発明を適用した画像処理システムの構成例を示す図である。この構成例においては、複数の端末１−１乃至１−６が、ネットワーク３を介して、マスターサーバ２と接続されている。ネットワーク３は、インターネットなどのほか、イントラネットあるいはLAN（Local Area Network）などで構成することができる。
【００１８】
図２は、端末１（以下、端末１−１乃至１−６を個々に区別する必要がない場合、単に端末１と称する。その他の装置についても同様とする）の構成を表している。検出装置１１は、後述する図３に示す使用者５１の顔の向きまたは視線の方向を検出する。検出装置１１の検出結果は、A/D変換器１５によりA/D変換された後、演算装置１９に入力される。意志入力装置１２は、例えばキーボード、マウス、ジョイスティックなどにより構成され、必要に応じて使用者により操作される。意志入力装置１２より入力された信号は、A/D変換器１６によりA/D変換された後、演算装置１９に入力される。
【００１９】
音響入力装置１３は、例えばマイクロホンにより構成され、使用者の音声を取り込む。音響入力装置１３より入力された音響信号は、A/D変換器１７によりA/D変換された後、演算装置１９に入力される。画像入力装置１４は、例えばビデオカメラにより構成され、画像入力装置１４より入力された画像信号は、A/D変換器１８によりA/D変換された後、演算装置１９に入力される。
【００２０】
音声再生装置２２は、例えばスピーカにより構成され、演算装置１９より入力されたデジタル音声信号がD/A変換器２０によりD/A変換された後、入力される。音声再生装置２２は、入力された音声信号を出力する。映像表示装置２３は、例えばLCD（Liquid Crystal Display）よりなるスクリーンと、そのスクリーンに画像を投映するプロジェクタにより構成され、演算装置１９より出力されたデジタル画像データがD/A変換器２１によりD/A変換された後、入力される。映像表示装置２３は、入力された映像信号を表示する。また、図３を参照して後述するように、画像入力装置１４は、映像表示装置２３を介して、使用者を撮像する。そこで、演算装置１９は、映像表示装置２３を制御し、その画像を表示するタイミングと、画像入力装置１４により画像を撮像するタイミングとを制御する。
【００２１】
演算装置１９は、例えばパーソナルコンピュータなどにより構成することができる。送受信装置２４は、例えばモデムなどにより構成され、ネットワーク３を介して、マスターサーバ２と通信する。
【００２２】
図３は、端末１を構成する各装置の配置を表している。端末１の使用者５１は、映像表示装置２３を構成するプロジェクタ４４により、スクリーン４５に表示された他の端末の使用者の画像を観察する。スクリーン４５の後方には、音響入力装置１３を構成するマイクロホン４１、画像入力装置１４を構成するビデオカメラ４２、および音声再生装置２２を構成するスピーカ４３が配置されている。マイクロホン４１は、使用者５１の発生する音声信号を取り込み、スピーカ４３は、使用者５１に伝達する他の使用者からの音声信号を出力する。
【００２３】
ビデオカメラ４２は、スクリーン４５を介して、使用者５１を撮像する。スクリーン４５は、LCDにより構成され、演算装置１９により、時分割動作するように制御される。すなわち、スクリーン４５は、プロジェクタ４４の画像を表示するとき、光を透過しないように制御され、ビデオカメラ４２から使用者５１を撮像するとき、光を透過するように制御される。演算装置１９は、プロジェクタ４４による画像をスクリーン４５に表示させるとき、ビデオカメラ４２による撮像を中止させ、プロジェクタ４４より照射された画像をスクリーン４５に表示させ、使用者５１に観察させる。また、演算装置１９は、ビデオカメラ４２により使用者５１の画像を取り込むタイミングにおいて、プロジェクタ４４の動作を停止させ、スクリーン４５を光を透過する状態に制御する。従って、ビデオカメラ４２は、スクリーン４５を介して、使用者５１の画像を撮像することができる。
【００２４】
図４は、マスターサーバ２の構成例を表している。入力装置３１は、キーボード、マウスなどにより構成され、管理者が各種の指令を入力するとき操作する。演算装置３２は、入力装置３１からの指令に対応して、各種の処理を実行する。記憶装置３４は、ハードディスク、磁気ディスク、光磁気ディスクなどにより構成され、演算装置３２が実行する各種のデータやプログラムなどを記憶する。送受信装置３３は、例えばモデムなどにより構成され、演算装置３２により制御され、ネットワーク３を介して、端末１と通信する。
【００２５】
端末１は、この例の場合、図５に示すように、合計４台のビデオカメラ４２Ｆ，４２Ｒ，４２Ｌ，４２Ｂを有している。ビデオカメラ４２Ｆ，４２Ｒ，４２Ｌは、使用者５１から見て、スクリーン４５の裏側に配置されている。ビデオカメラ４２Ｆは、使用者５１の顔を正面から撮像する位置に配置され、ビデオカメラ４２Ｒは、使用者５１の顔を右側から撮像する位置に配置され、ビデオカメラ４２Ｌは、使用者５１の顔を左側から撮像する位置に配置されている。ビデオカメラ４２Ｂは、使用者５１の後方に配置され、使用者５１を後方から撮像する。
【００２６】
いずれの端末１においても、各ビデオカメラは、同様に配置されている。
【００２７】
マスターサーバ２の演算装置３２は、自己が管理する仮想空間内において、４つの端末１を図６に示すように正方形状に配列することで、１つのユニットを構成させる。図６の例においては、端末１−１のビデオカメラが下中央に配置され、端末１−２のビデオカメラが、その右上に配置され、端末１−３のビデオカメラが、その上側に配置され、端末１−４のビデオカメラが、左上側に配置される。勿論、実際には、各端末１−１乃至１−４は、仮想空間において、それぞれ独立した位置に配置されているものであり、図６に示す配置は、あくまでマスターサーバ２が管理する仮想空間上での配置である。
【００２８】
換言すれば、演算装置３２は、端末１−１乃至１−４をこのように配置することで、図７に示すように、仮想空間上に、テーブルＴと、その周囲に座席Ｓ１乃至Ｓ４が配置された状態を１つのユニットとして管理する。すなわち、演算装置３２は、端末１−１乃至１−４の使用者が、それぞれ仮想空間上の座席Ｓ１乃至Ｓ４に座り、会議をしている状態を想定して、各スクリーン４５−１乃至４５−４の画像の表示を制御する。
【００２９】
さらに、演算装置３２は、図８に示すように、仮想空間６０に、３つのテーブルＴ１乃至Ｔ３を配置する。この例では、テーブルＴ１が仮想空間６０の下方中央に配置され、テーブルＴ２は、その右側に配置され、テーブルＴ３は、その左側に配置されている。なお、図８において、各ビデオカメラとスクリーンの数字の最後に、テーブルＴ１のものには、−１を付加し、テーブルＴ２のものには、−２を付加し、テーブルＴ３のものには、−３を付加して表している。
【００３０】
演算装置３２が管理している図８の仮想空間６０を簡略化して図示すると、図９に示すようになる。テーブルＴ１には、Ａ乃至Ｄの４つの座席が用意され、テーブルＴ２には、Ｅ乃至Ｈの４つの座席が用意され、テーブルＴ３には、Ｉ乃至Ｌの４つの座席が用意される。各端末１の使用者は、マスターサーバ２にアクセスしたとき、仮想空間６０の図９に示すようなテーブルの配置図の提供を受け、所望のテーブルの座席を指定することで、この仮想空間６０における会議に出席する。
【００３１】
例えば、端末１の使用者がテーブルＴ１の座席Ａを自らの座席として取得した場合、マスターサーバ２の演算装置３２は、その端末１のスクリーン４５に対して、図１０に示すような画像を表示させる。すなわち、スクリーン４５には、自分自身が座っている座席ＡのテーブルＴ１の他の座席Ｂ乃至Ｄに座っている他の端末１の使用者ｂ乃至ｄの画像がテーブルＴ１の周囲に表示される。同様に、テーブルＴ２の周囲には、座席Ｅ乃至Ｈに座っている各端末１の使用者の画像ｅ乃至ｈが表示され、テーブルＴ３の周囲には、座席Ｉ乃至Ｌに座っている使用者の画像ｉ乃至ｌが表示される。
【００３２】
次に、図１１と図１２のフローチャートを参照して、このテレビ会議システムの動作について説明する。端末１の演算装置１９は、使用者が意志入力装置１２を操作することでテレビ会議システムへの出席を指令すると、ステップＳ１において、送受信装置２４を制御し、ネットワーク３を介して、マスターサーバ２に対してアクセスさせ、テレビ会議システムの現在の接続状況を紹介する。演算装置１９は、ステップＳ２において、マスターサーバ２から接続状況照会に対する応答があったか否かを判定し、応答がない場合には、ステップＳ３に進み、接続要求の回数が予め設定されている所定の閾値Ｎより小さいか否かを判定する。接続要求回数が閾値Ｎより小さい場合には、ステップＳ１に戻り、再び接続状況照会処理を実行する。
【００３３】
以上のようにして、マスターサーバ２に対して、Ｎ回接続状況照会を行っても応答がない場合には、端末１の演算装置１９は、処理を終了させる。
【００３４】
マスターサーバ２の演算装置３２は、送受信装置３３を介して、端末１から接続状況照会の要求を受けたとき、記憶装置３４に記憶されている仮想空間６０の現在の接続状況を調べ、空いている座席があるか否かを判定する。空いている座席がない場合には、演算装置３２は、端末１に対して応答しない。従って、このような場合には、端末１は、テレビ会議に出席することができないことになる。
【００３５】
マスターサーバ２の演算装置３２は、仮想空間６０の座席に空きがある場合には、ステップＳ４において、現在の接続状況を示す画像を生成し、送受信装置３３から、端末１にネットワーク３を介して送信する。端末１の演算装置１９は、送受信装置２４を介してマスターサーバ２からの応答を受信したとき、ステップＳ４において、受信したデータに対応する画像を、D/A変換器２１を介して、映像処理装置２３を構成するプロジェクタ４４に供給し、スクリーン４５に表示させる。これにより、スクリーン４５には、例えば図１３に示すような、各テーブルと座席の位置が表示される。各座席は、空いている席と他の使用者が既に座っている席とが識別できるように表示される。図１３の例においては、ハッチングを施して示す席が、他の使用者が座っている席であり、ハッチングを施していない席が空いている席である。従って、図１３の例では、席Ａ，Ｄ，Ｇが空いており、その他の席は、他の使用者が既に使用している。
【００３６】
使用者は、図１３に示す表示を見て、ステップＳ５において、意志入力装置１２を操作して、空いている座席の中から取得を希望する座席を入力するとともに、ログインを要求する。例えば使用者が座席Ａを指定する場合、キーボードで文字Ａのキーを操作する。演算装置１９は、意志入力装置１２からの入力に対応するデータを、送受信装置２４を介して、マスターサーバ２に送信する。
【００３７】
ステップＳ６において、演算装置１９は、マスターサーバ２からログインＯＫの信号を受信したか否かを判定し、ログインＯＫの信号を受信できなかった場合には、ステップＳ７に進み、接続要求回数が予め設定してある所定の閾値Ｎより小さいか否かを判定する。接続要求回数が閾値Ｎより小さい場合には、ステップＳ５に戻り、それ以降の処理が繰り返し実行される。接続要求回数が閾値Ｎと等しいか、それより大きくなった場合には、演算装置１９は処理を終了させる。
【００３８】
マスターサーバ２の演算装置３２は、ログインがＯＫであると判定した場合、ステップＳ８に進み、ステップＳ５で端末１から指定された座席に、その端末１を割り当て、仮想空間６０内における接続を変更する。これにより、例えば図１３に示す座席Ａに新たな端末１が割り当てられた状態が、現在の仮想空間６０の接続状況ということになる。マスターサーバ２の演算装置３２は、この接続状況に対応する画像を記憶装置３４から読み出し、送受信装置３３を介して、端末１に送信する。
【００３９】
端末１の演算装置１９は、送受信装置２４を介して、このデータを受信したとき、対応する画像をスクリーン４５に表示させる。これにより、スクリーン４５には、いまの場合、例えば図１４に示すような画像が表示される。すなわち、テーブルＴ３には、４つの各座席Ｉ乃至Ｌに座っている各端末の使用者の画像ｉ乃至ｌが表示される。テーブルＴ２の周囲には、座席Ｇを除く座席Ｅ，ＦおよびＨに座っている使用者の画像ｅ，ｆ，ｈが表示される。テーブルＴ１には、座席ＢとＣにそれぞれ座っている使用者の画像ｂ，ｃが表示される。座席ＤとＨは空席であるため、画像が表示されていない。自分が位置するテーブルＴ１の座席の画像ｂ，ｃは、他のテーブルＴ２，Ｔ３の画像ｅ，ｆ，ｈ乃至ｌより大きく表示される。
【００４０】
検出装置１１は、使用者がテレビ会議に出席すると、使用者の顔の向きもしくは視線の方向を検出する。検出結果は、演算装置１９から、送受信装置２０を介して、マスターサーバ２に送信される。
【００４１】
マスターサーバ２の演算装置３２は、端末１からの方向の検出データを受信し、ステップＳ９において、端末１の使用者が予め設定してある一定時間以上同一の方向を注視しているか否かを判定する。同一の方向を一定時間以上注視していなければ、ステップＳ９の処理が繰り返し実行される。
【００４２】
使用者がいずれの方向を向いているかは、図１４に示すように、使用者が向いている方向として検出された角度θ１を、図１５に示すように、仮想空間６０上の角度θ２に換算することで判定される。
【００４３】
演算装置３２は、端末１の使用者５１が一定時間以上所定の方向を注視していると判定した場合、ステップＳ１０に進み、その注視者（所定の方向を注視している使用者）が位置するテーブルからの音量を制限する。例えば、テーブルＴ１の座席Ａに座っている使用者が、テーブルＴ２の座席Ｇを一定時間以上注視している場合、その使用者は、いまテーブルＴ１の会話には興味をもっていないものと判断し、テーブルＴ１の座席Ｂまたは座席Ｃに座っている使用者からの音声のボリュームを減少させる。あるいはまた、図１４に示す座席Ｂに座っている使用者の画像ｂと座席Ｃに座っている使用者の画像ｃを小さくさせる。同様に、座席Ｂと座席Ｃに座っている使用者の端末１に提供する座席Ａの使用者の音声のボリュームを減少させるとともに、その画像ａを小さくさせる。これにより、例えばテーブルＴ１の座席Ｂ，Ｃに座っている使用者は、座席Ａに座っている使用者がいま会話に興味を示していないことを知ることができる。
【００４４】
次に、ステップＳ１１に進み、演算装置３２は、注視されているテーブルの使用者に対する表示画像上の注視者の画像を大きく表示させる。いまの場合、座席Ａの使用者がテーブルＴ２の座席Ｇを注視しているので、テーブルＴ２の座席Ｅ，Ｆ，Ｈを使用している使用者から見た使用者Ａの画像ａを他の画像に較べて大きく表示させる。
【００４５】
すなわち、テーブルＴ２の座席Ｆに座っている使用者の端末のスクリーン４５には、図１６に示すような画像が表示されている。自分自身が座っているテーブルＴ２に座っている使用者の画像ｅ，ｈは、遠いテーブルＴ１，Ｔ３の座席に座っている使用者の画像ａ乃至ｄ，ｉ乃至ｌに較べて大きく表示されている。座席Ａに座っている使用者の画像ａも、遠いテーブルＴ１の画像であるから、座席Ａの使用者がテーブルＴ２を注視しなければ、他の画像ｂ乃至ｄと同じ大きさで表示されるのであるが、座席Ａの使用者が、一定時間以上テーブルＴ２を注視すると、テーブルＴ２の使用者がこれに気付くことができるように、座席Ａの使用者の画像ａが、図１６に２点鎖線で示すように大きく表示される。このときまた、座席Ａからの音声もテーブルＴ２の使用者に対して大きく出力させるようにしてもよい。これにより、テーブルＴ２の使用者は、座席Ａの使用者がテーブルＴ２に移動していくるかもしれないということを予め推察することができる。
【００４６】
なお、画像ａを大きく表示する以外に、他に較べて明るく表示させたり、点滅させたりしてもよい。
【００４７】
ステップＳ１２において、演算装置３２は、さらに一定時間以上使用者が同一方向を注視しているか否かを判定し、使用者が途中で注視を中止した場合には、ステップＳ９に戻り、それ以降の処理を繰り返し実行する。使用者がさらに一定時間注視したままである場合には、ステップＳ１３に進み、演算装置３２は、使用者が注視している方向に空いている座席があるか否かを判定する。空いている座席がない場合には、ステップＳ９に戻り、それ以降の処理が繰り返し実行される。空いている座席がある場合には、ステップＳ１４に進み、端末１の演算装置１９は、マスターサーバ２に対して、意志入力装置１２から所定の座席への移動が要求された場合と同様の処理を実行する。すなわち、演算装置１９は、マスターサーバ２に対して、座席Ｇへの移動を要求する。
【００４８】
マスターサーバ２の演算装置３２は、端末１の演算装置１９から移転の要求を受けたとき、ステップＳ１５において、これをＯＫするか否かを判定する。他の使用者が既にその座席の取得を申し込んできたような場合には、この要求は拒否され、ステップＳ９に戻り、それ以降の処理が実行される。その座席が空いている場合には、マスターサーバ２の演算装置３２は、この要求に対応して、その座席を端末１に割り当てる。このため、ステップＳ８に戻り、演算装置３２は、座席Ｇを端末１のユーザに割り当てる処理を実行する。
【００４９】
その結果、座席Ｇに移動した端末１のスクリーン４５には、それまでの図１４に示すような画像から、図１７に示すような画像に切り替えられる。
【００５０】
なお、一定時間以上の注視は、各端末側で検出するようにしてもよい。また、移動の意思表示は、その方向を使用者が指で示すジェスチャで行ったり、キーボード、マウス、ジョイスティックなどの機械的な操作で行うようにしてもよい。
【００５１】
以上においては、スクリーン４５を１つとし、そこに仮想空間６０上の全てのテレビ会議出席者の画像を表示するようにしたが、例えば図１８に示すように、自分自身が座っている座席のテーブルＴ１の座席に座っている使用者の画像を表示するスクリーン４５ＢＬ，４５ＢＣ，ＢＲを、その他のテーブルＴ２乃至Ｔ４の座席に座っている使用者の画像を表示するスクリーン４５Ａと独立した構成にすることもできる。このようにすることで、より臨場感に富んだシステムを実現することができる。
【００５２】
また、図１８に示す例においては、自分が座っているテーブルＴ１の画像は、自分を中心として、その正面のスクリーン４５ＢＣに、自分と反対側の座席に座っている使用者の画像ｃを表示し、その右側のスクリーン４５ＢＲに、自分の右側の座席に座っている使用者の画像ｂを表示し、その左側のスクリーン４５ＢＬに、左側の座席に座っている使用の画像ｄを表示しているが、スクリーン４５Ａにおいては、例えばテーブルＴ２に示すように、２つの座席ＧとＨに座っている使用者の画像ｇとｈを正面の画像として表示し、手前の２つの座席ＥとＦに座っている使用者の画像ｅとｆを、それぞれ右側から見た画像と左側から見た画像としている。
【００５３】
このように、画像を表示する場合、マスターサーバ２の演算装置３２は、仮想空間６０を例えば図１９に示すように管理する。テーブルＴ１のスクリーン４５ＢＣに表示する画像ｃは、ビデオカメラ４２Ｆ−３−１で撮像した画像とし、スクリーン４５ＢＲに表示する画像ｂは、ビデオカメラ４２Ｌ−２−１で撮像した画像とし、スクリーン４５ＢＬに表示する画像ｄは、ビデオカメラ４２Ｒ−４−１で撮像した画像とする。これに対して、例えばテーブルＴ２の画像ｇは、ビデオカメラ４２Ｆ−３−２で撮像した画像とし、画像ｈは、ビデオカメラ４２Ｆ−４−２で撮像した画像とし、画像ｅは、ビデオカメラ４２Ｒ−１−２で撮像した画像とし、画像ｆは、ビデオカメラ４２Ｌ−２−２で撮像した画像とすることができる。
【００５４】
このようにすれば、後ろ向きの画像がなくなり、出席者をより容易に確認することが可能となる。従って、この場合には、使用者を後方から撮像するビデオカメラ４２Ｂが不要となる。
【００５５】
なお、例えば図１０に示すように、自分のテーブルの画像も、他のテーブルの画像と同様に、１つのスクリーン４５に表示させる例においても、自分のテーブルと他のテーブルとで、座席の配置が若干異なるようにしてもよいのであれば、各端末１の後方のビデオカメラ４２Ｂを省略することができる。
【００５６】
図２０は、各端末１におけるプロジェクタ、ビデオカメラ、およびスクリーンの他の配置例を示している。この例においては、使用者５１の前方に、ビデオカメラ４２Ｆが、後方にビデオカメラ４２Ｂが、正面左側にビデオカメラ４２Ｌが、正面右側にビデオカメラ４２Ｒが、それぞれ配置されている。このことは、図５における場合と同様であるが、この例では、スクリーン４５がサラウンドスクリーンとされ、使用者５１の周囲を囲むように配置されている。そして、このサラウンドスクリーンに対して画像を表示できるように、使用者５１の正面にプロジェクタ４４Ａが配置され、左後方にプロジェクタ４４Ｂが配置され、右後方にプロジェクタ４４Ｃが配置されている。これにより、サラウンドスクリーン上の少なくとも使用者５１が視認可能な範囲に画像が表示される。このようにすることで、より臨場感に富んだシステムを実現することができる。
【００５７】
以上においては、本発明をテレビ会議システムに応用した場合を例として説明したが、テレビ会議以外の例えば仮想空間のパーティーなどにも適用することが可能である。
【００５８】
このように、少なくとも自分が位置しているテーブルの使用者の画像を他のテーブルに位置する使用者の画像に較べて大きく表示するようにしたので、テーブルの数が増えたとしても、少なくとも自分自身が位置するテーブルの使用者の画像は、確実に確認することが可能である。また、仮想空間内において、他のテーブルに移動することができるので、他のテーブルの画像が小さく表示されていたとしても、そのテーブルに移動することで、そのテーブルの出席者の顔を大きく表示させ、確認することが可能となる。従って、実際の会議あるいはパーティーなどにおける場合と同様に、大人数でのコミュニケーションを図ることが、容易に実現可能となる。
【００５９】
半透明のスクリーンを実現するために、以上においては、スクリーン４５を時分割動作させるようにしたが、例えば図２１に示すように、スクリーン４５を、一方の面を乱反射面８１とし、他方の面を半透明面８２とし、実質的にハーフミラーのような半透明のスクリーンとすることができる。この場合、図２１に示すように、乱反射面８１がプロジェクタ４４側に配置され、半透明面８２がビデオカメラ４２側に配置される。
【００６０】
乱反射面８１には、図２２に示すように、それぞれ正方形状の乱反射部９１と透明部９２とが市松模様状に配置されている。乱反射部９１は、入射された光を乱反射するように、その表面が加工されている。また、透明部９２は、入射された光をそのまま透過するように構成されている。
【００６１】
乱反射部９１の反対側（ビデオカメラ４２側）は、図２３に示すように、黒色部９３とされている。黒色部９３は、黒色に色付けされている。この乱反射部９１と透明部９２、従って、黒色部９３と透明部９２は、十分小さい領域とされている。
【００６２】
プロジェクタ４４から出射された光が、乱反射面８１に照射されると、その乱反射部９１で光が乱反射され、使用者５１は、この乱反射された光により構成される画像を視認することができる。乱反射面８１の透明部９２に入射された光は、そのままビデオカメラ４２側に透過される。
【００６３】
一方、ビデオカメラ４２は、透明部９２を介して、使用者５１を撮像する。ビデオカメラ４２の焦点は、スクリーン４５ではなく、使用者５１に合わされるため、ビデオカメラ４２は、使用者５１の画像を若干暗い画像とはなるが、撮像することができる。透明部９２を透過してくるプロジェクタ４４からの光は、ビデオカメラ４２に指向性を持たせたり、あるいは、レンズフードを設けるなどして、実質的に制限することが可能である。
【００６４】
図２２と図２３に示した例においては、乱反射部９１、黒色部９３、および透明部９２は、それぞれ四角形状とされ、市松状に配置されたが、例えば図２４に示すように、乱反射部９１（黒色部９３）を六角形状に構成し、透明部９２を乱反射部９１（黒色部９３）の周囲に形成するようにしても良い。
【００６５】
また、図２５に示すように、乱反射部９１（黒色部９３）を四角形状とし、その周囲に透明部９２を配置するようにしても良い。
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものとする。
なお、上記したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００６７】
【発明の効果】
請求項１に記載の画像処理装置によれば、所定の数の端末により構成されたユニットを仮想空間内の所定の位置に配置するようにし、そのユニットの各端末の画像の表示を制御するようにしたので、大人数で相互にコミュニケーションを図ることが、現実の空間における場合と同様にできるようになる。
【図面の簡単な説明】
【図１】本発明を適用したシステムの構成例を示す図である。
【図２】図１の端末の構成例を示すブロック図である。
【図３】図２の端末を構成する各装置の配置を説明する図である。
【図４】図１のマスターサーバの構成例を示すブロック図である。
【図５】図２の端末を構成する各装置の平面的配置を説明する図である。
【図６】ユニットの構成を説明する図である。
【図７】ユニットの仮想空間内における構成を説明する図である。
【図８】仮想空間内におけるユニットの配置を説明する図である。
【図９】仮想空間内におけるユニットの配置を説明する図である。
【図１０】スクリーンの表示例を示す図である。
【図１１】図１のシステムの動作を説明するフローチャートである。
【図１２】図１のシステムの動作を説明するフローチャートである。
【図１３】スクリーンの表示例を示す図である。
【図１４】スクリーンの注視を説明する図である。
【図１５】仮想空間における注視を説明する図である。
【図１６】注視された端末側のスクリーンの表示例を示す図である。
【図１７】仮想空間内を移動した後のスクリーンの表示例を示す図である。
【図１８】スクリーンの他の表示例を示す図である。
【図１９】図１８の表示例を実現する仮想空間内におけるユニットの配置を説明する図である。
【図２０】端末を構成する各装置の平面的な配置の他の例を示す図である。
【図２１】スクリーンの他の例を示す図である。
【図２２】図２１のスクリーンの乱反射面の構成を示す図である。
【図２３】図２１のスクリーンの半透明面の構成を示す図である。
【図２４】図２１のスクリーンの他の構成例を示す図である。
【図２５】図２１のスクリーンの他の構成例を示す図である。
【符号の説明】
１−１乃至１−６  端末，  ２  マスターサーバ，  ３  ネットワーク，  １１  検出装置，  １４  画像入力装置，  ２２  音声再生装置，  ２３  映像表示装置，  １９  演算装置，  ３２  演算装置，  ３４  記憶装置，  ４１  マイクロホン，  ４２  ビデオカメラ，  ４３  スピーカ，  ４４  プロジェクタ，  ４５  スクリーン
【図１】
0004501171.tif 000002
【図２】
0004501171.tif 000003
【図３】
0004501171.tif 000004
【図４】
0004501171.tif 000005
【図５】
0004501171.tif 000006
【図６】
0004501171.tif 000007
【図７】
0004501171.tif 000008
【図８】
0004501171.tif 000009
【図９】
0004501171.tif 000010
【図１０】
0004501171.tif 000011
【図１１】
0004501171.tif 000012
【図１２】
0004501171.tif 000013
【図１３】
0004501171.tif 000014
【図１４】
0004501171.tif 000015
【図１５】
0004501171.tif 000016
【図１６】
0004501171.tif 000017
【図１７】
0004501171.tif 000018
【図１８】
0004501171.tif 000019
【図１９】
0004501171.tif 000020
【図２０】
0004501171.tif 000021
【図２１】
0004501171.tif 000022
【図２２】
0004501171.tif 000023
【図２３】
0004501171.tif 000024
【図２４】
0004501171.tif 000025
【図２５】
0004501171.tif 000026