(57)【特許請求の範囲】
【請求項１】
複数の地点に存在する複数の人物が、映像を介して会話を行う映像会話システムにおいて、
上記映像会話システムは、各上記複数の地点に配置された映像会話装置を含み、
各上記映像会話装置は、光透過性を有するスクリーンと、上記各映像会話装置が配置された地点の人物を上記スクリーンの背後から上記スクリーンを通して撮るカメラと、上記各映像会話装置が配置された地点以外の地点の人物の画像を上記スクリーンの背後から上記スクリーンに投影する投影装置と、を含み、
上記カメラで撮られた画像における人物の顔の領域及び頭部姿勢を検出する顔位置姿勢計測部と、
上記頭部姿勢に応じて上記スクリーンの姿勢を制御するアクチュエータと、
上記撮られた画像中の、上記検出された顔の領域を中心とした領域を、その顔の人物の画像が投影されるスクリーンの姿勢及びそのスクリーンに投影する投影装置との位置関係に応じて写像した画像を生成する画像写像生成部と、
を更に含む映像会話システム。
【請求項２】
複数の地点に存在する複数の人物が、映像を介して会話を行う映像会話システムにおいて、
上記映像会話システムは、各上記複数の地点に配置された映像会話装置を含み、
各上記映像会話装置は、光透過性を有するスクリーンと、上記各映像会話装置が配置された地点の人物を上記スクリーンの背後から上記スクリーンを通して撮るカメラと、上記各映像会話装置が配置された地点以外の地点の人物の画像を上記スクリーンの背後から上記スクリーンに投影する投影装置と、を含み、
上記各映像会話装置は、上記カメラを含む複数のカメラと、上記各映像会話装置が配置された地点の人物が顔を向けたカメラを上記複数のカメラの中から選択し、その選択されたカメラで撮られた画像を上記各映像会話装置が配置された地点以外の地点の投影装置に投影させる画像選択部と、を更に含み、
上記選択されたカメラで撮られた画像における人物の顔の領域及び頭部姿勢を検出する顔位置姿勢計測部と、
上記検出された頭部姿勢に応じて上記スクリーンの姿勢を制御するアクチュエータと、
上記撮られた画像中の、上記検出された顔の領域を中心とした領域を、その顔の人物の画像が投影されるスクリーンの姿勢及びそのスクリーンに投影する投影装置との位置関係に応じて写像した画像を生成する画像写像生成部と、
を更に含む映像会話システム。
【請求項３】
請求項２の映像会話システムにおいて、
上記画像選択部は、上記検出された頭部姿勢に基づいて、上記各映像会話装置が配置された地点の人物が顔を向けたカメラを上記複数のカメラの中から選択する、
映像会話システム。
【請求項４】
請求項１から３の何れかの映像会話システムにおいて、
上記顔位置姿勢計測部は、予め入力された上記各映像会話装置が配置された地点の人物の画像から正面顔画像のテンプレートを作成し、そのテンプレートを並進及び回転させてテンプレート中の画素の輝度と、その画素と対応する上記撮られた画像中の画素の輝度との輝度差を求め、その輝度差が最小になるテンプレートの位置及び姿勢を上記顔の領域及び頭部姿勢とする、
映像会話システム。
【請求項５】
請求項１から４の何れかの映像会話システムにおいて、
上記投影装置及び上記カメラは、上記投影装置が上記スクリーンに向けた出射した光が、上記スクリーンで反射してカメラに入射するのを防ぐための偏光フィルタを備える、
映像会話システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の地点に存在する複数の人物が映像を介して会話を行う、遠隔会議システム、テレビ会議システム、映像通信システム等の電気通信技術に関する。
【背景技術】
【０００２】
従来、複数の地点に存在する複数の人物が映像を介して会話を行うための技術として、テレビ会議システム、映像会議システム、デスクトップカンファレンスシステム、テレプレゼンスシステムと呼ばれる装置が知られている（例えば、非特許文献１参照。）。
【０００３】
これらの装置は、ビデオカメラにより各人物の顔を含めた画像を撮影し、それを遠隔地点に伝送し、ディスプレイ上に表示する装置である。各地点で双方向的に撮影、伝送、表示をする回路を組むことにより、遠隔地点間での会話を可能とする。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】：Juan Pablo Conti, “TECHNOLOGY TELEPRESENCE - I see live people”, Engineering Management, Journal 17, 2007, p.12-15.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの装置では、ある人物Ａが画面上に表示された遠隔地の人物Ｂに視線を向けても、人物Ｂが見ている人物Ａの映像からはそれが読み取れないという問題、いわゆる視線不一致の問題が避けられない。これは対面状況の会話ではあり得ない現象であり、著しい不自然さを感じさせ、円滑な会話の進行を阻害する要因として知られている。
【０００６】
この発明の目的は、従来よりも自然な映像会話システムを提供することである。
【課題を解決するための手段】
【０００７】
この発明の一態様による映像会話システムは、複数の地点に存在する複数の人物が、映像を介して会話を行う映像会話システムにおいて、映像会話システムは、各複数の地点に配置された映像会話装置を備える。各映像会話装置は、光透過性を有するスクリーンと、各映像会話装置が配置された地点の人物をスクリーンの背後からスクリーンを通して撮るカメラと、各映像会話装置が配置された地点以外の地点の人物の画像を上記スクリーンの背後からスクリーンに投影する投影装置と、を備えカメラで撮られた画像における人物の顔の領域及び頭部姿勢を検出する顔位置姿勢計測部と、頭部姿勢に応じてスクリーンの姿勢を制御するアクチュエータと、撮られた画像中の、検出された顔の領域を中心とした領域を、その顔の人物の画像が投影されるスクリーンの姿勢及びそのスクリーンに投影する投影装置との位置関係に応じて写像した画像を生成する画像写像生成部と、を更に備える。
この発明の他の一態様による映像会話システムは、複数の地点に存在する複数の人物が、映像を介して会話を行う映像会話システムにおいて、映像会話システムは、各複数の地点に配置された映像会話装置を備える。各映像会話装置は、光透過性を有するスクリーンと、各映像会話装置が配置された地点の人物をスクリーンの背後からスクリーンを通して撮るカメラと、各映像会話装置が配置された地点以外の地点の人物の画像をスクリーンの背後からスクリーンに投影する投影装置と、を備え、各映像会話装置は、カメラを含む複数のカメラと、各映像会話装置が配置された地点の人物が顔を向けたカメラを複数のカメラの中から選択し、その選択されたカメラで撮られた画像を各映像会話装置が配置された地点以外の地点の投影装置に投影させる画像選択部と、を更に備え、選択されたカメラで撮られた画像における人物の顔の領域及び頭部姿勢を検出する顔位置姿勢計測部と、検出された頭部姿勢に応じてスクリーンの姿勢を制御するアクチュエータと、撮られた画像中の、検出された顔の領域を中心とした領域を、その顔の人物の画像が投影されるスクリーンの姿勢及びそのスクリーンに投影する投影装置との位置関係に応じて写像した画像を生成する画像写像生成部と、を更に備える。
【発明の効果】
【０００８】
スクリーンの背後からそのスクリーンを通して人物を撮ることにより、そのスクリーンの位置からその人物を撮ることができる。これにより、視線不一致の問題が従来よりも生じづらくなる。よって、従来よりも自然な映像会話システムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】映像会話装置を説明するための図。
【図２】人物、カメラ、投影装置及びスクリーンの配置の例を説明するための図。
【図３】カメラの選択の例を説明するための図。
【図４】（ａ）はカメラにより撮影された画像の一例を示す図、（ｂ）は顔位置姿勢計測部によって検出された顔領域及び頭部姿勢を顔面上のメッシュとして示す図、（ｃ）は画像写像生成部により生成された画像を示す図。
【図５】写像操作に関係する座標系の関連を説明するための図。
【図６】（ａ）はプロジェクタ、アクチュエータに支持されたスクリーンの配置関係の例を示す図、（ｂ）はアクチュエータの例を示す図。
【図７】スクリーンで反射した光がカメラに入射することを防止する偏光フィルタを説明するための図。
【図８】映像会話装置の処理の流れを説明するためのフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照してこの発明の一実施形態を説明する。
【００１１】
映像会話システムは、複数の地点に存在する複数の人物が映像を介して会話を行うことを可能にするものである。各複数の地点には、１人以上の人物がいるものとする。
【００１２】
各複数の地点には、映像会話装置が配置される。映像会話装置は、図１に示すように、入力部１、データ処理部２、通信部３及び出力部４を例えば備える。
【００１３】
入力部１は、１台以上のカメラ１１を例えば備える。各人物を撮るカメラ１１は、１台以上あるものとする。
【００１４】
データ処理部２は、顔位置姿勢計測部２１、画像切出部２２、画像写像生成部２３、制御信号生成部２４及び画像選択部２５を例えば備える。
【００１５】
出力部４は、投影装置４１、アクチュエータ４２及びスクリーン４３を例えば備える。
【００１６】
各複数の地点における、人物、カメラ１１、投影装置４１及びスクリーン４３の配置の例を図２に示す。この例では、地点Ｘに居る２人の人物Ａ，Ｂと、地点Ｙに居る２人の人物Ｃ，Ｄとの間で映像を介した会話が行われる。なお、図２は、人物、カメラ１１、投影装置４１及びスクリーン４３の配置の説明を目的とした図であるため、簡略化のために、データ処理部２、通信部３等の映像会話装置を構成する他の部についての記載を省略している。
【００１７】
地点Ｘには、人物Ａを撮るカメラ１１が３台あり、人物Ｂを撮るカメラ１１が３台ある。人物Ａを撮るカメラ１１を、カメラ１１Ａ１，１１Ａ２，１１Ａ３と表記する。人物Ｂを撮るカメラ１１を、カメラ１１Ｂ１，１１Ｂ２，１１Ｂ３と表記する。
【００１８】
地点Ｙには、人物Ｃを撮るカメラ１１が３台あり、人物Ｄを撮るカメラ１１が３台ある。人物Ｃを撮るカメラ１１を、カメラ１１Ｃ１，１１Ｃ２，１１Ｃ３と表記する。人物Ｄを撮るカメラ１１を、カメラ１１Ｄ１，１１Ｄ２，１１Ｄ３と表記する。
【００１９】
地点Ｘには、地点Ｙに居る人物Ｃ，Ｄの画像を投影するための２台の投影装置４１及び２枚のスクリーン４３がある。人物Ｃの画像を投影するための投影装置４１及びスクリーン４３を、それぞれ投影装置４１Ｃ及びスクリーン４３Ｃと表記し、人物Ｄの画像を投影するための投影装置４１及びスクリーン４３を、それぞれ投影装置４１Ｄ及びスクリーン４３Ｄと表記する。
【００２０】
地点Ｙには、地点Ｘに居る人物Ａ，Ｂの画像を投影するための２台の投影装置４１及び２枚のスクリーン４３がある。人物Ａの画像を投影するための投影装置４１及びスクリーン４３を、それぞれ投影装置４１Ａ及びスクリーン４３Ｂと表記し、人物Ｂの画像を投影するための投影装置４１及びスクリーン４３を、それぞれ投影装置４１Ｂ及びスクリーン４３Ｂと表記する。
【００２１】
地点Ｘにおいては、人物Ａ，Ｂとスクリーン４３Ｃ，４３Ｄとの間には、円卓が配置されている。また、人物Ｃ，Ｄとスクリーン４３Ａ，４３Ｂとの間には、円卓が配置されている。これらの円卓は、なくてもよい。また、円卓以外のテーブルが円卓の代わりに配置されていてもよい。
【００２２】
複数のカメラ１１の全部又は一部は、スクリーン４３の背後に配置されており、スクリーン４３を通して人物を撮る（ステップＳ１）。撮られた人物の画像は、顔位置姿勢計測部２１及び画像切出部２２に送信される。カメラ１１は、例えばデジタルビデオカメラとする。
【００２３】
このように、スクリーン４３の背後からそのスクリーン４３を通して人物を撮ることにより、そのスクリーン４３の位置からその人物を撮ることができ、スクリーン４３を見ている人物の顔を正面から撮ることができる。これにより、視線不一致の問題が従来よりも生じづらくなる。よって、従来よりも自然な映像会話システムを提供することができる。
【００２４】
スクリーン４３は、光透過性を有し、例えば透明アクリル板に拡散材を配合した正方形又は長方形のパネルである。スクリーン４３は光透過性を有するため、スクリーン４３を通して、言い換えればスクリーン４３越しにカメラの撮影が可能である。スクリーン４３の下部はアクチュエータ４２により支持されており、スクリーン４３の姿勢はアクチュエータ４２により制御される。
【００２５】
透明又は半透明の拡散スクリーンを用いることにより、視聴者はスクリーン４３越しに部屋の背景を見ることができ、その背景と投影された人物像の重なりにより、その人物があたかも目の前にいるかのような印象を持つことができる。
【００２６】
図２の例では、カメラ１１Ａ１がスクリーン４３Ｃの背後に配置され、カメラ１１Ａ３がスクリーン４３Ｄの背後に配置されている。これらのカメラ１１Ａ１，１１Ａ３は、それぞれスクリーン４３Ｃ，４３Ｄを通して人物Ａを撮る。
【００２７】
また、カメラ１１Ｂ１がスクリーン４３Ｃの背後に配置され、カメラ１１Ｂ３がスクリーン４３Ｄの背後に配置されている。これらのカメラ１１Ｂ１，１１Ｂ３は、それぞれスクリーン４３Ｃ，４３Ｄを通して人物Ｂを撮る。
【００２８】
また、カメラ１１Ｃ１がスクリーン４３Ａの背後に配置され、カメラ１１Ｃ３がスクリーン４３Ｂの背後に配置されている。これらのカメラ１１Ｃ１，１１Ｃ３は、それぞれスクリーン４３Ａ，４３Ｂを通して人物Ｃを撮る。
【００２９】
また、カメラ１１Ｄ１がスクリーン４３Ａの背後に配置され、カメラ１１Ｄ３がスクリーン４３Ｂの背後に配置されている。これらのカメラ１１Ｄ１，１１Ｄ３は、それぞれスクリーン４３Ａ，４３Ｂを通して人物Ｄを撮る。
【００３０】
図２のカメラ１１Ａ２，１１Ｂ２，１１Ｃ２，１１Ｄ２のように、スクリーン４３の背後に配置されていないカメラ１１があってもよい。
【００３１】
顔位置姿勢計測部２１は、カメラ１１で撮られた画像における人物の顔の領域及び頭部姿勢を検出する（ステップＳ２１）。検出された顔の領域についての情報は画像切出部２２に送信され、検出された頭部姿勢についての情報は制御信号生成部２４に送信される。
【００３２】
顔位置姿勢計測部２１として、いわゆる視覚的顔追跡手段を用いることができる。顔位置姿勢計測部２１は、例えば、映像会話装置の使用を開始するときにカメラ１１により撮影された画像から各人物の正面顔画像（顔テンプレートと呼ぶ。）を記録し、その顔テンプレートを逐次、カメラ１１から入力される画像上にて照合、追跡を行う。その時、顔テンプレートに対して、画像上での並進、及び、３軸周りの回転が施された変形テンプレートが計算され、それと入力画像との輝度の差を計算し、輝度の差が最小になる画像上でのテンプレートの位置と姿勢をもって、対象人物の顔の領域、及び、頭部姿勢として、その座標値、角度値を出力する。図４（ａ）及び図４（ｂ）に、人物の顔の領域、及び、頭部姿勢を推定した結果の例を顔面上に図示されたメッシュとして表した図を示す。なお、顔位置姿勢計測部２１に入力される画像として、特定の１台のカメラ１１の画像を用いる場合の他、複数台のカメラ１１の画像を用いる構成も利用可能である。
【００３３】
このように、顔位置姿勢計測部２１は、予め入力された人物の画像から正面顔画像のテンプレートを作成し、そのテンプレートを並進及び回転させてテンプレート中の画素の輝度と、その画素と対応する上記撮られた画像中の画素の輝度との輝度差を求め、その輝度差が最小になるテンプレートの位置及び姿勢を顔の領域及び頭部姿勢とする。
【００３４】
画像切出部２２は、検出された顔の領域についての情報を用いて、顔の画像を切り出して、画像写像生成部２３に送信する（ステップＳ２２）。顔の領域についての情報が、顔の位置についての情報である場合には、画像切出部２２は、その顔の位置についての情報に基づいて、人物の顔を中心とした部分領域を切り出す。
【００３５】
このようにして、画像写像生成部２３は、撮られた画像中の、検出された顔の領域を中心とした領域を、その顔の人物の画像が投影されるスクリーンの姿勢及びそのスクリーンに投影する投影装置との位置関係に応じて写像した画像を生成する。
【００３６】
画像写像生成部２３は、スクリーン４３に投影される画像に歪みが生じないように、投影装置４１とスクリーン４３との位置関係及びスクリーン４３の姿勢に応じて、そのスクリーン４３に投影される画像中の人物の顔の領域を中心とした領域の写像（マッピング）を行うことで、投影装置４１へ入力する画像を生成する（ステップＳ２３）。ここでの投影装置４１は、他の地点の映像会話装置の投影装置４１である。生成された画像は、通信部３に送信される。
【００３７】
このマッピングは、入力された画像の座標値と、投影される画像の座標値との間の関係性についての数式に基づく。投影される画像の各画素について、対応する入力画像の座標値を計算し、その座標値から輝度を取得し、投影画像の画素の輝度に設定する操作を行うことで実施できる。図４（ｃ）に、このようにして会話人物の図４（ｂ）に示した画像に対し、写像により生成された画像の例を示す。
【００３８】
このマッピングの計算式は以下のように導出することができる。明瞭性のため、関連する複数のマッピングに分解して記述する。なお、以下においては英字の大文字（Ｘ，Ｙ，Ｚを除く）はベクトルもしくは行列を表し、小文字はスカラーを表すものとする。
【００３９】
マッピングは、スクリーン座標系上の１点Ｑからアクチュエータ座標系の１点ＰＰＴＵへの変換、アクチュエータ座標系の１点ＰＰＴＵからプロジェクタ座標系の１点Ｐｐｒｏｊへの変換、プロジェクタ座標系の１点Ｐｐｒｏｊから画像座標系の１点Ｐｉｍｇへの変換及び画像座標系の１点Ｐｉｍｇからウィンドウ座標系の１点Ｗへの変換から構成される。
【００４０】
Ｑ→ＰＰＴＵ→Ｐｐｒｏｊ→Ｐｉｍｇ→Ｗ        （１）
ただし、ウィンドウ座標系とは投影画像を生成する計算機上のフレームバッファ（あるいはウィンドウシステムを採用するＯＳ上における画像表示窓）の座標系のことである。
【００４１】
図５にこれら座標系の関係性を図示する。
【００４２】
ここで、スクリーン座標系の点Ｑを、Ｑ：＝［ｑｘ，ｑｙ］Ｔと定義する。Ｔは転置を表す。まず、スクリーン座標系の点Ｑからアクチュエータ座標系の点ＰＰＴＵ＝［ｘＰＴＵ，ｙＰＴＵ，ｚＰＴＵ］Ｔへの変換は、
ＰＰＴＵ＝Ｒθ・Ｒφ・［ｑｘ＋Δｘ，ｑｙ＋Δｙ，Δｚ］Ｔ      （２）
のように記述することができる。ただし、Ｒθは鉛直軸Ｙ’周りの回転角（パン回転角）θの回転を表す３×３の回転行列を表す。また、Ｒφは水平軸Ｘ’周りの回転角（チルト回転角）φの回転を表す３×３の回転行列を表す。（Δｘ，Δｙ，Δｚ）はアクチュエータ座標系の原点からスクリーン座標系の原点への並進成分を表す。
【００４３】
アクチュエータ座標系からプロジェクタ座標系への変換は、回転と並進からなる線形変換として、
【００４４】
【数１】
0005781017.tif 000002
【００４５】
のように記述することができる。ただし、｛ｒｉ，ｊ｜ｉ＝１，２，３；ｊ＝１，２，３｝とｔＸ，ｔＹ，ｔＺはそれぞれ回転及び並進を表す係数である。これら係数はキャリブレーションにより決定される。
【００４６】
投影装置４１の投影が透視投影であることを前提として、プロジェクタ座標系から画像座標系への変換は、
Ｐｉｍｇ＝［ｘｉｍｇ，ｙｉｍｇ］Ｔ
＝（ｆ／ｚｐｒｏｊ）・［ｘｐｒｏｊ，ｙｐｒｏｊ］Ｔ      （４）
のように記述することができる。但し、ｆは投影装置４１の焦点距離である。
【００４７】
最後に、画像座標系からウィンドウ座標系への変換は、
Ｗ＝［ｗｘ，ｗｙ］Ｔ＝［ｘｉｍｇ＋ｃｘ，−ｙｉｍｇ＋ｃｙ］Ｔ      （５）
のように記述することができる。ただし、（ｃｘ，ｃｙ）はウィンドウ座標系の原点から画像座標系の原点への並進成分を表す。これは典型的な投影装置４１の光学系が、シフトレンズを採用していることに対応する。
【００４８】
上記の式（１）から式（５）における未知の係数については、キャリブレーションを行うことで、この発明による会話映像表示システムの使用に際し、その事前に計算される。このキャリブレーションは複数のスクリーン姿勢の組（パン回転角θとチルト回転角φ）について、スクリーン４３の４つの角それぞれについて、対応するウィンドウ座標系上の座標値を目視及びマウス操作により取得する。その後、その既知の姿勢の組に対して、式（１）から式（５）により計算されるウィンドウ座標系上の座標値と、実際に取得された座標値との差をコスト関数とした最適化を行うことにより、未知係数が計算される。
【００４９】
制御信号生成部２４は、他の地点の各アクチュエータ４２を制御するための制御信号を生成する（ステップＳ２４）。生成された制御信号は、通信部３に送信される。
【００５０】
アクチュエータ４２がパン運動及びチルト運動を行う場合、制御信号生成部２４は、顔位置姿勢計測部２１により計測された頭部姿勢のデータのうち、パン角度及びチルト角度の時系列データを利用することができる。また、制御信号生成部２４は、アクチュエータ４２の物理的特性及び機械的特性を考慮するために、頭部姿勢の時系列データについて変形操作を加えることで、アクチュエータ４２に入力する制御信号を生成してもよい。変形操作の例として、時間平均などの平滑化、スケーリング、原点シフトを用いることができる。
【００５１】
画像選択部２５は、各映像会話装置が配置された地点の人物が顔を向けたカメラを複数のカメラ１１の中から選択し、その選択されたカメラで撮られた画像を各映像会話装置が配置された地点以外の地点の投影装置に投影させる（ステップＳ２５）。選択されたカメラで撮られた画像についての情報は、他の地点の映像会話装置に送信される。
【００５２】
この画像選択部２５の処理は、ある人物が複数のカメラ１１により撮影されている場合に行われる。言い換えれば、人物を撮るカメラ１１が１台である場合には、画像選択部２５の処理は行われない。また、この場合、そもそも画像選択部２５は映像会話装置に備えられていなくてもよい。
【００５３】
例えば、図２の例の場合、人物Ａの画像は、３台のカメラ１１Ａ１，１１Ａ２，１１Ａ３により撮影されている。これに対して、人物Ａの画像を投影するスクリーン４３Ａ及び投影装置４１Ａは、人物Ａが存在しない地点Ｙには１セットしか存在しないため、投影する画像を選択する必要がある。また、画像選択部２５は、その時点での状況に応じて動的に選択された画像を変化させるような処理を行う。その具体例として、画像選択部２５は、人物が顔を向けたカメラを複数のカメラ１１の中から選択する。
【００５４】
そのために、画像選択部２５は、顔位置姿勢計測部２１で計測された頭部姿勢のうち、人物の鉛直軸周りの頭部方向（パン運動の方向）の姿勢角を用いて、人物の正面方向の方位角と、人物を基準としたカメラ１１の方位角との差がもっとも小さいカメラを選択する。図３の例の場合、画像選択部２５は、人物Ａの頭部姿勢角αと、人物Ａを基準としたカメラ１１Ａ１，１１Ａ２，１１Ａ３の方位角β１，β２，β３とを比較し、その絶対差｜α−βｉ｜が最小となるカメラ１１Ａｉを選択する。つまり、画像選択部２５は、
【００５５】
【数２】
0005781017.tif 000003
【００５６】
となるカメラ１１Ａｉを選択する。なお、他の方法により、カメラ１１及び画像が選択されてもよい。
【００５７】
通信部３は、制御信号生成部２４で生成された制御信号と、画像選択部２５で生成された選択されたカメラで撮られた画像についての情報（画像情報）を、他の地点の映像会話装置に送信する（ステップＳ３）。また、通信部３は、他の地点の制御信号生成部２４で生成された制御信号と、他の地点の画像選択部２５で生成された選択されたカメラで撮られた画像についての情報とを受信して、それぞれアクチュエータ４２と投影装置４１とに送信する。
【００５８】
投影装置４１は、他の地点の映像会話装置から受信した人物の画像をスクリーン４３の背後からスクリーン４３に投影する（ステップＳ４１）。投影装置４１は、例えば液晶プロジェクタである。
【００５９】
アクチュエータ４２は、スクリーン４３を支持しており、他の地点の映像会話装置から受信した制御信号に基づいて、スクリーン４３の姿勢を制御する（ステップ４２）。
【００６０】
アクチュエータ４２は、人物の首振り方向の頭部運動を模した動きをスクリーン４３に与えるよう、鉛直軸周りの回転運動（パン運動）を生成するモータを有する。また、加えて、人物の頷き方向の頭部運動を模した動きをスクリーン４３に与えるよう、スクリーン面（スクリーン板面）と平行な水平軸周りの回転運動（チルト運動）を生成するモータを有する。
【００６１】
図６（ａ）は、投影装置４１、スクリーン４３及びアクチュエータ４２の位置関係を示したものである。アクチュエータ４２は、この例では詳細図示を省略しているが、三脚に搭載され、この三脚により支持されている。
【００６２】
図６（ｂ）は、アクチュエータ４２の外観の一例を示したものである。このアクチュエータ４２は、パン運動とチルト運動の両方を行うことができるよう、下部にパン運動用の回転モータを有し、上部にチルト運動用の回転モータを有している。
【００６３】
人物の姿勢に応じてアクチュエータ４２でスクリーン４３の姿勢をすることにより、画像上の人物の頭の動きと物理的なスクリーン４３の動きの相乗効果がうまれ、視聴者がより分かりやすく会話人物の頭部姿勢とその変化を理解することができる。
【００６４】
複数のカメラ１１の中から人物が顔を向けたカメラを選択することによる効果を、図３を用いて説明する。地点Ｘの人物Ａが、スクリーン４３Ｃに映った人物Ｃに対して顔を向けた場合、スクリーン４３Ｃ上の人物Ｃの視点から見た人物Ａの画像が選択され、地点Ｙのスクリーン４３Ａに投影される。この時、地点Ｙにいる人物Ｃが、スクリーン４３Ａを見た場合、人物Ｃに正対した人物Ａの画像を見ることができる。また同時に、人物Ｃの画像は、人物Ｃが顔を向けたスクリーン４３Ａの背後のカメラ１１Ｃ１によって撮影され、地点Ｘのスクリーン４３Ｃに投影される。これにより、人物Ａ及び人物Ｃは，相互にお互いの正面の顔画像を見合うことができる。つまり、あたかも視線が一致しているかのような印象を双方共に持つことが可能となる。
【００６５】
［変形例等］
上記の実施形態では、画像選択部２５は、画像写像生成部２３の後段に配置されており、画像写像生成部２３により生成された複数の画像を入力として、１つの画像を選択している。しかし、画像写像生成部２３は、顔位置姿勢計測部２１及び画像切出部２２の前段に配置されていてもよい。この場合、複数のカメラ１１で撮られた複数の画像の中で、画像選択部２５により選択された１つ画像について、顔位置姿勢計測部２１及び画像切出部２２の処理が行われる。
【００６６】
カメラ１１と、投影装置４１と、スクリーン４３との位置によっては、投影装置４１がスクリーン４３に向けて出射した光が、スクリーン４３で反射してカメラ１１に入射する可能性がある。これを防止するために、図７に例示するように、カメラ１１の前に偏光フィルタ５１を配置し、投影装置４１の前に偏光フィルタ５２を配置してもよい。
【００６７】
偏光フィルタ５１，５２として、円偏光フィルタを用いる場合には、偏光フィルタ５１の円偏光の回転方向と、偏光フィルタ５２の円偏光の回転方向とを逆にする。例えば、偏光フィルタ５１の円偏光を右回転とした場合には、偏光フィルタ５２の円偏光を左回転とする。一方、偏光フィルタ５１の円偏光を左回転とした場合には、偏光フィルタ５２の円偏光を右回転とする。
【００６８】
また、偏光フィルタ５１，５２として、直線偏光フィルタを用いる場合には、偏光フィルタ５１の直線偏光の角度と、偏光フィルタ５２の直線偏光の角度とを直交させる。
【００６９】
なお、投影装置４１として、液晶プロジェクタを用いる場合には、偏光フィルタ５１，５２として円偏光フィルタが用いられる。これは、液晶プロジェクタの液晶素子自体に既に直線偏光フィルタが用いられており、この直線偏光フィルタの影響を考慮したものである。
【００７０】
映像会話装置における処理手段をコンピュータによって実現する場合、映像会話装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、映像会話装置における処理手段がコンピュータ上で実現される。
【００７１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００７２】
また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい
また、この発明は上記の実施形態に限定されるものではない。また、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【符号の説明】
【００７３】
１１    カメラ
２１    顔位置姿勢計測部
２２    画像切出部
２３    画像写像生成部
２４    制御信号生成部
２５    画像選択部
４１    投影装置
４２    アクチュエータ
４３    スクリーン
５１，５２      偏光フィルタ
【図１】
0005781017.tif 000004
【図２】
0005781017.tif 000005
【図３】
0005781017.tif 000006
【図４】
0005781017.tif 000007
【図５】
0005781017.tif 000008
【図６】
0005781017.tif 000009
【図７】
0005781017.tif 000010
【図８】
0005781017.tif 000011