(57)【要約】      （修正有）【課題】映像コミュニケーションシステムを用いて多人数で対話をする場合、複数の利用者の位置関係、顔の向きに基づいて表示画像を加工することによって円滑なコミュニケーションを図る。【解決手段】ネットワークを介して接続された主地点装置１００、及び従地点装置２００は、撮像された画像の顔の位置、及び向きを算出し、算出結果に基づいて画像を変形し、相手装置に送信する。画像を受信した装置は画像と背景画像を利用者の位置関係、顔の向きに基づいて合成し、表示する。【選択図】図１
2014233045.tif 000002
【特許請求の範囲】
【請求項１】
対話の相手であるユーザの向きを取得する取得部と、
取得された前記向きに基づいて前記ユーザの映像を加工する加工部と、
加工された前記映像を表示する表示部と、
を備える映像表示システム。
【請求項２】
前記加工部は、前記向きが画面方向を向いている場合に前記映像の前記ユーザが含まれない領域の透明度を変化させる請求項１に記載の映像表示システム。
【請求項３】
前記加工部は、前記向きが画面方向を向いている場合に前記映像の枠の色を変化させる請求項１に記載の映像表示システム。
【請求項４】
前記加工部は、前記向きが画面方向を向いている場合に前記映像の前記ユーザが含まれない領域、及び、前記領域の枠に対してぼかし処理を行う請求項１に記載の映像表示システム。
【請求項５】
対話の相手であるユーザの向きを取得する取得ステップと、
取得された前記向きに基づいて前記ユーザの映像を加工する加工ステップと、
加工された前記映像を表示する表示ステップと、
を有する映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コミュニケーション技術に関する。
【背景技術】
【０００２】
従来、複数のユーザが参加して議論や会話を行うシステムとして、テレビ会議システムが利用されている。テレビ会議システムでは、固定された単一のカメラによって撮影されたユーザの映像を対話の相手に伝送することで、複数ユーザ間で議論や会話などが行われる。しかし、このような方法では、ユーザの視線方向が対話の相手に伝わりづらいという問題がある。このような問題に対して、多方向から複数のカメラでユーザを撮影することで、ユーザの視線方向を対話の相手に伝達し、自然にコミュニケーションを行えるようにする技術が提案されている（例えば、非特許文献１参照）。また、単一のカメラを用いてユーザ側と対話の相手側とのインターフェースとして使用される窓枠を持つユーザを撮影し、対話の相手が見ている画面上にユーザの空間を窓枠内に表示する映像コミュニケーション技術も提案されている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Vertegaal, R., et al., “GAZE-2: conveying eye contact in group video conferencing using eye-controlled camera direction”, CHI ‘03, pp. 521-528. 2002.
【非特許文献２】藤田真吾、吉野考、「重畳表示型ビデオチャットにおける枠の３次元的な移動と存在の効果」、情報処理学会
【発明の概要】
【発明が解決しようとする課題】
【０００４】
対話において、相手の視線方向、興味方向がわかることは、自然な会話のしやすさや、相手の興味を把握できることによる円滑な会話に影響し重要である。従来の多人数による映像コミュニケーションシステムでは、事前に認識のある相手との会話や、映像コミュニケーションシステムを使ったことがあり、十分に習熟した状態での１対１の会話は容易である。しかし、画面の正面位置以外に位置する相手や、複数の利用者の位置関係、及び、視線方向を認識することは困難である。
【０００５】
また、非特許文献１の技術では、ユーザを複数方向に設置したカメラで撮影し、各ユーザの視線方向に応じてユーザの映像を表示する窓枠の方向を変更することによって、ユーザの視線方向を対話の相手に伝達している。そのため、撮影するカメラの位置が固定されており、ユーザ同士の位置関係が既知な状態でしかコミュニケーション環境を実現することができない。さらに、端末装置（例えば、スマートフォンやタブレット端末）などの小型のデバイスを用いた環境では、カメラを複数台準備することが困難という問題もある。  また、非特許文献２の技術では、窓枠を画面上に表示することにより、ユーザと対話の相手とが明らかに異なる空間に存在していることを互いに認識してしまう。さらに、実空間での作業領域と画面上での観察位置とのずれにより明確な指示や視線を伝えることが困難であった。そのため、円滑なコミュニケーションが図れないという問題があった。
【０００６】
上記事情に鑑み、本発明は、円滑なコミュニケーションを図ることを可能にする技術の提供を目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、対話の相手であるユーザの向きを取得する取得部と、取得された前記向きに基づいて前記ユーザの映像を加工する加工部と、加工された前記映像を表示する表示部と、を備える映像表示システムである。
【０００８】
本発明の一態様は、上記の映像表示システムであって、前記加工部は、前記向きが画面方向を向いている場合に前記映像の前記ユーザが含まれない領域の透明度を変化させる。
【０００９】
本発明の一態様は、上記の映像表示システムであって、前記加工部は、前記向きが画面方向を向いている場合に前記映像の枠の色を変化させる。
【００１０】
本発明の一態様は、上記の映像表示システムであって、前記加工部は、前記向きが画面方向を向いている場合に前記映像の前記ユーザが含まれない領域、及び、前記領域の枠に対してぼかし処理を行う。
【００１１】
本発明の一態様は、対話の相手であるユーザの向きを取得する取得ステップと、取得された前記向きに基づいて前記ユーザの映像を加工する加工ステップと、加工された前記映像を表示する表示ステップと、を有する映像表示方法である。
【発明の効果】
【００１２】
本発明により、円滑なコミュニケーションを図ることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態における映像表示システムのシステム構成を示すブロック図である。
【図２】人物の顔位置の座標に基づいて画像を変形する具体的な方法を示す図である。
【図３】顔位置変形画像の具体例を示す図である。
【図４】背景領域の透明度を変化させた場合の具体例を示す図である。
【図５】対話の相手の画像を仮想空間内に配置した例を示す図である。
【図６】画像の周囲に色を付けた枠を表示する具体例を示す図である。
【図７】背景領域、及び、縁の領域をぼかした画像の具体例を示す図である。
【図８】本実施形態による映像コミュニケーションシステムを用いて各拠点にいるユーザが主地点にある物体を観察し、対話する様子を示す図である。
【図９】本実施形態における映像表示システムの動作の流れを示すシーケンス図である。
【図１０】本実施形態における映像表示システムの動作の流れを示すシーケンス図である。
【発明を実施するための形態】
【００１４】
本実施形態の映像表示システムでは、対話の相手が注目している方向に応じて、相手の映像が変化する。そのため、対話の相手が注目している方向が分かり、円滑なコミュニケーションを図ることができる。以下、本発明の一実施形態の詳細について説明する。
【００１５】
図１は、本実施形態における映像表示システムのシステム構成を示すブロック図である。本発明の映像表示システムは、主地点に設置されている主地点装置１００と、従地点に設置されている従地点装置２００とをネットワークを介して接続して構成される。主地点は、画像生成部１０６を有している地点である。画像生成部１０６は、ユーザ間で共有される背景画像を生成する。各装置（主地点装置１００及び従地点装置２００）には、画像生成部１０６によって生成された背景画像と各ユーザの映像とが表示される。従地点は１以上存在し、画像生成部１０６を有していない地点である。以下では、主地点にいるユーザをユーザＡ、従地点にいるユーザをユーザＢとして説明する。
【００１６】
主地点装置１００の機能構成を説明する。主地点装置１００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、主地点プログラムを実行する。主地点プログラムの実行によって、主地点装置１００は、撮像部１０１、顔位置取得部１０２、画像変形部１０３、通信部１０４、領域分割部１０５、画像生成部１０６、位置方向算出部１０７、判断部１０８、加工部１０９、映像空間生成部１１０、表示部１１１を備える装置として機能する。なお、主地点装置１００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、主地点プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、主地点プログラムは、電気通信回線を介して送受信されてもよい。
【００１７】
撮像部１０１は、主地点のユーザＡ及び背景を含む画像を撮影する。撮像部１０１は、撮影した画像を顔位置取得部１０２に出力する。
顔位置取得部１０２は、撮像部１０１によって撮影された画像から人物（ユーザＡ）の顔位置の座標値を取得する。顔の位置を取得する手法としては、以下の参考文献１に記載されている技術が用いられてもよい。参考文献１：Paul Viola and Michael J. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. IEEE CVPR, 2001.
【００１８】
画像変形部１０３は、取得された人物の顔位置の座標値に基づいて顔位置変形画像を生成する。具体的には、画像変形部１０３は、取得された顔位置の座標が強調されるように変形して顔位置変形画像を生成する。画像を変形する方法としては、画像の左端と右端とを基準点とし、顔位置の座標を制御点としたベジェ曲線などの変形方法が用いられてもよい。
【００１９】
以下、画像変形部１０３の処理について図２を用いて具体的に説明する。図２は、人物の顔位置の座標に基づいて画像を変形する具体的な方法を示す図である。
図２（Ａ）は、ユーザが撮像されている画像、及び、座標系を示す図である。図２（Ａ）に示すように画像の左端をＡ、右端をＢとする。Ａは、画像の左端の座標であり、Ａ（ｘ＿Ａ，ｙ＿Ａ）で表される。なお、ｘ＿Ａという表記は、Ａがｘの下付き文字であることを表す。ｙ＿Ａという表記は、Ａがｙの下付き文字であることを表す。また、Ｂは、画像の右端の座標であり、Ｂ（ｘ＿Ｂ，ｙ＿Ｂ）で表される。なお、ｘ＿Ｂという表記は、Ｂがｘの下付き文字であることを表す。ｙ＿Ｂという表記は、Ｂがｙの下付き文字であることを表す。なお、ｘ＿Ａ＜ｘ＿Ｂ、ｙ＿Ａ＜ｙ＿Ｂである。また、図２（Ａ）に示される座標系は、横方向をｘ軸、縦方向をｚ軸、奥行き方向をｙ軸と表される。
【００２０】
画像変形部１０３は、画像の左端Ａと右端Ｂとを基準点とし、画像中の１点、例えば、画像中の人物の顔の中心位置や、左目と右目の中点を制御点とする２次のベジェ曲線に沿って画像を変形する。画像中から判別された人物の顔の中心座標をＣ１（ｘ＿Ｃ１，ｚ＿Ｃ１）で表す。ｘ＿Ｃ１という表記は、Ｃ１がｘの下付き文字であることを表す。ｚ＿Ｃ１という表記は、Ｃ１がｚの下付き文字であることを表す。
【００２１】
そして、図２（Ｂ）に示すように、Ｃはｘ−ｙ平面上で線分ＡＢの中点に４５度、及び、３１５度の角度で交わる直線上の点であり、Ｃのｘ座標を画像中の人物の顔の位置のｘ座標として表す。画像変形部１０３は、式（１）のｘ＿Ｃにｘ＿Ｃ１を代入することによって、ｙ＿Ｃを算出する。なお、ｘ＿Ｃという表記は、ｘの下付き文字としてＣがあることを表す。ｙ＿Ｃという表記は、ｙの下付き文字としてＣがあることを表す。その後、画像変形部１０３は、算出したｙ＿Ｃを式（１）に代入することによって、ｘ＿Ｃを算出する。画像変形部１０３は、このような処理を行うことによって、Ｃ（ｘ＿Ｃ、ｙ＿Ｃ）を算出する。
【００２２】
【数１】
2014233045.tif 000003
３点Ａ、Ｂ、Ｃのｘ座標、ｙ座標を算出後、画像変形部１０３は、Ａを始点、Ｂを終点、Ｃを制御点とする２次のベジェ曲線上の点Ｐ（ｘ＿Ｐ、ｙ＿Ｐ）を式（２）及び式（３）に基づいて算出する。なお、ｘ＿Ｐという表記は、Ｐがｘの下付き文字であることを表す。ｙ＿Ｐという表記は、Ｐがｙの下付き文字であることを表す。
【００２３】
【数２】
2014233045.tif 000004
【数３】
2014233045.tif 000005
なお、式（２）及び式（３）のｔは０から１に増加する媒介変数であり、式（４）で表される。また、式（４）のＸは、撮像された画像中の画像列の位置Ｘに対応する。画像変形部１０３は、画像列の位置Ｘに対応したＰを求めることで得られた曲線上に沿って画像を変形し配置する。
【数４】
2014233045.tif 000006
【００２４】
図３に、顔位置変形画像の具体例を示す。図３に示すように、人物の顔位置が強調されるように画像が変形されていることがわかる。
画像変形部１０３は、顔位置変形画像を生成後、ユーザＡの視線方向に合わせて顔位置変形画像を回転する。なお、画像を変形させる方法は、上述の方法に限定される必要はない。例えば、画像中の人物の視点位置や眼球位置、頭部位置などを用いて画像を変形することで、人物の位置や人物の視線方向の伝達を補強することができる。
【００２５】
通信部１０４は、従地点装置２００との間でデータの送受信を行う。通信部１０４は、例えば画像変形部１０３によって生成された顔位置変形画像データを従地点装置２００に送信する。また、例えば通信部１０４は、従地点装置２００から顔位置変形画像データを受信する。
領域分割部１０５は、他の地点（例えば、従地点装置２００）の画像変形部２０３で生成された顔位置変形画像に対して領域分割を行う。具体的には、領域分割部１０５は、受信された顔位置変形画像から、事前に取得しておいた背景領域と人物領域の情報との差分を取ることで、人物領域と背景領域とを分割する。人物領域とは、画像内の手前に撮像されている人物の領域である。背景領域とは、人物領域以外の領域である。背景領域の具体例として、壁などがある。また、領域分割部１０５は、上述の参考文献１などの人物領域を判別する方法で人物領域と背景領域とを判別し、領域分割を行ってもよい。領域分割部１０５は、人物領域の画像と背景領域の画像とを加工部１０９に出力する。
【００２６】
画像生成部１０６は、主地点とする空間をカメラで事前に撮影し、仮想空間の人物を取り囲むように用意した半球面または多面体に貼り付けた背景画像（以下、「仮想空間環境」という。）を生成する。仮想空間環境の生成には、事前に準備した静止カメラ画像を用いることや、事前に撮影した映像を用いることもできる。さらに、多数のユーザで共有する環境に対して複数のカメラを設置することにより、実時間の映像を用いることも可能である。
【００２７】
位置方向算出部１０７は、各地点の環境（背景画像）に対するユーザの視点の位置と視線方向を取得する。また、位置方向算出部１０７は、ディスプレイの位置と方向とを取得する。３次元位置を取得する方法としては、例えば複数のカメラにより３次元位置を計測する装置や、磁気を用いて３次元位置を計測する装置などを用いる方法がある。具体的には、位置方向算出部１０７は、画像中の人物の頭部位置と人物の両眼の位置から環境に対するユーザＡの視点の位置と視線方向を算出する。
【００２８】
３次元位置の基準となる原点（基準点）については，システムの開始時にユーザＡが設定した点を用いてもよいし、予め設定されている値を基準点としてもよい。また、基準点は、システム稼働中においても再設定可能である。視点の位置は、基準点とユーザの間の距離、及び、環境に対するユーザの方向を表す。また、ユーザやユーザの周囲に取り付けられた３次元位置センサを用いて、基準点に対するユーザの視点の位置と視線方向を取得してもよい。
【００２９】
また、位置方向算出部１０７は、環境に対する主地点（ユーザＡ）のディスプレイの位置を取得する。ディスプレイの位置は、基準点に対するディスプレイの上端、下端、左端、右端との距離、及び、基準点に対するディスプレイの方向を示す。この位置の取得には、例えば、画像処理、位置センサ、超音波、赤外光センサなどを用いることができる。
位置方向算出部１０７は、人物の位置に対するディスプレイの位置に応じてコミュニケーション環境中のどの部分をユーザ（ユーザＡ）が観察しているかを検出し、検出結果を映像空間生成部１１０、加工部１０９及び従地点装置２００に出力する。
【００３０】
判断部１０８は、他の地点（例えば、従地点）の位置方向算出部２０６によって算出されたユーザＢの視線方向に対して、人物や物体などの観察対象が存在するか否かを判断する。観察対象とは、会話に参加している人物や会話の議題に挙がっている物体である。
加工部１０９は、判断部１０８の判断結果に基づいてユーザＢが撮像されている画像を加工する。具体的には、ユーザＢの視線方向に対して観察対象が存在する場合、加工部１０９はユーザＢが撮像されている画像の背景領域を加工する。加工方法の具体例として、３つの処理方法がある。例えば、背景領域の透明度を変化させる処理や画像の周囲に色を付けた枠を表示させる処理や背景領域、及び、画像の周囲の枠をぼかす処理などがある。一方、ユーザＢの視線方向に対して観察対象が存在しない場合、加工部１０９は加工を行わない。
【００３１】
ユーザの興味や関心については、ユーザの視線方向に観察対象が存在することにより判断できる。また、遠隔地から参加するユーザ側から明示的に関心の程度、興味の程度をボタンやスライドバーなどの操作により変更することで自発的に程度を操作することもできる。
【００３２】
以下、加工部１０９の処理の具体例として、３つの処理について説明する。
（１．背景領域の透明度を変化させる処理）
対話の相手の視線方向に対して会話に参加している人物や会話の議題に挙がっている物体などの観察対象が存在する場合、加工部１０９は対話の相手の画像の背景領域の透明度を変化させる。具体的には、加工部１０９は背景領域の透明度を高くする。この処理が行われることにより、ユーザに対して対話の相手のみの映像が仮想空間内に表示されているように感じさせることができる。これにより、仮想空間内における対話の相手の存在感を高めることができる。そのため、コミュニケーションを図りやすくなる。一方、対話の相手の視線方向に対して観察対象が存在しない場合、加工部１０９は対話の相手の画像の背景領域の透明度を変化しない。したがって、仮想空間内に対話の相手の映像と背景領域とが表示される。図４に、背景領域の透明度を変化させた場合の具体例を示す。
【００３３】
図４は、背景領域の透明度を変化させた場合の具体例を示す図である。
図４に示されるように図４（Ａ）、図４（Ｂ）、図４（Ｃ）の順に透明度が高くなっている。図４（Ａ）は、透明度を変化させていない画像を示す図である。図４（Ａ）は、透明度を変化させていないため、対話の相手の領域と背景領域とが明確に表示されている。図４（Ｂ）は、図４（Ａ）に比べて背景領域の透明度が高い画像を示す図である。図４（Ｂ）は、図４（Ａ）に比べて透明度が高いため、背景領域の色合いが図４（Ａ）に比べて薄い。図４（Ｃ）は、図４（Ｂ）に比べて背景領域の透明度が高い画像を示す図である。図４（Ｃ）は、図４（Ｂ）に比べて透明度が高いため、背景領域の色合いが図４（Ｂ）に比べて薄い。図４に示されるように透明度が高くなると、背景領域の色合いが低くなり、対話の相手のみの映像が仮想空間内に表示されているように感じさせることができる。
【００３４】
図５は、対話の相手の画像を仮想空間内に配置した例を示す図である。
図５に示すように、仮想空間内には、２つの画像１０、２０が配置されている。画像１０は、対話の相手の領域と背景領域とが明確に表示されている。そのため、仮想空間内に別空間が存在しているように感じられる。一方、画像２０は、画像１０に比べて背景領域の色合いが薄いため、対話の相手のみの映像が仮想空間内に表示されているように感じられる。
【００３５】
（２．画像の周囲に色を付けた枠を表示する処理）
対話の相手の視線方向に対して観察対象が存在する場合、加工部１０９は対話の相手の画像の枠の色を変化させる。一方、対話の相手の視線方向に対して観察対象が存在しない場合、加工部１０９は対話の相手の画像の枠の色を変化させない。図６に、画像の周囲に色を付けた枠を変化させた場合の具体例を示す。
【００３６】
図６は、画像の周囲に色を付けた枠を表示する具体例を示す図である。
図６には、２枚の画像が配置されている。加工部１０９は、対話の相手の視線方向に対して観察対象が存在する場合に、仮想空間に配置されている画像（例えば、画像３０）の枠の色を変化させる。例えば、加工部１０９は、画像の枠の色を緑に変化させる。また、例えば、加工部１０９は、画像の枠の色を赤に変化させる。このような処理が行われることにより、ユーザは、対話の相手の状態を一見して理解することができる。
【００３７】
（３．背景領域、及び、縁の領域をぼかして表現する処理）
対話の相手の視線方向に対して観察対象が存在する場合、加工部１０９は対話の相手の画像の背景領域、及び、背景領域の縁にぼかし処理を行う。一方、対話の相手の視線方向に対して観察対象が存在しない場合、加工部１０９はぼかし処理を行わない。図７に、背景領域、及び、縁の領域をぼかした場合の具体例を示す。
【００３８】
図７は、背景領域、及び、縁の領域をぼかした画像の具体例を示す図である。
図７（Ａ）から図７（Ｃ）に示されるように、仮想空間内に配置されている対話の相手の画像の背景領域、及び、背景領域の縁に対してぼかし処理が行われている。このような処理が行われることにより、対話の相手の領域と仮想空間の領域との接合の度合いを高め、同じ空間に存在しているように感じさせることができる。また、この処理については、上述した透明度を変化させる処理や背景領域の枠に色を付けて表示する処理を組み合わせて実行されてもよい。
【００３９】
以上で、加工部１０９の処理の具体例についての説明を終了する。
なお、上述した３つの処理は、ユーザの設定により任意に変更することができる。
【００４０】
映像空間生成部１１０は、加工部１０９の出力結果である画像、位置方向算出部１０７の出力結果である他の地点（例えば、従地点）の映像、及び、他の地点に位置するユーザＢにおける視点の位置と視点方向（３次元座標位置）を用いて、仮想空間環境内に他の地点のユーザの画像を配置することで人物の映像を含んだ仮想空間環境を生成する。
【００４１】
表示部１１１は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１１１は、生成された主地点のユーザＡ用の映像をディスプレイに表示する。具体的には、表示部１１１は、映像空間生成部１１０によって生成された３次元の仮想空間環境を、自地点であるユーザＡにおける視線の位置と視線方向に基づいて、２次元のスクリーン上に透視投影変換し描画結果をディスプレイ上に表示する。
【００４２】
次に、従地点装置２００の機能構成を説明する。従地点装置２００は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、従地点プログラムを実行する。従地点プログラムの実行によって、従地点装置２００は、撮像部２０１、顔位置取得部２０２、画像変形部２０３、通信部２０４、領域分割部２０５、位置方向算出部２０６、判断部２０７、加工部２０８、映像空間生成部２０９、表示部２１０を備える装置として機能する。なお、従地点装置２００の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、従地点プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、主地点プログラムは、電気通信回線を介して送受信されてもよい。
【００４３】
撮像部２０１は、従地点のユーザＢ及び背景を含む画像を撮影する。撮像部２０１は、撮影した画像を顔位置取得部２０２に出力する。
顔位置取得部２０２は、顔位置取得部１０２と同様の処理により、撮像部２０１によって撮影された画像から人物（ユーザＢ）の顔位置の座標値を取得する。
【００４４】
画像変形部２０３は、画像変形部１０３と同様の処理により、取得されたユーザＢの顔位置の座標値に基づいて顔位置変形画像を生成する。
通信部２０４は、主地点装置１００との間でデータの送受信を行う。また、通信部２０４は、他の従地点装置２００との間でデータの送受信を行う。
【００４５】
領域分割部２０５は、領域分割部１０５と同様の処理により、他の地点（例えば、主地点装置１００）の画像変形部１０３で生成された顔位置変形画像に対して領域分割を行う。
位置方向算出部２０６は、予め決められた従地点内の基準点に対する従地点のユーザＢの視点の位置と視線方向を取得する。また、位置方向算出部２０６は、基準点に対する従地点（ユーザＢ）のディスプレイの位置を取得する。ディスプレイは、物体やユーザＡなど任意の視線方向に設置され、移動可能である。
【００４６】
判断部２０７は、他の地点（例えば、主地点）の位置方向算出部１０７によって算出されたユーザＡの視線方向に対して、人物や物体などの観察対象が存在するか否かを判断する。
加工部２０８は、判断部２０７の判断結果に基づいてユーザＡが撮像されている画像を加工する。
【００４７】
映像空間生成部２０９は、加工部１０９の出力結果である画像、位置方向算出部１０７の出力結果である他の地点（例えば、主地点）の画像及び他の地点に位置するユーザＡにおける観察位置と方向（３次元座標位置）を用いて、仮想空間環境内に他の地点のユーザの画像を配置することで人物の映像を含んだ仮想空間環境を生成する。
【００４８】
表示部２１０は、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ等の画像表示装置である。表示部２１０は、映像空間生成部２０９によって生成された従地点のユーザＢ用の映像をディスプレイに表示する。具体的には、表示部２１０は、映像空間生成部２０９によって作成された３次元の仮想空間環境を、自地点であるユーザＢにおける視線の位置と視線方向に基づいて、２次元のスクリーン上に透視投影変換し描画結果をディスプレイ上に表示する。
【００４９】
図８は、本発明の映像表示システムを用いて、主地点、従地点１、従地点２の３地点にいる３人のユーザが主地点にある物体を観察し、対話する様子を示す図である。
符号３００は、仮想空間における物体と主地点のユーザ、従地点１のユーザ及び従地点２のユーザの位置関係を示している。また、符号３０１は主地点の様子であり、符号３０２は従地点１の様子である。主地点、及び、従地点１のそれぞれにおいて、ユーザは大型のディスプレイを用いて物体と対話の相手の様子を観察している。符号３０３は、従地点２の様子であり、ユーザは、タブレット型の端末を用いて物体と相手の様子を観察している。各拠点のユーザは、ディスプレイに表示されている映像により、物体を中心とした仮想空間における他の対話の相手の表示位置や、顔の表情、視線及び体の向きによって表される視線方向を一目で把握できる。
【００５０】
このように、本発明の映像表示システムは、ユーザが利用するディスプレイの大きさや、ユーザとの距離や角度に応じた表現で対話の相手の映像を表示させ、さらには、人物と物体や空間を連続的に表現することで、コミュニケーションを活性化することができる。
【００５１】
図９及び図１０は、本実施形態における映像表示システムの動作の流れを示すシーケンス図である。なお、図９及び図１０では、説明の簡単化のため、主地点装置１００と１つの従地点装置２００が存在する２地点の場合について説明する。まず、図９を用いて主地点装置１００に映像を表示させる具体例について説明する。
まず、従地点装置２００の撮像部２０１は、従地点のユーザＢ及び背景を含んだ画像を撮影する（ステップＳ１０１）。顔位置取得部２０２は、撮影された画像から人物の顔位置の座標値を取得する（ステップＳ１０２）。画像変形部２０３は、取得された人物の顔位置の座標に基づいて、撮影された画像を変形することによって顔位置変形画像を生成する（ステップＳ１０３）。
【００５２】
位置方向算出部２０６は、環境に対するユーザＢの視点の位置や視線方向を取得する。また、位置方向算出部２０６は、環境に対する従地点のディスプレイの位置を取得する（ステップＳ１０４）。位置方向算出部２０６は、取得したユーザＢの視点の位置や視線方向、及び、ディスプレイの位置を表示部２１０に出力する。また、位置方向算出部２０６は、取得したユーザＢの視点の位置や視線方向、及び、ディスプレイの位置を通信部２０４に出力する。通信部２０４は、生成された顔位置変形画像データ、ユーザＢの視点の位置や視線方向、及び、ディスプレイの位置を主地点装置１００に送信する（ステップＳ１０５）。
【００５３】
主地点装置１００の通信部１０４は、従地点装置２００から送信された情報を受信する（ステップＳ１０６）。通信部１０４は、受信した情報からユーザＢの顔位置変形画像データ、ユーザＢの視点の位置や視線方向、及び、ディスプレイの位置を取得する（ステップＳ１０７）。加工部１０９は、判断部１０８の判断結果に基づいてユーザＢが撮像されている顔位置変形画像を加工する（ステップＳ１０８）。映像空間生成部１１０は、加工部１０９の出力結果である画像、位置方向算出部２０６の出力結果である他の地点（例えば、従地点）の画像、及び、他の地点に位置するユーザＢにおける視点の位置と視線方向（３次元座標位置）を用いて、仮想空間環境内に他の地点のユーザＢの画像を配置することで人物の映像を含んだ仮想空間環境を生成する（ステップＳ１０９）。位置方向算出部１０７は、環境に対するユーザＡの視点の位置、及び、視線方向を取得する。表示部１１１は、取得された主地点のユーザＡの視点の位置、及び、視線方向に基づいて、２次元のスクリーン上に透視投影変換することによって映像空間生成部１１０によって生成された仮想空間環境をディスプレイに表示する（ステップＳ１１０）。
【００５４】
次に、図１０を用いて従地点装置２００に映像を表示させる具体例について説明する。
まず、主地点装置１００の撮像部１０１は、主地点のユーザＡ及び背景を含んだ画像を撮影する（ステップＳ２０１）。顔位置取得部１０２は、撮影された画像から人物の顔位置の座標値を取得する（ステップＳ２０２）。画像変形部１０３は、取得された人物の顔位置の座標に基づいて、撮影された画像を変形することによって顔位置変形画像を生成する（ステップＳ２０３）。
【００５５】
位置方向算出部１０７は、環境に対するユーザＡの視点の位置や視線方向を取得する。また、位置方向算出部１０７は、環境に対する主地点のディスプレイの位置を取得する（ステップＳ２０４）。位置方向算出部１０７は、取得したユーザＡの視点の位置や視線方向、及び、ディスプレイの位置を表示部１１１に出力する。また、位置方向算出部１０７は、取得したユーザＡの視点の位置や視線方向、及び、ディスプレイの位置を通信部１０４に出力する。通信部１０４は、生成された顔位置変形画像データ、ユーザＡの視点の位置や視線方向、及び、ディスプレイの位置を従地点装置２００に送信する（ステップＳ２０５）。
【００５６】
従地点装置２００の通信部２０４は、主地点装置１００から送信された情報を受信する（ステップＳ２０６）。通信部２０４は、受信した情報からユーザＡの顔位置変形画像データ、ユーザＡの視点の位置や視線方向、及び、ディスプレイの位置を取得する（ステップＳ２０７）。加工部２０８は、判断部２０７の判断結果に基づいてユーザＡが撮像されている顔位置変形画像を加工する（ステップＳ２０８）。映像空間生成部２０９は、加工部２０８の出力結果である画像、位置方向算出部１０７の出力結果である他の地点（例えば、主地点）の画像、及び、他の地点に位置するユーザＡにおける視点の位置と視線方向（３次元座標位置）を用いて、仮想空間環境内に他の地点のユーザＡの画像を配置することで人物の映像を含んだ仮想空間環境を生成する（ステップＳ２０９）。位置方向算出部２０６は、環境に対するユーザＢの視点の位置、及び、視線方向を取得する。表示部２１０は、取得した従地点のユーザＢの視点の位置、及び、視線方向に基づいて、２次元のスクリーン上に透視投影変換することによって映像空間生成部２０９によって生成された仮想空間環境をディスプレイに表示する（ステップＳ２１０）。
【００５７】
以上のように構成された映像表示システムによれば、複数の利用者が同じ空間を共有し、自由な位置関係を取りながらコミュニケーションを取ることができる。具体的には、ユーザの視線方向に対して、他のユーザや物体などが存在するかに応じて表示されているユーザの背景領域が加工される。したがって、ユーザは、画面に表示されている他のユーザの画像を見るだけで容易にそのユーザの状態を把握することができる。そのため、円滑なコミュニケーションを図ることができる。
【００５８】
また、画像変形部１０３及び２０３が、取得された画像中のユーザの顔位置に基づいて２次元の画像を変形し顔位置変形画像を生成する。その後、生成された画像が仮想空間内に表示されることにより、各ユーザの視線方向を容易に伝達することが可能になる。
また、ユーザの観察位置や視線方向に応じて、仮想空間中に人物を配置することにより、１つの空間を共有することができる。また、ユーザが観察したい空間中の人物や物体が存在する際には、ユーザが移動したり、ディスプレイの向きを変更するだけで用に所望の映像を見ることが可能になる。
【００５９】
＜変形例＞
主地点装置１００は、撮像部１０１に代えて画像取得部を備えるように構成されてもよい。画像取得部は、主地点装置１００の周囲に設置された１つの固定カメラから、ユーザＡ及び背景を含む画像を取得する。従地点装置２００は、撮像部２０１に代えて画像取得部を備えるように構成されてもよい。画像取得部は、従地点装置２００の周囲に設置された１つの固定カメラから、ユーザＢ及び背景を含む画像を取得する。
【００６０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６１】
１００…主地点装置，  ２００…従地点装置，  １０１…撮像部，  １０２…顔位置取得部，  １０３…画像変形部，  １０４…通信部，  １０５…領域分割部，  １０６…画像生成部，  １０７…位置方向算出部，  １０８…判断部，  １０９…加工部，  １１０…映像空間生成部，  １１１…表示部，  ２０１…撮像部，  ２０２…顔位置取得部，  ２０３…画像変形部，  ２０４…通信部，  ２０５…領域分割部，  ２０６…位置方向算出部，  ２０７…判断部，  ２０８…加工部，  ２０９…映像空間生成部，  ２１０…表示部
【図１】
2014233045.tif 000007
【図８】
2014233045.tif 000008
【図９】
2014233045.tif 000009
【図１０】
2014233045.tif 000010
【図２】
2014233045.tif 000011
【図３】
2014233045.tif 000012
【図４】
2014233045.tif 000013
【図５】
2014233045.tif 000014
【図６】
2014233045.tif 000015
【図７】
2014233045.tif 000016