(57)【特許請求の範囲】
【請求項１】
表示装置の前方に位置するユーザを撮影した撮影画像を撮像装置から入力される撮影画像入力部と、
前記撮影画像から前記ユーザの顔を検出し、前記顔の位置を示す位置情報を生成する検出部と、
前記ユーザが指示物体により指示す位置を特定可能な情報と前記ユーザを識別可能な情報を有する指示画像を生成する指示画像生成部と、
前記表示装置に表示されるコンテンツ画像に前記位置情報に基づき前記指示画像を重畳させた重畳画像を生成する重畳画像生成部と、
前記重畳画像を前記表示装置に表示させる表示制御部と、
通信回線を通じて接続された他の情報処理装置により前記重畳画像を表示させるために、少なくとも前記撮影画像を前記他の情報処理装置に送信する送信部と
を備える情報処理装置。
【請求項２】
前記検出部は、前記指示物体を検出し、前記指示物体の位置を示す位置情報をさらに生成し、
前記指示画像生成部は、前記位置情報に基づき特定された前記指示物体の位置を示す情報と、前記ユーザを識別可能な情報を有する指示画像を生成する、請求項１に記載の情報処理装置。
【請求項３】
前記重畳画像生成部は、前記撮影画像内で前記ユーザが指示すことができる所定範囲を前記コンテンツ画像の範囲に対応させて、前記コンテンツ画像に前記位置情報に基づき前記指示画像を重畳させた重畳画像を生成する、請求項２に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記撮影画像の範囲を前記コンテンツ画像の範囲に対応させて、前記コンテンツ画像に前記位置情報に基づき前記指示画像を重畳させた重畳画像を生成する、請求項１に記載の情報処理装置。
【請求項５】
前記指示画像は、前記位置情報に基づき前記撮影画像の鏡面画像から前記指示物体と前記ユーザの顔を含むように特定された画像である、請求項４に記載の情報処理装置。
【請求項６】
前記指示画像は、前記特定された画像から背景画像を除いた画像である、請求項５に記載の情報処理装置。
【請求項７】
前記検出されたユーザの顔から前記ユーザを認識する認識部をさらに備え、
前記指示画像は、前記位置情報に基づき特定された前記指示物体の位置を示す情報と、前記認識されたユーザを示す情報を有する画像である、請求項３に記載の情報処理装置。
【請求項８】
前記指示物体の形状を認識する認識部をさらに備え、
前記指示画像は、第１形状が認識されたときと第２形状が認識されたときとの間で互いに異なる画像である、請求項３に記載の情報処理装置。
【請求項９】
前記検出部は、複数のユーザに対応する指示物体と顔が検出されたとき、前記複数のユーザについて、前記指示物体と前記顔を検出する、請求項３に記載の情報処理装置。
【請求項１０】
前記検出部は、前記撮影画像中に前記複数のユーザに対応する指示物体と顔が検出されたとき、前記検出された顔の領域が最大となるユーザについて、前記指示物体と前記顔を検出する、請求項９に記載の情報処理装置。
【請求項１１】
他のユーザを撮影した撮影画像を前記他の情報処理装置から受信する受信部をさらに備え、
前記指示画像生成部は、前記他のユーザが指示物体により指示す位置を特定可能な情報と前記他のユーザを識別可能な情報を有する指示画像を生成し、
前記重畳画像生成部は、前記表示装置に表示される前記コンテンツ画像に、前記他のユーザの顔の位置を示す位置情報に基づき前記他のユーザの指示画像を少なくとも重畳させた重畳画像を生成する、請求項１に記載の情報処理装置。
【請求項１２】
前記重畳画像生成部は、前記表示装置に表示される前記コンテンツ画像に、前記位置情報に基づき前記ユーザの指示画像を重畳させるとともに、前記他のユーザの指示画像を重畳させた重畳画像を生成する、請求項１１に記載の情報処理装置。
【請求項１３】
前記重畳画像生成部は、前記ユーザの指示画像と前記他のユーザの指示画像の表示が前記コンテンツ画像上で重なる場合に、少なくとも一方の指示画像の表示透過度を高め、前記２つの指示画像の表示を区別可能な重畳画像を生成する、請求項１２に記載の情報処理装置。
【請求項１４】
前記表示装置と前記撮像装置をさらに備える、請求項１に記載の情報処理装置。
【請求項１５】
第１の情報処理装置と、前記第１の情報処理装置に通信回線を通じて接続される第２の情報処理装置とからなる情報処理システムであって、
前記第１の情報処理装置は、
表示装置の前方に位置するユーザを撮影した撮影画像を入力される撮影画像入力部と、
前記撮影画像から前記ユーザの顔を検出し、前記顔の位置を示す位置情報を生成する検出部と、
前記ユーザが指示物体により指示す位置を特定可能な情報と前記ユーザを識別可能な情報を有する指示画像を生成する指示画像生成部と、
前記表示装置に表示されるコンテンツ画像に前記位置情報に基づき前記指示画像を重畳させた重畳画像を生成する重畳画像生成部と、
前記重畳画像を前記表示装置に表示させる表示制御部と、
少なくとも前記撮影画像を前記第２の情報処理装置に送信する送信部と
を備え、
前記第２の情報処理装置は、
前記ユーザを撮影した前記撮影画像を受信する受信部と、
前記ユーザが前記指示物体により指示す位置を特定可能な情報と前記ユーザを識別可能な情報を有する指示画像を生成する指示画像生成部と、
前記コンテンツ画像に前記ユーザの顔の位置を示す位置情報に基づき前記指示画像を重畳させた重畳画像を生成する重畳画像生成部と、
前記第２の情報処理装置に接続された表示装置に前記重畳画像を表示させる表示制御部と、
を備える情報処理システム。
【請求項１６】
情報処理装置によって、
表示装置の前方に位置するユーザを撮影した撮影画像を入力するステップと、
前記撮影画像からユーザの顔を検出し、前記顔の位置を示す位置情報を生成するステップと、
前記ユーザが指示物体により指示す位置を特定可能な情報と前記ユーザを識別可能な情報を有する指示画像を生成するステップと、
前記表示装置に表示されるコンテンツ画像に前記位置情報に基づき前記指示画像を重畳させた重畳画像を生成するステップと、
前記重畳画像を前記表示装置に表示さるステップと、
前記情報処理装置と通信回線を通じて接続された他の情報処理装置により前記重畳画像を表示させるために、少なくとも前記撮影画像を他の情報処理装置に送信するステップと
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システムおよび情報処理方法に関する。
【背景技術】
【０００２】
従来、遠隔に位置する複数のユーザ端末間で画像や音声を送受信するテレビ会議システムが知られている。ところで、テレビ会議では、複数のユーザ端末に表示された共通の画像情報を参照しながら、画像や音声を送受信する機会がしばしばある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ユーザは、画像情報上の任意の位置を他のユーザに対して指示す場合、指示位置にマーカーを表示させるためにユーザ端末を操作したり、音声により指示位置を伝達したりする。よって、ユーザは、画像情報上の任意の位置を他のユーザに対して指示すために労力を要することがある。
【０００４】
そこで、本発明は、画像情報上の任意の位置を他のユーザに対して容易に指示すことができる、情報処理装置、情報処理システムおよび情報処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００５】
本発明のある観点によれば、表示装置の前方に位置するユーザを撮影した撮影画像を撮像装置から入力される撮影画像入力部と、撮影画像からユーザの顔を検出し、顔の位置を示す位置情報を生成する検出部と、ユーザが指示物体により指示す位置を特定可能な情報とユーザを識別可能な情報を有する指示画像を生成する指示画像生成部と、表示装置に表示されるコンテンツ画像に位置情報に基づき指示画像を重畳させた重畳画像を生成する重畳画像生成部と、重畳画像を表示装置に表示させる表示制御部と、通信回線を通じて接続された他の情報処理装置により重畳画像を表示させるために、少なくとも撮影画像を他の情報処理装置に送信する送信部とを備える情報処理装置が提供される。
【０００６】
また、検出部は、指示物体を検出し、指示物体の位置を示す位置情報をさらに生成し、指示画像生成部は、位置情報に基づき特定された指示物体の位置を示す情報と、ユーザを識別可能な情報を有する指示画像を生成してもよい。
【０００７】
また、重畳画像生成部は、撮影画像内でユーザが指示すことができる所定範囲をコンテンツ画像の範囲に対応させて、コンテンツ画像に位置情報に基づき指示画像を重畳させた重畳画像を生成してもよい。
【０００８】
また、表示制御部は、撮影画像の範囲をコンテンツ画像の範囲に対応させて、コンテンツ画像に位置情報に基づき指示画像を重畳させた重畳画像を生成してもよい。
【０００９】
また、指示画像は、位置情報に基づき撮影画像の鏡面画像から指示物体とユーザの顔を含むように特定された画像でもよい。
【００１０】
また、指示画像は、特定された画像から背景画像を除いた画像でもよい。
【００１１】
また、情報処理装置は、検出されたユーザの顔からユーザを認識する認識部をさらに備え、指示画像は、位置情報に基づき特定された指示物体の位置を示す情報と、認識されたユーザを示す情報を有する画像でもよい。
【００１２】
また、情報処理装置は、指示物体の形状を認識する認識部をさらに備え、指示画像は、第１形状が認識されたときと第２形状が認識されたときとの間で互いに異なる画像でもよい。
【００１３】
また、検出部は、複数のユーザに対応する指示物体と顔が検出されたとき、複数のユーザについて、指示物体と顔を検出してもよい。
【００１４】
また、検出部は、撮影画像中に複数のユーザに対応する指示物体と顔が検出されたとき、検出された顔の領域が最大となるユーザについて、指示物体と顔を検出してもよい。
【００１５】
また、情報処理装置は、他のユーザを撮影した撮影画像を他の情報処理装置から受信する受信部をさらに備え、指示画像生成部は、他のユーザが指示物体により指示す位置を特定可能な情報と他のユーザを識別可能な情報を有する指示画像を生成し、重畳画像生成部は、表示装置に表示されるコンテンツ画像に、他のユーザの顔の位置を示す位置情報に基づき他のユーザの指示画像を少なくとも重畳させた重畳画像を生成してもよい。
【００１６】
また、重畳画像生成部は、表示装置に表示されるコンテンツ画像に、位置情報に基づきユーザの指示画像を重畳させるとともに、他のユーザの指示画像を重畳させた重畳画像を生成してもよい。
【００１７】
また、重畳画像生成部は、ユーザの指示画像と他のユーザの指示画像の表示がコンテンツ画像上で重なる場合に、少なくとも一方の指示画像の表示透過度を高め、２つの指示画像の表示を区別可能な重畳画像を生成してもよい。
【００１８】
また、情報処理装置は、表示装置と撮像装置をさらに備えてもよい。
【００１９】
本発明の他の観点によれば、第１の情報処理装置と、第１の情報処理装置に通信回線を通じて接続される第２の情報処理装置とからなる情報処理システムが提供される。第１の情報処理装置は、表示装置の前方に位置するユーザを撮影した撮影画像を入力される撮影画像入力部と、撮影画像からユーザの顔を検出し、顔の位置を示す位置情報を生成する検出部と、ユーザが指示物体により指示す位置を特定可能な情報とユーザを識別可能な情報を有する指示画像を生成する指示画像生成部と、表示装置に表示されるコンテンツ画像に位置情報に基づき指示画像を重畳させた重畳画像を生成する重畳画像生成部と、重畳画像を表示装置に表示させる表示制御部と、少なくとも撮影画像を第２の情報処理装置に送信する送信部とを備える。第２の情報処理装置は、ユーザを撮影した撮影画像を受信する受信部と、ユーザが指示物体により指示す位置を特定可能な情報とユーザを識別可能な情報を有する指示画像を生成する指示画像生成部と、コンテンツ画像にユーザの顔の位置を示す位置情報に基づき指示画像を重畳させた重畳画像を生成する重畳画像生成部と、第２の情報処理装置に接続された表示装置に重畳画像を表示させる表示制御部とを備える。
【００２０】
本発明の他の観点によれば、情報処理装置によって、表示装置の前方に位置するユーザを撮影した撮影画像を入力するステップと、撮影画像からユーザの顔を検出し、顔の位置を示す位置情報を生成するステップと、ユーザが指示物体により指示す位置を特定可能な情報とユーザを識別可能な情報を有する指示画像を生成するステップと、表示装置に表示されるコンテンツ画像に位置情報に基づき指示画像を重畳させた重畳画像を生成するステップと、重畳画像を表示装置に表示さるステップと、情報処理装置と通信回線を通じて接続された他の情報処理装置により重畳画像を表示させるために、少なくとも撮影画像を他の情報処理装置に送信するステップとを含む情報処理方法が提供される。
【発明の効果】
【００２１】
本発明によれば、画像情報上の任意の位置を他のユーザに対して容易に指示すことができる、情報処理装置、情報処理システムおよび情報処理方法を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係るテレビ会議システムの構成を示すブロック図である。
【図２】表示システムの構成を示す図である。
【図３】情報処理装置のハードウェア構成を示すブロック図である。
【図４】テレビ会議システムの基本動作の手順を示すフロー図（１／２）である。
【図５】テレビ会議システムの基本動作の手順を示すフロー図（２／２）である。
【図６】ユーザの指示画像を含む重畳画像の生成例を示す図である。
【図７】表示装置の前方におけるユーザの位置と指示画像の重畳位置との関係を示す図である。
【図８】重畳画像の生成例を示す図（１／４）である。
【図９】重畳画像の生成例を示す図（２／４）である。
【図１０】重畳画像の生成例を示す図（３／４）である。
【図１１】重畳画像の生成例を示す図（４／４）である。
【図１２】複数のユーザの指示画像を含む重畳画像の生成例を示す図である。
【図１３】複数のユーザの指示画像を含む重畳画像の生成の変形例を示す図である。
【図１４】指示可能範囲の設定例を示す図である。
【図１５】指示可能範囲に基づくポインティング動作の一例を示す図である。
【図１６】指示可能範囲に基づくポインティング動作の他の例を示す図である。
【図１７】異なる態様の指示画像を含む重畳画像の一例を示す図（１／２）である。
【図１８】異なる態様の指示画像を含む重畳画像の一例を示す図（２／２）である。
【図１９】テレビ会議システムの他の構成を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
図１は、本発明の一実施形態に係るテレビ会議システム（情報処理システム）の構成を示すブロック図である。図１に示すように、テレビ会議システムは、表示システム１００と、表示システム１００に接続された情報処理装置２００からなる複数のユーザ端末を有する。表示システム１００は、図２に示すように、ディスプレイ、プロジェクタ等の表示装置１０２、ビデオカメラ、スチルカメラ等の撮像装置１０４、いずれも不図示のスピーカおよびマイク等からなる。
【００２５】
例えば、ユーザＡにより利用される第１のユーザ端末は、表示システム１００と情報処理装置２００からなる。他の複数のユーザにより利用される第２のユーザ端末は、表示システム４００と情報処理装置５００からなる。さらに他のユーザにより利用される第３のユーザ端末は、表示システム６００と情報処理装置７００からなる。複数のユーザ端末は、通信サーバ３００を有する通信回線８００を通じて接続されている。
【００２６】
表示装置１０２は、コンテンツ画像ＩＣを表示し、撮像装置１０４は、表示装置１０２の前方に位置するユーザを撮影する。コンテンツ画像ＩＣは、文字、図形、記号、イメージ、およびこれらの組合せ等を含む任意の画像であり、表示装置１０２の表示画面上の任意の領域に表示される。表示装置１０２の前方とは、表示装置１０２の表示画面の前方を意味する。
【００２７】
情報処理装置２００は、撮影画像入力部２０２、検出部２０４、認識部２０６、鏡面画像生成部２０８、通信部２１０、指示画像生成部２１２、重畳画像生成部２１４、表示制御部２１６および記憶部２１８を有する。
【００２８】
撮影画像入力部２０２は、ユーザを撮影した撮影画像Ｉ１を撮像装置１０４から入力される。撮影画像入力部２０２は、撮影画像Ｉ１を検出部２０４、鏡面画像生成部２０８、通信部２１０に供給する。撮影画像Ｉ１は、表示装置１０２の前方の所定の範囲、つまり撮像装置１０４の画角の範囲に位置する物体を撮影した画像である。撮影画像Ｉ１は、動画像であるが、場合に応じては静止画像でもよい。ユーザは、通常、表示装置１０２に表示されるコンテンツ画像ＩＣを見ている。よって、撮影画像Ｉ１は、通常、ユーザの顔Ｆをほぼ正面から撮影した画像を含んでいる。
【００２９】
検出部２０４は、撮影画像Ｉ１からユーザの顔Ｆを検出し、検出結果から撮影画像Ｉ１中での顔Ｆの位置を示す位置情報を生成する。検出部２０４は、選択的に、ユーザが任意の位置を指示す指示物体Ｈを撮影画像Ｉ１から検出し、検出結果から撮影画像Ｉ１中での指示物体Ｈの位置を示す位置情報を生成する。検出部２０４は、検出結果を認識部２０６、通信部２１０、指示画像生成部２１２に供給し、位置情報を通信部２１０、指示画像生成部２１２に供給する。検出部２０４は、記憶部２１８等に格納された特徴量情報に基づき、一般的な画像検出技術を用いて、ユーザの顔Ｆや指示物体Ｈを検出する。指示物体Ｈとは、ユーザの手の指、手の平、手の甲、指示棒等、任意の位置を指示すために通常用いられる身体部位または道具である。
【００３０】
認識部２０６は、顔Ｆの検出結果からユーザを認識し、選択的に、指示物体Ｈの検出結果から指示物体Ｈの形状を認識する。認識部２０６は、認識結果を通信部２１０、指示画像生成部２１２に供給する。認識部２０６は、記憶部２１８等に格納された認識情報に基づき、一般的な画像認識技術を用いて、ユーザや指示物体Ｈの形状を認識する。指示物体Ｈの形状とは、ユーザの手の形状、手の向き等であり、詳細は後述するが、指示画像Ｉ３の表示態様を決定するために用いられる。なお、認識部２０６は、ユーザや指示物体Ｈの認識を行わない場合には省略されてもよい。
【００３１】
鏡面画像生成部２０８は、撮影画像Ｉ１から鏡面画像Ｉ２を生成し、指示画像生成部２１２に供給する。鏡面画像生成部２０８は、他のユーザの撮影画像Ｉ１の鏡面画像Ｉ２も生成する。鏡面画像Ｉ２とは、撮影画像Ｉ１を左右反転させた鏡像としての画像を意味する。
【００３２】
通信部２１０は、ユーザの撮影画像Ｉ１、検出結果、認識結果および位置情報を、通信回線８００を通じて他のユーザ端末に送信する送信部として機能する。また、通信部２１０は、他のユーザの撮影画像Ｉ１、検出結果、認識結果および位置情報を、通信回線８００を通じて他のユーザ端末から受信する受信部として機能する。通信部２１０は、撮影画像入力部２０２から供給された撮影画像Ｉ１をエンコードして送信し、受信したエンコードデータを撮影画像Ｉ１にデコードして鏡面画像生成部２０８に供給する。
【００３３】
指示画像生成部２１２は、検出結果、認識結果、位置情報および鏡面画像Ｉ２に基づき指示画像Ｉ３を生成し、重畳画像生成部２１４に供給する。指示画像生成部２１２は、他のユーザの撮影画像Ｉ１の指示画像Ｉ３も生成する。指示画像生成部２１２は、選択的に、記憶部２１８に格納されたユーザ識別情報を用いて指示画像Ｉ３を生成する。
【００３４】
指示画像Ｉ３は、ユーザが指示物体Ｈにより指示す指示位置を特定可能な情報と、ユーザを識別可能な情報を含んでいる。指示位置を特定可能な情報とは、撮影画像Ｉ１に含まれる指示物体Ｈの画像、指示物体Ｈの検出結果から特定された指示位置を示す画像等である。ユーザを識別可能な情報とは、撮影画像Ｉ１に含まれるユーザの顔Ｆの画像、ユーザに割当てられた識別情報（ユーザの名前、キャラクタ等）等である。なお、指示画像Ｉ３の詳細については後述する。
【００３５】
重畳画像生成部２１４は、コンテンツ画像ＩＣ、指示画像Ｉ３および位置情報に基づき重畳画像Ｉ４を生成し、表示制御部２１６に供給する。重畳画像生成部２１４は、ユーザと他のユーザの指示画像Ｉ３を含む重畳画像Ｉ４も生成し、場合に応じては他のユーザの指示画像Ｉ３のみを含む重畳画像Ｉ４を生成してもよい。重畳画像Ｉ４とは、表示装置１０２に表示されているコンテンツ画像ＩＣに、位置情報に基づき指示画像Ｉ３を重畳させた画像である。なお、重畳画像Ｉ４の詳細については後述する。
【００３６】
表示制御部２１６は、コンテンツ画像ＩＣを表示装置１０２に表示させる。また、コンテンツ画像ＩＣに指示画像Ｉ３を重畳させた重畳画像Ｉ４を表示装置１０２に表示させる。記憶部２１８は、ユーザの顔Ｆや指示物体Ｈの検出に用いられる特徴量情報を格納している。記憶部２１８は、ユーザや指示物体Ｈの形状の認識に用いられる認識情報を格納している。記憶部２１８は、指示画像Ｉ３の生成に用いられる画像（指示位置を示す画像、ユーザを表すキャラクタ等）、文字（ユーザの名前等）等を格納している。
【００３７】
なお、図１に示す構成では、撮影画像Ｉ１を用いて画像検出および画像認識が行われている。しかし、撮影画像Ｉ１に代えて、鏡面画像Ｉ２を用いて画像検出および画像認識が行われてもよい。この場合、画像検出や画像認識に用いられる情報は、鏡面画像Ｉ２に対応するように準備される。
【００３８】
また、図１に示す構成では、撮影画像Ｉ１とともに、検出結果、認識結果および位置情報が他のユーザ端末に送信されている。しかし、撮影画像Ｉ１（または鏡面画像Ｉ２）のみを他のユーザ端末に送信し、撮影画像Ｉ１を受信したユーザ端末により、画像検出、画像認識および位置情報の生成が行われてもよい。また、撮影画像Ｉ１（または鏡面画像Ｉ２）のみを通信サーバ３００に送信し、撮影画像Ｉ１（または鏡面画像Ｉ２）を受信した通信サーバ３００により、画像検出、画像認識および位置情報の生成を行い、処理結果が他のユーザ端末に送信されてもよい。
【００３９】
図３は、情報処理装置２００のハードウェア構成を示すブロック図である。図３に示すように、情報処理装置２００は、ＭＰＵ２３０、ＲＯＭ２３２、ＲＡＭ２３４、記録媒体２３６、入出力インタフェース２３８、操作入力デバイス２４０、表示デバイス２４２、通信インタフェース２４４およびバス２４６を有する。バス２４６は、ＭＰＵ２３０、ＲＯＭ２３２、ＲＡＭ２３４、記録媒体２３６、入出力インタフェース２３８、通信インタフェース２４４を接続する。
【００４０】
ＭＰＵ２３０は、ＲＯＭ２３２、ＲＡＭ２３４、記録媒体２３６等に格納されたプログラムを読出し、ＲＡＭ２３４上に展開して実行することで、情報処理装置２００の動作を制御する。ＭＰＵ２３０は、特に、検出部２０４、認識部２０６、鏡面画像生成部２０８、指示画像生成部２１２、重畳画像生成部２１４、表示制御部２１６として機能する。ＲＡＭ２３４は、記憶部２１８として機能する。
【００４１】
入出力インタフェース２３８は、ＡＶシステムとの間でデータ等を入出力する。入出力インタフェース２３８は、特に、撮影画像入力部２０２、表示制御部２１６として機能する。操作入力デバイス２４０は、キーボード、マウス、タッチパネル等からなり、デバイスを通じて入力された操作情報を入出力インタフェース２３８を介してＭＰＵ２３０に供給する。表示デバイス２４２は、例えばシステムの動作状態を示す画像情報、文字情報等を表示する。通信インタフェース２４４は、通信回線８００を通じて通信サーバ３００、他の情報処理装置５００、７００との間でデータ等を送受信する。通信インタフェース２４４は、特に通信部２１０として機能する。
【００４２】
図４および図５は、テレビ会議システムの基本動作の手順を示すフロー図である。図４および図５は、複数のユーザ端末に共通のコンテンツ画像ＩＣを表示した状態で、コンテンツ画像ＩＣ上の任意の位置を指示す手順を示している。なお、コンテンツ画像ＩＣ上の任意の位置を指示す動作をポインティング動作とも称する。以下では、ユーザＡのユーザ端末ＡがユーザＢのユーザ端末Ｂとの間でポインティング動作を行う場合を想定して説明するが、３以上のユーザ端末間でポインティング動作を行う場合についても同様に説明される。
【００４３】
まず、ユーザ端末Ａでは、ユーザＡがポインティングモードを選択したかが判定される（ステップＳ１００）。ポインティングモードは、ユーザ端末Ａを操作して選択されてもよく、所定のジェスチャの入力により選択されてもよい。ポインティングモードが選択されると、ユーザ端末Ａでは、他のユーザ端末、この場合ユーザ端末Ｂとのネットワーク接続が判定される（ステップＳ１０２）。そして、ネットワークに未接続の場合、ステップＳ１０８の処理が実行され、接続済みの場合、ステップＳ１０４の処理が実行される。
【００４４】
まず、図６から図１１も参照しながら、ステップＳ１０２でネットワークに未接続と判定された場合の動作について説明する。図６は、ユーザの指示画像Ｉ３を含む重畳画像Ｉ４の生成例を示す図である。なお、後述するユーザＡの指示画像Ｉａ３等を含む重畳画像Ｉ４を生成する場合についても同様に説明される。
【００４５】
撮影画像入力部２０２は、ユーザＡを撮影した撮影画像Ｉ１を撮像装置１０４から入力される（ステップＳ２００）。撮影画像Ｉ１は、表示装置１０２の前方の所定の範囲、つまり撮像装置１０４の画角の範囲に位置する物体を撮影した画像である。図６（Ａ）には、指示物体Ｈの一例である手の指と顔Ｆを含むユーザの上半身の画像を向かって左側に捉えるとともに、背景画像を捉えた撮影画像Ｉ１の一例が示されている。
【００４６】
検出部２０４は、撮影画像Ｉ１からユーザＡの顔Ｆを検出し、検出結果から撮影画像Ｉ１上での顔Ｆの位置を示す位置情報を生成する。選択的に、認識部２０６は、顔Ｆの検出結果からユーザＡを認識する。鏡面画像生成部２０８は、撮影画像Ｉ１から鏡面画像Ｉ２を生成する（ステップＳ２０２）。鏡面画像Ｉ２は、撮影画像Ｉ１を左右反転させた鏡像としての画像である。図６（Ｂ）には、図６（Ａ）に示した撮影画像Ｉ１の鏡面画像Ｉ２が示されている。鏡面画像Ｉ２には、指示物体Ｈと顔Ｆを含むユーザの上半身の画像が向かって右側に含まれるとともに、背景画像が含まれている。
【００４７】
指示画像生成部２１２は、検出結果、位置情報および鏡面画像Ｉ２に基づき指示画像Ｉ３を生成する（ステップＳ２０４）。指示画像Ｉ３は、ユーザＡが指示物体Ｈにより指示す指示位置を特定可能な情報と、ユーザＡを識別可能な情報を含む画像である。図６（Ｃ）には、図６（Ｂ）に示した鏡面画像Ｉ２から生成された指示画像Ｉ３の一例が示されている。図６（Ｃ）に示す指示画像Ｉ３は、顔Ｆの位置情報に基づき、鏡面画像Ｉ２からユーザの顔Ｆの周辺領域を特定して生成されている。指示画像Ｉ３は、鏡面画像Ｉ２に基づき周辺領域以外の画像を透明にしたり、周辺領域の画像を切り出したりして生成される。
【００４８】
周辺領域は、例えば、顔Ｆの位置情報に基づき、顔Ｆの位置の上下左右ある程度の距離の範囲の領域として設定される。例えば、周辺領域は、顔Ｆの位置を基準として左右にそれぞれ顔Ｆ２つ分の幅、上下に顔Ｆ２つ分の高さの範囲の領域として設定されてもよい。周辺領域は、顔Ｆの画像とともに指示物体Ｈの画像を含むように、ユーザ端末またはユーザにより設定される。
【００４９】
重畳画像生成部２１４は、コンテンツ画像ＩＣ、指示画像Ｉ３および位置情報に基づき重畳画像Ｉ４を生成する（ステップＳ２０６）。表示制御部２１６は、重畳画像Ｉ４を表示装置１０２に表示させる（ステップＳ２０８）。図６（Ｄ）には、図６（Ｂ）に示した指示画像Ｉ３をコンテンツ画像ＩＣに重畳させた重畳画像Ｉ４の一例が示されている。図６（Ｄ）に示す重畳画像Ｉ４は、鏡面画像Ｉ２の範囲をコンテンツ画像ＩＣの範囲に対応させて、顔Ｆの位置情報に基づきコンテンツ画像ＩＣに指示画像Ｉ３を重畳させている。なお、重畳画像Ｉ４は、指示画像Ｉ３の表示透過度を高めた上で、コンテンツ画像ＩＣに指示画像Ｉ３を重畳させてもよい。
【００５０】
図７は、表示装置１０２の前方におけるユーザの位置と指示画像Ｉ３の重畳位置との関係を示す図である。前述したように、重畳画像Ｉ４は、顔Ｆの位置情報に基づき、鏡面画像Ｉ２から生成された指示画像Ｉ３をコンテンツ画像ＩＣに重畳させて生成される。よって、図７（Ａ）に示すように、ユーザが表示装置１０２の前方で右側に移動すると、コンテンツ画像ＩＣの右側に指示画像Ｉ３が重畳される。一方、図７（Ｂ）に示すように、ユーザが表示装置１０２の前方で左側に移動すると、コンテンツ画像ＩＣの左側に指示画像Ｉ３が重畳される。
【００５１】
また、重畳画像Ｉ４は、基本的に、鏡面画像Ｉ２（または撮影画像Ｉ１）の範囲、つまり撮像装置１０４の画角の範囲をコンテンツ画像ＩＣの範囲に対応させて生成される。よって、図７（Ａ）、（Ｂ）に示すように、撮像装置１０４が表示装置１０２の正面中央に配置され、撮像装置１０４の画角の範囲と、コンテンツ画像ＩＣの範囲とが一致する場合、ユーザがコンテンツ画像ＩＣに重畳された指示画像Ｉ３の正面に位置することになる。
【００５２】
一方、例えば、撮像装置１０４の画角の範囲がコンテンツ画像ＩＣの範囲の２倍である場合、ユーザが右側に距離ｘで移動すると、指示画像Ｉ３が右側に距離ｘ／２で移動する。また、撮像装置１０４の画角の範囲がコンテンツ画像ＩＣの範囲の１／２倍である場合、ユーザが右側に距離ｘで移動すると、指示画像Ｉ３が右側に距離２ｘで移動する。
【００５３】
図８から図１１は、重畳画像Ｉ４の生成例を示す図である。なお、図８から図１１では、ユーザＡは、コンテンツ画像ＩＣに含まれる所定の領域（ＵＦＯのイメージが示されている領域）を指示物体ＨとしてのユーザＡの指により指示している。
【００５４】
図８に示す重畳画像Ｉ４では、図６（Ｄ）および図７（Ａ）、（Ｂ）に示した重畳画像Ｉ４と同様に、ユーザＡの顔Ｆの周辺領域のみを示す指示画像Ｉａ３がコンテンツ画像ＩＣに重畳されている。ここで、重畳画像Ｉ４には、周辺領域に含まれる背景画像も含まれている。
【００５５】
図９に示す重畳画像Ｉ４では、鏡面画像Ｉａ２から背景画像を除去した指示画像Ｉａ３がコンテンツ画像ＩＣに重畳されている。指示画像Ｉ３は、ユーザＡの顔Ｆの検出結果に基づき、鏡面画像Ｉａ２に含まれるユーザＡの顔Ｆと指示物体Ｈを含む上半身の領域を特定し、特定された領域以外の画像を透明にしたり、特定された領域の画像を切り出したりして生成されている。
【００５６】
図１０に示す重畳画像Ｉ４では、鏡面画像Ｉａ２から特定されたユーザＡの顔Ｆと指示物体Ｈの領域の画像からなる指示画像Ｉａ３がコンテンツ画像ＩＣに重畳されている。指示画像Ｉａ３は、特定された領域以外の画像を透明にしたり、特定された領域の画像を切り出したりして生成されている。指示画像Ｉａ３を生成するために、撮影画像Ｉａ１からユーザＡの顔Ｆと指示物体Ｈが検出され、ユーザＡの顔Ｆと指示物体Ｈの位置情報がそれぞれ生成される。
【００５７】
図１１に示す重畳画像Ｉ４では、指示位置を示す画像と、ユーザＡの名前を示す文字からなる指示画像Ｉａ３がコンテンツ画像ＩＣに重畳されている。この場合、指示画像Ｉａ３には、鏡面画像Ｉａ２に含まれる画像が用いられていない。指示画像Ｉａ３を生成するために、撮影画像Ｉａ１からユーザＡの顔Ｆとともに指示物体Ｈが検出され、ユーザＡの顔Ｆと指示物体Ｈの位置情報がそれぞれ生成される。また、ユーザＡの顔Ｆの検出結果からユーザＡが認識され、認識されたユーザＡの名前を示す文字「ユーザＡ」が記憶部２１８から読み出される。同様に、指示物体Ｈの検出結果から指示物体Ｈの形状が認識され、認識された指示物体Ｈの形状に応じた画像が記憶部２１８から読み出される。
【００５８】
なお、指示画像Ｉａ３には、ユーザＡの氏名を示す文字に代えて、ユーザＡに割当てられたキャラクタ（似顔絵等）が含まれてもよく、ユーザＡの顔Ｆの領域の画像が含まれてもよい。また、指示画像Ｉａ３には、指示位置を示す画像に代えて、指示物体Ｈの領域の画像が含まれてもよい。
【００５９】
つぎに、ステップＳ１０２でネットワークに接続済みと判定された場合の動作について説明する。ここで、ユーザ端末Ａ、Ｂには、共通のコンテンツ画像ＩＣが表示されているとする。ユーザ端末Ａの通信部２１０は、ユーザＡの撮影画像Ｉａ１、検出結果、認識結果および位置情報を、通信回線８００を通じてユーザ端末Ｂに送信する（ステップＳ１０４）。また、ユーザ端末Ａの通信部２１０は、ユーザＢの撮影画像Ｉｂ１、検出結果、認識結果および位置情報を、通信回線８００を通じてユーザ端末Ｂから受信する（ステップＳ１０６）。これにより、ユーザ端末Ａは、ユーザＢの撮影画像Ｉｂ１を取得する（ステップＳ２００）。なお、ユーザ端末Ｂでも同様の処理が行われる。
【００６０】
そして、鏡面画像生成部２０８は、ユーザＡの撮影画像Ｉａ１と同様に、ユーザＢの撮影画像Ｉｂ１から鏡面画像Ｉｂ２を生成する（ステップＳ２０２）。指示画像生成部２１２は、ユーザＡの指示画像Ｉａ３と同様に、検出結果、選択的に認識結果、位置情報および鏡面画像Ｉｂ２に基づき、ユーザＢの指示画像Ｉｂ３を生成する（ステップＳ２０４）。重畳画像生成部２１４は、コンテンツ画像ＩＣ、ユーザＡの指示画像Ｉａ３および位置情報、ならびにユーザＢの指示画像Ｉｂ３および位置情報に基づき重畳画像Ｉ４を生成する（ステップＳ２０６）。表示制御部２１６は、重畳画像Ｉ４を表示装置１０２に表示させる（ステップＳ２０８）。なお、ユーザ端末Ｂでも同様の処理が行われる。
【００６１】
図１２は、ユーザＡ、Ｂの指示画像Ｉａ３、Ｉｂ３を含む重畳画像Ｉ４の生成例を示す図である。図１２（Ａ）には、ユーザＡの手の指Ｈと顔Ｆを含む上半身の画像を向かって左側に含むとともに、背景画像を含むユーザＡの撮影画像Ｉａ１の鏡面画像Ｉａ２が示されている。図１２（Ｂ）には、ユーザＢの手の指Ｈと顔Ｆを含む上半身の画像を向かって右側に含むとともに、背景画像を含むユーザＢの撮影画像Ｉｂ１の鏡面画像Ｉｂ２が示されている。
【００６２】
図１２（Ｃ）には、ユーザＡ、Ｂの指示画像Ｉａ３、Ｉｂ３をコンテンツ画像ＩＣに重畳させた重畳画像Ｉ４の一例が示されている。ユーザＡの鏡面画像Ｉａ２には、ユーザＡの画像が向かって左側に含まれ、ユーザＢの鏡面画像Ｉｂ２には、ユーザＢの画像が向かって右側に含まれていた。よって、重畳画像Ｉ４では、コンテンツ画像ＩＣに対してユーザＡの指示画像Ｉａ３が向かって左側に重畳され、ユーザＢの指示画像Ｉｂ３が向かって右側に重畳されている。ここで、ユーザＡ、Ｂの指示画像Ｉａ３、Ｉｂ３には、各ユーザを識別可能な情報が含まれているので、各ユーザの指示位置を容易に特定することができる。
【００６３】
なお、図１２（Ｃ）に示す重畳画像Ｉ４は、コンテンツ画像ＩＣの幅と、ユーザＡおよびユーザＢの鏡面画像Ｉａ２、Ｉｂ２の幅が同一である場合を想定している。また、図１２（Ｃ）に示す重畳画像Ｉ４は、図８に示した生成例と同様に生成されているが、図９から図１１に示した生成例と同様に生成されてもよい。
【００６４】
図１３は、ユーザＡ、Ｂの指示画像Ｉａ３、Ｉｂ３を含む重畳画像Ｉ４の生成の変形例を示す図である。変形例は、ユーザＡ、Ｂの指示画像Ｉａ３、Ｉｂ３がコンテンツ画像ＩＣに互いに重なって重畳される場合を想定している。図１３（Ａ）には、手の指Ｈと顔Ｆを含む上半身の画像を中央部に含むユーザＡの鏡面画像Ｉａ２が示されている。図１３（Ｂ）には、手の指Ｈと顔Ｆを含む上半身の画像が中央部に含むユーザＢの鏡面画像Ｉｂ２が示されている。
【００６５】
図１３（Ｃ）には、ユーザＡ、Ｂの指示画像Ｉａ３、Ｉｂ３をコンテンツ画像ＩＣに重畳させた重畳画像Ｉ４の一例が示されている。ユーザＡの鏡面画像Ｉａ２には、ユーザＡの画像が中央部に含まれ、ユーザＢの鏡面画像Ｉｂ２には、ユーザＢの画像が中央部に含まれていた。よって、図１２（Ｃ）に示した生成例と同様に重畳画像Ｉ４を生成すると、ユーザＡ、Ｂの指示画像Ｉａ３、Ｉｂ３が互いに重なりあって視認性が低下してしまう。このため、図１３（Ｃ）に示すように、ユーザＡおよび／またはユーザＢの指示画像Ｉａ３、Ｉｂ３の表示透過度を高めることで、互いに重なって重畳される指示画像Ｉａ３、Ｉｂ３の視認性が低下することを抑えている。
【００６６】
以上、撮像装置１０４の画角の範囲をコンテンツ画像ＩＣの範囲に対応させて重畳画像Ｉ４を生成する場合について説明した。この場合、画角の範囲がコンテンツ画像ＩＣの範囲よりもかなり広かったり、ユーザの位置が撮像装置１０４からかなり離れていたりすると、ユーザは、ポインティング動作のために比較的大きな移動を余儀なくされてしまうことがある。よって、ユーザが移動しなくても指示すことができる指示可能範囲を、ユーザの顔Ｆの位置を基準として設定し、画角の範囲に代えて、指示可能範囲をコンテンツ画像ＩＣの範囲に対応させて重畳画像Ｉ４を生成することが提案される。
【００６７】
図１４は、指示可能範囲の設定例を示す図である。図１４に示す指示可能範囲は、ユーザＡの顔Ｆの位置を基準として、左の腕を左、左上、左下に伸ばし、右の腕を右、右上、右下に伸ばした状態で左手または右手の指により指示可能な範囲として設定されている。例えば、図１４に示す例では、ユーザＡの顔Ｆの位置を中心として幅Ｌの範囲として設定されている。指示可能範囲は、ユーザＡが指示そうとする範囲をユーザＡに実際に指示させ、範囲を指示する指示物体Ｈの領域Ｈａを検出することで、設定されてもよい。また、指示可能範囲は、ユーザＡの顔Ｆの領域Ｆａの大きさに基づき、例えば左右にそれぞれ顔Ｆ４つ分の幅、上下にそれぞれ顔Ｆ２つ分の幅として設定されてもよい。
【００６８】
図１５は、指示可能範囲に基づくポインティング動作の一例を示す図である。図１５（Ａ）には、ユーザＡとユーザＣを含む撮影画像Ｉ１の鏡面画像Ｉ２が示されている。鏡面画像Ｉ２には、手の指Ｈと顔Ｆを含む上半身を捉えたユーザＡの画像が向かって左側に含まれ、手の指Ｈと顔Ｆを含む上半身を捉えたユーザＣの画像が向かって右側に含まれている。ここで、ユーザＣは、ユーザＡよりも撮像装置１０４から離れて位置している。
【００６９】
鏡面画像Ｉ２上には、ユーザＡ、Ｃのそれぞれについて、顔Ｆと指示物体Ｈの検出領域Ｆａ、Ｈａ、Ｆｃ、Ｈｃを表す矩形枠と、指示可能範囲Ｐａ、Ｐｃが示されている。なお、検出領域Ｆａ、Ｈａ、Ｆｃ、Ｈｃの矩形枠および指示可能範囲Ｐａ、Ｐｃは、鏡面画像Ｉ２の一部をなす画像ではなく、ユーザ端末の処理を示すために便宜上示されている。ここで、ユーザＡは、自らの指示可能範囲Ｐａ内かつ鏡面画像Ｉ２の範囲内で指示物体Ｈを移動させることで、ポインティング動作を行うことができる。同様に、ユーザＣは、自らの指示可能範囲Ｐｃ内かつ鏡面画像Ｉ２の範囲内で指示物体Ｈを移動させることで、ポインティング動作を行うことができる。
【００７０】
ここで、ユーザＡの指示可能範囲ＰａとユーザＣの指示範囲Ｐｃは、コンテンツ画像ＩＣの範囲にそれぞれに対応している。よって、ユーザＡ、Ｃは、撮像装置１０４の画角の範囲内で移動しなくても、自らの指示可能範囲Ｐａ、Ｐｃ内の任意の位置に指示物体Ｈを移動させることで、コンテンツ画像ＩＣ内の任意の位置を指示すことができる。
【００７１】
図１５（Ｂ）には、ユーザＡ、Ｃの指示画像Ｉａ３、Ｉｃ３を含む重畳画像Ｉ４の一例が示されている。図１５（Ａ）に示す鏡面画像Ｉ２では、ユーザＡが自らの指示可能範囲Ｐａの中央右寄りの位置を指示し、ユーザＣが自らの指示可能範囲Ｐｃの中央左寄りの位置を指示している。よって、重畳画像Ｉ４では、ユーザＡの指示画像Ｉａ３がコンテンツ画像ＩＣの中央右寄りに重畳され、ユーザＣの指示画像Ｉｃ３がコンテンツ画像ＩＣの中央左寄りに重畳されている。ここで、ユーザＡ、Ｃの指示画像Ｉａ３、Ｉｃ３は、ユーザＡ、Ｃが自らの指示可能範囲Ｐａ、Ｐｃ内で指示している位置を示している。
【００７２】
同様に、ユーザＡが自らの指示可能範囲Ｐａの右上隅を指示すると、ユーザＡの指示画像Ｉａ３がコンテンツ画像ＩＣの右上隅に重畳され、ユーザＣが自らの指示可能範囲Ｐｃの左下隅を指示すると、ユーザＣの指示画像Ｉｃ３がコンテンツ画像ＩＣの左下隅に重畳される。なお、図１５（Ｂ）に示す重畳画像Ｉ４は、図１１に示した生成例と同様に生成されているが、図１０に示した生成例と同様に生成されてもよい。
【００７３】
図１６は、指示可能範囲に基づくポインティング動作の他の例を示す図である。図１６（Ａ）には、図１５（Ａ）と同じように、ユーザＡ、Ｃを捉えた鏡面画像Ｉ２が示されている。鏡面画像Ｉ２上には、ユーザＡについて、顔Ｆと指示物体Ｈの検出領域Ｆａ、Ｈａを表す矩形枠と、指示可能範囲Ｐａが示されている。図１６に示す例では、撮影画像Ｉ１からユーザＡ、Ｃの顔Ｆを検出し、検出された顔Ｆの領域Ｆａ、Ｆｃの大きさを比較し、顔Ｆの領域の大きいユーザＡ、つまり撮像装置１０４から最も近いユーザＡについてのみ、ポインティング動作を可能にしている。
【００７４】
図１６（Ｂ）には、ユーザＡの指示画像Ｉａ３を含む重畳画像Ｉ４の一例が示されている。図１６（Ａ）に示す鏡面画像Ｉ２では、ユーザＡが自らの指示可能範囲Ｐａの中央右寄りの位置を指示している。よって、重畳画像Ｉ４では、ユーザＡの指示画像Ｉａ３がコンテンツ画像ＩＣの中央右寄りに重畳されている。
【００７５】
なお、撮像装置１０４から最も近いユーザに代えて、撮像装置１０４から最も遠いユーザ、または撮像装置１０４から適切な距離に位置しているユーザについてのみ、ポインティング動作を可能にしてもよい。また、複数の顔Ｆを検出した場合、検出撮像装置１０４から適切な距離に位置している所定数のユーザについてのみ、ポインティング動作を可能にしてもよい。
【００７６】
以上、指示物体Ｈの位置を検出して重畳画像Ｉ４を生成する場合について説明した。ところで、ユーザは、場合に応じて異なる態様の指示画像Ｉ３をコンテンツ画像ＩＣに重畳させたい場合がある。よって、指示物体Ｈの位置を検出するとともに、指示物体Ｈの形状を認識することで、異なる態様の指示画像Ｉ３を含む重畳画像Ｉ４を生成することが提案される。これにより、指示画像Ｉ３の態様を変更することで、付加的な情報を他のユーザに伝達する等、ポインティング動作時の利便性を向上することができる。
【００７７】
図１７および図１８は、異なる態様の指示画像Ｉ３を含む重畳画像Ｉ４の一例を示す図である。図１７に示す例では、ユーザは、親指と人指し指を曲げて輪の状態とした上で、表示装置１０２の前方で左から右へ波を打つように移動させている。すると、ユーザ端末は、指示物体Ｈの形状を認識し、ユーザに対応するキャラクタを、認識された形状に対応する態様で表す指示画像Ｉ３を含む重畳画像Ｉ４を生成している。ここで、指示画像Ｉ３は、キャラクタを明瞭に認識できるような態様で表している。重畳画像Ｉ４では、図中、点線で示すように、指示物体Ｈの移動に連動してコンテンツ画像ＩＣ上で指示画像Ｉ３が移動する。
【００７８】
一方、図１８に示す例では、図１８（Ａ）に示すように、まず、ユーザは、人指し指を伸ばした状態で、表示装置１０２の前方で左から右へ波を打つように移動させている。すると、ユーザ端末は、指示物体Ｈの形状を認識し、図１７に示した場合とは異なる態様でキャラクタを表す指示画像Ｉ３を含む重畳画像Ｉ４を生成している。ここで、指示画像Ｉ３は、キャラクタを明瞭に認識できないような態様で表している。
【００７９】
そして、図１８（Ｂ）に示すように、ユーザは、指示物体Ｈを移動させた後に、親指と人指し指を曲げて輪の状態としている。すると、ユーザ端末は、指示物体Ｈの形状の変化を認識し、図１７に示した場合と同じ態様でキャラクタを表す指示画像Ｉ３を含む重畳画像Ｉ４を生成している。なお、図１７および図１８では、２つの異なる形状を認識する場合について説明したが、３以上の異なる形状が認識されてもよい。
【００８０】
以上説明したように、本発明の実施形態に係るテレビ会議システムによれば、各ユーザ端末では、撮影画像Ｉ１からユーザの顔Ｆが検出されて顔Ｆの位置を示す情報が生成され、ユーザの指示位置を特定可能な情報とユーザの識別情報を有する指示画像Ｉ３が生成され、コンテンツ画像ＩＣに位置情報に基づき指示画像Ｉ３を重畳させた重畳画像Ｉ４が生成されて表示される。そして、他のユーザ端末に同様な重畳画像Ｉ４を表示させるために、少なくとも撮影画像Ｉ１が他のユーザ端末に送信される。これにより、複数のユーザ端末を利用するユーザ間では、共通して表示されたコンテンツ情報上の任意の位置を、煩雑な操作や動作を伴わずに他のユーザに対して容易に指示すことができる。
【００８１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８２】
例えば、上記実施形態の説明では、ユーザ端末が表示システム１００と情報処理装置２００からなる場合について説明した。しかし、図１９に示すように、ユーザ端末は、表示システム１００の構成を組み込まれた情報処理装置２５０からなるようにしてもよい。この場合、情報処理装置２５０は、図１に示した情報処理装置２００の構成に加えて撮像部２５２（撮像装置）と表示部２５４（表示装置）を有することになる。なお、テレビ会議システムには、表示システム組込み型と、別体型の情報処理装置が混在してもよい。
【００８３】
１００、４００、６００    表示システム
１０２    撮像装置
１０４    表示装置
２００、２５０、５００、５５０、７００、７５０    情報処理装置
３００    通信サーバ
８００    通信回線
２０２    撮影画像入力部
２０４    検出部
２０６    認識部
２０８    鏡面画像生成部
２１０    通信部
２１２    指示画像生成部
２１４    重畳画像生成部
２１６    表示制御部
２１８    記憶部
２５２    撮像部
２５４    表示部
Ｉ１    撮影画像
Ｉ２    鏡面画像
Ｉ３    指示画像
Ｉ４    重畳画像
ＩＣ    コンテンツ画像
【図１】
0005598232.tif 000002
【図２】
0005598232.tif 000003
【図３】
0005598232.tif 000004
【図４】
0005598232.tif 000005
【図５】
0005598232.tif 000006
【図６】
0005598232.tif 000007
【図７】
0005598232.tif 000008
【図８】
0005598232.tif 000009
【図９】
0005598232.tif 000010
【図１０】
0005598232.tif 000011
【図１１】
0005598232.tif 000012
【図１２】
0005598232.tif 000013
【図１３】
0005598232.tif 000014
【図１４】
0005598232.tif 000015
【図１５】
0005598232.tif 000016
【図１６】
0005598232.tif 000017
【図１７】
0005598232.tif 000018
【図１８】
0005598232.tif 000019
【図１９】
0005598232.tif 000020