(57)【要約】      （修正有）【課題】ポインティング画像の不自然な表示を回避することができる表示制御システム、画像処理装置、表示制御方法、及びプログラムを提供する。【解決手段】遠隔コミュニケーションシステムは、画像処理装置１０１ａ及び他の画像処理装置１０１ｂを備える。他の画像処理装置に、ユーザＣが表示された画像１０５ｂを指し示した行為を示すポインティング画像１０５ａを、画像処理装置の表示領域１０３ａに表示する制御を行う表示制御手段を備える。画像処理装置１０１ｂの投影領域１０３ｂにおいて、画像処理装置１０１ｂのユーザＣが存在しない側からポインティング画像１０６ｂを投影する。【選択図】図１
2018073093.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置及び他の画像処理装置を備え、共有された画像を前記画像処理装置及び前記他の画像処理装置の各表示領域に表示する表示制御システムであって、
前記他の画像処理装置のユーザが前記表示された画像を指し示した行為を示すポインティング画像を前記画像処理装置の表示領域に表示する制御を行う表示制御手段を備え、
前記ポインティング画像は方向性を有し、
前記表示制御手段は、前記画像処理装置の表示領域において、前記画像処理装置のユーザが存在しない側から前記ポインティング画像を表示することを特徴とする表示制御システム。
【請求項２】
前記表示制御手段は、前記画像処理装置の表示領域における前記画像処理装置が配置された側から前記ポインティング画像を表示することを特徴とする請求項１記載の表示制御システム。
【請求項３】
前記表示制御手段は、前記表示された画像の上下方向における前記表示された画像の上端側から前記ポインティング画像を表示することを特徴とする請求項１記載の表示制御システム。
【請求項４】
前記画像処理装置の周辺のユーザを検知する検知手段を更に備え、
前記表示制御手段は、前記画像処理装置の表示領域において、前記ユーザが検知されない側から前記ポインティング画像を表示することを特徴とする請求項１記載の表示制御システム。
【請求項５】
前記他の画像処理装置のユーザを表示する表示手段を更に備え、
前記表示制御手段は、前記画像処理装置の表示領域において、前記表示手段が配置された側から前記ポインティング画像を表示することを特徴とする請求項１記載の表示制御システム。
【請求項６】
他の画像処理装置と共有された画像を表示領域に表示する画像処理装置であって、
前記他の画像処理装置のユーザが前記表示された画像を指し示した行為を示すポインティング画像を前記表示領域に表示する制御を行う表示制御手段を備え、
前記ポインティング画像は方向性を有し、
前記表示制御手段は、前記表示領域において、前記画像処理装置のユーザが存在しない側から前記ポインティング画像を表示することを特徴とする画像処理装置。
【請求項７】
前記表示制御手段は、前記表示領域における前記画像処理装置が配置された側から前記ポインティング画像を表示することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記表示された画像の上下方向における前記表示された画像の上端側から前記ポインティング画像を表示することを特徴とする請求項６記載の画像処理装置。
【請求項９】
前記画像処理装置の周辺のユーザを検知する検知手段を更に備え、
前記表示制御手段は、前記表示領域において、前記ユーザが検知されない側から前記ポインティング画像を表示することを特徴とする請求項６記載の画像処理装置。
【請求項１０】
前記他の画像処理装置のユーザを表示する表示手段を更に備え、
前記表示制御手段は、前記表示領域において、前記表示手段が配置された側から前記ポインティング画像を表示することを特徴とする請求項６記載の画像処理装置。
【請求項１１】
画像処理装置及び他の画像処理装置を備え、共有された画像を前記画像処理装置及び前記他の画像処理装置の各表示領域に表示する表示制御方法であって、
前記他の画像処理装置のユーザが前記表示された画像を指し示した行為を示すポインティング画像を前記画像処理装置の表示領域に表示する制御を行う表示制御ステップを有し、
前記ポインティング画像は方向性を有し、
前記表示制御ステップは、前記画像処理装置の表示領域において、前記画像処理装置のユーザが存在しない側から前記ポインティング画像を表示することを特徴とする表示制御方法。
【請求項１２】
画像処理装置及び他の画像処理装置を備え、共有された画像を前記画像処理装置及び前記他の画像処理装置の各表示領域に表示する表示制御方法をコンピュータに実行させるプログラムであって、
前記表示制御方法は、
前記他の画像処理装置のユーザが前記表示された画像を指し示した行為を示すポインティング画像を前記画像処理装置の表示領域に表示する制御を行う表示制御ステップを有し、
前記ポインティング画像は方向性を有し、
前記表示制御ステップは、前記画像処理装置の表示領域において、前記画像処理装置のユーザが存在しない側から前記ポインティング画像を表示することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御システム、画像処理装置、表示制御方法、及びプログラムに関し、特に、遠隔コミュニケーションを行う表示制御システム、画像処理装置、表示制御方法、及びプログラムに関する。
【背景技術】
【０００２】
離れた場所（遠隔地）の相手とコミュニケーション（以下、「遠隔コミュニケーション」という。）を取るための手段として各画像を表示する表示制御システムが知られている。表示制御システムでは、例えば、離れた２つの会議室Ａ，Ｂのそれぞれに表示部及び音声出力部を備える画像処理装置が配置され、画像処理装置同士が通信（以下、「遠隔コミュニケーション通信」という。）を行う。各会議室Ａ，Ｂでは、各画像処理装置の音声出力部から通信先の音声が出力され、各画像処理装置の表示部に各会議室Ａ，Ｂのユーザの画像や共有された電子資料等が表示される（例えば、特許文献１参照）。表示制御システムでは、会議室Ａ，Ｂにおいて、共有された電子資料が同じように表示された場合、例えば、会議室Ａのユーザが電子資料を指し示すと、会議室Ｂでは電子資料に重畳して会議室Ａのユーザが指し示した行為を示すポインティング画像が表示される。これにより、会議室Ａのユーザが電子資料を指し示した行為を会議室Ｂのユーザに容易に通知することができる。
【０００３】
表示制御システムでは、表示部の他に、プロジェクタを備える画像処理装置が用いられる場合があり、この場合、ユーザの画像や電子資料等はプロジェクタによって投影される。プロジェクタは、スクリーンやホワイトボードといった地面に対して垂直な面に各画像を投影するのが一般的であるが、近年では、画像処理装置が配置された机の上等の地面に対して水平な面（以下、単に「水平面」という。）に各画像を投影する場合も増えている。この場合、プロジェクタは画像処理装置に対向する位置のユーザが読み易い向きに電子資料を表示し、各会議室Ａ，Ｂでは、各画像処理装置から同じ距離だけ離れた位置であって、且つ各画像処理装置に対して同じ向きに電子資料が投影される。そのため、各会議室Ａ，Ｂでは、各画像処理装置に対して同じような位置でユーザによる電子資料の指し示しが行われる傾向にある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−４１８８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、各画像処理装置に対して同じような位置でユーザによる電子資料の指し示しが行われると、例えば、会議室Ｂでは、会議室Ａのユーザのポインティング画像が会議室Ｂのユーザの位置に投影される。その結果、まるで会議室Ｂのユーザから手が飛び出すような不自然な表示が行われてしまうという問題が生じる。
【０００６】
本発明の目的は、ポインティング画像の不自然な表示を回避することができる表示制御システム、画像処理装置、表示制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の表示制御システムは、画像処理装置及び他の画像処理装置を備え、共有された画像を前記画像処理装置及び前記他の画像処理装置の各表示領域に表示する表示制御システムであって、前記他の画像処理装置のユーザが前記表示された画像を指し示した行為を示すポインティング画像を前記画像処理装置の表示領域に表示する制御を行う表示制御手段を備え、前記ポインティング画像は方向性を有し、前記表示制御手段は、前記画像処理装置の表示領域において、前記画像処理装置のユーザが存在しない側から前記ポインティング画像を表示することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ポインティング画像の不自然な表示を回避することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る表示制御システムとしての遠隔コミュニケーションシステムを説明するための図である。
【図２】図１のプロジェクタの構成を概略的に示す斜視図である。
【図３】図１のデプスセンサの距離情報の取得範囲を説明するための図である。
【図４】図１の画像処理装置のハードウェア構成の概略を示すブロック図である。
【図５】図１の遠隔コミュニケーションシステムにおいて投影される画像の一例を示す図である。
【図６】図１の画像処理装置によって実行される遠隔コミュニケーション制御処理の手順を示すフローチャートである。
【図７】図１の画像処理装置によって実行されるポインティング画像送信処理の手順を示すフローチャートである。
【図８】図７のステップＳ７０１のポインティング画像生成処理の手順を示すフローチャートである。
【図９】図１の画像処理装置によって実行されるポインティング画像の変換を説明するための図である。
【図１０】図１の画像処理装置によって実行されるポインティング画像受信処理の手順を示すフローチャートである。
【図１１】図１０のステップＳ１００２のレイアウト情報更新処理の手順を示すフローチャートである。
【図１２】図１１のステップＳ１１０２の処理における判別を説明するための図である。
【図１３】図１１のレイアウト情報更新処理の第１の変形例の手順を示すフローチャートである。
【図１４】図１３のステップＳ１３０２の処理における判別を説明するための図である。
【図１５】図１１のレイアウト情報更新処理の第２の変形例の手順を示すフローチャートである。
【図１６】図１５のステップＳ１５０２の処理における判別を説明するための図である。
【図１７】図１１のレイアウト情報更新処理の第３の変形例の手順を示すフローチャートである。
【図１８】図１７のステップＳ１７０２の処理における判別を説明するための図である。
【図１９】図１０のポインティング画像受信処理の変形例及び図７のポインティング画像送信処理の変形例の各手順を示すフローチャートである。
【図２０】図１の画像処理装置によって実行される画像変換処理の各手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面を参照しながら詳述する。
【００１１】
図１は、本発明の実施の形態に係る表示制御システムとしての遠隔コミュニケーションシステム１００を説明するための図である。
【００１２】
遠隔コミュニケーションシステム１００は、離れた場所（遠隔地）の相手とコミュニケーションを取るためのコミュニケーションシステムである。遠隔コミュニケーションシステム１００は複数の会議室の間で通信可能であり、本実施の形態では、一例として、２つの会議室Ａ，Ｂの間で通信される場合を前提とする。各会議室Ａ，Ｂは、移動に時間を要する程離れていても良く、また、同一のビルに設けられた別の会議室であっても良い。つまり、本実施の形態における「遠隔」という表現は、物理的な空間が別であることを示し、距離や移動に要する時間の長さを定義するものではない。遠隔コミュニケーションシステム１００では、図１（ａ）に示すように、会議室Ａに画像処理装置１０１ａが設置され、図１（ｂ）に示すように、会議室Ｂに画像処理装置１０１ｂが設置されている。なお、本実施の形態では、画像処理装置１０１ａ及び画像処理装置１０１ｂは同様の構成であり、以下では、一例として、画像処理装置１０１ａを用いてその構成を説明する。また、以下では、会議室Ａに設けられる装置の各構成要素や会議室Ａで表示される画像等の末尾に符号「ａ」を付し、会議室Ｂに設けられる装置の各構成要素や会議室Ｂで表示される画像等の末尾に符号「ｂ」を付して説明する。
【００１３】
図１（ａ）において、画像処理装置１０１ａはプロジェクタ１０２ａ及びデプスセンサ１０４ａを備える。画像処理装置１０１ａはタッチマット１０７ａ、カメラ１０８ａ、及びディスプレイ１０９ａと接続されている。
【００１４】
プロジェクタ１０２ａは、図２に示すように、光源ユニット２０１ａ、プロジェクタ鏡筒部２０２ａ、反射ミラー２０４ａ、及び投影ミラー２０５ａを備える。光源ユニット２０１ａ及びプロジェクタ鏡筒部２０２ａは屈曲部２０３ａを介して接続され、屈曲部２０３ａには反射ミラー２０４ａが配置される。光源ユニット２０１ａはプロジェクタ１０２ａの光源であり、光を反射ミラー２０４ａに出力する。プロジェクタ鏡筒部２０２ａは複数のレンズを有する投影光学系である。反射ミラー２０４ａは光源ユニット２０１ａから出力された光を投影ミラー２０５ａに反射させ、投影ミラー２０５ａは投影ミラー２０５ａによって反射した光をタッチマット１０７ａに出力する。これにより、プロジェクタ１０２ａはタッチマット１０７ａに各画像を投影する。以下では、プロジェクタ１０２ａがタッチマット１０７ａに画像を投影する領域を投影領域１０３ａ（表示領域）と定義する。また、投影領域１０３ａの大きさとして、幅を「ｓｃｒｅｅｎ＿ｗｉｄｔｈ」と定義し、高さを「ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ」と定義する。なお、本実施の形態では、会議室Ａの投影領域１０３ａ及び会議室Ｂの投影領域１０３ｂに関するキャリブレーション処理が予め実行されている。これにより、会議室Ａにおける投影領域１０３ａの大きさ及びタッチマット１０７ａに対する投影領域１０３ａの位置は、会議室Ｂにおける投影領域１０３ｂの大きさ及びタッチマット１０７ｂに対する投影領域１０３ｂの位置と同一である。
【００１５】
デプスセンサ１０４ａはタッチマット１０７ａに投影された電子資料等の画像１０５ａを指等で指したユーザの指や手の領域を抽出する。これにより、会議室ＡのユーザＡ，Ｂがタッチマット１０７ａに投影された画像１０５ａを指し示した場合、ユーザＡ，Ｂが指し示した行為を示すポインティング画像が生成される。生成されたポインティング画像は画像処理装置１０１ｂに送信され、画像処理装置１０１ｂは受信したポインティング画像をポインティング画像１０６ｂとしてタッチマット１０７ｂに投影する。デプスセンサ１０４ａは、タッチマット１０７ａから図３（ａ）の高さｄ１までの範囲の被写体の距離情報を取得可能である。また、デプスセンサ１０４ａはタッチマット１０７ａを撮影してＲＧＢ画像を生成する。
【００１６】
タッチマット１０７ａは、ユーザによるタッチ操作を受け付けるための入力インターフェースであり、タッチ操作が行われた位置を示す座標を検出する。カメラ１０８ａはタッチマット１０７ａの周辺を撮影し、ディスプレイ１０９ａは会議室ＢのユーザＣの映像を表示する。
【００１７】
本実施の形態では、画像処理装置１０１ｂも、画像処理装置１０１ａと同様に、デプスセンサ１０４ｂがタッチマット１０７ｂから図３（ｂ）の高さｄ１までの範囲の被写体の距離情報を取得し、画像１０５ｂを指し示したユーザＣの指や手の領域を抽出する。画像処理装置１０１ｂは抽出した結果に基づいてポインティング画像を生成し、該ポインティング画像を画像処理装置１０１ａに送信する。これにより、会議室Ａ，Ｂの間で、画像１０５ａ，１０５ｂを指し示した行為を互いに通知可能となる。
【００１８】
図４は、図１の画像処理装置１０１ａのハードウェア構成の概略を示すブロック図である。
【００１９】
図４において、画像処理装置１０１ａは、図１のプロジェクタ１０２ａ及びデプスセンサ１０４ａの他に、制御部４００ａを備え、制御部４００ａは、プロジェクタ１０２ａ及びデプスセンサ１０４ａのそれぞれと接続されている。制御部４００ａは、ＣＰＵ４０１ａ、ＲＡＭ４０２ａ、ＲＯＭ４０３ａ、ＨＤＤ４０４ａ、カメラＩ／Ｆ４０５ａ、ディスプレイコントローラ４０６ａ、オーディオコントローラ４０７ａ、ＵＳＢコントローラ４１０ａ、及びネットワークＩ／Ｆ４１１ａを備える。ＣＰＵ４０１ａ、ＲＡＭ４０２ａ、ＲＯＭ４０３ａ、ＨＤＤ４０４ａ、カメラＩ／Ｆ４０５ａ、ディスプレイコントローラ４０６ａ、オーディオコントローラ４０７ａ、ＵＳＢコントローラ４１０ａ、及びネットワークＩ／Ｆ４１１ａはシステムバス４１９ａを介して互いに接続されている。デプスセンサ１０４ａはコントローラ４１５ａ、赤外線投射部４１６ａ、赤外線カメラ４１７ａ、及びＲＧＢカメラ４１８ａを備える。コントローラ４１５ａは、赤外線投射部４１６ａ、赤外線カメラ４１７ａ、及びＲＧＢカメラ４１８ａのそれぞれと接続されている。
【００２０】
制御部４００ａは画像処理装置１０１ａ全体を統括的に制御する。ＣＰＵ４０１ａはＲＯＭ４０３ａ及びＨＤＤ４０４ａに格納されたプログラムを実行して各制御を行う。ＲＡＭ４０２ａは揮発性メモリであり、ＣＰＵ４０１ａの作業領域として用いられる。また、ＲＡＭ４０２ａは各データの一時格納領域として用いられ、例えば、後述するポインティング画像９０６やレイアウト情報を格納する。ＲＯＭ４０３ａは不揮発性メモリであり、画像処理装置１０１ａのブートプログラム等を格納する。ＨＤＤ４０４ａは画像処理装置１０１ａの制御プログラムや各データを格納する。例えば、ＨＤＤ４０４ａは画像処理装置１０１ａの設置位置情報やディスプレイ１０９ａの設置位置情報を格納する。カメラＩ／Ｆ４０５ａはデプスセンサ１０４ａやカメラ１０８ａとデータ通信を行う。例えば、カメラＩ／Ｆ４０５ａはカメラ１０８ａによって撮影された会議室Ａの映像データをカメラ１０８ａから取得する。会議室Ａの映像データはネットワークＩ／Ｆ４１１ａを介して画像処理装置１０１ｂに送信される。
【００２１】
ディスプレイコントローラ４０６ａはプロジェクタ１０２ａやディスプレイ１０９ａとデータ通信を行う。ディスプレイコントローラ４０６ａはプロジェクタ１０２ａによる画像の投影処理の制御や、ディスプレイ１０９ａによる画像の表示制御を行う。例えば、ディスプレイコントローラ４０６ａはタッチマット１０７ａの投影領域１０３ａに図５（ａ）の設定メニュー５０１ａを投影する制御を行う。設定メニュー５０１ａは、タッチマット１０７ａの投影領域１０３ａにおいて所定の期間ユーザに押下された位置、例えば、タッチ位置５０２ａを中心とする円形の画像である。設定メニュー５０１ａは少なくとも開始ボタン５０３ａを備える。開始ボタン５０３ａは遠隔コミュニケーション通信の実行を指示する操作ボタンであり、開始ボタン５０３ａがユーザによって選択されると、図５（ｂ）の設定メニュー５０４ａが投影領域１０３ａに投影される。設定メニュー５０４ａは接続リスト５０５ａ、接続ボタン５０６ａ、及びキャンセルボタン５０７ａを備える。接続リスト５０５ａには遠隔コミュニケーション通信の通信先の候補が表示される。接続ボタン５０６ａは遠隔コミュニケーション通信の開始を指示する操作ボタンであり、キャンセルボタン５０７ａは遠隔コミュニケーション通信に関する設定の中止を指示する操作ボタンである。例えば、接続リスト５０５ａにおいて会議室Ｂが選択され、且つ接続ボタン５０６ａが選択されると、画像処理装置１０１ａは会議室Ｂに配置された画像処理装置１０１ｂに遠隔コミュニケーション通信の実行要求通知を送信する。実行要求通知の受け付けを完了すると、画像処理装置１０１ａ及び画像処理装置１０１ｂの間で遠隔コミュニケーション通信の実行が可能になる。これにより、画像処理装置１０１ａは、図５（ｃ）に示すように、画像処理装置１０１ｂと共有された電子資料等の画像５０８ａを投影領域１０３ａに投影可能となる。また、画像処理装置１０１ａは、画像５０８ａを投影中にタッチマット１０７ａの投影領域１０３ａが所定の期間ユーザによって押下されると、設定メニュー５０９ａを投影領域１０３ａに投影する。設定メニュー５０９ａはユーザが押下したタッチ位置５１０ａを中心とする円形の画像であり、ファイルボタン５１１ａ及び終了ボタン５１２ａを備える。ファイルボタン５１１ａは投影領域１０３ａに投影する電子資料を選択するための操作ボタンであり、終了ボタン５１２ａは遠隔コミュニケーション通信の実行の終了を指示する操作ボタンである。
【００２２】
オーディオコントローラ４０７ａは画像処理装置１０１ａに接続されたマイク４０８ａ及びスピーカ４０９ａとデータ通信を行う。例えば、オーディオコントローラ４０７ａはマイク４０８ａによって受信した音声を音声データに変換する。音声データはネットワークＩ／Ｆ４１１ａによって画像処理装置１０１ｂに送信される。また、オーディオコントローラ４０７ａはスピーカ４０９ａを制御して会議室ＢのユーザＣが発した音声を会議室Ａに出力する。ＵＳＢコントローラ４１０ａは接続されたタッチマット１０７ａや外部メモリ４１２ａとデータ通信を行う。例えば、ＵＳＢコントローラ４１０ａはユーザがペンや指等でタッチしたタッチマット１０７ａの位置を示す座標情報をタッチマット１０７ａから取得する。また、ＵＳＢコントローラ４１０ａは接続されたＵＳＢメモリやＳＤカード等の外部メモリ４１２ａから画像データを取得する。ネットワークＩ／Ｆ４１１ａはネットワーク４１３に接続されたファイルサーバ４１４や画像処理装置１０１ｂとデータ通信を行う。
【００２３】
コントローラ４１５ａは赤外線投射部４１６ａ及び赤外線カメラ４１７ａを制御して画像処理装置１０１ａから対象物までの距離を示す８ビット１チャネルの距離画像データを取得する。また、コントローラ４１５ａはＲＧＢカメラ４１８ａを制御して８ビット３チャネルのＲＧＢ画像データを取得する。赤外線投射部４１６ａは不可視の赤外線の３次元測定パターンを対象物に投射する。赤外線カメラ４１７ａは対象物に投射された３次元測定パターンを読み取る。ＲＧＢカメラ４１８ａは可視光を撮影する。距離画像データ及びＲＧＢ画像データはＨＤＤ４０４ａに格納される。
【００２４】
次に、遠隔コミュニケーションシステム１００で実行される遠隔コミュニケーション通信について説明する。以下では、一例として、遠隔コミュニケーション通信における画像処理装置１０１ａの処理について説明する。なお、画像処理装置１０１ｂも同様の処理を実行可能である。
【００２５】
図６は、図１の画像処理装置１０１ａによって実行される遠隔コミュニケーション制御処理の手順を示すフローチャートである。
【００２６】
図６の処理は、ＣＰＵ４０１ａがＲＯＭ４０３ａ及びＨＤＤ４０４ａに格納されたプログラムを実行することによって行われる。図６の処理は、画像処理装置１０１ａにおける設定メニュー５０４ａの操作、及び画像処理装置１０１ｂを含む他の装置から送信された遠隔コミュニケーション通信の実行要求通知のいずれかに基づいて遠隔コミュニケーション通信を実行する場合を前提とする。
【００２７】
図６において、まず、ＣＰＵ４０１ａは遠隔コミュニケーション通信の開始指示手段が設定メニュー５０４ａの操作及び他の装置から送信された遠隔コミュニケーション通信の実行要求通知のいずれであるかを判別する（ステップＳ６０１）。
【００２８】
ステップＳ６０１の判別の結果、開始指示手段が設定メニュー５０４ａの操作であるとき、ＣＰＵ４０１ａは接続リスト５０５ａから選択された通信先、例えば、画像処理装置１０１ｂに遠隔コミュニケーション通信の実行要求通知を送信する（ステップＳ６０２）。遠隔コミュニケーション通信の実行要求通知には、遠隔コミュニケーション通信に必要な各情報や、共有される電子資料を特定する情報等が含まれている。次いで、ＣＰＵ４０１ａは画像処理装置１０１ｂから遠隔コミュニケーション通信の受付完了通知を受信したか否かを判別する（ステップＳ６０３）。
【００２９】
ステップＳ６０３の判別の結果、受付完了通知を受信したとき、ＣＰＵ４０１ａは後述するステップＳ６０７以降の処理を行う。一方、ステップＳ６０３の判別の結果、受付完了通知を受信しないとき、ＣＰＵ４０１ａは画像処理装置１０１ｂから遠隔コミュニケーション通信の実行要求取消通知を受信したか否かを判別する（ステップＳ６０４）。
【００３０】
ステップＳ６０４の判別の結果、実行要求取消通知を受信したとき、ＣＰＵ４０１ａは本処理を終了する。一方、ステップＳ６０４の判別の結果、実行要求取消通知を受信しないとき、ＣＰＵ４０１ａは設定メニュー５０４ａにおいてキャンセルボタン５０７ａが選択されたか否かを判別する（ステップＳ６０５）。
【００３１】
ステップＳ６０５の判別の結果、キャンセルボタン５０７ａが選択されたとき、ＣＰＵ４０１ａは本処理を終了する。一方、ステップＳ６０５の判別の結果、キャンセルボタン５０７ａが選択されないとき、ＣＰＵ４０１ａはステップＳ６０３の処理に戻る。
【００３２】
ステップＳ６０１の判別の結果、開始指示手段が他の装置から送信された遠隔コミュニケーション通信の実行要求通知であるとき、ＣＰＵ４０１ａは該実行要求通知に基づいて画像処理装置１０１ｂと共有する電子資料を決定する（ステップＳ６０６）。次いで、ＣＰＵ４０１ａは遠隔コミュニケーション通信を実行するための各モジュールの初期化処理を実行する（ステップＳ６０７）。初期化処理の実行が完了すると、ＣＰＵ４０１ａは後述する図７のポインティング画像送信処理及び図１０のポインティング画像受信処理を実行する。後述する図７のポインティング画像送信処理及び図１０のポインティング画像受信処理は、遠隔コミュニケーション通信の終了がユーザによって指示されるまで繰り返し実行される。投影領域１０３ａが所定の期間押下されると、ＣＰＵ４０１ａは設定メニュー５０９ａを投影領域１０３ａに投影する。ＣＰＵ４０１ａは終了ボタン５１２ａが選択されると（ステップＳ６０８でＹＥＳ）、遠隔コミュニケーション通信の終了処理を実行し（ステップＳ６０９）、本処理を終了する。
【００３３】
次に、遠隔コミュニケーション通信におけるポインティング画像の送信及び受信について説明する。一例として、画像処理装置１０１ａが画像処理装置１０１ｂにポインティング画像を送信する場合について説明する。
【００３４】
図７は、図１の画像処理装置１０１ａによって実行されるポインティング画像送信処理の手順を示すフローチャートである。
【００３５】
図７の処理は、ＣＰＵ４０１ａがＲＯＭ４０３ａ及びＨＤＤ４０４ａに格納されたプログラムを実行することによって行われる。
【００３６】
図７において、まず、ＣＰＵ４０１ａは、会議室ＡのユーザＡ，Ｂによる画像１０５ａの指し示しを検知すると、図８のポインティング画像生成処理を実行する（ステップＳ７０１）。これにより、ＣＰＵ４０１ａは会議室ＡのユーザＡ，Ｂが画像１０５ａを指し示した行為を示すポインティング画像及び該ポインティング画像の表示位置等を示すレイアウト情報を生成する。次いで、ＣＰＵ４０１ａはポインティング画像及びレイアウト情報を画像処理装置１０１ｂに送信する（ステップＳ７０２）。ステップＳ７０２では、会議室Ａにおいて画像１０５ａの指し示しが検知されない場合、ＣＰＵ４０１ａは画像１０５ａの指し示しが検知されない旨を示す情報を画像処理装置１０１ｂに送信する。次いで、ＣＰＵ４０１ａはポインティング画像送信処理の終了の指示を受け付けたか否かを判別する（ステップＳ７０３）。
【００３７】
ステップＳ７０３の判別の結果、ポインティング画像生成処理の終了の指示を受け付けないとき、ＣＰＵ４０１ａはステップＳ７０１の処理に戻る。一方、ステップＳ７０３の判別の結果、ポインティング画像生成処理の終了の指示を受け付けたとき、ＣＰＵ４０１ａは上述した図６のステップＳ６０８以降の処理を行う。
【００３８】
図８は、図７のステップＳ７０１のポインティング画像生成処理の手順を示すフローチャートである。
【００３９】
図８において、まず、ＣＰＵ４０１ａは、デプスセンサ１０４ａからＲＧＢ画像及び距離画像を取得し（ステップＳ８０１，Ｓ８０２）、距離画像の座標変換を行う（ステップＳ８０３）。デプスセンサ１０４ａでは、距離画像を撮影する赤外線カメラ４１７ａがＲＧＢ画像を撮影するＲＧＢカメラ４１８ａと異なる位置に設けられるので、ステップＳ８０３の処理では、ＣＰＵ４０１ａが距離画像をＲＧＢ画像の座標系に座標変換する。なお、本実施の形態では、赤外線カメラ４１７ａ及びＲＧＢカメラ４１８ａに関するキャリブレーション処理が予め実行される。これにより、赤外線カメラ４１７ａ及びＲＧＢカメラ４１８ａの各位置情報や上記座標変換に用いられる内部パラメータが導出され、基準画像が生成される。基準画像はユーザＡ，Ｂの手等を含まないタッチマット１０７ａのみの距離画像である。
【００４０】
次いで、ＣＰＵ４０１ａは予め生成された基準画像及びステップＳ８０２で取得した距離画像の差分に基づいてマスク画像を生成する（ステップＳ８０４）。ステップＳ８０４では、例えば、会議室Ａにおいて画像１０５ａを指し示したユーザＡの手の情報を含む距離画像がマスク画像として生成される。次いで、ＣＰＵ４０１ａは生成したマスク画像に対しノイズ除去及び平滑化のための画像処理を施す（ステップＳ８０５）。
【００４１】
次いで、ＣＰＵ４０１ａは画像処理を施したマスク画像及びステップＳ８０１で取得したＲＧＢ画像に基づいて色情報を含む中間画像を生成する（ステップＳ８０６）。次いで、ＣＰＵ４０１ａは該中間画像に対し透明化処理を施す（ステップＳ８０７）。ステップＳ８０７では、中間画像において、画素値が「２５５」の部分を非透明にし、画素値が「０」の部分を透明にした図９（ａ）の多値画像９００ａを生成する。多値画像９００ａはユーザＡの手を示す領域９０１ａが半透明であり、その他の領域が透明である。次いで、ＣＰＵ４０１ａは多値画像９００ａを投影領域１０３ａの座標系である投影座標系に射影変換して図９（ｂ）の変換画像９０２ａを生成する（ステップＳ８０８）。具体的に、ステップＳ８０８では、多値画像９００ａに含まれる投影領域１０３ａの頂点（Ｌ１，Ｍ１）を（０，０）に変換し、頂点（Ｌ２，Ｍ２）を（０，ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ）に変換する。頂点（Ｌ３，Ｍ３）を（ｓｃｒｅｅｎ＿ｗｉｄｔｈ，ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ）に変換し、頂点（Ｌ４，Ｍ４）を（ｓｃｒｅｅｎ＿ｗｉｄｔｈ，０）に変換する。なお、射影変換に用いられる各パラメータは事前のキャリブレーション処理によって導出される。
【００４２】
次いで、ＣＰＵ４０１ａは変換画像９０２ａにおけるユーザＡの手を示す領域９０３ａの外接矩形領域９０４ａを抽出し、該外接矩形領域９０４ａの座標を取得する（ステップＳ８０９）。次いで、ＣＰＵ４０１ａは変換画像９０２ａにおける指し示し位置の座標を取得する（ステップＳ８１０）。指し示し位置は、変換画像９０２ａにおけるユーザＡが指し示す指の先端部である。ステップＳ８１０において、ＣＰＵ４０１ａは、外接矩形領域９０４ａの四辺の中から変換画像９０２ａの端と一致し、且つ非透明な画素が最も多く接する辺９０５ａを特定する。ＣＰＵ４０１ａは辺９０５ａに対向する辺９０６ａに非透明な画素が接する位置９０７ａを指し示し位置に決定し、該指し示し位置の座標を取得する。
【００４３】
次いで、ＣＰＵ４０１ａは変換画像９０２ａから外接矩形領域９０４ａをトリミングし、方向性を有する図９（ｃ）のポインティング画像９０８ａを生成する（ステップＳ８１１）。以下では、ポインティング画像９０８ａにおけるユーザＡの指先側をポインティング画像９０８ａの指先側と定義し、ポインティング画像９０８ａにおけるユーザＡの手首側をポインティング画像９０８ａの手首側と定義する。また、指し示し位置９０７ａ及びポインティング画像９０８ａの手首側の辺を結ぶ直線を指し示し線９０９ａと定義する。さらに、ユーザＡが指し示す方向を指し示し方向と定義し、その向きを指し示し線９０９ａの矢印で示す。次いで、ＣＰＵ４０１ａはポインティング画像９０８ａ及びレイアウト情報を対応付けしてＲＡＭ４０２ａに格納する（ステップＳ８１１）。レイアウト情報は、ステップＳ８０９で取得した外接矩形領域９０４ａの座標及びステップＳ８１０で取得した指し示し位置の座標等を含む。その後、ＣＰＵ４０１ａは上述したステップＳ７０２以降の処理を行う。なお、本実施の形態では、複数の指し示しが検知された場合、各指し示しに対して図８の処理を実行する。
【００４４】
図１０は、図１の画像処理装置１０１ｂによって実行されるポインティング画像受信処理の手順を示すフローチャートである。
【００４５】
図１０の処理は、ＣＰＵ４０１ｂがＲＯＭ４０３ｂ及びＨＤＤ４０４ｂに格納されたプログラムを実行することによって行われる。
【００４６】
図１０において、ＣＰＵ４０１ｂは画像処理装置１０１ａからポインティング画像及びレイアウト情報を受信したか否かを判別する（ステップＳ１００１）。
【００４７】
ステップＳ１００１の判別の結果、画像処理装置１０１ａから、例えば、ポインティング画像９０８ａ及びレイアウト情報を受信したとき、ＣＰＵ４０１ｂは後述する図１１のレイアウト情報更新処理を行う（ステップＳ１００２）。これにより、ＣＰＵ４０１ｂは取得したポインティング画像９０８ａを回転させる回転角度を決定し、該回転角度に基づいてレイアウト情報を更新する。次いで、ＣＰＵ４０１ｂはポインティング画像９０８ａ及び更新後のレイアウト情報に基づいてポインティング画像を投影領域１０３ｂに投影する（ステップＳ１００３）。次いで、ＣＰＵ４０１ｂはポインティング画像受信処理の実行の終了が指示されたか否かを判別する（ステップＳ１００４）。
【００４８】
ステップＳ１００４の判別の結果、ポインティング画像受信処理の実行の終了が指示されないとき、ＣＰＵ４０１ｂはステップＳ１００１の処理に戻る。一方、ポインティング画像受信処理の実行の終了が指示されたとき、ＣＰＵ４０１ｂは上述したステップＳ６０８以降の処理を行う。
【００４９】
図１１は、図１０のステップＳ１００２のレイアウト情報更新処理の手順を示すフローチャートである。
【００５０】
図１１において、まず、ＣＰＵ４０１ｂは、投影領域１０３ｂに対する画像処理装置１０１ｂの設置位置（以下、単に「画像処理装置１０１ｂの設置位置」という。）に関する情報をＨＤＤ４０４ｂから取得する（ステップＳ１１０１）。次いで、ＣＰＵ４０１ｂは、取得したポインティング画像９０８ａに基づいて投影領域１０３ｂに投影されるポインティング画像の手首側が画像処理装置１０１ｂの設置側であるか否かを判別する（ステップＳ１１０２）。具体的に、上記ポインティング画像の指し示し線及び該指し示し線を指し示し方向と逆方向に延長した延長線（以下、「指し示し延長線」という。）のいずれかが投影領域１０３ｂにおける画像処理装置１０１ｂの設置側の辺と交差する場合、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が画像処理装置１０１ｂの設置側であると判別する。例えば、上記ポインティング画像が図１２（ａ）のポインティング画像１２０１ｂである場合、ポインティング画像１２０１ｂの指し示し延長線１２０２ｂが投影領域１０３ｂにおける画像処理装置１０１ｂの設置側の辺１２０３ｂと交差するので、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が画像処理装置１０１ｂの設置側であると判別する。
【００５１】
一方、上記ポインティング画像の指し示し線及び指し示し延長線のいずれもが投影領域１０３ｂにおける画像処理装置１０１ｂの設置側の辺と交差しない場合、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が画像処理装置１０１ｂの設置側でないと判別する。例えば、上記ポインティング画像が図１２（ａ）のポインティング画像１２０４ｂである場合、ポインティング画像１２０４ｂの指し示し延長線１２０５ｂが辺１２０３ｂと交差しないので、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が画像処理装置１０１ｂの設置側でないと判別する。
【００５２】
ステップＳ１１０２の判別の結果、上記ポインティング画像の手首側が画像処理装置１０１ｂの設置側であるとき、ＣＰＵ４０１ｂは本処理を終了する。一方、ステップＳ１１０２の判別の結果、上記ポインティング画像の手首側が画像処理装置１０１ｂの設置側でないとき、ＣＰＵ４０１ｂは該ポインティング画像の回転角度を決定する（ステップＳ１１０３）。ＣＰＵ４０１ｂは、例えば、ポインティング画像１２０４ｂを該ポインティング画像１２０４ｂの指し示し位置を中心に回転させた際にポインティング画像１２０４ｂの指し示し延長線が画像処理装置１０１ｂの設置側の辺と交差する回転角度を決定する。次いで、ＣＰＵ４０１ｂは回転角度に基づいてレイアウト情報を更新し（ステップＳ１１０４）、更新したレイアウト情報をＲＡＭ４０２ｂに格納する。これにより、投影領域１０３ｂには、ユーザＡの手首側が画像処理装置１０１ｂ側となる図１２（ｃ）のポインティング画像１２０７ｂが投影される。つまり、画像処理装置１０１ｂは、ユーザＣが存在しない側、具体的に、画像処理装置１０１ｂの設置側からポインティング画像１２０７ｂを表示する。その後、ＣＰＵ４０１ｂは上述したステップＳ１００３以降の処理を行う。
【００５３】
上述した図１０及び図１１の処理によれば、画像処理装置１０１ｂの投影領域１０３ｂにおいて、画像処理装置１０１ｂのユーザＣが存在しない側からポインティング画像１２０７ｂが表示される。すなわち、会議室ＡにおけるユーザＡ，Ｂの位置に関わらず、会議室Ｂにおいて、ポインティング画像１２０７ｂがユーザＣの位置に表示されることはない。これにより、会議室Ｂにおいて、まるでユーザＣから手が飛び出すような不自然な表示が行われるのを回避することができる。
【００５４】
また、上述した図１０及び図１１の処理では、画像処理装置１０１ｂの投影領域１０３ｂにおいて、画像処理装置１０１ｂの設置側からポインティング画像１２０７ｂが表示される。これにより、少なくとも、ポインティング画像１２０７ｂがユーザＣに重畳して表示されるのを回避することができる。
【００５５】
以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。
【００５６】
例えば、画像処理装置１０１ｂに対向しない位置ではなく、図１２（ｃ）に示すように、画像処理装置１０１ｂの前方側からユーザＣが投影領域１０３ｂを確認している場合であっても良い。この場合でも上述した本実施の形態と同様の効果を奏することができる。
【００５７】
また、上述した本実施の形態では、ポインティング画像１２０７ｂが投影領域１０３ｂにおける画像１０５ｂの上下方向における上端側（以下、単に「画像１０５ｂの上端側」という。）から表示されても良い。
【００５８】
図１３は、図１１のレイアウト情報更新処理の第１の変形例の手順を示すフローチャートである。
【００５９】
図１３において、まず、ＣＰＵ４０１ｂは投影領域１０３ｂに投影される画像１０５ｂの上端側の情報をＨＤＤ４０４ｂから取得する（ステップＳ１３０１）。次いで、ＣＰＵ４０１ｂは取得したポインティング画像９０８ａに基づいて投影領域１０３ｂに投影されるポインティング画像の手首側が画像１０５ｂの上端側であるか否かを判別する（ステップＳ１３０２）。具体的に、上記ポインティング画像の指し示し線及び指し示し延長線のいずれかが投影領域１０３ｂにおける画像１０５ｂの上端側の辺と交差する場合、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が画像１０５ｂの上端側であると判別する。例えば、上記ポインティング画像が図１４（ａ）のポインティング画像１４０１ｂである場合、ポインティング画像１４０１ｂの指し示し延長線１４０２ｂが投影領域１０３ｂにおける画像１０５ｂの上端側の辺１４０３ｂと交差するので、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が画像１０５ｂの上端側であると判別する。
【００６０】
一方、指し示し線及び指し示し延長線のいずれもが投影領域１０３ｂにおける画像１０５ｂの上端側の辺と交差しない場合、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が画像１０５ｂの上端側でないと判別する。例えば、上記ポインティング画像が図１４（ａ）のポインティング画像１４０４ｂである場合、ポインティング画像１４０４ｂの指し示し延長線１４０５ｂが辺１４０３ｂと交差しないので、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が画像１０５ｂの上端側でないと判別する。
【００６１】
ステップＳ１３０２の判別の結果、上記ポインティング画像の手首側が画像１０５ｂの上端側であるとき、ＣＰＵ４０１ｂは本処理を終了する。一方、ステップＳ１３０２の判別の結果、上記ポインティング画像の手首側が画像１０５ｂの上端側でないとき、ＣＰＵ４０１ｂは該ポインティング画像の回転角度を決定する（ステップＳ１３０３）。ＣＰＵ４０１ｂは、例えば、ポインティング画像１４０４ｂを該ポインティング画像１４０４ｂの指し示し位置を中心に回転させた際にポインティング画像１４０４ｂの指し示し延長線が画像１０５ｂの上端側の辺と交差する回転角度を決定する。次いで、ＣＰＵ４０１ｂは回転角度に基づいてレイアウト情報を更新し（ステップＳ１３０４）、更新したレイアウト情報をＲＡＭ４０２ｂに格納する。これにより、投影領域１０３ｂには、ユーザＡの手首側が画像１０５ｂの上端側となるポインティング画像１４０７ｂが投影される。つまり、画像処理装置１０１ｂは画像１０５ｂの上端側からポインティング画像１４０７ｂを表示する。その後、ＣＰＵ４０１ｂは本処理を終了する。
【００６２】
上述した図１３の処理では、ポインティング画像１４０７ｂが投影領域１０３ｂにおける画像１０５ｂの上端側から表示される。通常、ユーザは投影領域１０３ｂに投影された画像１０５ｂを閲覧し易い位置から確認するので、画像１０５ｂを閲覧し難い位置である画像１０５の上端側にユーザＣが存在する可能性は極めて低い。これに対して、本実施の形態では、ポインティング画像１４０７ｂが投影領域１０３ｂにおける画像１０５ｂの上端側から表示される。これにより、ポインティング画像１４０７ｂがユーザＣに重畳して表示される事態を確実に減らすことができる。
【００６３】
上述した実施の形態において、カメラ１０８ｂやマイク４０８ｂを用いて会議室ＢにおけるユーザＣがいない位置を推定し、推定した側からポインティング画像を表示しても良い。
【００６４】
図１５は、図１１のレイアウト情報更新処理の第２の変形例の手順を示すフローチャートである。
【００６５】
図１５において、まず、ＣＰＵ４０１ｂは投影領域１０３ｂの四辺のうちユーザが存在しない辺を推定する（ステップＳ１５０１）。以下では、ステップＳ１５０１において、投影領域１０３ｂにおいてユーザが存在しないと推定された辺を無人推定辺と定義し、無人推定辺の側を無人推定辺側と定義する。例えば、ステップＳ１５０１において、ＣＰＵ４０１ｂはカメラ１０８ｂで撮影した撮影画像を解析し、Ｈａａｒ  Ｌｉｋｅ特徴量を用いた方法等に基づいて該撮影画像から顔領域を検出する。ＣＰＵ４０１ｂは投影領域１０３ｂの四辺のうち顔領域が検出されない辺の側を無人推定辺側とする。なお、本実施の形態では、撮影画像及び投影領域１０３ｂの各辺の関係は事前のキャリブレーションによって予め設定される。また、ＣＰＵ４０１ｂは、マイクアレイを用いた方法等に基づいて投影領域１０３ｂの周辺の発話及び発話元から投影領域１０３ｂに向かう方向である発話方向を検出する。ＣＰＵ４０１ｂは遠隔コミュニケーション通信の開始に応じて発話及び発話方向の検出を開始し、投影領域１０３ｂの四辺のうち発話が検出されない又は発話の検出回数が予め設定された回数より少ない辺の側を無人推定辺側とする。なお、本実施の形態では、発話方向及び投影領域１０３ｂの各辺の関係は事前のキャリブレーションによって予め設定される。
【００６６】
次いで、ＣＰＵ４０１ｂは取得したポインティング画像９０８ａに基づいて投影領域１０３ｂに投影されるポインティング画像の手首側が無人推定辺側であるか否かを判別する（ステップＳ１５０２）。具体的に、上記ポインティング画像の指し示し線及び指し示し延長線のいずれかが無人推定辺と交差する場合、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が無人推定辺側であると判別する。例えば、上記ポインティング画像が図１６（ａ）のポインティング画像１６０１ｂである場合、ポインティング画像１６０１ｂの指し示し延長線１６０２ｂが無人推定辺１６０３ｂと交差するので、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が無人推定辺側であると判別する。一方、指し示し線及び指し示し延長線のいずれもが無人推定辺と交差しない場合、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が無人推定辺側でないと判別する。例えば、上記ポインティング画像が図１６（ａ）のポインティング画像１６０４ｂである場合、ポインティング画像１６０４ｂの指し示し延長線１６０５ｂが無人推定辺１６０３ｂと交差しないので、ＣＰＵ４０１ｂは上記ポインティング画像の手首側が無人推定辺側でないと判別する。
【００６７】
ステップＳ１５０２の判別の結果、上記ポインティング画像の手首側が無人推定辺側であるとき、ＣＰＵ４０１ｂは本処理を終了する。一方、ステップＳ１５０２の判別の結果、上記ポインティング画像の手首側が無人推定辺側でないとき、ＣＰＵ４０１ｂは該ポインティング画像の回転角度を決定する（ステップＳ１５０３）。ＣＰＵ４０１ｂは、例えば、ポインティング画像１６０４ｂを該ポインティング画像１６０４ｂの指し示し位置を中心に回転させた際にポインティング画像１６０４ｂの指し示し延長線が無人推定辺と交差する回転角度を決定する。次いで、ＣＰＵ４０１ｂは回転角度に基づいてレイアウト情報を更新し（ステップＳ１５０４）、更新したレイアウト情報をＲＡＭ４０２ｂに格納する。これにより、投影領域１０３ｂには、ユーザＡの手首側が無人推定辺側となるポインティング画像１６０７ｂが投影される。つまり、画像処理装置１０１ｂは無人推定辺側からポインティング画像１６０７ｂを表示する。その後、ＣＰＵ４０１ｂは本処理を終了する。
【００６８】
上述した図１５の処理では、ポインティング画像１６０７ｂが無人推定辺側から表示される。これにより、ポインティング画像１４０７ｂがユーザＣに重畳して表示される事態をより確実に減らすことができる。
【００６９】
また、上述した実施の形態において、ディスプレイ１０９ｂ側からポインティング画像を表示しても良い。
【００７０】
図１７は、図１１のレイアウト情報更新処理の第３の変形例の手順を示すフローチャートである。
【００７１】
図１７において、まず、ＣＰＵ４０１ｂは、通信先のユーザＡ，Ｂの映像が表示されるディスプレイ１０９ｂの設置位置に関する情報をＨＤＤ４０４ｂから取得する（ステップＳ１７０１）。次いで、ＣＰＵ４０１ｂは取得したポインティング画像９０８ａに基づいて投影領域１０３ｂに投影されるポインティング画像の手首側がディスプレイ１０９ｂの設置側であるか否かを判別する（ステップＳ１７０２）。具体的に、上記ポインティング画像の指し示し線及び指し示し延長線のいずれかが投影領域１０３ｂにおけるディスプレイ１０９ｂが設置された側の辺と交差する場合、ＣＰＵ４０１ｂは上記ポインティング画像の手首側がディスプレイ１０９ｂの設置側であると判別する。以下では、投影領域１０３ｂにおけるディスプレイ１０９ｂが設置された側の辺をディスプレイ設置辺と定義する。一方、指し示し線及び指し示し延長線のいずれもがディスプレイ設置辺と交差しない場合、ＣＰＵ４０１ｂは上記ポインティング画像の手首側がディスプレイ１０９ｂの設置側でないと判別する。
【００７２】
ステップＳ１７０２の判別の結果、上記ポインティング画像の手首側がディスプレイ１０９ｂの設置側であるとき、ＣＰＵ４０１ｂは本処理を終了する。一方、ステップＳ１７０２の判別の結果、上記ポインティング画像の手首側がディスプレイ１０９ｂの設置側でないとき、ＣＰＵ４０１ｂは該ポインティング画像の回転角度を決定する（ステップＳ１７０３）。例えば、ＣＰＵ４０１ｂは、ユーザＡの手首側がディスプレイ１０９ｂの設置側でないポインティング画像を該ポインティング画像の指し示し位置を中心に回転させた際に該ポインティング画像の指し示し延長線がディスプレイ設置辺と交差する回転角度を決定する。次いで、ＣＰＵ４０１ｂは決定した回転角度に基づいてレイアウト情報を更新し（ステップＳ１７０４）、更新したレイアウト情報をＲＡＭ４０２ｂに格納する。これにより、投影領域１０３ｂには、ユーザＡの手首側がディスプレイ１０９ｂの設置側となるポインティング画像１８０１ｂが投影される。つまり、画像処理装置１０１ｂはディスプレイ１０９ｂの設置側からポインティング画像１８０１ｂを表示する。その後、ＣＰＵ４０１ｂは本処理を終了する。
【００７３】
上述した図１７の処理では、ポインティング画像１８０１ｂが投影領域１０３ｂにおけるディスプレイ１０９ｂの設置側から表示される。これにより、会議室Ｂにおいて、会議室ＡのユーザＡ，Ｂのポインティング画像をユーザＡ，Ｂが表示される側から表示することができ、もって、自然な遠隔コミュニケーション通信を実現することができる。
【００７４】
さらに、上述した実施の形態において、画像処理装置１０１ａがレイアウト情報を送信する前に該レイアウト情報を更新しても良い。
【００７５】
図１９（ａ）は、図１０のポインティング画像受信処理の変形例の手順を示すフローチャートである。
【００７６】
図１９（ａ）の処理は、ＣＰＵ４０１ｂがＲＯＭ４０３ｂ及びＨＤＤ４０４ｂに格納されたプログラムを実行することによって行われる。
【００７７】
図１９（ａ）について、ＣＰＵ４０１ｂはポインティング画像の回転角度を決定するためのパラメータを画像処理装置１０１ａに送信する（ステップＳ１９０１）。すなわち、本実施の形態では、画像処理装置１０１ｂは、画像処理装置１０１ａからポインティング画像及びレイアウト情報を受信する前に上記パラメータを画像処理装置１０１ａに送信する。上記パラメータとして、例えば、投影領域１０３ｂに対する画像処理装置１０１ｂの設置位置に関する情報、投影領域１０３ｂにおける画像１０５ｂの上端側の辺を示す情報、投影領域１０３ｂにおける無人推定辺側を示す情報、及びディスプレイ１０９ｂの設置位置に関する情報を画像処理装置１０１ａに送信する。次いで、上述したステップＳ１００１の処理を実行する。
【００７８】
ステップＳ１００１の判別の結果、画像処理装置１０１ａからポインティング画像及びレイアウト情報を受信しないとき、ＣＰＵ４０１ｂは上述したステップＳ１００４以降の処理を行う。一方、ステップＳ１００１の判別の結果、画像処理装置１０１ａからポインティング画像及びポインティング画像のレイアウト情報を受信したとき、ＣＰＵ４０１ｂは上述したステップＳ１００３以降の処理を行う。
【００７９】
図１９（ｂ）は、図７のポインティング画像送信処理の変形例の手順を示すフローチャートである。
【００８０】
図１９（ｂ）の処理は、ＣＰＵ４０１ａがＲＯＭ４０３ａ及びＨＤＤ４０４ａに格納されたプログラムを実行することによって行われる。
【００８１】
図１９（ｂ）において、まず、ＣＰＵ４０１ａは上記パラメータを画像処理装置１０１ｂから取得する（ステップＳ１９０２）。次いで、ＣＰＵ４０１ａは上述したステップＳ７０１の処理を行い、レイアウト情報更新処理を実行する（ステップＳ１９０３）。ステップＳ１９０３では、図２０（ａ）〜図２０（ｄ）のいずれかのレイアウト情報更新処理が実行される。例えば、図２０（ａ）の処理では、ＣＰＵ４０１ａが、上述したステップＳ１１０２〜Ｓ１１０４の処理を実行し、画像処理装置１０１ｂにおいてポインティング画像が画像処理装置１０１ｂの設置側から表示されるようにレイアウト情報を更新する。また、図２０（ｂ）の処理では、ＣＰＵ４０１ａが、上述したステップＳ１３０２〜Ｓ１３０４の処理を実行し、画像処理装置１０１ｂにおいてポインティング画像が画像１０５ｂの上端側から表示されるようにレイアウト情報を更新する。さらに、図２０（ｃ）の処理では、ＣＰＵ４０１ａが、上述したステップＳ１５０２〜Ｓ１５０４の処理を実行し、画像処理装置１０１ｂにおいてポインティング画像が無人推定辺側から表示されるようにレイアウト情報を更新する。図２０（ｄ）の処理では、ＣＰＵ４０１ａが、上述したステップＳ１７０２〜Ｓ１７０４の処理を実行し、画像処理装置１０１ｂにおいてポインティング画像がディスプレイ１０９ｂの設置側から表示されるようにレイアウト情報を更新する。次いで、ＣＰＵ４０１ａは上述したステップＳ７０２以降の処理を行う。
【００８２】
上述した図１９（ａ）、図１９（ｂ）、及び図２０（ａ）〜図２０（ｄ）の処理においても、上述した本実施の形態と同様の効果を奏することができる。
【００８３】
また、上述した本実施の形態において、画像処理装置１０１ｂの設置位置情報やディスプレイ１０９ｂの設置位置情報等のパラメータのように遠隔コミュニケーション通信中に変更される可能性が極めて低いパラメータの送信処理は、複数回行わなくても良く、画像処理装置１０１ａは受信した上記パラメータを保持することが好ましい。これにより、パラメータの通信処理の実行を減らすことができ、もって、パラメータの通信処理の負荷を軽減することができる。
【００８４】
本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８５】
１００  遠隔コミュニケーションシステム
１０１ａ，１０１ｂ  画像処理装置
１０２ａ  プロジェクタ
１０３ａ，１０３ｂ  投影領域
１０５ａ，１０５ｂ  画像
１０８ａ，１０８ｂ  カメラ
４０８ａ，４０８ｂ  マイク
９０８ａ，１２０７ｂ，１４０７ｂ，１６０７ｂ，１８０１ｂ  ポインティング画像
【図１】
2018073093.tif 000003
【図２】
2018073093.tif 000004
【図３】
2018073093.tif 000005
【図４】
2018073093.tif 000006
【図５】
2018073093.tif 000007
【図６】
2018073093.tif 000008
【図７】
2018073093.tif 000009
【図８】
2018073093.tif 000010
【図９】
2018073093.tif 000011
【図１０】
2018073093.tif 000012
【図１１】
2018073093.tif 000013
【図１２】
2018073093.tif 000014
【図１３】
2018073093.tif 000015
【図１４】
2018073093.tif 000016
【図１５】
2018073093.tif 000017
【図１６】
2018073093.tif 000018
【図１７】
2018073093.tif 000019
【図１８】
2018073093.tif 000020
【図１９】
2018073093.tif 000021
【図２０】
2018073093.tif 000022