(57)【要約】【課題】ユーザが表示領域の端部を指し示しても、円滑なコミュニケーションを行うことができる表示制御システムを提供する。【解決手段】遠隔コミュニケーションシステム１００は、会議室ＡのユーザＡ，Ｂが投影領域１０３ａの端部を指し示した場合、会議室ＡのユーザＡ，Ｂが指し示した位置が明らかになるようなポインティング画像１４１０ｂを会議室Ｂに表示する。【選択図】図１４
2018137685.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置及び他の画像処理装置を備え、共有されたデータを前記画像処理装置及び前記他の画像処理装置の各表示領域に表示する表示制御システムであって、
前記画像処理装置のユーザが前記データを指し示した行為を示すポインティング画像を前記他の画像処理装置の表示領域に表示する制御を行う表示制御手段を備え、
前記表示制御手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザが指し示した位置が明らかになるようなポインティング画像を前記他の画像処理装置の表示領域に表示することを特徴とする表示制御システム。
【請求項２】
前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示したか否かを判別する判別手段と、
前記画像処理装置の表示領域を含む撮影領域を撮影する撮影手段とを更に備え、
前記画像処理装置の表示領域外である前記画像処理装置の撮影領域を前記画像処理装置のユーザが指し示した場合、若しくは前記画像処理装置の表示領域の境界のうち前記画像処理装置のユーザに最も近い境界から予め設定された所定の距離だけ前記画像処理装置の表示領域の内側の領域を前記画像処理装置のユーザが指し示した場合、前記判別手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示したと判別することを特徴とする請求項１記載の表示制御システム。
【請求項３】
前記表示制御手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザ側の撮影領域を含むポインティング画像を表示することを特徴とする請求項２記載の表示制御システム。
【請求項４】
前記表示制御手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザが指し示した位置を中心とする所定の領域を強調表示するポインティング画像を表示することを特徴とする請求項２記載の表示制御システム。
【請求項５】
前記表示制御手段は、前記共有されたデータの画像に前記ポインティング画像を重畳した重畳画像を表示し、
前記表示制御手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザ側の撮影領域を含む重畳画像を表示することを特徴とする請求項２記載の表示制御システム。
【請求項６】
他の画像処理装置と共有されたデータを表示領域に表示する画像処理装置であって、
前記画像処理装置のユーザが前記画像処理装置の表示領域を指し示した行為を示すポインティング画像を生成する生成手段と、
前記ポインティング画像を前記他の画像処理装置に送信し、前記他の画像処理装置の表示領域に前記ポインティング画像を表示させる表示制御手段とを備え、
前記生成手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザが指し示した位置が明らかになるようなポインティング画像を生成することを特徴とする画像処理装置。
【請求項７】
前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示したか否かを判別する判別手段と、
前記画像処理装置の表示領域を含む撮影領域を撮影する撮影手段とを更に備え、
前記画像処理装置の表示領域外である前記画像処理装置の撮影領域を前記画像処理装置のユーザが指し示した場合、若しくは前記画像処理装置の表示領域の境界のうち前記画像処理装置のユーザに最も近い境界から予め設定された所定の距離だけ前記画像処理装置の表示領域の内側の領域を前記画像処理装置のユーザが指し示した場合、前記判別手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示したと判別することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記生成手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザ側の撮影領域を含むポインティング画像を生成することを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記生成手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザが指し示した位置を中心とする所定の領域を強調表示するポインティング画像を生成することを特徴とする請求項７記載の画像処理装置。
【請求項１０】
前記生成手段は、前記共有されたデータの画像に前記ポインティング画像を重畳した重畳画像を前記他の画像処理装置の表示領域に表示させるための表示用画像を生成し、
前記生成手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザ側の撮影領域を含む表示用画像を生成することを特徴とする請求項７記載の画像処理装置。
【請求項１１】
共有されたデータを画像処理装置及び他の画像処理装置の各表示領域に表示する表示制御方法であって、
前記画像処理装置のユーザが前記データを指し示した行為を示すポインティング画像を前記他の画像処理装置の表示領域に表示する制御を行う表示制御ステップを有し、
前記表示制御ステップは、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザが指し示した位置が明らかになるようなポインティング画像を前記他の画像処理装置の表示領域に表示することを特徴とする表示制御方法。
【請求項１２】
共有されたデータを画像処理装置及び他の画像処理装置の各表示領域に表示する表示制御方法をコンピュータに実行させるプログラムであって、
前記表示制御方法は、
前記画像処理装置のユーザが前記データを指し示した行為を示すポインティング画像を前記他の画像処理装置の表示領域に表示する制御を行う表示制御ステップを有し、
前記表示制御ステップは、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザが指し示した位置が明らかになるようなポインティング画像を前記他の画像処理装置の表示領域に表示することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御システム、画像処理装置、表示制御方法、及びプログラムに関し、特に、遠隔コミュニケーションを行う表示制御システム、画像処理装置、表示制御方法、及びプログラムに関する。
【背景技術】
【０００２】
離れた場所（遠隔地）の相手とコミュニケーション（以下、「遠隔コミュニケーション」という。）を取るための手段として各画像を表示する表示制御システムが知られている。表示制御システムでは、例えば、離れた２つの会議室Ａ，Ｂのそれぞれに表示部及び音声出力部を備える画像処理装置が配置され、画像処理装置同士が通信（以下、「遠隔コミュニケーション通信」という。）を行う。各会議室Ａ，Ｂでは、各画像処理装置の音声出力部から通信先の音声が出力され、各画像処理装置の表示部に各会議室Ａ，Ｂのユーザの画像や共有された電子資料等が表示される（例えば、特許文献１参照）。表示制御システムでは、会議室Ａ，Ｂにおいて、共有された電子資料が同じように表示された場合、例えば、会議室Ａのユーザが電子資料を指し示すと、会議室Ｂでは電子資料に重畳して会議室Ａのユーザが指し示した行為を示すポインティング画像が表示される。これにより、会議室Ａのユーザが電子資料を指し示した位置を会議室Ｂのユーザに容易に通知することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−４１８８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の技術では、例えば、会議室Ａの表示部の端部に相当する位置を会議室Ｂのユーザが指し示すと、会議室Ｂのユーザのポインティング画像が会議室Ａの表示部に表示されない場合がある。この場合、会議室Ａのユーザに会議室Ｂのユーザが指し示した位置を通知することができず、コミュニケーションが阻害されてしまうという問題が生じる。
【０００５】
本発明の目的は、ユーザが表示領域の端部を指し示しても、円滑なコミュニケーションを行うことができる表示制御システム、画像処理装置、表示制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の表示制御システムは、画像処理装置及び他の画像処理装置を備え、共有されたデータを前記画像処理装置及び前記他の画像処理装置の各表示領域に表示する表示制御システムであって、前記画像処理装置のユーザが前記データを指し示した行為を示すポインティング画像を前記他の画像処理装置の表示領域に表示する制御を行う表示制御手段を備え、前記表示制御手段は、前記画像処理装置のユーザが前記画像処理装置の表示領域の端部を指し示した場合、前記画像処理装置のユーザが指し示した位置が明らかになるようなポインティング画像を前記他の画像処理装置の表示領域に表示することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザが表示領域の端部を指し示しても、円滑なコミュニケーションを行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る表示制御システムとしての遠隔コミュニケーションシステムを説明するための図である。
【図２】図１の画像処理装置の外観図である。
【図３】図１のデプスセンサの距離情報の取得範囲を説明するための図である。
【図４】図１の画像処理装置のハードウェア構成の概略を示すブロック図である。
【図５】図１の遠隔コミュニケーションシステムにおいて投影される画像の一例を示す図である。
【図６】図１の画像処理装置によって実行される遠隔コミュニケーション制御処理の手順を示すフローチャートである。
【図７】図６のステップＳ６０７の初期化処理の手順を示すフローチャートである。
【図８】図７のステップＳ７０１のポインティング画像送信処理の手順を示すフローチャートである。
【図９】図８のステップＳ８０１のポインティング画像生成処理の手順を示すフローチャートである。
【図１０】図９における画像変換を説明するための図である。
【図１１】図９のステップＳ９０６の端部指示判別処理の手順を示すフローチャートである。
【図１２】図１１における判別を説明するための図である。
【図１３】図９のステップＳ９１１の画像生成処理の手順を示すフローチャートである。
【図１４】図１３における画像変換を説明するための図である。
【図１５】図７のステップＳ７０４のスキャン画像送信処理の手順を示すフローチャートである。
【図１６】図７のステップＳ７０６の電子資料送信処理の手順を示すフローチャートである。
【図１７】図１３の画像生成処理の第１の変形例の手順を示すフローチャートである。
【図１８】図１７における画像変換を説明するための図である。
【図１９】図１３の画像生成処理の第２の変形例の手順を示すフローチャートである。
【図２０】図１９における画像変換を説明するための図である。
【図２１】図１５のスキャン画像送信処理の変形例の手順を示すフローチャートである。
【図２２】図１６の電子資料送信処理の変形例の手順を示すフローチャートである。
【図２３】図１の画像処理装置によって投影される画像の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態を図面を参照しながら詳述する。
【００１０】
図１は、本発明の実施の形態に係る表示制御システムとしての遠隔コミュニケーションシステム１００を説明するための図である。
【００１１】
遠隔コミュニケーションシステム１００は、離れた場所（遠隔地）の相手とコミュニケーションを取るためのコミュニケーションシステムである。遠隔コミュニケーションシステム１００は複数の会議室の間で通信可能であり、本実施の形態では、一例として、２つの会議室Ａ，Ｂの間で通信される場合を前提とする。各会議室Ａ，Ｂは、移動に時間を要する程離れていても良く、また、同一のビルに設けられた別の会議室であっても良い。つまり、本実施の形態における「遠隔」という表現は、物理的な空間が別であることを示し、距離や移動に要する時間の長さを定義するものではない。遠隔コミュニケーションシステム１００では、図１（ａ）に示すように、会議室Ａに画像処理装置１０１ａが設置され、図１（ｂ）に示すように、会議室Ｂに画像処理装置１０１ｂが設置されている。なお、本実施の形態では、画像処理装置１０１ａ及び画像処理装置１０１ｂは同様の構成であり、以下では、一例として、画像処理装置１０１ａを用いてその構成を説明する。また、以下では、会議室Ａに設けられる装置の各構成要素や会議室Ａで表示される画像等の末尾に符号「ａ」を付し、会議室Ｂに設けられる装置の各構成要素や会議室Ｂで表示される画像等の末尾に符号「ｂ」を付して説明する。
【００１２】
図１（ａ）において、画像処理装置１０１ａはプロジェクタ１０２ａ、デプスセンサ１０４ａ、及びカメラ１０８ａを備える。画像処理装置１０１ａはタッチマット１０７ａと接続されている。画像処理装置１０１ａはタッチマット１０７ａに載置された紙資料等をカメラ１０８ａによって撮影し、撮影した画像に基づいて紙資料の領域を抽出し、抽出した結果を格納するスキャン機能を備える。
【００１３】
プロジェクタ１０２ａは、図２に示すように、光源ユニット２０１ａ、プロジェクタ鏡筒部２０２ａ、反射ミラー２０４ａ、及び投影ミラー２０５ａを備える。光源ユニット２０１ａ及びプロジェクタ鏡筒部２０２ａは屈曲部２０３ａを介して接続され、屈曲部２０３ａには反射ミラー２０４ａが配置される。光源ユニット２０１ａはプロジェクタ１０２ａの光源であり、光を反射ミラー２０４ａに出力する。プロジェクタ鏡筒部２０２ａは複数のレンズを有する投影光学系である。反射ミラー２０４ａは光源ユニット２０１ａから出力された光を投影ミラー２０５ａに反射させ、投影ミラー２０５ａは投影ミラー２０５ａによって反射した光をタッチマット１０７ａに出力する。これにより、プロジェクタ１０２ａはタッチマット１０７ａに各画像を投影する。以下では、プロジェクタ１０２ａがタッチマット１０７ａに画像を投影する領域を投影領域１０３ａ（表示領域）と定義する。また、投影領域１０３ａの大きさとして、幅を「ｓｃｒｅｅｎ＿ｗｉｄｔｈ」と定義し、高さを「ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ」と定義する。なお、本実施の形態では、会議室Ａの投影領域１０３ａ及び会議室Ｂの投影領域１０３ｂに関するキャリブレーション処理が予め実行されている。これにより、会議室Ａにおける投影領域１０３ａの大きさ及びタッチマット１０７ａに対する投影領域１０３ａの位置は、会議室Ｂにおける投影領域１０３ｂの大きさ及びタッチマット１０７ｂに対する投影領域１０３ｂの位置と同一である。
【００１４】
デプスセンサ１０４ａはタッチマット１０７ａに載置された紙資料等の対象物１０５ａを指等で指したユーザの指や手の領域（以下、「ポインティング領域」という。）を抽出する。これにより、会議室ＡのユーザＡ，Ｂがタッチマット１０７ａに載置された対象物１０５ａを指し示した場合、ユーザＡ，Ｂが指し示した行為を示すポインティング画像が生成される。生成されたポインティング画像は対象物１０５ａのスキャン画像と共に画像処理装置１０１ｂに送信され、画像処理装置１０１ｂは受信した各画像を画像１０５ｂやポインティング画像１０６ｂ，１０９ｂとして投影領域１０３ｂに投影する。デプスセンサ１０４ａは、図１の検知可能領域１１０ａ（撮影領域）で検知されたユーザの手や指等の被写体の距離情報を取得し、タッチマット１０７ａを基準として図３（ａ）の高さｄ１までの範囲の被写体の距離情報を取得可能である。なお、本実施の形態では、図１に示すように、検知可能領域１１０ａは投影領域１０３ａを含む。また、デプスセンサ１０４ａは撮影された被写体を含むカラー画像を生成する。以下では、カメラ１０８ａによって撮影された画像と区別して、デプスセンサ１０４ａにより生成されたカラー画像をＲＧＢ画像とする。タッチマット１０７ａは、ユーザによるタッチ操作を受け付けるための入力インターフェースであり、タッチ操作が行われた位置を示す座標を検出する。
【００１５】
カメラ１０８ａはタッチマット１０７ａの周辺を撮影する。本実施の形態では、カメラ１０８ａは、プロジェクタ１０２ａが投影する投影領域１０３ａより広い領域を撮像する。カメラ１０８ａは、撮像素子としての図示しないＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサを備える。カメラ１０８ａはメインフレーム２０６ａに固定されたカメラアタッチメント２０７ａを介してカメラマウント２０８ａに取り付けられている。ＣＣＤセンサはタッチマット１０７ａに対して略水平になるように取り付けられている。撮像ミラー２０９ａは凹形状の曲面ミラーであり、メインフレーム２０６ａに取り付けられている。カメラマウント２０８ａには撮像光学系として複数のレンズ（不図示）を組み込むカメラ鏡筒部２１０ａが取り付けられる。カメラ鏡筒部２１０ａは、対象物の像を上記ＣＣＤセンサに結像させる。投影領域１０３ａに載置された対象物をカメラ２０２で読み取る際には、対象物の像が撮像ミラー２０９ａからカメラ鏡筒部２１０ａへ反射し、カメラ鏡筒部２１０ａが備える複数のレンズ（不図示）を通過し、上記ＣＣＤセンサによって読み取られる。ＣＣＤセンサの撮像面に結像された像は、カメラ１０８ａ内部のＡ／Ｄ変換部（不図示）によって画像データに変換される。
【００１６】
本実施の形態では、画像処理装置１０１ｂも、画像処理装置１０１ａと同様に、デプスセンサ１０４ｂが被写体の距離情報を取得し、画像１０５ｂを指し示したユーザＣのポインティング領域を抽出する。画像処理装置１０１ｂは抽出した結果に基づいてポインティング画像を生成し、該ポインティング画像を画像処理装置１０１ａに送信する。これにより、会議室Ａ，Ｂの間で、対象物や電子資料等を指し示した行為を互いに通知可能となる。
【００１７】
図４は、図１の画像処理装置１０１ａのハードウェア構成の概略を示すブロック図である。
【００１８】
図４において、画像処理装置１０１ａは、図１のプロジェクタ１０２ａ、デプスセンサ１０４ａ、及びカメラ１０８ａの他に、制御部４００ａを備え、制御部４００ａは、プロジェクタ１０２ａ、デプスセンサ１０４ａ、及びカメラ１０８ａと接続されている。制御部４００ａは、ＣＰＵ４０１ａ、ＲＡＭ４０２ａ、ＲＯＭ４０３ａ、ＨＤＤ４０４ａ、カメラＩ／Ｆ４０５ａ、ディスプレイコントローラ４０６ａ、オーディオコントローラ４０７ａ、ＵＳＢコントローラ４１０ａ、及びネットワークＩ／Ｆ４１１ａを備える。ＣＰＵ４０１ａ、ＲＡＭ４０２ａ、ＲＯＭ４０３ａ、ＨＤＤ４０４ａ、カメラＩ／Ｆ４０５ａ、ディスプレイコントローラ４０６ａ、オーディオコントローラ４０７ａ、ＵＳＢコントローラ４１０ａ、及びネットワークＩ／Ｆ４１１ａはシステムバス４１９ａを介して互いに接続されている。デプスセンサ１０４ａはコントローラ４１５ａ、赤外線投射部４１６ａ、赤外線カメラ４１７ａ、及びＲＧＢカメラ４１８ａを備える。コントローラ４１５ａは、赤外線投射部４１６ａ、赤外線カメラ４１７ａ、及びＲＧＢカメラ４１８ａと接続されている。
【００１９】
制御部４００ａは画像処理装置１０１ａ全体を統括的に制御する。ＣＰＵ４０１ａはＲＯＭ４０３ａ及びＨＤＤ４０４ａに格納されたプログラムを実行して各制御を行う。ＲＡＭ４０２ａは揮発性メモリであり、ＣＰＵ４０１ａの作業領域として用いられる。また、ＲＡＭ４０２ａは各データの一時格納領域として用いられる。ＲＯＭ４０３ａは不揮発性メモリであり、画像処理装置１０１ａのブートプログラム等を格納する。ＨＤＤ４０４ａは画像処理装置１０１ａの制御プログラムや各データを格納する。例えば、カメラ１０８ａで撮影された画像データを格納する。カメラＩ／Ｆ４０５ａはデプスセンサ１０４ａやカメラ１０８ａとデータ通信を行う。例えば、カメラＩ／Ｆ４０５ａはカメラ１０８ａによって撮影された会議室Ａの映像データをカメラ１０８ａから取得する。会議室Ａの映像データはネットワークＩ／Ｆ４１１ａを介して画像処理装置１０１ｂに送信される。
【００２０】
ディスプレイコントローラ４０６ａはプロジェクタ１０２ａとデータ通信を行い、プロジェクタ１０２ａによる画像の投影処理の制御を行う。例えば、ディスプレイコントローラ４０６ａはタッチマット１０７ａの投影領域１０３ａに図５の設定メニュー５０１ａを投影する制御を行う。
【００２１】
設定メニュー５０１ａは、タッチマット１０７ａの投影領域１０３ａにおいて所定の期間ユーザに押下された位置、例えば、タッチ位置５０２ａを中心とする円形の画像である。設定メニュー５０１ａは、スキャンボタン５０３ａ、ファイル選択ボタン５０４ａ、及び開始ボタン５０５ａを備える。スキャンボタン５０３ａはタッチマット１０７ａに載置された対象物１０５ａのスキャン処理の実行を指示する操作ボタンである。ファイル選択ボタン５０４ａは電子資料の投影を指示する操作ボタンである。開始ボタン５０５ａは遠隔コミュニケーション通信の実行を指示する操作ボタンであり、開始ボタン５０５ａがユーザによって選択されると、図５（ｂ）の設定メニュー５０６ａが投影領域１０３ａに投影される。
【００２２】
設定メニュー５０６ａは接続リスト５０７ａ、紙原稿共有ボタン５０８ａ、データ共有ボタン５０９ａ、接続ボタン５１０ａ、及びキャンセルボタン５１１ａを備える。接続リスト５０７ａには遠隔コミュニケーション通信の通信先の候補が表示される。紙原稿共有ボタン５０８ａはタッチマット１０７ａに載置された対象物１０５ａをスキャンして得られたスキャン画像を通信先と共有する紙原稿共有モードを設定する操作ボタンである。データ共有ボタン５０９ａはＨＤＤ４０４ａ等に格納された電子資料を通信先と共有するデータ共有モードを設定する操作ボタンである。本実施の形態では、遠隔コミュニケーションを行う際に動作モードとして紙原稿共有モード及びデータ共有モードのいずれかが設定され、設定された情報はＲＡＭ４０２ａに格納される。接続ボタン５１０ａは遠隔コミュニケーション通信の開始を指示する操作ボタンであり、キャンセルボタン５１１ａは遠隔コミュニケーション通信に関する設定の中止を指示する操作ボタンである。例えば、接続リスト５０７ａにおいて会議室Ｂが選択され、且つ接続ボタン５１０ａが選択されると、画像処理装置１０１ａは会議室Ｂに配置された画像処理装置１０１ｂに通信実行要求通知を送信する。通信実行要求通知の受け付けを完了すると、画像処理装置１０１ａ及び画像処理装置１０１ｂの間で遠隔コミュニケーション通信の実行が可能になる。これにより、画像処理装置１０１ａは、図５（ｃ）に示すように、画像処理装置１０１ｂと共有された画像５１２ａを投影領域１０３ａに投影可能となる。また、画像処理装置１０１ａは、画像５１２ａを投影中にタッチマット１０７ａの投影領域１０３ａが所定の期間ユーザによって押下されると、設定メニュー５１３ａを投影領域１０３ａに投影する。設定メニュー５１３ａはユーザが押下したタッチ位置５１４ａを中心とする円形の画像であり、少なくとも終了ボタン５１５ａを備える。終了ボタン５１５ａは遠隔コミュニケーション通信の実行の終了を指示する操作ボタンである。
【００２３】
図４に戻り、オーディオコントローラ４０７ａは画像処理装置１０１ａに接続されたマイク４０８ａ及びスピーカ４０９ａとデータ通信を行う。例えば、オーディオコントローラ４０７ａはマイク４０８ａによって受信した音声を音声データに変換する。音声データはネットワークＩ／Ｆ４１１ａによって画像処理装置１０１ｂに送信される。また、オーディオコントローラ４０７ａはスピーカ４０９ａを制御して会議室ＢのユーザＣが発した音声を会議室Ａに出力する。ＵＳＢコントローラ４１０ａは接続されたタッチマット１０７ａや外部メモリ４１２ａとデータ通信を行う。例えば、ＵＳＢコントローラ４１０ａはユーザがペンや指等でタッチしたタッチマット１０７ａの位置を示す座標情報をタッチマット１０７ａから取得する。また、ＵＳＢコントローラ４１０ａは接続されたＵＳＢメモリやＳＤカード等の外部メモリ４１２ａから画像データを取得する。ネットワークＩ／Ｆ４１１ａはネットワーク４１３に接続されたファイルサーバ４１４や画像処理装置１０１ｂとデータ通信を行う。
【００２４】
コントローラ４１５ａは赤外線投射部４１６ａ及び赤外線カメラ４１７ａを制御して画像処理装置１０１ａから対象物までの距離を示す８ビット１チャネルの距離画像データを取得する。また、コントローラ４１５ａはＲＧＢカメラ４１８ａを制御して８ビット３チャネルのＲＧＢ画像データを取得する。赤外線投射部４１６ａは不可視の赤外線の３次元測定パターンを対象物に投射する。赤外線カメラ４１７ａは対象物に投射された３次元測定パターンを読み取る。ＲＧＢカメラ４１８ａは可視光を撮影する。距離画像データ及びＲＧＢ画像データはＨＤＤ４０４ａに格納される。
【００２５】
次に、遠隔コミュニケーションシステム１００で実行される遠隔コミュニケーション通信について説明する。以下では、一例として、遠隔コミュニケーション通信における画像処理装置１０１ａの処理について説明する。なお、画像処理装置１０１ｂも同様の処理を実行可能である。
【００２６】
図６は、図１の画像処理装置１０１ａによって実行される遠隔コミュニケーション制御処理の手順を示すフローチャートである。
【００２７】
図６の処理は、ＣＰＵ４０１ａがＲＯＭ４０３ａ及びＨＤＤ４０４ａに格納されたプログラムを実行することによって行われる。図６の処理では、画像処理装置１０１ａが遠隔コミュニケーション通信の開始指示を受け付けた場合を前提とする。本実施の形態では、設定メニュー５０６ａの操作、又は画像処理装置１０１ｂを含む他の装置から送信される通信実行要求通知によって遠隔コミュニケーション通信の開始指示が行われる。
【００２８】
図６において、まず、ＣＰＵ４０１ａは遠隔コミュニケーション通信の開始指示が設定メニュー５０６ａの操作及び他の装置から送信された通信実行要求通知のいずれであるかを判別する（ステップＳ６０１）。
【００２９】
ステップＳ６０１の判別の結果、遠隔コミュニケーション通信の開始指示が設定メニュー５０６ａの操作であるとき、ＣＰＵ４０１ａは接続リスト５０７ａから選択された通信先、例えば、画像処理装置１０１ｂに通信実行要求通知を送信する（ステップＳ６０２）。通信実行要求通知には、遠隔コミュニケーション通信に必要な各情報や、動作モードの設定情報等が含まれている。次いで、ＣＰＵ４０１ａは画像処理装置１０１ｂから遠隔コミュニケーション通信の受付完了通知を受信したか否かを判別する（ステップＳ６０３）。
【００３０】
ステップＳ６０３の判別の結果、受付完了通知を受信したとき、ＣＰＵ４０１ａは後述するステップＳ６０７以降の処理を行う。一方、ステップＳ６０３の判別の結果、受付完了通知を受信しないとき、ＣＰＵ４０１ａは画像処理装置１０１ｂから遠隔コミュニケーション通信の実行を拒否する取消通知を受信したか否かを判別する（ステップＳ６０４）。
【００３１】
ステップＳ６０４の判別の結果、取消通知を受信したとき、ＣＰＵ４０１ａは本処理を終了する。一方、ステップＳ６０４の判別の結果、取消通知を受信しないとき、ＣＰＵ４０１ａは設定メニュー５０６ａにおいてキャンセルボタン５１１ａが選択されたか否かを判別する（ステップＳ６０５）。
【００３２】
ステップＳ６０５の判別の結果、キャンセルボタン５１１ａが選択されたとき、ＣＰＵ４０１ａは本処理を終了する。一方、ステップＳ６０５の判別の結果、キャンセルボタン５１１ａが選択されないとき、ＣＰＵ４０１ａはステップＳ６０３の処理に戻る。
【００３３】
ステップＳ６０１の判別の結果、開始指示が他の装置から送信された通信実行要求通知であるとき、ＣＰＵ４０１ａは通信実行要求通知に基づいて動作モードを決定する（ステップＳ６０６）。次いで、ＣＰＵ４０１ａは後述する図７の初期化処理を実行し（ステップＳ６０７）、遠隔コミュニケーション通信を実行するための各処理を行う。その後、ユーザによって投影領域１０３ａが所定の期間押下されると、ＣＰＵ４０１ａは設定メニュー５１３ａを投影領域１０３ａに投影する。ＣＰＵ４０１ａは終了ボタン５１５ａが選択されると（ステップＳ６０８でＹＥＳ）、遠隔コミュニケーション通信の終了処理を実行し（ステップＳ６０９）、本処理を終了する。
【００３４】
図７は、図６のステップＳ６０７の初期化処理の手順を示すフローチャートである。
【００３５】
図７の処理は、会議室Ｂに設置された画像処理装置１０１ｂと遠隔コミュニケーション通信を行う場合を前提とする。
【００３６】
図７において、ＣＰＵ４０１ａはステップＳ７０１及びＳ７０２のループ処理を行う。具体的に、ＣＰＵ４０１ａは後述する図８のポインティング画像送信処理を実行し（ステップＳ７０１）、生成したポインティング画像を画像処理装置１０１ｂに送信する。次いで、ＣＰＵ４０１ａは会議室ＢのユーザＣのポインティング画像を画像処理装置１０１ｂから受信する（ステップＳ７０２）。ステップＳ７０１及びＳ７０２の処理は遠隔コミュニケーション通信の終了指示が行われるまで継続して行われる。次いで、ＣＰＵ４０１ａは動作モードが紙原稿共有モード及びデータ共有モードのいずれかであるか否かを判別する（ステップＳ７０３）。
【００３７】
ステップＳ７０３の判別の結果、動作モードが紙原稿共有モードであるとき、ＣＰＵ４０１ａはステップＳ７０４及びＳ７０５のループ処理を行う。具体的に、ＣＰＵ４０１ａは後述する図１５のスキャン画像送信処理を実行し（ステップＳ７０４）、スキャン処理によって生成された背景画像を画像処理装置１０１ｂに送信する。次いで、ＣＰＵ４０１ａは画像処理装置１０１ｂによるスキャン処理によって生成された背景画像を画像処理装置１０１ｂから受信する（ステップＳ７０５）。ステップＳ７０４及びＳ７０５の処理は遠隔コミュニケーション通信の終了指示が行われるまで継続して行われる。次いで、ＣＰＵ４０１ａはステップＳ６０８以降の処理を行う。
【００３８】
ステップＳ７０３の判別の結果、動作モードがデータ共有モードであるとき、ＣＰＵ４０１ａはステップＳ７０６及びＳ７０７のループ処理を行う。具体的に、ＣＰＵ４０１ａは後述する図１６の電子資料送信処理を実行し（ステップＳ７０６）、会議室ＡのユーザＡ，Ｂによって選択された電子資料を画像処理装置１０１ｂに送信する。次いで、ＣＰＵ４０１ａは会議室ＢのユーザＣによって選択された電子資料を画像処理装置１０１ｂから受信する（ステップＳ７０７）。ステップＳ７０６及びＳ７０７の処理は遠隔コミュニケーション通信の終了指示が行われるまで継続して行われる。次いで、ＣＰＵ４０１ａはステップＳ６０８以降の処理を行う。
【００３９】
図８は、図７のステップＳ７０１のポインティング画像送信処理の手順を示すフローチャートである。
【００４０】
図８において、ＣＰＵ４０１ａは後述する図９のポインティング画像生成処理を実行し（ステップＳ８０１）、会議室ＡのユーザＡ，Ｂのポインティング画像及び該ポインティング画像の座標情報等を含むレイアウト情報を生成する。次いで、ＣＰＵ４０１ａは生成したポインティング画像及びレイアウト情報を画像処理装置１０１ｂに送信する（ステップＳ８０２）。なお、本実施の形態では、会議室Ａのユーザによる指し示しが検知されない場合、ＣＰＵ４０１ａは指し示しがない旨を示す通知を画像処理装置１０１ｂに送信する。次いで、ＣＰＵ４０１ａは遠隔コミュニケーション通信の終了指示を受け付けたか否かを判別する（ステップＳ８０３）。
【００４１】
ステップＳ８０３の判別の結果、遠隔コミュニケーション通信の終了指示を受け付けないとき、ＣＰＵ４０１ａはステップＳ８０１の処理に戻る。一方、ステップＳ８０３の判別の結果、遠隔コミュニケーション通信の終了指示を受け付けたとき、ＣＰＵ４０１ａは本処理を終了する。
【００４２】
図９は、図８のステップＳ８０１のポインティング画像生成処理の手順を示すフローチャートである。
【００４３】
図９において、ＣＰＵ４０１ａは、デプスセンサ１０４ａが検知可能領域１１０ａを撮影して得られたＲＧＢ画像及び距離画像を取得し（ステップＳ９０１，Ｓ９０２）、距離画像の座標変換を行う（ステップＳ９０３）。デプスセンサ１０４ａでは、距離画像を撮影する赤外線カメラ４１７ａがＲＧＢ画像を撮影するＲＧＢカメラ４１８ａと異なる位置に設けられるので、ステップＳ９０３の処理では、ＣＰＵ４０１ａが距離画像をＲＧＢ画像の座標系に座標変換する。なお、本実施の形態では、赤外線カメラ４１７ａ及びＲＧＢカメラ４１８ａに関するキャリブレーション処理が予め実行される。これにより、赤外線カメラ４１７ａ及びＲＧＢカメラ４１８ａの各位置情報や上記座標変換に用いられる内部パラメータが導出され、また、基準画像が生成される。基準画像はユーザＡ，Ｂの手等を含まないタッチマット１０７ａのみの距離画像である。
【００４４】
次いで、ＣＰＵ４０１ａは予め生成された基準画像及びステップＳ９０２で取得した距離画像の差分に基づいて図１０（ａ）のマスク画像１００１ａを生成する（ステップＳ９０４）。本実施の形態において、画像処理装置１０１ａのデプスセンサ１０４ａは、タッチマット１０７ａの高さを基準０ｍｍとして、高さｄ１、例えば、１００ｍｍまでの範囲の３次元形状を取得可能である。ステップＳ９０４において、ＣＰＵ４０１ａは、０ｍｍ〜１００ｍｍまでの範囲に含まれる画素の値を２５５に変更し、それ以外の画素の値を０に変更してマスク画像１００１ａを生成する。マスク画像１００１ａは、例えば、会議室Ａにおいて対象物１０５ａを指し示したユーザＡの手を示すポインティング領域１００２ａを含む。次いで、ＣＰＵ４０１ａは生成したマスク画像１００１ａに対しノイズ除去及び平滑化のための画像処理を施す（ステップＳ９０５）。次いで、ＣＰＵ４０１ａは後述する図１１の端部指示判別処理を実行し（ステップＳ９０６）、投影領域１０３ａの端部の指し示しが行われたか否かを示すフラグをＲＡＭ４０２ａに格納する。次いで、ＣＰＵ４０１ａは画像処理を施したマスク画像１００１ａ及びステップＳ９０１で取得したＲＧＢ画像に基づいて色情報を含む中間画像を生成する（ステップＳ９０７）。次いで、ＣＰＵ４０１ａは該中間画像に対し透明化処理を施す（ステップＳ９０８）。ステップＳ９０８では、中間画像において、画素値が「２５５」の部分を非透明にし、画素値が「０」の部分を透明にした図１０（ｂ）の多値画像１００３ａを生成する。多値画像１００３ａはポインティング領域１００４ａが半透明であり、その他の領域が透明である。次いで、ＣＰＵ４０１ａは多値画像１００３ａを投影領域１０３ａの座標系である投影座標系に射影変換して図１０（ｃ）の変換画像１００５ａを生成する（ステップＳ９０９）。具体的に、ステップＳ９０９では、多値画像１００３ａに含まれる投影領域１０３ａの頂点（Ｌ１，Ｍ１）を（０，０）に変換し、頂点（Ｌ２，Ｍ２）を（０，ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ）に変換する。頂点（Ｌ３，Ｍ３）を（ｓｃｒｅｅｎ＿ｗｉｄｔｈ，ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ）に変換し、頂点（Ｌ４，Ｍ４）を（ｓｃｒｅｅｎ＿ｗｉｄｔｈ，０）に変換する。なお、射影変換に用いられる各パラメータは事前のキャリブレーション処理によって導出される。
【００４５】
次いで、ＣＰＵ４０１ａはステップＳ９０６において格納されたフラグに基づいて投影領域１０３ａの端部の指し示しが行われたか否かを判別する（ステップＳ９１０）。
【００４６】
ステップＳ９１０の判別の結果、投影領域１０３ａの端部の指し示しが行われたとき、ＣＰＵ４０１ａは後述する図１３の画像生成処理を実行し（ステップＳ９１１）、ユーザが指し示した位置が明らかになるようなポインティング画像を生成する。その後、ＣＰＵ４０１ａはステップＳ８０２以降の処理を行う。
【００４７】
ステップＳ９１０の判別の結果、投影領域１０３ａの端部の指し示しが行われないとき、ＣＰＵ４０１ａは変換画像１００５ａにおいて投影領域１０３ａに相当する仮想投影領域１００６ａをトリミングする。ＣＰＵ４０１ａは変換画像１００５ａから仮想投影領域１００６ａのみを切り出した部分画像１００７ａを生成する（ステップＳ９１２）。次いで、ＣＰＵ４０１ａは部分画像１００７ａにおいてポインティング領域１００８ａが外接する矩形の座標を取得する（ステップＳ９１３）。次いで、ＣＰＵ４０１ａは取得した座標に基づいて図１０（ｅ）のポインティング画像１００９ａを生成する（ステップＳ９１４）。すなわち、ステップＳ９１２以降の処理において、検知可能領域１１０ａにおける距離情報をデプスセンサ１０４ａによって取得しても、該検知可能領域１１０ａより狭い投影領域１０３ａ相当分の部分画像１００７ａからポインティング画像が生成される。
【００４８】
次いで、ＣＰＵ４０１ａは取得した座標を含むレイアウト情報を生成し、該レイアウト情報及びポインティング画像１００９ａを関連付けし、レイアウト情報及びポインティング画像１００９ａをＲＡＭ４０２ａに格納する（ステップＳ９１５）。その後、ＣＰＵ４０１ａは上述したステップＳ８０２以降の処理を行う。なお、本実施の形態では、複数の指し示しが検知された場合、ＣＰＵ４０１ａは各指し示しに対して上述したステップＳ９１３以降の処理を行う。
【００４９】
ここで、従来では、ステップＳ９１２以降の処理のように、デプスセンサ１０４ａが検知可能領域１１０ａにおける距離情報を取得しても、該検知可能領域１１０ａより狭い投影領域１０３ａ相当分の部分画像１００７ａからポインティング画像が生成される。このため、例えば、会議室ＡにおいてユーザＡが投影領域１０３ａの外側の検知可能領域１１０ａを指し示した場合、会議室ＢにユーザＡのポインティング画像が表示されない。また、会議室ＡにおいてユーザＡが投影領域１０３ａの内側ではあるが投影領域１０３ａの境界付近を指し示した場合、会議室ＢにユーザＡの指先だけの僅かな領域のポインティング画像が表示される。これらのような場合、会議室ＢのユーザＣはユーザＡが指し示した箇所を特定することができず、円滑なコミュニケーションを行うことができない。
【００５０】
これに対応して、本実施の形態では、会議室Ａのユーザが投影領域１０３ａの端部を指し示した場合、会議室Ａのユーザが指し示した位置が明らかになるようなポインティング画像が会議室Ｂに表示される。この処理について以下で詳述する。
【００５１】
図１１は、図９のステップＳ９０６の端部指示判別処理の手順を示すフローチャートである。
【００５２】
図１１において、ＣＰＵ４０１ａはマスク画像１００１ａにおける指し示し点の座標を特定する（ステップＳ１１０１）。指し示し点は、マスク画像１００１ａにおいて、ユーザが指し示す指の先の座標に相当し、例えば、図１２において、ポインティング領域１００２ａにおける進入点１２０１ａから最も離れた点１２０２ａの座標である。進入点１２０１ａはマスク画像１００１ａの外周及びポインティング領域１００２ａが接する箇所の中心である。なお、本実施の形態では、ユーザＡがタッチマット１０７ａをタッチした位置に基づいて指し示し点の座標を特定しても良い。次いで、ＣＰＵ４０１ａはマスク画像１００１ａにおいて指し示し点の座標を特定したか否かを判別する（ステップＳ１１０２）。
【００５３】
ステップＳ１１０２の判別の結果、指し示し点の座標を特定しないとき、ＣＰＵ４０１ａは投影領域１０３ａの端部の指し示しが行われない旨を示す端部指示なしのフラグをＲＡＭ４０２ａに格納し（ステップＳ１１０３）、ステップＳ９０７以降の処理を行う。
【００５４】
ステップＳ１１０２の判別の結果、指し示し点、例えば、指し示し点１２０２ａの座標を特定したとき、ＣＰＵ４０１ａは指し示し点１２０２ａから仮想投影領域１２０３ａの境界である下辺１２０４ａまでの距離１２０５ａを算出する。ＣＰＵ４０１ａは距離１２０５ａが予め設定された閾値を超えるか否かを判別する（ステップＳ１１０４）。
【００５５】
ステップＳ１１０４の判別の結果、距離１２０５ａが予め設定された閾値を超えるとき、ＣＰＵ４０１ａはステップＳ１１０３以降の処理を行う。一方、ステップＳ１１０４の判別の結果、距離１２０５ａが予め設定された閾値を超えないとき、ＣＰＵ４０１ａは指し示し点１２０２ａが仮想投影領域１２０３ａに含まれるか否かを判別する（ステップＳ１１０５）。
【００５６】
ステップＳ１１０５の判別の結果、指し示し点１２０２ａが仮想投影領域１２０３ａに含まれるとき、ＣＰＵ４０１ａはユーザが指し示した位置が明らかになるように画像処理を行う必要があるか否かを判別する（ステップＳ１１０６）。ＣＰＵ４０１ａは、指し示し点１２０２ａ及びユーザの位置関係に基づいてステップＳ１１０６の判別を行う。例えば、指し示し点１２０６ａ及び進入点１２０７ａを含むポインティング領域１２０８ａのように、指し示し点１２０６ａ及び進入点１２０７ａの各々において、仮想投影領域１２０３ａの各辺のうち最も近い辺が一致する場合、ＣＰＵ４０１ａはユーザが指し示した位置が明らかになるように画像処理を行う必要があると判別する。このような場合、ポインティング領域１２０８ａに基づいてポインティング画像を生成すると、会議室Ｂでは、ユーザの指先だけの僅かな領域のポインティング画像が表示され、会議室Ｂではこのポインティング画像から指し示し位置を特定することが困難となる。本実施の形態では、ポインティング領域１２０８ａのような領域のポインティング画像を生成する際にユーザが指し示した位置が明らかになるように画像処理を行う。
【００５７】
一方、指し示し点１２０９ａ及び進入点１２１０ａを含むポインティング領域１２１１ａのように、指し示し点１２０９ａ及び進入点１２１０ａの各々において、仮想投影領域１２０３ａの各辺のうち最も近い辺が一致しない場合、ＣＰＵ４０１ａはユーザが指し示した位置が明らかになるように画像処理を行う必要がないと判別する。このような場合、ポインティング領域１２１１ａに基づいてポインティング画像を生成すると、会議室Ｂでは、ユーザが指し示した位置を特定可能な大きさのポインティング画像が表示されるので、ユーザが指し示した位置が明らかになるような特殊な画像処理を行う必要が無い。本実施の形態では、ポインティング領域１２１１ａのような領域のポインティング画像を生成する際にステップＳ９１２以降の処理を行う。
【００５８】
ステップＳ１１０６の判別の結果、ユーザが指し示した位置が明らかになるように画像処理を行う必要がないとき、ＣＰＵ４０１ａはステップＳ１１０３以降の処理を行う。一方、ステップＳ１１０６の判別の結果、ユーザが指し示した位置が明らかになるように画像処理を行う必要があるとき、又はステップＳ１１０５の判別の結果、指し示し点１２０２ａが仮想投影領域１２０３ａに含まれないとき、ＣＰＵ４０１ａは投影領域１０３ａの端部の指し示しが行われた旨を示す端部指示ありのフラグをＲＡＭ４０２ａに格納する（ステップＳ１１０７）。すなわち、本実施の形態では、投影領域１０３ａの外側を会議室Ａのユーザが指し示した場合、若しくは投影領域１０３ａの境界のうち会議室Ａのユーザに最も近い境界から予め設定された所定の距離だけ投影領域１０３ａの内側の領域を会議室Ａのユーザが指し示した場合、会議室Ａのユーザが投影領域１０３ａの端部を指し示したと判別される。その後、ＣＰＵ４０１ａはステップＳ９０７以降の処理を行う。
【００５９】
図１３は、図９のステップＳ９１１の画像生成処理の手順を示すフローチャートである。
【００６０】
図１３の処理は、投影領域１０３ａの端部の指し示しが行われたことにより、一例として、ステップＳ９０９の処理によって図１４（ａ）の変換画像１４０１ａが生成された場合を前提とする。
【００６１】
図１３において、ＣＰＵ４０１ａは変換画像１４０１ａに対し、指し示し点１４０２ａの周辺を含む矩形領域１４０３ａをトリミングし（ステップＳ１３０１）、図１４（ｂ）の画像１４０４ａを生成する。矩形領域１４０３ａはポインティング領域１４０５ａ及び領域１４０６ａを含む。ポインティング領域１４０５ａは仮想投影領域１４０７ａよりＥ３だけ外側の領域を含む。換言すると、ポインティング領域１４０５ａは会議室Ａのユーザ側の検知可能領域１１０ａに相当する領域１４１３ａを含む。領域１４０６ａは指し示し点１４０２ａからポインティング領域１４０５ａの反対側の領域の所定のマージンとなる領域であり、領域１４０６ａの算出に必要な情報は事前のキャリブレーション処理によって定められている。ＣＰＵ４０１ａは矩形領域１４０３ａ及び仮想投影領域１４０７ａの重なり領域の四隅の座標を算出する。本実施の形態では、一例として、仮想投影領域１４０７ａの左上を原点とし、重なり領域の座標を左上（Ｊ１，Ｋ１）、左下（Ｊ２，Ｋ２）、右下（Ｊ３，Ｋ３）、右上（Ｊ４，Ｋ４）とする。
【００６２】
次いで、ＣＰＵ４０１ａはタッチマット１０７ａに投影されている図１４（ｃ）の背景画像１４１２ａを取得する（ステップＳ１３０２）。ＣＰＵ４０１ａは背景画像１４１２ａにおいて上記重なり領域の座標に対応する領域１４０８ａをトリミングし、図１４（ｄ）のトリミング済み背景画像１４０９ａを生成する（ステップＳ１３０３）。次いで、ＣＰＵ４０１ａはトリミング済み背景画像１４０９ａに画像１４０４ａを重畳して、図１４（ｅ）のポインティング画像１４１０ａを生成する（ステップＳ１３０４）。次いで、ＣＰＵ４０１ａは生成したポインティング画像１４１０ａをポインティング画像１４１０ａのレイアウト情報と対応付けてＲＡＭ４０２ａに格納する（ステップＳ１３０５）。ここで、ポインティング画像１４１０ａは仮想投影領域１４０７ａよりＥ３だけ外側の領域を含み、このまま画像処理装置１０１ｂに送信されると、会議室Ｂの投影領域１０３ｂでは、Ｅ３だけ外側の領域が投影されない。これに対し、ＣＰＵ４０１ａはポインティング画像１４１０ａが仮想投影領域１４０７ａよりＥ３だけ外側の領域を含む分、レイアウト情報を補正する。具体的に、レイアウト情報は、座標（Ｊ１，Ｋ１−Ｅ３）、（Ｊ２，Ｋ２）、（Ｊ３，Ｋ３）、（Ｊ４，Ｋ４−Ｅ３）となる。ポインティング画像１４１０ａ及びレイアウト情報が画像処理装置１０１ｂに送信されると、会議室Ｂでは、図１４（ｆ）のポインティング画像１４１０ｂを含む画像１４１１ｂが投影される。
【００６３】
図１５は、図７のステップＳ７０４のスキャン画像送信処理の手順を示すフローチャートである。
【００６４】
図１５の処理において、スキャンボタン５０３ａが選択され、スキャン処理の実行が必要であると判別すると（ステップＳ１５０１でＹＥＳ）、ＣＰＵ４０１ａはスキャン処理を実行する（ステップＳ１５０２）。次いで、ＣＰＵ４０１ａは生成したスキャン画像及びスキャン画像のレイアウト情報を画像処理装置１０１ｂに送信し（ステップＳ１５０３）、遠隔コミュニケーション通信の終了指示を受け付けたか否かを判別する（ステップＳ１５０４）。
【００６５】
ステップＳ１５０４の判別の結果、遠隔コミュニケーション通信の終了指示を受け付けないとき、ＣＰＵ４０１ａはステップＳ１５０１の処理に戻る。一方、ステップＳ１５０４の判別の結果、遠隔コミュニケーション通信の終了指示を受け付けたとき、ＣＰＵ４０１ａは本処理を終了する。
【００６６】
図１６は、図７のステップＳ７０６の電子資料送信処理の手順を示すフローチャートである。
【００６７】
図１６の処理において、ＣＰＵ４０１ａはファイル選択ボタン５０４ａの操作に基づいて表示の更新が必要であるか否かを判別する（ステップＳ１６０１）。
【００６８】
ステップＳ１６０１の判別の結果、表示の更新が必要でないとき、ＣＰＵ４０１ａは後述するステップＳ１６０４以降の処理を行う。一方、ステップＳ１６０１の判別の結果、表示の更新が必要であるとき、ＣＰＵ４０１ａは電子資料の画像を更新する（ステップＳ１６０２）。次いで、ＣＰＵ４０１ａは更新した電子資料の画像及び該電子資料の画像のレイアウト情報を画像処理装置１０１ｂに送信し（ステップＳ１６０３）、遠隔コミュニケーション通信の終了指示を受け付けたか否かを判別する（ステップＳ１６０４）。
【００６９】
ステップＳ１６０４の判別の結果、遠隔コミュニケーション通信の終了指示を受け付けないとき、ＣＰＵ４０１ａはステップＳ１６０１の処理に戻る。一方、ステップＳ１６０４の判別の結果、遠隔コミュニケーション通信の終了指示を受け付けたとき、ＣＰＵ４０１ａは本処理を終了する。
【００７０】
上述した本実施の形態によれば、会議室Ａのユーザが投影領域１０３ａの端部を指し示した場合、会議室Ａのユーザが指し示した位置が明らかになるようなポインティング画像１４１０ｂが会議室Ｂに表示される。これにより、会議室Ａのユーザが投影領域１０３ａの端部を指し示した際にポインティング画像が会議室Ｂに表示されなくなる事態を回避することができ、もって、会議室Ａのユーザが投影領域１０３ａの端部を指し示しても、円滑なコミュニケーションを行うことができる。
【００７１】
また、上述した本実施の形態では、検知可能領域１１０ａであるが投影領域１０３ａの外側の領域（表示領域外）を会議室Ａのユーザが指し示した場合、若しくは投影領域１０３ａの境界のうち会議室Ａのユーザに最も近い境界から予め設定された所定の距離だけ投影領域１０３ａの内側の領域を会議室Ａのユーザが指し示した場合、会議室Ａのユーザが投影領域１０３ａの端部を指し示したと判別される。これにより、会議室Ｂにポインティング画像が表示されなくなる事態、若しくは会議室Ｂに僅かな領域のポインティング画像が表示されてユーザＡが指し示した位置を特定することが困難となる事態を回避することができる。
【００７２】
さらに、上述した本実施の形態では、会議室Ａのユーザが投影領域１０３ａの端部を指し示した場合、仮想投影領域１４０７ａよりＥ３だけ外側の領域を含むポインティング画像１４１０ａが生成される。これにより、投影領域１０３ａの範囲でポインティング画像を生成する場合よりポインティング領域が大きいポインティング画像を生成することができ、もって、会議室Ｂのユーザに対し、会議室Ａのユーザが指し示した位置を気付かせ易くすることができる。
【００７３】
以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、指し示し点を中心とする所定の領域をハイライト表示しても良い。
【００７４】
図１７は、図１３の画像生成処理の第１の変形例の手順を示すフローチャートである。
【００７５】
図１７において、ＣＰＵ４０１ａはステップＳ９０９で生成された図１８（ａ）の変換画像１８００ａにおける指し示し点１８０１ａを強調する（ステップＳ１７０１）。具体的に、ＣＰＵ４０１ａは変換画像１８００ａにおいて、指し示し点１８０１ａから半径ｒの円１８０２ａを描き、円１８０２ａの外側に半透明のシェードを掛ける。次いで、ＣＰＵ４０１ａは変換画像１８００ａから仮想投影領域１８０３ａの内側をトリミングし、図１８（ｂ）のポインティング画像１８０４ａを生成する（ステップＳ１７０２）。次いで、ＣＰＵ４０１ａは生成したポインティング画像１８０４ａのレイアウト情報を生成する。ＣＰＵ４０１ａはポインティング画像１８０４ａ及びレイアウト情報を関連付けし、ポインティング画像１８０４ａ及びレイアウト情報をＲＡＭ４０２ａに格納する（ステップＳ１７０３）。ポインティング画像１８０４ａ及びレイアウト情報が画像処理装置１０１ｂに送信されると、会議室Ｂでは、指し示し位置の周辺がハイライト表示された図１８（ｃ）のポインティング画像１８０５ｂが投影される。その後、ＣＰＵ４０１ａはステップＳ８０２以降の処理を行う。
【００７６】
上述した図１８の処理では、会議室Ａのユーザが指し示した位置を中心とする所定の領域を強調表示するポインティング画像１８０５ｂが表示される。これにより、会議室Ｂのユーザに対し、会議室Ａのユーザが指し示した位置をより気付かせ易くすることができる。
【００７７】
上述した本実施の形態では、背景画像をずらして表示させても良い。
【００７８】
図１９は、図１３の画像生成処理の第２の変形例の手順を示すフローチャートである。
【００７９】
図１９において、ＣＰＵ４０１ａはステップＳ９０９で生成された図２０（ａ）の変換画像２０００ａに対し、ポインティング領域２００１ａの外接矩形２００２ａをトリミングして図２０（ｂ）のポインティング画像２００３ａを生成する（ステップＳ１９０１）。ポインティング領域２００１ａは仮想投影領域２００４ａよりＥ３だけ外側の領域を含む。また、ＣＰＵ４０１ａは外接矩形２００２ａ及び仮想投影領域２００４ａの重なり領域の四隅の座標を算出する。本実施の形態では、一例として、仮想投影領域２００４ａの左上を原点として、重なり領域の座標を左上（Ｆ１，Ｇ１）、左下（Ｆ２，Ｇ２）、右下（Ｆ３，Ｇ３）、右上（Ｆ４，Ｇ４）とする。次いで、ＣＰＵ４０１ａは生成したポインティング画像２００３ａのレイアウト情報を生成する。ＣＰＵ４０１ａは当該レイアウト情報及びポインティング画像２００３ａを関連付けし、レイアウト情報及びポインティング画像２００３ａをＲＡＭ４０２ａに格納する（ステップＳ１９０２）。ここで、ポインティング画像２００３ａは仮想投影領域２００４ａよりＥ３だけ外側の領域を含み、このまま画像処理装置１０１ｂに送信されると、会議室Ｂの投影領域１０３ｂでは、Ｅ３だけ外側の領域が投影されない。これに対し、ＣＰＵ４０１ａはポインティング画像２００３ａが仮想投影領域２００４ａよりＥ３だけ外側の領域を含む分、レイアウト情報を補正する。具体的に、レイアウト情報は、座標（Ｆ１，Ｇ１−Ｅ３）、（Ｆ２，Ｇ２）、（Ｆ３，Ｇ３）、（Ｆ４，Ｇ４−Ｅ３）となる。次いで、ＣＰＵ４０１ａは上記の補正に基づいて背景画像のずらし量及びずらし方向を決定し（ステップＳ１９０３）、決定した結果をＲＡＭ４０２ａに格納する。例えば、図２０（ａ）では、ずらし量がＥ３で、ずらし方向が変換画像２０００ａの上辺に向かう方向と決定される。
【００８０】
図２１は、図１５のスキャン画像送信処理の変形例の手順を示すフローチャートである。
【００８１】
図２１において、ＣＰＵ４０１ａはステップＳ１５０１，Ｓ１５０２を実行する。次いで、ＣＰＵ４０１ａはステップＳ９０６において格納されたフラグに基づいて投影領域１０３ａの端部の指し示しが行われたか否かを判別する（ステップＳ２１０１）。
【００８２】
ステップＳ２１０１の判別の結果、投影領域１０３ａの端部の指し示しが行われないとき、ＣＰＵ４０１ａはステップＳ１５０３以降の処理を行う。一方、ステップＳ２１０１の判別の結果、投影領域１０３ａの端部の指し示しが行われたとき、ＣＰＵ４０１ａはステップＳ１９０３で決定されたずらし量及びずらし方向に基づいて背景画像の位置を調整する（ステップＳ２１０２）。その後、ＣＰＵ４０１ａはステップＳ１５０３以降の処理を行う。
【００８３】
図２２は、図１６の電子資料送信処理の変形例の手順を示すフローチャートである。
【００８４】
図２２において、ＣＰＵ４０１ａはステップＳ１６０１，Ｓ１６０２を実行する。次いで、ＣＰＵ４０１ａはステップＳ９０６において格納されたフラグに基づいて投影領域１０３ａの端部の指し示しが行われたか否かを判別する（ステップＳ２２０１）。
【００８５】
ステップＳ２２０１の判別の結果、投影領域１０３ａの端部の指し示しが行われないとき、ＣＰＵ４０１ａはステップＳ１６０３以降の処理を行う。一方、ステップＳ２２０１の判別の結果、投影領域１０３ａの端部の指し示しが行われたとき、ＣＰＵ４０１ａはステップＳ１９０３で決定されたずらし量及びずらし方向に基づいて背景画像の位置を調整する（ステップＳ２２０２）。その後、ＣＰＵ４０１ａはステップＳ１６０３以降の処理を行う。ポインティング画像２００３ａ、レイアウト情報、及び位置が調整された背景画像がそれぞれ画像処理装置１０１ｂに送信されると、会議室Ｂでは、図２３の画像２３０１ｂが投影される。画像２３０１ｂは背景画像２３０２ｂにポインティング画像２３０３ｂが重畳された重畳画像である。画像２３０１ｂは背景画像２３０２ｂ及びポインティング画像２３０３ｂ（表示用画像）が投影領域１０３ｂの上辺に向かう方向に距離Ｅ３だけシフトした画像、つまり、会議室Ａのユーザ側の検知可能領域１１０ａに相当する領域２３０４ｂを含む画像である。
【００８６】
上述した本実施の形態では、会議室のユーザが投影領域１０３ａの端部を指し示した場合、会議室Ａのユーザ側の検知可能領域１１０ａに相当する領域２３０４ｂを含む画像が会議室Ｂに表示される。これにより、背景画像の可読性を極力損うことなく、会議室Ｂのユーザに対し、会議室Ａのユーザが指し示した位置を気付かせ易くすることができる。
【００８７】
本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８８】
１００  遠隔コミュニケーションシステム
１０１ａ，１０１ｂ  画像処理装置
１０３ａ，１０３ｂ  投影領域
１０５ａ  対象物
１４１０ｂ，１８０５ｂ，２３０３ｂ  ポインティング画像
２３０１ｂ  画像
２３０２ｂ  背景画像
【図１】
2018137685.tif 000003
【図２】
2018137685.tif 000004
【図３】
2018137685.tif 000005
【図４】
2018137685.tif 000006
【図５】
2018137685.tif 000007
【図６】
2018137685.tif 000008
【図７】
2018137685.tif 000009
【図８】
2018137685.tif 000010
【図９】
2018137685.tif 000011
【図１０】
2018137685.tif 000012
【図１１】
2018137685.tif 000013
【図１２】
2018137685.tif 000014
【図１３】
2018137685.tif 000015
【図１４】
2018137685.tif 000016
【図１５】
2018137685.tif 000017
【図１６】
2018137685.tif 000018
【図１７】
2018137685.tif 000019
【図１８】
2018137685.tif 000020
【図１９】
2018137685.tif 000021
【図２０】
2018137685.tif 000022
【図２１】
2018137685.tif 000023
【図２２】
2018137685.tif 000024
【図２３】
2018137685.tif 000025