(57)【要約】【課題】  遠隔地と資料を共有し、物理的に同じ空間で資料を共有してコミュニケーションを行うような感覚で遠隔地とコミュニケーションを取るための仕組みを提供することを目的とする。【解決手段】  会議室Ａの情報処理装置１０１ａは、遠隔地と共有する資料を含む画像を取得する（Ｓ１００７）。情報処理装置１０１ａは、投影面に投影される投影領域を含む領域を撮像して得られた画像と、センサで得られた距離からユーザの手を示す画像を抽出する（Ｓ１３０１）。同様に、遠隔地の情報処理装置１０１ｂは、投影領域を含む領域を撮像して得られた画像と、センサで得られた距離から遠隔地でのユーザの手を示す画像を抽出する。情報処理装置１０１ａは、遠隔地でのユーザの手を示す画像を投影し、情報処理装置１０１ｂは、情報処理装置１０１ａで取得された資料と、遠隔地でのユーザの手を示す画像を投影する。【選択図】  図１１
2018019338.tif 000002
【特許請求の範囲】
【請求項１】
第１の情報処理装置と遠隔地の第２の情報処理装置を含む遠隔コミュニケーションシステムであって、
前記第１の情報処理装置は、
遠隔地と共有する資料の画像を取得する取得手段と、
第１の投影面に画像を投影する第１の投影手段と、
前記第１の投影手段により投影される投影領域を含む領域を撮像する第１の撮像手段と、
前記第１の撮像手段により撮像される画像の各画素について、被写体までの距離を検出する第１の検出手段と、
前記第１の検出手段により得られた距離に基づいて、前記第１の撮像手段により撮像された画像に含まれるユーザの手を示す画像を抽出する第１の抽出手段と、を有し、
前記第２の情報処理装置は、
第２の投影面に画像を投影する第２の投影手段と、
前記第２の投影手段により投影される投影領域を含む領域を撮像する第２の撮像手段と、
前記第２の撮像手段により撮像される画像の各画素について、被写体までの距離を検出する第２の検出手段と、
前記第２の検出手段により得られた距離に基づいて、前記第２の撮像手段により撮像された画像に含まれる前記遠隔地のユーザの手を示す画像を抽出する第２の抽出手段と、を有し、
前記第１の投影手段は、前記第２の抽出手段により抽出された前記遠隔地のユーザの手を示す画像を少なくとも含む画像を前記第１の投影面に投影し、
前記第２の投影手段は、前記取得手段により取得された資料の画像と前記第１の抽出手段により抽出されたユーザの手を示す画像を前記第２の投影面に投影することを特徴とする遠隔コミュニケーションシステム。
【請求項２】
前記第１の情報処理装置は、
前記第１の投影手段により投影される投影領域を含む領域を撮像する第３の撮像手段を更に有し、
前記取得手段は、第３の撮像手段により撮像された画像から、前記第１の投影面に載置されている原稿の画像及び前記原稿が載置されている位置を取得し、
前記第２の投影手段は、前記取得手段により取得された遠隔地に載置されている前記原稿の画像と、前記原稿が載置されている位置に基づいて、前記原稿の画像を前記第２の投影面に投影し、且つ、前記第１の抽出手段により抽出されたユーザの手を示す画像を前記原稿の画像に重ね合わせて前記第２の投影面に投影することを特徴とする請求項１に記載の遠隔コミュニケーションシステム。
【請求項３】
前記第３の撮像手段は、前記第１の撮像手段より高い解像度の画像を撮像することを特徴とする請求項２に記載の遠隔コミュニケーションシステム。
【請求項４】
前記第１の情報処理装置は、
遠隔地と共有する電子資料を選択する選択手段を更に有し、
前記取得手段は、前記遠隔地と共有すべき資料として、前記選択手段により選択された電子資料に基づく画像と、当該画像を投影すべき位置を取得し、
前記第１の投影手段は、更に、前記選択手段によって選択された電子資料を前記第１の投影面に投影し、且つ、前記第２の抽出手段により抽出された前記遠隔地のユーザの手を示す画像を前記電子資料に重ね合わせて前記第１の投影面に投影し、
前記第２の投影手段は、更に、前記取得手段により取得された電子資料に基づく画像と、当該画像を投影すべき位置に基づいて、前記電子資料に基づく画像を前記第２の投影面に投影し、且つ、前記第１の抽出手段により抽出されたユーザの手を示す画像を前記電子資料に基づく画像に重ね合わせて前記第２の投影面に投影することを特徴とする請求項１に記載の遠隔コミュニケーションシステム。
【請求項５】
前記第１の情報処理装置は、
遠隔地と資料を共有する際のモードを記憶する記憶手段を更に有し、
前記第１の情報処理装置と、前記第２の情報処理装置は、前記記憶手段に記憶されたモードに基づいて、資料を共有する方法を切り替えることを特徴とする請求項１に記載の遠隔コミュニケーションシステム。
【請求項６】
前記第１の情報処理装置は、
ユーザ操作を受け付ける受付手段と、
前記受付手段により遠隔コミュニケーションを開始するユーザ操作を検知したことに応じて、前記第２の情報処理装置との遠隔コミュニケーションを開始し、前記受付手段により遠隔コミュニケーションを終了するユーザ操作を検知したことに応じて、前記第２の情報処理装置との遠隔コミュニケーションを終了する制御手段と、
を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の遠隔コミュニケーションシステム。
【請求項７】
前記受付手段は、前記第１の投影面に載置されたタッチパッドであり、
前記制御手段は、前記タッチパッドを介して所定の座標がタッチされたことを検出したことに基づいて前記所定の座標近辺にＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画像を投影するよう前記第１の投影手段を制御し、前記ＵＩ画像として表示される遠隔コミュニケーションを開始するためのアイコンの領域がタッチされたことを検出して、前記第２の情報処理装置との遠隔コミュニケーションを開始し、前記ＵＩ画像として表示される遠隔コミュニケーションを終了するためのアイコンの領域がタッチされたことを検出して、前記第２の情報処理装置との遠隔コミュニケーションを終了するよう制御することを特徴とする請求項６に記載の遠隔コミュニケーションシステム。
【請求項８】
第１の情報処理装置と遠隔地の第２の情報処理装置を含む遠隔コミュニケーションシステムであって、
前記第１の情報処理装置は、
第１の投影面に画像を投影する第１の投影手段と、
前記第１の投影手段により投影される投影領域を含む領域を撮像する第１の撮像手段と、
前記第１の撮像手段により撮像された画像から、前記投影領域に相当する領域の画像を生成する生成手段と、を有し、
前記第２の情報処理装置は、
第２の投影面に画像を投影する第２の投影手段と、
前記第２の投影手段により投影される投影領域を含む領域を撮像する第２の撮像手段と、
前記第２の撮像手段により撮像される画像の各画素について、被写体までの距離を検出する検出手段と、
前記検出手段により得られた距離に基づいて、前記第２の撮像手段により撮像された画像に含まれる前記遠隔地のユーザの手を示す画像を抽出する抽出手段と、を有し、
前記第１の投影手段は、前記抽出手段により抽出された前記遠隔地のユーザの手を示す画像を少なくとも含む画像を前記第１の投影面に投影し、
前記第２の投影手段は、前記生成手段により生成された画像を前記第２の投影面に投影することを特徴とする遠隔コミュニケーションシステム。
【請求項９】
前記第１の情報処理装置は、
前記第２の情報処理装置へ画像を送信する第１の送信手段と、
前記第２の情報処理装置から画像を受信する第１の受信手段と、を有し
前記第２の情報処理装置は、
前記第１の情報処理装置へ画像を送信する第２の送信手段と、
前記第１の情報処理装置から画像を受信する第２の受信手段と、を有し
前記第１の投影手段は、前記第１の受信手段により前記第２の情報処理装置から受信した画像を投影し、
前記第２の投影手段は、前記第２の受信手段により前記第１の情報処理装置から受信した画像を投影することを特徴とする請求項１乃至８のいずれか１項に記載の遠隔コミュニケーションシステム。
【請求項１０】
第１の情報処理装置と遠隔地の第２の情報処理装置を含む遠隔コミュニケーションシステムの制御方法であって、
前記第１の情報処理装置が、
遠隔地と共有する資料の画像を取得する取得工程と、
第１の投影面に画像を投影する第１の投影工程と、
前記第１の投影工程で投影される投影領域を含む領域を撮像する第１の撮像工程と、
前記第１の撮像工程で撮像される画像の各画素について、被写体までの距離を検出する第１の検出工程と、
前記第１の検出工程で得られた距離に基づいて、前記第１の撮像工程で撮像された画像とに含まれるユーザの手を示す画像を抽出する第１の抽出工程と、を有し、
前記第２の情報処理装置が、
第２の投影面に画像を投影する第２の投影工程と、
前記第２の投影工程で投影される投影領域を含む領域を撮像する第２の撮像工程と、
前記第２の撮像工程で撮像される画像の各画素について、被写体までの距離を検出する第２の検出工程と、
前記第２の検出工程で得られた距離に基づいて、前記第２の撮像工程で撮像された画像に含まれる前記遠隔地のユーザの手を示す画像を抽出する第２の抽出工程と、を有し、
前記第１の投影工程は、前記第２の抽出工程で抽出された前記遠隔地のユーザの手を示す画像を少なくとも含む画像を前記第１の投影面に投影し、
前記第２の投影工程は、前記取得工程で取得された資料の画像と前記第１の抽出工程で抽出されたユーザの手を示す画像を前記第２の投影面に投影することを特徴とする遠隔コミュニケーションシステム。
【請求項１１】
第１の情報処理装置と遠隔地の第２の情報処理装置を含む遠隔コミュニケーションシステムの制御方法であって、
前記第１の情報処理装置が、
第１の投影面に画像を投影する第１の投影工程と、
前記第１の投影工程で投影される投影領域を含む領域を撮像する第１の撮像工程と、
前記第１の撮像工程で撮像された画像から、前記投影領域に相当する領域の画像を生成する生成工程と、を有し、
前記第２の情報処理装置が、
第２の投影面に画像を投影する第２の投影工程と、
前記第２の投影工程で投影される投影領域を含む領域を撮像する第２の撮像工程と、
前記第２の撮像工程で撮像される画像の各画素について、被写体までの距離を検出する検出工程と、
前記検出工程で得られた距離に基づいて、前記第２の撮像工程で撮像された画像に含まれる前記遠隔地のユーザの手を示す画像を抽出する抽出工程と、を有し、
前記第１の投影工程は、前記抽出工程で抽出された前記遠隔地のユーザの手を示す画像を少なくとも含む画像を前記第１の投影面に投影し、
前記第２の投影工程は、前記生成工程で生成された画像を前記第２の投影面に投影することを特徴とする遠隔コミュニケーションシステム。
【請求項１２】
請求項１０又は１１に記載の遠隔コミュニケーションシステムの制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔地とコミュニケーションを取るための遠隔コミュニケーションシステム、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、離れた場所（遠隔地）に居る相手とコミュニケーションを取るためのシステムが知られている。例えば、特許文献１には離れた場所に居る相手に自分の顔や上半身を含んだ映像と自分の手元を撮影した映像の両方を伝える遠隔コミュニケーションシステムが開示されている。特許文献１のコミュニケーションシステムでは、手元の映像を遠隔地に送信するため、ユーザが手や指で所定の箇所を指し示すような状況を遠隔地から確認することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−５６２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
物理的に同じ空間（例えば、同じ部屋）に居る少人数の人が資料を共有してコミュニケーションを取るときは、テーブル上に資料を載置して手や指で指し示しを行いながら意思の疎通を図ることが多い。このような形態に近い形でのコミュニケーションを遠隔地とも取れるようになると意思の疎通が図りやすいが、従来のシステムでは十分な臨場感を出すことができなかった。
【０００５】
例えば、特許文献１のシステムを利用して拠点Ａのユーザａと遠隔地の拠点Ｂのユーザｂとがコミュニケーションを行う場合を考える。拠点Ａのユーザａは遠隔地の拠点Ｂのユーザｂに対して自分の手元の作業状況を伝えることが可能である。しかしながら、拠点Ｂのユーザｂは、相手側の作業状況を映像にて確認できるのみであり、拠点Ａのユーザａの作業状況に対して手や指で指し示しを行ったとしても、それらの指し示しを拠点Ａのユーザａに伝えることができず、意思の疎通が図り難いという課題がある。
【０００６】
本発明は、上記の課題に鑑みなされたものであり、遠隔地と資料を共有して遠隔コミュニケーションを行う場合に、意思の疎通をより図りやすくするための仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための本発明のコミュニケーションシステムは第１の情報処理装置と遠隔地の第２の情報処理装置を含む遠隔コミュニケーションシステムであって、前記第１の情報処理装置は、遠隔地と共有する資料の画像を取得する取得手段と、第１の投影面に画像を投影する第１の投影手段と、前記第１の投影手段により投影される投影領域を含む領域を撮像する第１の撮像手段と、前記第１の撮像手段により撮像される画像の各画素について、被写体までの距離を検出する第１の検出手段と、前記第１の検出手段により得られた距離に基づいて、前記第１の撮像手段により撮像された画像に含まれるユーザの手を示す画像を抽出する第１の抽出手段と、を有し、前記第２の情報処理装置は、第２の投影面に画像を投影する第２の投影手段と、前記第２の投影手段により投影される投影領域を含む領域を撮像する第２の撮像手段と、前記第２の撮像手段により撮像される画像の各画素について、被写体までの距離を検出する第２の検出手段と、前記第２の検出手段により得られた距離に基づいて、前記第２の撮像手段により撮像された画像に含まれる前記遠隔地のユーザの手を示す画像を抽出する第２の抽出手段と、を有し、前記第１の投影手段は、前記第２の抽出手段により抽出された前記遠隔地のユーザの手を示す画像を少なくとも含む画像を前記第１の投影面に投影し、前記第２の投影手段は、前記取得手段により取得された資料の画像と前記第１の抽出手段により抽出されたユーザの手を示す画像を前記第２の投影面に投影することを特徴とする。
【０００８】
また、本発明の遠隔コミュニケーションシステムは、第１の情報処理装置と遠隔地の第２の情報処理装置を含む遠隔コミュニケーションシステムであって、前記第１の情報処理装置は、第１の投影面に画像を投影する第１の投影手段と、前記第１の投影手段により投影される投影領域を含む領域を撮像する第１の撮像手段と、前記第１の撮像手段により撮像された画像から、前記投影領域に相当する領域の画像を生成する生成手段と、を有し、前記第２の情報処理装置は、第２の投影面に画像を投影する第２の投影手段と、前記第２の投影手段により投影される投影領域を含む領域を撮像する第２の撮像手段と、前記第２の撮像手段により撮像される画像の各画素について、被写体までの距離を検出する検出手段と、前記検出手段により得られた距離に基づいて、前記第２の撮像手段により撮像された画像に含まれる前記遠隔地のユーザの手を示す画像を抽出する抽出手段と、を有し、前記第１の投影手段は、前記抽出手段により抽出された前記遠隔地のユーザの手を示す画像を少なくとも含む画像を前記第１の投影面に投影し、前記第２の投影手段は、前記生成手段により生成された画像を前記第２の投影面に投影することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、遠隔地と資料を共有し、物理的に同じ空間で資料を共有してコミュニケーションを行うような感覚で遠隔地とコミュニケーションを取ることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態におけるシステムの外観図
【図２】本発明の実施形態におけるシステムの側面図
【図３】本発明の実施形態における情報処理装置の外観図
【図４】本発明の実施形態におけるシステムのハードウェア構成図
【図５】本発明の実施形態において投影面に投影される操作画面を説明する図
【図６】本発明の実施形態において投影面に投影される操作画面を説明する図
【図７】本発明の実施形態における情報処理装置の制御方法を示すフローチャート
【図８】本発明の実施形態における対象物のスキャン処理に関するフローチャート
【図９】本発明の実施形態における対象物のスキャン処理の説明図
【図１０】本発明の実施形態におけるコミュニケーション処理に関するフローチャート
【図１１】本発明の実施形態におけるコミュニケーション処理に関するフローチャート
【図１２】本発明の実施形態における人物の所作画像の送受信処理に関するフローチャート
【図１３】本発明の実施形態における人物の所作画像の生成に関するフローチャート
【図１４】本発明の実施形態における所作画像の生成の説明図
【図１５】本発明の実施形態における資料の送受信処理に関するフローチャート
【図１６】本発明の実施形態における資料の送受信処理に関するフローチャート
【図１７】本発明の実施形態における資料の送受信処理に関するフローチャート
【図１８】本発明の実施形態におけるライブ画像の送受信の説明図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態を詳しく説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１２】
図１は、本実施形態が適用される遠隔コミュニケーションシステムの外観図である。この遠隔コミュニケーションシステムを用いることにより、会議室Ａと会議室Ｂの間でコミュニケーションを取ることが可能となっている。なお、ここでは２箇所の会議室を例にしているが、３以上の会議室間でコミュニケーションをとることが可能な構成であってもよい。また、複数の拠点の全体を遠隔コミュニケーションシステムと称しても良いし、１つのオフィスに含まれる構成のみを遠隔コミュニケーションシステムと称しても良い。
【００１３】
また、ここで説明する各会議室は、移動に数時間を要するほど離れたものであっても良いし、同一のビルに設けられた別の会議室であっても良い。即ち、本実施形態において「遠隔」という表現は、単に物理的な距離が離れている場合だけでなく、各会議室の空間が壁などで区切られている場合など、ユーザが同一の空間で対面のコミュニケーションを取ることができない場合を含むものとする。
【００１４】
図１（ａ）に示すＵｓｅｒＡ及びＵｓｅｒＢが居る会議室Ａには、コミュニケーションを支援するための情報処理装置１０１が設置されている。
【００１５】
まず、情報処理装置１０１の構成について図１及び図２を使用して説明する。図２は、本実施形態が適用される遠隔コミュニケーションシステムの側面図である。
【００１６】
情報処理装置１０１は、プロジェクタ２０３、カメラ２０２、デプスセンサ２０４を備える。なお、ここでは、内部構成の説明のため情報処理装置１０１の外装は省略して示している。プロジェクタ２０３は、画像を机上の投影面１０３に投影する投影部である。カメラ２０２は投影面１０３を含む領域を撮影するための撮像部である。情報処理装置１０１は、カメラ２０２で撮影した画像から紙資料等に代表される対象物１０５の領域を抽出して画像データとして保存するスキャン機能を備えている。
【００１７】
また、デプスセンサ２０４は、３次元計測を行うためのセンサである。本実施形態では、デプスセンサ２０４をユーザの手に相当する領域の抽出に用いる。デプスセンサ２０４は、図２に示すようにデプスセンサ２０４から投影面の間であって、所定範囲ｄ１の範囲に含まれる被写体の距離情報を取得することができる。また、デプスセンサ２０４は当該被写体を含むカラー画像を取得することができる。以降、デプスセンサ２０４により取得されたカラー画像について、カメラ２０２で撮影した画像と区別するために、便宜上、ＲＧＢ画像と呼ぶものとする。ここでは、図１（ａ）及び図２（ａ）に示すように、所定範囲ｄ１の範囲にＵｓｅｒＡ及びＵｓｅｒＢの手に相当する領域が含まれている場合を例示している。また、図１（ｂ）及び図２（ｂ）に示すように、所定範囲ｄ１にＵｓｅｒＣの手に相当する領域が含まれている場合を例示している。
【００１８】
また、本実施形態においてユーザが各々の実際の腕、指、手を用いて投影領域１０４もしくは投影領域１０４ｂの少なくとも一部を指し示す指さし動作や指や掌で円を描くような動作を所作と呼ぶものとする。また、指でペンや差し棒などの物体を持っているユーザの動作も所作に含まれるものとする。
【００１９】
また、情報処理装置１０１には、タッチパッド２０５が接続されている。タッチパッド２０５は、ユーザによるタッチ操作を受け付けるための入力インターフェースであり、押圧された位置を示す座標を検出する。タッチパッド２０５は、ユーザの入力を受け付ける受付部として機能する。
【００２０】
プロジェクタ２０３は投影面１０３であるテーブル上に設置されたタッチパッド２０５上の領域に画像を投影する。なお図１では、プロジェクタ２０３が画像を投影できる範囲を破線１０４で示している。以降、プロジェクタ２０３が画像を投影できる範囲を投影領域１０４と呼ぶこととする。
【００２１】
プロジェクタ２０３は、投影面１０３にメッセージやボタン等のＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を投影することができる、ユーザは手を使って情報処理装置１０１に対する操作を行う。情報処理装置１０１は、タッチパッド２０５のポインティング結果に基づいて投影面に投影されているＧＵＩの選択操作を検知する。
【００２２】
＜遠隔コミュニケーション＞
続いて、本実施形態における情報処理装置を用いた遠隔コミュニケーションの概要について図１及び図２を用いて説明する。
【００２３】
図１では、遠隔コミュニケーションの一例として、会議室Ａに居るＵｓｅｒＡ及びＵｓｅｒＢと、会議室Ｂに居るＵｓｅｒＣとが遠隔コミュニケーションを行う場合を例示している。
【００２４】
ここで、ＵｓｅｒＣが居る会議室Ｂにも、会議室Ａに設置された情報処理装置１０１と同様の構成の情報処理装置１０１ｂが設置されている。また、情報処理装置１０１ｂには、情報処理装置１０１と同様にタッチパッド２０５ｂが接続されている。以降、図中において会議室Ｂが備える設備及び投影領域など説明するための符号であって、末尾に「ｂ」が付与されているものについては、符号の末尾に「ｂ」が付与されていない会議室Ａが備える設備及び投影領域と同一の構成であるものとする。
【００２５】
情報処理装置１０１と情報処理装置１０１ｂは図１及び図２には図示していないネットワークを介して遠隔コミュニケーションを行うことができる。
【００２６】
ここでは、図１及び図２に示すようにＵｓｅｒＡとＵｓｅｒＢはタッチパッド２０５上に載置された物理的な紙資料などの対象物１０５に対し手や指による指し示しを行っている。
【００２７】
また、図１（ｂ）に示すように会議室Ｂの投影領域１０４ｂには、プロジェクタ２０３ｂにより会議室Ａにある紙資料をカメラ２０２によりスキャンして得られたスキャン画像が投影されている。また、プロジェクタ２０３ｂにより会議室Ａに居るＵｓｅｒＡ及びＵｓｅｒＢが手や指による指し示しを抽出した所作画像が投影されている。ＵｓｅｒＣは、投影領域１０４ｂを見て会議室ＡにおけるＵｓｅｒＡとＵｓｅｒＢのコミュニケーション状況を容易に確認できる。
【００２８】
また、会議室ＢのＵｓｅｒＣは、会議室Ａでの作業状況に対して手や指で指し示しを行っている。ＵｓｅｒＣが指し示している状態を抽出した所作画像は、会議室Ａに設置された情報処理装置１０１に送信され、プロジェクタ２０３によって投影面１０３に投影される。この所作画像の投影は、紙資料などの対象物１０５が載置されている位置に行われる。従って、会議室Ａに居るＵｓｅｒＡ及びＵｓｅｒＢは、遠隔地に居るＵｓｅｒＣが行なっている所作を、物理的に同じ空間で資料を共有しているかのように確認することができる。以降、図１に例示した、遠隔地と資料を共有し遠隔コミュニケーションを行う方法を具体的に説明する。
【００２９】
＜情報処理装置＞
まず、情報処理装置１０１のプロジェクタ２０３による投影やカメラ２０２による投影領域を含む領域の撮像について図３を用いて説明する。図３は、情報処理装置１０１を別方向から見た外観図である。図３では、内部構成を説明するため外装は省略して示している。
【００３０】
プロジェクタ２０３は、光源である光源ユニット２５８と投影光学系であるプロジェクタ鏡筒部２５９（投影鏡筒部）と投影ミラー２６０を備えている。プロジェクタ鏡筒部２５９の内部には複数のレンズが配置されている。光源ユニット２５８とプロジェクタ鏡筒部２５９は屈曲部を介して接続されている。光源ユニット２５８は屈曲部の奥側に配置される。屈曲部には反射ミラー２６１が配置され、光源ユニット２５８から出た光を投影ミラー２６０に向けて反射する。投影ミラー２６０は、プロジェクタ鏡筒部２５９の上方手前側に配置される。投影ミラー２６０は、光源ユニット２５８から投光された光を投影面１０３に向けて反射し、タッチパッド２０５上の投影領域１０４に画像を投影する。本実施形態では、図１に例示した投影領域１０４に幅が「ｓｃｒｅｅｎ＿ｗｉｄｔｈ」であり、高さが「ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ」の投影画像を投影する。具体的な例としては、１９２０ドットｘ１０８０ドットの投影画像を投影する。なお、投影画像のサイズは、これに限定されるものではない。
【００３１】
また、情報処理装置１０１が投影画像を投影する投影領域１０４と情報処理装置１０１ｂが投影画像を投影する投影領域１０４ｂのそれぞれの幅、高さ、表示位置は予め同一となるよう事前のキャリブレーションがなされているものとする。
【００３２】
次に、カメラ２０２の構成を説明する。台座２５１にはメインフレーム２５２が固定されている。メインフレーム２５２にはカメラアタッチメント２５３が固定されている。カメラ２０２は、撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサ（不図示）を備える。カメラ２０２はカメラアタッチメント２５３を介してカメラマウント２５５に取り付けられる。ＣＣＤセンサは、投影面１０３に対して略水平になるように取り付けられている。撮像ミラー２５６はメインフレーム２５２に組み付けられており、凹形状の曲面ミラーである。カメラマウント２５５には撮像光学系として複数のレンズを組み込んだカメラ鏡筒部２５７（撮像鏡筒部）が取り付けられる。カメラ鏡筒部２５７は、対象物の像をカメラ２０２内部のＣＣＤセンサに結像させる。投影領域１０４に載置された対象物をカメラ２０２で読み取る際には、対象物の像を撮像ミラー２５６でカメラ鏡筒部２５７へと反射させ、カメラ鏡筒部２５７が備える複数のレンズ（不図示）を通り、ＣＣＤセンサで画像を読み取ることになる。ＣＣＤセンサの撮像面に結像された像は、カメラ２０２内部のＡ／Ｄ変換部（不図示）により画像データに変換される。本実施形態では、カメラ２０２は、プロジェクタ２０３が投影する投影領域１０４より広い領域を撮像し、画像データを生成するものとする。
【００３３】
次に、図４を用いて遠隔コミュニケーションシステムのハードウェア構成を説明する。図４は、遠隔コミュニケーションシステムのハードウェア構成図を示すものである。制御部４０１に含まれるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４０２は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）４０４又はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）４０５に記憶された制御プログラムを読み出して、情報処理装置１０１の有する各部や、情報処理装置１０１に接続された周辺装置を制御する。
【００３４】
制御部４０１は、システムバスに接続されたＣＰＵ４０２、ＲＡＭ４０３、ＲＯＭ４０４、ＨＤＤ４０５、ネットワークＩ／Ｆ（インターフェース）４０６、カメラＩ／Ｆ４０７、ディスプレイコントローラ４０８、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コントローラ４０９、オーディオコントローラ４１０を含む。ＣＰＵ４０２は制御部４０１全体の動作を制御する中央演算装置（プロセッサ）である。ＲＡＭ４０３は揮発性メモリであり、ワークエリア、ＲＯＭ４０４及びＨＤＤ４０５に格納された各種制御プログラムを展開するための一時記憶領域として用いられる。
【００３５】
ＲＯＭ４０４は不揮発性メモリであり、情報処理装置１０１のブートプログラムなどが格納されている。ＨＤＤ４０５はＲＡＭ４０３と比較して大容量なハードディスクドライブ（ＨＤＤ）である。ＨＤＤ４０５には情報処理装置１０１の制御用プログラムが格納されている。ＣＰＵ４０２は電源ＯＮ等の起動時、ＲＯＭ４０４に格納されているブートプログラムを実行する。このブートプログラムは、ＨＤＤ４０５に格納されている制御用プログラムを読み出し、ＲＡＭ４０３上に展開するためのものである。ＣＰＵ４０２はブートプログラムを実行すると、続けてＲＡＭ４０３上に展開した制御用プログラムを実行し、情報処理装置の制御を行う。また、ＣＰＵ４０２は制御用プログラムによる動作に用いるデータもＲＡＭ４０３上に格納して読み書きを行う。ＨＤＤ４０５は、更に、制御用プログラムによる動作に必要な各種設定や、また、生成した画像データや投影する電子資料を記憶する。
【００３６】
なお、会議室Ａでは、制御部４０１のＣＰＵ４０２、ＲＡＭ４０３及び制御部４０１内の各制御コントローラが協働して後述するフローチャートに示す各処理を実行するものとするが、他の態様であっても構わない。例えば、複数のプロセッサや複数のＲＡＭ、或いはＨＤＤやＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）を協働させて各処理を実行するようにすることもできる。また、後述する処理の一部をＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等のハードウェア回路を用いて実行するようにしても良い。
【００３７】
制御部４０１は、ネットワークＩ／Ｆ４０６を介してネットワーク４００に接続される。ＣＰＵ４０２は、ネットワークＩ／Ｆ４０６を介してネットワーク４００上の外部装置に画像や情報を送信したり、ネットワーク４００上の外部装置から画像や情報を受信したりする。
【００３８】
制御部４０１は、カメラＩ／Ｆ４０７を介してカメラ２０２およびデプスセンサ２０４に接続される。カメラ２０２は、ＣＰＵ４０２からの制御指示に応じて撮像を行うことができる。撮像によって得られたＲＧＢの８ビット３チャネルの画像データは、ＲＡＭ４０３へ転送され、ＨＤＤ４０５に格納される。
【００３９】
デプスセンサ２０４は、赤外線投射部４１５、赤外線カメラ４１６、ＲＧＢカメラ４１７、及びコントローラ４１４からなる。赤外線投射部４１５は対象物に対して人の目には不可視である赤外線によって３次元測定パターンを投射する。赤外線カメラ４１６は対象物に投射した３次元測定パターンを読み取るカメラである。ＲＧＢカメラ４１７は人の目に見える可視光を撮影するカメラである。コントローラ４１４は、赤外線投射部４１５と赤外線カメラ４１６を制御して、対象物までの距離を示す８ビット１チャネルの距離画像データを取得する。また、コントローラ４１４は、ＲＧＢカメラ４１７を制御して、８ビット３チャネルのＲＧＢ画像データを取得する。
【００４０】
デプスセンサ２０４によって取得された距離画像データとＲＧＢ画像データは、ＲＡＭ４０３へ転送され、ＨＤＤ４０５に格納される。
【００４１】
ディスプレイコントローラ４０８はＣＰＵ４０２の指示に応じてディスプレイへの画像の表示を制御する。ここでは、ディスプレイコントローラ４０８はプロジェクタ２０３に接続されている。ディスプレイコントローラ４０８からプロジェクタ２０３に転送される投影画像は幅が「ｓｃｒｅｅｎ＿ｗｉｄｔｈ」であり、高さが「ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ」のサイズの投影画像である。具体的な例としては、１９２０ドットｘ１０８０ドットの画像である。また、プロジェクタ２０３の投影ミラー２６０は投影領域１０４に投影した画像が適切なアスペクト比（例えば１６：９）となるように曲面ミラーとなっているものとする。
【００４２】
図１及び２には示していないが、各会議室の情報処理装置にはマイクとスピーカが接続されている。会議室内の人物が発する言葉はマイクによって音声信号に変換され、遠隔地のスピーカから出力される。制御部４０１は、オーディオコントローラ４１０を介してマイク４１１とスピーカ４１２に接続される。オーディオコントローラ４１０は情報処理装置１０１ｂから受信した音声データをＣＰＵ４０２の指示に応じてアナログ音声信号に変換する。アナログ音声信号は、情報処理装置１０１に接続されたスピーカ４１２を通じて出力される。また、オーディオコントローラ４１０はＣＰＵ４０２の指示に応じてマイク４１１から入力された音声データをデジタル音声信号に変換する。ＣＰＵ４０２はデジタル音声信号を情報処理装置１０１ｂに送信する。
【００４３】
また、制御部４０１は、ＵＳＢコントローラ４０９を介してタッチパッド２０５に接続されている。ＣＰＵ４０２はタッチパッドでユーザがペンや指などでタッチした座標を取得する。また、ＵＳＢコントローラ４０９はＣＰＵ４０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。ここでは、情報処理装置１０１にＵＳＢメモリやＳＤカードなどの外部メモリ４１３が接続されている場合を例示している。ユーザは、情報処理装置１０１に外部メモリ４１３を接続することで、外部メモリ４１３内に記憶されている電子資料をプロジェクタで投影したり、カメラ２０２で読み取った対象物のスキャン画像を外部メモリ４１３に保存したりすることができる。
【００４４】
なお、会議室Ｂには、会議室Ａと同様の構成である情報処理装置１０１ｂが備えられている。また、上述した各コントローラ及び各インターフェースの接続には、ＵＳＢやＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、ラインケーブルなどが適宜採用される。
【００４５】
また、遠隔コミュニケーションシステムには、ファイルサーバ１０２が含まれる。情報処理装置１０１ａ及び１０１ｂは、ファイルサーバ１０２にアクセスして、ファイルサーバ内に格納されたファイルを取得することができる。また、情報処理装置１０１ａ及び１０１ｂは、ファイルサーバ１０２に画像データなどのファイルをアップロードすることができる。
【００４６】
＜情報処理装置の操作画面＞
図５は、プロジェクタ２０３により投影される操作画面の一例を示す図であり、図５（ａ）は投影領域１０４に投影される操作画面５００を例示している。ＣＰＵ４０２はタッチパッド２０５から投影領域１０４内の任意のタッチ位置（例えば５０１）が一定時間の間、押下され続けたことを検知するとタッチ位置５０１を中心とする座標を中心とした位置に、操作画面５００を表示する。操作画面５００にはスキャンボタン５０２とファイルボタン５０３と設定ボタン５０４とコミュニケーション開始ボタン５０５などのアイコンが表示される。
【００４７】
ユーザはスキャンボタン５０２を選択し、投影領域１０４内に置かれた紙資料などの対象物１０５のスキャンを行うことができる。また、ユーザはファイルボタン５０３を選択し、不図示のファイル選択画面を介して選択した電子資料の表示を行うことができる。また、設定ボタン５０４を選択し、不図示の調整画面を表示することができる。ユーザは調整画面を介してカメラ２０２、デプスセンサ２０４及びプロジェクタ２０３の各座標系の位置合わせを行うためのキャリブレーションを行うことができる。また、ユーザは調整画面を介してカメラ２０２やデプスセンサ２０４の露出に関する設定やフォーカスに関する設定や、遠隔地との通信に関する設定などを行うことができる。
【００４８】
ユーザはコミュニケーション開始ボタン５０５を選択し、ネットワークを介して接続される情報処理装置とコミュニケーションを行うことができる。
【００４９】
図５（ｂ）は投影された表示画面を介したユーザ操作の一例として、ユーザがスキャンを指示する場合を例示するものである。ユーザは、投影領域１０４内にスキャンしたい対象物１０５を載置し、投影領域内の任意の箇所をタッチして操作画面５００を表示させる。ＣＰＵ４０２は、ユーザによりスキャンボタン５０２が選択されたことを検出すると選択通知情報５１２を表示する。例えば、選択通知情報５１２はスキャンボタン５０２を含む一定領域の色が変化するなどでよい。次に、ユーザは、スキャンボタン５０２を選択した指を離すことでスキャンを指示する。載置された対象物１０５の具体的な読み取り方法については後述のフローチャートで説明する。
【００５０】
また、図５（ｃ）はユーザがファイルボタン５０３を選択し、電子資料を表示する場合を例示するものである。ＣＰＵ４０２は、ユーザによりファイルボタン５０３が選択されたことに応じて、不図示の資料選択画面を表示する。ユーザは、不図示の資料選択画面から表示したい資料（例えばプレゼンテーション用の資料）を選択する。選択された電子資料１５０は投影領域１０４の任意の位置に任意の大きさで表示される。ユーザは電子資料１５０の４隅のいずれかをタッチした後にタッチ位置をスライドすることで電子資料の表示サイズを変更することができる。また、ユーザは電子資料１５０の４隅以外をタッチし、続けてスライドすることで資料を表示する位置を変更することができる。
【００５１】
＜遠隔コミュニケーションの設定＞
次に、図１及び図２で説明した遠隔コミュニケーションの方法について具体的に説明する。図６は、会議室Ａにある情報処理装置１０１がプロジェクタ２０３により投影する操作画面の一例を示す図であり、図６（ａ）はユーザによりコミュニケーション開始ボタン５０５が選択された場合に表示される画面を例示している。
【００５２】
ユーザは設定画面６００を介して、遠隔コミュニケーションを行いたい接続先（相手先とも呼ぶ）の設定及び遠隔コミュニケーション時の動作モードを設定することができる。図６（ａ）では、接続先の情報処理装置として会議室Ｂ、会議室Ｃ、会議室Ｄを例示している。会議室名の下には接続可能か否かを示す情報が表示される。上記の情報は、例えば、設定画面６００を表示する際に、情報処理装置に対して行った問い合わせに対する応答に基づいて表示する。会議室Ｂの情報としてはコミュニケーションを開始できる状態であることを示す「Ｒｅａｄｙ」が表示されている。また、会議室Ｃの情報としては、情報処理装置は他の情報処理装置とコミュニケーション中で応答できない又はユーザによってステータスがビジー状態に設定されていることを示す「Ｂｕｓｙ」が表示されている。会議室Ｄの情報処理装置の情報としては、コミュニケーションを開始できない状態であることを示す「Ｏｆｆｌｉｎｅ」が表示されている。
【００５３】
ユーザは、リストアップされた各会議室のボタンを選択して、接続先を選択することができる。図６（ａ）では会議室Ｂが選択されている場合を例示している。なお、各会議室へネットワークを介して接続するための情報（例えばＩＰアドレスなど）は不図示の設定画面より入力され、ＨＤＤ４０５の所定の領域に格納されているものとする。
【００５４】
また、ユーザは画面６００を介して遠隔コミュニケーションの動作モードの設定として資料を共有するモードを切り替えることができる。ユーザは６０１乃至６０３のボタンを選択することでいずれかの１つの動作モードを設定することができる。図６（ａ）では、資料を共有するモードとして「紙原稿共有」が選択されている場合を例示している。なお、選択された動作モードを示す動作モード情報はＲＡＭ４０３に格納される。
【００５５】
各動作モードについて説明する。ボタン６０１に示す紙原稿共有モードは、図１及び図２で説明したように、撮影したい書類などの対象物を載置し、当該載置した対象物をスキャンして得られた画像を遠隔地に送信し遠隔地の投影面に画像を投影して資料を共有するためのモードである。
【００５６】
紙原稿共有モードが選択された場合、情報処理装置１０１はスキャン画像と表示位置に関する情報を遠隔地の情報処理装置に送信する。遠隔地の情報処理装置は情報処理装置１０１から受信したスキャン画像を受信した表示位置に関する情報に基づいて投影領域に投影する。なお、遠隔地の情報処理装置側に載置された対象物を情報処理装置１０１と共有することもできる。また、情報処理装置１０１と遠隔地の情報処理装置のそれぞれに載置された対象物のスキャン画像を生成し、それぞれのスキャン画像を相手側の装置に送信して投影することで、各会議室に載置された対象物を互いに共有することもできる。
【００５７】
次に、ボタン６０２に示すライブ共有モードは、会議室Ａにおけるユーザの所作や、資料への記入などを含む画像をリアルタイムで遠隔地と共有するためのモードである。ライブ共有モードでの遠隔コミュニケーションでは、例えば、遠隔地の会議室Ｂから会議室Ａにおけるユーザの状況（例えば、書類への書き込みなど）をリアルタイムに把握することができる。また、遠隔地のユーザは、上記リアルタイムで更新される画像に対する手及び指による指し示しや、音声によって会議室Ａに居るユーザのサポートを行うことができる。
【００５８】
ライブ共有モードが選択された場合、情報処理装置１０１は、ライブ画像を生成し、生成したライブ画像を遠隔地の情報処理装置に送信する。遠隔地の情報処理装置は受信したライブ画像を表示する。なお、遠隔地の情報処理装置側でライブ画像を生成し、情報処理装置１０１側でライブ画像を受信して投影するようにしてもよい。
【００５９】
ボタン６０３に示すデータ共有モードは、遠隔地と電子資料を共有するためのモードである。データ共有モードでの遠隔コミュニケーションでは、図５（ｃ）で例示したような電子資料（例えばプレゼンテーションの資料）を遠隔地と共有し、且つ、共有した電子資料に対する手及び指による指し示しを互いに共有することができる。
【００６０】
データ共有モードが選択された場合、情報処理装置１０１内のＨＤＤ４０５や外部メモリ４１３に格納されている電子資料を遠隔地と共有することができる。また、ネットワーク４００を介して通信可能に接続されたファイルサーバ１０２に格納されている電子資料を遠隔地と共有することもできる。情報処理装置１０１は、投影領域１０４にユーザにより選択された電子資料を投影するとともに、遠隔地の情報処理装置に電子資料及び電子資料の表示位置に関する情報を送信する。遠隔地の情報処理装置は受信した電子資料を表示位置に関する情報に基づいて投影領域に投影することで電子資料を共有する。
【００６１】
また、ユーザは、接続ボタン６１１を選択することで遠隔コミュニケーションを開始することができる。一方、ユーザはキャンセルボタン６１２を選択することで遠隔コミュニケーションの実行をキャンセルすることができる。
【００６２】
図６（ｂ）は、遠隔コミュニケーション中に会議室Ａに投影される画像を説明するための図である。領域６２０には、遠隔地との接続状態を示す情報が表示される。例えば、いずれの会議室の情報処理装置とコミュニケーション中であるかを示す情報が表示される。
【００６３】
また、ユーザは、投影領域１０４内の所定の箇所を一定時間の間、選択し続けることで、コミュニケーション用にカスタマイズされた操作画面６２１を表示することができる。ユーザは操作画面６２１に表示されるコミュニケーション終了ボタン６２２を選択して、遠隔地とのコミュニケーションを終了することができる。
【００６４】
以降、図６を用いて説明した遠隔コミュニケーションの開始の要求を送信する側の情報処理装置をホスト側の情報処理装置と呼び、遠隔コミュニケーションの開始の要求を受信する側の情報処理装置をクライアント側の情報処理装置と呼ぶ。
【００６５】
＜情報処理装置の制御＞
次に、図７及び８を用いて、情報処理装置１０１における制御を説明する。図７及び８は、情報処理装置１０１における制御を説明するためのフローチャートである。図７及び８のフローチャートに示す各動作（ステップ）は、ＣＰＵ４０２がＲＯＭ４０４又はＨＤＤ４０５に記憶された制御プログラムをＲＡＭ４０３に読み出し、実行することにより実現される。なお、フローチャートで示す一部の処理は、ＣＰＵ４０２により実行される上記制御プログラムと、制御部４０１の各コントローラと、制御部４０１に接続された各部とが適宜協働して実現するものとする。また、遠隔地の会議室Ｂに設置された情報処理装置１０１ｂにおいても、ＣＰＵ４０２ｂが同様の制御を実行しているものとする。
【００６６】
Ｓ７０１では、ＣＰＵ４０２は、コミュニケーションの開始指示を受け付けたか否かを判断する。ＣＰＵ４０２は、コミュニケーション開始ボタン５０５の選択を受け付けた場合に、コミュニケーションの開始指示を受け付けたと判断し、処理をＳ７０２に進める。一方、コミュニケーション開始ボタン５０５の選択を受け付けていない場合は、コミュニケーションの開始指示を受け付けていないと判断し、処理をＳ７０４に進める。
【００６７】
Ｓ７０２では、ＣＰＵ４０２は、遠隔コミュニケーションに関する設定を受け付ける。ユーザは、図６（ａ）の設定画面６００に例示した画面を介して遠隔コミュニケーションに関する設定を行う。Ｓ７０２で受け付けた遠隔コミュニケーションに関する設定は、ＲＡＭ４０３又はＨＤＤ４０５に格納され、後述のステップにて参照される。ＣＰＵ４０２は、ユーザにより接続ボタンの選択を受け付けたことに応じて、処理をＳ７０３に進める。
【００６８】
Ｓ７０３では、ＣＰＵ４０２は、遠隔コミュニケーション処理を行う。遠隔コミュニケーション処理については後述のフローチャートにて説明する。遠隔コミュニケーション処理が完了すると、Ｓ７０１の処理に戻る。
【００６９】
一方、Ｓ７０４では、ＣＰＵ４０２は、外部装置からコミュニケーション開始のリクエストを受信したか否かを判断する。外部装置からコミュニケーション開始のリクエストを受信した場合は、Ｓ７０５に進み、外部装置からコミュニケーション開始のリクエストを受信していない場合は、処理をＳ７０８に進める。例えば、コミュニケーション開始のリクエストは、会議室Ｂに設置された情報処理装置１０１ｂなど、ネットワーク４００を介して接続されている他の情報処理装置が送信するものとする。
【００７０】
Ｓ７０５では、ＣＰＵ４０２は、投影領域１０４に不図示の受け付け画面を表示し、相手先とのコミュニケーションを受け付けるか否かをユーザに問い合わせる。ユーザによって相手先とのコミュニケーションを受け付ける指示がなされた場合は、Ｓ７０６に進み、ユーザによってコミュニケーションを受け付けない指示がなされた場合は、処理をＳ７０７に進める。
【００７１】
Ｓ７０６では、ＣＰＵ４０２は、コミュニケーションを開始する要求を送信した外部装置に対するレスポンスとして「ＯＫ」を送信し、処理をＳ７０３の遠隔コミュニケーション処理に進める。Ｓ７０７では、ＣＰＵ４０２は、コミュニケーションを開始する要求を送信した外部装置に対するレスポンスとして「ＮＧ」を送信し、Ｓ７０１の処理に戻る。
【００７２】
一方、Ｓ７０８では、ＣＰＵ４０２は、スキャン指示を受け付けたか否かを判断する。ＣＰＵ４０２は、スキャンボタン５０２の選択を受け付けた場合に、スキャン指示を受け付けたと判断し、処理をＳ７０９に進める。一方、スキャンボタン５０２の選択を受け付けていない場合は、スキャン指示を受け付けていないと判断し、処理をＳ７１０に進める。
【００７３】
Ｓ７０９では、ＣＰＵ４０２は、カメラ２０２と協働して、投影領域１０４に載置された紙資料などの対象物を読み取って保存するスキャン処理を行う。スキャン処理の詳細については後述する。スキャン処理が完了すると、Ｓ７０１の処理に戻る。
【００７４】
Ｓ７１０では、ＣＰＵ４０２は、電子資料の表示指示を受け付けたか否かを判断する。ＣＰＵ４０２は、ファイルボタン５０３の選択を受け付けたことに応じて、不図示の資料選択画面を表示する。不図示の資料選択画面から表示したい資料（例えばプレゼンテーション用の資料）の選択を受け付けると、電子資料の表示指示を受け付けたと判断し、処理をＳ７１１に進める。一方、ファイルボタン５０３の選択を受け付けていない場合は、電子資料の表示指示を受け付けていないと判断し、処理をＳ７１２に進める。
【００７５】
Ｓ７１１では、ＣＰＵ１１１は、プロジェクタ２０３と協働してＳ７１０で受け付けた電子資料の表示指示に基づく電子資料を投影面１０３に投影する。
【００７６】
Ｓ７１２では、ＣＰＵ４０２は電源をＯＦＦにする指示を受け付けたか否かを判断する。電源をＯＦＦにする指示を受け付けた場合は、情報処理装置のシャットダウン処理を行い、一連の処理を終了する。一方、電源をＯＦＦにする指示を受けて付けていない場合は、Ｓ７０１の処理に戻る。
【００７７】
＜スキャン処理の制御＞
次に図８のフローチャート及び図９を用いてスキャン処理について説明する。図９（ａ）〜（ｆ）は情報処理装置におけるスキャン処理を説明するための図である
Ｓ８０１では、ＣＰＵ４０２は、カメラ２０２を制御しカメラ画像を取得する。図９（ａ）はＳ８０１で取得されるカメラ画像９００を説明するための図である。カメラ２０２は、投影領域１０４を含む領域を撮像し、１９２０ドットｘ１０８０ドットのカメラ画像を取得する。カメラ２０２が取得したカメラ画像９００には、投影領域１０４内に載置されている対象物である画像９０２が含まれる。カメラ２０２の座標系は投影領域１０４に正対していないため、カメラ画像９００内の対象物の画像９０２は台形に歪んでいる。
【００７８】
図９（ａ）に破線で示している領域９０１は、カメラ画像９００内で投影領域１０４に相当する位置を示している。なお、カメラ画像９００内で投影領域１０４に相当する領域は事前のキャリブレーション処理によって算出されているものとする。ここでは、説明のため事前のキャリブレーション処理によって、カメラ画像９００内における投影領域１０４に相当する領域が座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）であると算出されているものとする。
【００７９】
Ｓ８０２では、ＣＰＵ４０２は事前のキャリブレーション処理で取得された対象物が存在しない状態で事前に取得した基準画像と、Ｓ８０１で取得したカメラ画像９００との画素毎の差分を示すマスク画像を生成する。具体的には、ＣＰＵ４０２は、基準画像と所定以上の差のある画素を黒（画素値２５５）、基準画像と所定以上の差がない画素を白（画素値０）となるように二値化したマスク画像を生成する。図９（ｂ）は、Ｓ８０２で生成されるマスク画像を説明するための図である。図９（ｂ）に示すように、Ｓ８０２で生成されるマスク画像９１０は図９（ａ）に示す画像９０２の領域が差分領域９１２として抽出された画像となる。
【００８０】
Ｓ８０３では、ＣＰＵ４０２は差分領域の各頂点の座標を算出する。具体的には、エッジ抽出処理を行って抽出されたエッジに対して矩形近似を行い、差分領域９１２を構成する４辺の座標を取得する。ここでは説明のためＳ８０３の処理によって、図９（ｂ）に示すように差分領域９１２の各頂点の座標が（Ｓ１，Ｔ１）、（Ｓ２，Ｔ２）、（Ｓ３，Ｔ３）、（Ｓ４，Ｔ４）であると算出されたものとする。
【００８１】
Ｓ８０４では、ＣＰＵ４０２はＳ８０２で得られたマスク画像に、Ｓ８０１で得られたカメラ画像の各画素をＡＮＤ処理で加えて、対象物部分を抽出した抽出画像を生成する。図９（ｃ）は、Ｓ８０４で生成される抽出画像を説明するための図である。図９（ｃ）に示すように、Ｓ８０４で生成される抽出画像９２０は、対象物を示す画像９２２が抽出された画像となる。
【００８２】
Ｓ８０５では、ＣＰＵ４０２は、抽出画像に対する階調補正を行う。Ｓ８０６では、ＣＰＵ４０２は、抽出画像内の投影領域１０４に相当する領域の画像を投影座標系に射影変換する。図９（ｄ）は、投影座標系への射影変換を説明する図である。事前のキャリブレーション処理で取得した座標（Ｘ１，Ｙ１）が投影画像の座標（０，０）に、座標（Ｘ２，Ｙ２）が投影画像の座標（０，ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ）となるように射影変換が行われる。また、座標（Ｘ３，Ｙ３）が投影画像の座標（ｓｃｒｅｅｎ＿ｗｉｄｔｈ，ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ）に、（Ｘ４，Ｙ４）が投影画像の座標（ｓｃｒｅｅｎ＿ｗｉｄｔｈ，０）となるように射影変換が行われる。Ｓ８０５の処理により、図９（ｃ）の破線９０１で示している投影領域１０４に相当する領域内の画像を、プロジェクタ２０３が投影する投影座標系の画像に変換することができる。従って、図９（ｄ）に示すように投影領域に相当する領域を投影座標系の画像に変換することができる。
【００８３】
次に、Ｓ８０７では、ＣＰＵ４０２は、Ｓ８０３で取得したカメラ画像系における対象物の頂点の座標を投影座標系の座標に変換する。図９（ｄ）に示すように、座標（Ｓ１，Ｔ１）、（Ｓ２，Ｔ２）、（Ｓ３，Ｔ３）、（Ｓ４，Ｔ４）に対して射影変換を適用して、投影座標系における対象物の頂点を示す座標（Ｐ１，Ｑ１）、（Ｐ２，Ｑ２）、（Ｐ３，Ｑ３）、（Ｐ４，Ｑ４）を取得する。
【００８４】
Ｓ８０８では、ＣＰＵ４０２は、画像の回転角を取得する。図９（ｅ）は、画像の回転角を説明するための図である。ＣＰＵ４０２は、図９（ｅ）に示すように、射影変換後の画像９３２のいずれかの頂点を基準として基準ラインを設ける。次に、基準ラインから画像９３２がどの程度回転しているかを示す傾きθ１及びθ２を算出し、傾きが小さい方（ここではθ１）を射影変換後の対象物の画像９３２の回転角として取得する。
【００８５】
Ｓ８０９では、ＣＰＵ４０２は、Ｓ８０８で取得した回転角に基づいて、画像を回転し、傾きを補正したスキャン画像を生成する。図９（ｆ）は、Ｓ８０９で生成される傾きを補正したスキャン画像を説明するための図である。９４２に示すように画像９３２を左回転でθ１分回転することにより、傾きを補正した画像９４２を生成することができる。
【００８６】
Ｓ８１０では、ＣＰＵ４０２はスキャン画像９４２の圧縮処理を行い、フォーマットを変換する。例えば、画像データをＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）やＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などのファイルに変換する。なお、この際に画像に対してＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｏｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）処理を行い、ファイルに反映するようにしてもよい。
【００８７】
Ｓ８１１では、ＣＰＵ４０２は、レイアウト情報が必要であるか否かを判断する。ＣＰＵ４０２は、後述する遠隔コミュニケーション処理を実行している場合にスキャン指示がなされた場合は、レイアウト情報が必要であると判断し、処理をＳ８１２に進める。一方、遠隔コミュニケーション処理を実行していない場合にスキャン指示がなされた場合は、レイアウト情報が必要でないと判断し、処理をＳ８１３に進める。
【００８８】
Ｓ８１２では、ＣＰＵ４０２は、Ｓ８０７で取得した対象物の座標及びＳ８０８で取得した対象物の回転角の情報をレイアウト情報として、Ｓ８１０で生成したファイルに関連づけ、ＨＤＤ４０５に保存し、一連の処理を終了する。なお、Ｓ８１２のレイアウト情報は、プロジェクタで当該資料を投影する際の投影位置と姿勢（資料の傾き）を再現するために必要となる情報であり、後述するフローチャートにて適宜参照される。
【００８９】
一方、Ｓ８１３では、ＣＰＵ４０２は、Ｓ８１０で得られたファイルをＨＤＤ４０５に保存し、一連の処理を終了する。
【００９０】
＜遠隔コミュニケーション処理の制御＞
続いて、Ｓ７０３で実行される遠隔コミュニケーション処理の制御について、図１０〜図１３及び図１５〜図１７のフローチャートを用いて説明する。
【００９１】
図１０〜図１３及び図１５〜図１７のフローチャートに示す各動作（ステップ）は、ＣＰＵ４０２がＲＯＭ４０４又はＨＤＤ４０５に記憶された制御プログラムをＲＡＭ４０３に読み出し、実行することにより実現される。なお、フローチャートで示す一部の処理は、ＣＰＵ４０２により実行される上記制御プログラムと、制御部４０１の各コントローラと、制御部４０１に接続された各部とが適宜協働して実現するものとする。また、遠隔地の会議室Ｂに設置された情報処理装置１０１ｂにおいても、ＣＰＵ４０２ｂが同様の制御を実行しているものとする。
【００９２】
Ｓ１００１では、ＣＰＵ４０２は、自身がホスト側の情報処理装置であるか否かを判断する。自身がホスト側の情報処理装置の場合は、処理をＳ１００２に進める。一方、自身がホスト側の情報処理装置でない場合（即ち、クライアント側の情報処理装置の場合）は、処理をＳ１００６に進める。Ｓ１００６では、ＣＰＵ４０２は、Ｓ７０４で受信したコミュニケーション開始のリクエストに含まれる動作モードの情報に基づいて動作モードを決定し、処理をＳ１００７に進める。
【００９３】
一方、Ｓ１００２では、ＣＰＵ４０２は、Ｓ７０２で受け付けた接続の相手先に対して遠隔コミュニケーションを開始するリクエストを送信する。Ｓ１００２で相手先に送信するリクエストには、資料の共有方法を示す動作モードの情報が含まれるものとする。
【００９４】
Ｓ１００３では、ＣＰＵ４０２は、相手先から「ＯＫ」を受信したか否かを判断する。相手先から「ＯＫ」を受信した場合は、処理をＳ１００７に進める。一方、相手先から「ＯＫ」を受信していない場合は、処理をＳ１００４に進める。Ｓ１００４では、ＣＰＵ４０２は、相手先から「ＮＧ」を受信したか否かを判断する。相手先から「ＮＧ」を受信した場合は、一連の遠隔コミュニケーション処理を終了し、Ｓ７０１の処理へ戻る。一方、相手先から「ＮＧ」を受信していない場合は、処理をＳ１００５に進める。
【００９５】
Ｓ１００５では、ＣＰＵ４０２は、遠隔コミュニケーションをキャンセルするか否かを判断する。遠隔コミュニケーションをキャンセルする指示を受け付けた場合は、Ｓ７０１の処理へ戻る。一方、遠隔コミュニケーションをキャンセルする指示を受け付けていない場合は、Ｓ１００３の処理に戻り、相手先からの応答を待つ。
【００９６】
Ｓ１００７では、ＣＰＵ４０２は、遠隔コミュニケーション処理中に繰り返し実行するループ処理の初期化を行う。Ｓ１００７では、図１及び図２を用いて説明した所作画像を生成して遠隔地に送信したり、遠隔地から所作画像を受信して表示したりするためのスレッドの起動処理が行われる。また、遠隔地に資料を送信したり、遠隔地から資料を受信して投影領域に表示したりするためのスレッドの起動処理を行う。Ｓ１００７の処理について、図１１のフローチャートで後述する。
【００９７】
Ｓ１００８では、ＣＰＵ４０２は、コミュニケーションを終了する指示を受け付けた否かを判断する。コミュニケーションを終了する指示を受け付けた場合は、処理をＳ１００９に進め、コミュニケーションを終了する指示を受け付けていない場合は、コミュニケーションを終了する指示の受け付けを待つ。
【００９８】
Ｓ１００９では、ＣＰＵ４０２は、Ｓ１００７で起動したスレッドを終了し、遠隔コミュニケーションを終了する。
【００９９】
次に、Ｓ１００８の初期化処理について説明する。Ｓ１１０１では、ＣＰＵ４０２は、所作画像を生成し、相手先に送信するためのスレッドを起動する。Ｓ１１０２では、ＣＰＵ４０２は、相手先から所作画像の受信するためのスレッドを起動する。なお、所作画像の送信に関するループ処理及び所作画像の受信に関するループ処理については、図１２及び図１３のフローチャート及び、図１４の説明図を用いて後述する。
【０１００】
Ｓ１１０３では、ＣＰＵ４０２は、動作モードが紙資料共有モードであるか否かを判断する。動作モードが紙資料共有モードの場合は、処理をＳ１１０４に進める。一方、動作モードが紙資料共有モードでない場合は、処理をＳ１１０６に進める。
【０１０１】
Ｓ１１０４では、ＣＰＵ４０２は、スキャンした画像を送信するためのスレッドを起動する。Ｓ１１０５では、ＣＰＵ４０２は、遠隔地でスキャンされた画像を受信するためのスレッドを起動する。なお、スキャン画像の送信に関するループ処理及びスキャン画像の受信に関するループ処理については、図１５のフローチャートを用いて後述する。
【０１０２】
一方、Ｓ１１０６では、動作モードが電子資料共有モードであるか否かを判断する。動作モードが電子資料共有モードの場合は、処理をＳ１１０７に進める。動作モードが電子資料共有モードでない場合は、処理をＳ１１０９に進める。
【０１０３】
Ｓ１１０７では、ＣＰＵ４０２は、電子資料を送信するためのスレッドを起動する。Ｓ１１０８では、ＣＰＵ４０２は、遠隔地から電子資料を受信するためのスレッドを起動する。なお、電子資料の送信に関するループ処理及び電子資料の受信に関するループ処理については、図１６のフローチャートを用いて後述する。
【０１０４】
一方、Ｓ１１０９では、ライブ画像を送信するためのスレッドを起動する。Ｓ１１１０では、ライブ画像を受信するためのスレッドを起動する。なお、ライブ画像の送信に関するループ処理及び、ライブ画像の受信に関するループ処理については、図１７のフローチャート及び図１８の説明図を用いて後述する。
【０１０５】
＜所作画像の送信及び受信処理＞
以降、図１１の各ステップにより起動されるスレッドによるループ処理について説明する。図１２（ａ）は、所作画像の送信に関するループ処理を説明するためのフローチャートであり、図１２（ｂ）は、所作画像の受信に関するループ処理を説明するためのフローチャートである。
【０１０６】
まず、所作画像の送信に関するループ処理を説明する。Ｓ１２００では、ＣＰＵ４０２は、ライブ画像の送信元であるか否かを判断する。ＣＰＵ４０２は相手先と共有している動作モードがライブ共有モードであって、相手先にライブ画像を送信するホスト側の場合は、ライブ画像の送信元であると判断し、処理をＳ１２０３に進める。一方、動作モードがライブ共有モードでない場合、又は、ライブ共有モードであっても、相手先からライブ画像を受信するクライアント側の場合は、ライブ画像の送信元でないと判断し、処理をＳ１２０１に進める。この処理により、所作を含んだライブ画像を送信する場合は、所作画像の生成及び送信をスキップすることができる。
【０１０７】
Ｓ１２０１では、ＣＰＵ４０２は、デプスセンサ２０４と協働して、所作画像の生成処理を実行する。所作画像の生成処理は、図１３（ａ）及び図１３（ｂ）のフローチャート及び図１４の説明図を用いて説明する。
【０１０８】
本実施形態では、ＣＰＵ４０２は、デプスセンサ２０４が生成する距離画像とＲＧＢカメラ画像を２４ＦＰＳ（Ｆｒａｍｅ  Ｐｅｒ  Ｓｅｃｏｎｄ）の間隔で取得可能であるものとする。また、本実施形態では、ＣＰＵ４０２は、１フレーム毎に所作画像を生成するものとするが、これに限定されるものではない。例えば、ＣＰＵ４０２やデプスセンサ２０４の処理能力及びネットワーク４００の負荷に応じて、適宜Ｎフレーム毎やＮ秒毎に所作画像を生成するようにしてもよい。
【０１０９】
Ｓ１３０１では、ＣＰＵ４０２は、デプスセンサ２０４を制御してＲＧＢ画像を取得する。図１４（ａ）はデプスセンサにより取得されるＲＧＢ画像１４００を説明する図である。本実施形態では、デプスセンサは投影領域１０４を含む領域を画像として撮像する。また、画像のサイズは６４０ドットｘ３６０ドットのサイズであるものとする。また、図１４（ａ）において、破線１４０１の領域は、ＲＧＢ画像１４００内での投影領域１０４に相当する領域である。ＲＧＢカメラ４１７は、投影領域１０４を所定の角度から撮像するように設置されていないため、投影領域１０４に相当する領域は台形に歪んで撮像される。なお、ＲＧＢ画像内で投影領域１０４に相当する領域は、事前のキャリブレーション処理によって算出されているものとする。ここでは、説明のため、事前のキャリブレーション処理によって、ＲＧＢ画像１４００内における投影領域１０４に相当する領域が座標（Ｌ１，Ｍ１）、（Ｌ２，Ｍ２）、（Ｌ３，Ｍ３）、（Ｌ４，Ｍ４）であると算出されているものとする。
【０１１０】
Ｓ１３０２では、ＣＰＵ４０２は、デプスセンサ２０４を制御して距離画像を取得する。例えば、本実施形態では、デプスセンサ２０４により取得される距離画像は６４０ドットｘ３６０ドットのサイズであるものとする。Ｓ１３０２で取得する距離画像は、デプスセンサ２０４のコントローラ４１４が実行する図１３（ｂ）のフローチャートにて生成される。
【０１１１】
図１３（ｂ）の説明に進み、Ｓ１３２１では、コントローラ４１４は、赤外線投射部４１５を制御して赤外線による３次元形状測定パターンを投影面１０３方向に投射する。Ｓ１３２２では、コントローラ４１４は、Ｓ１３２１で投影面１０３方向に向けて投射した３次元測定パターンを赤外線カメラ４１６で撮影した８ビット１チャネルの情報からなる赤外線カメラ画像を取得する。
【０１１２】
Ｓ１３２３では、ＣＰＵ４０２は、Ｓ１３２１で投射した３次元測定パターンとＳ１３２２で取得した赤外線カメラ画像との間の対応点を抽出する。例えば、赤外線カメラ画像上の１点を３次元形状測定パターン上から探索して、同一の点が検出された場合に対応付けを行う。或いは、赤外線カメラ画像の画素の周辺を含む所定の大きさのパターンを３次元形状測定パターン上から探索し、一番類似度が高い部分と対応付けるようにしてもよい。この対応付けを容易にするため、３次元形状測定パターンは、その任意の一部分が、他のどの一部分とも異なるパターンとなるよう構成される。従ってパターンの一部分から、その一部分が全体におけるどの部分と類似しているかをパターンマッチングにより特定することができる。また、３次元形状測定パターンを手や指などの３次元形状へ投射する場合、それを撮影して得たパターンが大きく歪んでしまう場合がある。この場合、元のパターンとの対応付が困難になる可能性がある。そこで、平面に近似できるようなごく狭い範囲に投影されたパターンの一部からそのパターン全体における位置を特定できるよう、３次元形状測定パターンは、密度の高いパターンとしておくことが望ましい。
【０１１３】
Ｓ１３２４では、ＣＰＵ４０２は赤外線投射部４１５と赤外線カメラ４１６を結ぶ直線を基線として三角測量の原理を用いて計算を行うことにより、赤外線カメラ４１６からの距離を算出する。Ｓ１３２３で対応付けができた画素については、赤外線カメラ４１６からの距離を算出して画素値として保存し、対応付けができなかった画素については、距離の計測ができなかったことを示す無効値（例えば−１など）を保存する。これを赤外線カメラ画像の全画素に対して行うことで、各画素に距離値が入った８ビット１チャネルの情報からなる距離画像を生成する。なお、赤外線カメラ４１６からの距離を算出するためには、赤外線カメラ４１６と赤外線パターン投射部３２１の位置関係及びそれぞれの内部パラメータがわかっている必要がある。これらは、事前のキャリブレーション処理により算出されているものとする。なお、Ｓ１３２４の処理はコントローラ４１４内に備えられた不図示のＡＳＩＣやＤＳＰ（Ｄｅｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）により実行されるものとする。
【０１１４】
なお、本実施例ではデプスセンサ２０４として赤外線パターンを投射して対象物までの距離を検出する方式を採用しているが、これに限定されるものではなく、他の方式を用いることも可能である。例えば、２つのＲＧＢカメラでステレオ立体視を行うステレオ方式や、赤外線の投射光と反射光の位相差から、赤外線が被写体により反射するまでの時間を算出し、被写体と距離を検出するＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式を用いることもできる。
【０１１５】
図１３（ａ）の説明に戻り、Ｓ１３０３では、ＣＰＵ４０２は、デプスセンサ２０４と協働して、距離画像とＲＧＢ画像の位置合わせを行う。
【０１１６】
この処理は、物理的な位置が異なる赤外線カメラ４１６によって得られた距離画像と、ＲＧＢカメラ４１７によって得られたＲＧＢ画像の撮影領域の各画素を一致させるための処理である。具体的には、ＣＰＵ４０２は、赤外線カメラ４１６によって得られた距離画像の各画素をＲＧＢカメラ４１７の座標へ変換し、赤外線カメラ画像で得られた距離を示す各画素の位置をＲＧＢカメラ画像の座標系の位置に合わせる。なお、赤外線カメラ４１６とＲＧＢカメラ４１７との相対位置関係や、変換のための内部パラメータは事前のキャリブレーション処理により既知であるとする。
【０１１７】
Ｓ１３０４では、ＣＰＵ４０２は事前のキャリブレーション処理で取得されたユーザの手が存在しない状態で事前に取得した距離の基準画像と、距離画像との画素毎の差分に基づくマスク画像を生成する。本実施例においては、デプスセンサ２０４は投影領域１０４の上にかざした手を検知するために、投影面１０３を高さ０ｍｍの基準として、例えば、高さ１００ｍｍまでの領域ｄ１の３次元形状を取得できるように構成される。ＣＰＵ４０２は、値が領域ｄ１に含まれる画素の値を２５５に変更し、それ以外の画素の値を０に変更したマスク画像を生成する。図１４（ｂ）は、マスク画像を説明する図である。図１４（ｂ）に示すように、Ｓ１３０４で生成されるマスク画像１４１０は、ユーザの手を示す領域１４１３が２５５となり、それ以外の領域が０となる。
【０１１８】
Ｓ１３０５では、ＣＰＵ４０２は、Ｓ１３０４で得られたマスク画像に対して、ノイズ除去及び平滑化のための画像処理を行う。例えば、ＣＰＵ４０２は、注目画素の周辺に１画素でも値が０の画素があれば値を当該注目画素の値を０に変更する収縮処理、又は、注目画素の周辺に１画素でも値が２５５の画素があれば注目画素の値を２５５に変更する膨張処理により、ノイズを低減する。また、ＣＰＵ４０２は、平滑化フィルタ（例えば、ガウシアンフィルタ）を使用した画像処理を実行することにより、マスク画像中の輪郭を平滑化する。
【０１１９】
Ｓ１３０７では、ＣＰＵ４０２は、Ｓ１３０５で画像処理を行ったマスク画像に、Ｓ１３０１で得られたＲＧＢ画像の各画素をＡＮＤ処理で加えて、ユーザによる所作を抽出した所作画像を生成する。
【０１２０】
Ｓ１３０８では、Ｓ１３０７で得られた所作画像に対して透明化処理を行う。ＣＰＵ４０２は、値が２５５の画素を非透明とし、値が０である画素を透明にした多値画像を生成する。この処理により、図１４（ｃ）に示すような領域１４１４が非透明で他の領域は透明に変換した所作画像１４２０を得る。例えば、所作画像１４２０は１画素につきＲ、Ｇ、Ｂ、透明度（アルファ値とも呼ぶ）の４つの値を持つ８ビット４チャネルの画像である。
【０１２１】
Ｓ１３０９では、ＣＰＵ４０２は、Ｓ１３０８で得られた所作画像内の投影領域１０４に相当する領域の画像を投影座標系に射影変換する。図１４（ｄ）は、投影座標系への射影変換を説明する図である。Ｓ８０３で取得した座標（Ｌ１，Ｍ１）が投影画像の座標（０，０）に、座標（Ｌ２，Ｍ２）が投影画像の座標（０，ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ）となるように射影変換が行われる。また、座標（Ｌ３，Ｍ３）が投影画像の座標（ｓｃｒｅｅｎ＿ｗｉｄｔｈ，ｓｃｒｅｅｎ＿ｈｅｉｇｈｔ）に、（Ｌ４，Ｍ４）が投影画像の座標（ｓｃｒｅｅｎ＿ｗｉｄｔｈ，０）となるように射影変換が行われる。Ｓ１３０９の処理により、図１４（ｃ）で破線１４０１で示している投影領域１０４に相当する領域内の画像を、プロジェクタ２０３が投影する投影座標系の画像に変換することができる。従って、図１４（ｄ）に示すようにＲＧＢカメラ画像内の投影領域に相当する領域を投影座標系に変換した画像１３４０を生成することができる。なお、射影変換に必要となるパラメータは事前のキャリブレーションで取得されているものとする。
【０１２２】
続いて、Ｓ１３１０では、ＣＰＵ４０２は、所作画像１４４０の領域１４１５の外接する矩形の座標を取得する。図１４（ｅ）に示すように、領域１４１５に外接する矩形の座標は座標（Ｕ１，Ｖ１）、座標（Ｕ２，Ｖ２）、座標（Ｕ３，Ｖ３）、座標（Ｕ４，Ｖ４）となる。なお、Ｓ１３１０の処理において、複数の所作画像の領域が検出された場合は、複数の所作画像に外接する矩形の座標を求めるものとする。
【０１２３】
Ｓ１３１１では、ＣＰＵ４０２はＳ１３１０で得られた外接矩形の座標に基づいて、送信に使用する所作画像を生成する。図１４（ｄ）に示すように所作画像１４４０から所作領域１４１５に外接する領域をトリミングし、相手先に送信すべき所作画像１４４０を得る。なお、複数の所作画像の領域が検出された場合、ＣＰＵ４０２は、Ｓ１３１１の処理において、複数の所作画像に外接する矩形の領域を切り出して、送信すべき複数の所作画像を得るものとする。
【０１２４】
Ｓ１３１２では、ＣＰＵ４０２は、Ｓ１３１１で生成した所作画像とＳ１３１０で取得した頂点の座標に基づくレイアウト情報を対応付けてＲＡＭ４０３に記憶する。なお、ＣＰＵ４０２は、Ｓ１３１０の処理において、所作画像の領域が検出されない場合は、所作画像及びレイアウト情報の代わりに所作が検出されていないことを示す情報をＲＡＭ４０３に記憶するものとする。
【０１２５】
以上説明した一連の処理により、相手先に送信すべき所作画像及び相手先で当該所作画像を配置する際に使用するレイアウト情報を生成することができる。
【０１２６】
図１２の説明に戻り、所作画像の送信に関するループ処理について説明する。Ｓ１２０２では、ＣＰＵ４０２は、Ｓ１２０１の処理により所作画像とそのレイアウト情報を相手先の情報処理装置に送信する。なお、ＣＰＵ４０２は、ＲＡＭ４０３に所作が検出されていないことを示す情報が記憶されている場合は、所作がないことを示す情報を相手先の情報処理装置に送信するものとする。
【０１２７】
Ｓ１２０３では、ＣＰＵ４０２は、遠隔コミュニケーションを終了する指示を受け付けたか否かを判断する。遠隔コミュニケーションを終了する指示を受け付けた場合は、処理をＳ１００９の終了処理に進める。一方、遠隔コミュニケーションを終了する指示を受け付けていない場合は、Ｓ１２００に戻り、所作画像の送信に関するループ処理を継続する。
【０１２８】
次に、図１２（ｂ）を用いて遠隔地の情報処理装置から送信された所作画像の受信に関するループ処理を説明する。Ｓ１２１１では、ＣＰＵ４０２は、遠隔地の情報処理装置から所作画像及び所作画像のレイアウトを受信したか否かを判断する。遠隔地から所作画像及び所作画像のレイアウトを受信した場合は、処理をＳ１２１２に進める。一方、遠隔地から所作画像及び所作画像のレイアウトを受信していない場合は、処理をＳ１２１３に進める。
【０１２９】
Ｓ１２１２では、ＣＰＵ４０２は、ディスプレイコントローラ４０８及びプロジェクタ２０３を制御し、受信した所作画像のレイアウト情報に基づいて、受信した所作画像を背景画像に対して重畳表示する。なお、本実施形態における背景画像には、後述するフローチャートにて遠隔地から共有された資料に関する画像などが予め描画されているものとする。
【０１３０】
Ｓ１２１３では、ＣＰＵ４０２は、遠隔コミュニケーションを終了する指示を受け付けたか否かを判断する。遠隔コミュニケーションを終了する指示を受け付けた場合は、処理をＳ１００９の終了処理に進める。一方、遠隔コミュニケーションを終了する指示を受け付けていない場合は、Ｓ１２１１に戻り、所作画像の受信に関するループ処理を継続する。
【０１３１】
以上説明した処理により、遠隔コミュニケーション中に、遠隔地と手や指による指し示しを共有することができる。
【０１３２】
＜スキャン画像の送受信処理＞
次に、紙資料共有モードで遠隔コミュニケーションを行う場合における、資料の共有について図１５を用いて説明する。
【０１３３】
図１５（ａ）はスキャン画像の送信に関するループ処理を説明するためのフローチャートである。また、図１５（ｂ）は、スキャン画像の受信に関するループ処理を説明するためのフローチャートである。
【０１３４】
Ｓ１５０１では、ＣＰＵ４０２は、スキャン処理が必要であるか否かを判断する。ＣＰＵ４０２は、ユーザによりスキャンボタンが選択された場合にスキャン処理が必要であると判断し、処理をＳ１５０２に進める。また、ＣＰＵ４０２は、投影面１０３上に載置されている書類などの対象物の座標が、前回スキャン指示が行われた際の座標と異なる位置に移動していると判断した場合に、スキャン処理が必要であると判断し、処理をＳ１５０２に進める。一方、スキャンボタンが選択されない場合や、載置されている対象物の座標が移動していない場合は、スキャン処理が必要でないと判断し、Ｓ１５０１の処理に戻る。
【０１３５】
Ｓ１５０２では、ＣＰＵ４０２は、カメラ２０２と協働して、投影領域１０４に載置された書類などの対象物を読み取って保存するスキャン処理を行う。ＣＰＵ４０２は、図８で説明した処理をカメラ２０２と協働して実行する。処理が完了すると、処理をＳ１５０３に進める。
【０１３６】
Ｓ１５０３では、ＣＰＵ４０２は、Ｓ１５０２で取得したスキャン画像及びスキャン画像のレイアウト情報を遠隔コミュニケーションの相手先の情報処理装置に送信する。Ｓ１５０１乃至Ｓ１５０３の処理により、相手先に共有すべき資料を変更したい場合や、資料の位置が変更され、再スキャンが必要な場合に、適切にスキャン画像を生成し、送信することができる。
【０１３７】
次に、Ｓ１５０４では、ＣＰＵ４０２では、遠隔コミュニケーションを終了する指示を受け付けたか否かを判断する。遠隔コミュニケーションを終了する指示を受け付けた場合は、処理をＳ１００９の終了処理に進める。一方、遠隔コミュニケーションを終了する指示を受け付けていない場合は、Ｓ１５０１に戻り、スキャン画像の送信に関するループ処理を継続する。
【０１３８】
次に、図１５（ｂ）を用いて遠隔地の情報処理装置から送信されたスキャン画像の受信に関するループ処理を説明する。Ｓ１５１１では、ＣＰＵ４０２は、遠隔地の情報処理装置からスキャン画像及びスキャン画像のレイアウトを受信したか否かを判断する。遠隔地からスキャン画像及びスキャン画像のレイアウトを受信した場合は、処理をＳ１５１２に進める。一方、遠隔地からスキャン画像及びスキャン画像のレイアウトを受信していない場合は、処理をＳ１５１３に進める。
【０１３９】
Ｓ１５１２では、ＣＰＵ４０２は、ディスプレイコントローラ４０８と協働して、受信したスキャン画像のレイアウト情報に基づいて、受信したスキャン画像に基づいて背景画像を更新する。例えば、図１０に示す一連の処理で取得されたスキャン画像を相手先から受信した場合、ＣＰＵ４０２は、以下のように背景画像を更新する。まず、受信した画像をレイアウト情報として受信した回転角θに基づいて回転する。次に、回転した画像のサイズを座標（Ｐ１，Ｑ１）、（Ｐ２，Ｑ２）、（Ｐ３，Ｑ３）、（Ｐ４，Ｑ４）にマッチするように拡大又は縮小して、背景画像を更新する。この処理により、相手先で書類が変更されたり、書類の位置が変更されたりすることに応じて、表示すべき背景画像を更新することができる。
【０１４０】
Ｓ１５１３では、ＣＰＵ４０２は、ディスプレイコントローラ４０８及びプロジェクタ２０３と協働して、背景画像を投影領域１０４に投影し、処理をＳ１５１４に進める。
【０１４１】
Ｓ１５１４では、ＣＰＵ４０２は、遠隔コミュニケーションを終了する指示を受け付けたか否かを判断する。遠隔コミュニケーションを終了する指示を受け付けた場合は、処理をＳ１００９の終了処理に進める。一方、遠隔コミュニケーションを終了する指示を受け付けていない場合は、Ｓ１５１１に戻り、スキャン画像の受信に関するループ処理を継続する。
【０１４２】
以上説明した処理により、遠隔コミュニケーション中に、一方の会議室に載置された対象物を他方の会議室と共有することができる。また、他方の会議室では、対象物のスキャン画像を一方の会議室と物理的に同じ空間で資料を共有しているような位置、サイズ、姿勢（資料の傾き）で投影することができる。
【０１４３】
＜電子資料の送受信処理＞
次に、データ共有モードで遠隔コミュニケーションを行う場合における、電子資料の共有について、図１６を用いて説明する。
【０１４４】
図１６（ａ）は電子資料の送信に関するループ処理を説明するためのフローチャートである。また、図１６（ｂ）は、電子資料の受信に関するループ処理を説明するためのフローチャートである。
【０１４５】
Ｓ１６０１では、ＣＰＵ４０２は、表示の更新が必要であるか否かを判断する。ＣＰＵ４０２は、ユーザにより新たな電子資料（例えばプレゼンテーションの資料）が選択された場合や、ユーザにより電子資料の位置や内容を変更する指示を受け付けた場合に、表示の更新が必要であると判断し、処理をＳ１６０２に進める。一方、新たな電子資料が選択されていない場合や、電子資料の位置や内容が変更する指示を受け付けていない場合は、処理をＳ１６０４に進める。
【０１４６】
Ｓ１６０２では、ＣＰＵ４０２は、ディスプレイコントローラ４０８及びプロジェクタ２０３と協働して、投影領域１０４に投影する表示画像を更新する。Ｓ１６０３では、ＣＰＵ４０２は、電子資料の画像と電子資料の表示レイアウト情報を相手先の情報処理装置に送信し、処理をＳ１６０４に進める。なお、Ｓ１６０３で相手先に送信するレイアウト情報は、ＣＰＵ４０２が、情報処理装置全体の制御を司るオペレーションシステムに、電子資料の描画している描画ウィンドウの表示座標を問い合わせて取得するものとする。
【０１４７】
Ｓ１６０４では、ＣＰＵ４０２は、遠隔コミュニケーションを終了する指示を受け付けたか否かを判断する。遠隔コミュニケーションを終了する指示を受け付けた場合は、処理をＳ１００９の終了処理に進める。一方、遠隔コミュニケーションを終了する指示を受け付けていない場合は、Ｓ１６０１に戻り、電子資料の送信に関するループ処理を継続する。
【０１４８】
次に、図１６（ｂ）を用いて遠隔地の情報処理装置から送信された電子資料の受信に関するループ処理を説明する。Ｓ１６１１では、ＣＰＵ４０２は、遠隔地の情報処理装置から電子資料の画像及びレイアウト情報を受信したか否かを判断する。遠隔地から電子資料の画像及びレイアウト情報を受信した場合は、処理をＳ１６１２に進める。一方、遠隔地から電子資料の画像及びレイアウト情報を受信していない場合は、処理をＳ１６１３に進める。
【０１４９】
Ｓ１６１２では、ＣＰＵ４０２は、ディスプレイコントローラ４０８と協働して、受信したレイアウト情報と受信した電子資料の画像に基づく背景画像の更新を行う。Ｓ１６１３では、ＣＰＵ４０２は、ディスプレイコントローラ４０８及びプロジェクタ２０３と協働して、背景画像を投影領域１０４に投影し、処理をＳ１６１４に進める。
【０１５０】
Ｓ１６１４では、ＣＰＵ４０２は、遠隔コミュニケーションを終了する指示を受け付けたか否かを判断する。遠隔コミュニケーションを終了する指示を受け付けた場合は、処理をＳ１００９の終了処理に進める。一方、遠隔コミュニケーションを終了する指示を受け付けていない場合は、Ｓ１６１１に戻り、スキャン画像の受信に関するループ処理を継続する。
【０１５１】
以上説明した処理により、遠隔コミュニケーション中に、一方の会議室で表示されている電子資料を他の会議室と共有することができる。
【０１５２】
＜ライブ画像の送受信処理＞
最後に、ライブ共有モードで遠隔コミュニケーションを行う場合における、ライブ画像の共有について、図１７のフローチャート及び図１８の説明図を用いて説明する。
【０１５３】
図１７（ａ）はライブ画像の送信に関するループ処理を説明するためのフローチャートである。また、図１７（ｂ）は、ライブ画像の受信に関するループ処理を説明するためのフローチャートである。
【０１５４】
Ｓ１７０１では、ＣＰＵ４０２は、ライブ画像の送信元であるか否かを判断する。ＣＰＵ４０２は相手先と共有している動作モードがライブ共有モードであって、相手先にライブ画像を送信するホスト側の場合は、ライブ画像の送信元であると判断し、処理をＳ１７０２に進める。一方、動作モードがライブ共有モードでない場合、又は、ライブ共有モードであっても、相手先からライブ画像を受信するクライアント側の場合は、ライブ画像の送信元でないと判断し、処理をＳ１７０４に進める。この処理により、ライブ共有モードの場合、且つ、装置がライブ画像を受信するクライアント側で動作する場合は、ライブ画像の送信をスキップすることができる。
【０１５５】
Ｓ１７０２では、ＣＰＵ４０２は、カメラ２０２を制御しカメラ画像を取得する。本実施形態では、例えば、ＣＰＵ４０２は、カメラ２０２を制御し、１秒ごとにカメラ画像を取得するものとするが、これに限定されるものではない。例えば、ＣＰＵ４０２やデプスセンサ２０４の処理能力や、ネットワーク４００の負荷に応じて、適宜Ｎ秒毎にカメラ画像を取得するようにしてもよい。
【０１５６】
Ｓ１７０３では、ＣＰＵ４０２は、Ｓ１７０３で得られたカメラ画像から、投影領域１０４に相当する領域の画像を投影座標系に射影変換し、相手先に送信するライブ画像を生成する。なお、投影座標系への変換処理については、図８で説明したスキャン処理におけるＳ８０６の変換処理と同様であるため、詳細は省略する。
【０１５７】
Ｓ１７０４では、ＣＰＵ４０２は、Ｓ１７０３で生成したライブ画像を相手先の情報処理装置に送信し、処理をＳ１７０５に進める。
【０１５８】
Ｓ１７０５では、ＣＰＵ４０２は、遠隔コミュニケーションを終了する指示を受け付けたか否かを判断する。遠隔コミュニケーションを終了する指示を受け付けた場合は、処理をＳ１００９の終了処理に進める。一方、遠隔コミュニケーションを終了する指示を受け付けていない場合は、Ｓ１７０１に戻り、ライブ画像の送信に関するループ処理を継続する。
【０１５９】
次に、図１７（ｂ）を用いて遠隔地の情報処理装置から送信されたライブ画像の受信に関するループ処理を説明する。Ｓ１７１１では、ＣＰＵ４０２は、遠隔地の情報処理装置からライブ画像を受信したか否かを判断する。遠隔地からライブ画像を受信した場合は、処理をＳ１７１２に進める。一方、遠隔地からライブ画像受信していない場合は、処理をＳ１７１３に進める。
【０１６０】
Ｓ１７１２では、ＣＰＵ４０２は、ディスプレイコントローラ４０８と協働して、受信したライブ画像に基づく背景画像の更新を行う。
【０１６１】
Ｓ１７１３では、ＣＰＵ４０２は、ディスプレイコントローラ４０８及びプロジェクタ２０３と協働して、背景画像を投影領域１０４に投影し、処理をＳ１７１４に進める。
【０１６２】
Ｓ１７１４では、ＣＰＵ４０２は、遠隔コミュニケーションを終了する指示を受け付けたか否かを判断する。遠隔コミュニケーションを終了する指示を受け付けた場合は、処理をＳ１００９の終了処理に進める。一方、遠隔コミュニケーションを終了する指示を受け付けていない場合は、Ｓ１７１１に戻り、スキャン画像の受信に関するループ処理を継続する。
【０１６３】
図１８は、ライブ共有モードにおける遠隔コミュニケーションを説明するための図である。図１８（ａ）は、ライブ画像を送信する側の会議室の投影領域の状態を例示するものであり、図１８（ｂ）は、ライブ画像を受信する側の会議室の投影領域の状態を例示するものである。ライブ画像を送信する側の会議室Ａには、投影領域１０４の内側に書類などの対象物１８０１が載置されている。また、会議室Ａには、ＵｓｅｒＤが居るものとする。ＵｓｅｒＤは、載置した対象物１８０１に対して手や指による指し示しを行っている。また、ライブ画像を受信する側の会議室Ｂには、ＵｓｅｒＥが居るものとする。ＵｓｅｒＥは、相手先の情報処理装置から受信したライブ画像に対して手や指による指し示しを行っている。
【０１６４】
この場合、会議室Ａの情報処理装置は、Ｓ１７０１の処理で対象物１８０１、ＵｓｅｒＤの手、及び、プロジェクタ２０３により投影された所作画像が写り込んだカメラ画像を生成することになる。従ってＳ１７０４で会議室Ｂに送信するライブ画像にも、対象物１８０１、ＵｓｅｒＤの手、及び、プロジェクタ２０３により投影された所作画像が写り込むことになる。
【０１６５】
従って、図１８（ｂ）に示すようにライブ画像を受信する側の会議室Ｂでは、コミュニケーション中の会議室Ａの作業状況を含むライブ画像１８１２を会議室Ａの情報処理装置から定期的に受信して更新することができる。従って、会議室ＢのＵｓｅｒＥは、会議室ＡのＵｓｅｒＤと同じ空間に居るかのように、ＵｓｅｒＤの作業情報を確認することができる。また、ライブ画像を受信する側の会議室Ｂに居るＵｓｅｒＥは、上記リアルタイムで更新されるライブ画像に対する手及び指による指し示しや、音声によって会議室Ａに居るＵｓｅｒＤのサポートを行うことができる。ＵｓｅｒＥによる指し示しは、図１２（ａ）で説明した所作画像の送信を行うループ処理により会議室Ａの情報処理装置に送信され、図１２（ｂ）で説明した所作画像の受信を行うループ処理により会議室Ａの投影領域に投影される。従って、会議室Ａに居るＵｓｅｒＤは、ＵｓｅｒＥと同じ空間に居るかのように、遠隔地に居るＵｓｅｒＥの指し示しや音声によるサポートを受けることができる。
【０１６６】
以上説明したように、本実施形態のコミュニケーションシステムでは、複数の会議室で紙文書に代表される物理的な資料を複数の拠点で共有し、更に、共有した資料に対する手や指によるユーザの所作を複数の会議室で共有することができる。従って、遠隔地に居ながら、同じ会議室で話し合いを行っているような感覚で双方向の遠隔コミュニケーションを行うことができる。
【０１６７】
また、ライブ共有モードでコミュニケーションを取る場合は、一方の会議室におけるユーザの所作や、紙資料への記入状況などの画像をリアルタイムで他の会議室と共有することができる。更に、共有した資料に対する他方の拠点での手や指によるユーザの所作を、一方の拠点に共有することができる。例えば、ライブ共有モードでのコミュニケーションにより、窓口などに居るユーザの状況を遠隔地のサポートセンターで把握し、手や指、及び音声などでユーザのサポートを行う遠隔コミュニケーションを行うことができるようになる。従って、遠隔地に居ながら、対面でサポートを行っているような感覚で遠隔でのユーザサポートを行うことができる。
【０１６８】
＜その他の実施形態＞
第１の実施形態では、遠隔コミュニケーションの開始時に、遠隔コミュニケーションを開始するホスト側が資料の共有モードを選択する場合を説明したが、これに限定されるものではない。例えば、遠隔コミュニケーション中に、いずれかの会議室に居るユーザの指示に応じて適宜動作モードを切り替えることができるようにしてもよい。
【０１６９】
また、第１の実施形態では、２つの会議室の間で遠隔コミュニケーションを行う場合を例示したがこれに限定されるものではない。例えば、３つ以上の複数の会議室間で前述した遠隔コミュニケーションを行う場合にも適用できる。
【０１７０】
本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはプロセッサ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【０１７１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【図１】
2018019338.tif 000003
【図２】
2018019338.tif 000004
【図３】
2018019338.tif 000005
【図４】
2018019338.tif 000006
【図５】
2018019338.tif 000007
【図６】
2018019338.tif 000008
【図７】
2018019338.tif 000009
【図８】
2018019338.tif 000010
【図９】
2018019338.tif 000011
【図１０】
2018019338.tif 000012
【図１１】
2018019338.tif 000013
【図１２】
2018019338.tif 000014
【図１３】
2018019338.tif 000015
【図１４】
2018019338.tif 000016
【図１５】
2018019338.tif 000017
【図１６】
2018019338.tif 000018
【図１７】
2018019338.tif 000019
【図１８】
2018019338.tif 000020