(57)【要約】【課題】  投影画像に変化があった場合であって、その投影画像に対して描画がなされていたときに、変化後の投影画像と描画との整合性を図り得る指示システムを提供する。【解決手段】  対象物２００を含む対象領域内を撮像するビデオカメラ２０で撮像された撮像画像を端末１００に送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮ１をプロジェクタ４０により対象領域内に投影させるサーバ５０を有し、サーバ５０は、端末１００における第１表示画像をプロジェクタ４０により対象領域内に投影させ、第１表示画像に対する表示領域の変化を検出した場合であって、投影された第１表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２表示画像を、第１表示画像と第２表示画像の位置座標に基づいて、投影画像と整合するようにプロジェクタ４０により投影させる。【選択図】  図１
2009218883.tif 000002
【特許請求の範囲】
【請求項１】
対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象領域内に投影させ得る制御手段を有し、
前記制御手段は、前記端末における第１の表示画像を前記投影手段により前記対象領域内に投影させ、前記第１の表示画像に対する表示領域の変化を検出した場合であって、投影された前記第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、前記第１の表示画像と前記第２の表示画像の位置座標に基づいて、前記投影画像と整合するように前記投影手段により投影させることを特徴とする指示システム。
【請求項２】
前記制御手段は、前記描画を、描画前後の前記撮像手段による撮像画像を比較することにより検出することを特徴とする請求項１に記載の指示システム。
【請求項３】
前記制御手段は、前記第１の表示画像と前記第２の表示画像との差分に関する差分画像を前記投影画像と連続するように前記投影手段に投影させることを特徴とする請求項１又は２に記載の指示システム。
【請求項４】
前記制御手段は、前記第２の表示画像に関する投影画像の一部が前記投影手段の投影領域内に収まらない場合に、該一部に相当する投影画像を前記投影領域内であって、前記第２の表示画像に関する投影画像に重ならない場所に投影させることを特徴とする請求項１から３のいずれか１項に記載の指示システム。
【請求項５】
コンピュータを、
対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象領域内に投影させ得る制御手段として機能させ、
前記制御手段は、前記端末における第１の表示画像を前記投影手段により前記対象領域内に投影させ、前記第１の表示画像に対する表示領域の変化を検出した場合であって、投影された前記第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、前記第１の表示画像と前記第２の表示画像の位置座標に基づいて、前記投影画像と整合するように前記投影手段により投影させることを特徴とする指示プログラム。
【請求項６】
対象物を含む対象領域内を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象領域内に投影する投影手段と、
前記撮像画像を端末に送信すると共に、前記端末でなされた前記指示に応じた前記注釈画像を前記投影手段に投影させ、前記端末における第１の表示画像を前記投影手段により前記対象領域内に投影させ、前記第１の表示画像に対する表示領域の変化を検出した場合であって、投影された前記第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、前記第１の表示画像と前記第２の表示画像の位置座標に基づいて、前記投影画像と整合するように前記投影手段により投影させる制御手段と、
を有することを特徴とする指示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指示システム、指示プログラム及び指示装置に関する。
【背景技術】
【０００２】
会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば特許文献１に示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。
【０００３】
また、投影された投影画像に対する描画を、その投影画像と対応付けて記録する技術も知られている。例えば、特許文献２や特許文献３では、上記描画がなされた場合に一時的に投影を停止し、その間にいわゆるデジタルカメラを利用して描画を撮影し、投影画像と対応付けて記録する技術が開示されている。
【０００４】
さらに、特許文献４では、投射領域への描画を簡単に取り込む技術、特許文献５では、投影画像と描画とを合成して取り込む際の双方の位置関係を調整する技術が開示されている。
【０００５】
【特許文献１】特開２００５−３３７５６号公報
【特許文献２】特開２００４−１９９２９９号公報
【特許文献３】特開２００６−１８４３３３号公報
【特許文献４】特開２００４−２３９９６７号公報
【特許文献５】特開２００４−２５２１１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上述した特許文献１から５に開示される技術は、投影画像に対する描画の記録に留まっており、投影画像に例えば画像切替等の変化が生じた際に、変化後の投影画像に対して変化前の投影画像に対する描画が残る可能性がある。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、投影画像に変化があった場合であって、その投影画像に対して描画がなされていたときに、変化後の投影画像と描画との整合性を図り得る指示システム、指示プログラム及び指示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象領域内に投影させ得る制御手段を有し、制御手段は、端末における第１の表示画像を投影手段により対象領域内に投影させ、第１の表示画像に対する表示領域の変化を検出した場合であって、投影された第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、第１の表示画像と第２の表示画像の位置座標に基づいて、投影画像と整合するように投影手段により投影させることを特徴とする指示システムである。
【０００９】
請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、描画を、描画前後の撮像手段による撮像画像を比較することにより検出することを特徴としている。
【００１０】
請求項３に記載の発明は、請求項１又は２に記載の発明において、制御手段は、第１の表示画像と第２の表示画像との差分に関する差分画像を投影画像と連続するように投影手段に投影させることを特徴としている。
【００１１】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、制御手段は、第２の表示画像に関する投影画像の一部が投影手段の投影領域内に収まらない場合に、該一部に相当する投影画像を投影領域内であって、第２の表示画像に関する投影画像に重ならない場所に投影させることを特徴としている。
【００１２】
請求項５に記載の発明は、コンピュータを、対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象領域内に投影させ得る制御手段として機能させ、制御手段は、端末における第１の表示画像を投影手段により対象領域内に投影させ、第１の表示画像に対する表示領域の変化を検出した場合であって、投影された第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、第１の表示画像と第２の表示画像の位置座標に基づいて、投影画像と整合するように投影手段により投影させることを特徴とする指示プログラムである。
【００１３】
請求項６に記載の発明は、対象物含む対象領域内を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を対象領域内に投影する投影手段と、撮像画像を端末に送信すると共に、端末でなされた指示に応じた注釈画像を投影手段に投影させ、端末における第１の表示画像を投影手段により対象領域内に投影させ、第１の表示画像に対する表示領域の変化を検出した場合であって、投影された第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、第１の表示画像と第２の表示画像の位置座標に基づいて、投影画像と整合するように投影手段により投影させる制御手段と、を有することを特徴とする指示装置である。
【発明の効果】
【００１４】
請求項１に記載の発明によれば、投影画像に変化があった場合であって、その投影画像に対して描画がなされていたときに、変化後の投影画像と描画との整合性を図ることができる。
【００１５】
請求項２に記載の発明によれば、本構成を有していない場合に比較して、投影画像内の描画を検出できる。
【００１６】
請求項３に記載の発明によれば、変化後の表示領域に相当する表示画像の全部を投影する場合に比べて、電力消費量が低下する。
【００１７】
請求項４に記載の発明によれば、本構成を有していない場合に比較して、投影画像に対する描画の位置を維持しつつ、投影領域に収まらない画像の一部を利用者に視認させることができる。
【００１８】
請求項５に記載の発明によれば、投影画像に変化があった場合であって、その投影画像に対して描画がなされていたときに、変化後の投影画像と描画との整合性を図ることができる。
【００１９】
請求項６に記載の発明によれば、投影画像に変化があった場合であって、その投影画像に対して描画がなされていたときに、変化後の投影画像と描画との整合性を図ることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施形態について図面を参照して説明する。
（第１実施形態）
図１は本発明の実施形態に係る指示システムの構成図、図２はサーバ５０の要部構成を例示する機能ブロック図、図３はサーバ５０のハードウェア構成を例示する機能ブロック図である。
【００２１】
この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００がネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、１つの筐体で覆われる等して１つの指示装置として構成されていてもよく、また、複数の装置から構成されていてもよい。
【００２２】
対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０及びハーフミラー６０等から構成される。
【００２３】
ビデオカメラ２０は、例えばＣＣＤカメラ等で構成される。ビデオカメラ２０は、例えばホワイトボードやテーブル、スクリーン等の対象物２００を含む、ビデオカメラ２０が撮像可能な撮像領域としての対象領域内を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。
【００２４】
プロジェクタ４０は、例えば液晶プロジェクタ等で構成される。プロジェクタ４０は、端末１００における表示画像に応じた投影画像ＰＲ１を対象物２００に投影する。また、必要に応じて、端末１００でなされた撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）ＡＮ１を対象物２００を含む対象領域内に投影する。プロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。すなわち、プロジェクタ４０とビデオカメラ２０との光軸及び投影・撮像画角をそれぞれ一致させている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮ１をその光学系を通じハーフミラー６０を介して対象領域内へ投影する。プロジェクタ４０からのアノテーション画像ＡＮ１は、ハーフミラー６０で反射して対象領域内へ投影される。尚、アノテーション画像ＡＮ１には、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラー６０の反射率は発振現象の防止の観点から０．３％程度であることが望ましい。
【００２５】
サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を授受する。
【００２６】
より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの表示画像や描画指示を受信する受信部５３と、プロジェクタ４０を制御し、プロジェクタ４０に投影画像ＰＲ１やアノテーション画像ＡＮ１を投影させ得る投影部５４とを備える。さらに、端末１００からの描画指示に対して所要の処理を行う描画指示処理部５５、撮像画像から投影画像ＰＲ１等に対しての描画を検出する画像処理部５６を備える。
【００２７】
したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００における表示画像に応じた投影画像ＰＲ１をプロジェクタ４０により対象物２００へ投影させるとともに、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮ１を投影させる。
【００２８】
端末１００は、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成される。端末１００は、例えばノート型やデスクトップ型のいわゆるパソコン、携帯電話等が該当する。
【００２９】
表示装置１１０は、その表示画面に対象物側装置１０から送信される画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象領域へ投影するアノテーション画像ＡＮに関する指示を形成するのに用いられる。
【００３０】
尚、上述したサーバ５０は、いわゆるコンピュータ、すなわち、図３に示すように、ＣＰＵ等の処理装置５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｆ５０ｄがバス５０ｅにより接続されたハードウェア構成により実現される。
【００３１】
したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置の機能が実現される。コンピュータ１２０についても同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、バス５０ｅにハードディスクを接続するようにしてもよい。
【００３２】
次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
図４は対象物側装置１０のサーバ５０における処理の一例を示すフローチャート、図５は端末１００のコンピュータ１２０における処理の一例を示すフローチャート、図６は端末１００側の操作の一例を説明するための図である。
【００３３】
まず、サーバ５０の動作について説明する。
対象物側装置１０側のサーバ５０は、図４に示すように、まず、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。
【００３４】
サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮ１の描画に関する情報である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。描画指示に対する処理としては、例えば、プロジェクタ４０を制御して、描画指示に応じたアノテーション画像ＡＮ１の投影させること等がある。
【００３５】
一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像等をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００３６】
次に、端末１００の動作について説明する。
端末１００のコンピュータ１２０は、図５に示すように、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、対象物側装置１０のサーバ５０から送信される撮像画像１１２を表示装置１１０の表示画面に表示させる（ステップＳ２２）。撮像画像１１２には投影画像ＰＲ１が投影された、投影領域内の対象物２００が表示される。
【００３７】
次いで、コンピュータ１２０は、表示装置１１０の表示画面に表示した撮像画像１１２に対する利用者からの注目領域ＡＲの指示があるかを判断し（ステップＳ２３）、注目領域ＡＲの指示がある場合には、指示に応じた処理を行う（ステップＳ２４）。
【００３８】
具体的には、端末１００の利用者は、図６に示すような表示装置１１０の表示画面内の撮像画像１１２を見ながら、表示されている撮像画像１１１ａにアノテーション画像ＡＮ１を投影したい領域があるか判断する。投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面上のポインタＰｔを移動させながら注目領域ＡＲを指示する。注目領域ＡＲは、アノテーション画像ＡＮ１を投影する投影位置を規定する領域である。このとき、同時に、注目領域ＡＲに投影するアノテーション画像ＡＮ１に関する情報を指示する。
【００３９】
アノテーション画像ＡＮ１に関する情報は、例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより指示する。この情報には、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等がある。そして、コンピュータ１２０は、ステップＳ２４で特定された各種情報を描画指示としてサーバ５０へ送信する（ステップＳ２５）。
【００４０】
コンピュータ１２０は、次いで、端末１００でなされたビデオカメラ２０の撮像画像に基づく利用者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の利用者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００４１】
次に、本発明の特徴となる投影調整機能について図７から図１１を参照して説明する。
図７はサーバ５０における投影調整処理の一例を示すフローチャート、図８は
端末１００における表示例、図９は対象物２００に対する投影例、図１０は対象物２００に対する他の投影例、図１１は端末１００における他の表示例である。
【００４２】
尚、図７に示すフローチャートは、図４に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ１３の処理とステップＳ１４の処理の間に含めることができる。
【００４３】
サーバ５０は、図７に示すように、端末１００における表示画像１１１を受信すると、当該表示画像１１１をプロジェクタ４０に投影させる（ステップＳ３１）。また、その投影と併せて、撮像画像１１２を保持する。すなわち、図８に示すように、端末１００側の利用者は、操作により対象物２００に投影させたい表示画像１１１を表示装置１１０に表示させる。コンピュータ１２０は表示画像１１１の表示を検出し、その表示画像１１１をサーバ５０に送信する。
【００４４】
尚、表示画像１１１としては、例えば上述した図面等のビットマップ画像や電子文書等の画像がある。これにより、図９に示すように、表示画像１１１に関する投影画像ＰＲ２がホワイトボード等の対象物２００を含む対象領域内に投影される。また、図８に示すように、対象物２００側でビデオカメラ２０により撮像された撮像画像１１２が表示装置１１０に表示される。
【００４５】
ここで、図１０に示すように、例えば、対象物２００側の利用者がペン２１０等の描画手段を用いて投影画像ＰＲ２に対して矢印等の描画を行った場合には、図１１に示すように、表示装置１１０の撮像画像１１２内にその描画が行われた対象物２００が表示される。また、必要に応じて、表示画像１１１上の該当する箇所に上述した描画に応じたアノテーション画像ＡＮ２を表示させるようにしてもよい。尚、描画手段は、対象物２００に対してインクや墨、黒鉛等、物理的に描画できるものであれば特に限定されるものではない。また、描画は、利用者による手書きであってもよいし、例えば工作機械等が有するアームによるものであってもよい。
【００４６】
サーバ５０は、ここで、表示画像１１１の表示領域が変化されたか否か判定する（ステップＳ３２）。図１２に示すように、例えば、表示画像１１１において、端末１００側の利用者が、ポインティングデバイス１３０を操作してポインタＰｔを移動させ、表示画像１１１の表示枠を指示しつつ移動させる。これにより、表示画像１１１の表示枠が拡大し、表示領域が変化する。表示領域の変化は、コンピュータ１２０によってサーバ５０に送信される。送信の際には、表示領域が変化した旨の情報に併せて、変化前後の表示領域の四隅の位置座標等を送信することが望ましい。
【００４７】
サーバ５０は、表示画像１１１の変化を検出した場合には、投影領域内をビデオカメラ２０に撮像させる（ステップＳ３３）。したがって、例えば、図１０に示す投影画像ＰＲ２を含めた対象物２００のうち投影領域内のものが撮像される。当該画像は、図１１に示す撮像画像１１２と同様となる。
【００４８】
サーバ５０は、次いで、ステップＳ３３の処理において撮像された撮像画像１１２内に描画があるか否かを判定する（ステップＳ３４）。例えば撮像画像１１２内の輝度値を比較することで判定すればよい。この描画は、描画前後のビデオカメラ２０による撮像画像１１２を比較することにより検出する。描画前の撮像画像１１２は、ステップＳ３１の処理で保持された図８に示す撮像画像１１２が使用される。描画後の撮像画像１１２は、図１１に示す撮像画像１１２が使用される。
【００４９】
サーバ５０は、ステップＳ３４の処理において、撮像画像１１２内に描画があると判定した場合には、次いで、その描画が投影画像ＰＲ２上のあるか否かを判定する（ステップＳ３５）。投影画像ＰＲ２上にあるか否かについては、上述した図８に示す撮像画像１１２と図１１に示す撮像画像１１２を比較すればよい。
【００５０】
サーバ５０は、ステップＳ３５の処理のおいて、投影画像ＰＲ２上に描画があると判定した場合には、表示画像１１２における表示領域の変化前後の差分に関する差分画像を生成する（ステップＳ３６）。
【００５１】
より詳しくは、図１２に示すように、表示画像１１１における破線の表示枠から実線の表示枠に表示領域が変化された場合、実線枠で囲われる表示領域から破線枠で囲われる表示領域を除いた領域が表示画像の差分であるとして差分画像を生成する。この際、例えば変化前後の四隅の位置座標が使用される。
【００５２】
サーバ５０は、ステップＳ３６の処理により、差分画像を生成すると、プロジェクタ４０を制御して、図１３に示すように、当該差分画像に関する投影画像ＰＲ３を投影させる（ステップＳ３７）。この際、投影画像ＰＲ２と整合するように投影させる。この結果、同図に示すように、対象物２００には、描画位置が維持されつつ、投影画像ＰＲ２と連続するように、投影画像ＰＲ３が投影される。すなわち、サーバ５０は、変更前後の表示画像１１１の四隅の位置座標を有しており、これに基づき差分画像を投影画像ＰＲ２と連続させる。サーバ５０は、この画像をビデオカメラ２０に撮像させる（ステップＳ３８）。この撮像画像は、別の描画が投影画像ＰＲ２に対してなされた際に描画前の撮像画像として比較するために使用される。
【００５３】
尚、上述したステップＳ３４の処理において、サーバ５０は、撮像画像１１２内に描画がないと判定した場合や、ステップＳ３５の処理において、描画が投影画像ＰＲ２上にないと判定した場合には、投影画像ＰＲ２の座標情報を更新し（ステップＳ３９）、変化後の表示画像をプロジェクタ４０に投影させる（ステップＳ４０）。すなわち、表示領域が変化した表示画像に関する投影画像ＰＲ２が対象物２００に投影される。
【００５４】
ここで、上述した差分画像の種々の生成形態について図１４から図１７を参照して説明する。
図１４は表示領域１１１ａの拡張を説明するための図、図１５は拡張による差分画像の一例、図１６は表示領域１１１ａの移動を説明するための図、図１７は移動による差分画像の一例である。
【００５５】
表示領域１１１ａは、上述したようなポインタＰｔの指示により、図１４に示すように、表示領域１１１ｂに拡大する。この場合、図１５に示すように、実線枠で囲われる表示領域１１１ｂから破線枠で囲われる表示領域１１１ａを除いた表示領域が表示画像の差分であるとして差分画像を生成する。すなわち、表示領域の拡張は、上述した図１２に示す拡張の形態だけに限られず、この拡張に応じた差分画像の生成も可能である。
【００５６】
また、表示領域１１１ａは、図１６に示すように、表示領域１１１ｂに移動する。この場合も、図１７に示すように、実線枠で囲われる表示領域１１１ｂから破線枠で囲われる表示領域１１１ａを除いた表示領域が表示画像の差分であるとして差分画像を生成する。
【００５７】
（第２実施形態）
続いて、本発明の第２実施形態について図１８及び図１９を参照して説明する。
図１８は端末１００における表示例、図１９は対象物２００に対する投影例である。
【００５８】
本実施形態に係る指示システムは、上述した拡張や移動によって生成される差分画像の投影がプロジェクタ４０の投影領域に収まらない場合に、投影領域内であって、投影画像に重ならない場所に投影させている。
【００５９】
具体的には、図１８に示すように、表示画像１１１が第１実施形態に係る表示領域からさらに拡張されて、破線の表示枠から実線の表示枠に表示領域が変化された場合、当該変化に応じた差分画像を生成する。
【００６０】
ここで、この拡張・変化に応じた差分画像を投影画像として対象物２００に投影させるべきであるが、図１９に示すように、投影画像ＰＲ３の下には、投影可能な場所がない。したがって、投影領域内であって、投影画像ＰＲ２、ＰＲ３に重ならない場所に投影画像ＰＲ４を投影させる。この投影は、撮像画像１１２を利用して行われ、投影画像ＰＲ２、ＰＲ３が投影されていない領域を抽出することにより行われる。この領域の抽出には、例えば上述した撮像画像１１２内の輝度値等を使用さればよい。
【００６１】
これにより、表示画像１１１に投影領域を超える拡張等があっても、対象物２００上の投影画像ＰＲ２に対する描画の位置を変化せずに、表示画像１１１に関する投影画像ＰＲ２、ＰＲ３、ＰＲ４が投影される。
【００６２】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変化が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。また、上述した実施形態では、差分画像を投影したが、変更後の表示領域に相当する表示画像の全体を投影画像として投影させるようにしてもよい。
【産業上の利用可能性】
【００６３】
本発明によれば、表示画像の表示領域に変化が生じても、表示画像に関する投影画像の投影位置とその投影画像に対して行われた描画の描画位置との位置ずれを生じさせずに、変更後の表示画像に関する投影画像が投影される。これにより、遠隔地間の対話が円滑となるため、産業上の利用可能性が高い。
【図面の簡単な説明】
【００６４】
【図１】指示システムの実施形態を示す構成図である。
【図２】サーバの要部構成を示す機能ブロック図である。
【図３】サーバのハードウェア構成を示す機能ブロック図である。
【図４】対象物側装置のサーバにおける処理の一例を示すフローチャートである。
【図５】端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。
【図６】端末側の操作の一例を説明するための図である。
【図７】サーバにおける投影調整処理の一例を示すフローチャートである。
【図８】端末における表示例である。
【図９】対象物に対する投影例である。
【図１０】対象物に対する他の投影例である。
【図１１】端末における他の表示例である。
【図１２】端末における表示領域拡張を説明するための図である。
【図１３】表示領域拡張に応じた対象物に対する投影例である。
【図１４】表示領域の拡張を説明するための図である。
【図１５】拡張による差分画像の一例である。
【図１６】表示領域の移動を説明するための図である。
【図１７】移動による差分画像の一例である。
【図１８】端末における表示例である。
【図１９】対象物に対する投影例である。
【符号の説明】
【００６５】
１０  対象物側装置
２０  ビデオカメラ
４０  プロジェクタ
５０  サーバ
５０ａ  ＣＰＵ
５０ｂ  ＲＡＭ
５０ｃ  ＲＯＭ
５０ｄ  Ｉ／Ｆ
５０ｅ  バス
５１  撮像部
５２  画像送信部
５３  受信部
５４  投影部
５５  描画指示処理部
５６  画像処理部
６０  ハーフミラー
１００  端末
１１０  表示装置
１１１  表示画面
１１２  撮像画像
１２０  コンピュータ
１３０  ポインティングデバイス
２００  対象物
２１０  ペン
３００  ネットワーク
ＡＮ１、ＡＮ２  アノテーション画像
ＡＲ  注目領域
ＢＴ  ボタン
Ｐｔ  ポインタ
ＰＲ１、ＰＲ２、ＰＲ３、ＰＲ４  投影画像
【図１】
2009218883.tif 000003
【図２】
2009218883.tif 000004
【図３】
2009218883.tif 000005
【図４】
2009218883.tif 000006
【図５】
2009218883.tif 000007
【図６】
2009218883.tif 000008
【図７】
2009218883.tif 000009
【図８】
2009218883.tif 000010
【図９】
2009218883.tif 000011
【図１０】
2009218883.tif 000012
【図１１】
2009218883.tif 000013
【図１２】
2009218883.tif 000014
【図１３】
2009218883.tif 000015
【図１４】
2009218883.tif 000016
【図１５】
2009218883.tif 000017
【図１６】
2009218883.tif 000018
【図１７】
2009218883.tif 000019
【図１８】
2009218883.tif 000020
【図１９】
2009218883.tif 000021