(57)【要約】【課題】  被写体が移動する場合でも被写体の位置に応じて適切にアノテーション画像を投影できる遠隔指示システムを提供する。【解決手段】  本発明の遠隔指示システムは、被写体２００を撮像するビデオカメラ２０で撮像された撮像画像の情報を遠隔端末１００に送信すると共に、遠隔端末１００でなされた前記撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体に投影させるサーバ５０を有し、サーバ５０は、アノテーション画像の情報を被写体２００の相対位置を変更する回転テーブル７０の撮像時の位置に対応付けて管理すると共に、回転テーブル７０の位置を検出し、検出された回転テーブル７０の位置に応じてアノテーション画像の情報を検索し、検索されたアノテーション画像を被写体２００にプロジェクタ４０から投影する。【選択図】          図１
2007036543.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段で撮像された撮像画像の情報を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体に投影させる制御手段を有する遠隔指示システムにおいて、
前記制御手段は、前記アノテーション画像の情報を前記被写体の相対位置を変更する相対位置変更手段の前記撮像時の位置に対応付けて管理すると共に、前記相対位置変更手段の位置を検出し、該検出された相対位置変更手段の位置に応じて前記アノテーション画像の情報を検索することを特徴とする遠隔指示システム。
【請求項２】
前記制御手段は、前記アノテーション画像の情報を前記アノテーション画像を指定した利用者に対応付けて管理し、選択された利用者に基づいて前記アノテーション画像の情報を検索することを特徴とする請求項１に記載の遠隔指示システム。
【請求項３】
前記制御手段は、前記検索された相対位置変更手段の位置に応じて前記相対位置変更手段上の被写体への照明を制御することを特徴とする請求項１に記載の遠隔指示システム。
【請求項４】
前記相対位置変更手段は、前記被写体を回転させる回転テーブルであることを特徴とする請求項１に記載の遠隔指示システム。
【請求項５】
被写体を撮像する撮像手段で撮像された撮像画像の情報を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体に投影させる制御手段を有する遠隔指示システムにおいて、
前記制御手段は、選択された前記被写体に関連する文書画像に基づいて該文書画像が前記アノテーション画像に重ならないよう投影画像の情報を生成し、該投影画像を前記投影手段により投影させることを特徴とする遠隔指示システム。
【請求項６】
前記制御手段は、前記文書画像の一部を拡大した画像を前記アノテーション画像に重ならないよう前記投影画像の情報を生成することを特徴とする請求項５に記載の遠隔指示システム。
【請求項７】
前記制御手段は、前記文書画像を複数の領域に投影させるよう前記投影画像の情報を生成することを特徴とする請求項５に記載の遠隔指示システム。
【請求項８】
前記制御手段は、前記文書画像を前記被写体以外の領域に投影するよう前記投影画像の情報を生成することを特徴とする請求項５に記載の遠隔指示システム。
【請求項９】
前記制御手段は、前記アノテーション画像の情報を前記被写体の相対位置を変更する相対位置変更手段の前記撮像時の位置に対応付けて管理すると共に、前記相対位置変更手段の位置を検出し、該検出された相対位置変更手段の位置に応じて前記アノテーション画像の情報を検索することを特徴とする請求項５に記載の遠隔指示システム。
【請求項１０】
被写体を撮像するステップと、
前記撮像された撮像画像の情報を遠隔端末に送信するステップと、
前記遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を前記被写体の相対位置を変更する相対位置変更手段の前記撮像時の位置に対応付けるステップと、
前記相対位置変更手段の位置を検出するステップと、
前記検出された相対位置変更手段の位置に応じたアノテーション画像を検索し、該検索されたアノテーション画像を前記被写体に投影するステップとを有することを特徴とする遠隔指示方法。
【請求項１１】
被写体を撮像する撮像手段で撮像された撮像画像の情報を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体に投影する遠隔指示方法において、
前記被写体に関連する文書画像を選択するステップと、
前記選択された被写体に関連する文書画像に基づいて該文書画像が前記アノテーション画像に重ならないよう投影画像の情報を生成するステップと、
前記投影画像を前記投影手段により投影させるステップを有することを特徴とする遠隔指示方法。
【請求項１２】
前記文書画像を投影する領域を変更する指示に応じて前記文書画像を投影する領域を変更するよう前記投影画像を生成するステップをさらに有することを特徴とする請求項１１に記載の遠隔指示方法。
【請求項１３】
前記文書画像内の拡大する領域を変更する指示に応じて前記文書画像内の拡大する領域を変更するよう前記描画情報を生成するステップをさらに有することを特徴とする請求項１１に記載の遠隔指示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔指示システム及び遠隔指示方法に関する。
【背景技術】
【０００２】
遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する被写体をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより被写体へ投影する技術が知られている（例えば、特許文献１参照）。
【特許文献１】米国特許公開２００４／００７０６７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術では、被写体が置かれている回転テーブルが回転する場合、被写体は回転テーブルの回転に伴い移動してしまうため、回転テーブルの位置に応じてアノテーション画像を適切に投影できないという問題がある。
【０００４】
また、上記従来技術では、被写体側で被写体に関連する文書を提示する場合、提示する文書を予め用意し、この文書を提示するためのパーソナルコンピュータを持ち込んだり、紙文書を広げる場所を確保したりという不便さが生じるという問題がある。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたもので、被写体が移動する場合でも被写体の位置に応じて適切にアノテーション画像を投影できる遠隔指示システム及び遠隔指示方法を提供することを目的とする。また、本発明は、被写体側で関連する文書を簡単に提示できる遠隔指示システム及び遠隔指示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の遠隔指示システムは、被写体を撮像する撮像手段で撮像された撮像画像の情報を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体に投影させる制御手段を有する遠隔指示システムにおいて、前記制御手段は、前記アノテーション画像の情報を前記被写体の相対位置を変更する相対位置変更手段の前記撮像時の位置に対応付けて管理すると共に、前記相対位置変更手段の位置を検出し、該検出された相対位置変更手段の位置に応じて前記アノテーション画像の情報を検索することを特徴としている。本発明によれば、アノテーション画像の情報を相対位置変更手段の撮像時の位置に対応付けて管理することにより、相対位置変更手段の位置に応じてアノテーション画像を変化させることができる。被写体が移動する場合でも被写体の位置に応じて適切にアノテーション画像を投影できる。
【０００７】
前記制御手段は、前記アノテーション画像の情報を前記アノテーション画像を指定した利用者に対応付けて管理し、選択された利用者に基づいて前記アノテーション画像の情報を検索する。本発明によれば、利用者ごとに対応したアノテーション画像を個別に検索し、被写体に投影することができる。これにより、議事録等の目的に対して、利用者毎の記録内容の閲覧を容易にできる。
【０００８】
前記制御手段は、前記検索された相対位置変更手段の位置に応じて前記相対位置変更手段上の被写体への照明を制御する。本発明によれば、照明の調光装置と連動させ、演出効果を与えることができる。また、音響等に連動させてアノテーション画像を投影してもよい。前記相対位置変更手段は、例えば前記被写体を回転させる回転テーブルを用いることができる。
【０００９】
本発明の遠隔指示システムは、被写体を撮像する撮像手段で撮像された撮像画像の情報を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体に投影させる制御手段を有する遠隔指示システムにおいて、前記制御手段は、選択された前記被写体に関連する文書画像に基づいて該文書画像が前記アノテーション画像に重ならないよう投影画像の情報を生成し、該投影画像を前記投影手段により投影させることを特徴としている。本発明によれば、被写体にアノテーション画像を投影する際に関連する文書（ドキュメント）を簡単に提示することができる。よって、被写体に関して遠隔から指示を受ける際に、関連する文書も参照することが可能となる。
【００１０】
前記制御手段は、前記文書画像の一部を拡大した画像を前記アノテーション画像に重ならないよう前記投影画像の情報を生成する。これにより、拡大された文書画像を閲覧することで、被写体の情報を詳細に把握できる。前記制御手段は、前記文書画像を複数の領域に投影させるよう前記投影画像の情報を生成する。
前記制御手段は、前記文書画像を前記被写体以外の領域に投影するよう前記投影画像の情報を生成する。文書画像を被写体以外の領域に投影することにより、アノテーション画像に文書画像が重なることは無くなる。
【００１１】
前記制御手段は、前記アノテーション画像の情報を前記被写体の相対位置を変更する相対位置変更手段の前記撮像時の位置に対応付けて管理すると共に、前記相対位置変更手段の位置を検出し、該検出された相対位置変更手段の位置に応じて前記アノテーション画像の情報を検索する。本発明によれば、アノテーション画像の情報を相対位置変更手段の撮像時の位置に対応付けて管理することにより、相対位置変更手段の位置に応じてアノテーション画像を変化させることができる。被写体が移動する場合でも被写体の位置に応じて適切にアノテーション画像を投影できる。
【００１２】
本発明の遠隔指示方法は、被写体を撮像するステップと、前記撮像された撮像画像の情報を遠隔端末に送信するステップと、前記遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を前記被写体の相対位置を変更する相対位置変更手段の前記撮像時の位置に対応付けるステップと、前記相対位置変更手段の位置を検出するステップと、前記検出された相対位置変更手段の位置に応じたアノテーション画像を検索し、該検索されたアノテーション画像を前記被写体に投影するステップとを有する。本発明によれば、アノテーション画像の情報を相対位置変更手段の撮像時の位置に対応付けて管理することにより、相対位置変更手段の位置に応じてアノテーション画像を変化させることができる。被写体が移動する場合でも被写体の位置に応じて適切にアノテーション画像を投影できる。
【００１３】
本発明の遠隔指示方法は、被写体を撮像する撮像手段で撮像された撮像画像の情報を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体に投影する遠隔指示方法において、前記被写体に関連する文書画像を選択するステップと、前記選択された被写体に関連する文書画像に基づいて該文書画像が前記アノテーション画像に重ならないよう投影画像の情報を生成するステップと、前記投影画像を前記投影手段により投影させるステップを有する。本発明によれば、被写体にアノテーション画像を投影する際に関連する文書を簡単に提示することができる。よって、被写体に関して遠隔から指示を受ける際に、関連する文書も参照することが可能となる。
【００１４】
本発明の遠隔指示方法は、前記文書画像を投影する領域を変更する指示に応じて前記文書画像を投影する領域を変更するよう前記投影画像を生成するステップをさらに有する。これにより、文書を表示する領域をサーバ側または遠隔端末側から変更することができる。本発明の遠隔指示方法は、前記文書画像内の拡大する領域を変更する指示に応じて前記文書画像内の拡大する領域を変更するよう前記描画情報を生成するステップをさらに有する。これにより、閲覧者は文書画像内の重要な箇所を閲覧することができるため、被写体の情報をより詳細に知ることができる。
【発明の効果】
【００１５】
本発明によれば、被写体が移動する場合でも被写体の位置に応じてアノテーション画像を適切に投影できる遠隔指示システム及び遠隔指示方法を提供できる。また、本発明によれば、被写体側で関連する文書を簡単に提示できる遠隔指示システム及び遠隔指示方法を提供できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の遠隔指示システムの一実施形態を示す構成図である。この遠隔指示システムは、図１に示すように、被写体側装置１０及び遠隔端末１００等を備えており、被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００をネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続可能である。
【００１７】
被写体側装置１０は、撮像手段としてのビデオカメラ２０、照明装置３０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０及び相対位置変更手段としての回転ステージ７０等から構成されている。ビデオカメラ２０は、例えばＣＣＤカメラで構成され、回転ステージ７０上に置かれた被写体２００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。尚、ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。
【００１８】
プロジェクタ４０は、液晶プロジェクタ等で構成され、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像を被写体２００に投影する。またプロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して被写体２００へ投影する。プロジェクタ４０からのアノテーション画像は、ハーフミラー６０で反射して被写体２００へ投影される。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。
【００１９】
回転ステージ７０は、サーバ５０により制御され、その上面に置かれた被写体２００を回動させることにより、ビデオカメラ２０及びプロジェクタ４０に対する被写体２００の位置を変更する。サーバ５０は、ビデオカメラ２０、プロジェクタ４０、回転ステージ７０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を遠隔端末１００へ送信すると共に、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させる。
【００２０】
また、サーバ５０は、回転ステージ７０による被写体２００の回動（移動）に合わせてプロジェクタ４０の被写体２００に対するアノテーション画像の投影位置を変更する制御を行う。さらに、このサーバ５０は、アノテーション画像の情報を被写体２００の相対位置を変更する回転テーブル７０の撮像時の位置に対応付けて管理すると共に、回転テーブル７０の位置を検出すると、検出された回転テーブル７０の位置に応じてアノテーション画像の情報を検索し、この検索されたアノテーション画像をプロジェクタ４０により投影させる。さらにこのサーバ５０は、検索された回転テーブル７０の位置に応じて照明装置３０に指示を送り回転テーブル７０上の被写体２００への照明を制御する。
【００２１】
遠隔端末１００は、液晶表示装置及びＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成すると共に、回転ステージ７０の回動による被写体２００の回動を指示するのに用いられる。
【００２２】
次に、上記構成の遠隔指示システムの動作について説明する。図２は被写体側装置のサーバ５０における処理の一例を示すフローチャートである。図２に示すように、被写体側装置側のサーバ５０では、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１）、遠隔端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ２）。そして、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて遠隔端末のコンピュータ１２０へ伝送する（ステップＳ３）。
【００２３】
次いで、サーバ５０は、コンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳ４）。この制御信号は、アノテーション画像の描画に関する情報である描画情報、及び回転ステージ７０を回転させるための位置制御信号である。サーバ５０は、上記の制御信号を受信した場合には、その信号の内容に応じて制御信号処理をする（ステップＳ５）。ここで、サーバ５０は、アノテーション画像の描画に関する情報である描画情報を受け付けると、アノテーション画像を回転テーブル７０のビデオカメラ２０での撮像時の位置に対応付けて登録し管理する。
【００２４】
一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ６）、切断要求が無い場合には、ステップＳ３に戻って新たな撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳ７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ８）、終了要求がない場合には、ステップＳ２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００２５】
次に、遠隔端末１００の動作について説明する。図３は遠隔端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。図４は遠隔端末側の操作の一例を説明するための図である。図４において参照符号２０１はアノテーション画像を示す。先ず、図３に示すように、遠隔端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ１１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図４に示すように、被写体側のサーバ５０から伝送される撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳ１２）。
【００２６】
次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し（ステップＳ１３）、注目領域の指示がある場合には、指示に応じた処理を行う（ステップＳ１６）。具体的には、遠隔端末１００の操作者は、図４に示すような表示装置１１０の表示画面１１１の画像を見ながら、表示されている画像にアノテーション画像を投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像を投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。
【００２７】
例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ１６で特定された各種情報を描画情報としてサーバ５０へ伝送する（ステップＳ１７）。このとき、サーバ５０は、アノテーション画像の描画に関する情報である描画情報を受け付けると、アノテーション画像の描画情報をビデオカメラ２０での撮像時の回転台の回転位置に対応付けて登録し管理する。図５は、個々のアノテーション画像の管理テーブルの例を示す図である。図５に示すように、サーバ５０は、テキスト「給紙トレイ形状変更」及びアレイ（アノテーション画像の投影位置）の情報からなるアノテーション画像の描画に関する情報に、ユーザＤ（ＵＩＤ）「ｓｈｏｊｉ」及びＳＡＧＥ２１（回転テーブルの回転位置）などの属性情報を対応付けて管理している。
【００２８】
次いで、コンピュータ１２０は、遠隔端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し、（ステップＳ１８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ１９）、処理を終了する。遠隔端末１００の操作者による指示操作が終了していない場合には、ステップＳ１２に戻って上記の処理を繰り返す。
【００２９】
ここで、遠隔端末１００の操作者が被写体２００を回転させたい場合には、操作者は、例えば、図４に示すような表示画面１１１の画像を見ながら、画像内の被写体２００においてアノテーション画像を投影したい領域が映し出される、あるいは、被写体２００に対する視点が最適になるように、表示画面１１１に形成された、回転ステージ７０を回転させるための回転用ボタンＲ１、Ｒ２を操作して、回転ステージ７０の回転方向及び回転量を指示する。
【００３０】
そして、コンピュータ１２０は、ステップＳ１３において、注目領域の指示がない（アノテーション画像に関する指示がない）場合には、遠隔端末１００の操作者により、被写体２００の回転の指示がされると判断して被写体２００の回転に関する処理をする（ステップＳ１４）。次いで、コンピュータ１２０は、被写体２００の回転に関する処理により得られた回転量情報（移動量情報）等を被写体側のサーバ５０へ伝送する（ステップＳ１５）。これにより、回転ステージ７０が回転されて被写体２００の回転位置が変更し、遠隔端末１００の表示装置１１０には新たな撮像画像が表示される（ステップＳ１２）。
【００３１】
図６は遠隔端末側の操作の他の一例を説明するための図である。図７は、個々のアノテーション画像の管理テーブルの他の例を示す図である。図７に示すように、サーバ５０は、テキスト「新開発サスペンション」及びアレイの情報からなるアノテーション画像の描画に関する情報に、ユーザＩＤ（ＵＩＤ）「ｓｈｏｊｉ」、ＳＴＡＧＥ２１（回転テーブルの回転位置）などの属性情報を対応付けて管理している。
【００３２】
次に、回転テーブル７０の回転位置に応じたアノテーション画像の投影処理について説明する。図８は、アノテーション画像の投影処理のフローチャートである。上述したように、サーバ５０は、アノテーション画像の描画に関する情報である描画情報をビデオカメラ２０での撮像時の回転台の回転位置に対応付けて管理している。回転テーブル７０は、回転テーブル７０を直接手で回転させることにより回転させることができ、また遠隔地のコンピュータ１２０から回転させることもできる。
【００３３】
サーバ５０は、投影要求があった場合（ステップＳ２１）、回転ステージ７０の回転位置が変更されたかどうかを検出する（ステップＳ２２）。サーバ５０は、回転ステージ７０の回転位置を検出し、回転ステージ７０の回転位置が変更されたと判断した場合、回転ステージ７０の回転位置（ＳＴＡＧＥ）を検索キーとして登録されているアノテーション画像を検索する（ステップＳ２３）。このとき、回転ステージの位置情報を事前に定めた量だけ拡張した値の範囲を検索キーとしてアノテーションが検索される。サーバ５０は、検索されたアノテーション画像をプロジェクタ４０から被写体２００に投影させる（ステップＳ２４）。
【００３４】
サーバ５０は、単一のアノテーション画像が検索された場合にはそのアノテーション画像をプロジェクタ４０から投影し、複数のアノテーション画像が検索された場合には予め定めた方策に従って一つまたは複数のアノテーション画像を選択して投影し、続いて回転テーブル７０の微小な変位を検出した場合には次のアノテーション画像を選択して投影する。また、サーバ５０は、回転位置をキーとして複数のアノテーションが検索された場合、最も古いアノテーションを選択してそのアノテーション画像を投影し、続いて回転テーブル７０が微小に回転された場合、次に古いアノテーションを選択してそのアノテーション画像を投影するようにしてもよい。
【００３５】
サーバ５０は、投影要求が終了していないと判断した場合（ステップＳ２５）、ステップＳ２２に戻り、次に回転ステージ７０の回転位置が変更されるまで待機状態となる。このようにして、回転テーブル７０に乗せた対象物に付与されたアノテーション画像を回転テーブルの回転に応じて変化させることができる。したがって回転量に応じて検索されたアノテーション画像（例えば正面から見える個別の部品）を連続的に変化させることができる。
【００３６】
以上のように、本実施形態によれば、被写体２００の位置（被写体２００に対する視点）を遠隔端末１００からの撮像画像に基づく指示により変更することができるので、遠隔端末１００からの指示操作性が向上すると共に被写体２００へアノテーション画像を投影できる範囲を拡大することができる。上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザ光等の光を被写体に照射して画像を形成することも可能である。
【００３７】
上記実施形態では、相対位置変更手段として回転ステージを例に挙げて説明したが、これに限定されるわけではなく、例えば、ロボット等を相対位置変更手段として使用することも可能であるし、上記実施形態では、被写体を移動させる場合について説明したが、例えば、撮像手段としてのビデオカメラ及び投影手段としてのプロジェクタを移動させる構成とすることも可能である。
【００３８】
上記実施形態では、回転ステージ７０の回転を指示するために表示画面１１１上に回転用ボタンＲ１、Ｒ２を形成した場合について説明したが、これに限定されるわけではなく、キーボードを用いてもよいし、種々の方法を採用できる。上記実施形態では、遠隔端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により遠隔端末１００をサーバ５０に接続することもできるし、また、遠隔端末１００を被写体２００の側に配置することも可能である。
【００３９】
なお、図５及び図７に示したように、サーバ５０は、アノテーション画像の情報をアノテーション画像を指定した利用者の情報（ＵＩＤ）に対応付けて管理しているため、選択された利用者を検索キーとしてアノテーション画像の情報を検索することができ、これにより利用者ごとに対応したアノテーション画像を被写体に投影することができる。
【００４０】
次に本発明の第２の実施形態について説明する。図９は、本発明の第２実施形態に係る遠隔指示システムの一実施形態を示す構成図である。この遠隔指示システムは、図９に示すように、被写体側装置４００及び遠隔端末５００等を備えており、被写体側装置４００と遠隔端末５００とはネットワーク６００により相互に通信可能に接続されている。尚、図９においては、遠隔端末５００を一台のみ示しているが、複数の遠隔端末５００をネットワーク６００を通じて後述する被写体側装置４００のサーバ４５０へ接続可能である。
【００４１】
被写体側装置４００は、撮像手段としてのビデオカメラ４２０、投影手段としてのプロジェクタ４４０、制御手段としてのサーバ４５０、ビデオカメラ４２０とプロジェクタ４４０の画角と光軸を一致させるハーフミラー４６０、立体被写体を載せる台としてのステージ４７０及びステージ４７０の背面に置かれた背景板４８０等から構成されている。ビデオカメラ４２０は、例えばＣＣＤカメラで構成され、ステージ４７０上に置かれた被写体２００を撮像可能に配置されていると共に、その撮像画像はサーバ４５０に取り込まれる。尚、ビデオカメラ４２０は、ハーフミラー４６０を透過した画像を撮像する。
【００４２】
プロジェクタ４４０は、液晶プロジェクタ等で構成され、遠隔端末５００でなされた撮像画像に基づく指示に応じたアノテーション画像を被写体２００に投影すると共に被写体２００に関連する文書画像２１０を投影する。図９では文書画像２１０は背景板４８０に投影されている。このプロジェクタ４４０は、サーバ４５０の制御によってビデオカメラ４２０と同画角で画像を投影する。プロジェクタ４４０は、サーバ４５０から送信されたアノテーション画像をその光学系を通じハーフミラー４６０を介して被写体２００へ投影する。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。
【００４３】
サーバ４５０は、ビデオカメラ４２０及びプロジェクタ４４０の動作を制御すると共に、ネットワーク６００を介して遠隔端末５００との間で各種情報を授受する。また、サーバ４５０は、ビデオカメラ４２０が撮像した撮像画像を遠隔端末５００へ送信すると共に、遠隔端末５００でなされた撮像画像に基づく指示に応じたアノテーション画像２０１をプロジェクタ４４０により被写体２００上に投影させる。さらに、サーバ４５０は、遠隔端末５００で選択された被写体２００に関連する文書画像に基づいてこの文書画像又は文書画像の一部の画像が被写体２００上に投影されたアノテーション画像２０１に重ならないよう投影画像の情報を生成し、この投影画像をプロジェクタ４４０により投影できる。このとき、サーバ４５０は文書画像２１０を被写体２００以外の領域に投影するよう投影画像の情報を生成する。これにより被写体２００上に投影されるアノテーション画像２０１に文書画像２１０が重ならないようにできる。文書画像を投影する領域は、利用者がマウスやキーボード等を用いることにより遠隔端末５００または被写体側装置４００の双方から変更することができる。
【００４４】
遠隔端末５００は、液晶表示装置やＣＲＴ等からなる表示装置５１０、ネットワーク６００に接続されたコンピュータ５２０、コンピュータ５２０に接続されたポインティングデバイス（マウス）５３０等から構成されている。表示装置５１０は、ユーザインターフェース（ＵＩ）画面を表示し、その表示画面に被写体側装置４００から送信される画像を表示する。ポインティングデバイス５３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成する。
【００４５】
図１０（ａ）は被写体２００Ａに関連する文書画像２１０Ａを１枚表示した場合のＵＩ画面の表示例、同図（ｂ）は被写体２００Ａに関連する文書画像２１０Ａ及び２２０Ａを２枚表示した場合のＵＩ画面の表示例、同図（ｃ）は被写体２００Ａに関連する文書画像２３０Ａを１枚表示し、その文書画像２３０Ａの一部分拡大した文書画像２４０Ａを右側に表示した場合のＵＩ画面の表示例を示す図である。利用者によりＵＩ画面を用いて、被写体２００に関連する文書画像を一つ投影するような指示がなされた場合、サーバ４５０は、選択された文書画像に基づいてこの文書画像が被写体２００上に投影されるアノテーション画像に重ならないよう投影画像の情報を生成し、この投影画像をプロジェクタ４４０により投影させる。これにより表示装置５１０上には図１０（ａ）に示すような画面が提供される。
【００４６】
また、利用者によりＵＩ画面を用いて、複数の文書画像を投影するような指示がなされた場合、サーバ４５０は、複数の文書画像を複数の領域に投影させるよう投影画像の情報を生成し、この投影画像をプロジェクタ４４０より投影させる。これにより表示装置５１０には図１０（ｂ）に示すような画面が提供される。また、利用者によりＵＩ画面を用いて、文書画像と文書画像の一部を拡大した文書画像を投影するよう指示がなされた場合、サーバ４５０は、文書画像及び文書画像の一部を拡大した画像を被写体２００上に投影されたアノテーション画像に重ならないよう投影画像の情報を生成し、この投影画像をプロジェクタ４４０より投影する。これにより表示装置５１０には図１０（ｂ）に示すような画面が提供される。
【００４７】
次に、本発明の第２実施形態に係るシステムの動作フローチャートについて説明する。図１１は、本発明の第２実施形態に係るシステムの動作フローチャートである。まず、被写体側装置側のサーバ４５０は、プロジェクタ４４０から初期画像を投影させると共に、ビデオカメラ４２０で撮像した撮像画像をネットワーク６００を介して遠隔端末５００に常時送出する処理を開始する（ステップＳ３１）。サーバ４５０は、メッセージ待ちループを開始する（ステップＳ３２）。そして、サーバ４５０は、遠隔端末５００から描画コマンド及び描画情報を受領すると、（ステップＳ３３）、描画コマンドに沿った画像の投影処理を行い、選択された被写体に関連する文書画像２１０に基づいてこの文書画像２１０が被写体２００上に投影されるアノテーション画像２０１に重ならないよう投影画像の情報を生成する（ステップＳ３４）。サーバ４５０は、投影画像をプロジェクタ４４０より投影させる。上記描画情報には、被写体２００上に投影するアノテーション画像２０１の情報と被写体に関連する文書画像２１０の情報が含まれる。サーバ４５０は、処理が終了されるまで（ステップＳ３５）、次のコマンド受領の待ち状態となる。
【００４８】
次に、コンピュータ５２０側の動作について説明すると、コンピュータ５２０は、サーバ４５０に対して接続要求を行う。次いで、コンピュータ５２０は、接続が完了した後、例えば、図９に示すように、被写体側のサーバ４５０から伝送される撮像画像を表示装置５１０の表示画面５１１に表示する。そして、コンピュータ５２０は、利用者のポインティングデバイス５３０及びキーボードの操作を監視して、利用者によるアノテーションの指定、文書表示の指示及び領域移動の指示を検出する。このとき、コンピュータ５２０は、表示装置５１０の表示画面５１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し、注目領域の指示がある場合には、指示に応じた処理を行う。
【００４９】
遠隔端末５００の操作者は、図９に示すような表示装置５１０の表示画面５１１の画像を見ながら、表示されている画像にアノテーション画像を投影したい領域がある場合には、ポインティングデバイス５３０を操作して表示画面５１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像を投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。例えば、ポインティングデバイス５３０を用いて表示画面５１１上に形成された各種ボタン等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス５３０の動作を反映するポインタ自体等である。
【００５０】
コンピュータ５２０を操作する利用者は、ポインティングデバイス５３０や図示しないキーボードを利用して遠隔端末５００側で被写体に関連する文書画像を選択すると、文書表示コマンドが発行される。コンピュータ５２０は、コンピュータ５２０を操作する利用者が入力するコマンドを受け付け（ステップＳ４１）、受け付けたコマンドが文書表示コマンドかどうかを調べ（ステップＳ４２）、文書表示コマンドでない場合にはステップＳ４５に進む。コンピュータ５２０は、ステップＳ４２でコマンドが画像処理（アノテーションなど）コマンドの場合にはステップＳ４６に進む。ステップＳ４２で、コンピュータ５２０は、受け付けたコマンドが文書表示コマンドの場合、ファイル格納手段に対して表示する文書ファイルの指定を行い、ファイル格納手段から文書ファイルの取り込みを行う（ステップＳ４３）。
【００５１】
次に、コンピュータ５２０は、文書ファイルを文書画像の情報へ変換する文書画像の描画処理を行う（ステップＳ４４）。そして、コンピュータ５２０は、ステップＳ４６で、画像描画処理を行い、アノテーション画像の情報及び文書画像の情報に基づいて描画情報を生成する。コンピュータ５２０は、描画コマンド及び描画情報をサーバ４５０に送出する。コンピュータ５２０は、処理を終了しない場合、ステップＳ４１に戻り上記処理を繰り返す。文書画像の表示領域はＵＩ画面からマウス５３０操作などで位置変更や大きさの変更が可能である。
【００５２】
また、コンピュータ５２０の利用者は、マウス等を用いて背景板４８０に投影されている文書画像２３０の一部の領域２３１を指定すると、コマンド及び指定した領域の情報がサーバ４５０に送出され、サーバ４５０で投影画像の情報が生成され、生成された投影画像がプロジェクタ４４０から投影される。これにより、図１０（ｃ）に示したような画面が表示装置５１０に表示される。このように、文書画像の表示領域は、狭く解像度もとれないため、文書画像１ページの一部を拡大した画像を投影し、そのエリアを遠隔端末５００または被写体側装置４００の双方から移動させる機能を持たせることにより、投影画像を見ている視聴者に対して被写体の説明を十分にすることができる。
【００５３】
また、利用者がサーバ４５０及びコンピュータ５２０に接続されたマウスを操作することにより文書画像を投影する領域を変更する指示を行うと、指示に応じたコマンドが発行され、サーバ４５０は、文書画像を投影する領域を変更する指示に応じて文書画像を投影する領域を変更するよう投影画像の情報を生成し、この投影画像をプロジェクタ４４０から投影させる。これにより文書画像を投影する領域を変更することができる。
【００５４】
また、利用者はマウスを操作することにより領域２３１を変更することにより、変更指示のコマンドがコンピュータ５２０からサーバ４５０に送出され、サーバ４５０は文書画像内の拡大する領域を変更する指示に応じて文書画像内の拡大する領域を変更するよう描画情報を生成し、この生成された描画情報をプロジェクタ４４０より投影することにより、文書画像内の拡大する領域を変更することができる。この文書画像内の拡大する領域を変更する操作を被写体側装置４００側のサーバ４５０で行うことができるようにしてもよい。なお、コンピュータ５２０側では文書ファイルから文書画像への変換を行わずに、文書ファイルをそのままサーバ４５０に送り、サーバ４５０側で文書ファイルを文書画像に変換するようにしてもよい。
【００５５】
図１２は第２実施形態に係る遠隔指示システムの構成の変形例を説明するための図である。図１２（ａ）に示すように、被写体に関連する文書情報を格納するファイル格納手段７００を遠隔端末５００側に設けるようにしてもよい。また、同図（ｂ）に示すように、被写体に関連する文書情報を格納するファイル格納手段７００を被写体側装置４００側に設けるようにしてもよい。さらに、同図（ｃ）に示すように、被写体に関連する文書情報を格納するファイル格納手段７００をネットワーク６００上に設けるようにしてもよい。
【００５６】
なお、第２実施形態においても、第１実施形態と同様に、サーバ４５０は、ステージ４７０が回転テーブルの場合、アノテーション画像の情報を被写体の相対位置を変更する回転テーブルの撮像時の位置に対応付けて管理すると共に、回転テーブルの位置を検出し、該検出された回転テーブルの位置に応じてアノテーション画像の情報を検索し、このアノテーション画像をプロジェクタ４４０から投影するようにしてもよい。これにより被写体が移動する場合でも被写体の位置に応じて適切にアノテーション画像を投影できる。
【００５７】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明の遠隔指示システムの一実施形態を示す構成図である。
【図２】被写体側装置のサーバにおける処理の一例を示すフローチャートである。
【図３】遠隔端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。
【図４】遠隔端末側の操作の一例を説明するための図である。
【図５】個々のアノテーション画像の管理テーブルの例を示す図である。
【図６】遠隔端末側の操作の他の一例を説明するための図である。
【図７】個々のアノテーション画像の管理テーブルの他の例を示す図である。
【図８】アノテーション画像の投影処理のフローチャートである。
【図９】本発明の第２実施形態に係る遠隔指示システムの一実施形態を示す構成図である。
【図１０】被写体に関連する文書画像を表示した場合のＵＩ画面の例である。
【図１１】本発明の第２実施形態に係るシステムの動作フローチャートである。
【図１２】本発明の第２実施形態に係るシステムの構成の変形例を説明するための図である。
【符号の説明】
【００５９】
１０、４００  被写体側装置
２０、４２０  ビデオカメラ
４０、４４０  プロジェクタ
５０、４５０  サーバ
７０  回転テーブル
１００、５００  遠隔端末
１１０、５１０  表示装置
１２０、５２０  コンピュータ
２００  被写体
【図１】
2007036543.tif 000003
【図２】
2007036543.tif 000004
【図３】
2007036543.tif 000005
【図４】
2007036543.tif 000006
【図５】
2007036543.tif 000007
【図６】
2007036543.tif 000008
【図７】
2007036543.tif 000009
【図８】
2007036543.tif 000010
【図９】
2007036543.tif 000011
【図１０】
2007036543.tif 000012
【図１１】
2007036543.tif 000013
【図１２】
2007036543.tif 000014