(57)【特許請求の範囲】
【請求項１】
対象物を撮像する複数の撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、
前記制御手段は、前記撮像画像同士のステレオ法による対比結果に基づき該撮像画像内の前記注釈画像の３次元位置情報群を生成し、奥行き方向において互いに隣接する、奥行きに関する位置情報同士の差に基づき、前記対象物に投影する前記注釈画像を変更することを特徴とする指示システム。
【請求項２】
前記制御手段は、前記奥行きに関する位置情報同士の差が所定値未満であるものをそれぞれクラスタリングし、クラスタリングされた位置情報の数に基づき、前記対象物に投影する前記注釈画像を変更する特徴とする請求項１に記載の指示システム。
【請求項３】
前記制御手段は、クラスタリングされた位置情報の数が最大であるもの以外の位置情報群に相当する注釈画像の投影を停止させることを特徴とする請求項１又は２に記載の指示システム。
【請求項４】
前記制御手段は、閉じられた曲線の注釈画像を投影させる場合、クラスタリングされた位置情報群の数が最大であるものに相当する注釈画像のうち、対象物のふちに沿う注釈画像を併せて投影させることを特徴とする請求項１から３のいずれか１項に記載の指示システム。
【請求項５】
前記制御手段は、クラスタリングされた位置情報群の数が最大であるもの以外の位置情報群に相当する注釈画像の色を変えて投影させることを特徴とする請求項１又は２に記載の指示システム。
【請求項６】
前記制御手段は、クラスタリングされた位置情報群ごとに注釈画像の色を変えて投影させることを特徴とする請求項１又は２に記載の指示システム。
【請求項７】
コンピュータを、
対象物を撮像する複数の撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
前記制御手段は、前記撮像画像同士のステレオ法による対比結果に基づき該撮像画像内の前記注釈画像の３次元位置情報群を生成し、奥行き方向において互いに隣接する、奥行きに関する位置情報同士の差に基づき、前記対象物に投影する前記注釈画像を変更することを特徴とする指示プログラム。
【請求項８】
対象物を撮像する複数の撮像手段と、
前記撮像手段の撮像領域内にその撮像画像に基づいてされた指示に応じた注釈を表す注釈画像を投影する投影手段と、
前記撮像画像同士のステレオ法による対比結果に基づき該撮像画像内の前記注釈画像の３次元位置情報群を生成し、奥行き方向において互いに隣接する、奥行きに関する位置情報同士の差に基づき、前記対象物に投影する前記注釈画像を変更する制御手段と、
を有することを特徴とする指示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指示システム、指示プログラム及び指示装置に関する。
【背景技術】
【０００２】
会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。
【０００３】
また、特許文献１では、上述した指示システム等において、プロジェクタから投影された画像の、投影面の凹凸等に伴う変形を補正する技術、特許文献２では、投影された画像の撮像対象物との重畳に伴う歪みを抑えて視認性を明瞭にする技術が開示されている。さらに、特許文献３では、カメラにより対象物を撮像してその形状に関するデータを取得し、そのデータを基に生成された格子パターン等のＣＧ（Computer Graphics）を端末側に表示して、利用者に正確かつ容易に指示動作を行わせる技術が開示されている。
【０００４】
【特許文献１】特開２００２−３２８４２８号公報
【特許文献２】特開２００６−１８９７１２号公報
【特許文献３】特開２００３−２７０７１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した指示システムにおいて、例えば対象物の投影面に段差があり、その段差を跨ぐように注釈画像が投影される場合、実物体側で指示システムを利用する利用者は対象物の上段と下段のどちらを注釈画像が指示しているのか混乱する可能性がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、実物体側での注釈画像による指示位置の不明確さを抑える指示システム、指示プログラム及び指示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、対象物を撮像する複数の撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、撮像画像同士のステレオ法による対比結果に基づき該撮像画像内の注釈画像の３次元位置情報群を生成し、奥行き方向において互いに隣接する、奥行きに関する位置情報同士の差に基づき、前記対象物に投影する前記注釈画像を変更することを特徴とする指示システムである。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、奥行きに関する位置情報同士の差が所定値未満であるものをそれぞれクラスタリングし、クラスタリングされた位置情報の数に基づき、前記対象物に投影する前記注釈画像を変更することを特徴としている。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の発明において、制御手段は、クラスタリングされた位置情報の数が最大であるもの以外の位置情報群に相当する注釈画像の投影を停止させることを特徴としている。
【００１０】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、制御手段は、閉じられた曲線の注釈画像を投影させる場合、クラスタリングされた位置情報群の数が最大であるものに相当する注釈画像のうち、対象物のふちに沿う注釈画像を併せて投影させることを特徴としている。
【００１１】
請求項５に記載の発明は、請求項１又は２に記載の発明において、制御手段は、クラスタリングされた位置情報群の数が最大であるもの以外の位置情報群に相当する注釈画像の色を変えて投影させることを特徴としている。
【００１２】
請求項６に記載の発明は、請求項１又は２に記載の発明に置いて、制御手段は、クラスタリングされた位置情報群ごとに注釈画像の色を変えて投影させることを特徴としている。
【００１３】
請求項７に記載の発明は、コンピュータを、対象物を撮像する複数の撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、撮像画像同士のステレオ法による対比結果に基づき該撮像画像内の注釈画像の３次元位置情報群を生成し、奥行き方向において互いに隣接する、奥行きに関する位置情報同士の差に基づき、前記対象物に投影する前記注釈画像を変更することを特徴とする指示プログラムである。
【００１４】
請求項８に記載の発明は、対象物を撮像する複数の撮像手段と、撮像手段の撮像領域内にその撮像画像に基づいてされた指示に応じた注釈を表す注釈画像を投影する投影手段と、撮像画像同士のステレオ法による対比結果に基づき該撮像画像内の注釈画像の３次元位置情報群を生成し、奥行き方向において互いに隣接する、奥行きに関する位置情報同士の差に基づき、前記対象物に投影する前記注釈画像を変更する制御手段と、を有することを特徴とする指示装置である。
【発明の効果】
【００１５】
請求項１に記載の発明によれば、実物体側での注釈画像による指示位置の不明確さを抑えることができる。
【００１６】
請求項２に記載の発明によれば、本構成を有していない場合に比較して、クラスタリングされた位置情報の数に応じて、注釈画像の投影形態を変えることができる。
【００１７】
請求項３に記載の発明によれば、本構成を有していない場合に比較して、残された注釈画像により指示位置が明確となる。
【００１８】
請求項４に記載の発明によれば、本構成を有していない場合に比較して、残された注釈画像により指示位置がさらに明確となる。
【００１９】
請求項５に記載の発明によれば、本構成を有していない場合に比較して、投影色で区別された注釈画像により指示位置が明確となる。
【００２０】
請求項６に記載の発明によれば、本構成を有していない場合に比較して、投影色で区別された注釈画像によりさらに指示位置が明確となる。
【００２１】
請求項７に記載の発明によれば、実物体側での注釈画像による指示位置の不明確さを抑えることができる。
【００２２】
請求項８に記載の発明によれば、実物体側での注釈画像による指示位置の不明確さを抑えることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施形態について図面を参照して説明する。
（第１実施形態）
図１は、本発明の指示システムの実施形態を示す構成図、図２はサーバの要部構成を示す機能ブロック図である。
【００２４】
この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００、１０１がネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、１つの筐体で覆われる等して１つの装置で構成されていてもよく、また、複数の装置から構成されていてもよい。
【００２５】
対象物側装置１０は、撮像手段としての少なくとも２台以上のビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０及び回転ステージ７０等から構成される。
【００２６】
ビデオカメラ２０は、例えばＣＣＤカメラ等で構成され、回転ステージ７０上に置かれた対象物２００をステレオ法により撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。尚、ステレオ法とは、複数のカメラで捉えた同一物の、撮像画像上での位置のずれ等から複数の３次元位置情報を生成し、立体画像を認識することをいう。ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。
【００２７】
プロジェクタ４０は、液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）ＡＮを対象物２００に投影する。また、プロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮは、ハーフミラー６０で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラーの反射率は０．３％程度であることが望ましい。
【００２８】
回転ステージ７０は、サーバ５０により制御され、その上面に置かれた対象物２００を正方向及び逆方向のいずれか１方向以上の方向に回転（以下、回転動作と言う。）させることにより、ビデオカメラ２０及びプロジェクタ４０に対する対象物２００の位置を変更する。
【００２９】
サーバ５０は、ビデオカメラ２０、プロジェクタ４０、回転ステージ７０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を授受する。
【００３０】
より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの指示を受信する受信部５３と、プロジェクタ４０を制御し、プロジェクタ４０にアノテーション画像ＡＮを投影させる投影部５４とを備える。さらに、撮像画像からアノテーション画像ＡＮの対象物２００に対する指示位置を判定する指示位置判定部５５と、判定結果に基づいて投影部５３の投影形態を変更させる投影形態変更部５６とを備える。その他に、回転ステージ７０による対象物２００の回転動作（移動）に合わせてプロジェクタ４０の対象物２００に対するアノテーション画像の投影位置を変更する制御を行う図示しない相対位置変更部を備える。
【００３１】
したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮをプロジェクタ４０により対象物２００へ投影させる。
【００３２】
端末１００は、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。
表示装置１１０は、その表示画面に対象物側装置１０から送信される画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像に関する指示を形成すると共に、回転ステージ７０の回転動作による対象物２００の回転動作を指示するのに用いられる。
【００３３】
尚、上述したサーバ５０やコンピュータ１２０は、いわゆるコンピュータ、すなわち、図３に示すように、ＣＰＵ等の処理装置５０（１２０）ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０（１２０）ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０（１２０）ｃ及び入出力を制御するＩ／Ｆ５０（１２０）ｄがバス５０（１２０）ｅにより接続されたハードウェア構成により実現される。
【００３４】
したがって、ＣＰＵ５０（１２０）ａがＲＯＭ５０（１２０）ｃやハードディスク等に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置が実現される。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、ハードディスクがバス５０（１２０）ｅに接続されるようにしてもよい。
【００３５】
次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
図４は対象物側装置１０のサーバ５０における処理の一例を示すフローチャート、図５は端末１００のコンピュータ１２０における像形成における処理の一例を示すフローチャート、図６は端末１００側の操作の一例を説明するための図である。
【００３６】
対象物側装置１０側のサーバ５０は、図４に示すように、まず、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ伝送する（ステップＳ１３）。
【００３７】
サーバ５０は、次いで、コンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳ１４）。この制御信号は、アノテーション画像の描画に関する情報である描画信号及び回転ステージ７０を回転させるための位置制御信号である。サーバ５０は、上記の制御信号を受信した場合には、その制御信号の内容に応じて制御信号処理を行う（ステップＳ１５）。
【００３８】
一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００３９】
次に、端末１００の動作について説明する。まず、図５に示すように、端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図４に示すように、対象物側のサーバ５０から伝送される撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳ２２）。
【００４０】
次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し（ステップＳ２３）、注目領域の指示がある場合には、指示に応じた処理を行う（ステップＳ２６）。具体的には、端末１００の操作者は、図６に示すような表示装置１１０の表示画面１１１の画像を見ながら、表示されている画像にアノテーション画像を投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像ＡＮを投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。
【００４１】
例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ２６で特定された各種情報を描画情報としてサーバ５０へ伝送する（ステップＳ２７）。
【００４２】
次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し、（ステップＳ２８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２９）、処理を終了する。端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００４３】
ここで、端末１００の操作者が対象物２００を回転させたい場合には、操作者は、例えば、図６に示すような表示画面１１１の画像を見ながら、画像内の対象物２００においてアノテーション画像を投影したい領域が映し出される、あるいは、対象物２００に対する視点が最適になるように、表示画面１１１に形成された、回転ステージ７０を回転させるための回転用ボタンＲ１，Ｒ２を操作して、回転ステージ７０の回転方向及び回転量を指示する。そして、コンピュータ１２０は、ステップＳ２３において、注目領域の指示がない（アノテーション画像に関する指示がない）場合には、端末１００の操作者により、対象物２００の回転の指示がされると判断して対象物２００の回転に関する処理をする（ステップＳ２４）。
【００４４】
次いで、コンピュータ１２０は、対象物２００の回転に関する処理により得られた回転量情報（移動量情報）等を対象物側のサーバ５０へ伝送する（ステップＳ２５）。これにより、回転ステージ７０が回転されて対象物２００の回転位置が変更し、端末１００の表示装置１１０には新たな撮像画像が表示される（ステップＳ２２）。
【００４５】
次に、アノテーション画像ＡＮの投影形態変更処理について図７から図９を参照して説明する。図７は指示位置判定部５５の動作の一例を示すフローチャート、図８は投影形態変更処理について説明するための図、図９は投影形態変更部５６の動作の一例を示すフローチャートである。
【００４６】
まず、指示位置判定部５５の動作について説明する。
指示位置判定部５５は、図７に示すように、まず、一方のビデオカメラ２０による撮像画像と他方のビデオカメラ２０による撮像画像とを対比し、両撮像画像内からアノテーション画像ＡＮの対応点を探索する（ステップＳ３１）。尚、対応点の探索に代えて、エポピーラ線や色によるマッチング等既知の手法を用いてもよい。
【００４７】
指示位置判定部５５は、次いで、探索した対応点に基づいて双方の撮像画像内にあるアノテーション画像が同一であるか否かを判定する（ステップＳ３２）。これにより、両撮像画像内にあるアノテーション画像ＡＮが同一のものであるか否かが判定される。
【００４８】
指示位置判定部５５は、次いで、双方の撮像画像内にあるアノテーション画像が同一のアノテーション画像であると判定した場合には、アノテーション画像ＡＮを点（例えば光の点）の集合とみなし、ステレオカメラ法によりアノテーション画像ＡＮの３次元位置情報を算出する（ステップＳ３３）。より詳しくは、図８（ａ）に示すように、対象物２００に投影されるアノテーション画像ＡＮは、指示位置判定処理により、図８（ｂ）に示すように、点の集合で表される。そして、これらの各点につき３次元位置情報を算出する。これにより、アノテーション画像ＡＮの奥行きに関する位置情報が得られる。
【００４９】
次に、投影形態変更部５６の動作について説明する。
投影形態変更部５６は、図９に示すように、まず、指示位置判定部５５で算出された３次元位置情報のうち、奥行きに関する位置情報のすべてを抽出し、隣接する奥行きに関する位置情報同士の差が所定の閾値以上であるか否かを判定する（ステップＳ４１）。ここで、所定の閾値は、対象物２００の段差２００ａやその形状の凹凸を判定するための閾値であって、任意に設定することができる。
【００５０】
例えば、図８（ｂ）のＡで示すように、対象物２００に対する奥行きに関する位置座標が同じ奥行きである場合には、隣接する奥行きに関する位置情報同士の差はなく、これらの位置情報同士はクラスタリングされ（ステップＳ４２）、再度、ステップＳ４１の処理に戻る。そして、判定された位置情報の次の位置情報に対し、ステップＳ４１の処理を行う。
【００５１】
一方、図８（ｂ）のＢに示すように、対象物２００に対し、隣接する位置情報同士が段差２００ａを跨ぎ同一の面にないと判定した場合には、いずれか一方の位置情報がすでにクラスタリングされた位置情報であるか否かを判定する（ステップＳ４３）。そして、まだ、クラスタリングされていない位置情報であると判定した場合には、新たなクラスタリングの基点となる位置情報として保持し（ステップＳ４４）、ステップＳ４１の処理に戻る。そして、判定された位置情報の次の位置情報に対し、ステップＳ４１の処理を行う。
【００５２】
したがって、ステップＳ４１からステップＳ４４の処理を繰り返すことにより、対象物２００の段差２００ａや形状に応じて、位置情報がクラスタリングされる。この結果、図８（ｃ）に示すように、例えば、位置情報群Ｃと位置情報群Ｄとに大別される。
【００５３】
投影形態変更部５６は、ステップＳ４４の処理において、すべての位置情報のクラスタリングが終了したと判定した場合には、クラスタリングされた位置情報群のうち、最大規模以外の位置情報群に相当するアノテーション画像ＡＮの投影を停止させる（ステップＳ４５）。
【００５４】
例えば、図８（ｃ）に示す対象物２００に対する位置情報群Ｃと位置情報群Ｄとでは、位置情報群Ｃが最大規模となる。したがって、最大規模以外の位置情報群となる位置情報群Ｄに相当するアノテーション画像ＡＮの投影は停止される。すなわち、図８（ｄ）（ｅ）に示すように、最大規模のアノテーション画像ＡＮのみが対象物２００に投影される。尚、３以上の位置情報群に分かれていても、最大規模以外を停止する。
【００５５】
上述した内容を図１０及び図１１を参照してさらに詳しく説明する。
図１０は図９に示す対象物２００の斜視図、図１１は他の投影形態変更処理を施した対象物２００の斜視図である。それぞれ、（ａ）は比較例、（ｂ）は実施形態を示している。
【００５６】
比較例に係る対象物２００には、図１０（ａ）、図１１（ａ）に示すように、アノテーション画像ＡＮが対象物２００の段差２００ａに跨って投影されている。したがって、実物体側の利用者が端末側の利用者から指示を受けた場合、実物体側の利用者は、対象物２００における段差２００ａの上段を指示しているのか下段を指示しているのか混乱する可能性がある。
【００５７】
一方、本実施形態では、図１０（ｂ）に示すように、アノテーション画像ＡＮが対象物２００の段差２００ａに跨って投影されるようになっていても、最大規模以外のアノテーション画像ＡＮの投影は停止されるためアノテーション画像ＡＮは上段に限定され、実物体側の利用者は、対象物２００の指示位置を把握し易くなり、さらには、遠隔地間のコミュニケーションが円滑となる。
【００５８】
また、他の実施形態として、図１１（ｂ）に示すように、上述した最大規模以外のアノテーション画像ＡＮの投影停止に代えて、個別のアノテーション画像ＡＮごとに色を変えて投影させたり、あるいは最大規模以外のアノテーション画像ＡＮの色を変えて投影させたりしてもよい。これにより、実物体側の利用者は、対象物２００の指示位置を色により区別して伝えられるようになり、遠隔地間のコミュニケーションが円滑となる。尚、この場合、図９におけるステップＳ４５の処理に代えて、アノテーション画像ＡＮの色を変えて投影させる処理を行うようにすればよい。
【００５９】
（第２実施形態）
続いて、本発明の第２実施形態について説明する。
図１２は投影形態変更部５６の動作の一例を示すフローチャート、図１３は投影形態変更処理について説明するための図である。
【００６０】
本実施形態における投影形態変更部５６の動作は、閉じられた曲線のアノテーション画像ＡＮを投影させる場合、クラスタリングされた位置情報群の数が最大であるものに相当するアノテーション画像ＡＮのうち、対象物２００のふちや段差に沿うアノテーション画像ＡＮをさらに投影させている点で上述した第１実施形態と相違する。
【００６１】
投影形態変更部５６は、指示位置判定分５５の処理による位置情報を取得すると、図１２に示すように、隣接する位置座標の奥行き同士の差が閾値以上であるか否かを判定し（ステップＳ５１）、差が閾値以上でないと判定した場合には、アノテーション画像ＡＮの投影は、対象物２００における段差２００ａ等に跨っていないと判断し、処理を終了する。
【００６２】
一方、投影形態変更部５６は、差が閾値以上であると判定した場合には、アノテーション画像ＡＮは閉じられたアノテーション画像ＡＮであるか否かを判定し（ステップＳ５２）、閉じられたアノテーション画像ＡＮでないと判定した場合には、処理を終了する。尚、ここで、閉じられたアノテーション画像ＡＮと言えるためには、例えば多角形であれば複数の線分をその端点でつなぎ合わせてできる曲線をいう。その他、環や楕円等であってもよい。
【００６３】
投影形態変更部５６は、アノテーション画像ＡＮは閉じられたアノテーション画像ＡＮであると判定した場合には、閉じられた画像内を塗りつぶし（ステップＳ５３）、位置情報算出処理を行う（ステップＳ５４）。この位置情報算出処理は、第１実施形態で説明した指示位置判定部５５が行うことで可能である。
【００６４】
ここまでの処理について図１３を参照して説明すると、対象物２００に対し、図１３（ａ）に示すように、アノテーション画像ＡＮが投影されている場合に、指示位置判定部５５の処理により、図１３（ｂ）に示すように、アノテーション画像ＡＮを点の集合とみなし、位置情報を算出する。さらに、同図のＢに示すように、隣接する位置情報の奥行き同士に差がある場合に、図１３（ｃ）に示すように、閉じられた画像内部を塗りつぶし、塗りつぶしのすべてを点の集合とみなし、すべての位置情報を算出する。
【００６５】
投影形態変更部５６は、ここで、隣接するすべて位置情報の奥行き同士の差が閾値以上であるか否かを判定する（ステップＳ５５）。例えば、隣接する位置情報が複数ある場合には、それらの距離が最短となる位置情報から判定していけばよい。そして、隣接する位置情報の奥行き同士の差が閾値以上でないと判定した場合には、クラスタリングを行い（ステップＳ５６）、ステップＳ５５の処理に戻る。
【００６６】
一方、投影形態変更部５６は、隣接する位置情報の奥行き同士の差が閾値以上であると判定した場合には、既にクラスタリング処理された位置情報であるか否かを判定し（ステップＳ５７）、まだ、クラスタリングされた位置情報でないと判定した場合には、新たなクラスタリングの基点となる位置情報として保持しステップＳ５５の処理に戻る（ステップＳ５８）。
【００６７】
したがって、ステップＳ５５の処理からステップＳ５８の処理を繰り返すことで、塗りつぶされたアノテーション画像ＡＮに相当する位置情報群は、対象物２００における段差２００ａや形状に応じて複数の位置情報群に大別される。例えば、図１３（ｃ）においては、位置情報群Ｅと位置情報群Ｆとに分かれる。
【００６８】
投影形態変更部５６は、ステップＳ５５の処理からステップＳ５８の処理を繰り返し、クラスタリング処理を終了すると、クラスタリングされた位置情報群に相当するアノテーション画像ＡＮのうち、最大規模のもの以外のアノテーション画像ＡＮに相当する位置情報群を消去する（ステップＳ５９）。これにより、図１３（ｄ）に示すように、位置情報群Ｅと位置情報群Ｆのうち、位置情報群Ｆが消去される。
【００６９】
投影形態変更部５６は、次いで、ふち部分のみを残して位置情報群を消去する（ステップＳ６０）。これにより、図１３（ｅ）に示すように、対象物２００のいける段差に沿うように位置情報群が残り、これに相当するアノテーション画像ＡＮを投影することにより、図１３（ｆ）に示すように、対象物２００における段差に沿ったアノテーション画像ＡＮとなる。
【００７０】
次に、本実施形態よる処理結果を図１４を参照して説明する。
図１４は投影形態変更処理を施した対象物２００の斜視図であり（ａ）は比較例、（ｂ）は本実施形態を示している。
【００７１】
比較例に係る対象物２００には、図１４（ａ）に示すように、アノテーション画像ＡＮが対象物２００の段差２００ａに跨って投影されている。したがって、実物体側の利用者が端末側の利用者から指示を受けた場合、実物体側の利用者は、対象物２００における段差２００ａの上段を指示しているのか下段を指示しているのか混乱する可能性がある。
【００７２】
一方、本実施形態では、図１４（ｂ）に示すように、アノテーション画像ＡＮが対象物２００の段差２００ａに跨って投影されるようになっていても、最大規模以外のアノテーション画像ＡＮの投影は停止され、さらに、残されたアノテーション画像ＡＮを閉じるように、対象物２００における段差２００ａのふちに沿ってアノテーション画像ＡＮを投影する。これにより、実物体側の利用者は、対象物２００の指示位置をより把握し易くなり、遠隔地間のコミュニケーションが円滑となる。
【００７３】
（その他の実施形態）
次、その他の実施形態について図１５及び図１６を参照して説明する。
図１５は投影形態変更部５６の動作の一例を示すフローチャート、図１６はアノテーション画像ＡＮが投影された対象物２００の図であり、（ａ）は平面図、（ｂ）は斜視図である。
【００７４】
投影形態変更部５６は、図１５に示すように、まず、一方のビデオカメラ２０による撮像画像と他方のビデオカメラ２０による撮像画像同士のアノテーション画像ＡＮの対応点を探索する（ステップＳ６１）。
【００７５】
投影形態変更部５６は、ここで、いずれか一方のビデオカメラ２０による撮像画像によりアノテーション画像ＡＮが２以上に分かれているか否か判定する（ステップＳ６２）。
【００７６】
例えば、図１６（ａ）に示すように、一方のビデオカメラ２０による撮像画像が対象物２００の平面図である場合に、対象物２００の段差２００ａに跨ってアノテーション画像ＡＮが投影されていても２以上に分かれていると判定することができない。一方、図１６（ｂ）に示すように、他方のビデオカメラ２０による撮像画像が対象物２００の斜視図である場合に、対象物２００の段差に跨ってアノテーション画像ＡＮが投影されていれば、アノテーション画像ＡＮが２以上に分かれていると判定できる。
【００７７】
投影形態変更部５６は、アノテーション画像ＡＮが２以上に分かれていると判定した場合には、分断判定が可能な方のビデオカメラ２０による撮像画像により分断部分を特定する（ステップＳ６３）。
【００７８】
投影形態変更部５６は、分断部分を特定すると、上述した実施形態のように、最大規模以外のアノテーション画像ＡＮの投影を停止させたり、最大規模以外のアノテーション画像ＡＮの色を変えて投影させたりする。このように、アノテーション画像ＡＮの分断の判定が、第１、第２実施形態で説明した位置情報の奥行きに関する情報を算出する場合に比べて、計算量が少ない。このため、本実施形態によれば、処理の高速化が図れるようになる。逆に、性能が低いコンピュータであっても、処理が可能となる。
【００７９】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【産業上の利用可能性】
【００８０】
本発明によれば、実物体側でのアノテーション画像による指示位置の不明確さを抑えることができ、遠隔地間の対話が円滑となるため、産業上の利用可能性が高い。
【図面の簡単な説明】
【００８１】
【図１】指示システムの実施形態を示す構成図である。
【図２】サーバの要部構成を示す機能ブロック図である。
【図３】サーバ等のハードウェア構成を示す機能ブロック図である。
【図４】対象物側装置のサーバにおける処理の一例を示すフローチャートである。
【図５】端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。
【図６】端末側の操作の一例を説明するための図である。
【図７】指示位置判定部の動作の一例を示すフローチャートである。
【図８】投影形態変更部の動作の一例を示すフローチャートである。
【図９】投影形態変更処理について説明するための図である。
【図１０】図９に示す対象物の斜視図である。
【図１１】他の投影形態変更処理を施した対象物の斜視図である。
【図１２】投影形態変更部の動作の一例を示すフローチャートである。
【図１３】投影形態変更処理について説明するための図である。
【図１４】投影形態変更処理を施した対象物の斜視図である。
【図１５】投影形態変更部の動作の一例を示すフローチャートである。
【図１６】アノテーション画像が投影された対象物２００の図である。
【符号の説明】
【００８２】
１０  対象物側装置
２０  ビデオカメラ
４０  プロジェクタ
５０  サーバ
５０ａ  ＣＰＵ
５０ｂ  ＲＡＭ
５０ｃ  ＲＯＭ
５０ｄ  Ｉ／Ｆ
５０ｅ  バス
５１  撮像部
５２  画像送信部
５３  受信部
５４  投影部
５５  指示位置判定部
５６  投影形態変更部
６０  ハーフミラー
７０  回転ステージ
１００  端末
１１０  表示装置
１１１  表示画面
１２０  コンピュータ
１３０  ポインティングデバイス
２００  対象物
２００ａ  段差
３００  ネットワーク
ＡＮ  アノテーション画像
Ｐｔ  ポインタ
ＢＴ  ボタン
Ｒ１、Ｒ２  回転用ボタン
【図１】
0005061924.tif 000002
【図２】
0005061924.tif 000003
【図３】
0005061924.tif 000004
【図４】
0005061924.tif 000005
【図５】
0005061924.tif 000006
【図６】
0005061924.tif 000007
【図７】
0005061924.tif 000008
【図８】
0005061924.tif 000009
【図９】
0005061924.tif 000010
【図１０】
0005061924.tif 000011
【図１１】
0005061924.tif 000012
【図１２】
0005061924.tif 000013
【図１３】
0005061924.tif 000014
【図１４】
0005061924.tif 000015
【図１５】
0005061924.tif 000016
【図１６】
0005061924.tif 000017