(57)【要約】【課題】  対象物が撮像手段の撮像領域を超えていても、対象物の全体が撮像可能であって、適確なアノテーション画像の投影が可能な遠隔指示システムを提供する。【解決手段】  対象領域の少なくとも一部を撮像するビデオカメラ１１及びアノテーション画像ＷＡＮを前記対象領域の少なくとも一部に投影するプロジェクタ１２のうち、少なくとも一方の個数を複数とし、前記ビデオカメラ１１及びプロジェクタ１２は、その個数に応じて前記対象領域のうち、分担すべき個別の領域が割り当てられることを特徴とする。この構成により、対象物２０がビデオカメラ１１の撮像領域を超えていても、対象物２０の全体が撮像可能となり、さらに、当該撮像画像に基づく適確なアノテーション画像ＷＡＮの投影が可能となる。【選択図】  図１
2008028482.tif 000002
【特許請求の範囲】
【請求項１】
対象領域の少なくとも一部を撮像する撮像手段及びアノテーション画像を前記対象領域の少なくとも一部に投影する投影手段のうち、少なくとも一方の個数を複数とし、前記撮像手段及び投影手段は、その個数に応じて前記対象領域のうち、分担すべき個別の領域が割り当てられることを特徴とする遠隔指示システム。
【請求項２】
前記投影手段が複数個であり、更に複数の投影手段の投影画像の組合せで前記対象領域に投影されるアノテーション画像を形成する形成手段を備えることを特徴とする請求項１に記載の遠隔指示システム。
【請求項３】
前記撮像手段が複数個であり、前記形成手段は、複数の撮像手段の撮像画像に基づいて作成される校正情報に基づいて前記アノテーション画像を形成することを特徴とする請求項２に記載の遠隔指示システム。
【請求項４】
前記撮像手段及び前記投影手段を管理するサーバと、
前記撮像手段から受信した撮像画像に基づいて前記アノテーション画像を形成し、形成したアノテーション画像を前記投影手段に送信することにより指示する遠隔端末とを備えることを特徴とする請求項１から３のいずれか１項に記載の遠隔指示システム。
【請求項５】
前記撮像手段は、前記対象領域の少なくとも一部を広域撮像領域として広角の光学系で受光して撮像することを特徴とする請求項１から４のいずれか１項に記載の遠隔指示システム。
【請求項６】
前記撮像手段は、前記対象領域の少なくとも一部を広域撮像領域として移動して撮像することを特徴とする請求項１から５のいずれか１項に記載の遠隔指示システム。
【請求項７】
対象物を撮像する撮像手段とアノテーション画像を前記撮像手段の撮像領域内に投影する投影手段とを備える撮像投影装置と、
前記投影手段の投影領域より広い広域撮像領域を撮像する広域撮像手段と、
前記撮像投影装置の前記投影領域を前記広域撮像手段の前記広域撮像領域内で移動させる移動手段と
を有することを特徴とする遠隔指示システム。
【請求項８】
前記移動手段は、前記広域撮像領域に対する前記撮像投影装置の位置を移動させる移動装置を有することを特徴とする請求項７に記載の遠隔指示システム。
【請求項９】
前記移動手段は、前記対象物に向けて前記アノテーション画像を反射させるミラーと、前記ミラーを首振り調整する調整機構と
を有することを特徴とする請求項７に記載に遠隔指示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物に対して遠隔地から指示が可能な遠隔指示システムに関する。
【背景技術】
【０００２】
例えば、遠隔修理システム、遠隔保守システム、遠隔医療システム、遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより対象物へ投影する技術が知られている（例えば、特許文献１参照）。
【特許文献１】米国特許公開２００４／００７０６７４号公報
【特許文献２】特開２００５−３３７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述した遠隔指示システムにおいて、例えば、対象物がビデオカメラの撮像領域を超えて配置されていることもある。このような場合、ビデオカメラにおける撮像画像は、対象物の撮像画像の一部しか遠隔側に送信されず、当該撮像画像に基づいてアノテーション画像を指示することは利用者にとって好ましいものでない。
【０００４】
本発明は、このような場合に鑑みてなされたものであり、対象物が撮像手段の撮像領域を超えていても、対象物の全体が撮像可能であって、適確なアノテーション画像の投影が可能な遠隔指示システムを提供する。
【課題を解決するための手段】
【０００５】
上述した問題点を解決するために、本発明の遠隔指示システムは、対象領域の少なくとも一部を撮像する撮像手段及びアノテーション画像を前記対象領域の少なくとも一部に投影する投影手段のうち、少なくとも一方の個数を複数とし、前記撮像手段及び投影手段は、その個数に応じて前記対象領域のうち、分担すべき個別の領域が割り当てられることを特徴とする。
【０００６】
また、本発明は、前記投影手段が複数個であり、更に複数の投影手段の投影画像の組合せで前記対象領域に投影されるアノテーション画像を形成する形成手段を備えることを特徴とする。
【０００７】
また、本発明は、前記撮像手段が複数個であり、前記形成手段が、複数の撮像手段の撮像画像に基づいて作成される校正情報に基づいて前記アノテーション画像を形成することを特徴とする。
【０００８】
また、本発明は、前記撮像手段及び前記投影手段を管理するサーバと、前記撮像手段から受信した撮像画像に基づいて前記アノテーション画像を形成し、形成したアノテーション画像を前記投影手段に送信することにより指示する遠隔端末とを備えることを特徴とする。
【０００９】
また、本発明は、前記撮像手段が、前記対象領域の少なくとも一部を広域撮像領域として広角の光学系で受光して撮像することを特徴とする。
【００１０】
また、本発明は、前記撮像手段が、前記対象領域の少なくとも一部を広域撮像領域として移動して撮像することを特徴とする。
【００１１】
また、本発明は、対象物を撮像する撮像手段とアノテーション画像を前記撮像手段の撮像領域内に投影する投影手段とを備える撮像投影装置と、前記投影手段の投影領域より広い広域撮像領域を撮像する広域撮像手段と、前記撮像投影装置の前記投影領域を前記広域撮像手段の前記広域撮像領域内で移動させる移動手段とを有することを特徴とする。
【００１２】
また、本発明は、前記移動手段は、前記広域撮像領域に対する前記撮像投影装置の位置を移動させる移動装置を有することを特徴とする。
【００１３】
また、本発明は、前記移動手段は、前記対象物に向けて前記アノテーション画像を反射させるミラーと、前記ミラーを首振り調整する調整機構とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、対象物が撮像手段の撮像領域を超えていても、対象物の全体が撮像可能となり、さらに、当該撮像画像に基づく適確なアノテーション画像の投影が可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について、図面を参照して具体的に説明する。
（第１実施形態）
図１及び図２は本発明の第１実施形態に係る遠隔指示システムの構成図である。この遠隔指示システムは、図１に示すように、サーバ１００、サーバ１００にネットワーク２００を介して接続される遠隔端末３００等から構成される。
【００１６】
サーバ１００には、３列２段で配置される６個の撮像投影装置１０が形成される。それぞれの撮像投影装置１０には、所定の領域（以下、対象領域という。）内に配置された、例えば車両等の対象物２０と、対象物２０を撮像する撮像手段としてのビデオカメラ１１と、ビデオカメラ１１の撮像画角を変更するハーフミラー１４と、対象物２０に画像を投影する投影手段としてのプロジェクタ１２とが形成される。なお、撮像投影装置１０の配列や数については、これに限るものではない。
【００１７】
ビデオカメラ１１は、例えば、ＣＣＤ(Charge Coupled Device：電荷結合素子)カメラで構成され、対象物２０を撮像可能な位置に配置されていると共に、その撮像画像はサーバ１００に取り込まれる。なお、図１において、それぞれのビデオカメラ１１は、ハーフミラー１４によって反射された対象物２０を撮像する。
【００１８】
プロジェクタ１２は、ビデオカメラ１１に隣接して設置されており、その視野（画角）がビデオカメラ１１の視野（画角）に略一致するように配置されている。これらのプロジェクタ１２には、液晶プロジェクタ等が使用される。
【００１９】
このように構成された撮像投影装置１０によって対象物２０は撮像・投影される。すなわち、例えば、上段左側の配置される撮像投影装置１０のビデオカメラ１１は対象物２０の上段左側、上段真中に配置される撮像投影装置１０のビデオカメラ１１は対象物２０の上段真中というように、一つのビデオカメラの撮像領域では収まらない対象物２０の撮像画像を、複数のビデオカメラ１１によって対象物２０の全体画像として撮像することが可能となる。
【００２０】
サーバ１００は、複数のビデオカメラ１１及び複数のプロジェクタ１２の動作を制御すると共に、ネットワーク２００を介して遠隔端末３００との間で各種情報を授受する。また、サーバ１００は、ビデオカメラ１１のそれぞれの撮像画像を遠隔端末３００へ送信すると共に遠隔端末３００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ１２により対象物２０へ投影させる。また、アノテーション画像は、線、文字、図形等のあらゆる態様によって構成される。
【００２１】
遠隔端末３００は、液晶ディスプレイ、ＣＲＴ等の表示装置３２０、ネットワーク２００に接続され、ＣＰＵやＤＲＡＭ等で構成されるコンピュータ３１０、コンピュータ３１０に接続されたポインティングデバイス（マウス）３３０等から構成されている。表示装置３２０は、その表示画面３２１にサーバ１００から送信される画像等を表示する。そして、当該画像に基づき、ユーザは遠隔端末３００を操作して、対象物２０に対するアノテーション画像ＡＮをサーバ１００に送信する。
【００２２】
また、遠隔指示システムには、図１に示すように、広域投影領域ＷＡＰを撮像する撮像手段としての広角カメラ１３が形成される。広角カメラ１３は、一つ一つのビデオカメラ１１の撮像領域では収まらない領域を、１つにまとめた領域として撮像する機能を有する。そして、広角カメラ１３による撮像画像はサーバ１００に取り込まれる。なお、撮像投影装置１０のビデオカメラ１１による撮像画像を遠隔端末３００に送信するか、当該広角カメラ１３による撮像画像を遠隔端末３００に送信するか、については、当該送信を切り替えるスイッチ等をサーバ１００に形成し、使用者に切り替えさせるようにすることが可能である。このように制御することで、解像度のよい撮像画像を遠隔端末３００に送信することが可能となる。
【００２３】
また、図２に示すように、上下２段となって配置された撮像投影装置１０の間に、上述した広角カメラ１３が設置される。撮像投影装置１０の上下のビデオカメラ１１はそれぞれ対象物２０の上側、下側を撮像し、広角カメラ１３は、対象物２０の上側、下側をまとめて撮像することができる。なお、広角カメラ１３の設置位置は、対象物の全体が撮像可能な位置であれば、図１及び図２に示す設置位置に限られるものではない。
【００２４】
図３は、サーバ１００の機能ブロック図である。サーバ１００は、図３に示すように、ビデオカメラ１１によって撮像された画像ＩＭを取得する第１の画像取得部１０１、プロジェクタ１２の動作や停止を制御すると共に、アノテーション画像を形成する形成手段としての投影手段制御部１０２、広角カメラ１３によって撮像された画像ＷＩＭを取得する第２の画像取得部１０３、を有する。
【００２５】
サーバ１００は、ＤＲＡＭ(Dynamic Random Access Memory)、ＳＲＡＭ（Static RAM）、フラッシュメモリ等の半導体記憶装置で構成される記憶部１０４を有し、当該記憶部１０４は、ビデオカメラ１１及び広角カメラ１３で撮像した撮像画像等を記憶する。送受信部１１１は、記憶部１０４に記憶されるビデオカメラ１１等による撮像画像を遠隔端末３００に送信すると共に、遠隔端末３００から送信させるアノテーション画像の描画コマンドを受信する機能を有する。
【００２６】
図３に示す校正パラメータ算出部１０５は、記憶部１０４に記憶される校正パターン画像から校正情報としての校正パラメータを算出する機能を有し、算出された校正パラメータは校正パラメータ記憶部１０６に記憶される。また、オーバーラップ情報算出部１０７は、記憶部１０４に記憶される校正パターン画像から校正情報としてのオーバーラップ（重なり合い）情報を算出する機能を有し、算出されたオーバーラップ情報はオーバーラップ情報記憶部１０８に記憶される。なお、校正パターン画像は、ビデオカメラ１１やプロジェクタ１２の視野を調整するための画像であって、縞模様や格子模様などによって構成される画像である。
【００２７】
例えば、遠隔指示システムを設置するに際して、撮像投影装置１０を一つづつ作業者が手作業で並べて配置する場合には、それぞれのビデオカメラ１１による隣接する撮像領域、または、それぞれのプロジェクタ１２による隣接する投影領域が重なったり、隣接する撮像領域同士の間や、広角カメラ１３の撮像領域とビデオカメラ１１の撮像領域との間に隙間が生じたり、隣接する撮像領域同士がずれたりする可能性がある。このような場合に、作業者が撮像投影装置１０の配置を手作業で修正し、それぞれの撮像領域等の隙間をなくすと共に、隣接する撮像領域同士を重ねずに配置することは困難である。
【００２８】
したがって、作業者は遠隔指示システムを設置する際には、ビデオカメラ１１の撮像領域がわずかに重なるように撮像投影装置１０を設置する。このように設置して、撮像領域等の重なり合う部分についてはサーバ１００にオーバーラップ情報として記憶させ、また、撮像領域等のずれた部分（位置ずれ）については校正パラメータとしてサーバ１００に記憶させる。
【００２９】
変換パラメータ算出部１０９は、校正パラメータ記憶部１０６に記憶される校正パラメータ及びオーバーラップ情報記憶部１０７に記憶されるオーバーラップ情報から変換パラメータを算出する機能を有する。変換パラメータは、広角カメラ１３による撮像領域の位置座標とそれぞれの撮像投影装置１０による撮像領域の位置座標とを変換するパラメータである。したがって、アノテーション画像ＡＮを対象物２０に投影する場合には、アノテーション画像ＡＮが投影される位置情報を当該変換パラメータによって正確な位置情報を変換してから、アノテーション画像ＡＮを対象物２０に投影することで、対象物２０の正確な位置にアノテーション画像ＡＮを投影することができる。
【００３０】
これらの各機能の動作は、全体制御部１１０によって制御され、当該全体制御部１１０は、ＣＰＵ等の処理装置、そこで実行されるプログラムおよびハードディスク等の記憶装置等によって構成される。
【００３１】
続いて、第１実施形態における遠隔指示システムの初期調整について図４及び図５を参照して説明する。図４は、第１実施形態における遠隔指示システムの初期調整を示すフローチャートであり、図５は、校正スクリーン６０に投影される校正パターン画像ＰＩＭを説明するための図である。
【００３２】
まず、遠隔指示システムを設置する作業者は、その準備として、対象物２０の設置すべき位置に校正スクリーン６０を設置する。この校正スクリーン６０は、遠隔指示システムの各撮像投影装置１０のプロジェクタ１２から投影される校正パターン画像ＰＩＭが投射されるスクリーンである。そして、当該校正スクリーン６０に向けて、作業者は撮像投影装置１０を配置して、校正パターン画像ＰＩＭの投影準備を行う。
【００３３】
次に、左上側に設置される撮像投影装置１０のプロジェクタ１２は、図５に示すように、校正パターン画像ＰＩＭ１を校正スクリーン６０に投影する。校正スクリーン６０に投影された校正パターン画像ＰＩＭ１は、広角カメラ１３によって撮像されると共に、投影される校正パターン画像ＰＩＭ１の位置情報（位置データ）がサーバ１００によって取得される（ステップＳ１）。そして、ステップＳ１の処理が終了すると、次に、左中側に設置される撮像投影装置１０における校正パターン画像ＰＩＭ２の撮像及びその位置情報の取得が行われる。当該ステップＳ１の処理は、残りの撮像投影装置１０の設置が完了するまで行われる（ステップＳ２）。
【００３４】
撮像投影装置１０の設置が完了すると、サーバ１００は、各撮像投影装置１０の校正パラメータ及びオーバーラップ情報を算出する（ステップＳ３）。すなわち、図５に示す各校正パターン画像ＰＩＭ１〜ＰＩＭ６のオーバーラップＯＬの度合いや、広域投影領域ＷＡＰと校正パターン画像ＰＩＭとの位置ずれ１８をそれぞれ算出する。さらに、ステップＳ３の処理で算出した校正パラメータ及びオーバーラップ情報に基づいて、各プロジェクタ１２の投影領域の位置座標と広角カメラ１３の撮像領域の位置座標との変換パラメータを算出する（ステップＳ４）。そして、算出した変換パラメータは、広域アノテーション画像ＷＡＮを投影する際に使用される。このように、各撮像投影装置１０について、校正パラメータ、オーバーラップ情報、変換パラメータを取得することによって、遠隔指示システムの設置及び初期調整が完了する。
【００３５】
続いて、第１実施形態に係る遠隔指示システムにおける広域アノテーション画像ＷＡＮの投影について図６及び図７を参照して説明する。
図６は、広域アノテーション画像ＷＡＮを投影するサーバ１００の処理の一例を示すフローチャートである。サーバ１００は、まず、遠隔端末３００から広角カメラ１３または各ビデオカメラ１１の撮像画像に基づく指示に応じた広域アノテーション画像ＷＡＮの描画コマンドを受信したか否かについて判定する（ステップＳ１１）。当該判定は、描画コマンドを受信するまで行われる。
【００３６】
サーバ１００は、次に、受信した描画コマンドが、複数のプロジェクタの投影領域によって形成された広域投影領域ＷＡＰに投影される広域アノテーション画像ＷＡＮか否かを判定する（ステップＳ１２）。広域アノテーション画像ＷＡＮである場合には、上述した変換パラメータによって広域アノテーション画像ＷＡＮの形状が校正される（ステップＳ１３）。
【００３７】
すなわち、広角カメラ１３等の撮像画像に基づく指示に応じた広域アノテーション画像ＷＡＮの描画コマンドが遠隔端末３００からサーバ１００に送信されるが、当該指示に基づいてサーバ１００が各プロジェクタ１２から広域アノテーション画像ＷＡＮを投影させると、投影領域ＡＲのオーバーラップＯＬや位置ずれ１８等が考慮されず、対象物２０に投影された広域アノテーション画像ＷＡＮは不正確な位置に投影されたり、図７（ａ）に示すように不正確な形状となったりする等、遠隔端末３００から指示した広域アノテーション画像ＷＡＮと異なる形状になる可能性がある。
【００３８】
したがって、サーバ１００は、受信した広域アノテーション画像ＷＡＮに対し、正確な位置に広域アノテーション画像ＷＡＮを投影するように、対象物２０に投影される位置情報を変換する。そして、図７（ｂ）に示すように、投影される位置情報が変換された広域アノテーション画像ＷＡＮが、各撮像投影装置１０のプロジェクタ１２から対象物２０に投影される（ステップＳ１４）。一方、サーバ１００が広域アノテーション画像ＷＡＮの描画コマンドでなく、一つの撮像投影装置１０のプロジェクタ１２によって投影可能なアノテーション画像の描画コマンドである場合には、一つの撮像投影装置１０のプロジェクタ１２によってアノテーション画像が対象物２０に投影されることになる（ステップＳ１５）。
【００３９】
このように、各プロジェクタ１２の投影領域ＡＲにオーバーラップＯＬ等があっても、広域アノテーション画像ＷＡＮが投影される際には、そのオーバーラップＯＬ等が変換パラメータによって変換され、広域アノテーション画像ＷＡＮの位置情報を正確に校正することができる。そのため、撮像投影装置１０を手作業で設置することによって生じる投影領域ＡＲの位置ずれ等に対して、広域アノテーション画像ＷＡＮは、画素オーダーで対象物２０に投影されることになる。
【００４０】
（第２実施形態）
次に、本発明の第２実施形態にかかる遠隔指示システムについて説明する。なお、図１に示される遠隔指示システムの各部と同様の構成には同一符号を付し、その説明を省略する。
【００４１】
図８及び図９は本発明の第２実施形態に係る遠隔指示システムの構成図である。この遠隔指示システムでは、図８及び図９に示すように、サーバ１００に一つの撮像投影装置１０が形成される。撮像投影装置１０には、第１実施形態で説明した撮像投影装置１０と同様に、ビデオカメラ１１及びプロジェクタ１２が形成される。なお、サーバ１００は、図８において撮像投影装置１０の外部に設置しているが、サーバ１００と同様の機能を撮像投影装置１０の内部に設置することも可能である。
【００４２】
撮像投影装置１０には、自身を移動させる移動装置として、対象物２０に投影するアノテーション画像ＡＮを拡大・縮小するための移動機構３０と、対象物２０に対する投影角度を調整するための首振り機構４０とが形成される。移動機構３０は、対象物２０の方向に撮像投影装置１０を遠ざけたり、近づけたりする機能を有する。また、首振り機構４０は、撮像投影装置１０を回転させる機能を有し、より詳しくは、撮像投影装置１０を垂直方向及び水平方向の２軸で回転させる機能を有する。これらの移動機構３０及び首振り機構４０の動作はサーバ１００によって制御される。
【００４３】
また、サーバ１００には、広角カメラ１３が形成される。広角カメラ１３は、対象物２０の全体を撮像する機能を有する。広角カメラ１３によって撮像された撮像画像は、サーバ１００に取り込まれ、遠隔端末３００に送信される。遠隔端末３００では、受信した広角カメラ１３の撮像画像が表示装置３２０の表示画面３２１に表示される。このように、ビデオカメラ１１の撮像領域に収まらない対象物２０であっても、広角カメラ１３を使用することによって、遠隔端末３００の表示画面３２０に対象物２０の全体画像を表示させることが可能となり、使用者は全体画像に基づくアノテーション画像ＡＮを指示することができる。
【００４４】
図１０は、第２実施形態に係るサーバ１００の機能ブロック図である。なお、図３に示すサーバ１００の機能ブロック図の各部と同様の構成には同一符号を付し、その説明を省略する。
【００４５】
第２実施形態に係るサーバ１００においては、一つの第１の画像取得部１０１及び一つの投影手段制御部１０２が使用される。これは、第１実施形態で説明した撮像投影装置１０が複数であったのに対し、第２実施形態では、一つの撮像投影装置１０を使用するためである。また、移動手段制御部１１２は、上述した調整手段としての移動機構３０及び首振り機構４０を制御する機能を有し、当該移動手段制御部１１２は全体制御部１１０によって制御される。
【００４６】
次に、第２実施形態に係る遠隔指示システムの初期調整について図１１及び図１２を参照して説明する。図１１は、第２実施形態における遠隔指示システムの初期調整を示すフローチャートであり、図１２は、校正スクリーン６０に投影される校正パターン画像ＰＩＭを説明するための図である。
【００４７】
まず、当該遠隔指示システムを設置する作業者は、図１２に示すように対象物２０を設置すべき位置に校正スクリーン６０を設置する。当該校正スクリーン６０に向けて、撮像投影装置１０を配置して、校正パターン画像ＰＩＭの投影の準備を行う。さらに、撮像投影装置１０を回転動作させる際の刻みとなる回転ステップ情報をサーバ１００に入力する。
【００４８】
次に、サーバ１００は、首振り機構４０の動作を初期化させる（ステップＳ２１）。当該初期化によって、例えば、プロジェクタ１２の投影領域が広角カメラ１３の広域撮像領域ＷＡＣの左上側となるように首振り機構４０が設定される。このように首振り機構４０が設定されることで、以降で行われる広角カメラ１３による位置情報の取得がスムーズになる。
【００４９】
次に、サーバ１００は、校正スクリーン６０に向けてプロジェクタ１２に校正パターン画像ＰＩＭを投影させるとともに、首振り機構４０の動作を制御する（ステップＳ２２）。首振り機構４０は、広角カメラ１３の広域撮像領域ＷＡＣ内にプロジェクタ１２の投影領域を重ねるように動作する。具体的には、まず、プロジェクタ１２は、図１２（ａ）に示すように、広角カメラ１３の広域撮像領域ＷＡＣの左上の位置に校正パターン画像ＰＩＭを投影する。すなわち、当該位置が、Ｓ２１の処理で説明した初期化によって設定された位置に該当する。
【００５０】
サーバ１００は、校正パターン画像ＰＩＭが校正スクリーン６０に投影されると、広角カメラ１３に当該校正パターン画像ＰＩＭを撮像させると共に、校正パターン画像ＰＩＭの投影された位置を位置情報（位置データ）として取得する（ステップＳ２３）。ステップＳ２２及びステップＳ２３の処理は、首振り機構４０が全画角で完了するまで行われる（ステップＳ２４）。
【００５１】
したがって、図１２（ａ）に示す校正パターン画像ＰＩＭの位置情報をサーバ１００が取得した後、首振り機構４０は、サーバ１００に入力された回転ステップ情報に基づいて、次の画角まで動作し、サーバ１００はプロジェクタ１２に、図１２（ｂ）に示す位置に校正パターン画像ＰＩＭを投影させる。以後、図１２（ｃ）から図１２（ｆ）に示す順に校正パターン画像ＰＩＭを校正スクリーン６０に投影するように、首振り機構４０が回転ステップ情報に基づき動作し、サーバ１００は、広角カメラ１３に、その都度、校正パターン画像ＰＩＭを撮像させ、当該校正パターン画像ＰＩＭの位置情報を取得する。
【００５２】
サーバ１００は、プロジェクタ１２の全視野（画角）における校正パターン画像ＰＩＭの位置情報の取得を検知すると、各回転位置における校正パラメータ及びオーバーラップ情報を算出する（ステップＳ２５）。さらに、ステップＳ２５の処理で算出した校正パラメータ及びオーバーラップ情報に基づき、広角カメラ１３の撮像領域の位置情報とプロジェクタ１２の投影領域の位置情報との変換パラメータを算出する。当該変換パラメータは、対象物２０にアノテーション画像ＡＮを投影する際に使用される。
【００５３】
このように、撮像投影装置１０について、校正パラメータ、オーバーラップ情報、変換パラメータを取得することによって、遠隔指示システムの設置及び初期調整が完了する。
【００５４】
続いて、第２実施形態に係る遠隔指示システムのアノテーション画像の投影について図１３及び図１４を参照して説明する。
【００５５】
図１３は、アノテーション画像ＡＮを投影するサーバ１００の処理の一例を示すフローチャートである。サーバ１００は、まず、遠隔端末３００から広角カメラ１３の撮像画像に基づく指示に応じたアノテーション画像ＡＮの描画コマンドを受信したか否かについて判定する（ステップＳ３１）。なお、撮像画像は、広角カメラ１３による撮像画像でなく、撮像投影装置１０のビデオカメラ１１が首振り機構４０等によって移動したながら撮像した対象物２０の撮像画像を合成して全体撮像画像として遠隔端末３００に送信するようにしてもよい。当該判定は、描画コマンドを受信するまで行われる。そして、サーバ１００が描画コマンドを受信すると、上述した変換パラメータによってアノテーション画像ＡＮの形状を校正する（ステップＳ３２）。
【００５６】
すなわち、広角カメラ１３等の撮像画像に基づく指示に応じたアノテーション画像ＡＮの描画コマンドが遠隔端末３００からサーバ１００に送信されるが、当該指示に基づいてサーバ１００が各プロジェクタ１２からアノテーション画像ＡＮを投影させると、上述した投影領域の重なり等が考慮されず、対象物２０に投影されたアノテーション画像ＡＮは不正確な位置に投影されたり、不正確な形状となったりする等、遠隔端末３００から指示したアノテーション画像ＡＮと異なる形状になる可能性がある。
【００５７】
したがって、サーバ１００は、受信したアノテーション画像ＡＮに対し、正確な形状でアノテーション画像ＡＮを投影するように、対象物２０に投影される位置情報を変換する。そして、サーバ１００は、移動機構３０と首振り機構４０を動作させながら、図１４に示すように、撮像投影装置１０のプロジェクタ１２が位置情報の変換されたアノテーション画像ＡＮを移動させながら対象物２０に投影する（ステップＳ３３）。
【００５８】
このように、プロジェクタ１２の投影領域ＡＲにオーバーラップＯＬ等があっても、アノテーション画像ＡＮが投影される際には、そのオーバーラップＯＬ等によって生じるアノテーション画像ＡＮのずれが変換パラメータによって変換され、アノテーション画像ＡＮの位置情報を正確に校正することができる。そのため、撮像投影装置１０を手作業で設置することによって生じる投影領域ＡＲの重なりに対して、画素オーダーでの位置合わせが可能となる。
【００５９】
また、首振り機構４０によって設定されたプロジェクタ１２の投影角度と対象物２０との角度が垂直でない場合、すなわち、首振り角度が２軸ともに０°でない角度である場合、投影される位置によっては、投影領域ＡＲが歪んだ矩形になるが、このような関係の校正は、数学的に容易な既知の手法により校正することができる。さらに、第２実施形態によれば、第１実施形態と比較して、複数の撮像投影装置を使用しない点において、遠隔指示システムの費用を低減することができる。
【００６０】
（第３実施形態）
次に、本発明の第３実施形態に係る遠隔指示システムについて説明する。
図１５及び図１６は本発明の第３実施形態に係る遠隔指示システムの構成図である。この遠隔指示システムでは、図１５及び図１６に示すように、サーバ１００に一つの撮像投影装置１０が形成されている。撮像投影装置１０には、第１実施形態で説明した撮像投影装置１０と同様に、ビデオカメラ１１及びプロジェクタ１２等が形成される。
【００６１】
また、撮像投影装置１０には、第２実施形態と同様に、広角カメラ１３が形成される。広角カメラ１３は、対象物２０の全体を撮像する機能を有する。広角カメラ１３によって撮像された撮像画像は、サーバ１００に取り込まれ、遠隔端末３００に送信される。遠隔端末３００では、受信した広角カメラ１３の撮像画像が表示装置３２０の表示画面３２１に表示される。
【００６２】
さらに、撮像投影装置１０は、移動手段として、ミラー５０とミラー５０を回転させて画像の投影角度を調整する調整機構５５とが形成される。ミラー５０は、プロジェクタ１２から投影される校正パターン画像ＰＩＭやアノテーション画像ＡＮを対象物２０に向けて反射する機能を有する。そして、ミラー５０は、プロジェクタ１２の光軸方向の垂直方向を軸に、２軸で回転する機能を有する。
【００６３】
すなわち、第２実施形態においては、サーバ１００は、プロジェクタ１２から投影されるアノテーション画像ＡＮを、移動機構３０及び首振り機構４０によって対象物２０に投影させていたが、第３実施形態では、サーバ１００が、ミラー５０を動作させることによって、プロジェクタ１２から投影されるアノテーション画像ＡＮを対象物２０に投影させることができる。
【００６４】
次に、第３実施形態に係る遠隔指示システムの初期調整について図１７を参照して説明する。図１７は、第３実施形態における遠隔指示システムの初期調整を示すフローチャートである。なお、校正スクリーン６０に投影される校正パターン画像ＰＩＭについては、図１２と同様であるため、その説明を省略する。
【００６５】
まず、当該遠隔指示システムを設置する作業者は、対象物２０を設置すべき位置に校正スクリーン６０を設置する。当該校正スクリーン６０に向けて、撮像投影装置１０を配置して、校正パターン画像ＰＩＭの投影の準備を行う。さらに、ミラー５０を回転動作させる際の刻みとなる回転ステップ情報をサーバ１００に入力する。
【００６６】
次に、サーバ１００は、調整機構５５の動作を制御し、ミラー５０の動作を初期化させる（ステップＳ４１）。当該初期化によって、例えば、プロジェクタ１２の投影領域が広角カメラ１３の広域撮像領域ＷＡＣの左上側に配置されるように調整機構５５が設定される。このようにミラー５０が設定されることで、以降で行われる広角カメラ１３による位置情報の取得がスムーズになる。
【００６７】
次に、サーバ１００は校正スクリーン６０に向けてプロジェクタ１２に校正パターン画像ＰＩＭを投影させるとともに、調整機構５５を動作させる（ステップＳ４２）。調整機構５５の動作によって回転動作するミラー５０は、広角カメラ１３の広域撮像領域ＷＡＣ内にプロジェクタ１２の投影領域を重ねるように動作する。
【００６８】
校正パターン画像ＰＩＭが校正スクリーン６０に投影されると、サーバ１００は、広角カメラ１３に当該校正パターン画像ＰＩＭを撮像させると共に、校正パターン画像ＰＩＭの投影された位置を位置情報（位置データ）として取得する（ステップＳ４３）。ステップＳ４２及びステップＳ４３の処理は、ミラー５０が全画角で完了するまで行われる（ステップＳ４４）。
【００６９】
サーバ１００は、プロジェクタ１２の全視野（画角）における校正パターン画像ＰＩＭの位置情報の取得を検知すると、各回転位置における校正パラメータ及びオーバーラップ情報を算出する（ステップＳ４５）。さらに、ステップＳ４５の処理で算出した校正パラメータ及びオーバーラップ情報に基づき、広角カメラ１３の撮像領域の位置情報とプロジェクタ１２の投影領域の位置情報との変換パラメータを算出する（ステップＳ４６）。当該変換パラメータは、対象物２０にアノテーション画像ＡＮを投影する際に使用される。
【００７０】
続いて、第３実施形態に係る遠隔指示システムのアノテーション画像の投影について図１８を参照して説明する。なお、対象物２０に投影されるアノテーション画像ＡＮについては、図１４と同様であるため、その説明を省略する。
【００７１】
図１８は、アノテーション画像ＡＮを投影するサーバ１００の投影動作を示すフローチャートである。サーバ１００は、まず、遠隔端末３００から広角カメラ１３の撮像画像に基づく指示に応じたアノテーション画像ＡＮの描画コマンドを受信したか否かについて判定する（ステップＳ５１）。当該判定は、描画コマンドを受信するまで行われる。そして、サーバ１００が描画コマンドを受信すると、上述した変換パラメータによってアノテーション画像ＡＮの形状を校正する（ステップＳ５２）。
【００７２】
すなわち、広角カメラ１３の撮像画像に基づく指示に応じたアノテーション画像ＡＮの描画コマンドが遠隔端末３００からサーバ１００に送信されるが、当該指示に基づいてサーバ１００が各プロジェクタ１２からアノテーション画像ＡＮを投影させると、第２実施形態で図１２を参照して説明した投影領域のオーバーラップ等が考慮されず、対象物２０に投影されたアノテーション画像ＡＮは不正確な位置に投影されたり、不正確な形状となったりする等、遠隔端末３００から指示した広域アノテーション画像ＡＮと異なる形状になる可能性がある。
【００７３】
したがって、サーバ１００は、受信したアノテーション画像ＡＮに対し、正確な形状でアノテーション画像ＡＮを投影するように、対象物２０に投影される位置情報を変換する。そして、サーバ１００は、調整機構５５を動作させながら、図１４に示すように、撮像投影装置１０のプロジェクタ１２が位置情報の変換されたアノテーション画像ＡＮを対象物２０に投影される（ステップＳ５３）。
【００７４】
このように、プロジェクタ１２の投影領域ＡＲにオーバーラップＯＬ等があっても、アノテーション画像ＡＮが投影される際には、そのオーバーラップＯＬ等によって生じるアノテーション画像ＡＮのずれが変換パラメータによって変換され、アノテーション画像ＡＮの位置情報を正確に校正することができる。そのため、撮像投影装置１０を手作業で設置することによって生じる投影領域ＡＲの重なりに対して、画素オーダーでの位置合わせが可能となる。また、ミラー５０とそのミラー５０を回転動作させる調整機構５５を設けることによって、対象物２０にアノテーション画像を投影させることができるため、撮像投影装置１０全体を動作させるズーム機構３０及び首振り機構４０を使用する第２実施形態に比べて、装置全体の小型化が図れる。
【産業上の利用可能性】
【００７５】
以上説明したように、本発明によれば、対象物が撮像手段の撮像領域を超えていても、対象物の全体が撮像可能となり、さらに、当該撮像画像に基づく適確なアノテーション画像の投影が可能となるため産業上の利用可能性が高い。
【図面の簡単な説明】
【００７６】
【図１】第１実施形態に係る遠隔指示システムの構成図である。
【図２】第１実施形態に係る遠隔指示システムを側面から見た構成図である。
【図３】第１実施形態に係るサーバの機能ブロック図である。
【図４】第１実施形態に係る遠隔指示システムの初期調整のフローチャートである。
【図５】校正スクリーンに投影される校正パターン画像を説明するための図である。
【図６】アノテーション画像の投影処理を示すフローチャートである。
【図７】対象物に投影されるアノテーション画像を説明するための図である。
【図８】第２実施形態に係る遠隔指示システムの構成図である。
【図９】第２実施形態に係る遠隔指示システムを側面から見た構成図である。
【図１０】第２及び第３の実施形態に係るサーバの機能ブロック図である。
【図１１】第２実施形態に係る遠隔指示システムの初期調整のフローチャートである。
【図１２】校正スクリーンに投影される校正パターン画像を説明するための図である。
【図１３】アノテーション画像の投影処理を示すフローチャートである。
【図１４】対象物に投影されるアノテーション画像を説明するための図である。
【図１５】第３実施形態に係る遠隔指示システムの構成図である。
【図１６】第３実施形態に係る遠隔指示システムを側面から見た構成図である。
【図１７】第３実施形態に係る遠隔指示システムの初期調整のフローチャートである。
【図１８】アノテーション画像の投影処理を示すフローチャートである。
【符号の説明】
【００７７】
１０  撮像投影装置
１１  ビデオカメラ
１２  プロジェクタ
１３  広角カメラ
１４  ハーフミラー
１８  位置ずれ
２０  対象物
３０  移動機構
４０  首振り機構
５０  ミラー
５５  調整機構
６０  校正スクリーン
１００  サーバ
１０１  第１の画像取得部
１０２  投影手段制御部
１０３  第２の画像取得部
１０４  記憶部
１０５  校正パラメータ算出部
１０６  校正パラメータ記憶部
１０７  オーバーラップ情報算出部
１０８  オーバーラップ情報記憶部
１０９  変換パラメータ算出部
１１０  全体制御部
１１１  送受信部
１１２  移動手段制御部
２００  ネットワーク
３００  遠隔端末
３１０  コンピュータ
３２０  表示装置
３２１  表示画面
３３０  ポインティングデバイス（マウス）
ＡＮ  アノテーション画像
ＷＡＮ  広域アノテーション画像
ＡＲ  投影領域
ＷＡＰ  広域投影領域
ＷＡＣ  広域撮像領域
ＰＩＭ、ＰＩＭ１〜６  校正パターン画像
ＯＬ  オーバーラップ
【図１】
2008028482.tif 000003
【図２】
2008028482.tif 000004
【図３】
2008028482.tif 000005
【図４】
2008028482.tif 000006
【図５】
2008028482.tif 000007
【図６】
2008028482.tif 000008
【図７】
2008028482.tif 000009
【図８】
2008028482.tif 000010
【図９】
2008028482.tif 000011
【図１０】
2008028482.tif 000012
【図１１】
2008028482.tif 000013
【図１２】
2008028482.tif 000014
【図１３】
2008028482.tif 000015
【図１４】
2008028482.tif 000016
【図１５】
2008028482.tif 000017
【図１６】
2008028482.tif 000018
【図１７】
2008028482.tif 000019
【図１８】
2008028482.tif 000020