(57)【特許請求の範囲】
【請求項１】
ネットワーク通信部を介して端末から受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、
入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む支援情報を前記端末に送信する
処理をコンピュータが行う画像生成方法。
【請求項２】
前記コンピュータが、
前記第１の画像内においてオブジェクトを含む第１の探索エリアと、前記第２の画像内において該オブジェクトを含む第２の探索エリアとを予測し、
前記第１の探索エリアに含まれる前記第１のオブジェクト位置と、前記第２の探索エリアに含まれる前記第２のオブジェクト位置の前記相対位置関係を算出する
処理を行う請求項１記載の画像生成方法。
【請求項３】
前記コンピュータが、
前記第１の姿勢情報に基づいて該第１の画像を変形させ、
前記第２の姿勢情報に基づいて該第２の画像を変形させて、前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして前記第３の画像を生成することを特徴とする請求項１又は２記載の画像生成方法。
【請求項４】
前記第１の姿勢情報及び前記第２の姿勢情報の少なくとも１つは、前記第１の画像と前記第２の画像を撮像した撮像装置の位置及び姿勢を３次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合して得た融合姿勢情報で示されることを特徴とする請求項１乃至３のいずれか一項記載の画像生成方法。
【請求項５】
端末と装置とがネットワークを介して接続され、遠隔支援を行うシステムであって、
前記端末は、
撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して前記装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部を有し、
前記装置は、
前記端末から受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、
入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む前記支援情報を前記端末に送信する遠隔支援処理部を有する
ことを特徴とするシステム。
【請求項６】
ネットワーク通信部を介して端末から受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、
入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む支援情報を前記端末に送信する遠隔支援処理部を有する
ことを特徴とする遠隔支援装置。
【請求項７】
撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部
を有することを特徴とする端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成技術に関する。
【背景技術】
【０００２】
遠隔にいる作業員が装着した小型カメラから送信された画像に対して行った指示情報を、画像に重畳させて、作業員が装着したＨＭＤ（Head-Mounted Display）に表示させて作業指示を行う技術が知られている。
【０００３】
例えば、作業員毎の瞳の位置の違いによるずれを調整した表示領域に、現実の光学像における対象部位に、作業すべき部位を指示する指標を重ねて表示させる技術、作業対象物が視界に入っていないと判断した場合に、撮像データに基づいて、作業対象物が含まれる静止画像が作業員が装着した表示部に表示させる技術等が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１２４７９５号公報
【特許文献２】特開２０１２−１８２７０１号公報
【非特許文献】
【０００５】
【非特許文献１】Kuzuoka, Hideaki and Kosuge, Toshio and Tanaka, Masatomo, "GestureCam: A video communication system for sympathetic remote collaboration", 1994
【非特許文献２】蔵田武志、大隈隆史、興梠正克、加藤丈和、坂上勝彦、「VizWear: コンピュータビジョンとウェアラブルディスプレイによる人間中心インタラクション」、2001
【非特許文献３】加藤博一、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、１９９９
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術における作業員側から送られてくる画像は、視野範囲が狭く、また、作業員の頭部の動きによって画像が上下左右に揺れる場合がある。そのため、指示を送る側の指示者にとって、作業現場の全貌を把握することが難しいといった問題がある。指示者がより適切な指示を行うためにも、作業現場の全貌を把握できるような画像をリアルタイムで提供できることが望ましい。
【０００７】
したがって、１つの側面では、本発明は、移動する装置を用いたパノラマ画像を高速に生成することを目的とする。
【課題を解決するための手段】
【０００８】
一態様によれば、ネットワーク通信部を介して端末から受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む支援情報を前記端末に送信する処理をコンピュータが行う画像生成方法が提供される。
【０００９】
また、上記課題を解決するための手段として、上記方法を行う装置、コンピュータに上記処理を実行させるためのプログラム、及び、そのプログラムを記憶した記憶媒体とすることもできる。
【発明の効果】
【００１０】
移動する装置を用いたパノラマ画像を高速に生成することができる。
【図面の簡単な説明】
【００１１】
【図１】遠隔作業支援の一例を説明するための図である。
【図２】一般的な作業フローの例を示す図である。
【図３】本実施形態における作業支援方法を説明するための図である。
【図４】システムのハードウェア構成を示す図である。
【図５】第１の全体機能構成を示す図である。
【図６】図５の第１の全体機能構成における第１の機能構成を示す図である。
【図７】図６の第１の機能構成の詳細な機能構成を示す図である。
【図８】パノラマ画像生成の一般的な原理を示す図である。
【図９】一般的なパノラマ画像生成方法を説明するための図である。
【図１０】マーカー可視範囲の例を示す図である。
【図１１】システムにおけるパノラマ画像の表示処理を説明するためのフローチャート図である。
【図１２】座標変換を説明するための図である。
【図１３】ＩＭＵを用いて位置及び姿勢情報を取得する一般的な構成を示す図である。
【図１４】融合フィルタの構成例を示す図である。
【図１５】円柱への投影を説明するための図である。
【図１６】球面への投影を説明するための図である。
【図１７】特徴点マップを説明するための図である。
【図１８】作業員の頭部の動きに基づく、パノラマ画像の表示方法を説明するための図である。
【図１９】パノラマ画像生成処理の高速化を説明するための図である。
【図２０】左右の動きに応じたパノラマ画像の例を示す図である。
【図２１】指示の提示方法を説明するための図である。
【図２２】作業員を指示対象物へと誘導する誘導方法を説明するための図である。
【図２３】第２の全体機能構成を示す図である。
【図２４】プレイスサーバの機能構成を示す図である。
【図２５】パノラマ画像の生成開始直後の時刻Ｔ１における画像例を示す図である。
【図２６】時刻Ｔ１後の時刻Ｔ２における画像例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面に基づいて説明する。現在、作業現場では、労働力不足、現場技術者の育成などの課題に直面している。業務の効率化のために、指示者、専門家等の熟練者が遠隔地の情景を的確に把握しながら、遠隔地間で新人等の未熟な作業員と意図した通りのインタラクションを取ることで、協調的に作業を完遂できるような遠隔協調作業支援システムの実現が期待されている。
【００１３】
近年、スマートデバイス、ウェアラブル技術、及び無線通信技術の進化により、ウェアラブルデバイスを用いた遠隔作業支援システムが注目されている。一例として、スマートデバイスにヘッドマウントディスプレイ（ＨＭＤ）とヘッドマウントカメラ（ＨＭＣ）とを接続し、協働して作業する現場の作業員と遠隔にいる指示者との間を無線ネットワークで繋げて、現場作業員側の実作業空間の状況を映像と音声で伝送するとともに、指示者からの指示を視覚アノテーションでＨＭＤに表示させる。
【００１４】
図１は、遠隔作業支援の一例を説明するための図である。図１において、作業現場に居る作業員２は、作業員端末２０ｔと、表示デバイス２１ｄと、カメラ２１ｃとを装着して現場の状況を指示者１へ伝達し、指示者１は、指示者装置１０ｔを操作して、作業員２へ指示を伝達する。
【００１５】
作業員端末２０ｔは、スマートデバイス等の情報処理端末であり、通信機能等を有する。表示デバイス２１ｄは、例えば、ＨＭＤであり、ウェアラブルな音声の入出力可能な表示装置である。
【００１６】
カメラ２１ｃは、例えば、ＨＭＣであり、ウェアラブルなＣＣＤ（Charge Coupled Device）等の小型カメラである。
【００１７】
表示デバイス２１ｄ及びカメラ２１ｃとは、作業員２の頭部に装着され、近距離無線通信等により作業員端末２０ｔと通信可能な装置である。
【００１８】
作業現場にて、作業員２のカメラ２１ｃが撮像した現場の環境を示すカメラ画像２ｃが、作業員端末２０ｔから指示者端末１０ｔへと送信される。カメラ画像２ｃは、指示者端末１０ｔに表示される。
【００１９】
指示者１は、表示されたカメラ画像２ｃ上で指示内容１ｅを入力すると、指示データ１ｄが作業員端末２０ｔへ送信される。作業員端末２０ｔは、指示データ１ｄを受信すると、カメラ画像２ｃと指示内容１ｅとを合成した画像を表示デバイス２１ｄに表示する。
【００２０】
一方、作業員２と指示者１とは、音声通話が可能であり、作業員端末２０ｔと指示者端末１０ｔとの間で音声ストリーム配信が行われる。
【００２１】
このうような遠隔作業支援の一般的な作業フローについて図２で説明する。図２は、一般的な作業フローの例を示す図である。図２において、先ず、作業員２が、作業支援を要請することで、指示者１では作業支援を開始するため、作業員２と指示者１との間で作業開始の同期が行われる（フェーズ０）。現場のカメラ画像２ｃ等を指示者１の指示者端末１０ｔで受信が開始され、支援の準備が整う。
【００２２】
作業支援が開始されると、作業員２による現場作業における課題が説明される（フェーズ１）。作業員２の説明、及び、現場のカメラ画像２ｃにより、指示者１は、現場の課題を理解する。フェーズ１では、現場の状況がより正確にかつ迅速に指示者１に伝達されることが望ましい。
【００２３】
現場の状況、即ち、現場作業環境が、作業員２と指示者１との間で共有されると、指示者１は、指示者端末１０ｔに表示されたカメラ画像２ｃに対して、課題を解決するための現場での作業対象を指定する（フェーズ２）。フェーズ２では、作業対象が現場における作業員２との位置関係において、精度良くポインティングされることが望ましい。
【００２４】
作業員２の表示デバイス２１ｄで作業対象が特定された後、指示者１から解決方法の説明が行われ、作業員２は、作業手順の理解及び確認を行う（フェーズ３）。解決方法の説明は、指示内容の表示と、音声とにより行われる。フェーズ３では、作業員２に作業手順を正確に提示し、作業員２の作業手順の理解を容易に行なえることが望まれる。
【００２５】
作業員２が作業手順を理解し確認できると、現場での作業が行われる。作業員２の作業中には、指示者１は、作業員端末２０ｔから送信されるカメラ画像２ｃ等を確認しながら、現場作業を確認し、必要に応じて作業の調整を指示する（フェーズ４）。フェーズ４では、作業員２に対する作業調整の指示が、作業員２の作業に対して遅延なく即座に行え、正確に伝達されることが望まれる。調整指示毎に、フェーズ３及びフェーズ４が繰り返される。
【００２６】
作業が終了すると、作業員２と指示者１との間で、現場作業の終了確認が行われる（フェーズ５）。最終確認が作業員２と指示者１とで行われることで、現場作業の終了となる。
【００２７】
ここで、フェーズ１及びフェーズ２について考察する。非特許文献１を参照することで、指示者１側において、カメラ画像２ｃが表示された表示部に対して、指示者１が作業対象をポインティングする様子を指示者１側のカメラが撮像して、作業員２の頭部に装着した表示デバイス２１ｄに表示させることが考えられる。フェーズ１における同じ視野を共有することができるため、作業員２の目前の現場状況を知り得る。
【００２８】
しかしながら、カメラ画像２ｃは、作業員２の頭部のカメラ２１ｃの視点に基づく画像であるため、指示者１が見える範囲は、カメラ２１ｃの視角、及び、作業員２の頭部の向きに依存してしまう。従って、指示者１からは、作業現場の全貌を把握するのは困難である。
【００２９】
フェーズ２については、指示者１が作業員２のカメラ２１ｃに指示しようとしても、作業員２の頭部の向きを誘導し、固定してもらう必要がある。そして、同じ視野を共有する利点はあるものの、指示者１が作業員２に対して視野外の指示を精度良く行うのは困難である。
【００３０】
次に、フェーズ２に関して、非特許文献２を適用した場合について考察する。非特許文献２を参照することで、参照用の作業現場のパノラマ画像に対して提示する情報を事前に設定しておくことで、ウェアラブルコンピュータからカメラ画像２１ｃを受信し、パノラマ画像において受信したカメラ画像２１ｃが相当する部分を検出して、情報を作業員２の表示デバイス２１ｄに表示させることが考えられる。
【００３１】
作業現場のパノラマ画像は作業現場の全容を示す画像ではあるが、現在の作業現場を示す画像ではない。また、事前に設定した情報が作業員２の表示デバイス２１ｄに表示されるため、指示者１とのインタラクションがなく、また、リアルタイムなポインティングは実現されない。
【００３２】
パノラマ画像は事前に用意されるため、現場の環境の変化に対応できない。従って、遠隔からのＡＲ（拡張現実感：Augmneted Reality）指示を実現できない。
【００３３】
上述より、現場の作業員２のカメラ画像をライブ動画としてそのまま指示者１側へ送信することは可能であるが、以下の課題が存在する。
・指示者１側が見える範囲はカメラ２１ｃの視角、作業員２の頭部の向きに依存するため、現在の作業現場の全貌を把握しにくい。
・指示者１側が作業員２の表示デバイス２１ｄに指示情報を表示させようとしても、指示者１は、作業員２の頭部の向きを先ず誘導し、作業員２に固定してもらう必要がある。
・視野外の指示を行うためには、指示者１は、作業員２に頭部の向きを変えるように指示を行い、対象物を探さなくてはならない。
・更に、複数のカメラ画像２ｃを合成して生成したパノラマ画像に指示情報を貼り付けることが考えられるが、指示情報が貼り付けられた画像を作業員２に送信して表示デバイス２１ｄに表示させなければ指示を伝えることができない。この方法では、作業員２は、指示者１側から送られてきた画像と、現場とを見比べる必要があり、効率が悪く、また、通信の負荷も大きい。
【００３４】
本実施形態では、現場に基準点を定め、基準点を中心としてパノラマ画像を作成する。このようにして作成されたパノラマ画像に対して、指示者１がポインティングすると、基準点からの相対座標と、指示者１が入力した指示情報そのものとを作業員端末２に提供する。従って、通信負荷を低減できる。
【００３５】
また、作業員端末２０ｔで受信した指示情報を相対座標に基づいて、現在のカメラ画像２ｃに重畳（ＡＲ重畳）させて表示デバイス２１ｄに表示することで、指示者１から作業員２に直感的に効率よく遠隔指示を行う。
【００３６】
図３は、本実施形態における作業支援方法を説明するための図である。図３に示す本実施形態におけるシステム１００１では、作業現場７に基準点となる位置にマーカー７ａが備えられる。マーカー７ａは、基準点であることを示す参照物であり、カメラ２１ｃで撮影されたカメラ画像２ｃから位置及び作業員２の姿勢を特定できる情報を有する。例えば、ＡＲマーカー等を利用すれば良いが、ＡＲマーカーに限定しない。
【００３７】
作業員２のカメラ２１ｃがマーカー７ａを含む周辺を撮像後には、指示者１側の遠隔支援装置１０１によって、作業員端末２０１から受信した複数のカメラ画像２ｃをパノラマ画像４へと変換する。
【００３８】
遠隔支援装置１０１では、画像解析によりマーカー７ａを検出して基準点を定める。複数のカメラ画像２ｃを基準点に基づいて配置させ、各カメラ画像２ｃ内の特徴点に基づいてカメラ画像２ｃを重ね合わせることで、パノラマ画像４を生成する。
【００３９】
また、基準点をカメラ画像２ｃから画像認識することで、作業員２の視線方向を算出でき、作業員２の頭部の位置及び姿勢に係る情報を得ることができる。
【００４０】
本実施形態における作業支援方法の概要について説明する。本実施形態では、作業員端末２０１から、姿勢情報２ｂ（図６）とカメラ画像２ｃとに基づいて生成した融合姿勢情報２ｅ、及び、カメラ２１ｃが撮像したカメラ画像２ｃとがリアルタイムで遠隔支援装置１０１へ配信される。遠隔支援装置１０１からは、指示者１がパノラマ画像４上でポインティングして入力した指示情報２ｆがリアルタイムで作業員端末２０１へ配信される。また、作業員２と指示者１との音声情報２ｖもリアルタイムで互いに配信される。
【００４１】
姿勢情報２ｂ（図６）は、遠隔支援装置１０１にて計測された作業員２の凡その姿勢の方向及び傾きを示す。融合姿勢情報２ｅは、姿勢情報２ｂ（図６）と、カメラ画像２ｃとに基づいて生成された情報であり、詳細は後述される。
【００４２】
カメラ画像２ｃは、カメラ２１ｃが撮像した画像であり、時間的に連続して撮像された複数のカメラ画像２ｃのストリームにより映像として配信される。指示情報２ｆは、作業員２への指示、助言等に係る支援情報に相当し、文字、記号等で表現した指示内容２ｇ（図６）と、指示者１がパノラマ画像４上でポインティングした位置をマーカー７ａに対する相対座標２ｈ（図６）の情報を含む。
【００４３】
本実施形態における遠隔支援装置１０１は、作業員端末２から受信した融合姿勢情報２ｂに基づいて、リアルタイムに視角変換を行い、カメラ画像２ｃの画像解析によって特定したマーカー７ａの情報に基づいて作業員２の周辺シーンを描画する。描画された周辺シーンは、遠隔支援装置１０１にパノラマ画像４として表示される。
【００４４】
パノラマ画像４は、リアルタイム配信されたカメラ画像２ｃを視角変換し、マーカー７ａの位置に対する相対位置に基づいて、カメラ画像２ｃを上書きするように描画された画像である。従って、パノラマ画像４は、過去のカメラ画像２ｃの一部を残しつつ、作業員２の現在の視線方向のカメラ画像２ｃを表示した画像である。
【００４５】
パノラマ画像４は、現在の作業員２の視線方向のカメラ画像２ｃのみならず、過去の作業員２の視線方向のカメラ画像２ｃを部分的に残して表示するため、指示者１は、作業員２の周辺の環境に関して、より多く情報を得ることができる。また、指示者１は、パノラマ画像４上で、現在の作業員２の視野外の対象物を的確にポインティングすることができる。
【００４６】
指示者１のパノラマ画像４上での操作は、リアルタイムで、作業員端末２０１へ送信され、指示情報２ｆに基づいて、表示デバイス２１ｄに指示内容２ｇが表示される。指示内容２ｇは、現実に見えている作業現場のシーンと重なって表示デバイス２１ｄに表示され、作業員２は、操作する対象物を精度良く認識することができる。
【００４７】
また、指示者１は、作業員２と現場状況を精度よく共有でき、あたかも、現場にいるかのように作業現場７を理解することができる。そのような観点において、指示者１は、あたかも実際に作業現場７で作業員２に指示する仮想指示者１ｖに相当する。
【００４８】
図４は、システムのハードウェア構成を示す図である。図４において、遠隔支援装置１０１は、ＣＰＵ（Central Processing Unit）１１１と、メモリ１１２と、ＨＤＤ（Hard Disk Drive）１１３と、入力装置１１４と、表示装置１１５と、音声入出力装置１１６と、ネットワーク通信部１１７と、ドライブ装置１１８と、を有する。
【００４９】
ＣＰＵ１１１は、メモリ１１２に格納されたプログラムに従って遠隔支援装置１０１を制御する。メモリ１１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ１１１にて実行されるプログラム、ＣＰＵ１１１での処理に必要なデータ、ＣＰＵ１１１での処理にて得られたデータ等を記憶又は一時保存する。
【００５０】
ＨＤＤ１１３は、補助記憶装置として利用され、各種処理を実行するためのプログラム等のデータを格納する。ＨＤＤ１１３に格納されているプログラムの一部がメモリ１１２にロードされ、ＣＰＵ１１１に実行されることによって、各種処理が実現される
入力装置１１４は、マウス等のポインティングデバイス、キーボード等を有し、指示者１が遠隔支援装置１０１による処理に必要な各種情報を入力するために用いられる。表示装置１１５は、ＣＰＵ１１１の制御のもとに必要な各種情報を表示する。入力装置１１４と表示装置１１５とは、一体化したタッチパネル等によるユーザインタフェースであってもよい。
【００５１】
音声入出力装置１１６は、音声を入力するマイクロフォン及び音声を出力するスピーカを有する。ネットワーク通信部１１７は、有線又は無線などのネットワークを通じて通信を行う。ネットワーク通信部１１７による通信は無線又は有線に限定されるものではない。 
遠隔支援装置１０１によって行われる処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）等の記憶媒体１１９によって遠隔支援装置１０１に提供される。
【００５２】
ドライブ装置１１８は、ドライブ装置１１８にセットされた記憶媒体１１９（例えば、ＣＤ−ＲＯＭ等）と遠隔支援装置１０１とのインターフェースを行う。
【００５３】
また、記憶媒体１１９に、後述される本実施の形態に係る種々の処理を実現するプログラムを格納し、この記憶媒体１１９に格納されたプログラムは、ドライブ装置１１８を介して遠隔支援装置１０１にインストールされる。インストールされたプログラムは、遠隔支援装置１０１により実行可能となる。
【００５４】
尚、プログラムを格納する記憶媒体１１９はＣＤ−ＲＯＭに限定されず、コンピュータが読み取り可能な、構造（structure）を有する１つ以上の非一時的（non-transitory）な、有形（tangible）な媒体であればよい。コンピュータ読取可能な記憶媒体として、ＣＤ−ＲＯＭの他に、ＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。
【００５５】
作業員２は、作業員端末２０１と、表示デバイス２１ｄと、カメラ２１ｃとを装備する。作業員端末２０１は、ＣＰＵ２１１と、メモリ２１２と、ＲＴＣ（Real Time Clock）２１３と、ＩＭＵ（Inertial Measurement Unit）２１５と、短距離無線通信部２１６と、ネットワーク通信部２１７とを有する。
【００５６】
ＣＰＵ２１１は、メモリ２１２に格納されたプログラムに従って作業員端末２０１を制御する。メモリ２１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ２１１にて実行されるプログラム、ＣＰＵ２１１での処理に必要なデータ、ＣＰＵ２１１での処理にて得られたデータ等を記憶又は一時保存する。メモリ２１２に格納されているプログラムが、ＣＰＵ２１１に実行されることによって、各種処理が実現される。
【００５７】
ＲＴＣ２１３は、現在時刻を計測するデバイスである。ＩＭＵ（Inertial Measurement Unit）２１５は、慣性センサを有し、加速度計測及びジャイロ機能を有するデバイスであり、作業員２の姿勢を示す姿勢情報２ｂ（図６）を取得する。
【００５８】
短距離無線通信部２１６は、表示デバイス２１ｄ及びカメラ２１ｃの各々と短距離無線通信を行う。短距離無線通信は、Bluetooth（登録商標）等であればよい。ネットワーク通信部２１７は、ネットワークを介して無線通信によって、姿勢情報２ｂとカメラ画像２ｃとから生成された融合姿勢情報２ｅ、カメラ画像２ｄ等のデータを遠隔支援装置１０１へ送信し、また、遠隔支援装置１０１から指示情報２ｆを受信する。
【００５９】
表示デバイス２１ｄは、短距離無線通信機能と、音声入出力部とを有する、例えば、メガネ形状の頭部の視線方向に装着可能なウェアラブルタイプの表示装置である。表示デバイス２１ｄは、透過性の表示部を有し、作業員２は肉眼で視線方向の現実の光景を目視できることが望ましい。表示デバイス２１ｄは、作業員端末２０１から短距離無線通信によって受信した指示情報２ｆに含まれる指示内容２ｇを表示する。
【００６０】
カメラ２１ｃは、短距離無線通信機能を有する。カメラ２１ｃは、作業員２の頭部に装着されることで、作業員２の視線方向の映像を捕えて、短距離無線通信により作業員端末２０１へカメラ画像２ｃを送信する。カメラ２１ｃは、表示デバイス２１ｄと一体化された装置であってもよい。
【００６１】
図５は、第１の全体機能構成を示す図である。図５において、システム１００１の遠隔支援装置１０１は、主に、遠隔支援処理部１４２を有する。遠隔支援処理部１４２は、ＣＰＵ１１１が対応するプログラムを実行することによって実現される。
【００６２】
遠隔支援処理部１４２は、作業員端末２０１の作業支援処理部２７２とにおいて、遠隔支援に関して双方向で情報提供を行う。遠隔支援処理部１４２は、作業員端末２０１から得た融合姿勢情報２ｅ及びカメラ画像２ｃに基づいてパノラマ画像４を表示装置１１５に表示し、また、入力装置１１４から受信した指示者１のポインティングの位置座標に基づいて、指示情報２ｆを作業支援処理部２７２に送信する。
【００６３】
システム１００１の作業員端末２０１は、主に、作業支援処理部２７２を有する。作業支援処理部２７２は、ＣＰＵ２１１が対応するプログラムを実行することによって実現され、遠隔支援装置１０１の遠隔支援処理部１４２とにおいて、遠隔支援に関して双方向で情報提供を行う。作業支援処理部２７２は、ＩＭＵ２１５から姿勢情報２ｂ（図６）を取得し、カメラ２１ｃからカメラ画像２ｃを取得して融合姿勢情報２ｅを生成し、遠隔支援装置１０１の遠隔支援処理部１４２へ送信する。
【００６４】
作業支援処理部２７２は、遠隔支援装置１０１とで双方向で音声情報２ｖを送受信する。作業支援処理部２７２は、表示デバイス２１ｄから送信される音声情報２ｖを遠隔支援装置１０１へ送信し、遠隔支援装置１０１から受信した音声情報２ｖを表示デバイス２１ｄへ送信する。また、遠隔支援装置１０１の遠隔支援処理部１４２から指示情報２ｆを受信すると、作業支援処理部２７２は、指示情報２ｆで示される指示内容２ｇを指示情報２ｆで示される基準点に対する相対座標に基づいて表示デバイス２１ｄに表示する。
【００６５】
図６は、図５の第１の全体機能構成における第１の機能構成を示す図である。図６において、作業員２側の作業員端末２０１の作業支援処理部２７２は、遠隔にいる指示者１からの支援を得るために作業員２がいる現場の状況を指示者１の遠隔支援装置１０１へ提供し、指示者１が提供する指示内容２ｇを表示デバイス２１ｄに表示して、作業員２を支援する処理部であり、主に、現場シーン提供部２７３と、支援情報表示部２７５とを有する。
【００６６】
現場シーン提供部２７３は、現場シーン提供部２７３は、姿勢情報２ｂと、カメラ画像２ｃとから融合姿勢情報２ｅを生成して、ネットワーク通信部２１７を介して、遠隔支援装置１０１へ送信する処理部である。
【００６７】
現場シーン提供部２７３は、姿勢情報２ｂのストリームと、カメラ画像２ｃのストリームとを入力し、融合姿勢情報２ｅを生成する。融合姿勢情報２ｅは、ネットワーク通信部２１７を介して、指示者１側の遠隔支援装置１０１に送信される。現場シーン提供部２７３は、また、カメラ画像２ｃを、ネットワーク通信部２１７を介して、遠隔支援装置１０１に随時送信する。
【００６８】
支援情報表示部２７５は、ネットワーク通信部２１７を介して、遠隔支援装置１０１の遠隔支援処理部１４２から受信した指示情報２ｆに基づいて、指示内容２ｇを相対座標２ｈに基づいて表示デバイス２１ｄに表示する処理部である。
【００６９】
作業員端末２０１の通信ライブラリ２７９は、作業員端末２０１に実装された複数の処理部によって共通に利用可能であって、ネットワーク３ｎを介して通信を行うための種々の機能を提供し、各処理部とネットワーク通信部２１７とのインタフェースを行う。
【００７０】
指示者１側の遠隔支援装置１０１の遠隔支援処理部１４２は、主に、パノラマ画像生成部１４３と、支援情報作成部１４６とを有する。
【００７１】
パノラマ画像生成部１４３は、ネットワーク通信部１１７を介して受信した、時系列に連続した複数のカメラ画像２ｃに基づいてパノラマ画像４を生成する。
【００７２】
支援情報作成部１４６は、作業員２の作業を支援する指示情報２ｆを作成し、ネットワーク通信部１１７を介して、作業員端末２０１に送信する。指示情報２ｆによって、指示内容２ｇ、相対座標２ｈ等の情報が示される。指示内容２ｇは、指示者１が操作する入力装置１１４から入力された、作業員２の作業を支援する内容を示す。相対座標２ｈは、指示者１がパノラマ画像４上でポインティングした位置を、マーカー７ａに対する相対位置で示した座標である。
【００７３】
遠隔支援装置１０１の通信ライブラリ１４９は、遠隔支援装置１０１に実装された複数の処理部によって共通に利用可能であって、通信を行うための種々の機能を提供し、各処理部とネットワーク通信部２１７とのインタフェースを行う。
【００７４】
図７は、図６の第１の機能構成の詳細な機能構成を示す図である。図７では、本実施形態に係るパノラマ画像４の生成及び支援指示に関してその概要を説明する。図７において、作業員端末２０１の作業支援処理部２７２は、更に、現場シーン提供部２７３と、支援情報表示部２７５とを有する。
【００７５】
現場シーン提供部２７３は、ＩＭＵ２１５からの姿勢情報２ｂと、カメラ２１ｃのカメラ画像２ｃとを入力として、融合姿勢情報２ｅを生成するハイブリッドトラッキングを行う。ハイブリッドトラッキングによって、マーカー７ａが視野範囲外になったとしても、継続的なトラッキングを可能とする。出力された融合姿勢情報２ｅは、ネットワーク通信部２１７を介して、遠隔支援装置１０１へ送信される。
【００７６】
現場シーン提供部２７３は、カメラ２１ｃから連続して受信するカメラ画像２ｃを画像処理してマーカー７ａを認識し、マーカー７ａからの作業員２の視線の移動距離を逐次算出して得た作業員２の位置及び姿勢の情報と、ＩＭＵ２１５によって測定された作業員２の動き（即ち、加速度）及び方位を示す姿勢情報２ｂとを用いて融合姿勢情報２ｅを生成する。融合姿勢情報２ｅは、ネットワーク通信部２１７を介して、指示者１側の遠隔支援装置１０１に送信される。現場シーン提供部２７３は、また、カメラ画像２ｃを、ネットワーク通信部２１７を介して、随時遠隔支援装置１０１に送信する。
【００７７】
支援情報表示部２７５は、遠隔にいる指示者１からの指示内容２ｇを表示デバイス２１ｄに表示する処理部であり、指示情報描画部２７６と、オフスクリーン対応部２７７と、映像表示部２７８とを有する。
【００７８】
指示情報描画部２７６は、受信した指示情報２ｆを用いて、相対座標２ｈに基づいて指示者１の指示内容２ｇを描画する。オフスクリーン対応部２７７は、相対座標２ｈが現在の作業員２の視野外の場合、相対座標２ｈへ作業員２を誘導する誘導表示を行う。映像表示部２７８は、表示デバイス２１ｄに指示内容２ｇを表示する。
【００７９】
指示者１側において、遠隔支援装置１０１の遠隔支援処理部１４２は、主に、パノラマ画像生成部１４３と、支援情報作成部１４４とを有する。
【００８０】
パノラマ画像生成部１４３は、更に、現場シーン合成部１４４と、現場シーン描画部１４５とを有する。現場シーン合成部１４４は、マーカー７ａの位置を基準点として、基準点からの相対位置に基づいたマーカー座標系において、カメラ画像２ｃを加工して合成することで、作業員２の現場周辺の様子を示すパノラマ画像４を生成する。現場シーン描画部１４５は、現場シーン合成部１４４が生成したパノラマ画像４を表示装置１１５に描画する。
【００８１】
指示情報作成部１４６は、更に、指示操作処理部１４７と、支援情報提供部１４８とを有する。指示操作処理部１４７は、入力装置１１４から指示者１によってポインティングされた位置座標、テキスト等の指示内容２ｇの入力を受信すると、位置座標及びテキスト等の情報を指示情報提供部１４８に通知する。
【００８２】
支援情報提供部１４８は、指示操作処理部１４７から通知された位置座標を基準点からの相対座標２ｈに変換し、指示操作処理部１４７から通知された指示内容２ｇと、変換して得た相対座標２ｈとを示す指示情報２ｆを作成し、ネットワーク通信部１１７を介して、作業員端末２０１へ送信する。
【００８３】
次に、パノラマ画像生成の一般的な原理を説明する。図８（Ａ）及び図８（Ｂ）は、パノラマ画像生成の一般的な原理を示す図である。図８（Ａ）は、ピンホールカメラモデルの原理を示す。被写体３ｋの画像を投影する画像平面３ｋと、ピンホール３ｇを有する平面３ｊとを、焦点距離３ｈ離して設定することで、被写体３ｋが画像平面３ｋに投影される。被写体３ｋの特徴点３ｔからの光は、ピンホール３ｇを介して画像平面３ｋに映し出される。
【００８４】
図８（Ｂ）は、カメラの動きの条件を説明するための図である。図８（Ｂ）において、カメラ２１ｃは、作業員２の頭部に装着されることから、作業員２が頭部を左右に動かした場合、カメラ２１ｃの撮像範囲は、作業員２の頭部が前向きの場合に範囲３Ｃ、頭部が左向きの場合に範囲３Ｌ、そして、頭部が右向きの場合に範囲３Ｒとなる。図８（Ｂ）の例で示すように、カメラ２１ｃの回転中心３ｅはほぼ固定であると想定できる。
【００８５】
図８（Ａ）で例示したピンホールカメラモデルの原理に基づいて、また、図８（Ｂ）で例示したカメラ２１ｃの回転中心３ｅを固定として、パノラマ画像４を生成する。
【００８６】
図９（Ａ）及び図９（Ｂ）は、パノラマ画像生成処理を説明するための図である。図９（Ａ）は、パノラマ画像生成処理を説明するためのフローチャートを示し、図９（Ｂ）は、画像フレームのオーバレイの一例を示す図である。図９（Ｂ）を参照しつつ、図９（Ａ）において、パノラマ画像生成部１４３によるパノラマ画像生成処理について説明する。回転運動を検出する毎に、以下に説明するステップＳ１１〜Ｓ１４の処理が行われる。
【００８７】
パノラマ画像生成部１４３において、現場シーン合成部１４４は、回転運動に伴う連続する画像フレーム２ｃ−１、２ｃ−２、２ｃ−３等（図９（Ｂ））を取得する（ステップＳ１１）。
【００８８】
そして、現場シーン合成部１４４は、前画像フレームと、現画像フレームとの姿勢差分を求め（ステップＳ１２）、求めた姿勢差分を用いて、前画像フレームにオーバレイする（ステップＳ１３）。前画像フレームと重なる現画像フレームの全部又は一部が、前画像フレームに上書きされ、前画像フレームと現画像フレームとが合成される。
【００８９】
次に、現場シーン描画部１４５が、オーバレイした画像を既存のパノラマ画像４上に描画して、パノラマ画像４を更新する（ステップＳ１４）。
【００９０】
図９（Ｂ）において、画像フレーム２ｃ−１、２ｃ−２、２ｃ−３等の各々は、カメラ画像２１ｃに相当する。作業員２の頭部の回転に応じて画像フレーム２ｃ−１、２ｃ−２、２ｃ−３等が連続的に撮像される。時間ｔの経過の順に、画像フレーム２ｃ−１の一部が画像フレーム２ｃ−２によって上書きされ、画像フレーム２ｃ−２の一部が画像フレーム２ｃ−３によって上書きされる。
【００９１】
図１０は、マーカー可視範囲の例を示す図である。図１０に示すマーカー可視範囲３ｗは、マーカー７ａが存在する現場環境３ｖにおいて、作業員２の頭部に装着したカメラ２１ｃが捉えたカメラ画像２ｃにマーカー７ａが含まれる範囲に相当する。
【００９２】
次に、システム１００１における、パノラマ画像４を遠隔支援装置１０１に表示するまでの処理について図１１で説明する。図１１は、システムにおけるパノラマ画像の表示処理を説明するためのフローチャート図である。
【００９３】
図１１において、作業員端末２０１が、短距離無線通信部２１６を介して画像フレーム（カメラ画像２ｃ）を受信すると、現場シーン提供部２７３は、画像フレームを入力し（ステップＳ２１）、マーカー７ａを画像処理により認識する（ステップＳ２２）。
【００９４】
そして、現場シーン提供部２７３は、マーカー認識に成功したか否かを判断する（ステップＳ２３）。マーカー認識に失敗した場合、即ち、受信した画像フレーム内にマーカーが存在しない場合、マーカー認識フラグを「false」に設定し（ステップＳ２４）、ＩＭＵ２１５が計測して得たＩＭＵ姿勢情報２７ｄを取得して、遠隔支援装置１０１へ送信する姿勢情報とする（ステップＳ２５）。現場シーン提供部２７３は、ステップＳ２８へと進む。
【００９５】
一方、マーカー認識に成功した場合、即ち、受信した画像フレーム内にマーカーが存在する場合、現場シーン提供部２７３は、マーカー認識フラグに「true」を設定し（ステップＳ２６）、カメラ２１ｃの作業現場７における位置及び姿勢をマーカー７ａを認識した結果を用いて３次元で推定する（ステップＳ２７）。推定した３次元の位置及び姿勢を示す推定姿勢情報２６ｄが一時的にメモリ２１２に記憶される。
【００９６】
現場シーン提供部２７３は、推定姿勢情報２６ｄと、ＩＭＵ２１５が計測して得たＩＭＵ姿勢情報２７ｄとを融合する（ステップＳ２８）。推定姿勢情報２６ｄとＩＭＵ姿勢情報２７ｄとを融合して得た融合姿勢情報２ｅが、遠隔支援装置１０１へ送信する姿勢情報となる。
【００９７】
現場シーン提供部２７３は、画像フレーム（カメラ画像２ｃ）、姿勢情報、及びマーカー認識情報を、遠隔支援装置１０１へ送信する（ステップＳ２９）。融合姿勢情報２ｅ又はＩＭＵ姿勢情報２７ｄが、姿勢情報として送信される。そして、現場シーン提供部２７３は、次の画像フレームを処理するためにステップＳ２１へと戻り、上述した同様の処理を繰り返す。
【００９８】
遠隔支援装置１０１は、作業員端末２０１から画像フレーム（カメラ画像２ｃ）、姿勢情報、及びマーカー認識情報を、ネットワーク通信部１１７を介して受信すると（ステップＳ４１）、パノラマ画像生成部１４３の現場シーン合成部１４４は、マーカー認識情報のマーカー認識フラグが「true」を示すか否かを判断する（ステップＳ４２）。
【００９９】
マーカー認識情報のマーカー認識フラグが「false」を示す場合（ステップＳ４２のＮＯ）、現場シーン合成部１４４は、現画像フレームを画像処理して特徴点を取得して（ステップＳ４３）、前画像フレームと、現画像フレームとの夫々で探索エリアを予測し、前画像フレームと、現画像フレームとの間で特徴点をマッチングする特徴点マッチング処理を行う（ステップＳ４４）。
【０１００】
現場シーン合成部１４４は、ステップＳ４４による画像マッチング結果に基づいて、前画像フレームと現画像フレーム間の姿勢差分を推定して（ステップＳ４５）、特徴点マップ７ｍ（図１７）を更新する（ステップＳ４６）。その後、現場シーン合成部１４４は、ステップＳ４９へと進む。
【０１０１】
一方、マーカー認識情報のマーカー認識フラグが「true」を示す場合（ステップＳ４２のＹＥＳ）、現場シーン合成部１４４は、特徴点マップ７ｍ内のマーカー７ｍのエリアが未更新か否かを判断する（ステップＳ４７）。マーカー７ａのエリアが更新済みの場合、現場シーン合成部１４４は、ステップＳ５０へと進む。
【０１０２】
一方、マーカー７ａのエリアが未更新の場合、現場シーン合成部１４４は、特徴点マップ７ｍ内のマーカー７ａのエリアを、受信した画像フレームから得られる情報で更新する（ステップＳ４８）。
【０１０３】
ステップＳ４７においてマーカー７ａのエリアが更新済みであると判断した場合、ステップＳ４８の処理後、又は、ステップＳ４６の特徴点マップ７ｍの更新後、現場シーン合成部１４４は、作業員端末２０１から受信した姿勢情報に基づいて、画像フレームを変形（ワープ）して（ステップＳ４９）、既に処理済みの画像フレームと合成する（ステップＳ５０）。
【０１０４】
その後、現場シーン描画部１４５は、パノラマ画像４を描画して表示する（ステップＳ５１）。その後、遠隔支援処理部１４３は、ステップＳ４１へと戻り、ネットワーク通信部１１７を介して次に受信した画像フレームに対して上述同様の処理を行う。
【０１０５】
上述では、融合姿勢情報２ｅを作業者端末２０１で作成する構成例で説明したが、推定姿勢情報２６ｄと、ＩＭＵ姿勢情報２７ｄとを姿勢情報として、遠隔支援装置１０１へ送信し、遠隔支援装置１０１にて、マーカー認識フラグが「true」の場合、ステップＳ４９の前に推定姿勢情報２６ｄと、ＩＭＵ姿勢情報２７ｄとを融合して融合姿勢情報２ｅを取得するようにしてもよい。
【０１０６】
次に、マーカー７ａの３次元位置座標を求めて基準点を取得する方法について考察する。この基準点の取得では、視覚処理を行って、３次元位置情報を取得することが考えられる（例えば、非特許文献３）。
【０１０７】
基準点の取得方法について図１２を参照して説明する。図１２は、座標変換を説明するための図である。図１２において、先ず、入力された画像フレームからマーカー領域を抽出し、そのマーカー７ａの理想スクリーン座標系における４頂点の座標値を求める。そして、パターン認識によりマーカー７ａを識別するマーカー検出処理を行う。その後、４頂点の座標値から３次元位置座標への座標変換行列を求める。即ち、マーカー座標系７ｐからカメラ座標系２１ｐへの座標変換行列を求める。
【０１０８】
しかしながら、この方法では、画像フレームがマーカー７ａの画像（即ち、マーカー領域）を含んでいないと、マーカー座標系からカメラ座標系への座標変換行列を求めることができない。本実施形態では、画像フレームから、マーカー認識による作業員２の頭部の位置及び姿勢の情報を取得することに加えて、慣性センサの情報を用いて作業員２の頭部の姿勢をトラッキングするハイブリッドトラッキングを行うことで、画像フレームがマーカー領域を含まない場合であっても、頭部の姿勢のトラッキングを可能とする。
【０１０９】
図１３は、ＩＭＵを用いて位置及び姿勢情報を取得する一般的な構成を示す図である。図１３において、ＩＭＵ２１５は、慣性センサ装置に相当し、加速度センサ２１５ａと、ジャイロセンサ２１５ｂとを有する。加速度センサ２１５ａが計測した加速度情報に対して、重力モデル４ｃを用いて重力補正４ｄを行う。
【０１１０】
一方、ジャイロセンサ２１５ｂが計測して得た角速度情報に対して、姿勢計算４ｈを行うことで、姿勢情報を取得できる。
【０１１１】
姿勢情報を参照して、重力補正４ｄを行って得た加速度情報を種々の成分に分解し（４ｅ）、重力成分を取得する。取得した重力成分を積分（４ｆ）することで、速度情報を取得する。更に、速度情報を積分（４ｇ）することで、位置情報を取得できる。
【０１１２】
重力補正４ｄ、分解４ｅ、積分４ｆ、積分４ｇ、及び姿勢計算４ｈの計算は、作業員端末２０１のＣＰＵ２１１が対応するプログラムを実行することで行われる。これら計算の一部又は全部を回路等のハードウェアで実現してもよい。
【０１１３】
本実施形態におけるハイブリッドトラッキングを実現する融合フィルタについて図１４で説明する。図１４は、融合フィルタの構成例を示す図である。図１４において、現場シーン提供部２７３は、ハイブリッドトラッキングを実現する融合フィルタ２７ａを有していいる。
【０１１４】
融合フィルタ２７ａでは、ＩＭＵ２１５の加速度センサ２１５ａ及びジャイロセンサ２１５ｂからのセンサ情報と、カメラ２１５ｃからの画像フレームとを入力とする。融合フィルタ２７ａは、ピッチロール推定部２７ａと、積分処理部２７ｂと、姿勢推定部２７ｅと、姿勢推定部２７ｅと、姿勢・位置推定部２７ｆと、融合フィルタＥＫＦ（Extended Kalman Filter）２７ｇとを有する。
【０１１５】
ピッチロール推定部２７ａは、加速度センサ２１５ａから得た加速度情報からピッチ及びロールを推定する。積分処理部２７ｂは、ジャイロセンサ２１５ｂから得た角速度情報に対して積分処理を行う。姿勢推定部２７ｅは、加速度情報と、角速度情報を積分した結果とを入力し、作業員２の姿勢を推定した結果を示す姿勢情報を出力する。
【０１１６】
マーカー認識部２７ｃは、カメラ２１５ｃから得た画像フレームからマーカー７ａを認識する。姿勢・位置推定部２７ｆは、マーカー認識部２７ｃにおいてマーカー７ａを認識できた場合、即ち、マーカー認識フラグが「true」の場合に、画像フレームを用いて姿勢・位置を推定する。推定姿勢情報２６ｄが出力される。マーカー認識フラグが「false」の場合には、姿勢・位置推定部２７ｆでの処理は行われない。
【０１１７】
融合フィルタＥＫＦ２７ｇは、マーカー認識フラグが「true」を示す場合、推定指定情報２６ｄとＩＭＵ姿勢情報２７ｄとを入力値とし、拡張カルマンフィルタを用いて、作業員２の姿勢を精度良く推定する。融合フィルタＥＫＦ２７ｇによって、作業員２の姿勢の推定誤差を小さくした融合姿勢情報２ｅを得ることができる。よって、融合フィルタ２７ａから、融合フィルタＥＫＦ２７ｇが作業員２の姿勢を推定した結果を示す融合姿勢情報２ｅが出力される。
【０１１８】
マーカー認識フラグが「false」を示す場合、融合フィルタＥＫＦ２７ｇは、推定指定情報２６ｄとＩＭＵ姿勢情報２７ｄとを入力値とした融合処理を行わない。よって、融合フィルタ２７ａから、ＩＭＵ姿勢情報２７ｄが出力される。
【０１１９】
姿勢推定部２７ｅは、画像処理を行う姿勢・位置推定部２７ｆの６自由度に比べて、３自由度による推定となるが、姿勢・位置推定部２７ｆより高速に推定することができる。マーカー認識フラグが「false」であったとしても、より多くの姿勢情報を遠隔支援装置１０１へ配信できる。
【０１２０】
また、カメラ２１ｃによる撮像は、凡そ１００ｍｓ毎であるのに対して、ＩＭＵ２１５では、２０ｍｓ毎にセンサ情報を出力する。従って、次の精度良い融合姿勢情報２ｅの受信を待つことなく、ＩＭＵ姿勢情報２７ｄを受信することで、パノラマ画像４をよりタイムリーに更新できる。
【０１２１】
次に、遠隔支援装置１０１において、パノラマ画像４を生成する際の、座標変換について図１５及び図１６で説明する。図１５は、円柱への投影を説明するための図である。図１５において、先ず、数１を用いて、
【０１２２】
【数１】
0006540108.tif 000002
三次元座標（Ｘ,Ｙ,Ｚ）を円柱１５ａへ投影する（ステップＳ６１）。円柱１５ａは、例えば、単位円柱である。
【０１２３】
次に、数２を用いて、
【０１２４】
【数２】
0006540108.tif 000003
円柱座標系へ変換する（ステップＳ６２）。回転時の画像シーケンスを円柱座標系のオフセットで与えた、数３を用いて、
【０１２５】
【数３】
0006540108.tif 000004
円柱画像座標系へ変換する（ステップＳ６３）。
【０１２６】
このような計算により、画像１５ｂは、円柱画像１５ｃのように変換される。円柱画像１５ｃの特徴点が、円柱画像１５ｃの位置に応じて、後述される特徴点マップ７ｍ内に記憶される。
【０１２７】
図１６は、球面への投影を説明するための図である。図１６において、先ず、数４を用いて、
【０１２８】
【数４】
0006540108.tif 000005
三次元座標（Ｘ,Ｙ,Ｚ）を円柱１５ａへ投影する（ステップＳ７１）。
【０１２９】
次に、数５を用いて、
【０１３０】
【数５】
0006540108.tif 000006
球面座標系へ変換する（ステップＳ７２）。回転時の画像シーケンスを円柱座標系のオフセットで与えた、数６を用いて、
【０１３１】
【数６】
0006540108.tif 000007
球面画像座標系へ変換する（ステップＳ７３）。
【０１３２】
次に、パノラマ画像４の生成において作成される特徴点マップ７ｍについて説明する。図１７（Ａ）及び図１７（Ｂ）は、特徴点マップを説明するための図である。図１７（Ａ）において、作業員２が頭部を左右に３６０°回転して見える光景は、作業員２が円形の底面の中心に立った場合の筒状６ｂの側面に投影された画像として表せる。
【０１３３】
本実施形態において、パノラマ画像４は、筒状６ｂの側面に投影され得る画像のうち、作業員２の頭部の回転中にカメラ２１ｃが撮像した複数の画像フレーム２ｃ−１、２ｃ−２、２ｃ−３、２ｃ−４、２ｃ−５等に基づいて描画された画像に相当する。
【０１３４】
図１７（Ｂ）を参照して、特徴点マップ７ｍの概要を説明する。図１７（Ｂ）では、作業員２が頭部を動かして姿勢を変化させた際に、カメラ２１ｃが連続して捕えた画像フレーム２ｃ−１、２ｃ−２、２ｃ−３、２ｃ−４、及び２ｃ−５と、特徴点マップ７ｍとの対応を示す図である。
【０１３５】
特徴点マップ７ｍは、複数のセル７ｃを有する。セル７ｃは、パノラマ画像４を複数に分割した領域に相当する。各画像フレーム２ｃ−１から２ｃ−５から検出された特徴点７ｐが、マーカー７ａからの相対位置に対応するセル７ｃに記憶される。
【０１３６】
各セル７ｃには、姿勢情報、特徴点情報、更新・未更新情報等が記憶される。１つのセル７ｃに記憶される領域の広さは、各画像フレーム２ｃ−１から２ｃ−５の画像範囲より小さい。
【０１３７】
図１７（Ａ）では、頭部の左右の回転を例として、筒状６ｂを示すが、頭部を中心点として任意の方向に３６０°回転することを想定してもよい。この場合、パノラマ画像４は、半球面又は球面に投影された画像として表される。特徴点マップ７ｍは、半球面又は球面の側面を分割した各領域に対応するセルを有する。
【０１３８】
図１８（Ａ）及び図１８（Ｂ）は、作業員の頭部の動きに基づく、パノラマ画像の表示方法を説明するための図である。図１８（Ａ）において、対象物５ａに対して、曲線５ｂのように作業員２の頭部が動いた場合の、カメラ２１ｃのカメラ視野１８ｃが示される。
【０１３９】
カメラ視野１８ｃで捕えた５枚の画像が、マーカー７ａに対する相対位置に基づいて、配置し、姿勢差分に応じた回転を与えて、同一特徴点で時系列に上書きされ、図１８（Ｂ）に示すような形状のパノラマ画像４が形成されて、遠隔支援処理部１４２の表示装置１１５に表示される。
【０１４０】
本実施形態では、最新のカメラ画像１８ｅの領域を視認し易いように縁取りして表示する。最新のカメラ画像１８ｅの領域は、カメラ視野１８ｃに相当する。最新のカメラ画像１８ｅが特定できることで、指示者１は、作業員２の視点がどの領域にあるのかの判断を容易に行なえるため、指示をし易くなる。
【０１４１】
図１８（Ａ）で説明したように、本実施形態では、作業員２の視線方向、及び視線の動きに制限はなく自由である。また、図１８（Ｂ）に示すように、指示者１の視点を固定したまま、作業員２の作業周辺を全体的に把握することができる。更に、パノラマ画像４内に、作業員２の視線と連動して複数の画像フレームが描画されることで、作業員２と指示者１とは、互いに拘束の少ない環境を共有及び把握できる。
【０１４２】
また、本実施形態に係るパノラマ画像生成処理では、作業員２の頭部のハイブリッドトラッキングにより、頭部の動きを予測することができ、画像フレーム間で特徴範囲を絞り込むことによって、パノラマ画像生成処理の高速化を実現する。
【０１４３】
図１９（Ａ）、図１９（Ｂ）、及び図１９（Ｃ）は、パノラマ画像生成処理の高速化を説明するための図である。図１９（Ａ）では、作業員２が姿勢Ｐ１から姿勢Ｐ２へと傾きを変化させたときの作業員端末２０１の状態例を示している。
【０１４４】
図１９（Ｂ）では、姿勢Ｐ１のときの画像フレームＰ１ａと、姿勢Ｐ２のときの画像フレームＰ２ａとに存在する同一の特徴点７ｐ−１及び７ｐ−２を、画像全体で探索する。この場合、探索処理に時間が掛る。
【０１４５】
本実施形態では、図１９（Ｃ）に示すように、回転速度及び回転方向に基づいて、画像フレームＰ１ａ内及び画像フレームＰ２ｂ内において、探索エリア１９ａ及び探索エリア１９ｂを夫々予測する。そして、探索エリア１９ａ内と探索エリア１９ｂ内とにおいて、特徴点を探索して同一の特徴点７ｐ−１及び７ｐ−２を特定する。
【０１４６】
探索エリア１９ａ及び探索エリア１９ｂの予測、及び、同一の特徴点７ｐ−１及び７ｐ−２の特定は、遠隔支援装置１０１のパノラマ画像生成部１４３の現場シーン合成部１４４によって行われる。
【０１４７】
図２０（Ａ）及び図２０（Ｂ）は、左右の動きに応じたパノラマ画像の例を示す図である。図２０（Ａ）では、連続した複数の画像フレームによる画像ストリーム２０ｆの例を示す。この画像ストリーム２０ｆから、同一特徴点に基づいて、図２０（Ｂ）に示すような、パノラマ画像４が生成され表示される。
【０１４８】
次に、遠隔支援装置１０１からの指示の提示方法について図２１で説明する。図２１は、指示の提示方法を説明するための図である。指示を提示する際に、支援情報作成部１４６で行われる処理のうち、作業員端末２０１へ提供する指示情報２ｆの相対座標２ｈの取得方法について説明する。遠隔支援装置１０１に表示されたパノラマ画像４上で、指示者１が入力装置１１４を操作して、作業員２へ操作対象となる位置Ｐｉｘｌ（ｘ、ｙ）を指定した場合で説明する。
【０１４９】
指示操作処理部１４７は、作業員２の入力装置１１４を用いた表示装置１１５の画面上でポインティングに応じて、作業員２がポインティングしたピクセル位置（ｘｐ、ｙｐ）を取得して、指示情報提供部１４８に通知する。ピクセル位置（ｘｐ、ｙｐ）は、パノラマ画像４において、マーカー７ａに対する相対位置を示す。
【０１５０】
指示情報提供部１４８は、特徴点マップ７ｍを参照して、ピクセル位置（ｘｐ、ｙｐ）に対応するセル７ｃ−２から姿勢情報を取得して、取得した姿勢情報に基づいて、カメラ相対座標（ｘｃ、ｙｃ）へと変換する。カメラ座標系６ｒは、作業員２を中心として、マーカー７ａまでの距離を半径とした円柱６ｂの側面上における、マーカー７ａに対する相対座標を示す。変換して得られたカメラ相対座標（ｘｃ、ｙｃ）は、３次元座標系における、マーカー７ａに対する３次元相対座標（Ｘｃ、Ｙｃ、Ｚｃ）に対応する。
【０１５１】
指示情報提供部１４８は、求めたカメラ相対座標（ｘｃ、ｙｃ）を相対座標２ｈとして指示情報２ｆに設定する。また、指示者１が遠隔支援装置１０１へ入力した作業員２への指示内容２ｇも、指示情報２ｆに設定され、作業員端末２０１に送信される。
【０１５２】
次に、基準点に基づく指示対象物への誘導方法について図２２（Ａ）、図２２（Ｂ）、及び図２２（Ｃ）で説明する。図２２（Ａ）、図２２（Ｂ）、及び図２２（Ｃ）は、作業員を指示対象物へと誘導する誘導方法を説明するための図である。
【０１５３】
図２２（Ａ）において、作業員２の視線が、現在、カメラ視野１８ｃ内にあるとする。指示対象物５ｃ−１がマーカー座標系のＸ軸に対してθ１の角度で右上方に位置し、指示対象物５ｃ−２がマーカー座標系のＹ軸に対してθ２の角度で右下方に位置しているとする。
【０１５４】
作業員端末２０１の作業支援処理部２７２において、作業情報表示部２７５の指示情報描画部２７８は、ネットワーク通信部２１７を介して受信した指示情報２ｆの相対座標２ｈが、現在のカメラ視野１８ｃ外であると判断すると、オフスクリーン対応部２７７に相対座標２ｈを通知する。
【０１５５】
オフスクリーン対応部２７７は、指示対象物の相対座標２ｈに基づいてマーカー７ａからの距離を算出し、距離に応じた誘導情報を表示デバイス２１ｄに表示する。距離が閾値以下の指示対象物５ｃ−１の場合の誘導情報２２ｂの例を図２２（Ｂ）に示し、距離が閾値より長い指示対象物５ｃ−２の場合の誘導情報２２ｃの例を図２２（Ｃ）に示す。
【０１５６】
誘導情報２２ｂ及び２２ｃは、指示対象物５ｃ−１又は５ｃ−２がへの方位と移動量とを示す情報であることが望ましい。移動量は、マーカー７ａまでの距離に相当する。
【０１５７】
図２２（Ｂ）において、指示対象物５ｃ−１は、マーカー７ａに対してθ１の角度で右上方に位置するため、誘導情報２２ｂは、右上方を示す矢印で表示される。また、指示対象物５ｃ−１は、距離が閾値以下であるため、誘導情報２２ｂの矢印は、図２２（Ｃ）の誘導情報２２ｃより細く示される。
【０１５８】
図２２（Ｃ）では、指示対象物５ｃ−２は、マーカー７ａに対してθ２の角度で右下方に位置するため、誘導情報２２ｃは、右下方を示す矢印で表示される。また、指示対象物５ｃ−２は、距離が閾値より長いため、誘導情報２２ｃの矢印は、図２２（Ｂ）の誘導情報２２ｂより太く示される。
【０１５９】
誘導情報２２ｂ及び２２ｃは、作業員２の移動に応じて、近づくにつれ、又は、遠ざかるにつれ、矢印の太さがリアルタイムに変化するようにしてもよい。また、作業員２の移動方向に応じて、矢印の方向がリアルタイムに変化するようにしてもよい。
【０１６０】
また、所定の距離毎に閾値を設けることで、複数の閾値に対して、矢印の太さを夫々定めるようにしてもよい。距離に応じた複数の閾値の代わりに、作業員２とマーカー７ａまでの距離に対するマーカー７ａと相対座標２ｈの距離の比に応じた複数の閾値としてもよい。
【０１６１】
本実施形態では、方位を矢印で示し、移動量を矢印の太さで示す例として、誘導情報２２ｂ及び２２ｃを示したが、移動量を点滅頻度で表現してもよい。遠いほど単位時間当たりの点滅回数を多くし、近い程点滅頻度を少なくする。また、誘導情報２２ｂ及び２２ｃは、方位及び移動量を音声、又は、特定の音で表現されてもよい。
【０１６２】
図２２（Ｂ）及び図２２（Ｃ）では、表示デバイス２１ｄの中心に誘導情報２２ｂ及び２２ｃを示したが、表示位置を中心から方位へずらしてもよい。この場合、作業員２は、視線を移動させ、誘導情報２２ｂ又は２２ｃを見定めようとするため、自然に作業員２の姿勢が誘導される。
【０１６３】
図２２（Ｂ）において、表示デバイス２１ｄの中心より右上方に誘導情報２２ｂを表示することで、作業員２の視線を右上方に移動させるようにすることで、作業員２は誘導情報２２ｂを追うようにして頭部を右上方に動かすことで、作業員２を誘導させるようにしてもよい。
【０１６４】
図２２（Ｃ）においても同様に、表示デバイス２１ｄの中心より右下方に誘導情報２２ｃを表示することで、作業員２の視線を右下方に移動させるようにすることで、作業員２は誘導情報２２ｂを追うようにして頭部を右下方に動かすことで、作業員２を誘導させるようにしてもよい。
【０１６５】
次に、作業員２が作業するエリア内に入ったことを条件として支援を開始するシステム１００２について図２３及び図２４で説明する。図２３は、第２の全体機能構成を示す図である。図２３に示すシステム１００２では、作業員２が作業領域に入ったことを条件として、支援を開始する第２の全体機能構成を示す。
【０１６６】
図２３において、システム１００２は、遠隔支援装置１０２と、作業員端末２０２と、プレイスサーバ３００とを有する。遠隔支援装置１０２及び作業員端末２０２のハードウェア構成は、図４と同様であるため、その説明を省略する。プレイスサーバ３００は、ＣＰＵ、主記憶装置、ＨＤＤ、ネットワーク通信部等を有するコンピュータ装置である。
【０１６７】
システム１００２では、プレイスサーバ３００と連携することで、作業員２用の支援アプリケーション３７０を作業員２の作業員端末２０２へ提供し、指示者１用の支援アプリケーション３７０を指示者１の遠隔支援装置１０２へ提供する。
【０１６８】
プレイスサーバ３００は、１以上の支援アプリケーション３７０を有し、作業員２がエリア内に入ったことの通知に応じて、エリアに対応する支援アプリケーション３７０を提供する。
【０１６９】
支援アプリケーション３７０は、エリア毎に予めスケジュールされた作業手順に基づいて作業をナビゲーションするアプリケーションである。
【０１７０】
図２３では、エリアＡにはエリアＡ用アプリケーション３７１が対応し、エリアＢにはエリアＢ用アプリケーション３７２が対応する。エリアＡ用アプリケーション３７１、エリアＢ用アプリケーション３７２等を総称して、支援アプリケーション３７０と言う。
【０１７１】
システム１００２における遠隔支援装置１０２は、システム１００１と同様に、遠隔支援処理部１４２と、プレイスサーバ３００から提供される支援アプリケーション３７０とを有する。
【０１７２】
システム１００２における作業員端末２０２は、エリア検知部１２４と、システム１００１と同様に作業支援処理部２７２と、プレイスサーバ３００から提供される支援アプリケーション３７０とを有する。
【０１７３】
システム１００２では、作業員端末２０２を所持した作業員２が、作業を行うエリアＡ内に入ると（チェックイン状態）、エリア検知部２１４が作業員２の位置がエリアＡ内であることを検知して、ネットワーク通信部２１７を介して、プレイスサーバ３００へエリア検知の通知を行う（ステップＳ８１）。
【０１７４】
プレイスサーバ３００は、作業員端末２０２からエリア検知の通知を受けると、支援アプリケーション３７０から、エリア検知の通知によって指定されたエリアＡに対応するエリアＡ用アプリケーション３７１を選択して、作業員端末２０２に送信することでアプリ配信を行う（ステップＳ８２）。
【０１７５】
作業員端末２０２は、プレイスサーバ３００からエリアＡ用アプリケーション３７１をダウンロードする。ダウンロードされたエリアＡ用アプリケーション３７１は、メモリ２１２に格納され、作業員端末２０２のＣＰＵ２１１によって起動されることにより、作業支援処理を開始する。
【０１７６】
エリアＡ用アプリケーション３７１によって行われる作業手順のナビゲーションと、作業支援処理部２７２による指示者１からの指示情報２ｆとによって、作業員２は、作業を精度良く行うことができる。
【０１７７】
また、プレイスサーバ３００は、エリア検知の通知に応じて、エリアＡ用アプリケーション３７１を遠隔支援装置１０２へ提供する（ステップＳ８２）。
【０１７８】
遠隔支援装置１０２は、プレイスサーバ３００からエリアＡ用アプリケーション３７１をダウンロードする。ダウンロードされたエリアＡ用アプリケーション３７１は、メモリ１１２又はＨＤＤ１１３に格納され、遠隔支援装置１０２のＣＰＵ１１１によって起動され、作業手順のナビゲーションが開始される。
【０１７９】
システム１００２では、作業員２は、作業手順のナビゲーションと、指示者１からの支援とを受けることができる。
【０１８０】
図２４は、プレイスサーバの機能構成を示す図である。図２４において、システム１００２のプレイスサーバ３００は、エリア検知通知受信部３１１と、アプリケーション提供部３１２と、アプリケーション削除部３１３とを有する。
【０１８１】
エリア検知通知受信部３１１は、作業員端末２０２からネットワーク３ｎを介してエリア検知の通知を受信して、エリア検知をアプリケーション提供部３１２に通知する。
【０１８２】
アプリケーション配信部３１２は、エリア検知で指定されるエリアに対応する支援アプリケーション３７０を遠隔支援装置１０２と、作業員端末２０２へと配信する。遠隔支援装置１０２と、作業員端末２０２とにおいて、作業開始に応じて、同じ作業手順でナビゲーションされるため、指示者１と作業員２とで作業手順の同期をとることができる。
【０１８３】
アプリケーション削除部３１３は、作業の終了確認に応じて、配信した支援アプリケーション３７０を、遠隔支援装置１０２と、作業員端末２０２とから削除する。
【０１８４】
上述した構成により、作業員２が作業するエリアに応じて、支援アプリケーション３７０を切り替えることができる。作業員２は、作業手順のナビゲーションと、指示者１からの指示情報２ｆ及び音声による解説とによって、作業員２自身で作業を完了し易くなる。
【０１８５】
次に、本実施形態に係るパノラマ画像４の例を示す。図２５（Ａ）及び図２５（Ｂ）は、パノラマ画像の生成開始直後の時刻Ｔ１における画像例を示す図である。図２５（Ａ）は、作業員２の頭部に装着されたカメラ２１ｃが撮影開始から時刻Ｔ１における最新のカメラ画像２ｃの例を示している。カメラ視野１８ｃは、最新のカメラ画像２ｃの領域に相当し、長方形である。
【０１８６】
指示者１側の遠隔支援装置１００では、図２５（Ｂ）に示すように過去のカメラ画像２ｃと合成されたパノラマ画像４が表示される。パノラマ画像４内で最新のカメラ画像１８ｅは縁取りされて表示される。
【０１８７】
本実施形態に係るパノラマ画像４は、カメラ画像２ｃのストリームにおいて、過去のカメラ画像２ｃと重ね合わされるため、四方八方へと画像範囲を自由に拡張可能である。従って、本実施形態では、パノラマ画像４の画像範囲が左右方向の拡大に制限されない。
【０１８８】
パノラマ画像４内の最新のカメラ画像１８ｅは、融合姿勢情報２ｅ等に基づいて、座標変換されて表示されるため、必ずしも長方形とは限らない。この例のように、最新のカメラ画像１８ｅは、台形等の形状で縁取りされる。その後、更に、新たなカメラ画像２ｃによってパノラマ画像４が更新される。
【０１８９】
図２６（Ａ）、図２６（Ｂ）、及び図２６（Ｃ）は、時刻Ｔ１後の時刻Ｔ２における画像例を示す図である。図２６（Ａ）は、時刻Ｔ１後の時刻Ｔ２における最新のカメラ画像２ｃの例を示している。カメラ視野１８ｃは、最新のカメラ画像２ｃの領域に相当し、図２５（Ａ）と同意図サイズの長方形である。
【０１９０】
指示者１側の遠隔支援装置１００では、図２６（Ｂ）に示すように、図２５（Ｂ）に示すパノラマ画像４に時刻Ｔ１後に得た複数のカメラ画像２ｃが座標変換の後重ね合された最新のパノラマ画像４が表示される。パノラマ画像４内で最新のカメラ画像１８ｅは縁取りされて表示される。
【０１９１】
この場合においても、最新のカメラ画像１８ｅは、台形の形状で縁取りされている。また、パノラマ画像４は、リアルタイムに更新され、この例では、図２５（Ｂ）よりも、画像面積も広くなっている。
【０１９２】
図２５（Ｂ）のパノラマ画像４において、最新のカメラ画像１８ｅ外の場所２６ｂを、指示者１がポインティングすると、リアルタイムで、図２６（Ｃ）に示すように、方向及び移動量を示した誘導情報２６ｃが作業員２の表示デバイス２１ｃに表示される。
【０１９３】
図２６（Ｃ）では、表示デバイス２１ｃを装着した作業員２の視線方向の光景を示す。表示デバイス２１ｃに誘導情報２６ｃが表示されることで、作業員２は、現実の光景に重ね合わせられた誘導情報２６ｃを見ることができる。
【０１９４】
誘導情報２６ｃは、左下方を示しているため、作業員２は、左下方に姿勢を傾けるように身体を動かす。
【０１９５】
上述したように、本実施例では、動的に移動する装置で撮影されたカメラ画像２ｃからパノラマ画像４を高速に生成することができる。
【０１９６】
また、指示対象が最新のカメラ画像１８ｅの外側に位置していても、指示者１は、過去のカメラ画像２ｃを含むパノラマ画像４によって、ポインティングすることができる。作業員２は、誘導情報２６ｃが現実の光景に重ね合わせられるため、表示デバイス２１ｃに表示された誘導情報２６ｃと、現実の光景とを照らし合わせる必要がない。
【０１９７】
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。
【０１９８】
以上の第１の全体機能構成、第２の全体機能構成等に係る実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像装置を用いて実空間に設置したオブジェクトを含む第１の画像を撮像し、
前記第１の画像を撮像したときの前記撮像装置の第１の姿勢を検知し、
前記撮像装置を用いて実空間に設置した前記オブジェクトを含む第２の画像を撮像し、
前記第２の画像を撮像したときの前記撮像装置の第２の姿勢を検知し、
前記第１の姿勢と前記第２の姿勢に基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成する
処理をコンピュータが行う画像生成方法。
（付記２）
前記コンピュータが、
前記第１の画像内において前記オブジェクトを含む第１の探索エリアと、前記第２の画像内において該オブジェクトを含む第２の探索エリアとを予測し、
前記第１の探索エリアに含まれる前記第１のオブジェクト位置と、前記第２の探索エリアに含まれる前記第２のオブジェクト位置の前記相対位置関係を算出する
処理を行う付記１記載の画像生成方法。
（付記３）
前記コンピュータが、
検知した前記第１の姿勢に基づいて該第１の画像を変形させ、
検知した前記第２の姿勢に基づいて該第２の画像を変形させて、前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして前記第３の画像を生成することを特徴とする付記１又は２記載の画像生成方法。
（付記４）
前記第１の姿勢及び前記第２の姿勢の少なくとも１つは、前記撮像装置の位置及び姿勢を３次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合して得た融合姿勢情報で示されることを特徴とする付記１乃至３のいずれか一項記載の画像生成方法。
（付記５）
端末と装置とがネットワークを介して接続され、遠隔支援を行うシステムであって、
前記端末は、
撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して前記装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部を有し、
前記装置は、
前記端末から受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、
入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む前記支援情報を前記端末に送信する遠隔支援処理部を有する
ことを特徴とするシステム。
（付記６）
前記装置の前記遠隔支援処理部は、
前記第１の画像内において前記オブジェクトを含む第１の探索エリアと、前記第２の画像内において該オブジェクトを含む第２の探索エリアとを予測し、前記第１の探索エリアに含まれる前記第１のオブジェクト位置と、前記第２の探索エリアに含まれる前記第２のオブジェクト位置の前記相対位置関係を算出する
ことを特徴とする付記５記載のシステム。
（付記７）
前記装置の前記遠隔支援処理部は、
前記第１の姿勢情報に基づいて該第１の画像を変形させ、
検知した前記第２の姿勢情報に基づいて該第２の画像を変形させて、前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして前記第３の画像を生成することを特徴とする付記５又は６記載のシステム。
（付記８）
前記端末の前記端末側処理部は、
前記第１の姿勢情報及び前記第２の姿勢情報の少なくとも１つは、前記端末の位置及び姿勢を３次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合することで、前記姿勢情報を取得する
ことを特徴とする付記５乃至７のいずれか一項記載のシステム。
（付記９）
前記座標は、予め定められた基準点に対する相対座標であり、
前記端末の前記端末側処理部は、
前記座標が、前記撮像装置のカメラ視野外である場合、該座標の位置の方位及び距離に応じた表示を行う視野外対応部
を有することを特徴とする付記５乃至８のいずれか一項記載のシステム。
（付記１０）
ネットワーク通信部を介して受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、
入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む前記支援情報を前記端末に送信する遠隔支援処理部を有する
ことを特徴とする遠隔支援装置。
（付記１１）
前記遠隔支援処理部は、
前記第１の画像内において前記オブジェクトを含む第１の探索エリアと、前記第２の画像内において該オブジェクトを含む第２の探索エリアとを予測し、前記第１の探索エリアに含まれる前記第１のオブジェクト位置と、前記第２の探索エリアに含まれる前記第２のオブジェクト位置の前記相対位置関係を算出する
ことを特徴とする付記１０記載のシステム。
（付記１２）
前記遠隔支援処理部は、
前記第１の姿勢情報に基づいて該第１の画像を変形させ、
検知した前記第２の姿勢情報に基づいて該第２の画像を変形させて、前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして前記第３の画像を生成することを特徴とする付記１０又は１１記載のシステム。
（付記１３）
撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して前記装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部
を有することを特徴とする端末。
（付記１４）
前記第１の姿勢情報及び前記第２の姿勢情報の少なくとも１つは、前記端末の位置及び姿勢を３次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合することで、前記姿勢情報を取得する
ことを特徴とする付記１３記載のいずれか一項記載の端末。
【符号の説明】
【０１９９】
２ｂ            姿勢情報、          ２ｃ        カメラ画像
２ｅ            融合姿勢情報、      ２ｆ        指示情報
２ｇ            指示内容、          ２ｈ        相対座標
２１ｃ          カメラ、            ２１ｄ      表示デバイス
１０１、１０２  遠隔支援装置
１４２          遠隔支援処理部
１４３          パノラマ画像生成部
１４４          現場シーン合成部、  １４５      現場シーン描画部
１４６          支援情報作成部
１４７          指示操作処理部、    １４８      指示情報提供部
２０１、２０２  作業員端末
２７２          作業支援処理部
２７３          現場シーン提供部
２７５          支援情報表示部
２７６          指示情報描画部、    ２７７      オフスクリーン対応部
１００１、１００２    システム
【図１】
0006540108.tif 000008
【図２】
0006540108.tif 000009
【図３】
0006540108.tif 000010
【図４】
0006540108.tif 000011
【図５】
0006540108.tif 000012
【図６】
0006540108.tif 000013
【図７】
0006540108.tif 000014
【図８】
0006540108.tif 000015
【図９】
0006540108.tif 000016
【図１０】
0006540108.tif 000017
【図１１】
0006540108.tif 000018
【図１２】
0006540108.tif 000019
【図１３】
0006540108.tif 000020
【図１４】
0006540108.tif 000021
【図１５】
0006540108.tif 000022
【図１６】
0006540108.tif 000023
【図１７】
0006540108.tif 000024
【図１８】
0006540108.tif 000025
【図１９】
0006540108.tif 000026
【図２０】
0006540108.tif 000027
【図２１】
0006540108.tif 000028
【図２２】
0006540108.tif 000029
【図２３】
0006540108.tif 000030
【図２４】
0006540108.tif 000031
【図２５】
0006540108.tif 000032
【図２６】
0006540108.tif 000033