(57)【要約】  情報提供装置（１０）は、３次元で環境の静的な対象物を計測し、環境の動的な対象物の位置を逐次計測し、計測した静的な対象物の計測データを通信網を介して情報処理装置（１００）に送信し、計測した動的な対象物の計測データを通信網を介して情報処理装置（１００）に送信し、情報処理装置（１００）で静的な対象物の計測データと動的な対象物の計測データより生成した環境把握画像に基づいて情報処理装置（１００）から支援データを受信し、受信した支援データを所定のタイミングで環境に提示する。
2016135985.tif 000002
【特許請求の範囲】
【請求項１】
情報提供装置が実行する情報提供方法であって、
３次元で環境の静的な対象物を計測し、
環境の動的な対象物の位置を逐次計測し、
計測した静的な対象物の計測データを通信網を介して所定の情報処理装置に送信し、
計測した動的な対象物の計測データを通信網を介して前記情報処理装置に送信し、
前記情報処理装置で静的な対象物の計測データと動的な対象物の計測データより生成した環境把握画像に基づいて前記情報処理装置から支援データを受信し、
受信した支援データを所定のタイミングで環境に提示する
処理を実行することを特徴とする情報提供方法。
【請求項２】
前記支援データは、前記静的な対象物の一部を示す位置データを含み、
前記提示する処理は、前記動的な対象物の計測位置と前記支援データが含む位置データに基づいて、前記支援データを提示することを特徴とする請求項１に記載の情報提供方法。
【請求項３】
前記支援データと共に提示条件を受信する処理をさらに実行し、
前記提示する処理は、前記提示条件に基づいて前記支援データを提示することを特徴とする請求項１に記載の情報提供方法。
【請求項４】
情報提供装置に実行させる情報提供プログラムであって、
３次元で環境の静的な対象物を計測し、
環境の動的な対象物の位置を逐次計測し、
計測した静的な対象物の計測データを通信網を介して所定の情報処理装置に送信し、
計測した動的な対象物の計測データを通信網を介して前記情報処理装置に送信し、
前記情報処理装置で静的な対象物の計測データと動的な対象物の計測データより生成した環境把握画像に基づいて前記情報処理装置から支援データを受信し、
受信した支援データを所定のタイミングで環境に提示する
処理を実行させることを特徴とする情報提供プログラム。
【請求項５】
前記支援データは、前記静的な対象物の一部を示す位置データを含み、
前記提示する処理は、前記動的な対象物の計測位置と前記支援データが含む位置データに基づいて、前記支援データを提示することを特徴とする請求項４に記載の情報提供プログラム。
【請求項６】
前記支援データと共に提示条件を受信する処理をさらに実行させ、
前記提示する処理は、前記提示条件に基づいて前記支援データを提示することを特徴とする請求項４に記載の情報提供プログラム。
【請求項７】
３次元で環境の静的な対象物を計測する第１センシング部と、
環境の動的な対象物の位置を逐次計測する第２センシング部と、
計測した静的な対象物の計測データを通信網を介して所定の情報処理装置に送信する第１送信部と、
計測した動的な対象物の計測データを通信網を介して前記情報処理装置に送信する第２送信部と、
前記情報処理装置で静的な対象物の計測データと動的な対象物の計測データより生成した環境把握画像に基づいて前記情報処理装置から支援データを受信する受信部と、
受信した支援データを所定のタイミングで環境に提示する提示部と
を有することを特徴とする情報提供装置。
【請求項８】
計測装置が設置される環境の静的な対象物が３次元で計測された計測データを前記情報提供装置から受信する第１受信部と、
前記計測装置により前記環境の動的な対象物の位置が計測される度に当該動的な対象物の計測データを受信する第２受信部と、
前記環境の静的な対象物の計測データから生成された３次元画像上に前記動的な対象物の位置が重ねられた環境把握画像を所定の表示部に表示させる表示制御部と、
前記環境把握画像上で所定の目標に関する位置の指定を受け付けた場合に、当該指定が受け付けられた目標の位置と、前記３次元画像上の前記動的な対象物の位置とに基づいて支援データを生成する生成部と、
情報の提示を行う提示装置へ前記支援データを送信する送信部と
を有することを特徴とする情報処理装置。
【請求項９】
第１の装置及び第２の装置を含む情報提供システムであって、
前記第１の装置は、
３次元で環境の静的な対象物を計測する第１センシング部と、
環境の動的な対象物の位置を逐次計測する第２センシング部と、
計測した静的な対象物の計測データを通信網を介して前記第２の装置に送信する第１送信部と、
計測した動的な対象物の計測データを通信網を介して前記第２の装置に送信する第２送信部と、
前記第２の装置で静的な対象物の計測データと動的な対象物の計測データより生成した環境把握画像に基づいて前記第２の装置から支援データを受信する受信部と、
受信した支援データを所定のタイミングで環境に提示する提示部とを有し、
前記第２の装置は、
前記第１の装置から前記静的な対象物の計測データを受信する第１受信部と、
前記第１の装置により前記環境の動的な対象物の位置が計測される度に当該動的な対象物の計測データを受信する第２受信部と、
前記環境の静的な対象物の計測データから生成された３次元画像上に前記動的な対象物の位置が重ねられた環境把握画像を所定の表示部に表示させる表示制御部と、
前記環境把握画像上で所定の目標に関する位置の指定を受け付けた場合に、当該指定が受け付けられた目標の位置と、前記３次元画像上の前記動的な対象物の位置とに基づいて前記支援データを生成する生成部と、
前記支援データを前記第１の装置へ送信する送信部とを有する
ことを特徴とする情報提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提供方法、情報提供プログラム、情報提供装置、情報処理装置及び情報提供システムに関する。
【背景技術】
【０００２】
施設の保守、施工、医療などの各種の現場における作業を支援する技術の一例として、映像表示装置や作業支援用情報提示装置が提案されている。【０００３】
例えば、映像表示装置は、カメラから得られた映像及び位置姿勢計測装置の計測データを用いて携帯型計算機の位置及び姿勢を算出する位置姿勢計測部を有する。さらに、映像表示装置は、位置姿勢計側部から得られた情報及びカメラから得られた映像を基に、投影すべき映像に関する映像情報と対象物の配置及び形状とを投影情報データベース及び対象物配置、形状データベースから検索する投影情報検索部を有する。さらに、映像表示装置は、映像投影装置と対象物の相対的位置関係と対象物の形状とに基づいて、検索した映像情報から投影する映像を生成する映像情報生成部とを有する。【０００４】
また、作業支援用情報提示装置は、プロジェクタで投影された投影画像中の特定の対象物をレーザポインタ等で指し示すことによって、その対象物に関連付けられている処理を実行するものである。この作業支援用情報提示装置は、カメラが撮影した投影画像を送受信する画像送受信手段と、カメラ画像を表示する表示手段とを有する。さらに、作業支援用情報提示装置は、表示されたカメラ画像上でプロジェクタ投影対象物の表示位置と表示属性と該投影対象物に関連付けられる処理内容とを関連付けて蓄積する情報蓄積手段を有する。さらに、作業支援用情報提示装置は、蓄積された投影対象物の表示のオン・オフおよびそれに関連付けられた処理内容の実行のオン・オフを指示入力するデータ入力手段を有する。さらに、作業支援用情報提示装置は、入力された指示情報に応じて投影対象物の表示や処理実行のオン・オフを制御する表示・処理制御手段を有する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−８６６１５号公報
【特許文献２】特開２００５−３２２０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の技術は、いずれも現場における人の位置や行動が盲点となるので、現場で作業が行われる場面に相応しい支援データが提供できない場合がある。【０００７】
すなわち、上記の映像表示装置及び上記の作業支援用情報提示装置では、いずれもカメラにより撮像された画像を通じて、投影がなされる映像を生成したり、あるいは投影の内容を取捨選択したりする。ところが、カメラにより撮像される画像は、あくまでカメラの視点から撮像されるものであるので、人の位置や行動と一致するとは限らない。このため、カメラにより撮像される画像には、必ずしも作業状況が映っているとは限らない。このようにカメラにより撮像される画像に作業状況が映っていない場合、実際の作業状況とは見当違いの位置に投影が行われたり、見当違いの内容が投影されたりすることもある。【０００８】
１つの側面では、本発明は、現場で作業が行われる場面に相応しい支援データを提供できる情報提供方法、情報提供プログラム、情報提供装置、情報処理装置及び情報提供システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
一態様の情報提供方法は、情報提供装置が実行する情報提供方法であって、３次元で環境の静的な対象物を計測し、環境の動的な対象物の位置を逐次計測し、計測した静的な対象物の計測データを通信網を介して所定の情報処理装置に送信し、計測した動的な対象物の計測データを通信網を介して前記情報処理装置に送信し、前記情報処理装置で静的な対象物の計測データと動的な対象物の計測データより生成した環境把握画像に基づいて前記情報処理装置から支援データを受信し、受信した支援データを所定のタイミングで環境に提示する処理を実行する。
【発明の効果】
【００１０】
現場で作業が行われる場面に相応しい支援データを提供できる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施例１に係る情報提供システムのシステム構成の一例を示す図である。
【図２】図２は、実施例１に係る情報提供システムに含まれる各装置の機能的構成を示すブロック図である。
【図３】図３は、３Ｄセンシングの一例を示す図である。
【図４】図４は、２Ｄセンシングの一例を示す図である。
【図５】図５は、現場把握画面の一例を示す図である。
【図６】図６は、現場把握画面の一例を示す図である。
【図７】図７は、３Ｄ画像の遷移の一例を示す図である。
【図８】図８は、現場における投影画像の遷移の一例を示す図である。
【図９】図９は、現場における投影画像の遷移の一例を示す図である。
【図１０】図１０は、実施例１に係るセンシング処理の手順を示すフローチャートである。
【図１１】図１１は、実施例１に係る表示制御処理の手順を示すフローチャートである。
【図１２】図１２は、実施例１に係る情報提供処理の手順を示すフローチャートである。
【図１３】図１３は、３Ｄデータの取得方法の応用例を示す図である。
【図１４】図１４は、実施例１及び実施例２に係る情報提供プログラムを実行するコンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して本願に係る情報提供方法、情報提供プログラム、情報提供装置、情報処理装置及び情報提供システムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１３】
［システム構成］
図１は、実施例１に係る情報提供システムのシステム構成の一例を示す図である。図１には、作業の一例として、ある施設で設備の点検作業が実施される例が示されており、点検作業が行われる区画の一例として、現場２Ａ〜現場２Ｎが例示されている。さらに、図１には、現場２Ａ〜現場２Ｎで点検作業を行う作業者３に加え、現場２Ａ〜現場２Ｎと隔てられた遠隔地４から現場作業者３による点検作業を支援する支援者５により点検作業が実施される場合が例示されている。なお、以下では、現場２Ａ〜現場２Ｎを総称する場合に「現場２」と記載する場合がある。【００１４】
図１に示す情報提供システム１は、現場２における点検作業に役立つ支援データを作業者３へ提供する情報提供サービスを提供するものである。かかる情報提供サービスの一環として、情報提供システム１は、環境の静的な対象物に関する３次元計測及び環境の動的な対象物の位置に関する２次元計測を行い、これらの計測データに基づく環境把握画像を通じて遠隔地４で生成された支援データを現場２に提供する。もって、現場２の環境に人の位置や行動を含めてデジタイズされた環境把握画像を通じて支援データが生成される結果、現場２で作業が行われる場面に相応しい支援データを提供できる。【００１５】
図１に示すように、情報提供システム１には、情報提供装置１０と、情報処理装置１００とが収容される。なお、ここでは、一例として、情報提供装置１０及び情報処理装置１００を１台ずつ例示したが、１台の情報提供装置１０につき複数台の情報処理装置１００を設けることとしてもよいし、１台の情報処理装置１００につき複数台の情報提供装置１０を設けることとしてもよい。【００１６】
これら情報提供装置１０及び情報処理装置１００は、所定のネットワークを介して、互いが通信可能に接続される。かかるネットワークの一例としては、有線または無線を問わず、インターネット（Internet）、ＬＡＮ（Local  Area  Network）やＶＰＮ（Virtual  Private  Network）などの任意の種類の通信網を採用できる。この他、ＢＬＥ（Bluetooth（登録商標）  Low  Energy）等の近距離無線通信によって両者が通信接続されることとしてもかまわない。【００１７】
情報提供装置１０は、現場２の作業者３に対し、情報処理装置１００からの指示にしたがって支援データを提供する装置である。【００１８】
一実施形態として、情報提供装置１０は、作業者３がハンドキャリーを行うポータブル型の装置として実装される。例えば、作業者３が現場２Ａ〜現場２Ｎで点検作業を行うとしたとき、１つの現場２につき１台の情報提供装置１０を設置せずともかまわず、１台の情報提供装置１０を各現場２で持ち回って使用することができる。すなわち、作業者３は、現場２で点検作業が終了する度に、次の現場２へハンドキャリー等で情報提供装置１０を持ち込み、次の現場２の任意の位置に載置することにより、支援データの提供を受けることができる。【００１９】
一例として、情報提供装置１０は、情報提供装置１０の設置場所に変化があった場合に上記の３次元計測を実行して３次元の計測データを遠隔地４の情報処理装置１００へ送信する。そして、情報提供装置１０は、情報提供装置１０の設置場所が変わるまで上記の２次元計測を繰り返し実行し、２次元計測が実行される度に２次元の計測データを遠隔地４の情報処理装置１００へ送信する。これら３次元及び２次元の計測データの送信後に、情報提供装置１０は、遠隔地４の情報処理装置１００から上記の支援データを受信すると、支援データと共に受信した支援データの提示条件にしたがって現場２の所定位置に支援データに対応する画像を投影する。【００２０】
なお、上記の設置場所の変化は、情報提供装置１０の接地面に設置時にＯＮ状態になり、携帯時にＯＦＦ状態となるメカスイッチを設けることにより検知することとしてもよい。また、作業者３が携帯する携帯端末装置上で動作する点検作業管理用のアプリケーションプログラムが提供するＧＵＩを通じて、現場２からの離脱及び現場２への到着を受け付けることにより検知を行うこととしてもよい。また、情報提供装置１０が接続する無線ＬＡＮのアクセスポイントなどが切り替わったか否かにより検知を行うこととしていもよいし、ＧＰＳ受信機により測定される位置情報に変化があるか否かにより検知を行うこととしてもよい。【００２１】
情報処理装置１００は、上記の支援データを生成するコンピュータである。【００２２】
一実施形態として、情報処理装置１００は、遠隔地４で支援者５が使用するパーソナルコンピュータとして実装される。ここで言う「遠隔地」とは、必ずしも現場２との距離が物理的に遠い場所に限定されず、現場２との間で対面の情報共有が困難である程度に隔てられた場所も含まれる。【００２３】
例えば、情報処理装置１００は、情報提供装置１０から３次元及び２次元の計測データを受信すると、３次元の計測データからレンダリングされる現場２の３次元画像上の２次元の計測データに対応する作業者３の位置に作業者３の３次元モデルが重畳された現場把握画面を生成して所定の表示部に表示させる。その後、情報処理装置１００は、情報提供装置１０から２次元の計測データを受信する度に、現場把握画面における作業者３の３次元モデルの位置を更新する。そして、情報処理装置１００は、現場把握画面上で目標の指定を受け付けた場合に、当該目標に関する支援データを生成してその支援データを情報提供装置１０へ送信する。【００２４】
［ポータブル型の情報提供装置１０］
図２は、実施例１に係る情報提供システム１に含まれる各装置の機能的構成を示すブロック図である。図２に示すように、ポータブル型の情報提供装置１０は、３Ｄ（three  dimensions）センサ１１と、第１センシング部１２と、２Ｄ（two  dimensions）センサ１３と、第２センシング部１４と、通信Ｉ／Ｆ（interface）部１５と、投影制御部１６と、プロジェクタ１７とを有する。【００２５】
３Ｄセンサ１１は、空間の物理的な形状データを出力する３次元スキャナである。【００２６】
一実施形態として、３Ｄセンサ１１は、ＩＲ（infrared）カメラとＲＧＢカメラとを含む３次元スキャナとして実装できる。これらＩＲカメラ及びＲＧＢカメラは、同一の解像度を有し、コンピュータ上で扱う点群の３次元座標も共有される。例えば、３Ｄセンサ１１では、ＩＲカメラが赤外線の照射光が環境の対象物に反射して戻ってくるまでの時間を計測することにより距離画像を撮像するのに同期して、ＲＧＢカメラがカラー画像を撮像する。これによって、３Ｄセンサ１１の画角に対応する画素、すなわち３次元空間上の解像度に対応する点ごとに距離（Ｘ，Ｙ，Ｚ）及び色情報（Ｒ，Ｇ，Ｂ）が得られる。なお、以下では、あくまで一例として、３Ｄセンサ１１が縦４８０ピクセル×横６４０ピクセルの解像度を有する場合を想定する。【００２７】
第１センシング部１２は、３Ｄセンサ１１を用いて環境の静的な対象物をセンシングする処理部である。【００２８】
一実施形態として、第１センシング部１２は、情報提供装置１０の電源がＯＦＦ状態からＯＮ状態に切り替えられた場合や情報提供装置１０の設置場所に変化があった場合に、３Ｄセンシングを起動する。【００２９】
図３は、３Ｄセンシングの一例を示す図である。図３には、図示しないモータを駆動制御して、３Ｄセンサ１１を水平方向、すなわち図１に示した３次元座標系におけるＺ軸回りでパン駆動させることにより、水平方向で３６０°の視野を持つ３Ｄのセンシングデータが生成される場合を想定する。さらに、図３には、３Ｄセンサ１１が有する画角の一例として、上下方向の画角「４５°」及び左右方向の画角「６０°」が符号２０として示されている。【００３０】
例えば、３Ｄセンシングが起動されると、第１センシング部１２は、３Ｄセンサ１１に距離画像及びカラー画像を撮像させることにより３Ｄデータ、すなわち距離画像及びカラー画像を取得する（Ｓ１）。続いて、第１センシング部１２は、所定の角度、例えば本例の画角の例で言えば６０°にわたって３Ｄセンサ１１をＺ軸回りにパン駆動させる（Ｓ２）。その上で、第１センシング部１２は、パン駆動後の新たな視野で３Ｄデータを取得する。その後、第１センシング部１２は、所定の回数、例えば本例の画角の例で言えば５回にわたってパン駆動が行われることにより水平方向の全方位、すなわち３６０°の３Ｄデータが取得されるまで、パン駆動及び３Ｄデータの取得を繰り返し実行する。そして、第１センシング部１２は、水平方向の全方位の３Ｄデータが取得されると、６回にわたって取得された３Ｄデータを統合することにより、３Ｄのセンシングデータ、いわゆるポイントクラウド（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）を生成する（Ｓ３）。なお、３Ｄのセンシングデータの座標系には、一例として、情報提供装置１０を原点とする３次元座標系が採用されることとするが、これに限定されない。例えば、３次元座標系の原点は、任意の位置とすることができるし、ＡＲ（Augmented  Reality）マーカに対応付けられたグローバル座標との対応関係からグローバル座標系に変換することもできる。【００３１】
このように第１センシング部１２により生成された３Ｄのセンシングデータは、通信Ｉ／Ｆ部１５を介して情報処理装置１００へ送信される。ここでは、一例として、情報提供装置１０の処理負荷及び伝送路のトラフィックを抑制する観点から、情報提供装置１０の設置場所に変化がある度に３Ｄのセンシングデータを１度送信する場合を想定する。かかる３Ｄのセンシングデータの送信後は、３Ｄセンサ１１のＲＧＢカメラにより所定のサンプリング周波数で撮像されるライブ画像だけが情報処理装置１００に送信されることとする。【００３２】
２Ｄセンサ１３は、２次元の距離を測定するセンサである。【００３３】
一実施形態として、２Ｄセンサ１３には、ＬＲＦ（Laser  Range  Finder）を始め、ミリ波レーダやレーザレーダなどを採用できる。例えば、２Ｄセンサ１３を図示しないモータを駆動制御して水平方向、すなわちＺ軸回りに回転させることにより、情報提供装置１０を原点とする水平面、すなわちＸＹ平面上の距離を取得することができる。ここでは、一例として、１回転あたり１０００点の距離情報を取得する測距を４０Ｈｚのサンプリング周波数で実現できる場合を想定する。【００３４】
第２センシング部１４は、現場２における環境の動的な対象物の位置をセンシングする処理部である。【００３５】
一実施形態として、第２センシング部１４は、第１センシング部１２により３Ｄセンシングが起動されると同時のタイミング、または、３Ｄセンシングが実行された後に、２Ｄセンシングを起動する。このように２Ｄセンシングを起動した後、第２センシング部１４は、情報提供装置１０の設置場所が変わるまで２Ｄセンシングを繰り返し実行する。【００３６】
図４は、２Ｄセンシングの一例を示す図である。図４に示すように、第２センシング部１４は、２Ｄセンサ１３をＺ軸回りに回転駆動させることにより、２Ｄデータ、すなわちＸＹ平面における全方位の２次元の距離情報を取得する（Ｓ４１）。その後、第２センシング部１４は、Ｓ１で取得された２次元の距離情報に人の形状に対応する距離の軌跡が含まれるか否かにより、人の有無を検知する（Ｓ４２）。【００３７】
例えば、２Ｄセンサ１３が情報提供装置１０の載置面から１ｍ程度の高さの位置に実装される場合、作業者３の腰あたりの形状が２Ｄデータに現れる公算が高まる。このことから、第２センシング部１４は、所定のテンプレート、例えば男女別、年齢別または２Ｄセンサ１３に対する腰の向き別に設定された腰の形状との間で所定の閾値以上の類似度を有する距離のプロット２５が２Ｄデータに存在するか否かを判定することにより人の有無を検知することができる。このとき、人の腰の形状と類似する特徴を持つ物体、例えばマネキン等がノイズとなって誤検知が生じるのを抑制する観点から、２Ｄデータが取得された時刻よりも前の時刻、例えば一時時刻前の２Ｄデータとの差分の有無からノイズを除去することとしてもよい。例えば、第２センシング部１４は、人の腰の形状と類似する距離のプロットが２Ｄデータに存在する場合に、当該２Ｄデータから検知された距離のプロットと一時時刻前の２Ｄデータから検知された距離のプロットとの間で距離のプロット２５がＸＹ平面上で形成する図形の重心位置２５ａ及びプロット２５の輪郭に変化があるか否かを判定する。そして、第２センシング部１４は、重心位置２５ａ及びプロット２５の輪郭のうちいずれか１つ以上に変化がある場合に絞って人を検知することとしてもよい。【００３８】
このように第２センシング部１４により生成された２Ｄのセンシングデータは、通信Ｉ／Ｆ部１５を介して情報処理装置１００へ送信される。例えば、２Ｄデータから人が検知された場合、第２センシング部１４は、人の位置情報、例えば上記の距離のプロット２５の座標群や上記の重心位置２５ａの座標を２Ｄのセンシングデータとして送信する。また、２Ｄデータから人が検知されなかった場合、第２センシング部１４は、人が存在しない旨の通知を２Ｄのセンシングデータとして送信する。【００３９】
かかる人の位置情報を送信することにより、情報処理装置１００では、３Ｄのセンシングデータからレンダリングされる現場２の３Ｄ画像上で２Ｄのセンシングデータに対応する作業者３の位置に作業者３の３次元モデルを重ねて表示させることができる（Ｓ４３）。さらに、２Ｄセンシングが実行される度に２Ｄのセンシングデータを送信することにより、３Ｄ画像上における作業者３の３次元モデルの位置を最新の位置へ更新させることもできる。【００４０】
通信Ｉ／Ｆ部１５は、他の装置、例えば情報処理装置１００などとの間で通信制御を行うインタフェースである。【００４１】
一実施形態として、情報提供装置１０及び情報処理装置１００間が通信網がＬＡＮ等により接続される場合、通信Ｉ／Ｆ部１５には、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。また、情報提供装置１０及び情報処理装置１００間がＢＬＥ等の近距離無線通信により接続される場合、通信Ｉ／Ｆ部１５には、ＢＬＥの通信モジュールを採用できる。例えば、通信Ｉ／Ｆ部１５は、３Ｄセンシングデータや２Ｄセンシングデータを情報処理装置１００へ送信したり、また、情報処理装置１００から支援データの表示指示や支援データの提示条件などを受信したりする。【００４２】
投影制御部１６は、プロジェクタ１７に対する投影制御を実行する処理部である。【００４３】
一実施形態として、投影制御部１６は、遠隔地４の情報処理装置１００から支援データを受信すると、支援データと共に受信した支援データの提示条件にしたがって現場２の所定位置に支援データに対応する画像を投影する。かかる提示条件の例を挙げれば、プロジェクタ１７に投影させる画像の位置、例えば画像の頂点や重心などの代表点と３次元座標の表示位置との対応関係を始め、画像のコンテンツ、例えばマーク、テキスト、静止画や動画の他、プロジェクタ１７に画像を投影させるタイミング、例えば時刻の指定などが含まれる。【００４４】
プロジェクタ１７は、空間に画像を投影する投影機である。かかるプロジェクタ１７には、任意の表示方式、例えば液晶方式やＤＬＰ（Digital  Light  Processing：登録商標）方式、レーザ方式などを採用することができる。【００４５】
なお、上記の第１センシング部１２、第２センシング部１４及び投影制御部１６などの処理部は、次のようにして実装できる。例えば、中央処理装置、いわゆるＣＰＵ（Central  Processing  Unit）などに、上記の各処理部と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの機能部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵ（Micro  Processing  Unit）に実行させることとしてもよい。また、上記の各機能部は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードワイヤードロジックによっても実現できる。【００４６】
また、上記の各処理部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭ（Random  Access  Memory)やフラッシュメモリを採用できる。また、上記の各処理部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ（Hard  Disk  Drive）、光ディスクやＳＳＤ（Solid  State  Drive）などを採用できる。【００４７】
［情報処理装置１００の構成］
図２に示すように、情報処理装置１００は、入力部１１０と、表示部１２０と、通信Ｉ／Ｆ部１３０と、表示制御部１４０と、支援データ生成部１５０とを有する。なお、情報処理装置１００は、図２に示した機能部以外にも既知のコンピュータが有する機能部、例えば各種の音声出力デバイスや印字デバイスなどを有することとしてもよい。【００４８】
入力部１１０は、各種の情報に対する指示入力、例えば３Ｄ画像上における目標の指定などを受け付ける入力デバイスである。【００４９】
一実施形態として、情報処理装置１００が据置き型のパーソナルコンピュータとして実装される場合には、キーボードやマウスなどを採用できる。かかるマウスは、後述の表示部１２０と協働することによってポインティングデバイスとして機能する。ここでは、一例として、マウスによってポインティングデバイス機能が実現される場合を説明するが、タッチパッドなどの他の入力デバイスによりポインティングデバイス機能が実現されることとしてもかまわない。他の実施形態として、情報処理装置１００が携帯端末装置として実装される場合には、入力部１１０と表示部１２０を一体化することによってタッチパネルとして実装することもできる。【００５０】
表示部１２０は、各種の情報、例えば３Ｄ画像などを表示する表示デバイスである。【００５１】
一実施形態として、表示部１２０には、発光により表示を実現する液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイなどを採用することもできる。また、表示部１２０にも、投影により表示を実現するプロジェクタを採用することもできる。【００５２】
通信Ｉ／Ｆ部１３０は、他の装置、例えば情報提供装置１０などとの間で通信制御を行うインタフェースである。【００５３】
一実施形態として、情報提供装置１０及び情報処理装置１００間が通信網がＬＡＮ等により接続される場合、通信Ｉ／Ｆ部１３０には、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。また、情報提供装置１０及び情報処理装置１００間がＢＬＥ等の近距離無線通信により接続される場合、通信Ｉ／Ｆ部１３０には、ＢＬＥの通信モジュールを採用できる。例えば、通信Ｉ／Ｆ部１３０は、情報提供装置１０から３Ｄセンシングデータや２Ｄセンシングデータを受信したり、また、支援データの表示指示や支援データの提示条件などを情報提供装置１０へ送信したりする。【００５４】
表示制御部１４０は、表示部１２０に対する表示制御を実行する処理部である。【００５５】
一実施形態として、表示制御部１４０は、情報提供装置１０により送信される３Ｄセンシングデータ及び２Ｄセンシングデータから現場把握画面を生成する。例えば、表示制御部１４０は、情報提供装置１０から３Ｄセンシングデータを受信すると、当該３Ｄセンシングデータをレンダリングすることにより３Ｄ画像を生成する。さらに、表示制御部１４０は、３Ｄセンシングデータに含まれる全視野の画像を水平方向につなぎ合わせることによりパノラマ画像を生成する。その上で、表示制御部１４０は、上記の３Ｄ画像及び上記のパノラマ画像を含む現場把握画面を生成して表示部１２０に表示させる。続いて、表示制御部１４０は、情報提供装置１０から２Ｄセンシングデータを受信すると、現場把握画面の３Ｄ画像上で２Ｄのセンシングデータに対応する作業者３の位置に作業者３の３次元モデルを重ねて表示させる。その後、表示制御部１４０は、２Ｄセンシングデータを受信する度に、現場把握画面の３Ｄ画像上における作業者３の３次元モデルの位置を最新の位置へ更新させることもできる。これら３Ｄ画像及びパノラマ画像の他、現場把握画面には、表示部１２０に表示中の３Ｄ画像の視点から３Ｄセンサ１１のＲＧＢカメラにより所定のサンプリング周波数で撮像されるカラー画像をライブ画像として含めることもできる。【００５６】
図５及び図６は、現場把握画面の一例を示す図である。図５及び図６に示すように、現場把握画面２００には、３Ｄ画像２１０、パノラマ画像２２０及びライブ画像２３０などが含まれる。さらに、現場把握画面２００には、ラジオボタン２４０、２５０、２５０Ａ及び２５０Ｂやテキストボックス２５０ＣなどのＧＵＩコンポーネントも含まれる。この現場把握画面２００の３Ｄ画像２１０に重ねて表示される作業者３の３Ｄモデル３００は、上述の通り、２Ｄセンシングデータが受信される度にその表示位置が更新される。【００５７】
例えば、図５に示すように、ラジオボタン２４０が選択された状態では、３Ｄ画像２１０上の任意の点で入力部１１０を介して所定の操作を受け付けることにより、３Ｄ画像２１０をレンダリングさせる視点を変更できる。また、３Ｄ画像２１０上の方向指定ポインタ２７０の向きを変更する操作を入力部１１０を介して受け付けることにより、３Ｄセンサ１１のＲＧＢカメラに撮像させるカラー画像の視点も変更することができる。これに連動して、ライブ画像２３０の視点が方向指定ポインタ２７０に対応する向きに変更されることになる。また、パノラマ画像２２０上でスライダ２２０Ａのスライド操作を受け付け、当該スライダ２２０Ａ内の領域が３Ｄセンサ１１のＲＧＢカメラの画角に収まる位置に３Ｄセンサ１１のＲＧＢカメラの視点を変更することにより、ライブ画像２３０の視点を変更することもできる。なお、入力部１１０を介する操作の一例として、ポインティングデバイスによるドラッグ＆ドロップ操作やタッチパネルに対するフリック操作などを受け付けることができる。【００５８】
また、図６に示すように、ラジオボタン２５０が選択された状態では、現場把握画面２００の３Ｄ画像２１０上で現場に支援データを投影させる目標に関する位置の指定を受け付けることができる。このとき、ラジオボタン２５０Ａが選択された状態では、３Ｄ画像２１０上の任意の点が入力部１１０を介して指定された場合に、当該指定を受け付けた点に対応する現場２の３次元座標を基準、例えば投影画像の中心や重心にして作業者３の注意を喚起する注意喚起用のマーク等を支援データとして投影させる指示を受け付けることができる。また、ラジオボタン２５０Ｂが選択された状態では、３Ｄ画像２１０上の任意の点が入力部１１０を介して指定された場合に、当該指定を受け付けた点に対応する現場２の３次元座標を基準にして、テキストボックス２５０Ｃにテキスト入力されたメッセージ「Ｏｐｅｎ！」などのコンテンツを支援データとして投影させる指示を受け付けることができる。なお、ここでは、入力部１１０を介して点の指定を受け付ける場合を例示したが、範囲指定を受け付けることもできる。また、ここでは、コンテンツの一例として、メッセージを例示したが、静止画や動画などの他のコンテンツを投影させる指示を受け付けることもできる。【００５９】
支援データ生成部１５０は、支援データを生成する処理部である。【００６０】
一実施形態として、支援データ生成部１５０は、３Ｄ画像上で支援データを投影させる目標に関する位置の指定を受け付けた場合に、３Ｄ画像上の人の位置情報と、当該指定を受け付けた位置との位置関係に合わせて支援データを生成する。【００６１】
これを具体的に説明すると、支援データ生成部１５０は、情報提供装置１０から送信される作業者３の位置情報の軌跡から作業者３の向きを推定する。例えば、支援データ生成部１５０は、情報提供装置１０から送信される作業者３の位置情報を時系列にＸＹ平面上へプロットし、所定時刻前の作業者３の位置情報から最新の作業者３の位置情報までのプロットの近似直線を求める。その上で、支援データ生成部１５０は、当該近似直線が最新の作業者３の位置情報へ向かう進行方向を作業者３の向き（正面）、すなわち姿勢として推定する。なお、ここでは、支援データ生成部１５０が位置情報の軌跡から作業者３の向きを推定する場合を例示したが、第２センシング部１４により人が検知された場合にその距離のプロットの形状から作業者３の向きを推定させた上で２Ｄセンシングデータとして送信させることとしてもかまわない。【００６２】
そして、支援データ生成部１５０は、指定を受け付けた目標の位置が作業者３の向きから所定の角度、例えば±α以内であるか否かを判定する。このとき、目標の位置が作業者３の向きから所定の角度以内でない場合、支援者５が作業者３に注意を促そうとする目標が作業者３の視界に入っていない可能性がある。この場合、支援データ生成部１５０は、３Ｄセンシングデータに含まれる３次元座標のうち作業者３の正面となる３次元座標の位置を現場２の投影位置として提示条件に設定し、案内用のマーク、例えば矢印を支援情報として投影するように情報提供装置１０へ指示する。かかる投影位置は、一例として、３Ｄセンシングデータに含まれる３次元座標のうちＸＹ平面上で作業者３の向きに対応する近似直線と交わる交点のＸ座標及びＹ座標と共に、所定の高さ、例えば作業者３の腰、胸や頭部に相当する高さのＺ座標を定めることができる。【００６３】
一方、目標の位置が作業者３の向きから所定の角度以内である場合、支援者５が作業者３に注意を促そうとする目標が作業者３の視界に入っている可能性が高いと推定できる。この場合、支援データ生成部１５０は、ＸＹ平面上における作業者３と目標との距離が所定の距離、例えば１ｍや３ｍ以内であるか否かをさらに判定する。【００６４】
このとき、作業者３と目標との距離が所定の距離以内でない場合、目標が作業者３の視界に入っていても、作業者３が目標を認識しやすい位置まで進んでいないことがわかる。この場合、支援データ生成部１５０は、３Ｄセンシングデータに含まれる３次元座標のうち作業者３の正面となる３次元座標の位置を現場２の投影位置として提示条件に設定し、案内用のマーク、例えば矢印を支援情報として投影するように情報提供装置１０へ指示する。【００６５】
一方、作業者３と目標との距離が所定の距離以内である場合、目標が作業者３の視界に入っており、かつ作業者３が目標を認識しやすい位置まで進んでいることがわかる。この場合、支援データ生成部１５０は、３Ｄセンシングデータに含まれる３次元座標のうち指定が受け付けられた目標の位置を現場２の投影位置として提示条件に設定し、注意喚起用のマークまたはコンテンツのうち少なくとも１つを支援情報として投影するように情報提供装置１０へ指示する。【００６６】
なお、上記の表示制御部１４０及び支援データ生成部１５０などの処理部は、次のようにして実装できる。例えば、中央処理装置、いわゆるＣＰＵなどに、上記の各処理部と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの機能部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵに実行させることとしてもよい。また、上記の各機能部は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。【００６７】
また、上記の各処理部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭやフラッシュメモリを採用できる。また、上記の各処理部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ、光ディスクやＳＳＤなどを採用できる。【００６８】
［具体例１］
図７及び図８を用いて、支援データの投影に関する具体例を説明する。図７は、３Ｄ画像の遷移の一例を示す図である。図８は、現場２における投影画像の遷移の一例を示す図である。図７及び図８には、現場２に支援データを投影させる目標としてバルブ２１０Ａが指定される例が示されている。【００６９】
図７に示すように、３Ｄ画像２１０上で現場２に支援データを投影させる目標に関する位置の指定が受け付けられる前（Ｓ１０）には、図８に示すように、現場２で支援データは投影されていない（Ｓ２０）。その後、３Ｄ画像２１０上で現場２に支援データを投影させる目標としてバルブ２１０Ａに関する位置の指定が受け付けられると（Ｓ１１）、現場２において支援データの投影が開始される。すなわち、バルブ２１０Ａに関する位置の指定が受け付けられた段階では、バルブ２１０Ａが作業者３の正面から所定の角度以内に存在しないので、作業者３をバルブ２１０Ａへ誘導する矢印４１０が支援データとして作業者３の正面に投影される（Ｓ２１）。その後、Ｓ２２に遷り、Ｓ２１の段階よりも作業者３がバルブ２１０Ａへ近づく。この場合、バルブ２１０Ａが作業者３の正面から所定の角度以内に存在するが、作業者３とバルブ２１０Ａとの距離が所定の距離以内でないので、引き続き作業者３をバルブ２１０Ａへ誘導する矢印４２０が支援データとして作業者３の正面に投影される（Ｓ２２）。そして、Ｓ２３に遷り、Ｓ２２の段階よりも作業者３がバルブ２１０Ａへさらに近づく。この場合、バルブ２１０Ａが作業者３の正面から所定の角度以内に存在し、かつ作業者３とバルブ２１０Ａとの距離が所定の距離以内であるので、バルブ２１０Ａ上に注意喚起用のマーク４３０が支援データとして投影される（Ｓ２３）。これに合わせて、３Ｄ画像２１０でも作業者３がバルブ２１０Ａに正面を向いて近づいていることやバルブ２１０Ａ上に注意喚起用のマークが投影されていることを支援者５に確認させることができる（Ｓ１２）。【００７０】
このように、本実施例では、作業者３の位置によって支援データの内容が変わる。すなわち、作業者３が目標を認識しやすい位置に近づくまでは案内用のマークが投影される一方で、作業者３が目標を認識しやすい位置に近づくと目標上に注意喚起用のマークが投影される。このため、現場２の環境に人の位置や行動を含めてデジタイズされた環境把握画面を通じて支援データを現場２へ投影できる。よって、現場２で作業が行われる場面に相応しい支援データを提供できる。【００７１】
さらに、情報提供装置１０は、作業者３が現場２と現場２の間を持ち運びできるポータブル型の装置として実装されると共に、作業者３が点検作業を行う現場２に到着した場合には現場２の任意の場所に載置することができる。このため、現場２で作業者３にハンズフリーで点検作業を実施させることができる。加えて、情報提供装置１０が有する３Ｄセンサ１１は、現場２の任意の場所に載置されるので、作業者３の頭部等に設置されずともよい。それ故、現場２から中継されるライブ画像が作業者３の動き、例えば作業による動きや体動によりぶれるのを抑制できる結果、作業者３及び支援者５の間で現場２の作業状況を共有できるレベルを高めることができる。その上、作業者３が点検作業中に装備する器材を低減できる。【００７２】
［具体例２］
図９は、現場２における投影画像の遷移の一例を示す図である。図９には、現場２に支援データを投影させる目標が領域５００として指定される場合が示されている。さらに、図９には、現場把握画面２００が生成されてから入力部１１０を介して受け付けるよりも事前に、目標が設定されている場合を例示する。この場合、図９に示すように、現場２に情報提供装置１０が設置される段階では、現場２で支援データは投影されていない（Ｓ３０）。その後、現場２に情報提供装置１０が設置された場合、領域５００の重心位置が作業者３の正面から所定の角度以内に存在しないので、作業者３を領域５００へ誘導する矢印５１０が支援データとして作業者３の正面に投影される（Ｓ３１）。その後、Ｓ３２に遷り、Ｓ３１の段階よりも作業者３が領域５００へ近づく。この場合、領域５００が作業者３の正面から所定の角度以内に存在するが、作業者３と領域５００との距離が所定の距離以内でないので、引き続き作業者３を領域５００へ誘導する矢印５２０が支援データとして作業者３の正面に投影される。そして、Ｓ３３に遷り、Ｓ３２の段階よりも作業者３が領域５００へさらに近づく。この場合、領域５００が作業者３の正面から所定の角度以内に存在し、かつ作業者３と領域５００との距離が所定の距離以内であるので、バルブ２１０Ａ上に「Ｘｘｘ  Ｘｘｘ  Ｘｘｘ」を含むメッセージ５３０が支援データとして投影される。【００７３】
図７及び図８には、現場把握画面２００が生成されてから入力部１１０を介して目標に関する点の指定を受け付ける場合を例示したが、図９に示す通り、現場把握画面２００が生成された段階で目標を指定させる操作を省くために、事前に目標が設定されることとしてもよいし、目標に関する位置として点の代わりに領域が設定されることとしてもかまわない。この場合にも、現場２で作業が行われる場面に相応しい支援データを提供できる。さらに、作業者３及び支援者５の間で現場２の作業状況を共有できるレベルを高めることができると共に、作業者３が点検作業中に装備する器材を低減できる。【００７４】
［処理の流れ］
続いて、本実施例に係る情報提供システムの処理の流れについて説明する。なお、ここでは、情報提供装置１０により実行される（１）センシング処理、情報処理装置１００により実行される（２）表示制御処理、（３）情報提供処理の順に説明することとする。【００７５】
（１）センシング処理
図１０は、実施例１に係るセンシング処理の手順を示すフローチャートである。この処理は、情報提供装置１０の電源がＯＦＦ状態からＯＮ状態に切り替えられた場合や情報提供装置１０の設置場所に変化があった場合に起動する。なお、図１０に示す処理は、情報提供装置１０の電源がＯＦＦ状態に切り替えられるまで繰り返し実行される。【００７６】
第１センシング部１２は、３Ｄセンサ１１に距離画像及びカラー画像を撮像させることにより３Ｄデータ、すなわち距離画像及びカラー画像を取得する（ステップＳ１０１）。続いて、第１センシング部１２は、所定の角度、例えば本例の画角の例で言えば６０°にわたって３Ｄセンサ１１をＺ軸回りにパン駆動させる（ステップＳ１０２）。【００７７】
そして、パン駆動が行われた回数が所定の回数、例えば５回となるまで（ステップＳ１０３Ｎｏ）、第１センシング部１２は、上記のステップＳ１０１及びステップＳ１０２の処理を繰り返し実行する。【００７８】
その後、パン駆動が行われた回数が所定の回数になった場合（ステップＳ１０３Ｙｅｓ）、第１センシング部１２は、水平方向の全方位にわたって取得された３Ｄデータ３を統合することにより、３Ｄのセンシングデータを生成する（ステップＳ１０４）。そして、第１センシング部１２は、ステップＳ１０４で生成された３Ｄのセンシングデータを情報処理装置１００へ送信する（ステップＳ１０５）。【００７９】
ステップＳ１０５の実行後、第２センシング部１４は、２Ｄセンシングを起動する（ステップＳ１０６）。続いて、第２センシング部１４は、２Ｄセンサ１３をＺ軸回りに回転駆動させることにより、２Ｄデータ、すなわちＸＹ平面における全方位の２次元の距離情報を取得する（ステップＳ１０７）。【００８０】
その後、第２センシング部１４は、ステップＳ１０７で取得された２次元の距離情報に人の形状に対応する距離の軌跡が含まれるか否かにより、人の有無を検知する（ステップＳ１０８）。【００８１】
このとき、人が検知された場合（ステップＳ１０９Ｙｅｓ）、第２センシング部１４は、ステップＳ１０８で検知された人の位置情報を付加し（ステップＳ１１０）、３Ｄセンサ１１のＲＧＢカメラで撮像されるカラー画像を含めて２Ｄセンシングデータを情報処理装置１００へ送信する（ステップＳ１１１）。【００８２】
一方、人が検知されなかった場合（ステップＳ１０９Ｎｏ）、第２センシング部１４は、３Ｄセンサ１１のＲＧＢカメラで撮像されるカラー画像だけを２Ｄセンシングデータとして情報処理装置１００へ送信する（ステップＳ１１１）。なお、この場合にも、人が検知されなかった旨の通知を２Ｄセンシングデータに含めることができる。【００８３】
その後、情報提供装置１０の設定場所に変化があるまで（ステップＳ１１２Ｎｏ）、上記のステップＳ１０７〜ステップＳ１１１までの処理を繰り返し実行する。そして、情報提供装置１０の設定場所に変化があった場合（ステップＳ１１２Ｙｅｓ）、上記のステップＳ１０１へ戻り、上述の通り、ステップＳ１０１以降の処理を繰り返し実行する。【００８４】
（２）表示制御処理
図１１は、実施例１に係る表示制御処理の手順を示すフローチャートである。この処理は、情報提供装置１０との間で通信が確立されている限り、繰り返し実行される処理である。【００８５】
図１１に示すように、情報提供装置１０から３Ｄセンシングデータを受信すると（ステップＳ２０１Ｙｅｓ）、表示制御部１４０は、当該３Ｄセンシングデータをレンダリングすることにより３Ｄ画像を生成する（ステップＳ２０２）。なお、３Ｄセンシングデータを受信していない場合（ステップＳ２０１Ｎｏ）、ステップＳ２０５の処理へ移行する。【００８６】
さらに、表示制御部１４０は、３Ｄセンシングデータに含まれる全視野の画像を水平方向につなぎ合わせることによりパノラマ画像を生成する（ステップＳ２０３）。その上で、表示制御部１４０は、上記の３Ｄ画像及び上記のパノラマ画像を含む現場把握画面を生成して表示部１２０に表示させる（ステップＳ２０４）。【００８７】
その後、情報提供装置１０から２Ｄセンシングデータを受信すると（ステップＳ２０５Ｙｅｓ）、表示制御部１４０は、ステップＳ２０５で受信された２Ｄセンシングデータに含まれるカラー画像を現場把握画面内にライブ画像として表示させる（ステップＳ２０６）。【００８８】
そして、２Ｄセンシングデータに人の位置情報が含まれる場合（ステップＳ２０７Ｙｅｓ）、表示制御部１４０は、現場把握画面の３Ｄ画像上で２Ｄのセンシングデータに対応する作業者３の位置に作業者３の３次元モデルを重ねて表示させる（ステップＳ２０８）。その後、表示制御部１４０は、ステップＳ２０１の処理へ戻り、以降の処理を繰り返し実行する。【００８９】
（３）情報提供処理
図１２は、実施例１に係る情報提供処理の手順を示すフローチャートである。この処理は、３Ｄ画像上で支援データを投影させる目標に関する位置の指定を受け付けた場合に起動する。【００９０】
図１２に示すように、３Ｄ画像上で支援データを投影させる目標に関する位置の指定を受け付けると（ステップＳ３０１）、支援データ生成部１５０は、情報提供装置１０から送信される作業者３の位置情報の軌跡から作業者３の向きを推定する（ステップＳ３０２）。【００９１】
そして、支援データ生成部１５０は、ステップＳ３０１で指定を受け付けた目標の位置が作業者３の向きから所定の角度以内であるか否かを判定する（ステップＳ３０３）。このとき、目標の位置が作業者３の向きから所定の角度以内でない場合（ステップＳ３０３Ｎｏ）、支援者５が作業者３に注意を促そうとする目標が作業者３の視界に入っていない可能性がある。【００９２】
この場合、支援データ生成部１５０は、３Ｄセンシングデータに含まれる３次元座標のうち作業者３の正面となる３次元座標の位置を現場２の投影位置として提示条件に設定し、案内用のマーク、例えば矢印を支援情報として投影するように情報提供装置１０へ指示する（ステップＳ３０４）。これによって、情報提供装置１０では、作業者３の正面に案内用のマークが投影されることになる。その後、ステップＳ３０２の処理へ戻る。【００９３】
一方、目標の位置が作業者３の向きから所定の角度以内である場合（ステップＳ３０３Ｙｅｓ）、支援者５が作業者３に注意を促そうとする目標が作業者３の視界に入っている可能性が高いと推定できる。この場合、支援データ生成部１５０は、ＸＹ平面上における作業者３と目標との距離が所定の距離以内であるか否かをさらに判定する（ステップＳ３０５）。【００９４】
このとき、作業者３と目標との距離が所定の距離以内でない場合（ステップＳ３０５Ｎｏ）、目標が作業者３の視界に入っていても、作業者３が目標を認識しやすい位置まで進んでいないことがわかる。この場合、支援データ生成部１５０は、３Ｄセンシングデータに含まれる３次元座標のうち作業者３の正面となる３次元座標の位置を現場２の投影位置として提示条件に設定し、案内用のマーク、例えば矢印を支援情報として投影するように情報提供装置１０へ指示する（ステップＳ３０４）。これによって、情報提供装置１０では、作業者３の正面に案内用のマークが投影されることになる。その後、ステップＳ３０２の処理へ戻る。【００９５】
ここで、作業者３と目標との距離が所定の距離以内である場合（ステップＳ３０５Ｙｅｓ）、目標が作業者３の視界に入っており、かつ作業者３が目標を認識しやすい位置まで進んでいることがわかる。この場合、支援データ生成部１５０は、３Ｄセンシングデータに含まれる３次元座標のうち指定が受け付けられた目標の位置を現場２の投影位置として提示条件に設定し、注意喚起用のマークまたはコンテンツのうち少なくとも１つを支援情報として投影するように情報提供装置１０へ指示し（ステップＳ３０６）、処理を終了する。これによって、情報提供装置１０では、作業者３の正面に案内用のマークが投影されることになる。【００９６】
［効果の一側面］
上述してきたように、本実施例に係る情報提供システム１は、環境の静的な対象物に関する３次元計測及び環境の動的な対象物の位置に関する２次元計測を行い、これらの計測データに基づく環境把握画像を通じて遠隔地４で生成された支援データを現場２に提供する。したがって、本実施例に係る情報提供システム１によれば、現場２で作業が行われる場面に相応しい支援データを提供できる。
【実施例２】
【００９７】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。【００９８】
［３Ｄデータの取得方法の応用例］
上記の実施例１では、３Ｄセンサ１１を制御して縦４８０ピクセル×横６４０ピクセルの解像度を持つ３Ｄデータを取得する場合を例示したが、図示しないモータを駆動制御して、３Ｄセンサ１１を各画素間のピッチの半分、すなわち半ピッチにわたってシフトさせた上で３Ｄデータをさらに取得し、各３Ｄデータの間で画素間の間隙部分のデータを補間する統合処理を実行することにより、高解像度の３Ｄデータを生成することもできる。【００９９】
図１３は、３Ｄデータの取得方法の応用例を示す図である。図１３には、縦４８０ピクセル×横６４０ピクセルの画素を形成する空間上の点群の一部が黒丸の塗りつぶしで示されている。また、図１３には、黒丸の塗りつぶしで示された点群で３Ｄデータが取得される場合に比べて右方向へ画素の半ピッチにわたって３Ｄセンサ１１が駆動された場合に取得される３Ｄデータの点群の一部が点の塗りつぶしで示されている。さらに、図１３には、黒丸の塗りつぶしで示された点群で３Ｄデータが取得される場合に比べて下方向へ画素の半ピッチにわたって３Ｄセンサ１１が駆動された場合に取得される３Ｄデータの点群の一部が右上がりの斜線の塗りつぶしで示されている。加えて、図１３には、黒丸の塗りつぶしで示された点群で３Ｄデータが取得される場合に比べて右方向及び下方向へ画素の半ピッチずつにわたって３Ｄセンサ１１が駆動された場合に取得される３Ｄデータの点群の一部が白色の塗りつぶしで示されている。これら４つの３Ｄデータを統合することにより、２倍の解像度の３Ｄデータを得ることができる。【０１００】
［支援データの投影位置］
上記の実施例１では、指定が受け付けられた目標の位置に支援データが投影される場合を例示したが、必ずしも指定が受け付けられた目標の位置に投影させずともかまわない。例えば、目標の位置から所定の距離以内であって輝度勾配が閾値以下である画素が連続する無地の領域に支援データを投影させることにより支援データの視認性を向上させることもできる。また、現場２に設けられたＡＲマーカのうち目標の位置から最も近い距離にあるＡＲマーカ上に支援データを投影させることとしてもよい。【０１０１】
［支援データの内容の応用例］
上記の実施例１では、支援者５が入力するメッセージ等を支援データとして投影させる場合を例示したが、これに限定されない。例えば、現場２の点検箇所付近に設けられたＡＲマーカからその識別情報を画像処理により認識し、当該識別情報に対応付けられた情報、例えば点検手順や注意事項などをデータベースの検索により取得し、検索により取得された情報を支援データとして投影させることもできる。また、事前に熟練者や前任者が現場作業を行い、その手順の映像を記録して熟練者視点で手元の映像を取得し、作業者視点で熟練者の映像を投影する。これによって、作業者３は熟練者の手の動きに追従しながら作業を実施できる。【０１０２】
［ガジェットとの連携］
上記の実施例１では、情報提供システム１に情報提供装置１０及び情報処理装置１００が含まれる場合を例示したが、この他に作業者３が装着するウェアラブルのガジェットを含めることとしてもよい。例えば、加速度センサやジャイロセンサなどのモーションセンサを搭載するガジェットを作業者３の手首または指に装着させることもできる。この場合、ガジェットのモーションセンサにより得られたセンサ値からジェスチャ、例えば左方向から右方向へガジェットを動かすジェスチャ等を情報提供装置１０または情報処理装置１００に認識させ、ジェスチャに対応付けられた支援データの表示内容に関する操作、例えば支援データの投影のＯＮまたはＯＦＦの操作や複数ページにわたる支援データのページ送りまたはページ戻りなどを実行することができる。【０１０３】
また、支援データの表示内容に関する操作に限らず、支援データの投影位置を指定する操作をジェスチャ認識により受け付けることもできる。この場合、ジェスチャ認識に限らず、レーザポインタやガジェットに内蔵または付設されたＬＥＤ（Light  Emitting  Diode）の発光位置をライブ画像からセンシングすることにより、３Ｄセンシングデータに含まれる３次元座標のうち作業者３の体幹、例えば重心位置から発光位置を結ぶ直線と交わる交点の座標に支援データを表示させることもできる。このようにＬＥＤがガジェットに設けられている場合、当該ガジェットと連携し、手先の軌道に応じた軌跡を取得しつつ、その軌跡を現場２の環境へ投射させることもできる。これによって、環境側の壁面をＬＥＤを点灯させながら指でなぞることで、壁面に文字や絵等の作業情報を描くことができる。【０１０４】
また、ＬＥＤ等の発光部とＮＦＣ等の近接無線読取機を有する手先装着型のガジェットと連携し、環境に新たなタグを貼り付ける場合、タグの位置情報を取得して管理することもできる。これによって、作業者が環境側にタグを貼りつけることで、環境側のモノの位置情報を管理できる。例えば、不具合箇所にタグを貼り付けていき、その位置と点検時刻を管理する。また、現場のドアノブに管理者が「立入禁止」のタグを貼り付け、その後管理者以外の者がドアノブに触れると、アラームが鳴るなどの管理にも使用できる。【０１０５】
［支援データの生成主体］
上記の実施例１では、支援データの生成が情報処理装置１００により実行される場合を例示したが、環境把握画像上で所定の目標に関する位置の指定を受け付けた場合に、当該指定が受け付けられた目標の位置と、３Ｄ画像上の動的な対象物の位置とを情報処理装置１００から情報提供装置１０へ送信させた上で上記の支援データを情報提供装置１０に生成させることとしてもかまわない。【０１０６】
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、支援者５が使用する情報処理装置１００に表示制御部１４０及び支援データ生成部１５０が実装される場合を例示したが、これらの機能部を外部のサーバ装置等に実装させ、情報処理装置１００では情報の入出力だけを実行させることもできる。【０１０７】
［情報提供プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１４を用いて、上記の実施例と同様の機能を有する情報提供プログラムを実行するコンピュータの一例について説明する。【０１０８】
図１４は、実施例１及び実施例２に係る情報提供プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１４に示すように、コンピュータ１１００は、操作部１１１０ａと、スピーカ１１１０ｂと、カメラ１１１０ｃと、ディスプレイ１１２０と、通信部１１３０とを有する。さらに、このコンピュータ１１００は、ＣＰＵ１１５０と、ＲＯＭ１１６０と、ＨＤＤ１１７０と、ＲＡＭ１１８０とを有する。これら１１１０〜１１８０の各部はバス１１４０を介して接続される。【０１０９】
ＨＤＤ１１７０には、図１４に示すように、上記の実施例１で示した第１センシング部１２、第２センシング部１４及び投影制御部１６と同様の機能を発揮する情報提供プログラム１１７０ａが記憶される。この情報提供プログラム１１７０ａは、図２に示した第１センシング部１２、第２センシング部１４及び投影制御部１６の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１１７０に格納されればよい。【０１１０】
このような環境の下、ＣＰＵ１１５０は、ＨＤＤ１１７０から情報提供プログラム１１７０ａを読み出した上でＲＡＭ１１８０へ展開する。この結果、情報提供プログラム１１７０ａは、図１４に示すように、情報提供プロセス１１８０ａとして機能する。この情報提供プロセス１１８０ａは、ＲＡＭ１１８０が有する記憶領域のうち情報提供プロセス１１８０ａに割り当てられた領域にＨＤＤ１１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、情報提供プロセス１１８０ａが実行する処理の一例として、図１０に示す処理や図１２に示した処理の一部などが含まれる。なお、ＣＰＵ１１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。【０１１１】
なお、上記の情報提供プログラム１１７０ａは、必ずしも最初からＨＤＤ１１７０やＲＯＭ１１６０に記憶されておらずともかまわない。例えば、コンピュータ１１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１１００がこれらから各プログラムを取得して実行するようにしてもよい。
【符号の説明】
【０１１２】
１    情報提供システム
２Ａ，２Ｂ，・・・，２Ｎ    現場
３    作業者
４    遠隔地
５    支援者
１０    情報提供装置
１１    ３Ｄセンサ
１２    第１センシング部
１３    ２Ｄセンサ
１４    第２センシング部
１５    通信Ｉ／Ｆ部
１６    投影制御部
１７    プロジェクタ
１００    情報処理装置
１１０    入力部
１２０    表示部
１３０    通信Ｉ／Ｆ部
１４０    表示制御部
１５０    支援データ生成部
【図１】
2016135985.tif 000003
【図２】
2016135985.tif 000004
【図３】
2016135985.tif 000005
【図４】
2016135985.tif 000006
【図５】
2016135985.tif 000007
【図６】
2016135985.tif 000008
【図７】
2016135985.tif 000009
【図８】
2016135985.tif 000010
【図９】
2016135985.tif 000011
【図１０】
2016135985.tif 000012
【図１１】
2016135985.tif 000013
【図１２】
2016135985.tif 000014
【図１３】
2016135985.tif 000015
【図１４】
2016135985.tif 000016
【手続補正書】
【提出日】平成29年9月1日(2017.9.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
情報提供装置が実行する情報提供方法であって、
３次元で環境の静的な対象物を計測し、
環境の動的な対象物の位置を逐次計測し、
計測した静的な対象物の計測データを通信網を介して所定の情報処理装置に送信し、
計測した動的な対象物の計測データを通信網を介して前記情報処理装置に送信し、
前記情報処理装置で静的な対象物の計測データと動的な対象物の計測データより生成した環境把握画像に基づいて前記情報処理装置から支援データを受信し、
受信した支援データを所定のタイミングで環境に提示する
処理を実行することを特徴とする情報提供方法。
【請求項２】
前記支援データは、前記静的な対象物の一部を示す位置データを含み、
前記提示する処理は、前記動的な対象物の計測位置と前記支援データが含む位置データに基づいて、前記支援データを提示することを特徴とする請求項１に記載の情報提供方法。
【請求項３】
前記支援データと共に提示条件を受信する処理をさらに実行し、
前記提示する処理は、前記提示条件に基づいて前記支援データを提示することを特徴とする請求項１に記載の情報提供方法。
【請求項４】
情報提供装置に実行させる情報提供プログラムであって、
３次元で環境の静的な対象物を計測し、
環境の動的な対象物の位置を逐次計測し、
計測した静的な対象物の計測データを通信網を介して所定の情報処理装置に送信し、
計測した動的な対象物の計測データを通信網を介して前記情報処理装置に送信し、
前記情報処理装置で静的な対象物の計測データと動的な対象物の計測データより生成した環境把握画像に基づいて前記情報処理装置から支援データを受信し、
受信した支援データを所定のタイミングで環境に提示する
処理を実行させることを特徴とする情報提供プログラム。
【請求項５】
３次元で環境の静的な対象物を計測する第１センシング部と、
環境の動的な対象物の位置を逐次計測する第２センシング部と、
計測した静的な対象物の計測データを通信網を介して所定の情報処理装置に送信する第１送信部と、
計測した動的な対象物の計測データを通信網を介して前記情報処理装置に送信する第２送信部と、
前記情報処理装置で静的な対象物の計測データと動的な対象物の計測データより生成した環境把握画像に基づいて前記情報処理装置から支援データを受信する受信部と、
受信した支援データを所定のタイミングで環境に提示する提示部と
を有することを特徴とする情報提供装置。
【請求項６】
計測装置が設置される環境の静的な対象物が３次元で計測された計測データを前記情報提供装置から受信する第１受信部と、
前記計測装置により前記環境の動的な対象物の位置が計測される度に当該動的な対象物の計測データを受信する第２受信部と、
前記環境の静的な対象物の計測データから生成された３次元画像上に前記動的な対象物の位置が重ねられた環境把握画像を所定の表示部に表示させる表示制御部と、
前記環境把握画像上で所定の目標に関する位置の指定を受け付けた場合に、当該指定が受け付けられた目標の位置と、前記３次元画像上の前記動的な対象物の位置とに基づいて支援データを生成する生成部と、
情報の提示を行う提示装置へ前記支援データを送信する送信部と
を有することを特徴とする情報処理装置。
【請求項７】
第１の装置及び第２の装置を含む情報提供システムであって、
前記第１の装置は、
３次元で環境の静的な対象物を計測する第１センシング部と、
環境の動的な対象物の位置を逐次計測する第２センシング部と、
計測した静的な対象物の計測データを通信網を介して前記第２の装置に送信する第１送信部と、
計測した動的な対象物の計測データを通信網を介して前記第２の装置に送信する第２送信部と、
前記第２の装置で静的な対象物の計測データと動的な対象物の計測データより生成した環境把握画像に基づいて前記第２の装置から支援データを受信する受信部と、
受信した支援データを所定のタイミングで環境に提示する提示部とを有し、
前記第２の装置は、
前記第１の装置から前記静的な対象物の計測データを受信する第１受信部と、
前記第１の装置により前記環境の動的な対象物の位置が計測される度に当該動的な対象物の計測データを受信する第２受信部と、
前記環境の静的な対象物の計測データから生成された３次元画像上に前記動的な対象物の位置が重ねられた環境把握画像を所定の表示部に表示させる表示制御部と、
前記環境把握画像上で所定の目標に関する位置の指定を受け付けた場合に、当該指定が受け付けられた目標の位置と、前記３次元画像上の前記動的な対象物の位置とに基づいて前記支援データを生成する生成部と、
前記支援データを前記第１の装置へ送信する送信部とを有する
ことを特徴とする情報提供システム。
【国際調査報告】
2016135985.tif 000017
2016135985.tif 000018
2016135985.tif 000019
2016135985.tif 000020
2016135985.tif 000021
2016135985.tif 000022