(57)【要約】【課題】装置の設計者と装置の保守を行う作業員とが連携するための情報の共有化を効率的に行う。【解決手段】携帯端末装置２は、装置５を撮像する撮像部２２と、撮像された装置５の実画像に基づいて装置５に対する携帯端末装置２の位置および方向を示す視点データを作成する視点データ作成部２６とを有している。ＰＣ１は、携帯端末装置２を使用する作業員に与える指示を示す指示画像の指示画像データおよび指示画像を装置５の実画像に重ねて表示するために視点データおよび装置５の外観を表す外観データに基づいて特定された表示位置データを含む指示データを作成する指示データ作成部１８とを有している。【選択図】図１
2016012168.tif 000002
【特許請求の範囲】
【請求項１】
監視対象を撮像する撮像部と、
前記撮像部によって撮像された前記監視対象の実画像に基づいて前記監視対象に対する携帯端末装置の位置および方向を示す視点データを作成する視点データ作成手段とを有する携帯端末装置と、
前記携帯端末装置を使用する作業員に与える指示を示す指示画像の指示画像データおよび前記指示画像を前記実画像に重ねて表示するために前記視点データおよび前記監視対象の外観を表す外観データに基づいて特定された表示位置データを含む指示データを作成する指示データ作成手段を有するデータ作成装置とを備え、
前記携帯端末装置は、前記撮像部によって撮像された前記実画像上の前記表示位置データで特定された表示位置に、前記指示画像データにより示された前記指示画像を重ねて表示する処理を行う指示画像表示処理手段をさらに有していることを特徴とする情報共有化システム。
【請求項２】
前記携帯端末装置は、
前記外観データを記憶する第１記憶部と、
前記実画像の画像データに基づいて比較のための比較外観データを作成し、当該比較外観データと前記外観データとの差分である差分データを作成する差分データ作成手段と、
前記第１記憶部に記憶された前記外観データを前記差分データに基づいて更新する第１更新手段とをさらに有し、
前記データ作成装置は、
前記外観データを記憶する第２記憶部と、
前記第２記憶部に記憶された前記外観データを前記差分データに基づいて更新する第２更新手段とをさらに有していることを特徴とする請求項１に記載の情報共有化システム。
【請求項３】
前記携帯端末装置は、
更新された前記外観データを密度が異なる複数の分割データに分割し、当該分割データを、疎な前記分割データから密な前記分割データへと順に、前記外観データを記憶する機器に送信する送信処理手段をさらに有していることを特徴とする請求項２に記載の情報共有化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置の設計者と装置の保守を行う作業員とが連携するための情報を設計者と作業員との間で共有化する情報共有化システムに関する。
【背景技術】
【０００２】
装置の保守には、実際に現場で装置の保守作業を担当する作業員と、装置について熟知している装置の設計者との連携が欠かせない。また、通常、設計者が現場から離れたオフィスにいるため、設計者と作業員との間の意思疎通は、設計図を参照した携帯電話による会話、インターネット電話サービスを利用した音声および動画の送信などの形態で行われる。例えば、携帯電話を利用する場合、作業員が、携帯電話を介して、設計図を参照しながら装置の保守についての相談を設計者にして、設計者からの指示を得る。また、インターネット電話サービスを利用する場合、作業員が、装置を撮影した動画像のデータと、当該動画像について説明した音声のデータとをインターネットを介して設計者に送信して相談し、設計者からの指示を得る。
【０００３】
設計者と作業員との他の連携の例としては、特許文献１や特許文献２に開示されているようなシステムがある。特許文献１には、プラント全体を表現する固定画画面データと収集されたプラント各部の状態データとを組み合わせたハイパーテキストデータを、監視対象側からオフィス側へデータ伝送路を介して転送し、オフィス側において表示することが開示されている。特許文献２には、監視カメラによって撮影された業務サーバの監視映像に対し、予め更新された業務サーバのステータスを、業務サーバに付されたマーカーを基準にして、対応する業務サーバの近傍に重畳させて拡張現実映像を表示することが開示されている。これらのシステムを利用することにより、作業員は、作業員側から設計者側に送られた情報に基づいて、装置の保守について設計者に相談することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−４１８６１号公報（１９９８年２月１３日公開）
【特許文献２】特開２０１２−１８６０５号公報（２０１２年１月２６日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
作業員から相談を受けた設計者が、適切な対処法を判断するために、所望とする装置の部分の状態を知りたいことがある。例えば、作業員が伝えてきた装置のある部分の不具合について、その部分に関連する他の部分の状態についても知っておく必要がある場合、作業員から得た情報だけでは不十分である。
【０００６】
しかしながら、上述の携帯電話やインターネット電話サービスを利用した手法では、装置の画像を参照した音声でのやり取りとなるので、装置の構成によっては、設計者が状態を知りたい装置の部分を音声（口頭）のみで作業員に伝えることが難しい場合もある。また、特許文献１および２には、装置側（作業員側）からオフィス側（設計者側）に装置の状況を伝える手法が開示されているものの、設計者が知りたい装置の情報を設計者側から作業員側に伝える手法については開示されていない。
【０００７】
このように、従来の技術では、設計者と作業員との間で装置の情報を効率的に共有することが容易ではなかった。
【０００８】
本発明は上記の問題点を解決するためになされたものであり、その目的は、装置の設計者と装置の保守を行う作業員とが連携するための情報の共有化を効率的に行うことにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明に係る情報共有化システムは、監視対象を撮像する撮像部と、前記撮像部によって撮像された前記監視対象の実画像に基づいて前記監視対象に対する携帯端末装置の位置および方向を示す視点データを作成する視点データ作成手段とを有する携帯端末装置と、前記携帯端末装置を使用する作業員に与える指示を示す指示画像の指示画像データおよび前記指示画像を前記実画像に重ねて表示するために前記視点データおよび前記監視対象の外観を表す外観データに基づいて特定された前記監視対象の立体的な配置領域における表示位置データを含む指示データを作成する指示データ作成手段を有するデータ作成装置とを備え、前記携帯端末装置が、前記撮像部によって撮像された前記実画像上の前記表示位置データで特定された表示位置に、前記指示画像データにより示された前記指示画像を重ねて表示する処理を行う指示画像表示処理手段をさらに有していることを特徴としている。
【００１０】
なお、“監視対象の立体的な配置領域”とは、撮像された監視対象は平面的に表示されることになるが、実際には立体的であるのに平面的に表示される監視対象の領域を表わすものである。
【００１１】
上記の構成では、携帯端末装置において、データ作成装置では、指示データ作成手段によって、視点データおよび外観データとに基づいて、作業員に指示を与えるための指示データ（指示画像データおよび表示位置データを含む）が作成される。これにより、データ作成装置を使用する設計者は、携帯端末装置を使用する作業員から受け取った視点データに基づいて、作業員の目線で指示データを作成することができる。
【００１２】
一方、携帯端末装置において、指示画像表示処理手段によって、データ作成装置で作成された指示データに基づいて、監視対象の実画像上の表示位置データで特定された表示位置に、指示画像データにより示された指示画像を重ねて表示する処理が行われると、指示画像が、撮像部によって撮像された実画像上に重ねて表示される。
【００１３】
したがって、設計者は、指示データを共有の情報として、より明確（直感的）に指示を作業員に伝えたり、作業員と打ち合わせを円滑に行ったりすることが可能となる。
【００１４】
前記情報共有化システムにおいて、前記携帯端末装置は、前記外観データを記憶する第１記憶部と、前記実画像の画像データに基づいて比較のための比較外観データを作成し、当該比較外観データと前記外観データとの差分である差分データを作成する差分データ作成手段と、前記第１記憶部に記憶された前記外観データを前記差分データに基づいて更新する第１更新手段とをさらに有し、前記データ作成装置は、前記外観データを記憶する第２記憶部と、前記第２記憶部に記憶された前記外観データを前記差分データに基づいて更新する第２更新手段とをさらに有していることが好ましい。
【００１５】
上記の構成では、携帯端末装置において、差分データ作成手段によって、差分データが作成されると、第１更新手段により、その差分データに基づいて外観データが更新される。また、データ作成装置でも、第２更新手段により、その差分データに基づいて外観データが更新される。これにより、携帯端末装置およびデータ作成装置において、共有される外観データが同様に更新される。また、このように差分データを用いることにより、携帯端末装置からデータ作成装置に差分データを送信する際のデータサイズを小さくすることができる。
【００１６】
前記情報共有化システムにおいて、前記携帯端末装置は、更新された前記外観データを密度が異なる複数の分割データに分割し、当該分割データを、疎な前記分割データから密な前記分割データへと順に、前記外観データを記憶する機器に送信する送信処理手段をさらに有していることが好ましい。
【００１７】
上記の構成では、送信処理手段によって、上記のように分割された分割データが送信される。これにより、外観データの全ての送信が完了していない段階で、分割データの送信のみで、外観データの内容を推測することができる。それゆえ、設計者および作業員の作業効率を向上させることができる。また、サイズの大きいデータを一度に送信することが回避されるので、分割データを送信する通信回線が低品質であっても、その回線を圧迫することなく、データを送信することができる。
【発明の効果】
【００１８】
本発明は、上記のように構成されることにより、装置の設計者と装置の保守を行う作業員とが連携するための情報の共有化を効率的に行うことができるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る情報共有化システムの構成を示すブロック図である。
【図２】上記情報共有化システムにおけるパーソナルコンピュータで作成された３Ｄモデルデータの画像を示す図である。
【図３】テクスチャーデータの画像を示す図である。
【図４】作業員の視点で見た装置の状態を仮想的に表した仮想像を示す図である。
【図５】作業員に与える指示を上記仮想象に付加して得た図である。
【図６】上記指示が示された上記情報共有化システムにおける携帯端末装置で表示される装置の画像を示す図である。
【図７】作業員が撮影する装置の撮影範囲が付加された図である。
【図８】作業員が撮影する装置の撮影方向が付加された図である。
【図９】（ａ）〜（ｃ）は装置の撮影箇所および撮影方向を上記仮想象に付加して得た図である。
【図１０】（ａ）は設計者と作業員とで共有されるテクスチャーを示す図であり、（ｂ）は上記携帯端末装置で撮影された画像に基づいて作成されたテクスチャーを示す図であり、（ｃ）および（ｄ）は（ａ）および（ｂ）のテクスチャー間の差分をそれぞれ示す図であり、（ｅ）は当該差分に基づいて更新されたテクスチャーを示す図である。
【図１１】一部が更新された（累進的な更新における途中の状態の）上記３Ｄモデルを示す図である。
【図１２】全部が更新された（累進的な更新における最後の状態の）３Ｄモデルを示す図である。
【図１３】一部が更新された（累進的な更新における途中の状態の）テクスチャーを示す図である。
【図１４】全部が更新された（累進的な更新における最後の状態の）テクスチャーを示す図である。
【発明を実施するための形態】
【００２０】
〔実施形態〕
本発明の一実施形態を図１〜図１４に基づいて説明すれば、以下の通りである。
【００２１】
図１は、本実施形態に係る情報共有化システム１００の構成を示すブロック図である。
【００２２】
図１に示すように、情報共有化システム１００は、装置５（後述）の設計者側で各種のデータを作成するパーソナルコンピュータ（図中「ＰＣ」にて示し、以降単に「ＰＣ」と称する）１と、上記各種のデータに基づいて設計者に提供するデータを作成する携帯端末装置２と、ＰＣ１と携帯端末装置２とを通信可能に接続するネットワーク３とを備えている。また、情報共有化システム１００は、必要に応じて、上記各種のデータを保存するサーバ４を備えている。
【００２３】
なお、基本となる３Ｄモデルデータおよびテクスチャーデータ（いずれも詳細は後述）はあらかじめ、外部からＰＣ１および携帯端末装置２に供給されている。基本となる３Ｄモデルデータおよびテクスチャーデータは、装置５の設計時に作成されるものである。本実施形態において、３Ｄモデルデータは、公知のモデリング手法を用い、装置５の立体的な外観を三角形や四角形を組み合わせて表したデータ（３Ｄモデルデータ，立体的な外観データ）であるものとする。また、本実施形態において、テクスチャーデータは、装置５の外観を平面的に表した図（正面図、側面図など）に基づいて作成されたものであり、テクスチャーデータは、装置５の外観を平面的に表現した図のデータ（平面的な外観データ）であり、さらに装置５の表面の質感を表すものとする。
【００２４】
装置５（監視対象）は、作業員が保守のために監視の対象としている装置であり、工場などの現場に設置されている。また、装置５の設計者は、装置５が設置された現場から離れたオフィスにおり、ＰＣ１を用いて携帯端末装置２に対して作業員への指示を与える。
【００２５】
ＰＣ１（データ作成装置、主として後述する指示データを作成する）は、ＣＰＵ、メモリ、記憶装置（ＨＤＤやＳＳＤなど）、通信インターフェースなどを備えるとともに、ＯＳ（Operating System）が実装されている汎用のコンピュータである。また、ＰＣ１（データ作成装置）は、データを作成するデータ作成部１０と、上記データを記憶する記憶部１１（第２記憶部）と、携帯端末装置２などと通信を行う送受信部１２と、送受信部１２を介して通話を行う通話部１３と、表示用のモニタ１４と、入力操作を行う入力装置１５とを有している。
【００２６】
データ作成部１０は、作業員に与える指示の指示データを作成する指示データ作成部１８と、３Ｄモデルデータおよびテクスチャーデータの更新処理を行う更新処理部１９とを含んでいる。
【００２７】
指示データ作成部１８（指示データ作成手段）は、作業員に与える指示に関する指示データを作成する。指示データは、指示を画像化して表す指示画像を表すデータ（指示画像データ）と、指示内容を表すデータ（指示内容データ）と、当該指示画像および指示内容を表示する位置のデータ（表示位置データ）とを含んでいる。さらに、指示データ作成部１８は、携帯端末装置２から送られてきた視点データを用いることにより、作業員が装置５を見た視点と同じ視点で見た仮想的な立体象（仮想象）に重ね合わせることができるように指示データを作成する。なお、視点データおよび仮想象の詳細については後述する。
【００２８】
更新処理部１９（第２更新手段）は、携帯端末装置２からの更新のためのデータに基づいて、記憶部１１に記憶された３Ｄモデルデータおよびテクスチャーデータを更新する処理を行う。
【００２９】
携帯端末装置２は、タブレット端末のように、無線通信機能、撮像機能、表示機能および入力機能を基本機能として備えた端末機器である。携帯端末装置２は、これらの基本機能を実現するために、ネットワーク３との間で無線通信する送受信部２０と、送受信部２０を介して通話を行う通話部２１と、被写体を撮影する撮像部２２と、画像を表示する表示パネル２３と、表示パネル２３上でタッチ入力を受け付けるタッチパネル２４と、これら各部を制御する制御部２５とを備えている。撮像部２２は、被写体の光学像を電気信号に変換して撮像データとして出力する撮像機能だけでなく、撮像データを静止画像や動画像として取り込む撮影機能も有している。制御部２５は、送受信部２０により受信されたデータの記憶部２９への書き込みや、記憶部２９から読み出されたデータの送受信部２０による送信も制御する。
【００３０】
また、携帯端末装置２は、基本となるデータ（後述する共有化データ）に対する差分データを作成し、ＰＣ１へ提供する。携帯端末装置２は、このようなデータ作成を行うために、視点データを作成する視点データ作成部２６と、指示データを表示するための処理を行う指示画像表示処理部２７と、撮影データ（画像データ）に基づいて３Ｄモデルデータおよびテクスチャーデータの間で変化した差分のデータ（差分データ）を作成する差分データ作成部２８と、記憶部２９（第１記憶部）とを備えている。
【００３１】
視点データ作成部２６（視点データ作成手段）は、作業員が撮像部２２を通して装置を見た視点（携帯端末装置２（撮像部２２のレンズ）の位置および方向（角度））を示すデータ（視点データ）をＡＲ（Augmented Reality）技術などを利用して作成する。視点データは、作業員が、撮像部２２を通して、どの位置（装置５とどれだけ離れて、どのくらいの高さから）、かつどの方向から装置５を見ているかというデータである。
【００３２】
指示画像表示処理部２７（指示画像表示処理手段）は、ＰＣ１から提供された指示データに基づいて上述の指示画像を表示パネル２３に表示させる処理を行う。
【００３３】
差分データ作成部２８（差分データ作成手段）は、撮像部２２の撮影機能によって得られた撮影データ（静止画像）に基づいて、装置５が、基本となるあるいは前回撮像時の３Ｄモデルデータおよびテクスチャーデータから変化した差分を差分データとして作成する。
【００３４】
記憶部２９は、３Ｄモデルデータ、テクスチャーデータおよび携帯端末装置２内で作成されたデータを保存するために設けられている。具体的には、記憶部２９は、基本となるテクスチャーデータおよび３Ｄモデルデータと、指示データとを保存し、かつ携帯端末装置２内で作成された視点データ、撮影データおよび差分データを保存する。
【００３５】
送受信部２０は、ＰＣ１へ各種のデータを送信する。また、送受信部２０（送信処理手段）は、３Ｄモデルデータおよびテクスチャーデータを更新するためのデータの送信を累進的に行うように送信データを分割して順次送信する処理を行う。
【００３６】
ネットワーク３は、インターネットやイントラネットなどの通信網であり、ＰＣ１および携帯端末装置２が接続されており、必要に応じてサーバ４が接続される。携帯端末装置２は、無線による通信を行うため、アクセスポイントなどを介してネットワーク３と接続される。サーバ４には、バックアップなどの目的のために、ＰＣ１と携帯端末装置２との間で共有化されるデータが保存されている。
【００３７】
ここで、上記のように構成される情報共有化システム１００の動作について説明する。まず、作業員側での視点データの作成を経て、設計者側での指示データの作成に至る動作について説明する。
【００３８】
図２は、ＰＣ１で作成された３Ｄモデルデータの画像を示す図である。図３は、テクスチャーデータの画像を示す図である。図４は、作業員の視点で見た装置５の状態を仮想的に表した仮想像を示す図である。図５は、作業員に与える指示を仮想像に付加して得た指示画像を示す図である。図６は、上記指示が示された携帯端末装置２で表示される装置５の画像を示す図である。図７は、作業員が撮影する装置５の撮影範囲が付加された図である。図８は、作業員が撮影する装置５の撮影方向が付加された図である。
【００３９】
なお、基本となる３Ｄモデルデータおよびテクスチャーデータは、上述のように、ＰＣ１および携帯端末装置２にすでに共有されている。
【００４０】
作業員は、携帯端末装置２を用いて視点データを作成する。視点データの作成において、まず、作業員が、携帯端末装置２を用いて装置５を撮像する（撮像部２２を通して装置５を見る）。この状態で、視点データ作成部２６は、例えば、ＡＲ技術を利用する場合、装置５に貼り付けられたマーカーを撮像部２２から出力された撮像データより読み取って解析する。視点データ作成部２６は、この解析の結果、マーカーを基準とした装置５に対する携帯端末装置２の位置および方向を算出して、視点データを作成する。
【００４１】
なお、視点データ作成部２６は、ＡＲ技術以外の技術を用いて視点データを作成してもよい。例えば、視点データ作成部２６は、距離センサを用いて携帯端末装置２からの装置５の距離を測定し、かつ地磁気センサを用いて装置５に対する携帯端末装置２の角度を検出することにより、視点データを作成してもよい。
【００４２】
視点データ作成部２６は、作成した視点データを記憶部２９に記憶させ、必要に応じてＰＣ１に送信するように制御部２５に指示する。これにより、視点データが送受信部２０によりＰＣ１に送信される。ＰＣ１に送信された視点データは、記憶部１１に保存される。
【００４３】
設計者は、受信した視点データに基づいて指示データ作成部１８により指示データを作成する。指示データ作成部１８は、まず、視点データに基づいて仮想データを一時的に作成し、作成した仮想データに適するように、すなわち仮想データに重ね合わせることのできる指示データを作成する。
【００４４】
指示データ作成部１８は、３Ｄモデルデータおよびテクスチャーデータに基づいて、装置５の仮想的な立体像（仮想像）を、視点データで示される作業者の視点から見た方向と同じ方向から見たように、例えば図４に示すように仮想データを作成する。指示データ作成部１８は、このように作成した仮想像の仮想データを記憶部１１に一時的に保存しておき、指示データの作成の際に読み出す。
【００４５】
指示データの作成において、指示データ作成部１８は、記憶部１１から読み出した仮想データに指示データを付加する。具体的には、指示データ作成部１８は、仮想データに基づいてモニタ１４に表示された仮想像上に付加すなわち重ね合わせることができる指示画像および指示内容をそれぞれ示す指示画像データおよび指示内容データと、指示画像および指示内容を付加する（重ね合わせる）表示位置を特定する表示位置データとを含む指示データを作成する。指示データを作成するための情報は、設計者が入力装置１５によって入力することによって得られる。指示内容は、文字による説明であるが（テキストなど）、文字以外の記号で表されるものであってもよい。また、指示内容を画像で表現できる場合は、指示画像が指示内容を兼ねていてもよい。
【００４６】
図５に示す指示データは、バルーンメッセージ状の指示画像を成し、かつ指示内容を含んでいる。そして、指示データは、作業員に見てほしい装置５の部分を指すように付加される。上記の指示画像が指示内容を含んでいることから、指示内容と一体に表現される指示画像としての指示画像データが作成される。
【００４７】
指示データ作成部１８は、このようにして作成した指示画像データ（指示内容データを含む）および指示画像をどの位置に表示するかを特定する表示位置データを含む指示データを記憶部１１に保存する。なお、指示データは、指示画像データおよび指示画像を表示する座標（位置情報）を表示位置データとして含むものであるので、仮想データおよび携帯端末装置２に表示されている画像に適切に重ね合わすことができる。すなわち、指示データは、上述の仮想データを含まない。
【００４８】
指示データは、携帯端末装置２（および必要に応じてサーバ４）に送信されて保存されることにより、ＰＣ１（設計者）と携帯端末装置２（作業員）との間で共有化される。
【００４９】
携帯端末装置２において、指示画像表示処理部２７は、記憶部２９（および必要に応じてサーバ４）に保存されている指示データに基づいて、作業員が装置５を撮像している状態で表示パネル２３に表示されている装置５の実画像上に、指示データが示す指示画像を重ねるように表示パネル２３に表示させる。図６に示す例では、装置５の実画像上の表示位置データで定められる位置に上述のバルーンメッセージで表示される指示画像内に指示内容が含まれている。作業員は、このような指示内容にしたがって、作業を行う。
【００５０】
指示データとしては、図５に示すメッセージを含むもの以外にも、例えば、作業員が装置５を撮影する撮影箇所や撮影方向を指示内容として示すものも作成される。図７に示す例では、装置５の仮想像上に撮影箇所を楕円形の破線で示している。この例では、設計者と作業員との間で、破線にて示す領域が撮影箇所を示すものであるとの合意がとれていることを前提条件とすれば、破線の指示画像が指示内容をも表現していると言える。したがって、指示データとしては、破線の指示画像の指示画像データと、当該指示画像の表示位置を定める表示位置データとが作成される。
【００５１】
また、図８に示す例では、装置５の仮想像上の作業員の位置および撮影方向をそれぞれ顔の絵および矢印で示している。この例では、設計者と作業員との間で、顔の絵が作業員の位置を表し、矢印が撮影方向を表すものであるとの合意がとれていることを前提条件とすれば、顔の絵および矢印の指示画像が指示内容をも表現していると言える。したがって、指示データとしては、顔の絵および矢印の指示画像の指示画像データと、当該指示画像の表示位置を定める表示位置データとが作成される。
【００５２】
指示データ作成部１８は、このような指示データを作成して携帯端末装置２に提供することにより、携帯端末装置２では、図６に示すような実画像上にバルーンメッセージの代わりに、上記の撮影箇所や撮影方向を示す指示画像が表示される。設計者と作業員とは、上記のような共有化された撮影指示を参照しながら、ＰＣ１の通話部１３と携帯端末装置２の通話部２１を介して互いに通話して、指示画像で表される指示内容を確認し合う。
【００５３】
なお、指示データに基づいて作業員に指示を示すためには、設計者と作業員とが視点を合わせることが望ましいが、必ずしも両者の視点が一致していなくてもよい。
【００５４】
また、指示データ作成部１８は、仮想データを作成して記憶部１１に保存しているが、仮想データの作成および保存をしなくてもよい。例えば、指示データ作成部１８は、３Ｄモデルデータおよびテクスチャーデータに基づいて、視点データで示される作業者の視点から見た方向と同じ方向から見たような装置５の位置を計算し、この位置に基づいて、装置５が配置される立体的な領域（空間）を立方体や当該立方体の頂点を表すデータとして作成してもよい。このデータに基づいて立方体や頂点を表示すれば、簡易な処理により、少なくとも、作業者が装置５を見ている方向を表現することができる。仮想データも、装置５の立体的な配置領域を表すものである。
【００５５】
続いて、情報共有化システム１００の３Ｄモデルデータの更新時の動作について説明する。
【００５６】
図９の（ａ）〜（ｃ）は装置の撮影箇所および撮影方向を上記仮想像に付加して得た図である。なお、携帯端末装置２上では仮想画像に代えて実画像が用いられる。
【００５７】
装置５の実際の形状が変わるような状態（変形、破損など）の場合、実際の装置５と３Ｄモデルデータで示される３Ｄモデルが異なるので、３Ｄモデルデータを更新（修正）する必要がある。３Ｄモデルデータを更新するためには多視点から撮影した装置５の画像が必要である。図５、図７および図８に示すような指示方法で多地点からの画像撮影をすることもできるが、アニメーションを使用した動きと方向とを伴った動画像の撮影指示を指示画像として作成することができる。
【００５８】
このため、指示データ作成部１８は、設計者が入力した情報に基づいて、多視点から装置５を撮影する指示内容を含む指示データを作成する。例えば、図９に示す例では、装置５の正面から装置５の中央上部を撮影し（図９の（ａ））、装置５の右側側方から装置５の上部を撮影し（図９の（ｂ））、装置５の右側後方から装置５の上部を撮影する（図９の（ｃ））という指示を連続した動き（指示画像）で示している。この例では、動画像を撮影する指示を示しているが、図９の（ａ）〜（ｃ）を１つの指示画像（静止画像）にまとめてもよい。これにより、図９の（ａ）〜（ｃ）に示される３方向から装置５を撮影する指示を作業員に与えることができる。
【００５９】
なお、上記の指示画像以外に、装置５を撮影する指示と、撮影する画像の種類（静止画像または動画像）とを説明するメッセージを追加してもよい。この撮影指示およびメッセージは、図６に示すようなバルーンメッセージ（指示画像）として追加されてもよいし、テキストで示す指示内容として追加されてもよい。これにより、設計者から作業員への音声による指示を省くことができる。
【００６０】
このような指示画像が指示画像表示処理部２７によって表示パネル２３に表示されると、作業員は、その指示にしたがって、装置５の撮影を行う。この結果得られた撮影データは、記憶部２９に一旦保存される。
【００６１】
差分データ作成部２８は、動画像または多視点の静止画像に基づいて、公知のモデリング手法を用いて比較のための３Ｄモデルデータ（比較外観データ）やテクスチャーデータ（比較外観データ）を作成する。まず、３Ｄモデルデータ（比較外観データ）の場合について説明する。また、差分データ作成部２８は、当該３Ｄモデルデータと、共有化されている３Ｄモデルデータとを比較することにより、両者の差分（変化部分）を抽出し、抽出された部分に基づいて差分データを作成する。また、差分データ作成部２８（第１更新手段）は、作成した差分データに基づいて変化部分を反映するように、記憶部２９に記憶された３Ｄモデルデータを更新する。そして、差分データ作成部２８は、作成した差分データを記憶部２９に記憶させ、記憶された差分データを必要に応じてＰＣ１に送信するように制御部２５に指示する。これにより、差分データが送受信部２０によりＰＣ１に送信される。ＰＣ１に送信された差分データは、記憶部１１に保存されてもよいが、必ずしも保存される必要はない。
【００６２】
更新処理部１９は、上記の差分データで示される変化部分を反映するように３Ｄモデルデータを更新して、ＰＣ１の記憶部１１に記憶させる。このようにして、更新された３Ｄモデルデータが設計者と作業員との間で共有化される。
【００６３】
引き続いて、情報共有化システム１００のテクスチャーデータの更新時の動作について説明する。
【００６４】
図１０の（ａ）は設計者と作業員とで共有されるテクスチャーデータを示す図であり、図１０の（ｂ）は上記携帯端末装置で撮影された画像に基づいて作成されたテクスチャーを示す図である。また、図１０の（ｃ）および（ｄ）は、図１０の（ａ）および（ｂ）のテクスチャー間の差分をそれぞれ示す図であり、図１０の（ｅ）は当該差分に基づいて更新されたテクスチャーを示す図である。
【００６５】
次いで、テクスチャーデータの場合について説明する。差分データ作成部２８は、記憶部１１における撮影データ（静止画像）に基づいて、比較用のテクスチャーデータを作成する。また、差分データ作成部２８は、当該テクスチャーデータと、共有化されているテクスチャーデータとを比較することにより、両者の差分（変化部分）を抽出し、抽出された部分に基づいて差分データを作成する。また、差分データ作成部２８は、作成した差分データに基づいて変化部分を反映するように、記憶部２９に記憶されたテクスチャーデータを更新する。そして、差分データ作成部２８は、３Ｄモデルデータの差分データと同様、作成した差分データを記憶部２９に記憶させ、記憶された差分データを必要に応じてＰＣ１に送信するように制御部２５に指示する。これにより、差分データは、ＰＣ１に送信されて、記憶部１１に保存されもよいが、必ずしも保存される必要はない。
【００６６】
更新処理部１９は、上記の差分データで示される変化部分を反映するようにテクスチャーデータを更新して、ＰＣ１の記憶部１１に記憶させる。このようにして、更新されたテクスチャーデータが設計者と作業員との間で共有化される。
【００６７】
例えば、図１０の（ａ）に示す共有化されているテクスチャー（テクスチャーデータ）と、図１０の（ｂ）に示す比較用のテクスチャー（テクスチャーデータ）とが比較された結果、図１０の（ｃ）および（ｄ）に示すような変化部分の差分データが作成されて、携帯端末装置２からＰＣ１に提供される。ＰＣ１の更新処理部１９は、図１０の（ｅ）に示すテクスチャーのように、差分データを反映させた新たなテクスチャーデータを作成する。
【００６８】
なお、３Ｄモデルデータおよびテクスチャーデータを更新するためのデータは、必ずしも差分データでなくてもよい。例えば、差分データ作成部２８による制御部２５への指示に基づいて、上述の比較用のテクスチャーデータがＰＣ１に送信されると、更新処理部１９が、記憶部１１に記憶されたテクスチャーデータを比較用のテクスチャーデータとの差分に基づいて更新する。
【００６９】
最後に、更新された３ＤモデルデータおよびテクスチャーデータのＰＣ１による送信処理について説明する。
【００７０】
図１１は、一部が更新された、すなわち後に説明する累進的な更新における途中の状態の上記３Ｄモデルを示す図である。図１２は、全部が更新された、すなわち累進的な更新における最後の状態の３Ｄモデルを示す図である。図１３は、一部が更新された、すなわち累進的な更新における途中のテクスチャーを示す図である。図１４は、全部が更新された、すなわち累進的な更新における最後の状態のテクスチャーを示す図である。
【００７１】
装置５の３Ｄモデルデータおよびテクスチャーデータの更新結果が、設計者と作業員との間で共有されないと、３Ｄモデルデータおよびテクスチャーデータに基づいた両者の連携作業を始めることができない。また、作業員から設計者に３Ｄモデルデータおよびテクスチャーデータの更新を依頼しても、携帯端末装置２からＰＣ１への更新のためのデータ（差分データを含む）の送信が完了するまで、ＰＣ１において更新作業を始めることができない。
【００７２】
これに対し、例えば、送受信部２０は、３Ｄモデルデータについて、外形の頂点のデータ、外形線のデータ、内部線のデータを作成し、これらの順に携帯端末装置２に送信する。密度が異なるように分割された複数の分割データが携帯端末装置２からＰＣ１に疎な分割データから密な分割データへと順に送信されることにより、ＰＣ１において、疎な状態から密な状態へ変化するように３Ｄモデルデータが累進的に更新される。
【００７３】
具体的には、まず、頂点のデータおよび外形線のデータにより、図１１に示すように、３Ｄモデルの外形が更新され、内部線のデータにより、図１２に示すように、内部も含めて３Ｄモデルの全てが更新される。
【００７４】
また、送受信部２０は、テクスチャーデータについて、異なる周波数帯域成分の複数の分割データを作成し、分割データの周波数帯域が低周波数帯域から段階的に高くなる順に分割データを携帯端末装置２に送信する。これにより、密度の異なる分割データがＰＣ１に順次（累進的に）送信されると、ＰＣ１において、テクスチャーデータが疎から密へ変化するように更新される。具体的には、まず、低周波数成分のデータにより、図１３に示すように、テクスチャーの疎な全体像が更新され、より高い周波数帯域の成分のデータにより、図１４に示すように、テクスチャーの密な全体像が更新される。送受信部２０は、３Ｄモデルデータおよびテクスチャーデータについて、差分データだけ送信する場合、差分の部分の低周波数成分だけ出力する。
【００７５】
このように、更新データや差分データが累進的に送信されるので、各データを受信した設計者や作業員は、データの送信が完了することにより相互のデータの共有化が完了する前に、次の作業を始めることができる。
【００７６】
以上のように、本実施形態に係る情報共有化システム１００において、ＰＣ１が、指示データ作成部１８および更新処理部１９を備え、携帯端末装置２が、送受信部２０、視点データ作成部２６、指示画像表示処理部２７および差分データ作成部２８を備えている。
【００７７】
これにより、設計者は、作業員から受け取った視点データに基づいて、作業員の目線で指示データを作成することができる。したがって、設計者は、指示データを共有の情報として、より明確（直感的）に指示を作業員に伝えたり、作業員と打ち合わせを円滑に行ったりすることが可能となる。
【００７８】
また、共有化データ（３Ｄモデルデータおよびテクスチャーデータ）の更新のために、作業員から設計者に差分データを送信することにより、作業員が撮影した撮影データをそのまま送信するよりもデータサイズを小さくすることができる。設計者は、その差分データに基づいて、共有化データを更新することができる。
【００７９】
また、３Ｄモデルデータを共有化データとして用いることにより、装置５の外形（変形、破損など）の見かけ上の変化を更新することができる。この更新された３Ｄモデルデータに基づいて、装置５の全体の確認を行うことができる。これに加えて、テクスチャーデータを共有化データとして用いることにより、装置５の表面上の変化（汚れなど）を更新することができる。この更新されたテクスチャーデータに基づいて、装置５の詳細部分の確認を行うことができる。
【００８０】
そして、携帯端末装置２からの共有化データを更新するためのデータ（差分データを含む）の送信を疎から密へと累進的に行うことにより、完全に送信が終了する（更新が完了する）までに、受信されたデータからデータの内容を推測することができる。これにより、設計者および作業員の作業効率を向上させることができる。また、サイズの大きいデータを一度に送信することが回避されるので、ネットワーク３が低品質であっても、その回線を圧迫することなく、データを送信することができる。
【００８１】
なお、上記実施形態においては、外観データ（３Ｄモデルデータおよびテクスチャーデータ）は、ＰＣ１および携帯端末装置２のいずれにも記憶されているが、外観データをＰＣ１にのみに記憶させ、携帯端末装置２では常に実画像を用いることもできる。
【００８２】
〔ソフトウェアによる実現例〕
ＰＣ１のデータ作成部１０および携帯端末装置２の送受信部２０、視点データ作成部２６、指示画像表示処理部２７および差分データ作成部２８は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。
【００８３】
後者の場合、ＰＣ１および携帯端末装置２は、各機能を実現するプログラムの命令を実行するＣＰＵ、当該プログラムおよび各種データがＣＰＵで読み取り可能に記録されたＲＯＭまたは記憶装置（記録媒体）、上記プログラムを展開するＲＡＭなどを備えている。そして、ＣＰＵが上記プログラムを上記記録媒体から読み取って実行する。上記記録媒体としては、「一時的でない有形の媒体」を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークなど）を介してＰＣ１および携帯端末装置２に供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８４】
特に、視点データ作成部２６、指示画像表示処理部２７および差分データ作成部２８を実現するプログラムは、タブレット端末のような携帯端末装置２に実装される。したがって、これらのプログラムを、アプリケーションプログラムを提供する一般的なサイトなどから入手できるようにしてもよい。
【００８５】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【００８６】
本発明は、装置の設計者と装置の保守を担当する作業員との間の連携を効率的に行う用途に好適に利用することができる。
【符号の説明】
【００８７】
１  ＰＣ（データ作成装置）
２  携帯端末装置（機器）
４  サーバ（機器）
５  装置（監視対象）
１１  記憶部（第２記憶部）
１８  指示データ作成部（指示データ作成手段）
１９  更新処理部（第２更新手段）
２０  送受信部（送信処理手段）
２２  撮像部
２６  視点データ作成部（視点データ作成手段）
２７  指示画像表示処理部（指示画像表示処理手段）
２８  差分データ作成部（差分データ作成手段，第１更新手段）
２９  記憶部（第１記憶部）
１００  情報共有化システム
【図１】
2016012168.tif 000003
【図２】
2016012168.tif 000004
【図４】
2016012168.tif 000005
【図５】
2016012168.tif 000006
【図７】
2016012168.tif 000007
【図８】
2016012168.tif 000008
【図９】
2016012168.tif 000009
【図１１】
2016012168.tif 000010
【図１２】
2016012168.tif 000011
【図３】
2016012168.tif 000012
【図６】
2016012168.tif 000013
【図１０】
2016012168.tif 000014
【図１３】
2016012168.tif 000015
【図１４】
2016012168.tif 000016