(57)【要約】【課題】ベース板金にパーツをネジ止めする作業の内容を、作業者に直感的に分かりやすく把握させる。また、マーカーを用いることなく、テクスチャに乏しいベース板金の板面を認識し、所定の合成画像を生成する。【解決手段】作業者端末２において、識別処理部２２はベース板金の撮影画像に基づき、パーツのネジ止め作業によって閉塞されていないベース板金上のネジ穴を識別する。当該識別されたネジ穴に係るネジ穴情報が情報処理装置１に送信されると、情報処理装置１では、特定処理部１１がネジ穴情報に基づき、作業工程記憶部１Ａを参照して、作業者が次にネジ止めすべきネジ穴の位置を特定する。作業者が次にパーツをネジ止めすべきネジ穴の位置に係る情報が作業者端末２に送信されると、合成処理部２３は、ベース板金の撮影画像に対し、作業者が次にパーツをネジ止めすべきネジ穴の位置を示す指示情報を合成させた合成画像を生成する。【選択図】図１
2019012432.tif 000002
【特許請求の範囲】
【請求項１】
複数のネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援するシステムであって、
前記ネジ止め作業を行う作業者が使用する作業者端末と、前記ネジ止め作業の手順を作業者に指示する情報処理装置と、が通信可能に構成され、
前記作業者端末は、
前記ベース部品を撮影する撮影手段と、
前記ベース部品の撮影画像に基づき、前記ベース部品に設けられているネジ穴のうち、前記パーツのネジ止め作業によって閉塞されていないネジ穴を識別する識別処理手段と、
前記情報処理装置に対し、前記識別された前記ベース部品上の閉塞されていないネジ穴に係るネジ穴情報を送信するネジ穴情報送信手段と、
前記情報処理装置から、前記作業者が前記ベース部品に対し、次にパーツをネジ止めするべきネジ穴の位置に係る情報を受信するネジ穴位置情報受信手段と、
前記ベース部品の撮影画像に対し、作業者が次にパーツをネジ止めすべきネジ穴の位置を示す指示情報を合成させた合成画像を生成する合成処理手段と、
前記合成画像を表示する画像表示手段と、を有し、
前記情報処理装置は、
前記パーツがネジ止めされる前記ベース部品上のネジ穴の位置と、前記パーツのネジ止めの順序を記憶する作業工程記憶手段と、
前記作業者端末から、前記ネジ穴情報を受信するネジ穴情報受信手段と、
前記ネジ穴情報に基づき、作業工程記憶手段を参照して、作業者が次にネジ止めすべきネジ穴の位置を特定する特定処理手段と、
前記作業者端末に対し、前記作業者が次にパーツをネジ止めすべきネジ穴の位置に係る情報を送信するネジ穴位置情報送信手段と、を有する、
作業支援システム。
【請求項２】
前記情報処理装置は、
前記ネジ穴情報に基づき、前記作業者が次にパーツをネジ止めすべきネジ穴の位置として指定されたネジ穴に前記パーツをネジ止めしたか否かを判断する判断処理手段、をさらに有する、
請求項１記載の作業支援システム。
【請求項３】
前記ベース部品には、前記ネジ穴の深さ方向に対して直角な方向から照明の光が照射されている、
請求項１又は２記載の作業支援システム。
【請求項４】
集積型ガスボックスの組立工程でのネジ止め作業を支援するシステムであって、
前記ベース部品はベース板金であり、
前記ベース板金は、板面を鉛直方向に沿わせた状態に固定されている、
請求項１乃至３いずれかの項に記載の作業支援システム。
【請求項５】
前記作業者端末は、
前記作業者端末の移動に応じて移動量を検出し、当該移動量に応じて前記合成画像を制御する画像制御手段、をさらに有する、
請求項１乃至４いずれかの項に記載の作業支援システム。
【請求項６】
前記作業者端末は、
前記合成画像に基づいた前記作業者による作業を録画する録画手段、をさらに有する、
請求項１乃至５いずれかの項に記載の作業支援システム。
【請求項７】
複数のネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援する装置であって、
前記パーツがネジ止めされる前記ベース部品上のネジ穴の位置と、前記パーツのネジ止めの順序を記憶する作業工程記憶手段と、
前記ベース部品を撮影する撮影手段と、
前記ベース部品の撮影画像に基づき、前記ベース部品に設けられているネジ穴のうち、前記パーツのネジ止め作業によって閉塞されていないネジ穴を識別する識別処理手段と、
前記識別された前記ベース部品上の閉塞されていないネジ穴に係るネジ穴情報に基づき、作業工程記憶手段を参照して、作業者が次にネジ止めすべきネジ穴の位置を特定する特定処理手段と、
前記ベース部品の撮影画像に対し、作業者が次にパーツをネジ止めすべきネジ穴の位置を示す指示情報を合成させた合成画像を生成する合成処理手段と、
前記合成画像を表示する画像表示手段と、を有する、
作業支援装置。
【請求項８】
複数のネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援する方法であって、
前記ネジ止め作業を行う作業者が使用する作業者端末と、
前記パーツがネジ止めされる前記ベース部品上のネジ穴の位置と、前記パーツのネジ止めの順序を記憶する作業工程記憶手段、を有し、前記ネジ止め作業の手順を作業者に指示する情報処理装置と、がネットワークを介して通信可能に構成されたシステムにおいて、
前記作業者端末が、
前記ベース部品を撮影する撮影処理と、
前記ベース部品の撮影画像に基づき、前記ベース部品に設けられているネジ穴のうち、前記パーツのネジ止め作業によって閉塞されていないネジ穴を識別する識別処理と、
前記情報処理装置に対し、前記識別された前記ベース部品上の閉塞されていないネジ穴に係るネジ穴情報を送信するネジ穴情報送信処理と、
前記情報処理装置から、前記作業者が前記ベース部品に対し、次にパーツをネジ止めするべきネジ穴の位置に係る情報を受信するネジ穴位置情報受信処理と、
前記ベース部品の撮影画像に対し、作業者が次にパーツをネジ止めすべきネジ穴の位置を示す指示情報を合成させた合成画像を生成する合成処理と、
前記合成画像を表示する画像表示処理と、を実行し、
前記情報処理装置が、
前記作業者端末から、前記ネジ穴情報を受信するネジ穴情報受信処理と、
前記ネジ穴情報に基づき、作業工程記憶手段を参照して、作業者が次にネジ止めすべきネジ穴の位置を特定する特定処理と、
前記作業者端末に対し、前記作業者が次にパーツをネジ止めすべきネジ穴の位置に係る情報を送信するネジ穴位置情報送信処理と、を実行する、
作業支援方法。
【請求項９】
複数のネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援するためのコンピュータプログラムであって、
前記ネジ止め作業を行う作業者が使用する作業者端末と、
前記パーツがネジ止めされる前記ベース部品上のネジ穴の位置と、前記パーツのネジ止めの順序を記憶する作業工程記憶手段、を有し、前記ネジ止め作業の手順を作業者に指示する情報処理装置と、がネットワークを介して通信可能に構成されたシステムにおいて、
前記作業者端末に対し、
前記ベース部品を撮影する撮影処理と、
前記ベース部品の撮影画像に基づき、前記ベース部品に設けられているネジ穴のうち、前記パーツのネジ止め作業によって閉塞されていないネジ穴を識別する識別処理と、
前記情報処理装置に対し、前記識別された前記ベース部品上の閉塞されていないネジ穴に係るネジ穴情報を送信するネジ穴情報送信処理と、
前記情報処理装置から、前記作業者が前記ベース部品に対し、次にパーツをネジ止めするべきネジ穴の位置に係る情報を受信するネジ穴位置情報受信処理と、
前記ベース部品の撮影画像に対し、作業者が次にパーツをネジ止めすべきネジ穴の位置を示す指示情報を合成させた合成画像を生成する合成処理と、
前記合成画像を表示する画像表示処理と、を実行させ、
前記情報処理装置に対し、
前記作業者端末から、前記ネジ穴情報を受信するネジ穴情報受信処理と、
前記ネジ穴情報に基づき、作業工程記憶手段を参照して、作業者が次にネジ止めすべきネジ穴の位置を特定する特定処理と、
前記作業者端末に対し、前記作業者が次にパーツをネジ止めすべきネジ穴の位置に係る情報を送信するネジ穴位置情報送信処理と、を実行させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、集積型ガスボックスの組み立て、特にベース板金にベースブロックをネジ止めする作業を支援する技術に関する。
【背景技術】
【０００２】
集積型ガスボックスの組立工程では、ベース板金の上にベースブロック等のパーツをネジ止めする工程や、当該パーツの上にさらに上部機器をネジ止めする工程がある。集積型ガスボックスは様々なバージョンのものが作製されるが、コストの抑制等のために部品は共通化されており、異なる部品であってもベース板金上の同じ場所に取り付けられることがある。また、ベース板金にパーツをネジ止めする場合にはパーティクルが発生することがあるし、確実なシールを行う必要があることから、各パーツの組立は所定の順序で行われる必要がある。さらに、部品の共通化のために、ベース板金には必要数より多いネジ穴が一定ピッチで開けられ、その中から必要なネジ穴を選んで使うというケースもある。作業者は必要なネジ穴を正しく選択する必要がある。そのため、作業者はパーツや作業の順序を間違えないように細心の注意を払いながら部品を組み付けていく。
【０００３】
一方、近年の情報処理装置の高性能化により、カメラで撮影した映像に映っている物体の位置に情報を重畳させて表示する拡張現実（AR: Augmented Reality）の技術を現実的な応答速度・装置サイズで用いることが可能となってきた。
【０００４】
この点、特許文献１では、熟練技術が必要な溶接歪み取り作業を支援するものであって、作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、及び作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示する装置が提案されている。
また、特許文献２では、作業者が組立作業を行う組立対象物を撮影する撮像手段と、３次元座標における撮像手段のレンズ位置と作業者の目の位置との差分を算出する差分算出手段と、撮像手段により撮影された画像データから組立対象物の３次元設計データを特定する特定手段と、特定手段により特定された組立対象物の３次元設計データを、差分算出手段により算出されている差分に基づき、作業者の目の位置から見た３次元設計データに変換する装置が提案されている。
また、特許文献３では、部品の組立作業を支援するシステムであって、作業空間を、一方の部品を組み付けるべき他方の部品と共に撮像する手段と、作業空間中の他方の部品との相対的な位置姿勢関係を示す位置姿勢情報を取得する手段と、位置姿勢情報に基づいて、作業者の視点位置およびその視線方向における一方の部品の実物形状の仮想画像を生成する手段と、作業空間の現実画像に仮想画像を重畳させて合成画像を生成する手段とを備えたシステムが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０６９９５４号公報
【特許文献２】特開２００９−２８９０４６号公報
【特許文献３】特開２０１４−２２９０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
各特許文献記載の技術のように、各種の作業を分かりやすく画像表示する装置が提案されているが、特許文献１、３の技術では、マーカーを用いて物体認識を行うため、正しい位置に予め、マーカーを精度よく貼り付けておく必要がある。一方、特許文献２の技術では、多数の角度についてマッチング処理をするため、処理の負担が大きく、装置に高い処理能力が要求される。
【０００７】
そこで本発明は、集積型ガスボックスの組立工程において、ベース板金にパーツをネジ止めする作業を支援することを目的の一つとし、作業者に作業内容を直感的に分かりやすく把握させる。また、マーカーを用いることなく、テクスチャに乏しいベース板金の板面を認識し、所定の合成画像を生成することを目的の一つとする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一の観点に係る作業支援システムは、複数のネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援するシステムであって、前記ネジ止め作業を行う作業者が使用する作業者端末と、前記ネジ止め作業の手順を作業者に指示する情報処理装置と、が通信可能に構成され、前記作業者端末は、前記ベース部品を撮影する撮影手段と、前記ベース部品の撮影画像に基づき、前記ベース部品に設けられているネジ穴のうち、前記パーツのネジ止め作業によって閉塞されていないネジ穴を識別する識別処理手段と、前記情報処理装置に対し、前記識別された前記ベース部品上の閉塞されていないネジ穴に係るネジ穴情報を送信するネジ穴情報送信手段と、前記情報処理装置から、前記作業者が前記ベース部品に対し、次にパーツをネジ止めするべきネジ穴の位置に係る情報を受信するネジ穴位置情報受信手段と、前記ベース部品の撮影画像に対し、作業者が次にパーツをネジ止めすべきネジ穴の位置を示す指示情報を合成させた合成画像を生成する合成処理手段と、前記合成画像を表示する画像表示手段と、を有し、前記情報処理装置は、前記パーツがネジ止めされる前記ベース部品上のネジ穴の位置と、前記パーツのネジ止めの順序を記憶する作業工程記憶手段と、前記作業者端末から、前記ネジ穴情報を受信するネジ穴情報受信手段と、前記ネジ穴情報に基づき、作業工程記憶手段を参照して、作業者が次にネジ止めすべきネジ穴の位置を特定する特定処理手段と、前記作業者端末に対し、前記作業者が次にパーツをネジ止めすべきネジ穴の位置に係る情報を送信するネジ穴位置情報送信手段と、を有する。
【０００９】
また、前記情報処理装置は、前記ネジ穴情報に基づき、前記作業者が次にパーツをネジ止めすべきネジ穴の位置として指定されたネジ穴に前記パーツをネジ止めしたか否かを判断する判断処理手段、をさらに有するものとしてもよい。
【００１０】
また、前記ベース部品には、前記ネジ穴の深さ方向に対して直角な方向から照明の光が照射されているものとしてもよい。
【００１１】
また、集積型ガスボックスの組立工程でのネジ止め作業を支援するシステムであって、前記ベース部品はベース板金であり、前記ベース板金は、板面を鉛直方向に沿わせた状態に固定されているものとしてもよい。
【００１２】
また、前記作業者端末は、前記作業者端末の移動に応じて移動量を検出し、当該移動量に応じて前記合成画像を制御する画像制御手段、をさらに有するものとしてもよい。
【００１３】
また、前記作業者端末は、前記合成画像に基づいた前記作業者による作業を録画する録画手段、をさらに有するものとしてもよい。
【００１４】
また、本発明の別の観点に係る作業支援装置は、複数のネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援する装置であって、前記パーツがネジ止めされる前記ベース部品上のネジ穴の位置と、前記パーツのネジ止めの順序を記憶する作業工程記憶手段と、前記ベース部品を撮影する撮影手段と、前記ベース部品の撮影画像に基づき、前記ベース部品に設けられているネジ穴のうち、前記パーツのネジ止め作業によって閉塞されていないネジ穴を識別する識別処理手段と、前記識別された前記ベース部品上の閉塞されていないネジ穴に係るネジ穴情報に基づき、作業工程記憶手段を参照して、作業者が次にネジ止めすべきネジ穴の位置を特定する特定処理手段と、前記ベース部品の撮影画像に対し、作業者が次にパーツをネジ止めすべきネジ穴の位置を示す指示情報を合成させた合成画像を生成する合成処理手段と、前記合成画像を表示する画像表示手段と、を有する。
【００１５】
また、本発明の別の観点に係る作業支援方法は、複数のネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援する方法であって、前記ネジ止め作業を行う作業者が使用する作業者端末と、前記パーツがネジ止めされる前記ベース部品上のネジ穴の位置と、前記パーツのネジ止めの順序を記憶する作業工程記憶手段、を有し、前記ネジ止め作業の手順を作業者に指示する情報処理装置と、がネットワークを介して通信可能に構成されたシステムにおいて、前記作業者端末が、前記ベース部品を撮影する撮影処理と、前記ベース部品の撮影画像に基づき、前記ベース部品に設けられているネジ穴のうち、前記パーツのネジ止め作業によって閉塞されていないネジ穴を識別する識別処理と、前記情報処理装置に対し、前記識別された前記ベース部品上の閉塞されていないネジ穴に係るネジ穴情報を送信するネジ穴情報送信処理と、前記情報処理装置から、前記作業者が前記ベース部品に対し、次にパーツをネジ止めするべきネジ穴の位置に係る情報を受信するネジ穴位置情報受信処理と、前記ベース部品の撮影画像に対し、作業者が次にパーツをネジ止めすべきネジ穴の位置を示す指示情報を合成させた合成画像を生成する合成処理と、前記合成画像を表示する画像表示処理と、を実行し、前記情報処理装置が、前記作業者端末から、前記ネジ穴情報を受信するネジ穴情報受信処理と、前記ネジ穴情報に基づき、作業工程記憶手段を参照して、作業者が次にネジ止めすべきネジ穴の位置を特定する特定処理と、前記作業者端末に対し、前記作業者が次にパーツをネジ止めすべきネジ穴の位置に係る情報を送信するネジ穴位置情報送信処理と、を実行する。
【００１６】
また、本発明の別の観点に係るコンピュータプログラムは、複数のネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援するためのコンピュータプログラムであって、前記ネジ止め作業を行う作業者が使用する作業者端末と、前記パーツがネジ止めされる前記ベース部品上のネジ穴の位置と、前記パーツのネジ止めの順序を記憶する作業工程記憶手段、を有し、前記ネジ止め作業の手順を作業者に指示する情報処理装置と、がネットワークを介して通信可能に構成されたシステムにおいて、前記作業者端末に対し、前記ベース部品を撮影する撮影処理と、前記ベース部品の撮影画像に基づき、前記ベース部品に設けられているネジ穴のうち、前記パーツのネジ止め作業によって閉塞されていないネジ穴を識別する識別処理と、前記情報処理装置に対し、前記識別された前記ベース部品上の閉塞されていないネジ穴に係るネジ穴情報を送信するネジ穴情報送信処理と、前記情報処理装置から、前記作業者が前記ベース部品に対し、次にパーツをネジ止めするべきネジ穴の位置に係る情報を受信するネジ穴位置情報受信処理と、前記ベース部品の撮影画像に対し、作業者が次にパーツをネジ止めすべきネジ穴の位置を示す指示情報を合成させた合成画像を生成する合成処理と、前記合成画像を表示する画像表示処理と、を実行させ、前記情報処理装置に対し、前記作業者端末から、前記ネジ穴情報を受信するネジ穴情報受信処理と、前記ネジ穴情報に基づき、作業工程記憶手段を参照して、作業者が次にネジ止めすべきネジ穴の位置を特定する特定処理と、前記作業者端末に対し、前記作業者が次にパーツをネジ止めすべきネジ穴の位置に係る情報を送信するネジ穴位置情報送信処理と、を実行させる。
なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、読み取り可能な各種の記録媒体に記録して提供したりすることができる。
【発明の効果】
【００１７】
本発明によれば、集積型ガスボックスの組立工程において、作業者に対し、ベース板金にパーツをネジ止めする作業の内容を直感的に分かりやすく把握させることができる。また、マーカーを用いることなく、テクスチャに乏しいベース板金の板面を確実に認識し、所定の合成画像を生成することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第一の実施形態に係る作業支援システムの機能を示した機能ブロック図である。
【図２】本実施形態に係る作業支援システムにおいて、作業対象の集積型ガスボックスのベース板金を示した平面図である。
【図３】本実施形態に係る作業支援システムにおいて、ベース板金にベースブロックをネジ止めする様子を示した斜視図である。
【図４】本実施形態に係る作業支援システムにおいて、ベースブロックがネジ止めされたベース板金を示した平面図である。
【図５】本実施形態に係る作業支援システムにおいて、作業工程記憶部に記憶されるデータの一例を示した図である。
【図６】本実施形態に係る作業支援システムにおいて、作業履歴記憶部に記憶されるデータの一例を示した図である。
【図７】本実施形態に係る作業支援システムにおいて、作業者端末上に表示される合成画像の一例を示した図である。
【図８】本実施形態に係る作業支援システムによる処理の流れを示したシーケンス図である。
【図９】本実施形態に係る作業支援システムによる処理の流れを示したシーケンス図である。
【図１０】本実施形態に係る作業支援システムによる処理の流れを示した処理フロー図である。
【図１１】本発明の別の実施形態に係る作業支援システムの機能を示した機能ブロック図である。
【図１２】本発明の別の実施形態に係る作業支援システムの機能を示した機能ブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態に係る作業支援システムについて説明する。
本実施形態に係る作業支援システムは、集積型ガスボックスの組立工程において、ベース板金上にベースブロックをネジ止めする作業を支援するシステムである。
この作業支援システムは図１に示されるように、情報処理装置１と作業者端末２によって構成される。情報処理装置１と作業者端末２は無線LAN等のネットワークＮＷ１を介して通信可能に構成されており、情報の送受信が行えるようになっている。
【００２０】
まず、集積型ガスボックスについて、図２及び図３を参照して説明する。
集積型ガスボックスは、ベース部品であるベース板金１００上に複数のベースブロック１０１をネジ止めし、その上に流体制御機器などのパーツをネジ止めして作製される。ベースブロック１０１は図示しないＶ字型の流路を持ち、異なる上部機器同士の流路をつなぐ役割をする。
図２に示されるように、ベース板金１００はベースブロック１０１やその他の所定のパーツがネジ止めされる個所に、複数の円形のネジ穴１００aが設けられた板金である。このベース板金１００にベースブロック１０１等のパーツをネジ止めする作業は、ベース板金１００を壁に立てかけたり、上方から吊るしたり、あるいは所定の支持台上に支持したりすることにより、ベース板金１００を縦にした状態、即ち板面を鉛直方向に略沿わせた状態に固定して行われる。
また、ベース板金１００には、ネジ穴１００aの深さ方向に対して略直角な方向、例えば上方から照明の光が照射され、この状態で作業が行われる。
なお、ここでネジ穴１００aとは、貫通孔と不貫通穴の両方を総称するものとする。また、ベース板金１００を縦にせずに、ベース板金１００を床面と略平行に配置して作業を行うこともできる。
【００２１】
これにより、撮影画像からベース板金１００上のネジ穴１００aを識別する際、ネジ穴１００aが周辺に比して暗くなり、ネジ穴１００ａと周辺とのコントラストが強調されてネジ穴１００aを識別しやすくなる。また、ネジ止め作業時に発生するパーティクルが自然と下に落ち、パーティクルが集積型ガスボックスの完成品に混ざるのを防ぐことができる。
なお、ベース板金１００には適宜、ベースブロック１０１以外のパーツもネジ止めされるが、以下の説明では、パーツの一つとして、ベースブロック１０１がベース板金１００にネジ止めされる場合について説明する。
【００２２】
ベース板金１００をこのような状態に維持しながら、図３に示されるように、作業者はベース板金１００の所定の位置にベースブロック１０１を押し付け、ベースブロック１０１に設けられているネジ穴１０１aを介してベース板金１００のネジ穴１００aにネジ１０１ｂを螺入させる。ベース板金１００の所定のネジ穴１００a全てにベースブロック１０１がネジ止めされると、図４に示される状態となり、ネジ止め作業が終了となる。
【００２３】
ここで、ベース板金１００には複数のベースブロック１０１が取り付けられるが、ネジ止め時にネジから発生するパーティクルの影響を最小化するために、その取付順序は予め決まっており、作業者は予め決められた順序でベース板金１００にベースブロック１０１を取り付けなければならない。また、ベース板金１００に設けられているネジ穴１００ａは、パーツの共通化のために、所定の集積型ガスボックスを作製するのに必要な数以上の数が設けられている場合があり、また、必要な位置以外にも設けられている場合がある。そのため、作業者は複数あるネジ穴１００aの中から所定のネジ穴１００aを選択し、所定の順序でベースブロック１０１をネジ止めしなければならない。
【００２４】
ベース板金１００に設けられているネジ穴１００aは、ＡＲにおいて、後述する合成画像を生成する際の位置合わせに用いられる指標となる。ネジ穴１００aが作業者端末２によって識別されることにより、作業者端末２の位置や、後述する撮影画像上において、ベースブロック１０１をネジ止めすべきネジ穴１００aを指示する指示情報を合成させるベース板金１００上のネジ穴１００aの位置が把握される。
【００２５】
情報処理装置１は、ネジ止め作業の手順を作業者に指示する装置である。
この情報処理装置１は、CPU（Central Processing Unit）、CPUが実行するコンピュータプログラム、コンピュータプログラムや所定のデータを記憶するRAM（Random Access Memory）やROM（Read Only Memory）、HDD（Hard Disk Drive）、SSD（Solid State Drive）といったハードウェア資源によって構成され、作業工程記憶部１Ａ、作業履歴記憶部１Ｂ、特定処理部１１、判断処理部１２、及び通信処理部１３からなる機能部を備える。
【００２６】
作業工程記憶部１Ａは、ベースブロック１０１がネジ止めされるベース板金１００上のネジ穴１００aの位置と、ベースブロック１０１のネジ止めの順序を記憶した記憶部である。
この作業工程記憶部１Ａには例えば、図５に示されるように、作業者が作製する集積型ガスボックスを識別するガスボックスＩＤごとに作業工程情報が記憶されている。
【００２７】
作業工程情報は、ベース板金１００にベースブロック１０１をネジ止めする工程に係る情報である。この作業工程情報には、一つのベースブロック１０１をベース板金１００にネジ止めする工程を一単位とした工程ごとに、ベースブロック１０１をネジ止めするベース板金１００上のネジ穴１００ａの位置に係るネジ穴位置情報が関連付けられている。ネジ穴位置情報は例えば、ベース板金１００上の座標によってネジ穴１００aの位置を示しており、後述する合成画像を生成する際、撮影画像中のベース板金１００のネジ穴１００ａの位置を特定するための指標となる。
また、各工程は、ベースブロック１０１のネジ止めの順序に従って付番されたり、昇順あるいは降順で並べられたりして、その順序が把握できるようになっている。
【００２８】
なお、作業工程記憶部１Ａにはこのほか、集積型ガスボックスの組立方法やメンテナンス方法等のマニュアル、作業者にネジ止めを指示する指示情報などが記憶されていてもよい。
【００２９】
作業履歴記憶部１Ｂは、作業者による作業の履歴を記憶する記憶部である。
この作業履歴記憶部１Ｂには例えば、図６に示されるように、作業を識別可能な作業ＩＤごとに、作製されたガスボックスを識別可能なガスボックスＩＤ、作業動画、及び作業履歴情報が相互に関連付けて記憶される。
【００３０】
作業履歴情報には、作業工程記憶部１Ａに記憶されている工程に対応して、作業が行われた工程ごとに、作業を行った作業者、作業日時、作業が正しく行われたか否かを示す判断結果に係る情報が記憶される。判断結果は、後述する判断処理部１２による処理の結果によって構成される。この作業履歴情報を参照することにより、どの段階まで作業が行われたか、どの工程がどの作業者によっていつ行われたかといったことを把握することができる。
なお、作業動画は、作業者端末２によって録画された作業の動画であり、作業終了後に作業者端末２から提供されて記憶される。
【００３１】
特定処理部１１は、作業者端末２から受信したベース板金１００のネジ穴情報に基づき、作業工程記憶部１Ａを参照して、作業者が次に行うべき工程、さらには作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００ａの位置を特定する。
即ち、ネジ穴情報によれば各ネジ穴１００ａがネジ止めされているか否かを把握することができる。そして、当該ネジ穴情報に基づいて作業工程記憶部１Ａを参照することにより、どの段階の工程まで終了したかが把握されると共に、次に作業されるべき工程、さらには当該作業されるべき工程において、ベースブロック１０１がネジ止めされるべきネジ穴１００ａの位置に係る情報が把握される。
【００３２】
判断処理部１２は、作業者がベース板金１００にベースブロック１０１をネジ止めした際、ベースブロック１０１が正しいネジ穴１００ａに正しい順序でネジ止めされたか否かを判断する。
具体的には、判断処理部１２は、ネジ止め作業を行った作業者の作業者端末２から、各ネジ穴１００ａがネジ止めされているか否かを把握可能なネジ穴情報を受信すると、作業履歴記憶部１Ｂを参照し、ネジ止めすべきネジ穴１００ａの位置として指定されたネジ穴１００ａがネジ止めされたか否かを判断する。即ち、ベース板金１００のネジ穴１００ａは、ネジ止めされた場合には閉塞され、識別処理部２２によってネジ穴１００ａとして識別されない。そのため、直前の作業でネジ止めを指定されたネジ穴１００ａが閉塞されていないものとして識別された場合には、ネジ止めが正しく行われなかったものと判断することができる。一方、直前の作業でネジ止めを指定されたネジ穴１００ａが閉塞されて、識別されなかった場合には、ネジ止めが正しく行われたものと判断することができる。
【００３３】
通信処理部１３は、作業者端末２とネットワークＮＷ１を介したデータの送受信を実行する処理部である。
情報処理装置１はこの通信処理部１３により、作業者端末２に対し、ネジ止めすべきネジ穴１００ａの位置情報を送信したり、作業者端末２から、各ネジ穴１００ａが閉塞あるいは開放されているか否かを識別したネジ穴情報を受信したりすることができる。
【００３４】
作業者端末２は、集積型ガスユニットの組み立て作業、特にベース板金１００にベースブロック１０１をネジ止めするネジ止め作業を行う作業者が保持及び操作する端末であり、カメラ機能を備えたスマートデバイス等によって実現される。
【００３５】
この作業者端末２は、CPU、CPUが実行するコンピュータプログラム、コンピュータプログラムや所定のデータを記憶するRAMやROMなどのメモリといったハードウェア資源によって構成され、撮影部２１、識別処理部２２、合成処理部２３、画像表示部２４、画像制御部２５、録画部２６、及び通信処理部２７からなる機能部を備える。
【００３６】
撮影部２１は、ベース板金１００を被写体として撮影を実行する処理部である。この撮影部２１は、被写体像を撮像素子の受光面に結像させるレンズ、レンズにより結像した被写体像を撮像して画像信号を制御部に出力するCMOSイメージセンサ等の撮像素子、撮像素子から取得した画像信号から撮影画像を生成する制御部等によって構成される。
なお、この撮影部２１によって生成される撮影画像は、現実のベース板金１００のリアルタイム画像である。
【００３７】
ベース板金１００を平置きではなく立てて作業しているために、作業者が作業者端末２を保持している場合、撮影部２１はベース板金１００を斜めではなく正面から撮影することが自然に実現される。これにより、ベース板金１００に設けられているネジ穴１００aの円形状が歪まず、認識され易くなる。
【００３８】
識別処理部２２は、撮影画像に基づき、ベース板金１００に設けられているネジ穴１００ａのうち、ネジ止めされずに開放されているネジ穴１００ａ、即ちネジ１０１ｂによって閉塞されていないネジ穴１００ａを識別する。
この処理は、撮影画像中のベース板金１００について、板面上の黒い又は暗い所定のサイズの円を、ネジ止めされていないネジ穴１００ａとして識別するものであり、円の検出には例えば、ハフ変換（Hough transform）を用いることができる。これにより、ネジ止めされていないネジ穴１００ａが識別される一方、ネジ止めされたネジ穴１００ａは識別されず、ベース板金１００のネジ穴１００ａのネジ止め状況を把握することができる。特徴点として円を使うことで撮影画像の傾きにロバストにすることができる。
ベース板金１００の設計データから事前に用意されたネジ穴１００aの集合データと、ここで検出された円の集合データで特徴点マッチングを行うことで、撮影されたネジ穴1００aがどのネジ穴１００aに対応するのかを判定することができる。ネジ穴１００aはベース板金１００上に二次元的に並んでいるため、特徴点マッチングを高速に行うことができ、作業者端末２に要求する処理能力を低く抑えることができる。
また、識別処理部２２は作業者による作業によってネジ穴１００ａが塞がれる、あるいは開放されたときに、これを検知することができる。また、異なる色とサイズの基準で円を検出して、閉塞されているネジ穴を検出することでネジ穴１００ａのネジ止め状況を把握してもよい。
【００３９】
合成処理部２３は、ベース板金１００の撮影画像に対し、作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００ａの位置を示す指示情報を合成させた合成画像を生成する処理を実行する。
合成画像の生成においてはまず、識別処理部２２によって撮影画像中のベース板金１００のネジ穴１００ａが識別される。また、情報処理装置１からは、作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００ａの位置情報が送信される。合成処理部２３は、ネジ止めされるべきネジ穴１００ａの位置情報に基づき、ネジ止めすべきネジ穴１００ａを特定すると、撮影画像中の当該特定されたネジ穴１００ａに対し、ベースブロック１０１をネジ止めすることを指示する指示情報を合成する。
【００４０】
ここで、合成処理部２３によって生成された合成画像の一例を図７に示す。
この例では、既に二つのベースブロック１０１がベース板金１００にネジ止めされている。そして、これに続いてネジ止めされるべきベースブロック１０１の仮想画像１０２が、ネジ止めされるべきネジ穴１００ａの位置に破線で重畳的に表示されており、これにより作業者に対して当該位置へのベースブロック１０１のネジ止めが指示されている。この仮想画像１０２は透過加工されているため、撮影画像中の他の部品やベースブロック１０１の背後にあるベース板金１００やネジ穴１００ａを識別することができる。
作業者は、この合成画像を参照しながら作業することで、ベースブロック１０１を正しい順序で正しい位置にネジ止めすることができる。
【００４１】
なお、ベースブロック１０１をネジ止めすべきネジ穴１００ａの位置を仮想画像１０２によって示した例は一例に過ぎず、当該ネジ止めすべきネジ穴１００ａの位置に、ネジ止めを指示するテキスト情報やネジの仮想画像等を重畳的に表示してもよいし、これらを適宜に組み合わせて表示してもよい。
【００４２】
画像表示部２４は、液晶パネル等のディスプレイによって構成され、ディスプレイ上に撮影画像や合成画像を表示する。
なお、合成画像は、画像表示部２４によってリアルタイム画像として作業者端末２上に表示されるが、ここにいうリアルタイムは厳密な同時ではなく、合成処理部２３や画像制御部２５による処理等によって生じる撮影と表示のタイムラグが極めて微小であることから、撮影と表示を同時とみなしたものである。
【００４３】
画像制御部２５は、撮影部２１の移動に応じて移動量を検出すると共に、当該移動量に応じて合成画像を制御する処理を実行する。
この画像制御部２５は、加速度センサや角加速度センサ、地磁気センサなどのセンサを単一又は複数組み合わせたセンサと、当該センサによって検出された撮影部２１の移動量に応じて合成画像を整合させる機能部によって構成される。
【００４４】
具体的に、撮影部２１の移動量として、撮影部２１の移動距離や移動角度がセンサによって計測されると、当該計測された移動距離や移動角度に応じて撮影部２１の位置や角度が推定される。これに応じて、撮影部２１が移動した後の合成画像を構成する撮影画像の位置が推定され、合成画像上において、ネジ止めすべきネジ穴１００ａの位置を指示する指示情報の表示位置の整合がとられる。
【００４５】
録画部２６は、撮影部２１によって動画撮影を実行する機能部である。
この録画部２６により、作業者が行っている作業が動画として記録され、当該動画を参照することにより、ベースブロック１０１のネジ止め作業が正しく行われていたことを後から証明したり、既に行われたネジ止め作業を検証したりすることができる。
【００４６】
通信処理部２７は、ブラウザプログラム等によって構成され、情報処理装置１とネットワークＮＷ１を介したデータの送受信を実行する処理部である。
作業者端末２はこの通信処理部２７により、情報処理装置１から、作業者が次にネジ止めすべきネジ穴１００ａの位置情報を受信したり、情報処理装置１に対してベース板金１００上のネジ穴１００ａに係るネジ穴情報を送信したりすることができる。
【００４７】
次に、本実施形態に係る作業支援システムによる処理の流れについて、図８及び図９を参照して説明する。
まず図８に示されるように、作業者は作業者端末２により、作製する集積型ガスボックスのガスボックスＩＤと共に、作業開始の通知を情報処理装置１に対して送信することにより、作業を開始する（S101）。
【００４８】
作業者端末２は、作業の開始に合わせて撮影部２１によって撮影を開始すると共に（S102）、録画部２６によって録画を開始する（S103）。
撮影部２１によって撮影画像が生成されると、識別処理部２２は当該撮影画像に基づき、ベース板金１００に設けられているネジ穴１００ａのうち、ベースブロック１０１のネジ止め作業によって閉塞されていないネジ穴１００ａを識別する（S104）。識別されたネジ穴１００ａに係るネジ穴情報は情報処理装置１に対して送信される（S105）。
【００４９】
これに応じて情報処理装置１は、特定処理部１１により、作業者端末２から受信したネジ穴情報に基づき、作業工程記憶部１Ａを参照して、作業者が次に行うべき工程、さらには作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００ａの位置を特定する（S106）。
作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００ａが特定されると、情報処理装置１から作業者端末２に対し、当該特定されたネジ穴１００ａの位置情報が送信される（S107）。
特定処理部１１によって特定された作業者が次に行うべき工程、さらには作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００ａの位置に係る情報は、作業履歴記憶部１Ｂに記憶される（S108）。
【００５０】
合成処理部２３は、情報処理装置１から受信したネジ穴１００ａの位置情報に基づき、ベース板金１００の撮影画像に対し、作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００aの位置を示す指示情報を合成させた合成画像を生成する（S109）。生成された合成画像は画像表示部２４によって表示され、作業者は当該合成画像を参照することができる（S110）。
ここで、合成画像の生成においてはまず、識別処理部２２によって撮影画像中のベース板金１００のネジ穴１００aが識別される。そして、作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００aの位置情報に基づき、撮影画像中の当該位置情報に対応するネジ穴１００aの位置に、ベースブロック１０１をネジ止めすることを指示する指示情報が合成される。
【００５１】
次に図９に示されるように、画像表示部２４によって作業者端末２上に合成画像が表示されると、作業者は当該合成画像を参照しながらベースブロック１０１のネジ止め作業を行う（S201）。
作業者によるネジ止め作業によってベース板金１００上のネジ穴１００aがネジ止めされると、識別処理部２２は撮影画像からこれを検知する（S202）。
ネジ穴１００ａがネジ止めされたことが検知されると、作業の進展があったものとみなされ、作業者端末２から情報処理装置１に対し、ベース板金１００上の閉塞されていないネジ穴１００aに係るネジ穴情報が送信される（S203）。
【００５２】
ネジ穴情報を受信した情報処理装置１は、判断処理部１２により、作業者が正しいネジ穴１００aに正しい順序でベースブロック１０１をネジ止めしたか否かを判断する（S204）。
この処理は具体的には、判断処理部１２が作業履歴記憶部１Ｂを参照し、直前に指示された通りのネジ穴１００ａがネジ止めされたか否かを判断する。ここで、情報処理装置１が作業者端末２から受信したネジ穴情報からは、識別処理部２２によって閉塞されていないものと識別されたネジ穴１００aの情報が把握される。これにより、ネジ止めが指示されていたネジ穴１００ａが閉塞されていないものとして識別されていた場合には、ネジ止めが正しく行われなかったものと判断される。一方、ネジ止めが指示されていたネジ穴１００ａが閉塞されているものとして識別されていた場合には、ネジ止めが正しく行われたものと判断される。
【００５３】
ネジ止めが正しく行われていなかったものと判断された場合には、その旨の判断結果と共に、正しいネジ穴１００ａの情報が改めて作業者端末２に対して送信される（S205）。またこれと同時に、判断結果と工程の履歴が作業履歴記憶部１Ｂに記憶される（S206）。
【００５４】
なお、ネジ止めが正しく行われなかった旨の判断結果は、テキスト情報のほか、正しいネジ穴１００aの位置情報を送信するものとしてもよい。また、作業者端末２から受信したネジ穴情報と作業履歴記憶部１Ｂに記憶されているこれまでの作業履歴から、直前の作業によって行われた、間違った作業によってネジ止めされたネジ穴１００ａの位置情報を送信するようにしてもよい。さらに、正しいネジ穴１００ａの位置情報や、間違ってネジ止めされたネジ穴１００ａの位置情報が送信される場合には、撮影画像中のそれぞれのネジ穴１００ａの位置に、正しいネジ穴１００ａであることや間違ったネジ止め位置であることを示す情報を表示した合成画像を生成し、表示してもよい。
【００５５】
一方、Ｓ２０４の処理において、正しくネジ止めが行われたと判断された場合には、作業と判断結果の履歴が作業履歴記憶部１Ｂに記憶される（S207）。
そして、作業工程記憶部１Ａ及び作業履歴記憶部１Ｂが参照され、全ての工程が実行されて作業が終了したか否かが判別される（S208）。
【００５６】
この結果、作業が終了しておらず、まだ工程が残っている場合には、特定処理部１１により、作業者が次に行うべき工程、さらには作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００ａの位置が特定される（S209）。これに伴い、当該特定されたネジ穴１００ａの位置情報が作業者端末２に対して送信されると共に（S210）、特定処理部１１によって特定された作業者が次に行うべき工程、さらには作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００ａに係る情報が作業履歴記憶部１Ｂに記憶される（S211）。
【００５７】
これに対して合成処理部２３は、情報処理装置１から受信したネジ穴１００ａの位置情報に基づき、ベース板金１００の撮影画像に対し、作業者が次にベースブロック１０１をネジ止めすべきネジ穴１００aの位置を示す指示情報を合成させた合成画像を生成する（S212）。生成された合成画像は画像表示部２４によって表示され、作業者は当該合成画像を参照することができる（S213）。
【００５８】
一方、Ｓ２０８による判別の結果、全ての工程が実行され、作業が終了した場合には、作業者端末２に対して作業終了の通知が送信され（S214）、最後に実行された工程及び作業に関する履歴が作業履歴記憶部１Ｂに記憶される（S215）。
【００５９】
作業者端末２は、作業の終了通知によって作業の終了を認識すると、撮影や合成画像の表示を終了すると共に、録画を終了する（S216）。
録画によって得られた作業動画は情報処理装置１に送信され（S217）、情報処理装置１の作業履歴記憶部１Ｂに記憶される（S218）。
【００６０】
次に、図１０により、作業者端末２の移動に応じて合成画像を制御する処理について説明する。
まず、作業者端末２では合成画像が表示されている間、画像制御部２５が常時、撮影部２１の移動量を検出している（S301）。
【００６１】
なお、上記の処理では、Ｓ２０２、Ｓ２０３の処理において、識別処理部２２がネジ止めを検知して作業の進展があったものとみなし、作業者端末２から情報処理装置１に対してネジ穴情報を送信した。一方、他の例では、作業者がネジ止めを行った際、このネジ止めの工程の完了を作業者端末２に入力し、この入力に応じて作業者端末２から情報処理装置１に対してネジ穴情報を送信することもできる。
【００６２】
撮影部２１の移動量が検出されると、検出された撮影部２１の移動量に応じて合成画像の整合がとられる（S302）。即ち、撮影部２１の移動量として、撮影部２１の移動距離や移動角度が計測されると、当該計測された移動距離や移動角度に応じて撮影部２１の位置や角度が推定される。これに応じて、撮影部２１が移動した後の合成画像を構成する撮影画像の位置が推定され、ネジ止めされるべきネジ穴１００ａの指示情報の表示位置の整合がとられる。
【００６３】
この合成画像の画像制御は、少なくとも合成画像が表示されている間、常時実行される。これにより、撮影画像と、ネジ止めされるべきネジ穴１００ａの指示情報の位置合わせが行われ、合成画像が生成された後は、常に作業者端末２上で撮影画像とネジ止めされるべきネジ穴１００ａの指示情報の整合がとられて的確な合成画像が維持される。また、作業者端末２の移動に応じて改めて位置決めすることなく、移動量に応じて合成画像を制御することで、応答速度を向上させ、自然な合成画像の表示を行うことができる。
【００６４】
以上の本実施形態に係る作業支援システムによれば、作業者は、ベースブロック１０１をネジ止めすべきベース板金１００上のネジ穴１００ａの位置を直感的に把握することができるため、迅速且つ正確に作業を行うことができる。
また、作業者によるネジ止めが検知され、次にベースブロック１０１をネジ止めすべきネジ穴１００ａの位置が正しい順序で自動的に表示されるため、手間がかからず便利である。
さらに、テクスチャの乏しいベース板金１００の板面であっても、照射される光のコントラストが強調されやすい状態にベース板金１００が固定されていることから、ベース板金１００上のネジ穴１００ａを、開放又は閉塞の状態を含めて確実に識別することができる。その結果、特にマーカーを必要とすることなく、的確な合成画像を生成することができる。
【００６５】
なお、以上の本実施形態に係る作業支援システムは、情報処理装置１と作業者端末２によって構成されるものとしたが、これに関わらず、各機能部を適宜に分散あるいは集約して構成することが可能である。
そのような一例として、図１１は、全ての機能を一つの装置に集約して作業支援装置３として構成した場合を示している。
この例では、前述の情報処理装置１や作業者端末２が備えた合成画像の表示に必要なすべての機能を作業支援装置３が有している。なお、図１１において、作業支援装置３が備える機能部について、上述した情報処理装置１や作業者端末２が備えた機能部と同様の機能部については同じ符号を付している。
【００６６】
また、他の例として、図１２は、ベース板金１００の撮影と合成画像の表示を別々の端末又は装置によって実行させる場合の装置構成の一例を示している。この例では、上述した作業者端末２が備えた機能のうち、撮影と画像表示の機能を夫々、撮影装置２ｂと画像表示装置２ｃに分散させ、残る機能を作業者端末２aが備える。
なお、図１１において、各端末や装置が備える機能部のうち、上述した情報処理装置１や作業者端末２が備えた機能部と同様の機能部については同じ符号を付している。
【００６７】
撮影装置２ｂは、撮影機能を担う装置であり、例えば、ベース板金１００を撮影する定点カメラ等によって構成することができる。
この撮影装置２ｂは、撮影部２１、録画部２６、及び通信処理部２８を有する。通信処理部２８は作業者端末２aとデータの送受信を実行する機能部であり、Bluetooth（登録商標）や赤外線通信、あるいはＬＡＮ等で構成されるネットワークＮＷ２を介して作業者端末２aと接続している。
【００６８】
画像表示装置２ｃは、合成画像を表示する装置であり、例えば、液晶モニタやプロジェクタ等によって構成することができる。
この画像表示装置２ｃは、画像表示部２４と通信処理部２９とを有する。通信処理部２９は通信処理部２８と同様、作業者端末２aとデータの送受信を実行する機能部であり、Bluetooth（登録商標）や赤外線通信、あるいはＬＡＮ等で構成されるネットワークＮＷ３を介して作業者端末２aと接続している。
【００６９】
作業者端末２aは、撮影部２１と録画部２６を撮影装置２ｂに持たせると共に、画像表示部２４を画像表示装置２ｃに持たせている点、及び、通信処理部２７が情報処理装置１とのデータの送受信の機能のほかに、撮影装置２ｂ及び画像表示装置２ｃとのデータの送受信の機能も併せ持つ点以外は、上述した作業者端末２と同様の機能部を備えている。
【００７０】
このような実施例によれば、撮影装置２ｂを定点に設置し、作業者が作業に集中するような場合に好適である。また、画像表示装置２ｃをプロジェクタで構成して合成画像を大きく表示すれば、複数の作業者で確認するといったときに好適である。
【００７１】
なお、このような例に限らず、撮影装置２ｂのみを作業者端末２aとは別体とし、画像表示部２４の機能は作業者端末２a側に備えさせるようにすることもできるし、逆に画像表示装置２ｃのみを作業者端末２aとは別体とし、撮影部２１と録画部２６の機能は作業者端末２a側に備えさせるようにすることもできる。
【００７２】
また、以上の本実施形態においては、合成処理部２３によって合成画像を生成し、当該合成画像を液晶ディスプレイ等によって実現される画像表示部２４によって表示したが、別の実施例においては、画像表示部２４を所謂スマートグラス（ヘッドマウントディスプレイ方式のウェアラブル端末の一つで、レンズ形状の透過型ディスプレイに映像を投影するもの）やプロジェクションマッピング等で実現することもできる。
この場合には、撮影画像とネジ止めすべきネジ穴１００ａの位置を指示する指示情報を合成するのではなく、スマートグラスの透過型ディスプレイや、プロジェクションマッピングにおいて映像を投影するベース板金１００そのものにネジ穴１００ａの指示情報を投影させる。これにより、上述した本実施形態と同様、作業者は、ベースブロック１０１をネジ止めするネジ穴１００ａの位置を直感的に把握することができる。
【符号の説明】
【００７３】
１            情報処理装置
１A        作業工程記憶部
１B        作業履歴記憶部
１１        特定処理部
１２        判断処理部
１３        通信処理部
２            作業者端末
２１        撮影部
２２        識別処理部
２３        合成処理部
２４        画像表示部
２５        画像制御部
２６        録画部
２７        通信処理部
２ａ          作業者端末
２ｂ          撮影装置
２８        通信処理部
２ｃ          画像表示装置
２９        通信処理部
３            作業支援装置
ＮＷ１、ＮＷ２、ＮＷ３      ネットワーク
【図１】
2019012432.tif 000003
【図２】
2019012432.tif 000004
【図３】
2019012432.tif 000005
【図４】
2019012432.tif 000006
【図５】
2019012432.tif 000007
【図６】
2019012432.tif 000008
【図７】
2019012432.tif 000009
【図８】
2019012432.tif 000010
【図９】
2019012432.tif 000011
【図１０】
2019012432.tif 000012
【図１１】
2019012432.tif 000013
【図１２】
2019012432.tif 000014