(57)【要約】【課題】実際にガスユニット内において適切に引き回されたエアチューブの形状に基づき、作業者に適切なエアチューブの引き回し形状を直感的に分かりやすく把握させ、作業者によるばらつきをなくす。【解決手段】作業者端末２と情報処理装置１とがネットワークを介して通信可能に構成された作業支援システムにおいて、作業者端末２は、撮影部２１によりガスユニット内におけるエアチューブの引き回し状態を撮影し、合成処理部２２により、撮影画像と、エアチューブが適切に引き回された実際のガスユニット内のモデル画像を合成させた合成画像を生成すると、画像表示部２３により当該合成画像を表示する。情報処理装置１は、モデル画像記憶部１Ａにモデル画像を記憶しており、抽出処理部１１によりモデル画像記憶部１Ａを参照してモデル画像を抽出し、作業者端末２に対し当該モデル画像を送信する。【選択図】図１
2019012433.tif 000002
【特許請求の範囲】
【請求項１】
ガスユニット内のエアチューブの引き回し作業を支援するシステムであって、
前記エアチューブの引き回し作業を行う作業者が使用する作業者端末と、前記エアチューブが適切に引き回された実際の前記ガスユニット内の画像をモデル画像として保持する情報処理装置と、がネットワークを介して通信可能に構成され、
前記作業者端末は、
前記ガスユニット内における前記エアチューブの引き回し状態を撮影する撮影手段と、
前記情報処理装置から、前記モデル画像を受信するモデル画像受信手段と、
前記エアチューブの引き回し状態を撮影した撮影画像と前記モデル画像を合成させた合成画像を生成する合成処理手段と、
前記合成画像を表示する画像表示手段と、を有し、
前記情報処理装置は、
前記モデル画像を記憶するモデル画像記憶手段と、
前記モデル画像記憶手段を参照して、前記モデル画像を抽出する抽出処理手段と、
前記作業者端末に対し、前記モデル画像を送信するモデル画像送信手段と、を有する、
作業支援システム。
【請求項２】
前記ガスユニット内には、所定の箇所にマーカーが取り付けられており、
前記合成処理手段は、前記エアチューブの引き回し状態を撮影した撮影画像のマーカーと前記モデル画像の基準点の位置を合わせて、前記撮影画像と前記モデル画像を合成させた合成画像を生成し、
前記モデル画像記憶手段は、前記モデル画像と、前記モデル画像において、前記撮影画像のマーカーの位置に対応する位置を示す基準点に係る情報を記憶する、
請求項１記載の作業支援システム。
【請求項３】
前記合成画像は、前記撮影画像上に前記モデル画像を透過させた画像によって構成される、
請求項１又は２記載の作業支援システム。
【請求項４】
前記ガスユニット内において、前記エアチューブは複数本、引き回されており、
前記モデル画像には、前記エアチューブを結束する位置を示す結束位置が表示されている、
請求項１乃至３いずれかの項に記載の作業支援システム。
【請求項５】
前記作業者端末は、
前記作業者端末の移動に応じて移動量を検出し、当該移動量に応じて前記合成画像を制御する画像制御手段、をさらに有する、
請求項１乃至４いずれかの項に記載の作業支援システム。
【請求項６】
前記作業者端末は、
前記合成画像に基づいた前記作業者による作業を録画する録画手段、をさらに有する、
請求項１乃至５いずれかの項に記載の作業支援システム。
【請求項７】
前記エアチューブは色分けされており、
前記モデル画像のエアチューブは、前記エアチューブの色分けに即して色分けされている、
請求項１乃至６いずれかの項に記載の作業支援システム。
【請求項８】
前記情報処理装置は、
前記合成画像に基づき、実際のエアチューブの引き回し形状と前記モデル画像におけるエアチューブの引き回し形状の整合性を判断する判断処理手段と、
前記作業者端末に対し、前記判断された整合性に係る情報を送信する整合性情報送信手段と、をさらに有する、
請求項１乃至７いずれかの項に記載の作業支援システム。
【請求項９】
ガスユニット内のエアチューブの引き回し作業を支援する装置であって、
前記エアチューブが適切に引き回された実際の前記ガスユニット内の画像をモデル画像として記憶するモデル画像記憶手段と、
前記ガスユニット内における前記エアチューブの引き回し状態を撮影する撮影手段と、
前記モデル画像記憶手段を参照して、前記モデル画像を抽出する抽出処理手段と、
前記エアチューブの引き回し状態を撮影した撮影画像と前記モデル画像を合成させた合成画像を生成する合成処理手段と、
前記合成画像を表示する画像表示手段と、を有する、
作業支援装置。
【請求項１０】
ガスユニット内のエアチューブの引き回し作業を支援する方法であって、
前記エアチューブの引き回し作業を行う作業者が使用する作業者端末と、前記エアチューブが適切に引き回された実際の前記ガスユニット内の画像をモデル画像として記憶するモデル画像記憶手段を有する情報処理装置と、がネットワークを介して通信可能に構成されたシステムにおいて、
前記作業者端末が、
前記ガスユニット内における前記エアチューブの引き回し状態を撮影する撮影処理と、
前記情報処理装置から、前記モデル画像を受信するモデル画像受信処理と、
前記エアチューブの引き回し状態を撮影した撮影画像と前記モデル画像を合成させた合成画像を生成する合成処理と、
前記合成画像を表示する画像表示処理と、を実行し、
前記情報処理装置が、
前記モデル画像記憶手段を参照して、前記モデル画像を抽出する抽出処理と、
前記作業者端末に対し、前記モデル画像を送信するモデル画像送信処理と、を実行する、
作業支援方法。
【請求項１１】
ガスユニット内のエアチューブの引き回し作業を支援するためのコンピュータプログラムであって、
前記エアチューブの引き回し作業を行う作業者が使用する作業者端末と、前記エアチューブが適切に引き回された実際の前記ガスユニット内の画像をモデル画像として記憶するモデル画像記憶手段を有する情報処理装置と、がネットワークを介して通信可能に構成されたシステムにおいて、
前記作業者端末に対し、
前記ガスユニット内における前記エアチューブの引き回し状態を撮影する撮影処理と、
前記情報処理装置から、前記モデル画像を受信するモデル画像受信処理と、
前記エアチューブの引き回し状態を撮影した撮影画像と前記モデル画像を合成させた合成画像を生成する合成処理と、
前記合成画像を表示する画像表示処理と、を実行させ、
前記情報処理装置に対し、
前記モデル画像記憶手段を参照して、前記モデル画像を抽出する抽出処理と、
前記作業者端末に対し、前記モデル画像を送信するモデル画像送信処理と、を実行させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、半導体製造装置用のガスユニットの組み立て、特にエアチューブの引き回し作業を支援する技術に関する。
【背景技術】
【０００２】
半導体製造装置用のガスユニット中で、電磁弁ユニットから多数のエアオペレートバルブに駆動圧を供給するためのエアチューブを配線する工程がある。エアチューブは可撓性を有しており、電磁弁ユニットとエアオペレートバルブの間を結ぶ経路に自由度はあるが、メンテナンス性と機械強度のために、チューブ末端部以外では複数のチューブを結束バンドで結束してまとめて配線している。
このエアチューブに折れやねじれが生じるとチューブ破損による動作不良に至る場合もあるため、余裕を持った曲げ半径・経路で曲げることが大事である。また、エアオペレートバルブ周辺などエアチューブが可動する部分にも余裕をもった取り付けが必要である。しかし、エアチューブの最適経路は簡単には導出できないため、エアチューブの長さは設計段階では確定させず、実物のユニットに合わせて実測値で決定している。
【０００３】
一方で、半導体製造プロセスの微細化に伴い、ガスユニットが行う材料ガスの制御にも一層の精度が求められてきており、製造装置ごとのばらつきを抑えることの重要性が増している。エアチューブの経路をなるべく均質に作りこむことで、エアオペレートバルブの開閉特性の差を抑えることに繋がる。
【０００４】
この点、特許文献１では、熟練技術が必要な溶接歪み取り作業を支援するものであって、作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、及び作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示する装置が提案されている。
また、特許文献２では、作業者が組立作業を行う組立対象物を撮影する撮像手段と、３次元座標における撮像手段のレンズ位置と作業者の目の位置との差分を算出する差分算出手段と、撮像手段により撮影された画像データから組立対象物の３次元設計データを特定する特定手段と、特定手段により特定された組立対象物の３次元設計データを、差分算出手段により算出されている差分に基づき、作業者の目の位置から見た３次元設計データに変換する装置が提案されている。
また、特許文献３では、部品の組立作業を支援するシステムであって、作業空間を、一方の部品を組み付けるべき他方の部品と共に撮像する手段と、作業空間中の他方の部品との相対的な位置姿勢関係を示す位置姿勢情報を取得する手段と、位置姿勢情報に基づいて、作業者の視点位置およびその視線方向における一方の部品の実物形状の仮想画像を生成する手段と、作業空間の現実画像に仮想画像を重畳させて合成画像を生成する手段とを備えたシステムが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０６９９５４号公報
【特許文献２】特開２００９−２８９０４６号公報
【特許文献３】特開２０１４−２２９０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
各特許文献記載の技術のように、各種の作業を分かりやすく画像表示する装置が提案されているが、エアチューブの取り回しを指示する方法としては応用し難い。即ち、各特許文献記載の技術では、作業指示に用いる3Dモデルが容易に作成できるということが前提とされているが、エアチューブの場合、実物合わせで具体的なエアチューブの引き回し形状を決定しており、3Dモデルを用意しづらいからである。その結果、具体的にどれくらいの余裕を持たせて配線するか、どこに結束バンドによる固定を設けるか、といった点が作業者任せになっており、製品にばらつきが生じる要因となっている。
【０００７】
そこで本発明は、実際にガスユニット内において適切に引き回されたエアチューブの形状に基づき、作業者に適切なエアチューブの引き回し形状を直感的に分かりやすく把握させ、作業者によるばらつきをなくすことを目的の一つとする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一の観点に係る作業支援システムは、ガスユニット内のエアチューブの引き回し作業を支援するシステムであって、前記エアチューブの引き回し作業を行う作業者が使用する作業者端末と、前記エアチューブが適切に引き回された実際の前記ガスユニット内の画像をモデル画像として保持する情報処理装置と、がネットワークを介して通信可能に構成され、前記作業者端末は、前記ガスユニット内における前記エアチューブの引き回し状態を撮影する撮影手段と、前記情報処理装置から、前記モデル画像を受信するモデル画像受信手段と、前記エアチューブの引き回し状態を撮影した撮影画像と前記モデル画像を合成させた合成画像を生成する合成処理手段と、前記合成画像を表示する画像表示手段と、を有し、前記情報処理装置は、前記モデル画像を記憶するモデル画像記憶手段と、前記モデル画像記憶手段を参照して、前記モデル画像を抽出する抽出処理手段と、前記作業者端末に対し、前記モデル画像を送信するモデル画像送信手段と、を有する。
【０００９】
また、前記ガスユニット内には、所定の箇所にマーカーが取り付けられており、前記合成処理手段は、前記エアチューブの引き回し状態を撮影した撮影画像のマーカーと前記モデル画像の基準点の位置を合わせて、前記撮影画像と前記モデル画像を合成させた合成画像を生成し、前記モデル画像記憶手段は、前記モデル画像と、前記モデル画像において、前記撮影画像のマーカーの位置に対応する位置を示す基準点に係る情報を記憶するものとしてもよい。
【００１０】
また、前記合成画像は、前記撮影画像上に前記モデル画像を透過させた画像によって構成されるものとしてもよい。
【００１１】
また、前記ガスユニット内において、前記エアチューブは複数本、引き回されており、前記モデル画像には、前記エアチューブを結束する位置を示す結束位置が表示されているものとしてもよい。
【００１２】
また、前記作業者端末は、前記作業者端末の移動に応じて移動量を検出し、当該移動量に応じて前記合成画像を制御する画像制御手段、をさらに有するものとしてもよい。
【００１３】
また、前記作業者端末は、前記合成画像に基づいた前記作業者による作業を録画する録画手段、をさらに有するものとしてもよい。
【００１４】
また、前記エアチューブは色分けされており、前記モデル画像のエアチューブは、前記エアチューブの色分けに即して色分けされているものとしてもよい。
【００１５】
また、前記情報処理装置は、前記合成画像に基づき、実際のエアチューブの引き回し形状と前記モデル画像におけるエアチューブの引き回し形状の整合性を判断する判断処理手段と、前記作業者端末に対し、前記判断された整合性に係る情報を送信する整合性情報送信手段と、をさらに有するものとしてもよい。
【００１６】
また、本発明の別の観点に係る作業支援装置は、ガスユニット内のエアチューブの引き回し作業を支援する装置であって、前記エアチューブが適切に引き回された実際の前記ガスユニット内の画像をモデル画像として記憶するモデル画像記憶手段と、前記ガスユニット内における前記エアチューブの引き回し状態を撮影する撮影手段と、前記モデル画像記憶手段を参照して、前記モデル画像を抽出する抽出処理手段と、前記エアチューブの引き回し状態を撮影した撮影画像と前記モデル画像を合成させた合成画像を生成する合成処理手段と、前記合成画像を表示する画像表示手段と、を有する。
【００１７】
また、本発明の別の観点に係る作業支援方法は、ガスユニット内のエアチューブの引き回し作業を支援する方法であって、前記エアチューブの引き回し作業を行う作業者が使用する作業者端末と、前記エアチューブが適切に引き回された実際の前記ガスユニット内の画像をモデル画像として記憶するモデル画像記憶手段を有する情報処理装置と、がネットワークを介して通信可能に構成されたシステムにおいて、前記作業者端末が、前記ガスユニット内における前記エアチューブの引き回し状態を撮影する撮影処理と、前記情報処理装置から、前記モデル画像を受信するモデル画像受信処理と、前記エアチューブの引き回し状態を撮影した撮影画像と前記モデル画像を合成させた合成画像を生成する合成処理と、前記合成画像を表示する画像表示処理と、を実行し、前記情報処理装置が、前記モデル画像記憶手段を参照して、前記モデル画像を抽出する抽出処理と、前記作業者端末に対し、前記モデル画像を送信するモデル画像送信処理と、を実行する。
【００１８】
また、本発明の別の観点に係るコンピュータプログラムは、ガスユニット内のエアチューブの引き回し作業を支援するためのコンピュータプログラムであって、前記エアチューブの引き回し作業を行う作業者が使用する作業者端末と、前記エアチューブが適切に引き回された実際の前記ガスユニット内の画像をモデル画像として記憶するモデル画像記憶手段を有する情報処理装置と、がネットワークを介して通信可能に構成されたシステムにおいて、前記作業者端末に対し、前記ガスユニット内における前記エアチューブの引き回し状態を撮影する撮影処理と、前記情報処理装置から、前記モデル画像を受信するモデル画像受信処理と、前記エアチューブの引き回し状態を撮影した撮影画像と前記モデル画像を合成させた合成画像を生成する合成処理と、前記合成画像を表示する画像表示処理と、を実行させ、前記情報処理装置に対し、前記モデル画像記憶手段を参照して、前記モデル画像を抽出する抽出処理と、前記作業者端末に対し、前記モデル画像を送信するモデル画像送信処理と、を実行させる。
なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、読み取り可能な各種の記録媒体に記録して提供したりすることができる。
【発明の効果】
【００１９】
本発明によれば、実際にガスユニット内において適切に引き回されたエアチューブの形状に基づき、作業者に適切なエアチューブの引き回し形状を直感的に分かりやすく把握させることができ、その結果、作業者によるばらつきをなくすことができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第一の実施形態に係る作業支援システムの機能を示した機能ブロック図である。
【図２】本実施形態に係る作業支援システムにおいて、作業対象の半導体製造装置用のガスユニットを示した外観上面図である。
【図３】本実施形態に係る作業支援システムにおいて、モデル画像記憶部に記憶されるデータの一例を示した図である。
【図４】本実施形態に係る作業支援システムにおいて、モデル画像の一例を示した図である。
【図５】本実施形態に係る作業支援システムにおいて、作業者端末上に表示される合成画像の一例を示した図である。
【図６】本実施形態に係る作業支援システムにおいて、作業者端末上に表示される合成画像の一例を示した図である。
【図７】本実施形態に係る作業支援システムによる処理の流れを示したシーケンス図である。
【図８】本実施形態に係る作業支援システムによる処理の流れを示した処理フロー図である。
【図９】本実施形態に係る作業支援システムによる処理の流れを示したシーケンス図である。
【図１０】本発明の別の実施形態に係る作業支援システムの機能を示した機能ブロック図である。
【図１１】本発明の別の実施形態に係る作業支援システムの機能を示した機能ブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態に係る作業支援システムについて説明する。
本実施形態に係る作業支援システムは、半導体製造装置用のガスユニットの組み立て、特にガスユニット内において、エアオペレートバルブに駆動圧を供給するためのエアチューブを引き回す作業を支援するシステムである。
この作業支援システムは図１に示されるように、情報処理装置１と作業者端末２によって構成される。情報処理装置１と作業者端末２は無線LAN等のネットワークＮＷ１を介して通信可能に構成されており、情報の送受信が行えるようになっている。
【００２２】
図２に示されるように、ガスユニット１００はボックス内に複数の流体制御機器１００ａを密に集積させたものであり、本例のガスユニット１００は、複数のエアオペレートバルブ１０１やエアチューブ１０２といった部品によって構成される。
このガスユニット１００を組み立てる際には、電磁弁ユニット１０３からエアオペレートバルブ１０１に駆動圧を供給するためのエアチューブ１０２を引き回して配線する工程を経る。エアチューブ１０２は可撓性を有した中空のチューブである。ここで、電磁弁ユニット１０３とエアオペレートバルブ１０１の間を結ぶ経路にも自由度があるが、メンテナンス性と機械強度の為、複数のエアチューブ１０２は末端部以外では結束バンド１０４で結束されている。
【００２３】
また、ガスユニット１００には、外部から視認可能な所定の箇所にマーカーＭが取り付けられている。マーカーＭは、ＡＲ（Augmented Reality：拡張現実）において、後述する合成画像を生成する際の位置合わせに用いられる指標である。このマーカーＭが作業者端末２によって識別されることにより、作業者端末２の位置や、マーカーＭと後述するモデル画像の基準点に基づき、撮影画像とモデル画像の位置合わせが行われる。なお、本例では、マーカーＭをガスユニット１００に固有のユニットＩＤをコード化したパターン画像によって構成したが、これに限らず、ガスユニット１００ごとに固有な部品配置に基づく形状を識別することによってもガスユニット１００を特定すると共に、位置合わせを行うことができる。
【００２４】
情報処理装置１は、エアチューブ１０２が適切に引き回されたガスユニット１００内の画像をモデル画像として保持する装置である。
この情報処理装置１は、CPU（Central Processing Unit）、CPUが実行するコンピュータプログラム、コンピュータプログラムや所定のデータを記憶するRAM（Random Access Memory）やROM（Read Only Memory）、HDD（Hard Disk Drive）、SSD（Solid State Drive）といったハードウェア資源によって構成され、モデル画像記憶部１A、抽出処理部１１、判断処理部１２、及び通信処理部１３からなる機能部を備える。
【００２５】
モデル画像記憶部１Aは、エアチューブ１０２が適切に引き回されたガスユニット１００内の画像をモデル画像として記憶する記憶部である。
このモデル画像記憶部１Aには例えば、図３に示されるように、ガスユニット１００を識別するユニットIDごとに、モデル画像、基準点情報、参照情報といった情報が記憶されている。
【００２６】
ここで、モデル画像は図４に示されるように、エアチューブ１１２が適切に引き回された実際のガスユニット１１０内の画像である。このモデル画像を参照することにより、ガスユニット１１０内に配設されているエアチューブ１１２の引き回し形状、複数のエアチューブ１１２を結束する結束バンド１１４の位置のほか、エアオペレートバルブ１１１、電磁弁ユニット１１３、流体制御機器１１０ａとの位置関係を把握することができる。
また、このモデル画像は、実際に適切に組み立てた前述のガスユニット１００を２Ｄスキャンや３Ｄスキャン、あるいは撮影して得られた画像であって、合成画像を生成する便宜のため、透過、色分け等の適宜の加工が施されたものである。なお、図４の例では、エアチューブ１１２の束の輪郭を破線表示しているが、これに限らず、エアチューブ１１２ごとの輪郭を表示したり、実際に色分けされているエアチューブ１０２の色に応じた色分けを、モデル画像中の各エアチューブ１１２に施して表示したりしてもよい。また、モデル画像には透過処理によって、合成画像を構成する撮影画像とモデル画像を個別に識別することができる。
【００２７】
基準点情報は、モデル画像中の基準点の位置を座標等によって示す情報である。基準点は、モデル画像と撮影画像によって合成画像を生成する際に、当該モデル画像と撮影画像の位置合わせを可能とするための指標であり、撮影画像のマーカーMの位置に対応するモデル画像内の位置を示す。
参照情報は、モデル画像に関連付けられた情報であり、例えば、ガスユニット１００の組立方法やメンテナンス方法等のマニュアル等によって構成され、作業者が適宜に参照することができる。
【００２８】
抽出処理部１１は、作業者端末２からの要求に応じて、モデル画像記憶部１Aを参照して所定のガスユニット１００のモデル画像を抽出する処理を実行する。
【００２９】
判断処理部１２は、作業者端末２において生成された合成画像に基づき、撮影画像に表された実際のエアチューブ１０２の引き回し形状とモデル画像におけるエアチューブ１１２の引き回し形状の整合性を判断する。整合性の判断は例えば、撮影画像中のエアチューブ１０２とこれに対応するモデル画像中のエアチューブ１１２の重なり具合、あるいは離間している距離を数値化して、当該数値が所定の閾値を上回る又は下回るか否かによって実行される。この整合性の判断の結果は作業者端末２に提供され、これにより作業者は、引き回したエアチューブ１０２の形状が適切な状態あるいは許容される状態にあるか否かを容易に知ることができる。
【００３０】
通信処理部１３は、作業者端末２とネットワークNW１を介したデータの送受信を実行する処理部である。
情報処理装置１はこの通信処理部１３により、作業者端末２に対してモデル画像を送信することができる。
【００３１】
作業者端末２は、ガスユニット１００内のエアチューブ１０２の引き回し作業を行う作業者が保持及び操作する端末であり、カメラ機能を備えたスマートデバイス等によって実現される。
なお、本例において、作業又は作業者の語は語義によって狭く解釈されるべきでなく、作業にはガスユニットの修理や組み立て、管理等、ガスユニットを見ながら行われる作業が広く含まれ、作業者にはこれらの作業を管理する管理者が含まれる。
【００３２】
この作業者端末２は、CPU、CPUが実行するコンピュータプログラム、コンピュータプログラムや所定のデータを記憶するRAMやROMなどのメモリといったハードウェア資源によって構成され、撮影部２１、合成処理部２２、画像表示部２３、画像制御部２４、録画部２５、及び通信処理部２６からなる機能部を備える。
【００３３】
撮影部２１は、ガスユニット１００を被写体として撮影を実行する処理部である。この撮影部２１は、被写体像を撮像素子の受光面に結像させるレンズ、レンズにより結像した被写体像を撮像して画像信号を制御部に出力するCMOSイメージセンサ等の撮像素子、撮像素子から取得した画像信号から撮影画像を生成する制御部等によって構成される。
なお、この撮影部２１によって生成される撮影画像は、現実のガスユニット１００のリアルタイム画像である。
【００３４】
合成処理部２２は、ガスユニット１００の撮影画像にモデル画像を合成させた合成画像を生成する処理を実行する。
合成画像の生成においては、ガスユニット１００の撮影画像からマーカーＭが検出され、当該マーカーＭの位置にモデル画像の基準点が重ね合わせられることで、撮影画像上にモデル画像が位置決めされる。
なお、マーカーＭの検出は例えば、撮影画像から抽出した特徴点情報を所定のテーブルに保持した特徴点情報とマッチングを行ってマーカーＭの認識を行い、撮影画像中のマーカーＭの傾きと大きさから撮影部２１のマーカーＭに対する相対座標を計算することによって可能となる。
【００３５】
ここで、合成処理部２２によって生成された合成画像の一例を図５に示す。
この例は、エアチューブ１０２がまだガスユニット１００内に引き回されていない状態を示している。モデル画像は破線表示されると共に透過加工されており、撮影画像によって表された部品を識別することができる。なお、図５において、モデル画像を構成するエアオペレートバルブ１１１や電磁弁ユニット１１３を示す線は、撮影画像中のエアオペレートバルブ１０１や電磁弁ユニット１０３に重なって隠れている。
作業者は、この合成画像を参照しながら作業することで、エアチューブ１０２を所定の適切な形状に引き回すことができる。
【００３６】
また、合成処理部２２によって生成された合成画像の他の例を図６に示す。
この例は、作業が進められ、作業者によってエアチューブ１０２が引き回された状態を示している。この例では、実際に引き回されたエアチューブ１０２の形状が、モデル画像中のエアチューブ１１２の引き回し形状から外れていることが分かる。作業者はこの合成画像に基づき、エアチューブ１０２の位置を直し、適切な位置にエアチューブ１０２を引き回すことができる。
【００３７】
画像表示部２３は、液晶パネル等のディスプレイによって構成され、ディスプレイ上に撮影画像や合成画像を表示する。
なお、合成画像は、画像表示部２３によってリアルタイム画像として作業者端末２上に表示されるが、ここにいうリアルタイムは厳密な同時ではなく、合成処理部２２や画像制御部２４による処理等によって生じる撮影と表示のタイムラグが極めて微小であることから、撮影と表示を同時とみなしたものである。
【００３８】
画像制御部２４は、撮影部２１の移動に応じて移動量を検出すると共に、当該移動量に応じて合成画像を制御する処理を実行する。
この画像制御部２４は、加速度センサや角加速度センサ、地磁気センサなどのセンサを単一又は複数組み合わせたセンサと、当該センサによって検出された撮影部２１の移動量に応じて合成画像を整合させる機能部によって構成される。
具体的に、撮影部２１の移動量として、撮影部２１の移動距離や移動角度がセンサによって計測されると、当該計測された移動距離や移動角度に応じて撮影部２１の位置や角度が推定される。これに応じて、撮影部２１が移動した後の合成画像を構成する撮影画像の位置が推定され、合成画像上のモデル画像の表示位置の整合がとられる。
【００３９】
録画部２５は、撮影部２１によって動画撮影を実行する機能部である。
この録画部２５により、作業者が行っている作業が動画として記録され、ガスユニットの組立作業等が正しく行われていたことを後から証明することができる。
【００４０】
通信処理部２６は、ブラウザプログラム等によって構成され、情報処理装置１とネットワークNW１を介したデータの送受信を実行する処理部である。
作業者端末２はこの通信処理部２６により、情報処理装置１からガスユニット１００のモデル画像を受信することができる。
【００４１】
次に、本実施形態に係る作業支援システムによる処理の流れについて、図７を参照して説明する。
作業者は、ガスユニット１００の組み立てやメンテナンス等を行うべく、撮影部２１によって撮影を開始する（S101）。そして、ガスユニット１００のユニットIDを取得し（S102）、情報処理装置１に対してモデル画像の取得要求と共にユニットIDを送信する（S103）。
なお、ユニットIDの取得は例えば、作業者端末２への直接入力や、ユニットIDをパターン画像としてコード化したマーカーＭを撮影し、これをデコードすることによって行うことができる。また、ユニットIDをパターン画像としてコード化したマーカーＭをデコードする場合、デコードは情報処理装置１で行うようにすることもできる。
【００４２】
これに応じて情報処理装置１は、抽出処理部１１によってモデル画像記憶部１Aを参照し、ユニットIDに基づいてモデル画像を抽出する（S104）。抽出されたモデル画像は作業者端末２に対して送信される（S105）。
【００４３】
合成処理部２２は、ガスユニット１００の撮影画像にモデル画像を合成させた合成画像を生成する（S106）。合成画像の生成においては、ガスユニット１００の撮影画像からマーカーＭが検出され、モデル画像がガスユニット１００に対し所定の位置に見えるようにアフィン変換で三次元的に回転・拡大縮小され、これにより撮影画像上にモデル画像が位置決めされる。所定の位置として、例えば、ガスユニットの底面に平行で、上面視から見た時にマーカーＭの位置と角度が重なり、高さ方向についてエアチューブが引き回される場所に近い高さを選ぶことで、作業者は表示されているモデル画像上のエアチューブの取り回しに実物のエアチューブの取り回しを近付ける作業を容易に行うことができる。
【００４４】
生成された合成画像は画像表示部２３により、作業者端末２上に表示される（S107）。
また、合成画像の表示と共に、録画部２５によって録画が開始され、作業者が行っている作業が動画として記録される（S108）。
【００４５】
次に、図８により、作業者端末２の移動に応じて合成画像を制御する処理について説明する。
まず、作業者端末２では合成画像が表示されている間、画像制御部２４が常時、撮影部２１の移動量を検出している（S201）。
【００４６】
撮影部２１の移動量が検出されると、検出された撮影部２１の移動量に応じて合成画像の整合がとられる（S202）。即ち、撮影部２１の移動量として、撮影部２１の移動距離や移動角度が計測されると、当該計測された移動距離や移動角度に応じて撮影部２１の位置や角度が推定される。これに応じて、撮影部２１が移動した後の合成画像を構成する撮影画像の位置が推定され、合成画像上のモデル画像の表示位置の整合がとられる。
【００４７】
この合成画像の画像制御は、少なくとも合成画像が表示されている間、常時実行される。これにより、撮影画像とモデル画像の位置合わせが行われて合成画像が生成された後は、常に作業者端末２上で撮影画像とモデル画像の整合がとられて的確な合成画像が維持される。また、作業者端末２の移動に応じて改めて位置決めすることなく、移動量に応じて合成画像を制御することで、応答速度を向上させ、自然な合成画像の表示を行うことができる。
【００４８】
次に、図９により、作業者端末２において生成された合成画像に基づき、撮影画像に表された実際のエアチューブ１０２の引き回し形状とモデル画像におけるエアチューブ１１２の引き回し形状の整合性を判断する処理について説明する。
作業者端末２は、情報処理装置1に対し、所定のタイミングで合成画像を送信する（S301）
これに応じて情報処理装置１は、判断処理部１２によって合成画像を参照し、撮影画像に表された実際のエアチューブ１０２の引き回し形状とモデル画像におけるエアチューブ１１２の引き回し形状の整合性を判断する（S302）。整合性の判断は例えば、撮影画像中のエアチューブ１０２とこれに対応するモデル画像中のエアチューブ１１２の重なり具合、あるいは離間している距離を数値化して、当該数値が所定の閾値を上回る又は下回るか否かによって実行される。
【００４９】
整合性の判断の結果は作業者端末２に送信され（S303）、作業者端末２上に表示される（S304）。なお、整合性の判断の結果は、整合していないか箇所を所定の識別マークで認識可能としたり、結果をテキストで表示したりするなど、各種の態様によることができる。
これにより作業者は、引き回したエアチューブ１０２の形状が適切な状態あるいは許容される状態にあるか否かを容易に知ることができる。
【００５０】
以上の本実施形態に係る作業支援システムによれば、作業者は、適切なエアチューブ１０２の引き回し形状やガスユニット１００内の組み立て状態を直感的に把握することができるため、迅速且つ正確に作業を行うことができる。特に、本例のガスユニット１００では、多数の部品が密集し、複数のエアチューブ１０２が引き回されていることから、各部品を確実に識別できて便利である。
さらに、各作業者が同じモデル画像を基準として作業を行うことで、異なる作業者によるばらつきをなくし、同精度のガスユニット１００を提供することができる。
【００５１】
なお、以上の本実施形態に係る作業支援システムは、情報処理装置１と作業者端末２によって構成されるものとしたが、これに関わらず、各機能部を適宜に分散あるいは集約して構成することが可能である。
そのような一例として、図１０は、全ての機能を一つの装置に集約して作業者支援装置３として構成した場合を示している。
この例では、前述の情報処理装置１や作業者端末２が備えた合成画像の表示に必要なすべての機能を作業支援装置３が有している。なお、図１０において、作業支援装置３が備える機能部について、上述した情報処理装置１や作業者端末２が備えた機能部と同様の機能部については同じ符号を付している。
【００５２】
他の例として、図１１は、ガスユニット１００の撮影と合成画像の表示を別々の端末又は装置によって実行させる場合の装置構成の一例を示している。この例では、上述した作業者端末２が備えた機能のうち、撮影と画像表示の機能を夫々、撮影装置２ｂと画像表示装置２ｃに分散させ、残る機能を作業者端末２aが備える。
なお、図１１において、各端末や装置が備える機能部のうち、上述した情報処理装置１や作業者端末２が備えた機能部と同様の機能部については同じ符号を付している。
【００５３】
撮影装置２ｂは、撮影機能を担う装置であり、例えば、ガスユニット１００を撮影する定点カメラ等によって構成することができる。
この撮影装置２ｂは、撮影部２１、録画部２５、及び通信処理部２７を有する。通信処理部２７は作業者端末２aとデータの送受信を実行する機能部であり、Bluetooth（登録商標）や赤外線通信、あるいはＬＡＮ等で構成されるネットワークＮＷ２を介して作業者端末２aと接続している。
【００５４】
画像表示装置２ｃは、合成画像を表示する装置であり、例えば、液晶モニタやプロジェクタ等によって構成することができる。
この画像表示装置２ｃは、画像表示部２３と通信処理部２８とを有する。通信処理部２８は通信処理部２７と同様、作業者端末２aとデータの送受信を実行する機能部であり、Bluetooth（登録商標）や赤外線通信、あるいはＬＡＮ等で構成されるネットワークＮＷ３を介して作業者端末２aと接続している。
【００５５】
作業者端末２aは、撮影部２１と録画部２５を撮影装置２ｂに持たせると共に、画像表示部２３を画像表示装置２ｃに持たせている点、及び、通信処理部２６が情報処理装置１とのデータの送受信の機能のほかに、撮影装置２ｂ及び画像表示装置２ｃとのデータの送受信の機能も併せ持つ点以外は、上述した作業者端末２と同様の機能部を備えている。
【００５６】
このような実施例によれば、撮影装置２ｂを定点に設置し、作業者が作業に集中するような場合に好適である。また、画像表示装置２ｃをプロジェクタで構成して合成画像を大きく表示すれば、複数の作業者で確認するといったときに好適である。
【００５７】
なお、このような例に限らず、撮影装置２ｂのみを作業者端末２aとは別体とし、画像表示部２３の機能は作業者端末２a側に備えさせるようにすることもできるし、逆に画像表示装置２ｃのみを作業者端末２aとは別体とし、撮影部２１と録画部２５の機能は作業者端末２a側に備えさせるようにすることもできる。
【００５８】
また、以上の本実施形態においては、合成処理部２２によって合成画像を生成し、当該合成画像を液晶ディスプレイ等によって実現される画像表示部２３によって表示したが、別の実施例においては、画像表示部２３を所謂スマートグラス（ヘッドマウントディスプレイ方式のウェアラブル端末の一つで、レンズ形状の透過型ディスプレイに映像を投影するもの）やプロジェクションマッピング等で実現することもできる。
この場合には、撮影画像とモデル画像を合成するのではなく、スマートグラスの透過型ディスプレイや、プロジェクションマッピングにおいて映像を投影するガスユニット１００そのものにモデル画像を投影させる。即ち、上述した通り、撮影画像のマーカーＭとモデル画像の基準点によって合成画像を生成するための位置決めを行うと共に、透過型ディスレイやガスユニット１００に対し、モデル画像を投影させる。これにより、上述した本実施形態と同様、作業者は、適切なエアチューブ１０２の引き回し形状やガスユニット１００内の組み立て状態を直感的に把握することができる。
【符号の説明】
【００５９】
１            情報処理装置
１A        モデル画像記憶部
１１        抽出処理部
１２        判断処理部
１３        通信処理部
２            作業者端末
２１        撮影部
２２        合成処理部
２３        画像表示部
２４        画像制御部
２５        録画部
２６        通信処理部
２ａ          作業者端末
２ｂ          撮影装置
２７        通信処理部
２ｃ          画像表示装置
２８        通信処理部
３            作業支援装置
ＮＷ１、ＮＷ２、ＮＷ３      ネットワーク
【図１】
2019012433.tif 000003
【図２】
2019012433.tif 000004
【図３】
2019012433.tif 000005
【図４】
2019012433.tif 000006
【図５】
2019012433.tif 000007
【図６】
2019012433.tif 000008
【図７】
2019012433.tif 000009
【図８】
2019012433.tif 000010
【図９】
2019012433.tif 000011
【図１０】
2019012433.tif 000012
【図１１】
2019012433.tif 000013