(57)【要約】【課題】移動端末単体で自己位置を推定でき、大型物の組立てに適用できる作業指示システムを提供する。【解決手段】作業指示システムは、作業対象物の取付作業に関する指示を行う。作業指示システムは、作業環境情報取得部と、指示出力部と、を備える。前記作業環境情報取得部は、作業者とともに移動し、作業環境に関する作業環境情報を取得する。前記指示出力部は、前記作業者とともに移動し、当該作業者に作業指示を出力する。前記作業環境情報取得部は、取得した前記作業環境情報に基づいて、前記作業環境内の基準位置に対する自己位置を推定可能である。【選択図】図１
2020170482.tif 000002
【特許請求の範囲】
【請求項１】
作業対象物の取付作業に関する指示を行う作業指示システムであって、
作業者とともに移動し、作業環境に関する作業環境情報を取得する作業環境情報取得部と、
前記作業者とともに移動し、当該作業者に作業指示を出力する指示出力部と、
を備え、
前記作業環境情報取得部は、取得した前記作業環境情報に基づいて、前記作業環境内の基準位置に対する自己位置を推定可能であることを特徴とする作業指示システム。
【請求項２】
請求項１に記載の作業指示システムであって、
前記指示出力部は、前記作業指示を表示する表示部を備え、
前記指示出力部は、前記作業対象物の取付先となる部分が作業者の視野に含まれている場合に、当該取付先に対応する前記作業対象物の形状、取付向き、及び取付位置のうち少なくとも１つを含む前記作業指示を、当該取付先となる部分又はその近傍に重畳するように前記表示部に表示することを特徴とする作業指示システム。
【請求項３】
請求項１又は２に記載の作業指示システムであって、
前記指示出力部は、音声により前記作業指示を出力する音声出力部を備えることを特徴とする作業指示システム。
【請求項４】
請求項１から３までの何れか一項に記載の作業指示システムであって、
作業予定を入力する作業予定入力部を備え、
前記作業予定入力部において複数の前記取付作業が入力された場合、前記指示出力部は、前記作業予定入力部で設定された作業順序に従って、複数の前記取付作業に関する前記作業指示を作業者に対して出力することを特徴とする作業指示システム。
【請求項５】
請求項１から４までの何れか一項に記載の作業指示システムであって、
前記指示出力部は、作業者を現在位置から前記取付作業が行われる作業位置まで案内するガイド情報を出力し、作業者が前記作業位置に到着すると、当該作業位置で行われる前記取付作業に関する前記作業指示を作業者に対して出力することを特徴とする作業指示システム。
【請求項６】
請求項１から５までの何れか一項に記載の作業指示システムであって、
前記指示出力部は、前記作業対象物の実物と重畳可能に、当該作業対象物の形状を確認するための３Ｄモデルを表示することを特徴とする作業指示システム。
【請求項７】
請求項６に記載の作業指示システムであって、
前記３Ｄモデルは、作業者の指示に応じて回転可能に表示されることを特徴とする作業指示システム。
【請求項８】
請求項１から７までの何れか一項に記載の作業指示システムであって、
前記指示出力部は、前記作業対象物の形状、取付向き、及び取付位置のうち少なくとも１つを含む前記作業指示をアニメーションで表示することを特徴とする作業指示システム。
【請求項９】
請求項１から８までの何れか一項に記載の作業指示システムであって、
前記作業者が行う指示を入力する作業者指示入力部を備え、
前記作業者指示入力部は、前記作業者のジェスチャー及び音声のうち少なくとも何れかを認識可能に構成されていることを特徴とする作業指示システム。
【請求項１０】
請求項１から９までの何れか一項に記載の作業指示システムであって、
前記作業環境情報取得部は、取付作業が完了した状態を撮影可能に構成されていることを特徴とする作業指示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取付作業を支援するための作業指示システムに関する。
【背景技術】
【０００２】
従来から、現実世界の物事に対してコンピュータによる情報を付加する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）が知られている。特許文献１は、この拡張現実を利用した設営アシストシステムを開示する。
【０００３】
特許文献１の設営アシストシステムは、検出された視界画像内の、既知長を有する基準ポールの大きさ及び位置に基づいて、メガネ型端末の現在位置及び姿勢を特定する構成となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１０６３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の構成は、既知長の基準ポールを複数の既知点のそれぞれに設置する必要があるとともに、視界画像内において２つ以上の基準ポールが含まれている場合のみ、メガネ型端末の自己位置を推定することができる。
【０００６】
しかし、例えば大きさが数メートルの大型物を組み立てる作業等を考えると、作業者の視界のうち大きな割合を大型物が占めることも多いので、視界に複数の基準ポールが含まれるように基準ポールを設置することが困難な場合も多い。この結果、特許文献１の構成は、作業者（メガネ型端末）の自己位置を正確に推定することができない。
【０００７】
本発明は以上の事情に鑑みてされたものであり、その目的は、移動端末単体で自己位置を推定でき、大型物の組立てに適用が容易な作業指示システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
【０００９】
本発明の観点によれば、以下の構成の作業指示システムが提供される。即ち、この作業指示システムは、作業対象物の取付作業に関する指示を行う。この作業指示システムは、作業環境情報取得部と、指示出力部と、を備える。前記作業環境情報取得部は、作業者とともに移動し、作業環境に関する作業環境情報を取得する。前記指示出力部は、前記作業者とともに移動し、当該作業者に作業指示を出力する。前記作業環境情報取得部は、取得した前記作業環境情報に基づいて、前記作業環境内の基準位置に対する自己位置を推定可能である。
【００１０】
これにより、作業環境情報に基づいて指示出力部から指示することで、作業者は、取付治具等を要せずに、作業対象物を正確な位置に取り付けることができる。この結果、取付ミスを低減でき、品質の向上を図ることができるとともに、取付治具の作成、管理に関する費用及び手間を無くすことができ、コストの低減を実現できる。
【発明の効果】
【００１１】
本発明によれば、移動端末単体で自己位置を推定でき、大型物の組立てに適応できる作業指示システムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る作業指示システムが適用される作業現場を概略的に示す斜視図。
【図２】作業指示システムの概略な構成を示すブロック図。
【図３】表示される３Ｄモデルを示す図。
【図４】作業者が目にする情報の一例を示す図。
【発明を実施するための形態】
【００１３】
次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る作業指示システム１００が適用される作業現場を概略的に示す斜視図である。図２は、作業指示システム１００の概略な構成を示すブロック図である。図３は、表示される３Ｄモデルを示す図である。図４は、作業者が目にする情報の一例を示す図である。
【００１４】
本実施形態の作業指示システム１００は、例えば、図１に示すように、１つ又は複数の取付作業が必要となる物の組立て等に用いられる。取付作業は様々であるが、以下では、大きな部品である本体部９０に、他の小さな部品を取り付ける場合を例にして説明する。小さな部品は、第１パーツ９１、第２パーツ９２、第３パーツ９３、及び第４パーツ９４である。
【００１５】
第１パーツ９１、第２パーツ９２、第３パーツ９３、及び第４パーツ９４は、作業対象物に相当する。本体部９０は、作業対象物の取付先に相当する。以下では、全てのパーツが取り付けられた状態の本体部９０を完成品と称することがある。
【００１６】
作業指示システム１００は、図１に示すように、主として、移動端末１と、指示装置２と、から構成される。
【００１７】
移動端末１は、例えば、作業者に装着されるメガネ型端末から構成され、作業者とともに移動する。移動端末１は、装着部１０と、作業環境情報取得部１１と、端末側送受信部１２と、指示出力部１３と、を備える。
【００１８】
装着部１０は、作業者の適宜の場所（例えば、頭部）に装着される。装着部１０は、例えば、メガネのテンプル部及び耳掛け部に相当する部分として構成される。ただし、これに限定されず、装着部１０は、作業者がかぶるヘルメット等から構成されても良い。
【００１９】
作業環境情報取得部１１は、作業現場の環境（作業環境）に関する作業環境情報を取得するために用いられる。作業環境情報取得部１１は、例えば、作業環境の映像（画像）を取得可能なカメラ等から構成され、装着部１０に取り付けられている。即ち、作業環境情報取得部１１は、作業者とともに移動する。
【００２０】
作業環境情報取得部１１で取得する作業環境情報は、作業者の周囲の状況を反映したものである。本実施形態において、作業環境情報は、作業者の周囲を撮影したカメラ映像である。映像を撮影する装置（カメラ）は、作業者の視界よりも広い視界を有しても良いし、作業者の視界とは別の向きの視界を有しても良い。
【００２１】
作業環境情報取得部１１は、自己位置推定機能を有し、取得した作業環境情報から自己位置（即ち作業者の位置）を推定することができる。この自己位置推定機能は、例えば、ＳＬＡＭ機能である。ＳＬＡＭは、Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇの略称である。
【００２２】
ＳＬＡＭ機能は周知であるので簡単に説明すると、カメラが取得した映像の各フレームから特徴点を抽出し、フレーム間での特徴点の移動量を分析することで、カメラの位置及び姿勢の変化を取得する機能である。
【００２３】
本実施形態の作業指示システム１００においては、１つ又は複数のマーカーが予め設定されている。それぞれのマーカーの絶対位置は、組立作業の前に、作業指示システム１００に入力される。
【００２４】
マーカーは、動かない場所に設定されることが好ましい。マーカーは、視覚的にユニークな特徴を本体部９０自体が部分的に有する場合には、当該部分をそのまま用いて設定することができる。また、特別な図形又は模様等が表示されたシールを、本体部９０、作業場所の床等に貼り付けることによって、マーカーを実現することもできる。マーカーを一意に識別可能とするために、シールの図形、模様及び色等をマーカー毎に異ならせることが好ましい。
【００２５】
作業環境情報取得部１１のカメラが取得する映像には、マーカーが現れる場合があれば、現れない場合もある。作業環境情報取得部１１は、公知の画像処理によって、映像に現れるマーカーを自動的に検出する。また、作業環境情報取得部１１は、検出された１つ又は複数のマーカーについて、当該マーカーが何れのマーカーであるかを特定する。
【００２６】
映像にマーカーが含まれる場合は、当該マーカーが映像において現れる位置に基づいて、作業環境情報取得部１１の絶対的な自己位置及び自己姿勢を計算により得ることができる。映像にマーカーが含まれない場合は、直近の過去にマーカーに基づいて取得した絶対的な自己位置及び自己姿勢と、その取得時点からＳＬＡＭ機能で取得したカメラの位置及び姿勢の変化と、によって、現在の絶対的な自己位置及び自己姿勢を推定することができる。
【００２７】
絶対的な自己位置は、例えば、作業者が作業をする空間（作業空間）に３次元直交座標系を定義したときの原点（基準位置）に対する位置として、３次元座標で表現することができる。自己姿勢は、３次元直交座標系を用いた３次元ベクトルとして表現することができる。原点の位置は任意であるが、例えば本体部９０における特徴的な点となるように設定することができる。前述のマーカーの絶対位置とは、この３次元座標を意味する。
【００２８】
これにより、ＧＮＳＳ等の電波が届かない屋内においても、作業環境情報取得部１１は、画像処理等によって自己位置を算出することで、移動端末１（言い換えれば、作業者の頭部）の位置及び姿勢を推定することができる。これにより、本体部９０に取り付けるべきパーツの位置等の情報を、３次元的に、かつ、作業者が現実の空間を直接見る見え方と幾何学的に整合するように、作業者の視界に重畳して表示することが可能になる。
【００２９】
本実施形態の作業環境情報取得部１１は、作業者指示入力部としても機能する。具体的には、作業環境情報取得部１１は、作業者のジェスチャーに関する映像を取得し、作業者のジェスチャーから認識した作業者指示を、端末側送受信部１２を介して指示装置２に送信する。ジェスチャーは指示の内容に応じて定められる。具体的なジェスチャーは任意であるが、例えば、作業環境情報取得部１１のカメラに映るように片手を差し出して左右に振る動作とすることができる。これにより、作業者が、作業環境情報取得部１１を介して、指示装置２に対して、作業開始、作業停止、パーツ回転等の指示を行うことができる。以下では、作業者が指示装置２に対して出す指示を作業者コマンドと呼ぶことがある。
【００３０】
ジェスチャー認識は、作業環境情報取得部１１に代えて端末側送受信部１２側で行われても良い。具体的には、作業環境情報取得部１１は、取得した映像を、端末側送受信部１２を介して指示装置２にリアルタイムで送信する。指示装置２は、画像処理等によって、作業者のジェスチャーで表現される作業者コマンドを認識する。
【００３１】
端末側送受信部１２は、指示装置２と無線通信可能に構成されている。無線通信の方式は任意であるが、例えば、無線ＬＡＮを用いることが考えられる。
【００３２】
端末側送受信部１２は、無線通信により、作業環境情報取得部１１で取得されたカメラ映像、自己位置及び自己姿勢等を指示装置２に送信し、指示装置２からの作業指示を受信する。端末側送受信部１２は、指示装置２から受信した作業指示を指示出力部１３に出力する。
【００３３】
本実施形態の作業指示システム１００においては、当該作業指示は、パーツの形状、取付向き、及び取付位置のうち少なくとも何れかを含む。
【００３４】
指示出力部１３は、端末側送受信部１２を介して指示装置２から受信した作業指示を表示する表示部１４を備える。表示部１４は、例えば、図略の投影装置と、ヘッドアップディスプレイと、から構成される。
【００３５】
投影装置は、作業指示をヘッドアップディスプレイに投影することにより表示させる。ヘッドアップディスプレイは、例えば、ハーフミラーからなる光学透過型のヘッドアップディスプレイとして構成され、レンズとして装着部１０に取り付けられている。レンズは、両眼型であっても良いし、片眼型であっても良い。
【００３６】
表示部１４は、図４に示すように、投影装置を介して、作業者が見る現実の状況に対応する位置に作業指示が表示されるように、ヘッドアップディスプレイに作業指示を投影する。
【００３７】
これにより、装着部１０を装着している作業者が、投影装置によりヘッドアップディスプレイに投影された作業指示等を確認しながら、作業現場の様子をシースルーで観察することができるとともに、取付対象のパーツの取付位置等の情報を容易に把握することができる。
【００３８】
言い換えれば、表示部１４は、作業者が目にする現実の状況に、パーツの形状等を示す作業指示のコンピュータ情報を重畳して表示することで、いわゆる拡張現実又は複合現実（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）を実現している。従って、作業指示をより現実的かつ明確に表示することができ、作業者が作業内容をより正確に把握することができる。この結果、パーツや取付位置の間違い等の作業ミスを防止することができ、作業時間の短縮及び作業品質の向上を図ることができる。
【００３９】
表示部１４は、作業指示をアニメーションで表示しても良い。例えば、作業環境情報取得部１１を介して取得された、作業者が手で持っているパーツの姿勢と、取付状態の姿勢と、が異なることを指示装置２が検出した場合、指示装置２は、手持ちのパーツを現在の姿勢から取付状態の姿勢まで向きを変える指示を、表示部１４にアニメーションで表示させる。アニメーションの表現は様々であるが、例えば、矢印の図形が周回するように動くアニメーションとすることができる。この指示に従うことで、作業者はパーツを正確な姿勢に容易に調整することができ、作業を一層スムーズに行うことができる。また、アニメーションにより、作業者は指示を直感的に素早く理解することができる。
【００４０】
指示装置２は、公知のコンピュータから構成されている。このコンピュータは、図略のＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、入出力部等を備える。ＨＤＤには、各種プログラムやデータ等が記憶されている。ＨＤＤに記憶されるデータには、取付作業に関する本体部９０、パーツ、及び完成品の３Ｄデータが含まれる。ＣＰＵは、各種プログラム等をＨＤＤから読み出して実行することができる。
【００４１】
指示装置２は、上記入出力部から構成された作業予定入力部２１を備える。組立作業の責任者は、作業予定入力部２１を介して、作業予定に関する様々な情報を事前に入力することができる。この情報には、組立作業に関する本体部９０、各パーツ、及び完成品の３Ｄデータ等の情報が含まれる。また、指示装置２に入力される情報には、組立作業に含まれる複数の取付作業の作業順序等が含まれる。作業予定入力部２１を介して入力された様々な情報は、上記のＨＤＤ等に記憶される。
【００４２】
指示装置２は、ＨＤＤに記憶された作業順序に基づく作業指示のそれぞれを、端末側送受信部１２を介して指示出力部１３に出力する。指示出力部１３は、端末側送受信部１２を介して指示装置２から受信した作業指示のそれぞれを表示部１４で表示させる。即ち、指示出力部１３は、指示装置２からの作業指示を、作業予定入力部２１を介して入力された作業順序に従って表示部１４に表示させる。
【００４３】
続いて、具体的な組立作業を例として、本実施形態の作業指示システム１００の動作を詳細に説明する。この組立作業は、図１に示す第１パーツ９１、第２パーツ９２、第３パーツ９３、及び第４パーツ９４を、本体部９０に取り付ける複数の取付作業を含んでいる。
【００４４】
組立作業の開始前に、管理者が各種の３Ｄデータを、作業予定入力部２１を介して指示装置２に入力する。この３Ｄデータには、組立作業の完成品の３Ｄデータ、及び、取付先の本体部９０の３Ｄデータが含まれる。また、指示装置２に入力される３Ｄデータには、第１パーツ９１、第２パーツ９２、第３パーツ９３、及び第４パーツ９４の３Ｄデータが含まれる。
【００４５】
続いて、管理者は、指示装置２にマーカーの位置（前述の絶対位置）を設定する。設定されたマーカーの位置は、移動端末１に送信され、作業環境情報取得部１１に登録される。管理者は、本体部９０に対するそれぞれのパーツの取付位置（図１に示す第１取付位置Ａ、第２取付位置Ｂ、第３取付位置Ｃ、第４取付位置Ｄ）を設定する。
【００４６】
更に、管理者は、第１パーツ９１、第２パーツ９２、第３パーツ９３、及び第４パーツ９４の作業順序（例えば、図１に示す第１取付位置Ａ、第２取付位置Ｂ、第３取付位置Ｃ、第４取付位置Ｄの順に取付作業を行う順序）を、作業予定入力部２１を介して指示装置２に入力する。なお、この作業順序は、例えば、パーツのＩＤや、組立仕様書で決められた順序に基づいて設定することができる。
【００４７】
作業予定入力部２１に上記内容が入力される順番は、必要に応じて変更することができる。
【００４８】
続いて、作業者が作業現場において、移動端末１を装着している状態で、作業を開始する旨の作業者コマンドに相当するジェスチャーを行う。これにより、指示装置２は、組立作業の開始を認識する。
【００４９】
作業者は、移動端末１を装着した状態で、徒歩等で移動することができる。移動端末１は、常時、カメラ映像を取得するとともに、これに基づいて、移動端末１自身の位置及び姿勢を取得する。移動端末１は、カメラ映像、自機の位置及び姿勢を、指示装置２にリアルタイムで送信する。
【００５０】
指示装置２は、ＨＤＤで記憶された作業順序に応じて、指示出力部１３を介して、作業者に第１取付位置Ａに取り付ける第１パーツ９１を取得するパーツ取得指示を行う。このパーツ取得指示は、例えば、パーツの保管場所までの経路を３Ｄの矢印で表現したモデルを表示することで、実現することができる。この３Ｄ矢印は、ガイド情報に相当する。このとき、移動端末１の現在の位置及び姿勢に基づいて、経路を示す３Ｄの矢印を仮に現実空間に配置した場合に当該矢印が作業者からどのように見えるかの計算が行われる。この計算は、詳細な説明は省略するが、公知の３Ｄコンピュータグラフィックスの計算で実現することができる。この計算結果に従って矢印が描画されることで、作業者が現実空間を見る見え方と整合したガイド情報を表示部１４に表示することができる。これにより、作業者は現在位置からどのように移動すれば良いかを、自分が現実に見ている周囲の状況との関係で直感的に理解でき、パーツの保管場所まで容易にたどり着くことができる。
【００５１】
作業者がパーツの保管場所に到着すると、指示出力部１３は、端末側送受信部１２を介して指示装置２から受信したパーツの形状情報を表示部１４で表示させる。なお、作業者がパーツの保管場所に到着したことは、移動端末１の現在位置を用いて容易に判定することができる。表示部１４は、例えば、作業者の目の前であって、手持ちのパーツを容易に確認できるところで、第１パーツ９１の３Ｄモデルを表示する。
【００５２】
これにより、作業者が、表示部１４で表示された第１パーツ９１の３Ｄモデルを参照して、第１パーツ９１を探すことができるとともに、手持ちの第１パーツ９１を、図３（ａ）に示すように、３Ｄモデルと重畳するように比較することができる。この結果、手持ちの第１パーツ９１の正誤を容易に判断することができる。
【００５３】
本実施形態の作業指示システム１００においては、作業者が、表示部１４で表示された第１パーツ９１の３Ｄモデルを回転させる指示に相当する作業者コマンドを、作業環境情報取得部１１を介して指示装置２に送ることができる。これにより、作業者は、表示される第１パーツ９１の３Ｄモデルを、（例えば、あたかもターンテーブルに乗っているかのように）回転させながら、手持ちの第１パーツ９１と比較することができる。従って、第１パーツ９１の正誤をより一層好適に判断することができる。
【００５４】
なお、パーツの形状情報は、パーツの３Ｄモデルの代わりに、例えば、図３（ｂ）に示すように当該パーツの取付先の凹形状を示す３Ｄモデルを用いることもできる。この場合においても、作業者が、手持ちのパーツを取付先の３Ｄモデルに合わせることで、手持ちのパーツの正誤を容易に確認することができる。
【００５５】
指示装置２は、例えば、映像内の２次元座標と、対応する３次元物体表面上の点をマッチングする２Ｄ−３Ｄモデルマッチング技術によって、作業者が手持ちの第１パーツ９１の正誤を判定しても良い。この場合、作業者の手持ちの第１パーツ９１が正しいと判定した場合、指示装置２は、作業者が手持ちの第１パーツ９１に対応する位置に、「ＯＫ」等の文字、又は適宜のマーク等を表示部１４に表示させることで、作業者に知らせることができる。なお、当該２Ｄ−３Ｄモデルマッチング技術は公知であるため、説明を省略する。
【００５６】
正しい第１パーツ９１を手に持った状態で、作業者は、次の作業の指示を要求する作業者コマンドを、作業環境情報取得部１１を介して指示装置２に送る。これを受けて、指示装置２は、本体部９０の第１取付位置Ａまで作業者を案内するガイド情報を、指示出力部１３を介して作業者に対して出力する。
【００５７】
作業者が第１取付位置Ａに到着した後、指示装置２は、図４に示すように、第１パーツ９１の取付位置を示す作業指示を、指示出力部１３を介して作業者に対して出力する。図４では、第１パーツ９１の半透明的な表示（鎖線で表現されている）によってその形状及び取付向きが示されているとともに、矢印の先端によって第１パーツ９１の取付位置が示されている。なお、図４は作業指示の一例であって、作業指示の表示方法はこれに限定されない。例えば、第１パーツ９１の形状、取付向き、及び取付位置のうち１つ又は２つだけが指示されても良い。
【００５８】
これらの指示は、上述と同様に、矢印等の３Ｄ図形を仮に現実空間に配置した場合に、当該矢印が作業者からどのように見えるかの計算が行われ、この計算結果に基づいて表示される。従って、作業者には、現実の状況にあたかも図４の矢印等が実在するかのように見える。作業者は、目の前に映った作業指示に従って、第１パーツ９１を本体部９０に容易に取り付けることができる。
【００５９】
上記のように、作業環境情報取得部１１は自己位置推定機能を有し、得られた自己位置に基づいた位置に、図４の矢印等が表示される。従って、図４に示すように作業者が本体部９０の一部しか見えない場合においても、第１パーツ９１の取付場所等を正確に把握することができる。この結果、取付治具等を要せずに、第１パーツ９１を正確な位置に取り付けることができる。
【００６０】
自己位置及び自己姿勢の取得精度を考慮すれば、作業環境情報取得部１１のカメラが取得する映像に、何れかのマーカーが常時現れていることが好ましい。しかしながら、本実施形態の移動端末１は、マーカーが現れなくても、ＳＬＡＭ機能により自己位置及び自己姿勢を得ることができる。従って、作業指示システム１００は、マーカーのシールを貼ることが難しい入り組んだ場所等でも、作業に関して作業者に指示を正しく行うことができる。
【００６１】
第１パーツ９１の取付作業が完了した後、作業者は、次の作業の指示を要求する作業者コマンドを、作業環境情報取得部１１を介して指示装置２に出す。これを受けて、指示装置２は、作業環境情報取得部１１を介して、第１パーツ９１が取り付けられた状態を撮影する。
【００６２】
指示装置２は、撮影した第１パーツ９１の取付状態画像と、予め入力された完成品の３Ｄデータと、を画像処理等によって比較し、比較結果に基づいて、第１パーツ９１が正しく取り付けられていたか否かを判定しても良い。第１パーツ９１が正確に取り付けられたと判定した場合、指示装置２は、第２取付位置Ｂにおける第２パーツ９２の取付作業に関する作業指示を、上記第１パーツ９１の取付作業に関する作業指示と同様に、指示出力部１３を介して作業者に対して出力する。第１パーツ９１が正確に取り付けられていないと判定した場合、指示装置２は、修正作業の指示を、指示出力部１３を介して作業者に対して出力する。
【００６３】
なお、この第１パーツ９１の取付作業の正誤の判定は、作業者により行われても良い。このとき、第１パーツ９１が取り付けられた状態の標準画像が表示部１４に表示されると、作業者が判定を正確に行うことができ、好ましい。
【００６４】
このように、指示装置２は、第１取付位置Ａ、第２取付位置Ｂ、第３取付位置Ｃ、第４取付位置Ｄの順に、それぞれの位置における取付作業に関する作業指示を、指示出力部１３を介して作業者に対して出力する。これにより、正確な順序で組立作業を行うことができるとともに、作業者が迷わず、作業を円滑に続けることができる。
【００６５】
部品を取り付ける場合の繰返し作業においては、従来から、治具を用いて位置決めしながら取り付けることが行われている。しかし、大型構造物を組み立てる場合、治具も大きくなるので、使い回すとは言っても治具の製造コストが無視できない。また、大きな治具を設置したり取り外したりする工数及び時間も増大してしまう。この点、本実施形態では、表示部１４に表示される指示が、治具の代わりとして機能する。従って、治具がなくても、作業者はパーツを素早く正確に本体部９０に対して取り付けることができる。
【００６６】
以上に説明したように、本実施形態の作業指示システム１００は、パーツの取付作業に関する指示を行う。作業指示システム１００は、作業環境情報取得部１１と、指示出力部１３と、を備える。作業環境情報取得部１１は、作業者とともに移動し、作業環境に関するカメラ映像を取得する。指示出力部１３は、作業者とともに移動し、当該作業者に作業指示を出力する。作業環境情報取得部１１は、取得したカメラ映像に基づいて、作業環境内の基準位置に対する自己位置を推定可能である。
【００６７】
これにより、自己位置及びカメラ映像に基づいて指示出力部１３から指示することで、作業者は、取付治具等を要せずに、パーツを正確な位置に取り付けることができる。この結果、取付ミスを低減でき、品質の向上を図ることができるとともに、取付治具の作成、管理に関する費用及び手間を無くすことができ、コストの低減を実現できる。
【００６８】
また、本実施形態の作業指示システム１００において、指示出力部１３は、作業指示を表示する表示部１４を備える。指示出力部１３は、パーツの取付先となる部分が図４に示すように作業者の視野に含まれている場合に、当該取付先に対応するパーツの形状、取付向き、及び取付位置を含む作業指示を、取付先となる部分又はその近傍に重畳するように表示部１４に表示させる。
【００６９】
これにより、作業者がパーツの取付位置等の情報を一層容易に確認することができ、作業をよりスムーズに行うことができる。
【００７０】
また、本実施形態の作業指示システム１００は、作業予定入力部２１を備える。作業予定入力部２１は、作業予定を入力する。作業予定入力部２１において複数の取付作業が入力された場合、指示出力部１３は、作業予定入力部２１で設定された作業順序に従って、複数の取付作業に関する作業指示を作業者に対して出力する。
【００７１】
これにより、例えば、複数の取付作業を有する組立て等において、作業者は、作業指示システム１００からの指示の順番に従うだけで、正確な順序で取付作業を行うことができる。従って、組立作業を一層容易に行うことができる。
【００７２】
また、本実施形態の作業指示システム１００において、指示出力部１３は、作業者を現在位置から取付作業が行われる作業位置まで案内するガイド情報を出力し、作業者が作業位置に到着すると、当該作業位置で行われる取付作業に関する作業指示を作業者に対して出力する。
【００７３】
これにより、作業者が迷わずに、作業を続々と続けることができ、作業をよりスムーズに行うことができる。この結果、作業時間を短縮することができる。
【００７４】
また、本実施形態の作業指示システム１００において、指示出力部１３は、パーツの実物と重畳可能に、当該パーツの形状を確認するための３Ｄモデルを表示する。
【００７５】
これにより、作業者が、実物と３Ｄモデルとを比較することができ、手持ちの実物の正誤を容易に判断することができる。
【００７６】
また、本実施形態の作業指示システム１００においては、３Ｄモデルは、作業者の指示に応じて回転可能に表示される。
【００７７】
これにより、必要に応じて３Ｄモデルの姿勢を変更することで、様々な視点で実物と３Ｄモデルとを比較して確認することができる。
【００７８】
また、本実施形態の作業指示システム１００においては、指示出力部１３は、パーツの形状、取付向き、取付位置の少なくとも１つを含む作業指示をアニメーションで表示する。
【００７９】
これにより、パーツの取付けに関する情報を一層分かり易く表示することができる。
【００８０】
また、本実施形態の作業指示システム１００は、作業環境情報取得部１１を備える。作業環境情報取得部１１は、作業者が行う指示を入力する。作業環境情報取得部１１は、作業者のジェスチャーを認識可能に構成されている。
【００８１】
これにより、作業者が作業完了等を容易にシステムに指示することができる。
【００８２】
また、本実施形態の作業指示システム１００においては、作業環境情報取得部１１は、取付作業が完了した状態を撮影可能に構成されている。
【００８３】
これにより、取付作業のエビデンスとして保存することができる。また、標準状態と比較することで、作業の正誤を容易に確認することができる。
【００８４】
以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
【００８５】
指示出力部１３は、音声による作業指示を作業者に出力する音声出力部を備えても良い。この場合、指示装置２からの作業指示を、音声により作業者に伝えることができる。
【００８６】
指示装置２が、移動端末１から取得された作業環境情報（具体的には、カメラ映像）を表示する表示部を備えても良い。この場合、組立現場にいる作業者とは異なる作業者が、指示装置２の表示部で表示された情報に基づいて、組立現場にいる作業者に音声等で作業指示を出しても良い。このように、指示出力部１３は、コンピュータが行う指示に代えて、人間の指示を作業者に出力する構成としても良い。
【００８７】
表示部１４は、上記の構成に限定されず、例えば、ビデオ透過型のヘッドアップディスプレイとして構成されても良い。この場合、表示部１４は、作業環境情報取得部１１から取得した現実映像と、指示装置２から受信された作業指示と、を重畳した映像を表示する。作業者は、表示部１４で表示された映像を介して作業現場の状況及び作業指示を確認する。
【００８８】
指示装置２は、パーツ保管場所において、複数の取付作業が必要となる複数のパーツを取得するパーツ取得指示を全て出した後、本体部９０における初めての取付位置（即ち第１取付位置Ａ）まで移動する移動指示を出しても良い。
【００８９】
作業環境情報取得部１１は、音声入力部を備えても良い。音声入力部で取得した音声の情報は、周囲の映像とともに、作業環境情報として端末側送受信部１２に送信することができる。作業者が例えば特定の言葉を喋ることにより、作業者コマンドを音声認識によって実現することもできる。この構成によれば、作業者が部品を両手で持っており、手でのジェスチャーが難しい場合でも、作業者からの指示を容易に行うことができる。
【００９０】
取得したパーツの正誤の判定は、パーツに貼り付けられているバーコードや２次元マトリクスコード等を介して判定することもできる。
【００９１】
カメラ映像以外によるＳＬＡＭが行われても良い。例えば、作業環境情報取得部１１が、ＬＩＤＡＲの計測結果に基づいたＳＬＡＭを行うように構成することができる。ＬＩＤＡＲとは、Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉоｎ  ａｎｄ  Ｒａｎｇｉｎｇの略称である。ＬＩＤＡＲは、周囲の物体の形状を取得する３次元計測センサの一種である。この場合、ＬＩＤＡＲによって得られた点群が、作業環境情報に該当する。
【００９２】
指示装置２は、移動端末１と一体型に構成されても良い。この場合、移動端末１と指示装置２とが無線通信するための構成（例えば、端末側送受信部１２）を省略することができる。
【符号の説明】
【００９３】
１１  作業環境情報取得部
１３  指示出力部
９０  本体部（取付先）
９１  第１パーツ（作業対象物）
９２  第２パーツ（作業対象物）
９３  第３パーツ（作業対象物）
９４  第４パーツ（作業対象物）
１００  作業指示システム
【図１】
2020170482.tif 000003
【図２】
2020170482.tif 000004
【図３】
2020170482.tif 000005
【図４】
2020170482.tif 000006