(57)【要約】【課題】屋内であっても作業位置を精度良く特定でき、ユーザが作業の進捗を高い正確性で明確に確認することができる作業管理システム及び作業管理方法を提供する。【解決手段】本発明の演算装置は、撮像空間Ｓに配置された対象物８と、対象物８における複数の作業箇所が示された３次元モデル６１とを、３次元座標系において位置合わせをする位置設定部５１と、工具３から送信される作動情報及び工具位置情報の時間変化の少なくとも一方と、作業箇所の位置と、工具位置情報とに基づいて、工具３により作業が行われた作業箇所を検出する作業検出部５２と、複数の作業箇所のうち、作業検出部５２により検出された作業箇所である作業済箇所と、そうでない未作業箇所とをユーザが区別可能に、３次元モデル６１を表示装置６に表示させる表示部５３と、を備える。【選択図】図１
2020154434.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラと、
対象物に設定された複数の作業箇所に対して作業を実行するための工具と、
複数の反射マーカーを有し前記工具に取り付けられたマーカーセットと、
複数の前記カメラから取得した前記マーカーセットの撮像データに基づいて、三角測量の原理により、３次元座標系における前記工具の位置を示す工具位置情報を演算する演算装置と、
前記演算装置の指令に基づき画像を表示する表示装置と、
を備え、
前記演算装置は、
ユーザの操作に応じて、複数の前記カメラの撮像空間に配置された前記対象物と、前記対象物の形状に対応し且つ前記対象物における複数の前記作業箇所が示された３次元モデルとを、前記３次元座標系において位置合わせをする位置設定部と、
前記工具から送信される作動情報及び前記工具位置情報の時間変化の少なくとも一方と、前記作業箇所の位置と、前記工具位置情報とに基づいて、前記工具により作業が行われた前記作業箇所を検出する作業検出部と、
複数の前記作業箇所のうち、前記作業検出部により検出された前記作業箇所である作業済箇所と、前記作業検出部により検出されていない前記作業箇所である未作業箇所とをユーザが区別可能に、前記３次元モデルを前記表示装置に表示させる表示部と、
を備える作業管理システム。
【請求項２】
前記工具は、前記作業箇所において締結部材を前記対象物に締結するためのトルクレンチであり、
前記トルクレンチは、前記締結部材に対する締付けトルクを検出し且つ検出したトルク情報を前記演算装置に送信する情報送信部を有し、
前記作業検出部は、前記トルク情報を前記作動情報として、前記作業箇所の位置、前記工具位置情報、及び前記トルク情報に基づいて、前記工具により作業が行われた前記作業箇所を検出する請求項１に記載の作業管理システム。
【請求項３】
前記トルクレンチは、前記情報送信部と、ハンドル部と、前記ハンドル部から前記ハンドル部に直交する方向に伸びる軸部と、軸部の先端に位置して前記締結部材に係合する係合部と、を有し、
前記マーカーセットは、前記軸部に固定されている請求項２に記載の作業管理システム。
【請求項４】
複数の前記作業箇所の少なくとも１つは、前記対象物に設けられた凹部内に位置し、
前記凹部内に位置する前記作業箇所において、前記締結部材のうち前記係合部と係合する被係合部の少なくとも一部は、前記締結部材の形状に応じた形状の前記凹部内に収容され、
前記マーカーセットは、前記トルクレンチにより前記凹部内の前記締結部材に対して作業がなされる際に、前記凹部の外に位置するように前記トルクレンチに固定されている請求項３に記載の作業管理システム。
【請求項５】
前記被係合部の全体が前記凹部内に収容される請求項４に記載の作業管理システム。
【請求項６】
前記作業検出部は、前記作業箇所の位置、前記工具位置情報、及び前記工具位置情報の時間変化に基づいて、前記作業箇所における作業対象部材の誤選択を検出する請求項１〜５の何れか一項に記載の作業管理システム。
【請求項７】
前記作業検出部は、前記作業箇所の位置、前記工具位置情報、及び前記トルク情報に基づいて、前記作業箇所における前記締結部材の誤選択を検出する請求項２〜５の何れか一項に記載の作業管理システム。
【請求項８】
前記演算装置は、前記係合部の位置を前記工具の位置として前記工具位置情報を演算し、
前記表示部は、ユーザの操作に応じて、前記表示装置に前記工具の位置を表示させる請求項３〜５の何れか一項に記載の作業管理システム。
【請求項９】
複数の前記作業箇所の少なくとも１つは、前記対象物に設けられた凹部内に位置し、
前記マーカーセットは、前記凹部での作業において前記凹部の外に位置するように前記工具に取り付けられている請求項１〜３の何れか一項に記載の作業管理システム。
【請求項１０】
前記表示部は、ユーザの操作に応じて、前記表示装置に前記工具の位置を表示させる請求項１〜７、９の何れか一項に記載の作業管理システム。
【請求項１１】
前記表示部は、予め設定された作業工程に基づいて、前記表示装置に、次に作業を行うべき前記作業箇所をユーザが認識可能に表示させる請求項１〜１０の何れか一項に記載の作業管理システム。
【請求項１２】
前記表示部は、予め設定された作業工程に基づいて、前記表示装置に、前記３次元モデルに示された前記作業箇所に対して作業順序を表示させる請求項１〜１１の何れか一項に記載の作業管理システム。
【請求項１３】
複数のカメラと、
対象物に設定された複数の作業箇所に対して作業を実行するための工具と、
複数の反射マーカーを有し前記工具に取り付けられたマーカーセットと、
複数の前記カメラから取得した前記マーカーセットの撮像データに基づいて、三角測量の原理により、３次元座標系における前記工具の位置を示す工具位置情報を演算する演算装置と、
前記演算装置の指令に基づき画像を表示する表示装置と、
を備える作業管理システムを用いた作業管理方法であって、
前記演算装置が、ユーザの操作に応じて、複数の前記カメラの撮像空間に配置された前記対象物と、前記対象物の形状に対応し且つ前記対象物における複数の前記作業箇所が示された３次元モデルとを、前記３次元座標系において位置合わせをする位置設定工程と、
前記演算装置が、前記工具から送信される作動情報及び前記工具位置情報の時間変化の少なくとも一方と、前記作業箇所の位置と、前記工具位置情報とに基づいて、前記工具により作業が行われた前記作業箇所を検出する作業検出工程と、
前記演算装置が、複数の前記作業箇所のうち、前記作業検出工程で検出された前記作業箇所である作業済箇所と、前記作業検出工程で検出されていない前記作業箇所である未作業箇所とをユーザが区別可能に、前記３次元モデルを前記表示装置に表示させる表示工程と、
を含む作業管理方法。
【請求項１４】
前記工具は、前記作業箇所において締結部材を前記対象物に締結するためのトルクレンチであり、
前記トルクレンチは、前記締結部材に対する締付けトルクを検出し且つ検出したトルク情報を前記演算装置に送信する情報送信部を有し、
前記作業検出工程では、前記演算装置が、前記トルク情報を前記作動情報として、前記作業箇所の位置、前記工具位置情報、及び前記トルク情報に基づいて、前記工具により作業が行われた前記作業箇所を検出する請求項１３に記載の作業管理方法。
【請求項１５】
前記作業検出工程では、前記演算装置が、前記作業箇所の位置、前記工具位置情報、及び前記トルク情報に基づいて、前記作業箇所における前記締結部材の誤選択を検出する請求項１４に記載の作業管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業管理システム及び作業管理方法に関する。
【背景技術】
【０００２】
昨今、工具の位置情報や作業情報を把握して作業の進捗を管理するシステムが開発されている。例えば特開平１０−３７４５９号公報には、ＧＰＳ受信機を内蔵したトルクレンチを用いて、トルクレンチから送信されるトルク情報とＧＰＳ情報とにより、作業の進捗を把握する工事工程管理システムが記載されている。また、例えば特開２０００−３５７０１０号公報には、各工具に識別番号が付され、各工具の作業状況等がセンサにより検出される道工具管理システムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−３７４５９号公報
【特許文献２】特開２０００−３５７０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の工事工程管理システムでは、各工具にＧＰＳ受信機を設ける必要がある上、ＧＰＳの性質上、屋内での作業において位置特定精度を維持できない。また、上記の道工具管理システムでは、識別番号から作業エリアは特定できるが、詳細な作業位置の特定は困難である。また、作業現場において、ユーザが作業位置を高い正確性をもって確認できることが、より確実な作業遂行において求められる。
【０００５】
本発明は、このような事情に鑑みて為されたものであり、屋内であっても作業位置を精度良く特定でき、ユーザが作業の進捗を高い正確性で明確に確認することができる作業管理システム及び作業管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の作業管理システムは、複数のカメラと、対象物に設定された複数の作業箇所に対して作業を実行するための工具と、複数の反射マーカーを有し前記工具に取り付けられたマーカーセットと、複数の前記カメラから取得した前記マーカーセットの撮像データに基づいて、三角測量の原理により、３次元座標系における前記工具の位置を示す工具位置情報を演算する演算装置と、前記演算装置の指令に基づき画像を表示する表示装置と、を備え、前記演算装置は、ユーザの操作に応じて、複数の前記カメラの撮像空間に配置された前記対象物と、前記対象物の形状に対応し且つ前記対象物における複数の前記作業箇所が示された３次元モデルとを、前記３次元座標系において位置合わせをする位置設定部と、前記工具から送信される作動情報及び前記工具位置情報の時間変化の少なくとも一方と、前記作業箇所の位置と、前記工具位置情報とに基づいて、前記工具により作業が行われた前記作業箇所を検出する作業検出部と、複数の前記作業箇所のうち、前記作業検出部により検出された前記作業箇所である作業済箇所と、前記作業検出部により検出されていない前記作業箇所である未作業箇所とをユーザが区別可能に、前記３次元モデルを前記表示装置に表示させる表示部と、を備える。
【０００７】
また、本発明の作業管理方法は、複数のカメラと、対象物に設定された複数の作業箇所に対して作業を実行するための工具と、複数の反射マーカーを有し前記工具に取り付けられたマーカーセットと、複数の前記カメラから取得した前記マーカーセットの撮像データに基づいて、三角測量の原理により、３次元座標系における前記工具の位置を示す工具位置情報を演算する演算装置と、前記演算装置の指令に基づき画像を表示する表示装置と、を備える作業管理システムを用いた作業管理方法であって、演算装置が、ユーザの操作に応じて、複数の前記カメラの撮像空間に配置された前記対象物と、前記対象物の形状に対応し且つ前記対象物における複数の前記作業箇所が示された３次元モデルとを、前記３次元座標系において位置合わせをする位置設定工程と、前記演算装置が、前記工具から送信される作動情報及び前記工具位置情報の時間変化の少なくとも一方と、前記作業箇所の位置と、前記工具位置情報とに基づいて、前記工具により作業が行われた前記作業箇所を検出する作業検出工程と、前記演算装置が、複数の前記作業箇所のうち、前記作業検出工程で検出された前記作業箇所である作業済箇所と、前記作業検出工程で検出されていない前記作業箇所である未作業箇所とをユーザが区別可能に、前記３次元モデルを前記表示装置に表示させる表示工程と、を含む。
【発明の効果】
【０００８】
本発明によれば、複数のカメラで撮像されたマーカーセットの撮像データに基づいて、工具位置情報が演算されるため、屋内外にかかわらず、精度良く工具の位置が算出される。また、工具位置情報及び作業箇所の位置は作業箇所の判定要素として用いることができ、作動情報及び工具位置情報の時間変化の少なくとも一方は作業の有無の判定要素として用いることができる。これにより、作業された作業箇所を精度良く検出することができる。そして、当該検出結果に基づいて、表示装置に、作業の対象物に対応する３次元モデル、作業済箇所、及び未作業箇所が表示される。これにより、ユーザは、作業の進捗を高い正確性で明確に確認することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の作業管理システムの構成図である。
【図２】本実施形態のトルクレンチ及びマーカーセットの構成図である。
【図３】本実施形態の表示装置の表示例である。
【図４】本実施形態の凹部及び締結部材の例を示す断面図である。
【図５】本実施形態の凹部及び締結部材の例を示す断面図である。
【図６】誤選択時の凹部及び締結部材の例を示す断面図である。
【図７】本実施形態の別の態様の表示装置の表示例である。
【図８】本実施形態の別の態様の表示装置の表示例である。
【図９】本実施形態のトルクレンチ及びマーカーセットの一例である。
【図１０】本実施形態の別の態様の表示装置の表示例である。
【図１１】本実施形態における３次元モデルを用いた表示装置の表示例である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図に基づいて説明する。説明に用いる各図は概念図である。本実施形態の作業管理システム１は、図１に示すように、複数のカメラ２と、トルクレンチ（「工具」に相当する）３と、マーカーセット４と、演算装置５と、表示装置６と、を備えている。カメラ２は、例えばカメラセンサや光学式カメラであって、画像を撮像する撮像部及び赤外線を照射する照射部を備えている。
【００１１】
本実施形態の各カメラ２は、直方体枠状の組立体９に設置されている。例えば、組立体９の内側に配置される対象物８を撮像できる向きで、カメラ２の一グループは組立体９の上方部に設置され、カメラ２の他のグループは組立体９の下方部に設置されている。本実施形態のカメラ２は、上方部の四隅と、下方部の四隅とに配置されている。これら複数のカメラ２により、撮像空間Ｓが形成されている。なお、各カメラ２は、単独で移動可能なスタンド（例えば三脚）に設置されてもよい。また、各カメラ２は、例えば部屋の壁面（天井等）に固定されても良い。
【００１２】
トルクレンチ３は、対象物８に設定された複数の作業箇所に対して作業を実行するための工具である。より詳細に、トルクレンチ３は、作業箇所において締結部材７を対象物８に締結するための工具である。締結部材７は、例えばボルトやネジである。対象物８は、例えば締結部材７により部品同士の締結が必要な部材（例えば金属部材）である。締結部材７は、対象物８の作業箇所に配置されているため、作業箇所と位置が一致している。つまり、図１の符号７は作業箇所も表している。
【００１３】
トルクレンチ３は、図２に示すように、情報送信部３１と、ハンドル部３２と、軸部３３と、係合部３４と、を有している。情報送信部３１は、締結部材７に対する締付けトルクを検出し且つ検出したトルク情報を演算装置５に送信する装置である。情報送信部３１は、ハンドル部３２に取り付けられている。トルクレンチ３は、無線で締付けトルクの値等を送信可能な無線式データ転送トルクレンチである。
【００１４】
ハンドル部３２は、トルクレンチ３のうち主にユーザが把持・操作する部分である。軸部３３は、ハンドル部３２からハンドル部３２に直交する方向に伸びる軸状の部分である。係合部３４は、軸部３３の先端に位置して締結部材７に係合してトルクを締結部材７に伝達する部分である。係合部３４は、締結部材７の形状に応じた凹状に形成されている。ユーザは、締結部材７と係合部３４とを係合させた状態で、ハンドル部３２を軸部３３中心に回転させ、締付けトルクを締結部材７に加える。情報送信部３１は、作業で発生した締付けトルクの値等をトルク情報として演算装置５に送信する。
【００１５】
本実施形態の情報送信部３１は、締付けトルクが所定トルクに達した場合、例えば音、表示、及び／又は作動感の変動などで、ユーザにその旨を通知するように構成されている。情報送信部３１は、締付けトルクが所定トルクに達したか否かの作業結果を、演算装置５に送信するともいえる。例えば、情報送信部３１は、締付けトルクが所定トルクに達した場合、合格を示す信号（以下「合格信号」とも称する）を演算装置５に送信する。また、情報送信部３１は、締付けトルクが所定トルク未満で作業が終了した場合（締付けトルクの検出値が所定トルクに達する前に０になった場合）、不合格を示す信号（以下「不合格信号」とも称する）を演算装置５に送信する。なお、情報送信部３１がトルク値を演算装置５に送信し、演算装置５がトルク値に基づいて合格か不合格かを判定するように構成されてもよい。
【００１６】
マーカーセット４は、トルクレンチ３に取り付けられた、反射を利用した位置演算のためのマーカー部材である。マーカーセット４は、図２に示すように、トルクレンチ３の軸部３３に固定されている。マーカーセット４は、自身を工具に取り付けるための取付部４１と、取付部４１の外面から突出した複数の突出部４２と、各突出部４２に設けられた反射マーカー４３と、を備えている。
【００１７】
取付部４１は、軸部３３に固定可能に形成された筒状又はＣ字状の部分である。取付部４１は、軸部３３の上端部に、当該上端部の外周面を覆うように固定されている。突出部４２は、取付部４１の外周面から、それぞれ異なる方向に棒状に突出した部分である。突出部４２は、取付部４１に３つ以上設けられている。
【００１８】
反射マーカー４３は、各突出部４２の先端部に設けられた球状の反射部材である。つまり、反射マーカー４３は、突出部４２同様、取付部４１に対して３つ以上設けられている。反射マーカー４３は、赤外線を反射するように構成されている。
【００１９】
演算装置５は、複数のカメラ２から取得したマーカーセット４の撮像データに基づいて、三角測量の原理により、３次元座標系（Ｘ、Ｙ、Ｚ）におけるトルクレンチ３の位置を示す工具位置情報を演算する装置である。演算装置５は、ＣＰＵやメモリ等を有するコンピュータであり、コンピュータで作動する計測ソフトウェアがインストールされている。計測ソフトウェアは、例えば市販のソフトウェア（３次元位置計測やモーションキャプチャーに関するソフトウェア）を利用することができる。演算装置５は、すべてのカメラ２と通信可能に接続されている。表示装置６は、演算装置５の指令に基づき画像を表示するディスプレイである。
【００２０】
演算装置５は、複数のカメラ２の撮像データに基づいて、三角測量の原理により、各反射マーカー４３の３次元座標を演算する。演算装置５には、マーカーセット４における反射マーカー４３の位置関係（マーカピッチ）が予め設定されている。演算装置５は、３つ以上の反射マーカー４３の３次元座標を算出し、その算出結果に基づきマーカーセット４及びトルクレンチ３の位置や向き（姿勢）を把握する。なお、マーカーセット４の位置の演算等については、例えば特開２０１７−９６７３８号公報を参照することができる。
【００２１】
演算装置５は、トルクレンチ３に対して予め設定された特定位置をトルクレンチ３の位置として認識する。本実施形態では、演算装置５に対して、トルクレンチ３の係合部３４が位置特定部に設定されており、係合部３４と各反射マーカー４３との位置関係が予め設定されている。つまり、演算装置５は、係合部３４の位置をトルクレンチ３の位置として工具位置情報を演算する。演算装置５は、工具位置情報を演算する位置演算部を有するともいえる。なお、位置特定部は、工具の任意の部位に設定可能である。
【００２２】
演算装置５は、トルクレンチ３の位置及び向きの時系列データ（３次元座標時系列データ）を取得し、メモリに記憶された３次元モデル６１に反映させる。３次元モデル６１は、例えば対象物８を表すＣＡＤデータである。３次元モデル６１は、例えば、作業箇所にマークが付されて表示され、又は作業後の対象物８の形状が表示されること（例えばボルトの頭部の表示）により、ユーザが作業箇所の位置を認識可能に作成されている。
【００２３】
より詳細に、演算装置５は、機能として、位置設定部５１と、作業検出部５２と、表示部５３と、を備えている。位置設定部５１は、ユーザの操作に応じて、複数のカメラ２の撮像空間Ｓに配置された対象物８と、対象物８の形状に対応し且つ対象物８における複数の作業箇所が示された３次元モデル６１とを、３次元座標系において位置合わせをする。
【００２４】
例えば、対象物８の任意の一面（基準面）に、３つの基準マーカーが配置されている。位置設定部５１は、複数のカメラ２で撮像された各基準マーカーの撮像データに基づいて、各基準マーカーの３次元座標を演算する。位置設定部５１は、ユーザの操作に応じて、３次元モデル６１に設けられた３つの基準マーカーに対応する３つの基準点の座標を、演算した対象物８の３つの基準マーカーの座標に一致させる。あるいは、位置設定部５１は、各基準マーカーの３次元座標に基づいて、３次元座標系における対象物８の基準面の位置を特定する。そして、位置設定部５１は、ユーザの操作に応じて、対象物８の基準面に対応する３次元モデル６１の一面の位置（座標）を、当該基準面の位置（座標）と一致させる。このように、位置設定部５１は、ユーザの操作に応じて、３次元座標系における対象物８と３次元モデル６１との位置（座標）を一致させる。位置設定部５１は、３次元座標系における３次元モデル６１の位置を確定（固定）する。
【００２５】
作業検出部５２は、演算装置５で演算されたトルクレンチ３の工具位置情報と、位置合わせされた座標における作業箇所の位置と、トルクレンチ３の作動情報であるトルク情報に基づいて、トルクレンチ３により作業が行われた作業箇所を検出する。トルクレンチ３の工具位置情報は、上記のように、演算装置５により、反射マーカー４３の位置に基づいて演算される。
【００２６】
作業検出部５２は、作業箇所の位置、工具位置情報、及びトルクレンチ３から送信される作動情報であるトルク情報に基づいて、トルクレンチ３により作業が行われた作業箇所を検出する。より詳細に、作業検出部５２は、工具位置情報及び作業箇所の位置に基づき現在作業されようとしている作業箇所を特定し、受信したトルク情報に基づき作業の有無を判定する。
【００２７】
作業検出部５２は、例えば情報送信部３１から合格信号又は不合格信号を受信した場合、作業が行われたと判定する。あるいは、作業検出部５２は、情報送信部３１からトルク情報（トルク値＞０）が送信されることで、作業が行われたと判定する。作業検出部５２は、判定結果とともに、トルク情報を内部又は外部メモリに記憶する。作業検出部５２は、合格信号を受信した際の作業箇所と、不合格信号を受信した際の作業箇所とを区別可能に記憶する。
【００２８】
表示部５３は、複数の作業箇所のうち、作業検出部５２により検出された作業箇所である作業済箇所と、作業検出部５２により検出されていない作業箇所である未作業箇所とをユーザが区別可能に、３次元モデル６１を表示装置６に表示させる。表示部５３は、作業検出部５２の検出結果に基づき、３次元モデル６１上において、例えば、作業済箇所と未作業箇所とを別の表示色に設定する。
【００２９】
例えば図３に示すように、本実施形態の表示部５３は、３次元モデル６１上において、合格信号に対応する作業箇所を第１色（黒丸参照）で表し、不合格信号に対応する作業箇所を第１色と異なる第２色（斜線ハッチングされた丸参照）で表し、未作業箇所を第１色及び第２色と異なる第３色（白丸参照）で表す。互いに異なる表示は、色に限らず、例えば形状、模様、又は文字表示であってもよい。また、表示部５３は、表示装置６に、トルクレンチ３の係合部３４の位置（白抜き三角マーク参照）と座標を表示させる。また、表示部５３は、作業済箇所の近辺に、そのトルク情報（トルク値：図では例として１１０、１２０、９０と表示）を表示する。
【００３０】
なお、作業検出部５２は、合格信号を受信した作業箇所のみを作業済箇所とし、不合格信号を受信した作業箇所については「未作業」と判定し、未作業箇所として処理してもよい。この場合、不合格信号に対応する作業箇所は、未作業箇所と同じ表示に設定されてもよい。
【００３１】
ここで、図４に示すように、複数の作業箇所の少なくとも１つは、対象物８に設けられた凹部８０内に位置している。そして、マーカーセット４は、凹部８０内での作業において凹部８０の外に位置するように工具に取り付けられている。本実施形態では、凹部８０内に位置する作業箇所において、締結部材７のうち係合部３４と係合する被係合部７１の少なくとも一部は、締結部材７の形状に応じた形状の凹部８０内に収容されている。そして、マーカーセット４は、トルクレンチ３により凹部８０内の締結部材７に対して作業がなされる際に、凹部８０の外に位置するようにトルクレンチ３に固定されている。
【００３２】
締結部材７の被係合部７１は、本実施形態ではボルトの頭部であって、凹部８０内に少なくとも一部が収容される。作業後の被係合部７１の高さ、例えば被係合部７１と対象物８（ザグリの座面）との接触の有無は、ユーザの目視では確認し難い状態となる。凹部８０は、例えば対象物８に設けられたザグリであり、この場合の凹部８０の底面はザグリの座面８１である。凹部８０は、対象物８の外面から凹んでいる部分であり、作業後に被係合部７１の周囲が凹部８０の側面で囲まれる形になる部分である。
【００３３】
上記の通り、本実施形態のマーカーセット４は、軸部３３の上端部に固定されている。したがって、軸部３３の係合部３４が凹部８０内に挿入されて締結部材７の被係合部７１と係合した状態でも、マーカーセット４は凹部８０の外に位置する。演算装置５は、凹部８０内に作業箇所がある場合でも、例えば図５に示すように被係合部７１の全体が凹部８０内に収容されていても、凹部８０以外の作業箇所同様、凹部８０外のマーカーセット４の撮像データに基づいて、トルクレンチ３の位置及び姿勢を演算することができる。つまり、本実施形態によれば、凹部８０内での作業であっても、トルクレンチ３（係合部３４）の位置を精度良く特定することができる。
【００３４】
また、作業検出部５２は、作業箇所の位置、トルクレンチ３の位置（すなわち工具位置情報）、及びトルク情報に基づいて、作業箇所における作業不足又は締結部材７の誤選択を検出する。締結部材７の誤選択とは、本来配置されるべき締結部材７よりも長い（軸方向長さが大きい）締結部材７が配置されていることを意味する。
【００３５】
例えば、作業検出部５２は、演算装置５の内部メモリ又は外部メモリに記憶された対象物８における作業箇所の座標情報と、トルク情報（例えば合格信号又は不合格信号）が送信された際のトルクレンチ３（係合部３４）の工具位置情報である特定工具位置情報とを比較する。作業検出部５２は、締付けトルクが所定トルク未満であり（すなわち不合格信号を受信し）、且つ作業箇所と特定工具位置情報における位置との離間距離が所定値以上であれば、当該作業箇所で締結部材７の誤選択が発生していると判定する。作業箇所の位置は、例えば凹部８０の底面（ザグリの座面８１）に設定されている。
【００３６】
誤って長い締結部材７が選択されて作業箇所に配置されていた場合、図６に示すように、凹部８０の底面８１と被係合部７１であるボルトの頭部とが当接する前に、ボルトの先端と締結対象の部材とが当接する。これにより、空回りが発生し、締付けトルクが所定トルクに達しない。また、トルク情報が送信された際の係合部３４の位置と、凹部８０の底面との位置に所定値以上のずれが生じる。作業検出部５２は、トルク不足と作業位置の不一致から、締結部材７の誤選択を検出する。このように、作業検出部５２は、工具位置情報とトルク情報に基づいて、締結部材７の誤選択を検出することができる。
【００３７】
（効果）
本実施形態によれば、複数のカメラ２で撮像されたマーカーセットの撮像データに基づいて、工具位置情報が演算されるため、屋内外にかかわらず、精度良く工具の位置が算出される。また、工具位置情報及び作業箇所の位置は作業箇所の判定要素として用いることができ、作動情報及び工具位置情報の時間変化の少なくとも一方（本実施形態では作動情報）は作業の有無の判定要素として用いることができる。これにより、作業検出部５２は、作業された作業箇所を精度良く検出することができる。そして、当該検出結果に基づいて、表示装置６に、作業の対象物８に対応する３次元モデル６１、作業済箇所、及び未作業箇所が表示される。これにより、ユーザは、作業の進捗を高い正確性で明確に確認することができる。また、演算装置５は、検出結果が反映された３次元モデルのデータを記憶するため、ユーザは、作業結果をデータとして保存・活用することができる。
【００３８】
また、工具がトルク情報を送信可能なトルクレンチであるため、当該トルク情報を作動情報として用いることで、作業の有無の判定がより容易且つ正確となる。また、マーカーセット４がトルクレンチ３の軸部３３に固定されているため、演算装置５は、軸部３３の軸線上（作業時の回転軸上ともいえる）に位置する係合部３４の位置（例えばトルクレンチ３と締結部材７との接触位置）をより容易且つ正確に演算できる。演算装置５の演算誤差は、より抑制される。
【００３９】
また、マーカーセット４が凹部８０の外に位置するようにトルクレンチ３に固定されているため、演算装置５は、凹部８０内の作業であっても、精度良く工具位置情報を演算することができる。この効果は、被係合部７１の全体が凹部８０内に収容される場合でも有効に発揮される。なお、マーカーセット４は、作業時に凹部８０外に位置する、トルクレンチ３のハンドル部３２に取り付けられてもよい。また、トルクレンチ３以外の工具で作業する場合でも、マーカーセット４が作業時における工具の凹部８０外の部位に固定されることで、上記同様の効果が発揮される。
【００４０】
また、作業検出部５２が締結部材７の誤選択を検出するため、作業不足と誤選択との切り分けが可能となり、よりユーザが作業状況を把握しやすくなる。また、締結部材７の誤選択による作業ミスを抑制することができる。特に凹部８０内での作業の場合、ユーザが目視で締結部材７の誤選択か否かを判別し難く、本構成が非常に有効となる。
【００４１】
また、演算装置５は、係合部３４の位置を工具の位置として工具位置情報を演算し、表示部５３は、ユーザの操作に応じて、表示装置６に係合部３４の位置を表示させる。この構成により、ユーザがより直接的に作業位置（係合位置）を表示装置６で確認することができる。表示部５３は、例えばユーザにより予め工具の位置を表示するように設定されている場合又は演算装置５に対して表示切替操作がなされた場合、当該工具の位置をマーク等により表示装置６に表示する。なお、表示される工具の位置は、係合部３４以外の部位に設定されてもよい。例えば表示部５３がハンドル部３２の位置を表示することで、ユーザは、トルクレンチ３を把持している手の位置を確認することができる。また、表示部５３は、例えば軸部３３の中心軸を直線で表示するようにしてもよい。また、表示部５３は、これら複数のマークを同時に表示してもよい。
【００４２】
（その他）
本発明は、上記実施形態に限られない。例えば、図７に示すように、表示部５３は、予め設定された作業工程に基づいて、表示装置６に、次に作業を行うべき作業箇所（図７の黒斜線入りの丸参照）をユーザが認識可能に表示させてもよい。また、図８に示すように、表示部５３は、予め設定された作業工程に基づいて、表示装置６に、３次元モデル６１に示された作業箇所に対して、作業順序（図８の吹き出しマークの数字参照）を表示させてもよい。例えば、作業順序は複数作業箇所をセットで（例えば１番目〜４番目）表示し、１セットが終わるごとに更新されてもよい。これらの構成により、ユーザは作業順を把握しやすくなり、作業精度及び作業効率を向上させることができる。また、演算装置５は、ユーザが順番を間違った場合に、例えば警告表示又は警告音（音声含む）等によりユーザに警告するように構成されてもよい。
【００４３】
また、作業検出部５２が、工具により作業が行われた作業箇所を検出する方法は、上記に限られない。例えば、作業検出部５２は、工具の位置と作業箇所の位置との距離が所定値以下である状態が所定時間継続した場合に、当該作業箇所で作業が行われたと判定してもよい。また、作業検出部５２は、作業内容が締結作業である場合、工具の位置と作業箇所の位置との距離が所定値以下であって、且つ当該距離が時間の経過とともに小さくなっている場合に、当該作業箇所で作業が行われたと判定してもよい。このように、作業検出部５２は、工具位置情報の時間変化を作業の有無の判定要素としてもよい。
【００４４】
また、作業検出部５２は、作業内容が溶接作業である場合、工具の位置（例えば溶接トーチの位置（例えばトーチ先端位置））と作業箇所の位置との距離が所定値以下であって、且つ工具（例えば溶接機本体）から溶接中である情報（例えば電源オン情報）を無線又は有線で受信した場合に、当該作業箇所で作業が行われたと判定してもよい。この場合、マーカーセット４は、溶接トーチに固定されてもよい。このように、作動情報は、トルク情報に限らず、例えば溶接機、電動ドリル、又は電動ドライバー等の電動装置が送信するオン情報等であってもよい。作業検出部５２は、工具から送信される作動情報、作業箇所の位置、及び工具位置情報に基づいて、工具により作業が行われた作業箇所を検出することができる。
【００４５】
また、位置計測対象の工具が、情報送信部３１のないトルクレンチ３、モンキーレンチ、又はＬ字型等の六角レンチ等のレンチ（スパナ）であった場合、例えばマーカーセットが作業時に回転する部分（例えばハンドル部３２）に取り付けられる。この構成において、作業検出部５２は、工具の当該回転部分の位置が所定半径範囲の円上を推移し（円状軌跡を示し）、且つ工具の位置と作業箇所の位置との距離が所定値以下である場合、当該作業箇所で作業が行われたと判定することができる。これは複数のカメラ２とマーカーセット４とを用いて高精度に演算された工具位置情報を用いることで実現可能となる。
【００４６】
このように、作業検出部５２は、工具位置情報の時間変化、作業箇所の位置、及び工具位置情報に基づいて、工具により作業が行われた作業箇所を検出することができる。なお、演算装置５は、工具位置情報として、工具の回転軸の位置と、ハンドル部分の位置とを演算してもよい。また、表示部５３は、ユーザが工具の姿勢を認識可能に工具の位置を表示装置６に表示してもよい。
【００４７】
また、作業検出部５２は、例えばドリル又はドライバーの位置（例えば先端部の位置）の時間変化を作動の有無の判定要素としてもよい。作業検出部５２は、例えば作業箇所との距離が所定時間一定になった後に減少した場合、作動有りと判定してもよい。
【００４８】
また、作業検出部５２は、工具位置情報の時間変化に加えて、トルク情報や電源オン情報などの作動情報を判定要素に加えてもよい。つまり、作業検出部５２は、作業箇所の判定要素となる作業箇所の位置及び工具位置情報と、作業の有無の判定要素となる工具から送信される作動情報及び工具位置情報の時間変化の少なくとも一方とに基づいて、工具により作業が行われた作業箇所を検出する。
【００４９】
また、作業検出部５２は、作業箇所の位置、工具位置情報、及び工具位置情報の時間変化に基づいて、作業箇所における作業対象部材の誤選択を検出してもよい。作業検出部５２は、例えば、工具の位置と作業箇所の位置との距離が所定値以下である時間が所定時間以上であり、且つ当該距離が減少又は一定状態から増大に移行したタイミングでの当該距離が第２所定値より大きい場合、長い作業対象部材により当該距離が縮まらなかったと判定してもよい。
【００５０】
また、表示装置６は、固定のディスプレイに限らず、例えば、タブレットやヘッドマウントディスプレイ等、ユーザが携帯又は装着可能な装置であってもよい。ヘッドマウントディスプレイの場合、現実空間の画像に、対象物８と位置合わせされた３次元モデル６１を表示する複合現実感装置（ＭＲ装置）を用いることができる。また、例えば、３次元モデル６１が、対象物８をレーザースキャンして得た点群データに基づいて作成されることで、よりリアルな３次元形状が再現される。
【００５１】
また、３次元座標系における対象物８と３次元モデル６１との位置合わせは、対象物８に取り付けたターゲットマーカーの位置を読み取ることで行ってもよい。ターゲットマーカーは、例えばマーカーセット４のように複数の反射マーカーを備えて構成されても、特殊な位置・形状のマークが表示されたシート／画像により構成されてもよい。
【００５２】
また、本発明は、作業管理方法としても記載することができる。すなわち、本発明の作業管理方法は、複数のカメラ２と、対象物８に設定された複数の作業箇所に対して作業を実行するための工具３と、工具３に取り付けられたマーカーセット４と、複数のカメラ２から取得したマーカーセット４の撮像データに基づいて、三角測量の原理により、３次元座標系における工具３の位置を示す工具位置情報を演算する演算装置５と、演算装置５の指令に基づき画像を表示する表示装置６と、を備える作業管理システム１を用いた作業管理方法であって、演算装置５が、ユーザの操作に応じて、複数のカメラ２の撮像空間Ｓに配置された対象物８と、対象物８の形状に対応し且つ対象物８における複数の作業箇所が示された３次元モデル６１とを、３次元座標系において位置合わせをする位置設定工程と、演算装置５が、工具３から送信される作動情報及び工具位置情報の時間変化の少なくとも一方と、作業箇所の位置及び工具位置情報とに基づいて、工具３により作業が行われた作業箇所を検出する作業検出工程と、演算装置５が、複数の作業箇所のうち、作業検出工程で検出された作業箇所である作業済箇所と、作業検出工程で検出されていない作業箇所である未作業箇所とをユーザが区別可能に、３次元モデル６１を表示装置６に表示させる表示工程と、を含む。
【００５３】
この作業管理方法において、位置設定工程は本実施形態の位置設定部５１の機能を反映でき、作業検出工程は本実施形態の作業検出部５２の機能を反映でき、表示工程は本実施形態の表示部５３の機能を反映できる。例えば、作業検出工程では、演算装置５が、トルク情報を作動情報として、作業箇所の位置、工具位置情報、及びトルク情報に基づいて、トルクレンチ３により作業が行われた作業箇所を検出してもよい。また、例えば、作業検出工程では、演算装置５が、作業箇所の位置、工具位置情報、及びトルク情報に基づいて、作業箇所における締結部材７の誤選択を検出してもよい。
【００５４】
また、例えば、表示工程では、演算装置５が、ユーザの操作に応じて、表示装置６に工具３の位置を表示させてもよい。また、表示工程では、演算装置５が、予め設定された作業工程に基づいて、表示装置６に、次に作業を行うべき作業箇所をユーザが認識可能に表示させてもよい。また、表示工程では、演算装置５が、予め設定された作業工程に基づいて、表示装置６に、３次元モデルに示された作業箇所に対して作業順序を表示させてもよい。
【００５５】
また、図９では、トルクレンチ３、マーカーセット４、及び対象物８の一例が示されている。また、図１０では、表示装置６の表示例として、作業済箇所を第１色の吹き出しで示し、未作業箇所を第２色の吹き出しで示したものである。この場合、例えば丸印は、作業箇所の位置のみを表す。また、吹き出しの中に、例えばトルク値、座標、及び／又は作業時刻等が表示されてもよい。図１１は、本実施形態の作業管理システム１により表示される３次元モデル６１を利用した表示画面例である。
【符号の説明】
【００５６】
１…作業管理システム、２…カメラ、３…トルクレンチ（工具）、３１…情報送信部、３２…ハンドル部、３３…軸部、３４…係合部、４…マーカーセット、４３…反射マーカー、５…演算装置、５１…位置設定部、５２…作業検出部、５３…表示部、６…表示装置、６１…３次元モデル、７…締結部材（作業対象部材）、７１…被係合部、８…対象物、８０…凹部。
【図１】
2020154434.tif 000003
【図２】
2020154434.tif 000004
【図３】
2020154434.tif 000005
【図４】
2020154434.tif 000006
【図５】
2020154434.tif 000007
【図６】
2020154434.tif 000008
【図７】
2020154434.tif 000009
【図８】
2020154434.tif 000010
【図９】
2020154434.tif 000011
【図１０】
2020154434.tif 000012
【図１１】
2020154434.tif 000013
【手続補正書】
【提出日】令和2年5月1日(2020.5.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラと、
対象物に設定された複数の作業箇所に対して作業を実行するための工具と、
複数の反射マーカーを有し前記工具に取り付けられたマーカーセットと、
複数の前記カメラから取得した前記マーカーセットの撮像データに基づいて、三角測量の原理により、３次元座標系における前記工具の位置を示す工具位置情報を演算する演算装置と、
前記演算装置の指令に基づき画像を表示する表示装置と、
を備え、
前記演算装置は、
ユーザの操作に応じて、複数の前記カメラの撮像空間に配置された前記対象物と、前記対象物の形状に対応し且つ前記対象物における複数の前記作業箇所が示された３次元モデルとを、前記３次元座標系において位置合わせをする位置設定部と、
前記工具から送信される作動情報及び前記工具位置情報の時間変化の少なくとも一方と、前記作業箇所の位置と、前記工具位置情報とに基づいて、前記工具により作業が行われた前記作業箇所を検出する作業検出部と、
複数の前記作業箇所のうち、前記作業検出部により検出された前記作業箇所である作業済箇所と、前記作業検出部により検出されていない前記作業箇所である未作業箇所とをユーザが区別可能に、前記３次元モデルを前記表示装置に表示させる表示部と、
を備え、
前記工具は、前記作業箇所において締結部材を前記対象物に締結するためのトルクレンチであり、
前記トルクレンチは、前記締結部材に対する締付けトルクを検出し且つ検出したトルク情報を前記演算装置に送信する情報送信部を有し、
前記作業検出部は、前記トルク情報を前記作動情報として、前記作業箇所の位置、前記工具位置情報、及び前記トルク情報に基づいて、前記工具により作業が行われた前記作業箇所を検出し、
前記トルクレンチは、前記情報送信部と、ハンドル部と、前記ハンドル部から前記ハンドル部に直交する方向に伸びる軸部と、軸部の先端に位置して前記締結部材に係合する係合部と、を有し、
前記マーカーセットは、前記軸部に固定され、
前記作業検出部は、前記作業箇所の位置、前記トルク情報が送信された際の前記工具位置情報における前記トルクレンチの位置、及び前記トルク情報に基づいて、前記作業箇所における前記締結部材の誤選択を検出する、作業管理システム。
【請求項２】
前記作業検出部は、前記トルク情報における前記締付けトルクが所定トルク未満であり、且つ前記作業箇所と前記トルク情報が送信された際の前記工具位置情報における前記トルクレンチの位置との離間距離が所定値以上であれば、前記作業箇所で前記締結部材の誤選択が発生していると判定する、請求項１に記載の作業管理システム。
【請求項３】
複数のカメラと、
対象物に設定された複数の作業箇所に対して作業を実行するための工具と、
複数の反射マーカーを有し前記工具に取り付けられたマーカーセットと、
複数の前記カメラから取得した前記マーカーセットの撮像データに基づいて、三角測量の原理により、３次元座標系における前記工具の位置を示す工具位置情報を演算する演算装置と、
前記演算装置の指令に基づき画像を表示する表示装置と、
を備え、
前記演算装置は、
ユーザの操作に応じて、複数の前記カメラの撮像空間に配置された前記対象物と、前記対象物の形状に対応し且つ前記対象物における複数の前記作業箇所が示された３次元モデルとを、前記３次元座標系において位置合わせをする位置設定部と、
前記工具から送信される作動情報及び前記工具位置情報の時間変化の少なくとも一方と、前記作業箇所の位置と、前記工具位置情報とに基づいて、前記工具により作業が行われた前記作業箇所を検出する作業検出部と、
複数の前記作業箇所のうち、前記作業検出部により検出された前記作業箇所である作業済箇所と、前記作業検出部により検出されていない前記作業箇所である未作業箇所とをユーザが区別可能に、前記３次元モデルを前記表示装置に表示させる表示部と、
を備え、
前記工具は、前記作業箇所において締結部材を前記対象物に締結するためのトルクレンチであり、
前記トルクレンチは、前記締結部材に対する締付けトルクを検出し且つ検出したトルク情報を前記演算装置に送信する情報送信部を有し、
前記作業検出部は、前記トルク情報を前記作動情報として、前記作業箇所の位置、前記工具位置情報、及び前記トルク情報に基づいて、前記工具により作業が行われた前記作業箇所を検出し、
前記トルクレンチは、前記情報送信部と、ハンドル部と、前記ハンドル部から前記ハンドル部に直交する方向に伸びる軸部と、軸部の先端に位置して前記締結部材に係合する係合部と、を有し、
前記マーカーセットは、前記軸部に固定されている、作業管理システム。
【請求項４】
複数の前記作業箇所の少なくとも１つは、前記対象物に設けられた凹部内に位置し、
前記凹部内に位置する前記作業箇所において、前記締結部材のうち前記係合部と係合する被係合部の少なくとも一部は、前記締結部材の形状に応じた形状の前記凹部内に収容され、
前記マーカーセットは、前記トルクレンチにより前記凹部内の前記締結部材に対して作業がなされる際に、前記凹部の外に位置するように前記トルクレンチに固定されている請求項１〜３の何れか一項に記載の作業管理システム。
【請求項５】
前記演算装置は、前記係合部の位置を前記工具の位置として前記工具位置情報を演算し、
前記表示部は、ユーザの操作に応じて、前記表示装置に前記工具の位置を表示させる請求項１〜４の何れか一項に記載の作業管理システム。
【請求項６】
前記表示部は、予め設定された作業工程に基づいて、前記表示装置に、前記３次元モデルに示された前記作業箇所に対して作業順序を表示させる請求項１〜５の何れか一項に記載の作業管理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の作業管理システムは、複数のカメラと、対象物に設定された複数の作業箇所に対して作業を実行するための工具と、複数の反射マーカーを有し前記工具に取り付けられたマーカーセットと、複数の前記カメラから取得した前記マーカーセットの撮像データに基づいて、三角測量の原理により、３次元座標系における前記工具の位置を示す工具位置情報を演算する演算装置と、前記演算装置の指令に基づき画像を表示する表示装置と、を備え、前記演算装置は、ユーザの操作に応じて、複数の前記カメラの撮像空間に配置された前記対象物と、前記対象物の形状に対応し且つ前記対象物における複数の前記作業箇所が示された３次元モデルとを、前記３次元座標系において位置合わせをする位置設定部と、前記工具から送信される作動情報及び前記工具位置情報の時間変化の少なくとも一方と、前記作業箇所の位置と、前記工具位置情報とに基づいて、前記工具により作業が行われた前記作業箇所を検出する作業検出部と、複数の前記作業箇所のうち、前記作業検出部により検出された前記作業箇所である作業済箇所と、前記作業検出部により検出されていない前記作業箇所である未作業箇所とをユーザが区別可能に、前記３次元モデルを前記表示装置に表示させる表示部と、を備え、前記工具は、前記作業箇所において締結部材を前記対象物に締結するためのトルクレンチであり、前記トルクレンチは、前記締結部材に対する締付けトルクを検出し且つ検出したトルク情報を前記演算装置に送信する情報送信部を有し、前記作業検出部は、前記トルク情報を前記作動情報として、前記作業箇所の位置、前記工具位置情報、及び前記トルク情報に基づいて、前記工具により作業が行われた前記作業箇所を検出し、前記トルクレンチは、前記情報送信部と、ハンドル部と、前記ハンドル部から前記ハンドル部に直交する方向に伸びる軸部と、軸部の先端に位置して前記締結部材に係合する係合部と、を有し、前記マーカーセットは、前記軸部に固定されている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】削除
【補正の内容】