(57)【要約】【課題】比較的簡易な構成で締付部品の締め付け忘れを検出することができる検出システムを提供することである。【解決手段】ワーク１０の組立工程において、ワーク１０へのネジ２０の締め付け忘れを検出する検出システム１であって、ワーク１０を撮影するカメラ５０と、検出システム１を制御するＰＣ６０とを含む。ネジ２０の締め付けには、締付力が設定値に達した場合に当該ネジにマーク３５を付すトルクレンチ３０が用いられる。ＰＣ６０は、カメラ５０により撮影された撮影情報から抽出したマーク３５に基づいて特定されるネジ２０の数および位置に関する情報と、仕様上のネジ２０の数および位置に関する情報を含む仕様情報の対応関係によって、ネジ２０の締め付け忘れを検出する。【選択図】図１
2020197806.tif 000002
【特許請求の範囲】
【請求項１】
製品の組立工程において、前記製品に取り付けられる少なくとも１つの締付部品の締め付け忘れを検出する検出システムであって、
前記少なくとも１つの締付部品の締め付けには、締付力が設定値に達した場合に当該締付部品にマークを付す工具が用いられ、
前記検出システムは、
前記製品を撮影する撮影機と、
前記撮影機により撮影された撮影情報から抽出した前記マークに基づいて特定される前記少なくとも１つの締付部品の数および位置に関する情報を含む第１情報と、前記製品の仕様上、取り付けられるべき前記少なくとも１つの締付部品の数および位置に関する情報を含む第２情報との対応関係によって、前記少なくとも１つの締付部品の締め付け忘れを検出するように構成された制御装置とを備える、検出システム。
【請求項２】
前記マークの色は、前記撮影機の撮影範囲に含まれ得る前記製品および作業環境に使用される色以外の色であり、
前記制御装置は、前記撮影情報に対して前記マークの色に基づくフィルタリングを実行することにより、前記マークを抽出するように構成される、請求項１に記載の検出システム。
【請求項３】
前記撮影機に対して前記製品が配置される位置が固定されており、
前記第１情報に含まれる位置に関する情報、および前記第２情報に含まれる位置に関する情報は、前記撮影機の撮影範囲における予め定められた基準点に対して、前記少なくとも１つの締付部品の位置を特定した情報である、請求項１または請求項２に記載の検出システム。
【請求項４】
前記少なくとも１つの締付部品は複数であり、
前記第１情報に含まれる位置に関する情報、および前記第２情報に含まれる位置に関する情報は、前記少なくとも１つの締付部品同士の相対的な位置関係を示す情報である、請求項１または請求項２に記載の検出システム。
【請求項５】
前記検出システムは、前記製品を定まった位置および向きに固定する治具を有する作業台をさらに備え、
前記作業台には、基準位置が定められており、
前記第２情報は、前記基準位置に対する前記少なくとも１つの締付部品の向きを示す情報をさらに含み、
前記撮影機は、前記基準位置に対する前記撮影機の位置および角度に関する情報を含む第３情報を出力し、
前記制御装置は、前記第２情報および前記第３情報に基づいて、前記撮影機により検出可能な前記マークの数および位置に関する情報を含む変換情報を生成し、
前記制御装置は、前記第１情報と前記変換情報との対応関係によって、前記少なくとも１つの締付部品の締め付け忘れを検出する、請求項１から請求項４のいずれか１項に記載の検出システム。
【請求項６】
前記検出システムは、前記製品を定まった位置および向きに固定する治具を有する作業台をさらに備え、
前記作業台には、基準位置が定められており、
前記第２情報は、前記基準位置に対する前記少なくとも１つの締付部品の向きを示す情報をさらに含み、
前記作業台は、前記製品が載置される面の法線軸周りに回転し、前記作業台の回転角度を示す第４情報を出力するように構成され、
前記制御装置は、前記第２情報および前記第４情報に基づいて、前記撮影機により検出可能な前記マークの数および位置に関する情報を含む変換情報を生成し、
前記制御装置は、前記第１情報と前記変換情報との対応関係によって、前記少なくとも１つの締付部品の締め付け忘れを検出する、請求項１から請求項４のいずれか１項に記載の検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、製品の組立工程に適用される検出システムに関する。
【背景技術】
【０００２】
多くの製品には、製品を構成する部品間の締結にネジ等の締付部品が使用される。出荷される製品の品質を担保するためには、製品の組立工程において、全てのネジが規定のトルクで締め付けされることが必須である。ここで、製品の組立工程では、特に締付部品の締め付け作業において人的な作業ミスが発生し得る。締め付け作業では、作業対象となる全ての締付部品を規定のトルク未満のトルクで締め付けしておき（以下「仮締め」とも称する）、その後に締付部品を規定のトルクで締め付けする（以下「本締め」とも称する）場合がある。この場合に、締付部品の本締めが失念される場合がある。締付部品が仮締めの状態であるのか、本締めされた状態であるのかは、目視で判別することが難しい。
【０００３】
たとえば、特許第５０２２０４５号（特開２００８−１８１３４４号公報）には、本締めを行なった締付部品の位置を特定するシステムが開示されている。特許第５０２２０４５号に記載のシステムは、作業対象の製品（以下「ワーク」とも称する）が載置される作業台に２台のカメラを設け、締付部品に対するトルクが規定トルクに達した際にトルクドライバから発信される完了信号の受信を契機に、ワークおよびトルクドライバを撮影する。トルクドライバにはマーカが設けられている。２台のカメラによって撮影された画像を用いて、ステレオ視の原理により、作業台の原点および作業台の原点に対するマーカの三次元位置を算出し、トルクドライバの先端の位置を計算する。これによって、締め付けされたのが、ワークにおけるいずれの締付箇所であるのかを特定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５０２２０４５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許第５０２２０４５号に記載のシステムを用いれば、ワークにおける、未だ締付部品が本締めされていない締付箇所を知ることができる。しかしながら、特許第５０２２０４５号に記載のシステムでは、たとえば、システムとトルクドライバとの通信の仕組みを構築することが必要である。また、本締めを行なった締付部品の位置を高精度に検出するために、ワークの面に対して少なくとも２台のカメラを要する。締付部品の本締め忘れを検出するシステムとしては、検出精度を担保しつつも、より簡易な構成であることが望ましい。
【０００６】
本開示は、上記課題を解決するためになされたものであり、その目的は、比較的簡易な構成で締付部品の締め付け忘れを検出することができるシステムを提供することである。
【課題を解決するための手段】
【０００７】
本開示の検出システムは、製品の組立工程において、製品に取り付けられる少なくとも１つの締付部品の締め付け忘れを検出するものである。少なくとも１つの締付部品の締め付けには、締付力が設定値に達した場合に当該締付部品にマークを付す工具が用いられる。検出システムは、製品を撮影する撮影機と、制御装置とを備える。制御装置は、撮影機により撮影された撮影情報から抽出したマークに基づいて特定される少なくとも１つの締付部品の数および位置に関する情報を含む第１情報と、製品の仕様上、取り付けられるべき少なくとも１つの締付部品の数および位置に関する情報を含む第２情報との対応関係によって、少なくとも１つの締付部品の締め付け忘れを検出するように構成される。
【発明の効果】
【０００８】
本開示によれば、締付部品が設定された締付力で締め付けされた（本締めされた）際に付されるマークに基づいて、撮影情報から本締めされた締付部品の数および位置に関する情報が特定される（第１情報）。そして、第１情報を、仕様上の締付部品の数および位置に関する第２情報と比較することによって、全ての締付部品が本締めされたか否かを判定することができる。すなわち、撮影情報に対する画像処理によって得られたデータを仕様上のデータと比較することにより、締付部品の本締め忘れを検出することができる。このように、本開示によれば、複雑なシステムを構築することなく、比較的簡易な構成で締付部品の締め付け忘れを検出することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る検出システムの構成を説明するためのブロック図である。
【図２】ネジの頭部からネジ部の先端方向を見た図である。
【図３】ＰＣの機能構成の一例を説明するためのブロック図である。
【図４】画像処理および完了情報を説明するための図である。
【図５】ＰＣのＣＰＵで実行される処理の手順を示すフローチャートである。
【図６】画像処理の手順を示すフローチャートである。
【図７】変形例２に係るＰＣのＣＰＵで実行される処理の手順を示すフローチャートである。
【図８】変形例２における、画像処理および完了情報の生成を説明するための図である。
【図９】実施の形態２に係る検出システムの構成を説明するためのブロック図である。
【図１０】ＰＣの機能構成の一例を説明するためのブロック図である。
【図１１】ＰＣのＣＰＵで実行される処理の手順を示すフローチャートである。
【図１２】実施の形態２に係る変換仕様情報を生成する処理の手順を示すフローチャートである。
【図１３】変形例３に係るＰＣのＣＰＵで実行される処理の手順を示すフローチャートである。
【図１４】実施の形態３に係る検出システムの構成を説明するためのブロック図である。
【図１５】ＰＣの機能構成の一例を説明するためのブロック図である。
【図１６】ＰＣのＣＰＵで実行される処理の手順を示すフローチャートである。
【図１７】実施の形態３に係る変換仕様情報を生成する処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付して、その説明は原則的に繰返さない。
【００１１】
［実施の形態１］
＜全体構成＞
図１は、実施の形態１に係る検出システム１の構成を説明するためのブロック図である。図１には、作業対象の製品（ワーク）１０の組立工程、具体的には、ワーク１０のネジ締め工程の一例が示されている。ネジ締め工程は、作業台４０にワーク１０を載置した状態で行なわれる。
【００１２】
ネジ締め工程には、作業工程と、確認工程とが含まれる。作業工程では、作業員によって、まず作業対象の全てのネジが仮締めされ（図１においては４箇所）、その後に全てのネジが本締めされる。確認工程では、作業対象のネジが確実に本締めされたか否か、すなわち作業対象のネジに本締め忘れがないか否かが検出される。検出システム１は、作業対象のネジの本締め忘れを検出するためのシステムである。作業対象のネジに本締め忘れがないことが検出されたことをもって、ネジ締め工程から次工程にワーク１０が進められる。
【００１３】
図１に示される例では、ワーク１０の４箇所がネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄによってそれぞれ締め付けされる。以下では、ワーク１０のネジ締め作業の対象となる面を「作業面」とも称する。実施の形態１においては、面１１が作業面である。なお、実施の形態１においては、締付部品としてのネジが六角ボルトである例について説明するが、他の形状のネジが用いられる場合であっても同様に検出システム１を適用することが可能である。また、ネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄを特に区別する必要がない場合には、ネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの各々をネジ２０とも称する。
【００１４】
ネジ２０の締め付けには、トルクレンチ３０が用いられる。なお、トルクレンチ３０に代えてトルクドライバが用いられてもよい。
【００１５】
トルクレンチ３０は、ネジ２０に対する締付力（トルク）を設定することが可能に構成される。トルクレンチ３０は、たとえば、ネジ２０に与えたトルクが設定値に達すると空回りして、設定値を超えるトルクをネジ２０に与えないように構成されている。設定値は、たとえば、ワーク１０の仕様上で規定される、ネジ２０の締付力に設定される。また、トルクレンチ３０は、ネジ２０に与えたトルクが設定値に達すると、ネジ２０にマーク３５を付す（マーキングする）ように構成される。マーク３５の具体例を図２に示す。
【００１６】
図２は、ネジ２０の頭部からネジ部の先端方向を見た図である。マーク３５は、たとえば、インクを用いて印字される。図２を参照して、マーク３５は、たとえば、ネジ２０の頭部の中心付近に付される。マーク３５の形状は、たとえば円形状である。ただし、マーク３５の形状は、円形状に限られるものではない。また、トルクレンチ３０に用いられるインクの色（すなわちマークの色）は、選択可能に構成される。選択されるインクの色については、後述する。なお、図１では、ネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄに付されるマークを、マーク３５Ａ，３５Ｂ，３５Ｃ，３５Ｄとそれぞれ表わしている。
【００１７】
再び図１を参照して、検出システム１は、作業台４０と、カメラ５０と、ＰＣ（Personal  Computer）６０と、ディスプレイ７０と、入力装置７５とを含む。
【００１８】
作業台４０には、ワーク１０が載置される。組立工程の作業員は、前工程からワーク１０を受けると、ワーク１０を作業台に載置する。作業員は、ワーク１０を作業台に載置した状態で、トルクレンチ３０を用いてネジ２０の締め付け作業を行なう（作業工程）。
【００１９】
カメラ５０は、ワークの作業面に対して設置される。実施の形態１においては、カメラ５０は、面１１を捉えるように設置される。カメラ５０と作業台４０との位置関係は、固定されている。カメラ５０と作業台４０との位置関係は、作業台４０に載置されたワーク１０の面１１全体を、カメラ５０の撮影範囲に含められるように設定される。
【００２０】
カメラ５０は、ＰＣ６０からの撮影の指令に従ってワーク１０を撮影し、撮影結果（画像データ）である撮影情報をＰＣ６０に出力する。
【００２１】
ＰＣ６０は、検出システム１の各部を制御する。ＰＣ６０は、ＣＰＵ（Central  Processing  Unit）６１と、メモリ６２と、タイマ６３とを含む。ＣＰＵ６１がメモリ６２に記憶されている各種プログラムを実行することにより、検出システム１の各部が制御される。なお、ＣＰＵ６１により実行される制御は、ソフトウェアによる処理に限られず、専用のハードウェア（電子回路）で構築して処理することも可能である。
【００２２】
メモリ６２は、たとえば、ＲＯＭ（Read  Only  Memory）およびＲＡＭ（Random  Access  Memory）等を含んで構成される。メモリ６２には、ＣＰＵ６１が実行するための各種プログラムが記憶されている。
【００２３】
さらに、メモリ６２には、ワーク１０の仕様情報が記憶されている。仕様情報とは、ワーク１０に締め付けられる仕様上のネジ２０の数を示す「数情報」と、仕様上のネジ２０の「座標情報」とを含む情報である。具体的に説明すると、図１に示す例においては、ワーク１０は、４つのネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄを含むので、数情報は、「４」となる。また、実施の形態１に係る座標情報は、仕様から定まる各ネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの相対的な位置関係（座標）を示す情報である。仕様情報は、本開示に係る「第２情報」の一例に相当する。
【００２４】
タイマ６３は、ＣＰＵ６１からの指令に従って計時を開始する。また、タイマ６３は、ＣＰＵ６１からの指令に従って計時を停止する。
【００２５】
ＰＣ６０は、各種の情報を表示するようにディスプレイ７０に指令を出力する。ディスプレイ７０は、たとえば液晶ディスプレイである。ディスプレイ７０は、ＰＣ６０からの指令に従って、各種の情報を表示する。たとえば、ディスプレイ７０には、ワーク１０に関する情報や、ネジ締め工程における作業内容等が表示される。
【００２６】
ＰＣ６０は、入力装置７５からの入力を受け付ける。入力装置７５は、たとえば、キーボードおよびマウス等である。作業員は、作業工程を終えると、入力装置７５を介してＰＣ６０に対し、確認工程を開始するための開始操作を行なう。開始操作がされることにより、ＰＣ６０は、確認工程を開始する。ＰＣ６０は、確認工程を開始すると、カメラ５０に撮影の指令を出力する。確認工程の詳細は後述する。
【００２７】
また、ＰＣ６０は、通信ケーブル８０を介して、製品の製造工程の全体を管理する管理装置９０と通信可能に構成される。ＰＣ６０は、たとえば、ワーク１０のネジ締め工程が適切に完了したと判定した場合、すなわち、確認工程においてネジ２０の本締め忘れがないことが検出された場合に、ネジ締め工程が完了したことを示す信号を管理装置９０に出力する。これによって、管理装置９０は、ワーク１０のステータスを次工程に移す。
【００２８】
図３は、ＰＣ６０の機能構成の一例を説明するためのブロック図である。ＣＰＵ６１は、メモリ６２に記憶された各種プログラムを実行することにより、取得部６１１、画像処理部６１２、読み出し部６１３、判定部６１４および出力部６１５として機能する。
【００２９】
取得部６１１は、カメラ５０から撮影情報を取得する。たとえば、開始操作があった場合に、取得部６１１は、撮影情報を取得する。取得部６１１は、取得した撮影情報を画像処理部６１２に出力する。
【００３０】
画像処理部６１２は、撮影情報に画像処理を実行して、完了情報を生成する。完了情報とは、撮影情報から検出される本締めされたネジ２０の数および座標を示す情報である。実施の形態１に係る完了情報に含まれる座標を示す情報は、本締めされたことが検出されたネジ２０同士の相対的な位置関係を示す情報である。
【００３１】
図４を用いて、画像処理および完了情報について具体例を交えて説明する。図４では、面１１における全てのネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの本締めが完了した場合を想定する。
【００３２】
図４は、画像処理および完了情報を説明するための図である。図４を参照して、撮影情報１００は、取得部６１１がカメラ５０から取得した画像データである。破線で囲まれた範囲が、カメラ５０の撮影範囲である。上述したように、ネジ２０の本締めが完了すると、トルクレンチ３０によって、ネジ２０の頭部にマーク３５が付される。ここでは、全てのネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの本締めが完了しているため、ネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄにマーク３５Ａ，３５Ｂ，３５Ｃ，３５Ｄがそれぞれ付されている。
【００３３】
画像処理部６１２は、取得部６１１から入力された撮影情報１００に対して、フィルタ処理を実行する。具体的には、画像処理部６１２は、トルクレンチ３０のインクに使用されている色、すなわちマーク３５の色のみをフィルタリングする。実施の形態１に係るトルクレンチ３０のインクの色には、カメラ５０の撮影範囲に含まれ得るワーク１０および作業環境に使用される色以外の色が選択される。作業環境とは、たとえば、作業台４０、トルクレンチ３０、ＰＣ６０、ディスプレイ７０、入力装置７５、作業員およびその他工具類等の、カメラ５０の撮影範囲に含まれる可能性があるものをいう。画像処理部６１２は、たとえばＲＧＢ成分の範囲を指定し、指定したＲＧＢ成分の範囲内の画素を撮影情報１００から抽出することで、マーク３５のみを含むフィルタ処理後の撮影情報１０１を得る。上記の指定したＲＧＢ成分の範囲に含まれる色を「特定色」と定義する。
【００３４】
フィルタ処理後の撮影情報１０１には、４つのマーク３５Ａ，３５Ｂ，３５Ｃ，３５Ｄが含まれている。画像処理部６１２は、フィルタ処理後の撮影情報１０１に対する画像認識処理により、４つのマーク３５Ａ，３５Ｂ，３５Ｃ，３５Ｄを検出する。画像処理部６１２は、検出したマーク３５の数を示す数情報を生成する。さらに、画像処理部６１２は、４つのマーク３５Ａ，３５Ｂ，３５Ｃ，３５Ｄの中心点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄをそれぞれ決定し、決定した中心点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄを抽出した撮影情報１０２を得る。画像処理部６１２は、決定した中心点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄの座標をネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの座標としてそれぞれ設定する。画像処理部６１２は、中心点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄの相対的な位置関係を示す情報を座標情報として生成する。画像処理部６１２は、座標情報および数情報を含めた完了情報を生成する。なお、完了情報は、本開示に係る「第１情報」の一例に相当する。
【００３５】
再び図３を参照して、画像処理部６１２は、完了情報を生成すると、生成した完了情報を判定部６１４に出力する。一方、読み出し部６１３は、メモリ６２から仕様情報を読み出して、読み出した仕様情報を判定部６１４に出力する。
【００３６】
判定部６１４は、仕様情報と完了情報とを比較する。まず、判定部６１４は、仕様情報に含まれる数情報と、完了情報に含まれる数情報とを比較する。すなわち、仕様上のネジ２０の数と、本締めが完了されたネジ２０の数（検出されたマーク３５の数）とを比較する。仕様上のネジ２０の数に対して、検出されたマーク３５の数が少ない場合には、本締めされていないネジ２０が存在することが想定される。そのため、仕様上のネジ２０の数に対して、検出されたマーク３５の数が少ない場合には、判定部６１４は、ネジ締め作業が完了していないと判定する。すなわち、判定部６１４は、ネジ２０の本締め忘れがあると判定する。
【００３７】
仕様情報に含まれる数情報と、完了情報に含まれる数情報とが一致する場合には、判定部６１４は、仕様情報に含まれる座標情報と、完了情報に含まれる座標情報とを比較する。仕様情報に含まれる座標情報と、完了情報に含まれる座標情報との比較には、公知の手法を適用することができる。たとえば、仕様情報の各ネジ間を繋いだときに描かれる図形と、座標情報の各中心点間を繋いだときに描かれる図形とを比較してもよい。この場合には、たとえば、座標情報の各中心点間を繋いだときに描かれる図形を、回転および移動させることにより、仕様情報の各ネジ間を繋いだときに描かれる図形に近似できる場合には、判定部６１４は、面１１における全てのネジ２０が本締めされたと判定する。回転および移動させても、座標情報の中心点間を繋いだときに描かれる図形を、仕様情報の各ネジ間を繋いだときに描かれる図形に近似できない場合には、判定部６１４は、何らかのエラーが生じていると判定する。図形が近似できるか否かの判定には、製品の製造誤差、センサ等の検出誤差およびＣＰＵ６１の演算誤差等が考慮されてもよい。他にも、仕様情報に含まれる座標情報と、完了情報に含まれる座標情報との比較には、あるネジを基準点としたときの他のネジとの距離および向きを比較対象としてもよい。判定部６１４は、判定結果を出力部６１５に出力する。
【００３８】
出力部６１５は、判定部６１４の判定結果に基づいた表示を行なうための指令をディスプレイ７０に出力する。
【００３９】
＜ＰＣのＣＰＵで実行される処理＞
図５は、ＰＣ６０のＣＰＵ６１で実行される処理の手順を示すフローチャートである。このフローチャートの処理は、ＰＣ６０に対して確認工程の開始操作がなされた際に実行される。図５に示す各ステップ（以下ステップを「Ｓ」と略す）は、ＣＰＵ６１によるソフトウェア処理によって実現される場合について説明するが、その一部あるいは全部がＣＰＵ６１内に作製されたハードウェア（電気回路）によって実現されてもよい。
【００４０】
確認工程の開始操作がなされたことを検出すると、ＣＰＵ６１は、カメラ５０を作動させてワーク１０を撮影する。そして、ＣＰＵ６１は、カメラ５０から撮影した撮影情報を取得する（Ｓ１）。そして、ＣＰＵ６１は、カメラ５０から取得した撮影情報に対して画像処理を実行する（Ｓ２）。
【００４１】
図６は、画像処理（Ｓ２）の手順を示すフローチャートである。ＣＰＵ６１は、撮影情報に対してフィルタ処理を実行する（Ｓ２１）。具体的には、ＣＰＵ６１は、撮影情報に対して、特定色でフィルタリングを実行する。これによって、マーク３５のみを含むフィルタ処理後の撮影情報が得られる。
【００４２】
ＣＰＵ６１は、フィルタ処理後の撮影情報に対して画像認識処理を実行することにより、マーク３５を検出する（Ｓ２２）。また、ＣＰＵ６１は、検出したマーク３５の数を検出する。図１の例では、ＣＰＵ６１は、４つのマーク３５Ａ，３５Ｂ，３５Ｃ，３５Ｄを検出する。
【００４３】
ＣＰＵ６１は、検出したマーク３５Ａ，３５Ｂ，３５Ｃ，３５Ｄのそれぞれの中心点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄを決定する。たとえば、ＣＰＵ６１は、検出したマーク３５Ａ，３５Ｂ，３５Ｃ，３５Ｄの重心を、それぞれの中心点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄとして決定する。そして、ＣＰＵ６１は、決定した中心点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄの座標をネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの座標としてそれぞれ設定する（Ｓ２３）。
【００４４】
ＣＰＵ６１は、中心点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ同士の相対的な位置関係を示す情報を座標情報として生成する（Ｓ２４）。
【００４５】
また、ＣＰＵ６１は、Ｓ２２で検出したマーク３５の数を示す情報を数情報として生成する（Ｓ２５）。ＣＰＵ６１は、座標情報および数情報を含めて完了情報を生成する。
【００４６】
図５に戻り、ＣＰＵ６１は、メモリ６２から仕様情報を読み出す（Ｓ３）。そして、ＣＰＵ６１は、完了情報と仕様情報との対応関係によって、全てのネジ２０が本締めされたか否か、すなわちネジ２０の本締め忘れがないか否かを判定する（Ｓ４）。
【００４７】
具体的には、ＣＰＵ６１は、仕様情報に含まれる数情報と、完了情報に含まれる数情報とを比較する（Ｓ５）。両者が一致しない場合には（Ｓ５においてＮＯ）、本締めされていないネジ２０が存在することが想定されるため、ＣＰＵ６１は、ネジ２０の本締め忘れがあると判定する（Ｓ７）。この場合には、ＣＰＵ６１は、ネジ締め工程は未完了であると判定する。なお、Ｓ７においてＣＰＵ６１は、ディスプレイ７０に、ネジ２０の本締め忘れがある旨を表示させてもよい。
【００４８】
一方、仕様情報に含まれる数情報と、完了情報に含まれる数情報とが一致する場合には（Ｓ５においてＹＥＳ）、ＣＰＵ６１は、仕様情報に含まれる座標情報と、完了情報に含まれる座標情報とを比較する（Ｓ６）。一例としては、ＣＰＵ６１は、座標情報の各中心点間を繋いだときに描かれる図形を、回転および移動させることによって、仕様情報の各ネジ間を繋いだときに描かれる図形に近似できるか否かを判定する。回転および移動させても、座標情報の各中心点間を繋いだときに描かれる図形を、仕様情報の各ネジ間を繋いだときに描かれる図形に近似できない場合には（Ｓ６においてＮＯ）、ＣＰＵ６１は、何らかのエラーが生じていると判定し、ネジ締め工程は未完了であると判定する。（Ｓ７）。この場合に、ＣＰＵ６１は、ディスプレイ７０に、何らかのエラーが生じている旨を表示させてもよい。
【００４９】
回転および移動させて座標情報の各中心点間を繋いだときに描かれる図形を、仕様情報の各ネジ間を繋いだときに描かれる図形に近似できる場合には（Ｓ６においてＹＥＳ）、ＣＰＵ６１は、ネジ２０の本締め忘れがなく、ネジ締め工程が完了したと判定する（Ｓ８）。この場合に、ＣＰＵ６１は、ネジ締め工程が完了したことを示す情報を通信ケーブル８０を介して、管理装置９０に送信する。この場合に、ＣＰＵ６１は、ディスプレイ７０に、ネジ締め工程が完了したことを示す旨を表示させてもよい。
【００５０】
以上のように、実施の形態１おいては、トルクレンチ３０でネジ２０を本締めした際に、トルクレンチ３０によって、ネジ２０にマーク３５が付される。マーク３５の色には、カメラ５０の撮影範囲に含まれ得るワーク１０および作業環境に使用される色以外の色が選択される。撮影情報に対して画像処理を実行することで、撮影情報からマーク３５のみが抽出され、抽出されたマーク３５に基づいて本締めされたネジ２０が検出される。そして、検出されたネジ２０の数情報および座標情報を含めた完了情報が生成される。生成した完了情報と、仕様情報との比較によって、作業対象となっているネジ２０の本締め忘れがないかが判定される。
【００５１】
上記のように、実施の形態１に係る検出システム１においては、マーク３５に基づいて、撮影情報から本締めされたネジ２０の数情報および座標情報が特定される。そのため、ワーク１０の面に対して、１台のカメラを用いてネジ２０の本締め忘れを検出することが可能である。また、完了情報と仕様情報とを比較することによって、ネジ２０の本締め忘れを検出することができる。実施の形態１に係る検出システム１によれば、複雑なシステムを構築することなく、比較的簡易な構成でネジ２０の本締め忘れを検出することができる。
【００５２】
また、実施の形態１に係る検出システム１においては、マーク３５の色には、カメラ５０の撮影範囲に含まれ得るワーク１０および作業環境に使用される色以外の色が選択される。これによって、フィルタ処理により、マーク３５を精度よく抽出することができる。マーク３５を精度よく抽出することができれば、フィルタ処理後の撮影情報に対する画像認識処理により、マーク３５の数および位置を適切に特定することができる。これによって、精度の高い数情報および座標情報を生成することができる。
【００５３】
また、仕様情報に含まれる座標情報および完了情報に含まれる座標情報には、ネジ２０同士の相対的な座標が用いられる。ネジ２０同士の相対的な座標を用いることによって、撮影範囲にワーク１０が含まれる範囲内において、作業台４０の任意の場所にワーク１０を置くことができる。たとえば、ワーク１０毎に作業台に置かれる場所が異なっていたとしても、ネジ２０の本締め忘れを適切に検出することができる。
【００５４】
また、カメラ５０からの撮影情報をそのままメモリ６２に保存しようとすると、容量が大きいため、メモリ６２の容量を圧迫してしまう可能性がある。検出システム１においては、撮影情報に対して画像処理を実行した後の数値情報、すなわち完了情報を保存しておけば足りる。完了情報は、数情報および座標情報を含むものであり、撮影情報よりもその容量が小さい。そのため、メモリ６２の容量を圧迫する可能性を低減することができる。
【００５５】
［変形例１］
実施の形態１においては、仕様情報に含まれる座標情報および完了情報に含まれる座標情報には、ネジ２０同士の相対的な位置情報が用いられた。変形例１においては、仕様情報に含まれる座標情報および完了情報に含まれる座標情報には、ある基準に対する相対的な座標（以下では「絶対的な座標」とも称する）が用いられる例について説明する。図１を参照して、変形例１に係る検出システム１Ａは、作業台４１を除き、実施の形態１に係る検出システム１と同様である。そのため、作業台４１を除き、その説明は繰り返さない。
【００５６】
変形例１に係る作業台４１は、ワーク１０を設置する基準位置Ｒを有する。たとえば、ワーク１０は、作業台４１に設けられた治具（図示せず）によって固定される。換言すると、ワーク１０を作業台４０のどの位置に設置するかが決められている。また、基準位置Ｒに対するワーク１０の向きも決められている。ワーク１０を設置する基準位置Ｒは、ワークの種類（機種）に応じて設定されてもよい。なお、作業台４０は、ワーク１０の種類に基づいて、ワーク１０を基準位置Ｒに移動させる移動手段を備えてもよい。
【００５７】
実施の形態１と同様に、カメラ５０と作業台４０との位置関係は、固定されている。さらに、作業台４０において、ワーク１０が固定される位置が決まっていることから、カメラ５０とワーク１０との位置関係も固定される。
【００５８】
変形例１に係る仕様情報は、実施の形態１と同様に、数情報および座標情報を含む。数情報は、実施の形態１と同様である。変形例１に係る仕様情報に含まれる座標情報は、基準位置Ｒを基点としたときの各ネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの座標を示す情報である。
【００５９】
変形例１に係る完了情報は、実施の形態１に係る完了情報と同様にして生成される。変形例１に係る完了情報に含まれる座標情報は、基準位置Ｒを基点として、マーク３５の中心点の座標が定められる点において、実施の形態１に係る完了情報と異なる。
【００６０】
変形例１においても、仕様情報と完了情報とを比較することによって、ネジ２０の本締め忘れがないかが判定される。この判定は、実施の形態１における図５のＳ４の処理に相当する。Ｓ４の処理に含まれるＳ５の処理は、変形例１においても同様である。
【００６１】
Ｓ４の処理に含まれるＳ６の処理においては、仕様情報に含まれる座標情報が示すネジ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄの座標と、完了情報に含まれる座標情報が示す中心点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄの座標とがそれぞれ比較される。それぞれが一致した場合に、ネジ２０の本締め忘れがなく、作業対象の全てのネジ２０が本締めされたと判定される。仕様情報に含まれる座標情報と、完了情報に含まれる座標情報とが一致するか否かの判定には、製品の製造誤差、センサ等の検出誤差およびＣＰＵ６１の演算誤差等が考慮されてもよい。
【００６２】
実施の形態１のように、仕様情報に含まれる座標情報および完了情報に含まれる座標情報にネジ２０同士の相対的な位置情報が用いられる場合には、当然ながら、ワーク１０の面において複数の作業対象のネジ２０があることが前提となる。上記のように、仕様情報に含まれる座標情報および完了情報に含まれる座標情報に、基準位置Ｒを基点とした絶対的な座標を用いることによって、たとえば、ワーク１０の面において、作業対象となるネジ２０が１つであるような場合にも、ネジ２０の本締め忘れを検出することが可能となる。
【００６３】
［変形例２］
実施の形態１においては、作業工程を行なった後に、作業員が開始操作をすることによって確認工程が開始された。変形例２においては、作業工程の開始とともに、確認工程が開始される例について説明する。すなわち、変形例２においては、作業員が作業対象のネジ２０の締結を行なっている間にも、リアルタイムに作業対象のネジ２０が本締めされたことを検出する処理が繰り返し実行される。作業員が作業対象のネジ２０を全て本締めした場合に、作業対象の全てのネジ２０が本締めされたことが検出されて、ネジ締め工程が完了したと判定される。変形例２では、作業員の視点からすれば、ネジ締め工程において、作業工程と確認工程との区別がないともいえる。なお、変形例２は、変形例１にも適用可能である。
【００６４】
図７は、変形例２に係るＰＣ６０のＣＰＵ６１で実行される処理の手順を示すフローチャートである。このフローチャートの処理は、ネジ締め工程の開始を契機として開始される。作業員は、ネジ締め工程を開始する際、すなわち作業工程を開始する際に入力装置７５を介して、ＰＣ６０に開始操作を行なう。
【００６５】
ＣＰＵ６１は、開始操作が行なわれたことを検出すると、ワーク１０の撮影および計時を開始する（Ｓ３１）。具体的には、ＣＰＵ６１は、カメラ５０に規定のフレームレートでワーク１０を撮影するように指令を送信する。すなわち、カメラ５０は、ワーク１０を動画の形式で連続的に撮影する。フレームレートは、検出システムが適用される工程に応じて、適切に設定することができる。たとえば、フレームレートは、０．５ＦＰＳ〜３０ＦＰＳ程度に設定される。また、ＣＰＵ６１は、タイマ６３を起動させて計時を開始する。
【００６６】
ＣＰＵ６１は、メモリ６２から仕様情報を読み出す（Ｓ３２）。次いで、ＣＰＵ６１は、設定時間を経過したか否かを判定する（Ｓ３３）。設定時間は、たとえば、ネジ締め工程を十分に完了できる時間に設定される。設定時間は、たとえば、ワーク１０の種類毎、あるいは、作業対象のネジ２０の数に応じて設定されてもよい。
【００６７】
設定時間を経過した場合には（Ｓ３３においてＹＥＳ）、ＣＰＵ６１は、ネジ２０の本締め忘れがあることが想定されるため、ネジ締め工程が未完了であると判定して、処理を終了する（Ｓ３９）。この場合に、ＣＰＵ６１は、ネジ２０の本締め忘れがあることを示す情報をディスプレイ７０に表示させるようにしてもよい。
【００６８】
設定時間を経過していない場合には（Ｓ３３においてＮＯ）、ＣＰＵ６１は、撮影情報に対して画像処理を実行する（Ｓ３４）。画像処理は、最新のフレームの画像データに対して実行される。Ｓ３４における処理では、ＣＰＵ６１は、実施の形態１で説明した図６の処理を実行し、完了情報を生成する。Ｓ３４における具体的な一例として、作業員がネジ２０Ａ，２０Ｂの本締めまでを完了させている場面を想定する。
【００６９】
図８は、変形例２における、画像処理および完了情報の生成を説明するための図である。ネジ２０Ａ，２０Ｂが本締めされていることから、撮影情報２００において、ネジ２０Ａ，２０Ｂにマーク３５Ａ，３５Ｂがそれぞれ付されている。この撮影情報２００に対してフィルタ処理を実行することで、ＣＰＵ６１は、フィルタ処理後の撮影情報２０１を得ることができる。フィルタ処理後の撮影情報２０１には、マーク３５Ａ，３５Ｂが含まれている。ＣＰＵ６１は、フィルタ処理後の撮影情報２０１に対して画像認識処理を実行することにより、マーク３５Ａ，３５Ｂを検出する。検出されたマークの数が、現時点において本締めされたネジ２０の数である。ＣＰＵ６１は、検出したマークの数、すなわち「２」を数情報として生成する。
【００７０】
そして、ＣＰＵ６１は、マーク３５Ａ，３５Ｂの中心点Ｐａ，Ｐｂをそれぞれ決定し、決定した中心点Ｐａ，Ｐｂをネジ２０Ａ，２０Ｂの座標としてそれぞれ設定する。ネジ２０Ａ，２０Ｂの座標には、実施の形態１で説明した相対的な座標が用いられてもよいし、変形例１で説明した基準位置Ｒを基点とした座標が用いられてもよい。なお、実施の形態１で説明した相対的な座標が用いられる場合において、本締めされたネジ２０が１つであるときは、座標情報は生成されない。本締めされたネジが１つである場合には、相対的な座標を規定できないためである。
【００７１】
図７に戻り、ＣＰＵ６１は、Ｓ３２で読み出した仕様情報と、Ｓ３４で生成した完了情報とを比較する（Ｓ３５）。具体的には、ＣＰＵ６１は、仕様情報に含まれる数情報と、完了情報に含まれる数情報とを比較する（Ｓ３６）。両者が一致しない場合には（Ｓ３６においてＮＯ）、未だ作業途中であることが想定されるため、ＣＰＵ６１は、処理をＳ３３に戻す。
【００７２】
一方、仕様情報に含まれる数情報と、完了情報に含まれる数情報とが一致する場合には（Ｓ３６においてＹＥＳ）、ＣＰＵ６１は、仕様情報に含まれる座標情報と、完了情報に含まれる座標情報とを比較する（Ｓ３７）。両者が一致しない場合には（Ｓ３７においてＮＯ）、ＣＰＵ６１は、何らかのエラーが生じていると判定し、ネジ締め工程が完了していないと判定する（Ｓ３８）。この場合に、ＣＰＵ６１は、ディスプレイ７０に、何らかのエラーが生じている旨を表示させてもよい。一方、両者が一致する場合には（Ｓ３７においてＹＥＳ）、ＣＰＵ６１は、ネジ締め工程が完了したと判定し、ネジ締め工程が完了したことを示す情報を通信ケーブル８０を介して、管理装置９０に送信する（Ｓ３９）。
【００７３】
以上のように、変形例２においては、作業工程の開始とともに、確認工程が開始される。実施の形態１においては、作業員は、作業工程を実行した後に、別途、確認工程を開始させる必要があったが、変形例２では、一貫してネジ締め工程を進められるので、作業員の工数を削減することができる。
【００７４】
［実施の形態２］
実施の形態１では、ワークの作業面が１つの面（面１１）である例について説明した。ワークの種類によっては、ワークが複数の作業面を有する場合もあり得る。実施の形態２では、複数の作業面を有するワークに対して、作業対象のネジの本締め忘れを検出することができる検出システムについて説明する。なお、実施の形態１と同様に、ネジ締め工程には、作業工程と確認工程とが含まれる。
【００７５】
図９は、実施の形態２に係る検出システム２の構成を説明するためのブロック図である。検出システム２は、実施の形態１に係る検出システム１に対して、作業台４０を作業台４２に、ＰＣ６０をＰＣ６４にそれぞれ変更し、カメラ５０の台数を増加させたものである。その他の構成については、実施の形態１に係る検出システム１と同様であるため、その説明は繰り返さない。
【００７６】
実施の形態２に係るワーク１０Ａは、５つの作業面（面１２，１３，１４，１５，１６）を有する。
【００７７】
作業台４２は、ワーク１０Ａを固定する治具４３を含む。治具４３は、ワーク１０Ａを設置する基準位置Ｒ１を有する。ワーク１０Ａは、定められた箇所を治具４３の基準位置Ｒ１に合わせて設置される。つまり、作業台４２において、ワーク１０Ａが載置される位置および向きが一意に定まるようになっている。
【００７８】
検出システム２には、３台のカメラ５１，５２，５３が含まれる。カメラ５１，５２，５３の各々には、個々を識別するためのＩＤ情報が割り振られている。また、カメラ５１，５２，５３の各々は、ＰＣからの指令に従って、角度を変更可能に構成される。また、実施の形態２においては、カメラ５１，５２，５３の各々の位置は固定されているものとするが、可動するように構成されてもよい。カメラ５１，５２，５３の各々は、撮影情報とともに、ＩＤ情報および位置／角度情報をＰＣ６４に出力する。位置／角度情報には、たとえば、治具４３の基準位置Ｒ１に対する各カメラ５１，５２，５３の位置を示す位置情報、および、基準位置Ｒ１に対する各カメラ５１，５２，５３のレンズの向き（姿勢）を示す角度情報が含まれる。
【００７９】
カメラ５１，５２，５３の各々は、互いに異なる方向からワーク１０Ａを撮影するように設置される。カメラ５１は、ワーク１０Ａの面１２，１３を撮影するように設置される。カメラ５２は、ワーク１０Ａの面１４，１５を撮影するように設置される。カメラ５３は、ワーク１０Ａの面１６を撮影するように設置される。なお、各面に対して１台のカメラが設置されてもよい。
【００８０】
ＰＣ６４は、ＣＰＵ６５と、メモリ６６と、タイマ６３とを含む。ＣＰＵ６５およびメモリ６６は、それぞれ、実施の形態１に係るＣＰＵ６１およびメモリ６２と基本的には同様の構成である。ＣＰＵ６５がメモリ６６に記憶されている各種プログラムを実行することにより、検出システム２の各部が制御される。
【００８１】
メモリ６６には、ワーク１０の仕様情報が記憶されている。実施の形態２に係る仕様情報には、仕様上のネジ２０の数を示す数情報および仕様上のネジ２０の座標情報に加えて、ネジ２０の方向情報がさらに含まれる。方向情報は、具体的には、ネジ２０の頭部からネジ部の先端に向かう方向を示す情報である。すなわち、方向情報は、ネジ２０の向きを示すものである。方向情報は、たとえば、上述のワーク１０Ａのある位置（基準位置Ｒ１に対応する位置）を基点として定められている。また、実施の形態２に係るワーク１０Ａが複数の作業面を有することから認識し得るように、実施の形態２に係る仕様情報に含まれる座標情報は３次元情報である。
【００８２】
図１０は、ＰＣ６４の機能構成の一例を説明するためのブロック図である。ＣＰＵ６５は、メモリ６６に記憶された各種プログラムを実行することにより、取得部６６１、画像処理部６６２、読み出し部６６３、変換部６６４、判定部６６５および出力部６６６として機能する。
【００８３】
取得部６６１は、各カメラ５１，５２，５３から撮影情報、ＩＤ情報および位置／角度情報を取得する。取得部６６１は、取得した撮影情報を画像処理部６６２に出力する。また、取得部６６１は、取得したＩＤ情報および位置／角度情報を変換部６６４に出力する。以下においては、取得部６６１が取得したＩＤ情報がカメラ５１のものである場合を例にして説明する。
【００８４】
画像処理部６６２は、撮影情報に対して画像処理を実行して、完了情報を生成する。画像処理については、実施の形態１で説明したとおりである。画像処理部６６２は、完了情報を生成すると、生成した完了情報を判定部６６５に出力する。
【００８５】
読み出し部６６３は、メモリ６２から仕様情報を読み出す。読み出し部６６３は、読み出した仕様情報を変換部６６４に出力する。
【００８６】
変換部６６４は、仕様情報（座標情報，方向情報）および位置／角度情報を用いて、カメラ５１によって撮影された撮影情報に含まれるはずのネジ２０を特定する。すなわち、変換部６６４は、カメラ５１によって撮影された撮影情報に含まれ得るネジ２０のマーク３５を特定する。具体的には、変換部６６４は、仕様情報に含まれる座標情報（３次元情報）を、カメラ５１の撮影面に投影したときの座標情報（２次元情報）に変換する。以下においては、仕様情報に含まれる座標情報を、カメラ５１の撮影面に投影したときの座標情報に変換した情報を「変換座標情報」とも称する。
【００８７】
また、変換部６６４は、特定したネジ２０の数を示す数情報（以下「変換数情報」とも称する）を生成する。変換部６６４は、変換数情報および変換座標情報を含めた、変換仕様情報を判定部６６５に出力する。
【００８８】
判定部６６５は、変換仕様情報と完了情報とを比較する。判定部６６５が行なう処理については、実施の形態１と同様であるため、ここでは繰り返し説明しない。
【００８９】
出力部６６６は、判定部６６５の判定結果に基づいた表示を行なうための指令をディスプレイ７０に出力する。
【００９０】
他のカメラ５２，５３からの出力に対しても、上記と同様の処理がなされることによって、ワーク１０Ａの全作業面においてネジ２０の本締め忘れを検出することができる。
【００９１】
＜ＰＣのＣＰＵで実行される処理＞
図１１は、ＰＣ６４のＣＰＵ６５で実行される処理の手順を示すフローチャートである。このフローチャートの処理は、ＰＣ６４に対して確認工程の開始操作がなされた際に実行される。図１１においては、検出システム２に含まれるカメラ５１，５２，５３のうち、カメラ５１に対する処理を代表的に説明するが、カメラ５２，５３に対しても同様の処理が行なわれる。
【００９２】
確認工程の開始操作がなされたことを検出すると、ＣＰＵ６５は、カメラ５１を作動させてワーク１０Ａを撮影する。そして、ＣＰＵ６５は、カメラ５１から撮影した撮影情報、カメラ５１のＩＤ情報および位置／角度情報を取得する（Ｓ５１）。ＣＰＵ６５は、カメラ５１から取得した撮影情報に対して画像処理を実行する（Ｓ５２）。Ｓ５２の処理は、実施の形態１で説明した図５のＳ２と同様の処理である。
【００９３】
次いで、ＣＰＵ６５は、変換仕様情報を生成する（Ｓ５３）。変換仕様情報を生成する手順の詳細は図１２に示す。
【００９４】
図１２は、実施の形態２に係る変換仕様情報を生成する処理の手順を示すフローチャートである。ＣＰＵ６５は、メモリ６６から、仕様情報を読み出す（Ｓ５３１）。
【００９５】
ＣＰＵ６５は、仕様情報に含まれる座標情報（３次元情報）および方向情報、ならびにカメラ５１から取得した位置／角度情報を用いて、カメラ５１によって撮影された撮影情報に含まれるはずのネジ２０（マーク３５）を特定する（Ｓ５３２）。そして、ＣＰＵ６５は、特定したネジの変換座標情報を生成する（Ｓ５３３）。変換座標情報には、特定されたネジ同士の相対的な座標が用いられる。
【００９６】
次いで、ＣＰＵ６５は、特定したネジ２０（マーク３５）の数を示す変換数情報を生成する（Ｓ５３４）。ＣＰＵ６５は、変換座標情報および変換数情報を含めて変換仕様情報を生成する。
【００９７】
図１１に戻り、ＣＰＵ６５は、完了情報と変換仕様情報との対応関係によって、カメラ５１の撮影範囲に含まれるネジ２０の本締め忘れがないかを判定する（Ｓ５４）。なお、Ｓ５４以下の処理は、実施の形態１で説明した図５において対応する処理と同様である。そのため、ここでは、各ステップの対応についてのみ言及する。図１１におけるＳ５４，Ｓ５５，Ｓ５６，Ｓ５７，Ｓ５８は、図５におけるＳ４，Ｓ５，Ｓ６，Ｓ７，Ｓ８にそれぞれ対応する。
【００９８】
以上のように、実施の形態２においては、複数の作業面を有するワーク１０Ａに対して、作業対象のネジ２０の本締め忘れを検出することができる検出システムについて説明した。実施の形態２に係る検出システム２によれば、変換仕様情報を生成することにより、実施の形態１と同様にして、完了情報と変換仕様情報との比較によって、ネジ２０の本締め忘れを検出することができる。つまり、実施の形態２に係る検出システム２によれば、ワーク１０Ａが複数の作業面を有する場合であっても、複雑なシステムを構築することなく、比較的簡易な構成でネジ２０の本締め忘れを検出することができる。
【００９９】
また、ワーク１０Ａは、同一の作業面においても、各ネジ２０が同一の方向に向いて締め付けられるとは限らない。つまり、同一の作業面において、各ネジ２０のネジ部の先端の向きが異なる場合もあり得る。すなわち、同一の作業面において、各ネジ２０向きが異なる場合があり得る。このような場合に、仮に、あるカメラ（たとえばカメラ５１）で検出できるはずのネジ（ネジの頭部に付されたマーク３５）を誤認識して変換座標情報が生成されると、適切にネジの本締めが完了していたとしても、ネジの本締め忘れがあると誤検出される可能性がある。
【０１００】
実施の形態２に係る検出システム２によれば、方向情報が用いられるので、適切に変換座標情報を生成することができる。すなわち、同一の作業面において、各ネジ２０向きが異なる場合であっても、精度よくネジの本締め忘れを検出することができる。
【０１０１】
また、実施の形態２に上述の変形例１を組み合わせることも可能である。すなわち、実施の形態２では、座標情報に相対的な座標が用いられたが、たとえば、作業台４２のある基準に対する絶対的な座標であってもよい。作業台４２のある基準は、各カメラ５１，５２，５３の撮影範囲毎に定めておけばよい。
【０１０２】
なお、上記では、複数台のカメラ５１，５２，５３が用いられたが、たとえばワーク１０Ａの各面１２，１３，１４，１５，１６を撮影できるように移動可能に構成された１台のカメラが用いられてもよい。この場合にも、位置／角度情報を用いることにより、同様にしてネジ２０の本締め忘れを検出することができる。
【０１０３】
［変形例３］
実施の形態２においては、作業工程を行なった後に、作業員が開始操作をすることによって確認工程が開始された。変形例３においては、作業工程の開始とともに、確認工程が開始される例について説明する。なお、変形例３においても、実施の形態２と同様に、カメラ５１に対する処理について代表的に説明する。
【０１０４】
図１３は、変形例３に係るＰＣ６４のＣＰＵ６５で実行される処理の手順を示すフローチャートである。このフローチャートの処理は、ネジ締め工程の開始を契機として開始される。作業員は、ネジ締め工程を開始する際、すなわち作業工程を開始する際に入力装置７５を介して、ＰＣ６４に開始操作を行なう。
【０１０５】
ＣＰＵ６５は、開始操作が行なわれたことを検出すると、ワーク１０Ａの撮影および計時を開始する（Ｓ６１）。具体的には、ＣＰＵ６５は、カメラ５１に規定のフレームレートでワーク１０Ａを撮影するように指令を送信する。すなわち、カメラ５１は、ワーク１０Ａを動画の形式で連続的に撮影する。また、ＣＰＵ６５は、タイマ６３を起動させて計時を開始する。また、ＣＰＵ６５は、カメラ５１から撮影情報とともにＩＤ情報および位置／角度情報を取得する。なお、ＣＰＵ６５は、カメラ５１から撮影情報を随時取得するが、ＩＤ情報は、１度の送信のみとしてもよい。位置／角度情報についても、当該フローチャートの処理の開始後にカメラ５１の位置および角度が変化しないように設定されている場合には、１度の送信のみとしてもよい。
【０１０６】
ＣＰＵ６５は、メモリ６６から仕様情報を読み出して、変換仕様情報を生成する（Ｓ６２）。Ｓ６２の処理は、図１１のＳ５３の処理と同様である。
【０１０７】
Ｓ６２以下の処理は、実施の形態１で説明した図７において対応する処理と同様である。そのため、ここでは、各ステップの対応についてのみ言及する。図１３におけるＳ６３，Ｓ６４，Ｓ６５，Ｓ６６，Ｓ６７，Ｓ６８，Ｓ６９は、図７におけるＳ３３，Ｓ３４，Ｓ３５，Ｓ３６，Ｓ３７，Ｓ３８，Ｓ３９にそれぞれ対応する。
【０１０８】
以上のように、変形例３においては、作業工程の開始とともに、確認工程が開始される。実施の形態２においては、作業員は、作業工程を実行した後に、別途、確認工程を開始させる必要があったが、変形例３では、一貫してネジ締め工程を進められるので、作業員の工数を削減することができる。
【０１０９】
［実施の形態３］
実施の形態２では、複数の作業面を有するワークに対して、複数台のカメラを設置することにより、あるいは、ワーク１０Ａの各面１２，１３，１４，１５，１６を撮影できるように移動可能に構成されたカメラを用いることにより、作業対象のネジ２０の本締め忘れを検出する例について説明した。実施の形態３では、回転可能に構成された作業台を用いることにより、複数の作業面を有するワークに対して、作業対象のネジの本締め忘れを検出することができる検出システムについて説明する。
【０１１０】
図１４は、実施の形態３に係る検出システム３の構成を説明するためのブロック図である。検出システム３は、実施の形態２に係る検出システム２に対して、作業台４２を作業台４５に、ＰＣ６４をＰＣ６７にそれぞれ変更し、カメラの台数を１台にしたものである。
【０１１１】
作業台４５は、ワーク１０Ａが載置される面の法線軸周りに回転可能に構成される。作業台４５は、ＰＣ６７からの指令に従って、回転を開始する。作業台４５は、作業台４５の回転角度をＰＣ６７に出力する。
【０１１２】
作業台４５は、実施の形態２に係る作業台４２（図９）と同様の治具４３を含む。すなわち、実施の形態３でも、作業台４５において、ワーク１０Ａが載置される位置および向きが一意に定まるようになっている。
【０１１３】
検出システム３には、カメラ５４が含まれる。カメラ５４は、実施の形態１のカメラ５０と同様に構成される。カメラ５４は、位置および向きが固定されている。カメラ５４は、ＰＣ６７からの指令に従って、ワーク１０Ａを撮影し、その撮影結果である撮影情報をＰＣ６７に出力する。
【０１１４】
作業員は、作業工程を終えると、入力装置７５を介してＰＣ６０に対し、確認工程を開始するための開始操作を行なう。確認工程が開始されると、作業台４５は、脚部の軸方向周りに一回転する。作業台４５は、回転中に一定の周期毎に自身の回転角度情報をＰＣ６７に出力する。また、確認工程において、カメラ５４は、ＰＣ６７からの指令に従って、ワーク１０Ａを撮影する。ＰＣ６７は、作業台４５の回転角度が、予め定められた設定回転角度となった際にカメラ５４に撮影の指示を出力する。設定回転角度には、ワーク１０Ａの撮影ポイントとして、複数の角度が設定される。設定回転角度は、各作業面のネジ２０が撮影可能な角度に設定される。
【０１１５】
ＰＣ６７は、回転角度情報および撮影情報を用いて、作業対象のネジ２０が本締めされているか否かを判定する。
【０１１６】
ＰＣ６７は、ＣＰＵ６８と、メモリ６９と、タイマ６３とを含む。ＣＰＵ６８およびメモリ６９は、それぞれ、実施の形態１に係るＣＰＵ６１およびメモリ６２と基本的には同様の構成である。ＣＰＵ６８がメモリ６９に記憶されている各種プログラムを実行することにより、検出システム３の各部が制御される。
【０１１７】
メモリ６９には、ワーク１０の仕様情報が記憶されている。仕様情報は、実施の形態２に係る仕様情報と同様である。つまり、仕様情報には、仕様上の数情報、座標情報および方向情報が含まれる。
【０１１８】
図１５は、ＰＣ６７の機能構成の一例を説明するためのブロック図である。ＣＰＵ６８は、メモリ６９に記憶された各種プログラムを実行することにより、取得部６８１、画像処理部６８２、読み出し部６８３、変換部６８４、判定部６８５および出力部６８６として機能する。
【０１１９】
取得部６８１は、カメラ５４から撮影情報を取得する。また、取得部６８１は、作業台４５から回転角度情報を取得する。取得部６８１は、取得した撮影情報を画像処理部６８２に出力する。また、取得部６８１は、取得した回転角度情報を変換部６８４に出力する。
【０１２０】
画像処理部６８２は、撮影情報に画像処理を実行して、完了情報を生成する。画像処理については、実施の形態１で説明したとおりである。画像処理部６８２は、完了情報を生成すると、生成した完了情報を判定部６８５に出力する。
【０１２１】
読み出し部６８３は、メモリ６９から仕様情報を読み出す。読み出し部６８３は、読み出した仕様情報を変換部６８４に出力する。
【０１２２】
変換部６８４は、仕様情報（座標情報，方向情報）および回転角度情報を用いて、カメラ５４によって撮影された撮影情報に含まれるはずのネジ２０を特定する。すなわち、変換部６８４は、回転角度情報に基づいて特定される作業台４５の角度において、カメラ５１によって撮影できるはずのネジ２０のマーク３５を特定する。そして、変換部６８４は、特定したネジ２０の変換座標情報を生成する。また、変換部６８４は、特定したネジの変換数情報を生成する。変換部６８４は、変換数情報および変換座標情報を含めた、変換仕様情報を生成して判定部６８５に出力する。
【０１２３】
判定部６８５は、変換仕様情報と完了情報とを比較する。判定部６８５が行なう処理については、実施の形態１と同様であるため、ここでは繰り返し説明しない。
【０１２４】
出力部６８６は、判定部６８５の判定結果に基づいた表示を行なうための指令をディスプレイ７０に出力する。
【０１２５】
＜ＰＣのＣＰＵで実行される処理＞
図１６は、ＰＣ６７のＣＰＵ６８で実行される処理の手順を示すフローチャートである。このフローチャートの処理は、ＰＣ６７に対して確認工程の開始操作がなされた際に実行される。
【０１２６】
確認工程の開始操作がなされたことを検出すると、ＣＰＵ６８は、作業台４５の回転を開始させる（Ｓ８０）。そして、ＣＰＵ６８は、作業台４５の回転角度が設定回転角度となったか否かを判定する（Ｓ８１）。作業台４５の回転角度が設定回転角度になっていない場合（Ｓ８１においてＮＯ）、ＣＰＵ６８は、作業台４５の回転角度が設定回転角度になるのを待つ。
【０１２７】
作業台４５の回転角度が設定回転角度となった場合（Ｓ８１においてＹＥＳ）、ＣＰＵ６８は、カメラ５４を作動させてワーク１０Ａを撮影し、撮影情報を取得する（Ｓ８２）。ＣＰＵ６８は、カメラ５４から取得した撮影情報に対して画像処理を実行する（Ｓ８３）。Ｓ８３の処理は、実施の形態１で説明した図５のＳ２と同様の処理である。
【０１２８】
次いで、ＣＰＵ６８は、変換仕様情報を生成する（Ｓ８４）。変換仕様情報を生成する手順の詳細は図１７に示す。
【０１２９】
図１７は、実施の形態３に係る変換仕様情報を生成する処理の手順を示すフローチャートである。ＣＰＵ６８は、メモリ６９から、仕様情報を読み出す（Ｓ８４１）。また、ＣＰＵ６８は、作業台４５から回転角度情報を取得する（Ｓ８４２）。
【０１３０】
ＣＰＵ６８は、仕様情報に含まれる座標情報（３次元情報）および方向情報、ならびに作業台４５から取得した回転角度情報を用いて、カメラ５４によって撮影された撮影情報に含まれるはずのネジを特定する（Ｓ８４３）。そして、ＣＰＵ６８は、特定したネジの変換座標情報を生成する（Ｓ８４４）。
【０１３１】
次いで、ＣＰＵ６８は、特定したネジの数を示す変換数情報を生成する（Ｓ８４５）。ＣＰＵ６８は、変換座標情報および変換数情報を含めて変換仕様情報を生成する。
【０１３２】
図１６に戻り、ＣＰＵ６８は、完了情報と変換仕様情報との対応関係によって、今回の作業台４５の回転角度の位置において、カメラ５４の撮影範囲に含まれる全てのネジ２０が本締めされたか否かを判定する（Ｓ８５）。
【０１３３】
具体的には、ＣＰＵ６８は、仕様情報に含まれる数情報と、完了情報に含まれる数情報とを比較する（Ｓ８６）。両者が一致しない場合（Ｓ８６においてＮＯ）、ＣＰＵ６８は、ネジ２０の本締め忘れがあることが想定されるため、未完了フラグを設定する（Ｓ８８）。未完了フラグは、回転角度情報と紐付けて、メモリ６９に記憶される。
【０１３４】
一方、両者が一致する場合（Ｓ８６においてＹＥＳ）、ＣＰＵ６８は、仕様情報に含まれる変換座標情報と、完了情報に含まれる座標情報とを比較する（Ｓ８７）。両者が一致しない場合（Ｓ８７においてＮＯ）、ＣＰＵ６８は、何らかのエラーが生じていると判定し、未完了フラグを設定する（Ｓ８８）。両者が一致する場合（Ｓ８７においてＹＥＳ）、ＣＰＵ６８は、完了フラグを設定する（Ｓ８９）。完了フラグは、回転角度情報と紐付けて、メモリ６９に記憶される。
【０１３５】
Ｓ８８またはＳ８９の処理を実行した後、ＣＰＵ６８は、回転角度情報に基づいて、作業台４５が一回転したか否かを判定する（Ｓ９０）。作業台４５が一回転していない場合には（Ｓ９０においてＮＯ）、ＣＰＵ６８は、処理をＳ８１に戻し、他の設定回転角度において同様の処理を実行する。
【０１３６】
一方、作業台４５が一回転した場合には（Ｓ９０においてＹＥＳ）、ＣＰＵ６８は、作業台４５の回転を停止させる（Ｓ９１）。そして、ＣＰＵ６８は、少なくとも１つの未完了フラグが設定されているか否かを判定する（Ｓ９２）。
【０１３７】
少なくとも１つの完了フラグが設定されている場合（Ｓ９２においてＹＥＳ）、ＣＰＵ６８は、ネジ２０の本締め忘れ、あるいは何らかのエラーの発生があることが想定されるため、工程が未完了であると判定する（Ｓ９３）。
【０１３８】
未完了フラグが設定されていない場合（Ｓ９２においてＮＯ）、ＣＰＵ６８は、ネジ２０の本締め忘れがないと想定されるため、ネジ締め工程が完了したと判定する（Ｓ９４）。
【０１３９】
以上のように、実施の形態３に係る検出システム３は、回転可能に構成された作業台４５を用いることにより、複数の作業面を有するワーク１０Ａに対して、作業対象のネジの本締め忘れを検出する。実施の形態３に係る検出システム３によっても、実施の形態２と同様の効果を奏することができる。
【０１４０】
今回開示された実施の形態がすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１４１】
１，１Ａ，２，３  検出システム、１０，１０Ａ  ワーク、１１，１２，１３，１４，１５，１６  面、２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ  ネジ、３０  トルクレンチ、３５，３５Ａ，３５Ｂ，３５Ｃ，３５Ｄ  マーク、４０，４１，４２，４５  作業台、４３  治具、５０，５１，５２，５３，５４  カメラ、６１，６５，６８  ＣＰＵ、６２，６６，６９  メモリ、６３  タイマ、７０  ディスプレイ、７５  入力装置、８０  通信ケーブル、９０  管理装置、６１１，６６１，６８１  取得部、６１２，６６２，６８２  画像処理部、６１３，６６３，６８３  読み出し部、６１４，６６５，６８５  判定部、６１５，６６６，６８６  出力部、６６４，６８４  変換部、Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ  中心点、Ｒ，Ｒ１  基準位置。 
【図１】
2020197806.tif 000003
【図２】
2020197806.tif 000004
【図３】
2020197806.tif 000005
【図４】
2020197806.tif 000006
【図５】
2020197806.tif 000007
【図６】
2020197806.tif 000008
【図７】
2020197806.tif 000009
【図８】
2020197806.tif 000010
【図９】
2020197806.tif 000011
【図１０】
2020197806.tif 000012
【図１１】
2020197806.tif 000013
【図１２】
2020197806.tif 000014
【図１３】
2020197806.tif 000015
【図１４】
2020197806.tif 000016
【図１５】
2020197806.tif 000017
【図１６】
2020197806.tif 000018
【図１７】
2020197806.tif 000019