(57)【要約】【課題】組み立て作業の進捗状況に応じて自動的に作業手順の指示を切り替える新たな手法を提供する。【解決手段】作業指示装置４は、組み立て作業の作業手順の指示を工程毎に出力する。撮像装置１は、組み立て作業の対象である複数の部品と当該組み立て作業に使用される１以上の工具とのうちの少なくともいずれかが表されている画像を撮像する。画像処理装置２は、撮像した画像に対し画像処理を施し、制御手段３は、作業指示装置４が出力している指示に対応する工程の作業が完了したことを、撮像装置１が撮像した画像に基づいて検出する。ここで、制御手段３は、作業指示装置４が出力している指示に対応する工程の作業の完了を検出したときには、作業指示装置４を制御して、当該作業手順において当該工程に続く次の工程についての指示を出力させる。【選択図】      図１
2009037392.tif 000002
【特許請求の範囲】
【請求項１】
組み立て作業の作業手順の指示を工程毎に出力する作業指示手段と、
前記組み立て作業の対象である複数の部品と該組み立て作業に使用される１以上の工具とのうちの少なくともいずれかが表されている画像を撮像する撮像手段と、
前記作業指示手段が出力している指示に対応する工程の作業が完了したことを、前記画像に基づいて検出する検出手段と、
前記作業指示手段が出力している指示に対応する工程の作業の完了を前記検出手段が検出したときに前記作業指示手段を制御して、該作業手順において該工程に続く次の工程についての指示を出力させる制御手段と、
を有することを特徴とする作業支援システム。
【請求項２】
前記検出手段は、前記画像に表されている部品若しくは工具の各々の該画像上における相対距離が所定の条件に合致するか否かを判定し、合致すると判定したときには、前記検出の結果を、前記作業指示手段が出力している指示に対応する工程の作業が完了したものとすることを特徴とする請求項１に記載の作業支援システム。
【請求項３】
前記検出手段は、前記画像上における前記相対距離が前記所定の条件に合致しないと判定したときには、該画像の撮像の後に前記撮像手段が撮像した画像について前記判定を繰り返し、合致すると判定したときに、前記検出の結果を、前記作業指示手段が出力している指示に対応する工程の作業が完了したものとすることを特徴とする請求項２に記載の作業支援システム。
【請求項４】
前記検出手段は、前記撮像手段が異なる時刻に撮像した複数の画像の各々についての前記相対距離が複数の所定の条件のいずれかに合致するか否かを判定し、該複数の所定の条件のうち前記作業指示手段が出力している指示に対応する工程の作業においての最後の条件と予め指定されているものに合致すると判定したときには、前記検出の結果を、該工程が完了したものとすることを特徴とする請求項２に記載の作業支援システム。
【請求項５】
前記検出手段は、更に、前記作業指示手段が出力している指示に対応する工程のものとは異なる作業が行われたことを、前記画像に基づいて検出し、
前記制御手段は、前記異なる作業が行われたことを前記検出手段が検出したときには、前記作業指示手段を制御して、所定の警告を出力させる、
ことを特徴とする請求項１に記載の作業支援システム。
【請求項６】
前記検出手段は、前記画像に表されている部品若しくは工具が、前記作業手順のうちの１つの工程の作業の対象である部品と該作業に使用される１以上の工具とのどちらとも異なっているときには、前記検出の結果を、前記異なる作業が行われたものとすることを特徴とする請求項５に記載の作業支援システム。
【請求項７】
前記検出手段は、前記画像に表されている部品若しくは工具の各々の該画像上における相対距離が所定の条件に合致したときには、前記検出の結果を、前記異なる作業が行われたとものとすることを特徴とする請求項５に記載の作業支援システム。
【請求項８】
前記検出手段は、更に、前記作業指示手段が出力している指示に対応する工程の作業が予め定められている作業標準時間よりも長く行われたことを、前記画像に基づいて検出し、
前記制御手段は、前記作業が前記作業時間よりも長く行われたことを前記検出手段が検出したときには、前記作業指示手段を制御して、所定の警告を出力させる、
ことを特徴とする請求項１に記載の作業支援システム。
【請求項９】
前記組み立て作業の作業手順には、前記部品を組み立てた組み立て品の測定を行う工程が含まれており、前記作業指示手段は、該工程においては、該組み立て品の測定の指示を出力することを特徴とする請求項１に記載の作業支援システム。
【請求項１０】
前記検出手段は、作業指示手段が出力している指示に対応する工程が前記組み立て品の測定を行う工程である場合には、該測定のための準備作業が完了したことを、前記画像に基づいて検出し、
前記制御手段は、前記測定のための準備作業の完了を前記検出手段が検出したときに前記作業指示手段を制御して、前記測定の指示を出力させる、
ことを特徴とする請求項９に記載の作業支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、製品製造の支援技術に関し、特に、手作業で行われる製品の組み立て作業を支援する技術に関する。
【背景技術】
【０００２】
作業者が手作業で行う製品組み立て作業において、作業手順を表した画面を表示する作業指示装置を用いて組み立て作業の支援を行うことは一般的に行われている。このような作業支援装置において、組み立て作業の工程毎に表示される作業手順画面の切り替えを、キーボードやマウス等の指示装置や、フットスイッチ、あるいはセンサースイッチなどに対する操作に応じて行うようにすると、組み立て作業とは無関係な動作を作業者に求めることとなり、また、画面切り替えのための時間も余計に費やされることにもなる。
【０００３】
このような問題に関し、例えば特許文献１に開示されている技術が知られている。この技術は、複数のカメラで撮像した作業者の画像を処理することにより、作業者の三次元位置を特定して作業員の姿勢、位置、若しくは移動方向を認識し、この認識結果から作業者が行おうとしている作業内容の予測を行う。そして、予測された作業内容と予め用意されている作業手順データとを照合して作業者の作業の正誤を判定するというものである。
【特許文献１】特開２００５−２５０９９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述した特許文献１の技術では、作業者の三次元位置を特定する画像処理や、作業者が行おうとしている作業内容の予測処理といった、複雑な処理を実行する必要がある。従って、この技術を実施する装置は高価なものとなり、製造現場に導入することは容易なことではない。
【０００５】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、組み立て作業の進捗状況に応じて自動的に作業手順の指示を切り替える新たな手法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の態様のひとつである作業支援システムは、組み立て作業の作業手順の指示を工程毎に出力する作業指示手段と、前記組み立て作業の対象である複数の部品と該組み立て作業に使用される１以上の工具とのうちの少なくともいずれかが表されている画像を撮像する撮像手段と、前記作業指示手段が出力している指示に対応する工程の作業が完了したことを、前記画像に基づいて検出する検出手段と、前記作業指示手段が出力している指示に対応する工程の作業の完了を前記検出手段が検出したときに前記作業指示手段を制御して、該作業手順において該工程に続く次の工程についての指示を出力させる制御手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。
【０００７】
なお、上述した本発明に係る作業支援システムにおいて、前記検出手段は、前記画像に表されている部品若しくは工具の各々の該画像上における相対距離が所定の条件に合致するか否かを判定し、合致すると判定したときには、前記検出の結果を、前記作業指示手段が出力している指示に対応する工程の作業が完了したものとするように構成することができる。
【０００８】
なお、このとき、前記検出手段は、前記画像上における前記相対距離が前記所定の条件に合致しないと判定したときには、該画像の撮像の後に前記撮像手段が撮像した画像について前記判定を繰り返し、合致すると判定したときに、前記検出の結果を、前記作業指示手段が出力している指示に対応する工程の作業が完了したものとするように構成することができる。
【０００９】
あるいは、このとき、前記検出手段は、前記撮像手段が異なる時刻に撮像した複数の画像の各々についての前記相対距離が複数の所定の条件のいずれかに合致するか否かを判定し、該複数の所定の条件のうち前記作業指示手段が出力している指示に対応する工程の作業においての最後の条件と予め指定されているものに合致すると判定したときには、前記検出の結果を、該工程が完了したものとするように構成することもできる。
【００１０】
また、前述した本発明に係る作業支援システムにおいて、前記検出手段は、更に、前記作業指示手段が出力している指示に対応する工程のものとは異なる作業が行われたことを、前記画像に基づいて検出し、前記制御手段は、前記異なる作業が行われたことを前記検出手段が検出したときには、前記作業指示手段を制御して、所定の警告を出力させる、ように構成することができる。
【００１１】
なお、このとき、前記検出手段は、前記画像に表されている部品若しくは工具が、前記作業手順のうちの１つの工程の作業の対象である部品と該作業に使用される１以上の工具とのどちらとも異なっているときには、前記検出の結果を、前記異なる作業が行われたものとするように構成することができる。
【００１２】
あるいは、このとき、前記検出手段は、前記画像に表されている部品若しくは工具の各々の該画像上における相対距離が所定の条件に合致したときには、前記検出の結果を、前記異なる作業が行われたとものとするように構成することもできる。
【００１３】
また、前述した本発明に係る作業支援システムにおいて、前記検出手段は、更に、前記作業指示手段が出力している指示に対応する工程の作業が予め定められている作業標準時間よりも長く行われたことを、前記画像に基づいて検出し、前記制御手段は、前記作業が前記作業時間よりも長く行われたことを前記検出手段が検出したときには、前記作業指示手段を制御して、所定の警告を出力させる、ように構成することができる。
【００１４】
また、前述した本発明に係る作業支援システムにおいて、前記組み立て作業の作業手順には、前記部品を組み立てた組み立て品の測定を行う工程が含まれており、前記作業指示手段は、該工程においては、該組み立て品の測定の指示を出力するように構成することができる。
【００１５】
なお、このとき、前記検出手段は、作業指示手段が出力している指示に対応する工程が前記組み立て品の測定を行う工程である場合には、該測定のための準備作業が完了したことを、前記画像に基づいて検出し、前記制御手段は、前記測定のための準備作業の完了を前記検出手段が検出したときに前記作業指示手段を制御して、前記測定の指示を出力させる、ように構成することができる。
【発明の効果】
【００１６】
本発明によれば、以上のようにすることにより、組み立て作業の進捗状況に応じて自動的に作業手順の指示を切り替えることができるという効果を奏し、その結果として、作業者の負担が軽減され、指示の切り替えに要する時間が短縮化されるので、製品生産の効率が向上する。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明を実施する作業支援システムの構成を示している。この作業支援システムは、撮像装置１と、画像処理装置２と、制御装置３と、作業指示装置４とを備えて構成されている。
【００１８】
撮像装置１は、ビデオカメラ等の撮像手段を備えていて、組み立て作業の作業範囲全体を撮像することのできる位置に設置されており、組み立て作業の作業現場を撮像する。撮像装置１は、部品や工具の形状が認識可能な解像力を有しており、組み立て作業の対象である複数の部品と当該組み立て作業に使用される１以上の工具とのうちの少なくともいずれかが対象物として表されている画像を撮像する。なお、図１の構成では、撮像装置１は、作業現場である作業台１０に置かれている部品Ａ及びＢと、組み立て作業における部品Ａ及びＢを合体させる工程で使用する工具Ｃとが表されている画像を撮像する。
【００１９】
画像処理装置２は、撮像装置１で撮像した画像に対し画像処理を行う。より具体的に説明すると、画像処理装置２は、対象物（画像に表されている部品若しくは工具）の各々の該画像上における相対距離を算出する。図１に示した実施形態においては、この相対距離は、画像から対象物（部品Ａ及びＢ並びに工具Ｃ）の輪郭を抽出して検出し、その対象物に特徴点（例えば対象領域の各座標値を加算し、その加算結果を当該対象領域内の画素数で除算することにより求めた対象物の重心）を設定し、各対象物の特徴点間の距離を算出して求める。なお、各対象物の種別と各対象物の輪郭及び各対象物における特徴点の位置との関係を示す情報（対象物画像データ）は、作業指示装置４の記憶部に予め記憶されており、画像処理装置２は、対象物の輪郭の抽出処理及び特徴点の設定処理を、作業指示装置４から受け取るこの対象物画像データを利用して行う。
【００２０】
制御装置３は、組み立て作業における作業指示装置４が表示している工程の作業が完了したことを、この画像に基づいて検出する検出手段としての機能を有しており、更に、この検出結果に基づいて作業指示装置４を制御して、当該組み立て作業の作業手順において当該工程に続く次の工程についての作業内容を表示させる制御手段としての機能をも有している。
【００２１】
制御装置３による上記の検出の手法は次のように行われる。すなわち、制御装置３は、画像処理装置２が算出した相対距離が所定の条件に合致するか否かを判定し、合致すると判定したときには、当該検出の結果を、作業指示装置４が表示している工程の作業が完了したものとする。また、制御装置３は、当該相対距離が所定の条件に合致しないときには、該画像の撮像の後に撮像装置１が改めて撮像した画像について上述した判定を繰り返し、合致すると判定したときに、当該検出の結果を、作業指示装置４が表示している工程の作業が完了したものとする。
【００２２】
制御装置３による上記の検出の手法をより詳細に説明すると、制御装置３は、撮像装置１が異なる時刻に撮像した複数の画像の各々についての相対距離が複数の所定の条件のいずれかに合致するか否かを判定する。ここで、当該複数の所定の条件のうち作業指示装置４が表示している工程の作業においての最後の条件と予め指定されているものに合致すると判定したときには、当該検出の結果を、当該該工程が完了したものとする。
【００２３】
作業指示装置４は、組み立て作業の作業手順の指示を工程毎に出力する装置である。作業指示装置４は記憶部と表示部とを備えており、当該記憶部に予め記憶されている作業手順の指示を工程毎に表している画像を読み出し、当該画像を当該表示部に表示して出力する。この作業手順の指示を工程毎に表している画像の表示は、制御装置３が作業指示装置４を制御することによって次の工程についてのものへと自動的に切り替えられる。
【００２４】
以下、図１に示した作業支援システムが組み立て作業の支援を行う実施例を幾つか説明する。
まず実施例１について説明する。実施例１は、作業支援システムが、組み立て作業における１工程の作業として、工具Ｃを用いて部品Ａと部品Ｂとを合体させる作業の支援を行うというものである。
【００２５】
まず図２について説明する。同図は、この工程の作業において出現する対象物（部品Ａと部品Ｂと工具Ｃ）の相対的な位置関係のパターン（作業パターン）の例を表で示したものである。この表では、作業パターン毎に、その作業パターンにおいて検出の対象となる物品（検出対象物）とその検出対象物間の相対距離（作業現場を撮像装置１の撮像方向に見たときの検出対象物間の相対距離）とが対応付けられて示されている。
【００２６】
図２の表を説明する。
「パターン１」は、この工程の作業において最初に出現する作業パターンであって部品Ａ及び部品Ｂが検出対象物であり、それらの特徴点間の相対距離ｄ１は１０ｃｍと定義されている。なお、この「パターン１」の状態は、図２に図示したように、部品Ｂを移動させて部品Ａに近づける作業の途中で発現する。
【００２７】
また、「パターン２」は、この工程の作業において「パターン１」に続いて出現する作業パターンであって部品Ａ及び部品Ｂと工具Ｃとの全てが検出対象物であり、それらの特徴点のうち、部品Ａと部品Ｂとの特徴点間の相対距離ｄ２は５ｃｍと定義されており、部品Ｂと工具Ｃとの特徴点間の相対距離ｄ３は５ｃｍと定義されている。なお、この「パターン２」の状態は、図２に図示したように、部品Ａに部品Ｂを接触させながら更に工具Ｃを部品Ｂに接触させて部品Ａと部品Ｂとを合体させる作業の途中で発現する。
【００２８】
更に、「パターン３」は、この工程の作業において「パターン２」に続いて出現する最終の作業パターンであって部品Ａ及び部品Ｂと工具Ｃとの全てが検出対象物であり、それらの特徴点のうち、部品Ａと部品Ｂとの特徴点間の相対距離ｄ４は５ｃｍと定義されており、部品Ｂと工具Ｃとの特徴点間の相対距離ｄ５は１０ｃｍと定義されている。なお、この「パターン３」の状態は、図２に図示したように、部品Ａと部品Ｂとを合体させた後に工具Ｃを移動させて部品Ｂから遠ざける作業の途中で発現する。
【００２９】
なお、この実施例１を含む本実施形態におけるいずれの実施例においても、この図２に例示した表に相当する情報（作業パターン情報）を、作業指示装置４に予め登録しておき、作業指示装置４は、この作業パターン情報を記憶部で記憶しておく。なお、作業パターン情報を作業指示装置４に登録して記憶させておく代わりに、制御装置３に登録して記憶させておくようにしてもよい。
【００３０】
次に、図１に示した作業支援システムの実施例１における動作について、図３を用いて説明する。図３は、実施例１に係る作業支援システムの動作手順をフローチャートで示したものである。
【００３１】
組み立て作業を開始して作業支援システムを起動させると、Ｓ１１において、作業指示装置４が、組み立て作業の作業手順のうち本実施例に係る工程の作業内容を表示する処理を行って作業者に指示を与える。
【００３２】
次に、Ｓ１２において、作業指示装置４が、前述した対象物画像データ及び作業パターン情報のうち作業内容を表示中の工程の作業内容に関係している情報を、自身の有する記憶部から読み出し、対象物画像データについては画像処理装置２へ、作業パターン情報については制御装置３へ、それぞれ送付して登録する処理を行う。
【００３３】
次に、対象物画像データを受け取った画像処理装置２が所定の指示を撮像装置１に与えると、組み立て作業を行う作業現場の撮像を撮像装置１が開始し、Ｓ１３において、撮像した作業現場の画像を画像処理装置２へ転送する処理を行う。
【００３４】
次に、受け取った作業現場の画像から対象物の輪郭を対象物画像データに基づいて検出する処理を画像処理装置２が行い、Ｓ１４において、その画像から対象物が検出できたか否かを判定する処理を画像処理装置２が行う。ここで、対象物が検出できたと判定したとき（判定結果がＹｅｓのとき）には、画像処理装置２はＳ１５に手順を進める。一方、対象物が検出できなかったと判定したとき（判定結果がＮｏのとき）には、画像処理装置２は、次の画像の転送要求を撮像装置１に与えた上でＳ１３に手順を戻す。
【００３５】
次に、Ｓ１５において、画像処理装置２は、作業現場の画像から抽出した対象物の輪郭に対応する当該対象物の種別を示す情報（種別情報）と、当該画像における当該対象物の特徴点の位置を示す情報（位置情報）とを、対象物画像データに基づいて求め、求めた種別情報及び位置情報のデータを制御装置３へ送付する処理を行う。
【００３６】
次に、種別情報及び位置情報のデータを受け取った制御装置３は、各対象物の特徴点相互間の画像上の相対距離を算出する。そして、受け取った種別情報と画像上の相対距離とが、所定の条件に合致するか否かを判定する処理をＳ１６において行う。なお、本実施例においては、ここでは、作業指示装置４に登録されている作業パターン情報（登録パターン）で示されている作業パターンのうち現在参照中のもの（例えば図２における「パターン１」の作業パターン）における検出対象物の種別とその検出対象物間の相対距離との組み合わせに、受け取った種別情報と画像上の相対距離とが一致するか否かを判定する処理を行う。このとき、相対距離の一致不一致の判定は、作業パターンにおける相対距離を画像上での相対距離に換算して行ってもよいし、画像上の相対距離を作業現場での相対距離に換算して行ってもよい。
【００３７】
このＳ１６の判定処理において、画像処理装置２から受け取った種別情報と算出した画像上の相対距離とが、上記の条件に合致すると判定したとき（判定結果がＹｅｓのとき）には、制御装置３は、Ｓ１７に手順を進める。一方、上記の条件に合致しないと判定したとき（判定結果がＮｏのとき）には、制御装置３は、次の画像の転送要求を撮像装置１に与えた上でＳ１３に手順を戻して上述した手順を繰り返す。すると、撮像装置１は、作業現場の画像を新たに撮像し、画像処理装置２は、上述した画像処理を施した画像よりも後に撮像されたこの新たな画像に対し、前述した画像処理を改めて施す。
【００３８】
次に、Ｓ１７において、制御装置３は、画像処理装置２から受け取った種別情報と算出した画像上の相対距離とに合致した条件が、Ｓ１１において作業指示装置４が出力した指示に対応する工程の作業においての最後の条件として予め指定されているものであるかを判定する処理を行う。本実施例においては、ここでは、種別情報と画像上の相対距離とに一致した参照中の作業パターンが、作業指示装置４に登録されている作業パターン情報で示されている複数の作業パターンのうち最終の作業パターン（最終パターン）と指定されているもの（図２の例では「パターン３」）であるか否かを判定する処理を行う。
【００３９】
このＳ１７の判定処理において、画像処理装置２から受け取った種別情報と算出した画像上の相対距離とに合致した条件が上記の最後の条件であると判定したとき（判定結果がＹｅｓのとき）には、制御装置３はＳ１９に処理を進める。一方、画像処理装置２から受け取った種別情報と算出した画像上の相対距離とに合致した条件が上記の最後の条件ではないと判定したとき（判定結果がＮｏのとき）には、制御装置３はＳ１８に手順を進める。
【００４０】
Ｓ１８において、制御装置３は、Ｓ１６の判定における判定条件を変更する処理を行う。本実施例においては、ここでは、画像処理装置２から受け取った種別情報と算出した画像上の相対距離との一致不一致の判定対象とする作業パターンを、作業パターン情報における次のものに進める（例えば「パターン１」を参照していたのであれば、その参照先を「パターン２」に進め、「パターン２」を参照していたのであれば、その参照先を「パターン３」に進める）処理を行う。その後、制御装置３は次の画像の転送要求を撮像装置１に与えた上でＳ１３に手順を戻して上述した手順を繰り返す。
【００４１】
Ｓ１９では、制御装置３は、組み立て作業の作業手順のうち作業指示装置４が出力中の指示に対応する工程の作業が完了したとの判断を下し、作業指示装置４を制御して、当該工程の作業が完了した旨の表示を行わせる処理を行う。
【００４２】
Ｓ２０では、制御装置３は、作業指示装置４を制御して、組み立て作業の作業手順のうち作業指示装置４がそれまで出力していた指示に対応する工程（作業が完了したと判定した工程）に続く次の工程についての作業内容を表示させる処理を行う。その後、制御装置３はＳ１２に手順を戻す。
【００４３】
実施例１に係る作業支援システムが以上のように動作することで、組み立て作業の進捗状況に応じ、作業指示装置４で表示されている、作業手順を指示する画面が自動的に切り替わる。この結果、画面の切り替えのために作業者に求められる動作が不要となるので生産効率が向上する。
【００４４】
次に実施例２について説明する。実施例２は、前述した実施例１と同一工程の作業の支援において、工具Ｃの代わりに誤って工具Ｄを用いて部品Ａと部品Ｂとを合体させてしまった場合には、その誤りを作業者に通知するための警告画面を作業指示装置４が表示するというものである。
【００４５】
まず図４について説明する。同図は、本実施例における作業パターンの例を表で示したものである。この表では、図２に示した実施例１における表に示されているものと同様の作業パターンに、上記の誤った作業を検出するための検出パターンとして、「誤パターン４」が追加されている。
【００４６】
図４に示した表に示されている作業パターン情報において、「誤パターン４」は、部品Ａ及び部品Ｂと、工具Ｃの代わりに誤って使用される工具Ｄとが検出対象物であり、それらの特徴点のうち、部品Ａと部品Ｂとの特徴点間の相対距離ｄ２は５ｃｍと定義されており、部品Ｂと工具Ｄとの特徴点間の相対距離ｄ３は５ｃｍと定義されている。
【００４７】
次に、図１に示した作業支援システムの実施例２における動作について、図５を用いて説明する。図５は、実施例２に係る作業支援システムの動作手順をフローチャートで示したものである。
【００４８】
組み立て作業を開始して作業支援システムを起動させると、Ｓ２１において、作業指示装置４が、組み立て作業の作業手順のうち本実施例に係る工程の作業内容を表示する処理を行って作業者に指示を与える。
【００４９】
次に、Ｓ２２において、作業指示装置４が、前述した対象物画像データ及び作業パターン情報のうち作業内容を表示中の工程の作業内容に関係している情報を、自身の有する記憶部から読み出し、対象物画像データについては画像処理装置２へ、作業パターン情報については制御装置３へ、それぞれ送付して登録する処理を行う。なお、本実施例においては、この作業パターン情報に、誤りの作業内容を表している作業パターンが含まれている。
【００５０】
次に、対象物画像データを受け取った画像処理装置２が所定の指示を撮像装置１に与えると、組み立て作業を行う作業現場の撮像を撮像装置１が開始し、Ｓ２３において、撮像した作業現場の画像を画像処理装置２へ転送する処理を行う。
【００５１】
次に、受け取った作業現場の画像から対象物の輪郭を対象物画像データに基づいて検出する処理を画像処理装置２が行い、Ｓ２４において、その画像から対象物が検出できたか否かを判定する処理を画像処理装置２が行う。ここで、対象物が検出できたと判定したとき（判定結果がＹｅｓのとき）には、画像処理装置２はＳ２５に手順を進める。一方、対象物が検出できなかったと判定したとき（判定結果がＮｏのとき）には、画像処理装置２は、次の画像の転送要求を撮像装置１に与えた上でＳ２３に手順を戻す。
【００５２】
次に、Ｓ２５において、画像処理装置２は、作業現場の画像から抽出した対象物の輪郭に対応する当該対象物の種別を示す情報と、当該画像における当該対象物の特徴点の位置を示す情報とを、対象物画像データに基づいて求め、求めた種別情報及び位置情報のデータを制御装置３へ送付する処理を行う。
【００５３】
次に、種別情報及び位置情報のデータを受け取った制御装置３は、各対象物の特徴点相互間の画像上の相対距離を算出する。そして、受け取った種別情報と画像上の相対距離とが、所定の誤作業の条件に合致するか否かを判定する処理をＳ２５ａにおいて行う。なお、本実施例においては、ここでは、作業指示装置４に登録されている作業パターン情報で示されている作業パターンのうち誤りの作業内容を表しているもの（例えば図４における「誤パターン４」の作業パターン）における検出対象物の種別とその検出対象物間の相対距離との組み合わせに、受け取った種別情報と画像上の相対距離とが一致するか否かを判定する処理を行う。このとき、相対距離の一致不一致の判定は、作業パターンにおける相対距離を画像上での相対距離に換算して行ってもよいし、画像上の相対距離を作業現場での相対距離に換算して行ってもよい。
【００５４】
このＳ２５ａの判定処理において、画像処理装置２から受け取った種別情報と算出した画像上の相対距離とが、上記の条件に合致すると判定したとき（判定結果がＹｅｓのとき）には、制御装置３は、Ｓ２５ｂに手順を進め、上記の条件に合致しないと判定したとき（判定結果がＮｏのとき）には、制御装置３は、Ｓ２６に手順を進める。
【００５５】
Ｓ２５ｂでは、制御装置３は、作業指示装置４が出力中の指示に対応する工程の作業とは異なる作業が行われたとの判断を下し、作業指示装置４を制御して、当該工程の作業を誤った旨の警告表示を行わせる処理を行う。その後は、制御装置３は、次の画像の転送要求を撮像装置１に与えた上でＳ２３に手順を戻して上述した手順を繰り返す。すると、撮像装置１は、作業現場の画像を新たに撮像し、画像処理装置２は、上述した画像処理を施した画像よりも後に撮像されたこの新たな画像に対し、前述した画像処理を改めて施す。
【００５６】
以降のＳ２６からＳ３０にかけての手順は、図３に示した実施例１に係るフローチャートにおけるＳ１６からＳ２０にかけての手順と同一であるので、説明は省略する。
実施例２に係る作業支援システムが以上のように動作することで、組み立て作業の進捗状況に応じ、作業指示装置４で表示されている作業手順の指示画面が自動的に切り替わる。また、本実施例においては、撮像装置１が撮像した画像に表されている対象物のうち、工具Ｄが、正しい作業の対象である部品（部品Ａ及び部品Ｂ）と該作業に使用される１以上の工具（工具Ｃ）とのどちらとも異なっている。従って、工具Ｄの存在を検出した制御装置３は、作業指示装置４が出力している指示に対応する工程のものとは異なる作業が行われたとの検出結果を得る。そして、制御装置３が、この検出結果に従って作業指示装置４を制御する。この結果、所定の警告の出力が作業指示装置４により行われる。つまり、本実施例によれば、作業中に間違った部品や工具を使用しても、その間違いが発生した時点で警告されるので、誤作業による組み立て作業のロスを低減させることができる。
【００５７】
次に実施例３について説明する。実施例３は、前述した実施例１と同一工程の作業の支援において、正しくは部品Ｂを、工具Ｃを用いて部品Ａに合体させる作業を誤り、部品Ａを、工具Ｃを用いて部品Ｂに合体させてしまった場合には、その誤りを作業者に通知するための警告画面を作業指示装置４が表示するというものである。
【００５８】
図６について説明する。同図は、本実施例における作業パターンの例を表で示したものである。この表では、図２に示した実施例１における表に示されているものと同様の作業パターンに、上記の誤った作業を検出するための検出パターンとして、「誤パターン４」が追加されている。
【００５９】
図６に示した表に示されている作業パターン情報において、「誤パターン４」は、部品Ａ及び部品Ｂと工具Ｃとが検出対象物であり、それらの特徴点のうち、部品Ａと部品Ｂとの特徴点間の相対距離ｄ２は５ｃｍと定義されており、部品Ａに工具Ｃを用いた誤作業における部品Ａと工具Ｃとの特徴点間の相対距離ｄ３は５ｃｍと定義されている。
【００６０】
次に、図１に示した作業支援システムの実施例３における動作手順は、図５にフローチャートで示した実施例２に係る作業支援システムの動作手順と同一である。
すなわち、Ｓ２１からＳ２５の手順に続くＳ２５ａにおいて、種別情報及び位置情報のデータを受け取った制御装置３が、各対象物の特徴点相互間の画像上の相対距離を算出する。そして、作業指示装置４に登録されている作業パターン情報で示されている作業パターンのうち誤りの作業内容を表しているもの（例えば図６における「誤パターン４」の作業パターン）における検出対象物の種別とその検出対象物間の相対距離との組み合わせに、受け取った種別情報と画像上の相対距離とが一致するか否かを判定する処理を行う。ここで、画像処理装置２から受け取った種別情報と算出した画像上の相対距離とが、上記の条件に一致すると判定したとき（判定結果がＹｅｓのとき）には、制御装置３は、Ｓ２５ｂに手順を進め、上記の条件に合致しないと判定したとき（判定結果がＮｏのとき）には、制御装置３は、Ｓ２６に手順を進める。
【００６１】
更に、Ｓ２５ｂでは、制御装置３は、作業指示装置４が出力中の指示に対応する工程の作業とは異なる作業が行われたとの判断を下し、作業指示装置４を制御して、当該工程の作業を誤った旨の警告表示を行わせる処理を行う。その後は、制御装置３は、次の画像の転送要求を撮像装置１に与えた上でＳ２３に手順を戻してそれ以降の手順を繰り返す。
【００６２】
以降のＳ２６からＳ３０にかけての手順は、図３に示した実施例１に係るフローチャートにおけるＳ１６からＳ２０にかけての手順と同一であるので、説明は省略する。
実施例３に係る作業支援システムが以上のように動作することで、組み立て作業の進捗状況に応じ、作業指示装置４で表示されている作業手順の指示画面が自動的に切り替わる。また、本実施例においては、撮像装置１が撮像した画像に表されている対象物の各々の該画像上における相対距離が所定の誤作業の条件に合致している。従って、この誤作業の条件との合致を検出した制御装置３は、作業指示装置４が出力している指示に対応する工程のものとは異なる作業が行われたとの検出結果を得る。そして、制御装置３が、この検出結果に従って作業指示装置４を制御する。この結果、所定の警告の出力が作業指示装置４により行われる。つまり、本実施例によれば、作業手順を誤っても、その誤りが発生した時点で警告されるので、誤作業による組み立て作業のロスを低減させることができる。
【００６３】
次に実施例４について説明する。実施例４は、前述した実施例１と同一工程の作業の支援において、この作業についての各作業パターンに標準時間が予め定義されており、実際の組み立て作業において各作業パターンと合致する状態が出現するまでの時間が、この標準時間から遅れた場合には、作業に遅れが生じていることを作業者に通知するための警告画面を作業指示装置４が表示するというものである。
【００６４】
まず図７について説明する。同図は、本実施例における作業パターンの例を表で示したものである。この表に示されている作業パターン情報では、図２に示した実施例１における表に示されているものと同様の作業パターンの各々に、「標準時間」が定義されている。すなわち、「パターン１」について標準時間が５秒と定義されており、「パターン２」について標準時間が３秒と定義されており、「パターン３」について標準時間が４秒と定義されている。
【００６５】
次に、図１に示した作業支援システムの実施例４における動作について、図８を用いて説明する。図８は、実施例４に係る作業支援システムの動作手順をフローチャートで示したものである。
【００６６】
組み立て作業を開始して作業支援システムを起動させると、Ｓ４１において、作業指示装置４が、組み立て作業の作業手順のうち本実施例に係る工程の作業内容を表示する処理を行って作業者に指示を与える。
【００６７】
次に、Ｓ４２において、作業指示装置４が、前述した対象物画像データ及び作業パターン情報のうち作業内容を表示中の工程の作業内容に関係している情報を、自身の有する記憶部から読み出し、対象物画像データについては画像処理装置２へ、作業パターン情報については制御装置３へ、それぞれ送付して登録する処理を行う。なお、本実施例においては、この作業パターン情報に、各作業パターンについての標準時間の情報が含まれている。
【００６８】
次に、対象物画像データを受け取った画像処理装置２が所定の指示を撮像装置１に与えると、組み立て作業を行う作業現場の撮像を撮像装置１が開始し、Ｓ４３において、撮像した作業現場の画像を画像処理装置２へ転送する処理を行う。
【００６９】
次に、受け取った作業現場の画像から対象物の輪郭を対象物画像データに基づいて検出する処理を画像処理装置２が行い、Ｓ４４において、その画像から対象物が検出できたか否かを判定する処理を画像処理装置２が行う。ここで、対象物が検出できたと判定したとき（判定結果がＹｅｓのとき）には、画像処理装置２はＳ４５に手順を進める。一方、対象物が検出できなかったと判定したとき（判定結果がＮｏのとき）には、画像処理装置２は、次の画像の転送要求を撮像装置１に与えた上でＳ４３に手順を戻す。
【００７０】
次に、Ｓ４５において、画像処理装置２は、作業現場の画像から抽出した対象物の輪郭に対応する当該対象物の種別を示す情報と、当該画像における当該対象物の特徴点の位置を示す情報とを、対象物画像データに基づいて求め、求めた種別情報及び位置情報のデータを制御装置３へ送付する処理を行う。
【００７１】
次に、種別情報及び位置情報のデータを受け取った制御装置３は、各対象物の特徴点相互間の画像上の相対距離を算出する。そして、作業指示装置４に登録されている作業パターン情報で示されている作業パターンのうち現在参照中のもの（例えば図２における「パターン１」の作業パターン）における検出対象物の種別とその検出対象物間の相対距離との組み合わせに、受け取った種別情報と算出した画像上の相対距離とが一致するか否かを判定する処理をＳ４６において行う。
【００７２】
このＳ４６の判定処理において、画像処理装置２から受け取った種別情報と算出した画像上の相対距離とが、参照中の作業パターンに一致すると判定したとき（判定結果がＹｅｓのとき）には、制御装置３は、Ｓ４６ａに手順を進める。一方、参照中の作業パターンに一致しないと判定したとき（判定結果がＮｏのとき）には、制御装置３は、次の画像の転送要求を撮像装置１に与えた上でＳ４３に手順を戻して上述した手順を繰り返す。すると、撮像装置１は、作業現場の画像を新たに撮像し、画像処理装置２は、上述した画像処理を施した画像よりも後に撮像されたこの新たな画像に対し、前述した画像処理を改めて施す。
【００７３】
次に、Ｓ４６ａにおいて、制御装置３は、参照中の作業パターンについて繰り返し行われるＳ４６の判定処理において、画像処理装置２から受け取った種別情報と算出した画像上の相対距離とが当該作業パターンに一致すると判定されるまでに要した時間が、当該作業パターンに予め定義されている標準時間内であったかを判定する処理を行う。ここで、要した時間が予め定義されている標準時間内であったと判定したとき（判定結果がＹｅｓのとき）には、制御装置３は、当該作業が作業時間内に行われているとの判断を下し、Ｓ４７に手順を進める。一方、要した時間が予め定義されている標準時間を超えたと判定したとき（判定結果がＮｏのとき）には、制御装置３は、当該作業が作業時間よりも長く行われた（すなわち、作業に遅れが生じた）との判断を下し、Ｓ４６ｂに手順を進める。
【００７４】
Ｓ４６ｂでは、制御装置３は、作業に遅れが生じたことで、作業指示装置４を制御して、当該工程の作業が遅れている旨の警告表示を行わせる処理を行う。その後は、制御装置３はＳ４７に処理を進める。
【００７５】
以降のＳ４７からＳ５０にかけての手順は、図３に示した実施例１に係るフローチャートにおけるＳ１７からＳ２０にかけての手順と同一であるので、説明は省略する。
実施例４に係る作業支援システムが以上のように動作することで、組み立て作業の進捗状況に応じ、作業指示装置４で表示されている作業手順の指示画面が自動的に切り替わる。また、本実施例においては、更に、作業指示装置４で表示されている作業手順の指示に対応する工程の作業が予め定められている作業標準時間よりも長く行われたことの検出を、撮像装置１が撮像した画像に基づいて制御装置３が行う。そして、当該工程の作業が予め定められている作業標準時間よりも長く行われたことを検出したときには、制御装置３はこの検出結果に従って作業指示装置４を制御する。この結果、所定の警告の出力が作業指示装置４により行われる。つまり、本実施例によれば、標準的な各工程の作業に要する標準的な時間を作業者が作業をしながら認識できるので、作業者が時間を意識して作業をするようになり、この結果として、生産効率の向上が可能となる。
【００７６】
次に実施例５について説明する。実施例５は、作業支援システムが、組み立て作業における１工程の作業として、部品Ａに部品Ｂを合体させた上でその組み立て品の測定（例えば、組み立て品の重量や所定部位間の間隔といった物理的特性の測定、所定部位間の電圧差や所定部位を流れる電流値といった電気的特性の測定など）を行い、その後に部品Ａから部品Ｂを分離させる作業の支援を行うというものである。
【００７７】
まず図９について説明する。同図は、この工程の作業において出現する対象物（部品Ａと部品Ｂ）の作業パターンの例を表で示したものである。この表では、作業パターン毎に、検出対象物とその検出対象物間の相対距離（作業現場を撮像装置１の撮像方向に見たときの検出対象物間の相対距離）とが対応付けられて示されており、更に、測定を実行する作業パターンであるかどうかを示す「測定タイミング」の情報が一部の作業パターンに対応付けられている。
【００７８】
図９の表を説明する。
「パターン１」は、この工程の作業において最初に出現する作業パターンであって部品Ａ及び部品Ｂが検出対象物であり、それらの特徴点間の相対距離ｄ１は１０ｃｍと定義されている。なお、この「パターン１」の状態は、図９に図示したように、部品Ｂを移動させて部品Ａに近づける作業の途中で発現する。
【００７９】
また、「パターン２」は、この工程の作業において「パターン１」に続いて出現する作業パターンであって部品Ａ及び部品Ｂが検出対象物であり、部品Ａと部品Ｂとの特徴点間の相対距離ｄ２は５ｃｍと定義されており、更に、この「パターン２」が発現したときが測定の開始タイミングであることが定義されている。なお、この「パターン２」の状態は、組み立て品の測定のための準備作業が完了した状態であり、図９に図示したように、部品Ａに部品Ｂを接触させ合体させる作業が完了したときに発現する。
【００８０】
更に、「パターン３」は、この工程の作業において「パターン２」に続いて出現する最終の作業パターンであって部品Ａ及び部品Ｂが検出対象物であり、それらの特徴点のうち、部品Ａと部品Ｂとの特徴点間の相対距離ｄ３は１０ｃｍと定義されている。なお、この「パターン３」の状態は、図９に図示したように、測定完了後に部品Ｂを部品Ａから遠ざける作業の途中で発現する。
【００８１】
次に、図１に示した作業支援システムの実施例５における動作について、図１０を用いて説明する。図１０は、実施例５に係る作業支援システムの動作手順をフローチャートで示したものである。
【００８２】
組み立て作業を開始して作業支援システムを起動させると、Ｓ５１において、作業指示装置４が、組み立て作業の作業手順のうち本実施例に係る工程の作業内容を表示する処理を行って作業者に指示を与える。
【００８３】
次に、Ｓ５２において、作業指示装置４が、前述した対象物画像データ及び作業パターン情報のうち作業内容を表示中の工程の作業内容に関係している情報を、自身の有する記憶部から読み出し、対象物画像データについては画像処理装置２へ、作業パターン情報については制御装置３へ、それぞれ送付して登録する処理を行う。なお、本実施例においては、この作業パターン情報に、組み立て品に対する測定を実行する作業パターンについての情報が含まれている。
【００８４】
次に、対象物画像データを受け取った画像処理装置２が所定の指示を撮像装置１に与えると、組み立て作業を行う作業現場の撮像を撮像装置１が開始し、Ｓ５３において、撮像した作業現場の画像を画像処理装置２へ転送する処理を行う。
【００８５】
次に、受け取った作業現場の画像から対象物の輪郭を対象物画像データに基づいて検出する処理を画像処理装置２が行い、Ｓ５４において、その画像から対象物が検出できたか否かを判定する処理を画像処理装置２が行う。ここで、対象物が検出できたと判定したとき（判定結果がＹｅｓのとき）には、画像処理装置２はＳ５５に手順を進める。一方、対象物が検出できなかったと判定したとき（判定結果がＮｏのとき）には、画像処理装置２は、次の画像の転送要求を撮像装置１に与えた上でＳ５３に手順を戻す。
【００８６】
次に、Ｓ５５において、画像処理装置２は、作業現場の画像から抽出した対象物の輪郭に対応する当該対象物の種別を示す情報と、当該画像における当該対象物の特徴点の位置を示す情報とを、対象物画像データに基づいて求め、求めた種別情報及び位置情報のデータを制御装置３へ送付する処理を行う。
【００８７】
次に、種別情報及び位置情報のデータを受け取った制御装置３は、各対象物の特徴点相互間の画像上の相対距離を算出する。そして、作業指示装置４に登録されている作業パターン情報で示されている作業パターンのうち現在参照中のもの（例えば図２における「パターン１」の作業パターン）における検出対象物の種別とその検出対象物間の相対距離との組み合わせに、受け取った種別情報と算出した画像上の相対距離とが一致するか否かを判定する処理をＳ５６において行う。
【００８８】
このＳ５６の判定処理において、画像処理装置２から受け取った種別情報と算出した画像上の相対距離とが、参照中の作業パターンに一致すると判定したとき（判定結果がＹｅｓのとき）には、制御装置３は、Ｓ５６ａに手順を進める。一方、参照中の作業パターンに一致しないと判定したとき（判定結果がＮｏのとき）には、制御装置３は、次の画像の転送要求を撮像装置１に与えた上でＳ５３に手順を戻して上述した手順を繰り返す。すると、撮像装置１は、作業現場の画像を新たに撮像し、画像処理装置２は、上述した画像処理を施した画像よりも後に撮像されたこの新たな画像に対し、前述した画像処理を改めて施す。
【００８９】
次に、Ｓ５６ａにおいて、制御装置３は、画像処理装置２から受け取った種別情報と算出した画像上の相対距離とに一致した参照中の作業パターンに、測定タイミングが定義されているかであるか否か（図９の例では「パターン２」であるか否か）を判定する処理を行う。ここで、参照中の作業パターンに測定タイミングが定義されていると判定したとき（判定結果がＹｅｓのとき）には、制御装置３は、Ｓ５６ｂに手順を進める。一方、参照中の作業パターンに測定タイミングが定義されていないと判定したとき（判定結果がＮｏのとき）には、制御装置３は、Ｓ５７に手順を進める。
【００９０】
Ｓ５６ｂでは、制御装置３は、組み立て品の測定のための準備作業が完了したとの判断を下し、作業指示装置４を制御して、組み立て品に対する所定の測定を行わせてその測定値を取得させる指示を不図示の測定器へ与えさせる処理を行う。その後は、制御装置３はＳ５７に手順を進める。
【００９１】
以降のＳ５７からＳ６０にかけての手順は、図３に示した実施例１に係るフローチャートにおけるＳ１７からＳ２０にかけての手順と同一であるので、説明は省略する。
実施例５に係る作業支援システムが以上のように動作することで、組み立て作業の進捗状況に応じ、作業指示装置４で表示されている作業手順の指示画面が自動的に切り替わる。また、本実施例においては、更に、組み立て作業の作業手順に組み立て品の測定を行う工程が含まれている場合において、作業指示装置４で表示されている指示に対応する工程が組み立て品の測定を行う工程であるときには、当該測定のための準備作業が完了したことを、撮像装置１が撮像した画像に基づいて制御装置３が行う。そして、当該測定のための準備作業が完了したことを検出したときには、制御装置３はこの検出結果に従って作業指示装置４を制御して、当該組み立て品の測定の指示を測定器へ出力する。この結果、組み立て作業の途中で行う必要のある測定作業の自動化も可能となり、生産効率が更に向上する。
【００９２】
以上、本発明の実施形態として、実施例を幾つか説明したが、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。例えば、前述した各実施例を幾つか組み合わせて実施することは可能である。
【図面の簡単な説明】
【００９３】
【図１】本発明を実施する作業支援システムの構成を示す図である。
【図２】実施例１における作業パターンの例を示した図である。
【図３】実施例１に係る作業支援システムの動作手順をフローチャートで示した図である。
【図４】実施例２における作業パターンの例を示した図である。
【図５】実施例２及び３に係る作業支援システムの動作手順をフローチャートで示した図である。
【図６】実施例３における作業パターンの例を示した図である。
【図７】実施例４における作業パターンの例を示した図である。
【図８】実施例４に係る作業支援システムの動作手順をフローチャートで示した図である。
【図９】実施例５における作業パターンの例を示した図である。
【図１０】実施例５に係る作業支援システムの動作手順をフローチャートで示した図である。
【符号の説明】
【００９４】
１  撮像装置
２  画像処理装置
３  制御装置
４  作業指示装置
１０  作業台
【図１】
2009037392.tif 000003
【図２】
2009037392.tif 000004
【図３】
2009037392.tif 000005
【図４】
2009037392.tif 000006
【図６】
2009037392.tif 000007
【図７】
2009037392.tif 000008
【図９】
2009037392.tif 000009
【図１０】
2009037392.tif 000010
【図５】
2009037392.tif 000011
【図８】
2009037392.tif 000012