(57)【要約】【課題】作業者の個人差によって作業の仕方やタイミングが異なっていたとしても、柔軟に状況を判断して作業を補助する。【解決手段】作業者５の体の少なくとも一つの部位の位置姿勢を検出するセンサ部２と、作業者５に部品又は工具を供給する供給部４と、供給部４を制御するセルコントローラ３と、を備え、セルコントローラ３が、検出された位置姿勢に基づいて作業者５の作業状態を学習してモデルを構築する機械学習部３１と、構築されたモデルを用いて、作業者５の作業状態を判断する作業状態判断部３２と、を備え、供給部４が、判断された作業状態に基づいて部品又は工具を選択し、少なくとも一つの部位の位置姿勢に基づいて、部品又は工具の位置姿勢を変化させる作業補助システム１を提供する。【選択図】図１
2018058178.tif 000002
【特許請求の範囲】
【請求項１】
作業者の体の少なくとも一つの部位の位置姿勢を検出するセンサ部と、
前記作業者に部品又は工具を供給する供給部と、
該供給部を制御するセルコントローラと、
を備え、
該セルコントローラが、
前記検出された位置姿勢に基づいて前記作業者の作業状態を学習してモデルを構築する機械学習部と、
前記構築されたモデルを用いて、前記作業者の作業状態を判断する作業状態判断部と、を備え、
前記供給部が、前記判断された作業状態に基づいて前記部品又は工具を選択し、前記少なくとも一つの部位の前記位置姿勢に基づいて、前記部品又は工具の位置姿勢を変化させる作業補助システム。
【請求項２】
前記機械学習部で構築される前記モデルが、前記セルコントローラとネットワークを介して接続された他のセルコントローラで構築されるモデルとして共有される請求項１に記載の作業補助システム。
【請求項３】
前記供給部がロボットを備える請求項１又は２に記載の作業補助システム。
【請求項４】
前記機械学習部がニューラルネットワークを備える請求項１から３のいずれか一項に記載の作業補助システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習部を備えた作業補助システムに関する。
【背景技術】
【０００２】
従来、製造現場において、作業者が組み立て作業を行う場合、作業者自身が、組み立て作業に必要となる部品や工具等をこれらの保管場所に取りに行く必要があった。その結果としてタイムロスが生じ、作業効率が下がってしまうという問題点があった。
上述の問題を解決すべく、特許文献１は、作業者の位置を統計的に処理することで作業状況を予測し、その作業状況に合わせて部品や工具を供給する作業支援システムを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５７１７０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、作業者の個人差によって変化し得る作業の仕方やタイミングを考慮しなければならず、作業中に生じ得る様々な状況について予め想定しておく必要があった。そのため、作業者毎の手や足の動き等と作業の各工程との細かな対応付けを行う必要があった。
【０００５】
本発明は、上述した事情に鑑みてなされたものであって、作業者の個人差等によって作業の仕方やタイミングが異なっていたとしても、柔軟に作業状態を判断して作業を補助することのできる作業補助システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、作業者の体の少なくとも一つの部位の位置姿勢を検出するセンサ部と、前記作業者に部品又は工具を供給する供給部と、該供給部を制御するセルコントローラと、を備え、該セルコントローラが、前記検出された位置姿勢に基づいて前記作業者の作業状態を学習してモデルを構築する機械学習部と、前記構築されたモデルを用いて、前記作業者の作業状態を判断する作業状態判断部と、を備え、前記供給部が、前記判断された作業状態に基づいて前記部品又は工具を選択し、前記少なくとも一つの部位の前記位置姿勢に基づいて、前記部品又は工具の位置姿勢を変化させる作業補助システムである。
上記本発明の一態様における作業補助システムによれば、センサ部によって作業者の体の少なくとも一つの部位の位置姿勢が検出される。この検出された位置姿勢に基づいて、セルコントローラに備えられる機械学習部によって、作業者の作業状態が学習されてモデルが構築される。そして、構築されたモデルを用いて、セルコントローラに備えられる作業状態判断部によって、作業者の作業状態が判断される。そして、供給部において、この判断された作業状態に基づいて、作業者に供給すべき部品又は工具が選択される。そして、作業者の少なくとも一つの部位の位置姿勢に基づいて部品又は工具の位置姿勢を変化させて作業者に部品又は工具が供給される。
【０００７】
このように、作業者の作業状態が機械学習によって構築されたモデルを用いて判断されるため、作業者の個人差等によって作業の仕方やタイミングが異なっていたとしても、柔軟に作業状態を判断して作業を補助することができる。また、作業者と作業の各工程間の細かな対応付けといった事前準備が必要なくなるため、作業補助システムの導入容易性を上げることができる。
【０００８】
上記本発明の一態様に係る作業補助システムにおいて、前記機械学習部で構築される前記モデルが、前記セルコントローラとネットワークを介して接続された他のセルコントローラで構築されるモデルとして共有される構成であってもよい。
こうすることにより、機械学習による学習効率を高くすることができる。
【０００９】
上記本発明の一態様に係る作業補助システムにおいて、前記供給部がロボットを備える構成であってもよい。
【００１０】
上記本発明の一態様に係る作業補助システムにおいて、前記機械学習部がニューラルネットワークを備える構成であってもよい。
【発明の効果】
【００１１】
本発明によれば、作業者の個人差によって作業の仕方やタイミングが異なっていたとしても、柔軟に状況を判断して作業を補助することができるという効果を奏する。また、作業補助システムの導入容易性を上げることができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る作業補助システムの概略構成を示す図である。
【図２】図１の作業補助システムに備えられるセルコントローラの機械学習部の概略構成を示すブロック図である。
【図３】機械学習部に備えられるニューラルネットワークを説明する模式図である。
【図４】本発明の一実施形態に係る作業補助システムにおいて実行される処理を示したフローチャートである。
【図５】本発明の一実施形態に係る作業補助システムで使用される作業テーブルの一例を示す図表である。
【図６】図５の作業テーブルに対応する状態遷移図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の一実施形態に係る作業補助システムについて図面を参照して説明する。
図１に示されるように、作業補助システム１は、センサ部２と、センサ部２が接続されるセルコントローラ３と、セルコントローラ３が接続される供給部４と、を備えている。
【００１４】
センサ部２は、複数の視覚センサであるカメラ２１を備えており、作業者５の体の各部位（例えば、手、足、頭等）の位置姿勢を逐次検出するように構成されている。本実施形態では、２台のカメラ２１を備えているが、１台以上のカメラ２１を備えていればよい。
【００１５】
セルコントローラ３は、センサ部２で検出された作業者５の体の各部位の位置姿勢に基づいて、作業者が現在どの作業状態にあるのかを判断するように構成されている。セルコントローラ３は、不図示のプロセッサと不図示のＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）等の記憶装置とを備えており、プロセッサによって後述する各機能が処理されるように構成されている。セルコントローラ３は、機能ブロックとして、機械学習部３１と、作業状態判断部３２とを備えている。
【００１６】
機械学習部３１は、図２に示されるように、入力データ受信部３１１と、ラベル取得部３１２と、学習部３１３と、を備えている。
入力データ受信部３１１は、センサ部２で検出された作業者５の体の各部位の位置姿勢を入力データとして受信し、機械学習を行わせるための正規化等の前処理を施し、前処理を施した後の学習用データＸ＝｛ｘ１，ｘ２，．．．ｘｎ｝を学習部３１３に供給するように構成されている。
【００１７】
ラベル取得部３１２は、教師あり学習の際に必要となる教師データ、すなわちラベルを取得し、機械学習を行わせるための正規化等の前処理を施し、前処理を施した後の学習用ラベルＤ＝｛ｄ１，ｄ２，．．．ｄｍ｝を学習部３１３に供給するように構成されている。
【００１８】
学習部３１３は、入力データ受信部３１１で学習用データＸと、ラベル取得部３１２で前処理が施された後の学習用ラベルＤとに基づいて、学習モデル（モデル）３１３１を構築するように構成されている。学習モデル３１３１は、学習用入力データＸと学習用ラベルＤの組を大量に学習部３１３に与えることで構築される。
【００１９】
学習モデル３１３１の構築には、図３に示されるようなニューラルネットワークが用いられる。図３に示されるように、中間層を３層以上とすることで、深層学習による学習が行われると好適である。
学習により、図３に示されるニューラルネットワークに与えられた全ての学習用入力データＸと学習用ラベルＤの組に対し、誤差｜｜Ｄ−Ｙ｜｜２の合計が最小となる重みＷが決定され、学習モデル３１３１が構築される。
【００２０】
なお、機械学習部３１に与えられる入力データは、作業者５の体の少なくとも一つの部位の位置姿勢であり、例えば、手や足の位置姿勢である。また、機械学習部３１に与えられるラベルは、作業状態である。そして、機械学習部３１の出力、すなわち、学習モデルの出力Ｙ＝｛ｙ１，ｙ２，．．．ｙｍ｝は、例えば、該当する作業状態であり得る確率である。
【００２１】
また、図２に示されるように、学習モデル３１３１が、ネットワークを介して他のセルコントローラと接続され、当該他のセルコントローラに備えられる機械学習部の学習モデルとして共有されていてもよい。
このようにすることで、学習モデル３１３１の学習効率を高めることができる。
【００２２】
図１に示されるように、作業状態判断部３２は、センサ部２で検出された作業者５の体の各部位の位置姿勢と、機械学習部３１で構築された学習モデル３１３１とに基づいて、現在の作業状態を判断するように構成されている。
【００２３】
供給部４は、セルコントローラ３で判断された現在の作業状態に基づいて、作業者５に工具又は部品を供給するように構成されている。具体的には、供給部４は、協働ロボット４１と、協働ロボット４１を制御するロボット制御装置４２と、載置台４３とを備えている。
【００２４】
協働ロボット４１は、アーム先端部に、末端効果器であるハンド６と不図示のカメラが取り付けられており、ロボット制御装置４２からの指令に応じて、載置台４３上の部品を把持し、作業者５に供給するように構成されている。
【００２５】
ロボット制御装置４２は、互いにバスを介して接続された、不図示のプロセッサと、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置と、協働ロボット４１との間で種々のデータのやりとりを行う外部インタフェース等を備えており、プロセッサによって協働ロボット４１に対する制御命令が実行されるように構成されている。ロボット制御装置４２は、セルコントローラ３で判断された作業状態と記憶装置に格納された作業テーブルと協働ロボット４１に取り付けられたカメラからの情報とに基づいて、協働ロボット４１を制御する。より具体的には、ロボット制御装置４２は、セルコントローラ３から受信した作業状態を、記憶装置に格納された作業テーブル内において検索し、該当する作業状態に対応づけられているロボット動作を実行するように協働ロボット４１に命令する。また、ロボット制御装置４２は、協働ロボット４１に取り付けられたカメラによって撮像された作業者５の掌の画像に基づいて掌の位置姿勢を検出し、部品や工具毎に予め設定された座標系と掌の位置姿勢を表現する座標系とが一致するように協働ロボット４１を動作させる。
【００２６】
載置台４３には、作業に必要な工具や部品が載置される台であるが、部品棚、トレー、工具箱等であってもよい。
また、協働ロボット４１にカメラを設けずに、固定位置に取り付けられるとともにロボット制御装置４２に接続されたカメラからの情報に基づいて、載置台４３上の部品を把持し、作業者５に供給するように構成してもよい。
【００２７】
以下、上述のように構成される作業補助システム１で行われる作業補助方法について、図１及び図４を参照して説明する。
まず、センサ部２によって、作業者５の各部位の位置姿勢が逐次計測される（図４のステップＳ１）。そして、セルコントローラ３の作業状態判断部３２によって、計測された作業者５の各部位の位置姿勢に基づいて作業状態が判別される（図４のステップＳ２）。次に、ロボット制御装置４２によって、セルコントローラ３から受信した作業状態が逐次監視され、作業状態が切り替わったか否かが判断される（図４のステップＳ３）。作業状態に変化がないと判断された場合には、ステップＳ１及びステップＳ２が繰り返され、作業状態が切り替わったと判断された場合には次の処理へと進む。
【００２８】
作業状態が切り替わったと判断されると、ロボット制御装置４２によって、切り替わった後の作業状態が、記憶装置に格納された作業テーブル内において検索される。そして、該当する作業状態に対応づけられているロボット動作を協働ロボット４１が実行するように、協働ロボット４１に対して制御命令を送信する。
【００２９】
ロボット動作は、原則として、工具又は部品を作業者５に供給する動作である。従って、まず、協働ロボット４１が、ロボット制御装置４２からの制御命令に従って、工具又は部品を載置台４３から選択しハンド６によって把持することで、作業者５に工具又は部品を供給するための準備が行われる（図４のステップＳ４）。
【００３０】
その後、協働ロボット４１に取り付けられたカメラによって作業者５の掌を含む画像が撮像され、ロボット制御装置４２によって、作業者５の掌の位置姿勢が計測される（図４のステップＳ５）。そして、ロボット制御装置４２によって協働ロボット４１が制御され、作業者５の掌の位置姿勢と工具又は部品に予め設定された座標系とが一致するように、協働ロボット４１が移動する（図４のステップＳ６）。
【００３１】
続いて、工具又は部品が、作業者５の掌の位置に到達したか否かが判断される（図４のステップＳ７）。なお、この判断は、協働ロボット４１のカメラにより撮像された画像に基づいてなされてもよいし、協働ロボット４１のハンド６に力センサを取り付け、この力センサからのフィードバックに基づいてなされてもよい。
【００３２】
作業者５の掌の位置に到達していないと判断された場合には、ステップＳ５及びステップＳ６が繰り返され、作業者５の掌の位置に到達したと判断された場合には処理が終了する。
【００３３】
（実施例）
以下、本実施形態に係る作業補助システム１が適用される実施例として、１つのシャーシに１つのカバーを手で取り付け、その後、１つのドライバ及び４つのネジを用いて４箇所のネジ締めを行う作業を例に挙げて説明する。
【００３４】
この作業の工程としては、図５に示されるように、カバー取付工程と、ネジ締め工程とがある。カバー取付工程における作業者５の作業状態は、シャーシ待ち状態と、カバー待ち状態と、カバー取付作業中の状態である。ネジ締め工程における作業者５の作業状態は、ドライバ待ち状態と、ネジ待ち状態と、ネジ締め作業中の状態とである。ネジが４つあるため、ネジ待ち状態及びネジ締め作業中の状態は、それぞれ４つずつとなる。
【００３５】
上記の各作業状態は、図６に示されるように、所定の動作によって各作業状態間を遷移する。すなわち、シャーシ待ち状態は、協働ロボット４１によってシャーシが供給されると、カバー待ち状態に遷移する。カバー待ち状態は、協働ロボット４１によってカバーが供給されると、カバー取付作業中の状態に遷移する。カバー取付作業中の状態は、作業者５による作業が終了することで、ドライバ待ち状態に遷移する。ドライバ待ち状態は、協働ロボット４１によってドライバが供給されるとネジ待ち状態に遷移する。ネジ待ち状態は、協働ロボット４１によってネジが供給されるとネジ締め作業中の状態に遷移する。ネジ締め作業中の状態は、作業者５による作業が終了することで、ネジ待ち状態に遷移する。本実施例では、４箇所のネジ締めが行われるため、ネジ待ち状態及びネジ締め作業中の状態間の遷移を４回繰り返した後で、作業完了となる。
【００３６】
図５に示される作業テーブルには、各作業状態に対して、その作業状態を別の作業状態に遷移させるためのロボット動作が対応づけられている。なお、カバー取付作業中の状態及びネジ締め作業中の状態は、作業者５の動作によって次の状態に遷移するものであるため、ロボット動作としては、待機状態となる。但し、作業の効率化を図るため、次の作業で使用される工具又は部品を作業者５にすぐに供給できるように、工具又は部品を選択し把持した後で、待機状態に入るのが好ましい。
図５に示される作業テーブルは、予め作成されて、ロボット制御装置４２の記憶装置に格納されている。
【００３７】
本実施例では、学習用データＸとして、作業者５の手、頭部及び爪先の位置姿勢を正規化したデータが用いられる。学習用ラベルＤは、「シャーシ待ち」、「カバー待ち」、「カバー取付作業中」、「ドライバ待ち」、「ネジ待ち」及び「ネジ締め作業中」の６つの作業状態を正規化したものである。これらの学習用データＸと学習用ラベルＤの組を大量に学習部３１３に与えることで、学習モデル３１３１が構築される。
【００３８】
これにより、作業状態判断部３２において、学習モデル３１３１に実際の作業で得られた作業者５の手、頭部及び爪先の位置姿勢のデータを入力すると、出力Ｙとして、現在の作業がどの作業状態にあるかの確率が出力される。作業状態判断部３２は、最も高い確率を有する作業状態が現在の作業状態であると判断し、現在の作業状態をロボット制御装置４２に送信する。例えば、「シャーシ待ち」の確率が最も高かった場合には、「シャーシ待ち」が現在の作用状態であるとしてロボット制御装置４２に送信する。
【００３９】
ロボット制御装置４２は、内部の記憶装置に格納された作業テーブルから「シャーシ待ち」を検索し、これに対応づけられたロボット動作として「シャーシ供給」を得る。そして、ロボット制御装置４２は、協働ロボット４１が「シャーシ供給」を行うように、協働ロボット４１を制御する。
【００４０】
協働ロボット４１は、載置台４３からシャーシをピックアップし、作業者５に供給する。この場合に、作業者５の掌の位置姿勢とシャーシに予め設定された座標系とが一致するように、シャーシが作業者５に供給される。
同様にして、作業テーブル上の全ての作業状態が完了するまで上記の処理が繰り返される。
このように、作業者５の作業状態が機械学習によって構築された学習モデル３１３１を用いて判断されるため、作業者５の個人差等によって作業の仕方やタイミングが異なっていたとしても、柔軟に作業状態を判断して作業を補助することができる。また、作業者５と作業の各工程間の細かな対応付けといった事前準備が必要なくなるため、作業補助システム１の導入容易性を上げることができる。
【００４１】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００４２】
例えば、上記実施形態においては、協働ロボット４１に取り付けられたカメラが、作業者５の掌の位置姿勢を計測するための画像を撮像するとしたが、協働ロボット４１に取り付けられたカメラの代わりに、センサ部２に備えられるカメラ２１を用いてもよい。
【符号の説明】
【００４３】
１  作業補助システム
２  センサ部
３  セルコントローラ
４  供給部
５  作業者
３１  機械学習部
３２  作業状態判断部
４１  協働ロボット
【図１】
2018058178.tif 000003
【図２】
2018058178.tif 000004
【図３】
2018058178.tif 000005
【図４】
2018058178.tif 000006
【図５】
2018058178.tif 000007
【図６】
2018058178.tif 000008