(57)【要約】【課題】容器に大容量で入った粉体、粒体又は流体を、別の容器に定められた量だけすくい出して小分けする動作をロボットに学習させる機械学習方法、およびロボット機械学習制御装置を提供する。【解決手段】多軸ロボットとその先端に設置された取出し手段とを用いて第一の容器から対象物である粉体、粒体又は流体を定められた量だけ第二の容器にすくい出す動作をロボット機械学習制御装置に学習させる機械学習方法であって、現実空間において多軸ロボットと対象物とで強化学習させる現実学習プロセスと、シミュレーション空間において、多軸ロボットを疑似的にシミュレートした疑似多軸ロボットと、対象物を疑似的にシミュレートした疑似対象物と、で強化学習させるシミュレーション学習プロセスとからなり、疑似対象物が、対象物が有する変動パラメータを有することを特徴とする機械学習方法である。【選択図】図１
2019098419.tif 000002
【特許請求の範囲】
【請求項１】
多軸ロボットと前記多軸ロボットの先端に設置された取出し手段とを用いて第一の容器から対象物である粉体、粒体又は流体を定められた量だけ第二の容器にすくい出す動作をロボット機械学習制御装置に学習させる機械学習方法であって、  現実空間において前記対象物で強化学習させる現実学習プロセスと、  シミュレーション空間において、前記対象物を疑似的にシミュレートした疑似対象物で、強化学習させるシミュレーション学習プロセスとからなり、  前記疑似対象物が、前記対象物が有する変動パラメータを有することを特徴とする機械学習方法。
【請求項２】
請求項１に記載の機械学習方法であって、
前記粉体又は粒体の前記変動パラメータが、前記対象物の安息角を含む
ことを特徴とする機械学習方法。
【請求項３】
請求項２に記載の機械学習方法であって、
前記粉体又は粒体の前記変動パラメータが、前記対象物の温度および／または湿度に応じた複数の安息角を含む
ことを特徴とする機械学習方法。
【請求項４】
請求項１に記載の機械学習方法であって、
前記粉体又は粒体の前記変動パラメータが、前記対象物の粒子間摩擦係数である
ことを特徴とする機械学習方法。
【請求項５】
請求項４に記載の機械学習方法であって、
前記粉体又は粒体の前記変動パラメータが、前記対象物の温度および／または湿度に応じた複数の粒子間摩擦係数を含む
ことを特徴とする機械学習方法。
【請求項６】
請求項１に記載の機械学習方法であって、
前記流体の前記変動パラメータが、前記対象物の粘度である又は動粘度である
ことを特徴とする機械学習方法。
【請求項７】
請求項１乃至６のいずれかに記載の機械学習方法で学習されたロボット機械学習制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、容器に大容量で入った粉体、粒体又は流体を、別の容器に定められた量だけすくい出して小分けする動作をロボットに学習させる機械学習方法、およびロボット機械学習制御装置に関する。
【背景技術】
【０００２】
＜背景技術の説明−１＞  従前より、乱雑に置かれた複数のワークを、ワーク毎の三次元マップを演算して算出した指令量でロボットを操作して、ハンドで取り出し、ワーク毎の三次元マップおよび取り出し動作の結果を関連付けながら、機械学習する装置が知られている（特許文献１参照）。  
【０００３】
＜背景技術の説明−２＞  特許文献１には、複数のワークからハンドによってワークを取り出すロボット、ワーク毎の三次元マップを取得する三次元計測器の出力データを含むロボットの状態量を観測する状態量観測部、ロボットの取り出し動作の結果を取得する動作結果取得部、取り出し動作をロボットに指令する指令データが記載されており、状態量および取り出し動作の結果に関連付けて指令データを含む操作量を学習するシステムを備えている。  
【０００４】
＜要望される技術＞  しかしながら、粉体、粒体又は流体は特許文献１に記載されたようなワークと異なり定型性がなく、粉体、粒体又は流体の小分け取り出し動作には、定量性が求められるという問題があり、これらの問題を解決する技術が要望されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−３０１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
＜背景技術の課題＞  そこで、本発明は、このような事情に鑑みてなされたものであり、その目的は、容器に大容量で入った粉体、粒体又は流体を、別の容器に定められた量だけすくい出して小分けする動作をロボットに学習させる機械学習方法、およびロボット機械学習制御装置を提供することにある。
【課題を解決するための手段】
【０００７】
＜請求項１の内容＞  このような目的を達成するため、本発明は、以下の構成によって把握される。（１）本発明は、多軸ロボットとその先端に設置された取出し手段とを用いて第一の容器から対象物である粉体、粒体又は流体を定められた量だけ第二の容器にすくい出す動作をロボット機械学習制御装置に学習させる機械学習方法であって、  現実空間において（多軸ロボット、取出し手段、第一の容器、第二の容器、および）対象物で強化学習させる現実学習プロセスと、  シミュレーション空間において、（多軸ロボット、取出し手段、第一の容器、第二の容器を疑似的にシミュレートした疑似多軸ロボット、疑似取出し手段、疑似第一の容器、疑似第二の容器）対象物を疑似的にシミュレートした疑似対象物で、強化学習させるシミュレーション学習プロセスとからなり、  疑似対象物が、対象物が有する変動パラメータを有することを特徴とする機械学習方法である。  
【０００８】
＜請求項２の内容＞（２）本発明は、上記（１）の構成において、  粉体又は粒体の変動パラメータが、対象物の安息角を含むことを特徴とするものである。  
【０００９】
＜請求項３の内容＞（３）本発明は、上記（２）の構成において、  粉体又は粒体の変動パラメータが、対象物の温度および／または湿度に応じた複数の安息角を含むことを特徴とするものである。  
【００１０】
＜請求項４の内容＞（４）本発明は、上記（１）の構成において、  粉体又は粒体の変動パラメータが、対象物の粒子間摩擦係数であることを特徴とするものである。  
【００１１】
＜請求項５の内容＞（５）本発明は、上記（４）の構成において、  粉体又は粒体の変動パラメータが、対象物の温度および／または湿度に応じた複数の粒子間摩擦係数を含むことを特徴とするものである。  
【００１２】
＜請求項６の内容＞（６）本発明は、上記（１）の構成において、  流体の変動パラメータが、対象物の粘度又は動粘度である。  
【００１３】
＜請求項７の内容＞（７）本発明は、上記（１）〜（６）のいずれかに記載の機械学習方法で学習されたロボット機械学習制御装置である。
【発明の効果】
【００１４】
本発明によれば、容器に大容量で入った粉体、粒体又は流体を、別の容器に定められた量だけすくい出して小分けする動作をロボットに学習させる機械学習方法、およびロボット機械学習制御装置を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る機械学習方法の概念的な構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
＜実施形態の説明−１＞  以下、添付図面を参照して、本発明を実施するための形態（以下、「実施形態」と称する）について詳細に説明する。実施形態の説明の全体を通して同じ要素には同じ符号を付している。  
【００１７】
＜実施形態の説明−２＞  まず、本発明における機械学習方法を、図１に基づいて説明する。  
【００１８】
＜対象物＞  本発明における粉体、粒体又は流体とは、砂糖、食塩、有機酸塩、粉末香辛料などの粉体、穀類、豆類、みじん切りされた野菜などの粒体、水、油、酢、卵黄、醤油などの流体であり、味噌、餡子など粘性を有する粘性体も流体に含む。これら粉体、粒体又は流体は定型性がないため、食品製造時に調合する場合、定量的に計量して調合する必要がある。しかし、少量多品種の食品を製造する場合は、材料も物性も多岐にわたるため、計量の自動化が難しく、人間が計量することが多い。  
【００１９】
＜多軸ロボット＞  現実空間Ｂにおける多軸ロボットとは、ヒト型に限らず、垂直多関節ロボット、水平多関節ロボット、直交ロボット、パラレルリンクロボットなど産業用ロボットを指す。特に、低出力で６軸以上の垂直多関節ロボットは、人間の作業エリアで動作させても危険性がなく、かつ、多品種の食品製造現場などでは従来の作業環境を維持したまま人間の作業を代替することが可能となるので好ましい。  また多軸ロボットは、ＲＯＳ（Ｒｏｂｏｔ  Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）に対応するものが好ましい。ＲＯＳ対応の多軸ロボットであれば、異なるメーカーの機種に変更することも容易となる。ＲＯＳ非対応の多軸ロボットには、座標軸変換行列、動作速度変換行列および動作角度変換行列を含むドライバレイヤーを後述のロボット機械学習制御装置に組み込むことで、ＲＯＳ対応の多軸ロボットと同様に取り扱うことが可能となる。  
【００２０】
＜取出し手段＞  本発明における多軸ロボットの先端には、粉体、粒体又は流体といった対象物の取出し手段が備え付けられている。取出し手段としては、スプーン、しゃもじ、カップといった粉体、粒体又は流体をすくい出せるものであればよい。  取出し手段には、ロードセルなど精密だが動作を停止させて計量する計量機能はないが、多軸ロボットのアクチュエータ負荷の即時集計機能はあってもよい。多軸ロボットのアクチュエータ負荷の即時集計機能を有することで、取出し手段がすくい出そうとした対象物の量を加味してフィードバック制御させることが可能となる。  また取出し手段には、量制御機能があることが好ましい。量制御機能とは、スプーンやカップであれば、深さや形状をアクチュエータで変化させて容積を変動させる機構であり、しゃもじであれば、対象物が取出されるしゃもじの面積を変動させる機構である。量制御機能を有することで、１回の取り出し量を任意に変化させることが可能となる。またスプーンやカップであれば、すりきり動作を可能にでき、１回の取り出し量の定量性を向上できる。  
【００２１】
＜容器＞  本発明における粉体、粒体又は流体を入れる容器は、バット、バケツ、ペール缶、ドラム缶、袋など既存の容器であればよい。  第一の容器としては、特に限定されるものではないが、容器の底部が傾斜しているものがより好ましい。傾斜していることで、粉体、粒体又は流体が最深部に集まりやすく、取り出し手段の動作の学習時間が短くできる。また底部が平面である容器であっても、予め容器自体を水平に設置せずに傾斜させておくことで、容器の底部を傾斜させることも可能である。  第二の容器の直下には、計量装置を設置し、実測計量結果３ｂを得る。  
【００２２】
＜定められた量＞  本発明における定められた量とは、食品等製造にあたり、レシピに記載された量を示す。取り出し手段は、１回で定められた量を取り出すこともあれば、複数回にわたって取り出すことで、合計取り出し量として定められた量を取り出すこともある。  
【００２３】
＜ロボット機械学習制御装置＞  本発明におけるロボット機械学習制御装置とは、学習プロセスと運転プロセスとで異なる機構が動作する。また学習プロセスも、後述の現実学習プロセスとシミュレーション学習プロセスとからなる。  学習プロセスにおける本発明におけるロボット機械学習制御装置は、定められた範囲の中で（現実学習プロセスにおける）多軸ロボットまたは（シミュレーション学習プロセスにおける）後述の疑似多軸ロボットに対して動作シーケンスを生み出す動作シーケンス生成機構と、（現実学習プロセスにおける）実測量結果または（シミュレーション学習プロセスにおける）後述の演算測量結果を得る測量機構と、測量結果と定められた量との差分がより小さいことをより好ましい成果報酬としてフィードバックする報酬フィードバック機構とからなる。  運転プロセスにおける本発明におけるロボット機械学習制御装置は、少なくとも動作シーケンス生成機構からなるが、運転プロセスにおいても継続して現実空間Ｂで実測量結果を得る測量機構と報酬フィードバック機構を動作させて運転と同時に学習を行ってもよい。  
【００２４】
＜動作シーケンス生成機構＞  本発明における動作シーケンス生成機構とは、少なくとも限定的乱数発生器、後述する学習データからなる。また後述の通り変動パラメータを環境条件に応じて複数保有する場合は、環境条件収集器も含まれる。  限定的乱数発生器は、動作シーケンスを生成するときに用いられ、まだ学習回数が少ない段階では、動作シーケンスに占める割合を高くし、学習データが部分最適解に陥ることを防止し、学習回数が多くなってきた段階では、動作シーケンスに占める割合を低くし、無用に学習回数が増えることを防止する。  
【００２５】
＜現実学習プロセス＞  本発明における現実学習プロセスとは、現実空間Ｂにおいて、多軸ロボットに対して動作シーケンスを生み出す動作シーケンス生成機構、実測量結果の測量機構、報酬フィードバック機構とからなり、現実学習プロセスの学習結果は学習データに蓄積される。  
【００２６】
＜疑似多軸ロボットおよび疑似取出し手段＞  本発明における疑似多軸ロボットとは、現実空間Ｂにおける多軸ロボットをシミュレーション空間Ａに配置したソリッドモデルであり、疑似取り出し手段とは、同じく現実空間Ｂにおける取出し手段をシミュレーション空間Ａに配置したソリッドモデルであり、ひとつの動作シーケンスに対して現実空間Ｂとシミュレーション空間Ａとではロボットの動作に差がないように模したものである。  
【００２７】
＜疑似対象物＞  本発明における疑似対象物とは、現実空間Ｂにおける対象物をシミュレーション空間Ａに配置した粒子シミュレーションモデルを指し、現実空間Ｂにおける対象物の変動パラメータを有することで対象物の挙動と疑似対象物の挙動が近似できるように模したものである。疑似対象物は、現実空間Ｂにおける第一の容器をシミュレーション空間Ａに配置したソリッドモデル（疑似第一の容器）内に配置され、疑似多軸ロボットおよび疑似取出し手段の動作によってシミュレーション空間Ａ内で取出され、現実空間Ｂにおける第二の容器をシミュレーション空間Ａに配置したソリッドモデル（疑似第二の容器）内に小分けされる。  
【００２８】
＜変動パラメータ＞  本発明における変動パラメータとは、現実空間Ｂにおける対象物の物理パラメータであり、対象物が粉・粒体である場合においては少なくとも安息角または粒子間摩擦係数を含み、対象物が流体である場合においては少なくとも粘度又は動粘度を含む。また変動パラメータは、環境条件によって異なるパラメータを利用した方が対象物の挙動と疑似対象物の挙動の差が小さく、つまりシミュレーション精度が高くなる。環境条件としては、少なくとも温度または湿度を指す。  
【００２９】
＜安息角＞  本発明における安息角とは、対象物が粉・粒体である場合、対象物をコンベアなどから連続的に積み上げた時に、崩れることなく安定を保つ斜面の角度の最大角をいう。後述の粒子間摩擦係数を加味した粒子シミュレーションモデルによってシミュレーション可能であるが、粒子間摩擦係数を加味していない粒子シミュレーションでは安息角を生じず、粉・粒体をすくい出す動作をシミュレーション空間Ａ内でロボット機械学習制御装置に学習させることはできない。  また安息角は、環境条件によっても異なることがあり、特に温度および／または湿度に応じた複数の安息角を変動パラメータとして持つことが好ましく、湿気た砂糖などをすくい出す場合には異なる動作をロボット機械学習制御装置に学習させることが可能となる。  
【００３０】
＜シミュレーション学習プロセス＞  本発明におけるシミュレーション学習プロセスとは、シミュレーション空間Ａ内において、疑似多軸ロボットに対して動作シーケンスを生み出す動作シーケンス生成機構、演算測量結果の測量機構、報酬フィードバック機構とからなり、シミュレーション学習プロセスの学習結果は学習データに蓄積される。  現実学習プロセスにおける学習では、対象物、容器、多軸ロボットなどを準備して学習させる必要があり、学習させるにも人手を要することが多い。しかしシミュレーション学習プロセスを用いると、１回の学習後に疑似対象物の位置情報をリセットすることが容易となり、シミュレーション空間Ａ内で継続的にロボット機械学習制御装置に学習させることが可能となる。  
【００３１】
＜演算測量結果＞  本発明における演算測量結果とは、疑似多軸ロボットおよび疑似取出し手段を用いて、疑似第一の容器に配置された疑似対象物をすくい出し、疑似第二の容器に小分けした量を算出した結果を示す。疑似対象物は粒子シミュレーションモデルであり、それ以外の疑似多軸ロボット、疑似取出し手段、疑似第一の容器、および疑似第二の容器はソリッドモデルである。ソリッドモデルの動きに応じて、粒子シミュレーションモデルである疑似対象物の動きを測量機構で演算することで、演算測量結果が得られる。  
【００３２】
＜学習データ＞  本発明における学習データとは、定められた量と変動パラメータとに対して動作シーケンスを返す、多段階ニューラルネットワークからなる関数である。学習プロセスにおいて、学習データは、定められた量、変動パラメータ、動作シーケンスに対して、得られた測量結果と定められた量との差が小さくなるようバックプロパゲーションをかけて関数内の変数を修正（学習）していく。  なお、まったく学習プロセスを経ていないときの学習データは、乱数により生成する。  
【００３３】
＜実施形態の効果−１＞  以上、説明した実施形態の効果について述べる。  実施形態のシミュレーション空間Ａにおいて、動作シーケンス生成機構から生じた動作シーケンスに従って、疑似多軸ロボットおよび疑似取出し手段が動作し、疑似対象物をすくい出すことができる。測量機構によりすくい出された演算測量結果が得られ、演算測量結果と定められた量の差分に応じて報酬フィードバック機構により学習データが修正される。  以上、シミュレーション空間Ａにおいて学習プロセスを繰り返すことで、人を介在させずに学習データを効率的に修正することができる。  
【００３４】
＜実施形態の効果−２＞  実施形態の現実空間Ｂにおいて、動作シーケンス生成機構から生じた動作シーケンスに従って、多軸ロボットおよび取出し手段が動作し、対象物をすくい出すことができる。測量機構によりすくい出された実測量結果が得られ、実測量結果と定められた量の差分に応じて報酬フィードバック機構により学習データが修正される。  以上、現実空間Ｂにおいて学習プロセスを繰り返すことで、シミュレーション空間Ａ内では修正できなかった精緻な学習データの修正ができる。  
【００３５】
＜実施形態の効果−３＞  実施形態のシミュレーション空間Ａにおいて、現実空間Ｂの対象物が有する変動パラメータを疑似対象物に与えることで、演算測量結果と実測量結果の差を小さくし、シミュレーション学習プロセスにおいて現実学習プロセスに近い学習データの修正ができる。  
【００３６】
＜実施形態の効果−４＞  実施形態の学習データは、シミュレーション学習プロセスと現実学習プロセスとで学習データを修正することで、人が介在する時間を少なくしながらも、学習プロセスの繰り返し回数を高くすることが可能となり、効率的に、粉体、粒体又は流体を定められた量だけすくい出す動作をロボット機械学習制御装置に学習させることが可能となる。  
【００３７】
＜変形例の構成−１＞  また、上記実施形態では、対象物である粉体又は粒体の変動バラメータとして安息角および／または粒子間摩擦係数を含んでいてもよい。このような場合は、現実空間に近い粒子シミュレーションモデルが可能となり、学習効率がさらに高まる。  
【００３８】
＜変形例の構成−２＞  また、上記実施形態では、対象物である流体の変動バラメータとして粘度又は動粘度を含んでいてもよい。このような場合は、例えば味噌など取り出し手段に貼りつくような対象物であっても、現実空間に近い粒子シミュレーションモデルが可能となり、学習効率がさらに高まる。  
【００３９】
＜変形例の構成−３＞  また、上記実施形態では、温度および／または湿度といった環境条件に応じた変動パラメータを複数含んでいてもよい。種々の環境条件に対して効率的に学習させることで、砂糖のように温度や湿度により性情が異なってくる粉・粒体に対しても、環境条件に応じた動作シーケンスを生成することが可能となる。  
【００４０】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 
【図１】
2019098419.tif 000003