(57)【要約】【課題】生産設備で発生する生産異常の異常発生原因の特定をリアルタイムで容易に行える生産システムを提供すること。【解決手段】生産システム１０は、生産設備１１と、生産設備１１における生産映像を取得する映像取得装置１２と、機械学習で生成される学習済みモデル、及び映像取得装置１２で取得する生産映像に基づいて、生産設備１１で発生する生産異常を解析する異常解析装置１４と、を備える。異常解析装置１４は、映像取得装置１２で取得する新たな生産映像を検証し、学習済みモデルを参照することで、生産設備１１で発生した生産異常を推定する異常推定部４２１と、異常推定部４２１で推定する少なくとも２以上の生産異常に基づいて異常発生原因を判断する異常判断部４２２と、異常判断部４２２で判断する異常発生原因についての異常対処を提案する対処提案部４２３とを備える。【選択図】図２
2022002042.tif 000002
【特許請求の範囲】
【請求項１】
生産設備と、
前記生産設備における生産映像を取得する映像取得装置と、
前記映像取得装置で取得する前記生産映像を説明変数とし、前記生産映像に含まれる生産異常の異常箇所と異常内容とを目的変数とする機械学習で生成される学習済みモデル、及び前記映像取得装置で取得する前記生産映像に基づいて、前記生産設備で発生する生産異常を解析する異常解析装置と、
を備え、
前記異常解析装置は、
前記映像取得装置で取得する新たな生産映像を検証し、前記学習済みモデルを参照することで、前記生産設備で発生した生産異常を推定する異常推定部と、
前記異常推定部で推定する少なくとも２以上の前記生産異常に基づいて異常発生原因を判断する異常判断部と、
前記異常判断部で判断する前記異常発生原因についての異常対処を提案する対処提案部と、
を備える、生産システム。
【請求項２】
前記映像取得装置は、前記生産設備における複数の異なる場所における生産映像をそれぞれ取得する、請求項１に記載の生産システム。
【請求項３】
前記異常解析装置は、さらに、
前記対処提案部で提案する前記異常対処に対する作業者の行動を分析する行動分析部と、
前記行動分析部で分析する前記作業者の行動により、前記異常判断部で判断する前記異常発生原因が解消した場合、前記対処提案部で提案する前記異常対処を良と評価する対処評価部と、
を備える、請求項１又は２に記載の生産システム。
【請求項４】
前記対処提案部は、複数の前記異常対処を提案し、
前記行動分析部は、前記複数の異常対処に対する前記作業者の行動を分析し、
前記対処評価部は、前記複数の作業者の行動に対する前記複数の異常対処の良否をレベル分けして評価する、請求項３に記載の生産システム。
【請求項５】
前記異常解析装置は、さらに、
前記対処評価部で評価する前記異常対処の良否に基づいて、前記異常推定部、前記異常判断部及び前記対処提案部を更新する更新部、を備える、請求項３又は４に記載の生産システム。
【請求項６】
前記生産システムは、さらに、
前記作業者の視界情報を取得する情報取得装置を備え、
前記行動分析部は、前記情報取得装置で取得する前記視界情報に基づいて前記作業者の行動を分析する、請求項３−５の何れか一項に記載の生産システム。
【請求項７】
前記情報取得装置は、拡張現実の技術を用いた眼鏡型の装置である、請求項６に記載の生産システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生産システムに関する。
【背景技術】
【０００２】
生産システムにおいては、工作機械等の生産設備で部品の生産等が行われる。このような生産システムでは、生産設備に生産異常が発生すると、部品の加工不良や生産性の低下等を招くことになる。そこで、例えば、下記特許文献１には、現在の生産設備の内部情報を設備信号等で取得して予め記憶している内部情報と比較し、生産設備で発生している生産異常を検知する装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１３４７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の生産システムとは異なる生産システムとしては、生産設備にカメラを設けたものがある。この生産システムでは、生産設備の生産異常が発生する前後の生産映像をカメラで録画しておく。そして、作業者が、録画した生産映像を見て再現テストを行うことで、生産異常の異常発生原因を特定する。しかし、作業者による生産異常の異常発生原因を特定する作業は、タイムラグがあるとともに非常に手間が掛かるという問題がある。
【０００５】
本発明は、生産設備で発生する生産異常の異常発生原因の特定をリアルタイムで容易に行える生産システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る生産システムは、生産設備と、前記生産設備における生産映像を取得する映像取得装置と、前記映像取得装置で取得する前記生産映像を説明変数とし、前記生産映像に含まれる生産異常の異常箇所と異常内容とを目的変数とする機械学習で生成される学習済みモデル、及び前記映像取得装置で取得する前記生産映像に基づいて、前記生産設備で発生する生産異常を解析する異常解析装置と、を備え、前記異常解析装置は、前記映像取得装置で取得する新たな生産映像を検証し、前記学習済みモデルを参照することで、前記生産設備で発生した生産異常を推定する異常推定部と、前記異常推定部で推定する少なくとも２以上の前記生産異常に基づいて異常発生原因を判断する異常判断部と、前記異常判断部で判断する前記異常発生原因についての異常対処を提案する対処提案部と、を備える。
【０００７】
この生産システムによれば、生産設備の生産映像を検証し、機械学習で生成される学習済みモデルを参照することで、発生した生産設備の生産異常を推定して異常発生原因を判断している。よって、生産設備で発生する生産異常の異常発生原因の特定をリアルタイムで容易に行える。そして、生産設備を長時間停止する必要がないので、稼働率を向上できる。さらに、特定する異常発生原因についての異常対処を提案するので、生産異常の復旧を的確に行える。
【図面の簡単な説明】
【０００８】
【図１】生産システムの構成を示す図である。
【図２】生産システムの異常解析装置を示すブロック図である。
【図３Ａ】映像取得装置のロースペックカメラで取得する生産映像を示す第一の図である。
【図３Ｂ】映像取得装置のロースペックカメラで取得する生産映像を示す第二の図である。
【図４Ａ】映像取得装置のハイスピードカメラで取得する生産映像を示す第一の図である。
【図４Ｂ】映像取得装置のハイスピードカメラで取得する生産映像を示す第二の図である。
【図５】映像取得装置のハイスピードカメラで取得する生産映像を示す第三の図である。
【図６】映像取得装置の３Ｄカメラで取得する生産映像を示す第一の図である。
【図７】映像取得装置の３Ｄカメラで取得する生産映像を示す第二の図である。
【図８】生産異常が発生したときの映像取得装置のロースペックカメラで取得する生産映像を示す図である。
【図９】生産異常が発生したときの映像取得装置のハイスピードカメラで取得する生産映像を示す第一の図である。
【図１０】生産異常が発生したときの映像取得装置のハイスピードカメラで取得する生産映像を示す第二の図である。
【図１１】生産異常が発生したときの映像取得装置の３Ｄカメラで取得する生産映像を示す第一の図である。
【図１２】生産異常が発生したときの映像取得装置の３Ｄカメラで取得する生産映像を示す第二の図である。
【図１３】異常解析装置による学習済みモデルの生成処理を説明するための図である。
【図１４】異常解析装置による生産異常の解析処理を説明するための図である。
【発明を実施するための形態】
【０００９】
（１．生産システム１０の構成）
図１に示すように、本実施形態の生産システム１０は、生産設備１１と、映像取得装置１２と、情報取得装置１３と、異常解析装置１４を備える。生産設備１１は、例えば、部品となる素材を搬入して部品に加工するための設備であり、一般的なコンベア１１１、ロボットアーム１１２、マシニングセンタ１１３等を備える設備である。なお、生産設備１１としては、上記構成に限定されるものではない。
【００１０】
コンベア１１１は、部品となる素材を外部からロボットアーム１１２まで搬入し、また、ロボットアーム１１２から受け渡される加工された部品を外部に搬出する設備である。ロボットアーム１１２のアームは、コンベア１１１で搬入されてくる素材を取り上げてマシニングセンタ１１３の主軸に取り付け、また、マシニングセンタ１１３の主軸から取り外した部品をコンベア１１１に受け渡す設備である。マシニングセンタ１１３は、ロボットアーム１１２のアームで取り付けられた素材に対し、加工用工具で研削加工等を行って部品に加工する設備である。
【００１１】
映像取得装置１２は、生産設備１１における生産映像、例えば、素材の搬入状態や部品の加工状態等の動画を撮像して取得するための装置であり、一般的なＣＭＯＳセンサやＣＣＤセンサを用いたロースペックカメラ１２１、ハイスピードカメラ１２２、３Ｄ（3Dimension）カメラ１２３等を備える。映像取得装置１２は、タイムスタンプで画像を分類して纏める。
【００１２】
本例では、ロースペックカメラ１２１は、コンベア１１１の上方に配置される。そして、搬入される素材に付着する異物を検知するための動画、搬入されるパレット上の素材の有無を検知するための動画、搬出される部品に付着する異物を検知するための動画、搬出される部品の形状を検知するための動画等を撮影するビデオカメラである。
【００１３】
ハイスピードカメラ１２２は、マシニングセンタ１１３の主軸の上方に配置される。そして、ロボットアーム１１２のアームで主軸に素材を取り付けるときの向きや角度を検知するための動画、主軸に取り付けられる素材を加工するときの切粉の飛び方を検知するための動画等を高速度撮影するビデオカメラである。また、自動工具交換装置で工具主軸に加工用工具の取り付けるときの向きや角度を検知するための動画、加工中の加工用工具の工具刃の状態を検知するための動画等を高速度撮影するビデオカメラである。
【００１４】
３Ｄカメラ１２３は、ロボットアーム１１２の上方に配置される。そして、作業者による工具主軸への加工用工具の取り付け作業を検知するための動画、作業者によるロボットアーム１１２のメンテナンス作業を検知するための動画等を３Ｄ撮影するビデオカメラである。３Ｄカメラ１２３は、作業者をドットの集合体で表し、レーザ光を作業者に照射したときの反射光でドットの３次元直交座標を認識して映像を作成する。この３Ｄカメラ１２３によれば、作業者の行動は、ドット間の距離やドットの動きを検出することで認識できる。
【００１５】
情報取得装置１３は、例えば、作業者の視界情報を取得する装置であり、一般的な拡張現実（ＡＲ）の技術を用いた眼鏡型の装置である。情報取得装置１３は、作業者が装着することで、作業者の眼前に存在する物体認識情報、作業者の手の動きによる作業（行動）認識情報、作業者の視線の動きを追跡して分析するアイトラッキングによる視点情報等を取得する。
【００１６】
異常解析装置１４は、映像取得装置１２で取得する生産映像や、情報取得装置１３で取得する物体認識情報、作業（行動）認識情報、視点情報等に基づいて、機械学習により生産設備１１で発生する生産異常を解析するための装置である。
【００１７】
異常解析装置１４は、第一サーバ１４１及び第二サーバ１４２を備える。第一サーバ１４１及び第二サーバ１４２は、映像取得装置１２と有線（無線でもよい）により、情報取得装置１３と無線（有線でもよい）により、通信可能に設けられる。第一サーバ１４１は、機械学習における学習フェーズとして機能する。第一サーバ１４１は、取得した説明変数データ及び目的変数データでなる訓練データセットを用いた機械学習により学習済みモデルを生成して記憶する。
【００１８】
すなわち、第一サーバ１４１は、映像取得装置１２からの生産映像を説明変数データとして取得し、生産映像に含まれる生産異常の異常箇所と異常内容とを目的変数データとして取得し、これらのデータでなる訓練データセットを教師データとして記憶する。なお、第一サーバ１４１における機械学習は、教師あり学習の場合を例に挙げて説明するが、他の機械学習アルゴリズムを適用することも可能である。
【００１９】
また、第一サーバ１４１は、例えば、ＰＬＣ（Programmable Logic Controller）１５を介してコンベア１１１、ロボットアーム１１２、マシニングセンタ１１３から設備信号を取得し、この設備信号から生産異常の異常箇所及び異常内容を認識するようにしてもよい。設備信号から認識する生産異常の異常箇所及び異常内容と、生産映像から認識する生産異常の異常箇所及び異常内容を比較することにより、認識精度を高めて学習済みモデルの学習精度を向上させることができ、学習済みモデルの高精度化を図ることができる。
【００２０】
第二サーバ１４２は、機械学習における推論フェーズとして機能する。第二サーバ１４２は、映像取得装置１２からの生産映像のデータを入力データとして取得し、第一サーバ１４１により生成され記憶された学習済みモデルを用いて、生産設備１１で発生する生産異常を解析して出力データとして出力する。
【００２１】
ここで、本例では、第一サーバ１４１と第二サーバ１４２とは、別装置として説明するが、同一装置によって構成することも可能である。また、第一サーバ１４１及び第二サーバ１４２は、複数の生産設備１１、映像取得装置１２及び情報取得装置１３とネットワーク接続する構成としてもよい。
【００２２】
また、図示を省略するが、複数の生産設備１１の各々に対して、第二サーバ１４２を配置することもできる。即ち、複数の生産設備１１の各々に対して配置された第二サーバ１４２は、第一サーバ１４１により生成された学習済みモデルを用いて、対応する生産設備１１で発生する生産異常を解析するようにしても良い。
【００２３】
（２．異常解析装置１４の詳細構成）
次に、図２を参照しながら、異常解析装置１４（第一サーバ１４１及び第二サーバ１４２）の詳細構成を説明する。図２に示すように、第一サーバ１４１は、説明変数データ取得部４１１、目的変数データ取得部４１２、訓練データセット記憶部４１３、学習済みモデル生成部４１４及び学習済みモデル記憶部４１５を備える。
【００２４】
説明変数データ取得部４１１は、映像取得装置１２からの生産映像を説明変数データとして取得する。具体的には、例えば図３Ａ及び図３Ｂに示すように、説明変数データ取得部４１１は、ロースペックカメラ１２１からの生産映像ＬＶとして、コンベア１１１においてパレットＰＬ上に載置される素材ｍを搬入するときの様子や、パレットＰＬ上に載置される部品ｐを搬出するときの様子を示す映像を説明変数データとして取得する。なお、図示矢印は、コンベア１１１の搬送方向を示す。
【００２５】
また、例えば図４Ａ及び図４Ｂに示すように、説明変数データ取得部４１１は、ハイスピードカメラ１２２からの生産映像ＨＶとして、マシニングセンタ１１３の主軸１１３ａに対し、ロボットアーム１１２のアーム１１２ａで素材ｍを取り付けるときの様子や、部品ｐを取り外すときの様子を示す映像を説明変数データとして取得する。なお、図示矢印は、アーム１１２ａの移動方向を示す。
【００２６】
また、例えば図５に示すように、説明変数データ取得部４１１は、ハイスピードカメラ１２２からの生産映像ＨＶとして、マシニングセンタ１１３の主軸１１３ａに取り付けられた素材ｍに対し、工具主軸１１３ｂに取り付けられた加工用工具Ｔで加工するときの様子を示す映像を説明変数データとして取得する。なお、図示矢印は、素材ｍの回転方向及び加工用工具Ｔの送り方向を示す。
【００２７】
また、例えば図６に示すように、説明変数データ取得部４１１は、３Ｄカメラ１２３からの生産映像ＤＶとして、作業者Ｗがマシニングセンタ１１３の自動工具交換装置のマガジン１１３ｃに加工用工具Ｔをセットする作業の様子を示す映像を説明変数データとして取得する。また、例えば図７に示すように、説明変数データ取得部４１１は、３Ｄカメラ１２３からの生産映像ＤＶとして、作業者Ｗがロボットアーム１１２をメンテナンスする作業の様子を示す映像を説明変数データとして取得する。
【００２８】
目的変数データ取得部４１２は、映像取得装置１２からの生産映像に含まれる生産異常の異常箇所と異常内容とを目的変数データとして取得する。具体的には、例えば図８に示すように、ロースペックカメラ１２１の生産映像ＬＶが、コンベア１１１で連続的に搬出される部品ｐを撮像したものであるとする。なお、図示矢印は、コンベア１１１の搬送方向を示す。この場合、目的変数データ取得部４１２は、当該生産映像ＬＶから正規の部品ｐの部品形状とは異なる部品形状の部品ｐｐが出現したことを認識したら、以下の２種類の目的変数データを取得する。
【００２９】
すなわち、目的変数データ取得部４１２は、１種類目として、マシニングセンタ１１３を異常箇所とし、マシニングセンタ１１３の加工用工具Ｔによる上記部品形状が異なる部品ｐｐに対応する素材ｍの加工工程を異常内容とする目的変数データを取得する。また、２種類目として、ロボットアーム１１２を異常箇所とし、ロボットアーム１１２のアーム１１２ａによるマシニングセンタ１１３の主軸１１３ａに対する上記部品形状が異なる部品ｐｐに対応する素材ｍの取り付け工程を異常内容とする目的変数データを取得する。
【００３０】
また、例えば図９に示すように、ハイスピードカメラ１２２の生産映像ＨＶが、上記部品形状が異なる部品ｐｐに対応する素材ｍをマシニングセンタ１１３の主軸１１３ａに取り付ける際のロボットアーム１１２のアーム１１２ａを撮像したものであるとする。なお、図示矢印は、アーム１１２ａの移動方向を示す。
【００３１】
この場合、目的変数データ取得部４１２は、当該生産映像ＨＶからロボットアーム１１２のアーム１１２ａにおける図示実線と図示一点鎖線の周期の振動発生を認識したら、ロボットアーム１１２のアーム１１２ａを異常箇所とし、ロボットアーム１１２のアーム１１２ａによるマシニングセンタ１１３の主軸１１３ａに対する上記部品形状が異なる部品ｐｐに対応する素材ｍの取り付け工程を異常内容とする目的変数データを取得する。
【００３２】
また、例えば図１０に示すように、ハイスピードカメラ１２２の生産映像ＨＶが、マシニングセンタ１１３の主軸１１３ａに取り付けられた上記部品形状が異なる部品ｐｐに対応する素材ｍを加工する加工用工具Ｔを撮像したものであるとする。なお、図示矢印は、素材ｍの回転方向及び加工用工具Ｔの送り方向を示す。この場合、目的変数データ取得部４１２は、当該生産映像ＨＶから切粉Ｃの飛び方に異常が発生していることを認識したら、マシニングセンタ１１３の工具主軸１１３ｂを異常箇所とし、工具主軸１１３ｂに取り付けられた加工用工具Ｔによる上記部品形状が異なる部品ｐｐに対応する素材ｍの加工工程を異常内容とする目的変数データを取得する。
【００３３】
また、例えば図１１に示すように、３Ｄカメラ１２３の生産映像ＤＶが、作業者Ｗがマシニングセンタ１１３の自動工具交換装置のマガジン１１３ｃに加工用工具Ｔをセットする作業を撮像したものであるとする。この場合、目的変数データ取得部４１２は、作業者Ｗの不適切な手の動きを認識したら、マシニングセンタ１１３の自動工具交換装置のマガジン１１３ｃを異常箇所とし、マシニングセンタ１１３の自動工具交換装置のマガジン１１３ｃに対する加工用工具Ｔのセット工程を異常内容とする目的変数データを取得する。
【００３４】
また、例えば図１２に示すように、３Ｄカメラ１２３の生産映像ＤＶが、作業者Ｗがロボットアーム１１２のアーム１１２ａをメンテナンスする作業を撮像したものであるとする。この場合、目的変数データ取得部４１２は、作業者Ｗの不適切な手の動きを認識したら、ロボットアーム１１２のアーム１１２ａを異常箇所とし、ロボットアーム１１２のアーム１１２ａのメンテナンス作業工程を異常内容とする目的変数データを取得する。
【００３５】
また、目的変数データ取得部４１２は、生産設備１１からＰＬＣ１５を介して取得する設備信号に該当する生産異常の異常箇所及び異常内容を認識して説明変数データとして取得する。具体的には、設備信号がロボットアーム１１２からのアーム動作不良信号である場合、ロボットアーム１１２のアームを異常箇所とし、ロボットアーム１１２のアーム１１２ａのメンテナンス作業工程を異常内容とする目的変数データを取得する。
【００３６】
説明変数データ取得部４１１及び目的変数データ取得部４１２は、取得する説明変数データ及び目的変数データを訓練データセットとして訓練データセット記憶部４１３に記憶する。学習済みモデル生成部４１４は、訓練データセット記憶部４１３に記憶される訓練データセットで機械学習を行う。これにより、学習済みモデル生成部４１４は、生産映像と生産異常の異常箇所及び異常内容に関する学習済みモデルを生成し、学習済みモデル記憶部４１５に記憶する。
【００３７】
第二サーバ１４２は、異常推定部４２１、異常判断部４２２、対処提案部４２３、行動分析部４２４、対処評価部４２５及び更新部４２６を備える。異常推定部４２１は、映像取得装置１２で取得する新たな生産映像を検証し、学習済みモデル記憶部４１５に記憶された学習済みモデルを参照することで、生産設備１１で発生した生産異常を推定する。なお、異常推定部４２１は、推定した生産異常を第二サーバ１４２等に備えられる表示装置（図示せず）に表示するようにしてもよい。
【００３８】
具体的には、異常推定部４２１は、例えば図８に示すロースペックカメラ１２１の生産映像ＬＶを取得した場合、コンベア１１１で連続的に搬出される部品ｐの画像を搬出順に比較検証する。そして、現部品ｐｐの部品形状が前部品ｐの部品形状とは異なる形状になったことを認識したら、学習済みモデル記憶部４１５の学習済みモデルを参照し、異常箇所及び異常内容を推定する。
【００３９】
この場合、異常推定部４２１は、ロースペックカメラ１２１の生産映像ＬＶと学習済みモデルから、以下の２種類の推定が可能である。１種類目として、異常箇所はマシニングセンタ１１３であると推定するとともに、異常内容はマシニングセンタ１１３の加工用工具Ｔによる上記部品形状が異なる部品ｐｐに対応する素材ｍの加工工程であると推定する。
【００４０】
さらに、２種類目として、異常箇所はロボットアーム１１２であると推定するとともに、異常内容はロボットアーム１１２のアーム１１２ａによるマシニングセンタ１１３の主軸１１３ａに対する上記部品形状が異なる部品ｐｐに対応する素材ｍの取り付け工程であると推定する。
【００４１】
また、異常推定部４２１は、例えば図９に示すハイスピードカメラ１２２の生産映像ＨＶを取得した場合、ロボットアーム１１２のアーム１１２ａでマシニングセンタ１１３の主軸１１３ａに、上記部品形状が異なる形状の部品ｐｐに対応する素材ｍを取り付ける際の画像を検証する。そして、そのときのロボットアーム１１２のアーム１１２ａに振動が発生していることを認識したら、学習済みモデル記憶部４１５の学習済みモデルを参照し、異常箇所及び異常内容を推定する。
【００４２】
この場合、異常推定部４２１は、異常箇所はロボットアーム１１２のアーム１１２ａであると推定するとともに、異常内容はロボットアーム１１２のアーム１１２ａによるマシニングセンタ１１３の主軸１１３ａに対する上記部品形状が異なる部品ｐｐに対応する素材ｍの取り付け工程であると推定する。
【００４３】
また、異常推定部４２１は、例えば図１０に示すハイスピードカメラ１２２の生産映像ＨＶを取得した場合、マシニングセンタ１１３の加工用工具Ｔで主軸１１３ａに取り付けられた上記部品形状が異なる部品ｐｐに対応する素材ｍを加工するときの画像を検証する。そして、そのときの切粉Ｃの飛び方に異常が発生していることを認識したら、学習済みモデル記憶部４１５の学習済みモデルを参照し、異常箇所及び異常内容を推定する。
【００４４】
この場合、異常推定部４２１は、異常箇所はマシニングセンタ１１３の工具主軸１１３ｂであると推定するとともに、異常内容は工具主軸１１３ｂに取り付けられた加工用工具Ｔによる上記部品形状が異なる部品ｐｐに対応する素材ｍの加工工程であると推定する。
【００４５】
異常判断部４２２は、異常推定部４２１で推定する少なくとも２以上の異常箇所及び異常内容に基づいて、異常発生原因を判断する。なお、異常判断部４２２は、１つの異常箇所及び異常内容に基づいて異常発生原因を判断するようにしてもよいが、２以上の異常箇所及び異常内容に基づいて異常発生原因を判断することで、判断精度を向上できる。なお、異常判断部４２２は、判断した異常発生原因を第二サーバ１４２等に備えられる表示装置に表示するようにしてもよい。
【００４６】
具体的には、異常推定部４２１が、例えば図８に示す生産映像ＬＶを取得し、異常箇所がマシニングセンタ１１３であり、異常内容がマシニングセンタ１１３の加工用工具Ｔによる上記部品形状が異なる部品ｐｐに対応する素材ｍの加工工程であると推定したとする。さらに、例えば図１０に示す生産映像ＨＶを取得し、異常箇所がマシニングセンタ１１３の工具主軸１１３ｂであり、異常内容が工具主軸１１３ｂに取り付けられた加工用工具Ｔによる上記部品形状が異なる部品ｐｐに対応する素材ｍの加工工程であると推定したとする。
【００４７】
この場合、異常判断部４２２は、異常推定部４２１で推定された上記２つの生産異常に基づいて、マシニングセンタ１１３の加工用工具Ｔで主軸１１３ａに取り付けられた上記部品形状が異なる部品ｐｐに対応する素材ｍを加工するときの切粉Ｃの飛び方に異常が発生したことが異常発生原因であり、これにより部品形状が異形の部品ｐｐが発生したと判断する。
【００４８】
また、異常推定部４２１が、例えば図８に示す生産映像ＬＶを取得し、異常箇所がロボットアーム１１２のアーム１１２ａであり、異常内容はロボットアーム１１２のアーム１１２ａによるマシニングセンタ１１３の主軸１１３ａに対する素材ｍの取り付け工程であると推定したとする。さらに、例えば図９に示す生産映像ＨＶを取得し、異常箇所はロボットアーム１１２のアーム１１２ａであり、異常内容はロボットアーム１１２のアーム１１２ａによるマシニングセンタ１１３の主軸１１３ａに対する上記部品形状が異なる部品ｐｐに対応する素材ｍの取り付け工程であると推定したとする。
【００４９】
この場合、異常判断部４２２は、異常推定部４２１で推定された上記２つの生産異常に基づいて、ロボットアーム１１２のアーム１１２ａによるマシニングセンタ１１３の主軸１１３ａに対する上記部品形状が異なる部品ｐｐに対応する素材ｍの取り付けに異常が発生したことが異常発生原因であり、これにより部品形状が異形の部品ｐｐが発生したと判断する。
【００５０】
対処提案部４２３には、異常発生原因に対する異常対処が紐付けされたデータが予め記憶されている。そして、対処提案部４２３は、異常判断部４２２で判断される異常発生原因についての異常対処を１つもしくは複数提案する。なお、対処提案部４２３は、提案した異常対処を第二サーバ１４２等に備えられる表示装置に表示するようにしてもよい。
【００５１】
具体的には、対処提案部４２３は、異常判断部４２２で判断された異常発生原因が、マシニングセンタ１１３の加工用工具Ｔで主軸１１３ａに取り付けられた上記部品形状が異なる部品ｐｐに対応する素材ｍを加工するときの切粉Ｃの飛び方に異常が発生したことである場合、加工用工具Ｔに関する異常対処を提案する。例えば、主軸１１３ａに取り付けられた上記部品形状が異なる部品ｐｐに対応する素材ｍ付近に切粉が大量に溜まっているおそれがあるので切粉を取り除くことや、現在取り付けられている加工用工具Ｔにチッピングが発生しているので新しい加工用工具Ｔに交換すること等を提案する。
【００５２】
また、対処提案部４２３は、異常判断部４２２で判断された異常発生原因が、ロボットアーム１１２のアーム１１２ａによるマシニングセンタ１１３の主軸１１３ａに対する上記部品形状が異なる部品ｐｐに対応する素材ｍの取り付けに異常が発生したことである場合、アーム１１２ａに関する異常対処を提案する。例えば、ロボットアーム１１２のアーム１１２ａの振動を減衰させるため関節の軸ねじれ角速度（リンク角速度とモータ角速度の差）の測定器を設置してフィードバック制御を行うことを提案する。
【００５３】
行動分析部４２４は、対処提案部４２３で提案する異常対処に対する作業者の行動を分析する。なお、行動分析部４２４は、対処提案部４２３で複数の異常対処が提案されているときは、各異常対処に対する作業者の行動を分析する。また、行動分析部４２４は、情報取得装置１３で取得する視界情報に基づいて、異常対処に対する作業者の行動を分析する。
【００５４】
具体的には、行動分析部４２４は、対処提案部４２３で提案された異常対処が、主軸１１３ａに取り付けられた上記部品形状が異なる部品ｐｐに対応する素材ｍ付近に切粉が大量に溜まっているおそれがあるので切粉を取り除く提案である場合、例えば、図１１に示す３Ｄカメラ１２３の生産映像ＨＶを検証して、作業者Ｗが上記部品形状が異なる部品ｐｐに対応する素材ｍ付近から切粉Ｃを適切に取り除いたか否かを分析する。
【００５５】
また、行動分析部４２４は、対処提案部４２３で提案された異常対処がロボットアーム１１２のアーム１１２ａの振動減衰のため測定器を設置してフィードバック制御を行う提案である場合、例えば図１２に示す３Ｄカメラ１２３の生産映像ＤＶを検証して、作業者Ｗが振動減衰のため測定器を設置したか否かを分析する。
【００５６】
対処評価部４２５は、行動分析部４２４で分析する作業者の行動により、異常判断部４２２で判断する異常内容が解消した場合、対処提案部４２３で提案する異常対処を良と評価する。なお、対処評価部４２５は、対処提案部４２３で複数の異常対処が提案され、行動分析部４２４で複数の作業者の行動が分析されているときは、複数の異常対処の良否をレベル分けして評価する。この良否レベルは、例えば異常内容の解消度合いでレベル分けを行う。なお、対処評価部４２５は、評価した異常対処の良否を第二サーバ１４２等に備えられる表示装置に表示するようにしてもよい。
【００５７】
具体的には、主軸１１３ａに取り付けられた素材ｍ付近から切粉を除去するという作業者Ｗの行動により、加工用工具Ｔによる素材ｍの加工工程において、部品形状が異形の部品ｐｐが発生するという異常内容が解消した場合である。この場合、対処評価部４２５は、主軸１１３ａに取り付けられた素材ｍ付近に切粉が大量に溜まっているおそれがあるので切粉を取り除くという異常対処を良と評価する。
【００５８】
また、ロボットアーム１１２のアーム１１２ａの振動減衰のため測定器を設置してフィードバック制御を行うという作業者Ｗの行動により、加工用工具Ｔによる素材ｍの加工工程において、部品形状が異形の部品ｐｐが発生するという異常内容が解消した場合である。この場合、対処評価部４２５は、作業者Ｗがロボットアーム１１２のアーム１１２ａの振動減衰のため測定器を設置するという異常対処を良と評価する。
【００５９】
また、対処評価部４２５は、素材ｍ付近の切粉を取り除くという異常対処による部品形状が異形の部品ｐｐの発生度合いと、アーム１１２ａの振動減衰のため測定器を設置するという異常対処による部品形状が異形の部品ｐｐの発生度合いを比較し、この発生度合いが低い方を良のレベルが高いと評価する。
【００６０】
また、加工用工具を交換するという作業者Ｗの行動により、加工用工具Ｔによる素材ｍの加工工程において、部品形状が異形の部品ｐｐが発生するという異常内容が解消しなかった場合である。この場合、対処評価部４２５は、加工用工具を交換するという異常対処を否と評価する。
【００６１】
そして、対処評価部４２５は、加工用工具を交換するという異常対処を否と評価した場合、以下の通知を第二サーバ１４２等に備えられる表示装置に表示し、もしくはスピーカから発声するようにしてもよい。上記通知としては、加工用工具や素材ｍの取り付け方を点検してくださいという通知、加工用工具の切れ味を点検してくださいという通知、加工条件の設定を点検してくださいという通知、素材ｍの種類を確認してくださいという通知等がある。また、このとき、各通知に対する作業ガイドも合わせて告知するようにしてもよい。
【００６２】
更新部４２６は、対処評価部４２５で評価する異常対処の良否に基づいて、異常推定部４２１、異常判断部４２２及び対処提案部４２３を更新する。更新部４２６は、対処評価部４２５で良と評価された異常対処を他の異常対処よりも優先するように、異常推定部４２１、異常判断部４２２及び対処提案部４２３を更新する。
【００６３】
具体的には、更新部４２６は、素材ｍ付近の切粉を取り除くという異常対処が、アーム１１２ａの振動減衰のため測定器を設置するという異常対処よりも良のレベルが高い場合、素材ｍ付近の切粉を取り除くという異常対処に対応する異常推定、異常判断及び対処提案を、アーム１１２ａの振動減衰のため測定器を設置するという異常対処に対応する異常推定、異常判断及び対処提案よりも優先するように、異常推定部４２１、異常判断部４２２及び対処提案部４２３を更新する。
【００６４】
また、更新部４２６は、対処評価部４２５で否と評価される異常対処に対応する異常推定、異常判断及び対処提案を行わないように、異常推定部４２１、異常判断部４２２及び対処提案部４２３を更新する。そして、更新部４２６は、否と評価された対処提案に替えて新規の対処提案を提案するように、対処提案部４２３を更新する。
【００６５】
具体的には、更新部４２６は、加工用工具を交換するという異常対処が、対処評価部４２５で否と評価された場合、新規対処提案として、例えば、加工中に供給する油が素材ｍに過剰に付着しているおそれがあるため、当該油を素材ｍから除去する提案を行うように対処提案部４２３を更新する。
【００６６】
この生産システム１０によれば、生産設備１１の生産映像を検証し、機械学習で生成される学習済みモデルを参照することで、発生した生産設備１１の生産異常を推定して異常発生原因を判断するので、生産設備１１で発生する生産異常の異常発生原因の特定をリアルタイムで容易に行える。そして、特定する異常発生原因についての異常対処を提案するので、生産異常の復旧を的確に行える。そして、生産設備１１を長時間停止する必要がないので、稼働率を向上できる。
【００６７】
（３．異常解析装置１４の処理）
次に、異常解析装置１４の処理について説明する。先ず、図１３を参照して学習済みモデルの生成処理について説明する。説明変数データ取得部４１１は、映像取得装置１２からの生産映像を説明変数データとして取得する（ステップＳ１）。
【００６８】
目的変数データ取得部４１２は、映像取得装置１２からの生産映像に含まれる生産異常の異常箇所と異常内容とを目的変数データとして取得する（ステップＳ２）。そして、訓練データセット記憶部４１３は、説明変数データ取得部４１１で取得した説明変数データと目的変数データ取得部４１２で取得した目的変数データを訓練データセットとして記憶する（ステップＳ３）。
【００６９】
学習済みモデル生成部４１４は、訓練データセット記憶部４１３に記憶される訓練データセットにより機械学習を行い、生産映像及び生産異常の異常箇所と異常内容に関する学習済みモデルを生成して学習済みモデル記憶部４１５に記憶する（ステップＳ４）。そして、さらに学習済みモデルを生成するか否かを判断し（ステップＳ５）、さらに学習済みモデルを生成する場合はステップＳ１に戻って上述の処理を繰り返し、さらに学習済みモデルを生成しない場合は全ての処理を終了する。
【００７０】
次に、図１４を参照して稼働中の生産設備１１における生産異常解析処理について説明する。異常推定部４２１は、稼働中の生産設備１１における新たな生産映像を、学習済みモデル記憶部４１５に記憶された学習済みモデルに基づいて解析し、発生した生産異常を推定する（ステップＳ１１）。そして、異常判断部４２２は、異常推定部４２１で推定する少なくとも２以上の生産異常に基づいて異常内容を判断する（ステップＳ１２）。
【００７１】
対処提案部４２３は、異常判断部４２２で判断する異常内容についての異常対処を１つもしくは複数提案する（ステップＳ１３）。行動分析部４２４は、対処提案部４２３で提案する異常対処に対する作業者の行動を分析する（ステップＳ１４）。対処評価部４２５は、行動分析部４２４で分析する作業者の行動により、異常判断部４２２で判断する異常内容が解消したか否かを判断する（ステップＳ１５）。
【００７２】
対処評価部４２５は、異常判断部４２２で判断する異常内容が解消していないと判断したら、ステップＳ１２に戻って新たな異常内容を判断し、上述の処理を繰り返す。一方、対処評価部４２５は、異常判断部４２２で判断する異常内容が解消した場合は、対処提案部４２３で提案する異常対処を良と評価する（ステップＳ１６）。そして、更新部４２６は、対処評価部４２５で評価する異常対処の良否に基づいて、異常推定部４２１、異常判断部４２２及び対処提案部４２３を更新する（ステップＳ１７）。
【００７３】
異常推定部４２１は、稼働中の生産設備１１における新たな生産映像の有無を確認し（ステップＳ１８）、稼働中の生産設備１１における新たな生産映像が有る場合は、ステップＳ１１に戻って上述の処理を繰り返し、稼働中の生産設備１１における新たな生産映像が無い場合は全ての処理を終了する。
【符号の説明】
【００７４】
１０：生産システム、  １１：生産設備、  １２：映像取得装置、  １３：情報取得装置、  １４：異常解析装置、  １５：ＰＬＣ、  １１１：コンベア、  １１２：ロボットアーム、  １１３：マシニングセンタ、  １２１：ロースペックカメラ、  １２２：ハイスピードカメラ、  １２３：３Ｄカメラ、  １４１：第一サーバ、  １４２：第二サーバ、  ４１１：説明変数データ取得部、  ４１２：目的変数データ取得部、  ４１３：訓練データセット記憶部、  ４１４：学習済みモデル生成部  ４１５：学習済みモデル記憶部、  ４２１：異常推定部、  ４２２：異常判断部、  ４２３：対処提案部、  ４２４：行動分析部、  ４２５：対処評価部
【図１】
2022002042.tif 000003
【図２】
2022002042.tif 000004
【図３Ａ】
2022002042.tif 000005
【図３Ｂ】
2022002042.tif 000006
【図４Ａ】
2022002042.tif 000007
【図４Ｂ】
2022002042.tif 000008
【図５】
2022002042.tif 000009
【図６】
2022002042.tif 000010
【図７】
2022002042.tif 000011
【図８】
2022002042.tif 000012
【図９】
2022002042.tif 000013
【図１０】
2022002042.tif 000014
【図１１】
2022002042.tif 000015
【図１２】
2022002042.tif 000016
【図１３】
2022002042.tif 000017
【図１４】
2022002042.tif 000018