(57)【要約】【課題】  作業における逸脱動作の発生を早期に報知し、作業をどのように修正すべきかの判断を支援する。【解決手段】  作業動作解析システム１１は、作業者の作業を撮影した作業映像を作業工程ごとに解析し、正常作業と異なる逸脱動作を検知した場合に、当該逸脱動作の発生タイミングを特定する逸脱動作解析部１１４と、予め正常作業を撮影した正常作業映像と逸脱動作が発生したときの逸脱作業映像とを蓄積する作業映像蓄積部（正常作業映像蓄積部１１７，逸脱作業映像蓄積部１１８）と、逸脱動作の発生タイミングを含む所定の時間についての正常作業映像及び逸脱作業映像を表示する表示部（表示入力装置１１１）と、を備える。【選択図】図１
2019152802.tif 000002
【特許請求の範囲】
【請求項１】
作業者の作業を撮影した作業映像を作業工程ごとに解析し、正常作業と異なる逸脱動作を検知した場合に、当該逸脱動作の発生タイミングを特定する逸脱動作解析部と、
予め正常作業を撮影した正常作業映像と前記逸脱動作が発生したときの逸脱作業映像とを蓄積する作業映像蓄積部と、
前記逸脱動作の発生タイミングを含む所定の時間についての前記正常作業映像及び前記逸脱作業映像を表示する表示部と、
を備えることを特徴とする作業動作解析システム。
【請求項２】
前記逸脱動作解析部は、前記逸脱動作の要因が、前記作業工程を構成する何れかの要素作業における作業時間が前記正常作業における当該作業時間とは異なることを要因とする作業時間逸脱であるか否かを特定し、
前記表示部は、前記逸脱動作解析部によって特定された前記逸脱動作の要因を表示する
ことを特徴とする請求項１に記載の作業動作解析システム。
【請求項３】
前記逸脱動作解析部は、前記逸脱動作の要因が、前記作業者の身体部位が前記正常作業における当該身体部位とは異なる位置であることを要因とする作業位置逸脱であるか否かを特定し、
前記表示部は、前記逸脱動作解析部によって特定された前記逸脱動作の要因を表示する
ことを特徴とする請求項１または請求項２に記載の作業動作解析システム。
【請求項４】
前記逸脱動作解析部による解析結果を蓄積する逸脱動作解析結果蓄積部と、
前記逸脱動作解析結果蓄積部に蓄積された情報を用いて所定の統計情報を生成し、該生成した統計情報を前記表示部に表示させる統計情報生成部と、
をさらに備えることを特徴とする請求項１から請求項３の何れか１項に記載の作業動作解析システム。
【請求項５】
前記統計情報生成部が生成する前記統計情報は、前記作業工程の時系列に対する前記逸脱動作の発生頻度を示す情報である
ことを特徴とする請求項４に記載の作業動作解析システム。
【請求項６】
前記統計情報生成部は、前記逸脱動作の要因に応じて異なる表示態様で前記統計情報を生成し、該生成した統計情報を前記表示部に表示させる
ことを特徴とする請求項４または請求項５に記載の作業動作解析システム。
【請求項７】
前記逸脱動作解析部は、
前記逸脱動作を検知する第１の解析部と、
前記第１の解析部による前記逸脱動作の検知後に、当該逸脱動作の発生タイミングを特定する第２の解析部と、
を有し、
前記第１の解析部は、前記逸脱動作を検知した場合に、前記第２の解析部による処理を待つことなく、当該逸脱動作の発生を報知する旨の表示画面を前記表示部に表示させ、
さらに前記表示部は、前記第２の解析部によって前記逸脱動作の発生タイミングが特定された後に、当該逸脱動作の発生タイミングを含む所定の時間についての前記正常作業映像及び前記逸脱作業映像を表示する
ことを特徴とする請求項１から請求項６の何れか１項に記載の作業動作解析システム。
【請求項８】
予め正常作業を撮影した正常作業映像を蓄積する正常作業映像蓄積ステップと、
作業者の作業を撮影した作業映像を作業工程ごとに解析し、正常作業と異なる逸脱動作を検知した場合に、当該逸脱動作の発生タイミングを特定する逸脱動作解析ステップと、
前記逸脱動作が発生したときの逸脱作業映像を蓄積する逸脱作業映像蓄積ステップと、
前記逸脱動作解析ステップで特定された前記逸脱動作の発生タイミングを含む所定の時間についての前記正常作業映像及び前記逸脱作業映像を表示装置に表示する表示ステップと、
を備えることを特徴とする作業動作解析方法。
【請求項９】
前記逸脱動作解析ステップにおいて、前記逸脱動作の要因が、前記作業工程を構成する何れかの要素作業における作業時間が前記正常作業における当該作業時間とは異なることを要因とする作業時間逸脱であるか否かを特定し、
前記表示ステップにおいて、前記逸脱動作解析ステップで特定された前記逸脱動作の要因を前記表示装置に表示する
ことを特徴とする請求項８に記載の作業動作解析方法。
【請求項１０】
前記逸脱動作解析ステップにおいて、前記逸脱動作の要因が、前記作業者の身体部位が前記正常作業における当該身体部位とは異なる位置であることを要因とする作業位置逸脱であるか否かを特定し、
前記表示ステップにおいて、前記逸脱動作解析ステップで特定された前記逸脱動作の要因を前記表示装置に表示する
ことを特徴とする請求項８または請求項９に記載の作業動作解析方法。
【請求項１１】
前記逸脱動作解析ステップによる解析結果を蓄積する逸脱動作解析結果蓄積ステップと、
前記逸脱動作解析結果蓄積ステップで蓄積された情報を用いて所定の統計情報を生成し、該生成した統計情報を前記表示装置に表示させる統計情報生成ステップと、
をさらに備えることを特徴とする請求項８から請求項１０の何れか１項に記載の作業動作解析方法。
【請求項１２】
前記統計情報生成ステップにおいて生成する前記統計情報は、前記作業工程の時系列に対する前記逸脱動作の発生頻度を示す情報である
ことを特徴とする請求項１１に記載の作業動作解析方法。
【請求項１３】
前記統計情報生成ステップにおいて、前記逸脱動作の要因に応じて異なる表示態様で前記統計情報を生成し、該生成した統計情報を前記表示装置に表示させる
ことを特徴とする請求項１１または請求項１２に記載の作業動作解析方法。
【請求項１４】
前記逸脱動作解析ステップは、
前記逸脱動作を検知する第１の解析ステップと、
前記第１の解析ステップの後に、当該逸脱動作の発生タイミングを特定する第２の解析ステップと、
を有し、
前記第１の解析ステップでは、前記逸脱動作を検知した場合に、前記第２の解析ステップの実行を待つことなく、当該逸脱動作の発生を報知する旨の表示画面を前記表示装置に表示させ、
前記表示ステップでは、前記第２の解析ステップによって前記逸脱動作の発生タイミングが特定された後に、当該逸脱動作の発生タイミングを含む所定の時間についての前記正常作業映像及び前記逸脱作業映像を前記表示装置に表示する
ことを特徴とする請求項８から請求項１３の何れか１項に記載の作業動作解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業動作解析システム及び作業動作解析方法に関し、作業工程を構成する要素作業ごとに作業手順が規定された作業における逸脱動作を解析する作業動作解析システム及び作業動作解析方法に適用して好適なものである。
【背景技術】
【０００２】
組立加工の分野において、作業者には、規定された作業手順に従って製品の組立加工を行うことが求められる。作業手順は製品の品質を保つために定義されており、製品の組立加工の作業において定義から外れた動作（逸脱動作）が行われた場合には、製品の品質に問題が発生する可能性が高くなる。このため、各種センサを利用して作業者の動作に関する情報を取得し、逸脱動作を自動的に検知するシステムが必要とされている。このようなシステムによって逸脱動作が検知された場合には、例えば、作業対象となった製品に再検査を実施したり、製品自体を廃棄したりといった対処を実施することによって、製品の品質が担保される。
【０００３】
例えば特許文献１には、作業状況を撮影した画像と、正常時の作業を撮影した画像とを比較することによって逸脱動作を検知する異常作業検出方法が開示されている。特許文献１に開示された異常作業検出方法では、上記比較の際に、類似度の観点も取り入れることにより、完全一致だけでなく曖昧な状態についても、逸脱動作を検知できるようにしている。
【０００４】
また、例えば特許文献２には、同一の作業を繰り返し行う作業現場において、作業状況を撮影した画像から検知した動線と、正常時の動線とを比較することによって逸脱動作を検知する作業者品質管理方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−０９１００９号公報
【特許文献２】特開２０１６−１５７３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された異常作業検出方法は、作業者の身体部位が正常作業における身体部位とは異なる位置であることを要因とする逸脱動作の検知を高精度に実現することを主な目的としており、作業時間が正常作業で想定された作業時間とは異なることを要因とする逸脱動作を検知することはできない。また、一連の作業工程を構成するどの要素作業において逸脱動作が発生したかを検知する観点も開示されておらず、これらのことから、作業者や監督者に対する改善支援の効果にはあまり期待できないという課題があった。
【０００７】
また、特許文献２に開示された作業者品質管理方法は、作業者の身体部位の位置を考慮して逸脱動作を検知することができるものの、一連の作業工程が終了した後にしか逸脱動作を検知できず、即時性に欠けるという問題があった。一連の作業工程の作業途中で逸脱動作の検知ができなければ、逸脱動作が発生した際の対処（前述したように、作業対象となった製品の再検査や、製品自体の廃棄等）の対象範囲が拡大してしまう。その結果、作業の進捗が停滞するだけでなく、製造コストへの負荷が高まってしまう課題があった。
【０００８】
本発明は以上の点を考慮してなされたもので、作業における逸脱動作の発生を早期に報知し、作業をどのように修正すべきかの判断を支援することができる作業動作解析システム及び作業動作解析方法を提案しようとするものである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため本発明においては、作業者の作業を撮影した作業映像を作業工程ごとに解析し、正常作業と異なる逸脱動作を検知した場合に、当該逸脱動作の発生タイミングを特定する逸脱動作解析部と、予め正常作業を撮影した正常作業映像と前記逸脱動作が発生したときの逸脱作業映像とを蓄積する作業映像蓄積部と、前記逸脱動作の発生タイミングを含む所定の時間についての前記正常作業映像及び前記逸脱作業映像を表示する表示部と、を備えることを特徴とする作業動作解析システムが提供される。
【００１０】
また、かかる課題を解決するため本発明においては、予め正常作業を撮影した正常作業映像を蓄積する正常作業映像蓄積ステップと、作業者の作業を撮影した作業映像を作業工程ごとに解析し、正常作業と異なる逸脱動作を検知した場合に、当該逸脱動作の発生タイミングを特定する逸脱動作解析ステップと、前記逸脱動作が発生したときの逸脱作業映像を蓄積する逸脱作業映像蓄積ステップと、前記逸脱動作解析ステップで特定された前記逸脱動作の発生タイミングを含む所定の時間についての前記正常作業映像及び前記逸脱作業映像を表示装置に表示する表示ステップと、を備えることを特徴とする作業動作解析方法が提供される。
【発明の効果】
【００１１】
本発明によれば、作業における逸脱動作の発生を早期に報知し、作業をどのように修正すべきかの判断を支援することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施の形態に係る作業動作解析システムの構成例を示すブロック図である。
【図２】逸脱動作の履歴情報を説明するための図である。
【図３】逸脱要因が作業位置逸脱である場合の作業映像画面の一例を示す図である。
【図４】逸脱要因が作業時間逸脱である場合の作業映像画面の一例を示す図である。
【図５】操作待受画面の一例を示す図である。
【図６】過去逸脱動作確認画面の一例を示す図である。
【図７】対象期間決定画面の一例を示す図である。
【図８】逸脱要因が作業位置逸脱である場合の解析結果表示画面の一例を示す図である。
【図９】逸脱要因が作業時間逸脱である場合の解析結果表示画面の一例を示す図である。
【図１０】第１の実施の形態に係る作業動作解析システムによる作業動作解析処理の処理手順の一例を示すフローチャートである。
【図１１】本発明の第２の実施の形態に係る作業動作解析システムの構成例を示すブロック図である。
【図１２】第２の実施の形態に係る作業動作解析システムによる作業動作解析処理の処理手順の一例を示すフローチャートである。
【図１３】逸脱動作報知画面の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下図面について、本発明の一実施の形態を詳述する。
【００１４】
（１）第１の実施の形態
図１は、本発明の第１の実施の形態に係る作業動作解析システムの構成例を示すブロック図である。図１を参照しながら、第１の実施の形態に係る作業動作解析システム１１の構成について説明する。
【００１５】
作業動作解析システム１１は、製品の組立加工を行う作業者の作業動作を解析するシステムであって、例えばパーソナルコンピュータ等の計算機によって実現される。作業動作解析システム１１は、製造実行システム１２に接続されている。
【００１６】
製造実行システム１２は、ＭＥＳ（Manufacturing Execution System）とも呼ばれ、製品の組立加工に用いられる生産装置の実行を統括するシステムである。ＭＥＳは一般的に知られたシステムであるので、詳細な説明は省略するが、例えば、工場等の機械や作業者の作業を監視・管理する機能を有する。
【００１７】
図１に示すように、作業動作解析システム１１は、表示入力装置１１１、撮像装置１１２、身体部位検出部１１３、逸脱動作解析部１１４、作業映像再生部１１５、及び統計情報生成部１１６、正常作業映像蓄積部１１７、逸脱作業映像蓄積部１１８、及び逸脱動作解析結果蓄積部１１９を備える。
【００１８】
このうち、表示入力装置１１１は、入出力手段であって、例えばタッチパネルやスマートウォッチ等である。また、撮像装置１１２は、撮影機能を有する撮像手段であって、例えばカメラや深度センサ等である。なお、作業動作解析システム１１が例えばパーソナルコンピュータのような計算機であるとする場合、上記の表示入力装置１１１や撮像装置１１２は、必ずしもその内部に設けられた装置である必要はなく、当該計算機に接続可能な外部の入出力手段や撮像手段であってもよい。
【００１９】
また、身体部位検出部１１３、逸脱動作解析部１１４、作業映像再生部１１５、及び統計情報生成部１１６は、それぞれが後述する所定の処理を行う機能的手段であって、作業動作解析システム１１のＣＰＵ（Central Processing Unit）等がプログラムを読み出して実行することによって実現される。
【００２０】
また、正常作業映像蓄積部１１７、逸脱作業映像蓄積部１１８、及び逸脱動作解析結果蓄積部１１９は、それぞれが後述する所定の情報を記憶（蓄積）する記憶手段であって、例えば作業動作解析システム１１の記憶媒体（例えばＨＤＤ（Hard Disk Drive）等）である。なお、作業動作解析システム１１が例えばパーソナルコンピュータのような計算機であるとする場合、上記の各蓄積部１１７〜１１９は、必ずしもその内部に設けられた記憶媒体である必要はなく、当該計算機に接続可能な外部の記憶媒体（例えばＵＳＢ端子で接続されるＨＤＤ等）であってもよい。
【００２１】
以下に、上記の作業動作解析システム１１の各構成による機能について説明する。
【００２２】
表示入力装置１１１は、表示画面等において作業者や監督者に対して情報を表示したり、入力キー等の操作を介して作業者や監督者から入力を受け付けたりする。
【００２３】
撮像装置１１２は、作業者が作業している様子を撮影する。なお、以下の説明では、撮像装置１１２は映像（動画）を撮影するものとするが、撮像装置１１２は、例えば時系列に沿って複数の静止画像を撮影するものであってもよい。
【００２４】
身体部位検出部１１３は、撮像装置１１２によって撮影された映像を解析し、「作業者の身体部位の位置情報」を取得する。ここで、「作業者の身体部位の位置情報」の一例として、「作業者の関節位置を示す情報」を考えることができる。すなわち、身体部位検出部１１３は、撮影された映像から作業者の複数の関節の位置を取得することによって、作業者の身体部位の位置情報を取得することができる。なお、位置情報を取得する身体部位は、全身の身体部位に限るものではなく、上半身だけ等の部分的な身体部位であってもよい。
【００２５】
なお、本実施の形態において、身体部位検出部１１３が映像を解析して作業者の身体部位の位置情報を取得する具体的な方法は、特に限定されるものではなく、従来知られた方法を用いることができる。具体的には例えば、撮像装置１１２が通常のカラーカメラである場合には、身体部位検出部１１３は、Toshevらの方法（A. Toshev and C. Szegedy, “Deeppose: Human pose estimation via deep neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 1653-1660.）を用いて処理を行うことによって、作業者の身体部位の位置情報を取得することができる。また例えば、撮像装置１１２が深度センサである場合には、身体部位検出部１１３は、Shottonらの方法（J. Shotton, T. Sharp, A. Kipman, A. Fitzgibbon, M. Finocchio, A. Blake, M. Cook, and R. Moore, “Real-time human pose recognition in parts from single depth images,” Communications of the ACM, vol. 56, no. 1, pp. 116-124, 2013.）を用いて処理を行うことによって、作業者の身体部位の位置情報を取得することができる。
【００２６】
なお、本実施の形態に係る作業動作解析システム１１では、撮像装置１１２が、身体部位検出部１１３による機能を併せ持つ、すなわち、撮影した映像から作業者の身体部位の位置情報を抽出できるように構成してもよい。そのように構成する場合には、身体部位検出部１１３は不要となる。
【００２７】
逸脱動作解析部１１４は、正常作業の様子が撮影された映像（正常作業映像）を比較の基準として、身体部位検出部１１３によって取得された「作業者の身体部位の位置情報」についての時系列情報を解析することによって、逸脱動作の有無を判断する（逸脱動作の検知）ほか、逸脱動作を検知した場合には、逸脱動作が発生したタイミングの特定（逸脱タイミングの特定）、並びに逸脱動作の要因の特定（逸脱要因の特定）を行う。逸脱動作解析部１１４によるこれらの解析処理は、作業工程ごとに実施される。また、正常作業映像は、予め撮影されて正常作業映像蓄積部１１７に記憶（蓄積）される。
【００２８】
ここで、「作業工程」は、より粒度の小さい「要素作業」の組合せによって構成される。具体的には例えば、部品を手に取る、部品の汚れをふき取る、部品を組み付ける、といったそれぞれが要素作業に相当し、これらの要素作業の連なりが作業工程に相当する。規定された正常作業においては、１の作業工程を構成する要素作業は、それぞれの作業タイミングが予め定められている。換言すると、正常作業においては、作業工程開始からの経過時間によって、何れの要素作業が行われるべきかが規定されている。
【００２９】
また、「逸脱要因」は、身体部位の位置が正常作業とは異なる位置であったことによるものと、要素作業の所要時間が正常作業で規定される所定の時間とは異なっていた（長い／短い）ことによるものとに分類できる。以降では、前者の逸脱要因を「作業位置逸脱」と称し、逸脱が検知された身体部位を「逸脱部位」と称する。また、後者の逸脱要因を「作業時間逸脱」と称する。
【００３０】
なお、逸脱タイミング、逸脱部位、及び作業時間逸脱を特定するためには、例えば隠れマルコフモデルを利用することができる。隠れマルコフモデルを利用すれば、複数の正常作業における身体部位の位置情報の時系列情報から、位置情報の状態遷移をモデル化することができる。以降は、このモデルを「正常作業の状態遷移モデル」と称する。
【００３１】
逸脱動作解析部１１４による具体的な解析処理を詳述する。
【００３２】
まず、逸脱動作解析部１１４は、作業工程開始のタイミングを取得する。そのためには例えば、身体部位検出部１１３による検出結果を利用し、作業者が所定の位置、あるいは所定の姿勢をとった際に、作業工程開始と判断する。また、作業工程開始のタイミングが、例えば生産装置から部品を取り出したタイミング等のように、生産装置側から検知できるタイミングであるならば、生産装置を統括する製造実行システム１２から作業工程開始のタイミングを取得するようにしてもよい。
【００３３】
そして、逸脱動作解析部１１４は、作業工程開始のタイミングを取得した後、例えばビタビアルゴリズムを用いることによって、作業映像から取得した身体部位の時系列情報と、正常作業の状態遷移モデルの状態とをマッチングしながら、尤度を計算することができ、何れのタイミングで逸脱動作が発生したかを特定することができる（逸脱タイミングの特定）。すなわち、逸脱動作解析部１１４は、逸脱動作の検知、及び逸脱タイミングの特定を行うことができる。
【００３４】
ここで、逸脱タイミングの表現方法として、例えば以下の二通りが考えられる。第１の表現方法は、通常の時刻としての表現方法である（通常時刻での逸脱タイミング）。この場合、逸脱タイミングは、その発生時刻によって表現することができる。第２の表現方法は、正常作業におけるタイミングを基準とした時間軸上での時刻としての表現方法である（正常作業時間軸上での逸脱タイミング）。これは、作業映像から取得した身体部位の位置情報の時系列情報を、正常作業の状態遷移モデルの状態にそれぞれマッチングさせることによって算出することができる。具体的には例えば、正常作業において作業工程開始から５秒後に発生する所定状態があったとして、作業映像から取得した身体部位の位置情報の時系列情報における特定部分が上記所定状態にマッチし、かつ、そのタイミングで逸脱動作が発生した場合には、逸脱タイミングを「５秒後」と表現することができる。
【００３５】
なお、正常作業の状態遷移モデルにおける該当タイミングの各状態は、事前に、身体部位の位置情報を保持しているものとする。すなわち、正常作業映像蓄積部１１７に蓄積された正常作業映像には、該当タイミングの各状態における身体位置情報が紐付けられている。このような場合に、逸脱動作解析部１１４は、正常作業の状態遷移モデルにおける該当タイミングの各状態を、作業映像から取得した身体部位の位置情報の時系列情報のうちの該当タイミングの情報と比較することにより、作業位置逸脱の有無及び逸脱部位を判断することができる。すなわち、逸脱動作解析部１１４は、作業位置逸脱に関する逸脱要因の特定を行うことができる。
【００３６】
また、逸脱動作解析部１１４は、正常作業の状態遷移モデルと、作業映像から取得した身体部位の位置情報の時系列情報とを比較することにより、作業映像から取得した身体部位の位置情報の時系列情報において、正常作業の状態遷移モデルにおける各状態に相当する状態がどれくらいの時間に亘って継続したかを知ることもできる。より具体的には、正常作業の状態遷移モデルにおける各状態について、当該状態で実行される要素作業を紐付けておくことにより、逸脱動作解析部１１４は、各要素作業に要した時間が、所定の時間（正常作業における作業時間）と比べて、正常（許容時間内である）か、長い（正常作業より遅すぎる）か、短い（正常作業より早すぎる）か、を判定することができる。すなわち、逸脱動作解析部１１４は、作業時間逸脱に関する逸脱要因の特定を行うことができる。
【００３７】
以上のように、逸脱動作解析部１１４が解析を行うことによって、逸脱動作の検知が可能となり、さらに、逸脱動作が発生した場合には、逸脱タイミング及び逸脱要因の特定が可能となる。そして、逸脱動作解析部１１４は、解析によって逸脱動作を検知した場合に、その逸脱動作に対応した作業映像を、逸脱作業映像として逸脱作業映像蓄積部１１８に記憶（蓄積）する。
【００３８】
また、逸脱動作解析部１１４は、解析によって逸脱動作を検知した場合に、当該逸脱動作について特定した逸脱タイミング及び逸脱要因を、逸脱動作の履歴（履歴情報１２１）として逸脱動作解析結果蓄積部１１９に記憶（蓄積）する。
【００３９】
図２は、逸脱動作の履歴情報を説明するための図である。図２に示した履歴情報１２１は、逸脱動作解析結果蓄積部１１９に蓄積された逸脱動作の履歴の具体例である。
【００４０】
履歴情報１２１の構成は任意の項目を設けることができるが、図２では例えば、シリアル番号（ＳＮ）１２１１と、発生場所１２１２と、作業工程開始のタイミング１２１３と、通常時刻の逸脱タイミング１２１４と、正常動作時間軸の逸脱タイミング１２１５と、逸脱要因１２１６と、逸脱要因詳細１２１７とから構成されている。
【００４１】
履歴情報１２１において、シリアル番号（ＳＮ）１２１１には、検知した逸脱動作ごとにユニークな番号が付与されるようにしてもよいが、組立加工する製品のシリアル番号と一致させれば、製造実行システム１２との連携が可能となる。また、発生場所１２１２には、逸脱動作が発生した場所が記録され、作業工程開始のタイミング１２１３には、逸脱動作を検知した作業工程が開始されたタイミングが記録される。
【００４２】
また、通常時刻の逸脱タイミング１２１４及び正常動作時間軸の逸脱タイミング１２１５には、逸脱動作解析部１１４による解析で特定された逸脱タイミングが、上述した第１の表現方法（通常時刻での逸脱タイミング）または第２の表現方法（正常作業時間軸上での逸脱タイミング）で記録される。また、逸脱要因１２１６には、逸脱動作解析部１１４による解析で特定された逸脱要因（例えば「作業位置逸脱」や「作業時間逸脱」）が記録され、逸脱要因詳細１２１７には、当該逸脱要因に関する詳しい情報が記録される。
【００４３】
具体的には例えば、図２のデータ列の１行目の場合、シリアル番号「０１００１」に関連する逸脱動作が「ＡラインのＮ工程」で発生したことが記録されており、この作業工程（Ｎ工程）の開始タイミングや逸脱タイミングも併せて記録されている。さらに、この逸脱動作の逸脱要因については、「右手」による「作業位置逸脱」であることが記録されている。
【００４４】
次に、作業映像再生部１１５について説明する。作業映像再生部１１５は、逸脱動作が検知された場合に、当該逸脱動作が行われた前後の所定時間に対応する正常作業映像と逸脱作業映像とを、表示入力装置１１１に比較表示する（作業映像表示）。
【００４５】
具体的には、作業映像再生部１１５は、逸脱動作解析部１１４による解析で逸脱動作が検知された場合に、正常作業映像蓄積部１１７から正常作業映像を読み込み、逸脱作業映像蓄積部１１８から対応する逸脱作業映像を読み込み、逸脱動作解析結果蓄積部１１９から当該逸脱動作の逸脱タイミング及び逸脱要因を読み込む。そして、作業映像再生部１１５は、読み込んだ正常作業映像と逸脱作業映像のそれぞれから、読み込んだ逸脱タイミングの前後の所定時間の映像を切り出し、切り出したそれぞれの作業映像を作業映像表示として表示入力装置１１１に表示させる（図３，図４の作業映像画面１２２を参照）。
【００４６】
このとき、作業映像再生部１１５は、読み込んだ逸脱要因の種類に応じて、異なる表示態様で上記の作業映像を表示することが可能である。図３は、逸脱要因が作業位置逸脱である場合の作業映像画面の一例を示す図であり、図４は、逸脱要因が作業時間逸脱である場合の作業映像画面の一例を示す図である。
【００４７】
図３の場合、表示入力装置１１１の表示画面には、作業映像画面１２２ａが表示されている。作業映像画面１２２ａは、正常作業映像の再生画面１２２１と逸脱作業映像の再生画面１２２２とを並べて表示した構成となっている。さらに、逸脱作業映像の再生画面１２２２には、丸で囲まれた左手の関節２か所を指して「位置が異なります」と表記されている。すなわち、逸脱要因が作業位置逸脱である場合には、検知された逸脱動作の逸脱要因（作業位置逸脱）及び逸脱部位を教示する詳細情報が表示される。
【００４８】
一方、図４の場合、表示入力装置１１１の表示画面には、作業映像画面１２２ｂが表示されている。作業映像画面１２２ｂは、正常作業映像の再生画面１２２１と逸脱作業映像の再生画面１２２３とを並べて表示した構成となっている。さらに、逸脱作業映像の再生画面１２２３には、「作業が早すぎです」と表記されている。すなわち、逸脱要因が作業時間逸脱である場合には、検知された逸脱動作の逸脱要因（作業時間逸脱）だけを教示する詳細情報が表示される。
【００４９】
そして、図３や図４に例示されたような作業映像画面１２２を見せることにより、作業者や監督者は、作業工程のどの要素作業において逸脱作業が発生したか、という詳細な逸脱タイミングを把握することができ、また、その逸脱がどのようなものであったかを視覚的に容易に認識することができるとともに、当該部分の正常作業を確認することができる。したがって、作業者や監督者は、対象となった要素作業をどのように修正すべきかを、即時に理解、判断、決定することができる。換言すれば、作業映像画面１２２を表示出力することによって、作業者に対しては作業習熟の支援効果が期待でき、監督者に対しては、作業者への指導の支援効果が期待できる。
【００５０】
作業動作解析システム１１において、表示入力装置１１１は、上述した作業映像画面１２２の表示だけでなく、状況や操作に応じて、様々な表示画面をユーザ（作業者や監督者等）に向けて表示することができる。
【００５１】
例えば、他に表示すべき画面がない状況において、表示入力装置１１１は、ユーザからの操作を待ち受ける操作待受画面を表示することができる。図５は、操作待受画面の一例を示す図である。
【００５２】
図５に例示した操作待受画面１２３には、過去の逸脱動作を表示したいときに選択されるボタン１２３１と、逸脱動作に関する統計情報を解析したいときに選択されるボタン１２３２とが表示されている。なお、操作待受画面１２３において表示される各ボタン１２３１，１２３２は一例に過ぎず、その他の表示に対応するボタン等が表示されるよう構成されてもよい。
【００５３】
操作待受画面１２３が表示されているときにボタン１２３１が選択（例えば、タッチパネルにおいて押下）された場合は、逸脱動作解析結果蓄積部１１９に蓄積された逸脱動作の履歴（履歴情報１２１）が読み込まれ、過去の逸脱動作を一覧から確認可能な過去逸脱動作確認画面が表示される。
【００５４】
図６は、過去逸脱動作確認画面の一例を示す図である。図６に例示した過去逸脱動作確認画面１２４には、逸脱動作の履歴を一覧表示した一覧画面１２４１と、何れかの逸脱動作の詳細を表示したいときに選択されるボタン１２４２とが表示されている。一覧画面１２４１の表示内容は、図２で説明した履歴情報１２１と同様であってよい。一覧画面１２４１に表示された過去の逸脱動作の何れかが選択された状態でボタン１２４２が選択（例えば押下）されると、選択された過去の逸脱動作の詳細情報（具体的には例えば、図３や図４に示した作業映像画面１２２）が表示入力装置１１１に表示される。
【００５５】
このように、過去の逸脱動作を確認可能な表示が行われることにより、作業者や監督者は、過去に発生した逸脱動作の情報を遡って確認することができる。
【００５６】
一方、操作待受画面１２３が表示されているときにボタン１２３２が選択（例えば、タッチパネルにおいて押下）された場合は、逸脱動作に関する統計情報を解析する準備段階として、解析する統計情報の対象期間を決定する対象期間決定画面が表示される。
【００５７】
図７は、対象期間決定画面の一例を示す図である。図７に例示した対象期間決定画面１２５には、解析する統計情報の対象期間をユーザが任意に選択する対象期間選択欄１２５１と、対象期間選択欄１２５１で選択した対象期間を確定するときに選択（実行）されるボタン１２５２とが表示されている。対象期間決定画面１２５が表示されているときに、対象期間選択欄１２５１で対象期間が選択されてボタン１２４２が選択（例えば押下）されると、当該対象期間における逸脱動作の履歴（履歴情報１２１）を参照して、統計情報生成部１１６によって逸脱動作の統計情報の解析が行われ、解析結果が表示される（解析結果表示）。
【００５８】
統計情報生成部１１６は、逸脱動作解析結果蓄積部１１９に蓄積された逸脱動作の履歴（履歴情報１２１）から、対象期間選択欄１２５１において決定された統計の対象期間に作業工程開始のタイミングが含まれる逸脱動作の履歴を読み出して、統計情報を生成する所定の処理を実行する。そして統計情報生成部１１６は、上記のようにして生成した統計情報（例えば、所定形式によるグラフ）を、解析結果表示として表示入力装置１１１の表示画面に表示させる（図８，図９の解析結果表示画面１２６を参照）。
【００５９】
このとき、統計情報生成部１１６は、逸脱要因の種類に応じて、異なる表示態様で上記の解析結果表示を行うことが可能である。図８は、逸脱要因が作業位置逸脱である場合の解析結果表示画面の一例を示す図であり、図９は、逸脱要因が作業時間逸脱である場合の解析結果表示画面の一例を示す図である。図８の解析結果表示画面１２６ａ及び図９の解析結果表示画面１２６ｂは、何れも解析結果表示画面１２６の一例であって、正常作業における作業工程開始から作業工程終了までの時間軸を横軸に表し（作業工程開始のタイミングが「０」秒）、正常作業時間軸上での逸脱タイミングの発生頻度を縦軸に表したグラフが示されている。なお、縦軸に示す値は、発生頻度に限定されるものではなく、例えば、平均尤度等を表示するようにしてもよい。
【００６０】
具体的には、図８の解析結果表示画面１２６ａは、逸脱要因が作業位置逸脱であった場合の表示画面例であり、作業位置逸脱が「右手」、「左手」、「頭」であった場合のそれぞれに対しての、正常作業時間軸上での逸脱タイミングの発生頻度が図示されている。図８の場合、右手の作業位置逸脱は、作業工程開始から４秒後に多く発生し、左手の作業位置逸脱は作業工程開始から８秒後に多く発生していることが示されている。すなわち、これらのタイミングにおいて、それぞれ右手または左手の要素作業が妨げられていることを意味し、改善の必要があることが示唆される。
【００６１】
また、図９の解析結果表示画面１２６ｂは、逸脱要因が作業時間逸脱であった場合の表示画面例であり、作業時間が所定の時間（正常作業における作業時間）と比べて長い場合を「遅い作業」、作業時間が所定の時間（正常作業における作業時間）と比べて短い場合を「早い作業」として、これらの発生頻度が図示されている。図９の場合、「遅い作業」は、作業工程開始から６秒後に多く発生していることから、このタイミングに正常作業を妨げる要因が存在し得ることが示唆され、この要因を取り除くことによって、より円滑な作業に期待できるようになる。一方、図９の場合、「早い作業」は、作業工程開始から２秒後に多く発生していることから、このタイミングで要素作業の実施が不十分である可能性があり、改善の余地があることが示唆される。
【００６２】
以上のように、ユーザが選択した対象期間に発生した逸脱動作について、統計情報生成部１１６は、逸脱動作解析部１１４が解析した逸脱動作の解析結果（履歴情報１２１）に基づいて統計情報を生成し、表示入力装置１１１に解析結果（解析結果表示画面１２６）を表示させることができる。このような解析結果表示を見ることによって、ユーザ（作業者や監督者等）は、過去の逸脱動作の統計情報から、作業工程のどの要素（作業工程開始からの時間経過に対応）において改善すべき余地があるか認識することができる。
【００６３】
図１０は、第１の実施の形態に係る作業動作解析システムによる作業動作解析処理の処理手順の一例を示すフローチャートである。
【００６４】
図１０によればまず、撮像装置１１２が作業者の様子を撮影する（ステップＳ１１）。次に、身体部位検出部１１３が、ステップＳ１１で撮像された映像を、前述したようにToshevらの方法やShottonらの方法を用いて解析し、作業者の身体部位の位置情報を取得する（ステップＳ１２）。
【００６５】
次に、逸脱動作解析部１１４が、ステップＳ１２で取得した身体部位の位置情報から、身体部位の位置情報の時系列情報を解析し、逸脱動作の有無の判断（逸脱動作の検知）を行い、逸脱タイミング及び逸脱要因を特定する（ステップＳ１３）。
【００６６】
次いで、逸脱動作解析部１１４は、逸脱動作を検知したか否かを判定し（ステップＳ１４）、逸脱動作を検知しなかった場合は（ステップＳ１４のＮＯ）、ステップＳ１１に戻る。ステップＳ１４において逸脱動作を検知した場合は（ステップＳ１４のＹＥＳ）、当該逸脱動作に対応した作業映像を、逸脱作業映像として逸脱作業映像蓄積部１１８に蓄積し（ステップＳ１５）、さらに、当該逸脱動作について特定した逸脱タイミング及び逸脱要因（履歴情報１２１）を逸脱動作解析結果蓄積部１１９に蓄積する（ステップＳ１６）。
【００６７】
ステップＳ１６の後は、作業映像再生部１１５が、逸脱動作に対応した逸脱タイミング及び逸脱要因を逸脱動作解析結果蓄積部１１９から読み込む（ステップＳ１７）。さらに、作業映像再生部１１５は、逸脱動作に対応した逸脱作業映像を逸脱作業映像蓄積部１１８から読み込み、正常作業映像を正常作業映像蓄積部１１７から読み込む（ステップＳ１８）。
【００６８】
そして、作業映像再生部１１５は、ステップＳ１７及びステップＳ１８で読み込んだ情報を用いて、前述した方法に基づいて逸脱タイミングの前後の所定時間の映像を切り出し、切り出した作業映像や逸脱要因等を表示入力装置１１１に表示させる（ステップＳ１９）。ステップＳ１９の処理は、前述した作業映像表示の処理に相当し、具体的な表示画面（作業映像画面）は、図３や図４に例示した通りである。
【００６９】
ステップＳ１９の処理が終了した後は、ステップＳ１１に戻り、次の作業工程または要素作業について、再び撮像装置１１２が作業者の様子を撮影する。
【００７０】
なお、作業動作解析システム１１では、ステップＳ１７〜Ｓ１９の処理が行なわれる間も、その他の作業（例えば、引き続き行われているその後の作業）に対して逸脱動作解析を実行可能であることが好ましい。このような逸脱動作解析を実現するために、例えば、ステップＳ１１〜Ｓ１６の処理を第１のスレッドで処理し、ステップＳ１７〜Ｓ１９の処理を第２のスレッドで処理するようにしてもよい。このように複数のスレッドによる並行処理を行うことによって、第２のスレッドでステップＳ１７〜Ｓ１９の処理を実行中でも、第１のスレッドが次のステップＳ１１からの処理を実行することができる。また、第２のスレッドで行う処理は、ステップＳ１７〜Ｓ１９に限定されず、例えば、ステップＳ１５〜Ｓ１９の処理を第２のスレッドで行う等であってもよい。
【００７１】
第１の実施の形態に係る作業動作解析システム１１によれば、上記のような作業動作解析を行うことによって、作業者による作業の様子を撮影した後に、そのまま逸脱動作の検知やその要因等の解析を行い、逸脱動作を検知した場合にはすぐに解析結果を表示入力装置１１１に表示することができる（図３や図４の作業映像画面１２２）。したがって、作業者や監督者は作業映像画面１２２を見ることによって、作業をどのように修正すべきかを、速やかに把握することができ、作業者の習熟支援や監督者による作業者指導への支援に効果が期待できる。
【００７２】
またこのとき、逸脱動作の詳細な情報を表示することができる。具体的には、作業工程単位よりも細かい要素作業単位で、逸脱動作が発生したタイミングを特定して表示することができる。さらに、逸脱動作の原因が、身体部位の位置が正常作業とは異なる位置であった「作業位置逸脱」によるものか、要素作業の所要時間が正常作業で規定される所定の時間とは異なっていた「作業時間逸脱」によるものか、という逸脱要因も表示することもできる。
【００７３】
また、作業工程のリアルタイムな進行と並行して実行可能な上述の作業動作解析とは別に、過去の逸脱動作の履歴に基づいて、所望の期間に発生した逸脱動作に関する統計情報を解析し、解析結果を表示することができるため（図８，図９の解析結果表示画面１２６）、監督者が改善すべき要素作業のポイントを把握しやすく支援することができる。
【００７４】
（２）第２の実施の形態
図１１は、本発明の第２の実施の形態に係る作業動作解析システムの構成例を示すブロック図である。図１１を参照しながら、第２の実施の形態に係る作業動作解析システム２１の構成について説明する。
【００７５】
図１１に示した作業動作解析システム２１は、逸脱動作検知部２１１が追加された以外は、図１に示した作業動作解析システム１１と同じ構成を備える。
【００７６】
そして、作業動作解析システム１１では、逸脱動作解析部１１４が、逸脱動作の有無の判断（逸脱動作の検知）のほか、逸脱タイミングの特定、並びに逸脱要因の特定を行ったのに対して、作業動作解析システム２１では、逸脱動作検知部２１１が、逸脱動作の有無の判断（逸脱動作の検知）を行ない、逸脱動作解析部１１４が、逸脱タイミングの特定、並びに逸脱要因の特定を行う点で異なっている。
【００７７】
作業動作解析システム２１では、第１の実施の形態における説明と同様に、作業者が作業している様子を撮像装置１１２が撮影し、撮影した映像を身体部位検出部１１３が解析し、作業者の身体部位の位置情報を取得する。そして、逸脱動作検知部２１１は、身体部位検出部１１３によって取得された「作業者の身体部位の位置情報」についての時系列情報を解析することによって、逸脱動作の有無の判断（逸脱動作の検知）のみを行い、その検知結果を出力する。
【００７８】
逸脱動作検知部２１１が「作業者の身体部位の位置情報」の時系列情報から逸脱動作の有無を判断する方法は特に限定されないが、以下に一例を挙げる。
【００７９】
例えば、事前に、複数の正常作業における身体部位の位置情報の時系列情報のそれぞれから統計量を算出し、さらに、該統計量の確率分布を算出しておく。この統計量は、平均値、中央値、または分散等を意味する。その上で、逸脱動作検知部２１１は、作業映像から取得した「作業者の身体部位の位置情報」の時系列情報から同様の統計量を算出する。このようにして算出した統計量を、事前に算出した正常作業における統計量の確率分布で比較すれば、正常作業にどれだけ近いかを算出することができる。したがって、所定の閾値を用いた閾値処理を行う等によって、逸脱動作検知部２１１は、逸脱動作の有無を判断することができる。
【００８０】
図１２は、第２の実施の形態に係る作業動作解析システムによる作業動作解析処理の処理手順の一例を示すフローチャートである。図１２に示す処理手順について、第１の実施の形態について図１０に例示した作業動作解析処理の処理手順と異なる処理を中心に説明し、共通する処理の説明は省略する。
【００８１】
図１２において、撮像装置１１２が作業者の様子を撮影し（ステップＳ１１）、身体部位検出部１１３が作業者の身体部位の位置情報を取得する（ステップＳ１２）までの処理は、図１０と同様である。
【００８２】
次に、逸脱動作検知部２１１が、ステップＳ１２で取得した身体部位の位置情報から、身体部位の位置情報の時系列情報を解析し、逸脱動作の有無の判断（逸脱動作の検知）を行う（ステップＳ２１）。
【００８３】
次いで、逸脱動作検知部２１１は、逸脱動作を検知したか否かを判定し（ステップＳ２２）、逸脱動作を検知しなかった場合は（ステップＳ２２のＮＯ）、ステップＳ１１に戻る。ステップＳ２２において逸脱動作を検知した場合は（ステップＳ２２のＹＥＳ）、表示入力装置１１１に、逸脱動作が検知されたことを示す画面（逸脱動作報知画面）を表示させる（ステップＳ２３）。
【００８４】
ここで、図１３は、逸脱動作報知画面の一例を示す図である。図１３に例示した逸脱動作報知画面２２１には、例えば、シリアル番号（ＳＮ）と、発生場所と、作業工程開始のタイミングとが示される。それぞれの項目は、例えば図２で説明した履歴情報１２１の同名の項目と対応している。ここで、シリアル番号については、組立加工する製品のシリアル番号と一致させれば、製造実行システム１２との連携が可能となる。なお、図１３の逸脱動作報知画面２２１は一例に過ぎず、他の項目が表示されてもよいが、この時点では逸脱動作の解析は行われていないため、逸脱要因等の詳細情報は示されない。
【００８５】
すなわち、第２の実施の形態に係る作業動作解析システム２１では、逸脱動作の検知のみが行われた段階で逸脱動作報知画面２２１を表示することにより、逸脱動作が発生した後、速やかに（第１の実施の形態における作業映像画面１２２よりも早期に）逸脱動作の発生を報知することができる。
【００８６】
その後、逸脱動作解析部１１４が、ステップＳ１２で取得した身体部位の位置情報から、身体部位の位置情報の時系列情報を解析し、ステップＳ２１で検知された逸脱動作について、逸脱タイミング及び逸脱要因を特定する（ステップＳ２４）。
【００８７】
その後のステップＳ１５〜Ｓ１９の処理は、図１０と同様であるため、説明を省略する。なお、図１０で説明したのと同様に、図１２の作業動作解析処理においても、複数のスレッドによる並行処理を行うことによって、１つの作業動作について解析が行われている間に、他の作業動作についての解析も実行可能にすることができる。具体的には、ステップＳ１７〜Ｓ１９（または、ステップＳ２４及びステップＳ１５〜Ｓ１９）の処理を第２のスレッドで実行しながら、次のステップＳ１１〜Ｓ１６（または、ステップＳ１１〜Ｓ２３）の処理を第１のスレッドで行うようにしてよい。
【００８８】
また、図１２の処理手順では、逸脱動作検知部２１１が逸脱動作を検知しなかった場合（ステップＳ２２のＮＯ）に、ステップＳ１１に戻るとしたが、別の処理手順例として、ステップＳ２２における逸脱動作検知の判断処理を、ステップＳ２４において逸脱動作解析部１１４が逸脱動作の解析を行なった後に行うようにしてもよい。このような処理手順とすることによって、逸脱動作検知部２１１によって逸脱動作が検知されなかった場合でも、逸脱動作解析部１１４による詳細な解析によって逸脱動作の発生が改めて検知された場合に、ステップＳ２２における逸脱動作検知の判断処理が行われるため、逸脱処理の検知時の報知及び情報収集を確実に行うことができる。
【００８９】
第２の実施の形態に係る作業動作解析システム２１によれば、上記のような作業動作解析を行うことによって、作業者による作業の様子を撮影した直後に、そのまま逸脱動作の検知を行ない、逸脱動作を検知した場合にはすぐに、逸脱動作報知画面２２１の表示によって逸脱動作の発生を作業者や監督者等に報知することができる。この報知タイミングは、第１の実施の形態における作業映像画面１２２の表示（図１０のステップＳ１９）よりも早期に実現できるため、作業の実行中に、より高いリアルタイム性で逸脱動作の検知を実現することができる。
【００９０】
さらに、第２の実施の形態に係る作業動作解析システム２１では、逸脱動作を検知して逸脱動作報知画面２２１を表示した後に、第１の実施の形態に係る作業動作解析システム１１と同様に、逸脱動作の解析を行って逸脱タイミング及び逸脱要因を特定し、その解析結果を作業映像画面１２２で表示できる。またこのとき、要素作業単位で逸脱動作の発生タイミングを特定して表示し、逸脱動作の原因が「作業位置逸脱」によるものか、「作業時間逸脱」によるものか、も特定して表示することができる。これらのことから、第１の実施の形態と同様に、作業をどのように修正すべきかを、作業者や監督者に速やかに認識させることができ、作業者の習熟支援や監督者による作業者指導への支援に効果が期待できる。
【００９１】
特に、第２の実施の形態に係る作業動作解析システム２１では、上記のように逸脱動作の発生に対して、逸脱動作の検知のみを解析して報知させる第１の解析ステップと、逸脱動作の詳細（逸脱タイミングや逸脱要因）を解析して報知させる第２の解析ステップという、多段階の解析ステップを備える。このような構成にすることで、第１の解析ステップについては、処理負荷を軽減して早期の報知を可能とし、第２の解析ステップについては、第１の解析ステップよりは時間を要するものの、詳細な解析結果の報知を可能とする。この結果、作業者や監督者は、用途に応じてこれら多段階による報知を柔軟に利用することができる。例えば、作業をリアルタイムで監督する監督者にとっては、細かい作業を常に監視するのは負担が多く、第１の解析ステップによる逸脱動作の発生の報知が即時性をもって実行されることが最も重要となる。そして、第１の解析ステップによる報知が行われた場合には、その後に行われる第２の解析ステップによる報知を確認してその詳細を確認することにより、作業の問題点や改善ポイントについての支援情報を得ることができる。
【００９２】
また、第１の実施の形態に係る作業動作解析システム１１と同様に、作業工程のリアルタイムな進行と並行して実行可能な上述の作業動作解析とは別に、過去の逸脱動作の履歴に基づいて、所望の期間に発生した逸脱動作に関する統計情報を解析し、解析結果を表示することができるため（図８，図９の解析結果表示画面１２６）、監督者が改善すべき要素作業のポイントを把握しやすく支援することができる。
【００９３】
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００９４】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実施には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００９５】
１１，２１  作業動作解析システム
１２    製造実行システム
１１１  表示入力装置
１１２  撮像装置
１１３  身体部位検出部
１１４  逸脱動作解析部
１１５  作業映像再生部
１１６  統計情報生成部
１１７  正常作業映像蓄積部
１１８  逸脱作業映像蓄積部
１１９  逸脱動作解析結果蓄積部
１２１  履歴情報
１２２（１２２ａ，１２２ｂ）  作業映像画面
１２３  操作待受画面
１２４  過去逸脱動作確認画面
１２５  対象期間決定画面
１２６（１２６ａ，１２６ｂ）  解析結果表示画面
２１１  逸脱動作検知部
２２１  逸脱動作報知画面
【図１】
2019152802.tif 000003
【図２】
2019152802.tif 000004
【図３】
2019152802.tif 000005
【図４】
2019152802.tif 000006
【図５】
2019152802.tif 000007
【図６】
2019152802.tif 000008
【図７】
2019152802.tif 000009
【図８】
2019152802.tif 000010
【図９】
2019152802.tif 000011
【図１０】
2019152802.tif 000012
【図１１】
2019152802.tif 000013
【図１２】
2019152802.tif 000014
【図１３】
2019152802.tif 000015