(57)【要約】【課題】作業が正しく行われたか否かを判断する照合精度を向上することを目的とする。【解決手段】作業を撮影した映像の注目領域の動作検知の結果に基づき検知ラベル列を生成する生成手段と、作業環境に関する情報に基づき検知ラベル列を複数の検知部分ラベル列に分割する分割手段と、複数の検知部分ラベル列それぞれについて参照ラベル列との照合方法を選択する選択手段と、選択手段により選択された照合方法で複数の検知部分ラベル列それぞれと参照ラベル列とを照合する照合手段と、を有する。【選択図】図６
2020008932.tif 000002
【特許請求の範囲】
【請求項１】
作業を撮影した映像の注目領域の動作検知の結果に基づき検知ラベル列を生成する生成手段と、
作業環境に関する情報に基づき前記検知ラベル列を複数の検知部分ラベル列に分割する分割手段と、
前記複数の検知部分ラベル列それぞれについて参照ラベル列との照合方法を選択する選択手段と、
前記選択手段により選択された照合方法で前記複数の検知部分ラベル列それぞれと前記参照ラベル列とを照合する照合手段と、
を有する画像処理装置。
【請求項２】
前記照合手段による照合の結果を出力する出力手段を更に有する請求項１記載の画像処理装置。
【請求項３】
前記分割手段は、前記作業環境に関する情報として前記注目領域における特定物体の有無に基づき前記検知ラベル列を前記複数の検知部分ラベル列に分割する請求項１又は２記載の画像処理装置。
【請求項４】
前記分割手段は、前記作業環境に関する情報として前記注目領域における特定物体の位置に基づき前記検知ラベル列を前記複数の検知部分ラベル列に分割する請求項１又は２記載の画像処理装置。
【請求項５】
前記分割手段は、前記作業環境に関する情報として前記注目領域における特定物体の向きに基づき前記検知ラベル列を前記複数の検知部分ラベル列に分割する請求項１又は２記載の画像処理装置。
【請求項６】
前記分割手段は、前記作業環境に関する情報として前記注目領域における作業者の使用道具の種類に基づき前記検知ラベル列を前記複数の検知部分ラベル列に分割する請求項１又は２記載の画像処理装置。
【請求項７】
前記分割手段は、前記作業環境に関する情報として作業中の音声に含まれる騒音量に基づき前記検知ラベル列を前記複数の検知部分ラベル列に分割する請求項１又は２記載の画像処理装置。
【請求項８】
前記分割手段は、前記作業環境に関する情報として作業中の音声に含まれる会話の内容に基づき前記検知ラベル列を前記複数の検知部分ラベル列に分割する請求項１又は２記載の画像処理装置。
【請求項９】
前記分割手段は、前記作業環境に関する情報として作業中の稼働装置の稼働音に基づき前記検知ラベル列を前記複数の検知部分ラベル列に分割する請求項１又は２記載の画像処理装置。
【請求項１０】
前記分割手段は、前記作業環境に関する情報として作業の動作に関連して発生する振動の状態に基づき前記検知ラベル列を前記複数の検知部分ラベル列に分割する請求項１又は２記載の画像処理装置。
【請求項１１】
前記分割手段は、前記作業環境に関する情報として作業の動作に関連して発生する稼働装置の稼働状態に基づき前記検知ラベル列を前記複数の検知部分ラベル列に分割する請求項１又は２記載の画像処理装置。
【請求項１２】
画像処理装置が実行する画像処理方法であって、
作業を撮影した映像の注目領域の動作検知の結果に基づき検知ラベル列を生成する生成工程と、
作業環境に関する情報に基づき前記検知ラベル列を複数の検知部分ラベル列に分割する分割工程と、
前記複数の検知部分ラベル列それぞれについて参照ラベル列との照合方法を選択する選択工程と、
前記選択工程により選択された照合方法で前記複数の検知部分ラベル列それぞれと前記参照ラベル列とを照合する照合工程と、
を含む画像処理方法。
【請求項１３】
コンピュータを、請求項１乃至１１何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、工場の組立作業が正しく行われているかを分析する手法として、組立作業のシーンを撮影した映像中の作業員の動きを解析し、作業手順書の記載内容に照らし合わせる手法が知られている。例えば、映像中の組立作業の発生する箇所に矩形を設定して、その矩形に手が入ったかどうかで組立作業を実施したかを判定する手法がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２０９６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
作業手順書には組立作業において行われる作業の順番が記載されていることもあり、作業者によって行われた組立作業の良否を判断するには、作業の順番を加味しなければならないときもある。そのような作業の順番を加味した組立作業の分析には、特許文献１のような、個別作業の発生の有無に注目しているだけでは実現できず、それらの発生の順序を分析する必要がある。そのような手法として、ＤＰマッチングに代表されるような、シーケンスの並びのあいまいさを許容するシーケンスマッチングが知られている。しかし、高い精度が求められる部品の微調整作業等、熟練度に依らず個体ごとに大きく作業内容や作業時間がばらつくものがある。そのような作業が含まれるシーケンスに対してシーケンスマッチングを行うと、全体の照合精度が落ちる場合があった。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、作業を撮影した映像の注目領域の動作検知の結果に基づき検知ラベル列を生成する生成手段と、作業環境に関する情報に基づき前記検知ラベル列を複数の検知部分ラベル列に分割する分割手段と、前記複数の検知部分ラベル列それぞれについて参照ラベル列との照合方法を選択する選択手段と、前記選択手段により選択された照合方法で前記複数の検知部分ラベル列それぞれと前記参照ラベル列とを照合する照合手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、作業が正しく行われたか否かを判断する照合精度を向上することができる。
【図面の簡単な説明】
【０００７】
【図１】作業評価制御装置のハードウェア構成の一例を示す図である。
【図２】作業評価制御装置の機能構成の一例を示す図である。
【図３】組立作業の事例等を示す図である。
【図４】作業手順書の一例を示す図である。
【図５】テーブルの一例を示す図である。
【図６】実施形態１の情報処理の一例を示すフローチャートである。
【図７】シーケンスマッチングの例を示す図である。
【図８】ＤＰマッチングの適用の一例を示す図である。
【図９】実施形態２の情報処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
＜実施形態１＞
図１は、作業評価制御装置１００のハードウェア構成の一例を示す図である。作業評価制御装置１００は、画像処理装置の一例である。
制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等により構成され、情報処理のための演算や論理判断等を行う。制御部１０１は、システムバス１０６を介して、システムバス１０６に接続された各構成要素を制御する。
表示部１０２は、画像情報の表示を制御するコントローラ及び液晶パネル、又はプロジェクタ、又は警告等の出力装置を含む。
通信部１０４は、ネットワークコントローラ等であり、他の装置との接続を制御する外部通信手段である。より具体的には、通信部１０４は、ＬＡＮ、３Ｇ、４Ｇ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）等の通知方式で他の装置との接続を制御する。但し、通信部１０４は、同様の目的を達成できる他の通信方式を採用してもよい。作業評価制御装置１００は、通信部１０４を介して、生産ライン及び人物（人物の行動を含む）を撮影する映像取得装置３０９より映像を受信する。
【００１０】
計測部１０５は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）センサ、ジャイロセンサ、人体モーションセンサ、電子コンパス等である。計測部１０５は、人物の位置、人物の姿勢（方角、各関節の回転・角度・角速度）、生産ラインの工具の稼働状況、騒音等を計測する。
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０７は、各構成要素からの各種データの一時記憶に用いられる。例えば、ＲＡＭ１０７は、各種計測データ、又は画像データ等を一時的に記憶する。
外部記憶部１０８、フラッシュメモリ、ＨＤＤ、又は光学ディスク等の物理媒体を用いて、本実施形態で実行されるプログラムの他、図４で述べる各種データ等、計測データ、画像データを記憶する。
上記の各構成要素からなる作業評価制御装置１００は、映像記録部１０３から供給される各種映像、通信部１０４から供給されるネットワーク経由の各種入力、又は計測部１０５から入力される計測値に応じて作動する。即ち、映像記録部１０３、通信部１０４、計測部１０５何れかからの入力が供給されると、インタラプト信号が制御部１０１に送られる。そして、制御部１０１が、外部記憶部１０８に記憶された各種のプログラムを読み出し、プログラムに従って各種の制御を実行する。制御部１０１が、プログラムに基づき処理を実行することにより、後述する図２の作業評価制御装置１００の機能構成、及び、後述する図６、図９のフローチャートの処理が実現される。
【００１１】
図２は、作業評価制御装置１００の機能構成の一例を示す図である。
注目領域制御部２０１は、映像記録部１０３で得られた動画の各フレームから被写体の動きや有無変化等が発生しうる注目領域を座標群と対応するラベルとで管理する。物体検知部２０２は、実際に各注目領域内の動きや有無変化を検知する。検知ラベル列制御部２０３は、検知結果をラベル列として蓄積する処理を行う。
【００１２】
まず、工場の組立作業の事例、作業評価制御装置１００の目的、技術課題、解決方法を概説する。図３（Ａ）は作業台３０１において作業者３０８が組立作業を行う作業場の様子を表している。作業台３０１はワークベンチ３０２、組立対象物３０３、シールケース３０４、ビスケース３０５、ゴミ箱３０６、ドライバ受け３０７、映像取得装置３０９からなる。この作業場においては、複写機の内部に組み込む現像器や定着器等の組立対象物をワークベンチに置き、組立対象物の組み立てを行うものである。作業者は組立作業手順書に従い組立作業を行う。したがって作業評価制御装置１００の目的は、作業者が組立作業手順書に従って組立作業を行ったかどうかを判定することである。
【００１３】
図３（Ｂ）に示したのは、実際に作業台３０１を対象に作業検知を行う際の全体の構成要素を表している。本実施形態の例においては、作業評価制御装置１００は、映像取得装置３０９から得られる映像取得結果の各フレームにおいて作業と関連する動作が生じうる場所に事前に注目領域を１つ以上設定する。例えば、シールを貼る場合には組立対象物３０３とシールケース３０４とに、ドライバを用いる場合にはビスケース３０５と組立対象物３０３とに、ゴミ箱にものを捨てる場合にはゴミ箱３０６に、動きの発生が期待できる。作業評価制御装置１００は、このような場所に注目領域を付与する。この注目領域は任意矩形範囲で指定するものとし、作業評価制御装置１００は、それぞれに番号等、相互に区別可能なラベルを割り当てる。後述する一連の認識処理において、作業評価制御装置１００は、注目領域における手先の通過検知や物体有無検知を行う。以降の説明では、組立に必要な動き１つ１つを「動作」と呼ぶこととし、各「作業」は複数の「動作」から構成されることとする。図３（Ｂ）において点線の矩形が注目領域である。また、下線付き数字は注目領域の番号である。
図３（Ｃ）に示したのはワークベンチ３０２において作成する組立対象物３０３の具体例である。薄いシート状の物体が通過することを想定した製品の例である。本体３１０に金具３１１がビス３１２で打ち付けられている。隙間遊び測定具３１３はシートの隙間が妥当であるかを確認するためのものである。
【００１４】
図４（Ａ）（Ｂ）は作業手順書の例である。作業手順書には作業手順の詳細な説明文が記載されている。本実施形態の例における組立作業は主に、金具の取り付け（作業１）、ビス締め（作業２）、金具位置の微調整（作業３）、シール貼り付け（作業４）等である。
作業１：金具の取り付け（金具３１１）
動作１：金具３１１を本体３１０に装着
作業２：ビス締め（ビス３１２）
動作１：ドライバ取得、動作２：ビス取得、動作３：ビス締め、動作４：ドライバ戻し
作業３：金具位置の微調整（金具３１１）
動作１：隙間遊び測定具３１３で隙間測定、金具３１１を微調整
作業４：シール貼付
動作１：シール取得、動作２：シール右端貼付、動作３：シール左端貼付、動作４：シール裏紙破棄
（作業５以降は省略）
更に、各作業の具体的な組立作業について説明すると、作業２については、右手でドライバを取り左手でビス箱からビスを取り、組立対象物中央の黒丸のビス穴にビスを締めて、ドライバを戻すという流れである。作業３については隙間遊び測定具３１３を用いて遊びを確認し、適宜、ビス３１２を緩めたうえで金具３１１の位置を調整した後、ビス３１２を締めなおすものである。作業４については、シールを取り、組立対象物の左半分に貼り付け、ゴミ箱に裏紙を捨てるという流れである。これらは、作業手順書に記載があり、作業者はこの順番で組立作業を進めなければならない。
【００１５】
図５の領域定義テーブル５０１は図３（Ｂ）に示した注目領域の定義を保存する。また、検知ラベル列格納テーブル５０２は本実施形態の装置によって認識される作業の履歴を注目領域と紐づけて保存する。図５に示されるテーブルは、外部記憶部１０８に記憶される。
【００１６】
図６は、実施形態１の作業評価制御装置１００の情報処理の一例を示すフローチャートである。フローチャートの全体は映像取得装置３０９で取得されるフレーム毎にループする構造となっている。作業評価制御装置１００は、撮影された映像の各フレームにおいて上述の注目領域内の映像の変化を検知し、上述の組立作業の流れと注目領域の変化との間に想定通りの対応があれば組立作業が正しく実施されたと判断する。組立作業の最初から最後までにおいて検知したラベルを蓄積したものを検知ラベル列という。作業手順書で記載されている動作の順序に基づき、ラベルを並べた列を参照ラベル列という。作業評価制御装置１００は、検知ラベル列が参照ラベル列と比較して妥当な並びになっているかを検証する。作業評価制御装置１００は、妥当な並びであれば組立作業は正しく実施されたと判断し、そうでなければ組立作業は失敗と判断する。
映像取得装置３０９によって組立作業を撮影する。映像取得装置３０９は、作業場の上部等に設置したカメラから撮影する。Ｓ６０１において、制御部１０１は、映像取得装置３０９より映像フレームを受信する。
Ｓ６０２において、制御部１０１は、映像フレーム内の注目領域群の画像を取得する。続いて、ここで取得した注目領域毎にＳ６０３からＳ６０６までループ実行する。
【００１７】
Ｓ６０３において、制御部１０１は、注目領域内の動作検知を行う。動作検知は画像輝度のフレーム間差分、ＳＩＦＴ等の特徴量のフレーム間差分、基準輝度値との比較、カメラ画角内物体の通過、物体形状の変化等を用いて行う。
Ｓ６０４において、制御部１０１は、動作検知の有無を判定する。制御部１０１は、動作検知があった場合にはＳ６０５に、なかった場合にはＳ６０６に推移する。
Ｓ６０５において、制御部１０１は、検知ラベル列に検知結果を反映する。より具体的には、制御部１０１は、検知された注目領域に振られたラベルを検知ラベルとして扱い、それを発生時刻等と紐づけて時系列的に生成・蓄積する。図７（Ａ）（Ｂ）に示したのは実際に検知された検知ラベル列の例である。作業者はビス締め作業において、本体３１０に金具３１１をビス３１２で打ち付ける。続けてシートの隙間が妥当であるかを確認するために、隙間遊び測定具３１３を用いて隙間を測定する。このとき、隙間が基準通りにできていない場合はビス３１２を緩めたり金具を押し付けたりする等して隙間を微調整する。この微調整作業は生産する個体ごとに不規則に発生するため、図７（Ａ）（Ｂ）に示した例にあるように、他の作業に比べてラベル列の長さ、ラベルの先頭と末尾との発生時刻差、含まれるラベルの種類がばらつく傾向にある。このような状況においては、制御部１０１は、参照ラベル列と検知ラベル列との照合精度が落ちてしまうため、注目領域間の物体有無変化の対応等から作業の切り替わりと相関のある作業環境変化を抽出し、照合方法を適応的に変更することが有効である。一種類による照合方法で全体を検知する場合には、微調整作業によるラベル長・ラベル種類数の不規則性が他の作業のラベルに対する望ましい紐づけを妨げるためである。
そこでＳ６０６において、制御部１０１は、作業環境変化を効率的に取得するために、各注目領域内の物体有無状態を更新する。有無判定対象となるのは、作業者の手、作業者の腕、作業に用いる部品、作業に用いる備品等である。
Ｓ６０７において、制御部１０１は、検知ラベル列分割を行い、検知ラベル列を１つ以上の検知部分ラベル列に分割する。その上で、制御部１０１は、部分検知ラベル列毎にＳ６０８〜Ｓ６０９をループ実行する。
【００１８】
Ｓ６０８において、制御部１０１は、事前に決めておいた条件に基づいて部分シーケンス照合手段の選択を行う。
ここで、部分シーケンス照合手段の詳細について述べる。本実施形態の例では基本的にシーケンスマッチングを用いる。シーケンスマッチングとは、２つの時系列データが正確に一致していなくても、時系列データを構成するラベルの発生順序の概略が似ていれば２つの時系列データは同一であるとみなす、あいまいさを許容するマッチング手法のことである。シーケンスマッチングを導入する理由は、動作から次の動作に移る間等、動作以外にも手が注目領域に入ることがあり、正しく組立作業を行っていても検知ラベル列と参照ラベル列とが正確に一致することはないからである。本実施形態においては、ＤＰマッチングと呼ばれるシーケンスマッチングを使うものとする。ＤＰマッチングは、２つの時系列データ（参照、観測）の類似度を測定する手法であり、照合のコストが最も小さくなるように参照時系列データのラベルに、観測時系列データのラベルを紐付けていく。その過程でＤＰマッチングはノイズの影響を最小限にする処理をするため、シーケンスマッチングとして用いることができる。より具体的な事例を交えた照合方法は図８（Ａ）に記している。参照時系列データとして１、２、３、４、観測時系列データとして１、２、４、３、４を用いる。観測時系列データにおける２つの４のうち最初の４はノイズである。図８（Ａ）において、左下から右上に向かってラベルの紐付けを行うものとして、各セルには左下から、該当のセルを共有する参照、観測の各時系列のラベルを紐付けるまでの最低コストを記す。また、各セルの最低コストの算出には、最低コストを算出済みの下、左下、左の３つのセルから算出し、これを繰り返すという簡易な演算で左下から右上までを紐付けていく上での最低コストを導出する。また、３つのセルのうち、いずれのセルを採用したかを記録しておくので、最終的な右上の最低コストの導出では、どのような経路を通ったかを導くことはできる。詳細な計算は省略するが、図８（Ａ）のＤＰマッチングをした結果は図８（Ｂ）となり、濃いセルをたどる経路が最低コストを実現した経路となる。紐付けの結果を具体的に示した図は図８（Ｃ）となり、ノイズの"４"は参照時系列データの"４"ではなく、"２"に付随したノイズとして紐付けられている。
【００１９】
一方で、遊び調整作業のような個体ごとにばらつきが大きい作業では、図７（Ｃ）のような参照ラベル列の固定を前提としたＤＰマッチングでは作業照合精度が低くなる課題がある。そこで本実施形態では、作業の種類が変わっても検知精度を維持するため、制御部１０１は、Ｓ６０３、Ｓ６０６で収集した各注目領域の動作検知及び物体有無状態を用いて検知方法を適応的に選択する。図７（Ｄ）に示したのはその具体例である。図７（Ｃ）との違いは、制御部１０１が、微調整作業においてラベル種類数とそれらの時間占有率とを測定するように変更している点である。更に、図７（Ｅ）に示したように、制御部１０１は、その切り替えのトリガとしては使用道具である隙間遊び測定具３１３等、特定物体の所定の置場の注目領域（ＩＤ＝７）を用いて、その中の隙間遊び測定具３１３の有無を検知する。特定物体の有無は仕掛中の作業と関連する作業環境変化として用いることができる。したがって、制御部１０１は、この情報を基にラベル列を部分シーケンスに分割し、部分シーケンスごとにＤＰマッチングに限らない部分シーケンス照合手段を選択する。より具体的には、制御部１０１は、作業対象の特性に合わせて検知方法を切り替える（図７（Ｆ））。例えば、制御部１０１は、本実施形態で述べる例以外にも、押さえつける作業が中心の作業に対しては所要時間を、塗装作業等においては注目領域内の平均輝度値を、割り込み作業であることが自明である場合には照合対象外にする等、適宜適切なものを選択することができる。こうすることで、作業順よりも作業内容の内訳が重要な微調整作業に冗長な照合が可能となる。その上、シール貼り付け作業の後に再度微調整作業を行う等、作業順が前後する場合においても冗長な作業照合を行うことができる。ここで、制御部１０１は、特定物体の有無に限らず、特定物体の位置、又は特定物体の向き、測定特定物体の種類に基づき、検知ラベル列を複数の検知部分ラベル列に分割するようにしてもよい。ＤＰマッチング以外のマッチング方法（部分シーケンス照合手段）としては、分割時間の長さ、検知ラベル列の長さ、検知ラベル列の種類の数、各ラベルの占める割合、映像の平均輝度等に基づくマッチング方法がある。
Ｓ６０９において、制御部１０１は、選択した部分シーケンス照合手段を用いて部分シーケンスの照合を行う。
【００２０】
Ｓ６１０において、制御部１０１は、各部分シーケンス照合結果を統合し、作業手順書全体で作業が正しく行われたか否かを判定する。制御部１０１は、各部分シーケンスについてあえて複数の検知方法を選択して並走させたうえで、それらの結果を統合するようにしてもよい。例えば、制御部１０１は、統合方法としては作業漏れの有無検知ならば複数手法の結果の多数決で行う。こうすることで、データ収集が十分でない状況下等、１つ１つの手法による検知の結果が不安定になる場合においても、冗長な検知を実現できる。
Ｓ６１１において、制御部１０１は、検知結果を出力する。
なお、本実施形態の例に挙げたＳ６０８の部分シーケンス照合手段の選択の条件は、実施前に事前決定する方法のほか、作業履歴を蓄積していく過程で、監督者がフィードバックをかけていく等して動的に決定してもよい。こうすることで、どのシーケンス照合手段が妥当であるか前例が少なく判断が難しい場合にも適用可能になる。またＳ６０７の検知ラベル列分割処理の分割基準は１つの注目領域の有無に限らない。例えば、複数の注目領域における有無の組み合わせを用いることによって、より複雑かつ冗長な分割条件となることを期待できる。
【００２１】
以上、本実施形態における例においては、作業を構成する動作に関連する作業環境変化を基に検知ラベル列を複数の検知部分ラベル列に分割したうえで、それぞれ検知手法を変更する。こうすることで、作業内容や作業時間がばらつく作業の影響が作業分析対象全体に及ぶことを防ぐ効果があり、その結果として、作業が正しく行われたか否かを判断する照合精度が向上し、組立作業の監督者は的確に組立作業のやり直し等の指示を出せるようになる。
【００２２】
＜実施形態２＞
次に、実施形態２として、作業中のライン内に配置されたセンサ等から読み出す装置稼働音等の音声取得結果や振動状態計測結果、稼働状態変化計測結果を用いる例について述べる。この例によれば、より多様な作業照合を可能にする。
本実施形態は実施形態１と同様の構成を持つ。図９は、実施形態２の作業評価制御装置１００の情報処理の一例を示すフローチャートである。本実施形態では照合精度を更に高めるためにＳ９０７〜Ｓ９０８の処理を検知ラベル列分割処理の前に追加している。この検知ラベル列分割処理の詳細と、その追加によって生じる後段の処理の差分について以下に述べる。
【００２３】
Ｓ９０７において、制御部１０１は、ライン内に配置されたセンサ等から稼働装置の稼働音等の音声信号、振動の状態、稼働状態を収集する。より具体的には、センサは、映像取得装置３０９に付帯のマイク、ドリルの電源ＯＮ／ＯＦＦセンサ、掃除機の電源ＯＮ／ＯＦＦセンサ、作業台３０１付帯の振動センサ等である。これは、生産作業では大きな稼働音や振動を発する道具を用いる場合があることから、各種センサの情報を基に効率的に照合手段の切り替えを行うことを期待している。
Ｓ９０８において、制御部１０１は、収集したセンサ測定値の解析を行う。音声から騒音量、特定の周波数の強さを特徴量として抽出し、基準値判定（出力５０％等）することで、ドリルや掃除機の稼働状態（ＯＮ／ＯＦＦ等）を細かく取得することができる。また、制御部１０１は、作業者の会話内容を音声認識することで、発話時の作業内容を推定することができる。
【００２４】
Ｓ９１０において、制御部１０１は、これらの情報を基に部分シーケンス照合手段を選択する。例えば、作業７、ビス部ホコリ吸い取り作業の例について述べる。これは、ビスを金具３１１の装着時や微調整時に繰り返し着脱を繰り返す際に発生する微細なホコリを、不良品発生防止のために吸い取る作業である。注目領域のみによる検知では、掃除機の先端が付近を通過したことは追尾できるが、実際に吸い取っているかどうかまでは判断が難しい。かつ、この作業は微調整作業と同様に吸い出しタイミングや回数が不規則に発生する。そこで、制御部１０１は、掃除機の電源ＯＮ／ＯＦＦセンサの動き、又はマイクから録音した掃除機の稼働音の検出有無によって照合方法を切り替える。より具体的には、制御部１０１は、吸い出しを行う間に対応する検知ラベル列を吸い出し作業と推定したうえで、ラベル種類数とそれらの時間占有率とを測定する照合方法をとるように変更する。こうすることで、注目領域のみの動作検知では妥当性判断が難しく、かつ、個体ごとにばらつきがある作業を精度よく検知することができる。なお、微調整作業とホコリ吸い取り作業とに強い関連がある場合のように、事前に特定作業との関連が明らかである場合には、制御部１０１は、それぞれの作業で検知したラベル種類数と時間占有率との一致度によって作業の妥当性を判断してもよい。こうすることで、微調整作業が多いにもかかわらず、ホコリ吸い取り作業が少ない個体が作られた場合等、品質リスクが高いと考えられる作業を効率的に抽出することができる。本実施形態のＤＰマッチング以外のマッチング方法（部分シーケンス照合手段）としては、音声の信号量、特定周波数の有無等に基づくマッチング方法がある。
【００２５】
以上、ライン内に配置されたセンサ等から読み出す音声信号、振動値を用いることによって、より多様な作業照合を可能にする例について述べた。これにより、注目領域のみの動作検知では妥当性判断が難しく、かつ、個体ごとにばらつきがある作業を精度よく検知する効果が得られる。
【００２６】
（変形例）
実施形態１及び実施形態２ではそれぞれ作業台をベースに行うセル生産作業の例を示したが、これらのユースケースに限定されることはない。映像をベースに動作履歴を追尾可能なユースケースであれば広く適用可能である。例えば、物流倉庫における梱包・包装作業等にも適用できる。この場合、制御部１０１は、ガムテープ等の残量によって個体ごとにばらつく作業を他の作業と別途切り出してシーケンス照合することによって、作業全体の照合精度を高めることができる。
また、実施形態２では作業中のライン内に配置されたセンサ等から得られた結果を基に検知ラベル列の分割を行う例を示したが、これだけではなく、制御部１０１は、得られた値を基にラベル列を生成することでもよい。こうすることで、映像のみに頼るラベル列よりも精度の高いラベル列を得られる。例えば、制御部１０１は、手の先がある注目領域を通過する場合に、掃除機の稼働状態がＯＮであるかＯＦＦであるかを別ラベルとして扱う。
また、上述した実施形態ではシーケンスマッチングの手法としてはＤＰマッチングを用いた手法及びラベル種類数と時間占有率との一致度を開示しているが、これらに限られることはない。例えば、オートマトンやＨＭＭ等のモデルを用いた手法を用いる場合にも有効である。モデルの事前設計や適用方法はＤＰマッチングとまったく同様に行うことができる。これらのモデルは、手元の移動が一連の作業で八の字を描くこと等が事前に分かっている場合等、ラベル列の推移が特徴的である場合等に有効である。
【００２７】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００２８】
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、作業評価制御装置１００のハードウェア構成として制御部１０１、ＲＡＭ１０７、外部記憶部１０８等は１つである必要はない。複数の制御部がプログラムに基づき、複数のＲＡＭ、外部記憶部等に記憶されたデータ等を用いながら処理を実行するようにしてもよい。
【００２９】
以上、上述した各実施形態によれば、作業を構成する動作に関連する作業環境変化を基に検知ラベル列を複数の検知部分ラベル列に分割したうえで、それぞれ検知手法を変更することで、例外性や時間ばらつきのある作業の影響が分析対象全体に及ぶことを防ぐ。この結果として、作業が正しく行われたか否かを判断する照合精度が向上し、組立作業の監督者は的確に組立作業のやり直し等の指示を出せるようになる。
【符号の説明】
【００３０】
１００  作業評価制御装置
１０１  制御部
【図１】
2020008932.tif 000003
【図２】
2020008932.tif 000004
【図３】
2020008932.tif 000005
【図４】
2020008932.tif 000006
【図５】
2020008932.tif 000007
【図６】
2020008932.tif 000008
【図７】
2020008932.tif 000009
【図８】
2020008932.tif 000010
【図９】
2020008932.tif 000011