(57)【要約】      （修正有）【課題】作業工程に用いられる機器をスレーブとするマスタスレーブ制御システムの外部に位置する上位システムへの通信負荷を抑制しつつ、複数の作業工程の実施状況を撮影した撮像データを効率的に利用する。【解決手段】情報処理装置（１０）は、制御ネットワーク（５０）を介してＰＬＣ（２０）から取得した工程情報を用いて、基礎撮像データから部分撮像データを抽出する。【選択図】図１
2020205027.tif 000002
【特許請求の範囲】
【請求項１】
複数の作業工程の実施状況を撮影した撮像データである基礎データを取得する第１取得部と、
前記複数の作業工程の各々の実施に用いられる機器が実行した動作の内容および結果を示す動作結果から生成された工程情報を取得する第２取得部と、
前記工程情報を用いて、前記機器が実行した前記動作が所定の動作基準を満たすかを判定する動作判定部と、
前記動作判定部により前記所定の動作基準を満たすと判定された前記動作に対応する前記作業工程の実施状況を示す撮像データを、部分データとして前記基礎データから抽出する抽出部と、
を備え、
自装置は、前記機器をスレーブとするマスタスレーブ制御システムにおけるマスタに内部バスを介して接続した装置、または、前記スレーブと前記マスタとを通信可能に接続する制御ネットワークを介して前記マスタに接続した、前記機器とは異なる装置であり、
前記第２取得部は、前記マスタにより生成または収集された情報を、前記工程情報として取得する
データ抽出装置。
【請求項２】
前記基礎データに対する画像解析によって、前記作業工程の実施の際に作業者が行った作業が、前記作業工程の実施の際に行われる標準的な作業であるか否かを判定する画像解析部をさらに備え、
前記抽出部は、前記基礎データからさらに、前記画像解析部により前記標準的な作業ではないと判定された前記作業に対応する前記作業工程の実施状況を示す撮像データを、前記部分データとして抽出する
請求項１に記載のデータ抽出装置。
【請求項３】
前記抽出部により前記部分データとして抽出された撮像データを、前記マスタスレーブ制御システムの外部へと送信する送信部をさらに備える
請求項１または２に記載のデータ抽出装置。
【請求項４】
前記動作判定部は、（Ａ）前記機器が異常を検出したとの動作結果、および、（Ｂ）前記機器が実行した動作に異常があったとの動作結果、の少なくとも一方に対応する前記動作は、前記所定の動作基準を満たすと判定する
請求項１から３のいずれか１項に記載のデータ抽出装置。
【請求項５】
前記動作判定部は、実行されるべき順序において実行されなかったとの動作結果に対応する前記動作は、前記所定の動作基準を満たすと判定する
請求項１から４のいずれか１項に記載のデータ抽出装置。
【請求項６】
前記動作判定部は、前記機器が実行した前記動作について、実行を完了するまでに実際に要した時間が、実行を完了するまでに要する時間として予め設定されている標準動作時間の範囲内にないと、前記動作は前記所定の動作基準を満たすと判定する
請求項１から５のいずれか１項に記載のデータ抽出装置。
【請求項７】
前記作業工程ごとに、
（１）前記作業工程の実施に係る作業を行う領域に作業者が滞在していた期間、
および、
（２）前記作業工程の実施に係る動作が前記機器により実行された期間
の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させる
請求項１から６のいずれか１項に記載のデータ抽出装置。
【請求項８】
（１）作業者ごとの、前記作業工程の実施に係る作業を行う領域に滞在していた期間、
および、
（２）前記機器ごとの、前記作業工程の実施に係る動作を実行していた期間
の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させる
請求項１から７のいずれか１項に記載のデータ抽出装置。
【請求項９】
所定の期間における、前記作業工程ごとの、
（１）前記作業工程の実施に係る作業を行う領域に作業者が滞在していた期間の合計、
および、
（２）前記作業工程の実施に係る動作が前記機器により実行された期間の合計
の少なくとも一方が、前記所定の期間において前記作業が行われ得る、または、前記動作が実行され得る時間の全体に占める割合を示す情報を外部装置に表示させる
請求項１から８のいずれか１項に記載のデータ抽出装置。
【請求項１０】
前記基礎データから生成される撮像画像を、
（１）前記作業者が前記作業を行う領域、または、前記作業者が通行する通路が撮像された領域である検出領域と、
（２）前記検出領域以外の領域である非検出領域と
に区分し、
前記撮像画像から前記作業者を検出する動線解析の結果について、前記非検出領域における検出を削除する補正部をさらに備える
請求項２に記載のデータ抽出装置。
【請求項１１】
前記第１取得部は、前記複数の作業工程の実施状況を撮影した動画像データである前記基礎データを取得し、
前記基礎データに対する動線解析において、或るフレームの前記検出領域に前記作業者が検出されなかった場合、前記補正部は、前記或るフレームの直前の、所定数のフレームにおける前記作業者の検出結果を用いて、前記或るフレームについての動線解析の結果を補完する
請求項１０に記載のデータ抽出装置。
【請求項１２】
前記撮像画像に対する前記動線解析において、各々の中心の距離が所定値以下である複数のバウンディングボックス（Bounding Box）が設置されると、
前記補正部は、前記複数のバウンディングボックスを、最も面積が大きいバウンディングボックスに統一する
請求項１０または１１に記載のデータ抽出装置。
【請求項１３】
データ抽出装置の制御方法であって、
複数の作業工程の実施状況を撮影した撮像データである基礎データを取得する第１取得ステップと、
前記複数の作業工程の各々の実施に用いられる機器が実行した動作の内容および結果を示す動作結果から生成された工程情報を取得する第２取得ステップと、
前記工程情報を用いて、前記機器が実行した前記動作が所定の動作基準を満たすかを判定する動作判定ステップと、
前記動作判定ステップにて前記所定の動作基準を満たすと判定された前記動作に対応する前記作業工程の実施状況を示す撮像データを、部分データとして前記基礎データから抽出する抽出ステップと、
を含み、
前記データ抽出装置は、前記機器をスレーブとするマスタスレーブ制御システムにおけるマスタに内部バスを介して接続した装置、または、前記スレーブと前記マスタとを通信可能に接続する制御ネットワークを介して前記マスタに接続した、前記機器とは異なる装置であり、
前記第２取得ステップは、前記マスタにより生成または収集された情報を、前記工程情報として取得する
制御方法。
【請求項１４】
請求項１から１２のいずれか１項に記載のデータ抽出装置としてコンピュータを機能させるための情報処理プログラムであって、前記各部としてコンピュータを機能させるための情報処理プログラム。
【請求項１５】
請求項１４に記載の情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の作業工程の実施状況を撮影した撮像データから、作業工程の改善等に利用可能なデータを抽出するデータ抽出装置等に関する。
【背景技術】
【０００２】
従来、工場等の生産現場における作業工程の実施状況を撮像した撮像データを、当該作業工程の改善等に利用する試みが知られている。特に、複数の作業工程の実施状況を撮像した撮像データから、所望の作業工程の実施状況を撮像した撮像データを抽出して利用する試みが知られている。例えば、下掲の特許文献１には、作業者により複数の作業工程が実施される作業現場の状況を撮影した作業映像データから、各作業工程に関する計画データ等を利用して所定の作業工程に該当すると判定した作業工程に関する所定の作業映像データを抽出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１９−２３８０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術は、作業現場全体の状況を撮影した撮像データを、生産現場の各機器をスレーブとするマスタスレーブ制御システムの外部の上位システムに送信するため、上位システムへの通信負荷が非常に大きくなるという問題がある。
【０００５】
すなわち、前記従来技術は、所定の作業工程に該当すると判定した作業工程に関する所定の作業映像データの抽出に、各作業工程に関する計画データを利用している。そして、このような計画データは、生産現場の各機器をスレーブとするマスタスレーブ制御システムの外部に位置する上位システムに配置されるため、前記従来技術は、作業現場全体の状況を撮影した撮像データを、前記上位システムにアップロードする必要がある。作業現場全体の状況を撮影した撮像データのデータ量は極めて大きく、特に、精緻な分析のための撮像データのデータ量は膨大となるため、作業現場全体の状況を撮影した撮像データを前記上位システムにアップロードする際の通信負荷は、非常に大きい。
【０００６】
本発明の一態様は、前記の問題点に鑑みてなされたものであり、作業工程に用いられる機器をスレーブとするマスタスレーブ制御システムの外部に位置する上位システムへの通信負荷を抑制しつつ、複数の作業工程の実施状況を撮影した撮像データを効率的に利用することを目的としている。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係るデータ抽出装置は、複数の作業工程の実施状況を撮影した撮像データである基礎データを取得する第１取得部と、前記複数の作業工程の各々の実施に用いられる機器が実行した動作の内容および結果を示す動作結果から生成された工程情報を取得する第２取得部と、前記工程情報を用いて、前記機器が実行した前記動作が所定の動作基準を満たすかを判定する動作判定部と、前記動作判定部により前記所定の動作基準を満たすと判定された前記動作に対応する前記作業工程の実施状況を示す撮像データを、部分データとして前記基礎データから抽出する抽出部と、を備え、自装置は、前記機器をスレーブとするマスタスレーブ制御システムにおけるマスタに内部バスを介して接続した装置、または、前記スレーブと前記マスタとを通信可能に接続する制御ネットワークを介して前記マスタに接続した、前記機器とは異なる装置であり、前記第２取得部は、前記マスタにより生成または収集された情報を、前記工程情報として取得する。
【０００８】
前記の構成によれば、前記データ抽出装置は、前記マスタに内部バスを介して接続した装置、または、前記制御ネットワークを介して前記マスタに接続した、前記機器とは異なる装置であって、以下の処理を実行する。すなわち、前記データ抽出装置は、前記マスタにより生成または収集された前記工程情報を用いて、前記基礎データから、前記所定の動作基準を満たすと判定された前記動作に対応する前記作業工程の実施状況を示す撮像データを抽出する。
【０００９】
つまり、前記データ抽出装置は、前記内部バスまたは前記制御ネットワークを介して前記マスタから前記工程情報を取得する。そして、前記データ抽出装置は、取得した前記工程情報を用いることにより、前記基礎データを前記マスタスレーブ制御システムの外部に送信せずに、前記基礎データから所望の撮像データを前記部分データとして抽出する。
【００１０】
したがって、前記データ抽出装置は、前記マスタスレーブ制御システムの外部に位置する上位システムへ通信負荷をかけることなく、前記部分データを前記基礎データから抽出することで、前記基礎データを効率的に利用することができるとの効果を奏する。
【００１１】
本発明の一態様に係るデータ抽出装置は、前記基礎データに対する画像解析によって、前記作業工程の実施の際に作業者が行った作業が、前記作業工程の実施の際に行われる標準的な作業であるか否かを判定する画像解析部をさらに備え、前記抽出部は、前記基礎データからさらに、前記画像解析部により前記標準的な作業ではないと判定された前記作業に対応する前記作業工程の実施状況を示す撮像データを、前記部分データとして抽出してもよい。
【００１２】
前記の構成によれば、前記データ抽出装置は、前記基礎データに対する画像解析によって、前記作業工程の実施の際に前記作業者が行った前記作業が、前記作業工程の実施の際に行われる前記標準的な作業であるか否かを判定する。そして、前記データ抽出装置は、前記作業が前記標準的な作業ではないと判定すると、前記標準的な作業ではないと判定した前記作業に対応する作業工程の実施状況を示す撮像データを、前記基礎データから抽出する。つまり、前記データ抽出装置は、前記基礎データに対する画像解析により、前記基礎データを前記マスタスレーブ制御システムの外部に送信することなく、前記基礎データから所望の撮像データを、前記部分データとして抽出する。
【００１３】
したがって、前記データ抽出装置は、前記マスタスレーブ制御システムの外部に位置する上位システムへ通信負荷をかけることなく、前記部分データを前記基礎データから抽出することで、前記基礎データを効率的に利用することができるとの効果を奏する。
【００１４】
本発明の一態様に係るデータ抽出装置は、前記抽出部により前記部分データとして抽出された撮像データを、前記マスタスレーブ制御システムの外部へと送信する送信部をさらに備えていてもよい。
【００１５】
前記の構成によれば、前記データ抽出装置は、前記基礎データから前記部分データとして抽出した撮像データを、前記マスタスレーブ制御システムの外部へと送信する。ここで、前記部分データとして抽出した撮像データのデータ量は、前記基礎データのデータ量に比べて小さいことは明らかである。
【００１６】
したがって、前記データ抽出装置は、前記マスタスレーブ制御システムの外部に位置する上位システムへの通信負荷を抑制しつつ、当該上位システムでの前記基礎データの効率的な利用を可能とするとの効果を奏する。
【００１７】
本発明の一態様に係るデータ抽出装置において、前記動作判定部は、（Ａ）前記機器が異常を検出したとの動作結果、および、（Ｂ）前記機器が実行した動作に異常があったとの動作結果、の少なくとも一方に対応する前記動作は、前記所定の動作基準を満たすと判定してもよい。
【００１８】
前記の構成によれば、前記データ抽出装置は、（Ａ）異常を検出したとの動作結果、および、（Ｂ）実行した動作に異常があったとの動作結果、の少なくとも一方に対応する前記動作は、前記所定の動作基準を満たすと判定する。
【００１９】
したがって、前記データ抽出装置は、前記基礎データから、（Ａ）異常を検出したとの動作結果、および、（Ｂ）実行した動作に異常があったとの動作結果の少なくとも一方に対応する作業工程の実施状況を示す撮像データを、前記部分データとして抽出することができるとの効果を奏する。
【００２０】
本発明の一態様に係るデータ抽出装置において、前記動作判定部は、実行されるべき順序において実行されなかったとの動作結果に対応する前記動作は、前記所定の動作基準を満たすと判定してもよい。
【００２１】
前記の構成によれば、前記データ抽出装置は、実行されるべき順序において実行されなかったとの動作結果に対応する前記動作は、前記所定の動作基準を満たすと判定する。
【００２２】
したがって、前記データ抽出装置は、前記基礎データから、実行されるべき順序において実行されなかった前記動作に対応する作業工程の実施状況を示す撮像データを、前記部分データとして抽出することができるとの効果を奏する。例えば、前記データ抽出装置は、実行されるべき順序において実行されなかった動作に対応する作業工程の、直前に実施された作業工程の実施状況を示す撮像データを、前記部分データとして抽出する。また、例えば、前記データ抽出装置は、実行されるべき順序において実行されなかった動作に対応する作業工程の、直後に実施された作業工程の実施状況を示す撮像データを、前記部分データとして抽出する。
【００２３】
本発明の一態様に係るデータ抽出装置において、前記動作判定部は、前記機器が実行した前記動作について、実行を完了するまでに実際に要した時間が、実行を完了するまでに要する時間として予め設定されている標準動作時間の範囲内にないと、前記動作は前記所定の動作基準を満たすと判定してもよい。
【００２４】
前記の構成によれば、前記データ抽出装置は、実行を完了するまでに実際に要した時間が、前記標準動作時間の範囲内にない前記動作は、前記所定の動作基準を満たすと判定する。具体的には、前記データ抽出装置は、「実行を完了するまでに実際に要した時間が、実行を完了するまでに要する時間の下限として予め設定されている標準下限動作時間未満である」前記動作は、前記所定の動作基準を満たすと判定する。また、前記データ抽出装置は、「実行を完了するまでに実際に要した時間が、実行を完了するまでに要する時間の上限として予め設定されている標準上限動作時間を超過する」前記動作は、前記所定の動作基準を満たすと判定する。
【００２５】
したがって、前記データ抽出装置は、前記基礎データから、実際に実行を完了するまでに要した時間が前記標準動作時間の範囲内にない前記動作に対応する作業工程の実施状況を示す撮像データを、前記部分データとして抽出することができるとの効果を奏する。具体的には、前記データ抽出装置は、前記基礎データから、「実行を完了するまでに実際に要した時間が、前記標準下限動作時間未満である」前記動作に対応する作業工程の実施状況を示す撮像データを、前記部分データとして抽出することができる。また、前記データ抽出装置は、前記基礎データから、「実行を完了するまでに実際に要した時間が、前記標準上限動作時間を超過する」前記動作に対応する作業工程の実施状況を示す撮像データを、前記部分データとして抽出することができる。
【００２６】
本発明の一態様に係るデータ抽出装置は、前記作業工程ごとに、（１）前記作業工程の実施に係る作業を行う領域に作業者が滞在していた期間、および、（２）前記作業工程の実施に係る動作が前記機器により実行された期間の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させてもよい。
【００２７】
前記の構成によれば、前記データ抽出装置は、前記作業工程ごとに、（１）前記作業工程の実施に係る作業を行う領域に作業者が滞在していた期間（「滞在期間」）、および、（２）前記作業工程の実施に係る動作が前記機器により実行された期間（「動作期間」）の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させる。
【００２８】
したがって、前記データ抽出装置は、前記作業工程ごとに、前記滞在期間および前記動作期間の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を、ユーザに提供することができるとの効果を奏する。
【００２９】
ここで、前記データ抽出装置は、前記所定の期間における分布を示す情報を、箱ひげ図またはヒストグラムの形式で、前記外部装置に表示させてもよい。また、前記データ抽出装置は、所定の製品を１つ生産するのに要した、前記作業工程Ｐｒごとの前記滞在期間および前記動作期間の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を、前記外部装置に表示させてもよい。前述の「所定の期間」および「所定の製品」の少なくとも一方は、ユーザによって選択されてもよい。
【００３０】
本発明の一態様に係るデータ抽出装置は、（１）作業者ごとの、前記作業工程の実施に係る作業を行う領域に滞在していた期間、および、（２）前記機器ごとの、前記作業工程の実施に係る動作を実行していた期間の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させてもよい。
【００３１】
前記の構成によれば、前記データ抽出装置は、（１）作業者ごとの、前記作業工程の実施に係る作業を行う領域に滞在していた期間（「滞在期間」）、および、（２）前記機器ごとの、前記作業工程の実施に係る動作を実行していた期間（「動作期間」）の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させる。
【００３２】
したがって、前記データ抽出装置は、前記作業者ごとの前記滞在期間、および、前記機器ごとの前記動作期間の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を、ユーザに提供することができるとの効果を奏する。
【００３３】
ここで、前記データ抽出装置は、前記所定の期間における分布を示す情報を、箱ひげ図またはヒストグラムの形式で、前記外部装置に表示させてもよい。また、前記データ抽出装置は、複数の前記作業者が属する作業者グループであって、ユーザによって選択された作業者グループに属する複数の前記作業者の各々について、前記滞在期間の、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させてもよい。さらに、前記データ抽出装置は、複数の前記機器が属する機器グループであって、ユーザによって選択された機器グループに属する複数の前記機器の各々について、前記動作期間の、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させてもよい。
【００３４】
本発明の一態様に係るデータ抽出装置は、所定の期間における、前記作業工程ごとの、（１）前記作業工程の実施に係る作業を行う領域に作業者が滞在していた期間の合計、および、（２）前記作業工程の実施に係る動作が前記機器により実行された期間の合計の少なくとも一方が、前記所定の期間において前記作業が行われ得る、または、前記動作が実行され得る時間の全体（合計。つまり、「総時間」）に占める割合を示す情報を外部装置に表示させてもよい。
【００３５】
前記の構成によれば、前記データ抽出装置は、所定の期間における、前記作業工程ごとの、（１）前記作業工程の実施に係る作業を行う領域に作業者が滞在していた期間（「滞在期間」）の合計、および、（２）前記作業工程の実施に係る動作が前記機器により実行された期間（「動作期間」）の合計の少なくとも一方が、前記所定の期間において前記作業が行われ得る、または、前記動作が実行され得る時間の全体（「総時間」）に占める割合を示す情報を外部装置に表示させる。
【００３６】
したがって、前記データ抽出装置は、所定の期間における、前記作業工程ごとの、前記滞在期間の合計および前記動作期間の合計の少なくとも一方が、前記総時間に占める割合を示す情報を、ユーザに提供することができるとの効果を奏する。前記データ抽出装置は、前記総時間に占める割合を示す情報を、棒グラフの形式で、前記外部装置に表示させてもよい。
【００３７】
本発明の一態様に係るデータ抽出装置は、前記基礎データから生成される撮像画像を、（１）前記作業者が前記作業を行う領域、または、前記作業者が通行する通路が撮像された領域である検出領域と、（２）前記検出領域以外の領域である非検出領域とに区分し、前記撮像画像から前記作業者を検出する動線解析の結果について、前記非検出領域における検出を削除する補正部をさらに備えていてもよい。
【００３８】
前記の構成によれば、前記データ抽出装置は、前記撮像画像を前記検出領域と前記非検出領域とに区分し、前記撮像画像に対する前記動線解析の結果から、前記非検出領域における検出を削除する補正部をさらに備えている。つまり、前記データ抽出装置は、前記撮像画像に対する動線解析の結果から、「前記非検出領域における検出」というノイズを削除する。
【００３９】
したがって、前記データ抽出装置は、前記撮像画像に対する動線解析の結果からノイズを削除することによって、前記作業者の高精度な検出を実現し、つまり、前記作業工程に対する高精度な分析を実現することができるとの効果を奏する。
【００４０】
本発明の一態様に係るデータ抽出装置において、前記第１取得部は、前記複数の作業工程の実施状況を撮影した動画像データである前記基礎データを取得し、前記基礎データに対する動線解析において、或るフレームの前記検出領域に前記作業者が検出されなかった場合、前記補正部は、前記或るフレームの直前の、所定数のフレームにおける前記作業者の検出結果を用いて、前記或るフレームについての動線解析の結果を補完してもよい。
【００４１】
前記の構成によれば、前記データ抽出装置は、前記複数の作業工程の実施状況を撮影した動画像データである前記基礎データに対して、動線解析を実行する。そして、前記データ抽出装置は、或るフレームの前記検出領域に前記作業者が検出されなかった場合、前記或るフレームの直前の、所定数のフレームにおける前記作業者の検出結果を用いて、前記或るフレームについての動線解析の結果を補完する。
【００４２】
例えば、前記或るフレームの前記検出領域に前記作業者が検出されなかったのに、前記或るフレームの直近のフレームにおいて前記作業者が検出されていた場合、前記データ抽出装置は、前記或るフレームについての動線解析の結果に対し、以下の補完を実行する。すなわち、前記データ抽出装置は、前記或るフレームについての動線解析の結果を、前記直近のフレームの検出結果によって補完し、前記或るフレームの前記検出領域において、前記作業者を検出したとの検出結果を生成する。また、前記データ抽出装置は、前記或るフレームの直前の、複数のフレームにおいて連続して前記検出領域に前記作業者を検出したのに、前記或るフレームの前記検出領域に前記作業者が検出しなかった場合に、上述の補完を実行してもよい。
【００４３】
ここで、前記基礎データは、前記複数の作業工程の実施状況を撮影した動画像データであり、また、前記検出領域は、前記作業者が前記作業を行う領域、または、前記作業者が通行する通路が撮像された領域である。そのため、前記基礎データに対する動線解析により、前記或るフレームの直前の、所定数のフレームにおいて、前記検出領域に前記作業者が検出されたのであれば、前記或るフレームにおいても、前記検出領域に前記作業者が検出されるのが通常である。前記作業者が突然に、前記作業者が前記作業を行う領域からも、前記通路からも、消えて居なくなるといった事態は、通常は想定し難いからである。
【００４４】
したがって、前記或るフレームの直前の、所定数のフレームの前記検出領域で前記作業者を検出したのに、前記或るフレームの前記検出領域に前記作業者が検出されなかった場合、前記或るフレームの前記動線解析の結果には、誤りが含まれている可能性が高い。そこで、前記データ抽出装置は、前記或るフレームの前記動線解析の結果を、前記或るフレームの直前の、所定数のフレームの検出結果によって補完する。
【００４５】
つまり、前記或るフレームの前記動線解析の結果が誤っている可能性が高い場合、前記データ抽出装置は、前記或るフレームの前記動線解析の結果を、直前の、所定数のフレームの検出結果によって補完して、前記或るフレームを高精度に解析することができる。したがって、前記データ抽出装置は、前記或るフレームの前記動線解析の結果を補正することによって、前記作業者の高精度な検出を実現し、つまり、前記作業工程に対する高精度な分析を実現することができるとの効果を奏する。
【００４６】
本発明の一態様に係るデータ抽出装置は、前記撮像画像に対する前記動線解析において、各々の中心の距離が所定値以下である複数のバウンディングボックス（Bounding Box）が設置されると、前記補正部は、前記複数のバウンディングボックスを、最も面積が大きいバウンディングボックスに統一してもよい。
【００４７】
前記の構成によれば、前記データ抽出装置は、前記撮像画像に対する前記動線解析において、各々の中心の距離が所定値以下である複数のバウンディングボックスが設置されると、前記複数のバウンディングボックスを、最も面積が大きいバウンディングボックスに統一する。
【００４８】
ここで、前記撮像画像に対する前記動線解析において、各々の中心の距離が所定値以下である複数のバウンディングボックスが設置された場合、１人の前記作業者が、複数の前記作業者として誤検出されている可能性がある。そこで、前記データ抽出装置は、各々の中心の距離が所定値以下である複数のバウンディングボックスが設置された場合、前記複数のバウンディングボックスを、最も面積が大きいバウンディングボックスに統一する。
【００４９】
つまり、前記撮像画像に対する前記動線解析において、１人の前記作業者が、複数の前記作業者として誤検出されている可能性が高い場合、前記データ抽出装置は、最も面積が大きいバウンディングボックスだけを残して、検出した前記作業者の人数を１人とする。したがって、前記データ抽出装置は、前記撮像画像に対する動線解析において設置されるバウンディングボックスの数を修正することで前記作業者の高精度な検出を実現し、つまり、前記作業工程に対する高精度な分析を実現することができるとの効果を奏する。
【００５０】
上記の課題を解決するために、本発明の一態様に係るデータ抽出装置の制御方法は、複数の作業工程の実施状況を撮影した撮像データである基礎データを取得する第１取得ステップと、前記複数の作業工程の各々の実施に用いられる機器が実行した動作の内容および結果を示す動作結果から生成された工程情報を取得する第２取得ステップと、前記工程情報を用いて、前記機器が実行した前記動作が所定の動作基準を満たすかを判定する動作判定ステップと、前記動作判定ステップにて前記所定の動作基準を満たすと判定された前記動作に対応する前記作業工程の実施状況を示す撮像データを、部分データとして前記基礎データから抽出する抽出ステップと、を含み、前記データ抽出装置は、前記機器をスレーブとするマスタスレーブ制御システムにおけるマスタに内部バスを介して接続した装置、または、前記スレーブと前記マスタとを通信可能に接続する制御ネットワークを介して前記マスタに接続した、前記機器とは異なる装置であり、前記第２取得ステップは、前記マスタにより生成または収集された情報を、前記工程情報として取得する。
【００５１】
前記の構成によれば、前記制御方法は、前記マスタに内部バスを介して接続した前記データ抽出装置、または、前記制御ネットワークを介して前記マスタに接続した、前記機器とは異なる前記データ抽出装置の制御方法であって、以下の処理を実行する。すなわち、前記制御方法は、前記マスタにより生成または収集された前記工程情報を用いて、前記基礎データから、前記所定の動作基準を満たすと判定された前記動作に対応する前記作業工程の実施状況を示す撮像データを抽出する。
【００５２】
つまり、前記制御方法は、前記内部バスまたは前記制御ネットワークを介して前記マスタから前記工程情報を取得する前記データ抽出装置により実行される。そして、前記制御方法は、取得した前記工程情報を用いることにより、前記基礎データを前記マスタスレーブ制御システムの外部に送信せずに、前記基礎データから所望の撮像データを前記部分データとして抽出する。
【００５３】
したがって、前記制御方法は、前記マスタスレーブ制御システムの外部に位置する上位システムへ通信負荷をかけることなく、前記部分データを前記基礎データから抽出することで、前記基礎データを効率的に利用することができるとの効果を奏する。
【発明の効果】
【００５４】
本発明の一態様によれば、作業工程に用いられる機器をスレーブとするマスタスレーブ制御システムの外部に位置する上位システムへの通信負荷を抑制しつつ、複数の作業工程の実施状況を撮影した撮像データを効率的に利用することができるという効果を奏する。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施形態１に係る情報処理装置等の要部構成を示すブロック図である。
【図２】図１の情報処理装置を含む制御システム等の全体概要を示す図である。
【図３】図１の情報処理装置が取得する基礎撮像データのイメージを示す図である。
【図４】図１の情報処理装置が実行する処理の一例を説明するフロー図である。
【図５】図１の情報処理装置が基礎撮像データ（画像）を用いて、作業者と監視領域とを特定する方法を示す図である。
【図６】作業工程ごとの、機器の動作期間と作業者の滞在期間との対応関係を示す情報の一例を示す図である。
【図７】複数の作業工程について、機器の動作期間と作業者の滞在期間との対応関係を一覧形式で示す画面例である。
【図８】複数の作業工程の実施順序に対応させて、複数の監視領域が配置されている作業現場の一例を示す図である。
【図９】作業現場における作業者の移動経過を示す情報の一例を示す図である。
【図１０】或る製品を１つ生産するのに要した、作業工程ごとの滞在期間の、或る日における分布を示す箱ひげ図の一例を示す図である。
【図１１】或る作業者グループに属する複数の作業者の各々について、１回の滞在期間の或る日における分布を示す箱ひげ図の一例を示す図である。
【図１２】作業工程ごとに、作業工程に対応する滞在期間の合計が或る日の総時間に占める割合を示す棒グラフの一例を示す図である。
【図１３】本発明の実施形態２に係る情報処理装置等の要部構成を示すブロック図である。
【図１４】図１３の情報処理装置が基礎撮像データ（撮像画像）に対する補正を実行する際に利用する情報の一例を示す図である。
【図１５】図１３の情報処理装置が実行する補正処理の一例を説明するフロー図である。
【図１６】図１５に例示した補正処理の実行前の動線解析結果の一例を示す図である。
【図１７】図１５に例示した補正処理の実行後の動線解析結果の一例を示す図である。
【図１８】滞在期間と動作時間との組み合わせを用いた分析の一例を示す図である。
【発明を実施するための形態】
【００５６】
〔実施形態１〕
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図１から図１２に基づいて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。本実施の形態においては、例えば情報処理装置１０をデータ抽出装置の典型例として説明を行う。本発明の一態様に係る情報処理装置１０についての理解を容易にするため、先ず、情報処理装置１０を含む制御システム１等の概要を、図２を用いて説明する。以下の説明において、「ｎ」は「１以上の整数」を示し、「ｍ」は「１以上、ｎ以下の整数」を示すものとする。
【００５７】
§１．適用例
（作業現場および作業工程について）
図２は、情報処理装置１０を含む制御システム１等の全体概要を示す図である。図２に示す天井カメラ３０は、作業現場ＷＳの天井に設置され、作業現場ＷＳの全体を撮像した撮像データである基礎撮像データＢＩを生成する。
【００５８】
作業現場ＷＳは工場等の生産現場であり、作業現場ＷＳにおいては、例えば、各種の製品が、複数の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）を経て生産される。作業現場ＷＳにおいて実施される複数の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々は、例えば、「塗装」工程、「主要ワークの組み立て」工程、「主要ワークの本体への組み込み」工程、「検査」工程である。
【００５９】
作業工程Ｐｒについて、複数の作業工程Ｐｒの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別する。例えば、「作業工程Ｐｒ（１）」、「作業工程Ｐｒ（２）」、「作業工程Ｐｒ（３）」、・・・、「作業工程Ｐｒ（ｎ）」と記載して区別する。複数の作業工程Ｐｒの各々を特に区別する必要がない場合は単に「作業工程Ｐｒ」と称する。
【００６０】
（監視領域について）
作業現場ＷＳは、複数の監視領域Ａｒ（１）、Ａｒ（２）、Ａｒ（３）、・・・Ａｒ（ｎ）を含む。複数の監視領域Ａｒ（１）、Ａｒ（２）、Ａｒ（３）、・・・Ａｒ（ｎ）の各々は、複数の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々に対応付けられている。すなわち、監視領域Ａｒ（ｍ）は、作業工程Ｐｒ（ｍ）の実施に係る作業Ｏｐ（ｍ）を、作業者Ｐｅが行う領域であり、例えば、機器４０（ｍ）が配置されている領域である。例えば、作業者Ｐｅは、監視領域Ａｒ（ｍ）において、作業工程Ｐｒ（ｍ）に係る作業Ｏｐ（ｍ）を、機器４０（ｍ）を用いて行う。
【００６１】
作業工程Ｐｒと同様に、複数の監視領域Ａｒの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「監視領域Ａｒ」と称する。
【００６２】
（基礎撮像データについて）
作業現場ＷＳの天井には、広域撮像カメラである天井カメラ３０が１台、設置される。ただし、天井カメラ３０が作業現場ＷＳの天井に設置されることは必須ではなく、天井カメラ３０は、作業現場ＷＳの全体を俯瞰できる位置に設置されればよい。天井カメラ３０は、作業現場ＷＳの全体を俯瞰し、作業現場ＷＳの全体を撮像した撮像データである基礎撮像データＢＩを生成する。基礎撮像データＢＩには、各々が複数の監視領域Ａｒ（１）、Ａｒ（２）、Ａｒ（３）、・・・Ａｒ（ｎ）に対応する複数の解析対象領域Ａａ（１）、Ａａ（２）、Ａａ（３）、・・・Ａａ（ｎ）が予め設定されている。
【００６３】
監視領域Ａｒと同様に、複数の解析対象領域Ａａの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「解析対象領域Ａａ」と称する。
【００６４】
解析対象領域Ａａは、情報処理装置１０による基礎撮像データＢＩに対する画像解析の対象領域である。基礎撮像データＢＩに解析対象領域Ａａを設定することにより、監視領域Ａｒの状況を認識するための、基礎撮像データＢＩに対する画像解析を効率的に実行することができる。ただし、基礎撮像データＢＩに解析対象領域Ａａを設定することは、必須ではない。解析対象領域Ａａは、ユーザ操作に応じて、情報処理装置１０によって基礎撮像データＢＩに対して設定されてもよい。
【００６５】
（作業および作業者について）
複数の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々の実施に際しては、作業者Ｐｅによって、複数の作業Ｏｐ（１）、Ｏｐ（２）、Ｏｐ（３）、・・・Ｏｐ（ｎ）の各々が行われる。複数の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々には、複数の標準的な作業Ｏｐ（１）、Ｏｐ（２）、Ｏｐ（３）、・・・Ｏｐ（ｎ）の各々が、予め対応付けられている。ただし、作業者Ｐｅによって行われる作業Ｏｐの中には、「作業工程Ｐｒに予め対応付けられた標準的な作業Ｏｐ」以外の作業Ｏｐもあり得、つまり、作業工程Ｐｒに予め対応付けることのできない、非標準的な作業Ｏｐもあり得る。複数の作業Ｏｐの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「作業Ｏｐ」と称する。
【００６６】
また、作業現場ＷＳには、例えば作業工程Ｐｒ（ｍ）の実施に係る作業Ｏｐ（ｍ）を実行する作業者Ｐｅが１人以上存在し、作業者Ｐｅは、例えば、作業者Ｐｅが被っている帽子の頭頂部などに付された作業者ＩＤによって識別される。具体的には、作業現場ＷＳに存在する作業者Ｐｅ（１）と作業者Ｐｅ（２）とは、作業者Ｐｅ（１）が被る帽子に付された作業者ＩＤ：Ｐｅ（１）と、作業者Ｐｅ（２）が被る帽子に付された作業者ＩＤ：Ｐｅ（２）とにより、各々が識別される。複数の作業者Ｐｅの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「作業者Ｐｅ」と称する。
【００６７】
図３は、情報処理装置１０が天井カメラ３０から取得する基礎撮像データＢＩのイメージを示す図である。図３に示すように、情報処理装置１０は基礎撮像データＢＩに対して画像解析を実行し、作業現場ＷＳに作業者Ｐｅが存在するか否かを判定し、作業現場ＷＳに作業者Ｐｅが存在すると判定すると、作業現場ＷＳに存在する作業者Ｐｅの作業者ＩＤを特定する。
【００６８】
（動作および機器について）
複数の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々の実施に際しては、機器４０によって、複数の動作Ａｃ（１）、Ａｃ（２）、Ａｃ（３）、・・・Ａｃ（ｎ）の各々が実行される。つまり、複数の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々には、複数の動作Ａｃ（１）、Ａｃ（２）、Ａｃ（３）、・・・Ａｃ（ｎ）の各々が対応付けられている。複数の動作Ａｃの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「動作Ａｃ」と称する。
【００６９】
また、複数の作業工程Ｐｒの各々の実施には複数の機器４０の各々が用いられ、つまり、作業工程Ｐｒと機器４０とは予め対応付けられている。例えば、作業工程Ｐｒ（ｍ）の実施には１台以上の機器４０（ｍ）が用いられる。すなわち、作業工程Ｐｒ（１）の実施には１台以上の機器４０（１）が用いられ、具体的には、機器４０（１−１）、４０（１−２）、および、４０（１−３）の３台の機器４０（１）が用いられてもよい。同様に、作業工程Ｐｒ（２）の実施には１台以上の機器４０（２）が用いられ、作業工程Ｐｒ（３）の実施には１台以上の機器４０（３）が用いられる。各々が複数の作業工程Ｐｒの各々に対応付けられる、複数の機器４０を相互に区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「機器４０」と称する。
【００７０】
ここで、１台の機器４０が、複数の作業工程Ｐｒの実施に用いられてもよい。このことは、変数「ｐ」、「ｑ」、「ｘ」、「ｙ」が各々「１以上の整数」を示し、「ｑ」は「ｐ」と異なり、また、「ｙ」は「ｘ」と異なるとして、以下のように言い換えることができる。すなわち、作業工程Ｐｒ（ｐ）の実施に用いられる機器４０（ｐ−ｘ）と、作業工程Ｐｒ（ｑ）の実施に用いられる機器４０（ｑ−ｙ）とは、同じ機器４０であってもよい。
【００７１】
（マスタスレーブ制御システムについて）
作業現場ＷＳにおいて複数の作業工程Ｐｒを実施するのに用いられる複数の機器４０は、ラインコントローラとしてのＰＬＣ（Programmable Logic Controller）２０により制御される。すなわち、ＰＬＣ２０をマスタとし、複数の機器４０の各々をスレーブとするマスタスレーブ制御システムとしての制御システム１が構築され、複数の機器４０の各々はネットワーク（制御ネットワーク５０）を介してＰＬＣ２０に通信可能に接続されている。ＰＬＣ２０は、制御ネットワーク５０を介したデータ伝送を管理しているという意味で「マスタ」と呼ばれる。「マスタ」および「スレーブ」は、制御ネットワーク５０上のデータ伝送の制御機能に着目して定義されるものであり、各装置間でどのような情報が送受信されるかについては、特に限定されない。
【００７２】
ＰＬＣ２０は、制御システム１全体を制御する制御装置（コントローラ）であり、複数の機器４０の各々と通信可能に接続されている。ＰＬＣ２０は、入力デバイス（計測デバイス）としての複数の機器４０の各々からの情報を入力データとして取得する。ＰＬＣ２０は、予め組み込まれたユーザプログラムに従って、取得した入力データを用いた演算処理を実行する。ＰＬＣ２０は、前記演算処理を実行して、制御システム１に対する制御内容を決定し、例えば、アクチュエータなどの出力デバイスとしての複数の機器４０の各々への制御内容を決定し、その制御内容に対応する制御データを、複数の機器４０の各々へと出力する。ＰＬＣ２０は、複数の機器４０の各々からの入力データの取得と、複数の機器４０の各々への制御データの取得とを、所定の周期（制御周期）で繰り返し実行する。ＰＬＣ２０には、例えば、不図示の表示部および操作部が接続されてもよい。表示部は、画像を表示可能な液晶パネル等で構成され、また、操作部は、典型的には、タッチパネル、キーボード、マウス等で構成される。
【００７３】
機器４０は、ＰＬＣ２０をマスタとするマスタスレーブ制御システムとしての制御システム１におけるスレーブである。機器４０は、所定の制御周期ごとに繰り返し入力データをＰＬＣ２０へと送信する入力デバイスであり、または、所定の制御周期ごとに繰り返し制御データをＰＬＣ２０から受信し、受信した制御データにしたがって動作する出力デバイスである。機器４０は、例えば、入力データとして、ＰＬＣ２０に検知結果等を送信する入力デバイスとしてのセンサ（例えば、光電センサ）であってもよく、読み取り結果を送信するバーコードリーダであってもよく、検査結果を送信する検査機（テスター）であってもよい。また、機器４０は、複数の入力デバイスが接続されたＰＴ（Programmable Terminal）であってもよい。さらに、機器４０は、ネジ締め、ピッキング等を実行する出力デバイスとしてのロボット等であってもよい。
【００７４】
制御ネットワーク５０は、ＰＬＣ２０が受信し、またはＰＬＣ２０が送信する各種データを伝送し、典型的には、各種の産業用イーサネット（登録商標）を用いることができ、フィールドネットワークと称されることもある。産業用イーサネット（登録商標）としては、たとえば、ＥｔｈｅｒＣＡＴ（登録商標）、Ｐｒｏｆｉｎｅｔ ＩＲＴ、ＭＥＣＨＡＴＲＯＬＩＮＫ（登録商標）−ＩＩＩ、Ｐｏｗｅｒｌｉｎｋ、ＳＥＲＣＯＳ（登録商標）−ＩＩＩ、ＣＩＰ Ｍｏｔｉｏｎなどが知られており、これらのうちのいずれを採用してもよい。さらに、産業用イーサネット（登録商標）以外のフィールドネットワークを用いてもよい。たとえば、モーション制御を行わない場合であれば、ＤｅｖｉｃｅＮｅｔ、ＣｏｍｐｏＮｅｔ／ＩＰ（登録商標）などを用いてもよい。
【００７５】
以下では、制御ネットワーク５０上をデータフレームが順次転送されることで、ＰＬＣ２０（マスタ）と機器４０（スレーブ）との間でデータが送受信される制御システム１について説明を行う。すなわち、制御ネットワーク５０上をデータフレームが所定の制御周期で順次転送されることで、ＰＬＣ２０と機器４０との間でデータが制御周期ごとに繰り返し送受信される。制御ネットワーク５０上をデータフレームが順次転送されることで、複数の機器４０の間で、つまり、複数のスレーブ間で、データが送受信されてもよい。
【００７６】
（工程情報について）
機器４０をスレーブとするマスタスレーブ制御システムである制御システム１において、マスタであるＰＬＣ２０は、例えば所定の制御周期ごとに繰り返し、スレーブである機器４０から、機器４０の実行した動作Ａｃの内容および結果を示す動作結果Ｌａを受信する。すなわち、機器４０は、作業工程Ｐｒの実施に際して実際に実行した動作Ａｃの内容および結果を示す動作結果Ｌａを、所定の周期で繰り返し、ＰＬＣ２０へと送信する。例えば、機器４０（ｍ）は、作業工程Ｐｒ（ｍ）の実施の際に実行した動作Ａｃ（ｍ）の内容および結果を示す動作結果Ｌａ（ｍ）を、制御周期で繰り返し、ＰＬＣ２０へと送信する。
【００７７】
ＰＬＣ２０は、例えば、入力デバイス（計測デバイス）としての機器４０が実行した計測動作の結果である計測結果を、機器４０の動作結果Ｌａとして取得する。また、機器４０が検査機である場合、ＰＬＣ２０は、機器４０が実行した検査動作の結果を、例えば、「検査基準を満たした、または、満たさなかった」といった検査結果を、機器４０の動作結果Ｌａとして取得する。さらに、ＰＬＣ２０は、例えば、出力デバイスとしての機器４０が実行した出力動作の結果を、機器４０の動作結果Ｌａとして取得する。機器４０がネジ締め、ピッキング等を実行するロボットである場合、ＰＬＣ２０は、ネジ締め回数、ピッキング結果（ピッキングの成功またはピッキングエラー）等の動作結果Ｌａを、機器４０の動作結果Ｌａとして取得する。
【００７８】
ＰＬＣ２０は、作業工程Ｐｒの実施に際して機器４０が実際に実行した動作Ａｃの内容および結果を示す動作結果Ｌａを、機器４０から所定の周期で繰り返し受信し、受信した動作結果Ｌａを、工程情報として情報処理装置１０へと送信する（つまり、転送する）。また、ＰＬＣ２０は、機器４０から所定の周期で繰り返し受信した動作結果Ｌａを用いて生成した情報を、工程情報として情報処理装置１０へ送信する。
【００７９】
さらに、ＰＬＣ２０は、機器４０から所定の周期で繰り返し受信した動作結果Ｌａを、工程情報として、制御システム１の外部に送信してもよい。例えば、ＰＬＣ２０は、機器４０から所定の周期で繰り返し受信した動作結果Ｌａを、工程情報として、ＭＥＳ（Manufacturin g Execution System、製造実行システム）などに接続した、図２に示す社内ＬＡＮ（Local Area Network）に送信してもよい。
【００８０】
以下の説明においては、工程情報に含まれる動作結果Ｌａ（特に、動作Ａｃ）に対する判定（例えば、エラー発生の有無および標準動作時間Ｔｔａの範囲内での実行完了の有無の判定）は、ＰＬＣ２０から工程情報を受信した情報処理装置１０が実施する例を説明する。ここで、「標準動作時間Ｔｔａの範囲内での実行完了の有無の判定」とは、標準下限動作時間下限Ｔｔａｌから標準上限動作時間上限Ｔｔａｈまでの間に動作Ａｃの実行が完了しているか否かを判定するものである。
【００８１】
詳細は後述するが、以下に説明する例では、情報処理装置１０は、工程情報から、特に、動作結果Ｌａから、作業工程Ｐｒの実施に際し機器４０が実行した動作Ａｃの動作開始時刻Ｔｍｓ、動作完了時刻Ｔｍｅ、動作期間Ｄａを特定する。そして、情報処理装置１０は、特定した動作開始時刻Ｔｍｓ、動作完了時刻Ｔｍｅ、動作期間Ｄａ、および、動作Ａｃに対応する所定の動作基準Ｓａを用いて、動作Ａｃに対する判定を実行する。
【００８２】
しかしながら、工程情報に含まれる動作結果Ｌａ（特に、動作Ａｃ）に対する上述の判定は、ＰＬＣ２０が実行してもよく、ＰＬＣ２０は、上述の判定の結果を、工程情報に含めて、または、工程情報に代えて、情報処理装置１０へと送信してもよい。
【００８３】
上述の説明において、動作開始時刻Ｔｍｓとは、作業工程Ｐｒに用いられる機器４０が、作業工程Ｐｒの実施に際して、動作Ａｃの実行を開始した時点であり、動作完了時刻Ｔｍｅとは、動作Ａｃの実行を完了した時点である。動作期間Ｄａは、動作開始時刻Ｔｍｓから動作完了時刻Ｔｍｅまでの期間である。
【００８４】
（マスタスレーブ制御システム以外のシステムおよび装置について）
図２には、マスタスレーブ制御システムとしての制御システム１に加えて、社内ＬＡＮシステム、他ネットワークシステム等が示されている。社内ＬＡＮは、ＭＥＳとも称される工程情報ＤＢ（Database）等に接続している。工程情報ＤＢには、「作業工程Ｐｒの実施に用いられる機器４０が実行すべき標準的な動作」を示す情報が、動作基準Ｓａとして格納されている。詳細は後述するが、動作基準Ｓａは、実施順序情報Ｓｉと、エラー基準Ｔｅと、標準動作時間Ｔｔａ（具体的には、標準下限動作時間下限Ｔｔａｌおよび標準上限動作時間上限Ｔｔａｈ）と、を含む。以下の説明において、「作業工程Ｐｒの実施に用いられる機器４０が実行した実際の動作Ａｃ」のうち、「作業工程Ｐｒの実施に用いられる機器４０が実行すべき標準的な動作」以外の動作を指して、「動作基準Ｓａを満たす」動作Ａｃと称する。言い換えれば、「動作基準Ｓａを満たす」動作Ａｃとは、「作業工程Ｐｒの実施に用いられる機器４０が通常は実行しない動作」である。
【００８５】
また、図２に示す例では、ＭＥＳとしての工程情報ＤＢに、作業現場ＷＳにおいて発生した各種のイベントを監視し、管理するイベント管理装置６０が、社内ＬＡＮを介して接続している。ただし、イベント管理装置６０が社内ＬＡＮを介して工程情報ＤＢに接続していることは必須ではなく、イベント管理装置６０は設けなくてもよい。
【００８６】
さらに、工程情報ＤＢには、社内ＬＡＮを介して、ＰＬＣ２０が接続している。図示はしていないが、工程情報ＤＢと情報処理装置１０とは接続されていてもよい。また、社内ＬＡＮには、ＭＥＳに加えて、不図示のＥＲＰ（Enterprise Resources Planning）、ＷＭＳ（Warehouse Management System）等が接続されていてもよい。
【００８７】
図２において、工程情報ＤＢには、制御ネットワーク５０とも社内ＬＡＮとも異なる「他ネットワーク」を介して、動画保存サーバ等が接続されている。動画保存サーバ等には、他ネットワークを介して情報処理装置１０が接続されており、情報処理装置１０から送信された部分撮像データＯＤが動画保存サーバ等に格納される。また、動画保存サーバ等には、ＰＣ（Personal Computer）等によって実現される外部装置７０が接続され、外部装置７０は、例えば、部分撮像データＯＤを表示し、工程情報等の可視化を実行する。すなわち、外部装置７０は、作業工程Ｐｒの改善に必要な情報を一覧表示し、ボトルネックとなっている作業工程Ｐｒ、作業工程Ｐｒに発生したエラーの日時等を示す情報を、対応する部分撮像データＯＤと対応付けて表示する。
【００８８】
天井カメラ３０は、前述の通り、作業現場ＷＳの全体を撮像して基礎撮像データＢＩを生成し、生成した基礎撮像データＢＩを、例えば例えばＵＳＢ（Universal Serial Bus）ケーブルである通信ケーブルを介して、情報処理装置１０へと送信する。
【００８９】
情報処理装置１０は、例えば、ＰＣ等によって実現され、ＰＬＣ２０から取得する工程情報と、天井カメラ３０から取得する基礎撮像データＢＩとを組み合わせて、両者の効率的な利用を可能とするデータ抽出装置である。情報処理装置１０は、「作業現場ＷＳにおける複数の機器４０の実際の動作Ａｃの内容および結果を示す動作結果Ｌａ」を含む工程情報を、基礎撮像データＢＩと組み合わせることによって可視化する装置ともいえる。
【００９０】
従来の技術は、「作業現場ＷＳにおける作業者Ｐｅの行った作業Ｏｐ」を撮像した撮像データに対して画像解析を行うことはあっても、作業現場ＷＳにおける複数の機器４０の工程情報と対応付けることがなく、画像解析による作業Ｏｐに関する推定の精度が低い。また、複数の作業工程Ｐｒの各々にセンサを配置して機器４０の工程情報を可視化する従来技術は、作業工程Ｐｒのボトルネックは可視化できるが、作業者Ｐｅの行った作業Ｏｐと関連付けてボトルネックの原因を把握することが困難である。さらに、「作業現場ＷＳにおける作業者Ｐｅの行った作業Ｏｐ」を撮像した撮像データと、機器４０の工程情報とを、マスタスレーブ制御システムよりも上位のシステムで対応付ける場合、そのような上位システムは非常に大掛かりになり、実現が容易ではない。
【００９１】
これに対して、情報処理装置１０は、作業工程Ｐｒの実施に用いられる機器４０の動作Ａｃの内容および結果を示す動作結果Ｌａを含む工程情報をＰＬＣ２０から取得し、取得した工程情報を、１台の天井カメラ３０から取得する基礎撮像データＢＩと組み合わせる。情報処理装置１０は、複数の機器４０の各々の動作Ａｃの内容および結果を示す動作結果Ｌａを含む工程情報と、作業現場ＷＳの全体を撮像した基礎撮像データＢＩと組み合わせることで、複数の作業工程Ｐｒの各々に係る分析を、効率的かつ精緻に実行できる。
【００９２】
すなわち、情報処理装置１０は、工程情報の可視化に加え、例えば、ボトルネックとなっている作業工程Ｐｒを抽出し、抽出した作業工程Ｐｒの実施状況を撮像した撮像データＩＤ（部分撮像データＯＤ）と、抽出した作業工程Ｐｒの工程情報とを組み合わせる。したがって、ユーザは、例えば、ボトルネックとなっている作業工程Ｐｒについて、ボトルネックとなっている原因、不具合要因を特定するのが容易になり、作業工程Ｐｒの改善作業を効率的に行うことができるようになる。加えて、情報処理装置１０は、不良発生時のトレイサビリティにも用いることができる。
【００９３】
また、情報処理装置１０は、基礎撮像データＢＩと、複数の機器４０の各々の工程情報とを組み合わせることにより、基礎撮像データＢＩに対する解析と工程情報に対する解析との両方の解析制度を向上させることができる。
【００９４】
ここで、情報処理装置１０についての背景技術として挙げた特許文献１に記載されているような従来技術は、その実現に際しては、作業現場ＷＳの全体に非常に高価な機器を導入する必要があった。これに対して、情報処理装置１０は、作業現場ＷＳで以前から用いられているＰＬＣ２０と、作業現場ＷＳの天井に１台設置する天井カメラ３０とを利用するので、実現コストが少ない。また、情報処理装置１０は、所望の作業工程Ｐｒ（つまり、所望の監視領域Ａｒ）のみを撮像する天井カメラ３０を利用してもよいし、情報処理装置１０の利用する天井カメラ３０を移設するのも容易である。
【００９５】
また、特許文献１の技術は、複数のカメラで撮影した作業映像データを解析することにより、作業者が作業を行うことのできなかった時間である作業不能時間を算出する。そして、特許文献１の技術は、作業者に作業手順を示す作業指示端末に対する作業者の操作に基づいて計測した見かけ上の作業時間から、作業映像データの解析により算出した作業不能時間を差し引くことで、実際に作業が可能であった実作業時間を算出する。つまり、特許文献１の技術は、作業工程Ｐｒの実施に用いられる機器４０の実際の動作Ａｃと作業者Ｐｅとの対応関係を把握するのに、作業工程Ｐｒの実施に用いられる機器４０に対する、具体的には作業指示端末に対する、作業者Ｐｅの操作指示を必要とする。
【００９６】
これに対して、情報処理装置１０は、工程情報を用いて、具体的には、機器４０の動作結果Ｌａを用いて、機器４０が動作Ａｃを開始した動作開始時刻Ｔｍｓ、および、動作Ａｃを完了した動作完了時刻Ｔｍｅを特定する。つまり、情報処理装置１０は、作業者Ｐｅに作業手順を示す作業指示端末に対する、作業者Ｐｅの操作作業を必要とせずに、機器４０の動作開始時刻Ｔｍｓおよび動作完了時刻Ｔｍｅを特定する。
【００９７】
具体的には、情報処理装置１０は、マスタであるＰＬＣ２０とスレーブである機器４０とを接続する制御ネットワーク５０を介して、ＰＬＣ２０と通信可能に接続されている。情報処理装置１０は、ＰＬＣ２０から、「作業工程Ｐｒの実施に用いられる機器４０が実行した実際の動作Ａｃ」の内容および結果を示す動作結果Ｌａを含む工程情報を受信する。ここで、情報処理装置１０は、ＰＬＣ２０と、制御ネットワーク５０を介して通信可能に接続されている必要があるが、情報処理装置１０は、「ＰＬＣ２０をマスタとし、機器４０をスレーブとするマスタスレーブ制御システム」におけるスレーブでなくともよい。
【００９８】
また、情報処理装置１０は、例えばＵＳＢ（Universal Serial Bus）ケーブルを介して、天井カメラ３０と通信可能に接続されている。情報処理装置１０は、天井カメラ３０から、作業現場ＷＳの全体が撮像された基礎撮像データＢＩを取得する。
【００９９】
さらに、情報処理装置１０は、工程情報ＤＢから、「作業工程Ｐｒの実施に用いられる機器４０が実行すべき標準的な動作」を示す動作基準Ｓａを取得する。そして、情報処理装置１０は、取得した動作基準Ｓａを用いて、「作業工程Ｐｒの実施に用いられる機器４０が実行した実際の動作Ａｃ」に対する判定を実行する。情報処理装置１０は、「動作基準Ｓａ（ｍ）を満たす」、つまり、「作業工程Ｐｒ（ｍ）の実施の際に通常は実行されない」と判定した動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）の実施状況を撮像した撮像データＩｄ（ｍ）を、基礎撮像データＢＩから、部分撮像データＯＤとして抽出する。
【０１００】
したがって、情報処理装置１０は、ＭＥＳなどに接続する社内ＬＡＮには基礎撮像データＢＩを送信しないため、社内ＬＡＮにおける通信を、巨大なデータ量を有する基礎撮像データＢＩの送信によって圧迫することがない。
【０１０１】
§２．構成例
これまで、図２および図３を用いて、制御システム１等の概要を説明してきた。図１等を用いて情報処理装置１０の詳細を説明していく前に、情報処理装置１０についての理解を容易にするため、情報処理装置１０の概要を以下のように整理しておく。
【０１０２】
すなわち、情報処理装置１０（データ抽出装置）は、複数の作業工程Ｐｒの実施状況を撮影した撮像データである基礎撮像データＢＩ（基礎データ）を取得する第１取得部１１０と、複数の作業工程Ｐｒの各々の実施に用いられる機器４０が実行した動作Ａｃの内容および結果を示す動作結果Ｌａから生成された工程情報を取得する第２取得部１２０と、前記工程情報を用いて、機器４０が実行した動作Ａｃが所定の動作基準Ｓａを満たすかを判定する動作判定部１３０と、動作判定部１３０により所定の動作基準Ｓａを満たすと判定された動作Ａｃに対応する作業工程Ｐｒの実施状況を示す撮像データＩｄを、部分撮像データＯＤ（部分データ）として基礎撮像データＢＩから抽出する抽出部１５０と、を備える。情報処理装置１０は、機器４０をスレーブとするマスタスレーブ制御システムにおけるマスタであるＰＬＣ２０に内部バスを介して接続した装置、または、機器４０とＰＬＣ２０とを通信可能に接続する制御ネットワーク５０を介してＰＬＣ２０に接続した、機器４０とは異なる装置である。情報処理装置１０において第２取得部１２０は、ＰＬＣ２０により生成または収集された情報を、前記工程情報として取得する。
【０１０３】
前記の構成によれば、情報処理装置１０は、ＰＬＣ２０に内部バスを介して接続した装置、または、制御ネットワーク５０を介してＰＬＣ２０に接続した、機器４０とは異なる装置であって、以下の処理を実行する。すなわち、情報処理装置１０は、ＰＬＣ２０により生成または収集された前記工程情報を用いて、基礎撮像データＢＩから、所定の動作基準Ｓａを満たすと判定された動作Ａｃに対応する作業工程Ｐｒの実施状況を示す撮像データＩｄを抽出する。
【０１０４】
つまり、情報処理装置１０は、内部バスまたは制御ネットワーク５０を介してＰＬＣ２０から前記工程情報を取得する。そして、情報処理装置１０は、取得した前記工程情報を用いることにより、基礎撮像データＢＩをマスタスレーブ制御システムである制御システム１の外部に送信せずに、基礎撮像データＢＩから所望の撮像データＩｄを部分撮像データＯＤとして抽出する。
【０１０５】
したがって、情報処理装置１０は、マスタスレーブ制御システムの外部に位置する上位システム（例えば、図２の社内ＬＡＮ）へ通信負荷をかけることなく、部分撮像データＯＤを基礎撮像データＢＩから抽出することで、基礎撮像データＢＩを効率的に利用することができるとの効果を奏する。
【０１０６】
情報処理装置１０は、抽出部１５０により部分撮像データＯＤとして抽出された撮像データＩｄを、マスタスレーブ制御システムの外部へと送信する送信部１６０をさらに備えている。
【０１０７】
前記の構成によれば、情報処理装置１０は、基礎撮像データＢＩから部分撮像データＯＤとして抽出した撮像データＩｄを、マスタスレーブ制御システムの外部へと送信する。ここで、部分撮像データＯＤとして抽出した撮像データＩｄのデータ量は、基礎撮像データＢＩのデータ量に比べて小さいことは明らかである。
【０１０８】
したがって、情報処理装置１０は、マスタスレーブ制御システムの外部に位置する上位システムへの通信負荷を抑制しつつ、当該上位システムでの基礎撮像データＢＩの効率的な利用を可能とするとの効果を奏する。
【０１０９】
これまでに概要を説明した情報処理装置１０について、次に、その構成の詳細について図１を参照しながら説明し、その後、情報処理装置１０が実行する処理について、図４を参照しながら説明していく。
【０１１０】
（情報処理装置の詳細）
図１は、制御システム１に含まれる、情報処理装置１０等の要部構成を示すブロック図である。図１に示すように、情報処理装置１０は、機能ブロックとして、第１取得部１１０と、第２取得部１２０と、動作判定部１３０と、記憶部１４０と、抽出部１５０と、送信部１６０と、画像解析部１７０とを備えている。情報処理装置１０は、上述の各機能ブロックに加えて、ユーザ操作を受け付ける操作受付部などを備えていてもよいが、記載の簡潔性を担保するため、本実施の形態に直接関係のない構成は、説明およびブロック図から省略している。ただし、実施の実情に則して、情報処理装置１０は、当該省略された構成を備えてもよい。
【０１１１】
第１取得部１１０、第２取得部１２０、動作判定部１３０、抽出部１５０、送信部１６０、および、画像解析部１７０は、例えば、ＣＰＵ（central processing unit）等が、ＲＯＭ（read only memory）、ＮＶＲＡＭ（non-Volatile random access memory）等で実現された記憶装置（記憶部１４０）に記憶されているプログラムを不図示のＲＡＭ（random access memory）等に読み出して実行することで実現できる。以下に先ず、情報処理装置１０における第１取得部１１０、第２取得部１２０、動作判定部１３０、抽出部１５０、送信部１６０、および、画像解析部１７０について説明する。
【０１１２】
第１取得部１１０は、天井カメラ３０から、天井カメラ３０が作業現場ＷＳの全体を撮像した撮像データである基礎撮像データＢＩを取得し、取得した基礎撮像データＢＩを、抽出部１５０へと出力する。
【０１１３】
第２取得部１２０は、ＰＬＣ２０から工程情報を取得し、取得した工程情報を、動作判定部１３０へと出力する。工程情報は、「ＰＬＣ２０が機器４０から取得した『機器４０の動作結果Ｌａ』」、および、「取得した『機器４０の動作結果Ｌａ』を用いてＰＬＣ２０が生成した情報」である。すなわち、工程情報は動作結果Ｌａを含み、動作結果Ｌａは、作業工程Ｐｒの実施に際して機器４０が実際に実行した動作Ａｃの内容および結果を示す情報である。ＰＬＣ２０が、「機器４０（ｍ）の動作結果Ｌａ（ｍ）」を用いて、機器４０（ｍ）の実行した動作Ａｃ（ｍ）に対して動作判定を実行する場合、工程情報は、ＰＬＣ２０による動作Ａｃ（ｍ）に対する動作判定の判定結果を含んでいてもよい。
【０１１４】
動作判定部１３０は、第２取得部１２０から取得した工程情報を用いて、作業工程Ｐｒの実施に用いられる機器４０が実行した実際の動作Ａｃについて、「所定の動作基準Ｓａを満たすか」を判定する（動作判定）。すなわち、動作判定部１３０は、第２取得部１２０から工程情報（特に、動作結果Ｌａ）を取得すると、工程情報に含まれる動作Ａｃに対応する所定の動作基準Ｓａを、記憶部１４０の動作基準テーブル１４１を参照して取得する。そして、動作判定部１３０は、工程情報に含まれる動作Ａｃについて、動作基準テーブル１４１に格納されている所定の動作基準Ｓａを満たすかを判定する。
【０１１５】
例えば、動作判定部１３０は、或る動作Ａｃについて、「エラー（工程内エラーまたは工程間エラー）が発生した」、または「実行に要した動作期間Ｄａが、標準動作時間Ｔｔａの範囲内にない」のを確認すると、その或る動作Ａｃは動作基準Ｓａを満たすと判定する。具体的には、動作判定部１３０は、「動作期間Ｄａが標準下限動作時間下限Ｔｔａｌ未満である」または「動作期間Ｄａが標準上限動作時間上限Ｔｔａｈを超過する」のを確認すると、その或る動作Ａｃは動作基準Ｓａを満たすと判定する。
【０１１６】
動作判定部１３０は、動作基準Ｓａ（ｍ）を満たすと判定した動作Ａｃ（ｍ）について、その動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）を特定し、特定した作業工程Ｐｒ（ｍ）を示す情報（抽出対象情報）を抽出部１５０に通知する。
【０１１７】
動作判定部１３０は、例えば、「機器４０（ｍ）が、『動作基準Ｓａ（ｍ）を満たすと判定された動作Ａｃ（ｍ）』を開始した時刻」である動作開始時刻Ｔｍｓ（ｍ）を、工程情報から、具体的には、機器４０（ｍ）の動作結果Ｌａ（ｍ）から、特定する。また、動作判定部１３０は、例えば、「機器４０（ｍ）が、『動作基準Ｓａ（ｍ）を満たすと判定された動作Ａｃ（ｍ）』を完了した時刻」である動作完了時刻Ｔｍｅ（ｍ）を、工程情報から、具体的には、機器４０（ｍ）の動作結果Ｌａ（ｍ）から、特定する。動作判定部１３０は、「動作基準Ｓａ（ｍ）を満たすと判定した動作Ａｃ（ｍ）」について特定した動作開始時刻Ｔｍｓ（ｍ）および動作完了時刻Ｔｍｅ（ｍ）を、「動作基準Ｓａ（ｍ）を満たすと判定した動作Ａｃ（ｍ）」に対応する作業工程Ｐｒ（ｍ）を示す抽出対象情報として、抽出部１５０に通知する。「動作基準Ｓａ（ｍ）を満たすと判定された動作Ａｃ（ｍ）」の、動作開始時刻Ｔｍｓ（ｍ）から動作完了時刻Ｔｍｅ（ｍ）までの時間（期間）は、「切り取り時間」とも称し、つまり、「切り取り時間」を示す情報は、抽出対象情報の一例である。動作Ａｃ（ｍ）の動作開始時刻Ｔｍｓ（ｍ）から動作完了時刻Ｔｍｅ（ｍ）までの時間（期間）は、「動作Ａｃ（ｍ）が実行されている期間」という意味で、動作期間Ｄａ（ｍ）とも称される。
【０１１８】
動作判定部１３０は、動作基準Ｓａ（ｍ）を満たさないと判定した動作Ａｃ（ｍ）について、その動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）を特定し、特定した作業工程Ｐｒ（ｍ）を示す情報（非抽出対象情報）を画像解析部１７０に通知する。つまり、動作判定部１３０は、「エラーが発生せず」、かつ「標準動作時間Ｔｔａ（ｍ）の範囲内に実行を完了した」動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）を示す情報（非抽出対象情報）を画像解析部１７０に通知する。例えば、動作判定部１３０は、「動作期間Ｄａが、標準下限動作時間下限Ｔｔａｌから標準上限動作時間上限Ｔｔａｈまでの範囲内にある」のを確認した動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）を示す情報を画像解析部１７０に通知する。
【０１１９】
ここで、動作判定部１３０は、抽出対象情報を画像解析部１７０に通知することによって、画像解析部１７０に、「動作基準Ｓａを満たすと判定された動作Ａｃ」以外の動作Ａｃに対応する作業工程Ｐｒを特定させてもよい。例えば、動作判定部１３０は、「切り取り時間」を示す情報を画像解析部１７０に通知することによって、画像解析部１７０に、「切り取り時間」以外の時間を特定させてもよい。
【０１２０】
動作判定部１３０は、動作結果Ｌａ（ｍ）を用いて特定した、動作Ａｃ（ｍ）の動作開始時刻Ｔｍｓ（ｍ）、動作完了時刻Ｔｍｅ（ｍ）、および、動作期間Ｄａ（ｍ）を、画像解析部１７０に通信してもよい。また、動作判定部１３０は、動作結果Ｌａ（ｍ）を用いて、動作Ａｃ（ｍ）が「自動化された動作」であるか否かを判定し、判定結果を、画像解析部１７０に通信してもよい。
【０１２１】
画像解析部１７０は、「動作判定部１３０によって『動作基準Ｓａを満たす』と判定された動作Ａｃ」以外の動作Ａｃに対応する作業工程Ｐｒについて、その作業工程Ｐｒにおいて作業者Ｐｅが行った作業Ｏｐが、標準的な作業（標準作業）であるかを判定する。具体的には、画像解析部１７０は、先ず、「動作判定部１３０によって『動作基準Ｓａを満たす』と判定された動作Ａｃ」以外の動作Ａｃに対応する作業工程Ｐｒの実施状況を撮像した撮像データＩＤに対して、画像解析を実行する。そして、画像解析部１７０は、画像解析の結果と、工程情報とを用いて、作業者Ｐｅが行った作業Ｏｐが、標準作業であるかを判定する。
【０１２２】
画像解析部１７０は、撮像データＩＤ（基礎撮像データＢＩ）に対する画像解析として、作業者Ｐｅの存在および動き等を精緻に把握することの可能な、動線解析を実行し、作業者Ｐｅの中心座標、作業者ＩＤ等を検出してもよい。
【０１２３】
画像解析部１７０は、標準作業ではない（非標準作業である）と判定した作業Ｏｐについて、その作業Ｏｐに対応する作業工程Ｐｒを特定し、特定した作業工程Ｐｒを示す情報（抽出対象情報）を抽出部１５０に通知する。
【０１２４】
抽出部１５０は、「動作基準Ｓａを満たすと判定された動作Ａｃ」に対応する作業工程Ｐｒを示す抽出対象情報を、動作判定部１３０から取得し、取得した抽出対象情報を用いて、基礎撮像データＢＩから部分撮像データＯＤを抽出する。すなわち、抽出部１５０は、動作判定部１３０から取得した抽出対象情報を用いて、「動作基準Ｓａ（ｍ）を満たすと判定された動作Ａｃ（ｍ）」に対応する作業工程Ｐｒ（ｍ）の実施状況を撮像した撮像データＩｄ（ｍ）を、基礎撮像データＢＩから、部分撮像データＯＤとして抽出する。例えば、抽出部１５０は、動作判定部１３０から「動作基準Ｓａ（ｍ）を満たすと判定された動作Ａｃ（ｍ）」の、動作開始時刻Ｔｍｓ（ｍ）から動作完了時刻Ｔｍｅ（ｍ）までの時間（つまり、切り取り時間）を取得する。そして、抽出部１５０は、基礎撮像データＢＩのうち、取得した切り取り時間に相当する撮像データＩｄを、部分撮像データＯＤとして抽出する。
【０１２５】
また、抽出部１５０は、「標準作業ではない（非標準作業である）と判定された作業Ｏｐ」に対応する作業工程Ｐｒを示す抽出対象情報を、画像解析部１７０から取得し、取得した抽出対象情報を用いて、基礎撮像データＢＩから部分撮像データＯＤを抽出する。
【０１２６】
抽出部１５０は、基礎撮像データＢＩから抽出した部分撮像データＯＤを、つまり、基礎撮像データＢＩから部分撮像データＯＤとして抽出した撮像データＩｄを、送信部１６０に出力する。
【０１２７】
送信部１６０は、抽出部１５０によって基礎撮像データＢＩから部分撮像データＯＤとして抽出された撮像データＩｄを、制御システム１の外部に送信し、例えば、図２に示す動画保存サーバ等に送信する。
【０１２８】
送信部１６０は、また、滞在期間Ｄｏおよび動作期間Ｄａの少なくとも一方の、所定期間における分布等を示すデータを、例えば外部の表示装置（例えば、図２の外部装置７０等）に送信してもよい。そして、送信部１６０は、滞在期間Ｄｏおよび動作期間Ｄａの少なくとも一方の、所定期間における分布等を、外部の表示装置に表示させてもよい。詳細については、図１０〜図１２を用いて後述する。
【０１２９】
記憶部１４０は、情報処理装置１０が使用する各種データを格納する記憶装置である。なお、記憶部１４０は、情報処理装置１０が実行する（１）制御プログラム、（２）ＯＳプログラム、（３）情報処理装置１０が有する各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを非一時的に記憶してもよい。上記の（１）〜（４）のデータは、例えば、ＲＯＭ（read only memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）、ＨＤＤ（Hard Disc Drive）等の不揮発性記憶装置に記憶される。情報処理装置１０は、図示しない一時記憶部を備えていてもよい。一時記憶部は、情報処理装置１０が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭ（Random Access Memory）等の揮発性記憶装置で構成される。どのデータをどの記憶装置に記憶するのかについては、情報処理装置１０の使用目的、利便性、コスト、または、物理的な制約等から適宜決定される。記憶部１４０はさらに、動作基準テーブル１４１および解析対象領域テーブル１４２を格納している。
【０１３０】
動作基準テーブル１４１には、「作業工程Ｐｒの実施に用いられる機器４０が実行する動作Ａｃ」に対応する動作基準Ｓａが格納されている。例えば、作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）が実行する動作Ａｃ（ｍ）には、動作基準Ｓａ（ｍ）が予め対応付けられており、動作基準テーブル１４１には、動作Ａｃ（ｍ）に対応付けられた動作基準Ｓａ（ｍ）が格納されている。
【０１３１】
動作基準テーブル１４１に格納されている動作基準Ｓａは、図２に示す工程情報ＤＢ等から取得されてもよく、また、ユーザによって設定され、格納されてもよい。例えば、情報処理装置１０は、図２に示す工程情報ＤＢから直接、または、ＰＬＣ２０を介して工程情報ＤＢから、動作基準Ｓａを取得し、取得した動作基準Ｓａを動作基準テーブル１４１に格納してもよい。動作基準テーブル１４１に格納されている動作基準Ｓａは、実施順序情報Ｓｉと、エラー基準Ｔｅと、標準動作時間Ｔｔａ（具体的には、標準下限動作時間下限Ｔｔａｌおよび標準上限動作時間上限Ｔｔａｈ）と、を含む。
【０１３２】
実施順序情報Ｓｉとは、複数の作業工程Ｐｒについて、それら複数の作業工程Ｐｒがどのような順序で実施されるべきかを示す情報であり、つまり、複数の作業工程Ｐｒに対応する複数の動作Ａｃがどのような順序で実行されるべきかを示す情報である。
【０１３３】
実施順序情報Ｓｉ（ｍ）は、例えば、「作業工程Ｐｒ（ｍ）は、作業工程Ｐｒ（ｍ−１）の実施完了後、作業工程Ｐｒ（ｍ＋１）の実施開始前に実施されるべきである」との内容を示す。ここで、作業工程Ｐｒと動作Ａｃとは対応付けられているから、実施順序情報Ｓｉ（ｍ）は、「動作Ａｃ（ｍ）は、動作Ａｃ（ｍ−１）の実行完了後、動作Ａｃ（ｍ＋１）の実行開始前に実行されるべきである」との内容を示しているともいえる。
【０１３４】
エラー基準Ｔｅとは、「作業工程Ｐｒの実施に用いられる機器４０が実行する動作Ａｃ」ごとに予め設定された基準であり、具体的には、「作業工程Ｐｒの実施に用いられる機器４０が実行すべき標準的な動作の内容および結果」を示す情報である。例えば、「作業工程Ｐｒ（ｍ）：検査工程の実施に用いられる機器４０（ｍ）：検査機が実行する動作Ａｃ（ｍ）：検査動作」には、「エラー基準Ｔｅ：検査結果−良好」が予め設定されている。また、「作業工程Ｐｒ（ｍ）：ピッキング工程の実施に用いられる機器４０（ｍ）：ピッキング機が実行する動作Ａｃ（ｍ）：ピッキング動作」には、「エラー基準Ｔｅ：ピッキング成功」が予め設定されている。さらに、「作業工程Ｐｒ（ｍ）：ネジ締め工程の実施に用いられる機器４０（ｍ）：ネジ締め機が実行する動作Ａｃ（ｍ）：ネジ締め動作」には、「エラー基準Ｔｅ：回転数がｐからｑ（＞ｐ）回」が予め設定されている。
【０１３５】
つまり、エラー基準Ｔｅは、或る作業工程Ｐｒの実施に用いられる機器４０が異常を検出したとの動作結果Ｌａ、および、或る作業工程Ｐｒの実施に用いられる機器４０の動作Ａｃに異常があったとの動作結果Ｌａ、の少なくとも一方を検出するための基準である。
【０１３６】
標準動作時間Ｔｔａとは、「作業工程Ｐｒの実施に用いられる際に機器４０が実行すべき動作Ａｃの、開始から完了までに通常要する期間」を示す情報である。より詳細には、標準動作時間Ｔｔａは、標準下限動作時間下限Ｔｔａｌから標準上限動作時間上限Ｔｔａｈまでの期間である。標準下限動作時間下限Ｔｔａｌは、「作業工程Ｐｒの実施に用いられる際に機器４０が実行すべき動作Ａｃの、開始から完了までに通常要する期間」の下限である。また、標準上限動作時間上限Ｔｔａｈは、「作業工程Ｐｒの実施に用いられる際に機器４０が実行すべき動作Ａｃの、開始から完了までに通常要する期間」の上限である。
【０１３７】
例えば、作業工程Ｐｒ（ｍ）に対して、つまり、作業工程Ｐｒ（ｍ）に対応する動作Ａｃ（ｍ）に対して、標準動作時間Ｔｔａ（ｍ）が対応付けられている。具体的には、動作Ａｃ（ｍ）に対して、標準下限動作時間下限Ｔｔａｌ（ｍ）および標準上限動作時間上限Ｔｔａｈ（ｍ）が対応付けられている。
【０１３８】
これは、「作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）は、作業工程Ｐｒ（ｍ）の実施に際して、動作Ａｃ（ｍ）の実行を、標準動作時間Ｔｔａ（ｍ）内に完了すべきである」ことを示している。つまり、機器４０（ｍ）は、動作Ａｃ（ｍ）の実行を、標準下限動作時間下限Ｔｔａｌ（ｍ）から標準上限動作時間上限Ｔｔａｈ（ｍ）までの範囲内で完了すべきことが示されている。
【０１３９】
動作基準Ｓａである、上述の実施順序情報Ｓｉと、エラー基準Ｔｅと、標準動作時間Ｔｔａ（具体的には、標準下限動作時間下限Ｔｔａｌおよび標準上限動作時間上限Ｔｔａｈ）とは、ＭＥＳである工程情報ＤＢに格納されていてもよい。その場合、情報処理装置１０は、工程情報ＤＢから取得した動作基準Ｓａを動作基準テーブル１４１に格納してもよい。
【０１４０】
解析対象領域テーブル１４２には、各々が複数の監視領域Ａｒの各々に対応する、複数の解析対象領域Ａａが格納されている。例えば、作業工程Ｐｒ（ｍ）に対応する監視領域Ａｒ（ｍ）の状況を確認するための解析対象領域Ａａが基礎撮像データＢＩについて設定されており、解析対象領域テーブル１４２には、作業工程Ｐｒ（ｍ）に対応付けられた監視領域Ａｒ（ｍ）が格納されている。解析対象領域テーブル１４２に格納されている複数の解析対象領域Ａａの各々は、ユーザ操作に応じて更新されてもよい。
【０１４１】
§３．動作例
図４は、情報処理装置１０が実行する処理（言い換えれば、情報処理装置１０が実行する制御方法）の一例を示すフロー図である。図４に示す処理について、その理解を容易にするために、最初に概要を説明しておけば、以下の通りである。すなわち、情報処理装置１０が実行する処理（制御方法）は、複数の作業工程Ｐｒの実施状況を撮影した撮像データである基礎撮像データＢＩ（基礎データ）を取得する第１取得ステップ（Ｓ１２０）と、複数の作業工程Ｐｒの各々の実施に用いられる機器４０が実行した動作Ａｃの内容および結果を示す動作結果Ｌａから生成された工程情報を取得する第２取得ステップ（Ｓ１１０）と、前記工程情報を用いて、機器４０が実行した動作Ａｃが所定の動作基準Ｓａを満たすかを判定する動作判定ステップ（Ｓ１３０、Ｓ１４０、および、Ｓ１９０）と、動作判定ステップにて所定の動作基準Ｓａを満たすと判定された動作Ａｃに対応する作業工程Ｐｒの実施状況を示す撮像データＩｄを、部分撮像データＯＤとして基礎撮像データＢＩから抽出する抽出ステップ（Ｓ１７０）と、を含んでいる。ここで、情報処理装置１０は、機器４０をスレーブとするマスタスレーブ制御システムにおけるマスタであるＰＬＣ２０に内部バスを介して接続した装置、または、機器４０とＰＬＣ２０とを通信可能に接続する制御ネットワーク５０を介してＰＬＣ２０に接続した、機器４０とは異なる装置である。そして、前記第２取得ステップにおいて、ＰＬＣ２０により生成または収集された情報が、前記工程情報として取得される。
【０１４２】
前記の構成によれば、前記制御方法は、ＰＬＣ２０に内部バスを介して接続した情報処理装置１０、または、制御ネットワーク５０を介してＰＬＣ２０に接続した、機器４０とは異なる情報処理装置１０の制御方法であって、以下の処理を実行する。すなわち、前記制御方法は、ＰＬＣ２０により生成または収集された前記工程情報を用いて、基礎撮像データＢＩから、所定の動作基準Ｓａを満たすと判定された動作Ａｃに対応する作業工程Ｐｒの実施状況を示す撮像データＩｄを抽出する。
【０１４３】
つまり、前記制御方法は、内部バスまたは制御ネットワーク５０を介してＰＬＣ２０から前記工程情報を取得する情報処理装置１０により実行される。そして、前記制御方法は、取得した前記工程情報を用いることにより、基礎撮像データＢＩをマスタスレーブ制御システムである制御システム１の外部に送信せずに、基礎撮像データＢＩから所望の撮像データＩｄを部分撮像データＯＤとして抽出する。
【０１４４】
したがって、前記制御方法は、マスタスレーブ制御システムの外部に位置する上位システム（例えば、図２の社内ＬＡＮ）へ通信負荷をかけることなく、部分撮像データＯＤを基礎撮像データＢＩから抽出することで、基礎撮像データＢＩを効率的に利用することができるとの効果を奏する。
【０１４５】
以上に概要を説明した情報処理装置１０が実行する処理について、次に、その詳細を、図４を参照しながら説明していく。図４に示すように、先ず、第２取得部１２０は、ＰＬＣ２０から工程情報を取得する（Ｓ１１０）。具体的には、第２取得部１２０は、作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）が、作業工程Ｐｒ（ｍ）の実施の際に実行した実際の動作Ａｃ（ｍ）の内容および結果を示す動作結果Ｌａ（ｍ）を、ＰＬＣ２０から工程情報として取得する。また、第１取得部１１０は、天井カメラ３０から基礎撮像データを取得する（Ｓ１２０）。
【０１４６】
（工程情報に対する判定）
動作判定部１３０は、第２取得部１２０がＰＬＣ２０から取得した工程情報を用いて、作業工程Ｐｒの実施の際に機器４０が実行した動作Ａｃについて、「所定の動作基準Ｓａを満たすか」を判定する。具体的には、動作判定部１３０は、工程情報に含まれる動作結果Ｌａ（ｍ）を用いて、「作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実際に実行した動作Ａｃ（ｍ）が、動作基準Ｓａ（ｍ）を満たすか」を判定する。
【０１４７】
（Ｓ１３０：工程エラーの有無）
「動作Ａｃ（ｍ）が、動作基準Ｓａ（ｍ）を満たすか」の判定として、動作判定部１３０は、動作結果Ｌａ（ｍ）を用いて、先ず、「作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実行した動作Ａｃ（ｍ）に、工程エラーがあるか」を判定する（Ｓ１３０）。すなわち、動作判定部１３０は、「作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実際に実行した動作Ａｃ（ｍ）について、工程内エラーまたは工程間エラーがあるか」を判定する。
【０１４８】
（Ｓ１３０−１：工程内エラーの判定）
動作判定部１３０は、作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実行した実際の動作Ａｃ（ｍ）の内容および結果を示す動作結果Ｌａ（ｍ）を用いて、「動作Ａｃ（ｍ）に工程内エラーが発生したか」を判定する。
【０１４９】
前述の通り、動作Ａｃ（ｍ）には予めエラー基準Ｔｅ（ｍ）が設定されている。動作判定部１３０は、記憶部１４０に格納されている動作基準テーブル１４１を参照して、エラー基準Ｔｅ（ｍ）を取得する。そして、動作判定部１３０は、取得したエラー基準Ｔｅ（ｍ）と、作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実行した実際の動作Ａｃ（ｍ）とを比較して、「動作Ａｃ（ｍ）に工程内エラーが発生したか」を判定する。動作判定部１３０は、動作Ａｃ（ｍ）について「工程内エラーが発生した」と判定すると、「動作Ａｃ（ｍ）は、動作基準Ｓａ（ｍ）を満たす」と判定する。
【０１５０】
作業工程Ｐｒ（ｍ）の実施に際して、複数の動作Ａｃ（ｍ）（１）、Ａｃ（ｍ）（２）、Ａｃ（ｍ）（３）、・・・、Ａｃ（ｍ）（ｘ）が実行される場合も同様である。例えば、作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）（１）、４０（ｍ）（２）、および、４０（ｍ）（３）の各々が実行した実際の動作Ａｃ（ｍ）（１）、Ａｃ（ｍ）（２）、および、Ａｃ（ｍ）（３）の各々について、動作判定部１３０は、以下の判定を実行する。すなわち、動作判定部１３０は、動作Ａｃ（ｍ）（１）、Ａｃ（ｍ）（２）、および、Ａｃ（ｍ）（３）の各々と、エラー基準Ｔｅ（ｍ）（１）、Ｔｅ（ｍ）（２）、Ｔｅ（ｍ）（３）の各々とを比較する。エラー基準Ｔｅ（ｍ）（１）は、動作Ａｃ（ｍ）（１）に予め設定されているエラー基準Ｔｅであり、エラー基準Ｔｅ（ｍ）（２）は動作Ａｃ（ｍ）（２）に、エラー基準Ｔｅ（ｍ）（３）は動作Ａｃ（ｍ）（３）に、予め設定されているエラー基準Ｔｅである。
【０１５１】
「動作Ａｃ（ｍ）（１）がエラー基準Ｔｅ（ｍ）（１）を満たす」と判定すると、動作判定部１３０は、「動作Ａｃ（ｍ）（１）は、動作基準Ｓａ（ｍ）（１）を満たす」と判定する。また、「動作Ａｃ（ｍ）（２）がエラー基準Ｔｅ（ｍ）（２）を満たす」と判定すると、動作判定部１３０は、「動作Ａｃ（ｍ）（２）は、動作基準Ｓａ（ｍ）（２）を満たす」と判定する。さらに、「動作Ａｃ（ｍ）（３）がエラー基準Ｔｅ（ｍ）（３）を満たす」と判定すると、動作判定部１３０は、「動作Ａｃ（ｍ）（３）は、動作基準Ｓａ（ｍ）（３）を満たす」と判定する。
【０１５２】
例えば、「作業工程Ｐｒ（ｍ）：検査工程の実施に用いられる機器４０（ｍ）：検査機が実行する動作Ａｃ（ｍ）：検査動作」には、「エラー基準Ｔｅ（ｍ）：検査結果−良好」が予め設定されている。したがって、検査工程における、検査機の「検査結果−不良」との検査動作（検査動作結果）に対して、動作判定部１３０は、「検査動作に、工程内エラーが発生した」と判定し、「動作基準Ｓａを満たす」と判定する。
【０１５３】
また、例えば、「作業工程Ｐｒ（ｍ）：ピッキング工程の実施に用いられる機器４０（ｍ）：ピッキング機が実行する動作Ａｃ（ｍ）：ピッキング動作」には、「エラー基準Ｔｅ（ｍ）：ピッキング成功」が予め設定されている。したがって、ピッキング工程における、ピッキング機の「ピッキング失敗」とのピッキング動作（ピッキング動作結果）に対して、動作判定部１３０は、「ピッキング動作に、工程内エラーが発生した」と判定し、「動作基準Ｓａを満たす」と判定する。
【０１５４】
さらに、例えば、「作業工程Ｐｒ（ｍ）：ネジ締め工程の実施に用いられる機器４０（ｍ）：ネジ締め機が実行する動作Ａｃ（ｍ）：ネジ締め動作」には、「エラー基準Ｔｅ（ｍ）：回転数がｐからｑ（＞ｐ）回」が予め設定されている。したがって、ネジ締め工程における、ネジ締め機の「回転数がｒ（＞ｑ）回」とのネジ締め動作（ネジ締め動作結果）に対して、動作判定部１３０は、「ネジ締め動作に、工程内エラーが発生した」と判定し、「動作基準Ｓａを満たす」と判定する。
【０１５５】
つまり、動作判定部１３０は、機器４０（ｍ）が動作Ａｃ（ｍ）を実行して異常を検出したこと、および、機器４０（ｍ）の動作Ａｃ（ｍ）に異常があったことの少なくとも一方を検出すると、動作Ａｃ（ｍ）に工程内エラーが発生したと判定する。そして、動作判定部１３０は、工程内エラーが発生したと判定した動作Ａｃ（ｍ）について、「動作基準Ｓａ（ｍ）を満たす」と判定する。
【０１５６】
以上の通り、動作判定部１３０は、「作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実行した実際の動作Ａｃ（ｍ）」と、この動作Ａｃ（ｍ）に対応付けられたエラー基準Ｔｅ（ｍ）とを比較し、動作Ａｃ（ｍ）に工程内エラーが発生したかを判定する。動作判定部１３０は、「作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実行した実際の動作Ａｃ（ｍ）に工程内エラーが発生した」と判定すると、その動作Ａｃ（ｍ）は動作基準Ｓａ（ｍ）を満たすと判定する。
【０１５７】
（Ｓ１３０−２：工程間エラーの判定）
動作判定部１３０は、作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実行した実際の動作Ａｃ（ｍ）の内容および結果を示す動作結果Ｌａ（ｍ）を用いて、「動作Ａｃ（ｍ）にについて、工程飛ばし（工程間エラー）が発生したか」を判定する。
【０１５８】
例えば、複数の作業工程Ｐｒの中には、予め決められた順序で実施されるべき作業工程Ｐｒがある。具体的には、「作業工程Ｐｒ（ｍ）は、作業工程Ｐｒ（ｍ−１）の実施後、作業工程Ｐｒ（ｍ＋１）の実施前に実施されるべきである」といった事態が想定される。この場合、作業工程Ｐｒ（ｍ）に対応する動作Ａｃ（ｍ）は、作業工程Ｐｒ（ｍ−１）に対応する動作Ａｃ（ｍ−１）の実行完了後、作業工程Ｐｒ（ｍ＋１）に対応する動作Ａｃ（ｍ＋１）の実行開始前に、実行されなくてはならない。
【０１５９】
そのような「所定の順序で実行されるべき動作Ａｃ（ｍ）が、所定の順序で実行されていない」と判定すると、動作判定部１３０は、予め決められた順序で実行されなかった動作Ａｃ（ｍ）について、工程間エラー（工程飛ばし）が発生したと判定する。
【０１６０】
工程間エラーの１つの典型例は、「後続する動作Ａｃ（ｍ＋１）の実行開始前に実行されるべき動作Ａｃ（ｍ）が、動作Ａｃ（ｍ＋１）の実行開始前に実行されなかった」場合である。また、「先行する動作Ａｃ（ｍ−１）の実行完了後に実行されるべき動作Ａｃ（ｍ）が、動作Ａｃ（ｍ−１）の実行完了後に実行されなかった」場合も、工程間エラーの典型例として挙げることができる。これらの工程間エラーは、「実行されるべき動作Ａｃ（ｍ）が実行されていない」という点から、特に「予め決められた順序で実行されるべき動作Ａｃ（ｍ）が、予め決められた順序で実行されていない」という点から、「工程飛ばし」とも称される。
【０１６１】
ここで、前述の通り、動作基準テーブル１４１には、動作基準Ｓａとして、「複数の作業工程Ｐｒについて、それら複数の作業工程Ｐｒがどのような順序で実施されるべきかを示す、実施順序情報Ｓｉ」が格納されている。つまり、動作基準テーブル１４１には、複数の作業工程Ｐｒの各々に対応する複数の動作Ａｃの各々がどのような順序で実行されるべきかを示す実施順序情報Ｓｉが格納されている。
【０１６２】
動作判定部１３０は、動作基準テーブル１４１を参照して、実施順序情報Ｓｉ（ｍ）を取得し、例えば、「動作Ａｃ（ｍ）は、動作Ａｃ（ｍ−１）の実行完了後、動作Ａｃ（ｍ＋１）の実行開始前に実行されるべきである」との実施順序情報Ｓｉ（ｍ）を取得する。そして、動作判定部１３０は、取得した実施順序情報Ｓｉ（ｍ）と、工程情報とを用いて、作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）が実行すべき動作Ａｃ（ｍ）について、工程間エラーが発生したか否かを判定する。
【０１６３】
具体的には、動作判定部１３０は、作業工程Ｐｒ（ｍ−１）の実施に用いられる機器４０（ｍ−１）の動作結果Ｌａ（ｍ−１）から、機器４０（ｍ−１）が実行した動作Ａｃ（ｍ−１）の動作完了時刻Ｔｍｅ（ｍ−１）を特定する。また、動作判定部１３０は、作業工程Ｐｒ（ｍ＋１）の実施に用いられる機器４０（ｍ＋１）の動作結果Ｌａ（ｍ＋１）から、機器４０（ｍ＋１）が実行した動作Ａｃ（ｍ＋１）の動作開始時刻Ｔｍｓ（ｍ＋１）を特定する。さらに、動作判定部１３０は、作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）の動作結果Ｌａ（ｍ）から、機器４０（ｍ）が実行した動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）を特定し、言い換えれば、動作Ａｃ（ｍ）を実行していなかった期間を特定する。
【０１６４】
動作判定部１３０は、動作完了時刻Ｔｍｅ（ｍ−１）から動作開始時刻Ｔｍｓ（ｍ＋１）までの間に、動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）が存在しないことを確認すると、「動作Ａｃ（ｍ）について、工程間エラー（工程飛ばし）が発生した」と判定する。また、動作判定部１３０は、動作完了時刻Ｔｍｅ（ｍ−１）から所定の時間内に動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）が存在しないことを確認すると、「動作Ａｃ（ｍ）について、工程間エラー（工程飛ばし）が発生した」と判定する。さらに、動作判定部１３０は、動作開始時刻Ｔｍｓ（ｍ＋１）の前に動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）が存在しないことを確認すると、「動作Ａｃ（ｍ）について、工程間エラー（工程飛ばし）が発生した」と判定する。そして、動作判定部１３０は、「工程間エラーが発生した」と判定した動作Ａｃ（ｍ）について、「動作Ａｃ（ｍ）は、所定の動作基準Ｓａ（ｍ）を満たす」と判定する。
【０１６５】
上述の通り、動作判定部１３０は、動作結果Ｌａ（ｍ）を用いて、「作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実行した動作Ａｃ（ｍ）」について、工程エラー（工程内エラーおよび工程間エラーの少なくとも一方）の有無を判定する（Ｓ１３０）。
【０１６６】
（Ｓ１４０でＹｅｓ：工程間エラーが発生した場合）
動作判定部１３０は、動作Ａｃ（ｍ）に工程エラーがあると判定すると（Ｓ１３０でＹｅｓ）、動作Ａｃ（ｍ）に発生した工程エラーが、「工程間エラー」であるかを判定する（Ｓ１４０）。動作判定部１３０は、動作Ａｃ（ｍ）に発生した工程エラーが、「工程間エラー」であると判定すると（Ｓ１４０でＹｅｓ）、「工程間エラー」が発生した、つまり、「工程飛ばし」が発生したと判定した動作Ａｃ（ｍ）を特定する（Ｓ１５０）。
【０１６７】
動作判定部１３０は、「工程飛ばし」が発生したと判定した、つまり、動作基準Ｓａ（ｍ）を満たすと判定した動作Ａｃ（ｍ）について、その動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）を示す抽出対象情報として、例えば、以下の情報を生成する。すなわち、動作判定部１３０は、実際には実行されなかった動作Ａｃ（ｍ）が本来実行されるべきであった時点を、「フラグ時点」として特定する。例えば、動作判定部１３０は、「動作Ａｃ（ｍ）の直前の順番で実行されるべき動作Ａｃ（ｍ−１）」の動作完了時刻Ｔｍｅ（ｍ−１）から、所定の猶予時間を経過した時点を、「フラグ時点」として特定する。動作判定部１３０は、特定したフラグ時点から所定期間（例えば、３０秒）を遡った時点からフラグ時点までを「切り取り時間」として、つまり、動作基準Ｓａ（ｍ）を満たす動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）を示す抽出対象情報として、決定する（Ｓ１６０）。動作判定部１３０は、決定した「切り取り時間」を抽出部１５０に通知する。
【０１６８】
抽出部１５０は、Ｓ１６０において決定された「切り取り時間」に対応する撮像動画（撮像データＩｄ）を、部分撮像データＯＤとして基礎撮像データＢＩから抽出する（Ｓ１７０）。送信部１６０は、抽出部１５０によって基礎撮像データＢＩから部分撮像データＯＤとして抽出された撮像データＩｄを、制御システム１の外部に送信してもよい。
【０１６９】
つまり、動作判定部１３０は、「実行されるべき順序において実行されなかったとの動作結果Ｌａ（ｍ）に対応する動作Ａｃ（ｍ）」は、つまり、「工程飛ばしが発生した動作Ａｃ（ｍ）」は、「所定の動作基準Ｓａ（ｍ）を満たす」と判定する。
【０１７０】
前記の構成によれば、情報処理装置１０は、実行されるべき順序において実行されなかったとの動作結果Ｌａに対応する動作Ａｃは、所定の動作基準Ｓａを満たすと判定する。
【０１７１】
したがって、情報処理装置１０は、基礎撮像データＢＩから、実行されるべき順序において実行されなかった動作Ａｃに対応する作業工程Ｐｒの実施状況を示す撮像データＩｄを、部分撮像データＯＤとして抽出することができるとの効果を奏する。例えば、情報処理装置１０は、実行されるべき順序において実行されなかった動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）の、直前に実施された作業工程Ｐｒ（ｍ−１）の実施状況を示す撮像データＩｄ（ｍ−１）を、部分撮像データＯＤとして抽出する。また、例えば、情報処理装置１０は、実行されるべき順序において実行されなかった動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）の、直後に実施された作業工程Ｐｒ（ｍ＋１）の実施状況を示す撮像データＩｄ（ｍ＋１）を、部分撮像データＯＤとして抽出する。
【０１７２】
（Ｓ１４０でＮｏ：工程内エラーが発生した場合）
動作判定部１３０は、動作Ａｃ（ｍ）に発生した工程エラーが、「工程間エラー」でないと判定すると（Ｓ１４０でＮｏ）、動作Ａｃ（ｍ）に「工程内エラー」が発生したとして、「工程内エラー」の発生した動作Ａｃ（ｍ）を特定する（Ｓ２２０）。動作判定部１３０は、Ｓ２２０において特定した動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）の開始（つまり、動作開始時刻Ｔｍｓ（ｍ））および完了（つまり、動作完了時刻Ｔｍｅ（ｍ））から、「切り取り時間」を決定する（Ｓ２００）。動作判定部１３０は、「切り取り時間」を、つまり、「工程内エラー」の発生した動作Ａｃ（ｍ）の動作開始時刻Ｔｍｓ（ｍ）および動作完了時刻Ｔｍｅ（ｍ）を、動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）を示す抽出対象情報として、抽出部１５０に通知する。抽出部１５０は、Ｓ２２０において決定された「切り取り時間」に対応する撮像動画（撮像データＩｄ）を、部分撮像データＯＤとして基礎撮像データＢＩから抽出する（Ｓ１７０）。
【０１７３】
つまり、動作判定部１３０は、動作結果Ｌａ（ｍ）を用いて、機器４０の動作Ａｃ（ｍ）が異常を検出したこと、および、機器４０の動作Ａｃ（ｍ）に異常があったことの少なくとも一方を検出すると、動作Ａｃ（ｍ）に工程内エラーが発生したと判定する。そして、動作判定部１３０は、工程内エラーが発生したと判定した動作Ａｃ（ｍ）について、「動作基準Ｓａ（ｍ）を満たす」と判定し、この判定結果を抽出部１５０に通知する。言い換えれば、動作判定部１３０は、（Ａ）機器４０が異常を検出したとの動作結果Ｌａ、および、（Ｂ）機器４０が実行した動作Ａｃに異常があったとの動作結果Ｌａ、の少なくとも一方に対応する動作Ａｃは、所定の動作基準Ｓａを満たすと判定する。
【０１７４】
前記の構成によれば、情報処理装置１０は、（Ａ）異常を検出したとの動作結果Ｌａ、および、（Ｂ）実行した動作Ａｃに異常があったとの動作結果Ｌａ、の少なくとも一方に対応する動作Ａｃは、所定の動作基準Ｓａを満たすと判定する。
【０１７５】
したがって、情報処理装置１０は、基礎撮像データＢＩから、（Ａ）異常を検出したとの動作結果Ｌａ、および、（Ｂ）実行した動作Ａｃに異常があったとの動作結果Ｌａの少なくとも一方に対応する作業工程Ｐｒの実施状況を示す撮像データＩｄを、部分撮像データＯＤとして抽出することができるとの効果を奏する。
【０１７６】
（Ｓ１３０でＮｏ：工程エラーが発生していな場合−標準動作時間の判定）
動作判定部１３０は、動作Ａｃ（ｍ）には工程エラーが発生していないと判定すると（Ｓ１３０でＮｏ）、工程エラーが発生していないと判定した動作Ａｃ（ｍ）を特定し、特定した動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）を算出する（Ｓ１８０）。具体的には、動作判定部１３０は、工程エラーが発生していないと判定した動作Ａｃ（ｍ）について、動作Ａｃ（ｍ）の動作結果Ｌａ（ｍ）から、動作開始時刻Ｔｍｓ（ｍ）および動作完了時刻Ｔｍｅ（ｍ）を特定する。動作判定部１３０は、特定した動作開始時刻Ｔｍｓ（ｍ）および動作完了時刻Ｔｍｅ（ｍ）から、作業工程Ｐｒ（ｍ）の実施に際して機器４０が実行した動作Ａｃ（ｍ）について、その動作期間Ｄａ（ｍ）を算出する。
【０１７７】
また、動作判定部１３０は、動作基準テーブル１４１を参照して、動作Ａｃ（ｍ）に対応する標準動作時間Ｔｔａ（ｍ）（具体的には、標準下限動作時間下限Ｔｔａｌ（ｍ）および標準上限動作時間上限Ｔｔａｈ（ｍ））を取得する。動作判定部１３０は、取得した標準動作時間Ｔｔａ（ｍ）を、Ｓ１８０で算出した動作期間Ｄａ（ｍ）と比較し、動作期間Ｄａ（ｍ）が標準動作時間Ｔｔａ（ｍ）の範囲外にあるか（つまり、範囲内にないか）を判定する（Ｓ１９０）。すなわち、動作判定部１３０は、「機器４０（ｍ）が実際に動作Ａｃ（ｍ）を実行するのに要した動作期間Ｄａ（ｍ）」が、「機器４０（ｍ）が動作Ａｃ（ｍ）を実行するのに通常要するとされる標準動作時間Ｔｔａ（ｍ）」の範囲外にあるかを判定する。具体的には、動作判定部１３０は、「動作期間Ｄａ（ｍ）が標準下限動作時間下限Ｔｔａｌ（ｍ）未満であるか」を判定し、また、「動作期間Ｄａ（ｍ）が標準上限動作時間上限Ｔｔａｈ（ｍ）を超過するか」を判定する。
【０１７８】
動作判定部１３０は、動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）が、動作Ａｃ（ｍ）についてあらかじめ設定されている標準動作時間Ｔｔａ（ｍ）の範囲内にない（つまり、範囲外にある）と判定すると（Ｓ１９０でＹｅｓ）、動作Ａｃ（ｍ）は、所定の動作基準Ｓａ（ｍ）を満たすと判定する。具体的には、動作判定部１３０は、「動作期間Ｄａ（ｍ）が標準下限動作時間下限Ｔｔａｌ（ｍ）未満である」または「動作期間Ｄａ（ｍ）が標準上限動作時間上限Ｔｔａｈ（ｍ）を超過する」のを確認すると、動作Ａｃ（ｍ）は動作基準Ｓａ（ｍ）を満たすと判定する。
【０１７９】
動作判定部１３０は、所定の動作基準Ｓａ（ｍ）を満たすと判定した動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）の開始（つまり、動作開始時刻Ｔｍｓ（ｍ））および完了（つまり、動作完了時刻Ｔｍｅ（ｍ））から、「切り取り時間」を決定する（Ｓ２００）。動作判定部１３０は、「切り取り時間」を、つまり、動作開始時刻Ｔｍｓ（ｍ）および動作完了時刻Ｔｍｅ（ｍ）を、動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）を示す抽出対象情報として、抽出部１５０に通知する。抽出部１５０は、Ｓ２２０において決定された「切り取り時間」に対応する撮像動画（撮像データＩｄ）を、部分撮像データＯＤとして基礎撮像データＢＩから抽出する（Ｓ１７０）。
【０１８０】
つまり、動作判定部１３０は、機器４０が実行した動作Ａｃについて、実行を完了するまでに要した動作期間Ｄａが、実行を完了するまでに要する時間として予め設定されている標準動作時間Ｔｔａの範囲内にないと、動作Ａｃは所定の動作基準Ｓａを満たすと判定する。言い換えれば、動作判定部１３０は、実際に実行を完了するまでに要した動作期間Ｄａ（ｍ）が、標準動作時間Ｔｔａ（ｍ）の範囲内にないと、動作Ａｃ（ｍ）は動作基準Ｓａ（ｍ）を満たすと判定する。
【０１８１】
前記の構成によれば、情報処理装置１０は、実行を完了するまでに実際に要した動作期間Ｄａが、標準動作時間Ｔｔａの範囲内にない動作Ａｃは、所定の動作基準Ｓａを満たすと判定する。具体的には、情報処理装置１０は、「動作期間Ｄａ（ｍ）が、標準下限動作時間下限Ｔｔａｌ（ｍ）未満である」動作Ａｃ（ｍ）は、動作基準Ｓａ（ｍ）を満たすと判定する。また、情報処理装置１０は、「動作期間Ｄａ（ｍ）が、標準上限動作時間上限Ｔｔａｈ（ｍ）を超過する」動作Ａｃ（ｍ）は、動作基準Ｓａ（ｍ）を満たすと判定する。
【０１８２】
したがって、情報処理装置１０は、基礎撮像データＢＩから、実際に実行を完了するまでに要した動作期間Ｄａが標準動作時間Ｔｔａの範囲内にない動作Ａｃに対応する作業工程Ｐｒの実施状況を示す撮像データＩｄを、部分撮像データＯＤとして抽出することができるとの効果を奏する。具体的には、情報処理装置１０は、基礎撮像データＢＩから、「動作期間Ｄａ（ｍ）が、標準下限動作時間下限Ｔｔａｌ（ｍ）未満である」動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）の実施状況を示す撮像データＩｄ（ｍ）を、部分撮像データＯＤとして抽出することができる。また、情報処理装置１０は、基礎撮像データＢＩから、「動作期間Ｄａ（ｍ）が、標準上限動作時間上限Ｔｔａｈ（ｍ）を超過する」動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）の実施状況を示す撮像データＩｄ（ｍ）を、部分撮像データＯＤとして抽出することができる。
【０１８３】
（Ｓ１９０でＮｏ：標準動作時間超過が発生していな場合−画像解析）
動作判定部１３０は、工程エラーが発生していないと判定した動作Ａｃ（ｍ）の動作期間Ｄａが標準動作時間Ｔｔａ（ｍ）の範囲内にあると判定すると（Ｓ１９０でＮｏ）、「動作Ａｃ（ｍ）は、動作基準Ｓａ（ｍ）を満たさない」と判定する。前述の通り、動作判定部１３０は、動作Ａｃ（ｍ）の動作期間Ｄａが標準下限動作時間下限Ｔｔａｌ（ｍ）から標準上限動作時間上限Ｔｔａｈ（ｍ）までの範囲内にあると、動作期間Ｄａは標準動作時間Ｔｔａ（ｍ）の範囲内にあると判定する。
【０１８４】
動作判定部１３０は、動作Ａｃ（ｍ）について、工程エラーが発生しておらず、かつ、動作期間Ｄａ（ｍ）が標準動作時間Ｔｔａ（ｍ）の範囲内にあることを確認すると、「動作Ａｃ（ｍ）は、動作基準Ｓａ（ｍ）を満たさない」と判定する。動作判定部１３０は、動作基準Ｓａ（ｍ）を満たさないと判定した動作Ａｃ（ｍ）について、動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）を特定し、特定した作業工程Ｐｒ（ｍ）を示す情報（非抽出対象情報）を画像解析部１７０に通知する。
【０１８５】
画像解析部１７０は、「工程エラーが発生しておらず、かつ、動作期間Ｄａ（ｍ）が標準動作時間Ｔｔａ（ｍ）の範囲内にある」動作Ａｃ（ｍ）に対応する作業工程Ｐｒ（ｍ）の実施状況を撮像した撮像データＩＤ（ｍ）について、画像解析により、以下の判定を行う。すなわち、画像解析部１７０は、撮像データＩＤ（ｍ）に対する画像解析によって、作業工程Ｐｒ（ｍ）の実施に際して作業者Ｐｅ（ｘ）が行った作業Ｏｐ（ｍ）を特定し、作業Ｏｐ（ｍ）が非標準作業であるかを判定する（Ｓ２１０）。
【０１８６】
撮像データＩｄ（ｍ）に対する画像解析によって特定した作業Ｏｐ（ｍ）が、非標準作業ではない（つまり、標準作業である）と判定すると（Ｓ２１０でＮｏ）、情報処理装置１０は処理を終了する。作業Ｏｐ（ｍ）が非標準作業であると判定すると（Ｓ２１０でＹｅｓ）、画像解析部１７０は、作業Ｏｐ（ｍ）について、「切り取り時間」を決定する（Ｓ２００）。すなわち、画像解析部１７０は、作業Ｏｐ（ｍ）の開始（つまり、滞在開始時点Ｔｏｓ（ｍ））および完了（つまり、滞在終了時点Ｔｏｅ（ｍ））から、作業Ｏｐ（ｍ）について「切り取り時間」を決定する。詳細は後述するが、滞在開始時点Ｔｏｓ（ｍ）は、「作業Ｏｐ（ｍ）を行った作業者Ｐｅが、監視領域Ａｒ（ｍ）に存在するようになったのを、画像解析部１７０が画像解析によって確認した」時点である。また、滞在終了時点Ｔｏｅ（ｍ）は、「作業Ｏｐ（ｍ）を行った作業者Ｐｅが、監視領域Ａｒ（ｍ）に存在しなくなったのを、画像解析部１７０が画像解析によって確認した」時点である。
【０１８７】
画像解析部１７０は、決定した「切り取り時間」を、つまり、滞在開始時点Ｔｏｓ（ｍ）および滞在終了時点Ｔｏｅ（ｍ）を、作業Ｏｐ（ｍ）を示す抽出対象情報として、抽出部１５０に通知する。抽出部１５０は、Ｓ２２０において決定された「切り取り時間」に対応する撮像動画（撮像データＩｄ）を、部分撮像データＯＤとして基礎撮像データＢＩから抽出する（Ｓ１７０）。
【０１８８】
つまり、画像解析部１７０は、基礎撮像データＢＩ、特に、基礎撮像データＢＩ中の撮像データＩｄ（ｍ）に対する画像解析によって、作業工程Ｐｒ（ｍ）の実施の際に作業者Ｐｅ（ｘ）が行った作業Ｏｐ（ｍ）が、作業工程Ｐｒ（ｍ）の実施の際に行われる標準的作業であるかを判定する。抽出部１５０は、画像解析部１７０によって標準的な作業（標準作業）ではないと判定された作業Ｏｐ（ｍ）が行われた状況についての撮像データＩｄ（ｍ）を、部分撮像データＯＤとして、基礎撮像データＢＩから抽出する。画像解析部１７０が実行する画像解析、および、標準作業であるか否かの判定処理について、その一例を以下に説明する。
【０１８９】
（画像解析処理（１）：作業者の存在判定等）
画像解析部１７０は、天井カメラ３０による作業現場ＷＳ全体の撮像データである基礎撮像データＢＩを解析して、監視領域Ａｒに作業者Ｐｅが存在するか否かを判定する。画像解析部１７０は、作業現場ＷＳの監視領域Ａｒ（ｍ）を撮像した、基礎撮像データＢＩの解析対象領域Ａａ（ｍ）に対する画像解析によって、監視領域Ａｒ（ｍ）に作業者Ｐｅが存在するか否かを判定する。
【０１９０】
すなわち、画像解析部１７０は、基礎撮像データＢＩに対する画像解析によって、作業現場ＷＳに作業者Ｐｅが存在するか否かを判定し、作業現場ＷＳに作業者Ｐｅが存在すると判定すると、さらに、作業者Ｐｅが存在する監視領域Ａｒを特定する。
【０１９１】
（作業者の識別情報の特定）
画像解析部１７０は、「監視領域Ａｒ（ｍ）に作業者Ｐｅが存在する」と判定すると、解析対象領域Ａａ（ｍ）に対する画像解析によってさらに、監視領域Ａｒ（ｍ）に存在する作業者Ｐｅの作業者ＩＤを特定してもよい。すなわち、画像解析部１７０は、帽子の頭頂部などに付された作業者ＩＤが撮像された基礎撮像データＢＩに対して画像解析を行うことにより、作業現場ＷＳに存在する作業者Ｐｅの作業者ＩＤを特定する。画像解析部１７０は、基礎撮像データＢＩに対する画像解析により、「作業現場ＷＳに作業者Ｐｅが存在するか」、「作業者Ｐｅが存在する監視領域Ａｒはどこか」、および、「監視領域Ａｒに存在する作業者Ｐｅの作業者ＩＤ」を特定することができる。
【０１９２】
（滞在期間の特定）
画像解析部１７０は、解析対象領域Ａａに対する画像解析によって、それ以前には作業者Ｐｅが存在していないと判定していた監視領域Ａｒについて、作業者Ｐｅが存在すると判定するようになった時点を、滞在開始時点Ｔｏｓとして特定する。また、画像解析部１７０は、解析対象領域Ａａに対する画像解析によって、それ以前には作業者Ｐｅが存在していると判定していた監視領域Ａｒについて、作業者Ｐｅが存在していないと判定するようになった時点を、滞在終了時点Ｔｏｅとして特定する。
【０１９３】
画像解析部１７０は、作業工程Ｐｒ（ｍ）に対応付けられている監視領域Ａｒ（ｍ）について、滞在開始時点Ｔｏｓ（ｍ）から滞在終了時点Ｔｏｅ（ｍ）までの時間を、作業者Ｐｅが存在していた時間として特定する。以下の説明において、監視領域Ａｒ（ｍ）に作業者Ｐｅ（ｘ）が存在していた時間である「滞在開始時点Ｔｏｓ（ｍ）（ｘ）から滞在終了時点Ｔｏｅ（ｍ）（ｘ）までの時間」は、滞在期間Ｄｏ（ｍ）（ｘ）とも称する。
【０１９４】
（滞在期間の頻度の算出）
画像解析部１７０は、作業工程Ｐｒごと（つまり、監視領域Ａｒごと）の滞在期間Ｄｏの特定（計測）に加えて、さらに、作業工程Ｐｒごと（つまり、監視領域Ａｒごと）の滞在期間Ｄｏの頻度を算出してもよい。
【０１９５】
画像解析部１７０は、監視領域Ａｒ（ｍ）について、滞在開始時点Ｔｏｓ（ｍ）から滞在終了時点Ｔｏｅ（ｍ）までの時間を、「１回の滞在期間Ｄｏ（ｍ）」として把握する。「監視領域Ａｒ（ｍ）にそれまで存在していなかった作業者Ｐｅ（１）が、監視領域Ａｒ（ｍ）に存在するのを確認した時点（＝滞在開始時点Ｔｏｓ（ｍ）（１））」から、「監視領域Ａｒ（ｍ）にそれまで存在していた作業者Ｐｅ（１）が、監視領域Ａｒ（ｍ）に存在しなくなったのを確認した時点（＝滞在終了時点Ｔｏｅ（ｍ）（１））」までの時間が、「１回の滞在期間Ｄｏ（ｍ）（１）」である。
【０１９６】
画像解析部１７０は、「ｘ＋ｙ＋・・・＋ｚ＝ｎ」として、作業者Ｐｅ（１）の「ｎ」回の滞在期間Ｄｏ（ｍ）（１）について、所定の時間間隔ごとに、或る時間間隔の滞在期間Ｄｏ（ｍ）（１）が、「ｎ」回のうち何回あったのかを算出してもよい。例えば、画像解析部１７０は、「ｎ」回の滞在期間Ｄｏ（ｍ）（１）のうち、０分から４分の滞在期間Ｄｏ（ｍ）（１）が「ｘ」回あったのを確認する。また、画像解析部１７０は、５分から９分の滞在期間Ｄｏ（ｍ）（１）が「ｙ」回あったのを確認する。同様に、「ｐ」を「１」以上の整数として、画像解析部１７０は、「５（ｐ−１）」分から「５ｐ−１」分の滞在期間Ｄｏ（ｍ）（１）が「ｚ」回であったのを確認する。
【０１９７】
そして、画像解析部１７０は、作業者Ｐｅ（１）の「ｎ」回の滞在期間Ｄｏ（ｍ）（１）について、０分から４分の滞在期間Ｄｏ（ｍ）（１）の頻度、５分から９分の滞在期間Ｄｏ（ｍ）（１）の頻度、・・・、「５（ｐ−１）」分から「５ｐ−１」分の滞在期間Ｄｏ（ｍ）（１）の頻度を算出してもよい。
【０１９８】
画像解析部１７０は、「ｎ」回の滞在期間Ｄｏ（ｍ）について、所定の基準よりも低い頻度の滞在期間Ｄｏ（ｍ）を「非標準的」な滞在期間Ｄｏ（ｍ）として抽出してもよい。画像解析部１７０は、抽出した「非標準的」な滞在期間Ｄｏ（ｍ）に対応する撮像データＩｄ（ｍ）を、基礎撮像データＢＩから、部分撮像データＯＤとして抽出してもよい。
【０１９９】
（作業工程の特定）
前述の通り、監視領域Ａｒと作業工程Ｐｒとは予め対応付けられており、すなわち、監視領域Ａｒ（１）、Ａｒ（２）、Ａｒ（３）、・・・Ａｒ（ｎ）の各々は、作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々に対応付けられている。
【０２００】
したがって、画像解析部１７０は、基礎撮像データＢＩを解析して、例えば、監視領域Ａｒ（ｍ）に作業者Ｐｅ（１）が存在するのを確認すると、作業者Ｐｅ（１）が存在する監視領域Ａｒ（ｍ）に対応する作業工程Ｐｒ（ｍ）を特定することができる。
【０２０１】
（画像解析処理（２）：滞在期間と動作期間との対応付け）
画像解析部１７０は、工程情報を用いて、「作業工程Ｐｒに対応付けられている監視領域Ａｒに作業者Ｐｅが存在した滞在期間Ｄｏ」と、「作業工程Ｐｒの実施に際して機器４０が実行した動作Ａｃの動作期間Ｄａ」とを対応付けた情報を生成する。
【０２０２】
具体的には、画像解析部１７０は、画像解析により、例えば、作業者Ｐｅ（１）が監視領域Ａｒ（ｍ）に存在するのを確認すると、監視領域Ａｒ（ｍ）に対応する作業工程Ｐｒ（ｍ）を特定し、さらに、作業工程Ｐｒ（ｍ）に対応する動作Ａｃ（ｍ）を特定する。そして、画像解析部１７０は、動作判定部１３０が動作結果Ｌａ（ｍ）から特定した動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）を利用して、監視領域Ａｒ（ｍ）に作業者Ｐｅが存在した滞在期間Ｄｏ（ｍ）と動作期間Ｄａ（ｍ）とを対応付けた情報を生成してもよい。
【０２０３】
（画像解析処理（３）：作業の推定および判定）
画像解析部１７０は、工程情報を用いて、「作業工程Ｐｒに対応付けられている監視領域Ａｒに作業者Ｐｅが存在した滞在期間Ｄｏ」において作業者Ｐｅが行った作業Ｏｐを推定し、具体的には、作業者Ｐｅがどのような作業Ｏｐを実行したかを推定する。特に、画像解析部１７０は、「作業工程Ｐｒの実施に用いられる機器４０」の動作結果Ｌａを用いて、「作業工程Ｐｒに対応付けられている監視領域Ａｒに作業者Ｐｅが存在した滞在期間Ｄｏ」において作業者Ｐｅが行った作業Ｏｐを推定する。そして、画像解析部１７０は、推定した作業Ｏｐが、作業工程Ｐｒの実施に際して行う標準的な作業（標準作業）であるか否かを判定する。
【０２０４】
（３−１．動作開始時点で行われる作業について）
「作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）」が動作Ａｃ（ｍ）の実行を開始する前には、機器４０（ｍ）に動作Ａｃ（ｍ）を開始させるための、作業者Ｐｅによる機器４０（ｍ）への開始指示作業等が必要となるのが一般的である。つまり、機器４０（ｍ）が動作Ａｃ（ｍ）の実行を開始する動作開始時刻Ｔｍｓ（ｍ）において、一般的には、作業工程Ｐｒ（ｍ）に対応付けられている監視領域Ａｒ（ｍ）に作業者Ｐｅが存在している必要がある。
【０２０５】
そこで、画像解析部１７０は、動作開始時刻Ｔｍｓ（ｍ）に作業者Ｐｅが監視領域Ａｒ（ｍ）に存在していたのを確認すると、「動作開始時刻Ｔｍｓ（ｍ）において作業者Ｐｅは、機器４０（ｍ）への、動作Ａｃ（ｍ）の開始指示作業等を実行した」と推定する。動作開始時刻Ｔｍｓ（ｍ）に監視領域Ａｒ（ｍ）に存在した作業者Ｐｅが実行する作業Ｏｐ（ｍ）は、例えば、作業工程Ｐｒ（ｍ）の実施のための準備作業、開始ボタン押下等の開始指示作業、機器４０（ｍ）がスムーズに動作Ａｃ（ｍ）を開始したかの確認作業などである。機器４０（ｍ）へのワークのセット等の投入作業は、作業工程Ｐｒ（ｍ）の実施のための準備作業の一例である。これらの作業は、「作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）が動作Ａｃ（ｍ）の実行を開始する時点の前後で、作業者Ｐｅによって行われる通常の作業」であり、「標準作業」とも称される。
【０２０６】
つまり、画像解析部１７０は、作業者Ｐｅが監視領域Ａｒ（ｍ）に存在していた滞在期間Ｄｏ（ｍ）が動作開始時刻Ｔｍｓ（ｍ）に重複するのを確認すると、「その滞在期間Ｄｏ（ｍ）中に作業者Ｐｅが行った作業Ｏｐ（ｍ）は、開始指示作業等である」と推定する。そして、画像解析部１７０は、「動作開始時刻Ｔｍｓ（ｍ）に重複する滞在期間Ｄｏ（ｍ）中に作業者Ｐｅが行った開始指示作業等は、標準作業である」と判定する。
【０２０７】
（３−２．動作完了時点で行われる作業について）
「作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）」が動作Ａｃ（ｍ）の実行を完了した後には、機器４０（ｍ）に動作Ａｃ（ｍ）を完了させるための、作業者Ｐｅによる機器４０（ｍ）への完了指示作業等が必要となるのが一般的である。つまり、機器４０（ｍ）が動作Ａｃ（ｍ）の実行を完了する動作完了時刻Ｔｍｅ（ｍ）において、一般的には、作業工程Ｐｒ（ｍ）に対応付けられている監視領域Ａｒ（ｍ）に作業者Ｐｅが存在している必要がある。
【０２０８】
そこで、画像解析部１７０は、動作完了時刻Ｔｍｅ（ｍ）に作業者Ｐｅが監視領域Ａｒ（ｍ）に存在していたのを確認すると、「動作完了時刻Ｔｍｅ（ｍ）において作業者Ｐｅは、機器４０（ｍ）への、動作Ａｃ（ｍ）の完了指示作業等を実行した」と推定する。動作完了時刻Ｔｍｅ（ｍ）に監視領域Ａｒ（ｍ）に存在した作業者Ｐｅが実行する作業Ｏｐ（ｍ）は、例えば、終了ボタン押下等の完了指示作業、作業工程Ｐｒ（ｍ）の完了後の事後作業、機器４０（ｍ）がスムーズに動作Ａｃ（ｍ）を完了したかの確認作業などである。作業工程Ｐｒ（ｍ）が完了したワーク、つまり、作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）による動作Ａｃ（ｍ）が完了したワークの回収作業は、作業工程Ｐｒ（ｍ）の完了後の事後作業の一例である。これらの作業は、「作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）が動作Ａｃ（ｍ）の実行を完了する時点の前後で、作業者Ｐｅによって行われる通常の作業」であり、「標準作業」とも称される。
【０２０９】
つまり、画像解析部１７０は、作業者Ｐｅが監視領域Ａｒ（ｍ）に存在していた滞在期間Ｄｏ（ｍ）が動作完了時刻Ｔｍｅ（ｍ）に重複するのを確認すると、「その滞在期間Ｄｏ（ｍ）中に作業者Ｐｅが行った作業Ｏｐ（ｍ）は、完了指示作業等である」と推定する。そして、画像解析部１７０は、「動作完了時刻Ｔｍｅ（ｍ）に重複する滞在期間Ｄｏ（ｍ）中に作業者Ｐｅが行った完了指示作業等は、標準作業である」と判定する。
【０２１０】
（３−３．動作が実行されていない時点で行われる作業について）
「作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）」が動作Ａｃ（ｍ）の「ｐ」回目の実行を完了した後、「ｐ＋１」回目の実行を開始する前までの間に、作業者Ｐｅが以下のように行動することが考えられる。すなわち、作業者Ｐｅが、監視領域Ａｒ（ｍ）に立ち寄り、「ｐ＋１」回目の実行開始のための段取り作業等を行い、その作業後に監視領域Ａｒ（ｍ）から一旦離れた後、暫くして監視領域Ａｒ（ｍ）に戻って、「ｐ＋１」回目の実行を開始させることが考えられる。
【０２１１】
そこで、画像解析部１７０は、「ｐ」回目の動作Ａｃ（ｍ）の動作完了時刻Ｔｍｅ（ｍ）（ｐ）から、「ｐ＋１」回目の動作Ａｃ（ｍ）の動作開始時刻Ｔｍｓ（ｍ）（ｐ＋１）までの間に滞在期間Ｄｏ（ｍ）が存在するのを確認すると、以下の推定を実行する。すなわち、画像解析部１７０は、「動作完了時刻Ｔｍｅ（ｍ）（ｐ）から動作開始時刻Ｔｍｓ（ｍ）（ｐ＋１）までの間の滞在期間Ｄｏ（ｍ）において、作業者Ｐｅは段取り作業等を実行していた」と推定する。そして、段取り作業等は、「動作完了時刻Ｔｍｅ（ｍ）（ｐ）から動作開始時刻Ｔｍｓ（ｍ）（ｐ＋１）までの間に作業者Ｐｅによって行われる通常の作業」であるから、画像解析部１７０は、「段取り作業等は、標準作業である」と判定する。
【０２１２】
言い換えれば、画像解析部１７０は、機器４０（ｍ）の動作期間Ｄａ（ｍ）に重複していない滞在期間Ｄｏ（ｍ）であって、滞在期間Ｄｏ（ｍ）の終了後、所定時間内に動作期間Ｄａ（ｍ）が出現する滞在期間Ｄｏ（ｍ）について、以下の推定を実行する。すなわち、画像解析部１７０は、「そのような滞在期間Ｄｏ（ｍ）において作業者Ｐｅは段取り作業等を実行していた」と推定し、また、「そのような滞在期間Ｄｏ（ｍ）において作業者Ｐｅが行った作業Ｏｐ（ｍ）は標準作業である」と判定する。
【０２１３】
（３−４．動作が実行されている間に行われる作業について）
画像解析部１７０は、「作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）」が動作Ａｃ（ｍ）の実行中に、監視領域Ａｒ（ｍ）に存在した作業者Ｐｅの行った作業Ｏｐ（ｍ）について、標準作業であるか否かを判定する。特に、画像解析部１７０は、「作業工程Ｐｒ（ｍ）の実施に用いられる機器４０（ｍ）」が実行した動作Ａｃ（ｍ）の内容を用いて、「動作Ａｃ（ｍ）が実行されている間に、監視領域Ａｒ（ｍ）に存在した」作業者Ｐｅの作業Ｏｐ（ｍ）を判定する。
【０２１４】
（３−４−１．自動化された動作か否かの判定）
先ず、画像解析部１７０は、「作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実行した動作Ａｃ（ｍ）の内容および結果を示す動作結果Ｌａ（ｍ）」を用いて、動作Ａｃ（ｍ）が、「自動化された動作」であるか否かを判定する。
【０２１５】
ここで、「自動化された動作」とは、作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）によって実行される動作Ａｃ（ｍ）であって、以下のような性質を備える動作Ａｃ（ｍ）である。すなわち、「自動化された動作」とは、「機器４０（ｍ）による動作（ｍ）の実行中に、つまり、動作期間Ｄａ（ｍ）中に、作業者Ｐｅによる追加的な作業Ｏｐ（ｍ）を通常は必要としない」動作Ａｃ（ｍ）である。
【０２１６】
例えば、「自動化された検査動作」は、自動検査機である機器４０（ｍ）が「自動化された検査動作」を開始してから、「自動化された検査動作」を完了させるまでの間、作業者Ｐｅによる追加的な作業Ｏｐ（ｍ）を通常は必要としない。つまり、「自動化された検査動作」は、実行開始から実行完了までの間に作業者Ｐｅによる追加的な作業Ｏｐ（ｍ）を通常は必要とせず、つまり、「自動化された検査動作」の動作期間Ｄａ（ｍ）中の作業者Ｐｅによる追加的な作業Ｏｐ（ｍ）を通常は必要としない。したがって、「自動化された検査動作」は、「自動化された動作」である。
【０２１７】
これに対して、「作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）によって実行される動作Ａｃ（ｍ）」であって、「自動化された動作」ではない動作Ａｃ（ｍ）は、「非自動動作」または「手動動作」とも称され、つまり、「自動化されていない動作」である。「自動化されていない動作」とは、作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）によって実行される動作Ａｃ（ｍ）であって、以下のような性質を備える動作Ａｃ（ｍ）である。すなわち、「自動化されていない動作」とは、「機器４０（ｍ）による動作（ｍ）の実行中に、つまり、動作期間Ｄａ（ｍ）中に、作業者Ｐｅによる追加的な作業Ｏｐ（ｍ）を必要とするのが通常である」動作Ａｃ（ｍ）である。
【０２１８】
例えば、「組み立て補助動作」は、作業者Ｐｅによる組み立て作業Ｏｐ（ｍ）を補助する動作Ａｃ（ｍ）であり、機器４０（ｍ）が「組み立て補助動作」を開始してから、「組み立て補助動作」を完了させるまでの間、作業者Ｐｅによる組み立て作業Ｏｐ（ｍ）を必要とする。つまり、「組み立て補助動作」は、実行開始から実行完了までの間に作業者Ｐｅによる追加的な作業Ｏｐ（ｍ）を通常は必要とし、つまり、「組み立て補助動作」の動作期間Ｄａ（ｍ）中の作業者Ｐｅによる追加的な作業Ｏｐ（ｍ）を通常は必要とする。したがって、「組み立て補助動作」は、「自動化されていない動作」である。
【０２１９】
ここで、画像解析部１７０は、動作Ａｃ（ｍ）が「自動化された動作」であるか否かを把握できればよく、動作Ａｃ（ｍ）が「自動化された動作」であるか否かの判定を、画像解析部１７０が実施することは必須ではない。例えば、動作判定部１３０が、動作結果Ｌａ（ｍ）を用いて、動作Ａｃ（ｍ）が「自動化された動作」であるか否かを判定し、判定結果を、画像解析部１７０に通知してもよい。また、ＰＬＣ２０が、動作結果Ｌａ（ｍ）を用いて、動作Ａｃ（ｍ）が「自動化された動作」であるか否かを判定し、判定結果を、画像解析部１７０に通知してもよい。
【０２２０】
（３−４−２．自動化された動作の実行中に行われる作業について）
画像解析部１７０は、作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実行した動作Ａｃ（ｍ）が、「自動化された動作」であると判定すると、動作期間Ｄａ（ｍ）と滞在期間Ｄｏ（ｍ）とが所定の時間以上重複していないかを確認する。
【０２２１】
前述の通り、「自動化された動作」である動作Ａｃ（ｍ）は、「動作期間Ｄａ（ｍ）中に、作業者Ｐｅによる追加的な作業Ｏｐ（ｍ）を通常は必要としない」から、動作期間Ｄａ（ｍ）と滞在期間Ｄｏ（ｍ）とは所定の時間以上重複しないのが通常である。
【０２２２】
したがって、画像解析部１７０は、動作期間Ｄａ（ｍ）と滞在期間Ｄｏ（ｍ）とが所定の時間以上重複しているのを確認すると、「作業工程Ｐｒ（ｍ）の実施に際して、通常ではない状況が発生した」と判定する。つまり、画像解析部１７０は、滞在期間Ｄｏ（ｍ）が、「自動化された動作」である動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）に所定の時間以上重複していると、「滞在期間Ｄｏ（ｍ）中に作業者Ｐｅが行った作業Ｏｐ（ｍ）は、非標準作業である」と判定する。
【０２２３】
例えば、「自動化された動作」である動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）に、所定の時間以上で、かつ、短時間の滞在期間Ｄｏ（ｍ）が重複していると、滞在期間Ｄｏ（ｍ）に作業者Ｐｅが行った作業Ｏｐ（ｍ）について、画像解析部１７０は以下の判定を行う。すなわち、画像解析部１７０は、「作業者Ｐｅは、機器４０（ｍ）のメンテナンス作業を行ったり、修理作業を行なったりしている」と推定し、「滞在期間Ｄｏ（ｍ）中に作業者Ｐｅが行った作業Ｏｐ（ｍ）は、非標準作業である」と判定する。
【０２２４】
例えば、「自動化された動作」である動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）に、所定の時間以上で、かつ、長時間の滞在期間Ｄｏ（ｍ）が重複していると、滞在期間Ｄｏ（ｍ）に作業者Ｐｅが行った作業Ｏｐ（ｍ）について、画像解析部１７０は以下の判定を行う。すなわち、画像解析部１７０は、「作業者Ｐｅは、『自動化された動作』である動作Ａｃ（ｍ）の完了まで、時間を無駄に消費している可能性がある」と推定し、「滞在期間Ｄｏ（ｍ）中に作業者Ｐｅが行った作業Ｏｐ（ｍ）は、非標準作業である」と判定する。
【０２２５】
（３−４−３．自動化されていない動作の実行中に行われる作業について）
画像解析部１７０は、作業工程Ｐｒ（ｍ）の実施に際して機器４０（ｍ）が実行した動作Ａｃ（ｍ）が、「自動化されていない動作」であると判定すると、動作期間Ｄａ（ｍ）が常に滞在期間Ｄｏ（ｍ）と重複しているかを確認する。
【０２２６】
前述の通り、「自動化されていない動作」である動作Ａｃ（ｍ）は、「動作期間Ｄａ（ｍ）中に、作業者Ｐｅによる追加的な作業Ｏｐ（ｍ）を通常は必要とする」から、動作期間Ｄａ（ｍ）は常に滞在期間Ｄｏ（ｍ）と重複しているのが通常である。
【０２２７】
したがって、画像解析部１７０は、滞在期間Ｄｏ（ｍ）に重複していない動作期間Ｄａ（ｍ）が存在しているのを確認すると、「滞在期間Ｄｏ（ｍ）に重複していない動作期間Ｄａ（ｍ）において、通常ではない状況が発生した」と判定する。つまり、画像解析部１７０は、滞在期間Ｄｏ（ｍ）に重複していない動作期間Ｄａ（ｍ）が存在しているのを確認すると、「その動作期間Ｄａ（ｍ）の前後の滞在期間Ｄｏ（ｍ）中に作業者Ｐｅが行った作業Ｏｐ（ｍ）は、非標準作業である」と判定する。
【０２２８】
例えば、「自動化されていない動作」である動作Ａｃ（ｍ）の、滞在期間Ｄｏ（ｍ）に重複していない動作期間Ｄａ（ｍ）においては、本来は実行中のはずの動作Ａｃ（ｍ）が、何らかの原因で中断している可能性がある。
【０２２９】
（３−５．作業の推定と判定についての整理）
これまでに説明してきたように、画像解析部１７０は、工程情報を用いて、特に、「作業工程Ｐｒの実施に用いられる機器４０」の機器４０の動作結果Ｌａを用いて、「滞在期間Ｄｏにおいて作業者Ｐｅがどのような作業Ｏｐを実行したか」を推定する。そして、画像解析部１７０は、推定した作業Ｏｐが、作業工程Ｐｒの実施に際して行う標準的な作業（標準作業）であるか否かを判定する。
【０２３０】
すなわち、画像解析部１７０は、工程情報を用いて、特に、「作業工程Ｐｒの実施に用いられる機器４０」の機器４０の動作結果Ｌａを用いて、機器４０の動作開始時刻Ｔｍｓ、動作完了時刻Ｔｍｅ、および、動作期間Ｄａを特定する。そして、画像解析部１７０は、特定した動作開始時刻Ｔｍｓ、動作完了時刻Ｔｍｅ、および、動作期間Ｄａの各々と滞在期間Ｄｏとが重複しているかを確認し、確認結果に基づいて、滞在期間Ｄｏにおいて作業者Ｐｅが行った作業Ｏｐの推定および判定を実行する。
【０２３１】
また、画像解析部１７０は、動作期間Ｄａにおける機器４０の動作Ａｃの内容を、具体的には、動作期間Ｄａにおいて機器４０が実行した動作Ａｃが「自動化された動作」であるのか否かを、機器４０の動作結果Ｌａを用いて、判定する。前述の通り、画像解析部１７０は、動作期間Ｄａにおいて機器４０が実行した動作Ａｃが「自動化された動作」であるのか否かの判定結果を、動作判定部１３０から取得してもよい。
【０２３２】
画像解析部１７０は、動作期間Ｄａに所定の時間以上重複している滞在期間Ｄｏが存在したのを確認すると、その動作期間Ｄａにおける機器４０の動作Ａｃの内容を用いて、その滞在期間Ｄｏにおいて作業者Ｐｅが行った作業Ｏｐの推定および判定を実行する。すなわち、画像解析部１７０は、動作Ａｃの内容（動作Ａｃが「自動化された動作」であるのか否かの判定結果）を用いて、「動作期間Ｄａに所定の時間以上重複している滞在期間Ｄｏ」における作業Ｏｐの作業内容を推定し、作業Ｏｐが標準作業であるかを判定する。
【０２３３】
ここで、「滞在期間Ｄｏにおいて作業者Ｐｅが行った作業Ｏｐ」について、上述までの推定方法、判定方法によっては、作業Ｏｐの内容を推定し、「標準作業」であるのか「非標準作業」であるのかを判定することができない作業Ｏｐも考えられる。画像解析部１７０は、上述までの判定方法では「標準作業」であるのか「非標準作業」であるのかを判定することができなかった作業Ｏｐを、「非標準作業」と判定してもよい。
【０２３４】
これまでに説明してきたように、画像解析部１７０は、基礎撮像データＢＩに対する画像解析によって、作業工程Ｐｒの実施の際に作業者Ｐｅが行った作業Ｏｐが、作業工程Ｐｒの実施の際に行われる標準的な作業であるか否かを判定する。抽出部１５０は、基礎撮像データＢＩから、画像解析部１７０により標準的な作業ではないと判定された作業Ｏｐが行われた状況を示す撮像データＩｄを、部分撮像データＯＤとして抽出する。
【０２３５】
前記の構成によれば、情報処理装置１０は、基礎撮像データＢＩに対する画像解析によって、作業工程Ｐｒの実施の際に作業者Ｐｅが行った作業Ｏｐが、作業工程Ｐｒの実施の際に行われる標準的な作業であるか否かを判定する。そして、情報処理装置１０は、作業Ｏｐが標準的な作業ではないと判定すると、標準的な作業ではないと判定した作業Ｏｐが行われた状況を示す撮像データＩｄを、基礎撮像データＢＩから抽出する。つまり、情報処理装置１０は、基礎撮像データＢＩに対する画像解析により、基礎撮像データＢＩをＰＬＣ２０スレーブ制御システムの外部に送信することなく、基礎撮像データＢＩから所望の撮像データＩｄを、部分撮像データＯＤとして抽出する。
【０２３６】
したがって、情報処理装置１０は、マスタスレーブ制御システムの外部に位置する上位システム（例えば、図２の社内ＬＡＮ）へ通信負荷をかけることなく、部分撮像データＯＤを基礎撮像データＢＩから抽出することで、基礎撮像データＢＩを効率的に利用することができるとの効果を奏する。
【０２３７】
（画像解析処理の具体例）
図５は、画像解析部１７０が、基礎撮像データＢＩを用いて、作業者Ｐｅと監視領域Ａｒとを特定する方法を示す図である。図５に示すように、画像解析部１７０は、基礎撮像データＢＩに対する画像解析によって、複数の作業工程Ｐｒの各々に対応する、複数の監視領域Ａｒの各々について、作業者Ｐｅが存在しているかを判定する。そして、作業者Ｐｅが存在していると判定した監視領域Ａｒについて、その監視領域Ａｒに存在する作業者Ｐｅの作業者ＩＤを特定する。
【０２３８】
図５に示す例において、画像解析部１７０は、基礎撮像データＢＩに対する画像解析によって、特に、複数の解析対象領域Ａａに対する画像解析によって、以下の判定を実行する。すなわち、画像解析部１７０は、監視領域Ａｒ（１）から監視領域Ａｒ（５）のうち、監視領域Ａｒ（２）および監視領域Ａｒ（４）に作業者Ｐｅが存在していると判定する。画像解析部１７０は、さらに、監視領域Ａｒ（２）に存在する作業者Ｐｅの作業者ＩＤが「作業者Ｐｅ（２）」であり、監視領域Ａｒ（４）に存在する作業者Ｐｅの作業者ＩＤが「作業者Ｐｅ（１）」であることを特定する。
【０２３９】
図６は、画像解析部１７０が生成する、「作業工程Ｐｒごとに、動作期間Ｄａと滞在期間Ｄｏとを対応付けた情報」の一例を示す図である。前述の通り、画像解析部１７０は、工程情報を用いて、「作業工程Ｐｒに対応付けられている監視領域Ａｒに作業者Ｐｅが存在した滞在期間Ｄｏ」と、「作業工程Ｐｒの実施に際して機器４０が実行した動作Ａｃの動作期間Ｄａ」とを対応付けた情報を生成する。例えば、画像解析部１７０は、「監視領域Ａｒ（ｍ）に作業者Ｐｅが存在した滞在期間Ｄｏ（ｍ）」と、動作判定部１３０が動作結果Ｌａ（ｍ）を用いて特定した、「動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）」とを対応付けた情報を生成してもよい。
【０２４０】
画像解析部１７０は、動作期間Ｄａ（ｍ）に実行された動作Ａｃ（ｍ）が「自動化された動作」であるか否かを区別して、滞在期間Ｄｏ（ｍ）と動作期間Ｄａ（ｍ）とを対応付けた情報を生成してもよい。前述の通り、動作Ａｃ（ｍ）が「自動化された動作」であるか否かを区別することにより、画像解析部１７０は、滞在期間Ｄｏ（ｍ）に作業者Ｐｅが行った作業Ｏｐ（ｍ）が「標準作業」であるのか否かを、より精緻に判定することができる。
【０２４１】
図６の（Ａ）は、動作Ａｃ（ｍ）が「自動化された動作」である場合に、「滞在期間Ｄｏ（ｍ）に作業者Ｐｅが行った作業Ｏｐ（ｍ）」について、画像解析部１７０が実行した推定の結果の一例を示している。
【０２４２】
図６の（Ａ）について、画像解析部１７０は、動作開始時刻Ｔｍｓ（ｍ）に重複する滞在期間Ｄｏ（ｍ）において作業者Ｐｅが行った作業Ｏｐ（ｍ）は、開始指示作業等の「標準作業」であると判定する。画像解析部１７０は、動作完了時刻Ｔｍｅ（ｍ）に重複する滞在期間Ｄｏ（ｍ）において作業者Ｐｅが行った作業Ｏｐ（ｍ）は、完了指示作業等の「標準作業」であると判定する。画像解析部１７０は、動作期間Ｄａ（ｍ）に重複しない滞在期間Ｄｏ（ｍ）であって、滞在期間Ｄｏ（ｍ）の終了後、所定時間内に動作期間Ｄａ（ｍ）が出現する滞在期間Ｄｏ（ｍ）に作業者Ｐｅが行った作業Ｏｐは、段取り作業等の「標準作業」であると判定する。
【０２４３】
「自動化された動作」である動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）に、所定の時間以上で、かつ、短時間の滞在期間Ｄｏ（ｍ）が重複していると、画像解析部１７０は、「作業Ｏｐ（ｍ）は、修理作業等の非標準作業である」と判定する。
【０２４４】
「自動化された動作」である動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）に、所定の時間以上で、かつ、長時間の滞在期間Ｄｏ（ｍ）が重複していると、画像解析部１７０は、「作業Ｏｐ（ｍ）は、検査待ち等の非標準作業である」と判定する。
【０２４５】
図６の（Ｂ）は、動作Ａｃ（ｍ）が「自動化されていない動作（つまり、手動動作）」である場合に、「滞在期間Ｄｏ（ｍ）に作業者Ｐｅが行った作業Ｏｐ（ｍ）」について、画像解析部１７０が実行した推定の結果の一例を示している。
【０２４６】
画像解析部１７０は、動作開始時刻Ｔｍｓ（ｍ）および動作完了時刻Ｔｍｅ（ｍ）の少なくとも一方に重複する滞在期間Ｄｏ（ｍ）において作業者Ｐｅが行った作業Ｏｐ（ｍ）は、開始指示作業等または完了指示作業等の「標準作業」であると判定する。画像解析部１７０は、動作期間Ｄａ（ｍ）に重複しない滞在期間Ｄｏ（ｍ）であって、滞在期間Ｄｏ（ｍ）の終了後、所定時間内に動作期間Ｄａ（ｍ）が出現する滞在期間Ｄｏ（ｍ）に作業者Ｐｅが行った作業Ｏｐは、段取り作業等の「標準作業」であると判定する。
【０２４７】
滞在期間Ｄｏ（ｍ）中に「自動化されていない動作」である動作Ａｃ（ｍ）の動作期間Ｄａ（ｍ）の中断が発生しているのを確認すると、画像解析部１７０は、「滞在期間Ｄｏ（ｍ）に作業者Ｐｅが行った作業Ｏｐは、非標準作業である」と判定する。
【０２４８】
図７は、複数の作業工程Ｐｒについて、動作期間Ｄａと滞在期間Ｄｏとの対応関係を一覧形式で示した画面例を示している。情報処理装置１０は、図７に例示するように、複数の作業工程Ｐｒについて、動作期間Ｄａと滞在期間Ｄｏとの対応関係を、例えば外部の表示装置（図２の外部装置７０等）に、一覧形式で表示させてもよい。複数の作業工程Ｐｒについて、動作期間Ｄａと滞在期間Ｄｏとの対応関係を一覧形式で表示させることにより、情報処理装置１０は、ユーザが、ボトルネックとなっている作業工程Ｐｒを発見し、改善を検討するのを容易にすることができる。
【０２４９】
図８は、複数の作業工程Ｐｒの実施順序に対応させて、複数の監視領域Ａｒが配置されている作業現場ＷＳの一例を示す図である。画像解析部１７０は、基礎撮像データＢＩに対する画像解析によって、特に、複数の作業工程Ｐｒに対応する、複数の解析対象領域Ａａの各々に対する画像解析によって、作業現場ＷＳにおける作業者Ｐｅの移動経過を示す情報を生成してもよい。このような作業者Ｐｅの移動経過を示す情報は、特に、複数の作業工程Ｐｒの実施順序に対応させて、複数の監視領域Ａｒが配置されている作業現場ＷＳについて、ボトルネックとなっている作業工程Ｐｒを発見し、改善を検討するのに有用である。
【０２５０】
図９は、画像解析部１７０が基礎撮像データＢＩに対する画像解析によって生成した、作業現場ＷＳにおける作業者Ｐｅの移動経過を示す情報の一例を示す図である。図９に例示するような、「作業現場ＷＳにおける作業者Ｐｅの移動経過を示す情報」によって、ユーザは、例えば、以下に示すような検討を行うことができる。
【０２５１】
すなわち、ユーザは、作業者Ｐｅが、監視領域Ａｒ（６）から監視領域Ａｒ（７）、監視領域Ａｒ（７）から監視領域Ａｒ（８）、監視領域Ａｒ（８）から監視領域Ａｒ（７）、監視領域Ａｒ（７）から監視領域Ａｒ（６）への移動を繰り返しているのを確認する。監視領域Ａｒ（６）が作業工程Ｐｒ（６）：検査工程に対応する場合、ユーザは、図９に例示する「作業現場ＷＳにおける作業者Ｐｅの移動経過を示す情報」から、例えば、以下の事態を推定することができる。すなわち、検査工程等で発生した待ち時間等において、作業者Ｐｅが、検査工程における作業Ｏｐ（６）：検査作業と並行して、作業工程Ｐｒ（７）および作業工程Ｐｒ（８）における作業Ｏｐ（７）および作業Ｏｐ（８）を行っているとの事態を推定することができる。
【０２５２】
また、ユーザは、「作業現場ＷＳにおける作業者Ｐｅの移動経過を示す情報」から、図９に例示するように、例えば、同様の移動経過が繰り返し発生している場合、「１サイクル」を構成する、複数の作業工程Ｐｒを特定することができる。同様に、ユーザは、サイクル間における作業者Ｐｅの移動経過から、「（サイクルの）切り替え工程」を特定することができる。
【０２５３】
（滞在期間および動作期間に係る分析結果の表示）
情報処理装置１０は、図１０、図１１、および、図１２に例示するように、滞在期間Ｄｏおよび動作期間Ｄａの少なくとも一方の、所定期間における分布等を示す情報を、外部の表示装置等（例えば、図２の外部装置７０）に表示させてもよい。例えば、送信部１６０は、滞在期間Ｄｏおよび動作期間Ｄａの少なくとも一方の、所定期間における分布等を示すデータを、外部の表示装置等に送信し、そのデータを、箱ひげ図、ヒストグラム等の形式で、外部の表示装置等に表示させてもよい。
【０２５４】
（１−１．「作業工程ごとの滞在期間」の、所定期間における分布および合計値）
図１０は、ユーザによって選択された製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの滞在期間Ｄｏの、或る日における分布を示す箱ひげ図である。例えば、ユーザが任意の製品Ｐ（ｘ）を選択すると、情報処理装置１０は表示装置等に、選択された製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの滞在期間Ｄｏについて、ユーザの選択する期間における分布を示す箱ひげ図を表示させる。
【０２５５】
図１０に示す例では、「製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの滞在期間Ｄｏの、ユーザの選択する期間における分布」を示すのに箱ひげ図が用いられているが、情報処理装置１０は、ヒストグラムを用いて上述の分布を示してもよい。
【０２５６】
前述の通り、情報処理装置１０は、解析対象領域Ａａに対する画像解析によって、作業工程Ｐｒごとの滞在期間Ｄｏを、つまり、作業工程Ｐｒに対応付けられている監視領域Ａｒに作業者Ｐｅが存在していた期間を示す滞在期間Ｄｏを、算出する。
【０２５７】
例えば、或る製品Ｐ（ｘ）が、「ネジ締め」、「はんだ付け」、「組み付け１」、「組み付け２」、「梱包」という５つの作業工程Ｐｒ（１）〜Ｐｒ（５）を経て生産されるとする。情報処理装置１０は、上述の５つの作業工程Ｐｒの各々について、製品Ｐ（ｘ）を１つ生産する都度、製品Ｐ（ｘ）を１つ生産するのに要した滞在期間Ｄｏを算出する。つまり、情報処理装置１０は、製品Ｐ（ｘ）を１つ生産する都度、製品Ｐ（ｘ）を１つ生産するのに要した作業工程Ｐｒ（１）〜Ｐｒ（５）の各々に対応する滞在期間Ｄｏ（１）〜Ｄｏ（５）の各々を算出する。
【０２５８】
そして、情報処理装置１０は、製品Ｐ（ｘ）を１つ生産するのに要した滞在期間Ｄｏ（１）〜Ｄｏ（５）が、或る日においてどのように分布したのかを示す情報を、図１０に例示するように箱ひげ図の形式を用いて、外部の表示装置等に表示させる。
【０２５９】
図１０に示す箱ひげ図において、或る日に、製品Ｐ（ｘ）を１つ生産するのに要した「ネジ締め」工程（＝作業工程Ｐｒ（１））について、滞在期間Ｄｏ（１）の最大は「６６秒」、滞在期間Ｄｏ（１）の最小は「４９秒」であることが示されている。同様に、その或る日に、製品Ｐ（ｘ）を１つ生産するのに要した「はんだ付け」工程（＝作業工程Ｐｒ（２））について、滞在期間Ｄｏ（２）の最大は「７４秒」、滞在期間Ｄｏ（２）の最小は「５０秒」であることが示されている。
【０２６０】
また、上述の５つの作業工程Ｐｒの各々に対応する滞在期間Ｄｏ（１）〜Ｄｏ（５）のうち、滞在期間Ｄｏの最大が最も大きいのは、滞在期間Ｄｏ（４）、つまり、「組み付け２」に要した滞在期間Ｄｏ（４）の最大である「９０秒」である。したがって、「９０秒」が、いわゆる「製品Ｐ（ｘ）を１つ生産するためのタクトタイム」となる。
【０２６１】
さらに、図１０において、情報処理装置１０は、製品Ｐ（ｘ）を１つ生産するのに要した滞在期間Ｄｏ（１）〜Ｄｏ（５）の各々の、その或る日における合計値を表示させている。例えば、製品Ｐ（ｘ）を１つ生産するのに要した「ネジ締め」工程（＝作業工程Ｐｒ（１））について、その或る日における滞在期間Ｄｏ（１）の合計値が「１２０００秒」であることが示されている。同様に、製品Ｐ（ｘ）を１つ生産するのに要した「はんだ付け」工程（＝作業工程Ｐｒ（２））について、その或る日における滞在期間Ｄｏ（２）の合計値が「１３０００秒」であることが示されている。
【０２６２】
図１０に示す例では、或る製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの滞在期間Ｄｏの、（１）「或る日における」分布、および、（２）「或る日における」合計値が示されている。
【０２６３】
しかしながら、情報処理装置１０は、或る製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの滞在期間Ｄｏの、（１）「ユーザの選択する期間における」分布、および、（２）「ユーザの選択する期間における」合計値を、表示させてもよい。例えば、情報処理装置１０は、ユーザの選択に従って、或る製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの滞在期間Ｄｏの、（１）「或る週における」分布、および、（２）「或る週における」合計値を、表示させてもよい。また、情報処理装置１０は、ユーザの選択に従って、或る製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの滞在期間Ｄｏの、（１）「或る月における」分布、および、（２）「或る月における」合計値を、表示させてもよい。
【０２６４】
（１−２．「作業工程ごとの動作期間」の、所定期間における分布および合計値）
情報処理装置１０は、ユーザによって選択された製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの「動作期間Ｄａ」の、ユーザの選択する期間における分布を示す箱ひげ図を、表示装置等に表示させてもよい。
【０２６５】
前述の通り、情報処理装置１０は、工程情報から、特に、動作結果Ｌａから、作業工程Ｐｒごとの動作期間Ｄａを、つまり、作業工程Ｐｒの実施に際し機器４０が実行した動作Ａｃの動作期間Ｄａを、算出する。
【０２６６】
例えば、或る製品Ｐ（ｘ）が上述の５つの作業工程Ｐｒ（１）〜Ｐｒ（５）を経て生産されるとすると、情報処理装置１０は、上述の５つの作業工程Ｐｒの各々について、その製品Ｐ（ｘ）を１つ生産するのに要した動作期間Ｄａを算出する。つまり、情報処理装置１０は、製品Ｐ（ｘ）を１つ生産する都度、製品Ｐ（ｘ）を１つ生産するのに要した作業工程Ｐｒ（１）〜Ｐｒ（５）の各々に対応する動作期間Ｄａ（１）〜Ｄａ（５）の各々を算出する。
【０２６７】
そして、情報処理装置１０は、或る製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの動作期間Ｄａの、（１）「或る日における」分布、および、（２）「或る日における」合計値を、表示させてもよい。
【０２６８】
すなわち、情報処理装置１０は、或る製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの動作期間Ｄａの、（１）「ユーザの選択する期間における」分布、および、（２）「ユーザの選択する期間における」合計値を、表示させてもよい。例えば、情報処理装置１０は、ユーザの選択に従って、或る製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの動作期間Ｄａの、（１）「或る週における」分布、および、（２）「或る週における」合計値を、表示させてもよい。また、情報処理装置１０は、ユーザの選択に従って、或る製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの動作期間Ｄａの、（１）「或る月における」分布、および、（２）「或る月における」合計値を、表示させてもよい。
【０２６９】
情報処理装置１０は、「製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの動作期間Ｄａの、ユーザの選択する期間における分布」を、箱ひげ図を用いて表現させてもよいし、、ヒストグラムを用いて表現させてもよい。
【０２７０】
また、情報処理装置１０は、「製品Ｐ（ｘ）を１つ生産するのに要した、作業工程Ｐｒごとの滞在期間Ｄｏおよび動作期間Ｄａの、ユーザの選択する期間における分布」を、１画面中に同時に表示させてもよい。
【０２７１】
これまで図１０を用いて説明してきたように、情報処理装置１０は、作業工程Ｐｒごとに、（１）作業工程Ｐｒの実施に係る作業Ｏｐを行う領域（監視領域Ａｒ）に作業者Ｐｅが滞在していた期間（つまり、滞在期間Ｄｏ）、および、（２）作業工程Ｐｒの実施に係る動作Ａｃが機器４０により実行された期間（つまり、動作期間Ｄａ）の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させる。
【０２７２】
前記の構成によれば、情報処理装置１０は、作業工程Ｐｒごとに、滞在期間Ｄｏおよび動作期間Ｄａの少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させる。
【０２７３】
したがって、情報処理装置１０は、作業工程Ｐｒごとに、滞在期間Ｄｏおよび動作期間Ｄａの少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を、ユーザに提供することができるとの効果を奏する。
【０２７４】
ここで、情報処理装置１０は、前記所定の期間における分布を示す情報を、箱ひげ図またはヒストグラムの形式で、外部装置に表示させてもよい。また、情報処理装置１０は、所定の製品Ｐを１つ生産するのに要した、作業工程ＰｒＰｒごとの滞在期間Ｄｏおよび動作期間Ｄａの少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を、外部装置に表示させてもよい。前述の「所定の期間」および「所定の製品Ｐ」の少なくとも一方は、ユーザによって選択されてもよい。
【０２７５】
（２−１．「作業者ごとの滞在期間」の、所定期間における分布および合計値）
図１１は、ユーザによって選択された作業者グループＧＰ（ｘ）に属する複数の作業者Ｐｅの各々について、いずれの作業工程Ｐｒについての滞在期間Ｄｏであるかは問わずに、１回の滞在期間Ｄｏの或る日における分布を示す箱ひげ図である。図１１に示す例では、作業者グループＧＰ（ｘ）に属する作業者１〜５（つまり、作業者Ｐｅ（１）〜Ｐｅ（５））の各々について、或る日において、１回の滞在期間Ｄｏがどのように分布しているのかが、箱ひげ図を用いて示されている。
【０２７６】
例えば、ユーザが任意の作業者グループＧＰ（ｘ）を選択すると、情報処理装置１０は表示装置等に、以下の情報を表示させる。すなわち、情報処理装置１０は、選択された作業者グループＧＰ（ｘ）に属する複数の作業者Ｐｅの各々の１回の滞在期間Ｄｏについて、ユーザの選択する期間における分布を示す箱ひげ図を表示させる。つまり、情報処理装置１０は、作業者Ｐｅごとに、１回の滞在期間の、ユーザの選択する期間における分布を示す情報を、外部の表示装置に表示させる。
【０２７７】
図１１に示す例では、「ユーザの選択する期間における、作業者Ｐｅごとの１回の滞在期間Ｄｏの分布」を示すのに箱ひげ図が用いられているが、情報処理装置１０は、ヒストグラムを用いて上述の分布を示してもよい。
【０２７８】
図１１に示す箱ひげ図において、或る日の、作業者１（つまり、作業者Ｐｅ（１））の１回の滞在期間Ｄｏ（作業者Ｐｅ（１））の最大は「６６秒」、滞在期間Ｄｏ（作業者Ｐｅ（１））の最小は「４９秒」であることが示されている。同様に、その或る日の、作業者２（つまり、作業者Ｐｅ（２））の１回の滞在期間Ｄｏ（作業者Ｐｅ（２））の最大は「７４秒」、滞在期間Ｄｏ（作業者Ｐｅ（２））の最小は「５０秒」であることが示されている。
【０２７９】
さらに、図１１において、情報処理装置１０は、作業者Ｐｅごとの１回の滞在期間Ｄｏの、その或る日における合計値を表示させている。例えば、或る日における作業者１の１回の滞在期間Ｄｏ（作業者Ｐｅ（１））の合計値が「１２０００秒」であることが示されている。同様に、その或る日における作業者２の１回の滞在期間Ｄｏ（作業者Ｐｅ（２））の合計値が「１３０００秒」であることが示されている。
【０２８０】
図１１に示す例では、作業者Ｐｅごとの１回の滞在期間Ｄｏの、（１）「或る日における」分布、および、（２）「或る日における」合計値が示されている。しかしながら、情報処理装置１０は、作業者Ｐｅごとの１回の滞在期間Ｄｏの、（１）「ユーザの選択する期間における」分布、および、（２）「ユーザの選択する期間における」合計値を、表示させてもよい。例えば、情報処理装置１０は、ユーザの選択に従って、作業者Ｐｅごとの１回の滞在期間Ｄｏの、（１）「或る週における」分布、および、（２）「或る週における」合計値を、表示させてもよい。また、情報処理装置１０は、ユーザの選択に従って、作業者Ｐｅごとの１回の滞在期間Ｄｏの、（１）「或る月における」分布、および、（２）「或る月における」合計値を、表示させてもよい。
【０２８１】
（２−２．「機器ごとの動作期間」の、所定期間における分布および合計値）
情報処理装置１０は、ユーザによって選択された機器グループＧＭ（ｘ）に属する複数の機器４０の各々について、１回の動作期間Ｄａの、ユーザの選択する期間における分布を示す箱ひげ図を、表示装置等に表示させてもよい。つまり、情報処理装置１０は、機器４０ごとの１回の動作期間Ｄａについて、ユーザの選択する期間における分布を示す情報を、表示装置等に表示させてもよい。
【０２８２】
例えば、機器４０（１）〜４０（５）の５台の機器４０が機器グループＧＭ（ｘ）に属している場合、ユーザによって機器グループＧＭ（ｘ）が選択されると、情報処理装置１０は、以下の情報を表示装置等に表示させる。すなわち、情報処理装置１０は、機器４０（１）〜４０（５）の各々について、１回の動作期間Ｄａの、ユーザの選択する期間における分布を示す箱ひげ図を、表示装置等に表示させる。
【０２８３】
具体的には、情報処理装置１０は、機器４０（１）が動作Ａｃ（１）を１回実行するのに要した動作期間Ｄａ（１）が、ユーザの選択する期間においてどのように分布するのかを、箱ひげ図を用いて表示装置等に表示させる。同様に、情報処理装置１０は、機器４０（２）が動作Ａｃ（２）を１回実行するのに要した動作期間Ｄａ（２）が、ユーザの選択する期間においてどのように分布するのかを、箱ひげ図を用いて表示装置等に表示させる。情報処理装置１０は、機器４０（ｍ）が動作Ａｃ（ｍ）を１回実行するのに要した動作期間Ｄａ（ｍ）が、ユーザの選択する期間においてどのように分布するのかを、箱ひげ図に代えてヒストグラムを用いて表示装置等に表示させてもよい。
【０２８４】
また、情報処理装置１０は、機器４０（１）が動作Ａｃ（１）を１回実行するのに要した動作期間Ｄａ（１）の、ユーザの選択する期間における合計を、例えば、或る日の合計を、或る週の合計を、または、或る月の合計を、表示装置等に表示させてもよい。
【０２８５】
さらに、情報処理装置１０は、「作業者Ｐｅごとの１回の滞在期間Ｄｏ」および「機器４０ごとの１回の動作期間Ｄａ」について、（１）「ユーザの選択する期間における」分布、および、（２）「ユーザの選択する期間における」合計値を、１画面中に同時に表示させてもよい。
【０２８６】
これまで図１１を用いて説明してきたように、情報処理装置１０は、（１）作業者Ｐｅごとの、作業工程Ｐｒの実施に係る作業Ｏｐを行う領域（監視領域Ａｒ）に滞在していた期間（つまり、滞在期間Ｄｏ）、および、（２）機器４０ごとの、作業工程Ｐｒの実施に係る動作Ａｃを実行していた期間（つまり、動作期間Ｄａ）の少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させる。
【０２８７】
前記の構成によれば、情報処理装置１０は、作業者Ｐｅごとの滞在期間Ｄｏ、および、機器４０ごとの動作期間Ｄａの少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させる。
【０２８８】
したがって、情報処理装置１０は、作業者Ｐｅごとの滞在期間Ｄｏ、および、機器４０ごとの動作期間Ｄａの少なくとも一方について、所定の期間における分布および合計値の少なくとも一方を示す情報を、ユーザに提供することができるとの効果を奏する。
【０２８９】
ここで、情報処理装置１０は、前記所定の期間における分布を示す情報を、箱ひげ図またはヒストグラムの形式で、前記外部装置に表示させてもよい。また、情報処理装置１０は、複数の作業者Ｐｅが属する作業者グループＧＰであって、ユーザによって選択された作業者グループＧＰに属する複数の作業者Ｐｅの各々について、滞在期間Ｄｏの、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させてもよい。さらに、情報処理装置１０は、複数の機器４０が属する機器グループＧＭであって、ユーザによって選択された機器グループＧＭに属する複数の機器４０の各々について、動作期間Ｄａの、所定の期間における分布および合計値の少なくとも一方を示す情報を外部装置に表示させてもよい。
【０２９０】
（３．所定期間における、滞在期間・動作期間と空き時間との対比）
図１２は、作業工程Ｐｒごとに、作業工程Ｐｒに対応する滞在期間Ｄｏの合計が或る日の総時間に占める割合を示す棒グラフの一例を示す図である。図１２において、「空き時間」は、「滞在期間Ｄｏ」以外の時間を指している。
【０２９１】
情報処理装置１０は、「ユーザの選択する期間」について、作業工程Ｐｒごとに、作業工程Ｐｒに対応する滞在期間Ｄｏの合計を算出する。そして、情報処理装置１０は、算出した「ユーザの選択する期間における、滞在期間Ｄｏの合計」が「ユーザの選択する期間の総時間」に占める割合を示す情報を、作業工程Ｐｒごとに、表示装置等に表示させる。
【０２９２】
図１２に示す例では、「ユーザの選択する期間」として「或る１日」が選択されている。情報処理装置１０は、その或る日における、滞在期間Ｄｏの合計が、その或る１日の総時間（例、８時間）に占める割合を、作業工程Ｐｒごとに、棒グラフの形式で表示装置等に表示させている。ただし、情報処理装置１０にとって、作業工程Ｐｒごとの上述の割合を、棒グラフの形式で表示させることは必須ではなく、情報処理装置１０は任意の表示形式で、作業工程Ｐｒごとの上述の割合を表示させればよい。
【０２９３】
図１２において、「ネジ締め」工程（＝作業工程Ｐｒ（１））の滞在期間Ｄｏ（１）の合計は、「或る１日」の総時間の６割ほどを占めていることが示されている。同様に、「電気検査」工程（＝作業工程Ｐｒ（４））の滞在期間Ｄｏ（４）の合計は、「或る１日」の総時間の９割ほどを占めていることが示されている。
【０２９４】
情報処理装置１０は、「ユーザの選択する期間における、動作期間Ｄａの合計」が「ユーザの選択する期間の総時間」に占める割合を示す情報を、作業工程Ｐｒごとに、表示装置等に表示させてもよい。例えば、情報処理装置１０は、作業工程Ｐｒごとに、「作業工程Ｐｒに対応する動作期間Ｄａの、ユーザの選択する期間における合計」が、「ユーザの選択する期間の総時間」に占める割合を示す棒グラフ等を表示させてもよい。
【０２９５】
また、情報処理装置１０は、作業工程Ｐｒごとに、「ユーザの選択する期間における、滞在期間Ｄｏおよび動作期間Ｄａの各々の合計」が、「ユーザの選択する期間の総時間」に占める割合を、１画面中に同時に表示させてもよい。
【０２９６】
これまで図１２を用いて説明してきたように、情報処理装置１０は、所定の期間における、作業工程Ｐｒごとの、（１）作業工程Ｐｒの実施に係る作業Ｏｐを行う領域（監視領域Ａｒ）に作業者Ｐｅが滞在していた期間（つまり、滞在期間Ｄｏ）の合計、および、（２）作業工程Ｐｒの実施に係る動作Ａｃが機器４０により実行された期間（つまり、動作期間Ｄａ）の合計の少なくとも一方が、前記所定の期間において前記作業が行われ得る、または、前記動作Ａｃが実行され得る時間の全体（合計、つまり、「総時間」）に占める割合を示す情報を外部装置に表示させる。
【０２９７】
前記の構成によれば、情報処理装置１０は、所定の期間における、作業工程Ｐｒごとの、滞在期間Ｄｏの合計および動作期間Ｄａの合計の少なくとも一方が、前記所定の期間における総時間に占める割合を示す情報を外部装置に表示させる。
【０２９８】
したがって、情報処理装置１０は、所定の期間における、作業工程Ｐｒごとの、滞在期間Ｄｏの合計および動作期間Ｄａの合計の少なくとも一方が、前記総時間に占める割合を示す情報を、ユーザに提供することができるとの効果を奏する。情報処理装置１０は、前記総時間に占める割合を示す情報を、棒グラフの形式で、前記外部装置に表示させてもよい。
【０２９９】
〔実施形態２〕
本発明の他の実施形態について、図１３から図１８に基づいて、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０３００】
図１３は、本発明の実施形態２に係る情報処理装置１０１０の要部構成等を示すブロック図である。本実施形態における情報処理装置１０１０は、実施形態１における情報処理装置１０の備える画像解析部１７０に代えて、画像解析部１７１を備えている。情報処理装置１０１０は、画像解析部１７０に代えて画像解析部１７１を備えている点を除いて、上述の情報処理装置１０と同様の構成であるため、以下では、画像解析部１７１について、重点的に説明を行なう。
【０３０１】
情報処理装置１０１０の第１取得部１１０が取得する基礎撮像データＢＩは、複数の作業工程Ｐｒの実施状況を撮影した動画像データである。
【０３０２】
画像解析部１７１は、基礎撮像データＢＩから生成される撮像動画を構成する複数のフレーム（つまり、複数の撮像画像）の各々に対する動線解析の結果を補正する補正フィルタ２１０を備えている。画像解析部１７１は、補正フィルタ２１０を備えている点以外は、情報処理装置１０の備える画像解析部１７０と同様である。
【０３０３】
補正フィルタ２１０は、基礎撮像データＢＩに対する、ＹＯＬＯ（You Look Only Onse）などの物体検出アルゴリズムを利用した動線解析（Objective Detection）の結果を補正する。具体的には、補正フィルタ２１０は、動線解析の結果からノイズ（作業者Ｐｅ以外の撮像物）を除去し、また、或るフレーム（或る撮像画像）に対する動線解析の結果を、その或るフレームの直前の、所定数のフレームの検出結果を用いて補完する。以下に、図１４から図１７を用いて、補正フィルタ２１０による補正の詳細を説明する。
【０３０４】
（解析対象領域の設定）
図１４は、補正フィルタ２１０が、基礎撮像データＢＩから生成される撮像動画を構成する複数のフレーム（複数の撮像画像）の各々に対して、補正を実行する際に利用する情報の一例を示す図である。前述の通り、撮像画像（フレーム）には、各々が、複数の作業工程Ｐｒの各々に対応する、複数の解析対象領域Ａａが設定される。図１４に示す例では、各々が作業工程Ｐｒ（１）〜Ｐｒ（５）の各々に対応する、解析対象領域Ａａ（１）〜Ａａ（５）が、フレーム（撮像画像）に設定されている。具体的には、解析対象領域Ａａ（ｍ）は、作業工程Ｐｒ（ｍ）の実施に係る作業Ｏｐ（ｍ）が行われる監視領域Ａｒ（ｍ）に対応し、つまり、解析対象領域Ａａ（ｍ）は、作業工程Ｐｒ（ｍ）に対応付けられる。例えば、セルラインの製造工程における複数のセルの１つ１つが、複数の監視領域Ａｒの各々に対応する。
【０３０５】
また、図１４に示す例では、「作業現場ＷＳ中の通路」に対応する解析対象領域Ａａ（０）が、フレーム（撮像画像）に設定されている。解析対象領域Ａａ（０）〜Ａａ（５）は検出領域（検出範囲）とも称される。そして、フレーム（撮像画像）において、解析対象領域Ａａ（０）〜Ａａ（５）以外の領域は、解析対象領域Ａａ（−１）とされる。解析対象領域Ａａ（−１）は、監視領域Ａｒにも、作業現場ＷＳ中の通路にも対応しないため、本来であれば作業者Ｐｅが検出されることはないはずの領域であるため、「検出範囲外（非検出領域）」とも称される。
【０３０６】
画像解析部１７１（特に、補正フィルタ２１０）は、基礎撮像データＢＩから生成される撮像動画を構成する複数のフレーム（複数の撮像画像）の各々を、解析対象領域Ａａ（−１）〜Ａａ（５）へと分割する。そして、画像解析部１７１（特に、補正フィルタ２１０）は、前述の複数のフレーム（複数の撮像画像）の各々の動線解析の結果について、図１５に例示する補正処理を実行して、各々の動線解析の結果を補正して、高精度の検出結果を生成する。
【０３０７】
（補正処理の一例）
図１５は、画像解析部１７１（特に、補正フィルタ２１０）が実行する補正処理の一例を説明するフロー図である。補正処理は、基礎撮像データＢＩから生成される撮像動画を構成する複数のフレーム（複数の撮像画像）の各々について、作業者Ｐｅの座標を特定する処理の前処理として実行される。
【０３０８】
補正フィルタ２１０は、前述の撮像動画を構成する複数のフレームのうちの「或るフレーム」に対する動線解析結果について、「検出範囲外（つまり、解析対象領域Ａａ（−１））に、ヒト（作業者Ｐｅ）の検出があるか」を判定する（Ｓ３１０）。そして、補正フィルタ２１０は、或るフレームに対する動線解析結果について、「検出範囲外にヒトの検出がある」と判定すると（Ｓ３１０でＹｅｓ）、検出範囲外のヒトの検出を除去する（Ｓ３２０）。これらの処理は、「検出範囲外でのヒトの誤検出」への対応であり、つまり、補正フィルタ２１０は、検出範囲外（つまり、解析対象領域Ａａ（−１））で検出したヒトを、動線解析結果から除去する。
【０３０９】
「検出範囲外にヒトの検出がない」と判定し（Ｓ３１０でＮｏ）、または、Ｓ３２０の処理の実行が済むと、補正フィルタ２１０は、その「或るフレーム」について、「直近で”−１”以外に検出があったのに、今回、未検出発生したか」を判定する（Ｓ３３０）。
【０３１０】
ここで前述の通り、情報処理装置１０１０は、天井カメラ３０から、天井カメラ３０が作業現場ＷＳの全体を撮像した動画像データである基礎撮像データＢＩを取得している。基礎撮像データＢＩから生成される撮像動画は、複数のフレーム（複数の撮像画像）によって構成される。
【０３１１】
したがって、「『直近』で『”−１”以外』に検出があった」の「直近」とは、基礎撮像データＢＩに対する動線解析において、「現在検出しているフレーム（つまり、現在、補正処理の対象となっている「或るフレーム」）」の直前に検出したフレームを意味する。言い換えれば、「直近」とは、基礎撮像データＢＩから生成される撮像動画を構成する「或るフレーム」の、直前のフレームを意味している。
【０３１２】
それ故、「直近で”−１”以外に検出があった」とは、或るフレームの「直近のフレーム」の「検出範囲外」以外において、ヒト（作業者Ｐｅ）が検出されたことを意味している。つまり、「直近で”−１”以外に検出があった」とは、「或るフレームの直近のフレーム」の「解析対象領域Ａａ（０）〜Ａａ（５）の少なくとも１つ」において、ヒト（作業者Ｐｅ）が検出されたことを意味している。
【０３１３】
Ｓ３３０において、補正フィルタ２１０は先ず、或るフレームの「直近のフレーム」の「解析対象領域Ａａ（０）〜Ａａ（５）の少なくとも１つ」において、ヒト（作業者Ｐｅ）が検出されたかを確認する。或るフレームの「直近のフレーム」の「解析対象領域Ａａ（０）〜Ａａ（５）の少なくとも１つ」において、ヒト（作業者Ｐｅ）が検出されていたことを確認すると、補正フィルタ２１０はさらに、以下の内容を確認する。すなわち、補正フィルタ２１０は、「『今回』のフレームに対する動線解析結果」において、「解析対象領域Ａａ（０）〜Ａａ（５）のいずれにおいても、ヒト（作業者Ｐｅ）の検出がない（＝『未検出が発生した』）」か否かを確認する。言い換えれば、補正フィルタ２１０は、今回のフレーム（＝或るフレーム）に対する動線解析結果において、解析対象領域Ａａ（０）〜Ａａ（５）のいずれにおいても、作業者Ｐｅの検出がないかを確認する。
【０３１４】
直近で”−１”以外に検出があったのに、今回、未検出が発生したと判定すると（Ｓ３３０でＹｅｓ）、補正フィルタ２１０は、直近の値で補完する（Ｓ３４０）。つまり、直近のフレームの解析対象領域Ａａ（０）〜Ａａ（５）の少なくとも１つで作業者Ｐｅが検出されたのに、今回のフレームに対する動線解析では、解析対象領域Ａａ（０）〜Ａａ（５）のいずれにも作業者Ｐｅが検出されていないと、Ｓ３４０の処理が実行される。
【０３１５】
Ｓ３４０において、補正フィルタ２１０は先ず、直近のフレームについて作業者Ｐｅが検出された解析対象領域Ａａ（ｘ）（ここで、「ｘ」は「０」から「５」のいずれかの整数）を特定する。そして、補正フィルタ２１０は、今回のフレームに対する動線解析の結果を、直近のフレームについての検出結果によって、補完する。すなわち、補正フィルタ２１０は、今回のフレームについても、直近のフレームについて作業者Ｐｅが検出された解析対象領域Ａａ（ｘ）において、作業者Ｐｅが検出されたとのデータを、今回のフレームの検出結果として生成する。
【０３１６】
すなわち、今回のフレームに対する動線解析において、解析対象領域Ａａ（０）〜Ａａ（５）のいずれにも作業者Ｐｅが検出されていないと、補正フィルタ２１０は以下の処理を実行する。すなわち、補正フィルタ２１０は、直近のフレームについて、解析対象領域Ａａ（０）〜Ａａ（５）のいずれかで作業者Ｐｅが検出されていなかったかを確認する。補正フィルタ２１０は、例えば、「直近のフレームの解析対象領域Ａａ（０）で作業者Ｐｅが検出された」ことを確認すると、「今回のフレームの解析対象領域Ａａ（０）で作業者Ｐｅが検出された」との検出結果を生成する。同様に、補正フィルタ２１０は、例えば、「直近のフレームの解析対象領域Ａａ（１）で作業者Ｐｅが検出された」ことを確認すると、「今回のフレームの解析対象領域Ａａ（１）で作業者Ｐｅが検出された」との検出結果を生成する。
【０３１７】
Ｓ３３０およびＳ３４０には、或るフレームの「直近の」フレームにおける検出結果を用いて、或るフレームの動線解析の結果を補完する例を示したが、補正フィルタ２１０は、或るフレームの直前の「複数の」フレームにおける検出結果を利用してもよい。すなわち、補正フィルタ２１０は、或るフレームの直前の、「所定数」のフレームにおける作業者Ｐｅの検出結果を用いて、或るフレームについての動線解析の結果を補完すればよく、「所定数」は、「１」でも「２以上の整数」であってもよい。
【０３１８】
例えば、或るフレームの直前の「複数の」フレームにおいて連続して、解析対象領域Ａａ（０）〜Ａａ（５）のいずれかに作業者Ｐｅを検出していたのに、或るフレームの解析対象領域Ａａ（０）〜Ａａ（５）のいずれにも作業者Ｐｅが検出されなかった場合、補正フィルタ２１０は、上述の補完を実行してもよい。
【０３１９】
Ｓ３３０の判定処理で「Ｎｏ」である場合、または、Ｓ３４０の処理の実行が済むと、補正フィルタ２１０は、Ｓ３５０の判定処理を実行し、つまり、「包含」が発生しているかを判定する（Ｓ３５０）。
【０３２０】
ここで、「包含」とは、フレームから作業者Ｐｅを検出する動線解析においてバウンディングボックスＢＢ（Bounding Box）が複数設置され、かつ、複数のバウンディングボックスＢＢの各々の中心が近接した状態で設置されることである。つまり、「包含」とは、各々の中心の距離が所定値以下である複数のバウンディングボックスＢＢが設置された状態である。
【０３２１】
補正フィルタ２１０は、包含が発生していると判定すると（Ｓ３５０でＹｅｓ）、包含が発生している複数のバウンディングボックスＢＢを、最も大きいバウンディングボックスＢＢに統一する（Ｓ３６０）。
【０３２２】
Ｓ３５０の判定処理で「Ｎｏ」である場合、または、Ｓ３６０の処理の実行が済むと、補正フィルタ２１０は補正処理を終了し、次のフレーム（すなわち、次の撮像画像）を取得すると、Ｓ３１０に戻って処理を繰り返す。
【０３２３】
以上に説明した補正フィルタ２１０による動線解析結果に対する補正処理の後、画像解析部１７１は、画像解析部１７０と同様に、作業者Ｐｅについての検出を実行する。すなわち、画像解析部１７１は、監視領域Ａｒに作業者Ｐｅが存在するか否かを判定し、監視領域Ａｒに作業者Ｐｅが存在すると判定すると、監視領域Ａｒに存在する作業者Ｐｅの作業者ＩＤ、位置（座標）、および、滞在期間Ｄｏを特定する。例えば、画像解析部１７１は、動線解析において設置されたバウンディングボックスＢＢ（Ｓ３６０が実行された場合、Ｓ３６０の実行後のバウンディングボックスＢＢ）の中心座標を、作業者Ｐｅの座標として特定する。
【０３２４】
これまで図１４および図１５を用いて説明してきた情報処理装置１０１０は、以下のように整理することができる。すなわち、情報処理装置１０１０は、情報処理装置１０の備える構成に加えて、補正フィルタ２１０（補正部）をさらに備えている。補正フィルタ２１０は、基礎撮像データＢＩから生成される撮像画像を、（１）作業者Ｐｅが作業Ｏｐを行う領域（例えば、監視領域Ａｒ（１）〜Ａｒ（５））、または、作業者Ｐｅが通行する通路が撮像された領域である検出領域（例えば、解析対象領域Ａａ（０）〜Ａａ（５））と、（２）前記検出領域以外の領域である非検出領域（つまり、解析対象領域Ａａ（−１））とに区分する。そして、補正フィルタ２１０は、前記撮像画像から作業者Ｐｅを検出する動線解析の結果について、解析対象領域Ａａ（−１）における検出を削除する。
【０３２５】
前記の構成によれば、情報処理装置１０１０は、前記撮像画像を検出領域（例えば、解析対象領域Ａａ（０）〜Ａａ（５））と非検出領域（つまり、解析対象領域Ａａ（−１））とに区分する。そして、情報処理装置１０１０は、前記撮像画像に対する前記動線解析の結果から、前記非検出領域における検出を削除する。つまり、情報処理装置１０１０は、前記撮像画像に対する動線解析の結果から、「非検出領域（つまり、解析対象領域Ａａ（−１））における検出」というノイズを削除する。
【０３２６】
したがって、情報処理装置１０１０は、前記撮像画像に対する動線解析の結果からノイズを削除することによって、作業者Ｐｅの高精度な検出を実現し、つまり、作業工程Ｐｒに対する高精度な分析を実現することができるとの効果を奏する。
【０３２７】
情報処理装置１０１０において、第１取得部１１０は、複数の作業工程Ｐｒの実施状況を撮影した動画像データである基礎撮像データＢＩを取得する。そして、基礎撮像データＢＩに対する動線解析において、或るフレームの解析対象領域Ａａ（０）〜Ａａ（５）のいずれにも作業者Ｐｅが検出されなかった場合、補正フィルタ２１０は、以下の補完処理を実行する。すなわち、補正フィルタ２１０は、その或るフレームの直前の、所定数のフレームにおける作業者Ｐｅの検出結果を用いて、その或るフレームについての動線解析の結果を補完する。
【０３２８】
前記の構成によれば、情報処理装置１０１０は、複数の作業工程Ｐｒの実施状況を撮影した動画像データである基礎撮像データＢＩに対して、動線解析を実行する。そして、情報処理装置１０１０は、或るフレームの解析対象領域Ａａ（０）〜Ａａ（５）のいずれにも作業者Ｐｅが検出されなかった場合、以下の補完処理を実行する。すなわち、情報処理装置１０１０は、その或るフレームの直前の、所定数のフレームにおける作業者Ｐｅの検出結果を用いて、その或るフレームについての動線解析の結果を補完する。
【０３２９】
例えば、或るフレームの解析対象領域Ａａ（０）〜Ａａ（５）のいずれにも作業者Ｐｅが検出されなかったのに、その或るフレームの「直近の」フレームにおいて作業者Ｐｅが検出されていた場合、情報処理装置１０１０は、以下の補完処理を実行する。すなわち、情報処理装置１０１０は、その或るフレームについての動線解析の結果を、前記「直近の」フレームの検出結果によって補完し、その或るフレームの解析対象領域Ａａ（０）〜Ａａ（５）のいずれかにおいて、作業者Ｐｅを検出したとの検出結果を生成する。情報処理装置１０１０は、或るフレームの直前の「複数の」フレームにおいて連続して、解析対象領域Ａａ（０）〜Ａａ（５）のいずれかに作業者Ｐｅを検出したのに、或るフレームの解析対象領域Ａａ（０）〜Ａａ（５）のいずれにも作業者Ｐｅが検出しなかった場合に、上述の補完を実行してもよい。
【０３３０】
ここで、基礎撮像データＢＩは、複数の作業工程Ｐｒの実施状況を撮影した動画像データである。また、解析対象領域Ａａ（０）〜Ａａ（５）は、作業者Ｐｅが作業Ｏｐを行う領域（例えば、監視領域Ａｒ（１）〜Ａｒ（５））、または、作業者Ｐｅが通行する通路が撮像された領域である。そのため、基礎撮像データＢＩに対する動線解析により、或るフレームの直前の、所定数のフレームにおいて、解析対象領域Ａａ（０）〜Ａａ（５）のいずれかに作業者Ｐｅが検出されたのであれば、或るフレームにおいても、解析対象領域Ａａ（０）〜Ａａ（５）のいずれかに作業者Ｐｅが検出されるのが通常である。作業者Ｐｅが突然に、作業者Ｐｅが作業Ｏｐを行う監視領域Ａｒ（１）〜Ａｒ（５）からも、通路からも、消えて居なくなるといった事態は、通常は想定し難いからである。
【０３３１】
したがって、或るフレームの直前の、所定数のフレームの解析対象領域Ａａ（０）〜Ａａ（５）のいずれかで作業者Ｐｅを検出したのに、或るフレームの解析対象領域Ａａ（０）〜Ａａ（５）のいずれにも作業者Ｐｅが検出されなかった場合、その或るフレームの動線解析の結果には、誤りが含まれている可能性が高い。そこで、情報処理装置１０１０は、その或るフレームの前記動線解析の結果を、その或るフレームの直前の、所定数のフレームの検出結果によって補完する。
【０３３２】
つまり、或るフレームの動線解析の結果が誤っている可能性が高い場合、情報処理装置１０１０は、その或るフレームの動線解析の結果を、直前の、所定数のフレームの検出結果によって補完して、その或るフレームを高精度に解析することができる。したがって、情報処理装置１０１０は、その或るフレームの動線解析の結果を補正することによって、作業者Ｐｅの高精度な検出を実現し、つまり、作業工程Ｐｒに対する高精度な分析を実現することができるとの効果を奏する。
【０３３３】
補正フィルタ２１０は、前記撮像画像に対する動線解析において、各々の中心の距離が所定値以下である複数のバウンディングボックスＢＢが設置されると、複数のバウンディングボックスＢＢを、最も面積が大きいバウンディングボックスＢＢに統一する。
【０３３４】
前記の構成によれば、情報処理装置１０１０は、前記撮像画像に対する動線解析において、各々の中心の距離が所定値以下である複数のバウンディングボックスＢＢが設置されると、複数のバウンディングボックスＢＢを、最も面積が大きいバウンディングボックスＢＢに統一する。
【０３３５】
ここで、前記撮像画像に対する動線解析において、各々の中心の距離が所定値以下である複数のバウンディングボックスＢＢが設置された場合、１人の作業者Ｐｅが、複数の作業者Ｐｅとして誤検出されている可能性がある。そこで、情報処理装置１０１０は、各々の中心の距離が所定値以下である複数のバウンディングボックスＢＢが設置された場合、複数のバウンディングボックスＢＢを、最も面積が大きいバウンディングボックスＢＢに統一する。
【０３３６】
つまり、前記撮像画像に対する動線解析において、１人の作業者Ｐｅが、複数の作業者Ｐｅとして誤検出されている可能性が高い場合、情報処理装置１０１０は、最も面積が大きいバウンディングボックスＢＢだけを残して、検出した作業者Ｐｅの人数を１人とする。したがって、情報処理装置１０１０は、前記撮像画像に対する動線解析において設置されるバウンディングボックスＢＢの数を修正することで作業者Ｐｅの高精度な検出を実現し、つまり、作業工程Ｐｒに対する高精度な分析を実現することができるとの効果を奏する。
【０３３７】
（補正処理の効果）
図１６は、補正フィルタ２１０による補正前の動線解析結果の一例を示す図である。図１６に示すように、補正前の動線解析結果には、画面右下に、作業者Ｐｅ（ヒト）以外の存在がノイズＺ１として検出されており、つまり、ノイズＺ１が発生している。このようなノイズＺ１は、誤って作業者（ヒト）として検出されることがある。
【０３３８】
また、図１６に示す補正前の動線解析結果には、画面の中央右寄りに包含Ｚ２が発生している。具体的には、図１６において、バウンディングボックスＢＢ１とバウンディングボックスＢＢ２とが、各々の中心がほぼ重なった状態で画面の中央右寄りに設置されている。このような包含Ｚ２が発生すると、１人の作業者Ｐｅが誤って複数人の作業者として、例えば２人の作業者として、検出されてしまうことがある。
【０３３９】
図１７は、補正フィルタ２１０による補正後の解析結果の一例を示す図である。図１７に示すように、図１６の画面右下に発生していたノイズＺ１は、「検出範囲外（つまり、解析対象領域Ａａ（−１））における、検出」として、補正フィルタ２１０によって除去されている。また、図１６におけるバウンディングボックスＢＢ１とバウンディングボックスＢＢ２とは、補正フィルタ２１０によって、大きい方のバウンディングボックスＢＢ１に統一され、図１６の画面の中央右寄りに発生していた包含Ｚ２は、図１７において解消されている。
【０３４０】
ＹＯＬＯなどの物体検出アルゴリズムを利用した動線解析は、ノイズ等を発生させやすいことが知られているが、補正フィルタ２１０は、ノイズ等を除去し、また、動線解析を補正することによって、作業者Ｐｅの位置を高精度に特定する。つまり、補正フィルタ２１０は、工程情報を高精度で可視化し、また、可視化の精度を向上したことによって、より多くの工程情報の取得を可能とする。
【０３４１】
そして、補正フィルタ２１０による補正処理によって、作業者Ｐｅの位置を高精度に特定することが可能となり、したがって、「作業者Ｐｅが、作業工程Ｐｒに対応する監視領域Ａｒに滞在している」期間である滞在期間Ｄｏも、高精度に特定されることになる。以下、図１８を用いて、補正フィルタ２１０による補正処理によって高精度に特定された滞在期間Ｄｏと、動作期間Ｄａとを組み合わせて、情報処理装置１０１０（特に、画像解析部１７１）が実行する分析処理について、説明する。
【０３４２】
（作業工程ごとの分析処理例についての整理）
図１８は、滞在期間Ｄｏと動作期間Ｄａとの組み合わせを用いた、情報処理装置１０１０（特に、画像解析部１７１）が実行する分析の一例を示す図である。図１８において、機器４０の状態「１」は、「機器４０によって、作業工程Ｐｒに対応する動作Ａｃが実行されている」ことを、つまり、「機器４０が動作中である」ことを示している。機器４０の状態「０」は、「機器４０によって、作業工程Ｐｒに対応する動作Ａｃが実行されていない」ことを、つまり、「機器４０が停止中である」ことを示している。
【０３４３】
また、図１８において、人（作業者Ｐｅ）の状態「１」は、「作業者Ｐｅが、作業工程Ｐｒに対応する監視領域Ａｒに滞在している」ことを、つまり、「作業者Ｐｅが滞在中である」ことを示している。人（作業者Ｐｅ）の状態「０」は、「作業者Ｐｅが、作業工程Ｐｒに対応する監視領域Ａｒに滞在していない」ことを、つまり、「作業者Ｐｅが不在中である」ことを示している。
【０３４４】
（１．  手動工程に対する分析）
作業工程Ｐｒの実施に際して機器４０が実行した動作Ａｃが、「自動化されていない動作」である場合、つまり、作業工程Ｐｒが手動工程である場合、図１８の（Ａ）に示すように、情報処理装置１０１０は、以下の分析を実行する。
【０３４５】
すなわち、「機器４０が動作中（機器４０の状態：１）」かつ「作業者Ｐｅが滞在中（人の状態：１）」の場合、情報処理装置１０１０（特に、画像解析部１７１）は、作業者Ｐｅが作業工程Ｐｒに対応する作業Ｏｐを「作業」している（行っている）と判定する。つまり、手動工程である作業工程Ｐｒにおいて、滞在期間Ｄｏと動作期間Ｄａとが重なっている場合、画像解析部１７１は、滞在期間Ｄｏにおいて作業者Ｐｅは、作業工程Ｐｒに対応する作業Ｏｐを行っていると判定する。
【０３４６】
「機器４０が動作中（機器４０の状態：１）」かつ「作業者Ｐｅが不在中（人の状態：０）」の場合、情報処理装置１０１０は、作業工程Ｐｒが「中断」されていると判定する。つまり、手動工程である作業工程Ｐｒにおいて、動作期間Ｄａが滞在期間Ｄｏに重なっていない場合、画像解析部１７１は、動作期間Ｄａにおいて作業工程Ｐｒは中断されていると判定する。
【０３４７】
「機器４０が停止中（機器４０の状態：０）」かつ「作業者Ｐｅが滞在中（人の状態：１）」である場合、情報処理装置１０１０は、作業者Ｐｅは作業工程Ｐｒに対応する作業Ｏｐの「作業」または「段取り」をしていると判定する。つまり、手動工程である作業工程Ｐｒにおいて、滞在期間Ｄｏが動作期間Ｄａに重なっていない場合、画像解析部１７１は、滞在期間Ｄｏにおいて作業者Ｐｅは、作業工程Ｐｒに対応する作業Ｏｐ自体、または、作業Ｏｐのための段取りを行っていると判定する。
【０３４８】
「機器４０が停止中（機器４０の状態：０）」かつ「作業者Ｐｅが不在中（人の状態：０）」の場合、情報処理装置１０１０は、作業工程Ｐｒが「ＮＵＬＬ」である、つまり、作業工程Ｐｒが実施されていないと判定する。つまり、画像解析部１７１は、手動工程である作業工程Ｐｒについて、滞在期間Ｄｏでも動作期間Ｄａでもない期間には、作業工程Ｐｒは実施されていないと判定する。
【０３４９】
（２．  自動化工程に対する分析）
作業工程Ｐｒの実施に際して機器４０が実行した動作Ａｃが、「自動化された動作」である場合、つまり、作業工程Ｐｒが自動化工程である場合、図１８の（Ｂ）に示すように、情報処理装置１０１０は、以下の分析を実行する。
【０３５０】
すなわち、「機器４０が動作中（機器４０の状態：１）」かつ「作業者Ｐｅが滞在中（人の状態：１）」の場合、情報処理装置１０１０（特に、画像解析部１７１）は、作業者Ｐｅは「無駄」となっていると判定する。つまり、自動化工程である作業工程Ｐｒにおいて、滞在期間Ｄｏと動作期間Ｄａとが重なっている場合、画像解析部１７１は、滞在期間Ｄｏにおいて作業者Ｐｅは無駄になっていると判定する。
【０３５１】
「機器４０が動作中（機器４０の状態：１）」かつ「作業者Ｐｅが不在中（人の状態：０）」の場合、情報処理装置１０１０は、「送り動作」など、作業工程Ｐｒに対応する「通常の動作Ａｃ」が実行されていると判定する。つまり、自動化工程である作業工程Ｐｒにおいて、動作期間Ｄａが滞在期間Ｄｏに重なっていない場合、画像解析部１７１は、動作期間Ｄａにおいて機器４０は、「送り動作」など、作業工程Ｐｒに対応する動作Ａｃを実行していると判定する。
【０３５２】
「機器４０が停止中（機器４０の状態：０）」かつ「作業者Ｐｅが滞在中（人の状態：１）」である場合、情報処理装置１０１０は、作業者Ｐｅは作業工程Ｐｒに対応する作業Ｏｐの「段取り」をしていると判定する。つまり、自動化工程である作業工程Ｐｒにおいて、滞在期間Ｄｏが動作期間Ｄａに重なっていない場合、画像解析部１７１は、滞在期間Ｄｏにおいて作業者Ｐｅは、作業工程Ｐｒに対応する作業Ｏｐのための段取りを行っていると判定する。
【０３５３】
「機器４０が停止中（機器４０の状態：０）」かつ「作業者Ｐｅが不在中（人の状態：０）」の場合、情報処理装置１０１０は、作業工程Ｐｒが「ＮＵＬＬ」である、つまり、作業工程Ｐｒについて何ら作業は行われていないと判定する。つまり、画像解析部１７１は、自動化工程である作業工程Ｐｒについて、滞在期間Ｄｏでも動作期間Ｄａでもない期間には、作業工程Ｐｒは実施されていないと判定する。
【０３５４】
これまで図１８を用いて説明してきたように、情報処理装置１０１０（特に、画像解析部１７１）は、無駄工程、つまり、作業者Ｐｅの無駄な滞在期間Ｄｏを可視化する。特に、情報処理装置１０１０は、補正フィルタ２１０によって、動線解析結果からノイズを除去し、また、動線解析結果を補完することによって、作業工程Ｐｒについて、高精度かつ詳細な分析を行うことができる。
【０３５５】
§４．変形例
（情報処理装置とＰＬＣとを一体とする）
これまで、図２に示すように、情報処理装置１０（または情報処理装置１０１０）とＰＬＣ２０とが、制御ネットワーク５０を介して、相互に通信可能に接続されている例を説明してきた。しかしながら、情報処理装置１０（または情報処理装置１０１０）とＰＬＣ２０とを制御ネットワーク５０を介して接続することは必須ではない。
【０３５６】
例えば、情報処理装置１０（または情報処理装置１０１０）とＰＬＣ２０とは、内部バスを介して、相互に通信可能に接続されていてもよく、情報処理装置１０（または情報処理装置１０１０）とＰＬＣ２０とを一体としてもよい。すなわち、情報処理装置１０（または情報処理装置１０１０）とＰＬＣ２０とを一体としたＩＰＣ（Industrial PC）として、情報処理装置１０（または情報処理装置１０１０）を構成してもよい。
【０３５７】
（ＰＬＣによる工程情報の分析）
これまでの説明においては、工程情報に含まれる動作結果Ｌａ（特に、動作Ａｃ）に対する判定（例えば、エラー発生の有無および標準動作時間Ｔｔａの範囲内での実行完了の有無の判定）は、ＰＬＣ２０から工程情報を受信した情報処理装置１０（または情報処理装置１０１０）が実施していた。例えば、これまでの説明においては、動作Ａｃ（ｍ）の動作期間Ｄａが標準下限動作時間下限Ｔｔａｌ（ｍ）から標準上限動作時間上限Ｔｔａｈ（ｍ）までの範囲内にあるかを判定するのは、情報処理装置１０（または情報処理装置１０１０）であった。
【０３５８】
具体的には、これまでに説明してきた例では、情報処理装置１０（または情報処理装置１０１０）の備える動作判定部１３０が、工程情報から、特に、動作結果Ｌａから、作業工程Ｐｒの実施に際して機器４０が実行した動作Ａｃの動作開始時刻Ｔｍｓ、動作完了時刻Ｔｍｅ、動作期間Ｄａを特定した。そして、情報処理装置１０（または情報処理装置１０１０）の備える動作判定部１３０が、特定した動作開始時刻Ｔｍｓ、動作完了時刻Ｔｍｅ、動作期間Ｄａ、および、動作Ａｃに対応する動作基準Ｓａを用いて、実際の動作Ａｃに対する判定を実行した。
【０３５９】
しかしながら、工程情報に含まれる動作結果Ｌａ（特に、動作Ａｃ）に対する上述の判定は、ＰＬＣ２０が実行してもよく、ＰＬＣ２０は、上述の判定の結果を、工程情報に含めて、または、工程情報に代えて、情報処理装置１０（または情報処理装置１０１０）へと送信してもよい。例えば、動作判定部１３０はＰＬＣ２０が備え、情報処理装置１０（または情報処理装置１０１０）は、ＰＬＣ２０から、工程情報に含まれる動作結果Ｌａ（特に、動作Ａｃ）に対する上述の判定の結果を取得してもよい。情報処理装置１０（または情報処理装置１０１０）は、工程情報に含まれる動作結果Ｌａ（特に、動作Ａｃ）に対する上述の判定の結果を用いて、基礎撮像データＢＩから部分撮像データＯＤを抽出できればよく、動作結果Ｌａに対する判定を情報処理装置１０（または情報処理装置１０１０）が実行することは必須ではない。
【０３６０】
〔ソフトウェアによる実現例〕
情報処理装置１０および情報処理装置１０１０の機能ブロック（具体的には、第１取得部１１０、第２取得部１２０、動作判定部１３０、抽出部１５０、送信部１６０、画像解析部１７０、画像解析部１７１、および、補正フィルタ２１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（CenＴｒal Processing Unit）を用いてソフトウェアによって実現してもよい。
【０３６１】
後者の場合、情報処理装置１０および情報処理装置１０１０は、各々、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０３６２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０３６３】
１０  情報処理装置（データ抽出装置）
２０  ＰＬＣ（マスタ）
４０  機器（機器、スレーブ）
５０  制御ネットワーク
１１０  第１取得部
１２０  第２取得部
１３０  動作判定部
１５０  抽出部
１６０  送信部
１７０  画像解析部
１７１  画像解析部
２１０  補正フィルタ（補正部）
１０１０  情報処理装置（データ抽出装置）
Ａｃ  動作
Ａａ（−１）  解析対象領域（非検出領域）
Ａａ（０）  解析対象領域（検出領域）
Ａａ（１）  解析対象領域（検出領域）
Ａａ（２）  解析対象領域（検出領域）
Ａａ（３）  解析対象領域（検出領域）
Ａａ（４）  解析対象領域（検出領域）
Ａａ（５）  解析対象領域（検出領域）
ＢＢ  バウンディングボックス
ＢＩ  基礎撮像データ（基礎データ）
Ｄａ  動作期間（実行を完了するまでに実際に要した時間）
Ｌａ  動作結果
ＯＤ  部分撮像データ（部分データ）
Ｐｒ  作業工程
Ｓａ  動作基準
Ｔｔａ  標準動作時間
Ｓ１１０  第２取得ステップ
Ｓ１２０  第１取得ステップ
Ｓ１３０  動作判定ステップ
Ｓ１４０  動作判定ステップ
Ｓ１９０  動作判定ステップ
Ｓ１７０  抽出ステップ
【図１】
2020205027.tif 000003
【図２】
2020205027.tif 000004
【図３】
2020205027.tif 000005
【図４】
2020205027.tif 000006
【図５】
2020205027.tif 000007
【図６】
2020205027.tif 000008
【図７】
2020205027.tif 000009
【図８】
2020205027.tif 000010
【図９】
2020205027.tif 000011
【図１０】
2020205027.tif 000012
【図１１】
2020205027.tif 000013
【図１２】
2020205027.tif 000014
【図１３】
2020205027.tif 000015
【図１４】
2020205027.tif 000016
【図１５】
2020205027.tif 000017
【図１６】
2020205027.tif 000018
【図１７】
2020205027.tif 000019
【図１８】
2020205027.tif 000020