(57)【要約】      （修正有）【課題】事前に大量のデータを準備することなく、物体認識技術により人の作業を精度よく監視する作業監視装置、及び作業監視方法を提供する。【解決手段】作業監視装置は、人が作業を行っている様子を映した画像データを取得し、画像データに映っている複数の物体の夫々の画像データにおける位置を取得し、画像データに設定された領域である一つ以上の判定対象領域の夫々に、複数の物体の夫々の位置が含まれているか否かを判定した結果を示す情報を含む判定結果表を生成し、画像データに基づき生成される判定結果表と当該画像データにおける人の作業を示す情報である作業内容情報とを対応づけた情報である判定結果パターン／作業内容対応情報を記憶し、新たに取得された画像データについて判定結果表を生成し、生成した判定結果表と判定結果パターン／作業内容対応情報とを対照して人が行っている作業を特定することにより人が行っている作業を監視する。【選択図】図７
2020197899.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサ及びメモリを有する情報処理装置を用いて構成され、
作業者が作業を行っている様子を映した画像データを取得する画像データ取得部と、
前記画像データに映っている複数の物体について前記画像データにおける夫々の位置を示す情報を取得する物体位置検出部と、
前記画像データに設定された領域である一つ以上の判定対象領域の夫々に前記複数の物体の夫々の前記位置が含まれているか否かを判定した結果を示す情報を含んだ判定結果表を生成する判定結果表生成部と、
前記画像データに基づき生成される前記判定結果表と当該画像データにおける作業を示す情報である作業内容情報とを対応づけた情報である判定結果パターン／作業内容対応情報を記憶する記憶部と、
新たに取得された前記画像データについて前記判定結果表を生成し、生成した前記判定結果表と前記判定結果パターン／作業内容対応情報とを対照することにより前記作業者が行っている作業を特定する監視処理部と、
を備える、作業監視装置。
【請求項２】
請求項１に記載の作業監視装置であって、
前記判定結果表は、前記物体の前記位置が前記画像データに含まれているか否かを示す情報を更に含む、
作業監視装置。
【請求項３】
請求項１に記載の作業監視装置であって、
前記作業者が作業を行う現場に設けられたセンサが出力するデータであるセンサデータを取得するセンサデータ取得部をさらに備え、
前記判定結果表は、前記センサから取得した前記センサデータをさらに含み、
前記監視処理部は、新たに取得された前記画像データと当該画像データの取得時に前記センサから取得した前記センサデータとに基づき前記判定結果表を生成し、生成した前記判定結果表と前記判定結果パターン／作業内容対応情報とを対照して人が行っている作業を特定する、
作業監視装置。
【請求項４】
請求項１〜３のいずれか一項に記載の作業監視装置であって、
前記記憶部は、所定の前記作業に要する標準の作業時間を示す情報を記憶し、
前記画像データ取得部は、前記作業者が作業を行っている様子を映した時系列の画像データを取得し、
前記判定結果表生成部は、時系列の前記画像データの夫々について前記判定結果表を生成し、
前記監視処理部は、前記判定結果表の夫々と前記判定結果パターン／作業内容対応情報とを対照して前記作業者が行っている作業を特定することにより、前記作業者が前記所定の作業に要した作業時間を取得し、前記作業時間と前記標準の作業時間とを比較することにより前記作業者が行っている作業を監視する、
作業監視装置。
【請求項５】
請求項１〜３のいずれか一項に記載の作業監視装置であって、
前記記憶部は、前記作業者が行う複数の前記作業についての標準の作業順序を示す情報を記憶し、
前記画像データ取得部は、前記作業者が作業を行っている様子を映した時系列の画像データを取得し、
前記判定結果表生成部は、時系列の前記画像データの夫々について前記判定結果表を生
成し、
前記監視処理部は、前記判定結果表の夫々と前記判定結果パターン／作業内容対応情報とを対照して前記作業者が行っている作業を特定することにより、前記作業者が行っている作業の順序を特定し、特定した前記作業順序と前記標準の作業順序とを比較することにより前記作業者が行っている作業を監視する、
作業監視装置。
【請求項６】
請求項１〜３のいずれか一項に記載の作業監視装置であって、
前記記憶部は、前記作業者が行う所定の作業を示す情報を記憶し、
前記画像データ取得部は、前記作業者が作業を行っている様子を映した時系列の画像データを取得し、
前記判定結果表生成部は、時系列の前記画像データの夫々について前記判定結果表を生成し、
前記監視処理部は、前記判定結果表の夫々と前記判定結果パターン／作業内容対応情報とを対照して前記作業者が行っている作業を特定することにより、前記所定の作業の開始又は終了のタイミングを示す情報を生成する、
作業監視装置。
【請求項７】
請求項１に記載の作業監視装置であって、
前記画像データについての前記判定対象領域の設定を受け付ける判定対象領域設定処理部を更に備える、
作業監視装置。
【請求項８】
請求項１に記載の作業監視装置であって、
前記物体は、前記作業者の体の一部、作業対象物、及び前記作業者が作業に際して用いる道具のうちの少なくともいずれかである、
作業監視装置。
【請求項９】
請求項１に記載の作業監視装置であって、
前記物体位置検出部は、前記物体に設けたマーカを画像認識することにより前記物体の前記画像データにおける位置を示す情報を取得する、
作業監視装置。
【請求項１０】
プロセッサ及びメモリを有する情報処理装置が、
作業者が作業を行っている様子を映した画像データを取得し、
前記画像データに映っている複数の物体について前記画像データにおける夫々の位置を示す情報を取得し、
前記画像データに設定された領域である一つ以上の判定対象領域の夫々に前記複数の物体の夫々の前記位置が含まれているか否かを判定した結果を示す情報を含んだ判定結果表を生成し、
前記画像データに基づき生成される前記判定結果表と当該画像データにおける作業を示す情報である作業内容情報とを対応づけた情報である判定結果パターン／作業内容対応情報を記憶し、
新たに取得された前記画像データについて前記判定結果表を生成し、生成した前記判定結果表と前記判定結果パターン／作業内容対応情報とを対照することにより前記作業者が行っている作業を特定する、
作業監視方法。
【請求項１１】
請求項１０に記載の作業監視方法であって、
前記判定結果表は、前記物体の前記位置が前記画像データに含まれているか否かを示す
情報を更に含む、
作業監視方法。
【請求項１２】
請求項１０に記載の作業監視方法であって、
前記情報処理装置は、前記作業者が作業を行う現場に設けられたセンサが出力するデータであるセンサデータを取得し、
前記判定結果表は、前記センサから取得した前記センサデータをさらに含み、
前記情報処理装置は、新たに取得された前記画像データと当該画像データの取得時に前記センサから取得した前記センサデータとに基づき前記判定結果表を生成し、生成した前記判定結果表と前記判定結果パターン／作業内容対応情報とを対照して人が行っている作業を特定する、
作業監視方法。
【請求項１３】
請求項１０〜１２のいずれか一項に記載の作業監視方法であって、
前記情報処理装置が、
所定の前記作業に要する標準の作業時間を示す情報を記憶し、
前記作業者が作業を行っている様子を映した時系列の画像データを取得し、
時系列の前記画像データの夫々について前記判定結果表を生成し、
前記判定結果表の夫々と前記判定結果パターン／作業内容対応情報とを対照して前記作業者が行っている作業を特定することにより、前記作業者が前記所定の作業に要した作業時間を取得し、前記作業時間と前記標準の作業時間とを比較することにより前記作業者が行っている作業を監視する、
作業監視方法。
【請求項１４】
請求項１０〜１２のいずれか一項に記載の作業監視方法であって、
前記情報処理装置が、
前記作業者が行う複数の前記作業についての標準の作業順序を示す情報を記憶し、
前記作業者が作業を行っている様子を映した時系列の画像データを取得し、
時系列の前記画像データの夫々について前記判定結果表を生成し、
前記判定結果表の夫々と前記判定結果パターン／作業内容対応情報とを対照して前記作業者が行っている作業を特定することにより、前記作業者が行っている作業の順序を特定し、特定した前記作業順序と前記標準の作業順序とを比較することにより前記作業者が行っている作業を監視する、
作業監視方法。
【請求項１５】
請求項１０〜１２のいずれか一項に記載の作業監視方法であって、
前記情報処理装置が、
前記作業者が行う所定の作業を示す情報を記憶し、
前記作業者が作業を行っている様子を映した時系列の画像データを取得し、
時系列の前記画像データの夫々について前記判定結果表を生成し、
前記判定結果表の夫々と前記判定結果パターン／作業内容対応情報とを対照して前記作業者が行っている作業を特定することにより、前記所定の作業の開始又は終了のタイミングを示す情報を生成する、
作業監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業監視装置、及び作業監視方法に関する。
【背景技術】
【０００２】
特許文献１には、ロボットが人の姿勢、動作、又は挙動を認識するための動体の動作認識方法について記載されている。上記動作認識方法では、予め動体Ａの基本動作ごとのフレーム画像データＡが点で表示される固有空間データＡを作成してデータベース化し、対象となる動体Ｂのフレーム画像データＢが点で表示された固有空間データＢと基本動作ごとの固有空間データＡを比較し、固有空間データＢからの距離が最も近い固有空間データＡを選び、動体Ｂの動作を認識する。基本動作ごとの各フレーム画像データＡは、動体Ａに基本動作を行わせ、基本動作を行う動体Ａを複数の画像入力手段を用いて多方向から撮影し、画像入力手段ごとに取得した連続する複数のフレーム画像にそれぞれ重みをつけた後、重ね合わせることで作成される圧縮画像から得る。
【０００３】
特許文献２には、人の身振りや手振りを利用したユーザインタフェースにおいて手の形状および動作を認識する動作認識システムに関して記載されている。動作認識システムは、特定の対象の画像が含まれている時系列画像データを処理することにより対象の形状および動作を認識し、時系列画像データから動きのある領域を抽出し、時系列画像データから対象を特徴づける色を含む領域を抽出し、動きのある領域で、かつ対象を特徴づける色を含む領域となる領域を対象領域として抽出する。
【０００４】
非特許文献１には、センサやカメラを活用した様々な行動認識技術について記載されている。非特許文献２には、学習データに出現していないデータのラベルを予測する「Zero
Shot Learning」を用いて動作認識を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１７６０５９号公報
【特許文献２】特開２００１−１６６０６号公報
【非特許文献】
【０００６】
【非特許文献１】Michalis Vrigkas,Christophoros Nikou,Ioannis A Kakadiaris; Review of Human Activity Recognition Methods;Frontiers in Robotics and AI，16 November 2015
【非特許文献２】Kun Liu, Wu Liu, Huadong Ma, Wenbing Huang, Xiongxiong Dong; Generalized Zero-Shot Learning for Action Recognition with Web-Scale Video Data; Submitted on 20 October 2017; Cornell University
【発明の概要】
【発明が解決しようとする課題】
【０００７】
製品の製造現場においては、品質管理や作業者の安全確保等を目的として作業者の動作を認識することにより作業者が正しい作業手順に従って作業しているか否かを監視する仕組みの導入が進められている。昨今では機械学習を利用した技術が注目されており、例えば一般公開されているデータベース（「ＵＣＦ１０１- Action Recognition Data Set」
等）を用いた動作認識技術について研究開発が活発に行われている。
【０００８】
ところで、作業者が行う作業は現場毎に異なるため、動作認識技術を利用した作業監視
の仕組みを現場に導入する際は、現場毎に作業者が行う様々な作業についてデータを収集する必要がある。また上記のようなデータベースを用いる場合でも、登録されていない作業については現場毎にデータを収集する必要がある。
【０００９】
例えば、特許文献１に記載の技術は、予め基本動作ごとのフレーム画像で固有空間データを生成し、固有空間が持つ動作の特徴から距離を比較して動作認識を行うものであり、認識対象となる基本動作について事前に大量のデータを用意しておく必要があり、導入時に現場の作業者に与える負荷が大きい。
【００１０】
一方、特許文献２に記載の技術は、時系列画像データを用いて動き領域と動作認識対象を特徴づける色を含む領域とに基づき対象領域を抽出し、形状を解析することにより動作認識を行うものであり、事前にデータを必要としない方式である。しかし同技術では形状に基づき動作を認識するため、作業している手の位置や周辺の情報については正確に認識することができない。
【００１１】
また非特許文献２に記載の技術では、学習データに出現していないデータのラベルを予測するが、認識対象を予測するのに必要なデータは現場で用意する必要がある。
【００１２】
本発明はこうした背景に基づきなされたものであり、事前に大量のデータを準備することなく、作業者が行う作業を精度よく監視することが可能な、作業監視装置、及び作業監視方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するための本発明の一つは、作業監視装置であって、プロセッサ及びメモリを有する情報処理装置を用いて構成され、作業者が作業を行っている様子を映した画像データを取得する画像データ取得部と、前記画像データに映っている複数の物体について前記画像データにおける夫々の位置を示す情報を取得する物体位置検出部と、前記画像データに設定された領域である一つ以上の判定対象領域の夫々に前記複数の物体の夫々の前記位置が含まれているか否かを判定した結果を示す情報を含んだ判定結果表を生成する判定結果表生成部と、前記画像データに基づき生成される前記判定結果表と当該画像データにおける作業を示す情報である作業内容情報とを対応づけた情報である判定結果パターン／作業内容対応情報を記憶する記憶部と、新たに取得された前記画像データについて前記判定結果表を生成し、生成した前記判定結果表と前記判定結果パターン／作業内容対応情報とを対照することにより前記作業者が行っている作業を特定する監視処理部と、を備える。
【００１４】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。
【発明の効果】
【００１５】
本発明によれば、事前に大量のデータを準備することなく、作業者が行う作業を精度よく監視することができる。
【図面の簡単な説明】
【００１６】
【図１】作業監視システムの概略的な構成を示す図である。
【図２】作業監視装置のハードウェア構成例を示す図である。
【図３】作業監視装置が備える主な機能を示す図である。
【図４】（ａ）は画像データの例であり、（ｂ）は画像データに映っているマーカの位置と判定対象領域を抽出して描いた図であり、（ｃ）は画像データに基づき生成される判定結果表である。
【図５】（ａ）〜（ｃ）はいずれも画像データと当該画像データに対応する判定結果パターンの例である。
【図６】メイン処理を説明するフローチャートである。
【図７】マーカ色設定処理を説明するフローチャートである。
【図８】判定対象領域設定処理を説明するフローチャートである。
【図９】対応情報登録処理を説明するフローチャートである。
【図１０】判定結果表生成処理を説明するフローチャートである。
【図１１】マーカ位置検出処理を説明するフローチャートである。
【図１２】作業監視処理を説明するフローチャートである。
【図１３】判定結果表の他の例である。
【図１４】第２実施形態の作業監視装置が備える主な機能を示す図である。
【図１５】第２実施形態の作業監視処理を説明するフローチャートである。
【図１６】第３実施形態の作業監視装置が備える主な機能を示す図である。
【図１７】第３実施形態の作業監視処理を説明するフローチャートである。
【図１８】第４実施形態の作業監視装置が備える主な機能を示す図である。
【図１９】第４実施形態の作業監視処理を説明するフローチャートである。
【図２０】解析対象とする期間の例を示す図である。
【発明を実施するための形態】
【００１７】
以下、実施形態につき図面を参照しつつ説明する。以下の説明において、同一のまたは類似する構成に同一の符号を付して重複した説明を省略することがある。また以下の説明において、同種の構成を区別する必要がある場合、構成を総称する符号の後に括弧書きで識別子（数字、アルファベット等）を表記することがある。
【００１８】
［第１実施形態］
図１に第１実施形態として説明する作業監視システム１の概略的な構成を示している。同図に示すように、作業監視システム１は、画像取得装置３、各種センサ４、及び情報処理装置である作業監視装置１００を含む。画像取得装置３、各種センサ４、及び作業監視装置１００は、有線又は無線の通信手段５を介して通信可能に接続されている。通信手段５の構成は必ずしも限定されないが、例えば、ＵＳＢ（Universal Serial Bus）やＲＳ−２３２Ｃ等の各種通信規格に準拠した通信手段、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、専用線等である。
【００１９】
画像取得装置３（撮影装置）は、作業者２や作業者２の周囲を映した画像データを取得する装置であり、例えば、動画や静止画の画像データを取得（撮影）するカメラ（デジタルカメラ（ＲＧＢカメラ）、赤外線カメラ、サーモグラフィカメラ、タイムオブフライト（TOF: Time Of Flight）カメラ、ステレオカメラ等）である。
【００２０】
各種センサ４は、作業者２が作業を行う作業環境に設けられ、作業者２や作業環境についての物理的な情報を出力する。各種センサ４は、例えば、動体検知センサ、人感センサ、温度センサ、湿度センサ、加速度センサ、速度センサ、音響センサ（マイクロホン）、超音波センサ、振動センサ、ミリ波レーダ、レーザレーダ（LIDAR: Laser Imaging Detection and Ranging）、赤外線深度センサである。
【００２１】
作業監視装置１００は、画像取得装置３によって取得される画像データに基づき作業者２の作業の監視に関する処理を行う。
【００２２】
図２に作業監視装置１００のハードウェア構成例を示している。作業監視装置１００は、情報処理装置（コンピュータ）であり、プロセッサ１１、主記憶装置１２、補助記憶装置１３、入力装置１４、出力装置１５、及び通信装置１６を備える。
【００２３】
プロセッサ１１は、例えば、演算処理を行う装置であり、ＣＰＵ（Central Processing
Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩ（Artificial Intelligence）チップ等である。主記憶装置１２は、プログラムやデー
タを記憶する装置であり、例えば、ＲＯＭ（Read Only Memory）（ＳＲＡＭ（Static Random Access Memory）、ＮＶＲＡＭ（Non Volatile RAM）、マスクＲＯＭ（Mask Read Only Memory）、ＰＲＯＭ（Programmable ROM）等）、ＲＡＭ（Random Access Memory）（ＤＲＡＭ（Dynamic Random Access Memory）等）等である。補助記憶装置１３は、ハードディスクドライブ（Hard Disk Drive）、フラッシュメモリ（Flash Memory）、ＳＳＤ（Solid State Drive）、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile
Disc)等）等である。補助記憶装置１３に格納されているプログラムやデータは、主記憶装置１２に随時読み込まれる。
【００２４】
入力装置１４は、ユーザから情報を受付けるユーザインタフェースであり、例えば、キーボード、マウス、カードリーダ、タッチパネル等である。出力装置１５は、各種の情報を出力（表示出力、音声出力、印字出力等）するユーザインタフェースであり、例えば、各種情報を可視化する表示装置（ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）や音声出力装置（スピーカ）、印字装置等である。
【００２５】
通信装置１６は、通信手段５を介して他の装置と通信する通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、シリアル通信モジュール等である。通信装置１６は、通信可能に接続する他の装置から情報を受信する入力装置として機能することもできる。また通信装置１６は、通信可能に接続する他の装置に情報を送信する出力装置として機能することもできる。作業監視装置１００は、通信装置１６により通信手段５を介して画像取得装置３や各種センサ４と通信する。
【００２６】
作業監視装置１００が備える各種の機能は、プロセッサ１１が、主記憶装置１２に格納されているプログラムを読み出して実行することにより、もしくは、作業監視装置１００を構成しているハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）により実現される。
【００２７】
図３に作業監視装置１００が備える主な機能を示している。同図に示すように、作業監視装置１００は、記憶部１１０、データ取得部１２０、準備設定処理部１３０、判定結果表生成部１４０、及び監視処理部１５０を備える。尚、作業監視装置１００は、上記の機能に加えて、例えば、オペレーティングシステム、デバイスドライバ、ファイルシステム、ＤＢＭＳ（DataBase Management System）等の機能を更に備えていてもよい。
【００２８】
上記の機能のうち、記憶部１１０は、画像データ１１１、センサデータ１１２、マーカ色データ１１３、判定対象領域データ１１４、判定結果表１１５、及び判定結果パターン／作業内容対応情報１１６を記憶する。尚、記憶部１１０は、例えば、ＤＢＭＳが提供するデータベースのテーブルや、ファイルシステムが提供するファイルとしてこれらの情報（データ）を記憶する。
【００２９】
画像データ１１１は、画像取得装置３から取得されるデータであり、例えば、画像取得装置３から送られてくる、静止画データや動画データを構成するフレームのデータである。センサデータ１１２は、各種センサ４から取得されるデータである。尚、マーカ色データ１１３、判定対象領域データ１１４、判定結果表１１５、及び判定結果パターン／作業内容対応情報１１６の詳細については後述する。
【００３０】
データ取得部１２０は、他の装置から送られてくるデータを取得（受信）する。同図に
示すように、データ取得部１２０は、画像データ取得部１２１とセンサデータ取得部１２２を含む。このうち画像データ取得部１２１は、画像取得装置３から画像データ１１１を取得する。センサデータ取得部１２２は、各種センサ４からセンサデータ１１２を取得する。
【００３１】
準備設定処理部１３０は、作業監視装置１００が作業者２の作業を監視する際に用いる各種の情報の設定に関する処理を行う。同図に示すように、準備設定処理部１３０は、マーカ色設定処理部１３１、判定対象領域設定処理部１３２、及び対応情報設定処理部１３３を含む。
【００３２】
このうちマーカ色設定処理部１３１は、画像データ１１１に基づき、作業者２や物体の位置を認識するために、作業者２の体や作業対象物、作業に用いる道具等に設けられている表示（以下、「マーカ」と称する。）の色に関する設定を行う。例えば、マーカ色設定処理部１３１は、画像データ１１１においてマーカが映っている領域の色データ（例えばＲＧＢ値で表現されたデータ）を取得し、当該マーカの識別子（以下、「マーカＩＤ」と称する。）と当該色データとを対応づけた情報を含むデータであるマーカ色データ１１３を生成する。
【００３３】
判定対象領域設定処理部１３２は、画像データ１１１に対する領域（以下、「判定対象領域」と称する。）の設定に関する処理を行う。判定対象領域設定処理部１３２は、例えば、ユーザから判定対象領域の設定を受け付ける。また判定対象領域設定処理部１３２は、自動的に画像データに判定対象領域を設定する。判定対象領域設定処理部１３２は、設定した判定対象領域を特定する情報を含んだデータである判定対象領域データ１１４を生成する。判定対象領域データ１１４は、例えば、判定対象領域の識別子（以下、「判定対象領域ＩＤ」と称する。）と画像データの座標系で領域を示した情報とを対応づけた情報を含む。
【００３４】
対応情報設定処理部１３３は、マーカが設けられているオブジェクト（作業者２の体の所定部位、作業対象、作業者２が使う道具等の作業に関する物体）が各判定対象領域内に存在する（映っている）か否かを示す情報を含むデータである判定結果表１１５のパターン（以下、「判定結果パターン」と称する。）と、判定結果パターンに対応する作業内容を特定する情報（以下、「作業内容情報」と称する。）と、を対応づけた情報である判定結果パターン／作業内容対応情報１１６の設定に関する処理を行う。尚、作業内容情報は、判定結果パターンの作業が、正常な作業についてのものであるか異常な作業についてのものであるかを示す情報（以下、「正常／異常区分」と称する。）を含む。判定結果表１１５の詳細については後述する。
【００３５】
判定結果表生成部１４０は、画像データ１１１に基づき判定結果表１１５を生成する。同図に示すように、判定結果表生成部１４０は、マーカ位置検出処理部１４１と判定結果表生成処理部１４２を含む。
【００３６】
このうちマーカ位置検出処理部１４１は、マーカ色データ１１３を用いて画像データ１１１におけるマーカが映っている位置（本例ではマーカが移っている領域の重心位置とする）を検出する。
【００３７】
判定結果表生成処理部１４２は、検出したマーカの位置と判定対象領域データ１１４とを対照することにより判定結果表１１５を生成する。
【００３８】
図４（ａ）に画像データ１１１の例を示す。例示する画像データ１１１には、オブジェクト４１（１）〜４１（４）の夫々に設けられている複数のマーカ４２（１）〜４２（４
）が映っている。また判定対象領域４３（１）〜（３）が設定されている。
【００３９】
図４（ｂ）は、図４（ａ）に示す画像データ１１１に映っているマーカ４２（１）〜（４）の位置と判定対象領域４３（１）〜（３）を抽出して描いた図である。本例では判定対象領域４３（１）〜（３）は矩形枠としているが、他の形状としてもよい。
【００４０】
図４（ｃ）は、図４（ａ）に示した画像データ１１１に基づき生成される判定結果表１１５である。同図に示すように、判定結果表１１５は、行方向にマーカＩＤを、列方向に判定対象領域ＩＤを、夫々設定した二次元表（テーブル）である。また同図に示すように、列方向には、さらにマーカの可視／不可視（画像データ１１１に映っているか否か）を示す項目（以下、「Visible」と称する。）が設けられている。尚、前述した判定結果パ
ターンも判定結果表１１５と同様の構成を有する。
【００４１】
本例の場合、例えば、マーカＩＤが「Object 1」のオブジェクトについては、画像データ１１１に映っているので「Visible」の値は「True」に設定され、判定対象領域ＩＤが
「Area 1」の領域内であるので当該項目は「True」に設定され、判定対象領域ＩＤが「Area 2」の領域外であるので当該項目は「False」に設定され、判定対象領域ＩＤが「Area 3」の領域外であるので当該項目は「False」に設定されている。
【００４２】
またマーカＩＤが「Object 2」のオブジェクトについては、画像データ１１１に映っているので「Visible」の値は「True」に設定され、判定対象領域ＩＤが「Area 1」の判定
対象領域内であるので当該項目は「True」に設定され、判定対象領域ＩＤが「Area 2」の判定対象領域内であるので当該項目は「True」に設定され、判定対象領域ＩＤが「Area 3」の判定対象領域外であるので当該項目は「False」に設定されている。
【００４３】
またマーカＩＤが「Object 3」のオブジェクトについては、画像データ１１１に映っているので「Visible」の値は「True」に設定され、判定対象領域ＩＤが「Area 1」の判定
対象領域外であるので当該項目は「False」に設定され、判定対象領域ＩＤが「Area 2」
の判定対象領域外であるので当該項目は「False」に設定され、判定対象領域ＩＤが「Area 3」の判定対象領域内であるので当該項目は「True」に設定されている。
【００４４】
またマーカＩＤが「Object 4」のオブジェクトについては、画像データ１１１に映っているので「Visible」の値は「True」に設定され、判定対象領域ＩＤが「Area 1」の判定
対象領域外であるので当該項目は「False」に設定され、判定対象領域ＩＤが「Area 2」
の判定対象領域外であるので当該項目は「False」に設定され、判定対象領域ＩＤが「Area 3」の判定対象領域外であるので当該項目は「False」に設定されている。
【００４５】
またマーカＩＤが「Object 5」のオブジェクトについては、画像データ１１１に映っていないため、「Visible」の値は「False」に設定され、判定対象領域ＩＤが「Area 1」、「Area 2」、「Area 3」の各項目の値はいずれも「False」に設定されている。
【００４６】
尚、以上に示した判定結果表１１５の内容は、作業者２が行う個々の作業の特徴を表している。そのため、作業者２が行う個々の作業（正常な作業または異常な作業）について取得した画像データ１１１に基づく判定結果表１１５を判定結果パターンとして事前に用意しておくことで、新たに作業者２の作業を映した画像データ１１１に基づき作業者２が行っている作業を容易かつ精度よく特定することができる。
【００４７】
図５に、作業者２が行う個々の作業について生成した判定結果パターン（判定結果表１１５）の例（同図では（ａ）〜（ｃ）で示す３例）を示す。尚、判定結果表１１５は「Visible」の項目を有しており、画像データ１１１にマーカが映っているか否かについての
情報も含むので、作業者２の作業を高い精度で特定することができる。また画像データ１１１に映っているマーカの位置の特定は情報処理装置を用いて自動的に行うことができるので、ユーザは画像データ１１１に判定対象領域を設定しておくだけで容易に判定結果表１１５を生成することができる。このように、本実施形態の作業監視装置１００によれば、異なる作業が行われる個々の現場において作業者２の作業を監視する仕組みを容易に実現することができる。
【００４８】
図３に戻り、監視処理部１５０は、画像取得装置３から送られてくる画像データ１１１に基づき作業者２の作業を監視する。同図に示すように、監視処理部１５０は、判定結果表取得部１５１と異常有無判定処理部１５２とを含む。
【００４９】
このうち判定結果表取得部１５１は、判定結果表生成部１４０から、画像データ１１１に基づき生成される判定結果表１１５を取得する。
【００５０】
異常有無判定処理部１５２は、判定結果表１１５に基づき、作業者２の作業が正常か異常かを判定して判定結果を出力する。異常有無判定処理部１５２は、例えば、画像データ１１１に基づき生成した判定結果表１１５が、判定結果パターン／作業内容対応情報１１６に登録されている正常／異常区分が「正常」に設定されている判定結果パターンのいずれかと一致する場合は作業者２の作業は正常であると判定し、いずれにも一致しない場合は作業者２の作業は異常と判定する。また異常有無判定処理部１５２は、例えば、画像データ１１１に基づき生成した判定結果表１１５が、判定結果パターン／作業内容対応情報１１６に登録されている正常／異常区分が「異常」の判定結果パターンのいずれかと一致する場合は作業者２の作業は異常であると判定し、いずれにも一致しない場合は作業者２の作業は正常と判定する。尚、判定結果表１１５と判定結果パターンの一致は必ずしも完全一致を意味せず、例えば、不一致の度合いが予め設定した許容範囲内であれば一致と判定するようにしてもよい。
【００５１】
＜処理説明＞
続いて、作業監視装置１００が行う処理について説明する。尚、以下の説明において、作業監視装置１００が作業者２の作業を監視している間、画像取得装置３の撮影範囲は固定されているものとする。また各マーカは夫々異なる色を有するものとする。
【００５２】
図６は、現場の作業者２の作業の監視に際して作業監視装置１００が行う処理（以下、「メイン処理Ｓ６００」と称する。）を説明するフローチャートである。
【００５３】
同図に示すように、まず準備設定処理部１３０が、作業者２の作業を監視するために必要な情報を設定する処理（マーカ色設定処理Ｓ６１１、判定対象領域設定処理Ｓ６１２、及び対応情報登録処理Ｓ６１３）を行う。これらの各処理の詳細については後述する。
【００５４】
続いて、監視処理部１５０が、作業者２の作業を監視する処理（作業監視処理Ｓ６１４）を行う。
【００５５】
図７は、図６のマーカ色設定処理Ｓ６１１の詳細を説明するフローチャートである。
【００５６】
同図に示すように、まず画像データ取得部１２１が、画像取得装置３から画像データ１１１を取得する（Ｓ７１１）。
【００５７】
続いて、マーカ色設定処理部１３１が、画像データ１１１に映っているマーカの領域の色データ（ＲＧＢデータ）を取得する（Ｓ７１２）。尚、画像データ１１１に複数のマーカが映っている場合、マーカ色設定処理部１３１は各マーカの領域の色データを取得する
。
【００５８】
続いて、マーカ色設定処理部１３１は、取得した色データを所定の色空間（ＨＳＶ（Hue Saturation Value）、ＨＳＢ（Hue Saturation Brightness）等）のデータに変換する
（Ｓ７１３）。尚、色空間への変換は必ずしも行わなくてもよく、変換を行うか否かは、例えば、要求される監視精度（作業者２の作業が正常か異常かの判定精度）に応じて決定すればよい。またいずれの色空間を選択するかについても同様である。
【００５９】
続いて、マーカ色設定処理部１３１は、変換後のデータをマーカＩＤと対応づけてマーカ色データ１１３として記憶する（Ｓ７１４）。
【００６０】
図８は、図６の判定対象領域設定処理Ｓ６１２の詳細を説明するフローチャートである。
【００６１】
同図に示すように、まず画像データ取得部１２１が、画像取得装置３から画像データ１１１を取得する（Ｓ８１１）。
【００６２】
続いて、判定対象領域設定処理部１３２が、取得した画像データ１１１に判定対象領域を一つ以上設定する（Ｓ８１２）。判定対象領域設定処理部１３２は、例えば、ユーザとの対話処理により判定対象領域を設定する。尚、ユーザは、例えば、過去の判定対象領域の設定内容と判定精度の関係に基づき、要求される監視精度が確保されるように判定対象領域を適切に設定する。また判定対象領域設定処理部１３２は、例えば、過去の判定対象領域の設定内容と判定精度の関係に基づき、要求される監視精度が確保されるように自動的に判定対象領域を設定する。
【００６３】
続いて、判定対象領域設定処理部１３２は、設定した判定対象領域を判定対象領域データ１１４として記憶する（Ｓ８１３）。
【００６４】
図９は、図６の対応情報登録処理Ｓ６１３の詳細を説明するフローチャートである。
【００６５】
同図に示すように、まず画像データ取得部１２１が、画像取得装置３から画像データ１１１を取得する（Ｓ９１１）。
【００６６】
続いて、対応情報設定処理部１３３は、取得した画像データ１１１を判定結果表生成部１４０に送る。判定結果表生成部１４０は、送られてきた画像データ１１１に基づき判定結果表１１５を取得する処理（以下、「判定結果表生成処理Ｓ９１２」と称する。）を行い、生成した判定結果表１１５を対応情報設定処理部１３３に返す。尚、判定結果表生成処理Ｓ９１２の詳細については後述する。
【００６７】
続いて、対応情報設定処理部１３３は、当該画像データ１１１についての作業内容情報の入力（設定）をユーザから受け付ける（Ｓ９１３）。
【００６８】
続いて、対応情報設定処理部１３３は、判定結果表生成部１４０から送られてきた判定結果表１１５と受け付けた作業内容情報とを対応づけて判定結果パターン／作業内容対応情報１５４に登録する（Ｓ９１４）。
【００６９】
図１０は、図９の判定結果表生成処理Ｓ９１２の詳細を説明するフローチャートである。
【００７０】
同図に示すように、まずマーカ位置検出処理部１４１が、画像データ１１１に含まれて
いる各マーカの位置を検出する処理（以下、「マーカ位置検出処理Ｓ１０１１」と称する。）を行う。マーカ位置検出処理Ｓ１０１１の詳細については後述する。
【００７１】
続いて、判定結果表生成処理部１４２が、判定対象領域データ１１４を取得する（Ｓ１０１２）。
【００７２】
続いて、判定結果表生成処理部１４２が、検出したマーカの位置と取得した判定対象領域データ１１４とを対照して判定結果表１１５を生成する（Ｓ１０１３）。
【００７３】
図１１は、図１０のマーカ位置検出処理Ｓ８１１の詳細を説明するフローチャートである。
【００７４】
同図に示すように、まずマーカ位置検出処理部１４１が、マーカ色データ１１３を取得する（Ｓ１１１１）。尚、複数のマーカのマーカ色データ１１３が存在する場合、マーカ位置検出処理部１４１は全てのマーカ色データ１１３を取得する。
【００７５】
続いて、マーカ位置検出処理部１４１は、画像データ１１１から、マーカ色データ１１３に対応する領域（一致もしくは類似度が予め設定された閾値以下である領域。以下、「マーカ領域」と称する。）を検出する（Ｓ１１１２）。尚、複数のマーカのマーカ色データ１１３を取得している場合、各マーカ色データについてマーカ領域を検出する。
【００７６】
続いて、マーカ位置検出処理部１４１は、例えば公知のノイズ除去技術（画像処理、モルフォロジー演算等）を用いて、検出したマーカ領域からノイズ情報を除去する（Ｓ１１１３）。
【００７７】
続いて、マーカ位置検出処理部１４１は、マーカ領域の重心位置（重心座標）を特定する（Ｓ１１１４）。
【００７８】
続いて、マーカ位置検出処理部１４１は、同じマーカ色データに対応するマーカ領域が複数存在する否かを調べ、複数存在する場合はそのうちの一つを選択する（Ｓ１１１５）。例えば、マーカ位置検出処理部１４１は、マーカ領域の色がマーカ色データに最も近いものを選択する。また例えば、マーカ位置検出処理部１４１は、マーカ領域の画像データ１１１内の位置が所定範囲内であるか否かに基づきマーカ領域を選択する。
【００７９】
続いて、マーカ位置検出処理部１４１は、選択したマーカ領域の重心をマーカ位置として設定する（Ｓ１１１６）。
【００８０】
図１２は、図６の作業監視処理Ｓ６１４の詳細を説明するフローチャートである。
【００８１】
同図に示すように、まず画像データ取得部１２１が、画像取得装置３から一つ以上の画像データ１１１を取得する（Ｓ１２１１）。この画像データ１１１は、例えば、作業者２の様子を映した動画データの１フレームの画像である。
【００８２】
続いて、判定結果表取得部１５１が、取得した画像データ１１１を判定結果表生成部１４０に渡し、判定結果表生成部１４０から判定結果表１１５を取得する（Ｓ１２１２）。尚、Ｓ１２１２の処理は、前述した判定結果表生成処理Ｓ９１２と同様であるので説明を省略する。
【００８３】
続いて、異常有無判定処理部１５２が、取得した判定結果表１１５に基づき、作業者２の作業が正常か否かを判定し（Ｓ１２１３）、判定結果を出力装置１５に出力する（Ｓ１
２１４）。
【００８４】
続いて、監視処理部１５０は、作業者２の作業が終了したか否かを判定する（Ｓ１２１５）。作業が終了していれば（Ｓ１２１５：ＹＥＳ）、監視処理Ｓ４１４は終了し、作業が終了していなければ（Ｓ１２１５：ＮＯ）、処理はＳ１２１１に戻る。尚、監視処理部１５０は、作業が終了したか否かを、例えば、ユーザから入力される情報に基づき判定する。
【００８５】
以上、詳細に説明したように、本実施形態の作業監視装置１００によれば、判定結果パターンを事前に用意しておくことで、新たに作業者２の作業を映した画像データ１１１から、作業者２が行っている作業が正常であるか異常であるかを精度よく判定することができる。そのため、個々の現場の作業者２の作業を監視する仕組みを容易に実現することができる。
【００８６】
ところで、以上において示した判定結果表１１５は、マーカに関する情報（マーカの位置が判定対象領域内であるか否かの情報とマーカが画像データ１１１に映っているか否かの情報）とを含むものであったが、判定結果表１１５及び判定結果パターンに、更に画像データ１１１を取得した時に各種センサ４から取得されるセンサデータの情報を含ませ、監視処理部１５０がセンサデータの値も考慮して判定結果表１１５と判定結果パターン／作業内容対応情報１１６とを対照し、作業の特定や作業の異常有無の判定を行うようにしてもよい。判定結果表１１５及び判定結果パターンにセンサデータの情報を更に含ませることで、個々の作業の特徴をより詳細に表現することができ、作業の判定精度を高めることができる。
【００８７】
図１３にその場合における判定結果表１１５の例を示す。例示する判定結果表１１５は、前述した判定結果表１１５の各項目に加えて、行方向にセンサの識別子（以下、「センサＩＤ」と称する。）が設定される項目（「Sensor 1」、「Sensor 2」）を含む。また列方向にセンサデータの値が設定される項目（「Value 1」、「Value 2」）を含む。
【００８８】
［第２実施形態］
第２実施形態の作業監視装置１００は、第１実施形態における作業者２の作業監視の仕組みを用いて作業者２が作業に要している時間（以下、「作業時間」と称する。）を取得し、取得した作業時間と予め設定した標準作業時間とを比較することにより作業者２が行っている作業を監視（作業が正常か異常かを判定）する。以下、第１実施形態と異なる部分を中心として説明する。
【００８９】
図１４に第２実施形態の作業監視装置１００が備える主な機能を示す。同図に示すように、第２実施形態の作業監視装置１００の記憶部１１０は、第１実施形態の作業監視装置１００の記憶部１１０が記憶する情報に加えて、作業者２が行う作業毎の標準作業時間を示す情報を含むデータである作業毎標準作業時間１１７を記憶する。また第２実施形態の作業監視装置１００の異常有無判定処理部１５２は、標準作業時間と作業時間を比較することにより作業者２が行っている作業が正常か異常かを判定する機能を有する。
【００９０】
図１５は、第２実施形態における作業監視処理Ｓ６１４を説明するフローチャートである。尚、第２実施形態における他の処理（作業監視装置１００が行う第１実施形態で説明した他の処理）については第１実施形態と同様であるので説明を省略する。
【００９１】
同図に示すように、まず監視処理部１５０は、以下の処理で用いる作業変数である「作業時間」と「前回作業」とを初期化する（Ｓ１５１１）。尚、「作業時間」には、作業者２がある作業を行っている際の累積作業時間が設定される。また「前回作業」には、Ｓ１
５１２からのループ処理において前回特定した作業を示す情報（例えば、前述の作業内容情報）が設定される。
【００９２】
続いて、画像データ取得部１２１が、画像取得装置３から一つ以上の画像データ１１１を取得する（Ｓ１５１２）。この画像データ１１１は作業者２の様子を映した動画データの１フレームの画像である。尚、Ｓ１５１２〜Ｓ１５１７のループ処理では、動画データの１フレームの画像データ１１１が時系列に順次選択される。
【００９３】
続いて、判定結果表取得部１５１が、取得した画像データ１１１を判定結果表生成部１４０に渡し、判定結果表生成部１４０から判定結果表１１５を取得する（Ｓ１５１３）。尚、Ｓ１５１３の処理は、第１実施形態で説明した判定結果表生成処理Ｓ９１２と同様であるので説明を省略する。
【００９４】
続いて、異常有無判定処理部１５２が、取得した判定結果表１１５と判定結果パターン／作業内容対応情報１１６とを対照することにより作業者２が行っている作業を特定する（Ｓ１５１４）。
【００９５】
続いて、異常有無判定処理部１５２は、特定した作業が「前回作業」と同じか否かを判定する（Ｓ１５１５）。特定した作業が「前回作業」と同じであれば（Ｓ１５１５：ＹＥＳ）、処理はＳ１５１６に進む。尚、１回目のループではＳ１５１５の処理はスキップしてＳ１５１６の処理に進む。
【００９６】
特定した作業が「前回作業」と異なっていれば（Ｓ１５１５：ＮＯ）、処理はＳ１５１８に進む。
【００９７】
Ｓ１５１６では、異常有無判定処理部１５２は、「作業時間」を更新（例えば、前回更新時から現在までの時間を加算）する。
【００９８】
Ｓ１５１７では、異常有無判定処理部１５２は、Ｓ１５１４で特定した作業（例えば作業内容情報）を「前回作業」に設定する。その後、処理はＳ１５１２に戻る。
【００９９】
Ｓ１５１８では、異常有無判定処理部１５２は、Ｓ１５１４で特定した作業の標準作業時間を判定結果パターン／作業内容対応情報１１６から取得し、「作業時間」を標準作業時間と比較して、作業者２が行っている作業が異常であるか否かを判定する。例えば、異常有無判定処理部１５２は、「作業時間」と標準作業時間との差が所定時間以下であれば作業者２が行っている作業は正常と判定し、上記差が上記所定時間を超えていれば作業者２が行っている作業は異常と判定する。尚、上記所定時間を適切に設定することで、例えば、休憩時間等の作業以外に作業者２が費やしている時間を考慮しつつ上記判定を行うようにしてもよい。
【０１００】
Ｓ１５１９では、異常有無判定処理部１５２は、判定結果を出力装置１５に出力する。
【０１０１】
このように以上の仕組みによれば、第１実施形態における作業者２の作業監視の仕組みを用いることで、作業者２が行っている作業の作業時間に基づき、作業者２が行っている作業が正常であるか異常であるかを監視する仕組みを実現することができる。
【０１０２】
［第３実施形態］
第３実施形態の作業監視装置１００は、第１実施形態における作業者２の作業監視の仕組みを用いて作業者２が正しい作業順序に従って作業を行っているか否かを監視する。以下、第１実施形態と異なる部分を中心として説明する。
【０１０３】
図１６に第３実施形態の作業監視装置１００が備える主な機能を示す。同図に示すように、第３実施形態の作業監視装置１００の記憶部１１０は、第１実施形態の作業監視装置１００の記憶部１１０が記憶する情報に加えて、正しい作業順序を示す情報を含むデータである作業順序情報１１８を記憶する。また第３実施形態の作業監視装置１００の異常有無判定処理部１５２は、作業者２が予め設定されている正規の作業順序に従って作業を行っているか否かを判定する機能を有する。
【０１０４】
図１７は、第３実施形態における作業監視処理Ｓ６１４を説明するフローチャートである。尚、第３実施形態における他の処理（作業監視装置１００が行う第１実施形態で説明した他の処理）については第１実施形態と同様であるので説明を省略する。
【０１０５】
同図に示すように、まず監視処理部１５０は、以下の処理で用いる作業変数である「前回作業」を初期化する（Ｓ１７１１）。尚、「前回作業」には、Ｓ１７１２からのループ処理において前回特定した作業を示す情報（例えば、前述の作業内容情報）が設定される。
【０１０６】
続いて、画像データ取得部１２１が、画像取得装置３から一つ以上の画像データ１１１を取得する（Ｓ１７１２）。この画像データ１１１は、作業者２の様子を映した動画データの１フレームの画像である。尚、Ｓ１７１２〜Ｓ１７１６のループ処理では、動画データの１フレームの画像データ１１１が時系列に順次選択される。
【０１０７】
続いて、判定結果表取得部１５１が、取得した画像データ１１１を判定結果表生成部１４０に渡し、判定結果表生成部１４０から判定結果表１１５を取得する（Ｓ１７１３）。尚、Ｓ１７１３の処理は、第１実施形態で説明した判定結果表生成処理Ｓ９１２と同様であるので説明を省略する。
【０１０８】
続いて、異常有無判定処理部１５２が、取得した判定結果表１１５と判定結果パターン／作業内容対応情報１１６とを対照することにより、作業者２が行っている作業を特定する（Ｓ１７１４）。
【０１０９】
続いて、異常有無判定処理部１５２は、特定した作業、「前回作業」、及び作業順序情報１１８を対照することにより、特定した作業が作業順序情報１１８における作業順序に従った作業であるか否かを判定する（Ｓ１７１５）。尚、１回目のループではＳ１７１５の処理はスキップしてＳ１７１６の処理に進む。特定した作業が作業順序情報１１８における作業順序に従った作業であれば（Ｓ１７１５：ＹＥＳ）、処理はＳ１７１６に進む。特定した作業が作業順序情報１１８における作業順序に従った作業でなければ（Ｓ１７１５：ＮＯ）、処理はＳ１７１７に進む。
【０１１０】
Ｓ１７１６では、異常有無判定処理部１５２は、Ｓ１７１４で特定した作業（例えば作業内容情報）を「前回作業」に設定する。その後、処理はＳ１７１２に戻る。
【０１１１】
Ｓ１７１７では、異常有無判定処理部１５２は、判定結果（作業順序が正しい作業順序に従っていないことを示す情報）を出力装置１５に出力する。
【０１１２】
このように第１実施形態における作業者２の作業監視の仕組みを用いることで、作業者２が行っている作業が正しい作業順序に従っているか否かを監視する仕組みを実現することができる。
【０１１３】
［第４実施形態］
第４実施形態の作業監視装置１００は、第１実施形態における作業者２の作業監視の仕組みを用いて、作業者２が行っている期間のうち解析対象とする作業が行われている期間を特定する。以下、第１実施形態と異なる部分を中心として説明する。
【０１１４】
図１８に第４実施形態の作業監視装置１００が備える主な機能を示す。同図に示すように、第４実施形態の作業監視装置１００の記憶部１１０は、第１実施形態の作業監視装置１００の記憶部１１０が記憶する情報に加えて、解析対象とする作業を示す情報（例えば、前述の作業内容情報）を含むデータである解析対象作業情報１１９を記憶する。また第４実施形態の作業監視装置１００の異常有無判定処理部１５２は、作業者２が行っている期間のうち解析対象とする作業が行われている期間を特定する機能を有する。
【０１１５】
図１９は、第４実施形態における作業監視処理Ｓ６１４を説明するフローチャートである。尚、第４実施形態における他の処理（作業監視装置１００が行う第１実施形態で説明した他の処理）については第１実施形態と同様であるので説明を省略する。
【０１１６】
同図に示すように、まず画像データ取得部１２１が、画像取得装置３から一つ以上の画像データ１１１を取得する（Ｓ１９１１）。この画像データ１１１は、作業者２の様子を映した動画データの１フレームの画像である。尚、Ｓ１９１１〜Ｓ１９１６のループ処理では、動画データの１フレームの画像データ１１１が時系列に順次選択される。
【０１１７】
続いて、判定結果表取得部１５１が、取得した画像データ１１１を判定結果表生成部１４０に渡し、判定結果表生成部１４０から判定結果表１１５を取得する（Ｓ１９１２）。尚、Ｓ１９１２の処理は、第１実施形態で説明した判定結果表生成処理Ｓ９１２と同様であるので説明を省略する。
【０１１８】
続いて、異常有無判定処理部１５２が、取得した判定結果表１１５と判定結果パターン／作業内容対応情報１１６とを対照することにより、作業者２が行っている作業を特定する（Ｓ１９１３）。
【０１１９】
続いて、異常有無判定処理部１５２は、特定した作業を解析対象作業情報１１９と対照し、特定した作業が解析対象か否かを判定する（Ｓ１９１４）。特定した作業が解析対象であれば（Ｓ１９１４：ＹＥＳ）、処理はＳ１９１５に進む。特定した作業が解析対象でなければ（Ｓ１９１４：ＮＯ）、処理はＳ１９１１に戻る。
【０１２０】
Ｓ１９１５では、異常有無判定処理部１５２は、作業者２が当該画像データのタイミングで解析対象の作業を行っている旨を示す情報を出力装置１５に出力する。
【０１２１】
以上の仕組みによれば、作業者２が連続して複数の作業を行う場合に、各作業が行われている期間を示す情報を出力することができ、例えば、作業者２が行う作業を解析しようとする者（以下、「解析者」と称する。）は、解析対象とする期間を容易に特定することができる。
【０１２２】
図２０に解析者が解析対象とする上記期間の例を示している。例えば、（ａ）に示すように、解析者は、以上の仕組みを利用して、解析対象とする作業の開始時点及び終了時点を特定することができる。また例えば、（ｂ）に示すように、解析者は、以上の仕組みを利用して、解析対象とする開始時点を特定し、開始時点から所定時間を解析対象の期間として特定することができる。また例えば、（ｃ）に示すように、解析者は、以上の仕組みを利用して、解析対象とする終了時点を特定し、終了時点から所定時間遡った時点から終了時点までを解析対象の期間として特定することができる。
【０１２３】
以上、本発明の一実施形態について詳細に説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、説明した全ての構成を備えるものに必ずしも限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。
【０１２４】
例えば、以上の各実施形態で説明した作業監視処理Ｓ６１４は、リアルタイムに取得される動画データを対象として実行してもよいし、録画された動画データを対象として事後的に実行してもよい。
【０１２５】
また上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、ＩＣ
カード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【０１２６】
また上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。例えば、実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【０１２７】
また以上に説明した各情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。
【０１２８】
また前述した各種のデータを格納するデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。
【０１２９】
また前述したマーカを用いた位置検知方法の代わりに、作業者２の身体を自動的に検出できるセンサまたは画像認識手法を利用してオブジェクトの位置検知を行うようにしてもよい。また作業対象物または作業に用いる道具等を自動的に検出できるセンサまたは画像認識手法を利用してオブジェクトの位置検知を行うようにしてもよい。この場合、自動的に検出された身体や作業対象物などの位置情報を用いて、前述した実施形態と同様の処理を行うこととなる。
【符号の説明】
【０１３０】
１  作業監視システム
２  作業者
３  画像取得装置
４  各種センサ
５  通信手段
１００  作業監視装置
１１１  画像データ
１１２  センサデータ
１１３  マーカ色データ
１１４  判定対象領域データ
１１５  判定結果表
１１６  判定結果パターン／作業内容対応情報
１２０  データ取得部
１２１  画像データ取得部
１２２  センサデータ取得部
１３０  準備設定処理部
１３１  マーカ色設定処理部
１３２  判定対象領域設定処理部
１３３  対応情報設定処理部
１４０  判定結果表生成部
１４１  マーカ位置検出処理部
１４２  判定結果表生成処理部
１５０  監視処理部
１５１  判定結果表取得部
１５２  異常有無判定処理部
Ｓ６００  メイン処理
Ｓ６１１  マーカ色設定処理
Ｓ６１２  判定対象領域設定処理
Ｓ６１３  対応情報登録処理
Ｓ９１２  判定結果表生成処理
Ｓ１０１１  マーカ位置検出処理
Ｓ６１４  作業監視処理
【図１】
2020197899.tif 000003
【図２】
2020197899.tif 000004
【図３】
2020197899.tif 000005
【図４】
2020197899.tif 000006
【図５】
2020197899.tif 000007
【図６】
2020197899.tif 000008
【図７】
2020197899.tif 000009
【図８】
2020197899.tif 000010
【図９】
2020197899.tif 000011
【図１０】
2020197899.tif 000012
【図１１】
2020197899.tif 000013
【図１２】
2020197899.tif 000014
【図１３】
2020197899.tif 000015
【図１４】
2020197899.tif 000016
【図１５】
2020197899.tif 000017
【図１６】
2020197899.tif 000018
【図１７】
2020197899.tif 000019
【図１８】
2020197899.tif 000020
【図１９】
2020197899.tif 000021
【図２０】
2020197899.tif 000022