(57)【要約】      （修正有）【課題】作業対象物の位置と作業者の位置関係に関して、相対的な位置関係と絶対的な位置関係およびその組み合わせに対する異常を検知できる監視装置を提供する。【解決手段】監視装置は、処理部と、データ記録部とを有し、前記データ記録部は、作業者と作業対象物を含む作業状況の画像データと、作業者の領域と作業対象物の領域との位置関係の組み合わせが過去に出現したことを示すデータを含むモデルデータを保持しており、前記処理部は、作業状況の画像を入力し、入力した画像から作業者と作業対象物の領域を認識する認識部と、認識した位置関係における組み合わせを特定する組み合わせ領域特定部と、データ記録部からモデルデータを取得するモデル取得部と、組み合わせ領域特定部が特定した領域の組み合わせと、モデル取得部が取得したモデルデータとに基づいて、作業者と作業対象物の領域の組み合わせについての異常度を算出する異常度算出部とを有する。【選択図】図２
2019067271.tif 000002
【特許請求の範囲】
【請求項１】
処理部と、データ記録部とを有する監視装置であって、
前記データ記録部は、
作業者と作業対象物を含む作業状況の画像データと、前記作業者の領域と前記作業対象物の領域との位置関係の組み合わせが過去に出現したことを示すデータを含むモデルデータを保持しており、
前記処理部は、
前記作業状況の画像を入力し、入力した前記画像から前記作業者と前記作業対象物の領域を認識する認識部と、
認識した前記作業者と前記作業対象物の領域の位置関係における組み合わせを特定する組み合わせ領域特定部と、
前記データ記録部から前記モデルデータを取得するモデル取得部と、
前記組み合わせ領域特定部が特定した前記作業者と前記作業対象物の領域の組み合わせと、前記モデル取得部が取得したモデルデータとに基づいて、前記作業者と前記作業対象物の領域の位置関係における組み合わせについての異常度を算出する異常度算出部とを有することを特徴とする監視装置。
【請求項２】
請求項１に記載の監視装置において、
前記認識部は、前記作業者の領域および前記作業対象物の領域の代表となる位置と大きさで、前記領域を特定し、
前記組み合わせ領域特定部は、前記認識部で特定した前記位置と前記大きさに基づいて、直積を計算する直積計算部であり、
前記異常度算出部が、前記直積と前記モデルデータに基づいて、各作業者と各作業対象物との間の異常度を算出することを特徴とする監視装置。
【請求項３】
請求項２記載の監視装置において、前記直積計算部が、前記作業者と前記作業対象物の位置関係における複数の組み合わせについての直積を計算し、計算した直積と前記モデルデータとに基づいて、前記作業者と前記作業対象物との間の異常度を前記異常度算出部が算出し、インターフェース部が、表示端末に前記異常度を出力し、
前記異常度算出部は、算出した異常度の履歴を、前記データ記録部に記録し、前記インターフェース部が、前記異常度の履歴を、前記表示端末に出力することを特徴とする監視装置。
【請求項４】
請求項２記載の監視装置において、前記代表となる位置は、前記作業者もしくは前記作業対象物を囲う外接四角形のいずれかの頂点の座標であり、前記大きさは、前記外接四角形の幅および高さであり、前記頂点の座標、前記外接四角形の幅および高さに基づいて、前記直積計算部が前記直積を計算することを特徴とする監視装置。
【請求項５】
請求項４記載の監視装置において、前記モデルデータを更新するモデル保存処理部を有し、前記モデル保存処理部は、前記直積ごとに、出現頻度を求め、各直積ごとに正常確率を算出し、前記正常確率を前記モデルデータとして記録し、
前記異常度算出部は、前記特定した作業者と作業対象物の領域の位置関係の組み合わせに対応した直積に基づいて、前記モデルデータから前記正常確率を抽出し、抽出した正常確率に基づいて、特定した作業者と作業対象物の領域の位置関係における組み合わせの異常度を算出することを特徴とする監視装置。
【請求項６】
請求項１に記載の監視装置において、入力した前記作業状況の画像から前記作業対象物が回転したかどうかを検出する回転移動判定部を有し、回転した場合には、モデルリセット部がモデル番号を更新することを特徴とする監視装置。
【請求項７】
請求項２に記載の監視装置において、前記直積は、異常度を求める対象の各作業者と各作業対象物の前記位置と前記大きさの４次元データを組み合わせた８次元のデータであることを特徴とする監視装置。
【請求項８】
作業者と作業対象物を含む作業状況の画像データを入力する第１工程と、
入力した前記画像データから前記作業者と前記作業対象物の領域を認識する第２工程と、
認識した前記作業者と前記作業対象物の領域の位置関係における組み合わせを特定する第３の工程と、
前記作業者の領域と前記作業対象物の領域との位置関係の組み合わせが過去に出現したことを示すデータを含むモデルデータを記録部から取得する第４の工程と、
前記作業者と前記作業対象物の領域の位置関係において特定した組み合わせと、取得した前記モデルデータとに基づいて、前記作業者と前記作業対象物の領域の位置関係の組み合わせについての異常度を算出する第５工程と、
前記作業者と前記作業対象物の前記領域の位置関係の組み合わせについての異常度を装置に出力する第６工程と、
前記記録部の前記モデルデータを更新する第７工程とを有することを特徴とする監視方法。
【請求項９】
処理部とデータ記録部とを有する監視装置と、前記監視装置から異常に関する状況を出力する外部装置とを有する監視システムであって、
前記データ記録部は、
作業者と作業対象物を含む作業状況の画像データと、前記作業者の領域と前記作業対象物の領域との位置関係の組み合わせが過去に出現したことを示すデータを含むモデルデータを保持しており、
前記処理部は、
前記作業状況の画像を入力し、入力した前記画像から前記作業者と前記作業対象物の領域を認識する認識部と、
前記データ記録部から前記モデルデータを取得するモデル取得部と、
認識した前記作業者と前記作業対象物の領域と前記モデルデータとに基づいて、前記作業者と前記作業対象物の領域の組み合わせについての異常度を算出する異常度算出部とを有し、
前記外部装置に異常に関するデータを出力するインターフェース部とを有することを特徴とする監視システム。
【請求項１０】
請求項９に記載の監視システムにおいて、前記外部装置は、表示端末であり、前記インターフェース部から出力された異常に関するデータを、前記表示端末が表示することを特徴とする監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は,監視装置に関し,特に,作業者と作業対象物との間の作業状況を監視するに好適な技術に関する。
【背景技術】
【０００２】
特許文献１には,作業者の動線や位置を分析し,無駄な動きを減らして各個別の作業を効率化するために作業者の動線をモニタリングするシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１１６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記特許文献１には，製品の座標と作業者の相対的な位置関係から異常検知を行う方法が記載されている。
【０００５】
しかし，相対的な位置関係のみで異常検知を行うと，絶対的な位置に対する異常や，あるいは，相対的な位置関係と絶対的な位置関係の組み合わせで生じる異常を見逃す可能性がある。
【０００６】
そこで，本発明の目的は，作業対象物の位置と作業者の位置関係に関して，相対的な位置関係と，絶対的な位置関係，および，その組み合わせに対する異常を検知できる監視装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の好ましい一例としては,処理部と,データ記録部とを有し,前記データ記録部は,作業者と作業対象物を含む作業状況の画像データと,前記作業者の領域と前記作業対象物の領域との位置関係の組み合わせが過去に出現したことを示すデータを含むモデルデータを保持しており,前記処理部は,前記作業状況の画像を入力し,入力した前記画像から前記作業者と前記作業対象物の領域を認識する認識部と,認識した前記作業者と前記作業対象物の領域の位置関係における組み合わせを特定する組み合わせ領域特定部と,前記データ記録部から前記モデルデータを取得するモデル取得部と,前記組み合わせ領域特定部が特定した前記作業者と前記作業対象物の領域の組み合わせと,前記モデル取得部が取得したモデルデータとに基づいて,前記作業者と前記作業対象物の領域の位置関係における組み合わせについての異常度を算出する異常度算出部とを有することを特徴とする監視装置である。
【発明の効果】
【０００８】
本発明によれば,作業対象物の位置と作業者の位置関係に関して，相対的な位置関係と，絶対的な位置関係，また，その組み合わせに対する異常を検知できる監視装置を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】実施例に係る監視システムの構成を示す図。
【図２】監視処理のフローチャートを示す図。
【図３】画像データを説明する図。
【図４】製品認識結果ならびに作業者認識結果を説明する図。
【図５】直積計算の概念を説明する図。
【図６】直積計算の例を示す図。
【図７】モデルの管理番号を説明する図。
【図８】モデルの例を示す図。
【図９】表示端末の表示の例を示す図。
【図１０】監視装置の構成を示す図。
【発明を実施するための形態】
【００１０】
以下,実施例について,図面を用いて説明する。図１は,監視システムの構成を示す図である。本システムでは，工場内で作業をしている作業者(101)の作業状況を，工場内に設置したカメラ(102)で撮影する。カメラ(102)は，ネットワークを介して，監視装置としてのサーバー(105)に接続されている。サーバー(105)は，カメラ(102)からデータを受け取ると，監視処理を開始する。サーバー(105)の内部構成の図示は省略するが,サーバー(105)内のＣＰＵが,後述する監視処理の各ステップを実行するために,プログラムをメモリに読み出して実行するようにしてもよいし,専用のハードウエアで監視処理を実行してもよい。サーバー(105)は，ネットワークを介して，工場内に設置してある，表示端末(103)やパトランプ(104)と接続されている。
【００１１】
サーバー(105)は，異常判定処理を行った結果，異常と判断した場合，異常信号を表示端末(103)やパトランプ(104)に送信する。異常信号を受け取った表示端末(103)やパトランプ(104)は，工場内で作業をしている作業者(101)に異常発生を通知する。表示端末(103)による表示例については，後述する。パトランプ(104)は，発光することで，作業者(101)に異常発生を通知する。
【００１２】
図２は，監視処理のフローチャートである。本フローチャートは，図１におけるサーバー(105)で実施される。本フローチャートは，画像データを1枚取得するごとに，実行する。画像データは，図１におけるカメラ(102)から取得する。また，それ以外にも，図１におけるカメラ(102)とは別なシステム，例えば，監視カメラシステム，などを用いて，画像データを取得して，データベースやファイルフォルダに，画像データを保存した上で，その画像データを取得する方法もある。
【００１３】
本フローチャートでは，画像データの取得元を画像(201)で表す。実行する頻度は，予め設定してある頻度に基づく。通常は，1秒間に5回から30回の間の頻度で実行する。まず，開始(204)で処理を開始すると，画像(201)を取得し，製品認識ステップ(205)と作業者認識ステップ(206)を実施する。画像(201)のデータ形式を図３に示す。画像データは，赤（R:Red）(301)，緑（G:Green）(302)，青（B:Blue）(303)のそれぞれの色ごとに，その色の強度に関する情報を行列型で保持している．行列の行数と列数は，画像(201)の縦方向の画素数，列方向の画素数に一致する。
【００１４】
各成分のデータは，図３のように，0〜255の範囲の整数で保持する場合と，0〜1の範囲の小数で保持する場合がある。製品認識ステップ(205)では，画像(201)内に写っている作業者が作業をする対象となる製品の位置と大きさを特定する。製品認識ステップ(205)で特定された製品の位置と大きさのデータは，図４に例を示すフォーマットで出力される。
【００１５】
図４の例では，作業対象物の一例としての製品が3個認識されている。各行は，画像(201)内において，製品が写っている領域の外接四角形の情報である。通常，外接四角形の各辺は，x軸，もしくは，y軸と平行であるように特定する。１列目(401)は，外接四角形の左上の頂点のx座標，２列目(402)は，外接四角形の左上の頂点のy座標を示している。また，３列目（403）は，外接四角形の幅，４列目（404）は，外接四角形の高さを示している。なお，通常，座標の原点は，画像(201)の左上の点とし，x軸は，右向き，y軸は下向きとして扱われる。
【００１６】
製品認識ステップ(205)において，画像(201)内に写っている製品の位置と大きさを特定する方法には，製品が，特定の色をしているという前提をおける場合は，特定の色の画素の領域を製品の領域であると仮定して特定する方法がある。製品が，特定の色を持っているという前提をおけない場合，Convolution Neural Networkなどを用いて，予め，コンピュータに製品の形の特徴量を学習させておき，類似の特徴量を持つ領域を特定する方法などもある。
【００１７】
作業者認識ステップ(206)では，画像(201)内に写っている作業者の位置と大きさを特定する。作業者認識ステップ(206)で特定された作業者の位置と大きさのデータは，製品認識ステップ(205)の出力である，図４に例を示すフォーマットと同様のフォーマットで出力される。作業者認識ステップ(206)において，画像(201)内に写っている作業者の位置と大きさを特定する方法には，作業者が，特定の色の服を着ている，など，色に関する前提をおける場合は，特定の色の画素の領域を作業者の領域であると仮定して特定する方法がある。
【００１８】
作業者が，特定の色を持っているという前提をおけない場合，予め，コンピュータに作業者の形の特徴量を学習させておき，類似の特徴量を持つ領域を特定する方法などもある。作業者を特定する場合は，HOG特徴量という特徴量を使うことが多い。次に，直積データ計算ステップ(207)において，製品認識ステップ(205)で取得した製品の位置と大きさのデータと，作業者認識ステップ(206)で取得した作業者の位置と大きさのデータの直積を取る。x座標とy座標で構成した作業者と製品の位置と大きさのデータは,製品と作業者の絶対的な位置関係とともに相対的な位置関係を特定できるデータとなる。
【００１９】
二つのデータの直積を計算した例を図５に示す。この例では，直積を計算する前の二つのデータ(501)は，それぞれ，(x1, x2, x3, x4)，(y1, y2, y3, y4)と，４次元のデータである。この二つのデータの直積を取った結果(502)は，二つのデータを並べた8次元のデータである。
【００２０】
例えば，x1が製品認識ステップ(205)で出力した外接四角形の左上の頂点のx座標，x2が製品認識ステップ(205)で出力した，外接四角形の左上の頂点のy座標，x3が製品認識ステップ(205)で出力した，外接四角形の幅，x4が製品認識ステップ(205)で出力した，外接四角形の高さである。また，y1が作業者認識ステップ(206)で出力した外接四角形の左上の頂点のx座標，y2が作業者認識ステップ(206)で出力した，外接四角形の左上の頂点のy座標，y3が作業者認識ステップ(206)で出力した，外接四角形の幅，y4が作業者認識ステップ(206)で出力した，外接四角形の高さである。
【００２１】
図６に示すように，製品認識ステップ(205)や，作業者認識ステップ(206)において，それぞれ，複数の領域が特定された場合，直積データも複数計算される。計算した直積データは,複数の作業者と複数の製品の領域のそれぞれの組み合わせを特定するデータとなる。例えば，製品認識ステップ(205)の結果(601)として，3箇所の領域が特定されたとする。製品認識ステップ(205)の結果(601)において，１列目(6011)は，外接四角形の左上の頂点のx座標，２列目(6012)は，外接四角形の左上の頂点のy座標を示している。また，３列目（6013）は，外接四角形の幅，４列目（6014）は，外接四角形の高さを示している。
【００２２】
また，作業者認識ステップ(206)の結果(602)として，2箇所の領域が特定されたとする。作業者認識ステップ(206)の結果(602)において，１列目(6021)は，外接四角形の左上の頂点のx座標，２列目(6022)は，外接四角形の左上の頂点のy座標を示している。また，３列目（6023）は，外接四角形の幅，４列目（6024）は，外接四角形の高さを示している。このとき，６つの直積データ(603)が計算される。直積データにおいて，１列目(6031)は，製品認識ステップ(205)の結果の外接四角形の左上の頂点のx座標，２列目(6032)は，製品認識ステップ(205)の結果の外接四角形の左上の頂点のy座標を示している。また，３列目（6033）は，製品認識ステップ(205)の結果の外接四角形の幅，４列目（6034）は，製品認識ステップ(205)の結果の外接四角形の高さを示している。
【００２３】
また，５列目(6035)は，作業者認識ステップ(206)の結果の外接四角形の左上の頂点のx座標，２列目(6036)は，作業者認識ステップ(206)の結果の外接四角形の左上の頂点のy座標を示している。また，３列目（6037）は，作業者認識ステップ(206)の結果の外接四角形の幅，４列目（6038）は，作業者認識ステップ(206)の結果の外接四角形の高さを示している。
【００２４】
次に，モデル番号取得ステップ(208)に進む．本ステップでは，異常検知に用いるモデルの管理番号を取得する。モデルの管理番号(700)の例を図７に示す．モデルの管理番号(700)は，モデルNo(701)と，フレームNo(702)からなる。取得するモデルNo(701)は，前回，本フローチャートを実行した際に，異常検知に用いたモデルNo(701)である。また，取得するフレームNo(702)は，前回，本フローチャートを実行した際に，異常検知に用いたフレームNo(702)に1を足したNoである。ただし，本フローチャートを初めて実行する際は，前回，実行した際に用いたモデルNo(701)や，フレームNo(702)を取得することができないので，初回実行時のみ，モデルNo(701)とフレームNo(702)を1で初期化する。モデルの管理番号(700)は,モデルデータ(1012)として図１０のデータベース部(1002)に保存されてもよいし,モデルデータ(1012)とは別にデータベース部(1002)に保存されてもよい。
【００２５】
また，各管理番号を付与されているモデルデータ(1012)は，モデル(202)に保存されている。保存されているモデルデータ(1012)のフォーマットを，図８に示す。モデルデータは，各直積データが取り得る全ての値の組み合わせに対して，正常確率を格納している。本モデル自体の作成方法は，別途後述する。
【００２６】
図８における，１列目(801)は，製品認識ステップ(205)の結果の外接四角形の左上の頂点のx座標，２列目(802)は，製品認識ステップ(205)の結果の外接四角形の左上の頂点のy座標を示している。また，３列目（803）は，製品認識ステップ(205)の結果の外接四角形の幅，４列目（804）は，製品認識ステップ(205)の結果の外接四角形の高さを示している。ただし，いずれも，取り得る値の組み合わせの全てを格納してある。図８における，５列目(805)は，作業者認識ステップ(206)の結果の外接四角形の左上の頂点のx座標，２列目(806)は，作業者認識ステップ(206)の結果の外接四角形の左上の頂点のy座標を示している。
【００２７】
また，３列目（807）は，作業者認識ステップ(206)の結果の外接四角形の幅，４列目（808）は，作業者認識ステップ(206)の結果の外接四角形の高さを示している。ただし，いずれも，取り得る値の組み合わせの全てを格納してある。図８における，９列目(809)が，格納している正常確率を示しており，格納されている値は，0〜1の値を取り，そこに，作業者や製品が存在することの正常確率を格納している。この列は,作業者と製品の相対的および絶対的な位置関係についての特定の組み合わせが過去に出現したことを示すデータの一例である。
【００２８】
次に，回転移動判定ステップ(209)では，画像(201)を元に，製品の回転判定を行う。判定方法には，製品認識ステップ(205)における領域において，オプティカルフローと呼ばれる画像処理方法により，各画素の速度ベクトルを計算し，各速度ベクトルが円状になっているかどうかを評価することで，回転を検出することができる。さらに,回転数も検出することができる。回転移動判定ステップの結果は，回転が行われたか，行われていないかを論理型の変数として保持する。
【００２９】
回転移動判定ステップ(209)で，回転を検出した場合，モデルリセットステップ(210)に進み，モデルNo(701)に１を加算し，また，フレームNo(702)を１に初期化し，モデル取得ステップ(211)に進む。モデルリセットをすることにより,製品が回転した場合のモデルデータ(1012)について,新たなモデルNo(701)で管理することができる。それにより,過去に製品が回転した場合のモデルNo(701)に基づいて,回転した場合のモデルデータ(1012)を抽出して回転時の異常度を求めることができる。回転したモデルであるかどうかを識別する管理Noやフラグをモデルデータ(1012)に付けるようにしてもよい。
【００３０】
また，回転移動判定ステップ(209)で，回転を検出しなかった場合は，モデルリセットステップ(210)を経由せずに，モデル取得ステップ(211)に進む。モデル取得ステップ(211)では，モデル(202)から，モデルデータを取得する。使用者が,取得したいモデルデータのモデルNo(701)を選択的に指定するようにしてもよい。
【００３１】
異常度算出ステップ(212)では，モデル取得ステップ(211)で取得したモデル情報に基づき，異常度を算出する。具体的には，モデルデータのうち，異常検知対象である直積データに該当する列の正常確率を取得し，それを１から引き算することで，異常度(203)とし，保存する。異常度(203)は,時間情報とともに保存し,異常度の推移を表示端末(103)に出力して,表示端末(103)で表示できる。次に，図２におけるデータ保存ステップ(214)で，製品認識ステップ(205)と，作業者認識ステップ（206）で認識したデータを認識データ(213)として保存する。
【００３２】
図１における，表示端末(103)での出力例を図９に示す。図９は，表示端末(103)の画面を表している。左側の表示領域(901)では，リアルタイムの画像に，異常判定結果を重ね合わせた画像を表示している。本図では，左側の作業者1は，正常であることを表している(903)。また，右側の作業者2は，異常であることを現している(904)。また，本図において，ワーク1(905)とワーク2(906)は，本システムの製品認識ステップ(205)による認識結果を示している。この例では，二つの製品が認識されている例である。また，本図において，画面下部の表(907)は，異常度の表示である。行は，各ワークに対する情報を表示している。この例では，ワーク1は，製造中に２回回転したことを示している(回転数)．また，異常検知に用いているモデルに付与されている通し番号は，3であることを示している。また，作業者1に対する異常度は0.01であること,作業者2に対する異常度は0.02であることを示している。
【００３３】
また，ワーク2は，製造中に４回回転したことを示している(回転数)．また，異常検知に用いているモデルに付与されている通し番号は，5であることを示している。また，作業者1に対する異常度は0.01であること,作業者2に対する異常度は0.82であることを示している。右側の表示領域(902)では，異常度の推移を示している。本異常度の推移は，図２に示すフローチャートにより算出した異常度(203)が，保存されているため，その過去の来歴を，あらかじめ設定された一定程度の期間分のデータを表示する。
【００３４】
図１０は，監視装置の構成を示すブロック図である。本システムには，処理部(1001)，データベース部(1002)，インターフェース部(1014)が存在する。処理部(1001)とデータベース部(1002)は，それぞれ，ネットワークを介して，インターフェース部(1014)に接続されている。処理部(1001)には，製品認識処理部(1003)，作業者認識処理部(1004)，直積データ計算処理部(1005)，モデル初期化処理部(1006)，回転移動判定処理部(1007)，モデルリセット処理部(1008)，モデル取得処理部(1009)，異常度算出処理部(1010),モデル保存処理部(1020)を有する。
【００３５】
製品認識処理部(1003)は，図２における製品認識ステップ(205)を実行する。作業者認識処理部(1004)は，図２における作業者認識ステップ(206)を実行する。直積データ計算処理部(1005)は，図２における直積データ計算ステップ(207)を実行する。モデル初期化処理部(1006)は，図２におけるモデル番号取得ステップ(208)を実行する。回転移動判定処理部(1007)は，図２における回転移動判定ステップ(209)を実行する。モデルリセット処理部(1008)は，図２におけるモデルリセットステップ(210)を実行する。モデル取得処理部(1009)は，図２におけるモデル取得ステップ(211)を実行する。異常度算出処理部(1010)は，図２における異常度算出ステップ(212)を実行する。モデル保存処理部(1020)は,図２におけるデータ保存ステップ(214)を実行する。
【００３６】
データベース部(1002)には，画像データ(1011)，モデルデータ(1012)，異常度データ(1013),認識データ(1021)を保存している。画像データ(1011)は，図２における画像(201)に対応している。モデルデータ(1012) は，図２におけるモデル(202)に対応している。異常度データ(1013)は，図２における異常度(203)に対応している。認識データ(1021)は,図２の認識データ(213)に対応している。インターフェース部(1014)は，図１における，カメラ(102)からの画像データをデータベース部(1002)や,処理部（1001）に入力したり,表示端末(103)へ異常度や,異常度の推移のデータを出力したり,パトランプ(104)に異常を出力する。
【００３７】
最後に，図８におけるモデルの構築方法を説明する。図２におけるデータ保存ステップ(214)で，製品認識ステップ(205)と，作業者認識ステップ（206）で認識したデータを認識データ(213)として保存してある。図２の処理フローが何回か繰り返された後に,まとめて,モデルの更新を行う。具体的には,モデル保存処理部(1020)が，認識データ(213)について，各直積座標ごとに，過去の出現頻度を算出し，その出現確率をもって，正常確率とし，正常確率の列を更新したモデルデータ(1012)を,データベース部(1002)に保存する。
【００３８】
正常確率の求め方としては,異常検知の対象となる直積座標と同じ直積座標が,過去に何回現れたかの出現頻度に基づいて決めることになる。たとえば,同じモデルNo中の直積の数すべてと,異常検知の対象となる直積が出現する数の割合として,正常確率を求めてもよいし,モデルNoの範囲を使用者等が指定して,複数のモデルデータ(1012)における過去の出現頻度から正常確率を求めるようにしてもよい。
【００３９】
本実施例によれば,同一の作業を繰り返し行う作業現場において,各製品と各作業者に位置関係に関する作業の異常と,作業エリアに関する作業の異常の両方を異常検知することができる。さらに,製品の回転が行われても,正確な異常検知を行うことが可能となる。実施例では,製品の例を挙げているが,製品に限らず,作業状況において,作業者とともに画像認識の対象となる作業対象物であれば,本発明は適用できる。
【符号の説明】
【００４０】
102…カメラ，103…表示端末，104…パトランプ，105…サーバー，1001…処理部，1002…データベース部，1003…製品認識処理部，1004…作業者認識処理部，1005…直積データ計算処理部，1006…モデル初期化処理部，1007…回転移動判定処理部，1008…モデルリセット処理部，1010…異常度算出処理部，1011…画像データ，1012…モデルデータ，1013…異常度データ，1014…インターフェース部
【図１】
2019067271.tif 000003
【図２】
2019067271.tif 000004
【図３】
2019067271.tif 000005
【図４】
2019067271.tif 000006
【図５】
2019067271.tif 000007
【図６】
2019067271.tif 000008
【図７】
2019067271.tif 000009
【図８】
2019067271.tif 000010
【図９】
2019067271.tif 000011
【図１０】
2019067271.tif 000012