(57)【特許請求の範囲】
【請求項１】
現場においてカメラが撮像した人間の全身画像から抽出された骨格情報を入力すると前記全身画像の姿勢を示す文字列を出力する姿勢推定モデルを、ユーザが指定する前記全身画像に対して前記ユーザが指定する不安全姿勢を示す文字列をラベル付けした学習データを使用して学習する学習処理部と、
前記姿勢が未知である全身画像から抽出された骨格情報を前記学習した姿勢推定モデルに入力し、前記学習した姿勢推定モデルの出力が前記不安全姿勢を示す文字列となる前記全身画像を特定する推定処理部と、
前記特定した全身画像及び前記特定した全身画像が撮像された時刻を表示する出力処理部と、
を備え、
前記推定処理部は、
前記全身画像の背景に基づいて、前記人間が位置する床面からの高さを推定するとともに、前記人間の周辺に位置する稼働物の有無を検知し、
前記出力処理部は、
前記特定した全身画像が同一の不安全姿勢で連続する時間を算出し、前記算出した時間が所定の閾値を超える場合、前記特定した全身画像及び前記特定した全身画像が撮像された時刻を表示し、
前記床面からの高さ及び前記稼働物の有無に応じた前記所定の閾値を前記連続する時間に適用すること、
を特徴とする安全管理装置。
【請求項２】
前記出力処理部は、
前記特定した全身画像を含む全身画像の連続動画を表示すること、
を特徴とする請求項１に記載の安全管理装置。
【請求項３】
前記出力処理部は、
前記ユーザが時間幅の大きさを指定するのを受け付け、
前記全身画像が前記不安全姿勢に該当する回数を、前記時間幅ごと、前記不安全姿勢ごとに表示すること、
を特徴とする請求項２に記載の安全管理装置。
【請求項４】
安全管理装置の学習処理部は、
現場においてカメラが撮像した人間の全身画像から抽出された骨格情報を入力すると前記全身画像の姿勢を示す文字列を出力する姿勢推定モデルを、ユーザが指定する前記全身画像に対して前記ユーザが指定する不安全姿勢を示す文字列をラベル付けした学習データを使用して学習し、
前記安全管理装置の推定処理部は、
前記姿勢が未知である全身画像から抽出された骨格情報を前記学習した姿勢推定モデルに入力し、前記学習した姿勢推定モデルの出力が前記不安全姿勢を示す文字列となる前記全身画像を特定し、
前記安全管理装置の出力処理部は、
前記特定した全身画像及び前記特定した全身画像が撮像された時刻を表示し、
前記推定処理部は、
前記全身画像の背景に基づいて、前記人間が位置する床面からの高さを推定するとともに、前記人間の周辺に位置する稼働物の有無を検知し、
前記出力処理部は、
前記特定した全身画像が同一の不安全姿勢で連続する時間を算出し、前記算出した時間が所定の閾値を超える場合、前記特定した全身画像及び前記特定した全身画像が撮像された時刻を表示し、
前記床面からの高さ及び前記稼働物の有無に応じた前記所定の閾値を前記連続する時間に適用すること、
を特徴とする安全管理装置の安全管理方法。
【請求項５】
安全管理装置の学習処理部に対し、
現場においてカメラが撮像した人間の全身画像から抽出された骨格情報を入力すると前記全身画像の姿勢を示す文字列を出力する姿勢推定モデルを、ユーザが指定する前記全身画像に対して前記ユーザが指定する不安全姿勢を示す文字列をラベル付けした学習データを使用して学習する処理を実行させ、
前記安全管理装置の推定処理部に対し、
前記姿勢が未知である全身画像から抽出された骨格情報を前記学習した姿勢推定モデルに入力し、前記学習した姿勢推定モデルの出力が前記不安全姿勢を示す文字列となる前記全身画像を特定する処理を実行させ、
前記安全管理装置の出力処理部に対し、
前記特定した全身画像及び前記特定した全身画像が撮像された時刻を表示する処理を実行させ、
前記推定処理部に対し、
前記全身画像の背景に基づいて、前記人間が位置する床面からの高さを推定するとともに、前記人間の周辺に位置する稼働物の有無を検知する処理を実行させ、
前記出力処理部に対し、
前記特定した全身画像が同一の不安全姿勢で連続する時間を算出し、前記算出した時間が所定の閾値を超える場合、前記特定した全身画像及び前記特定した全身画像が撮像された時刻を表示し、
前記床面からの高さ及び前記稼働物の有無に応じた前記所定の閾値を前記連続する時間に適用する処理を実行させること、
を特徴とする安全管理装置を機能させるための安全管理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、安全管理装置、安全管理方法及び安全管理プログラムに関する。
【背景技術】
【０００２】
製造現場で働く作業員は、労働災害と隣合わせであり、立ち作業を長時間連続する、不安全な作業姿勢を取る等によって腰等を痛めてしまう可能性もある。企業においては、労働者の安全を守るための労働基準法を遵守することはもとより、労働災害を防止するため、安全衛生活動を推進している。労働衛生活動の基本は、“安全教育”、“現場巡視”及び“安全指導”の確実な実行である。この考えのもと、現場のリーダが中心になって、安全教育を実施し、現場巡視により問題場面（不安全なポテンシャルのある作業場面）を検出し、現場指導による改善活動へ繋げている。
【０００３】
このような取り組みにおいて、人手による現場巡視には限界がある。そこで、問題場面を発見するために、ビデオカメラ等が撮像した現場の画像を、計算機システムが記憶し再生することになる。しかしながら、再生された映像のなかから、必要な映像を人的に切り出すには、多くの時間が必要となる。
【０００４】
特許文献１において、作業員は、カメラを頭部に装着し、加速度計を腰部に装着する。カメラは、作業員が現に視認している対象物（足場、梯子等）を撮像する。加速度計は、作業員の動作を検知する。特許文献１の安全管理システムは、対象物及び動作の時系列の組み合わせである“基本行動パターン”を予め記憶している。基本行動パターンは、安全行動のサンプルである。特許文献１の安全管理システムは、時々刻々と取得される対象物及び動作の組み合わせが、基本行動パターンから逸脱した場合、作業員に警報を発する。
【０００５】
特許文献２の姿勢推定装置は、撮像した人間の画像をサンプルの画像と照合する。撮像した画像中のある部位（上腕、大腿部等）が他の部位に隠蔽されている場合、撮像した画像を正確にサンプル画像と照合することができない。そこで、特許文献２の姿勢推定装置は、撮像した画像の部位の平行線成分の長さに応じて部位ごとに重みを付す、つまり、隠蔽された部位に注目するか無視するかを区別する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第６４２９４２４号明細書
【特許文献２】特許第５８７７０５３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の安全管理システムは、作業員にカメラ及び加速度計を装着させる。このことは、現場の作業員に負担（手間）を課す可能性がある。また、特許文献１の安全管理システムのカメラは、作業員の全身姿勢を撮像することができない。さらに、特許文献１は、作業員に対する安全教育のための資料を提供することには言及していない。特許文献２の姿勢推定装置は、画像の一部が隠蔽されていても、なんらかの姿勢を推定することが目的であり、特許文献２は、姿勢の安全性については言及していない。
そこで、本発明は、作業員に負担を課すことなく不安全な全身姿勢を検知し安全教育を効果的に行うことを目的とする。
【課題を解決するための手段】
【０００８】
本発明の安全管理装置は、現場においてカメラが撮像した人間の全身画像から抽出された骨格情報を入力すると全身画像の姿勢を示す文字列を出力する姿勢推定モデルを、ユーザが指定する全身画像に対してユーザが指定する不安全姿勢を示す文字列をラベル付けした学習データを使用して学習する学習処理部と、姿勢が未知である全身画像から抽出された骨格情報を学習した姿勢推定モデルに入力し、学習した姿勢推定モデルの出力が不安全姿勢を示す文字列となる全身画像を特定する推定処理部と、特定した全身画像及び特定した全身画像が撮像された時刻を表示する出力処理部と、を備え、推定処理部は、全身画像の背景に基づいて、人間が位置する床面からの高さを推定するとともに、人間の周辺に位置する稼働物の有無を検知し、出力処理部は、特定した全身画像が同一の不安全姿勢で連続する時間を算出し、算出した時間が所定の閾値を超える場合、特定した全身画像及び特定した全身画像が撮像された時刻を表示し、床面からの高さ及び稼働物の有無に応じた所定の閾値を連続する時間に適用すること、を特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。
【発明の効果】
【０００９】
本発明によれば、作業員に負担を課すことなく不安全な全身姿勢を検知し安全教育を効果的に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】安全管理装置の構成等を説明する図である。
【図２】安全管理システムの運用フローを説明する図である。
【図３】姿勢推定モデルの学習及び姿勢の推定を説明する図である。
【図４】骨格情報を説明する図である。
【図５】学習データを説明する図である。
【図６】姿勢推定結果情報を説明する図である。
【図７】時系列チャートを説明する図である。
【図８】閾値情報を説明する図である。
【図９】進捗情報を説明する図である。
【図１０】学習処理手順のフローチャートである。
【図１１】推定処理手順のフローチャートである。
【図１２】出力処理手順のフローチャートである。
【図１３】結果表示画面の一例である。
【発明を実施するための形態】
【００１１】
以降、本発明を実施するための形態（以降“本実施形態”とも呼ぶ）を、図等を参照しながら詳細に説明する。本実施形態は、製造現場における作業員の姿勢を推定する例である。しかしながら、人間が身体を動かす他の現場において、人間の姿勢を推定する例にも本発明は適用可能である。
【００１２】
（安全管理装置）
図１は、安全管理装置１の構成等を説明する図である。安全管理装置１は、一般的なコンピュータであり、中央制御装置１１、マウス、キーボード等の入力装置１２、ディスプレイ等の出力装置１３、主記憶装置１４、補助記憶装置１５及び通信装置１６を備える。これらは、バスで相互に接続されている。補助記憶装置１５は、全身画像３１、骨格情報３２、学習データ３３、姿勢推定モデル３４、姿勢推定結果情報３５、時系列チャート３６、閾値情報３７及び推定進捗情報３８（いずれも詳細後記）を格納している。
【００１３】
主記憶装置１４における骨格抽出処理部２１、学習処理部２２、推定処理部２３及び出力処理部２４は、プログラムである。中央制御装置１１は、これらのプログラムを補助記憶装置１５から読み出し主記憶装置１４にロードすることによって、それぞれのプログラムの機能（詳細後記）を実現する。補助記憶装置１５は、安全管理装置１から独立した構成となっていてもよい。
【００１４】
製造現場３の天井、壁面等に、カメラ４が設置されている。また、作業エリアの目立つ箇所に警報装置５が設置されている。警報装置５は、作業員（図示せず）が携帯する携帯式コンピュータであってもよい。製造現場３の近辺に、ビデオレコーダ７が設置されている。ビデオレコーダ７は、全身画像３１を記憶する。全身画像３１は、カメラ４が撮像した作業員の画像である。全身画像３１は、作業員の周辺の稼働物、背景等を写し込んでもよいが、作業員の全身の画像を必ず含むものとする。全身画像３１が写し込む作業員の人数は、基本的に１名である。しかしながら、全身画像３１は、その１名の他に、近辺にいる他の１又は複数の作業員を写し込んでもよい。安全管理装置１は、ビデオレコーダ７から、全身画像３１を取得する。
【００１５】
製造現場３の管理者（ユーザ）の近辺に、端末装置６が設置されている。ユーザが安全管理装置１から離れている場合、ユーザは端末装置６に対して操作を行う。つまり、端末装置６は、安全管理装置１の入力装置１２及び出力装置１３の機能を補完又は代替する。安全管理装置１、ビデオレコーダ７、警報装置５及び端末装置６は、ネットワーク２を介して相互に接続される。
【００１６】
全身画像３１がビデオレコーダ７に一旦蓄積されることなく、カメラ４が全身画像３１を撮像すると同時に安全管理装置１にその全身画像３１を送信してもよい。この場合、カメラ４が、ビデオレコーダ７を介することなく直接ネットワーク２に接続されてもよい。安全管理装置１、カメラ４、ビデオレコーダ７及び端末装置６は、安全管理システムを構成する。
【００１７】
（運用フロー）
図２は、安全管理システムの運用フローを説明する図である。以下は、ユーザが端末装置６を操作する例である。
【００１８】
まず学習段階では、ステップＳ５１において、カメラ４は、全身画像を取得し、その全身画像をビデオレコーダ７に送信する。ここでの全身画像は、学習データとなるべきサンプルである。ステップＳ５２において、ビデオレコーダ７は、受信した全身画像を記憶する。ステップＳ５３において、端末装置６は、ユーザが学習を指示するのを受け付ける。
【００１９】
ステップＳ５４において、安全管理装置１は、学習を実行する。つまり、安全管理装置１は、ビデオレコーダ７から取得した全身画像から骨格情報３２を抽出するとともに、学習データを作成する。さらに、安全管理装置１は、作成した学習データを使用して姿勢推定モデルを学習し、学習済の姿勢推定モデル３４として記憶する。
【００２０】
次に推定段階では、ステップＳ５５において、カメラ４は、全身画像を取得し、その全身画像をビデオレコーダ７に送信する。ここでの全身画像は、その姿勢を検知するために取得され、当然その姿勢は未知である。ステップＳ５６において、ビデオレコーダ７は、受信した全身画像を記憶する。ステップＳ５７において、端末装置６は、ユーザが推定を指示するのを受け付ける。
【００２１】
ステップＳ５８において、安全管理装置１は、推定を実行する。つまり、安全管理装置１は、ビデオレコーダ７から取得した全身画像から骨格情報３２を抽出するとともに、その骨格情報を学習済の姿勢推定モデル３４に入力し、姿勢推定モデル３４の出力としての姿勢を取得する。さらに、安全管理装置１は、取得した姿勢を姿勢推定結果情報３５として記憶する。
【００２２】
最後に出力段階では、ステップＳ５９において、端末装置６は、ユーザが結果の表示を要求するのを受け付ける。ステップＳ６０において、安全管理装置１は、時系列チャート３６等を作成し記憶する。ステップＳ６１において、端末装置６は、時系列チャート３６等を表示する。
【００２３】
（姿勢推定モデルの学習及び姿勢の推定）
図３は、姿勢推定モデル３４の学習及び姿勢の推定を説明する図である。姿勢推定モデル３４は、骨格情報３２を入力Ｘｉとし、推定ラベル３５を出力Ｙｉとする数理モデルである。骨格情報３２は、カメラが撮像した全身画像３１から抽出された人間の関節位置を示す情報である。推定ラベル３５は、全身画像３１に写り込んだ作業員の姿勢を安全管理装置１がどのように推定したかを示す文字列であり、ここでは、“前屈”、“そんきょ”、“指差呼称”、“高所作業”及びそれらのいずれにも属さないことを示す“その他”である。そして、“前屈”、“そんきょ”、“指差呼称”及び“高所作業”は、全身画像３１における４つの姿勢に上からその順で対応している。
【００２４】
作業員が前屈の姿勢を取ると、腰に負担が掛かる。作業員がそんきょの姿勢を取ると、膝に負担が掛かる。これらは、作業員の健康状態の悪化又は転倒による労働災害の発生に繋がる。よって、以降では、前屈及びそんきょは、“不安全姿勢”と呼ばれることがある。指差呼称及び高所作業は、労働災害には直接関係しないが、安全対策上管理されるべき姿勢である。
【００２５】
姿勢推定モデル３４の実施形態としては、様々なものが想定される。第１の例は、関数“Ｙｉ＝Ｆ（Ｘｉ，ａｉ）”である。Ｘｉは入力変数であり、Ｙｉは出力変数であり、“ａｉ”はパラメータ（係数、切片等）である。添え字“ｉ”は、入力変数及び出力変数が多次元であり、パラメータも複数存在することを示している。
【００２６】
第２の例は、ニューラルネットワークである。よく知られているように、ニューラルネットワークは、入力層、中間層及び出力層を有し、各層は、複数のノードを有する。ある１つのノードは、次の層の各ノードに対して分散的に情報量を伝搬する。次の層のどのノードにどれだけの比率の情報量を伝搬するかを示すものが重みベクトルである。重みベクトルは、入力層及び中間層のノードごとに定義される。
【００２７】
学習データ３３は、全身画像３１から抽出された骨格情報３２に対して人為的に正解ラベル（“前屈”、“そんきょ”、“指差呼称”及び“高所作業”）を付与した教師データである。安全管理装置１は、パラメータ又は重みベクトルの値を無作為的に発生させ、それを関数又はニューラルネットワークに代入する。そして、安全管理装置１は、学習データ３３のある骨格情報を関数又はニューラルネットワークに入力する。すると、関数又はニューラルネットワークは、いずれかの推定ラベルを出力する。
【００２８】
出力された推定ラベル３５は、正解ラベルとは異なっているケースが多い。しかしながら、安全管理装置１は、パラメータ又は重みベクトルの値を少しずつ変化させて代入することを繰り返すと、正解率が向上するケースに偶然行き当たる。姿勢推定モデル３４の学習とは、安全管理装置１がこのような試行錯誤を多数回実行することによって、正解率が最大となるパラメータ又は重みベクトルの値を特定することである。
【００２９】
（骨格情報）
図４は、骨格情報３２を説明する図である。全身画像３１から抽出した図形型式の骨格情報３２（図４右下）を表型式で表現したものが骨格情報３２（図４上）である。表型式の骨格情報３２においては、識別番号欄１０１に記憶された識別番号に関連付けて、特徴点欄１０２には特徴点が、Ｘ座標値欄１０３にはＸ座標値が、Ｙ座標値欄１０４にはＹ座標値が記憶されている。
【００３０】
識別番号欄１０１の識別番号は、骨格の特徴点を一意に特定する番号である。
特徴点欄１０２の特徴点は、骨格の特徴点であり、本実施形態では、骨格の関節点に一致する。ここでは、説明の都合上、特徴点として左側のもののみを記載しているが、右側の特徴点が存在してもよい。
Ｘ座標値欄１０３のＸ座標値は、特徴点のＸ座標値である。Ｘ軸は、図形型式の骨格情報３２の左上の角を原点とする水平方向の軸である（右方向が正）。
Ｙ座標値欄１０４のＹ座標値は、特徴点のＹ座標値である。Ｙ軸は、図形型式の骨格情報３２の左上の角を原点とする垂直方向の軸である（下方向が正）。
【００３１】
（学習データ）
図５は、学習データ３３を説明する図である。学習データ３３においては、フレーム番号欄１１１に記憶されたフレーム番号に関連付けて、正解ラベル欄１１２には正解ラベルが、骨格情報欄１１３には骨格情報が記憶されている。
フレーム番号欄１１１のフレーム番号は、全身画像３１の個別のフレームを一意に特定する番号である。全身画像３１は、時系列の静止画像（数十フレーム／秒）として撮像され、時系列の静止画像は、連続的に再生されることによって動画となる。以降では、当該分野の慣例に従って、各フレームに属する個々の静止画像は、“コマ”とも呼ばれる。
【００３２】
正解ラベル欄１１２の正解ラベルは、前記したように、ユーザが特定のフレーム番号のコマに対して付与した姿勢を示すラベルであり、 “前屈”、“そんきょ”、“指差呼称”及び“高所作業”のいずれかである。端末装置６（又は安全管理装置１の出力装置１３、以下同様）は、正解ラベル欄７１を表示したうえで、全身画像３１の各コマをスライド表示する。そして、端末装置６は、ユーザがあるコマを選択したうえで、正解ラベル欄７１のボタン７１a〜７１ｄのうちのいずれか１つを押下するのを受け付ける。
【００３３】
例えば、ユーザがコマ３１a（フレーム番号は“１”）を選択したうえで、前屈ボタン７１aを押下したとする。すると、安全管理装置１は、フレーム番号“１”を正解ラベル“前屈”に関連付けて記憶する。図５の全身画像３１においては、専ら説明のわかりやすさのために、各コマ上に“前屈”等の文字列が記載されている。しかしながら、安全管理装置１は、ユーザによる操作があって初めて、“前屈”等の正解ラベルを、各コマに付与する。
骨格情報欄１１３の骨格情報は、図４のＸ座標値及びＹ座標値を、所定の順序で記憶したものである。
【００３４】
（姿勢推定結果情報）
図６は、姿勢推定結果情報３５を説明する図である。姿勢推定結果情報３５においては、フレーム番号欄１２１に記憶されたフレーム番号に関連付けて、推定ラベル欄１２２には推定ラベルが、骨格情報欄１２３には骨格情報が、作業位置の高さ欄１２４には作業位置の高さが記憶されている。
【００３５】
フレーム番号欄１２１のフレーム番号は、図５のフレーム番号と同じである。しかしながら、図５のフレーム番号がサンプルとしてのコマを特定するのに対し、図６のフレーム番号は、安全管理装置１が姿勢を推定するべきコマ（後記する“推定対象コマ”）を特定する。
推定ラベル欄１２２の推定ラベルは、前記したように、安全管理装置１が特定のフレーム番号のコマに対して付与した姿勢を示すラベルであり、“前屈”、“そんきょ”、“指差呼称”、“高所作業”及び“その他”のいずれかである。
【００３６】
骨格情報欄１２３の骨格情報は、図５の骨格情報と同じである。
作業位置の高さ欄１２４の作業位置の高さは、作業員の身体の所定の部位の床面（地面）からの高さである。安全管理装置１が作業位置の高さを取得する方法は、例えば以下の通りである。
【００３７】
・安全管理装置１は、数メートル（例えば２メートル）毎おきに多数の姿勢の骨格情報の距離学習をすることで、何メートル先に作業員がいるかの距離推定ができる。安全管理装置１は、例えば２メートル毎おきに学習する。推定結果が“４メートルの確率５０％、６メートルの確率５０％”である場合、安全管理装置１は、推定距離は５メートルであると判断する。安全管理装置１は、出力された推定距離に加え、カメラの高さ及び画角の消失点と中央点から三角法を用い作業位置の高さを出力する。
【００３８】
・安全管理装置１は、カメラの高さ又は画角が変わっても、作業位置の高さを推定するパラメータであるカメラの高さ及び画角の消失点と中央点について、それらパラメータを換算処理することで、距離学習を新たに行うことなく作業位置の高さを出力する。
【００３９】
（時系列チャート）
図７は、時系列チャート３６（３６ａ、３６ｂ、３６ｃ）を説明する図である。まず、時系列チャート３６ａに注目する。時系列チャート３６ａにおいては、推定ラベル欄１３１に記憶された推定ラベルに関連付けて、検知回数欄１３２には検知回数が、検知状況欄１３３には検知状況が記憶されている。
【００４０】
推定ラベル欄１３１の推定ラベルは、図６の推定ラベルと同じである。
検知回数欄１３２の検知回数は、安全管理装置１が全身画像３１のコマに対してその推定ラベルを付与した回数（後記する“報告”の回数）である。
検知状況欄１３３の検知状況は、安全管理装置１がその推定ラベルを付与した全身画像３１のコマが撮像された時点を“●”で示したものである。検知情報欄１３３の横軸は時間であり、“１０：００”等は、その推定ラベルが付与された全身画像３１のコマをカメラ４が撮像した時刻である。図６の全身画像３１の各コマには、撮像された時刻が関連付けられている（図示せず）。●の個数は、検知回数に等しい。
【００４１】
（指定姿勢の検知及び報告）
ユーザが正解ラベルとして指定した姿勢は、“指定姿勢”と呼ばれる。指定姿勢は、不安全姿勢を含む。指定姿勢のうち特に不安全姿勢は、ユーザが安全管理装置１に是非とも検知させたい姿勢である。しかしながら、検知の重要性は、その姿勢の連続時間、作業位置の高さ、周辺の稼働物の有無等によって異なる。例えば、周囲に稼働物がない床面において、作業員がほんの一瞬“前屈”の姿勢を取った場合、安全管理装置１がそれをユーザに報告するのは煩雑である。
【００４２】
そこで、本実施形態は、指定姿勢の“検知”と“報告”とを区別する。安全管理装置１は、指定姿勢に該当するコマが１つでもある場合、必ずそれを検知する。しかしながら、安全管理装置１は、例えば以下の規則１及び規則２に従って、指定姿勢が発生したことをユーザに報告する。
〈規則１〉指定姿勢が連続して検知された時間が所定の閾値（図８）に達して初めて、安全管理装置１は、指定姿勢が１回発生したことをユーザに報告する。
〈規則２〉安全管理装置１は、指定姿勢（推定ラベル）ごと、作業位置の高さごと、周囲の稼働物の有無ごとに異なる閾値（図８）を連続して検知された時間に対して適用する。
【００４３】
図７の時系列チャート３６ａにおける検知回数及び●の個数は、“報告”の回数である。コマ送りの速度にもよるが、一般に、安全管理装置１が指定姿勢を検知するコマの数は、時系列チャート３６ａにおける検知回数及び●の個数よりも遥かに多い。そして、その検知が、時系列チャート３６ａにおける検知回数及び●の個数に結果的に反映されない場合も多い。時系列チャート３６ａを見たユーザは、例えば、以下のことを知る。
【００４４】
・ある日の１０時００分頃から１１時１０分頃までの期間に、作業員は合計２１回、前屈の姿勢を取った。その回数は、１０時２０分及び１１時１０分付近にやや集中している。
・この期間に、作業員は合計７回、そんきょの姿勢を取った。その回数は、その期間の後半にやや集中している。
・この期間に、作業員は指差呼称の姿勢を１回取り、高所作業の姿勢を１回取った。
【００４５】
いま、ユーザは端末装置６に対して、“前屈については１０分の時間幅ごとの検知回数を、そんきょについては２０分の時間幅ごとの検知回数を知りたい”旨の操作を入力したとする。すると、安全管理装置１は、時系列チャート３６ａを時系列チャート３６ｂに遷移する。時系列チャート３６ｂが時系列チャート３６ａに比して異なる点は、以下の通りである。
【００４６】
・安全管理装置１は、レコード１３４において、●に代替して、１０分の時間幅を示す長方形１３６を８個表示している。各長方形１３６は、その１０分間の検知回数を表示している。
・安全管理装置１は、レコード１３５において、●に代替して、２０分の時間幅を示す長方形１３７を４個表示している。各長方形１３７も、その２０分間の検知回数を表示している。
【００４７】
いま、ユーザは端末装置６に対して、“前屈について、１０時２０分及び１１時１０分付近の検知回数を３分２０秒の時間幅ごとに知りたい、それ以外の時間帯の検知回数をまとめて知りたい”旨の操作を入力したとする。すると、安全管理装置１は、時系列チャート３６ｂを時系列チャート３６ｃに遷移する。時系列チャート３６ｃが時系列チャート３６ｂに比して異なる点は、以下の通りである。
【００４８】
・安全管理装置１は、レコード１３４において、１０時２０分付近の長方形１３６に代替して、３分２０秒の時間幅を示す長方形１３８を３個表示し、１１時１０分付近の長方形１３６に代替して、３分２０秒の時間幅を示す長方形１３８を３個表示している。各長方形１３８は、３分２０秒間の検知回数を表示している。
・安全管理装置１は、レコード１３４において、それ以外の時間帯に、２０分の時間幅を示す長方形１３９及び４０分の時間幅を示す長方形１４０を１個ずつ表示している。長方形１３９は、２０分間の検知回数を表示している。長方形１４０は、４０分間の検知回数を表示している。
【００４９】
（閾値情報）
図８は、閾値情報３７を説明する図である。閾値情報３７においては、推定ラベル欄１４１に記憶された推定ラベルに関連付けて、閾値欄１４２には閾値が記憶されている。
推定ラベル欄１４１の推定ラベルは、図６の推定ラベルと同じである。しかしながら、ここでの推定ラベルは、不安全姿勢（前屈及びそんきょ）を必ず含む。ここでの推定ラベルは、その他の特定姿勢の推定ラベルを含んでもよい。
【００５０】
閾値欄１４２の閾値は、前記したように、その推定ラベルの姿勢が連続する時間に対して適用される閾値（単位：秒）である。閾値は、４種類のケース（列）１４２ａ〜１４２ｄごと、推定ラベルごとに設定される。ケースは、作業位置の高さ及び作業員の周囲の稼働物の有無の組み合わせである。
【００５１】
例えば、安全管理装置１は、ユーザによる設定に基づき、図６における作業位置の高さを、“０■”を意味する“床面”、及び、それ以外を意味する“高所”の２つに区分する。さらに、安全管理装置１は、全身画像３１に写り込んだ背景に基づき、その全身画像３１を、作業員の周囲に稼働物があることを示す“あり”、及び、作業員の周囲に稼働物がないことを示す“なし”の２つに区分する。
【００５２】
４種類のケースは、これらの組み合わせ（２×２＝４個）である。これらの区分はあくまでも一例であり、作業位置の高さは、より多くの数に区分され得る。周囲の稼働物の有無も、稼働物の種類（機械、台車、他の作業員等）及びその数に応じてより多くの数に区分され得る。その結果、組み合わせとしてのケースの数がより多くなり得る。
【００５３】
作業員が高所にいるほど、かつ、周囲に稼働物があるほど、不安全姿勢が労働災害を招来する可能性がより高い。したがって、ケース“床面、なし”を基準として、閾値は、作業位置の高さが高所になると小さくなり、周囲の稼働物の有無が“あり”となると小さくなる。閾値が小さくなると、その姿勢が続くことを防止する判断基準がより厳しくなる。
【００５４】
（進捗情報）
図９は、進捗情報３８を説明する図である。進捗情報３８においては、登録番号欄１５１に記憶された登録番号に関連付けて、状態欄１５２には状態が、画像時刻欄１５３には画像時刻が、登録時刻欄１５４には登録時刻が、開始時刻欄１５５には開始時刻が、完了時刻欄１５６には完了時刻が、レポートページ欄１５７にはリンク情報が記憶されている。
【００５５】
登録番号欄１５１の登録番号は、進捗情報３８のレコード（行）を一意に特定する番号である。
状態欄１５２の状態は、“登録済”、“実行中”又は“完了”のいずれかである。“登録済”は、姿勢が未知である時系列の全身画像が、ビデオレコーダ７又は安全管理装置１の補助記憶装置１５に記憶（登録）された（図２のステップＳ５６）ことを示す。“実行中”は、“登録済”の状態から進み、安全管理装置１が学習済の姿勢推定モデル３４を使用して、姿勢の推定を実行中である（図２のステップＳ５８）ことを示す。“完了”は、“実行中”の状態からさらに進み、安全管理装置１が姿勢の推定を完了したことを示す。
【００５６】
画像時刻欄１５３の画像時刻は、登録済の全身画像３１の連続画像の最初のコマが撮像された時刻と最後のコマが撮像された時刻の年月日時分秒である。
登録時刻欄１５４の登録時刻は、全身画像３１が登録された時刻の年月日時分秒である。
【００５７】
開始時刻欄１５５の開始時刻は、安全管理装置１が学習済の姿勢推定モデル３４を使用して、姿勢の推定を実行し始めた時刻の年月日時分秒である。
完了時刻欄１５６の完了時刻は、安全管理装置１が姿勢の推定を完了した時刻の年月日時分秒である。
レポートページ欄１５７のリンク情報は、ユーザが視認するべき結果表示情報８１（図１３の説明として後記）が格納されている補助記憶装置１５等のネットワーク２上の位置情報である。
【００５８】
（処理手順）
以降、本実施形態の処理手順を説明する。処理手順は、学習処理手順、推定処理手順及び出力処理手順からなる。これらの処理手順は、この順に実行される。
【００５９】
（学習処理手順）
図１０は、学習処理手順のフローチャートである。
ステップＳ２０１において、安全管理装置１の学習処理部２２は、サンプルの全身画像３１を取得する。具体的には、第１に、学習処理部２２は、ビデオレコーダ７からサンプルの全身画像３１のうち最初のコマを取得する。
第２に、学習処理部２２は、最初のコマを端末装置６に表示する。
第３に、学習処理部２２は、正解ラベルボタン７１（図５）を端末装置６に表示する。
【００６０】
ステップＳ２０２において、学習処理部２２は、必要な全身画像であるか否かを判断する。全身画像３１のコマのうちには、管理上必要がないと判断するコマ（安全な姿勢で作業をしているコマ等）が混じっている。そこで、ユーザは、表示されているコマが学習データとして必要ないと判断すると、“スキップ”ボタン（図示せず）を押下する。学習処理部２２は、スキップボタンの押下を受け付けた場合（ステップＳ２０２“Ｎｏ”）、ステップＳ２０５に進み、それ以外の場合（ステップＳ２０２“Ｙｅｓ”）、ステップＳ２０３に進む。
【００６１】
ステップＳ２０３において、学習処理部２２は、正解ラベルを受け付ける。具体的には、第１に、学習処理部２２は、ユーザが、表示されているコマを選択したうえで、正解ラベルボタン７１ａ〜７１■（図５）のいずれかを押下するのを受け付ける。説明の都合上、いまコマ３１ａが表示されており、ユーザは、そのコマ３１ａを選択したうえで、前屈ボタン７１ａを押下したとする。
第２に、学習処理部２２は、学習データ３３（図５）の新たなレコードを作成し、フレーム番号欄１１１にコマ３１ａのフレーム番号“１”を記憶し、正解ラベル欄１１２に“前屈”を記憶する。この段階では、骨格情報欄１１３は、空白のままである。
【００６２】
ステップＳ２０４において、安全管理装置１の骨格抽出処理部２１は、骨格情報３２を抽出する。具体的には、第１に、骨格抽出処理部２１は、コマ３１ａから図形型式の骨格情報３２（図４の右下）を抽出する。
第２に、骨格抽出処理部２１は、抽出した図形型式の骨格情報３２に基づき、表型式の骨格情報３２（図４の上）を作成する。骨格抽出処理部２１は、ここで作成した表型式の骨格情報３２にフレーム番号“１”を付したうえで、補助記憶装置１５に記憶する。
第３に、骨格抽出処理部２１は、ステップＳ２０３の“第２”において作成した新たなレコードの骨格情報欄１１３に、骨格情報（Ｘ座標値及びＹ座標値）を記憶する。
【００６３】
ステップＳ２０５において、安全管理装置１の学習処理部２２は、未処理のフレームがあるか否かを判断する。具体的には、学習処理部２２は、未処理のフレーム（コマ）がある場合（ステップＳ２０５“Ｙｅｓ”）、ステップＳ２０１に戻り、次のコマについて同様の処理を繰り返す。学習処理部２２は、それ以外の場合（ステップＳ２０５“Ｎｏ”）、ステップＳ２０６に進む。
【００６４】
ステップＳ２０１〜Ｓ２０５の繰り返し処理が終了した段階で、図５に示すような学習データ３３が完成していることになる。学習データ３３の各レコードの正解ラベル欄１１２は、“前屈”、“そんきょ”、“指差呼称”及び“高所作業”のうちのいずれかを記憶している。仮に正解ラベルが“前屈”であるレコードが１０本記憶されている場合、１０本の各レコードの骨格情報は、いずれも前屈の姿勢を示すが、細部は相互に相違している。他の姿勢についても同様である。
【００６５】
ステップＳ２０６において、学習処理部２２は、姿勢推定モデル３４を学習する。具体的には、学習処理部２２は、学習データ３３（図５）を使用して、前記した方法で姿勢推定モデル３４のパラメータ（又は重みベクトル）を最適化する。
【００６６】
ステップＳ２０７において、学習処理部２２は、学習済の姿勢推定モデル３４を記憶する。具体的には、学習処理部２２は、学習済の姿勢推定モデル３４を補助記憶装置１５に記憶する。
その後、学習処理手順を終了する。
【００６７】
（推定処理手順）
図１１は、推定処理手順のフローチャートである。推定処理手順を開始する前提として、閾値情報３７（図８）が、完成状態で補助記憶装置１５に記憶されているものとする。
【００６８】
ステップＳ３０１において、安全管理装置１の推定処理部２３は、姿勢が未知である全身画像３１を取得する。具体的には、推定処理部２３は、ビデオレコーダ７に登録済の時系列の全体画像３１（図６）から最初のコマを取得する。なお、推定処理部２３は、ビデオレコーダ７を介することなく、カメラ４から全身画像を直接取得してもよい（リアルタイム推定ケース）。いずれの場合も、ここで取得されたコマは、説明の便宜上“推定対象コマ”と呼ばれる。全体画像３１（図６）は、実際には安全上特に問題のない姿勢のコマを多く含んでいるが、そのようなコマを含め、すべてのコマが推定対象コマとなる。
【００６９】
ステップＳ３０２において、安全管理装置１の骨格抽出処理部２１は、骨格情報３２を抽出する。具体的には、第１に、骨格抽出処理部２１は、推定対象コマから図形型式の骨格情報３２を抽出する。
第２に、骨格抽出処理部２１は、ステップＳ２０４の“第２”の処理を実行する。
【００７０】
ステップＳ３０３において、安全管理装置１の推定処理部２３は、骨格情報３２を学習済の姿勢推定モデル３４に入力する。具体的には、推定処理部２３は、ステップＳ３０２の“第１”において抽出した骨格モデル３２を、ステップＳ２０７（図１０）において記憶した学習済の姿勢推定モデル３４に入力する。
【００７１】
ステップＳ３０４において、推定処理部２３は、推定ラベルを取得する。具体的には、第１に、推定処理部２３は、学習済の姿勢推定モデル３４が出力する推定ラベルを取得する。ここで取得される推定ラベルは、“前屈”、“そんきょ”、“指差呼称”、“高所作業”及び“その他”のいずれかである。
【００７２】
第２に、推定処理部２３は、ステップＳ３０４の“第１”において取得された推定ラベルが“前屈”である場合、“前屈カウント値”に“１”を加算する。推定処理部２３は、ステップＳ３０４の“第１”において取得された推定ラベルが“そんきょ”である場合、“そんきょカウント値”に“１”を加算する。前屈カウント値の初期値及びそんきょカウント値の初期値は、“０”である。
【００７３】
推定処理部２３は、前屈カウント値が加算され続けた後、推定ラベルが“前屈”以外のものになった場合、前屈カウント値を“０”に戻す。そんきょカウント値についても同様である。推定処理部２３は、前屈カウント値又はそんきょカウント値を、推定対象コマのフレーム番号に関連付けて補助記憶装置１５に記憶する。
【００７４】
ステップＳ３０５において、推定処理部２３は、作業位置の高さを算出する。具体的には、推定処理部２３は、前記した方法で作業位置の高さを算出する。
【００７５】
ステップＳ３０６において、推定処理部２３は、急ぎ警報を発する必要があるか否かを判断する。具体的には、第１に、推定処理部２３は、以下の条件１及び条件２がすべて満たされているか否かを調べる。
〈条件１〉前屈カウント値又はそんきょカウント値が所定の閾値に達している。推定処理部２３は、推定ラベル、作業位置の高さ及び推定対象コマに写り込んだ稼働物の有無を検索キーとして、閾値情報３７（図８）から閾値を取得する。
〈条件２〉現在、リアルタイム推定ケースが実行されている。
【００７６】
第２に、推定処理部２３は、条件１及び条件２がすべて満たされている場合（ステップＳ３０６“Ｙｅｓ”）、ステップＳ３０７に進み、それ以外場合（ステップＳ３０６“Ｎｏ”）、ステップＳ３０８に進む。
【００７７】
ステップＳ３０７において、推定処理部２３は、警報を発する。具体的には、推定処理部２３は、警報装置５に対して警報を送信する。ここでの警報の例は、“前屈姿勢の取り過ぎにご注意ください”という音声ガイドである。
【００７８】
ステップＳ３０８において、推定処理部２３は、未処理のフレームがあるか否かを判断する。具体的には、学習処理部２２は、推定対象コマとなっていないコマが残っている場合（ステップＳ３０８“Ｙｅｓ”）、ステップＳ３０１に戻り、次の推定対象コマについて同様の処理を繰り返す。学習処理部２２は、それ以外の場合（ステップＳ３０８“Ｎｏ”）、ステップＳ３０９に進む。
ステップＳ３０１〜Ｓ３０８の繰り返し処理を終了した段階で、各推定対象コマについて、フレーム番号、推定ラベル、骨格情報及び作業位置の高さが取得されて一時的に主記憶装置１４に記憶されていることになる。
【００７９】
さらにこの段階で、ステップＳ３０４の“第２”の結果として、例えば以下のようなデータが補助記憶装置１５に記憶されていることになる。
（フレーム番号，前屈カウント値）＝（１１，０），（１２，１）、（１３，２），（１４，０），・・・，（２０，０），（２１，１），（２２，２），（２３，３），（２４，０），・・・
このデータは、各不安全姿勢の連続コマ数、すなわち連続時間を知るためのデータであり、以降で、“連続情報”とも呼ばれる。なお、ここでの連続情報のフレーム番号は、図６における全身画像３１のフレーム番号とは整合していない。
【００８０】
ステップＳ３０９において、推定処理部２３は、姿勢推定結果情報３５（図６）を作成する。具体的には、推定処理部２３は、一時的に記憶されている、フレーム番号、推定ラベル、骨格情報及び作業位置の高さの組み合わせに基づいて、姿勢推定結果情報３５を作成する。図６において、推定ラベル欄１２２に“その他”が記憶されているレコードは、推定対象コマの姿勢が、“前屈”、“そんきょ”、“指差呼称”及び“高所作業”のいずれでもないと推定処理部２３が判断したレコードである。推定処理部２３は、これらのレコードを削除してもよい。
【００８１】
ステップＳ３１０において、推定処理部２３は、姿勢推定結果情報３５を記憶する。具体的には、推定処理部２３は、ステップＳ３０９において作成した姿勢推定結果情報３５を補助記憶装置１５に記憶する。
その後、推定処理手順を終了する。
【００８２】
（進捗情報のレコードの遷移）
推定処理部２３は、推定処理手順を開始する前に、連続するある全身画像３１（図６）について、進捗情報３８（図９）の“登録済”のレコードを作成し終えている。推定処理部２３は、推定処理手順を開始した時点で、当該全身画像３１について、“登録済”のレコードを“実行中”に更新し、推定処理手順を終了した時点で、当該全身画像３１について、“実行中”のレコードを“完了”に更新する。
【００８３】
（出力処理手順）
図１２は、出力処理手順のフローチャートである。
ステップＳ４０１において、安全管理装置１の出力処理部２４は、時系列チャート３６を作成する。具体的には、出力処理部２４は、連続情報及びステップＳ３１０において記憶した姿勢推定結果情報３５（図６）を使用して、時系列チャート３６ａ（図７）を作成する。このとき、出力処理部２４は、閾値情報３７（図８）を参照して、時系列チャート３６ａにおいて１つの●として表現するべき連続画像のコマを特定する。つまり、出力処理部２４は、同じ“前屈”であっても、１０秒間を超えて連続するコマを１つの●とする場合（高所、あり）もあるし、３０秒間を超えて連続するコマを１つの●とする場合（床面、なし）もある。
【００８４】
例えば、出力処理部２４は、姿勢推定結果情報３５（図６）のあるレコードを取得したとする。そのレコードの推定ラベルが“前屈”であり、作業位置の高さが“１０ｍ”であり、フレーム番号に対応するコマの背景に稼働物が写り込んでいるとする。すると、出力処理部２４は、“前屈”、“高所”及び“あり”を検索キーとして閾値情報３７（図８）を検索し、閾値“１０秒”を取得する。そして、出力処理部２４は、連続情報を参照した結果、“前屈”、“高所”及び“あり”のコマが１０秒を超えて連続したと判断した場合、１つの●を生成する。
【００８５】
ステップＳ４０２において、出力処理部２４は、時系列チャート及びサマリ情報を表示する。具体的には、第１に、出力処理部２４は、端末装置６に結果表示画面８１（図１３）を表示する。なお、端末装置６からの能動的な要求（ブラウザ視聴要求）を契機として、ステップＳ４０２の処理が開始されてもよい。
第２に、出力処理部２４は、ステップＳ４０１において作成した時系列チャート３６ａを結果表示画面８１に表示する。
第３に、出力処理部２４は、サマリ情報８２を結果表示画面８１に表示する。サマリ情報８２は、時系列チャート３６ａの検知回数を集計した表である。
【００８６】
ステップＳ４０３において、出力処理部２４は、画像表示要求を受け付ける。具体的には、出力処理部２４は、ユーザが時系列チャート３６ａ上のいずれかの“●”を選択するのを受け付ける。
ステップＳ４０４において、出力処理部２４は、全身画像を表示する。具体的には、出力処理部２４は、ステップＳ４０３において選択された●に対応する全身画像３１のコマ（例えば１つの●に対応する複数のコマのうちの最初のコマ）を結果表示画面８１に表示する。図１３は、ここで表示される結果表示画面８１の例である。フローチャートの途中であるが、説明は、一旦図１３に移る。
【００８７】
図１３は、結果表示画面８１の一例である。図１３の全身画像のコマ３１は、２人の作業員を映し込んでいる。出力処理部２４は、このうち右側の作業員の姿勢“Ｂｅｎｄ  ｆｏｒｗａｒｄ（前屈）”を報告の対象と認識しているのに対し、左側の作業員の姿勢“Ｃｒｏｕｃｈ（そんきょ）”を報告の対象とは認識していない。このことは、“Ｃｒｏｕｃｈ”に関連付けて“Ｓａｆｅ”が表示され、“Ｂｅｎｄ  ｆｏｒｗａｒｄ”に関連付けて“Ｕｎｓａｆｅ”が表示されていることからわかる。右側の作業員を基準にすると、左側の作業員は、周囲の稼働物に相当する。そして、コマ３１には、床面が写り込んでいる。したがって、このコマ３１を報告対象としたときの閾値（図８）は、“前屈、床面、あり”に対応する“２０秒”である。説明をステップＳ４０５に戻す。
【００８８】
ステップＳ４０５において、出力処理部２４は、動画を表示する。具体的には、第１に、出力処理部２４は、ユーザが動画ボタン８３を押下するのを受け付ける。
第２に、出力処理部２４は、ステップＳ４０３において選択された●に対応するすべてのコマの連続画像を動画として結果表示画面８１に表示する。
ステップＳ４０６において、出力処理部２４は、グルーピング要求を受け付ける。具体的には、出力処理部２４は、ユーザがグルーピング欄８４に、推定ラベル及び時間幅の１又は複数の組み合わせを入力するのを受け付ける。説明の都合上、ユーザは、“前屈、１０分ごと”及び“そんきょ、２０分ごと”を入力したとする。
【００８９】
ステップＳ４０７において、出力処理部２４は、グルーピング後の時系列チャート３６を作成する。具体的には、出力処理部２４は、ステップＳ４０６において受け付けたグルーピング要求に応じて、時系列チャート３６ｂ（図７）を作成する。
ステップＳ４０８において、出力処理部２４は、グルーピング後の時系列チャート３６を表示する。具体的には、出力処理部２４は、ステップＳ４０７において作成した時系列チャート３６ｂを結果表示画面８１に表示する。
その後、出力処理手順を終了する。
【００９０】
（本実施形態の効果）
本実施形態の安全管理装置の効果は以下の通りである。
（１）安全管理装置は、作業員が不安全姿勢を取った時刻とその全身画像を表示することができる。
（２）安全管理装置は、不安全姿勢の動画を表示することができる。
（３）安全管理装置は、不安全姿勢の回数を時間幅ごとに表示することができる。
（４）安全管理装置は、不安定姿勢が同一姿勢で連続する時間が閾値を超えた場合、不安全姿勢を表示することができる。
（５）安全管理装置は、床面からの高さ及び稼働物の有無に応じた閾値を、不安定姿勢が同一姿勢で連続する時間に適用することができる。
【００９１】
なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００９２】
１      安全管理装置
２      ネットワーク
３      製造現場
４      カメラ
５      警報装置
６      端末装置
７      ビデオレコーダ
１１    中央制御装置
１２    入力装置
１３    出力装置
１４    主記憶装置
１５    補助記憶装置
１６    通信装置
２１    骨格抽出処理部
２２    学習処理部
２３    推定処理部
２４    出力処理部
３１    全身画像
３２    骨格情報
３３    学習データ
３４    姿勢推定モデル
３５    姿勢推定結果情報
３６    時系列チャート
３７    閾値情報
３８    推定進進捗情報
【図１】
0006884819.tif 000002
【図２】
0006884819.tif 000003
【図３】
0006884819.tif 000004
【図４】
0006884819.tif 000005
【図５】
0006884819.tif 000006
【図６】
0006884819.tif 000007
【図７】
0006884819.tif 000008
【図８】
0006884819.tif 000009
【図９】
0006884819.tif 000010
【図１０】
0006884819.tif 000011
【図１１】
0006884819.tif 000012
【図１２】
0006884819.tif 000013
【図１３】
0006884819.tif 000014