(57)【要約】【課題】作業者の作業の様子を撮影した映像から、危険が推定される作業を検出し、ユーザの作業負荷を低減する。【解決手段】解析装置101と表示装置102とを有する危険作業検出システムであって、解析装置101は、作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する危険作業解析部112を備え、表示装置102は、危険作業が実施されている静止画の部分は第１の速度で再生し、前記危険作業が実施されている静止画以外の部分は、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする。【選択図】図１
2020010154.tif 000002
【特許請求の範囲】
【請求項１】
解析装置と表示装置とを有する危険作業検出システムであって、
前記解析装置は、
作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する危険作業解析部を備え、
前記表示装置は、
前記危険作業が実施されている静止画の部分は第１の速度で再生し、前記危険作業が実施されている静止画以外の部分は、前記第１の速度より速い第２の速度で再生、または、再生せずスキップすること
を特徴とする危険作業検出システム。
【請求項２】
危険作業を検出する解析装置であって、
作業を撮影した動画から抽出した複数の静止画を解析し、各静止画から人物を検出する人物検出部と、
前記複数の静止画を解析し、各静止画から、危険作業の要因となる対象物を検出する対象物検出部と、
前記人物検出部の検出結果および前記対象物検出部の検出結果を用いて、前記複数の静止画の危険度を判定する危険度判定部と、
前記危険度がない静止画の部分のみ、再生速度がN倍になるように編集して動画を作成する動画作成部と、を備えること
を特徴とする解析装置。
【請求項３】
請求項２に記載の解析装置であって、
前記人物検出部および前記対象物検出部の少なくとも１つは、ディープラーニング技術により生成された学習済みモデルを用いて、前記人物および前記対象物の少なくとも１つを検出すること
を特徴とする解析装置。
【請求項４】
請求項２または３に記載の解析装置であって、
前記人物は第１の色または第１の模様を着用し、
前記人物検出部は、前記第１の色または前記第１の模様を検出することで、前記人物を検出すること
を特徴とする解析装置。
【請求項５】
請求項２ないし４のいずれか１項に記載の解析装置であって、
前記対象物には第２の色または第２の模様が設定され、
前記対象物検出部は、前記第２の色または前記第２の模様を検出することで、前記対象物を検出すること
を特徴とする解析装置。
【請求項６】
請求項２ないし５のいずれか１項に記載の解析装置であって、
前記危険度判定部は、
前記人物および前記対象物の両方が検出されているかを判定する第１の判定部と、
前記人物と前記対象物の水平方向が重なっているか、もしくは前記人物と前記対象物とが近傍であるかを判定する第２の判定部と、
前記人物が前記対象物より上方にあるかを判定する第３の判定部と、
前記第１の判定部、前記第２の判定部および前記第３の判定部のそれぞれの判定結果を用いて、危険度の有無、および、危険度のレベルの少なくとも１つを取得する判定結果算出部とを備えること
を特徴とする解析装置。
【請求項７】
請求項６に記載の解析装置であって、
前記第３の判定部は、前記人物と前記動画を撮影するカメラとの距離、および、前記静止画の中で前記人物が映っている位置を用いて、前記人物の床からの高さを推定すること
を特徴とする解析装置。
【請求項８】
請求項６または７に記載の解析装置であって、
前記第３の判定部は、前記人物が装着した高度計の測定データを用いて、前記人物の床からの高さを推定すること
を特徴とする解析装置。
【請求項９】
請求項６ないし８のいずれか１項に記載の解析装置であって、
前記第３の判定部は、前記人物が下向きに装着したレーザー測距計の測定データを用いて、前記人物の床からの高さを推定すること
を特徴とする解析装置。
【請求項１０】
作業を撮影した動画を再生する表示装置であって、
前記表示装置の画面には、
前記動画を表示する領域と、
前記動画の再生位置を示すシークバーと、
前記シークバーに対応する時間帯における作業の危険度の有無または危険度のレベルを、それぞれ異なる色または異なる模様で示すカラーバーと、が表示され、
前記危険度の有または危険度のレベルが高い第１の時間帯の動画を、第１の速度で再生し、前記第１の時間帯以外の第２の時間帯の動画を、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする再生部を備えること
を特徴とする表示装置。
【請求項１１】
請求項１０に記載の表示装置であって、
前記表示装置の画面には、前記シークバーに対応する時間帯における、前記危険度の有無または危険度のレベルの判定に用いた指標値のグラフが、さらに表示されること
を特徴とする表示装置。
【請求項１２】
解析装置と表示装置とを有する危険作業検出システムが行う危険作業検出方法であって、
前記解析装置は、
作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する検出ステップを行い、
前記表示装置は、
前記危険作業が実施されている静止画の部分は第１の速度で再生し、前記危険作業が実施されている静止画以外の部分は、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする再生ステップを行うこと
を特徴とする危険作業検出方法。
【請求項１３】
コンピュータを、請求項２から９のいずれか１項に記載の解析装置として機能させるための危険作業検出プログラム。
【請求項１４】
コンピュータを、請求項１０または１１に記載の表示装置として機能させるための危険作業検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業者の作業の様子を撮影した映像から、危険が推定される作業を検出する技術に関する。
【背景技術】
【０００２】
従来、作業者の作業の安全を確保する施策として、作業の様子をビデオカメラで撮影し、撮影した動画の映像を持ち帰って、目視で確認することで、危険な作業を実施していなかったかどうかを人間が判定して、今後の作業の改善に役立てるという活動が行われていた。
【０００３】
例えば、サーバー室での機器設置工事作業においては、サーバーラック天井部にケーブルを敷設する際、脚立や梯子などの台の上に人が上って工事作業を行う。この際、足を滑らせて脚立から落下したり、脚立が転倒したりといった事故が発生し、重篤な怪我につながるケースが散見されている。これを防止するために落下防止ベルトなどの安全具を装着するなどの作業手順が規定されている。作業者の作業状況を監視する技術として、特許文献１がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2006-285639号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
作業手順の遵守は、作業者個人に委ねられているのが実情である。そこで、撮影した映像を確認して、このような作業をしている際に安全具が正しく装着されているかを第三者が後日確認して、作業改善の指導を行うことが行われている。
【０００６】
しかしながら、映像の確認は、全て人手による目視作業に頼っており、膨大な手間がかかるという問題があり、この手間の軽減が課題となっていた。
【０００７】
本発明は以上の課題を鑑みてなされたものであり、本発明の目的は、作業者の作業の様子を撮影した映像から、危険が推定される作業を検出し、ユーザの作業負荷を低減する技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、解析装置と表示装置とを有する危険作業検出システムであって、前記解析装置は、作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する危険作業解析部を備え、前記表示装置は、前記危険作業が実施されている静止画の部分は第１の速度で再生し、前記危険作業が実施されている静止画以外の部分は、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする。
【０００９】
本発明は、危険作業を検出する解析装置であって、作業を撮影した動画から抽出した複数の静止画を解析し、各静止画から人物を検出する人物検出部と、前記複数の静止画を解析し、各静止画から、危険作業の要因となる対象物を検出する対象物検出部と、前記人物検出部の検出結果および前記対象物検出部の検出結果を用いて、前記複数の静止画の危険度を判定する危険度判定部と、前記危険度がない静止画の部分のみ、再生速度がｎ倍になるように編集して動画を作成する動画作成部と、を備える。
【００１０】
本発明は、作業を撮影した動画を再生する表示装置であって、前記表示装置の画面には、前記動画を表示する領域と、前記動画の再生位置を示すシークバーと、前記シークバーに対応する時間帯における作業の危険度の有無または危険度のレベルを、それぞれ異なる色または異なる模様で示すカラーバーと、が表示され、前記危険度の有または危険度のレベルが高い第１の時間帯の動画を、第１の速度で再生し、前記第１の時間帯以外の第２の時間帯の動画を、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする再生部を備える。
【００１１】
本発明は、解析装置と表示装置とを有する危険作業検出システムが行う危険作業検出方法であって、前記解析装置は、作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する検出ステップを行い、前記表示装置は、前記危険作業が実施されている静止画の部分は第１の速度で再生し、前記危険作業が実施されている静止画以外の部分は、前記第１の速度より速い第２の速度で再生、または、再生せずスキップする再生ステップを行う。
【００１２】
本発明は、コンピュータを、上記解析装置として機能させるための危険作業検出プログラムである。
【００１３】
本発明は、コンピュータを、上記表示装置として機能させるための危険作業検出プログラムである。
【発明の効果】
【００１４】
本発明によれば、作業者の作業の様子を撮影した映像から、危険が推定される作業を検出し、ユーザの作業負荷を低減する技術を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】システムの構成を示す。
【図２】解析しようとする静止画を示す。
【図３】静止画から人物と台を検出した様子を示す。
【図４】判定結果算出部の動作のフローチャートを示す。
【図５】静止画に枠を描画した様子を示す。
【図６】映像のそれぞれの時間帯における判定結果の一覧を示す。
【図７】再生速度を変更した動画を生成する様子を示す。
【図８】再生速度の変更を反映した判定結果の一覧を示す。
【図９】画面の表示内容を示す。
【図１０】画面の他の表示内容を示す。
【図１１】図１０の画面において動画の一部がスキップされて再生される様子を示す。
【図１２】図１０の画面において所定の部分の動画に移動して再生される様子を示す。
【図１３】人物の床からの高さを比率によって算出する方法を示す。
【発明を実施するための形態】
【００１６】
本発明の実施の形態の一つを以下に示す。
【００１７】
図１は、本実施の形態におけるシステムの構成を示す。
【００１８】
本システムは、解析装置101と表示装置102とを有し、これらの装置はネットワーク103を介して接続されている。
【００１９】
解析装置101は、ビデオカメラ 105で撮影した動画の映像を入力とする。
【００２０】
解析装置101は、静止画抽出部111と、危険作業解析部112と、動画作成部113とを有する。
【００２１】
危険作業解析部112は、作業を撮影した動画から抽出した複数の静止画を解析し、危険作業が実施されている静止画を検出する。図示する危険作業解析部112は、静止画を解析して人物を検出する人物検出部121と、静止画を解析して静止画から台（対象物）を検出する台検出部122（対象物検出部）と、人物検出部121および台検出部122の検出結果を用いて、複数の静止画の危険度を判定する危険度判定部123とを有する。
【００２２】
人物検出部121は、学習済みモデル131と、ディープラーニング(DL)ライブラリ 132とを有する。台検出部122は、学習済みモデル141と、DLライブラリ142とを有する。危険度判定部123は、第一判定部151と、第二判定部152と、第三判定部153と、判定結果算出部154とを有する。
【００２３】
動画作成部113は、危険度がない静止画の部分のみ、再生速度がN倍になるように編集して動画を作成する。動画作成部113は、枠描画部161と、再生速度変更部162とを有する。
【００２４】
表示装置102は、画面 171と、ユーザ入力手段172と、再生部173とを具備する。ユーザ入力手段172は、マウス、タッチパッド、タッチスクリーン、キーボード、ボタンなどを含む各種の入力デバイスであってよい。再生部173は、危険作業が実施されている静止画の部分は第１の速度で再生し、危険作業が実施されている静止画以外の部分は、第１の速度より速い第２の速度で再生、または、再生せずスキップする。
【００２５】
これらの装置101、102は、以下に順次示す手順によって、危険が推定される作業の映像を検出して表示する動作を行う。
【００２６】
まず、解析装置101は、ビデオカメラ105で撮影した動画の映像を入力とする。ここでは、例えば再生時間10分の動画が撮影され、そのファイルが解析装置101に入力されたものとする。
【００２７】
静止画抽出部111は、当該動画を複数の静止画（フレーム）に分割し、さらに、静止画の間引きを行う。すなわち、連続するM個のフレームの中から1フレーム抽出する。具体的には、動画が毎秒30フレームで撮影されていたとして、例えば6枚に1枚のフレームのみを選択し、毎秒5フレーム相当に間引く。この間引き処理によって、以降の解析処理にかかる計算量の総量を削減することができる。
【００２８】
作業の様子を撮影した動画において、0.2秒を大きく下回る短い時間で様相がめまぐるしく変化することはないから、このような間引き処理は用途に照らし合わせて妥当である。
【００２９】
以降、危険作業解析部112は、上記間引き処理で抽出された複数の静止画（静止画群）を入力し、各々の静止画について、画像解析処理を行っていく。
【００３０】
なお、元来、動画とは毎秒30フレームなど連続的に撮影した静止画の集まりを、連続的に表示することで実現されているものである。そのため、動画を扱う場合には、動画を実現するファイル形式を用いてもよいし、あるいは、静止画のファイルの集合を用いてもよく、これらは等価であるから、後者の手法であっても実質的に動画を取り扱うことができる。ここでは、動画には、動画を実現するファイル形式だけでなく、静止画のファイルの集合も含まれる。
【００３１】
図２は、解析しようとする静止画の一例を示す。
【００３２】
ここでは例えば、静止画抽出部111が前記間引き処理を行った結果、開始から4分経過時点での映像が図２のような様子であったことを表す。静止画 201には、人物 202と脚立 203が映っている。本実施の形態では、危険作業の要因となる可能性のある所定の対象物（道具、装置など）として、脚立などの台を検出する例を以下に示していく。
【００３３】
なお、対象物は、脚立、はしご、踏み台、足場台、作業台など、高い位置で作業するために人が乗る台に限定されない。例えば、対象物は、ケーブル、配線などを切断する道具（はさみ、ナイフなど）であってもよい。
【００３４】
危険作業解析部112は、入力された静止画から、まず、人物検出部121によって人物を検出する。人物検出部121には、予め人物の画像を学習させた結果として得られる学習済みモデル131が構成要素として組み込まれている。DLライブラリ132は、学習済みモデル131を用いて、入力された画像（静止画）から人物が映っているか否かを判定し、判定の際の確からしさを確信度として出力する。さらに、DLライブラリ132は、映りこんでいる人物の静止画の中の位置（ここでは左上と右下の座標）を取得する。
【００３５】
画像を処理対象とするDLライブラリは、その実装はオープンソース等で広汎に利用可能であり、予め大量の教師データをDLの学習機能に入力することで、ニューラルネットワークの繋がりを学習させる。これにより、DLライブラリは、人物検出部121のDLライブラリ132のように実際に利用した際に、予め学習させたデータと同一種の画像が映りこんでいるか否かを判定し、判定の際の確からしさを確信度として出力し、さらに、映りこんでいる前記同一種の画像の位置の左上と右下の座標を得ることができる。
【００３６】
このようなDLライブラリの実装を用いることで、上記述べた人物検出部121は実現できる。
【００３７】
危険作業解析部112は、次に、台検出部122によって対象物すなわち本実施の形態においては脚立を検出する。台検出部122には、予め対象物の画像を学習させた結果得られる学習済みモデル141が構成要素として組み込まれている。DLライブラリ142は、学習済みモデル141を用いて、入力された画像から対象物が映っているか否かを判定し、判定の際の確からしさを確信度として出力し、さらに、映りこんでいる対象物の位置の左上と右下の座標を取得する。
【００３８】
図３は、静止画から人物と台を検出した様子を示す。
【００３９】
この例では、人物 202も台 203も静止画 201に映っているから、人物および台の検出に成功している。したがって、危険作業解析部112は、人物202のX座標が301から302の範囲で、人物のY座標が311から312の範囲であるという検出結果を取得する。また、危険作業解析部112は、台のX座標が303から304の範囲で、台のY座標が313から314の範囲であるという検出結果を取得する。また、危険作業解析部112は、人物と台のそれぞれについての確信度（百分率の値）を取得する。
【００４０】
危険作業解析部112は、次に、危険度判定部123によって、前記得られた検出結果に基づき、以下の手順で危険度を判定する。
【００４１】
まず、危険度判定部123の第一判定部151は、人物検出部121と台検出部122が、入力された静止画から、それぞれ人物と台とを両方とも検出したか否かを判定する。次に、危険度判定部123の第二判定部152は、検出された人物と台の水平方向（X軸方向）が重なっていることを判定する。具体的には、第二判定部152は、人物のX座標301から302と、台のX座標303から304とで、集合の重なり（インターセクション）が空集合ではない場合に、水平方向が重なっていると判定する。また、第二判定部152は、検出された人物と台とが、水平方向に重なっているかだけでなく、近傍にあるかを判定することとしてもよい。
【００４２】
次に、危険度判定部123の第三判定部153は、検出された人物と台とにおいて、人物が上方にあり台が下方にあるか否かを判定する。すなわち、第三判定部153は、人物が台より上方にあるかを判定する。具体的には、第三判定部153は、人物のY座標311から312のうち下限312の値が、台のY座標313から314のうち下限314の値より上方を示す値である場合に、人物が上方にあり台が下方にあると判定する。人物の下限312の値が台の下限314の値より上方を示す値の場合とは、下限312の値が下限314の値より大きい値のことである。
【００４３】
次に、危険度判定部123の判定結果算出部154は、上記の第一判定部151から第三判定部 153で得られた判定結果に基づき、以下のようにして結果を判定する。
【００４４】
図４は、判定結果算出部154の動作のフローチャートを示す。
【００４５】
まず、判定結果算出部154は、処理を開始すると(手順 401)、第一判定部151の判定結果に基づき人物と台の両方が検出されたか否かを確認し(手順 402)、NOであれば、危険度の有無としては無を、危険度のレベルとしてはLv0を、それぞれ検出値とする(手順 412)。
【００４６】
手順 402：YESであれば、判定結果算出部154は、次に、第二判定部152の判定結果に基づき人物と台の水平方向が重なっているか否かを確認し(手順 403)、NOであれば、危険度の有無としては無を、危険度のレベルとしてはLv1を、それぞれ検出値とする(手順 413)。
【００４７】
手順 403：YESであれば、次に、判定結果算出部154は、第三判定部153の判定結果に基づき人物が上方にあり台が下方にあるか否かを確認し(手順 404)、NOであれば、危険度の有無としては無を、危険度のレベルとしてはLv1を、それぞれ検出値とする(手順 414)。この場合、判定結果算出部154は、人物と物は、水平方向で重なっているが、人物は台より上方にいない（例えば、人物は台に乗っていない）状態であるため、危険度の有無を無と判定する。
【００４８】
手順 404：YESであれば、判定結果算出部154は、危険度の有無としては有を、危険度のレベルとしてはLv2を、それぞれ検出値とする(手順 415)。この場合、判定結果算出部154は、人物は台より上方にいる、例えば、人物は台に乗っている状態であるため、危険度の有無を有と判定する。
【００４９】
判定結果算出部 154は、次に、上記いずれの検出値であるかに係わらず共通して、危険度の指数値を算出または取得する(手順 406)。ここでは、判定結果算出部154は、2つの指数値を取得することとする。1つ目の指数値として、判定結果算出部154は、人物検出部121のDLライブラリ132が判定の際に出力した前記確信度の百分率の値を取得する。2つ目の指数値として、判定結果算出部154は、台検出部122のDLライブラリ142が判定の際に出力した前記確信度の百分率の値を取得する。なお、判定結果算出部 154は、人物検出部121が出力した確信度（百分率の値）と、台検出部122が出力した確信度（百分率の値）の平均値を、指標値として算出してもよい。
【００５０】
以上で判定結果算出部154は処理を終える(手順 407)。
【００５１】
以上一連の手順により、解析装置101の危険作業解析部112は、各静止画に対して危険作業を検出することができる。検出の結果は、入力として複数の静止画に対して処理を行ったのであるから、各静止画に対する解析結果の集合として結果が得られる。
【００５２】
次に、解析装置101の動画作成部113は、以下に述べる処理を行う。
【００５３】
まず、動画作成部113の枠描画部161は、人物または台のいずれかまたは両方が検出された静止画に対して、それらを囲う枠を描画した新たな静止画を作成する。
【００５４】
図５は、図２で示される入力の静止画に対して、検出結果に基づき、枠を描画した様子を示す。枠の描画に用いる座標は、図３の301から304、311から314で示される座標値をそのまま用いればよい。枠描画部161は、静止画抽出部111により抽出された各静止画について、人物および台の少なくとも1つが検出されている場合、枠を描画する。
【００５５】
動画作成部113は、次に、上記で枠が描画された静止画群を元に、動画を新たに生成する。なお、枠が描画されなかった静止画については、元の画像をそのまま用いればよい。
【００５６】
ただしこの際、動画作成部113は、生成された静止画を利用者がより利便性高く閲覧できるように、以下で示すさらなる処理を行う。
【００５７】
動画作成部113の動作を説明するための一例として、ここでは、時間帯に応じて危険な作業を行っていたり行っていなかったりが変化する映像を入力した場合を例にとり、その映像を解析した判定結果を踏まえて、動画作成部113の再生速度変更部162がどのような動作を行うかについて述べていく。
【００５８】
図６は、映像のそれぞれの時間帯における判定結果の一覧を示す。再生速度変更部162は、危険度判定部123の判定結果に基づいて、例えば図６に示すような一覧を生成する。なお、図６は、本実施の形態を説明するために便宜上提示する図表であり、解析装置 101がこのような構成のデータベースを格納する必要は必ずしもなく、解析の中間結果は、配列変数やファイル等で適宜保持してあればよい。
【００５９】
行601は、動画における開始0分から4分の時間帯は、あまり危険がない作業を行った様子を撮影しており、その映像を解析した結果として、危険度が無く、危険度のレベルがLv0で、これらの時間帯における危険度の2つの指数値を表すデータ集合Aが存在するという結果が得られていることを表している。
【００６０】
同様に、行602は、動画における開始4分から5分の時間帯は、危険が高い作業を行った様子を撮影しており、その映像を解析した結果として、危険度が有り、危険度のレベルがLv2で、これらの時間帯における危険度の二つの指数値を表すデータ集合Bが存在するという結果が得られていることを表している。行603から605も、同様の内容を表している。図６に示す例では、再生速度変更部162は、「危険度の有無」あるいは「危険度のレベル」が変化した場合、新たな行（レコード）を生成する。
【００６１】
動画作成部113の再生速度変更部162は、このような映像に対して、「危険度が無い」と判定された時間帯について、再生速度がN倍（ここでは、4倍）になるような編集を行う。
【００６２】
具体的には、再生速度変更部162は、行601と行603と行605の時間帯において、静止画のうち連続する4枚中の3枚を破棄し、4枚中の1枚のみを抽出する。また、再生速度変更部162は、行602と行604の時間帯においては、すべての静止画をそのまま採用する。そして、再生速度変更部162は、これらの静止画をひとつなぎとして、動画のエンコードを行うことで、動画を新たに生成する。
【００６３】
図７は、再生速度を変更した動画を生成する様子を示す。図７の記号601から605は、図６における行601から行605にそれぞれ対応し、再生時間の経過を模式的に表現したものである。
【００６４】
このように生成された結果の動画は、図７に示す601と603と605の時間帯においては再生が4倍の速度で行われるから、総再生時間は10分から4分へと短縮される。
【００６５】
さらに、動画作成部113の再生速度変更部162は、動画の再生時間が短縮されたことに伴い、危険度の検出結果の対応付けについても再生時間の短縮を反映して、時刻情報の更新を行う。
【００６６】
図８は、再生速度の変更を反映した判定結果の一覧を示す。図７で示した時間の短縮を反映して、例えば行801は、時間帯を「0分から4分」から「0分から1分」へと読み替えを行う。さらに、これらの時間帯における危険度の2つの指数値を表すデータ集合についても、元のデータ集合Aから、再生速度を4倍に換算して、新たなデータ集合A'を作成する。具体的には、データ4個のうち3個を間引く処理を行う。
【００６７】
また、例えば行802は、時間帯を「4分から5分」から「1分から2分」へと読み替えを行う。これらの時間帯における危険度の2つの指数値を表すデータ集合については、再生速度が変わらないのであるから、元のデータ集合Bをそのまま利用してよい。行803から行805についても同様である。
【００６８】
上記示した一連の手順によって、解析装置101は、解析結果である危険度のデータと、枠付けならびに動画の再生速度の変更がなされた新たな動画を得るので、解析装置101はネットワーク103を経由してこれらのデータを表示装置102に送信する。
【００６９】
ここで、動画の再生速度を変更する一連の処理によって得られる効果について言及する。撮影した動画は、人手による目視作業で危険作業の様子を確認するのであるから、動画の総時間が10分から4分に短縮されれば、作業効率を単純計算で2.5倍に向上できる。
【００７０】
この際、再生速度が早送りとなるのは、人物や台が映像に映っていなかったり、あるいは映っていても位置関係的に人物が台に乗っていて危険があるとは想定できない時間帯のみである。人物が台に乗っており危険があるかもしれない時間帯については通常の速度で再生がなされるのであるから、映像を人手による目視作業で確認する本来の確認趣旨を損なうことなく、作業効率を向上できる。
【００７１】
一般に作業においては、作業の準備などに長い時間を要し、台に乗っての作業など作業の中枢たる作業内容を行う時間は全体からすると僅かである。つまり、準備など高所作業の危険性が少ない時間帯について再生を早送りして目視確認の効率が向上できるのであれば、確認趣旨を損なうことなく、大きな確認効率向上が得られるといえる。
【００７２】
また逆に、本実施の形態のようにAIあるいはAIの一分野であるディープラーニング技術を用いて動画の中から注目したい時間帯を抽出した場合、AIの認識精度を100%に高めることは原理上できないのであるから、どうしても誤認識は発生してしまう。もし仮に、AIが「注目の必要なし」と判断した時間帯の動画を単純に全部カットして表示しないこととした場合、上記誤認識が発生した時間帯については、本来は注目して確認すべきであるにもかかわらず動画からはカットされ、人手による目視作業ではどうやっても目に留まらないという問題が生じてしまう。
【００７３】
それに対し、本実施の形態によれば、AIが誤認識をした場合であっても、再生速度が早回しになるだけで再生自体は行われるのであるから、人手による目視作業では当該誤認識箇所についても確認を行うことができるという利点が得られる。このように、上記示した再生の早送りをすることで人手による目視作業の効率を上げる本実施の形態は、AIによる映像の自動検出と組み合わせた場合に、特に顕著な効果を奏する。
【００７４】
なお、本実施の形態では、注目する必要のない時間帯について、再生速度を4倍にする例を示した。本発明の範囲はこれに限るものではなく、他の再生速度であってもよいし、また、当該時間帯をスキップして再生しないこととしてもよい。また、これらの挙動を、解析を行う際もしくは表示を行う際に利用者から指定させて、挙動を変更できてもよい。
【００７５】
以下では、表示装置102が解析結果の動画を表示する様子を示していく。
【００７６】
図９は、表示装置102の画面の表示内容を示す。画面 171の中には、動画を表示する区画（領域） 901と、シークバー 902と、カラーバー 903と、グラフA 904と、グラフB 905が配置される。動画を表示する区画 901とシークバー 902の組み合わせは、動画プレイヤーでは一般的であり、ライブラリを用いて実現できる。
【００７７】
動画を表示する区画 901には、解析装置101により再生速度が変更された動画が表示される。表示装置102の再生部173は、解析装置101から取得した動画全体を、再生時に1倍速で再生することで、結果として、危険作業が実施されている静止画の部分は第１の速度で再生し、危険作業が実施されている静止画以外の部分は、第１の速度より速い第２の速度で再生することになる（図７参照）。
【００７８】
シークバー902は、動画の再生位置を示すものである。シークバー 902にはスライダー 906があり、動画再生の時刻に応じてスライダーが動くとともに、マウス操作等でスライダーを動かすことで動画再生の位置をジャンプできる。
【００７９】
カラーバー 903は、シークバー902に対応する時間帯における、作業の危険度の有無または危険度のレベルを、それぞれ異なる色または異なる模様で示す。図示するカラーバー 903は、解析装置101が解析結果として得た危険度のデータのうち、危険度のレベルを示す。すなわち、危険度のレベルがLv0の時間帯に対応する位置801、805には灰色を、Lv1の時間帯に対応する位置803には黄色を、Lv2の時間帯に対応する位置802、804には赤色を、それぞれ描画する。なお、カラーバー 903は、解析装置101が解析結果として得た危険度のデータのうち、危険度の有無を異なる色または異なる模様で示してもよい。
【００８０】
図９の記号801から805は、図８における行801から805にそれぞれ対応し、それぞれの再生時間における危険度のレベルがカラーバー 903上に描画される様子を表現したものである。
【００８１】
グラフA 904は、解析装置 101が解析結果として得た危険度のデータのうち、1つ目の危険度の指数値、すなわち、人物検出に関する確信度の値を折れ線グラフで表示する。グラフB 905は、解析装置 101が解析結果として得た危険度のデータのうち、2つ目の危険度の指数値、すなわち、台検出に関する確信度の値を折れ線グラフで表示する。
【００８２】
本実施形態では、グラフA 904およびグラフB 905は、DLライブラリ132、142が出力する確信度の値のグラフであるが、危険度の有無または危険度のレベルの判定に用いる指標値であれば、前記確信度の値以外の指標値を用いてもよい。また、危険度の有無または危険度のレベルをグラフとして表示してもよい。
【００８３】
カラーバー 903とグラフA 904とグラフB 905は、シークバー 902と縦（上下）に並べて配置する。シークバー902のスライダー 906が例えば動画開始2分の位置にあるとき、カラーバー 903やグラフA 904やグラフB 905における同じX座標の位置の色あるいは値は、動画開始2分の位置における解析結果として得られた危険度の情報を示す。
【００８４】
図１０は、表示装置102の他の画面例を示す。図１０に示す動画再生時の画面では、映像を表示する区画901と、シークバー 902と、カラーバー 903と、各種操作ボタン911〜913と、チェックボックス914が配置される。操作ボタン911は、再生している映像の停止指示を受け付けるボタンである。操作ボタン912は、映像の再生速度の変更指示を受け付けるボタンである。操作ボタン913は、再生している映像の移動指示を受け付けるボタンである。チェックボックス914は、カラーバー903の危険度のレベルを示す各色に対応して設けられる。なお、図１０の画面例に、図９に示すグラフA 904とグラフB 905を表示してもよい。
【００８５】
図１１は、図１０の画面において、ある色のチェックボックスのチェックをはずすと、カラーバー903の当該色の部分915の動画の再生がスキップされ、スライダー906もそれに合わせて移動することを示す。
【００８６】
図１２は、図１０の画面において、少なくとも１つの色のチェックボックスのチェックをはずした状態で、次へ移動する操作ボタン913がクリックされた場合、チェックボックスにチェックが設定された色の次の部分の冒頭の動画が再生され、スライダー906もそれに合わせて移動することを示す。
【００８７】
以上示した本実施の形態における表示装置102の利点について述べる。
【００８８】
時間帯に応じて変化する危険度が、カラーバーにより表示され、赤の時間帯は危険作業を実施しているのであるから映像を注視する必要がある等、人手による目視作業を行う際の有用な指標として用いることができる。この際、X座標の位置がシークバーのスライダーと同一であることから、再生を進めて自動的に動いていくスライダーの位置に着目しながらカラーバーを見ることで、注視すべきポイントを逃すことなく視認しやすくなる。また逆に、映像の確認を繰り返し行う際、カラーバーの赤色に着目しながらスライダーを動かすことで、映像の頭出しを容易に行うことができる。
【００８９】
また、図９のグラフA904とグラフB905にはDLライブラリ132、142による検出の確信度がグラフ表示されていることで、映像の誤認識について留意しながら人手による目視作業を実施しやすくなる。例えば、カラーバー903では黄色もしくは灰色になっていても、グラフAまたはグラフBの値が比較的低い指標値を示していれば、 DLライブラリ132、142が判定に戸惑っていることがグラフから読み取れるから、例えば映像に多数の物体が映っていて誤認識が発生しているおそれもあると言える。このため、グラフが比較的低い指標値を示している場合、人手による目視作業の際に注意して確認すべきポイントであると認識することができるようになるという利点が得られる。
【００９０】
上記示した本実施の形態においては、人物検出部121および台検出部122は、人物および台を予め学習させた学習済みモデル131、141を用いて、人物および台を検出した。例えば、別の一つの実施の形態においては、人物は第１の色または第１の模様を着用し、台には第２の色または第２の模様が設定されていてもよい。この場合、人物検出部121は、第１の色または第１の模様を検出することで人物を検出し、台検出部122は、第２の色または第２の模様を検出することで台を検出する。
【００９１】
具体的には、人物に例えば赤色の服を着せ、あるいは赤色のワッペン等を装着させ、人物検出部121は画像のうち赤色を検出することで、人物を検出してもよい。また、台に例えば青色の塗装を施し、あるいは青色の板を貼り付け、台検出部122は画像のうち青色を検出することで、台を検出してもよい。なお、人物検出部121および台検出部121のいずれか一方のみ、このような検出を行ってもよい。
【００９２】
また、上記示した本実施の形態においては、第三判定部153が人物が上方にあり台が下方にあることを判定する際、画素のY座標を用いて判定した。一般に、人物が床より一定以上高い位置にいる場合には、常に危険が高くなるといえることから、単に人物が台より上にいるか否かを判断するだけでなく、様々な方法を用いて人物が上方にあることを認識することは実用上の価値が高い。
【００９３】
例えば、別の一つの実施の形態においては、人物と動画を撮影するビデオカメラ105との距離、および、静止画の中で人物が映っている位置を用いて、人物の床からの高さを推定することといてもよい。すなわち、ビデオカメラ105と作業対象となるサーバーラックとの距離が既知であるとして、静止画内における人物のY座標311から312に基づき、人物の床からの高さを比率によって算出し、高さが例えば1.2mを超えた場合に「人物が上方にある」と認識することができる。
【００９４】
図１３は、人物の床からの高さを比率によって算出する例を示す。この図は、床面1001より高い位置にいる人物1003をビデオカメラ1002が撮影している様子を、横方向から見た様子を表している。ビデオカメラ1002は床面からの高さ1010の位置に設置されているものとし、ここでは1mとする。ここで用いるビデオカメラ1002は、上方向に撮影可能な範囲1012から下方向に撮影可能な範囲1013の間を撮影するものとし、画角すなわち上下方向の撮影可能な範囲のなす角度は、上下それぞれ角度1014の範囲とし、ここでは30度とする。
【００９５】
また、サーバーラックの上方で作業する人物の危険を判定する目的であることを鑑み、ビデオカメラ1002から撮影対象の作業場所すなわちサーバーラックまでの距離1011だけ離れた位置の人物1003を撮影することとし、ここでは距離1011を3.46mとする。
【００９６】
撮影対象がすべて距離1011だけ離れた位置にある撮影面1005に存在していたと仮定すると、ビデオカメラ1002が撮影する画像の上半分は、撮影面1005のうち撮影範囲の中心1020から撮影範囲の上端1021までの範囲に存在する物体が映りこんでいることとなる。ここではビデオカメラ1002の縦方向の解像度は1000ドットとすると、この場合、撮影範囲の中心1020から撮影範囲の上端1021までの範囲が撮影画像の上半分の500ドットに映りこむこととなる。
【００９７】
上述の条件下において、人物1003の下端1023が、例えば撮影画像の上から400ドット目として撮影画像に映りこんでいたとする。このとき、撮影範囲の中心1020から人物の下端1023までの距離1024は、次のようにして計算できる。
【００９８】
距離1022 ＝ 距離1011 × tan (角度1014)
＝ 2m
距離1022 : 500ドット ＝ 距離1024 : (500-400)ドット
∴距離1024 ＝ 距離1022 ÷500 ×100
＝ 0.4m
従って、人物1003は、床面から1.4mの高さにいることが画像から算出できる。これは、前述の基準である高さ1.2m以上という条件を満たしているから、人物は上方にいると判断することが可能である。
【００９９】
なお、サーバーラックとの距離が既知でなかったとしても、サーバーラックなど横幅が一定であることが既知である物体を検出してその横幅から対象物との距離を測定したり、レーザー測距計（第１のレーザー測距計）で作業対象との距離を測定したり、ステレオカメラでの視差を利用して作業対象との距離を測定したりすることができ、人物の床からの高さの算出に用いることができる。このレーザー測距計は、ビデオカメラの位置から作業対象に向かって横方向に照射する。レーザー測距計は、LiDARとも呼ばれており、レーザー照射によって対象とする物体との距離を測定する装置である。このような装置は市販されており、容易に入手できる。
【０１００】
また例えば、別の一つの実施の形態においては、作業者に高度計を保持させ、高度計から得られたデータを解析装置101への追加の入力とし、第三判定部153が前記得られたデータに基づいて人物の床からの高さを得て、高さが例えば1mを超えた場合に「人物が上方にある」と認識することができる。高度計は、気圧変化を用いて高度の差分を計測する装置であってよい。床に存在するときの気圧と、高所に上ったときの気圧の差により、高度を計測する。このような装置は市販されており、容易に入手できる。
【０１０１】
また例えば、別の一つの実施の形態においては、作業者にレーザー測距計（第２のレーザー測距計）を鉛直下向きに保持させる。レーザー測距計は、鉛直下向きに床からの距離、または作業対象との距離などを測定するので、レーザー測距計から得られたデータを解析装置101への追加の入力とし、第三判定部 153が前記得られたデータに基づいて人物の床からの高さを得て、高さが例えば1mを超えた場合に「人物が上方にある」と認識することができる。
【０１０２】
また、第三判定部153の判定には、画素のY座標を用いた判定、図１３に示す判定、高度計を用いた判定、および、レーザー測距計を用いた判定を、組み合わせて判定することとしてもよい。
【０１０３】
以上述べた本発明の実施の形態においては、本発明の趣旨を損なわない範囲で、様々な構成が可能である。
【０１０４】
例えば、解析装置101と表示装置102は同一の装置としてもよいし、あるいは、更に複数の装置に分割してもよい。解析装置101から表示装置102へのデータの受け渡しは、ネットワーク103を用いず、CDやメモリカード等のメディアを介して行ってもよい。表示装置102は、WebサーバとWebブラウザに分割され、HTML5を用いて作成したビューアとしてもよい。またその際、Webサーバは、Webブラウザと同じ装置内に配置してもよく、あるいは解析装置101と同じ装置内に配置してもよく、あるいは別の装置に配置してもよい。
【０１０５】
例えば、人物検出部121と台検出部122を一つの機能部とし、人物と台の両方を一度に覚えこませた学習済みモデルを予め準備して、単一のDLライブラリに一括して判定させる構成としてもよい。
【０１０６】
例えば、動画再生は、動画ファイルを再生してもよいし、一連の静止画群を連続的に再生してもよい。また、動画再生は、映画のフィルムのように、コマを横方向に並べた形で時間の流れを表現してもよい。
【０１０７】
例えば、再生速度変更部162は、危険でない時間帯を早送りするだけでなく、危険な時間帯をスロー再生してもよい。あるいは、再生速度変更部162は、危険度のレベルに応じて、再生速度を複数段階に変化させてもよい。あるいは、再生速度変更部162は、再生速度が変化する継ぎ目を快適に視認できるようにするため、継ぎ目の部分で再生速度を連続的に変化させてもよい。
【０１０８】
再生速度を変更するために、解析装置101の再生速度変更部162が再生速度を変更済みの動画を生成するのではなく、解析装置101が再生速度の指示情報を表示装置102に出力して、表示装置102が再生速度を可変にできる再生部173を用いて当該指示情報に基づいて動画の再生時点で再生速度を変化させてもよい。指示情報として、危険度の有無あるいはレベルあるいは指数値を用いてもよい。この場合、再生部173は、動画の再生速度が変更されていない動画を解析装置101から取得し、再生時に、危険度の有または危険度のレベルが比較的高い第１の時間帯の動画を、第１の速度で再生し、第１の時間帯以外の第２の時間帯の動画を、第１の速度より速い第２の速度で再生、または、再生せずスキップする。また、図１０から図１２に示すように、動画を閲覧するユーザの指示に応じて、再生速度を変化させてもよい。
【０１０９】
例えば、カラーバーならびにグラフは、いずれかを含まないあるいは複数個含む構成であってもよく、あるいは、一つの表示区画上に複数の情報を重ねて表示してもよい。特に、二つ以上の折れ線グラフをまとめて一つの図表として表示してもよい。グラフは、折れ線グラフだけでなく、棒グラフやその他の表示形態であってもよい。カラーバーの配色は任意であってもよく、あるいは、ハッチングやパターンや点滅等であってもよい。
【０１１０】
シークバー、カラーバーならびにグラフは、左端が動画再生開始時刻である必要はなく、また、右端が動画再生終了時刻である必要はなく、いずれも任意の時刻であってもよい。これは、例えば、動画の長さが240分などになった際、動画の長さが10分であった場合に比べると、画面1ドットあたりの表わす時間が24分の1になってしまう。これにより、カラーバー、グラフ等が横方向に密度が高くなりすぎ、視認が困難になるという問題が生じてしまう。
【０１１１】
そこで、長い時間の動画の場合には、シークバー、カラーバーならびにグラフが自動的にズームされることとしてもよい。例えば動画の開始から93分の時点を再生している際には、左端が90分で右端が100分の位置になるように表示装置102が自動的に調整することで、常にカラーバーならびにグラフに対して十分な横幅を確保することができるから、動画の長さによらず視認しやすいという効果を得ることができる。
【０１１２】
以上説明した本実施形態では、作業者の作業の様子を撮影した動画から、危険が推定される作業を検出し、ユーザの作業負荷を低減することができる。また、本実施形態では、危険が推定される時間帯の動画を、容易に注目して閲覧することができる。
【０１１３】
本実施形態の装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。具体的には、上記説明した解析装置101および表示装置102には、例えば、CPU（Central Processing Unit、プロセッサ）と、メモリと、ストレージ（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置と、入力装置と、出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、解析装置101および表示装置102の各機能は、解析装置101用のプログラムの場合は解析装置101のCPUが、表示装置102用のプログラムの場合は表示装置102のCPUが、それぞれ実行することにより実現される。また、解析装置101用のプログラムおよび表示装置102用のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
【符号の説明】
【０１１４】
101  ：解析装置
102  ：表示装置
103  ：ネットワーク
105  ：ビデオカメラ
111  ：静止画抽出部
112  ：危険作業解析部
113  ：動画作成部
121  ：人物検出部
122  ：台検出部
123  ：危険度判定部
131、141  ：学習済みモデル
132、142  ：LDライブラリ
151  ：第1判定部
152  ：第2判定部
153  ：第3判定部
154  ：判定結果算出部
161  ：枠描画部
162  ：再生速度変更部
171  :画面
172  ：ユーザ入力手段
173  ：再生部
【図１】
2020010154.tif 000003
【図２】
2020010154.tif 000004
【図３】
2020010154.tif 000005
【図４】
2020010154.tif 000006
【図５】
2020010154.tif 000007
【図６】
2020010154.tif 000008
【図７】
2020010154.tif 000009
【図８】
2020010154.tif 000010
【図９】
2020010154.tif 000011
【図１０】
2020010154.tif 000012
【図１１】
2020010154.tif 000013
【図１２】
2020010154.tif 000014
【図１３】
2020010154.tif 000015