(57)【要約】【課題】作業現場における危険箇所を機械的に発見可能なモデル作成装置、端末装置、危険箇所発見システム及びプログラムを提供する。【解決手段】作業現場における危険箇所の画像に当該危険箇所の危険事象を示す情報が付された学習データを用いて機械学習を実行することにより、当該危険箇所を検出するための危険箇所検出モデルを作成するモデル作成部を備える。【選択図】図１
2018081549.tif 000002
【特許請求の範囲】
【請求項１】
作業現場における危険箇所の画像に当該危険箇所の危険事象を示す情報が付された学習データを用いて機械学習を実行することにより、当該危険箇所を検出するための危険箇所検出モデルを作成するモデル作成部を備えるモデル作成装置。
【請求項２】
前記危険箇所検出モデルは、前記危険事象を引き起こすリスク要因がモデル化されたものである請求項１に記載のモデル作成装置。
【請求項３】
前記モデル作成部は、畳み込みニューラルネットワークを用いたディープラーニングにより前記機械学習を実行する請求項１又は請求項２に記載のモデル作成装置。
【請求項４】
作業現場を撮像画像として撮像する撮像部と、
前記撮像画像を表示する表示部と、
請求項１から請求項３のいずれか一項に記載のモデル作成装置により生成された前記危険箇所検出モデルを用いて、前記表示部に表示された作業現場の撮像画像における危険箇所の有無を検出する検出部と、
を備える端末装置。
【請求項５】
前記危険箇所検出モデルは、前記危険事象を引き起こすリスク要因がモデル化されたものであって、
前記検出部は、
前記表示部に表示された作業現場の撮像画像において、前記モデル化されたリスク要因に該当する箇所が存在するか否かを判定することで前記表示部に表示された作業現場の撮像画像における危険箇所の有無を検出する請求項４に記載の端末装置。
【請求項６】
前記端末装置は、前記モデル化したリスク要因に該当する箇所が存在すると判定された場合には、当該箇所が前記危険箇所であることを示す警告情報を前記表示部に表示させる表示制御部をさらに備える請求項５に記載の端末装置。
【請求項７】
前記表示制御部は、前記モデル化されたリスク要因に該当する箇所が存在すると判定された場合には、当該箇所に前記警告情報を表示する請求項６に記載の端末装置。
【請求項８】
前記警告情報は、前記リスク要因により引き起こされる前記危険事象の情報である請求項７に記載の端末装置。
【請求項９】
請求項１から請求項３のいずれか一項に記載のモデル作成装置と、
請求項４から請求項８のいずれか一項に記載の端末装置と、
を備える危険箇所発見システム。
【請求項１０】
コンピュータを、請求項１から請求項３のいずれか一項に記載のモデル作成装置として機能させるためのプログラム。
【請求項１１】
コンピュータを、請求項４から請求項８のいずれか一項に記載の端末装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モデル作成装置、端末装置、危険箇所発見システム及びプログラムに関する。
【背景技術】
【０００２】
作業現場において、現場監督は、作業員が安全に作業できるように、作業現場に危険な箇所が無いか否かを日々目視で確認する必要がある。ただし、現場監督の業務は多岐にわたり繁忙であるため、危険箇所を見逃してしまう場合が想定される。そのため、危険箇所を現場監督が直接視認しなくても機械的に発見する方法が必要となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２４２２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、特許文献１に記載されているように、従来から建設現場における作業手順に対する危険を予知する方法は知られているが、建設現場等の作業現場における危険箇所を検出する方法は知られていない。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、作業現場における危険箇所を機械的に発見可能なモデル作成装置、端末装置、危険箇所発見システム及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の一態様は、作業現場における危険箇所の画像に当該危険箇所の危険事象を示す情報が付された学習データを用いて機械学習を実行することにより、当該危険箇所を検出するための危険箇所検出モデルを作成するモデル作成部を備えるモデル作成装置である。
【０００７】
本発明の一態様は、上述のモデル作成装置であって、前記危険箇所検出モデルは、前記危険事象を引き起こすリスク要因がモデル化されたものである。
【０００８】
本発明の一態様は、上述のモデル作成装置であって、前記モデル作成部は、畳み込みニューラルネットワークを用いたディープラーニングにより前記機械学習を実行する。
【０００９】
本発明の一態様は、作業現場を撮像画像として撮像する撮像部と、前記撮像画像を表示する表示部と、上述のモデル作成装置により生成された前記危険箇所検出モデルを用いて、前記表示部に表示された作業現場の撮像画像における危険箇所の有無を検出する検出部と、を備える端末装置である。
【００１０】
本発明の一態様は、上述の端末装置であって、前記モデル化したリスク要因に該当する箇所が存在すると判定された場合には、当該箇所が前記危険箇所であることを示す警告情報を前記表示部に表示させる表示制御部をさらに備える。
【００１１】
本発明の一態様は、上述の端末装置であって、前記危険箇所検出モデルは、前記危険事象を引き起こすリスク要因がモデル化されたものであって、前記端末装置は、前記表示部に表示された作業現場の撮像画像に、前記モデル化されたリスク要因に該当する箇所が存在するか否かを判定する判定部と、前記モデル化したリスク要因に該当する箇所が存在すると判定された場合には、当該箇所が前記危険箇所であることを示す警告情報を前記表示部に表示させる表示制御部と、をさらに備える。
【００１２】
本発明の一態様は、上述の端末装置であって、前記表示制御部は、前記モデル化されたリスク要因に該当する箇所が存在すると判定された場合には、当該箇所に前記警告情報を表示する。
【００１３】
本発明の一態様は、上述の端末装置であって、前記警告情報は、前記リスク要因により引き起こされる前記危険事象の情報である。
【００１４】
本発明の一態様は、上述のモデル作成装置と、上述の端末装置と、を備える危険箇所発見システムである。
【００１５】
本発明の一態様は、コンピュータを、上述のモデル作成装置として機能させるためのプログラムである。
【００１６】
本発明の一態様は、コンピュータを、上述の端末装置として機能させるためのプログラムである。
【発明の効果】
【００１７】
以上説明したように、本発明によれば、作業現場における危険箇所を機械的に発見することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る危険箇所発見システム１の概略構成の一例を示す図である。
【図２】本発明の一実施形態に係る学習データの一例を示す図である。
【図３】本発明の一実施形態に係る端末装置５を用いて、現場監督が作業現場を撮像しているイメージ図である。
【図４】本発明の一実施形態に係る危険箇所発見システム１の危険箇所を発見する処理の流れについて、説明する図である。
【発明を実施するための形態】
【００１９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一又は類似の部分には同一の符号を付して、重複する説明を省く場合がある。また、図面における要素の形状及び大きさなどはより明確な説明のために誇張されることがある。
【００２０】
明細書の全体において、ある部分がある構成要素を「含む」、「有する」や「備える」とする時、これは、特に反対の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むことができるということを意味する。
【００２１】
本発明の一実施形態に係る危険箇所発見システムは、例えば、ユーザが利用する端末装置で撮像された建設現場等の作業現場の画像から、当該作業現場の危険箇所を発見できるシステムである。換言すれば、本発明の一実施形態に係る危険箇所発見システムは、例えば、ユーザが利用する端末装置で撮像された建設現場等の作業現場の画像から、当該作業現場のリスクを評価できるシステムである。ここで、リスクとは、危険事象を示す。すなわち、作業現場のリスクを評価するとは、作業現場において、危険箇所が存在する場合に、その危険箇所の危険事象を特定することである。
以下、本発明の一実施形態に係る危険箇所発見システム１を、図面を用いて説明する。
【００２２】
図１は、本発明の一実施形態に係る危険箇所発見システム１の概略構成の一例を示す図である。図１に示すように、危険箇所発見システム１は、撮像装置２、通信ネットワーク３、学習サーバ４及び端末装置５を備える。学習サーバ４は、モデル作成装置の一例であってよい。
【００２３】
撮像装置２は、通信ネットワーク３を介して学習サーバ４に情報を送信する。
撮像装置２は、建設現場等の作業現場を撮像する。撮像装置２は、人が持つカメラでもよいし、監視カメラなどの定点カメラであってもよい。例えば、撮像装置２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、及び撮像素子への被写体像の結像を制御するためのレンズ等各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。また、撮像装置２が建設現場等の作業現場を撮像する画像は、静止画でもよいし動画でもよい。
撮像装置２は、撮像した画像を、通信ネットワーク３を介して学習サーバ４に送信する。
【００２４】
通信ネットワーク３は、無線通信の伝送路であってもよく、有線通信であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。また、通信ネットワーク３は、携帯電話回線網などの移動体通信網、無線パケット通信網、インターネット及び専用回線又はそれらの組み合わせであってもよい。
なお、ユーザが可搬可能な記録媒体を利用して、撮像装置２が撮像した画像を学習サーバ４に移すことが可能であれば、撮像装置２と学習サーバ４との通信ネットワーク３は省略可能である。例えば、この記憶媒体は、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢ(Universal Serial Bus)メモリ、又はメモリカードなどの外部装着型の記憶媒体である。
【００２５】
学習サーバ４は、通信ネットワーク３を介して端末装置５に情報を送信する。
学習サーバ４は、通信部４１、処理部４２及びモデル作成部４３を備える。
通信部４１は、通信ネットワーク３を介して、撮像装置２及び端末装置５と無線又は有線通信する。
処理部４２は、通信部４１を介して撮像装置２からの画像を取得する。そして、処理部４２は、撮像装置２から取得した画像を前処理する。ここで、前処理とは、後述の機械学習しやすいように画像を処理することである。
例えば、処理部４２は、撮像装置２から取得した複数の画像から危険箇所が写っている画像を抽出する。また、処理部４２は、抽出した危険箇所が写っている画像から、その危険箇所の危険事象を引き起こすリスク要因を特徴量として、その画像ごとに抽出する。
【００２６】
モデル作成部４３は、処理部４２に前処理された画像を学習データとして用いて機械学習を実行することにより、作業現場における危険箇所を検出するための危険箇所検出モデルを作成する。本実施形態における機械学習は、例えば、教師あり学習である。図２は、本発明の一実施形態に係る学習データの一例を示す図である。
【００２７】
図２に示すように、学習データは、作業現場における危険箇所の画像（入力画像）に当該危険箇所の危険事象を示す情報（正解ラベル）が付されたデータである。例えば、処理部４２に前処理された入力画像に開口部が写っている場合には、その画像に、危険事象を「墜落」とする正解ラベルが付されている。また、例えば、処理部４２に前処理された入力画像に安全帯を装着していない作業員が写っている場合には、その画像に、危険事象を「安全帯無し」とする正解ラベルが付されている。また、例えば、処理部４２に前処理された入力画像に、吊り荷を吊りあげているクレーン作業機械が写っている場合には、その画像に、危険事象を「吊り荷落下」とする正解ラベルが付されている。また、例えば、処理部４２に前処理された入力画像に、物が積み上がっている状態が写っている場合には、その画像に、危険事象を「倒壊」とする正解ラベルが付されている。なお、この入力画像に危険事象を示す正解ラベルを付す処理は、ユーザにより行われてもよい。この場合には、例えば、モデル作成部４３に入力部を設ける。この入力部は、ユーザから、ユーザ指示を受け付ける。このユーザ指示は、どの入力画像にどの危険事象の正解ラベルを付すかを指示する。なお、この入力部は、キーボード、タッチパネル又はマイクであってよい。
【００２８】
モデル作成部４３は、作業現場における危険箇所の画像である入力画像に当該危険箇所の危険事象を示す情報である正解ラベルが付された学習データを用いて機械学習を実行することにより、当該危険箇所を検出するための危険箇所検出モデルを作成する。本実施形態では、モデル作成部４３は、畳み込みニューラルネットワークを用いたディープラーニングにより機械学習を実行する。
【００２９】
例えば、危険箇所検出モデルは、危険事象を引き起こすリスク要因がモデル化されたものである。この危険箇所検出モデルは、種々の危険事象ごとに、リスク要因がモデル化されている。例えば、危険事象が「墜落」とする場合には、そのリスク要因は、開口部があることである。例えば、危険事象が「安全帯無し」とする場合には、そのリスク要因は、作業員が安全帯を装着していないことである。例えば、危険事象が「吊り荷落下」とする場合には、そのリスク要因は、吊り荷を吊りあげているクレーン作業機械があることである。例えば、危険事象が「倒壊」とする場合には、そのリスク要因は、物が積み上がっている状態があることである。
【００３０】
モデル作成部４３は、作成した危険箇所検出モデルを、通信ネットワーク３を介して端末装置５に送信する。この場合において、危険事象の情報は、危険箇所検出モデルに含まれている。なお、ユーザが可搬可能な記録媒体を利用して、モデル作成部４３が作成した危険箇所検出モデルを端末装置５に移すことが可能であれば、モデル作成部４３（学習サーバ４）と端末装置５との通信ネットワーク３は省略可能である。例えば、この記憶媒体は、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体である。
【００３１】
端末装置５は、例えば、ユーザである現場監督が利用する端末である。例えば、端末装置５は、スマートフォン等の携帯電話、タブレット端末、メガネ型ウェアラブルデバイス及びＰＣ（Personal Computer）等である。
【００３２】
図１に示すように、端末装置５は、通信部５１、撮像部５２、検出部５３、表示制御部５４及び表示部５５を備える。
通信部５１は、通信ネットワーク３を介して、学習サーバ４と無線又は有線通信する。
撮像部５２は、作業現場を撮像画像として撮像する。そして、表示部５５は、撮像部５２が撮像した撮像画像を表示する。
【００３３】
検出部５３は、通信部５１を介してモデル作成部４３から取得した危険箇所検出モデルを用いて、表示部５５に表示された作業現場の撮像画像における危険箇所の有無を検出する。
例えば、検出部５３は、表示部５５に表示された作業現場の撮像画像において、危険箇所検出モデルでモデル化されたリスク要因に該当する箇所が存在するか否かを判定することで、表示部５５に表示された作業現場の撮像画像における危険箇所の有無を検出する。すなわち、検出部５３は、表示部５５に表示された作業現場の撮像画像において、危険箇所検出モデルでモデル化されたリスク要因に該当する箇所が存在する場合には、表示部５５に表示された作業現場の撮像画像に危険箇所が存在すると判定する。
【００３４】
表示制御部５４は、検出部５３によりリスク要因に該当する箇所が存在すると判定された場合には、当該箇所に警告情報６を表示する。この場合に、警告情報とは、そのリスク要因により引き起こされる危険事象の情報である。例えば、検出部５３は、表示部５５に表示された作業現場の撮像画像に、危険箇所検出モデルでモデル化されたリスク要因、例えば開口部が存在する箇所が存在すると判定した場合には、その箇所に対応する表示部５５の表示画面に、「墜落」の文字を表示する。図３は、現場監督が端末装置５を用いて作業現場を撮像しているイメージ図である。図３に示すように、現場監督は、端末装置５の表示部５５に作業現場の撮像画像を写し、その写した撮像画像を確認することで、作業現場における危険箇所を機械的に発見することができる。
【００３５】
以下に、本発明の一実施形態に係る危険箇所発見システム１の危険箇所を発見する処理の流れについて、説明する。図４は、本発明の一実施形態に係る危険箇所発見システム１の危険箇所を発見する処理の流れについて、説明する図である。
【００３６】
撮像装置２は、建設現場等の作業現場を撮像する（ステップＳ１０１）。この撮像画像は、学習用の画像である。そして、撮像装置２は、撮像した撮像画像を、通信ネットワーク３を介して学習サーバ４に送信する。
処理部４２は、通信部４１を介して撮像装置２からの撮像画像を取得する（ステップＳ１０２）。そして、処理部４２は、撮像装置２から取得した画像を前処理する（ステップＳ１０３）。例えば、処理部４２は、抽出した危険箇所が写っている画像から、その危険箇所の危険事象を引き起こすリスク要因を特徴量として、その画像ごとに抽出する。
【００３７】
モデル作成部４３は、処理部４２に前処理された画像を学習データとして用いて機械学習を実行することにより、作業現場における危険箇所を検出するための危険箇所検出モデルを作成する（ステップＳ１０４）。この学習データは、例えば、作業現場における危険箇所の画像に当該危険箇所の危険事象を示す情報が付されている。すなわち、モデル作成部４３は、教師あり学習であって、畳み込みニューラルネットワークを用いたディープラーニングにより機械学習を実行する。
モデル作成部４３は、作成した危険箇所検出モデルを、通信ネットワーク３を介して端末装置５に送信する。
【００３８】
端末装置５は、通信ネットワーク３を介して、モデル作成部４３が作成した危険箇所検出モデルを取得する（ステップＳ１０５）。
撮像部５２は、作業監督等のユーザの操作により、作業現場を撮像する（ステップＳ１０６）。そして、表示部５５は、撮像部５２が撮像した撮像画像を表示する。
【００３９】
検出部５３は、通信部５１を介してモデル作成部４３から取得した危険箇所検出モデルを用いて、表示部５５に表示された作業現場の撮像画像における危険箇所の有無を検出する（ステップＳ１０７）。例えば、検出部５３は、表示部５５に表示された作業現場の撮像画像において、危険箇所検出モデルでモデル化されたリスク要因に該当する箇所が存在するか否かを判定することで作業現場の危険箇所の有無を検出する。例えば、検出部５３は、表示部５５に表示された作業現場の撮像画像に開口部に該当する箇所に存在する場合には、作業現場において、「墜落」の危険箇所が存在すると判定する。また、例えば、検出部５３は、表示部５５に表示された作業現場の撮像画像において、安全帯を装着していない作業員に該当する箇所が存在する場合には、作業現場において、「安全帯無し」の危険箇所が存在すると判定する。また、例えば、検出部５３は、表示部５５に表示された作業現場の撮像画像において、吊り荷を吊りあげているクレーン作業機械に該当する箇所が存在する場合には、作業現場において、「吊り荷落下」の危険箇所が存在すると判定する。また、例えば、検出部５３は、表示部５５に表示された作業現場の撮像画像において、物が積み上がっている状態に該当する箇所が存在する場合には、作業現場において、「倒壊」の危険箇所が存在すると判定する。
【００４０】
表示制御部５４は、例えば、検出部５３により上述のリスク要因に該当する箇所が存在すると判定された場合には、当該箇所に対応する表示部５５の表示画面に対して、そのリスク要因の危険事象を警告情報として表示する（ステップＳ１０８）。
【００４１】
上述したように、本発明の一実施形態に係るモデル作成部４３は、作業現場における危険箇所の画像に当該危険箇所の危険事象を示す情報が付された学習データを用いて機械学習を実行することにより、当該危険箇所を検出するための危険箇所検出モデルを作成するモデル作成部４３を備える。これにより、この危険箇所検出モデルが、例えばプログラムとしてタブレット端末やメガネ型ウェアラブルデバイス等の端末装置５で実行させることで、その端末装置５上で撮影された画像から危険箇所を機械的に発見可能である。
【００４２】
このように、作業員や現場監督等のユーザは、多忙な作業現場においても、端末装置５上で撮影された画像から危険箇所を機械的に発見可能であるため、作業現場の危険箇所を見過ごすこと無く容易に発見することできる。また、危険箇所検出モデルを用いることで、機械的に危険箇所を発見可能であるため、人の目だけでは見逃していた危険箇所も発見可能である。また、作業現場に慣れていない人（例えば、新規入場者、見学者など）にもいち早く危険を知らせる事ができる。
【００４３】
上述の実施形態では、危険箇所の危険事象を引き起こすリスク要因として、一の危険事象に一のリスク要因（例えば、危険事象が「墜落」の場合には、リスク要因が開口部があることを）を記載したが、これに限定されない。すなわち、モデル作成部４３は、学習データから、開口部の大きさ、位置等、複数の特徴量を抽出し、その抽出した特徴量を用いて危険箇所検出モデルを作成してもよい。
【００４４】
また、上述の実施形態では、検出部５３は、端末装置５の撮像部５２により作業現場で撮像された画像の特徴量と、危険箇所検出モデルでモデル化された特徴量とが、一定以上の類似度又は一定以上の合致点を有する場合において、作業現場の撮像画像に危険箇所があると判定してもよい。
【００４５】
上述した実施形態における学習サーバ４、端末装置５のそれぞれをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００４６】
例えば、本実施形態に係る学習サーバ４は、モデル作成部４３を制御する各種処理を行うプログラムをインストールし、このプログラムをコンピュータに実行させることで、構成してもよい。また。例えば、本実施形態に係る端末装置５は、検出部５３、表示制御部５４を制御する各種処理を行うプログラムをインストールし、このプログラムをコンピュータに実行させることで、構成してもよい。
【００４７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４８】
１  危険箇所発見システム
２  撮像装置
３  通信ネットワーク
４  学習サーバ
５  端末装置
４１，５１  通信部
４２  処理部
４３  モデル作成部
５２  撮像部
５３  検出部
５４  表示制御部
５５  表示部
【図１】
2018081549.tif 000003
【図２】
2018081549.tif 000004
【図３】
2018081549.tif 000005
【図４】
2018081549.tif 000006