(57)【要約】【課題】作業現場が多様な状況下でも、高精度に工程を識別できるようにすること。【解決手段】作業工程学習装置としての学習部２００ａは、作業現場をセンシングするセンサ部で取得されたセンサ情報から、前記作業現場に存在する各物体を物体情報として検出する物体検出部２０２と、検出された前記物体情報ごとに各物体の種別を物体識別情報として識別する物体識別部２０３と、検出された前記物体情報が示す各物体の位置に、前記物体識別情報を対応付ける俯瞰マップを生成する俯瞰マップ生成部２０４と、前記俯瞰マップに作業工程情報を対応付けた教師データを生成する教師データ生成部２１１と、生成された教師データを用いた機械学習により識別器２１２の学習を行う学習処理部２２０とを有する。【選択図】図２
2020160734.tif 000002
【特許請求の範囲】
【請求項１】
作業現場をセンシングするセンサ部で取得された学習用のセンサ情報から、前記作業現場に存在する各物体を物体情報として検出し、
検出された前記物体情報ごとに各物体の種別を物体識別情報として識別し、
検出された前記物体情報が示す各物体の位置に、前記物体識別情報を対応付ける学習用の俯瞰マップを生成し、
前記学習用の俯瞰マップごとに、その学習用の俯瞰マップが示す作業工程情報を対応付けた教師データを生成し、
生成された教師データを用いた機械学習により識別器の学習を行うことを特徴とする
作業工程学習方法。
【請求項２】
前記学習用のセンサ情報は、レーザーセンサあるいはカメラで取得した情報であることを特徴とする
請求項１に記載の作業工程学習方法。
【請求項３】
前記作業現場は、トンネルあるいは道路であることを特徴とする
請求項１に記載の作業工程学習方法。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の作業工程学習方法により学習された前記識別器を用いて、作業現場における作業工程を識別する作業工程識別方法であって、
前記センサ部で取得された識別用のセンサ情報から前記物体情報が示す各物体の位置に、前記物体識別情報を対応付ける識別用の俯瞰マップを生成し、
前記生成した識別用の俯瞰マップを前記識別器に入力することで、前記識別用のセンサ情報に対応する作業工程情報を求めることを特徴とする
作業工程識別方法。
【請求項５】
作業現場をセンシングするセンサ部で取得されたセンサ情報から、前記作業現場に存在する各物体を物体情報として検出する物体検出部と、
検出された前記物体情報ごとに各物体の種別を物体識別情報として識別する物体識別部と、
検出された前記物体情報が示す各物体の位置に、前記物体識別情報を対応付ける俯瞰マップを生成する俯瞰マップ生成部と、
前記俯瞰マップに作業工程情報を対応付けた教師データを生成する教師データ生成部と、
生成された教師データを用いた機械学習により識別器の学習を行う学習処理部と、を有することを特徴とする
作業工程学習装置。
【請求項６】
作業現場をセンシングするセンサ部で取得されたセンサ情報から、前記作業現場に存在する各物体を物体情報として検出する物体検出部と、
検出された前記物体情報ごとに各物体の種別を物体識別情報として識別する物体識別部と、
検出された前記物体情報が示す各物体の位置に、前記物体識別情報を対応付ける俯瞰マップを生成する俯瞰マップ生成部と、
前記生成した俯瞰マップを機械学習により生成された識別器に入力することで、前記センサ情報に対応する作業工程情報を求める工程識別部と、を有することを特徴とする
作業工程識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業工程学習方法、作業工程識別方法、作業工程学習装置、および、作業工程識別装置に関する。
【背景技術】
【０００２】
建設・土木等の作業現場（以下、工事現場と呼ぶ）の作業効率を向上させるために、過去の各作業工程の作業時間、開始・終了時刻等を知りたいという要望がある。これまでは各工程の作業時間、開始・終了時刻を、人が目視で確認したり、手入力したりすることが一般的であった。しかしながら、人手による目視確認や手入力では入力ミス等の問題があり自動化が望まれていた。
【０００３】
そこで、特許文献１や非特許文献１に記載のように、工事現場のカメラ映像をそのままＤＬ（Deep Learning）で画像処理して作業工程を自動的に識別する方式が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６３４１５５０号明細書
【非特許文献】
【０００５】
【非特許文献１】西松建設、「AIで切羽作業を自動判定する掘削サイクル判定システムを開発」、［online］、2018年09月07日、［2019年2月14日検索］、インターネット〈URL：https://www.nishimatsu.co.jp/news/news.php?no=Mjky〉
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、工事現場のカメラ映像をそのままＤＬで画像処理して作業工程を識別する方式は、学習した画像データの影響を受けやすいという問題があった。つまり、工事現場の撮影条件が変わることで、学習したときの画像データと異なる状況が発生し、先にＤＬによって学習した工程識別モデルでは工程識別精度が劣化してしまう欠点があった。工事現場の撮影条件が変わる場合とは、例えば、工事現場自体が変わる場合や、工事現場は同じでもカメラの設置位置が変わる場合などである。前者の場合、例えば、作業を行う重機や重機以外の周辺の環境が異なることが想定される。また、後者の場合、例えば、カメラから見た工事現場の見え方が異なることが想定される。
【０００７】
そこで、本発明は、作業現場が多様な状況下でも、高精度に工程を識別できるようにすることを、主な課題とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、本発明の作業工程学習方法は、
作業現場をセンシングするセンサ部で取得された学習用のセンサ情報から、前記作業現場に存在する各物体を物体情報として検出し、
検出された前記物体情報ごとに各物体の種別を物体識別情報として識別し、
検出された前記物体情報が示す各物体の位置に、前記物体識別情報を対応付ける学習用の俯瞰マップを生成し、
前記学習用の俯瞰マップごとに、その学習用の俯瞰マップが示す作業工程情報を対応付けた教師データを生成し、
生成された教師データを用いた機械学習により識別器の学習を行うことを特徴とする。
【０００９】
また、本発明の作業工程識別方法は、
上記した作業工程学習方法により学習された前記識別器を用いて、作業現場における作業工程を識別する作業工程識別方法であって、
前記センサ部で取得された識別用のセンサ情報から前記物体情報が示す各物体の位置に、前記物体識別情報を対応付ける識別用の俯瞰マップを生成し、
前記生成した識別用の俯瞰マップを前記識別器に入力することで、前記識別用のセンサ情報に対応する作業工程情報を求めることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、作業現場が多様な状況下でも、高精度に工程を識別できるようにすることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１に係る作業工程処理システムの概略図である。
【図２】本発明の実施例１に係る作業工程処理装置の構成図である。
【図３】本発明の実施例１に係る物体検出部が検出した物体情報の一例である。
【図４】本発明の実施例１に係る物体識別部が識別した物体識別情報が付加された俯瞰マップの一例である。
【図５】本発明の実施例１に係る物体識別情報ごとに異なるテクスチャパターンで外接矩形内を塗りつぶした俯瞰マップの一例である。
【図６】本発明の実施例１に係るセンサ部から受信した点群情報を外接矩形で囲った俯瞰マップの一例である。
【図７】本発明の実施例２に係る格子状の俯瞰マップの第１例である。
【図８】本発明の実施例２に係る格子状の俯瞰マップの第２例である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【００１３】
［本発明の概要］
本発明の発明者は、工事現場に存在する重機および作業員（以下、「物体」と呼ぶ場合がある）の相対的な位置関係に着目した。そして、工事現場を俯瞰して見た場合におけるその物体の位置関係を示したマップ（以下、「俯瞰マップ」と呼ぶ）を新たに定義し、その俯瞰マップをＤＬ（Deep Learning）によって画像処理することにより、作業工程の機械学習を行うことを考え出した。なお、俯瞰マップは模式的なもの（抽象化の度合いを高めたもの）であってもよい。以下、具体的な内容を説明する。
【００１４】
［実施例１］
図１を参照して、作業工程処理システム１について説明する。図１は、作業工程処理システム１の概略図である。
作業工程処理システム１は、工事現場における作業工程を学習し、工事現場の状況を入力することにより作業工程を識別するシステムである。
作業工程処理システム１は、幾つかの工程に分かれた作業を行う様々な場面に適用することができ、特に、トンネルや高速道路の工事現場などのように、比較的狭くて物体の配置に制約があるような工事現場への適用が有効である。ここでは、工事現場として、トンネルの工事現場２を想定して説明を行う。ただし、作業工程処理システム１が適用できる範囲をトンネルの工事現場２に限定するものではない。
【００１５】
トンネルの工事現場２では、作業工程に対応して様々な重機が使用される。図１に示す作業工程では、ブレーカ３０１、ドリルジャンボ３０２、アジテータ車３０３、およびトラック３０４が工事現場２で使用されている。また、図１に示す作業工程では、作業員３０５がこれらの重機を用いて作業を行っている。
【００１６】
作業工程処理システム１は、少なくとも一つ以上のセンサ部１００（ここでは、四つ）と、作業工程処理装置１０とを主に備える。センサ部１００は、工事現場に配置される。一方、作業工程処理装置１０は、工事現場に配置されてもよいし、工事現場とは離れた他の場所に配置されてもよい。センサ部１００と作業工程処理装置１０とは通信可能である。
【００１７】
センサ部１００は、工事現場の全部または一部を計測（センシング）し、物体の位置、大きさ、形状、物体の種別に関する情報などを取得する。以下では、センサ部１００によって計測（センシング）される空間を「監視エリア」と呼ぶことにする。また、センサ部１００によって取得される情報を「センサ情報」と呼ぶことにする。ここでは、センサ部１００が、切羽から数十メートル（例えば、５０メートル）の範囲を監視エリアとして監視する。センサ部１００の種類、数、配置場所は特に限定されず、物体を適切に計測（センシング）できるように決定される。異なる複数の種類のセンサ部１００を同時に使用してもよい。ここでは、センサ部１００としてLiDAR（Light Detection and Ranging）１００Ａおよびカメラ１００Ｂを用いる場合を想定する。なお、センサ部１００は、作業の妨げにならない場所に設置されるのがよい。ここでのセンサ部１００は、切羽から離れたトンネルの側壁近くに配置されている。
【００１８】
LiDAR１００Ａは、物体にレーザ光を照射し、その反射光を測定するレーザーセンサである。ここでは、トンネルの両側の側壁にLiDAR１００Ａが一台ずつ設置される。これにより、一方のLiDAR１００Ａの死角（例えば、レーザー光が物体により遮られる範囲）を他方のLiDAR１００Ａが測定する。LiDAR１００Ａは、放射したレーザの範囲内にある物体に反射した各点の集合を点群情報として取得する。LiDAR１００Ａによって測定された点群情報は、物体の位置、大きさ、形状（おおよその形状でもよい）を検出するために使用される。つまり、LiDAR１００Ａは、物体の位置、大きさ、形状を検出するための情報を取得できるセンサである。
【００１９】
カメラ１００Ｂは、画像（映像を含む）を撮影する装置であり、物体を認識できる程度の解像度を有している。ここでは、トンネルの両側の側壁にカメラ１００Ｂが一台ずつ設置される。これにより、一方のカメラ１００Ｂの死角を他方のカメラ１００Ｂが撮影するので、カメラ１００Ｂは、監視エリアを死角なしに撮影できる。カメラ１００Ｂによって撮影された画像は、主に、物体の外形や色を特定するために使用される。つまり、カメラ１００Ｂは、物体の外形や色を特定するための情報を取得できるセンサである。
【００２０】
LiDAR１００Ａとカメラ１００Ｂとは、何らかの手段によって位置合わせが行われている。この位置合わせは、LiDAR１００Ａで測定した情報とカメラ１００Ｂで撮影した情報とを対応付けられるものであればよい。詳細は後記する。
【００２１】
なお、センサ部１００は、例えば、LiDAR１００Ａ単体として構成されてもよい。またセンサ部１００は、ステレオカメラとして構成してもよいし、LiDAR１００Ａとステレオカメラとの組み合わせとして構成されてもよい。ステレオカメラによれば、LiDAR１００Ａと同様に三次元情報を取得することができる。
【００２２】
図２を参照して（適宜、図１を参照）、作業工程処理装置１０について説明する。図２は、作業工程処理装置１０の構成図である。作業工程処理装置１０は、センサ部１００で取得したセンサ情報を入力することにより作業工程を識別することが可能な装置である。作業工程処理装置１０は、作業工程を識別する処理を行う前に、センサ部１００で取得したセンサ情報を用いて工事現場における作業工程を事前に学習する。
【００２３】
作業工程処理装置１０は、学習部２００ａと、識別部２００ｂとを含んで構成される。なお、作業工程処理装置１０は、センサ部１００をさらに含んで構成されてもよい。つまり、センサ部１００、学習部２００ａおよび識別部２００ｂが一つの筐体内に収容されたものが作業工程処理装置１０であってもよい。また、学習部２００ａと、識別部２００ｂとが別々の装置として構成されてもよい。つまり、作業工程処理装置１０に代えて、学習部２００ａを有する装置（作業工程学習装置）と、識別部２００ｂを有する装置（作業工程識別装置）とで作業工程処理システム１を構成してもよい。
【００２４】
識別部２００ｂは、センサ部１００から識別用の（例えば現在の）センサ情報を受け、現在の作業工程がどの工程であるかを識別する。識別部２００ｂにより識別される工程は、例えば、作業工程処理システム１の管理者によって予め登録されている。識別部２００ｂにより識別される工程は、例えば、「トンネルの岩盤面である切羽の掘削工程」、「掘削工程で発生した土砂の除去工程」、「除去工程後の空間を補強するトンネル成形工程」などである。
【００２５】
学習部２００ａは、センサ部１００から学習用の（例えば過去の）センサ情報を受け、識別部２００ｂが現在の作業工程を識別するときに用いる識別器２１２を学習により生成する。つまり、識別器２１２は、作業工程を識別することが可能な工程識別モデル（例えばニューラルネットワーク）である。
【００２６】
作業工程処理装置１０の各処理部を実現するための制御部は、それぞれ図示しないＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を中心に構成されている。制御部は、図示しないＲＯＭ（Read Only Memory）等から所定のプログラムを読み出して実行することにより、種々の処理を行う。また前記の制御部は、内部にＲＡＭ（Random Access Memory）、ハードディスクドライブやフラッシュメモリ等でなる記憶部を有しており、この記憶部に種々の情報を記憶させる。
【００２７】
学習部２００ａおよび識別部２００ｂは、それぞれデータ受信部２０１と、物体検出部２０２と、物体識別部２０３と、俯瞰マップ生成部２０４と、識別器２１２とを有する。なお、ここでは、説明の便宜上、これらの機能を別々の機能として図２に二つずつ示しているが、これらの機能を学習部２００ａと識別部２００ｂとで共有することもできる。その場合、これらの列挙した機能は１種類ずつで済む。
【００２８】
データ受信部２０１は、センサ部１００で取得したセンサ情報を入力データとして受け取り、物体検出部２０２にセンサ情報を出力する。センサ情報は、例えば、LiDAR１００Ａによって測定した周囲の点群情報と、カメラ１００Ｂによって撮影した二次元の画像である。
【００２９】
物体検出部２０２は、センサ部１００で取得したセンサ情報を入力として、工事現場に存在する物体の数、位置、概形（例えば、外接直方体）といった物体の情報（以下、「物体情報」と呼ぶ場合がある）を検出する。物体検出部２０２は、検出した物体情報を物体識別部２０３に出力する。
【００３０】
以下、センサ情報がLiDAR１００Ａの点群情報であるときの、物体検出部２０２による物体検出処理の具体例を説明する。
LiDAR１００Ａによるセンシングでは、LiDAR１００Ａから発生されるレーザをLiDAR１００Ａの周辺に放射し、そのレーザ光が物体に反射したレーザを計測することで物体までの位置と距離を計測する。LiDAR１００Ａの基本特性により、LiDAR１００Ａが放射したレーザの範囲内に物体が存在すると、物体に反射したレーザ各点の集合が、点群情報としてまとまって取得できる。
そこで、物体検出部２０２は、周辺の点群情報からは浮き出たようにまとまって存在する点群情報を一つの物体（物体情報）として検出する。その場合、一つにまとめた点群情報を直方体で囲うことで、その物体の位置、大きさ、おおよその形状が検出できる。
なお、上記ではLiDAR１００Ａの点群情報による一つの物体の検出方式を説明したが、それ以外の方式でも物体検出は可能である。例えば、物体検出部２０２は、ステレオカメラによる三次元の撮影画像をセンサ情報として用いて、物体情報を検出できる。
【００３１】
図１に示す作業工程において、LiDAR１００Ａによる測定を行い、そのセンサ情報に基づいて物体検出部２０２が物体検出処理を行った場合のイメージを図３に示す。なお、図３はLiDAR１００Ａによる測定結果を模式的に表現したものであり、実際には、側壁に設置されたLiDAR１００Ａを中心とした周囲の物体の3次元位置情報を点群情報として表したものとなる。
物体検出部２０２による物体検出処理を行った結果、図１のブレーカ３０１が図３に示す物体情報３１１として検出される。同様に、物体としてのドリルジャンボ３０２、アジテータ車３０３、トラック３０４および作業員３０５は、図３に示す物体情報３１２〜３１５として検出される。図３では、物体情報３１１〜３１５を三次元の概形（例えば、外接直方体）で示している。
【００３２】
物体識別部２０３は、物体検出部２０２で検出した物体情報を入力とし、または、物体情報およびセンサ部１００で取得したセンサ情報を入力として、検出した物体の種別を識別する。物体識別情報は、例えば、重機の種別である。物体検出部２０２は、識別した物体の種別情報（以下、「物体識別情報」と呼ぶ場合がある）を物体情報に対応付けて俯瞰マップ生成部２０４に出力する。
【００３３】
以下、撮影画像を利用した物体識別部２０３による物体の種別の識別手法を述べる。
画像以外のセンサ情報（例えば、LiDAR１００Ａの点群情報）を利用して物体検出を行う場合は、そのセンサ情報と撮影画像との位置合わせをしておく。その位置合わせは、それぞれのセンサ、例えば、LiDAR１００Ａの点群情報と撮影画像上での画素の座標をいくつかの点において対応づけし、透視投影変換に必要な変換行列を計算しておくことで可能となる。
【００３４】
そのようにして対応づけした撮影画像の特定の範囲から、物体識別部２０３は、画像処理によって物体の識別を行う。画像処理による物体識別方式は様々な方式が利用できる。物体識別方式は、例えば、テンプレートマッチングなど古典的な画像処理手法を用いてもよいし、ＤＬのような機械学習の手法で識別する手法を用いてもよい。
【００３５】
また、物体検出部２０２の検出結果によって物体識別を行う範囲を限定する以外にも、物体識別部２０３は、撮影画像の画面全体から物体の検出処理と識別処理とを行って、その結果と物体検出部２０２の結果を対応付けることで物体識別をすることも可能である。
さらに、上記では画像処理による物体識別方法を説明したが、物体識別部２０３は、LiDAR１００Ａの点群情報だけから物体識別を行ってもよい。
【００３６】
物体識別部２０３の物体識別処理により、例えば、図３に示す物体情報３１１に対して物体識別情報「ブレーカ」が関連付けられる。同様に、物体情報３１２〜３１５に対してそれぞれの重機の種別などが関連付けられる。
【００３７】
俯瞰マップ生成部２０４は、物体検出部２０２で検出した物体情報および物体識別部２０３で識別した物体識別情報を入力とする。俯瞰マップ生成部２０４は、物体検出部２０２で検出した物体情報の位置に、物体識別部２０３で識別した物体識別情報を付与したデータを俯瞰マップとして生成する。俯瞰マップ生成部２０４は、学習部２００ａの教師データ生成部２１１、または、識別部２００ｂの工程識別部２０５に生成した俯瞰マップを出力する。
【００３８】
俯瞰マップは、センサ部１００によってセンシングした結果（物体検出および識別結果）を、上方から俯瞰して画像化したデータであり、工事現場を俯瞰した二次元の平面図として構成される。俯瞰マップは、センサ部１００によってセンシングされたセンサ情報の実空間と対応している。つまり、俯瞰マップ自体は画像形式に限定されず、センサ情報に存在する監視エリア内の各物体（重機や作業員など）と、その物体間の相対的な位置関係とを示す、抽象化した（監視エリア内の視点を正規化した）配置パターンデータである。
【００３９】
俯瞰マップ生成部２０４は、物体情報（例えば、三次元の概形である外接直方体）を射影変換などにより二次元座標へ変換し、その変換結果として各物体の外接矩形を生成する。そして、俯瞰マップ生成部２０４は、その生成した各外接矩形に対して、物体識別情報を加える（図４参照）。これにより、俯瞰マップ生成部２０４は、俯瞰マップを生成する。図４は、図３の物体情報３１１〜３１５を二次元座標に変換した外接矩形３１１Ａ〜３１５Ａに対して、物体識別部２０３が識別した物体識別情報を付加した俯瞰マップの一例である。図４に示す俯瞰マップは、外接矩形３１１Ａ〜３１５Ａに対して物体識別情報３２１〜３２５が関連付けられたものである。
【００４０】
俯瞰マップ生成部２０４は、俯瞰マップ内の各物体情報（物体の位置）と、その物体の物体識別情報とを対応付ける方法として、図４のように、リンク線を俯瞰マップ内に直接描画してもよいし、俯瞰マップとは別の対応情報を生成してもよい。
さらに、俯瞰マップ生成部２０４は、各物体の外接矩形３１１Ａ〜３１５Ａの内部表示を、事前に登録してある物体識別情報ごとの模式図（アイコン図など）に置き換えてもよい。
【００４１】
なお、図４では、物体識別情報ごとの模式図を外接矩形３１１Ａ〜３１５Ａ内に記載したが、物体識別情報ごとに異なる他の情報を外接矩形３１１Ａ〜３１５Ａ内に記載することで、俯瞰マップ生成部２０４は、俯瞰マップを生成してもよい。
図５は、物体識別情報ごとに異なるテクスチャパターンで外接矩形３１１Ａ〜３１５Ａ（図４参照）内を塗りつぶした図形３３１〜３３５を有する俯瞰マップの一例である。
図６は、センサ部１００であるLiDAR１００Ａから受信した点群情報を外接矩形３１１Ａ〜３１５Ａ（図４参照）で囲った図形３４１〜３４５を有する俯瞰マップの一例である。
【００４２】
図２に示す学習部２００ａは、さらに、教師データ生成部２１１と、学習処理部２２０とを有する。
教師データ生成部２１１は、俯瞰マップ生成部２０４で生成した俯瞰マップおよびその俯瞰マップが示す作業工程情報（正解データ）を入力とし、これらの情報のペアから学習用の教師データを生成する。学習部２００ａは、生成した教師データを学習処理部２２０に出力する。なお、俯瞰マップが示す作業工程情報（正解データ）は、例えば、作業工程処理システム１の管理者によって入力される。
【００４３】
学習処理部２２０は、教師データ生成部２１１で生成された教師データを入力とし、ＤＬなどの機械学習アルゴリズムを実行することで、識別器２１２（工程識別モデル）の学習を行う。識別部２００ｂは、学習された識別器２１２を所定のタイミングで取得する。
【００４４】
なお、学習部２００ａのうちの学習用の俯瞰マップを作成するまでの各処理部（データ受信部２０１と、物体検出部２０２と、物体識別部２０３と、俯瞰マップ生成部２０４）のうちの少なくとも１つは、計算機による自動処理により実現してもよいし、人間が手動で各種情報を作成してもよい。
【００４５】
図２に示す識別部２００ｂは、さらに、工程識別部２０５を有する。
工程識別部２０５は、俯瞰マップ生成部２０４で生成された俯瞰マップを入力とする。工程識別部２０５は、俯瞰マップを工程識別モデルである識別器２１２への入力データとすることで工程識別を行い、識別器２１２からの出力データを識別工程２１３とする。識別工程２１３は、識別用のセンサ情報（現在のセンサ情報）から識別された工程を示す情報である。そのため、識別器２１２を識別前に用意しておく必要がある。そこで、学習部２００ａの学習処理部２２０は、各工程における１つ以上の俯瞰マップから識別器２１２を学習させる。
【００４６】
以上説明した実施例１によれば、センサ部１００から取得したセンサ情報をそのまま機械学習を用いる代わりに、取得したセンサ情報をもとに作成した俯瞰マップを機械学習に用いることで、センサ情報に影響を与えていた撮影条件が俯瞰マップにより正規化される。これにより、撮影条件が変化しても同じ俯瞰マップへと収束されるので、工程識別を高精度に行うことが可能となる。
なお、以下が撮影条件が変化する一例である。
・工事現場が異なると、作業を行う重機、あるいは重機の機種が異なる。
・工事現場が異なると、重機以外の周辺の環境が異なる。
・カメラの設置位置、工事現場の移動等により中での工事現場の見え方が異なる。
換言すると、俯瞰マップは、工事現場の重機および作業員等の状況を、撮影条件に依存せずに認識した結果である。
【００４７】
［実施例２］
実施例２では、実施例１の俯瞰マップよりもさらに抽象化の度合いを高めた俯瞰マップを用いる。俯瞰マップの内容以外の構成要素は実施例１と実施例２とで共通である。
【００４８】
図７は、格子状の俯瞰マップの第１例である。
俯瞰マップ生成部２０４は、監視エリアを格子状（縦横のマス目の）の小エリアに区分けしておき、各物体３０１〜３０５（図１参照）がそれぞれどの小エリアに存在するかを求める。そして、俯瞰マップ生成部２０４は、符号４０２に示すように各物体３０１〜３０５を記号化して小エリアを単位として配置することで、格子状の俯瞰マップ４０１を生成する。
【００４９】
図８は、格子状の俯瞰マップの第２例である。
俯瞰マップ生成部２０４は、図５と同様にして、符号４１２に示すように物体識別情報ごとに異なるテクスチャパターンで小エリアごとに塗りつぶすことで、格子状の俯瞰マップ４１１を生成してもよい。
【００５０】
［利用形態の説明］
実施例１では、センサ部１００としてLiDAR１００Ａおよびカメラ１００Ｂを用いた場合を説明したが、以下の要件を満たすセンサを用いてもよい。
・物体の位置や外形などを三次元で表現できるセンサ。
・物体の外形や色で物体識別ができるセンサ。
・取得したデータから例示した二次元画像へ変換し、機械学習の学習データとして使用可能なセンサ。
また、実施例１では外接矩形を用いて二次元画像を作成したが、機械学習による学習が可能であれば、外接矩形を用いずに物体の模式図やテクスチャパターンや点群情報のみを学習させて、工程識別を行ってもよい。
【００５１】
また、実施例１では作業現場として工事現場を例示しているが、新規な施設等の建設工事だけでなく補修や検査等を目的とした作業現場であっても、本発明を適用することができる。
【符号の説明】
【００５２】
１００  センサ部
１００Ａ  LiDAR（レーザーセンサ）
１００Ｂ  カメラ
２００ａ  学習部（作業工程学習装置）
２００ｂ  識別部（作業工程識別装置）
２０１  データ受信部
２０２  物体検出部
２０３  物体識別部
２０４  俯瞰マップ生成部
２０５  工程識別部
２１１  教師データ生成部
２１２  識別器
２１３  識別工程
２２０  学習処理部
【図１】
2020160734.tif 000003
【図２】
2020160734.tif 000004
【図３】
2020160734.tif 000005
【図４】
2020160734.tif 000006
【図５】
2020160734.tif 000007
【図６】
2020160734.tif 000008
【図７】
2020160734.tif 000009
【図８】
2020160734.tif 000010