(57)【要約】【課題】必要十分な注意喚起が可能な、作業車両の周囲監視技術を提供する。【解決手段】作業車両３２０の作業状態および作業位置を作業車両データ２１０として管理する管理端末と、自車両３１０の周囲の検出領域５２０内の環境データを取得する周囲環境取得装置１１０と、環境データおよび作業車両データ２１０に基づき、警報の要否を判定し、警報要と判定された場合、警報出力指示を行うコントローラ１２０と、コントローラ１２０からの警報出力指示に従って警報を出力する出力装置１３０と、を備え、コントローラ１２０は、環境データに基づき、周囲物体４６０を検出し、作業車両データ２１０の作業状態が予め定めた作業中である作業車両３２０の作業位置に基づいて非警報領域５３０を決定し、非警報領域５３０外に周囲物体４６０が検出された場合、警報出力指示を行う。【選択図】図３
2019168996.tif 000002
【特許請求の範囲】
【請求項１】
予め定めた管理領域内の各作業車両の作業状態および作業位置を作業車両データとして管理する管理端末と、
前記作業車両のうちの１の作業車両である自車両に装着されて、当該自車両の周囲の検出領域内の環境データを取得する周囲環境取得装置と、
前記環境データおよび前記作業車両データに基づき、警報の要否を判定し、警報要と判定された場合、警報出力指示を行うコントローラと、
前記コントローラからの前記警報出力指示に従って警報を出力する出力装置と、を備え、
前記コントローラは、
前記環境データに基づき、前記検出領域内に存在する周囲物体を検出し、
前記作業車両データの前記作業状態が予め定めた作業中である前記作業車両の前記作業位置に基づいて前記検出領域内の非警報領域を決定し、
前記検出領域内の非警報領域外に前記周囲物体が検出された場合、前記警報出力指示を行うこと
を特徴とする作業車両の周囲監視システム。
【請求項２】
請求項１記載の作業車両の周囲監視システムにおいて、
前記コントローラは、さらに、前記作業位置と前記自車両との距離が、予め定めた値より小さい前記作業車両の前記作業位置に基づいて前記非警報領域を決定すること
を特徴とする作業車両の周囲監視システム。
【請求項３】
請求項１記載の作業車両の周囲監視システムにおいて、
前記検出領域は、前記自車両に対する方向および距離の少なくとも一方に応じて分割された複数の分割領域を有し、
前記コントローラは、前記作業状態が予め定めた作業中である前記作業車両の前記作業位置が含まれる前記分割領域を、前記非警報領域と決定すること
を特徴とする作業車両の周囲監視システム。
【請求項４】
請求項３記載の作業車両の周囲監視システムにおいて、
前記コントローラは、前記非警報領域内で、前記作業状態が予め定めた作業中である前記作業車両以外の前記周囲物体が検出された場合、前記警報出力指示を行うこと
を特徴とする作業車両の周囲監視システム。
【請求項５】
請求項１記載の作業車両の周囲監視システムにおいて、
前記周囲環境取得装置は、カメラを備え、前記環境データとして周囲画像を取得し、
前記出力装置はモニタを備え、
前記コントローラは、前記周囲画像から出力画像を生成し、検出された前記周囲物体を、当該出力画像上の前記非警報領域内と前記非警報領域外とで異なる態様で表示させること
を特徴とする作業車両の周囲監視システム。
【請求項６】
請求項１記載の作業車両の周囲監視システムにおいて、
オペレータから、前記非警報領域の設定基準の入力を受け付ける操作装置をさらに備え、
前記コントローラは、前記作業車両データが前記設定基準を満たす前記作業車両の前記作業位置に基づいて前記非警報領域を決定すること
を特徴とする作業車両の周囲監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業車両の周囲監視技術に関する。特に、障害物を検出した際の警告出力技術に関する。
【背景技術】
【０００２】
周囲監視において、過剰な警告を抑える技術がある。例えば、特許文献１には、「警告領域設定部と警告部とを備え、警告領域設定部は、ダンプトラックの走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する。警告部は、８台のレーダ装置のうち少なくとも１つのレーダ装置によって検知された障害物の相対位置が警告領域内に位置することを運転者に警告する（公開公報要約抜粋）。」周囲監視装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５７２２１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示の周囲監視装置では、設定された警報領域内においては、全ての検出物体に対して報知がなされるため、作業上の必要性から接近している物体に対しても報知がなされる場合がある。例えば、作業車両が積荷の積載を受けるために積込機へ接近する場合等である。このような検出物体に対しては、本来は、注意喚起は不要であり、特許文献１に開示の技術では、不要な警告を、十分に抑制しきれていない。従って、作業車両の周囲の情報を、必要十分な注意喚起を行いつつ、わかりやすく伝えることができていない。
【０００５】
本発明は、上記の状況に鑑みてなされたものであり、必要十分な注意喚起が可能な、作業車両の周囲監視技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、予め定めた管理領域内の各作業車両の作業状態および作業位置を作業車両データとして管理する管理端末と、前記作業車両のうちの１の作業車両である自車両に装着されて、当該自車両の周囲の検出領域内の環境データを取得する周囲環境取得装置と、前記環境データおよび前記作業車両データに基づき、警報の要否を判定し、警報要と判定された場合、警報出力指示を行うコントローラと、前記コントローラからの警報出力指示に従って警報を出力する出力装置と、を備え、前記コントローラは、前記環境データに基づき、前記検出領域内に存在する周囲物体を検出し、前記作業車両データの前記作業状態が予め定めた作業中である前記作業車両の前記作業位置に基づいて前記検出領域内の非警報領域を決定し、前記検出領域内の非警報領域外に前記周囲物体が検出された場合、前記警報出力指示を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、作業車両の周囲監視において、必要十分な注意喚起が可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態による周囲監視システムの概略構成を示す図。
【図２】本発明の第１の実施形態による周囲監視システムが搭載される作業車両を模式的に示した斜視図。
【図３】本発明の第１の実施形態による周囲監視システムの一構成例を示すブロック図。
【図４】（ａ）は、本発明の第１の実施形態による管理端末のハードウェア構成図。（ｂ）は、本発明の第１の実施形態による作業車両データの一例を説明する図。
【図５】本発明の第１の実施形態による路面上の視野範囲と検出領域との関係を説明する図。
【図６】本発明の第１の実施形態によるコントローラの各部の処理のフローチャート。
【図７】（ａ）〜（ｅ）は、本発明の第１の実施形態による合成画像の一例を説明する図。
【図８】本発明の第１の実施形態によるコントローラのハードウェア構成図。
【図９】（ａ）〜（ｃ）は、周囲物体検出法の一例を説明する図。
【図１０】本発明の第１の実施形態による非警報領域設定処理のフローチャート。
【図１１】本発明の第１の実施形態による非警報領域の一例を説明する図。
【図１２】本発明の第１の実施形態による出力設定生成処理のフローチャート。
【図１３】本発明の第１の実施形態による出力画像例を示す図。
【図１４】本発明の第２の実施形態による周囲監視システムの一構成例を示すブロック図。
【図１５】（ａ）および（ｂ）は、本発明の第２の実施形態による設定画面例を示す図。
【図１６】本発明の変形例２による周囲監視システムの一構成例を示すブロック図。
【図１７】（ａ）および（ｂ）は、本発明の変形例３による非警報領域設定手法を説明する図。
【図１８】本発明の変形例３による出力設定処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態による作業機械の周囲監視システムについて説明する。以下、本明細書では、同一機能を有するものは、特に断らない限り、同一の符号を付し、繰り返しの説明は省略する。
【００１０】
＜＜第１の実施形態＞＞
本発明の第１の実施形態の作業車両の周囲監視システムについて説明する。本実施形態では、鉱山での作業等に用いられるダンプトラックに周囲監視システムを搭載した場合について説明する。
【００１１】
図１は、本実施形態による周囲監視システム１００の概要を説明するための図である。本図に示すように、本実施形態の周囲監視システム１００が用いられる鉱山では、自動車３２０ａ、ショベル３２０ｂ、ダンプトラック（３１０、３２０ｃ）等の各作業車両と、管理センタ３３０に配置された端末とが無線通信を介してデータの送受信を行う。なお、以下、本実施形態において、各作業車両について、それぞれ区別する必要がない場合は、作業車両３２０で代表する。
【００１２】
各作業車両３２０は、複数の航法衛星３４０から航法信号を受信するＧＮＳＳセンサを搭載し自車の位置（自車位置）を算出する。そして、算出した自車位置と作業状態とを、管理センタ３３０の端末に送信する。
【００１３】
管理センタ３３０の端末では、予め定めた管理領域である鉱山内の各作業車両３２０の作業状態、位置（各作業車両の自己位置）等を含む作業車両情報（作業車両データ）を管理する。なお、本実施形態の周囲監視システム１００は、管理センタ３３０の端末が管理する作業車両３２０の中の、少なくとも１つの作業車両３２０に搭載される。本実施形態では、上述のように、ダンプトラック３１０に搭載される場合を例にあげて説明する。
【００１４】
なお、作業車両３２０は、上記例の他、他の運搬車両、散水車、グレーダ等、種類を問わない。
【００１５】
図２は、本実施形態の周囲監視システム１００を搭載するダンプトラック３１０を模式的に示した全体斜視図である。
【００１６】
ダンプトラック３１０は、前面上部に運転室３１１を備える。運転室３１１の前方に、ダンプトラック３１０の前方を撮影する前方カメラ１１２が設けられている。ダンプトラック３１０の左側面、たとえばダンプトラック３１０の左方前輪３１３ａの上方には、ダンプトラック３１０の左方を撮影する左方カメラ１１３が設けられている。ダンプトラック３１０の後部、荷台３１２の下には、ダンプトラック３１０の後方を撮影する後方カメラ１１４が設けられている。ダンプトラック３１０の右側面、たとえばダンプトラック３１０の右方前輪３１３ｂの上方には、ダンプトラック３１０の右方を撮影する右方カメラ１１５が設けられている。
【００１７】
前方カメラ１１２、左方カメラ１１３、後方カメラ１１４、および右方カメラ１１５は、それぞれ魚眼レンズのような広画角のレンズを有し、地表面（路面）を主に撮影するために所定の俯角をつけて設置されている。
【００１８】
図２には、さらに、前方カメラ１１２、左方カメラ１１３、後方カメラ１１４および右方カメラ１１５により撮影された画像の一例が図示されている。
【００１９】
前方画像４１２は、前方カメラ１１２により撮影される画像の一例である。左方画像４１３は、左方カメラ１１３により撮影される画像の一例である。後方画像４１４は、後方カメラ１１４により撮影される画像の一例である。右方画像４１５は、右方カメラ１１５により撮影される画像の一例である。
【００２０】
［周囲監視システム］
次に、本実施形態の周囲監視システム１００について説明する。図３は、本実施形態による周囲監視システム１００のブロック図である。本実施形態の周囲監視システム１００は、周囲環境取得装置１１０と、コントローラ１２０と、出力装置１３０と、管理端末１４０と、通信装置１５０と、ＧＮＳＳセンサ１６０と、データ記憶装置１８０と、速度センサ１９０と、を備える。
【００２１】
周囲環境取得装置１１０と、コントローラ１２０と、出力装置１３０と、通信装置１５０と、ＧＮＳＳセンサ１６０と、データ記憶装置１８０と、速度センサ１９０と、は、ダンプトラック３１０に設けられる。管理端末１４０は、例えば、管理センタ３３０等に設けられる。
【００２２】
管理端末１４０は、ダンプトラック３１０が稼働する鉱山（管理領域）内に存在する少なくとも１台の作業車両３２０に関する作業車両データ２１０を管理する。そして、通信装置１５０を介したコントローラ１２０からの要求に応じて、作業車両情報（作業車両データ２１０）を、通信装置１５０に出力する。
【００２３】
管理端末１４０は、図４（ａ）に示すように、ＣＰＵ１４１とＲＡＭ１４２と記憶装置１４３と、入出力インタフェース１４４と、通信インタフェース１４５と、を備える。作業車両データ２１０は、記憶装置１４３に記憶される。
【００２４】
ここで、管理端末１４０が管理する作業車両データ２１０について説明する。図４（ｂ）は、作業車両データ２１０の一例である。本図に示すように、作業車両データ２１０は、管理する各作業車両３２０について、識別情報（ＩＤ）２１１と、機種２１２と、作業状態２１３と、位置２１４と、存在領域２１５と、を管理する。
【００２５】
ＩＤ２１１には、各作業車両３２０を一意に特定する情報が登録される。機種２１２には、例えば、ダンプトラック、ショベル、ホイールローダ、自動車等、作業車両３２０の種別が登録される。これらの情報は、例えば、入出力インタフェース１４４または通信インタフェース１４５を介して予め登録される。
【００２６】
作業状態２１３には、作業車両３２０の状態を示す情報が登録される。本実施形態では、例えば、掘削中、積込中、走行中、停止中等が登録される。作業状態２１３は、所定の時間間隔で、各作業車両３２０から通信インタフェース１４５を介して取得し、更新される。図３は周囲監視システム１００を搭載したダンプトラック３１０を示すが、監視対象となる同じ構成のダンプトラック３２０ｃの作業状態を説明するため、同じ図３を用いる。作業状態２１３を取得するために、走行中か停止中かの状態を取得する速度センサ１９０以外にも、荷台３１２の積載状態を取得する荷重センサ２００や、荷台３１２の昇降状態を取得するために図示しないホイストシリンダに圧力センサ２０１などが設けられていれば、より詳細な作業状態を取得することができる。
【００２７】
位置２１４は、作業車両３２０の位置の情報である。作業車両３２０のうち、ＧＮＳＳセンサ１６０等を備え、自己位置算出機能を有する作業車両３２０が送信する、所定の時間間隔で算出した情報を、通信インタフェース１４５を介して受信して登録する。
【００２８】
存在領域２１５は、作業車両３２０が存在する領域の情報である。存在する領域とは、作業車両３２０を水平面（路面）上に射影した際に、水平面上の作業車両３２０に対応する領域である。本実施形態では、当該領域を特定可能な緯度、経度情報が登録される。
【００２９】
存在領域２１５は、各作業車両３２０側で、自身の位置、向き、サイズ等の情報を用いて算出して管理端末１４０に送信してもよいし、管理端末１４０側で算出してもよい。管理端末１４０側で算出する場合、管理端末１４０は、例えば、機種毎のサイズ（幅、長さ等）の情報を保持し、作業車両３２０から送信される位置２１４および向きの情報を用いて、存在領域２１５を算出する。存在領域２１５として算出される領域が、例えば、多角形領域の場合、各頂点の緯度経度が存在領域２１５として登録される。
【００３０】
例えば、予め作業位置がわかっている作業車両３２０であれば、存在領域２１５は、入出力インタフェース１４４を介して入力されてもよい。
【００３１】
周囲環境取得装置１１０は、ダンプトラック３１０に装着されて、自車両の周囲の予め定めた領域内の、ダンプトラック３１０の周囲に関する情報（環境データ）を取得し、コントローラ１２０に出力する。
【００３２】
本実施形態では、周囲環境取得装置１１０は、前方カメラ１１２と、左方カメラ１１３と、後方カメラ１１４と、右方カメラ１１５とを有する。そして、それぞれのカメラにより前方画像４１２、左方画像４１３、後方画像４１４、右方画像４１５を含むダンプトラック３１０の周囲の画像（周囲画像）４１２〜４１５（図２参照）を、所定のフレームレートで順次取得し、環境データとして出力する。
【００３３】
以下、各カメラを区別する必要がない場合は、カメラ１１１で代表する。また、同様に、各周囲画像を区別する必要がない場合は、周囲画像４１１で代表する。なお、周囲画像４１１は、各カメラ１１１で取得したスルー画像である。
【００３４】
各カメラ１１１の、路面上の視野範囲と検出領域との関係を図５に示す。本図に示すように、前方カメラ１１２は、前方視野範囲５１２を、左方カメラ１１３は、左方視野範囲５１３を、後方カメラ１１４は、後方視野範囲５１４を、右方カメラ１１５は、右方視野範囲５１５を、それぞれ視野に持つ。図中では、各視野範囲を矩形で例示しているが、視野範囲は矩形に限定されない。
【００３５】
各視野範囲について、視野範囲内の各位置に対応する各カメラ１１１の画素位置は、予め対応づけて、データ記憶装置１８０等に登録される。なお、視野範囲の各位置は、車両座標系で示される。車両座標系は、図５に示すように、ダンプトラック３１０の重心を原点Ｏとし、路面に平行な面上において、ダンプトラック３１０の前後方向の車軸方向をｙ軸方向、ｙ軸方向に直交する方向をｘ軸方向とする右手座標系である。
【００３６】
路面上の、各視野範囲で覆われる領域が、ダンプトラック３１０の周囲画像４１１を取得可能な領域であり、周囲環境取得装置１１０の検出領域５２０である。
【００３７】
通信装置１５０は、管理端末１４０と、無線ＬＡＮなどの通信網を経由して通信を行う。通信装置１５０は、管理端末１４０から取得した情報を、コントローラ１２０に出力する。本実施形態では、上述の作業車両データ２１０を取得し、コントローラ１２０に出力する。
【００３８】
ＧＮＳＳセンサ１６０は、複数の航法衛星３４０から航法信号を取得する。ＧＮＳＳセンサ１６０は、取得した航法信号を、コントローラ１２０に出力する。
【００３９】
速度センサ１９０は、ダンプトラック３１０の速度を検出し、コントローラ１２０に出力する。速度センサ１９０には、例えば、走行モータまたは車軸の回転数を検出するセンサが用いられる。
【００４０】
コントローラ１２０は、周囲環境取得装置１１０と、通信装置１５０と、ＧＮＳＳセンサ１６０とから入力されたデータに対し、演算を施し、出力装置１３０に出力する。
【００４１】
本実施形態では、コントローラ１２０は、周囲環境取得装置１１０が取得した環境データから、検出領域５２０内に存在する障害物を周囲物体として検出する。また、管理端末１４０で管理される作業車両データ２１０に基づき、非警報領域を決定する。そして、検出領域５２０内の非警報領域外で周囲物体が検出された場合、警報を出力する警報出力指示を出力装置１３０に出力する。
【００４２】
出力装置１３０は、出力設定部１２４から取得した警報出力指示に基づいて、ダンプトラック３１０の運転者（オペレータ）へ、ダンプトラック３１０の周囲の状況を伝える。本実施形態の出力装置１３０は、例えば、モニタ１３１およびブザー１３２を含む。モニタ１３１およびブザー１３２は、例えば、ダンプトラック３１０の運転室３１１内に設置される。
【００４３】
データ記憶装置１８０には、ダンプトラック３１０の各部に関するデータ、各カメラ１１１の位置、視野範囲等のデータ等が記憶される。カメラ１１１の位置、視野範囲等のデータは、例えば、ダンプトラック３１０の車両座標系で記憶される。この対応情報を介して、車両座標系で管理される実空間の位置情報と、カメラ画像内の画素位置とを対応づけることができる。
【００４４】
また、モニタ１３１に表示するダンプトラック３１０や作業車両３２０のイラストデータ（後述するアイコン画像４３０等）も、データ記憶装置１８０に保持される。
【００４５】
［コントローラ］
次に、コントローラ１２０の詳細を説明する。本実施形態のコントローラ１２０は、図３に示すように、周囲物体検出部１２１と、自己位置演算部１２２と、非警報領域設定部１２３と、出力設定部１２４と、出力画像生成部１２５と、を備える。
【００４６】
以下、各部の処理の詳細および流れを、図６に沿って説明する。
【００４７】
周囲物体検出部１２１は、周囲環境取得装置１１０から取得した周囲画像４１１に基づいて、ダンプトラック３１０の周囲（検出領域５２０内）に存在する障害物（周囲物体）を検出する。検出する周囲物体は、例えば、作業員、自動車、および、ショベル、ホイールローダ等の作業車両である。
【００４８】
また、本実施形態の周囲物体検出部１２１は、周囲物体が検出された場合、その存在領域（周囲物体領域）を特定する。そして、検出された周囲物体領域の情報を含む周囲物体情報２２１を、出力設定部１２４に送信する。
【００４９】
本実施形態では、周囲物体を、周囲画像４１１を用いて検出する。従って、周囲物体領域は、各周囲画像４１１の画素領域として得られる。複数の周囲物体が検出された場合は、周囲物体毎の周囲物体領域が周囲物体情報２２１として送信される。
【００５０】
図６に示すように、周囲物体検出部１２１は、周囲画像４１１を取得し（ステップＳ６１１）、周囲画像４１１から周囲物体を検出する（ステップＳ６１２）。そして、周囲物体が検出された場合、その周囲物体領域の情報を、周囲物体情報２２１として、出力設定部１２４に送信する（ステップＳ６１３）。
【００５１】
自己位置演算部１２２は、ＧＮＳＳセンサ１６０から取得した複数の航法信号に基づいて、ダンプトラック３１０の位置（自己位置）２１２を演算する。自己位置演算部１２２は、算出した自己位置２２２を非警報領域設定部１２３に送信する。なお、自己位置２２２は、例えば、ダンプトラック３１０の重心の緯度経度で得られる。
【００５２】
図６に示すように、自己位置演算部１２２は、まず、航法信号を取得する（ステップＳ６２１）。そして、取得した航法信号から、自己位置を算出する（ステップＳ６２２）。算出した自己位置２２２を、非警報領域設定部１２３に送信する(ステップＳ６２３)。
【００５３】
非警報領域設定部１２３は、通信装置１５０から取得した作業車両データ２１０と自己位置演算部１２２から取得したダンプトラック３１０の自己位置２２２とに基づいて、非警報領域５３０を決定し、設定する。そして、非警報領域設定部１２３は、決定した非警報領域５３０を、領域設定情報２２３として出力設定部１２４に送信する。
【００５４】
非警報領域５３０は、周囲物体が存在したとしても、出力装置１３０から警報を出力しない領域である。警報を出力するとは、ダンプトラック３１０の運転者に対し、出力装置１３０での表示や警報音鳴動を通じて、積極的にダンプトラック３１０の周囲の状況を知らせる事を指す。
【００５５】
本実施形態では、警報対象領域内で、掘削中または積込中の、ショベルやホイールローダなどの存在領域を、非警報対象領域とする。具体的には、非警報領域設定部１２３は、機種２１２については、ショベルやホイールローダなどの積込機を、作業状態２１３については掘削中および積込中を、存在領域２１５と自己位置２２２との距離としては、ダンプトラック３１０の走行状態に応じた制動距離もしくは構造的に死角となる範囲を、非警報対象領域とする。
【００５６】
図６に示すように、非警報領域設定部１２３は、通信装置１５０から作業車両データ２１０を取得し（ステップＳ６３１）、自己位置演算部１２２から自己位置２２２を取得する（ステップＳ６３２）。作業車両データ２１０の取得と、自己位置２２２の取得とは、いずれが先であってもよい。そして、両者を用いて、非警報領域を決定し（ステップＳ６３３）、領域設定情報２２３として、出力設定部１２４に送信する（ステップＳ６３４）。なお、非警報領域に設定すべき領域が無い場合は、設定領域無しとの情報を、領域設定情報２２３として出力設定部１２４に送信する。
【００５７】
出力画像生成部１２５は、周囲画像４１１から、出力装置１３０のモニタ１３１に表示する画像（合成画像）を生成する。生成した合成画像は、出力設定部１２４に出力する。
【００５８】
本実施形態では、図７（ａ）〜図７（ｅ）に示すように、各周囲画像４１１から、抽出領域４２１（前方抽出領域４２２、左方抽出領域４２３、後方抽出領域４２４、右方抽出領域４２５）を切り取り、所定の画像領域に配置し、中央に、ダンプトラック３１０を示すアイコン画像４３０を配置して合成し、合成画像４４０を生成する。
【００５９】
図６に示すように、周囲画像４１１を取得し（ステップＳ６６１）、合成画像４４０を生成し（ステップＳ６６２）。出力設定部１２４に送信する(ステップＳ６６３)。なお、出力装置１３０において、警報出力として、ブザー１３２からの音声のみとする場合は、合成画像４４０は不要である。この場合、出力画像生成部１２５は、備えなくてもよい。
【００６０】
出力設定部１２４は、周囲物体検出部１２１から取得した周囲物体情報２２１および非警報領域設定部１２３から取得した領域設定情報２２３に基づいて、出力装置１３０での表示や警報音鳴動の形態に関する出力設定２２４を設定する。出力設定部１２４は、設定した出力設定２２４を出力装置１３０に出力する。
【００６１】
コントローラ１２０は、図８に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、入出力インタフェース１０４と、を有するコントローラ、情報処理装置等で実現される。コントローラ１２０は、ＣＰＵ１０１がＲＯＭ１０３等に予め記憶されたプログラムをＲＡＭ１０２にロードして実行することにより、周囲物体検出部１２１、自己位置演算部１２２、非警報領域設定部１２３、出力設定部１２４および出力画像生成部１２５の各部の機能を実現する。また、ＧＮＳＳセンサ１６０、通信装置１５０、周囲環境取得装置１１０からのデータは、入出力インタフェース１０４を介して入力される。また、出力装置１３０へは、入出力インタフェース１０４を介して出力される。
【００６２】
なお、データ記憶装置１８０に記憶されるデータは、ＲＯＭ１０３内に記憶されてもよい。
【００６３】
以下、各部の処理の詳細を説明する。
【００６４】
まず、上記ステップＳ６１２の、周囲物体検出部１２１による周囲物体検出処理の一例を説明する。
【００６５】
周囲物体検出部１２１は、例えば、公知の画像差分法（オプティカルフロー法）に従って、時間的に連続する２つのフレーム（以下、現フレームと前フレームと呼ぶ。）の比較により求められる動きベクトルに基づいて、周囲物体およびその画素領域として周囲物体領域を検出する。検出は、各周囲画像４１１について行う。
【００６６】
右方画像４１５を用いて、検出する場合を例に、図９（ａ）〜図９（ｃ）を用いて検出手法を説明する。
【００６７】
図９（ａ）には、前フレーム４１５ａを、図９（ｂ）には、現フレーム４１５ｂをそれぞれ示す。前フレーム４１５ａには、自動車の像４５１が、右方抽出領域４２５の右端近傍に存在する。前フレーム４１５ａ取得時から現フレーム４１５ｂ取得時までのΔｔ間に、自動車は移動し、現フレーム４１５ｂでは、自動車の像４５１は、右方抽出領域４２５の中央近傍に存在する。
【００６８】
周囲物体検出部１２１は、前フレーム４１５ａおよび現フレーム４１５ｂを、それぞれ、小領域に分割する。そして、前フレーム４１５ａの各小領域に対し、現フレーム４１５ｂにおける同一または周辺の位置の小領域との相関演算を行う。周囲物体検出部１２１は、それらの相関演算の結果に基づいて、前フレーム４１５ａの小領域ごとにそれぞれに最も相関が高い現フレーム４１５ｂの小領域を検出する。
【００６９】
周囲物体検出部１２１は、前フレーム４１５ａの小領域と、その小領域と最も相関が高い現フレーム４１５ｂの小領域との位置関係を表す動ベクトル、すなわち、前フレームの各小領域の画像がそれぞれΔｔの間にどの方向にどれだけ移動したかを示すベクトルを前フレームの小領域ごとに算出する。
【００７０】
周囲物体検出部１２１は、動ベクトルの方向と大きさが同一または類似である小領域には同一の移動物体の像が含まれていると判断し、それらの小領域を統合し、移動物体像の画素領域として検出する。
【００７１】
なお、前フレームの各小領域に対し現フレームにおける同一または周辺の位置の小領域との相関演算を行う際、前フレームの各小領域に対して動ベクトルが算出されている場合は、その動ベクトルに基づいてその相関演算の対象とする現フレームの小領域の範囲を設定することにしてもよい。たとえば、動ベクトルによって指定された現フレームの小領域とその周辺の小領域との相関演算を行うことにしてもよい。
【００７２】
図９（ｃ）に、上記手法で、自動車の像４５１が周囲物体４６０として検出された場合の周囲物体領域４６１（画素領域）を示す。
【００７３】
なお、周囲物体の検出は、例えば、パターン認識により行ってもよい。検出領域内で検出される可能性のある物体のパターンを、予めデータ記憶装置１８０に記憶しておく。そして、周囲物体検出部１２１は、記憶しているパターンに合致する領域があれば、当該領域を、周囲物体として検出する。
【００７４】
次に、上記ステップＳ６３３の、非警報領域設定部１２３による非警報領域設定手法の詳細を説明する。図１０は、本実施形態の非警報領域設定処理のフローチャートである。
【００７５】
非警報領域設定部１２３は、まず、作業車両データ２１０の中から、予め定めた機種２１２に該当するレコードが有るか否かを判別する(ステップＳ６７１)。本実施形態では、上述のように、機種２１２が積込機であるレコードが記憶されているか否かを判別する。
【００７６】
該当レコードが無い場合は、そのまま処理を終了する。すなわち、非警報領域を設定せず、処理を終了する。一方、予め定めた機種２１２に該当するレコードがある場合は、そのレコードを抽出する（ステップＳ６７２）。
【００７７】
そして、抽出したレコードの中から、作業状態２１３として、予め定めた項目が登録されているレコードがあるか否かを判別する(ステップＳ６７３)。本実施形態では、上述のように、掘削中または積込中と登録されているレコードがあるか否かを判別する。
【００７８】
該当レコードが無い場合は、そのまま処理を終了する。すなわち、非警報領域を設定せず、処理を終了する。一方、作業状態２１３に上記状態が登録されているレコードがある場合は、そのレコードを抽出する（ステップＳ６７４）。
【００７９】
次に、非警報領域設定部１２３は、抽出されたレコードの中に、位置２１４が、所定範囲内のレコードがあるか否かを判別する(ステップＳ６７５)。本実施形態では、例えば、制動距離範囲内、または、死角範囲内であるレコードが有るか否かを判別する。
【００８０】
なお、死角範囲とする領域は、ダンプトラック３１０毎に、ダンプトラック３１０の車両座標系で、予め定め、データ記憶装置１８０に登録しておく。制動距離範囲は、ダンプトラック３１０の速度に応じて変化する。非警報領域設定部１２３は、速度センサ１９０から取得した速度に、予め定めた係数を乗算し、制動距離範囲の長さを算出する。そして、制動距離範囲の幅は、例えば、ダンプトラック３１０の横幅に所定の余裕を持たせて設定する。係数、余裕値等は、予めデータ記憶装置１８０に記憶しておく。
【００８１】
なお、制動距離範囲または死角範囲内であるかを判別する際、非警報領域設定部１２３は、自己位置２２２を用いて、位置２１４を車両座標系の値に変換し、変換後の車両座標系での位置２１４を用いて、制動距離範囲または死角範囲であるかを判別する。
【００８２】
該当レコードが無い場合は、そのまま処理を終了する。すなわち、非警報領域を設定せず、処理を終了する。一方、位置２１４が制動距離範囲内または死角範囲内のレコードがある場合は、非警報領域設定部１２３は、そのレコードを特定する（ステップＳ６７６）。そして、特定したレコードの存在領域２１５を、非警報領域に設定し(ステップＳ６７７)、処理を終了する。このとき、存在領域２１５を特定する各座標値も、自己位置２２２を用いて、車両座系の値に変換する。
【００８３】
なお、機種、作業状態、位置の判別順は、上記順序に限らない。
【００８４】
図１１に、ここで設定される非警報領域５３０の例を示す。ここでは、機種２１２がショベルで、作業状態２１３が積込中の作業車両３２０の存在領域２１５が、非警報領域５３０と設定された場合を例示する。
【００８５】
次に、出力設定部１２４による出力設定２２４を生成する出力設定生成処理の詳細を説明する。図１２は、出力設定生成処理のフローチャートである。
【００８６】
出力設定部１２４は、まず、検出された周囲物体４６０があるか否かを判別する（ステップＳ６８１）。周囲物体４６０がなければ、警報は出力しない（警報出力無）と出力設定２２４を生成し（ステップＳ６８２）、処理を終了する。
【００８７】
次に、検出された周囲物体４６０が有る場合、非警報領域５３０が設定されているか否かを判別する（ステップＳ６８３）。非警報領域５３０が設定されていない場合、警報出力指示を生成し（ステップＳ６８５）、出力設定２２４とし、処理を終了する。
【００８８】
非警報領域５３０が設定されている場合、全ての周囲物体４６０が非警報領域５３０内にあるか否かを判別する（ステップＳ６８４）。全ての周囲物体４６０が非警報領域５３０内に有る場合、その周囲物体４６０は、警報不要と判定する。従って、出力設定部１２４は、ステップＳ６８２へ移行する。
【００８９】
一方、非警報領域５３０外の周囲物体４６０が有る場合、その周囲物体４６０は、警報要と判定し、ステップＳ６８５へ移行する。
【００９０】
ここで、周囲物体４６０が非警報領域５３０内であるか否かは、周囲物体領域４６１に対応する路面上の領域を特定し、その領域が非警報領域５３０内であるか否かにより判別する。
【００９１】
出力設定部１２４により生成される警報出力指示は、以下の通りである。
【００９２】
出力装置１３０が、ブザー１３２のみである場合、警報出力指示として、音声を出力する指示を生成する。
【００９３】
一方、出力装置１３０がモニタ１３１を含む場合、警報出力指示として、出力画像を生成する。本実施形態では、出力画像生成部１２５が生成した合成画像４４０上の、警報要と判定された周囲物体４６０に、警報表示を重畳して表示するよう出力設定２２４を行う。このとき、非警報領域５３０に対応する画素領域も明示する。ただし、出力画像上で、非警報領域内と非警報領域外とで、検出された周囲物体４６０を異なる態様で表示させる。
【００９４】
この場合に生成される出力画像例７１０の例を、図１３に示す。ここでは、非警報領域５３０内および非警報領域５３０外の両方に周囲物体４６０が検出された場合を例示する。
【００９５】
非警報領域５３０外で検出された周囲物体４６０ａの周囲物体領域４６１ａには、実線枠７１１を重畳し、警報表示を行う。一方、非警報領域５３０内の周囲物体４６０ｂの周囲物体領域４６１ｂには、点線枠７１２が付与される。なお、実線枠７１１、点線枠７１２は、それぞれ、周囲物体領域４６１ａ、４６１ｂとして検出された範囲を囲むよう重畳させる。
【００９６】
警報は出力しないと出力設定された場合、ブザー１３２に対しては、警報音を出力する指示を行わない。また、モニタ１３１に対しては、出力画像生成部１２５が生成した出力画像（合成画像４４０）を、そのまま表示させるよう設定する。
【００９７】
以上説明したように、本実施形態の周囲監視システム１００は、管理端末１４０で管理する作業車両データ２１０に基づいて、検出領域５２０内の非警報領域５３０を決定し、非警報領域外に周囲物体４６０が検出された場合、警報出力指示を行う。非警報領域内で周囲物体４６０が検出されても、警報出力は行わない。
【００９８】
このように、本実施形態によれば、積込作業中のショベル等、作業上の要求からダンプトラック３１０の周囲に存在する周囲物体４６０は、警報対象から除外される。従って、危険度が高い物体に対する警報へ影響を与える事なく、危険度が低い物体への警報が制限される。すなわち、必要十分な注意喚起を行うことができ、より分かり易く運転者へ作業車両周囲の状況を伝えることが可能となる。
【００９９】
また、カメラ１１１で取得した画像をモニタ１３１に表示する際、例えば、図１３に示す様に、通常の周囲物体４６０ａの周囲物体領域４６１に対応する画素領域に重畳する実線枠７１１と、非警報領域５３０内に存在する周囲物体４６０ｂの周囲物体領域４６１に対応する画素領域に重畳する点線枠７１２との表示態様を異ならせる。これにより、ダンプトラック３１０の運転者は、直感的に周囲の状況を把握する事が可能となる。
【０１００】
本実施形態によれば、作業機械の警報の要否の設定に応じた非警報領域の設定ができ、危険度の高い物体に対する警報に影響を与える事無く、危険度の低い物体に対する警報を制限する事ができる。
【０１０１】
なお、上記実施形態では、非警報領域設定部１２３は、車両座標上で、非警報領域５３０を決定しているが、これに限定されない。データ記憶装置１８０に記憶されている対応付データを用いて、合成画像４４０の画像領域として、非警報領域を設定してもよい。
【０１０２】
＜＜第２の実施形態＞＞
本発明に係る第２の実施形態を説明する。第１の実施形態では、非警報領域を、予め定めた基準に従って決定する。一方、本実施形態では、非警報領域の設定基準を、オペレータ（運転者）が設定する。
【０１０３】
本実施形態の周囲監視システム１００は、基本的に第１の実施形態と同様の構成を有する。ただし、上述のように、非警報領域設定の基準をオペレータが設定するため、これを実現する構成が異なる。以下、本実施形態について、第１の実施形態と異なる構成に主眼をおいて説明する。
【０１０４】
図１４は、本実施形態の周囲監視システム１００の機能ブロック図である。本図に示すように、本実施形態の周囲監視システム１００は、第１の実施形態の構成に加え、操作装置１７０を備える。
【０１０５】
また、コントローラ１２０は、非警報基準設定部１２６をさらに備える。
【０１０６】
本実施形態の操作装置１７０は、例えば、ダンプトラック３１０に設けられ、オペレータからの非警報物体とする基準（非警報基準）の入力を受け付ける。操作装置１７０は、例えば、モニタと入力装置とを備え、オペレータによる設定を受け付けてもよい。操作装置１７０は、例えば、タッチパネル等の表示と入力操作の受け付けを兼ねる装置であってもよい。また、入力装置は、例えば、オペレータからの指示を受け付ける物理スイッチであってもよい。
【０１０７】
非警報基準設定部１２６は、操作装置１７０を介して受け付けた非警報物体とする基準を、非警報基準２２５として設定する。設定結果は、非警報領域設定部１２３に出力される。
【０１０８】
非警報基準設定部１２６が、操作装置１７０のモニタに表示し、基準の設定を受け付ける画面（設定画面８１０）例を、図１５（ａ）に示す。
【０１０９】
本図に示すように、設定画面８１０は、条件項目である項目を入力する項目入力領域８１１と、条件を入力する条件入力領域８１２と、を備える。オペレータは、設定画面８１０を介して、所望の項目と条件とを入力する。非警報基準設定部１２６は、設定画面８１０を介して受け付けた基準を、非警報基準２２５として設定する。
【０１１０】
なお、非警報基準設定部１２６は、作業車両データ２１０を設定画面８１０に表示し、特定のレコードの選択を受け付け、非警報基準２５５としてもよい。この場合、通信装置１５０を介して作業車両データ２１０を受信し、設定画面８１０に表示する。この場合、図１５（ｂ）に示すように、設定画面８１０に、受付欄である、非警報対象２１６欄が追加された作業車両データ２１０を表示し、オペレータからの選択を受け付ける。
【０１１１】
非警報領域設定部１２３は、通信装置１５０から受信した作業車両データ２１０に、操作装置１７０から受信した非警報基準２２５を適用し、非警報領域５３０を決定する。非警報領域５３０の設定手法は、第１の実施形態と同様である。
【０１１２】
その他の各部の処理も、通信装置１５０が、管理端末１４０から受信した作業車両データ２１０を、非警報領域設定部１２３と操作装置１７０とに出力する点、および、非警報領域設定部１２３が非警報領域５３０を設定する際、操作装置１７０から受信した非警報基準２２５を用いる点以外は、第１の実施形態と同様である。
【０１１３】
なお、操作装置１７０のモニタは、出力装置１３０のモニタ１３１と兼用してもよい。
【０１１４】
以上説明したように、本実施形態の周囲監視システム１００は、第１の実施形態の構成に加え、さらに、操作装置１７０を有する。この操作装置１７０は、ダンプトラック３１０に設けられ、非警報領域設定部１２３は、操作装置１７０を介して入力された設定基準に従って非警報領域５３０を設定する。したがって、本実施形態によれば、ダンプトラック３１０のオペレータは、独自に、非警報領域の設定基準を設けたり、予め設定されている設定基準を変更したりできる。すなわち、オペレータは、警報の要否の基準を変更できる。
【０１１５】
このように、本実施形態によれば、操作装置１７０をダンプトラック３１０に設ける事で、周囲監視システム１００を用いる作業車両（ダンプトラック３１０）毎に、非警報領域の設定を変更する事ができる。
【０１１６】
（変形例１）
上記各実施形態では、周囲環境取得装置１１０は、前方カメラ１１２、左方カメラ１１３、後方カメラ１１４、および右方カメラ１１５を備え、周囲物体検出部１２１は、これらのカメラ１１１で取得した周囲画像４１１を用いてダンプトラック３１０の周囲物体４６０を検出する。しかしながら、周囲環境取得装置１１０の構成、周囲物体検出部１２１の検出手法は、これに限定されない。
【０１１７】
周囲環境取得装置１１０は、例えば、ミリ波レーダ等のレーダ装置、ＬＩＤＡＲ（Ｌａｓｅｒ  Ｉｍａｇｉｎｇ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）等の光学センサ、または、超音波センサ等を備えてもよい。周囲物体検出部１２１は、これらの周囲環境取得装置１１０が取得した環境データを用い、周知の手法によりダンプトラック３１０の周囲物体４６０を検出してもよい。
【０１１８】
（変形例２）
また、上記各実施形態では、出力装置１３０のモニタ１３１に表示する表示画像は、基本的に周囲画像４１１を合成した画像である。しかしながら、表示画像は、これに限定されない。
【０１１９】
例えば、周囲画像４１１から俯瞰画像を生成し、表示してもよい。俯瞰画像は、ダンプトラック３１０の上方の所定位置を視点（仮想視点）とする上方視点画像である。
【０１２０】
この場合、周囲監視システム１００のコントローラ１２０は、図１６に示すように、各周囲画像４１１を座標変換し、俯瞰画像を生成する俯瞰画像生成部１２７をさらに備える。
【０１２１】
俯瞰画像生成部１２７は、各方向のカメラ１１１で取得した各周囲画像４１１を、画像メモリに取り込む。そして、レンズの歪み補正等を行い、公知の画像変換処理を用いて、視点を変換し、上方視点画像を生成する。レンズに歪み補正は、一般的な座標変換により行ってもよいし、画像メモリに保存される各画素のアドレスを、補正前と補正後とで対応づけた画素変換テーブルを予め保持してもよい。また、公知の画像変換技術には、例えば、ホモグラフィ行列による平面射影変換処理、三次元空間での投影処理等がある。
【０１２２】
ここで得られる各上方視点画像は、路面を仮想平面とした平面視画像である。俯瞰画像生成部１２７は、これらの上方視点画像を合成し、俯瞰画像を得る。合成にあたっては、ダンプトラック３１０のイラスト画像を中心とし、その周囲に、各上方視点画像を配置する。配置する際、各上方視点画像は、相互に重なり合わないよう切り出す。
【０１２３】
各変換処理に必要なデータは、データ記憶装置１８０に記憶される。
【０１２４】
なお、俯瞰画像生成部１２７は、事前の上方視点画像の各画素位置と、周囲画像４１１の画素位置とを対応づけたテーブルを作成し、テーブル参照により俯瞰画像を生成してもよい。これにより、小規模なＬＳＩであっても、俯瞰画像を生成できる。
【０１２５】
（変形例３）
また、上記各実施形態では、非警報領域設定部１２３は、警報不要とされた作業車両３２０の存在領域２１５を、非警報領域５３０として設定する。しかしながら、非警報領域５３０の設定は、これに限定されない。
【０１２６】
例えば、検出領域５２０を、ダンプトラック３１０に対する方向および距離の少なくとも一方によって分割した分割領域の単位で設定してもよい。
【０１２７】
図１７（ａ）および図１７（ｂ）に、検出領域５２０が矩形の場合の例を用いて、本変形例を説明する。図中、５２１（ａ）、５２１（ｂ）、５２１（ｃ）、５２１（ｄ）、５２１（ｅ）、５２１（ｆ）、５２１（ｇ）、５２１（ｈ）、５２１（ｉ）、５２１（ｊ）、５２１（ｋ）、５２１（ｌ）、５２１（ｍ）、５２１（ｎ）、５２１（ｏ）、５２１（ｐ）は、それぞれ、上記手法で分割した分割領域である。
【０１２８】
非警報領域５３０は、上記の分割領域５２１（ａ）〜５２１（ｐ）の内、警報不要とされた作業車両３２０の存在領域２１５が含まれる分割領域を非警報領域５３０として設定する。
【０１２９】
各分割領域は、例えば、ダンプトラック３１０の車両座標系で特定される。非警報領域設定部１２３は、まず、自己位置２２２に対する存在領域２１５の相対位置を算出する。そして、算出した相対位置を用い、存在領域２１５の、車両座標系での位置を算出する。そして、当該位置を含む分割領域５２１を、非警報領域５３０と設定する。
【０１３０】
例えば、上記例では、図１７（ｂ）に示すように、存在領域２１５は、分割領域５２１（ｃ）および５２１（ｄ）にまたがる。従って、分割領域５２１（ｃ）および５２１（ｄ）が、非警報領域５３０に設定される。
【０１３１】
出力設定部１２４は、周囲物体検出部１２１が検出した周囲物体４６０のうち、非警報領域５３０内の周囲物体４６０については、警報不要と判定し、警報を出力しないよう出力設定を行う。
【０１３２】
本変形例によれば、作業車両３２０の存在領域を精確に取得する事が困難な場合でも、適切に非警報領域を設定できる。
【０１３３】
なお、このとき、非警報領域５３０であっても、警報不要とされた作業車両３２０以外の周囲物体４６０が検出された場合、当該周囲物体４６０については、警報要とし、警報出力を行うよう出力設定を行ってもよい。
【０１３４】
この場合、非警報領域設定部１２３は、非警報領域設定処理のステップＳ６７６において特定したレコード（非警報レコード）を識別可能な態様で出力設定部１２４に出力する。
【０１３５】
この場合の、出力設定部１２４による出力設定処理の流れを、図１８に示す。
【０１３６】
出力設定部１２４は、まず、検出された周囲物体４６０があるか否かを判別する（ステップＳ６９１）。周囲物体４６０がなければ、警報は出力しない（警報出力無）と出力設定し（ステップＳ６９２）、処理を終了する。
【０１３７】
次に、検出された周囲物体４６０が有る場合、非警報領域５３０が設定されているか否かを判別する（ステップＳ６９３）。非警報領域５３０が設定されていない場合、警報出力処理を行い（ステップＳ６９５）、処理を終了する。
【０１３８】
非警報領域５３０が設定されている場合、非警報領域５３０内に周囲物体４６０があるか否かを判別する（ステップＳ６９４）。非警報領域５３０内に周囲物体４６０が無い場合、周囲物体４６０は、全て非警報領域５３０外にある。従って、それらの周囲物体４６０は、全て警報要と判定し、警報出力処理を行い(ステップＳ６９５)、処理を終了する。
【０１３９】
一方、非警報領域５３０内に周囲物体４６０が有る場合、その周囲物体４６０についての警報の要否を判定する。
【０１４０】
出力設定部１２４は、まず、作業車両データ２１０を参照し、非警報領域５３０内の各周囲物体４６０の周囲物体領域４６１を抽出する(ステップＳ６９６)。次に、作業車両データ２１０に、所定の余裕を以て合致する存在領域２１５を有するレコードがあるか否かを判別する(ステップＳ６９７)。ない場合、当該周囲物体４６０は、警報要と判定し、ステップＳ６９５に移行する。
【０１４１】
一方、合致する存在領域２１５を有するレコードが有る場合、該当する各レコードについて、非警報領域設定処理のステップＳ６７６において特定したレコード（非警報レコード）であるか否かを判別する(ステップＳ６９８)。非警報レコード以外のレコードがあれば、警報要と判定し、ステップＳ６９５に移行する。一方、全て非警報レコードであれば、ステップＳ６９２に移行する。
【０１４２】
（変形例４）
また、上記各実施形態では、出力装置１３０は、図１３に示す様に、周囲物体４６０の存在する領域に応じて、周囲物体４６０の領域に対応する画像上の位置に、警報表示として矩形の実線枠７１１が重畳され、その他には矩形の点線枠７１２が重畳された合成画像４４０をモニタ１３１に表示する。しかしながら、重畳表示は、矩形枠に限られるものではない。例えば、円形枠や三角形枠等の他の多角形枠であってもよい。また、単に点や線分を重畳させるようにしても良い。また、枠線の太さや色を任意に変更しても良い。
【０１４３】
なお、本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１４４】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１４５】
１００：周囲監視システム、１０１：ＣＰＵ、１０２：ＲＡＭ、１０３：ＲＯＭ、１０４：入出力インタフェース、１１０：周囲環境取得装置、１１１：カメラ、１１２：前方カメラ、１１３：左方カメラ、１１４：後方カメラ、１１５：右方カメラ、１２０：コントローラ、１２１：周囲物体検出部、１２２：自己位置演算部、１２３：非警報領域設定部、１２４：出力設定部、１２５：出力画像生成部、１２６：非警報基準設定部、１２７：俯瞰画像生成部、１３０：出力装置、１３１：モニタ、１３２：ブザー、１４０：管理端末、１４１：ＣＰＵ、１４２：ＲＡＭ、１４３：記憶装置、１４４：入出力インタフェース、１４５：通信インタフェース、１５０：通信装置、１６０：ＧＮＳＳセンサ、１７０：操作装置、１８０：データ記憶装置、１９０：速度センサ、
２１０：作業車両データ、２１１：ＩＤ、２１２：機種、２１３：作業状態、２１４：位置、２１５：存在領域、２１６：非警報対象、２２１：周囲物体情報、２２２：自己位置、２２３：領域設定情報、２２４：出力設定、
３１０：ダンプトラック、３１１：運転室、３１２：荷台、３１３ａ：左方前輪、３１３ｂ：右方前輪、３２０：作業車両、３２０ａ：自動車、３２０ｂ：ショベル、３３０：管理センタ、３４０：航法衛星、
４１１：周囲画像、４１２：前方画像、４１３：左方画像、４１４：後方画像、４１５：右方画像、４１５ａ：前フレーム、４１５ｂ：現フレーム、４２１：抽出領域、４２２：前方抽出領域、４２３：左方抽出領域、４２４：後方抽出領域、４２５：右方抽出領域、４３０：アイコン画像、４４０：合成画像、４５１：像、４６０：周囲物体、４６０ａ：周囲物体、４６０ｂ：周囲物体、４６１：周囲物体領域、４６１ａ：周囲物体領域、４６１ｂ：周囲物体領域、
５１２：前方視野範囲、５１３：左方視野範囲、５１４：後方視野範囲、５１５：右方視野範囲、５２０：検出領域、５２１：分割領域、５３０：非警報領域、７１０：出力画像、７１１：実線枠、７１２：点線枠、８１０：設定画面、８１１：項目入力領域、８１２：条件入力領域
【図１】
2019168996.tif 000003
【図２】
2019168996.tif 000004
【図３】
2019168996.tif 000005
【図４】
2019168996.tif 000006
【図５】
2019168996.tif 000007
【図６】
2019168996.tif 000008
【図７】
2019168996.tif 000009
【図８】
2019168996.tif 000010
【図９】
2019168996.tif 000011
【図１０】
2019168996.tif 000012
【図１１】
2019168996.tif 000013
【図１２】
2019168996.tif 000014
【図１３】
2019168996.tif 000015
【図１４】
2019168996.tif 000016
【図１５】
2019168996.tif 000017
【図１６】
2019168996.tif 000018
【図１７】
2019168996.tif 000019
【図１８】
2019168996.tif 000020