(57)【要約】  監視用のカメラで撮影されているが、周囲監視用としての俯瞰画像からは欠落している画像に要監視像が存在する際に、この要監視像を確実にディスプレイに表示する。  ダンプトラック１の前後及び左右にカメラ６Ｆ，６Ｂ，６Ｌ，６Ｒを設けて、これら各カメラで撮影したスルー画像を視点変換して俯瞰画像１０Ｆ，１０Ｂ，１０Ｌ，１０Ｒを表示するに当って、要監視像表示不能領域に要監視像を表示するために、各カメラで撮影した各スルー画像を画像集約部２１で１画面に集約して、要監視像検出部２０によりこの集約画面を走査して要監視像を検出し、ディスプレイ９に表示される合成俯瞰画像１０に要監視像を重畳表示する。
2016140016.tif 000002
【特許請求の範囲】
【請求項１】
産業機械を構成する車両の周囲に複数のカメラを設けて、これら各カメラで撮影したスルー画像を視点変換して俯瞰画像となし、ディスプレイ中に前記車両を車両アイコンとして表示して、前記各俯瞰画像をこの車両アイコンの周囲の限定された表示領域に合成俯瞰画像として表示するようにした車両の周囲監視装置であって、
前記各カメラで撮影した各々のスルー画像を１画面に集約する画像集約部と、
前記画像集約部により集約された画像に基づいて周囲監視の対象とする要監視像の前記合成俯瞰画像上の座標位置を検出する要監視像検出部と、
前記要監視像検出部で検出された要監視像を前記ディスプレイに表示する画像合成部と
を備えた車両の周囲監視装置。
【請求項２】
前記カメラは前記車両の前後及び左右の４箇所に設け、前記ディスプレイには前記車両を表示する車両アイコンを中心として周囲に前記各俯瞰画像を表示すると共に、前記要監視像を表示する構成とした請求項１記載の車両の周囲監視装置。
【請求項３】
前記ディスプレイ画面に表示された前記合成俯瞰画像に前記要監視像を認識可能とする要監視像指標を重畳させて表示する要監視像指標部を備えた請求項１記載の車両の周囲監視装置。
【請求項４】
前記要監視像指標部は、前記要監視像が可動体であるときには、その位置と移動方向とを示すように表示する構成とした請求項３記載の車両の周囲監視装置。
【請求項５】
前記ディスプレイの表示範囲内に前記要監視像が位置している際には、この要監視像を認識可能な状態で表示し、前記ディスプレイの表示範囲外に位置している場合には、その位置と移動方向とをマーキング表示する構成とした請求項３記載の車両の周囲監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、油圧ショベル、ダンプトラック、道路工事機械等の産業機械を構成する車両の稼働時に、この車両の周囲監視を行う車両の周囲監視装置に関するものである。
【背景技術】
【０００２】
産業機械としては、例えば土砂の掘削を行う作業機械としての油圧ショベルがあり、また油圧ショベルで掘削した土砂を搬送する運搬機械としてのダンプトラックがある。これら油圧ショベルやダンプトラック等は移動体を構成する車両であるが、作業中に車両の周囲を監視する周囲監視装置を設けたものは従来から広く知られている。周囲監視装置の具体的な構成としては、車両にカメラを装着し、また運転室において、オペレータが着座する運転席の前方位置にディスプレイを設置する構成とするのが一般的である。カメラの撮影画像は動画状態の映像にしてディスプレイ画面に表示される。【０００３】
車両の周囲における広い範囲の視野を得るために、旋回体に複数のカメラを装着する構成とする。ディスプレイ上に表示される車両のほぼ全周にわたって監視視野の死角をなくために、複数のカメラで撮影した周囲の監視画像を信号処理により視点変換して、ディスプレイ画面には平面的に投影した平面視監視画像として表示する構成としたものが特許文献１に開示されている。この特許文献１では、対象とする産業機械としては、油圧ショベルであり、この油圧ショベルの後部位置と左右の両側部位置との３箇所にカメラが設置されている。なお、油圧ショベルの前方についてはオペレータが直接視認できることから、特許文献１では画像化していないが、この前部位置にもカメラを設置したものも知られている。【０００４】
前述した各カメラの撮像レンズの光軸は斜め下方に向けられている。これら各カメラにより撮影された画像はスルー画像であり、これらのスルー画像から上方視点となるように視点変換処理された画像は車両の上方から投影した俯瞰画像である。【０００５】
俯瞰画像はディスプレイ画面に表示されるが、このときにディスプレイ画面には油圧ショベルをシンボル化したイラストレーション（油圧ショベルを示す平面画像）を車両アイコンとして表示し、各々のカメラで取得した俯瞰画像はこの車両アイコンの周囲に配置する構成としている。特許文献１では、車両アイコンをディスプレイ画面の中心位置に表示して、この車両アイコンの後方領域及び左右の側方領域に各上方視点画像を並べて、周囲監視用としての合成俯瞰画像が表示される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２０４８２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
車両アイコンの周囲に合成俯瞰画像を表示することによって、油圧ショベル（監視画像が表示される他の産業機械も同様）の周囲状況が平面像として表示され、どの方向でどの程度離れた位置に稼働の障害となる人や物が存在しているか否か、動作状態によってはそれらと接触する可能性があるか否かの判定を行うことができる。しかも、この周囲監視のために、オペレータは運転席に着座したままで、姿勢を変えたり、移動したりする必要がないことから、周囲監視としての有用性は高いものとなる。ここで、ディスプレイは運転室の内部に固定的に設けるようにするが、オペレータが着用可能なヘッドマウント式のものであっても良い。【０００８】
ところで、周囲監視画像が表示されるのは、有限の表示領域を持ったディスプレイであり、またカメラはそれぞれ位置を違えて複数箇所設けられ、各カメラの視野方向は異なっていることから、周囲監視装置として必ずしも万全なものではない。【０００９】
即ち、３枚（若しくは前方を含めた４枚）からなるカメラ画像を上方視点に変換して得た個別の俯瞰画像は、それぞれトリミングされて、ディスプレイに表示されている車両イラストの周囲に形成した各領域に貼り付けるようにしている。従って、個別俯瞰画像として表示されるために、画像の一部が切り捨てられることになる。また、各画像は貼り合わせて表示することになるが、この貼り合わせには境界部が生じる。カメラはそれぞれ異なる位置に配置されて、異なる方向から撮影したものであるために、トリミング時に表示画像から切り捨てられた部分に監視上で必要な像、つまり油圧ショベルを作動する際に、衝突するか、または衝突の可能性のある監視上必要な要監視像が存在することがある。【００１０】
一般に、周囲監視用として複数のカメラを用いるのは、いずれのカメラにも映らない領域、つまりブラインド領域が生じないようにする。従って、各カメラの位置関係が調整され、かつカメラは広角のレンズを用い、隣り合うカメラの視野が相互にオーバーラップするようにして撮影される。【００１１】
要監視像はいずれかのカメラで被写体として撮影されているものの、ディスプレイには表示されないことがある。ディスプレイの表示領域には限界があり、また視野方向の異なる２つのカメラによる映像を貼り合わせて表示しているので、ディスプレイに表示される画像から欠落した部分が存在する。即ち、ディスプレイの表示領域外の位置と、各俯瞰画像間の境界部の位置とに表示欠落箇所があり、この表示欠落箇所に要監視像が位置していると、要監視像はディスプレイには表示されない。【００１２】
本発明は以上の点に鑑みてなされたものであって、その目的とするところは、カメラで撮影されてはいるが、周囲監視用としてディスプレイに表示される俯瞰画像からは欠落している画像に要監視像が存在する場合であっても、この要監視像を確実にディスプレイに表示することにある。
【課題を解決するための手段】
【００１３】
以上の課題を解決するため、本発明は、産業機械を構成する車両の周囲に複数のカメラを設けて、これら各カメラで撮影したスルー画像を視点変換して俯瞰画像となし、ディスプレイ中に前記車両を車両アイコンとして表示して、前記各俯瞰画像をこの車両アイコンの周囲の限定された表示領域に合成俯瞰画像として表示するようにした車両の周囲監視装置であって、前記各カメラで撮影した各々のスルー画像を１画面に集約する画像集約部と、前記画像集約部により集約された画像に基づいて周囲監視の対象とする要監視像の前記合成俯瞰画像上の座標位置を検出する要監視像検出部と、前記要監視像検出部で検出された要監視像を前記ディスプレイに表示する画像合成部とを備えている。
【発明の効果】
【００１４】
車両に設けた複数のカメラで撮影されて、ディスプレイ上に表示される周囲監視用としての俯瞰画像から欠落している位置に要監視像が存在する場合、この要監視像を確実にディスプレイに表示することができる。
【図面の簡単な説明】
【００１５】
【図１】産業機械の一例としてのダンプトラックの側面図である。
【図２】図1の油圧ショベルの平面図である。
【図３】ダンプトラックの周囲監視装置の全体構成図である。
【図４】ダンプトラックに設けたディスプレイの表示画像を示す説明図である。
【図５Ａ】俯瞰画像の表示方法の一態様である平面俯瞰画像の表示を示す説明図である。
【図５Ｂ】俯瞰画像の表示方法の他の一態様である球面俯瞰画像の表示を示す説明図である。
【図６】スルー画像から平面俯瞰画像を生成する方法に関する工程説明図である。
【図７】ディスプレイに表示されている合成俯瞰画像と、この合成俯瞰画像では表示できない領域とについての説明図である。
【図８】画像処理装置によるスルー画像の画像処理の流れを示すフローチャートである。
【図９】平面俯瞰画像における要監視像指標の例を示す説明図である。
【図１０】要監視像の表示が小さい場合に形成される要監視像指標の一例を示す説明図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施形態について説明する。ここでは、産業機械として、鉱山において、鉱石を運搬する車両としてのダンプトラックに適用したものとして説明する。ただし、産業機械を構成する車両はこの種のダンプトラックに限定されるものではなく、走行手段を設けた下部走行体を有し、この下部走行体上に土砂の掘削等の作業を行う作業手段を設けた上部旋回体を有する車両である油圧ショベルその他の作業機械にも適用できる。また、ダンプトラックとしてはリジットタイプとアーティキュレートタイプとがあるが、何れを適用してもよい。要するに、所定の作業（運搬や掘削等）を行う任意の車両に本実施の形態の周囲監視装置を適用することができる。なお、以下の説明において、「左」とは運転室から前方を見たときの左方であり、「右」とは運転室から見た右方である。
【００１７】
図１及び図２にダンプトラック１の概略構成を示す。ダンプトラック１は、車体フレーム２と前輪３と後輪４とベッセル５とが基本構成となっている。そして、このダンプトラック１には撮像手段としてのカメラ６Ｆ，６Ｂ，６Ｒ及び６Ｌが４箇所に設けられている。カメラ６Ｆ，６Ｂ，６Ｒ，６Ｌ（以下の説明において、カメラの位置を特定しない場合には、カメラ６の符号を用いる）は、それぞれ運転室７の前方，後方及び左右の両側方の各位置に設けられている。
【００１８】
車体フレーム２はダンプトラック１の本体を構成するものであり、車体フレーム２の前方に前輪３、後方に後輪４を設けている。ここで、前輪３及び後輪４はそれぞれ左右一対設けられている。ベッセル５は荷台であり、土砂や鉱物等を積載するものである。ベッセル５は水平状態にして土砂や鉱物等を積載し、傾動させる動作により積載物を後方に向けて排出できるように構成されている。
【００１９】
運転室７には運転者が搭乗してダンプトラック１を操作するために、各種の操作手段が設けられている。例えば、ダンプトラック１を前進または後進させるシフトレバー等が操作手段として設けられている。運転室７には、図３に示したように、画像処理装置８とディスプレイ９とが設けられている。ダンプトラック１の前後及び左右の各位置に設けたカメラ６Ｆ，６Ｂ，６Ｒ及び６Ｌによって、このダンプトラック１の周囲が撮影され、それらの画像信号は画像処理装置８において所定の画像処理が行われる。そして、この画像処理装置８から出力される映像データはディスプレイ９に動画状態にして表示される。
【００２０】
ここで、ディスプレイ９には動画が表示されるが、カメラ６で撮影したときにおける映像を構成する画像はスルー画像である。これらのスルー画像はカメラ６の撮像手段の出力画像信号であるが、ディスプレイ９に表示されるのは、図４に示した合成俯瞰画像１０である。合成俯瞰画像１０はダンプトラック１とその周囲の状況を上方から見た画像として表示されるものである。
【００２１】
カメラ６は、その光軸を斜め下方に向けて撮影するが、このカメラ画像（スルー画像）１１Ｆ，１１Ｂ，１１Ｒ及び１１Ｌを上方視点となるように視点変換したものが合成俯瞰画像１０であり、表示は動画状態とする。合成俯瞰画像１０では、仮想平面を設定して、上方からの視線でこの仮想平面に投影された状態の画像となる。仮想平面は任意に設定することができるが、本実施の形態では、ダンプトラック１の接地面Ｌを仮想平面としている。
【００２２】
ダンプトラック１に４台のカメラ６Ｆ，６Ｂ，６Ｒ，６Ｌを設置して、それぞれのカメラから取得したスルー画像１１Ｆ，１１Ｂ，１１Ｒ及び１１Ｌを、俯瞰画像化処理部１２により上方視点に視点変換して４枚の個別俯瞰画像となし、またダンプトラック１の縮小画像またはイラストレーションからなる車両アイコン１０Ｓとが生成される。ディスプレイ９には、この車両アイコン１０Ｓを中心に配置し、その周囲に各々の個別俯瞰画像１０Ｆ，１０Ｂ，１０Ｒ，１０Ｌを表示することによって、ダンプトラック１及びその周囲を俯瞰する合成俯瞰画像１０が表示される。
【００２３】
なお、ディスプレイ９の表示に死角が生じないようにするために、各カメラ６Ｆ，６Ｂ，６Ｒ，６Ｌの視野を９０度以上、例えば１２０度乃至１８０度というように広くするために、カメラレンズを広角のものとなし、各カメラ６Ｆ，６Ｂ，６Ｒ，６Ｌの視野を部分的にオーバーラップさせる。また、車両アイコン１０Ｓを表示しないようにすることもできるが、車両アイコン１０Ｓの表示は、オペレータが周囲状況の確認、特に監視範囲や車両の方向等を確認する上での手懸りとなる点で有利である。
【００２４】
ディスプレイ９はダンプトラック１の運転室７内に設けられており、オペレータがこのディスプレイ９の表示を目視することによって、ダンプトラック１の周囲の状況を正確に把握できることになる。即ち、合成俯瞰画像１０を表示することによって、ダンプトラック１の周囲に位置する人や物の位置を正確に認識することができる。
【００２５】
その結果、ダンプトラック１が稼働している現場の状況を正確に把握でき、ダンプトラック１の周囲に作業者等の人が立ち入っているか否か、他の車両が位置しているか否か、さらに周囲に様々な装置や機器類、さらに構築物やその他の物体が存在しているか否か等を確認して、このダンプトラック１の作動を円滑に行うことができ、また人や物体との接触を避けるように操作することができる。従って、合成俯瞰画像１０はダンプトラック１の周囲監視画像である。
【００２６】
ここで、俯瞰画像をディスプレイ９の画面上に表示する場合、いくつかの表示方法がある。代表的なものとして、図５Ａに示した平面俯瞰画像と図５Ｂに示した球面俯瞰画像とがある。平面俯瞰画像は、図５Ａに示した表示態様であり、画面上では俯瞰像の奥行方向及び幅方向に等しい間隔Ｐを持ったものである。一方、図５Ｂの球面俯瞰画像は球面的な広がりを有する画像１０ｂであり、中央部から遠近方向及び幅方向に向けて凹球面形状となった表示方式であり、いずれの表示方式を採用することもできる。そもそも、周囲監視用のカメラ６としては、超広角のレンズを用いることから、光軸中心から周辺に向って歪んだ画像となり、実際に取得される画像は光軸中心から幅方向及び遠位方向に向って球面的な歪みを有するものとなるが、この球面的な歪みを補正することによって、平面的な画像となる。
【００２７】
そこで、図６に基づいて平面俯瞰画像の作成方法を説明する。同図には、右方に設置したカメラ６Ｒで撮影したスルー画像を俯瞰画像化する処理が示されており、俯瞰画像化処理部１２は各カメラ６Ｆ，６Ｂ，６Ｒ，６Ｌのスルー画像を個別的に処理するものである。なお、視点変換によるスルー画像から俯瞰画像化処理を行う方法については従来から周知であるので、その詳細な説明は省略する。スルー画像は、例えば、図６（ａ）で示した右方スルー画像１１Ｒであり、その俯瞰画像は同図に点線で示した領域ＦＴがトリミングされて、同図（ｂ）で示した画像ＦＴＲとしてディスプレイ９に表示されるものとする。ここで、合成俯瞰画像として表示する際には、各々の俯瞰画像の表示領域は、図４に示したように、概略台形状の領域となる。
【００２８】
そこで、カメラ６Ｒのスルー画像１１Ｒをディスプレイ９に表示するためにトリミングすると、まず図６（ｂ）に示したように、トリミング画像ＦＴＲが抽出される。ここで、平面俯瞰画像とする際には、視点変換がなされると共に、画像の歪みが補正される。この画像の歪みの補正は、所定の補正パラメータを用いて、光軸中心位置から画像の幅方向及び奥行方向のピクセル数を補正する。この処理は図５Ａに示した平面俯瞰画像である。その結果、図６（ｃ）に示したように、ダンプトラック１の近位置側のピクセルに対して遠位置側のピクセルが増大すると同時に幅方向においても、中央から周辺に向ってピクセル数が増大することになって、画像領域全体は台形状のエリアを持った画像となる。
【００２９】
カメラ６Ｆ，６Ｂ，６Ｌの各スルー画像１１Ｆ，１１Ｂ，１１Ｌも同様、図６（ａ）のスルー画像から図６（ｂ）のトリミングによる切り出し、図６（ｃ）の俯瞰画像化処理が行われる。処理後に、図６（ｄ）に示したように、車両アイコン１０Ｓをディスプレイ９の中央位置に配置した状態で、図６（ｅ）に示したように、順次各個別俯瞰画像１０Ｆ，１０Ｌ，１０Ｂ，１０Ｒをそれぞれ所定の領域に表示することにより合成俯瞰画像１０が作成される。
【００３０】
ところで、合成俯瞰画像１０はダンプトラック１の周囲の監視画像であって、この周囲監視画像はダンプトラック１の周囲における人や物体等の存在の有無を表示するものである。周囲監視の対象となるのは、ダンプトラック１の周囲に立ち入っている作業者等の人であり、また他の車両である。さらに、周囲に構築物やその他の物体が存在する可能性のある場合には、これらの物体も監視対象とすることができる。
【００３１】
要するに、ディスプレイ９はダンプトラック１の周囲に監視すべき対象が位置しているか否かの確認を行うために使用される。従って、この監視すべき対象は要監視像であり、この要監視像はディスプレイ９に確実に表示されていなければならない。しかも、ダンプトラック１から要監視像までの位置と方向とがオペレータに認識できるようになし、この要監視像がダンプトラック１の運搬手段としての作動、つまり走行時及びステアリング時に接触するおそれがあるか否かの判定を行えるようにする。
【００３２】
換言すると、車両の周囲監視装置は、産業機械を構成する車両の作動時に監視が必要な要監視像をディスプレイ９上に明確に表示し、この産業機械を操作するオペレータに認識させることによって、監視対象との衝突や接触を避けるようになし、もって作業の円滑化、効率化を図るものである。要監視像は、従ってディスプレイ９を搭載した産業機械の稼働状況に応じて設定されるものである。
【００３３】
例えば、ダンプトラック１が稼働するのは、鉱山等の作業現場であり、周囲には、土砂等の掘削作業を行う油圧ショベル、ホイールローダ等の作業機や、燃料供給車その他の各種の車両が位置し、かつ稼働しており、このような状況下では、この種の車両が要監視像である。即ち、要監視像は監視を実行する車両が稼働している間に接触乃至衝突しないように監視しなければならない対象である。また作業者員等の人が活動している現場においては、人を要監視対象とする。さらに、周囲に構築物や機械器具等といった物体が配置されている場合には、これらの物体も要監視像とすることができる。
【００３４】
周囲監視の対象となる産業機械が土木・工事現場で稼働する場合や、鉱山で稼働する場合においては、それぞれに応じた要監視像が設定される。つまり、要監視像は産業機械が稼働する場に応じて設定され、また変更される。
【００３５】
例えば、鉱山を作業現場とし、この鉱山で稼働するダンプトラック１の周囲監視を行うものとする場合には、要監視像は作業者を含めた人であり、また燃料等の補給を行うサービス車両や種々のメインテナンスを行う作業車両、さらには乗用車等が要監視像となる。要監視像は作業現場において、自然物とは異なる色や形状を有するものであるから、これらを基準として特定することができる。
【００３６】
図４に示した合成俯瞰画像１０は、ダンプトラック１の周囲全体を表示するものであって、オペレータはこの表示に基づいて、要監視像の方向及びダンプトラック１までの距離を認識することができる。ただし、要監視像は表示領域が限定されたディスプレイ９の画面に表示されることから、周囲監視の観点で有用であるにしても、これだけでは万全ではない。
【００３７】
即ち、図７に示したように、ダンプトラック１が稼働している作業現場をＷＦとすると、車両アイコン１０Ｓが表示されている至近側表示不能領域ＰＡと、合成俯瞰画像１０の表示領域外の限界外表示不能領域ＤＡとは監視領域の範囲を外れた要監視像表示不能領域である。そして、これらに加えて、各個別俯瞰画像１０Ｆ−１０Ｌ間、１０Ｌ−１０Ｂ間、１０Ｂ-１０Ｒ間及び１０Ｒ-１０Ｆ間の境界部ＢＡが、要監視像が表示されずに欠落している要監視像表示不能領域としての境界部表示欠落領域となることもある。
【００３８】
ここで、要監視像は、通常、立体物であって、高さを有するものであるが、合成俯瞰画像１０ではこの高さについての情報はカメラ６からの視線方向への長さとして表現されることになる。合成俯瞰画像１０ではダンプトラック１の接地面Ｌを仮想平面としていることから、要監視像はディスプレイ９の画面上ではその接地位置からカメラ６の視線方向の延長線に向けて延在する影のように表現される。このために、単一の個別俯瞰画像の内部に要監視像が位置していれば、合成俯瞰画像１０に要監視像の全体が表現されるが、相隣接する個別俯瞰画像の境界部ＢＡに近い位置または境界部ＢＡを跨ぐような位置に要監視像があると、要監視像は明確には表示されないことになる。
【００３９】
ディスプレイ９には、それぞれ俯瞰画像１０Ｆ及び１０Ｌの表示領域は限定的なものとなっており、このためにこれら俯瞰画像１０Ｆ，１０Ｌの領域がトリミングされるが、このトリミング時に表示から切り落とされる領域が存在する。このために俯瞰画像１０Ｆ，１０Ｌが接地面Ｌの平面では連続していても、要監視像での位置によっては、俯瞰画像１０Ｆ，１０Ｌからも、またこれらの１０Ｆ−１０Ｌ間の境界部ＢＡの領域からもその全体または一部が欠落されてしまうことがある。このような要監視像の表示欠落が発生するのは、図５Ａに示した平面俯瞰画像では顕著であり、図５Ｂに示した球面俯瞰画像では、個別俯瞰画像１０Ｆ，１０Ｂ，１０Ｒ，１０Ｌ間の部位の情報が豊富であることから、要監視像の欠落の可能性は低いものの、要監視像の欠落は皆無ではない。
【００４０】
以上のように、俯瞰画像としてディスプレイ９に表示する際において、要監視像表示不能領域が生じることは避けられない。しかしながら、これら要監視像表示不能領域であっても、いずれかのスルー画像には要監視像は表示されている。そのため、トリミング時に切り落とされて、表示から除外された部位に要監視像が存在する場合のように、切り捨てられた画像部位に存在する要監視像は何らかの形で、例えば実際の要監視像またはそれをキャラクタ化した画像を表示する必要がある。
【００４１】
また、ディスプレイ９の表示領域には限界があり、この限界から外れた位置に要監視像が存在することもある。車両アイコン１０Ｓと各個別俯瞰画像１０Ｆ，１０Ｂ，１０Ｒ，１０Ｌとからなる合成俯瞰画像１０は、周囲監視に必要な範囲を表示しているので、ディスプレイ９の表示限界より遠位置の要監視像は表示されていなくても、格別問題とならない。ただし、スルー画像１１Ｆ，１１Ｂ，１１Ｒ，１１Ｌにその表示があることから、合成俯瞰画像１０の表示領域外の領域に存在する要監視像も何らかの形でオペレータに認識させることが望ましい場合がある。例えば、この位置の要監視像が車両等の動きのあるものであって、要監視像である車両に近付く方向に移動しているという状況がある。この場合に、オペレータに要監視像の接近を認識させるために、何らかの表示を行うのが望ましい。
【００４２】
以上のことから、図３に示した画像処理装置８においては、要監視像検出部２０を設けて、スルー画像上で要監視像の検出を行うが、このためにカメラ６Ｆ，６Ｂ，６Ｒ，６Ｌのスルー画像１１Ｆ，１１Ｂ，１１Ｒ，１１Ｌを画像集約部２１により集約する。そして、この集約画面上で要監視像の検出が要監視像検出部２０の要監視像サーチ部２０Ａ及び座標位置検出部２０Ｂにより行われる。次いで、画像合成部２２により合成俯瞰画像１０を作成し、この合成俯瞰画像１０に要監視像を要監視像指標生成部２３によって生成された要監視像指標ＴＳと共に重畳して表示させる。即ち、画像合成部２２及び要監視像指標生成部２３が要監視像指標部として機能する。
【００４３】
次に、画像処理装置８によるスルー画像１１Ｆ，１１Ｂ，１１Ｒ，１１Ｌの画像処理について、図８を参照しながら詳細に説明する。まず、カメラ６Ｆ，６Ｂ，６Ｒ，６Ｌによってダンプトラック１の周囲が撮影されると、画像集約部２１においては、集約した画面に直交２軸からなる座標軸が設定される。従って、カメラ６Ｆ，６Ｂ，６Ｒ，６Ｌのスルー画像１１Ｆ，１１Ｂ，１１Ｒ，１１Ｌの画像データが集約画面のそれぞれの位置に取り込まれ（ステップ（以下、Ｓと記す）８０１）、画像集約部２１がカメラ６Ｆ，６Ｂ，６Ｒ，６Ｌのスルー画像１１Ｆ，１１Ｂ，１１Ｒ，１１Ｌを１画面となるように合成する（Ｓ８０２）。
【００４４】
次いで、要監視像サーチ部２０Ａが集約画面を走査することにより要監視像の検出を行い（Ｓ８０３）、要監視像が存在するか否かを判断する（Ｓ８０４）。このとき、要監視像が存在しないと判断された場合には（Ｓ８０４／Ｎｏ）、後述のＳ８０７の処理が行われる。
【００４５】
一方、要監視像が存在すると判断された場合には（Ｓ８０４／Ｙｅｓ）、座標位置検出部２０Ｂによってその座標位置が検出される（Ｓ８０５）。ここで、要監視像の検出は、前述したように、スルー画像１１Ｆ，１１Ｂ，１１Ｒ，１１Ｌにおける色や形状を認識することにより行われる。このようにして要監視像が検出されると、要監視像指標生成部２３により要監視像指標ＴＳが生成される（Ｓ８０６）。
【００４６】
このように、４つの画像を一括して処理することができ、要監視像の検出を高速で行うことができる。この処理によって、要監視像の有無と、その座標位置に関するデータが得られる。また、パターン認識等の手法を用いることによって、要監視像が何であるかの特定も可能となる。さらに、時間的に異なる画像集約部２１の画像データを比較することによって、要監視像が動いているかどうかの判定も行うことができる。ただし、４つの画像を一括処理することは、必ずしも必須でなく、個別のスルー画像１１Ｆ，１１Ｂ，１１Ｒ，１１Ｌを走査して要監視像を検出することも可能である。
【００４７】
画像合成部２２は、俯瞰画像化処理部１２によって、カメラ６Ｆ，６Ｂ，６Ｒ，６Ｌで取得したスルー画像１１Ｆ，１１Ｂ，１１Ｒ，１１Ｌを視点変換して、個別俯瞰画像１０Ｆ，１０Ｂ，１０Ｒ，１０Ｌからなる合成俯瞰画像１０に関するデータが取り込まれる。また、画像合成部２２には、車両アイコン１０Ｓに関するデータも取り込まれる。
【００４８】
そして、要監視像検出部２０において検出された要監視像の座標位置と、必要に応じてこの要監視像の特定、例えば人であるか、車両であるか、固定物であるか等に関するデータも取り込まれる。これにより、画像合成部２２は、取り込んだデータに基づいて合成俯瞰画像１０Ｓを作成し（Ｓ８０７）、その映像信号をディスプレイ９へ出力する（Ｓ８０８）。このような処理により、スルー画像１１Ｆ，１１Ｂ，１１Ｒ，１１Ｌの画像処理が終了する。
【００４９】
ディスプレイ９には、この画像合成部２２からの映像信号が入力されて、このディスプレイ９には車両アイコン１０Ｓを中央に位置させ、その周囲に個別俯瞰画像１０Ｆ，１０Ｂ，１０Ｒ，１０Ｌからなる合成俯瞰画像１０が表示される。そして、これら合成俯瞰画像１０の表示領域に車両Ｖ１，Ｖ２といった要監視像が存在していると、要監視像検出部２０で検出した要監視像の画像に関するデータに基づいて、合成俯瞰画像１０の所定の位置に要監視像が要監視像指標ＴＳと共に重畳するようにして表示される。
【００５０】
この要監視像指標ＴＳは、ディスプレイ９の画面の制約上から、要監視像の表示が必要であるにも拘わらず、表示されていないものをオペレータに認知させるためだけでなく、ディスプレイ９上で表示されているにも拘わらず、オペレータが見落とす可能性の高い要監視像に指標を設けることが可能である。なお、車両の後方における視野を重点的に確保する場合には、車両アイコン１０Ｓは画面の前方に偏寄させることもでき、車両アイコン１０Ｓは必ずしも中央位置に限定されるものではない。
【００５１】
一方、要監視像表示不能領域に要監視像が存在していると、この要監視像も表示されることになる。その表示は、車両アイコン１０Ｓが表示されている至近側表示不能領域ＰＡにおいては、車両アイコン１０Ｓの表示に重畳して表示され、境界部表示欠落領域ＢＡにも同様の表示がなされる。これらの表示は要監視像そのものを表示することもでき、またキャラクタ化した表示であっても良い。
【００５２】
具体例として、図４に境界部表示欠落領域ＢＡにおける要監視像の表示の一例が示されている。この図４では合成俯瞰画像１０を構成する個別俯瞰画像１０Ｆ，１０Ｂ，１０Ｒ，１０Ｌのうち、個別俯瞰画像１０Ｒ内の位置には車両Ｖ１が表示されており、また個別俯瞰画像１０Ｆ，１０Ｒとの境界部表示欠落領域ＢＡに車両Ｖ２が位置していることが表示されている。車両Ｖ１はともかく、車両Ｖ２は境界部表示欠落領域ＢＡに位置しているために、それぞれ位置及び方向の違うカメラ６Ｆ，６Ｒからの画像に基づくものであり、被写体像をそのまま表示すると、変形してしまうか、若しくは部分的にまたは全体が欠落してしまい、この要監視像として正確に認識できないことがある。
【００５３】
図４においては、車両Ｖ２はスルー画像１１Ｒの一部を切り取って、要監視像を枠囲いした要監視像指標ＴＳで囲った状態にして表示するようにしている。これによって、ディスプレイ９を一瞥しただけでも、車両Ｖ２を認識することができる。また、車両Ｖ１の像は欠けることなく表示されているが、図４では、この車両Ｖ１にも要監視像指標ＴＳを表示している。これによって、車両Ｖ１もより鮮明に表示されて、ディスプレイ９における要監視像の表示を目立たせることができる。なお、車両Ｖ２は画像において大きい表示となっているが、要監視像の表示が小さい場合には、この要監視像が強調されることになり、ディスプレイ９における要監視像の表示を見落とすのを防止できる。
【００５４】
これに対して、合成俯瞰画像１０の表示領域外の限界外表示不能領域ＤＡについては、ディスプレイ９の画面外の位置であるから、その位置の表示をすることはできない。そこで、ディスプレイ９には、所定のマークを表示して、これをコーションマークとしてオペレータに認識させる。このコーションマークは要監視像が人であるか、車両であるか、その他の物体であるかにより異なるマークとすることもでき、また対象の違いに拘わらず同一のマークとしても良い。そして、要監視像までの距離を認識できるようにするためには、コーションマークを点滅させるようになし、遠い位置では点滅速度を遅くし、近付くに応じて点滅速度を速くするように制御することができる。勿論、この要監視像がディスプレイ９の表示領域内に入り込むと、合成俯瞰画像１０上に表示されることになるので、コーションマークの表示を停止させることになる。
【００５５】
なお、本発明の実施形態においては、要監視像指標ＴＳが、要監視像を四角形の枠囲いを行って形成したものである場合について説明したが、本発明はこの場合に限られず、所定の色彩を施したり、円の枠囲いを行ったりしても良い。また、他の要監視像指標としては、図９に示した、マーキング表示とすることができる。
【００５６】
同図においては、矢印で要監視像指標を形成したものである。即ち、至近側表示不能領域ＰＡの内側に位置する要監視像については同図に矢印ＡＨＮで示したものとなし、これによって車両アイコン１０Ｓの下部または至近位置における矢印ＡＨＮの先端位置に要監視像が存在することが表示される。また、限界外表示不能領域ＤＡについては矢印ＡＨＦで要監視像の存在が表示される。この矢印ＡＨＦの延長線の位置に要監視像が存在することが認識される。
【００５７】
さらに、矢印ＡＨＢは俯瞰画像間の境界部における境界部表示欠落領域ＢＡに要監視像が存在することが表示され、その位置は丸印で示した位置であることが現されている。なお、要監視像が可動である場合には、その移動方向と移動速度とをディスプレイ９の画面に表示するのが望ましい。その表示形式としては、移動方向を矢印ＡＨＮ，ＡＨＦ，ＡＨＢで示すことが、オペレータにとって把握し易いものとなる。また、移動速度については、矢印ＡＨＮ，ＡＨＦ，ＡＨＢの長さで示すことができ、さらに矢印ＡＨＮ，ＡＨＦ，ＡＨＢを点滅させるようになし、要監視像とダンプトラック１との距離が近くなると、点滅速度を速くする、等といったことが可能である。
【００５８】
さらに、図１０に示したように、要監視像が人であり、ディスプレイ９においては、要監視像そのものは極めて小さいために、表示不能ではないにしろ、ディスプレイ９を一見しただけでは、要監視像を認識できない場合がある。このような場合には、要監視像の周囲を方形の枠ＦＷで囲うようにすることによって、オペレータに認識し易くすることができる。そして、枠ＦＷは、点線で示すようにすることもできるが、オペレータの注意をより強くするために、枠ＦＷのサイズを大きくすることが望ましい。また、要監視像そのものを拡大して表示することも、オペレータに認識させる上で好ましい場合もある。
【符号の説明】
【００５９】
１  ダンプトラック
６，６Ｂ，６Ｆ，６Ｌ，６Ｒ  カメラ
８  画像処理装置
９  ディスプレイ
１０Ｓ  車両アイコン
１０Ｂ，１０Ｆ，１０Ｌ，１０Ｒ  俯瞰画像
１１Ｂ，１１Ｆ，１１Ｌ，１１Ｒ  スルー画像
１２  俯瞰画像化処理部
２０  要監視像検出部
２０Ａ  要監視像サーチ部
２０Ｂ  座標位置検出部
２１  画像集約部
２２  画像合成部（要監視像指標部）
２３  要監視像指標生成部（要監視像指標部）
【図１】
2016140016.tif 000003
【図２】
2016140016.tif 000004
【図３】
2016140016.tif 000005
【図４】
2016140016.tif 000006
【図５Ａ】
2016140016.tif 000007
【図５Ｂ】
2016140016.tif 000008
【図６】
2016140016.tif 000009
【図７】
2016140016.tif 000010
【図８】
2016140016.tif 000011
【図９】
2016140016.tif 000012
【図１０】
2016140016.tif 000013
【国際調査報告】
2016140016.tif 000014
2016140016.tif 000015