(57)【要約】【課題】作業機械の上方に視点を持つ俯瞰画像と周囲を撮影するカメラからのカメラ画像を最適位置で結合して違和感のない結合画像を生成する。  【解決手段】作業機械に取り付けられ前記作業機械の周囲を撮影する複数のカメラ１３からのカメラ画像をもとに前記作業機械の上方に視点を持つ俯瞰画像を作成する俯瞰画像作成部３００と、作業機械の動作を判定して、前記俯瞰画像にカメラ画像を結合して結合画像を作成する際の結合位置を算出する結合位置算出部４００と、前記俯瞰画像に前記カメラ画像を前記結合位置算出部が算出した位置で結合して結合画像を作成する結合画像作成４５０部と、結合画像作成部で作成した結合画像を合成する結合画像合成部５００と、前記結合画像合成部で合成した合成画像から障害物を検出する合成画像障害物検知部６００と、前記合成画像に障害物検知情報を重畳して表示する表示画像生成部９００を備えた。【選択図】図３
2010204821.tif 000002
【特許請求の範囲】
【請求項１】
作業機械に取り付けられ前記作業機械の周囲を撮影する複数のカメラからのカメラ画像をもとに前記作業機械の上方に視点を持つ俯瞰画像を作成する俯瞰画像作成部と、
作業機械の動作を判定して、前記俯瞰画像にカメラ画像を結合して結合画像を作成する際の結合位置を算出する結合位置算出部と、
前記俯瞰画像に前記カメラ画像を前記結合位置算出部が算出した位置で結合して結合画像を作成する結合画像作成部と、
結合画像作成部で作成した結合画像を合成する結合画像合成部と、
前記結合画像合成部で合成した合成画像から障害物を検出する合成画像障害物検知部と、
前記合成画像に障害物検知情報を重畳して表示する表示画像生成部を備えたことを特徴とする周囲監視装置を備えた作業機械。
【請求項２】
請求項１記載の周囲監視装置を備えた作業機械において、
前記結合位置算出部は結合位置を前記カメラの設置位置の高さから算出することを特徴とする周囲監視装置を備えた作業機械。
【請求項３】
請求項１記載の周囲監視装置を備えた作業機械において、
結合位置算出部は、作業機械におけるフロント作業機の先端位置データ、フロント作業機の掘削、旋回、走行を表す各作業データにしたがって結合位置を算出することを特徴とする周囲監視装置を備えた作業機械。  
【請求項４】
請求項３記載の周囲監視装置を備えた作業機械において、
結合位置算出部は、作業機の先端位置がカメラから遠方の場合には結合位置を近くに設定し、先端位置がカメラに近い場合には遠くに設定することを特徴とする周囲監視装置を備えた作業機械。
【請求項５】
請求項３記載の周囲監視装置を備えた作業機械において。
結合位置算出部は、作業データが旋回の場合は結合位置をカメラから遠方に設定し、走行の場合は、走行速度が速い場合はカメラの近くに設定し、走行速度が遅い場合は遠くに設定することを特徴とする周囲監視装置を備えた作業機械。
【請求項６】
請求項１記載の周囲監視装置を備えた作業機械において、
結合画像合成部は、カメラから結合位置算出部で算出した位置以内は俯瞰画像で、結合位置算出部で算出した位置以遠はカメラの撮影画像で合成したことを特徴とする周囲監視装置を備えた作業機械。
【請求項７】
請求項１記載の周囲監視装置を備えた作業機械において、
結合画像合成部は、カメラから結合位置算出部で算出した位置以内は俯瞰画像で、結合位置算出部で算出した位置以遠はカメラの撮影画像で設定し、結合位置算出部で算出した位置付近では俯瞰画像とカメラ画像を連続するように調整した画像で結合したことを特徴とする周囲監視装置を備えた作業機械。
【請求項８】
請求項１記載の周囲監視装置を備えた作業機械において、
結合画像合成部は、上方視点の模擬車両の像を、俯瞰画像にカメラ画像を合成した合成画像に合成することを特徴とする周囲監視装置を備えた作業機械。
【請求項９】
請求項１記載の周囲監視装置を備えた作業機械において、
表示画像生成部はフロント作業機先端位置データを用いて作成した危険作業範囲、フロント作業機の旋回範囲、および走行予想軌跡を重畳して表示することを特徴とする周囲監視装置を備えた作業機械。
【請求項１０】
作業機械の周囲を方向別に撮影する複数のカメラからのカメラ画像をもとに前記作業機械の上方に視点を持つ俯瞰画像を作成する俯瞰画像作成部と、
作業機械の動作を判定して、前記俯瞰画像にそれぞれ方向別のカメラ画像を結合して結合画像を作成する際の結合位置を算出する結合位置算出部と、
前記俯瞰画像に前記カメラ画像を前記結合位置算出部が算出した位置で結合して方向別の結合画像を作成する結合画像作成部と、
結合画像作成部で作成した方向別の結合画像を合成する結合画像合成部と、
前記結合画像合成部で合成した合成画像から障害物を検出する合成画像障害物検知部と、
前記合成画像に障害物検知情報を重畳して表示する表示画像生成部を備えたことを特徴とする作業機械の周囲監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲監視装置を備えた作業機械にかかり、特に、周囲の障害物を監視して、運転者に提示する周囲監視装置を備えた作業機械に関する。
【背景技術】
【０００２】
車両あるいは作業機械が周囲の人あるいは物と接触する事故を防止するため、周囲を監視するカメラを搭載したものが知られている。例えば特許文献１には、複数設置した車外カメラの画像を取り込んで車両上方を視点とした画像を合成処理して表示し、画像合成処理した画像内において、画面内における輝度の変化部分を検出することにより立体物を検出し、検出した立体物をその基部前端部分において車両上方視点画像と接続して立体物を表示することが示されている。
【０００３】
また、特許文献２には、画面上部の遠景部分と画面下部の近景部分からなり、水平方向に連続するように撮影された複数枚の画像において、遠景部分については従来手法のカメラ画像で位置あわせを行い、近景部分については、幾何変換により、上方視点の画像に変換し、さらに変換後の画像を接続した後に再び通常の視点から見たように幾何変換を行うことによりパノラマ画像を作成することが示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２３３８７６号公報
【特許文献２】特開２０００−３１２２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された装置では、画面内における輝度の変化部分の検出により立体物を検出するため、車両あるいは作業機械周囲を撮影した屋外画像では、影、日照変化、木々の揺れ等の外乱が多発する。このため、これらを障害物と誤検知する場合がある。また、背景画像と立体物が類似している場合は、検知できない場合が発生する。
【０００６】
誤検知の場合、立体物以外のカメラ画像を車両上方視点画像と接続して表示することになる。また、立体物を検知できない場合、車両上方視点画像のみの表示になり、カメラ画像では撮影されていても視界外になったり、視界内に存在しても非常に違和感がある立体画像になり、表示画像から実際の物体の状態を確認するのが困難になる。
【０００７】
また、誤検知、あるいは検知できない場合が多発すると、合成処理した画像内において、上方視点画像にカメラ画像を接続した領域と上方視点画像領域が混在した状態となり、実際の物体の状態を表示画像から確認することは困難になり、障害物の見落としが増加する。このため、周囲の安全確認に時間がかかり、作業効率が低下する。
【０００８】
特許文献２記載の装置では、上述のように、水平方向に連続するように撮影された複数枚の画像から、遠景部分については従来手法のカメラ画像で位置合わせを行い、近景部分では幾何変換により、上方視点の画像に変換し、変換後の画像を接続した後に再び通常の視点から見たように幾何変換を行って、パノラマ画像を作成するものである。
【０００９】
この装置では、位置合わせを行う部分は固定である。このため、撮影シーンが狭い場合に最適なように固定位置に設定した場合、撮影シーンが広い場合には不自然なパノラマ画像になる。逆に、撮影シーンが広い場合に最適なように固定位置を設定した場合、撮影シーンが狭い場合には不自然なパノラマ画像になる。また、位置合わせを行う部分を連続するように調整しないため、近景部分と遠景部分の結合部にまたがるような物体が存在した場合、違和感が発生する。
【００１０】
本発明は、これらの問題点に鑑みてなされたもので、作業機械の上方に視点を持つ俯瞰画像と周囲を撮影するカメラからのカメラ画像を最適位置で結合して違和感のない結合画像を生成するものである。
【課題を解決するための手段】
【００１１】
本発明は上記課題を解決するため、次のような手段を採用した。
【００１２】
作業機械に取り付けられ前記作業機械の周囲を撮影する複数のカメラからのカメラ画像をもとに前記作業機械の上方に視点を持つ俯瞰画像を作成する俯瞰画像作成部と、作業機械の動作を判定して、前記俯瞰画像にカメラ画像を結合して結合画像を作成する際の結合位置を算出する結合位置算出部と、前記俯瞰画像に前記カメラ画像を前記結合位置算出部が算出した位置で結合して結合画像を作成する結合画像作成部と、結合画像作成部で作成した結合画像を合成する結合画像合成部と、前記結合画像合成部で合成した合成画像から障害物を検出する合成画像障害物検知部と、前記合成画像に障害物検知情報を重畳して表示する表示画像生成部を備えた。
【発明の効果】
【００１３】
本発明は、以上の構成を備えるため、作業機械の上方に視点を持つ俯瞰画像と周囲を撮影するカメラからのカメラ画像を最適位置で結合して違和感のない結合画像を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】油圧ショベルの外観を示す図である。
【図２】油圧ショベルを上方視点から見た外観図である。
【図３】実施形態にかかる周囲監視装置を説明する図である。
【図４】他の実施形態を説明する図である。
【図５】作業機械の姿勢データ取込み部の詳細を説明する図である。
【図６】作業機械の動作データ取込み部の詳細を説明する図である。
【図７】結合位置算出部の詳細を説明する図である。
【図８】結合画像作成部を説明する模式図である。
【図９】結合画像作成部において、結合位置を、カメラ近くに設定した場合を説明する図である。
【図１０】結合画像作成部において、結合位置を、カメラ遠方に設定した場合を説明する図である。
【図１１】結合画像作成部の他の例を示す模式図である。
【図１２】非線形のテーブルを説明する図である。
【図１３】結合画像作成部のさらに他の例を示す模式図である。
【図１４】結合画像合成部の詳細を説明する図である。
【図１５】右側方結合画像の中心位置を示す例である。
【図１６】結合画像合成部で作成した合成画像における結合位置がカメラから遠方の例である。
【図１７】結合画像合成部で作成した結合位置がカメラに近い例である。
【図１８】合成画像障害物検知部における画像処理を説明する図である。
【図１９】表示画像生成部の詳細を説明する図である。
【図２０】表示装置に表示される画面の例（フロント作業機の先端が短い場合で周囲の狭い範囲を監視する画面の例）である。
【図２１】表示装置に表示される画面の例（フロント作業機の先端が短い場合の画面の例）である。
【図２２】表示装置に表示される画面の例（フロント作業機の先端が長い場合で、周囲の広い範囲を監視する画面の例）である。
【図２３】表示装置に表示される画面の例（フロント作業機の先端が長い場合で、周囲の広い範囲を監視する画面の例）である。
【発明を実施するための形態】
【００１５】
以下、最良の実施形態を添付図面を参照しながら説明する。図１は、作業機械の例としての油圧ショベルの外観を示す図である。油圧ショベルは、それぞれが垂直方向に回動するブーム１ａ、アーム１ｂ及びバケット１ｃを備えた多関節型のフロント作業機１Ａと、上部旋回体１ｄ及び下部走行体１ｅからなる車体１Ｂとで構成される。
【００１６】
上部旋回体１ｄには、運転室１ｆが備えられている。フロント作業機１Ａのブーム１ａの基端は上部旋回体１ｄの前部に支持されている。ブーム１ａ、アーム１ｂ、バケット１ｃ、上部旋回体１ｄ及び下部走行体１ｅはそれぞれブームシリンダ３ａ、アームシリンダ３ｂ、バケットシリンダ３ｃ、旋回モータ３ｄ（図１には図示しない）及び左右の走行モータ３ｅ，３ｆ（図示しない）の各アクチュエータによりそれぞれ駆動される。また、ブーム１ａ、アーム１ｂ、バケット１ｃ、上部旋回体１ｄは、それぞれの回動角を検出する角度検出器８ａ，８ｂ，８ｃ，８ｄを備える。また、油圧ショベルの後方には、たとえば作業員２０が存在することがある。
【００１７】
図２は、油圧ショベルを上方視点から見た外観（俯瞰画像）図である。上部旋回体１ｄの上部の車体１Ｂには、右側方監視用のカメラ１３ａ、後方監視用のカメラ１３ｂ、左側方監視用のカメラ１３ｃが備えられ、これらの監視範囲は１２ａ，１２ｂ、１２ｃである。また、油圧ショベルは下部走行体１ｅ、１ｅ’を備え、前記監視範囲には、フロント作業機１Ａの作業範囲１４が含まれる。
【００１８】
図３は、本実施形態にかかる周囲監視装置を説明する図である。図３において３１はカメラ１３aの映像信号、３２はカメラ１３bの映像信号、３３はカメラ１３cの映像信号、５０は画像処理装置、９００はカメラ１３a及び１３b及び１３cにより周囲シーン撮影して作業機械周囲の映像等を表示するモニタテレビ、１０００は表示装置９００の表示内容を監視する運転室１ｆの運転員である。
【００１９】
画像処理装置５０は、画像入力部２００、俯瞰画像作成部３００、結合位置算出部４００、結合画像作成部４５０、結合画像合成部５００、合成画像障害物検知部６００、作業機械の姿勢データ取込み部７００、作業機械の動作データ取込み部７５０、表示画像生成部８００を備える。なお、画像処理装置５０はこれらの画像処理が実現できるＰＣ又は画像処理専用装置で構成することができる。
【００２０】
処理に際しては、まず、カメラ１３ａにより撮影対象シーン１２ａを撮影して、撮影した映像信号３１を画像処理装置５０へ伝送する。画像処理装置５０は、前記映像信号３１を入力して画像入力部２００に格納する。また、カメラ１３ｂにより撮影対象シーン１２ｂを撮影して、撮影した映像信号３２を画像処理装置５０へ伝送する。画像処理装置５０は、前記映像信号３２を入力して画像入力部２００に格納する。カメラ１３ｃは、撮影対象シーン１２ｃを撮影して、撮影した映像信号３３を画像処理装置５０へ伝送する。画像処理装置５０は、映像信号３３を入力し画像入力部２００に格納する。格納した映像信号３１及び映像信号３２及び映像信号３３は俯瞰変換して俯瞰画像３００を作成する。なお、俯瞰画像３００の作成は、公知の技術（例えば特開２００６−４８４５１号公報参照）により実現できる。
【００２１】
次に、作業機械のフロント作業機１Ａの姿勢データ７００を取り込み、更に、上部旋回体１ｄ及び下部走行体１ｅの動作データ７５０を取り込み、これらの姿勢データ７００と動作データ７５０から、カメラ１３ａが撮影したシーン１２ａに対して、動作データ７５０及び動作データ７５０の変動に連動させて俯瞰画像３００における結合位置を算出４００し、入力した画像２００における結合位置も算出４００し、俯瞰画像３００と入力画像２００と算出した結合位置４００を用いて、結合画像４５０を作成する。
【００２２】
同様に、カメラ１３ｂが撮影したシーン１２ｂに対して、俯瞰画像３００における結合位置を算出４００し、入力した画像２００における結合位置も算出４００し、俯瞰画像３００と入力画像２００と算出した結合位置４００を用いて、結合画像４５０を作成する。また、カメラ１３ｃが撮影したシーン１２ｃに対して、俯瞰画像３００における結合位置を算出４００し、入力した画像２００における結合位置も算出４００し、俯瞰画像３００と入力画像２００と算出した結合位置４００を用いて、結合画像４５０を作成する。シーン１２ａに対する結合画像４５０及びシーン１２ｂに対する結合画像４５０及びシーン１２ｃに対する結合画像４５０を用いて、上方視点の模擬作業機械を中心にし周囲に結合画像を配置して結合画像を合成５００する。
【００２３】
更に、合成した結合画像５００に対して、画像処理手法を用いて障害物検知６００を行い、障害物検知６００の検知結果を重畳し、フロント作業機１Ａの姿勢データ７００から取り込んだフロント作業機の先端位置のデータを用いて危険範囲も重畳し、フロント作業機１Ａの動作データ７５０から取り込んだ旋回範囲及び／又は走行予想軌跡及び／又は走行ガイドラインも重畳する表示画像の生成８００を行い、モニタ等の表示装置９００に表示する。
【００２４】
これにより、作業機械の周囲にある障害物の把握が一目瞭然となり、作業機械の操作の適否判断を瞬時にかつ的確に行うことができる。このため、作業効率と安全性を向上することができる。
【００２５】
図４は、本発明の他の実施形態を説明する図である。この例においては、画像処理装置５０は、画像入力部２００、画像歪み補正部２５０、俯瞰画像作成部３００、結合位置算出部４００、結合画像作成部４５０、結合画像合成部５００、合成画像障害物検知部６００、作業機械の姿勢データ取込み部７００、作業機械の動作データ取込み部７５０、表示画像生成部８００を備える。なお、画像処理装置５０は、これらの画像処理が実現できるＰＣ又は画像処理専用装置で構成することができる。
【００２６】
歪み補正部３００は、入力される画像に歪みが無ければ省略してもよい。しかし、車両あるいは作業機械の周囲監視では、広範囲が撮影できる広視野角のレンズを用いたカメラを使用することが多く、撮影シーンの周辺で歪みが発生する。そこで、この歪みを補正する歪み補正部２５０が必要となる。なお、この歪み補正部は、例えば公知の技術（例えば特開２００６−５９２７０号参照）により実現できる。
【００２７】
図５は、作業機械の姿勢データ取込み部７５０の詳細を説明する図である。まず、７０１において、ブーム１ａの回動角を検出する角度検出器８ａの出力θ１を取込み、７０２において、アーム１ｂの回動角を検出する角度検出器８ｂの出力θ２を取込み、７０３において、バケット１ｃの回動角を検出する角度検出器８ｃの出力θ３をみ、７０４において、上部旋回体１ｄの回動角を検出する角度検出器８ｄの出力θ４を取込む。
【００２８】
次に、７０５において、これらのデータθ１，θ２，θ３，θ４を用いてバケット１ｃの先端座標を算出を算出する。これにより、車体１Ｂにおけるフロント作業機１Ａの先端位置のデータが算出され、作業機械における周囲の危険範囲が分かる。
【００２９】
図６は、作業機械の動作データ取込み部７５０の詳細を説明する図である。まず、７０４において、上部旋回体１ｄの回動角を検出する角度検出器８ｄの出力θ４を取込む、次に、７０７において、上部旋回体１ｄの旋回方向を算出する。７０８において、走行モータ３ｅから走行速度を算出する。更に、７０９において、下部走行体１ｅの回転から走行方向を算出する。これにより、作業機械の旋回方向と走行速度が算出され、さらに走行軌跡の予想が可能となり、走行ガイドラインの提示が可能となる。
【００３０】
図７は、結合位置算出部４００の詳細を説明する図である。まず４０１において、作業機械の動作を判定する。判定した動作がフロント作業、即ち、掘削の場合、４０２において、周囲の広い範囲を把握するためカメラに近い結合位置の距離を算出（算出値Ｐａ）し、４０３において、俯瞰画像作成部３００で作成した俯瞰画像に対し、カメラ側からＰａ位置までの結合部の領域を切り出す（俯瞰画像ＰＬ）。４０４において、入力画像に対しＰａ位置以降の矩形領域を切り出す（カメラ画像ＲＬ）。次に、４０５において、Ｐａ位置でＰＬ画像とＲＬ画像を結合するため、結合部でＲＬ画像をＰＬ画像に合わせるように調整する画像のリサイズを行う。
【００３１】
また、４０１において判定した動作が走行の場合、掘削の場合と同様の処理を行う。４０１において判定した動作が旋回の場合、４０６において、姿勢データ取込み部７００で取り込んだ姿勢データから作業機械の姿勢を判定し、フロント作業機の先端が長い場合には、掘削の場合と同様に、４０２、４０３、４０４の処理を行う。一方、フロント作業機の先端が短い場合には、４０７において、周囲の狭い範囲を把握するため、カメラから遠い結合位置である距離を算出（算出値Ｐｂ）し、４０８において俯瞰画像作成部３００で作成した俯瞰画像に対し、カメラ側からＰｂ位置までの結合部の領域を切り出す（俯瞰画像ＰＭ）。４０９において入力画像に対しＰｂ位置以降の矩形領域を切り出す（カメラ画像ＲＭ）。４１０においてＰｂ位置でＰＭ画像とＲＭ画像を結合するため、結合部でＲＭ画像をＰＭ画像に合わせるように調整する画像のリサイズを行う。
【００３２】
ここで、４０７においては、周囲の狭い範囲を把握するため、カメラから遠い結合位置である距離を算出（Ｐｂ）するが、結合位置の距離を算出しないで、俯瞰画像作成部３００で作成した俯瞰画像のままでもよい。
【００３３】
カメラから遠い結合位置を算出すると、俯瞰画像の領域が多いため、作業機械周囲の狭い範囲が詳細に把握でき、近くの作業員が鮮明に表示される効果がある。また、カメラから近い結合位置を算出すると、作業機械周囲の広い範囲を粗くざっと把握できる上、遠方の作業員も違和感無く表示される効果がある。
【００３４】
一方、カメラ設置位置が高い場合、結合位置算出部４００で算出した結合位置よりも若干遠い位置に結合位置を算出し、カメラ設置位置が低い場合、結合位置算出部４００で算出した結合位置よりも若干近い位置に結合位置を算出しする。ここで、カメラ設置高が２ｍを基準の例で算出した場合に対し、カメラ設置位置が高いとは、２ｍより高い場合であり、カメラ設置位置が低いとは、２ｍより低い場合である。
【００３５】
図８は、結合画像作成部４５０を説明する模式図である。結合位置算出部４００が算出した結合位置の距離４５３（カメラからの距離４５３）までは、上方視点から見た俯瞰画像作成部３００の俯瞰画像４５１表示し、距離４５３より遠方は、垂直な視点の画像入力部２００で取り込んだカメラ画像４５２そのままの入力画像を用いて画像を結合する。
【００３６】
このように合成すると、後方カメラ１３ｂの周囲に存在する人物２０は、俯瞰画像作成部３００で作成した俯瞰画像４５１では上方視点の変形した人物になり、画像入力部２００で取り込んだカメラ画像４５２では垂直な視点の人物になる。これらを結合位置４５３で結合すると、人物２０は見た目に近くなり、違和感が少なくなる。
【００３７】
ここで、図８は、直線で結合位置を算出する例であるが、カメラ位置を中心とした円弧で設定することもできる。
【００３８】
図９は、結合画像作成部４５０において、フロント作業機の先端が長い場合、掘削又は走行における場合のように周囲の広い範囲を把握する必要がある場合において、結合位置を、カメラ近くに算出４５４した場合を説明する図である。ここでの広い範囲とは、例えば、カメラ設置高が２ｍの場合、周囲４ｍ以遠まで撮影するシーンの場合とする。
【００３９】
まず、後方カメラ１３ｂの入力画像２００ａの場合、周囲８ｍまで表示２０４するシーンで、人物２０ａの足元が４ｍの位置に存在する場合で説明する。
【００４０】
入力画像２００ａをもとに俯瞰画像作成部３００で作成した俯瞰画像３００ａにおいては、背景シーンとともに人物２０ｂも変換され、人物２０ｂはカメラから遠方では、頭部等が変形されて大きくなり、見た目に違和感のある人物像になる。そこで、カメラから結合位置４５４までは、俯瞰画像の領域３００ｂを切り出し、結合位置４５４以遠は、入力画像２００ａの領域２００ｂを切り出して結合する。しかし、領域３００ｂと領域２００ｂをそのまま結合すると、サイズが合わないため、領域３００ｂの位置結合位置と領域２００ｂの位置結合位置を調整してサイズ合わせを行い、領域３００ｂをリサイズして領域３００ｃを作成し、領域２００ｂをリサイズして領域２００ｃを作成し、これらを結合して、結合画像４５１を作成する。リサイズされた領域２００ｃでは、人物２０ｂもリサイズされ人物２０ｃとなる。
【００４１】
図１０は、結合画像作成部４５０におけるフロント作業機の先端が短い場合において、周囲の狭い範囲を把握するための結合位置を、カメラ遠方に算出４５５した場合を説明する図である。ここでの狭い範囲とは、例えば、カメラ設置高が２ｍの場合、周囲３ｍ以内で撮影するシーンの場合である。
【００４２】
まず、後方カメラ１３ｂの入力画像２００ａの場合、周囲３ｍまで表示２０５するシーンで、人物２０ａの足元が２ｍの位置に存在する場合で説明する。
【００４３】
入力画像２００ａを俯瞰画像作成部３００で作成した俯瞰画像２００ｂでは、背景シーンとともに人物２０ｂに変換され、人物２０ｂはカメラから遠方では、頭部等が変形されて大きくなり、見た目に違和感のある人物になってしまう。そこで、カメラから結合位置４５５までは、俯瞰画像の領域３００ｄを切り出し、結合位置４５５以遠は、入力画像２００ａの領域２００ｄを切り出す。しかし、領域３００ｄと領域２００ｄをそのまま結合すると、サイズが合わないため、領域３００ｄの結合位置と領域２００ｄの結合位置を調整してサイズ合わせを行い、領域３００ｄをリサイズして領域３００ｅを作成し、領域２００ｄをリサイズして領域２００ｅを作成して結合して、結合画像４５２を作成する。リサイズされた領域２００ｅでは、人物２０ｃもリサイズされ人物２０ｄとなる。
【００４４】
これにより、人物２０ｃ、２０ｄは見た目に近くなり、違和感が少なくなり、人物や障害物等の存在を的確かつ効果的に把握することができ、作業効率と安全性が向上する。
【００４５】
図１１は、結合画像作成部４５０の他の例を示す模式図である。結合位置算出部４００が算出した結合位置の距離４５３付近の領域４６１を設定し、結合位置の距離４５３における結合が連続して滑らかに変化する非線形のテーブルを作成して、俯瞰画像領域４５１と、領域４６１と、カメラ画像領域４５２を結合する。
【００４６】
図１２は非線形のテーブルを説明する図である。俯瞰画像とカメラ画像を結合する結合位置付近の領域４６１における両者の結合の割合を表す非線形のテーブルは、例えば、図１２に示すように、０（俯瞰画像領域４５１）から１（カメラ画像領域４５２）の間を０．１、０．２、０．４、０．６、０．８の割合で結合することを表している。
【００４７】
図１３は、結合画像作成部４５０のさらに他の例を示す模式図である。図１３の示すように上方視点の俯瞰画像４５１とカメラ画像４５２に対して、対数変換テーブル４６３を適用してもよい。
【００４８】
図１４は、結合画像合成部５００の詳細を説明する図である。まず、５０１において、上方視点における模擬作業機械の中心位置（ＯＣ）を設定する。５０２において、右側方カメラ１３ａの右側方結合画像格納メモリを読み込み、５０３において、後方カメラ１３ｂの後方結合画像格納メモリを読み込み、５０４において、左側方カメラ１３ｃの左側方結合画像格納メモリを読み込む。５０５において、右側方結合画像５０２を右側方へ配置するための右側９０°回転を行い、５０６において、後方結合画像５０３を後方へ配置するための上下反転を行い、５０７において、左側方結合画像５０４を左側方へ配置するための左側９０°回転を行う。次に、５０８において、右側方結合画像の中心位置と上方視点における模擬作業機械の中心位置ＯＣをあわせて配置し、５０９において、後方結合画像の中心位置と上方視点における模擬作業機械の中心位置ＯＣをあわせて配置し、５１０において、左側方結合画像の中心位置と上方視点における模擬作業機械の中心位置ＯＣをあわせて配置する。最後に、５１１において、上方視点における模擬作業機械の右側に右側方結合画像５０８を配置し、後方に後方結合画像５０９を配置し、左側に左側方結合画像５１０を配置して、表示用画像を作成する。
【００４９】
図１５は、右側方結合画像の中心位置５２３を示す例である。右側方結合画像の上部端の延長線５２１と、下部端の延長線５２２の交点が中心位置５２３である。
【００５０】
図１６は、結合画像合成部５００で作成した合成画像における結合位置がカメラから遠方の例である。まず、右側方入力画像に対し、結合位置算出部４００で算出した結合位置５３２において結合した結合画像５３３の交点５２３を、上方視点から見た模擬作業機械１の中心５３１にあわせて配置する。次に、後方入力画像に対し、結合位置算出部４００で算出した結合位置５３４において結合した結合画像５３５の交点５２３を、上方視点から見た模擬作業機械１の中心５３１にあわせて配置する。更に、左側方入力画像に対し、結合位置算出部４００で算出した結合位置５３６において結合した結合画像５３７の交点５２３を、上方視点から見た模擬作業機械１の中心５３１にあわせて配置する。ここで、後方カメラの視野内に存在する人物２０の頭部が入力画像で結合されるため、違和感の少ない人物５３８になる。また、模擬作業機械１の後部における死角発生有無が確認でき、黒部５３９の死角が発生していることがわかる。これにより、運転員が操作している模擬作業機械１の運転席から、作業機械の周囲の作業員の存在方向や位置、カメラ設置の死角有無を確認できる。また、作業機械周囲の狭い範囲が詳細に把握でき、近くの作業員を鮮明に表示することができる。
【００５１】
図１７は、結合画像合成部５００で作成した結合位置がカメラに近い例である。まず、右側方入力画像に対し、結合位置算出部４００で算出した結合位置５４１において結合した結合画像５４２の交点５２３を、上方視点から見た模擬作業機械１の中心５３１にあわせて配置する。次に、後方入力画像に対し、結合位置算出部４００で算出した結合位置５４３において結合した結合画像５４４の交点５２３を、上方視点から見た模擬作業機械１の中心５３１にあわせて配置する。更に、左側方入力画像に対し、結合位置算出部４００で算出した結合位置５４５において結合した結合画像５４６の交点５２３を、上方視点から見た模擬作業機械１の中心５３１にあわせて配置する。ここで、後方カメラの視野内に存在する人物２０が入力画像で結合されるため、違和感の少ない人物５４７になる。これにより、運転員が操作している模擬作業機械１の運転席から、作業機械の周囲の作業員の存在方向や位置、カメラ設置の死角有無を確認できる。また、作業機械周囲の広い範囲を粗くざっと把握できる上、遠方の作業員も違和感無く表示される。
【００５２】
図１８は、合成画像障害物検知部８００における画像処理を説明する図である。まず、６１０において、合成画像を取り込み、６１０、６１５において、上方視点の模擬作業機械の領域を除外するようにマスクする。６２０において、直前合成画像と現合成画像の画素毎の差分画像を作成する。６３０において、６２０において作成した差分画像を所定の閾値（７〜１５程度）と比較し、閾値未満を０、閾値以上を１以上にする２値化処理を行って障害物の変化領域を抽出する。６４０において、変化領域を抽出したか否かを判定し、抽出しない場合、６５０において障害物無しとする。
【００５３】
一方、６４０において、変化領域を抽出した場合、６６０において特徴算出を行う。障害物の特徴として、縦横比、あるいは抽出領域を頭部、胴体部、下部に３分割してそれぞれの輪郭形状等を算出し、６７０において人物の特徴か否かを判定する。例えば６６０で算出した特徴量の縦横比が縦長であり、抽出領域の頭部は扇型の輪郭で、胴体部のうち肩部は斜め輪郭で胴体部は縦輪郭で、下部に逆Ｖ字の輪郭や縦輪郭等の特徴が複数存在する場合は６９０において人物有りと判断し、これら特徴が複数存在しない場合は６８０において人物以外の障害物有りと判定する。
【００５４】
ここで、合成画像障害物検知部８００は、画像処理による手法でなく、作業機械に設置した距離センサ等のセンサ類で判定しても良い。
【００５５】
図１９は、表示画像生成部８００の詳細を説明する図である。まず、８１０において、フロント作業機１Ａの先端位置から危険範囲を算出する。８２０において、フロント作業機１Ａの長さと下部走行体１ｅからの方向を用いて、フロント作業機１Ａを前にして、下部走行体１ｅとの位置関係を決定する。８３０において車体１Ｂの描画データである上方視点模擬作業機データを作成する。次に、８４０において、合成画像障害物検知部６００の検出データを用いて、運転室１ｆと障害物２０および障害物２０までの距離データを算出する。更に、８５０において、車体１Ｂのフロント作業機１Ａの模擬画像を上部（前方）にして中央部に配置した画像（フロント作業機１Ａを前方にして車体１Ｂを中心とする上方視点に変換した画像）と危険範囲と障害物２０のマーク、旋回範囲、走行予想軌跡、走行ガイドラインを重畳させた表示画像を生成して、表示装置９００に表示する。これにより、運転室１ｆの運転員は、自分が中心位置で前方を見ている状態で、監視する周囲全体に対して、真上からの作業機械周囲に障害物２０がどの位置に存在しているのかが一目瞭然になり、即座に作業機械の旋回や、走行ガイドライン、走行予想軌跡を判断できる。
【００５６】
なお、表示装置９００は運転室内に設けてもよく、運転員が目視確認可能な位置ならどこでも良い。また、合成画像障害物検知部６００が、障害物２０を検知した場合、表示装置９００に表示するとともに、運転員に音声で報知してもよい。また、旋回開始時点で、障害物が存在している等のアラームを出力したり、障害物の退去を音声で出力しても良い。
【００５７】
これにより、作業中の運転者に対して、障害物存在時に機械と障害物の位置関係の把握が一目瞭然となり、フロント作業機の旋回の適否判断が的確かつ瞬時にできるため、障害物を回避できるとともに、作業効率が向上する効果がある。
【００５８】
図２０は、表示装置９００に表示される画面の例（フロント作業機の先端が短い場合で
周囲の狭い範囲を監視する画面の例）であり、障害物が検出された場合の例である。結合画像合成部５００で結合した障害物５３８に対し、障害物マーク９０５を重畳し、危険範囲９０５を重畳する。また、画面下部には、障害物検知を検知したのは、後方カメラ９０１、右側方カメラ９０２、左側方カメラ９０３のどれであるか判別しやすいように表示する。例えば後方カメラ９０１が検知した場合、該部分を誇張して表示し、作業機械の旋回状態を表示９０８する。更に、表示を拡大９０６したり、標準表示９０７するＩ／Ｆを設定しても良い。
【００５９】
図２１は、表示装置９００に表示される画面の例（フロント作業機の先端が短い場合の画面の例）である。作業機械の状態である走行速度メータ９０５、オイル残量メータ９０６、エンジン出力メータ９０６等も表示しても良い。
【００６０】
図２２は、表示装置９００に表示される画面の例（フロント作業機の先端が長い場合で、周囲の広い範囲を監視する画面の例）であり、障害物が検出された場合の例である。結合画像合成部５００で結合した障害物５３８に対し、障害物マーク９０５を重畳し、危険範囲９０５を重畳する。また、画面下部には、障害物検知を検知したのは、後方カメラ９０１、右側方カメラ９０２、左側方カメラ９０３のどれであるか判別しやすいように表示する。例えば、後方カメラ９０１が検知した場合、該部分を誇張して表示し、作業機械の旋回状態を表示９１０する。更に、表示を拡大９０６したり、標準表示９０７するＩ／Ｆを設定しても良い。
【００６１】
図２３は、表示装置９００に表示される画面の例（フロント作業機の先端が長い場合で、周囲の広い範囲を監視する画面の例）である。作業機械の動作データ取込み部７５０で取り込んだ下部走行体１ｅの走行方向９１２を重畳して表示し、走行モータ３ｅから算出した走行速度９０８を表示装置９００に表示する。
【００６２】
これにより、運転員に対して、撮影シーンが狭くても広くても、危険発生時に作業機械と周囲の障害物や人物の存在や走行方向や速度の把握が可能となり、操作の適否判断が的確かつ瞬時に情報提示することができるので、運転員は作業効率を低下させることなく障害物や侵入者の存在を的確かつ効果的に把握することができ、作業効率と安全性が向上する。
【００６３】
以上説明したように、本実施形態によれば、結合位置算出手段が、カメラの設置状態、作業機械の姿勢データ取込み手段で取り込んだフロント作業機の先端位置のデータにしたがって、例えばフロント作業機の先端位置がカメラから遠方の場合は、結合位置をカメラの近くに設定するので、作業機械周囲の広い範囲を粗くざっと把握できる上、遠方の作業員も違和感無く表示することができる。
【００６４】
また、フロント作業機の先端位置のデータがカメラの近くである場合は、結合位置をカメラの遠くにするので、作業機械周囲の狭い範囲が詳細に把握でき、近くの作業員を鮮明に表示することができる。
【００６５】
更に、動作データ取込み手段で作業機械の掘削、旋回、走行のデータを取り込み、旋回の場合は結合位置をカメラから遠方にし、走行の場合は結合位置をカメラから近くにし、更に、走行速度に応じて、速い場合は更に近くにし、遅い場合は、遠くにするように設定する。このため、結合位置がカメラから遠方の場合、作業機械周囲の狭い範囲が詳細に把握でき、近くの作業員を鮮明に表示することができる。また、結合位置をカメラの近くにする場合、作業機械周囲の広い範囲を粗くざっと把握できる上、遠方の作業員も違和感無く表示することができる。
【００６６】
また、上方視点の模擬作業機械の周りに結合画像作成手段で作成した結合画像を配置して合成画像を作成し、この合成画像に、合成画像障害物検知手段で検知した障害物の検知情報を重畳して表示し、また、姿勢データ取込み手段で取り込んだフロント作業機の先端位置のデータを用いて危険範囲を重畳して表示し、また、動作データ取込み手段で取り込んだ旋回範囲、走行予想軌跡、あるいは走行ガイドラインを重畳して表示するおとができる。このため、撮影シーンが狭くても広くても、また、障害物や人物の存在有無に係わらず、また、存在する場合シーン内の位置に係わらず、違和感の無い自然な結合画像を表示することができる。また、危険発生時に作業機械と周囲の障害物や人物の存在の把握が一目瞭然となり、作業機械の操作の適否判断を迅速かつ的確に行うことができ、作業効率と安全性が向上する。
【００６７】
このように、本実施形態によれば、撮影シーンが狭くても広くても、また、物体がシーン内のどこに存在しても違和感の無い自然な結合画像を運転者に提示することができる。このため、作業機械の周囲の障害物や人物の存在の把握が一目瞭然となり、作業機械の操作の適否判断を迅速かつ的確に行うことができる。
【符号の説明】
【００６８】
１Ａ  フロント作業機
１Ｂ  車体
１ａ  ブーム
１ｂ  アーム
１ｃ  バケット
１ｄ  上部旋回体
１ｅ  下部走行体
１ｆ  運転室
３ａ〜３ｆ  油圧アクチュエータ
８ａ，８ｂ，８ｃ  角度検出器
１３ａ，１３ｂ，１３c  カメラ
２０    障害物（作業員）
２００  画像入力部
２５０  画像歪み補正部
３００  俯瞰画像作成部
４００  結合位置算出部
４５０  結合画像作成部
５００  結合画像合成部
６００  合成画像障害物検知部
７００  作業機械姿勢データ取込み部
７５０  作業機械動作データ取込み部
８００  表示画像生成部
９００  表示装置
【図１】
2010204821.tif 000003
【図２】
2010204821.tif 000004
【図３】
2010204821.tif 000005
【図４】
2010204821.tif 000006
【図５】
2010204821.tif 000007
【図６】
2010204821.tif 000008
【図７】
2010204821.tif 000009
【図８】
2010204821.tif 000010
【図９】
2010204821.tif 000011
【図１０】
2010204821.tif 000012
【図１１】
2010204821.tif 000013
【図１２】
2010204821.tif 000014
【図１３】
2010204821.tif 000015
【図１４】
2010204821.tif 000016
【図１５】
2010204821.tif 000017
【図１６】
2010204821.tif 000018
【図１７】
2010204821.tif 000019
【図１８】
2010204821.tif 000020
【図１９】
2010204821.tif 000021
【図２０】
2010204821.tif 000022
【図２１】
2010204821.tif 000023
【図２２】
2010204821.tif 000024
【図２３】
2010204821.tif 000025