(57)【要約】作業手段を設け旋回体の運転席の近接位置に操作手段が設けられ、所定の作業を行う自走式の作業機械に設けられ、この作業機械の周囲を監視するため周囲監視装置であって、旋回体に複数台設けられ、各２台が相互に視野範囲が一部重なり合うようにして設置した複数台のカメラと、各カメラで取得したカメラ画像に基づいて上方視点となるように視点変換した仮想視点画像とする画像変換手段と、モニタ上での各カメラで撮影した仮想視点画像の表示領域を設定して、それぞれの表示領域に各仮想視点画像を表示する画像合成手段と、各仮想視点画像の表示領域の境界位置を変化させる表示態様変化手段とを備える構成としている。
2012164712.tif 000002
【特許請求の範囲】
【請求項１】
走行体に旋回可能に設置した旋回体に作業手段が装着され、この旋回体に設けた運転席の近接位置に操作手段を設けた作業機械に設けられ、周囲を監視するための作業機械の周囲監視装置であって、
前記旋回体に複数台設けられ、各２台が相互に視野範囲が一部重なり合うようにして設置した複数台のカメラと、
前記各カメラで取得したカメラ画像に基づいて上方視点となるように視点変換した仮想視点画像とする画像変換手段と、
前記モニタ上での前記各カメラで撮影した前記仮想視点画像の表示領域を設定して、それぞれの表示領域に前記各仮想視点画像を表示する画像合成手段と、
前記各仮想視点画像の表示領域の境界位置を変化させる表示態様変化手段と
から構成したことを特徴とする作業機械の周囲監視装置。
【請求項２】
前記カメラは、前記旋回体の後部位置と左右両側部の位置とに配置し、前記モニタには、前記作業機械の平面像または前記作業機械の平面像を図形化した作業機械画像を表示し、この作業機械画像の周囲に前記各カメラから取得したカメラ画像に基づく前記各仮想視点画像の合成画像を表示する構成としたことを特徴とする請求項１記載の作業機械の周囲監視装置。
【請求項３】
前記モニタに表示される合成画像を構成する前記旋回体の後部位置のカメラで得られる仮想視点後方画像と、左右の側部位置のカメラから得られる仮想視点左方画像及び仮想視点右方画像とは、前記表示態様変化手段により表示領域の境界位置が変化するものであって、これら各画像のうち、重畳する各々の一部分を非表示とした標準画像表示と、前記仮想視点後方画像を拡張して示す後方拡張画像表示と、前記仮想視点左側視野画像及び前記仮想視点右方画像のうちの一方または双方を拡張して示す側方拡張画像表示とに切り換え変化される構成としたことを特徴とする請求項２記載の作業機械の周囲監視装置。
【請求項４】
前記標準画像表示，前記後方拡張画像表示及び前記側方拡張画像表示に変化させる手段は、手動操作により行われるものであり、このために表示切換手段を備える構成としたことを特徴とする請求項３記載の作業機械の周囲監視装置。
【請求項５】
前記表示切換手段は前記モニタに装着されており、前記モニタは、画像表示領域と前記表示切換手段を構成する複数のスイッチとを有する構成としたことを特徴とする請求項４記載の作業機械の周囲監視装置。
【請求項６】
前記表示切換手段には、手動切換モードと自動切換モードとを切り換え可能な構成となし、前記自動切換モードでは、前記作業機械の状況の変化に応じて表示の切り換えが行われることを特徴とする請求項４記載の作業機械の周囲監視装置。
【請求項７】
前記自動切換モードでは、前記作業機械の後進時には前記後方拡張視野表示とする構成としたことを特徴とする請求項６記載の作業機械の周囲監視装置。
【請求項８】
前記自動切換モードでは、前記モニタに表示されている画像から動的障害を検出して、この動的障害の位置に応じて前記表示状態変化手段による表示境界位置を変化させる構成としたことを特徴とする請求項６記載の作業機械の周囲監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、油圧ショベル等からなる作業機械において、機械による作業の安全確保等のために設けられる作業機械の周囲監視装置に関するものである。
【背景技術】
【０００２】
作業機械の一例として、例えば油圧ショベルは、自走式の作業機械であって、クローラ式またはホイール式の走行手段を有する走行体を備えている。走行体上には旋回装置を介して旋回体が設置されている。旋回体には土砂の掘削等の作業を行う作業手段が設けられており、作業手段は、旋回体に俯仰動作可能に連結したブームと、このブームの先端に上下方向に回動可能に連結したアームとを備え、土砂の掘削等の作業を行うバケットはアタッチメントとして、アームの先端にリンク機構を介して連結されており、これらにより多関節作業機構を構成している。【０００３】
油圧ショベル等の自走式作業機械において、作業の安全を確保し、また作業機械の操作性の向上を図るために、旋回体の周囲の状況を監視する周囲監視装置を設けたものは従来から知られている。この周囲監視装置は、旋回体にカメラを装着すると共に、運転室において、オペレータが着座する運転席の前方位置にモニタを設置することにより構成され、カメラで撮影した画像は動画状態の映像としてモニタに表示される。【０００４】
ところで、カメラは旋回体に固定的に保持されており、その視野範囲は限られている。作業対象となる前方位置の視野が必要なのは当然のことながら、走行の安全性の確保等のためには、旋回体の後方及び左右の両側方における視野も必要である、作業機械の周囲において、できるだけ広い範囲の視野を得るために、旋回体には複数のカメラを装着する構成としたものが従来から用いられている。これによって、旋回体のほぼ全周にわたって死角をなくすことができ、もって作業の安全確保及び作業機械の操作性の向上が図られる。【０００５】
複数のカメラで取得した作業機械の周囲の画像、つまりカメラ画像は、通常、モニタに一括表示されるのではなく、いずれか必要なカメラ画像が選択的に表示される。このモニタへの表示の選択はオペレータの操作によることになる。各カメラからの画像のうち、所望とするものを表示させるために、切換スイッチをモニタに付設するか、リモートコントロール装置等に設けて、その切換スイッチをオペレータが手動で操作して目的とする画像を表示する構成とするのが一般的である。【０００６】
ただし、複数のカメラが設置されていることから、目的とする画像が表示されるまでに、切換スイッチを複数回切り換えなければならないこともあり、オペレータは画像切換操作に手間取ることがある。しかも、作業機械を操作している間にもモニタを切り換える必要があり、この画像切換操作の操作性に難点がある。【０００７】
以上の点を考慮して、カメラ画像が順次切り換わるように設定することにより、画像毎の切換操作の必要性をなくしたものが特許文献１に開示されている。この特許文献１では、全てのカメラ画像を順次表示させるだけでなく、切り換わり手順の変更や一部のカメラ画像を表示しないようにするスキップ設定をも可能にしている。【０００８】
ところで、カメラ画像では距離感を正確に把握するのが困難な場合がある。例えば、旋回体を旋回させる操作時に、周囲の安全を確認するが、作業機械の近傍に作業者等が立ち入っていたり、構築物等の障害物が作業機械の近傍に存在していたりしている状態で、旋回体を旋回させたときにそれらと接触するか否かをカメラ画像だけからでは正確に判断できないことがある。また、走行体を後進させる際にも、作業機械が作業者や障害物等にどの程度まで接近しているかを把握できないこともある。作業機械の旋回時や後進時には、作業者や車両の動的対象等や構築物その他の固定的対象が動作の障害となるが、これらの動的・固定的障害が存在すると、衝突を回避することが必要となる。しかしながら、カメラ画像を周囲の監視のための唯一の手掛かりとしたのでは、この種の動的・固定的障害の存在の有無及び形状や大きさは確認できるものの、作業機械までの正確な距離を認識することはできないことがある。【０００９】
カメラをある高さから斜め下方向に視野を向けて撮影し、このカメラ画像を座標変換する処理を行うと、仮想視点からの画像、つまり仮想視点画像に変換することができる。仮想視点画像としては、例えば視点を上方位置とした上方視点画像は俯瞰状態の画像となる。この仮想視点画像をモニタに表示すると、動的・固定的障害までの距離を正確に把握することができる。作業機械において、仮想視点画像を表示することにより周囲の監視を行う装置は、例えば特許文献２に開示されている。この特許文献２では、作業機械としての油圧ショベルの後方と、左側方との所定の位置にカメラを装着して、これらのカメラの光軸を斜め下方に向け、後方及び側方に広い視野を持った画像を取得して上方視点となるように視点を変換した仮想視点画像をモニタに周辺監視画面として表示するようにしている。【００１０】
このように仮想視点画像をモニタに表示すると、旋回体から動的・固定的障害までの距離を正確に把握できる。従って、作業機械の後進時や旋回時には、このモニタの表示によって周囲の安全を確認できる。また、作業機械としての油圧ショベルには、旋回体における運転室の右側に土砂の掘削等を行う作業手段が設置されている。従って、運転室内でのオペレータの肉眼による視野は、この作業手段により妨げられるので、この方向にも視野が必要となる。特許文献２において、カメラを旋回体の後方の位置だけではなく、右方の側部にも設けるのはこのためである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００８−１１４８１４号公報
【特許文献２】国際公開ＷＯ２００６/１０６６８５号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００１２】
仮想視点とした上方視点からの仮想視点画像は平面的に表示されることから、モニタに表示するに当っては、作業機械そのものの平面状態となし、若しくはそれを図形化した表示である作業機械画像をモニタの中央に表示し、この作業機械画像の周囲に仮想視点画像を表示することになる。作業機械の前方の視野はオペレータの肉眼により得られるから、周辺監視のためには、前方視野はともかくとして、後方視野及び左右の側方視野をモニタに表示することになる。従って、作業機械には、少なくとも後部位置に１箇所と、左右両側部位置にそれぞれ１箇所カメラを設置して、これらのカメラで得たカメラ画像を座標変換することにより仮想視点画像となし、これら複数の仮想視点画像をモニタに合成して表示することになる。【００１３】
ところで、モニタには複数の仮想視点画像が表示されていることから、これら各仮想視点画像の表示領域間に境界部分が生じる。例えば、後方のカメラから取得した仮想視点画像と側方のカメラから取得した仮想視点画像とを合成して表示する場合、２つの表示領域間に境界部が存在する。各々のカメラは位置と視野方向とが異なっており、具体的には後方のカメラと側方のカメラとでは光軸がほぼ９０度違っているので、後方の仮想視点画像と側方の仮想視点画像とをモニタに合成して表示したときに、それらは連続的な画像とはならず、両画像間に境界部が生じることになる。【００１４】
以上のように、位置と視野方向とが異なる後方のカメラと側方のカメラとの間の境界位置に動的・固定的障害となる可能性のある像が存在する場合には、この像が関心対象像となり、この関心対象像はこれら２つのカメラにより取得される。仮想視点画像としてモニタに表示される場合、関心対象像の全体が表示されず、対象像の一部が後方の仮想視点画像に現れ、他の一部は側方の仮想視点画像に現れるというように、分離した像となってしまうことがある。このために、関心対象像は部分的に欠落した表示となり、さらには一方の仮想視点画像には部分的に表示され、他方の仮想視点画像には全く表示されないこともある。このために、オペレータがモニタを目視したときに、境界部に表示されている像が動的・固定的障害となるものであるか否かを判定できない場合があり、また動的・固定的障害そのものを見落とすおそれもある。【００１５】
本発明は以上の点に鑑みてなされたものであって、その目的とするところは、モニタに合成表示されている複数の仮想視点画像の境界部に位置に表示されている像を視認による確認が可能なものとして表示でき、もって作業機械周囲の監視をより確実に行えるようにすることにある。
【課題を解決するための手段】
【００１６】
前述した目的を達成するために、本発明は、走行体に旋回可能に設置した旋回体に作業手段が装着され、この旋回体に設けた運転席の近接位置に操作手段を設けた作業機械に設けられ、周囲を監視するための作業機械の周囲監視装置であって、前記旋回体に複数台設けられ、各２台が相互に視野範囲が一部重なり合うようにして設置した複数台のカメラと、前記各カメラで取得したカメラ画像に基づいて上方視点となるように視点変換した仮想視点画像とする画像変換手段と、前記モニタ上での前記各カメラで撮影した前記仮想視点画像の表示領域を設定して、それぞれの表示領域に前記各仮想視点画像を表示する画像合成手段と、前記各仮想視点画像の表示領域の境界位置を変化させる表示態様変化手段とから構成したことをその特徴とするものである。【００１７】
旋回体に設置されている複数のカメラで取得したカメラ画像を上方視点となるように視点変換して仮想視点画像としたときには、カメラ画像に表示されている像の高さは、レンズの光軸と所定の仮想平面との間の角度に応じたこの仮想平面上の長さに変換されて表示されることになる。旋回体のそれぞれの位置に設置した各カメラは、位置及び方向が異なっている。これら複数のカメラから取得したカメラ画像に基づいて仮想視点画像を生成してモニタに合成表示したときに、動的・固定的障害となる可能性のある関心対象像が単一のカメラからのものであれば、モニタにはその全体が表示される。一方、関心対象像が２個のカメラで、画像合成時に画像が相互に重なり合う位置にあるときには、各仮想視点画像では、関心対象像の位置と方向とが異なった状態となる。【００１８】
旋回体において、位置と視野範囲とを部分的に重なり合うように配置した２台のカメラからの仮想視点画像はモニタ上では表示領域が限定されており、各カメラで取得した個別の仮想視点画像を合成して表示する際に、相互に重なり合う画像のいずれか一方若しくは双方の一部を表示し、他の部分は非表示とする。その結果、仮想視点画像に境界部が形成され、この境界部では単一の関心対象像が２箇所に分離してしまい、若しくは一部が欠落することがある。しかしながら、少なくとも一方のカメラでは関心対象像の全体若しくはその関心対象像を特定できる程度の範囲が取得されており、モニタ上における表示境界部の位置を移動させると、移動方向によっては関心対象像の全体が認識できるように表示される。【００１９】
作業機械の旋回体において、前方の視野はこの作業機械を操作するオペレータの目視による視野が得られるが、旋回体の後方の視野は運転席からは得られない。また、左右の側方の視野も部分的には目視可能であるが、オペレータが運転席で前方を向いた状態では、直接視認ができない部位がある。従って、カメラは、旋回体の後部位置に１または複数のカメラを配置し、左右両側部の位置にもそれぞれ１または複数のカメラを配置するのが望ましい。【００２０】
モニタは、旋回体における運転席の近傍において、オペレータが容易に目視できる位置に配置する。このモニタの表示としては、中央部分に作業機械の平面またはその図形からなる作業機械画像を表示する。そして、この作業機械画像の周囲に各カメラから取得したカメラ画像に基づく個別の仮想視点画像を合成して表示する。【００２１】
カメラを旋回体の後方と、左右の側方とにそれぞれ１台設置したときには、モニタに表示される合成画像は仮想視点後方画像と、仮想視点左方画像及び仮想視点右方画像となり、そして仮想視点後方画像と仮想視点左方画像との間、仮想視点後方画像と仮想視点右方画像との間に境界部が形成される。モニタにおける表示の態様としては、仮想視点画像の合成画像において、各画像のうちの重畳する各々の一部分を非表示とし、好ましくはほぼ中間位置に境界部を置いた表示態様があり、これを標準画像表示とする。そして、表示状態変化手段は、この標準画像表示に対して、仮想視点後方画像を拡張して示す後方拡張画像表示と、仮想視点左側視野画像及び仮想視点右方画像を拡張して示す側方拡張画像表示とに切り換え変化させる構成とすることができる。【００２２】
標準画像表示，後方拡張画像表示及び側方拡張画像表示に変化させる手段は、オペレータの手動操作により行われるものとする。このために、表示状態変化手段としての表示切換手段を備えるように構成することができる。表示切換手段はタッチパネル式とすることもできるが、操作の確実性を期するために、モニタに画像表示部と表示切換手段としての入力部を構成する複数のスイッチとを設ける構成とすることが望ましい。【００２３】
前述した表示切換手段の手動操作による切り換えだけでなく、自動切り換えも可能な構成となし、切換モードとして、手動切換モードと自動切換モードとを持たせることもできる。ここで、自動切換モードでは、状況の変化に応じて表示の切り換えが行われるものとする。まず、作業機械の作動状態に応じて自動的に表示が切り換わるように設定することができる。例えば、作業機械の後進時には後方拡張視野表示とする構成とする。また、旋回体の旋回時には側方拡張画像表示とすることもできる。自動切換モードでは、さらに作業機械に対する動的障害を検出して、この動的障害の位置に応じて表示状態変化手段による表示境界位置を自動的に変化させることができる。特に、人的障害である作業者の位置を検出して、その作業者の移動を追うようにして表示の切り換えができるようにすることが望ましい。このためには、例えばカメラ画像における動きを検出したり、ヘルメット等を画像認識したりすることができる。また、作業者に電気的，磁気的な発信機を持たせる等の措置を講じることができる。
【発明の効果】
【００２４】
作業機械の旋回体に設けた複数のカメラからのカメラ画像に基づいてモニタに合成表示されている複数の仮想視点画像の境界部に位置に表示されている像を視認による確認が可能なものとして表示でき、もって作業機械周囲の監視をより確実に行える。
【図面の簡単な説明】
【００２５】
【図１】作業機械の一例としての油圧ショベルの正面図である。
【図２】図１の平面図である。
【図３】本発明の第１の実施の形態を示すモニタの構成説明図である。
【図４】画像処理装置の回路構成図である。
【図５】モニタの画像表示部の仮想視点画像の表示可能な領域に関する説明図である。
【図６】図３のモニタにおける標準画像の表示パターンＡを示す説明図である。
【図７】図３のモニタにおける後方拡張画像の表示パターンＢを示す説明図である。
【図８】図３のモニタにおける仮想視点右方画像２２Ｒ，仮想視点左方画像２２Ｌを拡張した側方拡張画像の表示パターンＣを示す説明図である。
【図９】手動切換モードにおける処理手順を示すフローチャート図である。
【図１０】自動切換モードにおける処理手順を示すフローチャート図である。
【図１１】自動切換モードにおいて、走行体の走行時において、旋回体の旋回状態に応じた表示態様の変化を示す説明図である。
【図１２】自動切換モードにおいて、動的障害の移動時における表示態様の変化を示す説明図である。
【発明を実施するための形態】
【００２６】
以下、図面に基づいて本発明の実施の形態について説明する。まず、図１及び図２に作業機械の一例としての油圧ショベルの構成を示す。これらの図において、１はクローラ式走行手段を有する走行体であって、走行体１には旋回装置２を介して旋回体３が設けられている。
【００２７】
旋回体３には、オペレータが搭乗して機械を操作するための運転室４が設置されており、また土砂の掘削等の作業を行う作業手段５が設けられている。作業手段５は運転室４の右手において、ほぼ並ぶような位置に設けられている。さらに、旋回体３には、運転室４及び作業手段５の後方位置に建屋６等が設けられており、最後端部にはカウンタウエイト７が設置されている。
【００２８】
作業手段５は、図示したものにあっては、ブーム１０，アーム１１及びアタッチメントとしてのバケット１２から構成される土砂の掘削作業手段である。ブーム１０は、その基端部が旋回体３のフレーム３ａに連結ピンにより軸支されて俯仰動作可能となっている。ブーム１０の先端にはアーム１１が上下方向に回動可能に連結されており、アーム１１の先端にはバケット１２が回動可能に連結されている。ブーム１０の俯仰動作はブームシリンダ１０ａを駆動することにより行われる。アーム１１はアームシリンダ１１ａにより、さらにバケット１２はバケットシリンダ１２ａにより駆動される。
【００２９】
前述した構成を有する油圧ショベルにおいて、この油圧ショベルの操作者であるオペレータは運転室４内で、前方を向いた状態で操作を行うものであって、旋回体３の前方には十分広い視野が確保されている。また、運転室４の左側における斜め前方の視野も確保されている。ただし、左側であっても、斜め後方については、オペレータは振り返るようにしなければ直接視認をすることができない。また、運転室４の右側においては、作業手段５が設置されており、視野のかなりの部分がブーム１０により妨げられることになり、実質的に肉眼による確認を行うことができない。さらに、旋回体３の後方については、建屋６及びカウンタウエイト７が位置しており、オペレータは運転室４の内部で振り返るようにしなければ視野が得られず、しかも建屋６及びカウンタウエイト７の上面は高い位置となっており、従ってオペレータは運転室４内で振り返る姿勢を取ったとしても、視野が得られるのは遠い位置であり、旋回体３に近い位置を視認することはできない。
【００３０】
以上のことから、旋回体３の後方及び左右の側方の監視を可能にするために、監視用のカメラ１３Ｂ，１３Ｒ，１３Ｌをそれぞれ設置して補助的に視野を確保するようにしている。即ち、カウンタウエイト７の上面において、左右のほぼ中間位置に後方カメラ１３Ｂが設置されている。また、建屋６の左方向の上面には左側カメラ１３Ｌが、さらに旋回体３の右側の位置に建屋６またはタンクの上面には右側カメラ１３Ｒが設けられている。ここで、後方カメラ１３Ｂは旋回体３の後方の広い範囲の画像が取得され、この後方カメラ１３Ｂと、左右の側方カメラ１３Ｒ，１３Ｌとによって、旋回体３の運転室４内で、オペレータが無理のない姿勢で得られる前方視野を除くほぼ全周にわたって視野がこれらカメラ１３Ｂ，１３Ｒ，１３Ｌで得られることになる。
【００３１】
このために、各カメラ１３Ｂ，１３Ｒ，１３Ｌのレンズの視野角と、それらの配設位置とによって、少なくとも各レンズの視野範囲の一部がオーバーラップするように設定されている。具体的には、後方カメラ１３の視野角の左右の両側部分が左右の側方カメラ１３Ｒ，１３Ｌの視野角と重なり合うようになっている。これによって、旋回体３の周囲において、ブラインドとなる箇所がなくなることはない。そして、運転室４内には、図３に示したように、モニタ２０が設置されており、前述した各カメラ１３Ｂ，１３Ｒ，１３Ｌから取得した画像がこのモニタ２０に動画状態にして表示される。ただし、これら各カメラ１３Ｂ，１３Ｒ，１３Ｌで取得したカメラ画像はそのまま表示されるのではなく、上方視点となるように視点変換されて、仮想視点画像として表示される。
【００３２】
ここで、後方カメラ１３Ｂを例に取ると、図１に示したように、後方カメラ１３Ｂが旋回体３の後方に対して角度θをもった斜め下方に対物レンズの光軸を向けている。このときに、油圧ショベルの走行体１の接地面をＬとしたときに、この接地面Ｌに対して角度θを持ったカメラ画像が得られる。この接地面Ｌを仮想平面とした仮想視点ＶＦの光軸が垂直になるように座標変換した仮想視点画像が作成される。これによって、角度θをもった斜め上方からのカメラ画像が仮想視点画像乃至俯瞰画像に変換されて、モニタ２０に表示される。また、左右の両側カメラ１３Ｒ，１３Ｌも後方カメラ１３Ｂと同様、接地面Ｌに対する光軸の傾斜角は、後方カメラ１３Ｂと同様角度θとする。後方カメラ１３Ｂは旋回体３の後方に向いているのに対して、左右の両側カメラ１３Ｒ，１３Ｌは側方に向いている。つまり、仮想平面としての接地面Ｌに対する後方カメラ１３Ｂの方向と左側方カメラ１３Ｌ及び右側方カメラ１３Ｒとでは概略９０度の違いがある。
【００３３】
図３に示したモニタ２０は、画像が表示される画像表示部２０ａとスイッチを設けた入力部２０ｂとから構成されている。画像表示部２０ａには、その中央の位置に油圧ショベルの平面図を図形化した作業機械画像２１が表示されている。ここで、作業機械画像２１は、旋回体部２１ａと走行体部２１ｂとから構成される。この作業機械画像２１の周囲には、カメラ１３Ｂ，１３Ｒ，１３Ｌで取得したカメラ画像に基づいて視点変換した仮想視点画像２２が表示される。仮想視点画像２２は、カメラ１３Ｂのカメラ画像に基づく仮想視点画像である仮想視点後方画像２２Ｂと、それぞれカメラ１３Ｒ，１３Ｌのカメラ画像に基づく仮想視点画像である仮想視点右方画像２２Ｒ，仮想視点左方画像２２Ｌとからなるものである。そして、仮想視点後方画像２２Ｂと仮想視点右方画像２２Ｒとの間には表示領域の境界位置としての境界ライン２３Ｒ，仮想視点後方画像２２Ｂと仮想視点左方画像２２Ｌとの境界ライン２３Ｌが位置している。
【００３４】
このように、モニタ２０の画像表示部２０ａには、作業機械画像２１と、その周囲の３箇所表示される仮想視点視野画像２２Ｂ，２２Ｒ，２２Ｌとが表示されて、油圧ショベルの周囲監視を可能にするが、このために監視コントローラ３０を備えており、この監視コントローラ３０の構成について、図４に基づき説明する。
【００３５】
図中において、カメラ１３Ｂ，１３Ｒ，１３Ｌで撮影したカメラ画像は画像補正部３１に取り込まれる。この画像補正部３１では、取り込まれたカメラ画像を、カメラ光学系パラメータ等に基づいて、収差補正や、コントラスト補正、色調補正等の画像補正を行うことによって、取得した画像の画質を向上させる。
【００３６】
画像補正部３１の出力側に画像変換部３２と動的障害検出部３３とが並列に接続して設けられている。画像変換部３２では、各々のカメラ画像から上方視点となるように視点変換がなされる。その結果、この画像変換部３２において、後方及び左右の側方における仮想視点後方画像２２Ｂ，仮想視点右方画像２２Ｒ，仮想視点左方画像２２Ｌからなる仮想視点画像２２が生成される。モニタ２０の画像表示部２０ａにはこれら３方向の仮想視点画像２２が表示されるが、画像表示部２０ａには各仮想視点画像２２Ｂ，２２Ｒ，２２Ｌの表示領域が与えられる。このために、画像合成部３４を備えており、画像変換部３２から出力される仮想視点画像２２Ｂ，２２Ｒ，２２Ｌは、この画像合成部３４によりそれぞれ所定の領域に割り当てられ、また仮想視点後方画像２２Ｂと仮想視点右方画像２２Ｒ，仮想視点左方画像２２Ｌとの表示領域を区画形成する境界ライン２３Ｒ，２３Ｌが示される。ここで、境界ライン２３Ｒ，２３Ｌは固定的なものではなく、後述するように位置が可変なものである。
【００３７】
監視コントローラ３０は記憶保持部３５を備えており、この記憶保持部３５には、各種のカメラ光学系パラメータ等が記憶されており、画像補正部３１に取り込まれたカメラ１３Ｂ，１３Ｒ，１３Ｌで撮影したカメラ画像についての画像補正が行われる。また、この記憶保持部３５には、旋回体部２１ａと走行体部２１ｂとからなる作業機械画像２１に関するデータも記憶しており、このデータは表示態様変化部３６を介して画像合成部３４に取り込まれることになる。そして、表示画像生成部３７を経てモニタ２０に表示画像のデータが出力されて、このモニタ２０の画像表示部２０ａに図３に示したような監視画像が表示される。
【００３８】
そして、図３には、さらに衝突を回避すべき対象である動的・固定的障害と接触するおそれのある領域を危険ゾーンＺ１として設定し、また安全確保のために必要な範囲として、この円の外側に所定半径の円を描くようになし、これら２つの円の間の領域を注意ゾーンＺ２として設定している。これら危険ゾーンＺ１及び注意ゾーンＺ２も、作業機械画像２１に関するデータと同様に記憶保持部３５に記憶されている。また、図３には、仮想視点後方画像２２Ｂの表示領域に動的・固定的障害となり得る関心対象像の一例として、作業員像Ｍが示されている。図示の状態では、この作業員像Ｍは危険ゾーンＺ１内に位置している。
【００３９】
既に説明したように、後方カメラ１３Ｂの視野における左右両側の部分は左右の側方カメラ１３Ｌ，１３Ｒと部分的に重なり合っている。そして、モニタ２０の画像表示部２０ａに仮想視点画像２２を表示する際には、仮想視点後方画像２２Ｂ，仮想視点右方画像２２Ｒ及び仮想視点左方画像２２Ｌの少なくとも１つの仮想視点画像の一部が非表示状態となる。
【００４０】
即ち、図５に示したように、カメラ１３Ｂ，１３Ｌ，１３Ｒで取得した仮想視点画像２２のうち、斜線で示した部位は仮想視点後方画像２２Ｂでも、また仮想視点右方画像２２Ｒ，仮想視点左方画像２２Ｌでも表示可能なオーバーラップ部である。従って、このオーバーラップ部分においては、いずれかの画像が表示されることになる。どの画像をどの程度の範囲で表示するかによって、３種類の表示パターンを選択できるようになっている。これらのうち、図６に示したのが標準画像の表示パターンＡであり、図７に示したのは仮想視点後方画像２２Ｂを拡張して表示する後方拡張画像の表示パターンＢ、図８に示したのは仮想視点右方画像２２Ｒ，仮想視点左方画像２２Ｌを拡張した側方拡張画像の表示パターンＣである。
【００４１】
ところで、カメラ１３Ｂ，１３Ｌ，１３Ｒは、それぞれ配設位置が異なっており、光軸方向も異なっている。従って、仮想視点後方画像２２Ｂと、仮想視点右方画像２２Ｒ，仮想視点左方画像２２Ｌとの境界ライン２３Ｒ，２３Ｌの位置及びその近傍位置に関心対象像が表示されている場合であって、２つの仮想視点画像に跨って表示されている場合には、像の位置が異なり、また関心対象像の一部が欠落して表示されている場合がある。一方、関心対象像が単一の仮想視点画像に表示されておれば、この関心対象像が動的障害であるか否かの特定を容易に行うことができる。そこで、図６の標準画像表示パターンＢを表示している画像表示部２０ａの境界ライン２３Ｒ，２３Ｌを移動させると、図７に示したように、仮想視点後方画像２２Ｂを拡張して表示する後方拡張画像の表示パターンＢとするか、または図８に示したように、側方拡張画像の表示Ｃとなる。
【００４２】
モニタ２０に入力部２０ｂを設けたのは、このように表示態様を変化させるためであって、入力部２０ｂには４個の切換用のスイッチ２４ａ，２４ｂ，２４ｃ及び２４ｄが設けられている。スイッチ２４ａは自動切換モードとするためのものであり、スイッチ２４ｂ，２４ｃ及び２４ｄは手動切換用のものである。手動切換用スイッチ２４ｂ，２４ｃ及び２４ｄにおいて、それぞれの表示態様が選択されると、図６乃至図８に塗り潰して示したように、選択されたスイッチ２４ｂ〜２４ｄの中央部分が点灯する。
【００４３】
そこで、画像の切り換え処理の手順を図９に示す。同図において、ステップ１でスイッチ２４ａが操作されたか否かの判断がなされ、スイッチ２４ａが操作されると、ステップ２の自動切換モードとして作動することになる。一方、自動切換モードが選択されないときには、手動切換が可能な状態に保持され、モニタ２０の入力部２０ｂに設けたスイッチ２４ｂ〜２４ｄの操作が可能な状態となる。
【００４４】
ステップ３以下は手動切換モードによる処理であり、ステップ３において、スイッチ２４ｂが操作されたか否かの判断がなされ、スイッチ２４ｂが操作されると、表示パターンＢがモニタ２０に表示され（ステップ４）、またステップ５にあるように、スイッチ２４ｃが操作されると、表示パターンＢがモニタ２０に表示され（ステップ６）、さらにステップ７に示したように、スイッチ２４ｄが操作されると、表示パターンＣがモニタ２０に表示される（ステップ８）。一方、いずれのスイッチも操作されない場合には、モニタ２０には何も表示されないか、または現在表示されている画像がそのまま継続して表示され（ステップ９）、待機状態となる。
【００４５】
ステップ２において、自動切換モードが選択されたときには、図１０の処理手順が開始される。ここで、本実施の形態では、自動切換モードでの処理は、走行体１による走行時と、動的・固定的障害の検出時とに必要な仮想視点画像を拡張表示するように設定されているものとする。ただし、自動切換モードでの処理は、この２つの態様に限定されるものではなく、また必ずしもこれら２つの態様を含まなければならないものでもない。
【００４６】
自動切換モードでの処理を可能にするために、監視コントローラ３０では、油圧ショベルの作動を検出する必要がある。図４に示したように、監視コントローラ３０には車体コントローラ４０からの車体情報を取得できるようになっている。ここで、車体コントローラ４０は、車体制御部４１を有するものである。
【００４７】
油圧ショベルにはブーム１０，アーム１１及びバケット１２の各油圧シリンダ１０ａ〜１２ａが設けられており、また走行体１を構成する左右の走行手段を駆動するための油圧モータと旋回体３を旋回駆動する旋回モータとが設けられており、これら油圧シリンダ及び油圧モータは油圧アクチュエータとして総称されるものであり、図４には油圧アクチュエータ群４２として示されている。油圧アクチュエータ群４２を駆動するために、運転室４の内部には複数の操作レバーからなる操作レバー群４３が設けられており、オペレータが操作レバー群４３を構成するいずれかの操作レバーを操作すると、その情報が車体制御部４１に取り込まれて、この車体制御部４１からの指令により油圧アクチュエータ群４２を構成する各々の油圧アクチュエータが駆動される。なお、操作レバー群４３からの指令は電気信号で直接油圧アクチュエータ群４２に伝達する構成としたものもあるが、指令は油圧信号とするようになし、車体制御部４１には操作レバーの操作量に関する信号のみが取り込まれるように構成したものもある。
【００４８】
また、車体制御部４１には、ブーム１０，アーム１１及びバケット１２の相対角度及び旋回体３の走行体１に対する旋回角度も検出されるようになっており、このためにこれら各所に角度検出器が設けられており、これら角度検出器も図４では総称して角度検出器群４４として示されている。さらに、走行速度及び旋回速度も認識可能となっており、このために車体制御部４１には速度検出器群４５も接続されている。
【００４９】
以上によって、油圧ショベルにおける走行，旋回，作業手段５の動作及び姿勢状態は車体制御部４１により認識される。これら車体制御部４１が取得した各種のデータのうち、自動切換モード時に必要なデータが監視コントローラ３０に取り込まれることになる。前述したように、本実施の形態では、自動切換モードにおいて、走行体１による走行時に、必要に応じてモニタ２０の表示が変化するようになっている。従って、走行体１の走行方向とその走行速度に関するデータが監視コントローラ３０に取り込まれることになる。また、旋回体３の旋回角度及び旋回速度も監視コントローラ３０に取り込まれることになっている。具体的には、これらのデータは表示態様変化部３６に入力されて、走行体１の走行時において、旋回体３の旋回角度との関係において、モニタ２０の表示態様が自動的に変化することになる。また、自動切換モードでは、動的障害の位置及び移動方向とその速度によりモニタ２０の表示態様を変化させるようにしている。
【００５０】
また、動的障害の検出時にも、モニタ２０の表示が自動的に切り換わるようになっている。このために、画像補正部３１の出力側に画像変換部３２と並列に動的障害検出部３３が接続して設けられており、画像変換部３２により仮想視点画像に変換される前のカメラ画像から動き検出を行うようにしている。そして、動的障害、例えば作業者や各種の車両が油圧ショベルに近い位置にあり、しかも動きがあると、その動きに応じてモニタ２０の表示が自動的に切り換わるように制御されることになる。
【００５１】
即ち、スイッチ２４ａがＯＮされて、自動切換モードとなっている状態で、操作レバーの操作が操作されて、走行体１の走行が検出されると、その走行方向が運転室４から見て前方であるときには、オペレータは目視により前方視野が得られることから、モニタ２０を格別注視する必要はない。そして、周囲のいずれかの部位を確認しようとするために、モニタ２０を目視する際には、手動切換モードとして必要な部位を拡張表示させるようにすれば良い。ただし、車両の後方については、オペレータの視野が得られないことから、モニタ２０による補助的な視野が必要になる。このときには、モニタ２０には、図１１（ａ）に示したように、仮想視点後方画像２２Ｂを拡張表示した表示パターンＢを表示する。
【００５２】
ところで、旋回体３は走行体１に対して旋回可能であり、その旋回角度は実質的に３６０度である。モニタ２０においては、旋回時にも運転室４が設けられている旋回体３は固定的に表示され、走行体１が画面上で回転するように表示される。旋回用の操作レバーを操作すると、その信号が車体情報として監視コントローラ３０に取り込まれ、表示態様変化部３６において、作業機械画像２１における走行体部２１ｂの画像が旋回角に応じて回転することになる。従って、表示態様変化部３６は、モニタ２０の表示の仮想視点画像２２のうちの必要な部位を拡張表示するために、境界ライン２３Ｒ，２３Ｌを移動させる処理が行われるものであり、また作業機械画像２１の状態も変化させることになる。
【００５３】
例えば、図１１（ａ）の状態から、矢印方向に旋回させたとする。図１１（ｂ）に示したように、４５度以下の旋回角の場合には、表示パターンＢの表示が維持される。しかしながら、旋回角が４５度になると、図１１（ｃ）に示したように、仮想視点右方画像２２Ｒ及び仮想視点左方画像２２Ｌを拡張して表示する表示パターンＣに切り換わることになる。さらに、図１１（ｄ）に示したように、旋回角が９０度になっても、表示パターンＣが維持されることになる。そして、図１１（ａ），（ｂ），（ｃ）及び（ｄ）には、走行方向が矢印で示されており、矢印Ｆは前進方向、矢印Ｂは後進方向である。
【００５４】
ここで、図１１（ａ）の旋回角０度側から図１１（ｂ）に示した方向に旋回させたときに、旋回角４５度の位置で表示パターンが切り換わるのではなく、旋回角５０度までは表示パターンＢが維持され、また旋回途中の状態で油圧ショベルが停止しており、自動切換モードが選択されている時に、そのまま走行が開始すると、表示パターンＢか表示パターンＣとなるが、旋回角が４５度より小さい角度である旋回角４０度以下では表示パターンＢが選択され、４０度を超えたときに、表示パターンＣに切り換わるようになっている。即ち、旋回角が４０度から５０度までは表示パターンが状況によって異なる範囲となるように設定されている。さらに、図１１（ｄ）の旋回角が９０度から１４０度までの間では表示パターンＣとなり、また旋回角１３０度から１８０度及び１８０度から２３０度までは表示パターンＢが表示される。さらに、旋回角２２０度から２７０度までと、２７０度から３２０度までは表示パターンＣとなり、旋回角が３１０度から３６０度、つまり０度までは表示パターンＢとなる。
【００５５】
このように、自動切換モードが選択されている間に、走行体１による走行時には表示パターンが切り換わるが、要は旋回体３における運転室４から見て後方の仮想視点画像が拡張して表示されることになる。また、自動切換モードによりモニタ２０の表示パターンが切り換わるのは、走行時だけでなく、動的障害の検出時にも表示パターンが切り換わることになる。
【００５６】
即ち、図１２（ａ）に示したように、モニタ２０に標準画像の表示パターンＡが表示されている状態で、作業員像Ｍ１，Ｍ２及びＭ３の３人が仮想視点後方画像２２Ｂに現れていたとする。これら３人の作業員が境界ライン２３Ｒ，２３Ｌにかからない位置で静止しておれば、表示パターンＡの表示が継続される。作業員像Ｍ１〜Ｍ３がいずれかの境界ライン２３Ｒまたは２３Ｌ上に位置していると、表示パターンＡから境界ライン２３Ｒ，２３Ｌから外れた位置となる他の表示パターンに切り換わる。また、作業員像Ｍ１とＭ３とが作業員像Ｍ２から離間する方向に動いて、作業員像Ｍ１及びＭ３が境界ライン２３Ｒ，２３Ｌに接近したとする。この場合には、作業員像Ｍ１，Ｍ２及びＭ３を確実に表示の範囲内に位置させるために、図１２（ｂ）に示したように、仮想視点後方画像２２Ｂを拡張させた表示パターンＢに切り換わる。
【００５７】
作業員像Ｍ１及びＭ３がそのまま移動を続ければ、表示パターンＢから表示パターンＣに切り換わり、作業員像Ｍ１は仮想視点左方画像２２Ｌに、作業員像Ｍ３は仮想視点右方画像２２Ｒに表示され、また作業員像Ｍ２は仮想視点後方画像２２Ｂに表示されることになる。ただし、図１２（ｂ）の位置から、作業員像Ｍ３は停止する一方、作業員像Ｍ１がさらに移動を継続したとする。そうすると、図１２（ｃ）に示したように、仮想視点左方画像２２Ｌが拡張し、仮想視点右方画像２２Ｒは縮小したままの画像に切り換わる。
【００５８】
以上のように動的障害の移動に合わせてモニタ２０の画像の表示を切り換えることによって、移動する関心対象像が境界ライン２３Ｒまたは２３Ｌの位置に到達して、２つの仮想視点画像間で分離した像となったり、像は部分的に欠落した表示となったり、さらには一方の仮想視点画像には部分的な表示は存在するが、他方の仮想視点画像には像が全く表示されなくなったりすることがなくなる。従って、移動する動的障害を確実にモニタ２０に表示される。
【００５９】
ところで、自動切換モードが選択されているときに、走行体１による走行が行なわれ、しかも動的障害も移動していることがある。この場合であって、図１０に示した処理手順によると、スイッチ２４ａをＯＮすることによって、自動切換モードが選択されたとすると、まず走行操作があったか否かの検出がなされ、走行操作がなされたときには、図１１に基づいて説明した旋回角に応じた走行時の表示パターンの切換処理が行われる（ステップ１１）。
【００６０】
また、走行操作が行われていない時には、ステップ１２に示したように、動的障害が検出されたか否かが判断され、動的障害がモニタ２０に表示されており、しかも境界ライン２３Ｒまたは２３Ｌ上に位置していると、また動的障害が境界ライン２３Ｒまたは２３Ｌの位置まで移動したときには、図１２に基づいて説明した動的障害の位置及び移動方向に応じた境界ライン２３Ｒ，２３Ｌの動的変更処理が行われる（ステップ１３）。また、動的障害が検出されないときには、ステップ１４に示したように、基準画像である表示パターンＡの表示がなされる。
【００６１】
ここで、前述したように、カメラ１３Ｂ，１３Ｒ，１３Ｌで取得したカメラ画像に基づいて動的障害であるか固定物であるか判定する場合、障害であるか否かの特定は、対象物の形状認識，動き検出によるものとすることができる。また、対象となる作業者や車両等といった動的障害となるものに発信機を持たせるようにすることができる。さらに、油圧ショベルが走行しており、しかも動的障害が検出されたときにあっては、走行時の切換処理が優先される。即ち、オペレータは運転室４の後方位置の状況を把握することがより重要であり、動的障害の位置及び移動方向に応じた境界ライン２３Ｒ，２３Ｌの動的変更処理を行うのは、旋回体３の旋回時を含めて、走行していない時に限定される。
【符号の説明】
【００６２】
１  走行体                          ３  旋回体
４  運転室                          ５  作業手段
６  建屋                            ７  カウンタウエイト
１０  ブーム                        １１  アーム
１２  バケット                      １３Ｂ  後方カメラ
１３Ｌ  左方カメラ                  １３Ｒ  右方カメラ
１３Ｆ  前方カメラ                  ２０，１２０，２２０，３２０  モニタ
２０ａ，１２０ａ，２２０ａ，３２０ａ  画像表示部
２０ｂ，２２０ｂ，３２０ｂ  操作パネル部
２１  表示キャラクタ                ２２Ｂ  後方俯瞰画像
２２Ｌ，２２Ｒ  側方俯瞰画像        ２２Ｆ  前方カメラ画像
２３Ｂ，２３Ｌ，２３Ｒ  カメラ画像
３０  画像処理装置                  ３１  画像補正部
３２  画像変換部                    ３３  障害物検出部
３４  画像合成部                    ３５  表示画像生成部
３６  キャラクタ発生部              ４０  車体コントローラ
【図１】
2012164712.tif 000003
【図２】
2012164712.tif 000004
【図３】
2012164712.tif 000005
【図４】
2012164712.tif 000006
【図５】
2012164712.tif 000007
【図６】
2012164712.tif 000008
【図７】
2012164712.tif 000009
【図８】
2012164712.tif 000010
【図９】
2012164712.tif 000011
【図１０】
2012164712.tif 000012
【図１１】
2012164712.tif 000013
【図１２】
2012164712.tif 000014
【国際調査報告】
2012164712.tif 000015
2012164712.tif 000016
2012164712.tif 000017
2012164712.tif 000018