(57)【要約】【課題】重機の周囲を監視し、運転者に、障害物の存在する方向や位置を即座に認識させる。【解決手段】クレーン車１２（重機）の下部走行体３０の周囲に取り付けられた複数のカメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された、クレーン車１２の周辺の地面を含む複数の画像を、座標変換合成部８４が、重機姿勢計測部９０によって計測されたクレーン車１２のアーム２４の旋回角度φと、アーム２４の長さＬと、アーム２４の仰角εとに応じた位置と方向に設置された仮想撮像部４０ｖから観測されると予測される１枚の仮想画像Ｉｖ（ｘ，ｙ）に変換、合成して、アイコン重畳表示部８８が仮想画像Ｉｖ（ｘ，ｙ）の上に、仮想撮像部４０ｖから観測したクレーン車１２のアイコンＩを重畳して表示部９６に表示する。【選択図】図３
2015139158.tif 000002
【特許請求の範囲】
【請求項１】
長さと仰角を変更可能なアームを備えて、運転者が搭乗して左右に旋回可能な上部旋回体と走行移動が可能な下部走行体とからなる重機にあって、前記下部走行体の周囲に複数取り付けられて、前記重機の周辺の地面を含む複数の画像を撮影する撮像部と、
前記撮像部で撮影された複数の画像を、それぞれ変換、合成して、前記重機の上空の所定の位置に、所定の方向に向けて仮想的に設置された仮想撮像部から観測されると予測される１枚の仮想画像を生成する仮想画像生成部と、
前記上部旋回体に前記運転者が視認可能に設置された、前記仮想画像が表示される表示部と、を有する重機用周辺監視装置において、
前記アームの長さと、前記アームの仰角と、前記アームの旋回角度と、をそれぞれ計測する重機姿勢計測部と、前記仮想画像の上に、前記仮想撮像部から観測されると予測される前記重機の姿勢を模擬したアイコンを重畳するアイコン重畳表示部と、を有して、前記仮想画像生成部は、前記重機姿勢計測部が計測した前記重機の姿勢に応じた位置に、前記姿勢に応じた方向に向けて設置された仮想撮像部から観測されると予測される仮想画像を生成し、前記アイコン重畳表示部は、前記重機の姿勢に応じたアイコンを前記仮想画像に重畳して、前記アイコンが重畳された仮想画像を前記表示部に表示することを特徴とする重機用周辺監視装置。
【請求項２】
前記仮想撮像部は、少なくとも、前記重機の位置から、前記仮想撮像部の設置位置と前記アームの先端とを結ぶ線分の延長線が地面と交差する点まで、の範囲を含む仮想画像が生成可能な位置と方向に設置されることを特徴とする請求項１に記載の重機用周辺監視装置。
【請求項３】
前記仮想画像生成部は、前記アームの長さと、前記アームの仰角と、前記アームの旋回角度にそれぞれ対応する前記仮想撮像部の設置位置と設置方向に応じた座標変換合成テーブルを有して、前記重機姿勢計測部で計測された前記アームの長さと、前記アームの仰角と、前記アームの旋回角度に対応する前記座標変換合成テーブルに基づいて、前記仮想画像を生成することを特徴とする請求項１または請求項２に記載の重機用周辺監視装置。
【請求項４】
前記仮想画像生成部は、前記アームの延伸方向が常に上部に位置する仮想画像を生成することを特徴とする請求項１から請求項３のいずれか１項に記載の重機用周辺監視装置。
【請求項５】
前記仮想画像生成部は、前記仮想撮像部を、前記上部旋回体の旋回中心を通る鉛直線上に下向きに設置して、なおかつ、前記重機姿勢計測部で計測された前記アームの旋回角度に応じた角度だけ、前記仮想撮像部の光軸周りに回転させたときに撮影されると予測される仮想画像を生成することを特徴とする請求項４に記載の重機用周辺監視装置。
【請求項６】
前記重機の走行可能方向を検出する走行可能方向検出部を有して、前記仮想画像生成部は、前記走行可能方向検出部が前記重機の走行可能方向を検出したときに、前記仮想撮像部を、前記重機の走行可能方向をより広く観測可能な位置と高さと向きに設置することを特徴とする請求項１から請求項５のいずれか１項に記載の重機用周辺監視装置。
【請求項７】
前記アイコン重畳表示部は、複数の前記アイコンが格納されたアイコンテーブルを有して、前記重機姿勢計測部で計測された前記重機の姿勢に対応するアイコンを前記アイコンテーブルの中から選択して、選択されたアイコンを、前記仮想画像に重畳することを特徴とする請求項１から請求項６のいずれか１項に記載の重機用周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クレーン車等の重機に搭載されて、重機の周囲状況を画像化して運転者に提示する重機用周辺監視装置に関するものである。
【背景技術】
【０００２】
近年、車両の周囲に複数のカメラを設置して、これらの複数のカメラで撮影した画像を座標変換して合成し、車両周辺の状況を１枚の俯瞰画像で表現して運転者に提示する周辺監視システムが実用化されている。そして、このような周辺監視システムは乗用車のみならず、重機にも適用されている。
【０００３】
例えば、特許文献１に記載された作業機械のモニタ装置では、重機（例えばクレーン車）の周囲に設置された複数のカメラで撮影した、重機の周囲の画像をそれぞれ座標変換して１枚の画像に合成し、表示する範囲をずらしながら同じ向きで表示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５０６６１９８号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載されたモニタ装置は、クレーン車が作業中にアームを伸ばしたときやアームを旋回したときであっても、表示部には、常に同じ向きの画像が表示されていた。
【０００６】
このような従来のモニタ装置にあっては、作業中にアームの長さや方向を調整して作業エリアが変化したときであっても、常に同じ向きに表示されていた。さらに、例えばアームを旋回させて作業エリアが変化したときには、表示される画像の中で注意を払うべき領域の位置が変化する。特に、作業中にアームを伸ばしたときには、注意を払うべき、アーム先端の直下位置がクレーン車から遠ざかる方向に移動するため、モニタしている画像からフレームアウトしてしまう恐れがあった。このようなときには、視認が必要な範囲が監視できなくなるため、クレーン車の運転者は、表示された画像を見ても、障害物の存在する方向や位置を即座に認識するのが困難であった。
【０００７】
本発明は、上記課題に鑑みてなされたもので、重機の作業状態（例えば、クレーン車のアームの長さや方向）に応じた形態で重機の周囲の画像を表示することにより、障害物の存在する方向や位置を即座に認識することができる重機用周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る重機用周辺監視装置は、重機の周辺に存在する障害物を高い視認性で確認することができるものである。
【０００９】
すなわち、本発明に係る重機用周辺監視装置は、長さと仰角を変更可能なアームを備えて、運転者が搭乗して左右に旋回可能な上部旋回体と走行移動が可能な下部走行体とからなる重機にあって、前記下部走行体の周囲に複数取り付けられて、前記重機の周辺の地面を含む複数の画像を撮影する撮像部と、前記撮像部で撮影された複数の画像を、それぞれ変換、合成して、前記重機の上空の所定の位置に、所定の方向に向けて仮想的に設置された仮想撮像部から観測されると予測される１枚の仮想画像を生成する仮想画像生成部と、前記上部旋回体に前記運転者が視認可能に設置された、前記仮想画像が表示される表示部と、を有する重機用周辺監視装置において、前記アームの長さと、前記アームの仰角と、前記アームの旋回角度と、をそれぞれ計測する重機姿勢計測部と、前記仮想画像の上に、前記仮想撮像部から観測されると予測される前記重機の姿勢を模擬したアイコンを重畳するアイコン重畳表示部と、を有して、前記仮想画像生成部は、前記重機姿勢計測部が計測した前記重機の姿勢に応じた位置に、前記姿勢に応じた方向に向けて設置された仮想撮像部から観測されると予測される仮想画像を生成し、前記アイコン重畳表示部は、前記重機の姿勢に応じたアイコンを前記仮想画像に重畳して、前記アイコンが重畳された仮想画像を前記表示部に表示することを特徴とする。
【００１０】
このように構成された本発明に係る重機用周辺監視装置によれば、重機の下部走行体の周囲に複数取り付けられた撮像部で撮影された、重機の周辺の地面を含む複数の画像を、仮想画像生成部が、重機姿勢計測部によって計測された、アームの旋回角度と、アームの長さと、アームの仰角とに応じた位置と方向に設置された仮想撮像部から観測されると予測される１枚の仮想画像に変換、合成して、アイコン重畳表示部が仮想画像の上に、重機の姿勢に応じたアイコンを重畳して、アイコンが重畳された仮想画像を、重機の運転者が視認可能な表示部に表示するため、重機の運転者は、作業中の重機の姿勢変化によらずに、重機の作業エリアにおける障害物の位置と方向を即座に認識することができる。
【発明の効果】
【００１１】
本発明に係る重機用周辺監視装置によれば、重機の姿勢変化によらずに、重機の作業エリアにおける障害物の位置と方向を即座に認識することができる。
【図面の簡単な説明】
【００１２】
【図１】重機の一例であるクレーン車の各部の名称と、重機の姿勢に関わるパラメータについて説明する外観図である。
【図２】実施例１における重機用周辺監視装置のハードウェア構成について説明するハードウェアブロック図である。
【図３】実施例１における重機用周辺監視装置の機能構成について説明する機能ブロック図である。
【図４Ａ】本発明の一実施形態である実施例１を説明する際に必要となる座標系について説明する側面図である。
【図４Ｂ】本発明の一実施形態である実施例１を説明する際に必要となる座標系について説明する上面図である。
【図５Ａ】実施例１において生成される、仮想撮像部から観測されると予測される仮想画像の例を示す図である。
【図５Ｂ】実施例１において生成される、仮想撮像部から観測されると予測される仮想画像にアイコンを重畳した例を示す図である。
【図６Ａ】仮想撮像部の設置高さが低位置でアームの旋回角度が０である場合に対応する座標変換合成テーブル（ＬＵＴ）の構造を示す図である。
【図６Ｂ】座標変換合成テーブル（ＬＵＴ）の内部構造を示す図である。
【図７Ａ】仮想撮像部の設置高さが中位置でアームの旋回角度が０である場合の座標変換合成テーブル（ＬＵＴ）の例を示す図である。
【図７Ｂ】仮想撮像部の設置高さが高位置でアームの旋回角度が０である場合の座標変換合成テーブル（ＬＵＴ）の例を示す図である。
【図８】実施例１において、予め準備しておく座標変換合成テーブル（ＬＵＴ）の一覧を示す図である。
【図９】実施例１において予め準備しておくアイコンテーブルの内容を示す図である。
【図１０Ａ】実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が０、アーム射影長が短い場合の仮想画像の例である。
【図１０Ｂ】実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が右方向に小角度、アーム射影長が短い場合の仮想画像の例である。
【図１０Ｃ】実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が右方向に中角度、アーム射影長が短い場合の仮想画像の例である。
【図１０Ｄ】実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が右方向に大角度、アーム射影長が短い場合の仮想画像の例である。
【図１０Ｅ】実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が０、アーム射影長が中程度の場合の仮想画像の例である。
【図１０Ｆ】実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が０、アーム射影長が長い場合の仮想画像の例である。
【図１１】実施例１で行う処理全体の流れを示すフローチャートである。
【図１２】図１１に示すフローチャートの中で行うアームの旋回方向と旋回量の判定処理の流れを示すフローチャートである。
【図１３】図１１に示すフローチャートの中で行う仮想撮像部の設置位置を算出する処理の流れを示すフローチャートである。
【図１４】図１１に示すフローチャートの中で行う座標変換合成処理の流れを示すフローチャートである。
【図１５】図１１に示すフローチャートの中で行うアイコンの選択・重畳処理の流れを示すフローチャートである。
【図１６Ａ】実施例１において生成される、アイコンが重畳された仮想画像の変形例を示す図であり、アームの旋回角度が０、アーム射影長が短い場合の仮想画像の一例である。
【図１６Ｂ】実施例１において生成される、アイコンが重畳された仮想画像の変形例を示す図であり、アームの旋回角度が右方向に小角度、アーム射影長が短い場合の仮想画像の一例である。
【図１７】本発明の一実施形態である実施例２における重機用周辺監視装置の機能構成について説明する機能ブロック図である。
【図１８Ａ】実施例２において生成される、重機が前進する際に表示される仮想画像の一例を示す図である。
【図１８Ｂ】実施例２において生成される、重機が後退する際に表示される仮想画像の一例を示す図である。
【図１９】実施例２で行う処理全体の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態である実施例１について、図面を参照して説明する。
【実施例１】
【００１４】
本実施例は、本発明を、重機の周囲に存在する障害物の状況を撮影して表示する、重機用周辺監視装置に適用したものである。
【００１５】
（クレーン車の概略構造の説明）
まず、重機の一例であるクレーン車の概略構造と各部の名称について、図１を用いて説明する。
【００１６】
本実施例の重機用周辺監視装置１０は、例えばクレーン車１２のような建設機械に搭載されている。クレーン車１２は、上部旋回体２０と、下部走行体３０からなる。上部旋回体２０は、運転者８（非図示）が搭乗するキャビン２２と、積荷の運搬等の作業を行うアーム２４と、ワイヤ２６を介してアーム２４に設置されて、積荷２９を吊り上げるフック２８からなる。
【００１７】
上部旋回体２０は、運転者８の操作に応じて、アーム２４の旋回角度φ、仰角ε、アーム長Ｌ、およびワイヤ長（アーム２４の先端とフック２８の距離）をそれぞれ制御することができる。
【００１８】
下部走行体３０は、複数の車輪と、車輪および上部旋回体２０を駆動する動力源を有する。そして、下部走行体３０の周囲４方向に向けて、クレーン車１２の前方方向４２ａを撮影する前方カメラ４０ａ（撮像部）と、クレーン車１２の左側方方向４２ｂを撮影する左側方カメラ４０ｂ（撮像部）と、クレーン車１２の後方方向４２ｃを撮影する後方カメラ４０ｃ（撮像部）と、クレーン車１２の右側方方向４２ｄを撮影する右側方カメラ４０ｄ（撮像部）を備えている。以後、４台のカメラを総称するときは、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）と記載する。各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）には、できるだけ広範囲を観測できるように広角レンズが装着されている。また、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）の設置位置（地面からの高さ、光軸の方向、他のカメラとの位置関係）は、予めわかっているものとする。
【００１９】
（実施例１のシステム構成の説明）
次に、図２を用いて、実施例１に係る重機用周辺監視装置１０のハードウェア構成について説明する。重機用周辺監視装置１０は、前述した前方カメラ４０ａ，左側方カメラ４０ｂ，後方カメラ４０ｃ，右側方カメラ４０ｄと、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像をそれぞれ座標変換して合成し、１枚の仮想画像を生成する画像処理演算部５０と、クレーン車１２のアーム２４の旋回角度φを計測するジャイロセンサ７０と、クレーン車１２のアーム長Ｌを計測するレーザ距離センサ７２と、クレーン車１２のアーム２４の仰角εを計測する傾斜センサ７４と、各センサ（ジャイロセンサ７０，レーザ距離センサ７２，傾斜センサ７４）と画像処理演算部５０との間で情報の送受信を行うＣＡＮ通信線７６と、生成された仮想画像を表示するモニタ７８からなる。なお、使用される各センサは、それぞれの用途に向けて汎用的に使用されているものであるため、各々のセンサの構成や測定方法についての説明は省略する。
【００２０】
画像処理演算部５０は、さらに、各カメラから出力されたコンポジット信号（アナログ信号）をデジタル化された画像信号に変換するＡＤ変換器（５２ａ，５２ｂ，５２ｃ，５２ｄ）と、デジタル化された画像信号をＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に変換するデコーダ（５４ａ，５４ｂ，５４ｃ，５４ｄ）と、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像に対して座標変換演算を行う座標変換演算部５６と、座標変換演算を行う際に利用するＬＵＴ（ルックアップテーブル）が記憶されたＦＬＡＳＨ  ＲＯＭ５８と、座標変換演算を行う際に画像信号を一時格納するビデオメモリ（フレームバッファ）であるＳＤＲＡＭ６０と、座標変換演算を行う座標変換演算部５６を制御するとともに、前述したジャイロセンサ７０，レーザ距離センサ７２，傾斜センサ７４において計測されたセンサ情報を、ＣＡＮ通信線７６を介して取得するＣＰＵ６２と、座標変換されたＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ‐Ｓｙｎｃ信号をコンポジット信号（デジタル信号）に変換するエンコーダ６４と、コンポジット信号（デジタル信号）をアナログ信号に変換するＤＡ変換器６６からなる。
【００２１】
なお、画像処理演算部５０の構成要素のうち、ＡＤ変換器（５２ａ，５２ｂ，５２ｃ，５２ｄ）と、デコーダ（５４ａ，５４ｂ，５４ｃ，５４ｄ）と、座標変換演算部５６と、エンコーダ６４と、ＤＡ変換器６６は、本実施例の用途に合うように専用に設計された集積回路であるＡＳＩＣ５１（Application Specific Integrated Circuit）で構成されている。
【００２２】
次に、図３を用いて、実施例１に係る重機用周辺監視装置１０の機能ブロック構成について説明する。重機用周辺監視装置１０は、前述した前方カメラ４０ａ，左側方カメラ４０ｂ，後方カメラ４０ｃ，右側方カメラ４０ｄと、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像をそれぞれ座標変換して合成し、１枚の仮想画像を生成する仮想画像生成部１００と、クレーン車１２（図１参照）のアーム２４の姿勢と長さを計測する重機姿勢計測部９０と、仮想画像の上に重畳するクレーン車１２（図１参照）を模した複数のアイコンＩが格納されたアイコンテーブル８６と、複数のアイコンＩの中から選択されたアイコンＩを、仮想画像の上に重畳するアイコン重畳表示部８８と、装置全体の動きを制御する全体制御部９４と、生成された仮想画像を表示する表示部９６からなる。
【００２３】
仮想画像生成部１００は、さらに、クレーン車１２の姿勢に応じた位置に仮想撮像部を設置する仮想撮像部設置部８０と、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像をそれぞれ座標変換して１枚の仮想画像に合成する際に利用するＬＵＴ（Look Up Table）からなる座標変換合成テーブル８２と、座標変換処理および画像合成処理を行う座標変換合成部８４からなる。
【００２４】
重機姿勢計測部９０は、さらに、クレーン車１２のアーム２４の旋回角度φを計測する旋回角計測部９１と、クレーン車１２のアーム長Ｌを計測するアーム長計測部９２と、クレーン車１２のアーム２４の仰角εを計測するアーム仰角計測部９３からなる。
【００２５】
（実施例１で用いる座標系の説明）
次に、図４Ａ，図４Ｂを用いて、実施例１に係る重機用周辺監視装置１０の作用を説明するために必要な座標系について説明する。図４Ａは、本実施例に係る重機用周辺監視装置１０を搭載したクレーン車１２を側面から見た側面図である。また、図２Ｂは、本実施例に係る重機用周辺監視装置１０を搭載したクレーン車１２を上方から見た上面図である。
【００２６】
図４Ａ，図４Ｂに示すように、クレーン車１２の上部旋回体２０の旋回中心点Ｒを通る鉛直線と地面との交点を原点Ｏとして、クレーン車１２の左右方向、右向きにＸ軸を設定し、クレーン車１２の前後方向、前向きにＹ軸を設定し、クレーン車１２の上下方向、上向きにＺ軸を設定する。以後の説明は、このように設定された座標系（Ｘ，Ｙ，Ｚ）を用いて行う。
【００２７】
なお、クレーン車１２のアーム２４は、高さｈ０の位置にある上部旋回体２０の旋回中心点Ｒを支端として、長さＬを有し、仰角ε（図４Ａ参照），旋回角度φ（図４Ｂ参照）で特定される方向を向いているものとする。この旋回中心点Ｒの座標はＲ（０，０，ｈ０）となる。
【００２８】
ここで、旋回角度φは、アーム２４の先端ＣがＹ軸に対して右側を向いているときを正（φ＞０，右旋回）、アーム２４の先端ＣがＹ軸に対して左側を向いているときを負（φ＜０，左旋回）とする。
【００２９】
図４Ａ，図４Ｂに示すように、クレーン車１２に備えられた前方カメラ４０ａ，左側方カメラ４０ｂ，後方カメラ４０ｃ，右側方カメラ４０ｄは、それぞれ斜め下向きに配置されて、クレーン車１２の直近位置から距離Ｋの範囲の地面を含む領域を撮影しているものとする。すなわち、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）は、図４Ｂに示すように、前方カメラ４０ａは撮像範囲４４ａの領域を撮影し、左側方カメラ４０ｂは撮像範囲４４ｂの領域を撮影し、後方カメラ４０ｃは撮像範囲４４ｃの領域を撮影し、右側方カメラ４０ｄは撮像範囲４４ｄの領域を撮影するように設置されている。なお、図４Ａに示すように、原点Ｏから撮像範囲４４ａの最遠点までの距離、原点Ｏから撮像範囲４４ｃの最遠点までの距離をそれぞれＫ０とする。
【００３０】
各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像は、重機用周辺監視装置１０の作用によって、クレーン車１２の上空に仮想的に設置された仮想カメラ４０ｖ（仮想撮像部）から見下ろしたときに観測されると予測される画像（仮想画像）に変換される。
【００３１】
仮想カメラ４０ｖ（仮想撮像部）は、図４Ａに示すように、Ｚ軸上の設置高さＺ０の位置に真下に向けて設置される。すなわち、仮想カメラ４０ｖの設置位置Ｖの座標は、Ｖ（０，０，Ｚ０）となる。そして、仮想カメラ４０ｖは、クレーン車１２に設置された各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）の撮影範囲内を画像化するものとする。
【００３２】
なお、仮想カメラ４０ｖ（仮想撮像部）の設置位置Ｖは、図４Ａに示すように、前方カメラ４０ａの撮影範囲のうち、地面上の最遠点である点Ａとアーム２４の先端Ｃを通る直線が、Ｚ軸と交差する位置とする。このような規則を設けることによって、仮想カメラ４０ｖの設置位置Ｖを一意に決定することができる。
【００３３】
すなわち、仮想カメラ４０ｖの設置高さＺ０は、（式１）によって算出される。
Ｚ０＝Ｋ０＊｛（ｈ０＋Ｌｓｉｎε）／（Ｋ０−Ｌｃｏｓε）｝        （式１）
【００３４】
なお、クレーン車１２の前方には障害物である杭Ｑが存在しているものとする。この杭Ｑは地面から所定の高さを有しており、以後の説明を簡単にするため、旋回角度φ＝０，仰角εの姿勢にあるアーム２４の先端Ｃを鉛直上方から地面に射影した位置に存在しているものとする。
【００３５】
（仮想画像の構造の説明）
次に、図５Ａ，図５Ｂを用いて、仮想カメラ４０ｖ（仮想撮像部，図４Ａ参照）から観測されると予測される仮想画像の例について説明する。
【００３６】
図５Ａは、前方カメラ４０ａ，左側方カメラ４０ｂ，後方カメラ４０ｃ，右側方カメラ４０ｄでそれぞれ撮影された画像を座標変換して１枚の仮想画像Ｉｖ（ｘ，ｙ）に合成した例を示す図である。
【００３７】
すなわち、前方カメラ４０ａで撮影された画像ＩＡ（ｘ，ｙ）を、仮想カメラ４０ｖ（仮想撮像部）から観測されると予測される仮想画像ＩＶＡ（ｘ，ｙ）に変換して、左側方カメラ４０ｂで撮影された画像ＩＢ（ｘ，ｙ）を、仮想カメラ４０ｖ（仮想撮像部）から観測されると予測される仮想画像ＩＶＢ（ｘ，ｙ）に変換して、後方カメラ４０ｃで撮影された画像ＩＣ（ｘ，ｙ）を、仮想カメラ４０ｖ（仮想撮像部）から観測されると予測される仮想画像ＩＶＣ（ｘ，ｙ）に変換して、右側方カメラ４０ｄで撮影された画像ＩＤ（ｘ，ｙ）を、仮想カメラ４０ｖ（仮想撮像部）から観測されると予測される仮想画像ＩＶＤ（ｘ，ｙ）に変換して、このようにして変換された各仮想画像（ＩＶＡ（ｘ，ｙ），ＩＶＢ（ｘ，ｙ），ＩＶＣ（ｘ，ｙ），ＩＶＤ（ｘ，ｙ））を１枚の画像に合成したものである。
【００３８】
なお、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影した画像を仮想カメラ４０ｖ（仮想撮像部）から観測した仮想画像（ＩＶＡ（ｘ，ｙ），ＩＶＢ（ｘ，ｙ），ＩＶＣ（ｘ，ｙ），ＩＶＤ（ｘ，ｙ））に変換する手法には様々なものがあり、そのいずれを用いてもよい。例えば、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）で撮影した画像Ｉｉ（ｘ，ｙ） (ｉ＝Ａ〜Ｄ)に、全て平坦な地面（高さ０の平面）が映っているものと仮定して、その地面の点が、仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)上でどの画素（座標）に観測されるかを逐次計算することによって、仮想画像ＩＶｉ（ｘ，ｙ）を生成することができる。
【００３９】
このようにして、前方カメラ４０ａで撮影された画像ＩＡ（ｘ，ｙ）は仮想画像ＩＶＡ（ｘ，ｙ）に変換されて、左側方カメラ４０ｂで撮影された画像ＩＢ（ｘ，ｙ）は仮想画像ＩＶＢ（ｘ，ｙ）に変換されて、後方カメラ４０ｃで撮影された画像ＩＣ（ｘ，ｙ）は仮想画像ＩＶＣ（ｘ，ｙ）に変換されて、右側方カメラ４０ｄで撮影された画像ＩＤ（ｘ，ｙ）は仮想画像ＩＶＤ（ｘ，ｙ）に変換される。変換された仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)には、それぞれ必要な回転操作が施されて、各仮想画像同士の方向が合わせられ、図５Ａに示すように１枚の仮想画像Ｉｖ（ｘ，ｙ）に合成される。
【００４０】
このとき、クレーン車１２の前方にある杭Ｑは、像Ｑ’に変換される。杭Ｑが像Ｑ’に変換されるのは、仮想画像ＩＶＡ（ｘ，ｙ）を生成する際、前述したように前方カメラ４０ａで撮影した画像ＩＡ（ｘ，ｙ）には全て地面が映っていると仮定したため、地面から高さを有する杭Ｑは、仮想カメラ４０ｖ（仮想撮像部）から見ると、杭Ｑの高い位置ほど左右に広がって観測されるためである。すなわち、地面から高さを有する物体は、地面からの高さに応じた量だけ左右方向に広がりを持った領域として観測される。
【００４１】
また、仮想画像Ｉｖ（ｘ，ｙ）を生成した際、クレーン車１２自身が存在する位置は各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）の死角になるため映像情報が欠落する。情報が欠落する箇所には、図５Ａに示すように、仮想画像Ｉｖ（ｘ，ｙ）に例えば画素値０を格納して、クレーン車領域Ｒｖとしておく。
【００４２】
なお、図４Ａで説明したように、仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０は、アーム２４の先端Ｃ（図４Ａ参照）が、仮想カメラ４０ｖ（仮想撮像部）の撮影範囲の端に位置するように設定される。したがって、クレーン車領域Ｒｖのうちアーム２４の先端Ｃに対応する位置は、仮想画像Ｉｖ（ｘ，ｙ）の上端に位置する。
【００４３】
その後、クレーン車領域Ｒｖには、図５Ｂに示すように、あたかもクレーン車１２（図１参照）を上空から見下ろしているように、クレーン車１２の姿勢を模擬したアイコンＩを重畳する。
【００４４】
（座標変換合成テーブルの説明）
次に、図６Ａ，図６Ｂ，図７，図８Ａ，図８Ｂを用いて、仮想画像Ｉｖ（ｘ，ｙ）を生成する際に利用する座標変換合成テーブル８２（図３参照）について説明する。
【００４５】
図６Ａは、クレーン車１２のアーム長Ｌが短い状態であって、アーム２４の旋回角度φがほぼ０（中立位置，−α＜φ≦α）にあるときに、仮想画像Ｉｖ（ｘ，ｙ）を生成するために利用する座標変換合成テーブル８２の一例である、座標変換合成テーブルＴＡ（ｘ，ｙ）の構造を示す図である。以後、簡単のため、座標変換合成テーブルＴＡ（ｘ，ｙ）を単に、座標変換合成テーブルＴＡと記載する。
【００４６】
座標変換合成テーブルＴＡは、図６Ａに示すように、２次元のフレームメモリの形態を有するＬＵＴ（ルックアップテーブル）を形成している。そして、図５Ａ，図５Ｂで説明した各仮想画像ＩＶｉ（ｘ，ｙ）（ｉ＝Ａ〜Ｄ）に対応する領域に、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）に対応する番号と、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）で撮影される画素の座標値（左右方向座標値（ｘアドレス）と上下方向座標値（ｙアドレス））がそれぞれ格納されている。また、前述したクレーン車領域Ｒｖには、クレーン車領域であることを示す特定の値が格納されている。
【００４７】
座標変換合成テーブルＴＡは、具体的には、例えば図６Ｂに示すようにビット幅２４ビットのフレームメモリで構成されている。そして、その上位８ビットには座標変換合成テーブルＴＡを表すＬＵＴ番号とカメラ番号ｉがそれぞれ格納されて、中位８ビットにはカメラ番号ｉ（ｉ＝Ａ〜Ｄ）で特定されたカメラで撮影された画像Ｉｉ（ｘ，ｙ）（ｉ＝Ａ〜Ｄ）のｘアドレス値が格納されて、下位８ビットにはカメラ番号ｉ（ｉ＝Ａ〜Ｄ）で特定されたカメラで撮影された画像Ｉｉ（ｘ，ｙ）（ｉ＝Ａ〜Ｄ）のｙアドレスが格納されている。
【００４８】
このような構造を有する座標変換合成テーブルＴＡを左から右、上から下に向かって順次スキャンしながら、スキャンされた画素に格納された情報を読み出して、読み出された情報が指し示すカメラ番号ｉ（ｉ＝Ａ〜Ｄ）と、カメラ番号ｉで特定されたカメラで撮影された画像の画素を指し示すアドレス（ｘ，ｙ）を参照して、カメラ番号ｉ（ｉ＝Ａ〜Ｄ）で特定されたカメラのアドレス（ｘ，ｙ）の画素値を、座標変換合成テーブルＴＡ上の対応する位置に格納することによって、座標変換処理と画像合成処理を、同時に行うことができる。
【００４９】
なお、前述したクレーン車領域Ｒｖに対応する位置は、図６Ａに示すように、実際のカメラ映像が格納される領域と区別しておく必要がある。そのため、座標変換合成テーブルＴＡのクレーン車領域Ｒｖに対応する領域には、カメラ番号ｉを格納する位置に特定の値、例えば「０」を格納しておく。
【００５０】
また、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）には、できるだけ広範囲を撮像することができるように広角レンズを装着しているため、撮影された画像（ＩＡ（ｘ，ｙ），ＩＢ（ｘ，ｙ），ＩＣ（ｘ，ｙ），ＩＤ（ｘ，ｙ））には歪曲が発生する。座標変換合成テーブルＴＡは、この歪曲を補正する役割も担う。
【００５１】
すなわち、予めキャリブレーション（校正）を行って、歪曲を伴って撮影された画像（ＩＡ（ｘ，ｙ），ＩＢ（ｘ，ｙ），ＩＣ（ｘ，ｙ），ＩＤ（ｘ，ｙ））を歪曲がない画像に補正する際の座標変換規則を座標変換合成テーブルＴＡに記憶しておくことができる。
【００５２】
具体的には、キャリブレーションによって、歪曲を含む画像Ｉｉ（ｘ，ｙ）上の座標値（ｘｑ，ｙｑ）と、その座標が変換される、歪曲が補正された仮想画像ＩＶｉ（ｘ，ｙ）（ｉ＝Ａ〜Ｄ）上の座標値（ｘｒ，ｙｒ）のペアを複数組取得して、これらの画素のペアが座標変換行列で結ばれるものとして連立方程式を立て、この連立方程式を解くことによって、歪曲を補正する座標変換行列を決定することができる。なお、こうした歪曲補正の方法は公知であるため、詳細な説明は省略する。座標変換合成テーブルＴＡには、こうした歪曲補正と、仮想画像への座標変換および複数の仮想画像の合成がともに考慮された座標変換の規則が格納される。
【００５３】
次に、図７Ａ，図７Ｂを用いて、座標変換合成テーブル８２のバリエーションについて説明する。
【００５４】
本実施例では、クレーン車１２のアーム２４の姿勢に応じた仮想画像Ｉｖ（ｘ，ｙ）を生成する。すなわち、アーム２４の姿勢に対応する複数の座標変換合成テーブルを用意しておく必要がある。
【００５５】
図７Ａは、アーム長Ｌが中程度であって、旋回角度φが０（中立位置）であるときの座標変換合成テーブル８２の一例である座標変換合成テーブルＴＢの構造を示す図である。この座標変換合成テーブルＴＢは、図６Ａに示した座標変換合成テーブルＴＡと比較すると、クレーン車１２（図１参照）の周辺をより広範囲に監視する仮想画像を生成する座標変換合成テーブルになっている。
【００５６】
すなわち、図７Ａの場合、仮想カメラ４０ｖ（仮想撮像部）が図６Ａと比べてより高い位置に設置されるため、クレーン車１２周辺がより広範囲に監視される。したがって、図６Ａと比較すると、クレーン車領域Ｒｖがより小さくなる。そして、アーム長Ｌが伸びることによって、アーム２４の地面への射影長（図４ＡでＬｃｏｓεに相当）が長くなるため、クレーン車領域Ｒｖの中のアーム２４に対応する領域の長さがより長くなる。
【００５７】
図７Ｂは、アーム長Ｌが長く、旋回角度φが０（中立位置）であるときの座標変換合成テーブル８２の一例である座標変換合成テーブルＴＣの構造を示す図である。この座標変換合成テーブルＴＣは、図７Ａに示した座標変換合成テーブルＴＢと比較すると、クレーン車１２（図１参照）の周辺をより広範囲に監視する仮想画像を生成する座標変換合成テーブルになっている。
【００５８】
すなわち、図７Ｂの場合、仮想カメラ４０ｖ（仮想撮像部）が図７Ａと比べてより高い位置に設置されるため、クレーン車１２周辺をより広範囲に監視される。したがって、図７Ａと比較すると、クレーン車領域Ｒｖがより小さくなる。そして、アーム長Ｌが伸びることによって、アーム２４の地面への射影長（図４ＡでＬｃｏｓεに相当）がさらに長くなるため、クレーン車領域Ｒｖの中のアーム２４に対応する領域の長さがより長くなる。
【００５９】
図８は、予め準備しておく座標変換合成テーブル８２（ＬＵＴ）の一覧を示す図である。図８の縦軸は、仮想カメラ４０ｖ（仮想撮像部）の監視範囲と仮想カメラ４０ｖの設置高さＺ０に対応しており、図８に示す座標変換合成テーブル８２では、仮想カメラ４０ｖの高さを３段階に分けて設定している。そして、図８の縦軸方向で下に行くほど、仮想カメラ４０ｖの設置高さＺ０が高くなって監視範囲が広くなっている。
【００６０】
また、図８の横軸は、クレーン車１２のアーム２４の旋回角度φに対応しており、左に行くほどアーム２４が左方向に回転して旋回角度φが大きくなることを示しており、右に行くほどアーム２４が右方向に回転して旋回角度φが大きくなることを示している。
【００６１】
図８に示す座標変換合成テーブル８２では、クレーン車１２のアーム２４の旋回角度φを、中立位置（−α＜φ≦α）と、右方向の旋回角度φが小（α＜φ≦β），中（β＜φ≦γ），大（γ＜φ≦θ）、および、左方向の旋回角度φが小（−α＜φ≦−β），中（−β＜φ≦−γ），大（−γ＜φ≦−θ）の合計７段階に分けて設定している。なお、α，β，γ，θは、予め設定された旋回角度φのしきい値であって、α＜β＜γ＜θの関係を有する正の定数である。
【００６２】
すなわち、アーム２４が左右に旋回したときには、その旋回角度φに応じた量だけ、仮想カメラ４０ｖ（仮想撮像部）を光軸周りに回転させたときに撮影されると予測される仮想画像Ｉｖ（ｘ，ｙ）が生成される。
【００６３】
実施例１にあっては、図８に示す、仮想カメラ４０ｖの３段階の設置高さＺ０、および、７段階の旋回角度φにそれぞれ対応する合計２１通りの座標変換合成テーブルが準備されている。各々の座標変換合成テーブルＴＸｙ（Ｘ＝Ａ〜Ｃ，ｙ＝ａ〜ｇ）は、例えば、仮想カメラ４０ｖの設置高さＺ０が低い位置にある座標変換合成テーブルＴＡｙ（ｙ＝ａ〜ｇ），設置高さＺ０が中位置にある座標変換合成テーブルＴＢｙ（ｙ＝ａ〜ｇ），設置高さＺ０が高い位置にある座標変換合成テーブルＴＣｙ（ｙ＝ａ〜ｇ）とされて、さらに、旋回角度φが左方向の旋回角度が大きい状態から、右方向の旋回角度が大きい状態に応じて、それぞれ、座標変換合成テーブルＴＸａ，ＴＸｂ，ＴＸｃ，ＴＸｄ，ＴＸｅ，ＴＸｆ，ＴＸｇ（Ｘ＝Ａ〜Ｃ）とされる。
【００６４】
なお、前述した図６Ａの座標変換合成テーブルＴＡは、図８の座標変換合成テーブルＴＡｄに対応して、図７Ａの座標変換合成テーブルＴＢは、図８の座標変換合成テーブルＴＢｄに対応して、図７Ｂの座標変換合成テーブルＴＣは、図８の座標変換合成テーブルＴＣｄに対応している。
【００６５】
（アイコンの説明）
次に、図９を用いて、クレーン車１２の姿勢を模擬したアイコンＩのバリエーションについて説明する。
【００６６】
図９は、アイコンテーブル８６の内容を示す。アイコンＩＸｙ（Ｘ＝Ａ〜Ｃ，ｙ＝ａ〜ｇ）は、前述した座標変換合成テーブル８２に用意された各々の座標変換合成テーブルＴＸｙ（Ｘ＝Ａ〜Ｃ，ｙ＝ａ〜ｇ）と１対１に対応して準備される。すなわち、各々のアイコンＩＸｙは、図９に示すように、クレーン車１２（図１参照）を真上から見下ろした形状を有して、仮想カメラ４０ｖの設置高さＺ０，クレーン車１２のアーム長Ｌ，旋回角度φに応じた形態とサイズを有している。なお、これらのアイコンＩはＣＧ（Computer Graphic）を用いて生成してもよいし、クレーン車１２を実際に真上から撮影した実写画像から生成してもよい。
【００６７】
なお、図５Ｂに示したアイコンＩは、図９のアイコンテーブルの中のアイコンＩＡｄに対応している。
【００６８】
（仮想画像の実例の説明）
【００６９】
次に、図１０Ａ〜図１０Ｆを用いて、図４Ａ，図４Ｂに示す環境に置かれたクレーン車１２において生成される仮想画像Ｉｖ（ｘ，ｙ）の実例について説明する。
【００７０】
図１０Ａは、アーム２４の旋回角度φが０（中立位置）、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが中立位置を示す座標変換合成テーブルＴＡｄが選択されて、この座標変換合成テーブルＴＡｄに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが中立位置を示すアイコンＩＡｄが選択されて重畳される。このとき、前方カメラ４０ａで撮影された杭Ｑが仮想画像ＩＶＡ（ｘ，ｙ）の中に像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
【００７１】
図１０Ｂは、アーム２４の旋回角度φが右旋回「小」、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回小状態を示す座標変換合成テーブルＴＡｅが選択されて、この座標変換合成テーブルＴＡｅに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回「小」状態を示すアイコンＩＡｅが選択されて重畳される。このとき、前方カメラ４０ａで撮影された杭Ｑが仮想画像ＩＶＡ（ｘ，ｙ）の中に像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
【００７２】
図１０Ｃは、アーム２４の旋回角度φが右旋回「中」、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回中状態を示す座標変換合成テーブルＴＡｆが選択されて、この座標変換合成テーブルＴＡｆに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回「中」状態を示すアイコンＩＡｆが選択されて重畳される。このとき、前方カメラ４０ａで撮影された杭Ｑが仮想画像ＩＶＡ（ｘ，ｙ）の中に像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
【００７３】
図１０Ｄは、アーム２４の旋回角度φが右旋回「大」、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回「大」状態を示す座標変換合成テーブルＴＡｇが選択されて、この座標変換合成テーブルＴＡｇに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回「大」状態を示すアイコンＩＡｇが選択されて重畳される。このとき、前方カメラ４０ａで撮影された杭Ｑが仮想画像ＩＶＡ（ｘ，ｙ）の中に像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
【００７４】
図１０Ｅは、アーム２４の旋回角度φが０（中立位置）、アーム長Ｌが中程度、仮想カメラ４０ｖの設置高さＺ０が中程度のときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が中程度、旋回角度φが中立位置を示す座標変換合成テーブルＴＢｄが選択されて、この座標変換合成テーブルＴＢｄに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が中程度、旋回角度φが中立位置を示すアイコンＩＢｄが選択されて重畳される。このとき、図１０Ａに示した仮想画像Ｉｖ（ｘ，ｙ）の生成条件と比べて、仮想カメラ４０ｖの設置高さＺ０が上昇するため、より広範囲を監視した仮想画像Ｉｖ（ｘ，ｙ）が表示される。そして、表示範囲の拡大に応じてアイコンＩのサイズが小さくなる。このようにして生成された仮想画像Ｉｖ（ｘ，ｙ）の中には、前方カメラ４０ａで撮影された杭Ｑが像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
【００７５】
図１０Ｆは、アーム２４の旋回角度φが０（中立位置）、アーム長Ｌが長い、仮想カメラ４０ｖの設置高さＺ０が高いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が高く、旋回角度φが中立位置を示す座標変換合成テーブルＴＣｄが選択されて、この座標変換合成テーブルＴＣｄに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が高く、旋回角度φが中立位置を示すアイコンＩＣｄが選択されて重畳される。このとき、図１０Ｅに示した仮想画像Ｉｖ（ｘ，ｙ）の生成条件と比べて、仮想カメラ４０ｖの設置高さＺ０が上昇するため、より広範囲を監視した仮想画像Ｉｖ（ｘ，ｙ）が表示される。そして、表示範囲の拡大に応じてアイコンＩのサイズが小さくなる。このようにして生成された仮想画像Ｉｖ（ｘ，ｙ）の中には、前方カメラ４０ａで撮影された杭Ｑが像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
【００７６】
（実施例１の作用の説明）
次に、実施例１の具体的な作用について、図１１〜図１５のフローチャートを用いて説明する。
【００７７】
図１１は、実施例１で行う処理の全体の流れを示したフローチャートである。以下、順を追って説明する。
【００７８】
（ステップＳ１０）各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影を行って、撮影された画像入力を行う。
【００７９】
（ステップＳ１２）撮影された画像信号をＡＤ変換器（５２ａ，５２ｂ，５２ｃ，５２ｄ）でＡＤ変換して、デジタル化された画像信号に変換する。
【００８０】
（ステップＳ１４）デジタル化された画像信号を、デコーダ（５４ａ，５４ｂ，５４ｃ，５４ｄ）によってデコードして、ＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に変換する。
【００８１】
（ステップＳ１６）重機姿勢計測部９０において、クレーン車１２のアーム２４の旋回角度φと、アーム長Ｌと、仰角εを計測する。
【００８２】
（ステップＳ２０）仮想撮像部設置部８０において、アーム２４の旋回角度φの符号（旋回方向）と大きさ（旋回量）を判定する。具体的な処理の内容については後述する。
【００８３】
（ステップＳ５０）仮想撮像部設置部８０において、仮想カメラ４０ｖ（仮想撮像部）の設置位置を算出する。なお、ここで行われる具体的な処理の内容については後述する。
【００８４】
（ステップＳ７０）仮想画像生成部１００において、座標変換合成処理を行う。なお、ここで行われる具体的な処理の内容については後述する。
【００８５】
（ステップＳ９０）アイコン重畳表示部８８において、アイコンＩの選択と重畳を行う。なお、ここで行われる具体的な処理の内容については後述する。
【００８６】
（ステップＳ１００）重機姿勢計測部９０において、クレーン車１２のアーム２４の旋回角度φと、アーム長Ｌと、仰角εを計測して、ステップＳ１６で計測したクレーン車１２の姿勢と変化がないか否かを確認する。クレーン車１２の姿勢に変化がないときはステップＳ１０２に進み、クレーン車１２の姿勢に変化があるときは、ステップＳ１０に戻る。
【００８７】
（ステップＳ１０２）エンコーダ６４が、アイコンＩが重畳されてＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に載せられた仮想画像Ｉｖ（ｘ，ｙ）をエンコードして、コンポジット信号（デジタル信号）に変換する。
【００８８】
（ステップＳ１０４）ＤＡ変換器６６が、コンポジット信号（デジタル信号）をアナログ信号に変換する。
【００８９】
（ステップＳ１０６）変換されたアナログ信号をモニタ７８（表示部９６）に表示して処理を終了する。なお、この後ステップＳ１０に戻って同じ処理を繰り返してもよい。
【００９０】
次に、図１２を用いて、旋回方向，旋回量判定処理の流れについて説明する。この処理は、仮想撮像部設置部８０において行われる。
【００９１】
（ステップＳ２２）アーム２４の旋回角度φがほぼ０（中立位置）であるか否かを判定する。具体的には、ジャイロセンサ７０で計測された旋回角度φが、−α＜φ≦αであるとき、旋回角度φが０（中立位置）であると判定する。φ＝０と判定されたときはステップＳ４６に進み、それ以外のときはステップＳ２４に進む。
【００９２】
（ステップＳ２４）アーム２４の旋回角度φが正（右旋回）であるか否かを判定する。φが正であるときはステップＳ２６に進み、それ以外のときはステップＳ３６に進む。
【００９３】
（ステップＳ２６）アーム２４の旋回角度φが、α＜φ≦βを満たすか否かを判定する。条件を満たすときはステップＳ３４に進み、それ以外のときはステップＳ２８に進む。
【００９４】
（ステップＳ２８）アーム２４の旋回角度φが、β＜φ≦γを満たすか否かを判定する。条件を満たすときはステップＳ３０に進み、それ以外のときはステップＳ３２に進む。
【００９５】
（ステップＳ３０）アーム２４の旋回方向は右方向、旋回量は「中」であると判定してメインルーチン（図１１）に戻る。
【００９６】
（ステップＳ３２）アーム２４の旋回方向は右方向、旋回量は「大」であると判定してメインルーチン（図１１）に戻る。
【００９７】
（ステップＳ３４）アーム２４の旋回方向は右方向、旋回量は「小」であると判定してメインルーチン（図１１）に戻る。
【００９８】
（ステップＳ３６）アーム２４の旋回角度φが、−α＜φ≦−βを満たすか否かを判定する。条件を満たすときはステップＳ４４に進み、それ以外のときはステップＳ３８に進む。
【００９９】
（ステップＳ３８）アーム２４の旋回角度φが、−β＜φ≦−γを満たすか否かを判定する。条件を満たすときはステップＳ４０に進み、それ以外のときはステップＳ４２に進む。
【０１００】
（ステップＳ４０）アーム２４の旋回方向は左方向、旋回量は「中」であると判定してメインルーチン（図１１）に戻る。
【０１０１】
（ステップＳ４２）アーム２４の旋回方向は左方向、旋回量は「大」であると判定してメインルーチン（図１１）に戻る。
【０１０２】
（ステップＳ４４）アーム２４の旋回方向は左方向、旋回量は「小」であると判定してメインルーチン（図１１）に戻る。
【０１０３】
（ステップＳ４６）アーム２４の旋回なしと判定してメインルーチン（図１１）に戻る。
【０１０４】
次に、図１３を用いて、仮想カメラ４０ｖ（仮想撮像部）の設置位置算出処理の流れについて説明する。この処理は、仮想撮像部設置部８０において行われる。
【０１０５】
（ステップＳ５２）クレーン車１２のアーム長Ｌとアーム２４の仰角εを用いて、前述した（式１）によって仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０を算出する。
【０１０６】
（ステップＳ５４）算出された設置高さＺ０が、予め設定したしきい値Ｚα以下か否かを判定する。Ｚ０≦ＺαのときはステップＳ６２に進み、それ以外のときはステップＳ５６に進む。
【０１０７】
（ステップＳ５６）算出された設置高さＺ０が、予め設定したしきい値Ｚα，Ｚβ（Ｚα＜Ｚβ）に対して、Ｚα＜Ｚ０≦Ｚβを満たすか否かを判定する。条件を満たすときはステップＳ５８に進み、それ以外のときはステップＳ６０に進む。
【０１０８】
（ステップＳ５８）仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０は「中」と判定してメインルーチン（図１１）に戻る。
【０１０９】
（ステップＳ６０）仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０は「高」と判定してメインルーチン（図１１）に戻る。
【０１１０】
（ステップＳ６２）仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０は「低」と判定してメインルーチン（図１１）に戻る。
【０１１１】
次に、図１４を用いて、座標変換合成処理の流れについて説明する。この処理は、座標変換合成部８４において行われる。
【０１１２】
（ステップＳ７２）座標変換合成テーブル（ＬＵＴ）ＴＸｙ（Ｘ＝Ａ〜Ｃ，ｙ＝ａ〜ｇ）の中から、仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０に対応する座標変換合成テーブルを選択する。
【０１１３】
（ステップＳ７４）ステップＳ７２で選択された仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０に対応する座標変換合成テーブルＴＸｙの中から、アーム２４の旋回角度φに対応する座標変換合成テーブル（ＬＵＴ）ＴＸｙを１つ選択する。
【０１１４】
（ステップＳ７６）選択された座標変換合成テーブルＴＸｙを用いて座標変換合成処理を実行し、仮想画像Ｉｖ（ｘ，ｙ）を生成してメインルーチン（図１１）に戻る。
【０１１５】
次に、図１５を用いて、アイコンの選択、重畳処理の流れについて説明する。この処理は、アイコン重畳表示部８８において行われる。
【０１１６】
（ステップＳ９２）アイコンテーブル８６の中から、仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０に対応するアイコンＩを選択する。
【０１１７】
（ステップＳ９４）ステップＳ９２で選択された仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０に対応するアイコンの中から、アーム２４の旋回角度φに対応するアイコンＩを１つ選択する。
【０１１８】
（ステップＳ９６）仮想画像Ｉｖ（ｘ，ｙ）の上に選択されたアイコンＩを重畳し、メインルーチン（図１１）に戻る。
【０１１９】
（実施例１の変形例の説明）
【０１２０】
なお、仮想画像Ｉｖ（ｘ，ｙ）の形態は、図１０Ａ〜図１０Ｆに示した形態に限定されるものではない。すなわち、図１６Ａ，図１６Ｂに示すように、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影した画像をそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に変換した後、仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)をアイコンＩの周囲に円形状に配置して仮想画像Ｉｖ（ｘ，ｙ）を生成してもよい。なお、図１６Ａは、アーム２４の旋回角度φが０（中立位置）、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図であり、図１６Ｂは、アーム２４の旋回角度φが右旋回「小」、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。
【０１２１】
このように、仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)を円形状に合成することにより、アーム２４の旋回に応じて仮想画像Ｉｖ（ｘ，ｙ）を更新する際に、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影した画像の表示領域の形状が変化しないため、映像をより一層見やすくすることができる。
【０１２２】
次に、本発明の別の実施形態である実施例２について、図面を参照して説明する。
【実施例２】
【０１２３】
（実施例２のシステム構成の説明）
本実施例２は、実施例１で説明した重機用周辺監視装置１０に、さらに、クレーン車１２が走行可能な状態にあるときには、クレーン車１２の周囲の状況を撮影して、撮影された画像を、クレーン車１２の走行方向に応じた形態の仮想画像に変換して表示する機能を付加した重機用周辺監視装置１１である。
【０１２４】
本実施例に示す重機用周辺監視装置１１の機能ブロック構成について、図１７を用いて説明する。重機用周辺監視装置１１は図１７に示す機能ブロック構成を有している。その構成は、実施例１で説明した重機用周辺監視装置１０の機能ブロック構成に、さらに、クレーン車１２の走行可能方向を検出する走行可能方向検出部９８を備えたものである。
【０１２５】
この走行可能方向検出部９８は、クレーン車１２のアーム２４がロックされて移動しない状態にあることを検出することによって、クレーン車１２が走行可能な状態にあると判定する。そして、さらに、クレーン車１２の下部走行体３０（図１参照）のシフトポジションを検出することによって、クレーン車の走行可能方向（前進または後退）を検出する。
【０１２６】
（実施例２の機能の説明）
次に、図１８Ａ，図１８Ｂを用いて、重機用周辺監視装置１１の機能について説明する。図１８Ａは、クレーン車１２が図４Ａに示した環境にあって、なおかつ前進可能な状態にあるとき、図１７に示す表示部９６に表示される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。
【０１２７】
このとき、クレーン車１２は前進可能な状態にあるため、仮想画像Ｉｖ（ｘ，ｙ）の中には、この後、クレーン車１２が通過する方向の画像をより広く表示する。運転者８はこの仮想画像Ｉｖ（ｘ，ｙ）を参照してクレーン車１２を前進させる。
【０１２８】
なお、仮想画像Ｉｖ（ｘ，ｙ）の中にはアイコンＩＡｄが重畳される。このアイコンＩＡｄは、図９に示したアイコンＩＡｄを流用してもよいし、走行状態を表すアイコンを準備して、そのアイコンを重畳してもよい。
【０１２９】
このような仮想画像Ｉｖ（ｘ，ｙ）を生成する機能は、図１７に示す座標変換合成テーブル８２の中に、クレーン車１２が前進可能な状態にあるときに使用する座標変換合成テーブルを用意しておき、走行可能方向検出部９８が、クレーン車１２が前進可能な状態にあることを検出したときに、クレーン車１２の前進方向がより広く表示される座標変換合成テーブルを参照して、座標変換合成部８４において仮想画像Ｉｖ（ｘ，ｙ）を生成することによって実現される。
【０１３０】
なお、クレーン車１２の前進方向をより広く表示した仮想画像Ｉｖ（ｘ，ｙ）を生成するために、仮想カメラ４０ｖ（仮想撮像部）は、例えば、図４Ａ，図４Ｂで説明した座標系において、予め設定された設置高さＺ１（＜Ｚ０）（非図示）に設置されて、なおかつ、クレーン車１２の前方方向に所定量Ｙ１（非図示）だけ移動させた位置（０，Ｙ１，Ｚ１）に、鉛直下向きに設置される。
【０１３１】
図１８Ｂは、クレーン車１２が図４Ａに示した環境にあって、なおかつ後退可能な状態にあるとき、図１７に示す表示部９６に表示される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。
【０１３２】
このとき、クレーン車１２は後退可能な状態にあるため、仮想画像Ｉｖ（ｘ，ｙ）の中には、この後、クレーン車１２が通過する方向の画像をより広く表示する。運転者８はこの仮想画像Ｉｖ（ｘ，ｙ）を参照してクレーン車１２を後退させる。
【０１３３】
なお、仮想画像Ｉｖ（ｘ，ｙ）の中にはアイコンＩＡｄが重畳される。このアイコンＩＡｄは、図９に示したアイコンＩＡｄを流用してもよいし、走行状態を表す新たなアイコンを準備して、そのアイコンを重畳してもよい。
【０１３４】
このような仮想画像Ｉｖ（ｘ，ｙ）を生成する機能は、図１７に示す座標変換合成テーブル８２の中に、クレーン車１２が後退可能な状態にあるときに使用する座標変換合成テーブルを用意しておき、走行可能方向検出部９８が、クレーン車１２が後退可能な状態にあることを検出したときに、クレーン車１２の後退方向がより広く表示される座標変換合成テーブルを参照して、座標変換合成部８４において仮想画像Ｉｖ（ｘ，ｙ）を生成することによって実現される。
【０１３５】
なお、クレーン車１２の後退方向をより広く表示した仮想画像Ｉｖ（ｘ，ｙ）を生成するために、仮想カメラ４０ｖ（仮想撮像部）は、例えば、図４Ａ，図４Ｂで説明した座標系において、予め設定された設置高さＺ１（＜Ｚ０）（非図示）に設置されて、なおかつ、クレーン車１２の後退方向に所定量Ｙ１（非図示）だけ移動させた位置（０，−Ｙ１，Ｚ１）に、鉛直下向きに設置される。
【０１３６】
（実施例２の作用の説明）
次に、実施例２の具体的な作用について、図１９のフローチャートを用いて説明する。
【０１３７】
（ステップＳ１２０）各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影を行って、撮影された画像入力を行う。
【０１３８】
（ステップＳ１２２）撮影された画像信号をＡＤ変換器（５２ａ，５２ｂ，５２ｃ，５２ｄ）でＡＤ変換して、デジタル化された画像信号に変換する。
【０１３９】
（ステップＳ１２４）デジタル化された画像信号を、デコーダ（５４ａ，５４ｂ，５４ｃ，５４ｄ）によってデコードして、ＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に変換する。
【０１４０】
（ステップＳ１２６）走行可能方向検出部９８において、クレーン車１２が前進可能な状態にあるか否かを判定する。前進可能なときはステップＳ１３０に進み、それ以外のときはステップＳ１２８に進む。
【０１４１】
（ステップＳ１２８）走行可能方向検出部９８において、クレーン車１２が後退可能な状態にあるか否かを判定する。後退可能なときはステップＳ１３０に進み、それ以外のときはステップＳ１３６に進む。
【０１４２】
（ステップＳ１３０）仮想撮像部設置部８０において、仮想カメラ４０ｖ（仮想撮像部）の設置位置を算出する。具体的には、前述したように、クレーン車１２の進行方向に応じた位置に仮想カメラ４０ｖ（仮想撮像部）を設置する。
【０１４３】
（ステップＳ１３２）仮想画像生成部１００において、座標変換合成処理を行う。具体的な処理の内容は、実施例１で説明した通りである。
【０１４４】
（ステップＳ１３４）アイコン重畳表示部８８において、アイコンＩの選択と重畳を行う。具体的には、クレーン車１２が走行状態のときに重畳されるアイコンＩが選択されて、仮想画像Ｉｖ（ｘ，ｙ）に重畳される。
【０１４５】
（ステップＳ１３６）重機姿勢計測部９０において、クレーン車１２のアーム２４の旋回角度φと、アーム長Ｌと、仰角εを計測する。
【０１４６】
（ステップＳ１３８）仮想撮像部設置部８０において、アーム２４の旋回角度φの大きさと向きを判定する。具体的な処理の内容は、実施例１で説明した通りである。
【０１４７】
（ステップＳ１４０）仮想撮像部設置部８０において、仮想カメラ４０ｖ（仮想撮像部）の設置位置を算出する。具体的な処理の内容は、実施例１で説明した通りである。
【０１４８】
（ステップＳ１４２）仮想画像生成部１００において、座標変換合成処理を行う。具体的な処理の内容は、実施例１で説明した通りである。
【０１４９】
（ステップＳ１４４）アイコン重畳表示部８８において、アイコンＩの選択と重畳を行う。具体的な処理の内容は、実施例１で説明した通りである。
【０１５０】
（ステップＳ１４６）重機姿勢計測部９０において、クレーン車１２のアーム２４の旋回角度φと、アーム長Ｌと、仰角εを計測して、ステップＳ１３６で計測したクレーン車１２の姿勢と変化がないか否かを確認する。クレーン車１２の姿勢に変化がないときはステップＳ１４８に進み、クレーン車１２の姿勢に変化があるときは、ステップＳ１２０に戻る。
【０１５１】
（ステップＳ１４８）エンコーダ６４が、アイコンＩが重畳されてＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に載せられた仮想画像Ｉｖ（ｘ，ｙ）をエンコードして、コンポジット信号（デジタル信号）に変換する。
【０１５２】
（ステップＳ１５０）ＤＡ変換器６６が、コンポジット信号（デジタル信号）をアナログ信号に変換する。
【０１５３】
（ステップＳ１５２）変換されたアナログ信号をモニタ７８（表示部９６）に表示して処理を終了する。なお、この後ステップＳ１２０に戻って同じ処理を繰り返してもよい。
【０１５４】
以上説明したように、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、クレーン車１２（重機）の下部走行体３０の周囲に複数取り付けられた各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された、クレーン車１２の周辺の地面を含む複数の画像を、仮想画像生成部１００が、重機姿勢計測部９０によって計測された、クレーン車１２の上部旋回体２０のアーム２４の旋回角度φと、アーム長さＬと、アーム２４の仰角εとに応じた位置と方向に設置された仮想カメラ４０ｖ（仮想撮像部）から観測されると予測される１枚の仮想画像Ｉｖ（ｘ，ｙ）に変換合成して、アイコン重畳表示部８８が仮想画像Ｉｖ（ｘ，ｙ）の上に、クレーン車１２の姿勢に応じたアイコンＩを重畳して、クレーン車１２の運転者８が視認可能なモニタ７８（表示部９６）に表示するため、クレーン車１２の運転者８は、作業中の重機の姿勢変化によらずに、クレーン車１２の周囲にある障害物の位置と方向を即座に認識することができる。
【０１５５】
また、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、仮想カメラ４０ｖ（仮想撮像部）は、少なくとも、クレーン車１２（重機）の位置から、仮想カメラ４０ｖの設置位置とアーム２４の先端Ｃとを結ぶ線分の延長線が地面と交差する点まで、の範囲を含む仮想画像Ｉｖ（ｘ，ｙ）が生成可能な位置と方向に設置されるため、クレーン車１２で作業を行うときに特に注意を払う必要がある、アーム２４の先端Ｃの直下位置を含む範囲を画像化することができる。
【０１５６】
また、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、仮想画像生成部１００は、アーム２４のアーム長さＬと、アーム２４の仰角εと、上部旋回体２０のアーム２４の旋回角度φにそれぞれ対応する仮想カメラ４０ｖ（仮想撮像部）の設置位置と設置方向に応じた座標変換合成テーブル８２を有して、重機姿勢計測部９０で計測されたアーム長Ｌと、アーム２４の仰角εと、アーム２４の旋回角度φに対応する座標変換合成テーブル８２に基づいて、仮想画像Ｉｖ（ｘ，ｙ）を生成するため、仮想画像の生成を少ない演算量で迅速に行うことができる。
【０１５７】
また、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、仮想画像生成部１００は、アーム２４の延伸方向が常に上部に位置する仮想画像Ｉｖ（ｘ，ｙ）を生成するため、クレーン車１２の運転者８が見ている方向と同じ方向の仮想画像を生成して表示することができる。したがって、運転者８は、仮想画像Ｉｖ（ｘ，ｙ）と現実の対応付けを容易に行うことができるため、クレーン車１２の周囲にある障害物の位置と方向を即座に認識することができる。
【０１５８】
また、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、仮想画像生成部１００は、仮想カメラ４０ｖ（仮想撮像部）を、上部旋回体２０の旋回中心を通る鉛直線上に下向きに設置して、なおかつ、重機姿勢計測部９０で計測されたアーム２４の旋回角度φに応じた角度だけ、仮想カメラ４０ｖの光軸周りに回転させたときに撮影されると予測される仮想画像Ｉｖ（ｘ，ｙ）を生成するため、仮想画像Ｉｖ（ｘ，ｙ）を少ない演算量で短時間に生成することができる。
【０１５９】
また、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、アイコン重畳表示部８８は、複数のアイコンＩが格納されたアイコンテーブル８６を有して、重機姿勢計測部９０で計測されたクレーン車１２（重機）の姿勢に対応するアイコンＩをアイコンテーブル８６の中から選択して、選択されたアイコンＩを仮想画像Ｉｖ（ｘ，ｙ）に重畳するため、アイコンＩの重畳を少ない演算量で迅速に行うことができる。
【０１６０】
さらに、このように構成された本発明の実施例２に係る重機用周辺監視装置１１によれば、クレーン車１２（重機）の走行可能方向を検出する走行可能方向検出部９８を有して、仮想画像生成部１００は、走行可能方向検出部９８がクレーン車１２の走行可能方向を検出したときに、仮想カメラ４０ｖ（仮想撮像部）を、クレーン車１２の走行可能方向をより広く観測可能な位置と高さと向きに設置するため、クレーン車１２の進行方向をよりわかりやすく表示することができる。
【０１６１】
なお、実施例１，実施例２では、アーム長Ｌ，アーム２４の仰角εに応じて、仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０を３段階に分けて設定して、アーム２４の旋回角度φを７段階に分けて設定したが、これは、その都度仮想カメラ４０ｖの設置位置と設置方向を算出する演算を行って、仮想画像Ｉｖ（ｘ，ｙ）の観測範囲と観測方向を連続的に変化させるようにしてもよい。
【０１６２】
また、実施例１，実施例２では、仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０を決める際に、図４Ａに示したように、地面上の最遠点である点Ａとアーム２４の先端Ｃを通る直線が、Ｚ軸と交差する位置を、仮想カメラ４０ｖ（仮想撮像部）の設置位置Ｖとしたが、仮想カメラ４０ｖ（仮想撮像部）の設置位置Ｖの決定方法は、それに限定されるものではなく、他の基準に基づいて決定してもよい。
【０１６３】
さらに、実施例１，実施例２では、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影した画像Ｉｉ（ｘ，ｙ） (ｉ＝Ａ〜Ｄ)に、全て平坦な地面（高さ０の平面）が映っているものと仮定して仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)を生成したが、これは、別の規則に基づいて行ってもよい。例えば、図４Ａ，図４Ｂにおいて、真下に向けて設置された仮想カメラ４０ｖ（仮想撮像部）の位置を中心として、仮想カメラ４０ｖの直下の地面（原点Ｏ）に接する球面を設定して、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）で撮影した画像Ｉｉ（ｘ，ｙ） (ｉ＝Ａ〜Ｄ)を、この球面に投影することによって仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)を生成してもよい。このような座標変換を用いると、地面から高さを有する物体の歪が軽減された仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)を得ることができる。
【０１６４】
また、実施例１，実施例２では、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）から出力されたアナログ信号をデジタル変換して、必要な変換合成処理を行った後、再びアナログ信号に変換してモニタ７８に表示する構成としたが、その構成に限定されるものではなく、デジタル出力が可能なカメラを用いたシステム構成を採り、カメラから出力されたデジタル信号をそのまま画像処理する構成を採ってもよい。
【０１６５】
さらに、実施例１，実施例２では、ＣＡＮ通信線７６を用いて重機姿勢計測部９０で計測された結果を全体制御部９４に通信したが、これはＣＡＮ通信線７６に限定されるものではなく、他の通信線、例えば一般的なシリアル通信線を用いて行ってもよい。
【０１６６】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【符号の説明】
【０１６７】
１０    重機用周辺監視装置
４０ａ  前方カメラ（撮像部）
４０ｂ  左側方カメラ（撮像部）
４０ｃ  後方カメラ（撮像部）
４０ｄ  右側方カメラ（撮像部）
７６    ＣＡＮ通信線
８０    仮想撮像部設置部
８２    座標変換合成テーブル
８４    座標変換合成部
８６    アイコンテーブル
８８    アイコン重畳表示部
９０    重機姿勢計測部
９１    旋回角計測部
９２    アーム長計測部
９３    アーム仰角計測部
９４    全体制御部
９６    表示部
１００  仮想画像生成部
【図１】
2015139158.tif 000003
【図２】
2015139158.tif 000004
【図３】
2015139158.tif 000005
【図４Ａ】
2015139158.tif 000006
【図４Ｂ】
2015139158.tif 000007
【図５Ａ】
2015139158.tif 000008
【図５Ｂ】
2015139158.tif 000009
【図６Ａ】
2015139158.tif 000010
【図６Ｂ】
2015139158.tif 000011
【図７Ａ】
2015139158.tif 000012
【図７Ｂ】
2015139158.tif 000013
【図８】
2015139158.tif 000014
【図９】
2015139158.tif 000015
【図１０Ａ】
2015139158.tif 000016
【図１０Ｂ】
2015139158.tif 000017
【図１０Ｃ】
2015139158.tif 000018
【図１０Ｄ】
2015139158.tif 000019
【図１０Ｅ】
2015139158.tif 000020
【図１０Ｆ】
2015139158.tif 000021
【図１１】
2015139158.tif 000022
【図１２】
2015139158.tif 000023
【図１３】
2015139158.tif 000024
【図１４】
2015139158.tif 000025
【図１５】
2015139158.tif 000026
【図１６Ａ】
2015139158.tif 000027
【図１６Ｂ】
2015139158.tif 000028
【図１７】
2015139158.tif 000029
【図１８Ａ】
2015139158.tif 000030
【図１８Ｂ】
2015139158.tif 000031
【図１９】
2015139158.tif 000032