(57)【要約】【課題】旋回動作時の周辺監視に適した出力画像を生成する画像生成装置を提供すること。【解決手段】旋回動作可能な被操作体６０に取り付けられた撮像手段２が撮像した入力画像に基づいて出力画像を生成する画像生成装置１００は、被操作体６０を取り囲むように配置される空間モデルＭＤであり、中心軸を有する柱状の空間モデルＭＤにおける座標と、その入力画像が位置する入力画像平面Ｒ４における座標とを対応付ける座標対応付け手段１０と、空間モデルＭＤにおける座標を介して、入力画像平面Ｒ４における座標の値とその出力画像が位置する出力画像平面Ｒ５における座標の値とを対応付けて出力画像を生成する出力画像生成手段１１と、を備え、空間モデルＭＤは、撮像手段２の光軸Ｇが空間モデルＭＤの中心軸と交差するように配置される。【選択図】図１
2011223410.tif 000002
【特許請求の範囲】
【請求項１】
旋回動作可能な被操作体に取り付けられた撮像手段が撮像した入力画像に基づいて出力画像を生成する画像生成装置であって、
前記被操作体を取り囲むように配置される空間モデルであり、中心軸を有する柱状の空間モデルにおける座標と、前記入力画像が位置する入力画像平面における座標とを対応付ける座標対応付け手段と、
前記柱状の空間モデルにおける座標を介して、前記入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成手段と、を備え、
前記柱状の空間モデルは、前記撮像手段の光軸が前記柱状の空間モデルの中心軸と交差するように配置される、
ことを特徴とする画像生成装置。
【請求項２】
前記撮像手段は、二以上であり、
前記柱状の空間モデルは、前記撮像手段のそれぞれの光軸を前記中心軸に垂直な一平面に投影した成分のそれぞれが前記柱状の空間モデルの中心軸上の一点で交差するように配置される、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記柱状の空間モデルは、前記撮像手段のそれぞれの光学中心から前記柱状の空間モデルの中心軸に下ろした垂線のそれぞれが互いに垂直となるように配置される、
ことを特徴とする請求項２に記載の画像生成装置。
【請求項４】
旋回動作可能な被操作体に取り付けられた複数の撮像手段が撮像した入力画像に基づいて出力画像を生成する画像生成装置であって、
前記被操作体を取り囲むように配置される空間モデルであり、中心軸を有する柱状の空間モデルにおける座標と、前記入力画像が位置する入力画像平面における座標とを対応付ける座標対応付け手段と、
前記柱状の空間モデルにおける座標を介して、前記入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成手段と、を備え、
前記柱状の空間モデルは、前記複数の撮像手段のそれぞれの光学中心から前記柱状の空間モデルの中心軸に下ろした垂線のそれぞれが互いに垂直となるように配置される、
ことを特徴とする画像生成装置。
【請求項５】
前記座標対応付け手段は、更に、画像変換処理の対象となる処理対象画像が位置する処理対象画像平面における座標と、前記柱状の空間モデルにおける座標とを対応付け、
前記出力画像生成手段は、前記処理対象画像平面における座標と前記柱状の空間モデルにおける座標とを介して、前記入力画像平面における座標の値と前記出力画像平面における座標の値とを対応付けて前記出力画像を生成する、
ことを特徴とする請求項１乃至４の何れか一項に記載の画像生成装置。
【請求項６】
前記出力画像は、円形にトリミングされ、該円の中心が前記柱上の空間モデルの中心軸上で、且つ、前記被操作体の旋回軸上となるように生成される、
ことを特徴とする請求項１乃至５の何れか一項に記載の画像生成装置。
【請求項７】
被操作体の移動又は操作を支援する操作支援システムであって、
請求項１乃至６の何れか一項に記載の画像生成装置と、
前記被操作体を移動させ或いは操作するための操作室に設置され、該画像生成装置が生成する出力画像を表示する表示部と、
を備えることを特徴とする操作支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、旋回動作可能な被操作体に取り付けられた撮像手段が撮像した入力画像に基づいて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムに関する。
【背景技術】
【０００２】
従来、カメラからの入力画像を、三次元空間上の所定の空間モデルにマッピングし、そのマッピングした空間データを参照しながら、その三次元空間における任意の仮想視点から見た視点変換画像を生成して表示する画像生成装置が知られている（例えば、特許文献１参照。）。
【０００３】
この画像生成装置は、車両に搭載されたカメラが撮像した画像を、その車両を囲む複数の平面又は曲面で構成される立体的な空間モデルに投影し、その空間モデルに投影した画像を用いて視点変換画像（路面を真上から見た状態を仮想的に映し出す路面画像と水平方向を映し出す水平画像とを組み合わせた画像である。）を生成し、生成した視点変換画像を運転者に対して表示する。
【０００４】
これにより、この画像生成装置は、車両を運転する運転者がその視点変換画像を見たときに、その視点変換画像における物体と、車外にある実際の物体とを違和感なく対応付けられるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３２８６３０６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の画像生成装置は、車両に搭載されることを前提としており、旋回動作が可能な建設機械等の被操作体への搭載を想定していないため、旋回動作時の被操作体周辺の監視に適した視点変換画像を生成することができない。
【０００７】
上述の点に鑑み、本発明は、旋回動作時の周辺監視に適した出力画像を生成する画像生成装置及びその装置を用いた操作支援システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的を達成するために、本発明の実施例に係る画像生成装置は、旋回動作可能な被操作体に取り付けられた撮像手段が撮像した入力画像に基づいて出力画像を生成する画像生成装置であって、前記被操作体を取り囲むように配置される空間モデルであり、中心軸を有する柱状の空間モデルにおける座標と、前記入力画像が位置する入力画像平面における座標とを対応付ける座標対応付け手段と、前記柱状の空間モデルにおける座標を介して、前記入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成手段と、を備え、前記柱状の空間モデルは、前記撮像手段の光軸が前記柱状の空間モデルの中心軸と交差するように配置されることを特徴とする。
【０００９】
また、本発明の実施例に係る操作支援システムは、被操作体の移動又は操作を支援する操作支援システムであって、上述の画像生成装置と、前記被操作体を移動させ或いは操作するための操作室に設置され、該画像生成装置が生成する出力画像を表示する表示部とを備えることを特徴とする。
【発明の効果】
【００１０】
上述の手段により、本発明は、旋回動作時の周辺監視に適した出力画像を生成する画像生成装置及びその装置を用いた操作支援システムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像生成装置の構成例を概略的に示すブロック図である。
【図２】画像生成装置が搭載されるショベルの構成例を示す図である。
【図３】入力画像が投影される空間モデルの一例を示す図である。
【図４】空間モデルと処理対象画像平面との間の関係の一例を示す図である。
【図５】入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。
【図６】座標対応付け手段による座標間の対応付けを説明するための図である。
【図７】平行線群の作用を説明するための図（その１）である。
【図８】補助線群の作用を説明するための図である。
【図９】平行線群の作用を説明するための図（その２）である。
【図１０】平行線群の作用を説明するための図（その３）である。
【図１１】処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。
【図１２】カメラと空間モデルとの間の位置関係を説明するための図（その１）である。
【図１３】カメラと空間モデルとの間の位置関係を説明するための図（その２）である。
【図１４】カメラと空間モデルとの間の位置関係を説明するための図（その３）である。
【図１５】出力画像の表示例である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【００１３】
図１は、本発明に係る画像生成装置の構成例１００を概略的に示すブロック図である。
【００１４】
画像生成装置１００は、例えば、建設機械に搭載されたカメラ２が撮影した入力画像に基づいて出力画像を生成しその出力画像を運転者に提示する装置であって、制御部１、カメラ２、入力部３、記憶部４、及び表示部５で構成される。
【００１５】
図２は、画像生成装置１００が搭載されるショベル６０の構成例を示す図であり、ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３を旋回軸ＰＶの周りで旋回自在に搭載している。
【００１６】
また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に掘削アタッチメントＥを備え、その右側面及び後面にカメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）を備えている。なお、キャブ６４内の運転者が視認し易い位置には表示部５が設置されているものとする。
【００１７】
次に、画像生成装置１００の各構成要素について説明する。
【００１８】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する座標対応付け手段１０及び出力画像生成手段１１のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。
【００１９】
カメラ２は、ショベル６０の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブ６４にいる運転者の死角となる領域を撮影できるよう上部旋回体６３の右側面及び後面に取り付けられる（図２参照。）、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備えた右側方カメラ２Ｒ及び後方カメラ２Ｂである。なお、カメラ２は、上部旋回体６３の右側面及び後面以外の位置（例えば、前面及び左側面である。）に取り付けられていてもよく、広い範囲を撮影できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
【００２０】
また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部１に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部１に対して出力してもよい。その場合には、制御部１がその見掛け上の歪曲やアオリを補正することとなる。
【００２１】
入力部３は、操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。
【００２２】
記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
【００２３】
表示部５は、画像情報を表示するための装置であり、例えば、建設機械のキャブ６４（図２参照。）内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する各種画像を表示する。
【００２４】
また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周辺障害物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を運転者に提示するようにしてもよい。
【００２５】
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）の対象となる画像であり、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像を画像変換処理で用いる場合に、その水平方向の画像が不自然に表示されないよう（例えば、空の部分が地表にあるものとして扱われないよう）その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる、画像変換処理に適した画像である。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【００２６】
「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面（例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。）を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。
【００２７】
なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【００２８】
図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３（Ａ）は、ショベル６０を側方から見たときのショベル６０と空間モデルＭＤとの間の関係を示し、図３（Ｂ）は、ショベル６０を上方から見たときのショベル６０と空間モデルＭＤとの間の関係を示す。
【００２９】
図３で示されるように、空間モデルＭＤは、半円筒形状を有し、その底面内部の平面領域Ｒ１とその側面内部の曲面領域Ｒ２とを有する。
【００３０】
また、図４は、空間モデルＭＤと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。なお、図４は、明確化のために、空間モデルＭＤを、図３で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルＭＤは、半円筒形状及び円筒形状の何れであってもよいものとする。以降の図においても同様である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。
【００３１】
次に、制御部１が有する各種手段について説明する。
【００３２】
座標対応付け手段１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段であり、例えば、予め設定された、或いは、入力部３を介して入力される、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、それらの対応関係を記憶部４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。
【００３３】
なお、座標対応付け手段１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。
【００３４】
出力画像生成手段１１は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０がその値を記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。
【００３５】
また、出力画像生成手段１１は、予め設定された、或いは、入力部３を介して入力される、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０がその値を記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。
【００３６】
なお、出力画像生成手段１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。
【００３７】
また、出力画像生成手段１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付け、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。
【００３８】
次に、座標対応付け手段１０及び出力画像生成手段１１による具体的な処理の一例について説明する。
【００３９】
座標対応付け手段１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
【００４０】
図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図であり、カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルは、ＸＹＺ直交座標系における立体面として表されるものとする。
【００４１】
最初に、座標対応付け手段１０は、空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するため、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸（符号「−」は方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。）にそれぞれ一致させるようＸＹＺ座標系を回転させる。
【００４２】
なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有することとなるので、座標対応付け手段１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させることとなる。
【００４３】
上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現されるので、座標対応付け手段１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
【００４４】
ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、
【００４５】
【数１】
2011223410.tif 000003
で表されることとなる。
【００４６】
また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から
【００４７】
【数２】
2011223410.tif 000004
で表されることとなる。
【００４８】
なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、
【００４９】
【数３】
2011223410.tif 000005
を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、
【００５０】
【数４】
2011223410.tif 000006
で表されるものとし、四元数Ｑの共役四元数は、
【００５１】
【数５】
2011223410.tif 000007
で表されるものとする。
【００５２】
四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
【００５３】
更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。
【００５４】
【数６】
2011223410.tif 000008
ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、
【００５５】
【数７】
2011223410.tif 000009
で表されることとなる。
【００５６】
また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、
【００５７】
【数８】
2011223410.tif 000010
で表されることとなる。
【００５８】
以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、
【００５９】
【数９】
2011223410.tif 000011
で表されることとなり、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け手段１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。
【００６０】
空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け手段１０は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。
【００６１】
また、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ'とを結ぶ線分ＥＰ'と、平面ＨにおけるＵ'軸とが形成する偏角φ、及び線分ＥＰ'の長さを算出する。
【００６２】
カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっているので、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。
【００６３】
その後、座標対応付け手段１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。
【００６４】
なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａＵとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａＶとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、
【００６５】
【数１０】
2011223410.tif 000012
【００６６】
【数１１】
2011223410.tif 000013
で表されることとなる。
【００６７】
このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。
【００６８】
また、座標対応付け手段１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
【００６９】
なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。
【００７０】
次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。
【００７１】
図６は、座標対応付け手段１０による座標間の対応付けを説明するための図であり、図６（Ａ）は、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図であって、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。
【００７２】
図６（Ａ）の例では、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。
【００７３】
なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け手段１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。
【００７４】
具体的には、座標対応付け手段１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。
【００７５】
図６（Ｂ）は、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図であり、座標対応付け手段１０は、ＸＺ平面上に位置する平行線群ＰＬであって、処理対象画像平面Ｒ３との間で角度βを形成する平行線群ＰＬを導入し、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの一つに乗るようにして、両座標を対応付ける。
【００７６】
図６（Ｂ）の例では、座標対応付け手段１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付けるようにする。
【００７７】
なお、座標対応付け手段１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることが可能であるが、図６（Ｂ）の例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっているので、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有するものとなっている。
【００７８】
このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。
【００７９】
図６（Ｃ）は、処理対象画像平面Ｒ３上の座標と一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図であり、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。
【００８０】
図６（Ｃ）の例では、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。
【００８１】
なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、出力画像生成手段１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付けるようにする。
【００８２】
具体的には、出力画像生成手段１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。
【００８３】
このようにして、出力画像生成手段１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０が記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
【００８４】
なお、図６（Ｄ）は、図６（Ａ）〜図６（Ｃ）を組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。
【００８５】
次に、図７を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの作用について説明する。
【００８６】
図７（Ａ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図であり、図７（Ｂ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β１（β１＞β）が形成される場合の図である。また、図７（Ａ）及び図７（Ｂ）における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応するものとし、図７（Ａ）における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図７（Ｂ）における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しいものとする。なお、平行線群ＰＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の全ての点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在するものとする。なお、この場合のＺ軸を「再投影軸」と称することとする。
【００８７】
図７（Ａ）及び図７（Ｂ）で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度が増大するにつれて線形的に減少する（空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離とは関係なく一様に減少する。）。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図７の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。
【００８８】
これら座標群の間隔の変化は、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
【００８９】
次に、図８を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの代替例について説明する。
【００９０】
図８（Ａ）は、ＸＺ平面上に位置する補助線群ＡＬの全てがＺ軸上の始点Ｔ１から処理対象画像平面Ｒ３に向かって延びる場合の図であり、図８（Ｂ）は、補助線群ＡＬの全てがＺ軸上の始点Ｔ２（Ｔ２＞Ｔ１）から処理対象画像平面Ｒ３に向かって延びる場合の図である。また、図８（Ａ）及び図８（Ｂ）における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応するものとし（図８（Ａ）の例では、座標Ｍｃ、Ｍｄは、処理対象画像平面Ｒ３の領域外となるため図示されていない。）、図８（Ａ）における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図８（Ｂ）における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しいものとする。なお、補助線群ＡＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の任意の一点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在するものとする。なお、図７と同様、この場合のＺ軸を「再投影軸」と称することとする。
【００９１】
図８（Ａ）及び図８（Ｂ）で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、補助線群ＡＬの始点と原点Ｏとの間の距離（高さ）が増大するにつれて非線形的に減少する（空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。）。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図８の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。
【００９２】
これら座標群の間隔の変化は、平行線群ＰＬのときと同様、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
【００９３】
このようにして、画像生成装置１００は、空間モデルＭＤの平面領域Ｒ１に投影された画像に対応する出力画像の画像部分（例えば、路面画像である。）に影響を与えることなく、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する出力画像の画像部分（例えば、水平画像である。）を線形的に或いは非線形的に拡大或いは縮小させることができるので、ショベル６０の近傍の路面画像（ショベル６０を真上から見たときの仮想画像）に影響を与えることなく、ショベル６０の周囲に位置する物体（ショベル６０から水平方向に周囲を見たときの画像における物体）を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル６０の死角領域の視認性を向上させることができる。
【００９４】
次に、図９及び図１０を参照しながら、空間モデルＭＤに投影された画像から直接的に出力画像を生成する場合と、空間モデルＭＤに投影された画像を処理対象画像に再投影しその再投影された処理対象画像から出力画像を生成する場合との違いを説明する。
【００９５】
図９（Ａ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図であり、図９（Ｂ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β２（β２＜β）が形成される場合の図である。また、図９（Ａ）における空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、処理対象画像平面Ｒ３、並びに、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５及び光学中心ＣＶの位置と、図９（Ｂ）のそれぞれとは、共通するものとする。
【００９６】
また、図９（Ａ）及び図９（Ｂ）において、平面領域Ｒ１を含む処理対象画像平面Ｒ３上の座標Ｍ１は、出力画像平面Ｒ５上の座標Ｎ１に対応し、曲面領域Ｒ２上の座標Ｌ２は、処理対象画像平面Ｒ３上の座標Ｍ２、及び出力画像平面Ｒ５上の座標Ｎ２に対応し、距離Ｄ１（Ｄ３）は、出力画像平面Ｒ５の中心点（仮想カメラ２Ｖの光軸ＧＶとの交点）と座標Ｎ１との間のＸ軸上の距離を示し、距離Ｄ２（Ｄ４）は、出力画像平面Ｒ５の中心点と座標Ｎ２との間のＸ軸上の距離を示す。
【００９７】
図９（Ａ）及び図９（Ｂ）で示されるように、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度がβのときの距離Ｄ２（図９（Ａ）参照。）は、その角度が減少するにつれて増大し、その角度がβ２のときに距離Ｄ４（図９（Ｂ）参照。）となるが、その角度がβのときの距離Ｄ１（図９（Ａ）参照。）は、その角度の変化にかかわらず一定であり、その角度がβ２のときの距離Ｄ３（図９（Ｂ）参照。）に等しい。
【００９８】
このように距離Ｄ２が距離Ｄ４に変化すること、及び、距離Ｄ１（Ｄ３）が不変であることは、図７及び図８で説明した作用と同様に、出力画像平面Ｒ５上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分（例えば、水平画像である。）のみが拡大或いは縮小されることを意味する。
【００９９】
なお、空間モデルＭＤに投影された画像に基づいて直接的に出力画像を生成した場合には、空間モデルＭＤの平面領域Ｒ１と曲面領域Ｒ２とを別々に取り扱うことができないため（別々に拡大縮小処理の対象とすることができないため）、曲面領域Ｒ２に投影された画像に対応する出力画像平面Ｒ５上の画像部分のみを拡大或いは縮小することができないこととなる。
【０１００】
図１０は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図であり、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの光学中心ＣＶを空間モデルＭＤの外側（光学中心ＣＶのＸ座標の値を平面領域Ｒ１の半径よりも大きくした状態をいう。）に移動させたときの状態を示す。
【０１０１】
図１０で示されるように、出力画像生成手段１１は、処理対象画像平面Ｒ３（平面領域Ｒ１）上の座標Ｍ１と出力画像平面Ｒ５上の座標Ｎ１とを、線分Ｍ１−Ｎ１が光学中心ＣＶを通るように対応付け、また、曲面領域Ｒ２上の座標Ｌ２に対応する処理対象画像平面Ｒ３上の座標Ｍ２と出力画像平面Ｒ５上の座標Ｎ２とを、線分Ｍ２−Ｎ２が光学中心ＣＶを通るように対応付けるので、空間モデルＭＤの曲面領域Ｒ２に投影された画像から直接的に出力画像を生成する場合のように、円筒の側壁外面を見ることとなって適切な出力画像を生成できないという問題（空間モデルＭＤ上の座標と出力画像平面Ｒ５上の座標とを対応付けることができないという問題）を引き起こすことなく、適切な出力画像を生成することができる。
【０１０２】
なお、図９及び図１０は、通常射影を採用する仮想カメラ２Ｖに関する説明であるが、通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する仮想カメラ２Ｖについても同様の説明が適用され、その場合、出力画像生成手段１１は、処理対象画像平面Ｒ３（平面領域Ｒ１）上の座標Ｍ１と出力画像平面Ｒ５上の座標Ｎ１とを、線分Ｍ１−Ｎ１が光学中心ＣＶを通るように（関数ｈ＝ｆｔａｎαに従って）対応付ける代わりに、それぞれの射影方式に対応する関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に従って出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。
【０１０３】
次に、図１１を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図１１は、処理対象画像生成処理（ステップＳ１〜ステップＳ３）及び出力画像生成処理（ステップＳ４〜ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されているものとする。
【０１０４】
最初に、制御部１は、座標対応付け手段１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。
【０１０５】
具体的には、座標対応付け手段１０は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を取得し、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの一つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出し、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。なお、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度は、記憶部４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。
【０１０６】
また、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。
【０１０７】
その後、制御部１は、座標対応付け手段１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。
【０１０８】
具体的には、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得し、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出し、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。
【０１０９】
その後、制御部１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定し（ステップＳ３）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返すようにする。
【０１１０】
一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、出力画像生成手段１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。
【０１１１】
具体的には、出力画像生成手段１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。
【０１１２】
或いは、出力画像生成手段１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて対象処理画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
【０１１３】
或いは、出力画像生成手段１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得した上で、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出し、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
【０１１４】
その後、制御部１は、出力画像生成手段１１により、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照しながら入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿り、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、出力画像生成手段１１は、それら複数の入力画像平面Ｒ４上の複数の座標のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用するようにしてもよい。
【０１１５】
その後、制御部１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に対応付けたか否かを判定し（ステップＳ６）、未だ全ての座標の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返すようにする。
【０１１６】
一方、制御部１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。
【０１１７】
なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップＳ４の"処理対象画像平面上の座標"を"空間モデル上の座標"で読み替えるものとする。
【０１１８】
以上の構成により、画像生成装置１００は、建設機械と周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
【０１１９】
また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行することにより、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができ、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ（この場合には、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要がある。）、より良質な処理対象画像を迅速に生成することができる。
【０１２０】
また、画像生成装置１００は、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
【０１２１】
また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。
【０１２２】
同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。
【０１２３】
次に、図１２〜図１４を参照しながら、カメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）と空間モデルＭＤとの間の位置関係について説明する。
【０１２４】
図１２（Ａ）は、図３（Ｂ）と同様に、ショベル６０を上方から見たときのカメラ２と空間モデルＭＤとの間の位置関係を示す図であり、図１２（Ｂ）は、図４と同様に、空間モデルＭＤを斜め上方から見たときのカメラ２と空間モデルＭＤとの間の位置関係を示す図であり、図１２（Ｃ）は、画像生成装置１００が生成する処理対象画像を示す図である。
【０１２５】
また、図１２（Ｂ）で最も分かり易く示されるように、円筒状の空間モデルＭＤの円筒中心軸は、再投影軸及びショベル６０の旋回軸ＰＶ（Ｚ軸）に一致するものとし、Ｙ軸上には、Ｚ軸方向に平行に延びる棒状の物体ＯＢＪが存在するものとする。
【０１２６】
図１２（Ｂ）において、後方カメラ２Ｂの光軸Ｇ１及び右側方カメラ２Ｒの光軸Ｇ２はそれぞれ、空間モデルＭＤの平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面（ＸＹ平面）と交差し、また、光軸Ｇ１と光軸Ｇ２とは、円筒中心軸（再投影軸）上の点Ｊ１で交差するものとする。なお、光軸Ｇ１と光軸Ｇ２とは、ＸＹ平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸（再投影軸）上の点で交差するものであれば、ねじれの位置の関係にあってもよい。
【０１２７】
また、後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線は、右側方カメラ２Ｒの光学中心から円筒中心軸（再投影軸）に下ろした垂線と互いに垂直な関係にあるものとする。なお、本実施例では、それら二つの垂線は、平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面と平行な一平面上に存在しながら点Ｊ２で直交しているが、それぞれ別の平面上に位置し、ねじれの位置の関係にあるものであってもよい。
【０１２８】
図１２（Ａ）及び図１２（Ｂ）で示されたカメラ２と空間モデルＭＤとの間の位置関係により、画像生成装置１００は、図１２（Ｃ）で示されるように、Ｙ軸上においてＺ軸方向に平行に延びる棒状の物体ＯＢＪが、平面領域Ｒ１に投影された画像に対応する路面画像部分でＹ軸方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在し、且つ、曲面領域Ｒ２に投影された画像に対応する水平画像部分で同じくＹ軸方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在するよう（すなわち、路面画像部分と水平画像部分との間の境界で折れ曲がることなく）、処理対象画像を生成することができる。
【０１２９】
図１３（Ａ）〜（Ｃ）は、図１２（Ａ）〜（Ｃ）と同様の図であり、円筒状の空間モデルＭＤの円筒中心軸は、再投影軸及びショベル６０の旋回軸ＰＶ（Ｚ軸）に一致するものとし、Ｙ軸上には、Ｚ軸方向に平行に延びる棒状の物体ＯＢＪが存在し、更に、右側方カメラ２Ｒの光軸Ｇ２の方向にも、ＸＹ平面からＺ軸方向に平行に延びる棒状の物体ＯＢＪ１が存在するものとする。
【０１３０】
図１３（Ｂ）において、後方カメラ２Ｂの光軸Ｇ１及び右側方カメラ２Ｒの光軸Ｇ２はそれぞれ、図１２の位置関係と同様、空間モデルＭＤの平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面（ＸＹ平面）と交差し、また、光軸Ｇ１と光軸Ｇ２とは、円筒中心軸（再投影軸）上の点Ｊ１で交差するものとする。なお、光軸Ｇ１と光軸Ｇ２とは、ＸＹ平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸（再投影軸）上の点で交差するものであれば、ねじれの位置の関係にあってもよい。
【０１３１】
一方、後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線は、右側方カメラ２Ｒの光学中心から円筒中心軸（再投影軸）に下ろした垂線と互いに垂直な関係とはならず、後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線が、右側方カメラ２Ｒの光学中心からその垂線に下ろした垂線と円筒中心軸（再投影軸）上にない点Ｊ２で直交するものとする。なお、本実施例では、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心は、平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面と平行な一平面上に存在しているが、それぞれ別の平面上に位置し、互いの垂線がねじれの位置の関係にあるものであってもよい。
【０１３２】
図１３（Ａ）及び図１３（Ｂ）で示されたカメラ２と空間モデルＭＤとの間の位置関係により、画像生成装置１００は、図１３（Ｃ）で示されるように、Ｙ軸上においてＺ軸方向に平行に延びる棒状の物体ＯＢＪが、平面領域Ｒ１に投影された画像に対応する路面画像部分でＹ軸方向から僅かに離れる方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在し、且つ、曲面領域Ｒ２に投影された画像に対応する水平画像部分でＹ軸方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在するよう（すなわち、路面画像部分と水平画像部分との間の境界で僅かに折れ曲がって）、処理対象画像を生成することとなる。
【０１３３】
一方で、画像生成装置１００は、図１３（Ｃ）で示されるように、右側方カメラ２Ｒの光軸Ｇ２の方向にあるＺ軸方向に平行に延びる棒状の物体ＯＢＪ１が、平面領域Ｒ１に投影された画像に対応する路面画像部分で光軸Ｇ２方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在し、且つ、曲面領域Ｒ２に投影された画像に対応する水平画像部分で同じく光軸Ｇ２方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在するよう（すなわち、路面画像部分と水平画像部分との間の境界で折れ曲がることなく）、処理対象画像を生成することができる。
【０１３４】
図１４（Ａ）〜（Ｃ）は、図１２（Ａ）〜（Ｃ）と同様の図であり、円筒状の空間モデルＭＤの円筒中心軸は、再投影軸及びショベル６０の旋回軸ＰＶ（Ｚ軸）に一致するものとし、Ｙ軸上には、Ｚ軸方向に平行に延びる棒状の物体ＯＢＪが存在するものとし、更に、右側方カメラ２Ｒの光軸Ｇ２の方向にも、ＸＹ平面からＺ軸方向に平行に延びる棒状の物体ＯＢＪ２が存在するものとする。
【０１３５】
図１４（Ｂ）において、後方カメラ２Ｂの光軸Ｇ１及び右側方カメラ２Ｒの光軸Ｇ２はそれぞれ、図１２の位置関係と同様、空間モデルＭＤの平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面（ＸＹ平面）と交差し、後方カメラ２Ｂの光学中心から円筒中心軸（再投影軸）に下ろした垂線は、右側方カメラ２Ｒの光学中心から円筒中心軸（再投影軸）に下ろした垂線と互いに垂直な関係であるものとする。なお、本実施例では、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心は、平面領域Ｒ１及び処理対象画像平面Ｒ３が位置する平面と平行な一平面上に存在するが、それぞれ別の平面上に位置し、互いの垂線がねじれの位置の関係にあるものであってもよい。
【０１３６】
一方、光軸Ｇ１と光軸Ｇ２とは、円筒中心軸（再投影軸）上で交差することなく、円筒中心軸（再投影軸）上にない点Ｊ１で交差するものとする。なお、光軸Ｇ１と光軸Ｇ２とは、ＸＹ平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸（再投影軸）上にない点で交差するものであれば、ねじれの位置の関係にあってもよい。
【０１３７】
図１４（Ａ）及び図１４（Ｂ）で示されたカメラ２と空間モデルＭＤとの間の位置関係により、画像生成装置１００は、図１４（Ｃ）で示されるように、右側方カメラ２Ｒの光軸Ｇ２の方向にあるＺ軸方向に平行に延びる棒状の物体ＯＢＪ２が、平面領域Ｒ１に投影された画像に対応する路面画像部分で光軸Ｇ２方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在し、且つ、曲面領域Ｒ２に投影された画像に対応する水平画像部分でＹ軸方向にほぼ平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ２上の点とを通る直線の方向）に延在するよう（すなわち、路面画像部分と水平画像部分との間の境界で僅かに折れ曲がって）、処理対象画像を生成することとなる。
【０１３８】
一方、画像生成装置１００は、図１４（Ｃ）で示されるように、Ｙ軸上においてＺ軸方向に平行に延びる棒状の物体ＯＢＪが、平面領域Ｒ１に投影された画像に対応する路面画像部分でＹ軸方向に平行な方向（右側方カメラ２Ｒの光学中心と物体ＯＢＪ上の点とを通る直線の方向）に延在し、且つ、曲面領域Ｒ２に投影された画像に対応する水平画像部分で同じくＹ軸方向に平行な方向（再投影軸上の点（平行線群ＰＬ又は補助線群ＡＬの始点）と物体ＯＢＪ上の点とを通る直線の方向）に延在するよう（すなわち、路面画像部分と水平画像部分との間の境界で折れ曲がることなく）、処理対象画像を生成することができる。
【０１３９】
このように、画像生成装置１００は、空間モデルＭＤの円筒中心軸（再投影軸）とカメラの光軸とを交差させるようにして空間モデルＭＤを配置することによって、カメラの光軸方向にある物体が路面画像部分と水平画像部分との間の境界で折れ曲がることがないように、処理対象画像を生成することができる。なお、この利点は、カメラが一台のみの場合にもカメラが三台以上の場合にも当てはまる。
【０１４０】
また、画像生成装置１００は、後方カメラ２Ｂ及び右側方カメラ２Ｒの光学中心のそれぞれから空間モデルＭＤの円筒中心軸（再投影軸）に下ろした垂線のそれぞれが互いに垂直となるようにして空間モデルＭＤを配置することによって、ショベル６０の右真横及び真後ろにある物体が路面画像部分と水平画像部分との間の境界で折れ曲がることがないように、処理対象画像を生成することができる。なお、この利点は、カメラが三台以上の場合にも当てはまる。
【０１４１】
なお、図１２〜図１４で示されるカメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）と空間モデルＭＤとの間の位置関係及び作用効果は、画像生成装置１００が処理対象画像を生成する場合に対応するものであるが、画像生成装置１００が処理対象画像を生成しない場合（処理対象画像平面Ｒ３が存在しない場合）にも当てはまるものであり、この場合、図１２（Ｃ）、図１３（Ｃ）、及び図１４（Ｃ）の処理対象画像は、空間モデルＭＤに投影された画像を用いて生成される出力画像で読み替えられるものとする。
【０１４２】
図１５は、ショベル６０に搭載された二台のカメラ２（右側方カメラ２Ｒ及び後方カメラ２Ｂ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例であり、画像生成装置１００は、入力画像の一部を空間モデルＭＤの平面領域Ｒ１に投影し、且つ、入力画像の別の一部を空間モデルＭＤの曲面領域Ｒ２に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成し、その生成した処理対象画像に基づいて、平面領域Ｒ１に投影された画像に対応する、ショベル６０の近傍を上空から見下ろす画像と、曲面領域Ｒ２に投影された画像に対応する、すなわち、処理対象画像平面Ｒ３に再投影された画像に対応する、ショベル６０から水平方向に周辺を見た画像とを組み合わせて表示している。
【０１４３】
なお、出力画像は、画像生成装置１００が処理対象画像を生成しない場合には、空間モデルＭＤに投影された画像に画像変換処理（例えば、視点変換処理である。）を施すことによって生成されるものとする。
【０１４４】
また、出力画像は、ショベル６０が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心ＣＴＲが空間モデルＭＤの円筒中心軸上で、且つ、ショベル６０の旋回軸ＰＶ上となるように生成されており、ショベル６０の旋回動作に応じてその中心ＣＴＲを軸に回転するように表示される。この場合、空間モデルＭＤの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。
【０１４５】
なお、空間モデルＭＤの半径は、例えば、５メートルであり、平行線群ＰＬが処理対象画像平面Ｒ３との間で形成する角度、又は、補助線群ＡＬの始点高さは、ショベル６０の旋回中心から掘削アタッチメントＥの最大到達距離（例えば１２メートルである。）だけ離れた位置に物体（例えば、作業員である。）が存在する場合にその物体が表示部５で十分大きく（例えば、７ミリメートル以上である。）表示されるように、設定され得る。
【０１４６】
更に、出力画像は、ショベル６０のＣＧ画像を、ショベル６０の前方が表示部５の画面上方と一致し、且つ、その旋回中心が中心ＣＴＲと一致するように配置するようにしてもよい。ショベル６０と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。
【０１４７】
この状態において、画像生成装置１００は、図９で示されるように、平面領域Ｒ１に投影された画像に対応する出力画像における画像部分に影響を与えることなく、曲面領域Ｒ２に投影され更に処理対象画像平面Ｒ３に再投影された画像に対応する出力画像における画像部分のみを拡大或いは縮小させたり、図１０で示されるように、曲面領域Ｒ２に投影され更に処理対象画像平面Ｒ３に再投影された画像に対応する出力画像における画像部分を真上から見下ろすべく、その画像部分を表示部５の画面領域における任意の位置（例えば、中央）に移動させたりすることができる。
【０１４８】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【０１４９】
例えば、上述の実施例において、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
【０１５０】
また、画像生成装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の被操作体にカメラと共に搭載され、それら他の被操作体の操作を支援する操作支援システムに組み入れられてもよい。
【符号の説明】
【０１５１】
１・・・制御部  ２・・・カメラ  ２Ｒ・・右側方カメラ  ２Ｂ・・後方カメラ  ３・・・入力部  ４・・・記憶部  ５・・・表示部  １０・・・座標対応付け手段  １１・・・出力画像生成手段  ４０・・・入力画像・空間モデル対応マップ  ４１・・・空間モデル・処理対象画像対応マップ  ４２・・・処理対象画像・出力画像対応マップ  ６０・・・ショベル  ６１・・・下部走行体  ６２・・・旋回機構  ６３・・・上部旋回体  ６４・・・キャブ
【図１】
2011223410.tif 000014
【図２】
2011223410.tif 000015
【図３】
2011223410.tif 000016
【図４】
2011223410.tif 000017
【図５】
2011223410.tif 000018
【図６】
2011223410.tif 000019
【図７】
2011223410.tif 000020
【図８】
2011223410.tif 000021
【図９】
2011223410.tif 000022
【図１０】
2011223410.tif 000023
【図１１】
2011223410.tif 000024
【図１２】
2011223410.tif 000025
【図１３】
2011223410.tif 000026
【図１４】
2011223410.tif 000027
【図１５】
2011223410.tif 000028