(57)【要約】【課題】出力画像の調整をさらに容易にする処理対象画像生成装置を提供すること。【解決手段】画像生成装置１００は、複数の入力画像に基づいて処理対象画像を生成する。画像生成装置１００は、各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルＭＤにおける座標ＰＰ１、ＰＰ２と、処理対象画像平面Ｒ３における座標ＰＴ１、ＰＴ２とを対応付ける座標対応付け部１１と、座標ＰＰ１、ＰＰ２と座標ＰＴ１、ＰＴ２とを結ぶ再投影線ＲＬ１、ＲＬ２の再投影角度γ１、γ２を入力画像毎に決定して処理対象画像を調整する画像調整部１２とを備える。画像調整部１２は、処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における無限遠線に対応する処理対象画像平面Ｒ３上の各座標が一致するように再投影線ＲＬ１、ＲＬ２の傾きを入力画像毎に決定する。【選択図】図１５
2014216797.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラが撮像した複数の入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成装置であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記処理対象画像が位置する処理対象画像平面であり前記空間モデルに投影された画像が再投影される処理対象画像平面における座標とを対応付ける座標対応付け部と、
前記空間モデル上の座標と該空間モデル上の座標に対応する前記処理対象画像平面上の座標とを結ぶ直線の傾きを入力画像毎に決定して前記処理対象画像を調整する画像調整部と、を備え、
前記座標対応付け部は、一つの入力画像に関する前記直線のそれぞれが前記処理対象画像平面に垂直な平面において平行となるよう前記空間モデル上の座標と前記処理対象画像平面上の座標とを対応付け、
前記画像調整部は、前記処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する、
処理対象画像生成装置。
【請求項２】
複数のカメラが撮像した複数の入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成装置であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記処理対象画像が位置する処理対象画像平面であり前記空間モデルに投影された画像が再投影される処理対象画像平面における座標とを対応付ける座標対応付け部と、
前記空間モデル上の座標と該空間モデル上の座標に対応する前記処理対象画像平面上の座標とを結ぶ直線の傾きを入力画像毎に決定して前記処理対象画像を調整する画像調整部と、を備え、
前記座標対応付け部は、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう前記空間モデル上の座標と前記処理対象画像平面上の座標とを対応付け、
前記画像調整部は、前記処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する、
処理対象画像生成装置。
【請求項３】
前記距離は、調整可能に設定される、
請求項１又は２に記載の処理対象画像生成装置。
【請求項４】
前記複数のカメラは、異なる高さに設置される、
請求項１乃至３の何れか一項に記載の処理対象画像生成装置。
【請求項５】
各入力画像における所定地物は、各カメラから見た無限遠線である、
請求項１乃至４の何れか一項に記載の処理対象画像生成装置。
【請求項６】
複数のカメラが撮像した複数の入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成方法であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記処理対象画像が位置する処理対象画像平面であり前記空間モデルに投影された画像が再投影される処理対象画像平面における座標とを対応付ける座標対応付けステップと、
前記空間モデル上の座標と該空間モデル上の座標に対応する前記処理対象画像平面上の座標とを結ぶ直線の傾きを入力画像毎に決定して前記処理対象画像を調整する画像調整ステップと、を有し、
前記座標対応付けステップでは、一つの入力画像に関する前記直線のそれぞれが前記処理対象画像平面に垂直な平面において平行となるよう、前記処理対象画像平面上の座標が前記空間モデル上の座標に対応付けられ、
前記画像調整ステップでは、前記処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標が一致するように前記直線の傾きが入力画像毎に決定される、
処理対象画像生成方法。
【請求項７】
複数のカメラが撮像した複数の入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成方法であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記処理対象画像が位置する処理対象画像平面であり前記空間モデルに投影された画像が再投影される処理対象画像平面における座標とを対応付ける座標対応付けステップと、
前記空間モデル上の座標と該空間モデル上の座標に対応する前記処理対象画像平面上の座標とを結ぶ直線の傾きを入力画像毎に決定して前記処理対象画像を調整する画像調整ステップと、を有し、
前記座標対応付けステップでは、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう、前記処理対象画像平面上の座標が前記空間モデル上の座標に対応付けられ、
前記画像調整ステップでは、前記処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標が一致するように前記直線の傾きが入力画像毎に決定される、
処理対象画像生成方法。
【請求項８】
被操作体の移動又は操作を支援する操作支援システムであって、
請求項１又は２に記載の処理対象画像生成装置と、
前記被操作体を移動させ或いは操作するための操作室に設置され、前記処理対象画像生成装置が生成した処理対象画像に基づいて生成される出力画像を表示する表示部と、
を備えることを特徴とする操作支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成装置、処理対象画像生成方法、及びその装置又は方法を用いた操作支援システムに関する。
【背景技術】
【０００２】
従来、カメラからの入力画像を、三次元空間上の所定の空間モデルにマッピングし、そのマッピングした空間データを参照しながら、その三次元空間における任意の仮想視点から見た視点変換画像を生成して表示する画像生成装置が知られている（例えば、特許文献１参照。）。
【０００３】
この画像生成装置は、車両に搭載されたカメラが撮像した画像を、その車両を囲む複数の平面又は曲面で構成される立体的な空間モデルに投影し、その空間モデルに投影した画像を用いて視点変換画像（路面を真上から見た状態を仮想的に映し出す路面画像と水平方向を仮想的に映し出す水平画像とを組み合わせた画像である。）を生成し、生成した視点変換画像を運転者に対して表示する。
【０００４】
これにより、この画像生成装置は、車両を運転する運転者がその視点変換画像を見たときに、その視点変換画像における物体と、車外にある実際の物体とを違和感なく対応付けられるようにしている。
【０００５】
また、特許文献１に記載されるような画像生成装置に比べ、出力画像を調整する際の柔軟性を向上させることができる画像生成装置が知られている（特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３２８６３０６号明細書
【特許文献２】特許第５１３５３８０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、出力画像の調整をさらに容易にする処理対象画像生成装置、処理対象画像生成方法、及びその装置又は方法を用いた操作支援システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的を達成するために、本発明の実施例に処理対象画像生成装置は、複数のカメラが撮像した複数の入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成装置であって、各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記処理対象画像が位置する処理対象画像平面であり前記空間モデルに投影された画像が再投影される処理対象画像平面における座標とを対応付ける座標対応付け部と、前記空間モデル上の座標と該空間モデル上の座標に対応する前記処理対象画像平面上の座標とを結ぶ直線の傾きを入力画像毎に決定して前記処理対象画像を調整する画像調整部と、を備え、前記座標対応付け部は、一つの入力画像に関する前記直線のそれぞれが前記処理対象画像平面に垂直な平面において平行となるよう、或いは、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう、前記空間モデル上の座標と前記処理対象画像平面上の座標とを対応付け、前記画像調整部は、前記処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する。
【０００９】
また、本発明の実施例に係る処理対象画像生成方法は、複数のカメラが撮像した複数の入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成方法であって、各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記処理対象画像が位置する処理対象画像平面であり前記空間モデルに投影された画像が再投影される処理対象画像平面における座標とを対応付ける座標対応付けステップと、前記空間モデル上の座標と該空間モデル上の座標に対応する前記処理対象画像平面上の座標とを結ぶ直線の傾きを入力画像毎に決定して前記処理対象画像を調整する画像調整ステップと、を有し、前記座標対応付けステップでは、一つの入力画像に関する前記直線のそれぞれが前記処理対象画像平面に垂直な平面において平行となるよう、或いは、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう、前記処理対象画像平面上の座標が前記空間モデル上の座標に対応付けられ、前記画像調整ステップでは、前記処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標が一致するように前記直線の傾きが入力画像毎に決定される。
【００１０】
また、本発明の実施例に係る操作支援システムは、被操作体の移動又は操作を支援する操作支援システムであって、上述の処理対象画像生成装置と、前記被操作体を移動させ或いは操作するための操作室に設置され、前記処理対象画像生成装置が生成した処理対象画像に基づいて生成される出力画像を表示する表示部と、を備える。
【発明の効果】
【００１１】
上述の手段により、本発明は、出力画像の調整をさらに容易にする処理対象画像生成装置、処理対象画像生成方法、及びその装置又は方法を用いた操作支援システムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。
【図２】図１の画像生成装置が搭載されるジブクレーンの構成例を示す図である。
【図３】入力画像が投影される空間モデルの一例を示す図（その１）である。
【図４】空間モデルと処理対象画像平面との間の関係の一例を示す図である。
【図５】入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。
【図６】座標対応付け部による座標間の対応付けを説明するための図である。
【図７】平行線群の作用を説明するための図である。
【図８】補助線群の作用を説明するための図である。
【図９】処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。
【図１０】ジブクレーンの走行体に取り付けられる８台のカメラの配置図である。
【図１１】図１０の８台のカメラの撮像範囲の概略図である。
【図１２】図１０の８台のカメラの入力画像から部分画像を経て出力画像を生成する処理の流れを示すブロック図である。
【図１３】図１２の処理における入力画像、部分画像、及び出力画像の例を示す図である。
【図１４】走行体監視画像の特徴を説明する図である。
【図１５】出力画像と再投影角度との関係を説明する図（その１）である。
【図１６】出力画像調整処理の流れを示すフローチャートである。
【図１７】空間モデルと再投影線との関係を示す模式図である。
【図１８】本発明の実施例に係る画像生成装置が搭載されるショベルの構成例を示す図である。
【図１９】入力画像が投影される空間モデルの一例を示す図（その２）である。
【図２０】図１８のショベルに搭載された３台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
【図２１】出力画像と再投影角度との関係を説明する図（その２）である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【００１４】
図１は、本発明の実施例に係るジブクレーンに搭載される画像生成装置１００の構成例を概略的に示すブロック図である。
【００１５】
画像生成装置１００は、ジブクレーンの周辺を監視する周辺監視装置の一例であり、主に、制御装置１、カメラ２、記憶装置４、無線通信装置５ａ、５ｂ、及び表示装置６で構成される。具体的には、画像生成装置１００は、ジブクレーンに搭載されるカメラ２が撮像した入力画像に基づいて出力画像を生成しその出力画像を表示装置６に表示する。
【００１６】
図２は、画像生成装置１００が搭載されるジブクレーン６０の構成例を示す図であり、図２左図がジブクレーン６０の側面視であり、図２右図がジブクレーン６０の前面視である。
【００１７】
ジブクレーン６０は、屋外に設置される走行クレーンであり、主に、レールＲＡ上を走行する走行体６１と、走行体６１上に設置される塔体６２と、塔体６２上に設置される旋回体６３と、旋回体６３に取り付けられるジブ６４とを有する。
【００１８】
走行体６１は、一対の脚部６１ａ、６１ｂとそれら一対の脚部６１ａ、６１ｂを接続する桁部６１ｃとで構成される門型形状のフレームを有し、駆動源６１ｄによって駆動される。旋回体６３は、図２の状態において、−Ｘ側端部の＋Ｙ側に運転室６３ａを備え、−Ｘ側端部の中央部にジブ６４が取り付けられる。なお、走行体６１には制御装置１、カメラ２、及び無線通信装置５ａが設置され、旋回体６３には無線通信装置５ｂが設置され、運転室６３ａ内の操作者が視認し易い位置には表示装置６が設置される。
【００１９】
次に、画像生成装置１００の各構成要素について説明する。
【００２０】
制御装置１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。本実施例では、制御装置１は、走行体６１又は塔体６２に設置され、例えば、後述する座標対応付け部１０、画像生成部１１、及び画像調整部１２のそれぞれの機能要素に対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各機能要素に対応する処理をＣＰＵに実行させる。なお、制御装置１は、旋回体６３に設置されてもよい。
【００２１】
カメラ２は、ジブクレーン６０の周囲を映し出す入力画像を取得するための装置であり、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子で構成される。本実施例では、カメラ２は、例えば、運転室６３ａにいる操作者の死角となる領域を撮像できるよう、走行体６１に取り付けられる複数の走行体用カメラ（後述）を含む。なお、カメラ２は、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されてもよい。
【００２２】
また、カメラ２は、制御装置１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御装置１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御装置１に対して出力する。また、カメラ２は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御装置１に対して出力してもよい。その場合には、制御装置１がその見掛け上の歪曲やアオリを補正する。
【００２３】
記憶装置４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
【００２４】
無線通信装置５ａ、５ｂは、情報を無線で送受信するための装置である。本実施例では、無線通信装置５ａは、走行体６１に設置され、制御装置１に有線接続される。また、無線通信装置５ｂは、旋回体６３に設置され、表示装置６に有線接続される。そして、無線通信装置５ａは、カメラ２の入力画像に基づいて制御装置１が生成する出力画像を無線通信装置５ｂに対して無線で送信する。無線通信装置５ｂは、無線通信装置５ａから送信される出力画像を無線で受信すると、受信した出力画像を表示装置６に対して出力する。なお、無線通信装置５ａ、５ｂは、制御装置１とカメラ２との間に配置されてもよい。この場合、無線通信装置５ａは、走行体６１又は塔体６２に設置され、カメラ２に有線接続される。また、無線通信装置５ｂは、旋回体６３に設置され、旋回体６３に設置された制御装置１に有線接続される。この構成により、画像生成装置１００は、有線接続を採用する際に生じるケーブルの取り回し、ケーブルの保護等に関する問題を排除できる。例えば、塔体６２には、運転者若しくは作業者の昇降用の階段、エレベータ等が設置される。また、塔体６２には、走行体６１に設置される機器と旋回体６３に設置される機器とを繋ぐ多くの配線が設置される。そのため、さらなるケーブルを設置するためのスペースの確保が困難な場合がある。このような状況においても、画像生成装置１００は、無線通信装置５ａ、５ｂを用いることにより、カメラ２と表示装置６との間で画像を送受信できる。
【００２５】
表示装置６は、画像情報を表示するための装置であり、例えば、ジブクレーン６０の運転室６３ａ（図２参照。）内に設置される液晶ディスプレイ又はプロジェクタ等であって、制御装置１が出力する各種画像を表示する。
【００２６】
また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の物体との位置関係や距離感を直感的に把握できるようにする出力画像を生成し、その出力画像を表示装置６上に表示させてもよい。
【００２７】
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理（例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。）の対象となる画像である。具体的には、「処理対象画像」は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像から生成される、画像変換処理に適した画像である。より具体的には、画像生成装置１００は、その水平方向の画像が不自然に表示されないよう（例えば、空の部分が地表にあるものとして扱われないよう）その入力画像を所定の空間モデルに投影する。そして、画像生成装置１００は、その空間モデルに投影した投影画像を別の二次元平面に再投影することによって処理対象画像を生成する。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【００２８】
「空間モデル」は、入力画像の投影対象である。具体的には、「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される。処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。
【００２９】
なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【００３０】
図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３左図は、走行体６１を側方から見たときの走行体６１と空間モデルＭＤとの間の関係を示し、図３右図は、走行体６１を上方から見たときの走行体６１と空間モデルＭＤとの間の関係を示す。
【００３１】
図３に示すように、空間モデルＭＤは、円筒形状を有し、その底面内側の平面領域Ｒ１とその側面内側の曲面領域Ｒ２とを有する。
【００３２】
また、図４は、空間モデルＭＤと処理対象画像平面Ｒ３との間の関係の一例を示す図であり、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。
【００３３】
次に、制御装置１が有する各種機能要素について説明する。
【００３４】
座標対応付け部１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段である。本実施例では、座標対応付け部１０は、例えば、予め設定された、或いは、動的に入力されるカメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付ける。なお、カメラ２に関する各種パラメータは、例えば、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、座標対応付け部１０は、それらの対応関係を記憶装置４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。
【００３５】
なお、座標対応付け部１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。
【００３６】
画像生成部１１は、出力画像を生成するための手段である。本実施例では、画像生成部１１は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、画像生成部１１は、その対応関係を記憶装置４の処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成部１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等である。
【００３７】
例えば、画像生成部１１は、予め設定された、或いは、動的に入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、例えば、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、画像生成部１１は、その対応関係を記憶装置４の処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成部１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
【００３８】
なお、画像生成部１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成してもよい。
【００３９】
また、画像生成部１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付ける。そして、画像生成部１１は、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成部１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。
【００４０】
画像調整部１２は、画像生成装置１００が生成する出力画像を調整するための手段である。本実施例では、画像調整部１２は、入力画像における所定地物を表す画像に対応する空間モデルＭＤ上の座標とその空間モデルＭＤ上の座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ再投影線（後述）を入力画像毎に導き出す。そして、画像調整部１２は、その再投影線の傾き（例えば、鉛直線に対する角度であり、以下、「再投影角度」とする。）を入力画像毎に決定して処理対象画像を調整する。また、画像調整部１２は、各入力画像における所定地物を表す画像に対応する処理対象画像平面Ｒ３上の各座標と空間モデルＭＤの再投影軸（後述）との間の距離が等しくなるように再投影角度を入力画像毎に決定する。なお、「各入力画像における所定地物を表す画像」は、各入力画像に跨って存在し得る地物を表す画像であり、例えば、水平線、地平線等の無限遠線を表す画像、ジブクレーン６０の周辺にある壁面に水平に描かれた線を表す画像、路面に描かれた線を表す画像等を含む。また、画像調整部１２による処理対象画像の調整についてはその詳細を後述する。
【００４１】
次に、座標対応付け部１０及び画像生成部１１による具体的な処理の一例について説明する。
【００４２】
座標対応付け部１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
【００４３】
図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表される。空間モデルは、ＸＹＺ直交座標系における立体面として表される。
【００４４】
最初に、座標対応付け部１０は、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸にそれぞれ一致させるようＸＹＺ座標系を回転させる。空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するためである。なお、「−Ｗ軸」の符号「−」は、Ｚ軸の方向と−Ｗ軸の方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。
【００４５】
なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有するので、座標対応付け部１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させる。
【００４６】
上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現される。そのため、座標対応付け部１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
【００４７】
ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当する。そして、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、
【００４８】
【数１】
2014216797.tif 000003
で表される。
【００４９】
また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から
【００５０】
【数２】
2014216797.tif 000004
で表されることとなる。
【００５１】
なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、
【００５２】
【数３】
2014216797.tif 000005
を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、
【００５３】
【数４】
2014216797.tif 000006
で表され、四元数Ｑの共役四元数は、
【００５４】
【数５】
2014216797.tif 000007
で表される。
【００５５】
四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
【００５６】
更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。具体的には、四元数Ｑは、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。
【００５７】
【数６】
2014216797.tif 000008
ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、
【００５８】
【数７】
2014216797.tif 000009
で表される。
【００５９】
また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、
【００６０】
【数８】
2014216797.tif 000010
で表される。
【００６１】
以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、
【００６２】
【数９】
2014216797.tif 000011
で表される。また、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け部１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。
【００６３】
空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け部１０は、線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。なお、線分ＣＰ'は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分である。
【００６４】
また、座標対応付け部１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける偏角φ、及び線分ＥＰ'の長さを算出する。なお、線分ＥＰ'は、平面Ｈと光軸Ｇとの交点Ｅと、座標Ｐ'とを結ぶ線分であり、偏角φは、平面ＨにおけるＵ'軸と線分ＥＰ'とが形成する角度である。
【００６５】
カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっている。そのため、座標対応付け部１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。
【００６６】
その後、座標対応付け部１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け部１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。
【００６７】
なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａＵとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａＶとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、
【００６８】
【数１０】
2014216797.tif 000012
【００６９】
【数１１】
2014216797.tif 000013
で表される。
【００７０】
このようにして、座標対応付け部１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。
【００７１】
また、座標対応付け部１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け部１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
【００７２】
なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け部１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。
【００７３】
次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。
【００７４】
図６は、座標対応付け部１０による座標間の対応付けを説明するための図である。Ｆ６Ａは、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図である。座標対応付け部１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。
【００７５】
Ｆ６Ａの例では、座標対応付け部１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。
【００７６】
なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け部１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付ける。
【００７７】
具体的には、座標対応付け部１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。
【００７８】
Ｆ６Ｂは、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図である。座標対応付け部１０は、ＸＺ平面上に位置する再投影線群としての平行線群ＰＬであって、Ｚ軸との間で角度γを形成する平行線群ＰＬを導入する。そして、座標対応付け部１０は、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの一つに乗るようにして、両座標を対応付ける。
【００７９】
Ｆ６Ｂの例では、座標対応付け部１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付ける。
【００８０】
なお、座標対応付け部１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることも可能である。しかしながら、Ｆ６Ｂの例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっている。そのため、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有する。
【００８１】
このようにして、座標対応付け部１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。
【００８２】
Ｆ６Ｃは、処理対象画像平面Ｒ３上の座標と、一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図である。画像生成部１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。
【００８３】
Ｆ６Ｃの例では、画像生成部１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。
【００８４】
なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、画像生成部１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付ける。
【００８５】
具体的には、画像生成部１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。
【００８６】
このようにして、画像生成部１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成部１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
【００８７】
なお、Ｆ６Ｄは、Ｆ６Ａ〜Ｆ６Ｃを組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。
【００８８】
次に、図７を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け部１０が導入する平行線群ＰＬの作用について説明する。
【００８９】
図７左図は、ＸＺ平面上に位置する平行線群ＰＬとＺ軸との間で角度γが形成される場合の図である。一方、図７右図は、ＸＺ平面上に位置する平行線群ＰＬとＺ軸との間で角度γ１（γ１＞γ）が形成される場合の図である。また、図７左図及び図７右図における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応する。また、図７左図における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図７右図における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しい。なお、平行線群ＰＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の全ての点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在する。なお、この場合のＺ軸を「再投影軸」と称する。
【００９０】
図７左図及び図７右図で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、平行線群ＰＬと再投影軸との間の角度γが減少するにつれて線形的に減少する。すなわち、空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離とは関係なく一様に減少する。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図７の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。
【００９１】
これら座標群の間隔の変化は、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
【００９２】
次に、図８を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け部１０が導入する平行線群ＰＬの代替例について説明する。
【００９３】
図８左図は、ＸＺ平面上に位置する再投影線群としての補助線群ＡＬの全てがＺ軸上の始点Ｔ１から処理対象画像平面Ｒ３に向かって延びる場合の図である。一方、図８右図は、補助線群ＡＬの全てがＺ軸上の始点Ｔ２（Ｔ２＞Ｔ１）から処理対象画像平面Ｒ３に向かって延びる場合の図である。また、図８左図及び図８右図における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応する。なお、図８左図の例では、座標Ｍｃ、Ｍｄは、処理対象画像平面Ｒ３の領域外となるため図示されていない。また、図８左図における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図８右図における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しい。なお、補助線群ＡＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の任意の一点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在する。なお、図７と同様、この場合のＺ軸を「再投影軸」と称する。
【００９４】
図８左図及び図８右図で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、補助線群ＡＬの始点と原点Ｏとの間の距離（高さ）が増大するにつれて非線形的に減少する。すなわち、空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図８の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。
【００９５】
これら座標群の間隔の変化は、平行線群ＰＬのときと同様、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
【００９６】
このようにして、画像生成装置１００は、空間モデルＭＤの平面領域Ｒ１に投影された画像に対応する出力画像の画像部分（例えば、路面画像である。）に影響を与えることなく、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する出力画像の画像部分（例えば、水平画像である。）を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、画像生成装置１００は、走行体６１の近傍の路面画像（走行体６１を真上から見たときの仮想画像）に影響を与えることなく、走行体６１の周囲に位置する物体（走行体６１から水平方向に周囲を見たときの画像における物体）を迅速且つ柔軟に拡大或いは縮小させることができ、ジブクレーン６０の死角領域の視認性を向上させることができる。
【００９７】
次に、図９を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図９は、処理対象画像生成処理（ステップＳ１〜ステップＳ３）及び出力画像生成処理（ステップＳ４〜ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されている。
【００９８】
最初に、制御装置１は、座標対応付け部１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。
【００９９】
具体的には、座標対応付け部１０は、平行線群ＰＬと再投影軸との間に形成される再投影角度を取得する。そして、座標対応付け部１０は、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの一つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出する。そして、座標対応付け部１０は、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。また、本実施例では、平行線群ＰＬと再投影軸との間に形成される再投影角度は、画像調整部１２によってカメラ毎（入力画像毎）に決定される値である。なお、再投影角度は、記憶装置４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。
【０１００】
また、座標対応付け部１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。
【０１０１】
その後、制御装置１は、座標対応付け部１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。
【０１０２】
具体的には、座標対応付け部１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得する。そして、座標対応付け部１０は、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出する。そして、座標対応付け部１０は、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。
【０１０３】
その後、制御装置１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定する（ステップＳ３）。そして、制御装置１は、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返す。
【０１０４】
一方、制御装置１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。そして、制御装置１は、画像生成部１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。
【０１０５】
具体的には、画像生成部１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、画像生成部１１は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。
【０１０６】
或いは、画像生成部１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
【０１０７】
或いは、画像生成部１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得する。そして、画像生成部１１は、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出する。そして、画像生成部１１は、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出す。このようにして、画像生成部１１は、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
【０１０８】
その後、制御装置１の画像生成部１１は、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照する。そして、画像生成部１１は、入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿る。そして、画像生成部１１は、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、画像生成部１１は、それら複数の入力画像平面Ｒ４上の複数の座標のそれぞれの値に基づく統計値を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用してもよい。統計値は、例えば、平均値、最大値、最小値、中間値等である。
【０１０９】
その後、制御装置１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に対応付けたか否かを判定する（ステップＳ６）。そして、制御装置１は、未だ全ての座標の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返す。
【０１１０】
一方、制御装置１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。
【０１１１】
なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップＳ４の"処理対象画像平面上の座標"は、"空間モデル上の座標"で読み替えられる。
【０１１２】
以上の構成により、画像生成装置１００は、走行体６１の周囲の物体と走行体６１との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
【０１１３】
また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行する。これにより、画像生成装置１００は、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置１００は、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。
【０１１４】
なお、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合であっても、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができる。しかしながら、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要がある。
【０１１５】
また、画像生成装置１００は、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される再投影角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
【０１１６】
また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。
【０１１７】
同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。
【０１１８】
次に、図１０〜図１４を参照しながら、走行体６１に取り付けられる８台のカメラの入力画像を用いて画像生成装置１００が出力画像としての走行体監視画像を生成する処理について説明する。なお、図１０は、ジブクレーン６０の走行体６１の上面視、側面視、及び前面視を用いた８台のカメラの配置図である。また、図１１は、走行体６１の上面視、側面視、及び前面視を用いた８台のカメラの撮像範囲の概略図である。また、図１２は、８つの入力画像から４つの部分画像を経て１つの出力画像を生成する処理の流れを示すブロック図である。また、図１３は、図１２の処理における入力画像、部分画像、及び出力画像の例を示す図である。また、図１４は、走行体監視画像の特徴を説明する図である。
【０１１９】
図１０に示すように、ジブクレーン６０の走行体６１には８台のカメラ２−１〜２−８が取り付けられる。具体的には、走行体６１の上面視Ｆ１０Ａ、側面視Ｆ１０Ｂ、及び前面視Ｆ１０Ｃで示すように、走行体６１には、脚部６１ａの外側（＋Ｙ側）を撮像する２つのカメラ２−１、２−５と、レール延在方向の一方の側（＋Ｘ側）を撮像するカメラ２−２と、一対の脚部６１ａ、６１ｂの間の空間を撮像する２つのカメラ２−３、２−７と、レール延在方向の他方の側（−Ｘ側）を撮像するカメラ２−６と、脚部６１ｂの外側（−Ｙ側）を撮像する２つのカメラ２−４、２−８とが取り付けられる。
【０１２０】
カメラ２−１は、桁部６１ｃの＋Ｙ側の上端部に取り付けられ、図１１の上面視Ｆ１１Ａ及び前面視Ｆ１１Ｃにおける二点鎖線で示す光軸を有し、その光軸は点ＣＰ１において路面と交差する。また、上面視Ｆ１１Ａ及び前面視Ｆ１１Ｃにおける粗いドットパターンで示す領域ＣＲ１は、カメラ２−１の撮像範囲の一部を表す。なお、図１１では、図の明瞭化のため、カメラの図示を省略する。また、側面視Ｆ１１Ｂは、上面視Ｆ１１Ａにおける点線で示す鉛直面をＤＢ方向から見た部分断面図であり、前面視Ｆ１１Ｃは、側面視Ｆ１１Ｂにおける点線で示す鉛直面をＤＣ方向から見た部分断面図である。また、側面視Ｆ１１Ｂでは、図の明瞭化のため、脚部６１ａ、６１ｂの一部の図示を省略する。
【０１２１】
カメラ２−２は、桁部６１ｃの下面に取り付けられ、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける破線で示す光軸を有し、その光軸は点ＣＰ２において路面と交差する。また、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける左下がり斜線パターンで示す領域ＣＲ２は、カメラ２−２の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａにおける領域ＣＲ１−２は、カメラ２−１の撮像範囲とカメラ２−２の撮像範囲とが重複する領域を表す。また、カメラ２−２は、桁部６１ｃの上面又は側面に取り付けられてもよい。
【０１２２】
カメラ２−３は、桁部６１ｃの下面に取り付けられ、側面視Ｆ１１Ｂにおける一点鎖線で示す光軸を有し、その光軸は点ＣＰ３において路面と交差する。また、上面視Ｆ１１Ａ、側面視Ｆ１１Ｂ、及び前面視Ｆ１１Ｃにおける右下がり斜線パターンで示す領域ＣＲ３は、カメラ２−３の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける領域ＣＲ２−３は、カメラ２−２の撮像範囲とカメラ２−３の撮像範囲とが重複する領域を表す。
【０１２３】
カメラ２−４は、桁部６１ｃの−Ｙ側の上端部に取り付けられ、上面視Ｆ１１Ａ及び前面視Ｆ１１Ｃにおける二点鎖線で示す光軸を有し、その光軸は点ＣＰ４において路面と交差する。また、上面視Ｆ１１Ａ及び前面視Ｆ１１Ｃにおける粗いドットパターンで示す領域ＣＲ４は、カメラ２−４の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａにおける領域ＣＲ２−４は、カメラ２−２の撮像範囲とカメラ２−４の撮像範囲とが重複する領域を表す。
【０１２４】
カメラ２−５は、桁部６１ｃの＋Ｙ側の上端部に取り付けられ、上面視Ｆ１１Ａにおける二点鎖線で示す光軸を有し、その光軸は点ＣＰ５において路面と交差する。また、上面視Ｆ１１Ａにおける細かいドットパターンで示す領域ＣＲ５は、カメラ２−５の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａにおける領域ＣＲ１−５は、カメラ２−１の撮像範囲とカメラ２−５の撮像範囲とが重複する領域を表す。
【０１２５】
カメラ２−６は、桁部６１ｃの下面に取り付けられ、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける破線で示す光軸を有し、その光軸は点ＣＰ６において路面と交差する。また、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける右下がり斜線パターンで示す領域ＣＲ６は、カメラ２−６の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａにおける領域ＣＲ５−６は、カメラ２−５の撮像範囲とカメラ２−６の撮像範囲とが重複する領域を表す。また、カメラ２−６は、桁部６１ｃの上面又は側面に取り付けられてもよい。
【０１２６】
カメラ２−７は、桁部６１ｃの下面に取り付けられ、側面視Ｆ１１Ｂにおける一点鎖線で示す光軸を有し、その光軸は点ＣＰ７において路面と交差する。また、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける左下がり斜線パターンで示す領域ＣＲ７は、カメラ２−７の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａ及び側面視Ｆ１１Ｂにおける領域ＣＲ６−７は、カメラ２−６の撮像範囲とカメラ２−７の撮像範囲とが重複する領域を表す。
【０１２７】
カメラ２−８は、桁部６１ｃの−Ｙ側の上端部に取り付けられ、上面視Ｆ１１Ａにおける二点鎖線で示す光軸を有し、その光軸は点ＣＰ８において路面と交差する。また、上面視Ｆ１１Ａにおける細かいドットパターンで示す領域ＣＲ８は、カメラ２−８の撮像範囲の一部を表す。なお、上面視Ｆ１１Ａにおける領域ＣＲ６−８は、カメラ２−６の撮像範囲とカメラ２−８の撮像範囲とが重複する領域を表す。また、上面視Ｆ１１Ａにおける領域ＣＲ４−８は、カメラ２−４の撮像範囲とカメラ２−８の撮像範囲とが重複する領域を表す。
【０１２８】
上述のように配置される８台のカメラ２−１〜２−８はそれぞれ、制御装置１に対して入力画像Ｇ１〜Ｇ８を出力する。
【０１２９】
次に、図１２及び図１３を参照しながら、８台のカメラ２−１〜２−８が出力する８つの入力画像Ｇ１〜Ｇ８から４つの部分画像を経て１つの出力画像を生成する処理の流れについて説明する。
【０１３０】
本実施例では、制御装置１は、３つの入力画像を用いて、最終的な出力画像の一部を構成する部分画像の１つを生成する部分画像生成装置としての３画像合成装置２０−１〜２０−４と、４つの部分画像を用いて１つの出力画像を生成する出力画像生成装置としての４画像合成装置２１−１とを有する。
【０１３１】
なお、図１３上段は、８台のカメラ２−１〜２−８のそれぞれが出力する８つの入力画像Ｇ１〜Ｇ８の例を示す。また、図１３中段は、４台の３画像合成装置２０−１〜２０−４のそれぞれが出力する４つの部分画像Ｇ１１〜Ｇ１４の例を示す。また、図１３下段は、４画像合成装置２１−１が出力する出力画像Ｇ２０の例を示す。
【０１３２】
３画像合成装置２０−１は、カメラ２−１からの入力画像Ｇ１と、カメラ２−２からの入力画像Ｇ２と、カメラ２−３からの入力画像Ｇ３とに基づいて中間画像Ｇ１１を生成する。そして、３画像合成装置２０−１は、生成した中間画像Ｇ１１を４画像合成装置２１−１に対して出力する。
【０１３３】
同様に、３画像合成装置２０−２は、カメラ２−２からの入力画像Ｇ２と、カメラ２−３からの入力画像Ｇ３と、カメラ２−４からの入力画像Ｇ４とに基づいて中間画像Ｇ１２を生成する。また、３画像合成装置２０−３は、カメラ２−５からの入力画像Ｇ５と、カメラ２−６からの入力画像Ｇ６と、カメラ２−７からの入力画像Ｇ７とに基づいて中間画像Ｇ１３を生成する。また、３画像合成装置２０−４は、カメラ２−６からの入力画像Ｇ６と、カメラ２−７からの入力画像Ｇ７と、カメラ２−８からの入力画像Ｇ８とに基づいて中間画像Ｇ１４を生成する。そして、３画像合成装置２０−２、２０−３、２０−４は、生成した中間画像Ｇ１２、Ｇ１３、Ｇ１４を４画像合成装置２１−１に対して出力する。
【０１３４】
４画像合成装置２１−１は、３画像合成装置２０−１〜２０−４からの部分画像Ｇ１１〜Ｇ１４に基づいて出力画像Ｇ２０を生成する。そして、４画像合成装置２１−１は、無線通信装置５ａ、５ｂを介して、生成した出力画像Ｇ２０を表示装置６に対して出力する。
【０１３５】
その結果、図１３中段の中間画像Ｇ１１は、入力画像Ｇ１の一部が対応付けられる画像部分Ｇ１Ｐと、入力画像Ｇ２の一部が対応付けられる画像部分Ｇ２Ｐ１と、入力画像Ｇ３の一部が対応付けられる画像部分Ｇ３Ｐ１とを含む。
【０１３６】
また、図１３中段の中間画像Ｇ１２は、入力画像Ｇ２の別の一部が対応付けられる画像部分Ｇ２Ｐ２と、入力画像Ｇ３の別の一部が対応付けられる画像部分Ｇ３Ｐ２と、入力画像Ｇ４の一部が対応付けられる画像部分Ｇ４Ｐとを含む。
【０１３７】
また、図１３中段の中間画像Ｇ１３は、入力画像Ｇ５の一部が対応付けられる画像部分Ｇ５Ｐと、入力画像Ｇ６の一部が対応付けられる画像部分Ｇ６Ｐ１と、入力画像Ｇ７の一部が対応付けられる画像部分Ｇ７Ｐ１とを含む。
【０１３８】
また、図１３中段の中間画像Ｇ１４は、入力画像Ｇ６の別の一部が対応付けられる画像部分Ｇ６Ｐ２と、入力画像Ｇ７の別の一部が対応付けられる画像部分Ｇ７Ｐ２と、入力画像Ｇ８の一部が対応付けられる画像部分Ｇ８Ｐとを含む。
【０１３９】
また、図１３下段の出力画像Ｇ２０は、中間画像Ｇ１１〜Ｇ１４のそれぞれが対応付けられる画像部分Ｇ１１Ｐ〜Ｇ１４Ｐを含む。
【０１４０】
ここで、図１３及び図１４を参照しながら、画像生成装置１００によって生成される出力画像Ｇ２０の詳細について説明する。なお、図１４は、出力画像Ｇ２０の一例であり、図１３下段の出力画像Ｇ２０に対応する。また、図１４中の点線で示す円は、空間モデルＭＤの平面領域Ｒ１と処理対象画像平面Ｒ３との間の境界を表す。また、図１４中の点線で示す４つの線分ＬＳ１〜ＬＳ４は、走行体６１の側方を撮像する側方用カメラ（カメラ２−１、２−４、２−５、２−８）の入力画像の一部が対応付けられる画像部分と、レールＲＡに沿った遠方の走行路を撮像する遠方用カメラ（カメラ２−２、２−６）の入力画像の一部が対応付けられる画像部分との間の境界線を表す。また、図１４中の白丸は、空間モデルＭＤの円筒中心ＣＴＲを表す。なお、図１４中の点線及び白丸は、実際の出力画像Ｇ２０では表示されない。
【０１４１】
図１３及び図１４に示すように、画像生成装置１００は、８台のカメラ２−１〜２−８のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影し、曲面領域Ｒ２に投影した画像を処理対象画像平面Ｒ３に再投影する。そして、画像生成装置１００は、平面領域Ｒ１に投影した画像と処理対象画像平面Ｒ３に再投影した画像とに基づいて出力画像Ｇ２０を生成する。
【０１４２】
具体的には、画像生成装置１００は、空間モデルＭＤを底面が四半円となる４つの部分空間モデルに分割し、且つ、処理対象画像平面Ｒ３を対応する４つの部分処理対象画像平面に分割する。そして、画像生成装置１００は、３台のカメラの入力画像を１つの部分空間モデルの平面領域及び曲面領域に投影し、曲面領域に投影した画像を対応する部分処理対象画像平面に再投影する（図１３中段参照。）。そして、画像生成装置１００は、４つの平面領域に投影した画像と４つの部分処理対象画像平面に再投影した画像とに基づいて出力画像Ｇ２０を生成する（図１３下段参照。）。このようにして、画像生成装置１００は、走行体６１の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、走行体６１から水平方向に周囲を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する走行体監視画像を出力画像Ｇ２０として生成する。
【０１４３】
また、本実施例では、画像生成装置１００は、図１３及び図１４に示すように、一対の脚部６１ａ、６１ｂの間の空間の路面画像（画像部分Ｇ３Ｐ１、Ｇ３Ｐ２、Ｇ７Ｐ１、Ｇ７Ｐ２）と、走行体６１の側方の空間の画像（画像部分Ｇ１Ｐ、Ｇ４Ｐ、Ｇ５Ｐ、Ｇ８Ｐ）とを直接的に隣接させる。すなわち、画像生成装置１００は、走行体６１の脚部６１ａ、６１ｂがあたかも存在しないように出力画像Ｇ２０を生成する。
【０１４４】
また、本実施例では、画像生成装置１００は、図１４に示すように、走行体６１のＸ軸方向長さと空間モデルＭＤの円筒の直径とが一致するように出力画像Ｇ２０を生成する。また、画像生成装置１００は、その円筒面が脚部６１ａ、６１ｂの両端部（上面視における脚部６１ａの２つの端部と脚部６１ｂの２つの端部の合計４つの端部）を通過するように出力画像Ｇ２０を生成する。
【０１４５】
さらに、本実施例では、画像生成装置１００は、図１４で示すように、円筒中心ＣＴＲと脚部６１ａの上面視における＋Ｘ側の端部とを通る直線の一部である線分ＬＳ１を画像部分Ｇ１Ｐと画像部分Ｇ２Ｐ１との境界線（図１３中段参照。）に設定する。同様に、画像生成装置１００は、円筒中心ＣＴＲと脚部６１ｂの上面視における＋Ｘ側の端部とを通る直線の一部である線分ＬＳ２を画像部分Ｇ４Ｐと画像部分Ｇ２Ｐ２との境界線（図１３中段参照。）に設定する。また、画像生成装置１００は、円筒中心ＣＴＲと脚部６１ａの上面視における−Ｘ側の端部とを通る直線の一部である線分ＬＳ３を画像部分Ｇ５Ｐと画像部分Ｇ６Ｐ１との境界線（図１３中段参照。）に設定する。また、画像生成装置１００は、円筒中心ＣＴＲと脚部６１ｂの上面視における−Ｘ側の端部とを通る直線の一部である線分ＬＳ４を画像部分Ｇ８Ｐと画像部分Ｇ６Ｐ２との境界線（図１３中段参照。）に設定する。なお、円筒中心ＣＴＲは、カメラ２−２、２−３、２−６、２−７の取り付け位置である。この画像配置により、画像生成装置１００は、画像部分Ｇ２Ｐ１、Ｇ２Ｐ２、Ｇ６Ｐ１、Ｇ６Ｐ２（図１３中段参照。）において、脚部６１ａ、６１ｂの端部を円筒中心ＣＴＲから見た水平画像を表示でき、脚部６１ａ、６１ｂの端部の延在方向外側を操作者に提示できる。
【０１４６】
以上の構成により、画像生成装置１００が搭載されるジブクレーン６０は、走行体監視画像を操作者に提示することによって、ジブクレーン６０の操作者による安全確認を促進できる。その結果、ジブクレーン６０は、操作者が走行体６１を走行させる際の周辺障害物（人、車両等である。）と走行体６１との衝突を防止できる。また、ジブクレーン６０は、一対の脚部６１ａ、６１ｂの間の空間内の様子を操作者に提示することによって、操作者が走行体６１を走行させる際の、その空間内における周辺障害物（人、車両等である。）と走行体６１との衝突を防止できる。また、ジブクレーン６０は、一対の脚部６１ａ、６１ｂのそれぞれの外側の空間の様子を操作者に提示することによって、操作者が走行体６１を走行させる際の、その外側の空間における周辺障害物（人、車両等である。）と走行体６１との衝突を防止できる。
【０１４７】
また、画像生成装置１００は、レールＲＡに沿った遠方の走行路を撮像する遠方用カメラと、走行体６１の一対の脚部６１ａ、６１ｂの間にある近傍の走行路の路面を撮像する近傍用カメラとを別々に用意する。具体的には、画像生成装置１００は、遠方用カメラとしてカメラ２−２及び２−６を備え、近傍用カメラとしてカメラ２−３及び２−７を備える。そのため、画像生成装置１００は、遠方の走行路の撮像環境（例えば、周囲の明るさである。）と、近傍の走行路の撮像環境とが異なる場合であっても、個々のカメラのオートゲインコントロール機能、デイナイト機能等を有効に利用できる。すなわち、画像生成装置１００は、一方の撮像環境への適応のために他方の撮像環境への適応が犠牲になるのを防止できる。例えば、一対の脚部６１ａ、６１ｂの間の空間の明るさが一対の脚部６１ａ、６１ｂの外側の空間の明るさと異なる場合に１つのカメラでそれら明るさの異なる２つの空間を撮像すると、何れか一方の空間に対応する画像部分が露出オーバー又は露出アンダーとなる。しかしながら、明るさの異なる２つの空間を別々のカメラで撮像すれば、２つの空間のそれぞれに対応する画像部分を適正露出で撮像できる。
【０１４８】
また、本実施例では、図１１の側面視Ｆ１１Ｂに示すように、路面高さにおける、交点ＣＰ２と交点ＣＰ３との間の距離Ｄ２−３、交点ＣＰ６と交点ＣＰ７との間の距離Ｄ６−７、及び、交点ＣＰ３と交点ＣＰ７との間の距離Ｄ３−７が、走行体６１のＸ軸方向長さを３等分するように、４台のカメラ２−２、２−３、２−６、及び２−７が配置される。入力画像の画素数を一定とした場合、距離Ｄ２−３が大きくなると、部分画像Ｇ２Ｐ１、Ｇ２Ｐ２の解像度が低下するためであり、距離Ｄ３−７が大きくなると、部分画像Ｇ３Ｐ１、Ｇ３Ｐ２、Ｇ７Ｐ１、Ｇ７Ｐ２の解像度が低下するためであり、また、距離Ｄ６−７が大きくなると、部分画像Ｇ６Ｐ１、Ｇ６Ｐ２の解像度が低下するためである。なお、交点ＣＰ２は、カメラ２−２の光軸と路面との交点であり、交点ＣＰ３は、カメラ２−３の光軸と路面と交点であり、交点ＣＰ６は、カメラ２−６の光軸と路面と交点であり、交点ＣＰ７は、カメラ２−７の光軸と路面との交点である。このカメラ配置により、画像生成装置１００は、部分画像Ｇ２Ｐ１、Ｇ２Ｐ２、Ｇ３Ｐ１、Ｇ３Ｐ２、Ｇ６Ｐ１、Ｇ６Ｐ２、Ｇ７Ｐ１、及びＧ７Ｐ２における解像度を高め、各カメラの入力画像を効率的に利用できる。
【０１４９】
また、本実施例では、図１１の前面視Ｆ１１Ｃに示すように、右下がり斜線パターンで示すカメラ２−３の撮像範囲ＣＲ３は、一対の脚部６１ａ、６１ｂの対向する２つの内壁６１ａ１、６１ｂ１の下部領域を含むように設定される。具体的には、カメラ２−３の撮像範囲ＣＲ３は、例えば、仮に脚部６１ａ、６１ｂが存在しなければ、路面高さにおいてカメラ２−１の撮像範囲ＣＲ１及びカメラ２−４の撮像範囲ＣＲ４と接するように設定される。この場合、下部領域の高さＨ１は、例えば２メートルである。このカメラ配置により、画像生成装置１００は、内壁６１ａ１、６１ｂ１に沿うように存在する人の頭部を確実に入力画像内に捉えることができ、その人の足下のみを捉えるといった状況が発生してしまうのを回避できる。その結果、画像生成装置１００は、内壁６１ａ１、６１ｂ１に沿うように存在する物体（特に人物）の上面視を出力画像に表示することができ、その物体が出力画像から消失するのを抑制或いは防止できる。
【０１５０】
また、上述の実施例において、画像生成装置１００は、４台の３画像合成装置を用いて４つの部分画像を生成した後、４画像合成装置を用いてそれら４つの部分画像を合成して出力画像を生成する。このように、画像生成装置１００は、同じ構成を有する複数台の画像合成装置を利用することによって、カメラ台数の変化に柔軟に対応することができる。また、画像生成装置１００は、同じ構成を有する複数台の画像合成装置を利用することによって、複数の入力画像から１つの出力画像を生成するために必要な画像合成装置の全体としてのコストを低減させることができる。また、画像生成装置１００は、画像の合成を複数の画像合成装置に分担させることによって、出力画像生成の高速化、リアルタイム化をより容易に実現できるようにする。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置１００は、部分画像を生成することなく、８つの入力画像から直接的に１つの出力画像を生成してもよい。或いは、画像生成装置１００は、２つの入力画像又は４つ以上の入力画像を用いて１つの部分画像を生成する画像合成装置を用いてもよく、２つ、３つ、又は５つ以上の部分画像を用いて１つの出力画像を生成する画像合成装置を用いてもよい。また、画像生成装置１００は、３画像合成装置、４画像合成装置、及び５画像合成装置の組み合わせといったように、部分画像を生成する際に、受け入れる入力画像の数が異なる２種類以上の画像合成装置を併用してもよい。
【０１５１】
また、画像生成装置１００は、走行体６１に取り付けられた８台の走行体用カメラ（カメラ２−１〜２−８）のそれぞれが出力する８つの入力画像Ｇ１〜Ｇ８から走行体監視画像Ｇ２０を生成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置１００は、８台のカメラ２−１〜２−８のうちの１又は複数のカメラを省略してもよい。例えば、画像生成装置１００は、遠方用カメラ（カメラ２−２、２−６）を省略してもよく、近傍用カメラ（カメラ２−３、２−７）を省略してもよく、或いは、側方用カメラ（カメラ２−１、２−４、２−５、２−８）を省略してもよい。
【０１５２】
次に、図１５を参照して、制御装置１が出力画像を調整する処理について説明する。なお、図１５は、出力画像と再投影角度との関係を説明する図であり、図１５左図が画像調整部１２による調整前の出力画像Ｇ２０Ｂを含み、図１５右図が画像調整部１２による調整後の出力画像Ｇ２０を含む。また、出力画像Ｇ２０Ｂ、Ｇ２０の下の図は、空間モデルＭＤとカメラ２−１、２−２に関する再投影線ＲＬ１、ＲＬ２との関係を示す模式図である。なお、図の明瞭化のため、その他のカメラに関する再投影線等の図示を省略する。
【０１５３】
図１５において、画像部分Ｇ１Ｐと画像部分Ｇ２Ｐ１との境界線である線分ＬＳ１上に配置される座標ＰＴ１は、画像部分Ｇ１Ｐにおける無限遠線（地平線、水平線）に相当する曲線ＨＬ１（点線）と線分ＬＳ１との交点を表す。また、線分ＬＳ１上に配置される座標ＰＴ２は、画像部分Ｇ２Ｐ１における無限遠線に相当する曲線ＨＬ２（一点鎖線）と線分ＬＳ１との交点を表す。また、曲線ＨＬ１、ＨＬ２は、無限遠線が実際に見えているか否かにかかわらず、仮に遮蔽物が存在しなかった場合に見える無限遠線の位置を表す。また、曲線ＨＬ１、ＨＬ２は、円筒形状を有する空間モデルＭＤを用いて生成される処理対象画像の画像部分Ｇ１Ｐ、Ｇ２Ｐ１における無限遠線に相当するために円弧状の曲線となっている。しかしながら、無限遠線に相当する線は、必ずしも曲線になるとは限らない。例えば、直方体形状の空間モデルを用いて処理対象画像が生成される場合、無限遠線に相当する線は直線となる。なお、線分ＬＳ１、座標ＰＴ１、ＰＴ２、曲線ＨＬ１、ＨＬ２、円筒中心ＣＴＲ、カメラ２−１、２−２は、説明のための線図であり、出力画像Ｇ２０Ｂ、Ｇ２０上に実際に表示されることはない。
【０１５４】
図１５左図に示すように、画像調整部１２による調整前、すなわち、カメラ２−１に関する再投影線ＲＬ１の再投影角度γとカメラ２−２に関する再投影線ＲＬ２の再投影角度γとが等しいという条件下では、曲線ＨＬ１及び曲線ＨＬ２は不連続となる。これは、カメラ２−１の設置高さＨＴ１が、カメラ２−２の設置高さＨＴ２と異なることに起因する。
【０１５５】
具体的には、再投影線ＲＬ１、ＲＬ２は、円筒中心（再投影軸）ＣＴＲに対して角度γを形成する平行線群を構成する。そして、再投影線ＲＬ１、ＲＬ２は、座標ＰＰ１、ＰＰ２において空間モデルＭＤの曲面領域Ｒ２と交差し、座標ＰＴ１、ＰＴ２において処理対象画像平面Ｒ３と交差する。なお、座標ＰＰ１の高さは、カメラ２−１の座標とカメラ２−１から見た無限遠点とを通る直線が空間モデルＭＤの曲面領域Ｒ２と交差する点の高さに対応する。同様に、座標ＰＰ２の高さは、カメラ２−２の座標とカメラ２−２から見た無限遠点とを通る直線が空間モデルＭＤの曲面領域Ｒ２と交差する点の高さに対応する。すなわち、座標ＰＰ１、ＰＰ２の高さは、カメラ２−１、２−２から見た無限遠線の位置に対応し、カメラ２−１、２−２の高さＨＴ１、ＨＴ２に相当する。
【０１５６】
換言すると、再投影線ＲＬ１は、カメラ２−１の入力画像平面における無限遠線に相当する線上の座標に対応する空間モデルＭＤの曲面領域Ｒ２上の座標ＰＰ１と、その座標ＰＰ１に対応する処理対象画像平面上の座標ＰＴ１とを結ぶ直線である。また、再投影線ＲＬ２は、カメラ２−２の入力画像平面における無限遠線に相当する線上の座標に対応する空間モデルＭＤの曲面領域Ｒ２上の座標ＰＰ２と、その座標ＰＰ２に対応する処理対象画像平面上の座標ＰＴ２とを結ぶ直線である。
【０１５７】
そして、各カメラ（各入力画像）における再投影角度γが共通であるため、座標ＰＴ１と再投影軸ＣＴＲとの間の距離は、座標ＰＴ２と再投影軸ＣＴＲとの間の距離より大きい。すなわち、座標ＰＴ１と座標ＰＴ２とが一致しない。その結果、曲線ＨＬ１及び曲線ＨＬ２は不連続となる。
【０１５８】
一方、図１５右図に示すように、画像調整部１２による調整後、すなわち、カメラ２−１に関する再投影線ＲＬ１の再投影角度γ１とカメラ２−２に関する再投影線ＲＬ２の再投影角度γ２とが個別に決定されるという条件下では、曲線ＨＬ１及び曲線ＨＬ２は連続となり得る。
【０１５９】
本実施例では、画像調整部１２は、座標ＰＴ１と再投影軸ＣＴＲとの間の距離が、座標ＰＴ２と再投影軸ＣＴＲとの間の距離と等しくなるよう、すなわち、座標ＰＴ１と座標ＰＴ２とが一致するよう、再投影角度γ１、γ２を個別に決定する。
【０１６０】
具体的には、画像調整部１２は、入力装置（図示せず。）を用いて操作者が入力する所望の無限遠線位置（例えば、曲線ＨＬ１、ＨＬ２と再投影軸ＣＴＲとの間の距離である。）を取得する。そして、画像調整部１２は、取得した無限遠線位置に基づいて座標ＰＴ１、ＰＴ２を決定する。そして、画像調整部１２は、新たに決定した座標ＰＴ１と座標ＰＰ１とを通る直線である再投影線ＲＬ１と再投影軸ＣＴＲとの間に形成される角度を再投影角度γ１として導き出す。同様に、画像調整部１２は、新たに決定した座標ＰＴ２と座標ＰＰ２とを通る直線である再投影線ＲＬ２と再投影軸ＣＴＲとの間に形成される角度を再投影角度γ２として導き出す。
【０１６１】
このようにして、画像調整部１２は、操作者の入力操作に応じて再投影角度をカメラ毎（入力画像毎）に決定し、所望の無限遠線位置で曲線ＨＬ１と曲線ＨＬ２とが連続となるようにする。すなわち、複数の画像部分のそれぞれにおける無限遠線に相当する位置が連続となるようにする。
【０１６２】
次に、図１６を参照して、制御装置１が出力画像を調整する処理（以下、「出力画像調整処理」とする。）の流れについて説明する。なお、図１６は、出力画像調整処理の流れを示すフローチャートであり、制御装置１は、例えば、操作者の入力操作に応じてこの出力画像調整処理を実行する。
【０１６３】
最初に、制御装置１の画像調整部１２は、無限遠線位置を取得する（ステップＳ１１）。本実施例では、操作者は、出力画像Ｇ２０Ｂ（図１５参照。）を見ながらタッチパネルを用いて無限遠線に相当する部分を表示させたい位置をタッチ入力する。画像調整部１２は、タッチ入力された座標から、カメラ２−１の入力画像に関連する処理対象画像中の画像部分における座標ＰＴ１を決定し、且つ、カメラ２−２の入力画像に関連する処理対象画像中の画像部分における座標ＰＴ２を決定する。
【０１６４】
具体的には、画像調整部１２は、タッチ入力された座標と再投影軸ＣＴＲとの間の距離が、座標ＰＴ１と再投影軸ＣＴＲとの間の距離に等しく、且つ、座標ＰＴ２と再投影軸ＣＴＲとの間の距離に等しくなるように、座標ＰＴ１、ＰＴ２を決定する。
【０１６５】
その後、画像調整部１２は、無限遠線位置に対応する再投影線をカメラ毎（入力画像毎）に導き出す（ステップＳ１２）。本実施例では、画像調整部１２は、座標ＰＴ１と座標ＰＰ１とを通る直線をカメラ２−１に関する再投影線ＲＬ１として導き出す。また、画像調整部１２は、座標ＰＴ２と座標ＰＰ２とを通る直線をカメラ２−２に関する再投影線ＲＬ２として導き出す。また、画像調整部１２は、他のカメラ（少なくとも、出力画像Ｇ２０における水平画像部分を構成する入力画像を出力するカメラを含む。）に関する再投影線を同様に導き出す。
【０１６６】
その後、画像調整部１２は、再投影角度をカメラ毎（入力画像毎）に導き出す（ステップＳ１３）。本実施例では、画像調整部１２は、再投影線ＲＬ１と再投影軸ＣＴＲとの間に形成される角度を再投影角度γ１として導き出す。また、画像調整部１２は、再投影線ＲＬ２と再投影軸ＣＴＲとの間に形成される角度を再投影角度γ２として導き出す。他のカメラに関する再投影線についても同様である。
【０１６７】
その後、制御装置１の座標対応付け部１０は、画像調整部１２が決定した各カメラ（各入力画像）に関する再投影角度に基づいて記憶装置４における各種対応マップを更新する（ステップＳ１４）。
【０１６８】
その後、制御装置１の画像生成部１１は、座標対応付け部１０が更新した各種対応マップに基づいて処理対象画像を生成する（ステップＳ１５）。本実施例では、画像生成部１１は、図９の処理対象画像生成処理を実行する。
【０１６９】
次に、図１７を参照して、出力画像調整処理の別の例について説明する。なお、図１７は、空間モデルＭＤとカメラ２−１、２−２に関する再投影線ＲＬ１、ＲＬ２との関係を示す模式図であり、図１５の一部に対応する。なお、図１７の例は、無限遠線位置の代わりに、走行体６１の近傍にある所定の地物の位置を用いる点で図１５の例と相違する。
【０１７０】
具体的には、図１７は、複数の画像部分のそれぞれにおける、走行体６１の周囲にある壁面に水平に描かれた白線を表す画像部分が連続となるように、各カメラ（各入力画像）の再投影角度を決定する場合の模式図である。なお、壁面と再投影軸ＣＴＲとの間の距離は既知であり、且つ、固定である。
【０１７１】
この場合、操作者は、出力画像を見ながらタッチパネルを用いてその白線を表す画像部分を表示させたい位置をタッチ入力する。画像調整部１２は、タッチ入力された座標から、カメラ２−１の入力画像に関連する処理対象画像中の画像部分における座標ＰＴ１ａを決定し、且つ、カメラ２−２の入力画像に関連する処理対象画像中の画像部分における座標ＰＴ２ａを決定する。
【０１７２】
具体的には、画像調整部１２は、タッチ入力された座標と再投影軸ＣＴＲとの間の距離が、座標ＰＴ１ａと再投影軸ＣＴＲとの間の距離に等しく、且つ、座標ＰＴ２ａと再投影軸ＣＴＲとの間の距離に等しくなるように、座標ＰＴ１ａ、ＰＴ２ａを決定する。
【０１７３】
その後、画像調整部１２は、座標ＰＴ１ａと座標ＰＰ１ａとを通る直線をカメラ２−１に関する再投影線ＲＬ１ａとして導き出す。また、画像調整部１２は、座標ＰＴ２ａと座標ＰＰ２ａとを通る直線をカメラ２−２に関する再投影線ＲＬ２ａとして導き出す。また、画像調整部１２は、他のカメラに関する再投影線を同様に導き出す。
【０１７４】
なお、座標ＰＰ１ａの高さは、カメラ２−１の座標と白線の座標ＴＧ１とを通る直線が空間モデルＭＤの曲面領域Ｒ２と交差する点の高さに対応する。また、座標ＰＰ２ａの高さは、カメラ２−２の座標と白線の座標ＴＧ１とを通る直線が空間モデルＭＤの曲面領域Ｒ２と交差する点の高さに対応する。このように、図１７の例は、座標ＰＰ１、ＰＰ２の高さがカメラ２−１、２−２の高さＨＴ１、ＨＴ２に相当する図１５の例と相違する。
【０１７５】
その後、画像調整部１２は、再投影線ＲＬ１ａと再投影軸ＣＴＲとの間に形成される角度を再投影角度δ１として導き出す。また、画像調整部１２は、再投影線ＲＬ２ａと再投影軸ＣＴＲとの間に形成される角度を再投影角度δ２として導き出す。他のカメラに関する再投影線についても同様である。
【０１７６】
その後、座標対応付け部１０は、画像調整部１２が決定した各カメラ（各入力画像）に関する再投影角度に基づいて記憶装置４における各種対応マップを更新する。そして、画像生成部１１は、座標対応付け部１０が更新した各種対応マップに基づいて処理対象画像を生成する。
【０１７７】
以上の構成により、画像生成装置１００は、操作者が再投影角度をカメラ毎（入力画像毎）に直感的に調整できるようにする。そのため、画像生成装置１００は、設置高さの異なる複数のカメラ（複数の入力画像）のそれぞれに対応する出力画像中の複数の画像部分における無限遠線に相当する位置を連続させることができる。その結果、画像生成装置１００は、例えば、複数の画像部分の空の見え方を統一でき、出力画像の見映えを向上させることができる。
【０１７８】
また、画像生成装置１００は、操作者による一回の操作入力に応じて複数のカメラの再投影角度を纏めて調整できるようにする。そのため、画像生成装置１００は、複数のカメラの設置高さが共通の場合であっても、すなわち、出力画像中の複数の画像部分における無限遠線に相当する位置が既に連続している場合であっても、その無限遠線に相当する位置を、その連続性を維持しながら、容易に移動させることができる。
【０１７９】
また、画像生成装置１００は、無限遠線位置を操作者に入力させることによって出力画像中の複数の画像部分における無限遠線に相当する位置を連続させ或いは移動させることができる。また、再投影角度という間接的な値ではなく、無限遠線位置という直接的な値を操作者に入力させることによって、出力画像中の複数の画像部分における無限遠線に相当する位置を連続させ或いは移動させることができる。その結果、画像生成装置１００は、無限遠線に相当する位置の調整に関する操作性を向上させることができる。
【０１８０】
また、画像生成装置１００は、走行体６１の近傍にある所定の地物を表示させたい位置を操作者に入力させることによって、出力画像中の複数の画像部分におけるその所定の地物に相当する位置を連続させ或いは移動させることができる。また、再投影角度という間接的な値ではなく、その所定の地物を表示させたい位置という直接的な値を操作者に入力させることによって、出力画像中の複数の画像部分におけるその所定の地物に相当する位置を連続させ或いは移動させることができる。その結果、画像生成装置１００は、走行体６１の近傍にある所定の地物に相当する位置の調整に関する操作性を向上させることができる。
【０１８１】
また、画像生成装置１００は、空間モデルＭＤの大きさ（例えば、円筒半径である。）の操作者による調整を許容する。この場合、画像生成装置１００は、例えば空間モデルＭＤの円筒半径が変更されたときに各カメラ（各入力画像）に関する再投影角度を更新して出力画像中の複数の画像部分における無限遠線又は走行体６１の近傍にある所定の地物の連続性を維持する。その結果、画像生成装置１００は、出力画像中の複数の画像部分における無限遠線又は走行体６１の近傍にある所定の地物の連続性を維持しながら、水平画像領域及び路面画像領域の配分比率を変更できる。
【０１８２】
次に、図１８〜図２１を参照して、画像生成装置１００Ａをショベル７０に適用した場合について説明する。なお、ショベル７０に搭載される画像生成装置１００Ａの構成は、カメラ配置を除き、ジブクレーン６０に搭載される画像生成装置１００の構成と共通する。そのため、共通部分の説明を省略しながら、相違点であるカメラ配置について説明する。
【０１８３】
図１８は、画像生成装置１００Ａが搭載されるショベル７０の構成例を示す図であり、図１８左図はその側面図を示し、図１８右図はその上面図を示す。
【０１８４】
ショベル７０は、クローラ式の下部走行体７１の上に旋回機構７２を介して上部旋回体７３を搭載する。上部旋回体７３は、旋回軸ＰＶの周りで旋回自在となるように搭載される。
【０１８５】
また、上部旋回体７３は、その前方左側部にキャブ（運転室）７４を備え、その前方中央部に掘削アタッチメントＥを備え、左側面、右側面、及び後面にカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、後方カメラ２Ｂ）を備える。また、図１８右図の一点鎖線で示す領域ＣＬ、ＣＲ、ＣＢは、それぞれ、左側方カメラ２Ｌ、右側方カメラ２Ｒ、後方カメラ２Ｂの撮像空間を表す。なお、本実施例では、左側方カメラ２Ｌの設置高さは、右側方カメラ２Ｒの設置高さと同じであり、後方カメラ２Ｂの設置高さより高い。また、キャブ７４内の運転者が視認し易い位置には表示装置６が設置されている。また、本実施例では、表示装置６は、無線通信装置を介することなく制御装置１に接続される。
【０１８６】
図１９は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図１９左図は、ショベル７０を側方から見たときのショベル７０と空間モデルＭＤとの間の関係を示し、図１９右図は、ショベル７０を上方から見たときのショベル７０と空間モデルＭＤとの間の関係を示す。
【０１８７】
図１９に示すように、空間モデルＭＤは、ジブクレーン６０の場合と同様、円筒形状を有し、その底面内側の平面領域Ｒ１とその側面内側の曲面領域Ｒ２とを有する。また、処理対象画像平面Ｒ３は、図４に示すジブクレーン６０の場合の空間モデルＭＤと同様、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。
【０１８８】
図２０は、ショベル７０に搭載された３台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
【０１８９】
画像生成装置１００Ａは、それら３台のカメラ２のそれぞれの入力画像平面上の座標を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上の座標に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。そして、画像生成装置１００Ａは、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。そして、画像生成装置１００Ａは、ショベル７０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル７０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを表示する。
【０１９０】
図２１は、出力画像と再投影角度との関係を説明する図である。具体的には、図２１上図は、画像調整部１２による調整前の出力画像を示し、図１５の出力画像Ｇ２０Ｂに対応する。また、図２１下図は、画像調整部１２による調整後の出力画像を示し、図１５の出力画像Ｇ２０に対応する。
【０１９１】
図２１上図において、曲線ＨＬ１０（点線）は、出力画像の左側方画像（左側方カメラ２Ｌの入力画像に基づく画像部分）における無限遠線に相当する。また、曲線ＨＬ１１（一点鎖線）は、出力画像の後方画像（後方カメラ２Ｂの入力画像に基づく画像部分）における無限遠線に相当する。また、曲線ＨＬ１２（点線）は、出力画像の右側方画像（右側方カメラ２Ｒの入力画像に基づく画像部分）における無限遠線に相当する。なお、曲線ＨＬ１０、ＨＬ１１、ＨＬ１２、再投影軸ＣＴＲは、説明のための線図であり、出力画像上に実際に表示されることはない。
【０１９２】
図２１上図に示すように、画像調整部１２による調整前、すなわち、３台のカメラのそれぞれに関する再投影線の再投影角度が共通という条件下では、曲線ＨＬ１０、ＨＬ１２と曲線ＨＬ１１とは不連続となる。これは、後方カメラ２Ｂの設置高さが、左側方カメラ２Ｌ、右側方カメラ２Ｒの設置高さと異なることに起因する。
【０１９３】
一方、図２１下図に示すように、画像調整部１２による調整後、すなわち、３台のカメラのそれぞれに関する再投影線の再投影角度が個別に決定されるという条件下では、曲線ＨＬ１０、ＨＬ１１、及びＨＬ１２は連続となり得る。
【０１９４】
本実施例では、画像調整部１２は、入力装置（図示せず。）を用いて操作者が入力する所望の無限遠線位置（例えば、曲線ＨＬ１０、ＨＬ１１、ＨＬ１２と再投影軸ＣＴＲとの間の距離である。）を取得する。そして、画像調整部１２は、取得した無限遠線位置に基づいて３台のカメラのそれぞれに関する再投影線の再投影角度を個別に決定する。
【０１９５】
このようにして、画像調整部１２は、操作者の入力操作に応じて再投影角度をカメラ毎（入力画像毎）に決定し、所望の無限遠線位置で曲線ＨＬ１０、ＨＬ１１、及びＨＬ１２が連続となるようにする。すなわち、左側方画像、後方画像、及び右側方画像のそれぞれにおける無限遠線に相当する位置が連続となるようにする。
【０１９６】
以上の構成により、ショベル７０に搭載される画像生成装置１００Ａは、ジブクレーン６０に搭載される画像生成装置１００と同様の効果を実現することができる。
【０１９７】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【０１９８】
例えば、上述の実施例において、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
【０１９９】
また、上述の実施例では、画像生成装置１００は、レール上を走行するジブクレーン６０に搭載される。そして、画像生成装置１００は、走行体監視画像を操作者に提示しながら走行体６１の移動を支援する操作支援システムを構成する。しかしながら、画像生成装置１００は、レール上を走行する他の屋外用の走行クレーンに搭載され、走行クレーンの操作を支援する操作支援システムを構成してもよい。さらに、画像生成装置１００は、バケットエレベータ又はグラブバケットを用いた連続アンローダ等、レール上を走行するアンローダに搭載され、アンローダの操作を支援する操作支援システムを構成してもよい。
【０２００】
また、画像生成装置１００Ａは、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムを構成するが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の被操作体に搭載され、それら他の被操作体の操作を支援する操作支援システムを構成してもよい。
【符号の説明】
【０２０１】
１・・・制御装置  ２、２−１〜２−８、２−１１〜２−１６、２−２１〜２−２８、２Ｂ、２Ｌ、２Ｒ・・・カメラ  ４・・・記憶装置  ５ａ、５ｂ・・・無線通信装置  ６・・・表示装置  １０・・・座標対応付け部  １１・・・画像生成部  １２・・・画像調整部  ２０−１〜２０−４、２０−１１〜２０−１４・・・３画像合成装置  ２１−１、２１−１１・・・４画像合成装置  ４０・・・入力画像・空間モデル対応マップ  ４１・・・空間モデル・処理対象画像対応マップ  ４２・・・処理対象画像・出力画像対応マップ  ６０・・・ジブクレーン  ６１・・・走行体  ６１ａ、６１ｂ・・・脚部  ６１ｃ・・・桁部  ６１ｄ・・・駆動源  ６２・・・塔体  ６３・・・旋回体  ６３ａ・・・運転室  ６４・・・ジブ  ７０・・・ショベル  ７１・・・下部走行体  ７２・・・旋回機構  ７３・・・上部旋回体  ７４・・・キャブ  １００、１００Ａ・・・画像生成装置
【図１】
2014216797.tif 000014
【図２】
2014216797.tif 000015
【図３】
2014216797.tif 000016
【図４】
2014216797.tif 000017
【図５】
2014216797.tif 000018
【図６】
2014216797.tif 000019
【図７】
2014216797.tif 000020
【図８】
2014216797.tif 000021
【図９】
2014216797.tif 000022
【図１０】
2014216797.tif 000023
【図１１】
2014216797.tif 000024
【図１２】
2014216797.tif 000025
【図１６】
2014216797.tif 000026
【図１７】
2014216797.tif 000027
【図１８】
2014216797.tif 000028
【図１９】
2014216797.tif 000029
【図１３】
2014216797.tif 000030
【図１４】
2014216797.tif 000031
【図１５】
2014216797.tif 000032
【図２０】
2014216797.tif 000033
【図２１】
2014216797.tif 000034
【手続補正書】
【提出日】平成26年7月23日(2014.7.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラが撮像した複数の入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成装置であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記処理対象画像が位置する処理対象画像平面であり前記空間モデルに投影された画像が再投影される処理対象画像平面における座標とを対応付ける座標対応付け部と、
前記空間モデル上の座標と該空間モデル上の座標に対応する前記処理対象画像平面上の座標とを結ぶ直線の傾きを入力画像毎に決定して前記処理対象画像を調整する画像調整部と、を備え、
前記座標対応付け部は、一つの入力画像に関する前記直線のそれぞれが前記処理対象画像平面に垂直な平面において平行となるよう前記空間モデル上の座標と前記処理対象画像平面上の座標とを対応付け、
前記画像調整部は、前記処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する、
処理対象画像生成装置。
【請求項２】
複数のカメラが撮像した複数の入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成装置であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記処理対象画像が位置する処理対象画像平面であり前記空間モデルに投影された画像が再投影される処理対象画像平面における座標とを対応付ける座標対応付け部と、
前記空間モデル上の座標と該空間モデル上の座標に対応する前記処理対象画像平面上の座標とを結ぶ直線の傾きを入力画像毎に決定して前記処理対象画像を調整する画像調整部と、を備え、
前記座標対応付け部は、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう前記空間モデル上の座標と前記処理対象画像平面上の座標とを対応付け、
前記画像調整部は、前記処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する、
処理対象画像生成装置。
【請求項３】
前記処理対象画像平面における各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標と前記空間モデルの再投影軸との間の距離は、調整可能に設定される、
請求項１又は２に記載の処理対象画像生成装置。
【請求項４】
前記複数のカメラは、異なる高さに設置される、
請求項１乃至３の何れか一項に記載の処理対象画像生成装置。
【請求項５】
各入力画像における所定地物は、各カメラから見た無限遠線である、
請求項１乃至４の何れか一項に記載の処理対象画像生成装置。
【請求項６】
複数のカメラが撮像した複数の入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成方法であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記処理対象画像が位置する処理対象画像平面であり前記空間モデルに投影された画像が再投影される処理対象画像平面における座標とを対応付ける座標対応付けステップと、
前記空間モデル上の座標と該空間モデル上の座標に対応する前記処理対象画像平面上の座標とを結ぶ直線の傾きを入力画像毎に決定して前記処理対象画像を調整する画像調整ステップと、を有し、
前記座標対応付けステップでは、一つの入力画像に関する前記直線のそれぞれが前記処理対象画像平面に垂直な平面において平行となるよう、前記処理対象画像平面上の座標が前記空間モデル上の座標に対応付けられ、
前記画像調整ステップでは、前記処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標が一致するように前記直線の傾きが入力画像毎に決定される、
処理対象画像生成方法。
【請求項７】
複数のカメラが撮像した複数の入力画像に基づいて、出力画像を得るための画像変換処理の対象となる処理対象画像を生成する処理対象画像生成方法であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記処理対象画像が位置する処理対象画像平面であり前記空間モデルに投影された画像が再投影される処理対象画像平面における座標とを対応付ける座標対応付けステップと、
前記空間モデル上の座標と該空間モデル上の座標に対応する前記処理対象画像平面上の座標とを結ぶ直線の傾きを入力画像毎に決定して前記処理対象画像を調整する画像調整ステップと、を有し、
前記座標対応付けステップでは、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう、前記処理対象画像平面上の座標が前記空間モデル上の座標に対応付けられ、
前記画像調整ステップでは、前記処理対象画像平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記処理対象画像平面上の各座標が一致するように前記直線の傾きが入力画像毎に決定される、
処理対象画像生成方法。
【請求項８】
被操作体の移動又は操作を支援する操作支援システムであって、
請求項１又は２に記載の処理対象画像生成装置と、
前記被操作体を移動させ或いは操作するための操作室に設置され、前記処理対象画像生成装置が生成した処理対象画像に基づいて生成される出力画像を表示する表示部と、
を備えることを特徴とする操作支援システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
【数１０】
2014216797.tif 000035
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
【数１１】
2014216797.tif 000036
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【０１３１】
なお、図１３上段は、８台のカメラ２−１〜２−８のそれぞれが出力する８つの入力画像Ｇ１〜Ｇ８の例を示す。また、図１３中段は、４台の３画像合成装置２０−１〜２０−４のそれぞれが出力する４つの部分画像（中間画像）Ｇ１１〜Ｇ１４の例を示す。また、図１３下段は、４画像合成装置２１−１が出力する出力画像Ｇ２０の例を示す。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
４画像合成装置２１−１は、３画像合成装置２０−１〜２０−４からの部分画像（中間画像）Ｇ１１〜Ｇ１４に基づいて出力画像Ｇ２０を生成する。そして、４画像合成装置２１−１は、無線通信装置５ａ、５ｂを介して、生成した出力画像Ｇ２０を表示装置６に対して出力する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１４８
【補正方法】変更
【補正の内容】
【０１４８】
また、本実施例では、図１１の側面視Ｆ１１Ｂに示すように、路面高さにおける、交点ＣＰ２と交点ＣＰ３との間の距離Ｄ２−３、交点ＣＰ６と交点ＣＰ７との間の距離Ｄ６−７、及び、交点ＣＰ３と交点ＣＰ７との間の距離Ｄ３−７が、走行体６１のＸ軸方向長さを３等分するように、４台のカメラ２−２、２−３、２−６、及び２−７が配置される。入力画像の画素数を一定とした場合、距離Ｄ２−３が大きくなると、画像部分Ｇ２Ｐ１、Ｇ２Ｐ２の解像度が低下するためであり、距離Ｄ３−７が大きくなると、画像部分Ｇ３Ｐ１、Ｇ３Ｐ２、Ｇ７Ｐ１、Ｇ７Ｐ２の解像度が低下するためであり、また、距離Ｄ６−７が大きくなると、画像部分Ｇ６Ｐ１、Ｇ６Ｐ２の解像度が低下するためである。なお、交点ＣＰ２は、カメラ２−２の光軸と路面との交点であり、交点ＣＰ３は、カメラ２−３の光軸と路面との交点であり、交点ＣＰ６は、カメラ２−６の光軸と路面との交点であり、交点ＣＰ７は、カメラ２−７の光軸と路面との交点である。このカメラ配置により、画像生成装置１００は、画像部分Ｇ２Ｐ１、Ｇ２Ｐ２、Ｇ３Ｐ１、Ｇ３Ｐ２、Ｇ６Ｐ１、Ｇ６Ｐ２、Ｇ７Ｐ１、及びＧ７Ｐ２における解像度を高め、各カメラの入力画像を効率的に利用できる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１８７
【補正方法】変更
【補正の内容】
【０１８７】
図１９に示すように、空間モデルＭＤは、ジブクレーン６０の場合と同様、円筒形状を有し、その底面内側の平面領域Ｒ１とその側面内側の曲面領域Ｒ２とを有する。また、処理対象画像平面Ｒ３（図示せず。）は、図４に示すジブクレーン６０の場合の空間モデルＭＤと同様、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１８９
【補正方法】変更
【補正の内容】
【０１８９】
画像生成装置１００Ａは、それら３台のカメラ２のそれぞれの入力画像平面上の座標を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上の座標に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。そして、画像生成装置１００Ａは、その生成した処理対象画像に画像変換処理（例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。）を施すことによって出力画像を生成する。そして、画像生成装置１００Ａは、ショベル７０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル７０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを表示する。