(57)【要約】【課題】２つの波が描く模様で表現される出力画像部分の見栄えを改善すること。【解決手段】画像生成装置１００は３つのカメラの入力画像から出力画像を生成する。カメラの撮像範囲が重複する領域に対応する入力画像部分は出力画像で格子模様を形成する。格子模様はカメラ２Ｂを波源とする波が描く円とカメラ２Ｒを波源とする波が描く円によって区切られる格子を単位パタンとする。単位パタンを形成する画素の値は、カメラ２Ｂの第一入力画像の画素値とカメラ２Ｒの第二入力画像の画素値とを加重平均した値である。２つの波によって形成される腹線が通過する単位パタン及び節線が通過する単位パタンのうちの一方を形成する画素では、第一入力画像の画素の値の重みｗＢの平均値が、第二入力画像の画素の値の重みｗＲの平均値以上であり、他方を形成する画素では、重みｗＢの平均値が、重みｗＲの平均値以下である。【選択図】図２３
2015154144.tif 000002
【特許請求の範囲】
【請求項１】
被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置であって、
前記複数のカメラのうちの２つのそれぞれの撮像範囲が重複する領域に対応する前記複数のカメラのうちの２つのそれぞれの入力画像部分は、前記出力画像において、格子模様を形成するように配置され、
前記格子模様は、第一カメラの位置を波源とする第一の波の山が描く円と、該第一の波の谷が描く円と、第二カメラの位置を波源とする第二の波の山が描く円と、該第二の波の谷が描く円とによって区切られる格子を単位パタンとし、
前記単位パタンを形成する画素の値は、前記第一カメラが撮像した第一入力画像の画素の値と前記第二カメラが撮像した第二入力画像の画素の値とを加重平均した値であり、
前記第一の波及び前記第二の波によって形成される腹線が通過する単位パタン及び節線が通過する単位パタンのうちの一方では、各画素に関する前記第一入力画像の画素の値の重みの平均値が、各画素に関する前記第二入力画像の画素の値の重みの平均値以上であり、他方では、各画素に関する前記第一入力画像の画素の値の重みの平均値が、各画素に関する前記第二入力画像の画素の値の重みの平均値以下であり、
前記第一入力画像の画素の値の重み及び前記第二入力画像の画素の値の重みは、前記第一の波と前記第二の波の合成波の振幅に関する物理量に応じて決まる、
ことを特徴とする画像生成装置。
【請求項２】
前記腹線が通過する単位パタンの中心から輪郭に向かう際の前記第一入力画像の画素の値の重み又は前記第二入力画像の画素の値の重みの推移線の軌跡は、前記節線が通過する単位パタンの中心から輪郭に向かう際の前記第一入力画像の画素の値の重み又は前記第二入力画像の画素の値の重みの推移線の軌跡の正負を反転させた関係にある、
請求項１に記載の画像生成装置。
【請求項３】
前記出力画像における画素の位置に応じて決まる、前記第一の波と前記第二の波の合成波の振幅に関する物理量を、前記第一入力画像の画素の値の重みに変換する制御部を有し、
前記第一入力画像の画素の値の重み、及び前記第二入力画像の画素の値の重みは何れも所定範囲内の値に変換され、
前記第一入力画像の画素の値の重みと前記第二入力画像の画素の値の重みの合計は一定である、
請求項１又は２に記載の画像生成装置。
【請求項４】
前記制御部は、所定の変換曲線を用いて前記物理量を前記第一入力画像の画素の値の重みに変換する、
請求項３に記載の画像生成装置。
【請求項５】
前記制御部は、前記第一入力画像及び前記第二入力画像のそれぞれの周辺部の画素の値の重みを低めに修正する、
請求項３又は４に記載の画像生成装置。
【請求項６】
前記制御部は、前記第一入力画像及び前記第二入力画像のそれぞれの側端部の画素の値の重みを低めに修正する、
請求項３乃至５の何れか一項に記載の画像生成装置。
【請求項７】
前記制御部は、前記複数のカメラのうちの２つのそれぞれの撮像範囲が重複する領域に対応する出力画像部分の遠方領域における画素に関し、前記第一入力画像の画素の値の重みが、前記第二入力画像の画素の値の重みに近づくように、前記第一入力画像及び前記第二入力画像のそれぞれの画素の値の重みを修正する、
請求項３乃至６の何れか一項に記載の画像生成装置。
【請求項８】
被操作体の移動又は操作を支援する操作支援システムであって、
請求項１乃至７の何れか一項に記載の画像生成装置と、
前記被操作体を移動させ或いは操作するための操作室に設置され、該画像生成装置が生成する出力画像を表示する表示部と、
を備えることを特徴とする操作支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムに関する。
【背景技術】
【０００２】
複数のカメラが撮像した複数の入力画像に基づいて生成される出力画像における、複数のカメラの撮像範囲が重複する重複領域に対応する出力画像部分での物体の消失を防止する画像生成装置が知られている（例えば、特許文献１参照。）。
【０００３】
この画像生成装置は、ショベルに取り付けられた３つのカメラが撮像した複数の入力画像に基づいて出力画像を生成する。そして、３つのカメラのうちの２つのカメラのそれぞれの撮像範囲が重複する領域に対応するそれら２つのカメラのそれぞれの入力画像部分は、出力画像において結果的に格子模様を形成するように対応付けられる。格子模様は、第１カメラの位置を波源とする第１の波の山が描く円と、第１の波の谷が描く円と、第２カメラの位置を波源とする第２の波の山が描く円と、第２の波の谷が描く円とによって区切られる格子を単位パタンとし、第１の波及び第２の波によって形成される腹線が通過する単位パタンに対応する出力画像平面上の座標を第１カメラの入力画像平面上の座標に関連付け、第１の波及び第２の波によって形成される節線が通過する単位パタンに対応する出力画像平面上の座標を第２カメラの入力画像平面上の座標に関連付ける。この構成により、特許文献１の画像生成装置は、重複領域に対応する出力画像部分における物体の視認性を維持しながら、その物体の消失を防止できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２５６２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の画像生成装置は、出力画像の解像度が低い場合、重複領域に対応する出力画像部分の見栄えを低下させる場合がある。
【０００６】
上述の点に鑑み、２つの波が描く模様で表現される出力画像部分の見栄えを改善できる画像生成装置及びその装置を用いた操作支援システムの提供が望まれる。
【課題を解決するための手段】
【０００７】
本発明の実施例に係る画像生成装置は、被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置であって、前記複数のカメラのうちの２つのそれぞれの撮像範囲が重複する領域に対応する前記複数のカメラのうちの２つのそれぞれの入力画像部分は、前記出力画像において、格子模様を形成するように配置され、前記格子模様は、第一カメラの位置を波源とする第一の波の山が描く円と、該第一の波の谷が描く円と、第二カメラの位置を波源とする第二の波の山が描く円と、該第二の波の谷が描く円とによって区切られる格子を単位パタンとし、前記単位パタンを形成する画素の値は、前記第一カメラが撮像した第一入力画像の画素の値と前記第二カメラが撮像した第二入力画像の画素の値とを加重平均した値であり、前記第一の波及び前記第二の波によって形成される腹線が通過する単位パタン及び節線が通過する単位パタンのうちの一方では、各画素に関する前記第一入力画像の画素の値の重みの平均値が、各画素に関する前記第二入力画像の画素の値の重みの平均値以上であり、他方では、各画素に関する前記第一入力画像の画素の値の重みの平均値が、各画素に関する前記第二入力画像の画素の値の重みの平均値以下であり、前記第一入力画像の画素の値の重み及び前記第二入力画像の画素の値の重みは、前記第一の波と前記第二の波の合成波の振幅に関する物理量に応じて決まる。
【０００８】
また、本発明の実施例に係る操作支援システムは、被操作体の移動又は操作を支援する操作支援システムであって、上述の画像生成装置と、前記被操作体を移動させ或いは操作するための操作室に設置され、該画像生成装置が生成する出力画像を表示する表示部と、を備える。
【発明の効果】
【０００９】
上述の手段により、２つの波が描く模様で表現される出力画像部分の見栄えを改善できる画像生成装置及びその装置を用いた操作支援システムが提供される。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。
【図２】画像生成装置が搭載されるショベルの構成例を示す図である。
【図３】入力画像が投影される空間モデルの一例を示す図である。
【図４】空間モデルと処理対象画像平面との間の関係の一例を示す図である。
【図５】入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。
【図６】座標対応付け手段による座標間の対応付けを説明するための図である。
【図７】処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。
【図８】出力画像の表示例（その１）である。
【図９】出力画像生成手段による補間処理の効果を説明する図である。
【図１０】補間処理を説明する概略図である。
【図１１】出力画像生成手段の構成例を示す機能ブロック図である。
【図１２】補間処理の流れを示すフローチャートである。
【図１３】垂線交点の座標値の小数部分と第１画素の値の重みαとの関係を示す図である。
【図１４】出力画像の表示例（その２）である。
【図１５】同色錯視を説明するための図である。
【図１６】同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図である。
【図１７】図１６の格子模様を出力画像平面上に配置した状態を示す図である。
【図１８】格子模様形成処理の流れを示すフローチャートである。
【図１９】図１４で示される出力画像と、図１１の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図である。
【図２０】出力画像の表示例（その３）である。
【図２１】２つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図である。
【図２２】図２０で示される出力画像と、図１７の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図である。
【図２３】平均化境界処理の流れを示す概略図である。
【図２４】「場」の値から「重み」の値への変換に用いる変換曲線の一例である。
【図２５】「場」の値から「重み」の値への変換に用いる変換曲線の別の一例である。
【図２６】２種類の単位パタン領域のそれぞれにおける画素に関する重みｗＢの値の関係を示す図である。
【図２７】周辺減光対策処理を説明する図である。
【図２８】サイドエッジ対策処理を説明する図である。
【図２９】遠方領域パタン化対策処理を説明する図である。
【図３０】平均化境界処理の効果を説明する図である。
【図３１】出力画像改善処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【００１２】
図１は、本発明の実施例に係る画像生成装置１００の構成例を概略的に示すブロック図である。
【００１３】
画像生成装置１００は、例えば、建設機械に搭載されたカメラ２が撮像した入力画像に基づいて出力画像を生成し、その出力画像を運転者に提示する装置であって、制御部１、カメラ２、入力部３、記憶部４、及び表示部５で構成される。
【００１４】
図２は、画像生成装置１００が搭載されるショベル６０の構成例を示す図であり、ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３を旋回軸ＰＶの周りで旋回自在に搭載している。
【００１５】
また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に掘削アタッチメントＥを備え、その右側面、左側面、及び後面にカメラ２（右側方カメラ２Ｒ、左側方カメラ２Ｌ、後方カメラ２Ｂ）を備えている。なお、キャブ６４内の運転者が視認し易い位置には表示部５が設置されている。
【００１６】
次に、画像生成装置１００の各構成要素について説明する。
【００１７】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。制御部１は、例えば、後述する座標対応付け手段１０及び出力画像生成手段１１のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。
【００１８】
カメラ２は、ショベル６０の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブ６４にいる運転者の死角となる領域を撮像できるよう上部旋回体６３の右側面、左側面、及び後面に取り付けられる（図２参照。）。
【００１９】
また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。
【００２０】
入力部３は、操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。
【００２１】
記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
【００２２】
表示部５は、画像情報を表示するための装置であり、例えば、建設機械のキャブ６４（図２参照。）内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する各種画像を表示する。
【００２３】
また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施して出力画像を生成する。そして、画像生成装置１００は、この出力画像を操作者に提示することにより、操作者がショベル６０と周辺障害物との位置関係や距離感を直感的に把握できるようにする。
【００２４】
「処理対象画像」は、入力画像に基づいて生成される画像である。また、処理対象画像は、例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等の画像変換処理の対象となる画像である。また、処理対象画像は、例えば、入力画像を所定の空間モデルに投影した後で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルへの投影は、入力画像を画像変換処理で用いた場合にその入力画像が不自然に表示されてしまうのを防止するために行われる。具体的には、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像を画像変換処理で用いた場合に、空の部分が地表にあるかのように不自然に表示されてしまうのを防止するために行われる。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【００２５】
「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。なお、処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。
【００２６】
なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成してもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【００２７】
図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３（Ａ）は、ショベル６０を側方から見たときのショベル６０と空間モデルＭＤとの間の関係を示し、図３（Ｂ）は、ショベル６０を上方から見たときのショベル６０と空間モデルＭＤとの間の関係を示す。
【００２８】
図３で示されるように、空間モデルＭＤは、略円筒形状を有し、その底面内部の平面領域Ｒ１とその側面内部の曲面領域Ｒ２とを有する。
【００２９】
また、図４は、空間モデルＭＤと処理対象画像平面との間の関係の一例を示す。図４に示すように、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。なお、図４は、明確化のために、空間モデルＭＤを、図３で示すような略円筒形状ではなく、円筒形状で示しているが、空間モデルＭＤは、略円筒形状及び円筒形状の何れであってもよい。以降の図においても同様である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。
【００３０】
次に、制御部１が有する各種手段について説明する。
【００３１】
座標対応付け手段１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段である。また、座標対応付け手段１０は、例えば、カメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付ける。そして、座標対応付け手段１０は、それらの対応関係を記憶部４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。カメラ２に関する各種パラメータは、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等を含み、予め設定された値であってもよく、入力部３を介して入力される値であってもよい。
【００３２】
なお、座標対応付け手段１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。
【００３３】
出力画像生成手段１１は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、出力画像生成手段１１は、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶する。そして、出力画像生成手段１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照し、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等を含む。
【００３４】
また、出力画像生成手段１１は、仮想カメラに関する各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶する。そして、出力画像生成手段１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照し、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。仮想カメラに関する各種パラメータは、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等を含み、予め設定された値であってもよく、入力部３を介して入力される値であってもよい。
【００３５】
なお、出力画像生成手段１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成してもよい。
【００３６】
また、出力画像生成手段１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付ける。そして、出力画像生成手段１１は、入力画像・空間モデル対応マップ４０を参照し、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。
【００３７】
次に、座標対応付け手段１０及び出力画像生成手段１１による具体的な処理の一例について説明する。
【００３８】
座標対応付け手段１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
【００３９】
図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。図５において、カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルは、ＸＹＺ直交座標系における立体面として表される。
【００４０】
最初に、座標対応付け手段１０は、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸にそれぞれ一致させるようＸＹＺ座標系を回転させる。空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するためである。なお、−Ｗ軸における符号「−」は、Ｚ軸とは方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。
【００４１】
なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有する。そのため、座標対応付け手段１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させる。
【００４２】
上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現される。座標対応付け手段１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
【００４３】
ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが形成する面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当する。そのため、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、
【００４４】
【数１】
2015154144.tif 000003
で表される。
【００４５】
また、ベクトルＡとベクトルＢとが形成する面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から
【００４６】
【数２】
2015154144.tif 000004
で表される。
【００４７】
なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、
【００４８】
【数３】
2015154144.tif 000005
を満たす超複素数である。本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、
【００４９】
【数４】
2015154144.tif 000006
で表され、四元数Ｑの共役四元数は、
【００５０】
【数５】
2015154144.tif 000007
で表される。
【００５１】
四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
【００５２】
更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。
【００５３】
【数６】
2015154144.tif 000008
ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、
【００５４】
【数７】
2015154144.tif 000009
で表される。
【００５５】
また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、
【００５６】
【数８】
2015154144.tif 000010
で表される。
【００５７】
以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、
【００５８】
【数９】
2015154144.tif 000011
で表され、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け手段１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。
【００５９】
空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け手段１０は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。
【００６０】
また、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ'とを結ぶ線分ＥＰ'と、平面ＨにおけるＵ'軸とが形成する偏角φ、及び線分ＥＰ'の長さを算出する。
【００６１】
カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっているので、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。
【００６２】
その後、座標対応付け手段１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。
【００６３】
なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａUとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａVとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、
【００６４】
【数１０】
2015154144.tif 000012
【００６５】
【数１１】
2015154144.tif 000013
で表される。
【００６６】
このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。
【００６７】
また、座標対応付け手段１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算してもよい。
【００６８】
なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。
【００６９】
次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。
【００７０】
図６は、座標対応付け手段１０による座標間の対応付けを説明するための図である。また、図６（Ａ）は、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図である。図２に示すように、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。
【００７１】
図６（Ａ）の例では、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。
【００７２】
なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け手段１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。
【００７３】
具体的には、座標対応付け手段１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。
【００７４】
図６（Ｂ）は、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図である。図６（Ｂ）に示すように、座標対応付け手段１０は、ＸＺ平面上に位置する平行線群ＰＬであって、処理対象画像平面Ｒ３との間で角度βを形成する平行線群ＰＬを導入し、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの１つに乗るようにして、両座標を対応付ける。
【００７５】
図６（Ｂ）の例では、座標対応付け手段１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付けるようにする。
【００７６】
なお、座標対応付け手段１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることが可能であるが、図６（Ｂ）の例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっているので、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有するものとなっている。
【００７７】
このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。
【００７８】
図６（Ｃ）は、処理対象画像平面Ｒ３上の座標と一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図である。図６（Ｃ）に示すように、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。
【００７９】
図６（Ｃ）の例では、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。
【００８０】
なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、出力画像生成手段１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付けるようにする。
【００８１】
具体的には、出力画像生成手段１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。
【００８２】
このようにして、出力画像生成手段１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０が記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
【００８３】
なお、図６（Ｄ）は、図６（Ａ）〜図６（Ｃ）を組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。
【００８４】
次に、図７を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図７は、処理対象画像生成処理（ステップＳ１〜ステップＳ３）及び出力画像生成処理（ステップＳ４〜ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されているものとする。
【００８５】
最初に、制御部１は、座標対応付け手段１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。
【００８６】
具体的には、座標対応付け手段１０は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を取得し、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの１つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出する。そして、座標対応付け手段１０は、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。なお、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度は、記憶部４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。
【００８７】
また、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。
【００８８】
その後、制御部１は、座標対応付け手段１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。
【００８９】
具体的には、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得し、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出する。そして、座標対応付け手段１０は、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。
【００９０】
その後、制御部１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定し（ステップＳ３）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返すようにする。
【００９１】
一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、出力画像生成手段１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。
【００９２】
具体的には、出力画像生成手段１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。
【００９３】
或いは、出力画像生成手段１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
【００９４】
或いは、出力画像生成手段１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得した上で、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出する。そして、出力画像生成手段１１は、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
【００９５】
その後、制御部１は、出力画像生成手段１１により、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照する。そして、制御部１は、入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿る。そして、制御部１は、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標で特定される画素が有する値（例えば、輝度値、色相値、彩度値等である。）を取得する。そして、制御部１は、その取得した値を、対応する出力画像平面Ｒ５上の各座標で特定される画素の値として採用する（ステップＳ５）。すなわち、出力画像生成手段１１は、出力画像上の画素の値と入力画像上の画素の値とを関連付けて出力画像を生成する。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、出力画像生成手段１１は、それら複数の入力画像平面Ｒ４上の複数の座標で特定される複数の画素のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、出力画像平面Ｒ５上のその一座標で特定される一画素の値としてその統計値を採用するようにしてもよい。
【００９６】
その後、制御部１は、出力画像上の全画素の値を入力画像上の画素の値に対応付けたか否かを判定し（ステップＳ６）、未だ全ての画素の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返すようにする。
【００９７】
一方、制御部１は、全ての画素の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。
【００９８】
なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップＳ４の"処理対象画像平面上の座標"を"空間モデル上の座標"で読み替えるものとする。
【００９９】
以上の構成により、画像生成装置１００は、建設機械と周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
【０１００】
また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行することにより、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができる。また、画像生成装置１００は、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合には、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要があるためである。
【０１０１】
また、画像生成装置１００は、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
【０１０２】
また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。
【０１０３】
同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。
【０１０４】
次に、図８を参照しながら、出力画像の構成例について説明する。なお、図８は、ショベル６０に搭載された３台のカメラ２（右側方カメラ２Ｒ、左側方カメラ２Ｌ、及び後方カメラ２Ｂ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例である。
【０１０５】
画像生成装置１００は、それら３台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。そして、画像生成装置１００は、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。そして、画像生成装置１００は、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する。
【０１０６】
なお、出力画像は、画像生成装置１００が処理対象画像を生成しない場合には、空間モデルＭＤに投影された画像に画像変換処理（例えば、視点変換処理である。）を施すことによって生成される。
【０１０７】
また、出力画像は、ショベル６０が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心ＣＴＲが空間モデルＭＤの円筒中心軸上で、且つ、ショベル６０の旋回軸ＰＶ上となるように生成されており、ショベル６０の旋回動作に応じてその中心ＣＴＲを軸に回転するように表示される。この場合、空間モデルＭＤの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。
【０１０８】
なお、空間モデルＭＤの半径は、例えば、５メートルであり、平行線群ＰＬが処理対象画像平面Ｒ３との間で形成する角度は、ショベル６０の旋回中心から掘削アタッチメントＥの最大到達距離（例えば１２メートルである。）だけ離れた位置に物体（例えば、作業員である。）が存在する場合にその物体が表示部５で十分大きく（例えば、７ミリメートル以上である。）表示されるように、設定され得る。
【０１０９】
更に、出力画像は、ショベル６０のＣＧ画像を、ショベル６０の前方が表示部５の画面上方と一致し、且つ、その旋回中心が中心ＣＴＲと一致するように配置するようにしてもよい。ショベル６０と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。
【０１１０】
次に、図９を参照して、出力画像で発生するジャギーについて説明する。なお、図９は、出力画像生成手段１１による補間処理の効果を説明する図である。また、図９（Ａ）は入力画像を示し、図９（Ｂ）は補間処理が施されていない出力画像を示し、図９（Ｃ）は補間処理が施された出力画像を示す。また、図９（Ｂ）及び図９（Ｃ）の出力画像は、図９（Ａ）の点線領域Ｇ１で示す入力画像の一部を反時計回りに回転し且つ拡大した画像である。
【０１１１】
ジャギーは、ラスター画像の輪郭に見られるギザギザであり、例えば入力画像を回転させて出力画像を生成するために入力画像平面上の実数座標点を整数座標点に変換するときの丸め誤差によって引き起こされる。
【０１１２】
具体的には、入力画像上の画素を特定する座標値及び出力画像上の画素を特定する座標値は何れも整数値で表されるが、出力画像平面上の座標に対応する入力画像平面上の座標を導き出す際にその入力画像平面上の座標値を実数値（小数を含む値）として算出する場合がある。この場合、実数値は、例えば、小数点以下が四捨五入されて整数値に変換される。入力画像上の画素を特定する座標値として実数値を用いることができないためである。したがって、出力画像平面上の整数座標点で特定される画素（以下、「出力画素」とする。）は、入力画像平面上の実数座標点の最も近くにある整数座標点で特定される画素に対応付けられる。そして、例えば輝度値の全く異なる２つの画素を特定する２つの整数座標点の間にその実数座標点が存在していたとしても、出力画像上の画素は、入力画像平面上の２つの整数座標点のうちの一方で特定される画素に対応付けられる。そして、それら２つの整数座標点のうちの他方で特定される画素の値が出力画像上の画素の値に反映されることはない。その結果、出力画像に含まれる各画像の輪郭はギザギザに表現されてしまう。
【０１１３】
このように、ジャギーは、四捨五入の際の丸め誤差によって引き起こされる。そして、ジャギーは、表示部５の解像度が低い程より顕著なものとなる。
【０１１４】
そこで、出力画像生成手段１１は、図１０及び図１１を参照して説明する補間処理を用いてジャギーを軽減させる。
【０１１５】
図１０は、補間処理を説明する概略図であり、入力画像平面の一部を示す。入力画像平面は、ＸＹ直交座標系で表され、整数座標点Ａ（０、０）、Ｂ（０、１）、Ｃ（１、１）、Ｄ（１、０）を含む。また、図１１は、出力画像生成手段１１の構成例を示す機能ブロック図である。
【０１１６】
本実施例では、図１１に示すように、出力画像生成手段１１は、主に、整数座標点選択部１１０、重み導出部１１１、及び加重平均部１１２を含む。
【０１１７】
整数座標点選択部１１０は、出力画素に対応する入力画像平面上の実数座標点（以下、「対応実数座標点」とする。）の近くにある２つ以上の整数座標点から２つの整数座標点を選択する機能要素である。本実施例では、対応実数座標点は、図５及び図６で説明した関係を用いて出力画像生成手段１１が導き出す座標点である。また、本実施例では、整数座標点選択部１１０は、対応実数座標点の周囲にある４つの整数座標点から２つの整数座標点を選択する。具体的には、図１０に示すように、対応実数座標点Ｐ（０．６３、０．１９）の周囲にある４つの整数座標点は、Ａ（０、０）、Ｂ（０、１）、Ｃ（１、１）、及びＤ（１、０）である。そして、整数座標点選択部１１０は、Ａ−Ｂ、Ａ−Ｃ、Ａ−Ｄ、Ｂ−Ｃ、Ｂ−Ｄ、及びＣ−Ｄの６つの組み合わせ（整数座標点のペア）のうちの１つを選択する。
【０１１８】
本実施例では、整数座標点選択部１１０は、対応実数座標点Ｐから６つの線分ＡＢ、ＡＣ、ＡＤ、ＢＣ、ＢＤ、ＣＤのそれぞれに垂線を下ろす。そして、整数座標点選択部１１０は、６つの垂線ＰＱ、ＰＲ、ＰＳ、ＰＴ、ＰＵ、ＰＶのうち最も短い垂線ＰＶ及びその垂線ＰＶに関連する線分ＢＤを選択し、さらに線分ＢＤに関連する２つの整数座標点Ｂ、Ｄを選択する。
【０１１９】
また、本実施例では、Ｘ軸方向及びＹ軸方向における整数座標点の間隔は値「１」であり、４つの整数座標点Ａ、Ｂ、Ｃ、Ｄは正方形を構成する。そのため、実数座標点Ｑ（０．００、０．１９）及びＳ（１．００、０．１９）のＹ座標の値は何れも対応実数座標点Ｐ（０．６３、０．１９）のＹ座標の値に等しい。同様に、実数座標点Ｒ（０．６３、１．００）及びＴ（０．６３、０．００）のＸ座標の値は対応実数座標点Ｐ（０．６３、０．１９）のＸ座標の値に等しい。
【０１２０】
また、実数座標点Ｕ（０．４１、０．４１）は、線分ＡＣ上の実数座標点であるため、整数座標点Ａに対するＸ座標の値の増分とＹ座標の値の増分とが等しい関係にある。同様に、線分ＰＶ上の実数座標点は、対応実数座標点Ｐに対するＸ座標の値の増分とＹ座標の値の増分とが等しい関係にある。
【０１２１】
また、実数座標点Ｖ（０．７２、０．２８）は、線分ＢＤ上の実数座標点であるため、整数座標点Ｂに対するＸ座標の値の増分とＹ座標の値の減分とが等しい関係にある。同様に、線分ＵＰ上の実数座標点は、実数座標点Ｕに対するＸ座標の値の増分とＹ座標の値の減分とが等しい関係にある。
【０１２２】
具体的には、実数座標点ＵのＸ座標及びＹ座標の値は何れも、対応実数座標点ＰのＸ座標の値とＹ座標の値の合計「０．８２」を二等分した値「０．４１」である。また、実数座標点ＶのＸ座標の値は、値「１」から合計「０．８２」を差し引いた差「０．１８」を二等分した値「０．０９」を対応実数座標点ＰのＸ座標の値「０．６３」に加えた値「０．７２」である。また、実数座標点ＶのＹ座標の値は、差「０．１８」を二等分した値「０．０９」を対応実数座標点ＰのＹ座標の値「０．１９」に加えた値「０．２８」である。
【０１２３】
このように、実数座標点Ｑ〜Ｖの座標値は、対応実数座標点Ｐの座標値から直接的に、或いは、加算、減算、二等分といった簡単な演算によって導き出される。そのため、対応実数座標点の周囲にある４つの整数座標点から２つの整数座標点を選択する上述の選択方法は、二進数演算に適した選択方法である。
【０１２４】
重み導出部１１１は、選択された２つの整数座標点で特定される２つの画素（以下、「入力画素」とする。）の値から出力画素の値を決定する際の各入力画素の値の重みを導き出す機能要素である。
【０１２５】
本実施例では、重み導出部１１１は、２つの整数座標点Ｂ、Ｄが選択された場合、線分ＢＤの長さに対する線分ＢＶの長さの比率を、整数座標点Ｄで特定される入力画素の値の重みαとして導き出す。また、重み導出部１１１は、線分ＢＤの長さに対する線分ＶＤの長さの比率を、整数座標点Ｂで特定される入力画素の値の重みβ（＝１−α）として導き出す。
【０１２６】
具体的には、図１０に示すように、実数座標点ＶのＸ座標の値の小数部分は、線分ＡＤの長さ「１」に対する線分ＡＷの長さの比率に相当する。なお、実数座標点Ｗは、線分ＡＤに対して実数座標点Ｖから下ろした垂線の交点である。そして、線分ＢＤの長さに対する線分ＢＶの長さの比率は、線分ＡＤの長さに対する線分ＡＷの長さの比率に等しい。そのため、重み導出部１１１は、実数座標点ＶのＸ座標の値の小数部分を、整数座標点Ｄで特定される入力画素の値の重みαとして採用する。また、重み導出部１１１は、実数座標点ＶのＹ座標の値の小数部分を、整数座標点Ｂで特定される入力画素の値の重みβとして採用する。なお、実数座標点ＶのＹ座標の値の小数部分は、値「１」から実数座標点ＶのＸ座標の値の小数部分を差し引いた値であり、１−αに相当する。このように、重み導出部１１１は、重みα、βを対応実数座標点Ｐの座標値から直接的に導き出し、比の計算等の比較的複雑な演算を省略できる。
【０１２７】
加重平均部１１２は、２つの入力画素の値を加重平均する機能要素である。本実施例では、加重平均部１１２は、重み導出部１１１が導き出した重みα、βを用いて２つの入力画素の値を加重平均する。具体的には、加重平均部１１２は、２つの入力画素のうちの一方（以下、「第１画素」とする。）の値に重みαを乗算し、出力画素の値における第１画素の値の寄与分を算出する。また、加重平均部１１２は、２つの入力画素のうちの他方（以下、「第２画素」とする。）の値に重みβを乗算し、出力画素の値における第２画素の値の寄与分を算出する。そして、加重平均部１１２は、第１画素の値の寄与分と第２画素の値の寄与分の合計である２つの入力画素の値の加重平均を出力画素の値として導き出す。
【０１２８】
例えば、整数座標点Ｂ、Ｄで特定される２つの入力画素のそれぞれの輝度値を加重平均する場合、加重平均部１１２は、実数座標点Ｖの座標値を用いる。具体的には、加重平均部１１２は、整数座標点Ｄで特定される入力画素（第１画素）の輝度値に対して、実数座標点ＶのＸ座標の値の小数部分（重みα）を乗算して第１画素の輝度値の寄与分を算出する。また、加重平均部１１２は、整数座標点Ｂで特定される入力画素（第２画素）の輝度値に対して、実数座標点ＶのＹ座標の値の小数部分（重みβ）を乗算して第２画素の輝度値の寄与分を算出する。そして、加重平均部１１２は、第１画素の輝度値の寄与分と第２画素の輝度値の寄与分とを合計することで出力画素の輝度値を導き出す。
【０１２９】
また、上述の実施例では、垂線ＰＶが最短となる場合について説明したが、他の垂線が最短となる場合についても同様の説明が適用される。
【０１３０】
なお、上述の補間方法は、対応実数座標点Ｐが４つの整数座標点Ａ〜Ｄ以外の位置に存在する場合に適用される。そのため、出力画像生成手段１１は、対応実数座標点Ｐが整数座標点Ａ〜Ｄの何れかの位置に存在する場合には、２つの整数座標点の選択、重みの導出、及び加重平均の演算を実行することなく、整数座標点としての対応実数座標点Ｐで特定される１つの入力画素の値をそのまま出力画素の値として採用する。また、６つの垂線のうちの最短のものが２つ以上存在する場合に対しては、出力画像生成手段１１は、それら同じ長さの垂線のうちの何れを選択するかを予め決めておく。例えば、出力画像生成手段１１は、予め設定された優先順位に基づいて１つの垂線を選択してもよい。また、上述の補間方法は、対応実数座標点ＰのＸ座標及びＹ座標の値が何れも０以上１以下の場合に適用されているが、ｉ以上ｉ＋１以下（ｉは整数）の場合にも同様に適用される。
【０１３１】
次に、図１２を参照して、出力画像生成手段１１が２つの入力画素の値を用いて１つの出力画素の値を導き出す補間処理の流れについて説明する。なお、図１２は、補間処理の流れを示すフローチャートである。出力画像生成手段１１は、例えば、図７のステップＳ５においてこの補間処理を実行する。また、以下のフローでは、垂線ＰＶが最短となる場合について説明するが、他の垂線が最短となる場合についても同様の説明が適用される。
【０１３２】
最初に、整数座標点選択部１１０は、対応実数座標点Ｐの周囲の４つの整数座標点Ａ〜Ｄから２つの整数座標点Ｂ、Ｄを選択する（ステップＳ５１）。具体的には、整数座標点選択部１１０は、対応実数座標点Ｐから６つの線分ＡＢ、ＡＣ、ＡＤ、ＢＣ、ＢＤ、ＣＤのそれぞれに垂線を下ろす。そして、整数座標点選択部１１０は、６つの垂線ＰＱ、ＰＲ、ＰＳ、ＰＴ、ＰＵ、ＰＶのうち最も短い垂線ＰＶ及びその垂線ＰＶに関連する線分ＢＤを選択し、さらに線分ＢＤに関連する２つの整数座標点Ｂ、Ｄを選択する。
【０１３３】
その後、整数座標点選択部１１０は、選択した２つの整数座標点Ｂ、Ｄを結ぶ線分ＢＤに対して対応実数座標点Ｐから下ろした垂線ＰＶの垂線交点（実数座標点）Ｖの座標値を導き出す（ステップＳ５２）。
【０１３４】
なお、整数座標点選択部１１０は、対応実数座標点Ｐの位置（座標値）と最短垂線との対応関係を表す最短垂線参照テーブルを用いて整数座標点のペアを選択してもよい。具体的には、最短垂線参照テーブルは、ｍ行ｍ列の配列であり、隣接する整数座標点の間をｍ等分したときの補間処理に対応する。なお、ｍは２以上の自然数であり、好適には二進数演算に最適な２のべき乗数（例えば１６）である。この最短垂線参照テーブルにより、整数座標点選択部１１０は、対応実数座標点Ｐの座標値から整数座標点のペアを一意に導き出すことができる。また、最短垂線参照テーブルは、対応実数座標点Ｐの位置（座標値）と垂線交点の位置（座標値）との対応関係を保持していてもよい。この場合、整数座標点選択部１１０は、対応実数座標点Ｐの座標値から垂線交点の座標値を一意に導き出すことができる。
【０１３５】
その後、重み導出部１１１は、垂線交点の座標値に基づいて重みα、βを導き出す（ステップＳ５３）。具体的には、重み導出部１１１は、垂線交点のＸ座標の値の小数部分を、整数座標点Ｄで特定される第１画素の値の重みαとして採用する。また、重み導出部１１１は、垂線交点のＹ座標の値の小数部分を、整数座標点Ｂで特定される第２画素の値の重みβとして採用する。
【０１３６】
なお、重み導出部１１１は、二進数演算に適するように垂線交点のＸ座標及びＹ座標のそれぞれの小数部分をｎ段階で表現してもよい。同様に、重み導出部１１１は、十進数で０以上１以下の実数値を有する重みαをｎ段階で表現してもよい。なお、ｎは２のべき乗数であり、例えば、２５６である。この場合、整数座標点選択部１１０は、垂線交点のＸ座標及びＹ座標のそれぞれの小数部分を２５６段階（８ビット）で量子化した状態で導き出す。重みαについても同様である。
【０１３７】
図１３は、垂線交点のＸ座標の小数部分ｄｘ及びＹ座標の小数部分ｄｙと、第１画素の値の重みαとの関係を示す図である。なお、ｄｘ、ｄｙ、及びαは何れも０〜２５５の範囲内の十進数の整数、すなわち８ビットで表現可能な値である。また、図１３の値「２５５」は、理論的には値「２５６」であるところ、垂線交点の座標値の小数部分を８ビットで表現するために値「２５６」の代わりに使用される。
【０１３８】
図１３に示すように、第１画素を特定する整数座標点が整数座標点Ａであり、第２画素を特定する整数座標点が整数座標点Ｄの場合、第１画素の値の重みαは（２５５−ｄｘ）で表される。また、第１画素を特定する整数座標点が整数座標点Ｂであり、第２画素を特定する整数座標点が整数座標点Ｄの場合、第１画素の値の重みαは、｛２５５−（２５５−ｄｙ＋ｄｘ）／２｝で表される。他の組み合わせについても同様である。なお、値「２」による除算は、１回の右シフト演算によって実現される。
【０１３９】
その後、加重平均部１１２は、２つの整数座標点で特定される２つの入力画素の値を加重平均して出力画素の値を導き出す（ステップＳ５４）。具体的には、加重平均部１１２は、第１画素の値の重みαに基づいて出力画素の値を導き出す。例えば、第１画素がＹＣｂＣｒ方式の色データ（Ｙ１、Ｃｂ１、Ｃｒ１）を有し、第２画素が色データ（Ｙ２、Ｃｂ２、Ｃｒ２）を有する場合を考える。なお、Ｙ１、Ｙ２は輝度信号であり、例えば、２５６段階（８ビット）のレベルを有する。また、Ｃｂ１、Ｃｂ２、Ｃｒ１、Ｃｒ２は色差信号であり、例えば、２５６段階（８ビット）のレベルを有する。この場合、出力画素の輝度信号Ｙは、Ｙ＝｛α×Ｙ１＋（２５５−α）×Ｙ２｝／２５６で表される。また、出力画素の色差信号Ｃｂは、Ｃｂ＝｛α×Ｃｂ１＋（２５５−α）×Ｃｂ２｝／２５６で表され、色差信号Ｃｒは、Ｃｒ＝｛α×Ｃｒ１＋（２５５−α）×Ｃｒ２｝／２５６で表される。なお、値「２５６」の代わりに値「２５５」を用いるのは上述の理由による。また、値「２５６」による除算は、８回の右シフト演算によって実現される。
【０１４０】
以上の構成により、画像生成装置１００は、対応実数座標点Ｐの周囲の４つの整数座標点のうちの２つの整数座標点で特定される２つの入力画素のそれぞれの値を加重平均することで出力画素の値を導き出す。そのため、演算負荷の増大を押さえながらも画質を向上させることができる。例えば、画像生成装置１００は、色の再現性を高めることで画質を向上させることができる。そのため、ショベル６０に搭載されたカメラ２が撮像した入力画像に基づいて生成される出力画像において、ショベルの旋回、走行、掘削作業等に起因するカメラ２の振動に応じて発生するジャギーを目立たなくすることができる。
【０１４１】
また、画像生成装置１００で実行される補間処理は、バイリニア補間のように対応実数座標点Ｐの周囲の４つの整数座標点で特定される４つの入力画素のそれぞれの値を加重平均する処理に比べ、加重平均処理の実行回数を３回から１回に削減でき、演算時間を短縮できる。また、画像生成装置１００で実行される補間処理は、ＦＰＧＡ等による組込実装に適した低演算量を実現できる。そのため、画像生成装置１００は、除算回路等の搭載を回避できる。
【０１４２】
次に、図１４〜図１９を参照しながら、画像生成装置１００が入力画像間の明るさ（輝度）の差を際立たせないようにする処理について説明する。
【０１４３】
図１４は、ショベル６０に搭載された三台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
【０１４４】
画像生成装置１００は、それら三台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成して、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示している。
【０１４５】
図１４において、左側方カメラ２Ｌの入力画像及び後方カメラ２Ｂの入力画像はそれぞれ、ショベル６０の周囲における同じ場所を異なる角度から撮像した重複部分を含むが、それら重複部分はそれぞれ、各カメラに関する照明環境等の違いにより異なる明るさで撮像されており、その輝度が異なるものとなっている。右側方カメラ２Ｒの入力画像と後方カメラ２Ｂの入力画像との間の重複部分についても同様である。
【０１４６】
そのため、それら３つの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が複数の入力画像平面上の座標に対応付け可能な場合に、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、同じ場所を撮像しているにもかかわらず、左側方カメラ２Ｌの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界（図の一点鎖線で囲まれる領域Ｒ６参照。）、及び、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界（図の一点鎖線で囲まれる領域Ｒ７参照。）のところでその輝度が急激に変化することとなり、その出力画像を見た運転者に不自然さを感じさせてしまうこととなる。
【０１４７】
そこで、画像生成装置１００は、チェッカーシャドー錯視（同色錯視）による効果を利用して、入力画像間の輝度の差を際立たせないようにする。
【０１４８】
図１５は、同色錯視を説明するための図（Edward H. Adelson、"Checker shadow illusion"、１９９５年、インターネット＜URL: http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html＞）であり、図１５（Ａ）は、同色錯視をもたらすために利用されるチェッカーパタン（格子模様）を示し、図１５（Ｂ）は、チェッカーパタン（格子模様）上の点Ｐ１〜点Ｐ３及び点Ｐ４〜点Ｐ６における輝度の推移を表すグラフを示す。
【０１４９】
図１５（Ａ）で示されるように、点Ｐ２を含む単位パタンの輝度よりも高い輝度を有する２つの単位パタン（点Ｐ１を含む単位パタン及び点Ｐ３を含む単位パタンである。）で挟まれたその点Ｐ２を含む単位パタンの輝度は、点Ｐ５を含む単位パタンの輝度よりも低い輝度を有する２つの単位パタン（点Ｐ４を含む単位パタン及び点Ｐ６を含む単位パタンである。）で挟まれたその点Ｐ５を含む単位パタンの輝度よりも低いように見える。
【０１５０】
しかしながら、この輝度の差は、それぞれの単位パタンが格子模様を形成していること、及び、点Ｐ４〜点Ｐ６を含む単位パタン群が物体ＯＢＪの影に入っていることを認識している観察者の錯視によるものであり、実際には、図１５（Ｂ）で示されるように、点Ｐ２を含む単位パタンの輝度は、点Ｐ５を含む単位パタンの輝度に等しいものとなっている。
【０１５１】
このように、その観察者は、点Ｐ１、点Ｐ３、及び点Ｐ５のそれぞれを含む単位パタンが同じ輝度を有し、点Ｐ２、点Ｐ４、及び点Ｐ６のそれぞれを含む単位パタンが同じ輝度を有するものと錯覚することとなる。
【０１５２】
図１６は、同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図であり、２つの波源（例えば、右側方カメラ２Ｒ及び後方カメラ２Ｂである。なお、右側方カメラ２Ｒが図の左側に示されているが、これは図の明瞭化のためであり、ここでは、図の右斜め上方が、ショベル６０の後方に対応するものとする。）から山（実線円）及び谷（破線円）を形成しながら拡がって互いに干渉する２つの波を示す。
【０１５３】
また、図１６において、２つの扇形領域２Ｒａ、２Ｂａはそれぞれ、右側方カメラ２Ｒの撮像範囲、及び、後方カメラ２Ｂの撮像範囲を示し、太い実線で表される腹線ＡＮＬは、２つの波が互いに強め合う点を連ねた線を示し、太い破線で表される節線ＮＬは、２つの波が互いに弱め合う点を連ねた線を示す。なお、腹線ＡＮＬ及び節線ＮＬは、図１６で示されるように、交互に現れることとなる。
【０１５４】
また、図１６において、右側方カメラ２Ｒを波源として拡がる波の１つの谷が描く線（破線円）と、その１つの谷の次に発生する１つの山が描く線（実線円）と、後方カメラ２Ｂを波源として拡がる波の１つの谷が描く線（破線円）と、その１つの谷の次に発生する１つの山が描く線（実線円）とで定められる菱形状の領域のそれぞれは、単位パタン領域ＬＴを形成するものとする。
【０１５５】
図１６で示される複数の単位パタン領域ＬＴが出力画像平面上に描かれたものとし、単位パタン領域ＬＴのうちの腹線ＡＮＬが通過する（灰色で塗り潰される）単位パタン領域ＬＴ１に後方カメラ２Ｂの入力画像が対応付けられ、且つ、単位パタン領域ＬＴのうちの節線ＮＬが通過する（白色で塗り潰される）単位パタン領域ＬＴ２に右側方カメラ２Ｒの入力画像が対応付けられるものとすると、平均輝度がそれぞれ異なる２つの入力画像は、同色錯視をもたらす格子模様を形成できる。
【０１５６】
なお、単位パタン領域ＬＴのうちの腹線ＡＮＬが通過する（灰色で塗り潰される）単位パタン領域ＬＴ１に右側方カメラ２Ｒの入力画像が対応付けられ、且つ、単位パタン領域ＬＴのうちの節線ＮＬが通過する（白色で塗り潰される）単位パタン領域ＬＴ２に後方カメラ２Ｂの入力画像が対応付けられる場合も同様に、平均輝度がそれぞれ異なる２つの入力画像は、同色錯視をもたらす格子模様を形成できる。
【０１５７】
また、図１６の格子模様は、波長及び位相が等しい２つの波を用いて形成されるが、波長及び位相の一方又は双方が異なる２つの波を用いて形成されてもよい。単位パタン領域ＬＴ１、ＬＴ２のサイズや形状を柔軟に調整できるようにするためである。
【０１５８】
図１７は、図１６で示される格子模様を出力画像平面（平面領域Ｒ１）上に配置した状態を示し、ショベル６０のＣＧ画像の右後方（図の右下方向）にある、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様と、ショベル６０のＣＧ画像の左後方（図の左下方向）にある、左側方カメラ２Ｌの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様とを示す。
【０１５９】
図１７において、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様は、例えば、（灰色で塗り潰される）単位パタン領域ＬＴ１に右側方カメラ２Ｒの入力画像が対応付けられ、（白色で塗り潰される）単位パタン領域ＬＴ２に後方カメラ２Ｂの入力画像が対応付けられるものとする。
【０１６０】
また、左側方カメラ２Ｌの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様は、例えば、（灰色で塗り潰される）単位パタン領域ＬＴ３に左側方カメラ２Ｌの入力画像が対応付けられ、（白色で塗り潰される）単位パタン領域ＬＴ４に後方カメラ２Ｂの入力画像が対応付けられるものとする。
【０１６１】
図１８は、画像生成装置１００が、２つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像平面上の各座標に、それら２つのカメラの何れか一方の入力画像平面上の座標を対応付け、同色錯視をもたらす格子模様を形成する処理（以下、「格子模様形成処理」とする。）の流れを示すフローチャートである。
【０１６２】
画像生成装置１００の制御部１は、例えば、座標対応付け手段１０により、図９の処理対象画像生成処理のステップＳ２において、空間モデルＭＤの平面領域Ｒ１上の一座標と複数の入力画像平面上の座標との対応付けが可能な場合に、空間モデルＭＤの平面領域Ｒ１上の一座標と２つのカメラのそれぞれに対応する２つの入力画像平面のうちの１つにおける一座標とを対応付ける際に、この格子模様形成処理を実行するものとする。
【０１６３】
最初に、制御部１は、２つのカメラ（例えば、右側方カメラ２Ｒ及び後方カメラ２Ｂである。）の撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の一座標を取得する（ステップＳ１１）。
【０１６４】
次に、制御部１は、２つのカメラのそれぞれにおける光学中心の座標を取得する（ステップＳ１２）。
【０１６５】
次に、制御部１は、ステップＳ１１で取得した空間モデルＭＤにおける平面領域Ｒ１上の一座標に対応付けるカメラを選択する（ステップＳ１３）。
【０１６６】
具体的には、制御部１は、右側方カメラ２Ｒの光学中心の座標を（Ｘcam1、Ｙcam1）とし、後方カメラ２Ｂの光学中心の座標を（Ｘcam2、Ｙcam2）とし、対応付けの対象である空間モデルＭＤの平面領域Ｒ１上の一座標を（Ｘtarget、Ｙtarget）とし、右側方カメラ２Ｒを波源として拡がる波の波長をλ１［ｍｍ］、位相をＰ１［ｒａｄ］とし、後方カメラ２Ｂを波源として拡がる波の波長をλ２［ｍｍ］、位相をＰ２［ｒａｄ］とすると、
【０１６７】
【数１２】
2015154144.tif 000014
で表される条件式が真である場合、その平面領域Ｒ１上の一座標に対応付けるカメラとして右側方カメラ２Ｒを選択し、上述の条件式が偽である場合、その平面領域Ｒ１上の一座標に対応付けるカメラとして後方カメラ２Ｂを選択する。
【０１６８】
なお、制御部１は、上述の条件式が真である場合に、その平面領域Ｒ１上の一座標に対応付けるカメラとして後方カメラ２Ｂを選択し、上述の条件式が偽である場合に、その平面領域Ｒ１上の一座標に対応付けるカメラとして右側方カメラ２Ｒを選択するようにしてもよい。
【０１６９】
なお、上述の条件式は、平面領域Ｒ１上の座標（Ｘtarget、Ｙtarget）が、図１７で示される単位パタン領域ＬＴ１に含まれるか、或いは、単位パタン領域ＬＴ２に含まれるかの判定式に相当する。
【０１７０】
また、本実施例において、制御部１は、光学中心の座標が二次元座標であり、波源から発生する波が平面波であるという前提で、平面領域Ｒ１上の一座標（二次元座標）と２つのカメラのそれぞれの光学中心の座標（平面領域Ｒ１を含む平面上に投影された二次元座標）との間の二次元距離に基づいてカメラを選択するが、光学中心の座標を（高さ情報を含む）三次元座標とし、波源から発生する波を球面波としながら、平面領域Ｒ１上の一座標（三次元座標）と２つのカメラのそれぞれの光学中心の座標（三次元座標）との間の三次元距離に基づいてカメラを選択するようにしてもよい。
【０１７１】
また、本実施例において、制御部１は、２つのカメラ（例えば、右側方カメラ２Ｒ及び後方カメラ２Ｂである。）の撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の一座標に対応付けるカメラを選択しているが、２つのカメラの撮像範囲が重複する領域に対応する、処理対象画像平面Ｒ３上の一座標に対応付けるカメラを選択するようにしてもよい。
【０１７２】
この場合、制御部１は、処理対象画像平面Ｒ３上の一座標（二次元座標）と２つのカメラのそれぞれの光学中心の座標（処理対象画像平面Ｒ３を含む平面上に投影された二次元座標）との間の二次元距離に基づいてカメラを選択するようにしてもよく、処理対象画像平面Ｒ３上の一座標（三次元座標）と２つのカメラのそれぞれの光学中心の座標（三次元座標）との間の三次元距離に基づいてカメラを選択するようにしてもよい。なお、処理対象画像平面Ｒ３は、平面領域Ｒ１を含むものであってもよい。
【０１７３】
その後、制御部１は、座標対応付け手段１０により、選択したカメラの入力画像平面上の一座標と、空間モデルＭＤの平面領域Ｒ１上の一座標とを対応付け（ステップＳ１４）、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。
【０１７４】
その後、制御部１は、２つのカメラの撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の全ての座標を、２つのカメラのうちの１つの入力画像平面上の座標に対応付けたか否かを判定し（ステップＳ１５）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ１５のＮＯ）、ステップＳ１１〜ステップＳ１４の処理を繰り返すようにする。
【０１７５】
一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ１５のＹＥＳ）、この格子模様形成処理を終了させる。
【０１７６】
なお、上述において、制御部１は、２つのカメラの撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の各座標、又は、処理対象画像平面Ｒ３上の各座標を、２つのカメラのうちの１つの入力画像平面上の座標に対応付けるようにするが、更に、２つのカメラの撮像範囲が重複する領域に対応する、空間モデルＭＤの曲面領域Ｒ２上の各座標を、２つのカメラのうちの１つの入力画像平面上の座標に対応付けるようにしてもよい。
【０１７７】
このように、制御部１は、上述のような条件式を用いて空間モデルＭＤ上の各座標を２つのカメラのうちの１つの入力画像平面上の座標に容易に対応付けることができ、適切な格子模様を生成することができる。
【０１７８】
図１９は、図１４で示される出力画像と、図１４の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図１９（Ａ）が図１４で示される出力画像を示し、図１９（Ｂ）が同色錯視をもたらす格子模様が適用された出力画像を示す。
【０１７９】
左側方カメラ２Ｌの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界を含む図１９（Ａ）の一点鎖線で囲まれた領域Ｒ６は、顕著な輝度の違いを提示しているが、左側方カメラ２Ｌの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域とが格子模様となって混在する図１９（Ｂ）の一点鎖線で囲まれた領域Ｒ８は、その輝度の違いが目立たなくなっており、その領域Ｒ８を含む出力画像を見た運転者に不自然さを感じさせ難くしている。
【０１８０】
同様に、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界を含む図１９（Ａ）の一点鎖線で囲まれた領域Ｒ７は、顕著な輝度の違いを提示しているが、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域とが格子模様となって混在する図１９（Ｂ）の一点鎖線で囲まれた領域Ｒ９は、その輝度の違いが目立たなくなっており、その領域Ｒ９を含む出力画像を見た運転者に不自然さを感じさせ難くしている。
【０１８１】
次に、図２０〜図２２を参照しながら、画像生成装置１００が、２つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止する処理について説明する。
【０１８２】
図２０は、ショベル６０に搭載された三台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
【０１８３】
画像生成装置１００は、それら三台のカメラ２のそれぞれの入力画像平面上の座標を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上の座標に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成して、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを表示している。
【０１８４】
図２０において、右側方カメラ２Ｒの入力画像、及び、後方カメラ２Ｂの入力画像はそれぞれ、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域内に人物（右側方カメラ２Ｒの入力画像における二点鎖線で囲まれる領域Ｒ１０、及び、後方カメラ２Ｂの入力画像における二点鎖線で囲まれる領域Ｒ１１参照。）を捉えている。
【０１８５】
しかしながら、それら右側方カメラ２Ｒの入力画像、及び、後方カメラ２Ｂの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、図２０で示されるように、その重複領域内の人物を消失させてしまうこととなる（出力画像内の一点鎖線で囲まれる領域Ｒ１２参照。）。
【０１８６】
そこで、画像生成装置１００は、同色錯視をもたらすために形成される格子模様を利用して、２つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止するものとする。
【０１８７】
図２１は、２つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図であり、図２１（Ａ）は、図１６で示される同色錯視をもたらすための格子模様を形成するための波の図を示し、図２１（Ｂ）は、図２１（Ａ）の一部拡大図を示す。
【０１８８】
図２１（Ａ）において、破線で囲まれる投影像ＰＲＪ１は、後方カメラ２Ｂの入力画像における物体ＯＢＪ１の像が、路面画像を生成するための視点変換によって、その後方カメラ２Ｂとその物体ＯＢＪ１とを結ぶ線の延長方向に伸長されたもの（後方カメラ２Ｂの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。）を表す。
【０１８９】
また、破線で囲まれる投影像ＰＲＪ２は、右側方カメラ２Ｒの入力画像における物体ＯＢＪ１の像が、路面画像を生成するための視点変換によって、その右側方カメラ２Ｒとその物体ＯＢＪ１とを結ぶ線の延長方向に伸長されたもの（右側方カメラ２Ｒの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。）を表す。
【０１９０】
なお、投影像ＰＲＪ１及び投影像ＰＲＪ２は、最終的な出力画像上にそのままの状態で表示されることはなく、図２１（Ｂ）で示されるように、一部が切り欠かれた状態で表示されることとなる。
【０１９１】
また、図２１（Ａ）において、投影像ＰＲＪ１を表す破線領域のうち、灰色で塗り潰された部分は、腹線ＡＮＬが通過する単位パタン領域ＬＴ１（図１６参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられることを示す。
【０１９２】
一方、投影像ＰＲＪ１を表す破線領域のうち、白色で塗り潰された部分は、節線ＮＬが通過する単位パタン領域ＬＴ２（図１６参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられることを示す。
【０１９３】
なお、投影像ＰＲＪ１を表す破線領域のうち、灰色で塗り潰された部分に対応する出力画像上の各座標に、右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられ、投影像ＰＲＪ１を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に、後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられるようにしてもよい。
【０１９４】
この場合、投影像ＰＲＪ１は、図２１（Ｂ）で示されるように、その伸長方向に直交する円（後方カメラ２Ｂの位置を波源とする波の山及び谷が描く円である。）の一部をその境界線として含む単位パタン領域ＬＴ２によって切り欠かれることとなるが、隣接する単位パタン領域ＬＴ１が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域ＬＴ２のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。
【０１９５】
また、投影像ＰＲＪ１は、物体ＯＢＪ１の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域ＬＴ１及びＬＴ２は何れもカメラから遠ざかる程、その投影像ＰＲＪ１と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。
【０１９６】
また、図２１（Ａ）において、投影像ＰＲＪ２を表す破線領域のうち、黒色で塗り潰された部分は、節線ＮＬが通過する単位パタン領域ＬＴ２（図１６参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられることを示す。
【０１９７】
一方、投影像ＰＲＪ２を表す破線領域のうち、白色で塗り潰された部分は、腹線ＡＮＬが通過する単位パタン領域ＬＴ１（図１６参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられることを示す。
【０１９８】
なお、投影像ＰＲＪ２を表す破線領域のうち、黒色で塗り潰された部分に対応する出力画像上の各座標に後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられ、投影像ＰＲＪ２を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられるようにしてもよい。
【０１９９】
この場合、投影像ＰＲＪ２は、投影像ＰＲＪ１と同様に、図２１（Ｂ）で示されるように、その伸長方向に直交する円（右側方カメラ２Ｒの位置を波源とする波の山及び谷が描く円である。）の一部をその境界線として含む単位パタン領域ＬＴ１によって切り欠かれることとなるが、隣接する単位パタン領域ＬＴ２が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域ＬＴ１のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。
【０２００】
また、投影像ＰＲＪ２は、投影像ＰＲＪ１と同様に、物体ＯＢＪ１の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域ＬＴ１及びＬＴ２は何れもカメラから遠ざかる程、その投影像ＰＲＪ２と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。
【０２０１】
図２２は、図２０で示される出力画像と、図２０の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図２２（Ａ）が図２０で示される出力画像を示し、図２２（Ｂ）が同色錯視をもたらす格子模様が適用された出力画像を示す。
【０２０２】
右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界を含む図２２（Ａ）の一点鎖線で囲まれた領域Ｒ１３は、人物が消失した状態を提示しているが、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域とが格子模様となって混在する図２２（Ｂ）の一点鎖線で囲まれた領域Ｒ１４は、人物を消失させることなく、その人物を認識し易い状態で提示し、その領域Ｒ１４を含む出力画像を見た運転者にその人物の存在を確実に認識させることができるようにしている。
【０２０３】
以上の構成により、画像生成装置１００は、同色錯視をもたらすための格子模様を利用することにより、２つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止することができる。また、画像生成装置１００は、２つの入力画像のそれぞれの部分領域が櫛歯状に交互に配置されるように２つの入力画像を繋ぎ合わせる場合に比べ、その重複領域に対応する出力画像部分にある物体の投影像の輪郭を視認し易い形で保存でき、その一部が切り欠かれることとなるその物体の投影像を、運転者がより認識し易い状態で表示することができる。
【０２０４】
しかしながら、画像生成装置１００は、格子模様を利用する限り、その投影像の断片化による見栄えの悪化を受け入れざるを得ない。特に、出力画像の解像度が低い場合、単位パタン領域ＬＴ１、ＬＴ２の細部が劣化するため、ノイズの発生等による見栄えの悪化はより顕著となる。その結果、投影像の輪郭を視認し易い形で保存するという本来の設計意図を発揮できない場合が生じ得る。
【０２０５】
なお、格子模様を利用せずに、重複領域に対応する出力画像部分を生成する際に後方カメラ２Ｂの入力画像における画素の値と右側方カメラ２Ｒの入力画像における画素の値とを平均化した場合、制御部１は、投影像の断片化による見栄えの悪化を防止できるが、投影像の半透明化により投影像の視認性を悪化させてしまう。また、そもそも格子模様を利用しなければ格子模様による上述の効果を実現できないため、このような平均化をそのまま採用することはできない。
【０２０６】
そこで、画像生成装置１００の制御部１は、投影像の視認性を維持しながらも見栄えの悪化を防止するために、単位パタン領域ＬＴ１、ＬＴ２のそれぞれの細部における画素の値を調整する。具体的には、制御部１は、後方カメラ２Ｂの入力画像における画素の値と右側方カメラ２Ｒの入力画像における画素の値とを加重平均して単位パタン領域ＬＴ１、ＬＴ２を形成する画素の値を導き出す。なお、本実施例では、制御部１は、補間処理の際に利用した加重平均部１１２を利用し、後方カメラ２Ｂの入力画像における画素の値と右側方カメラ２Ｒの入力画像における画素の値との加重平均を導き出すことができる。この構成により、制御部１は、格子模様と平均化とを併用し、その出力画像部分の視認性を維持しながら見栄えの低下を防止できる。なお、格子模様による視認性の改善と平均化による見栄えの改善とはトレードオフの関係にある。具体的には、各画素の値として採用される加重平均値が単純平均値に近づくほど見栄えは改善されるが視認性は低下する。格子模様による断片化が解消されるが、投影像が半透明化するためである。そのため、制御部１は、以下で説明するように、各画素の位置に応じて加重平均の際に用いる重み係数を適切に調整することで視認性と見栄えのバランスを図るようにする。
【０２０７】
図２３は、重複領域に対応する出力画像部分の見栄えを改善するために制御部１が後方カメラ２Ｂの入力画像における画素の値と側方カメラ２Ｌ、２Ｒの入力画像における画素の値とを加重平均する処理（以下、「平均化境界処理」とする。）の流れを示す概略図である。なお、以下では、説明の便宜上、後方カメラ２Ｂの入力画像における画素の値と右側方カメラ２Ｒの入力画像における画素の値とを加重平均する場合を説明する。しかしながら、後方カメラ２Ｂの入力画像における画素の値と左側方カメラ２Ｌの入力画像における画素の値とを加重平均する場合にも同様の説明が適用され得る。
【０２０８】
最初に、制御部１は、出力画像平面に「場」を設定する。「場」とは、時空（出力画像平面上）の各点に関連する物理量である。「場」では、座標を指定すればある１つの物理量が定まる。上述の
【０２０９】
【数１３】
2015154144.tif 000015
は「場の」一例であり、右側方カメラ２Ｒの位置を波源とする波と後方カメラ２Ｂの位置を波源とする波の合成波の振幅に関する物理量である。なお、（Ｘcam1、Ｙcam1）は右側方カメラ２Ｒの光学中心の座標を表し、（Ｘcam2、Ｙcam2）は後方カメラ２Ｂの光学中心の座標を表し、（Ｘtarget、Ｙtarget）は空間モデルＭＤの平面領域Ｒ１上の一座標を表し、λ１は右側方カメラ２Ｒを波源として拡がる波の波長［ｍｍ］を表し、Ｐ１は右側方カメラ２Ｒを波源として拡がる波の位相［ｒａｄ］を表し、λ２は後方カメラ２Ｂを波源として拡がる波の波長［ｍｍ］を表し、Ｐ２は後方カメラ２Ｂを波源として拡がる波の位相［ｒａｄ］を表す。
【０２１０】
本実施例では、制御部１は、上述の式で表される場を設定する。この場合、「場」の値ｆは、−１≦ｆ≦１で表される。そして、図１７に示す単位パタン領域ＬＴ１内の「場」の値ｆは０＜ｆ≦１で表され、単位パタン領域ＬＴ２内の「場」の値ｆは−１≦ｆ≦０で表される。
【０２１１】
また、制御部１は、右側方カメラ２Ｒの位置を波源とする波と後方カメラ２Ｂの位置を波源とする波の合成波の振幅に関する物理量である
【０２１２】
【数１４】
2015154144.tif 000016
を「場」として設定してもよい。この場合、「場」の値ｆは、−１≦ｆ≦１で表される。そして、図１７に示す単位パタン領域ＬＴ１内の「場」の値ｆは０＜ｆ≦１で表され、単位パタン領域ＬＴ２内の「場」の値ｆは−１≦ｆ≦０で表される。
【０２１３】
その後、制御部１は、「場」の値ｆを「重み」の値ｗに変換する。「重み」は、加重平均の際に用いる重み係数である。本実施例では、制御部１は、「場」の値ｆを、後方カメラ２Ｂの入力画像における画素値の「重み」の値ｗＢに変換する。また、値ｗＢは、右側方カメラ２Ｒの入力画像における画素値の「重み」の値ｗＲと相補的な関係にあり、値ｗＢと値ｗＲの合計は常に一定とされ、値ｗＢが増加すると値ｗＲが減少する。
【０２１４】
図２４は、「場」の値ｆから「重み」の値ｗＢへの変換に用いる変換曲線の一例である。図２４の変換曲線は、
【０２１５】
【数１５】
2015154144.tif 000017
で表され、例えば重複領域に対応する出力画像部分における格子模様のコントラストを強める際に用いられる。なお、Ａ０は、急峻さを表すパラメータであり、例えば、０＜Ａ０≦０．１２である。
【０２１６】
図２５は、「場」の値ｆから「重み」の値ｗＢへの変換に用いる変換曲線の別の一例である。図２５の変換曲線は、ｗ＝Ａ１ｆ３＋（１−Ａ１）ｆで表され、例えば重複領域に対応する出力画像部分における格子模様のコントラストを弱める際に用いられる。なお、Ａ１は、急峻さを表すパラメータであり、例えば、０≦Ａ１≦１であり、Ａ１＝０のときに線形となる。
【０２１７】
また、現段階では、「重み」の値ｗＢは、−１以上＋１以下の値となるように変換される。後続の処理で使用される際の便宜のためである。この変換には、丸め処理（最小値、最大値で制限）、スケール変換（線形変換）等が用いられる。
【０２１８】
また、上述の「場」及び変換曲線を用いた場合、単位パタン領域ＬＴ１内の画素の値は、後方カメラ２Ｂの入力画像における画素値の重みｗＢが右側方カメラ２Ｒの入力画像における画素値の重みｗＲ以上となる状態で導き出される。すなわち、後方カメラ２Ｂの入力画像における画素値の影響（寄与度）が右側方カメラ２Ｒの入力画像における画素値の影響（寄与度）以上となるように導き出される。また、単位パタン領域ＬＴ２内の画素の値は、右側方カメラ２Ｒの入力画像における画素値の重みｗＲが後方カメラ２Ｂの入力画像における画素値の重みｗＢ以上となる状態で導き出される。すなわち、右側方カメラ２Ｒの入力画像における画素値の影響（寄与度）が後方カメラ２Ｂの入力画像における画素値の影響（寄与度）以上となるように導き出される。
【０２１９】
なお、単位パタン領域ＬＴ１内の画素に関して重みｗＲが重みｗＢ以上となる状態で導き出され、且つ、単位パタン領域ＬＴ２内の画素に関して重みｗＢが重みｗＲ以上となる状態で導き出されてもよい。また、単位パタン領域ＬＴ１内の画素に関する重みｗＢ、ｗＲは、画素毎に異なる値であってもよく同じ値であってもよい。単位パタン領域ＬＴ２内の画素に関する重みｗＢ、ｗＲについても同様である。
【０２２０】
更に、単位パタン領域ＬＴ１内の全ての画素に関する重みｗＢが重みｗＲ以上で、且つ単位パタン領域ＬＴ２内の全ての画素に関する重みｗＲが重みｗＢ以上となる必要はなく、単位パタン領域ＬＴ１内の各画素に関する重みｗＢの平均値が重みｗＲの平均値以上となり、且つ単位パタン領域ＬＴ２内の各画素に関する重みｗＲの平均値が重みｗＢの平均値以上となるような変換曲線を用いて重みｗＢ、ｗＲが導き出されてもよい。単位パタン領域ＬＴ１内の画素に関する重みｗＲが重みｗＢ以上となる状態で導き出され、且つ、単位パタン領域ＬＴ２内の画素に関する重みｗＢが重みｗＲ以上となる状態で導き出される場合も同様である。
【０２２１】
図２６は、単位パタン領域ＬＴ１における画素に関する重みｗＢの値と単位パタン領域ＬＴ２における画素に関する重みｗＢの値との関係を示す図である。具体的には、図２６（Ａ）は、単位パタン領域ＬＴ１及び単位パタン領域ＬＴ２における各画素の配置を示す図であり、単位パタン領域ＬＴ１は画素Ｇ１〜Ｇ５を含み、単位パタン領域ＬＴ２は画素Ｇ６〜Ｇ１０を含む。本実施例では、画素Ｇ１、Ｇ５は、単位パタン領域ＬＴ１の周縁部にある画素であり、画素Ｇ３は、単位パタン領域ＬＴ１の中心部にある画素であり、画素Ｇ２、Ｇ４は、単位パタン領域ＬＴ１の中心部と周縁部との間の中間部にある画素である。
【０２２２】
同様に、画素Ｇ６、Ｇ１０は、単位パタン領域ＬＴ２の周縁部にある画素であり、画素Ｇ８は、単位パタン領域ＬＴ２の中心部にある画素であり、画素Ｇ７、Ｇ９は、単位パタン領域ＬＴ２の中心部と周縁部との間の中間部にある画素である。
【０２２３】
また、図２６（Ｂ）及び図２６（Ｃ）は、図２６（Ａ）の各画素に関する重みｗＢの値を示し、図２６（Ｂ）は、単位パタン領域ＬＴ１における重みｗＢの値の推移を表す推移線ＴＬ１（破線）と、単位パタン領域ＬＴ２における重みｗＢの値の推移を表す推移線ＴＬ２（一点鎖線）とが、単位パタン領域ＬＴ１と単位パタン領域ＬＴ２との境界線ＢＬを値ゼロで横切る際に連続的となる例を示す。なお、図２６（Ｂ）に示す例は、２種類の単位パタン領域の境界が比較的目立たない出力画像をもたらす。また、図２６（Ｃ）は、推移線ＴＬ１、ＴＬ２が境界線ＢＬを横切る際に不連続となる例を示す。なお、図２６（Ｃ）に示す例は、２種類の単位パタン領域の境界が比較的目立つ出力画像をもたらす。
【０２２４】
具体的には、図２６（Ｂ）は、単位パタン領域ＬＴ１に含まれる画素Ｇ１〜Ｇ５のそれぞれに関する重みｗＢの値が０以下、すなわち重みｗＲ以下であることを示し、且つ、単位パタン領域ＬＴ２に含まれる画素Ｇ６〜Ｇ１０のそれぞれに関する重みｗＢの値が０以上、すなわち重みｗＲ以上であることを示す。
【０２２５】
また、図２６（Ｃ）は、単位パタン領域ＬＴ１に含まれる画素Ｇ１及びＧ５並びに単位パタン領域ＬＴ２に含まれる画素Ｇ７〜Ｇ９のそれぞれに関する重みｗＢの値が０以上、すなわち重みｗＲ以上であることを示し、且つ、単位パタン領域ＬＴ１に含まれる画素Ｇ２〜Ｇ４並びに単位パタン領域ＬＴ２に含まれる画素Ｇ６及びＧ１０のそれぞれに関する重みｗＢの値が０以下、すなわち重みｗＲ以下であることを示す。
【０２２６】
また、図２６（Ｂ）及び図２６（Ｃ）の何れにおいても、推移線ＴＬ１の軌跡は、推移線ＴＬ２の軌跡の正負を反転させた関係にある。具体的には、単位パタン領域ＬＴ１の中心から輪郭に向かう際の重みｗＢの推移線ＴＬ１の軌跡は、単位パタン領域ＬＴ２の中心から輪郭に向かう際の重みｗＢの推移線ＴＬ２の軌跡の正負を反転させた関係にある。重みｗＲについても同様である。
【０２２７】
その後、制御部１は、導き出した「重み」の値ｗＢを必要に応じて修正する。本実施例では、制御部１は、加算修正及び乗算修正を実行する。加算修正は、「重み」の値ｗＢに加算修正値を加算する処理である。加算修正値は、望ましくは、「重み」の値ｗＢの最大値と最小値とを反転できる大きさを有し、「重み」の値ｗＢが−１以上１以下の場合、−２以上２以下の値を取り得る。本実施例では、加算修正値の値が大きいほど、「重み」の値ｗＢが大きくなり、後方カメラ２Ｂの入力画像における画素値の影響が大きくなる。乗算処理は、「重み」の値ｗＢに乗算修正値を乗算する処理である。乗算修正値は、０以上１以下の値を取り得る。本実施例では、乗算修正値の値が小さいほど、「重み」の値ｗＢがゼロ（中間値）に近づき、出力画像における画素値は、後方カメラ２Ｂの入力画像における画素値と右側方カメラ２Ｒの入力画像における画素値との単純平均に近づく。そして、乗算修正値の値がゼロのときに値ｗＢが値ｗＲと等しくなり、値ｗＢ及び値ｗＲを用いて算出される加重平均値は単純平均値となる。
【０２２８】
本実施例では、制御部１は、加算修正の一例である周辺減光対策処理を実行する。図２７は、周辺減光対策処理を説明する図である。周辺減光対策処理は、周辺光量の低下に起因する入力画像の周辺部の暗さを目立たなくする処理である。
【０２２９】
具体的には、制御部１は、後方カメラ２Ｂの入力画像における画素の位置に応じた加算修正値ＣＢ１を導き出し、導き出した加算修正値ＣＢ１を０以上１以下の値に丸め処理（最小値０、最大値１で制限）した後に−２を乗じた値を、対応する「重み」の値ｗＢに加算する。なお、加算修正値ＣＢ１に−２（負値）を乗ずるのは、後方カメラ２Ｂの入力画像の周辺部における画素値の重みの値ｗＢを小さくしてその画素値の影響を小さくするためである。
【０２３０】
加算修正値ＣＢ１は、以下の式で表される。なお、Ｂ０は急峻さを表すパラメータであり、例えば、１≦Ｂ０≦５２である。また、ｒは後方カメラ２Ｂの入力画像の中心点からの半径［ピクセル］を表す。また、Ｂ１は加算修正値ＣＢ１が値１に達するときのｒの値を表し、本実施例では４００［ピクセル］である。
【０２３１】
【数１６】
2015154144.tif 000018
同様に、制御部１は、右側方カメラ２Ｒの入力画像における画素の位置に応じた加算修正値ＣＲ１（図示省略。）を導き出し、導き出した加算修正値ＣＲ１を０以上１以下の値に丸め処理（最小値０、最大値１で制限）した後に＋２を乗じた値を、対応する「重み」の値ｗＢに加算する。なお、加算修正値ＣＲ１に＋２（正値）を乗ずるのは、後方カメラ２Ｂの入力画像における画素値の重みの値ｗＢを大きくしてその画素値の影響を大きくすることで、右側方カメラ２Ｒの入力画像の周辺部における画素値の影響を小さくするためである。
【０２３２】
また、制御部１は、加算修正の別の一例であるサイドエッジ対策処理を実行する。図２８は、サイドエッジ対策処理を説明する図である。サイドエッジ対策処理は、一方の入力画像の側端部の画素に対応する出力画像上の画素が、他方の入力画像の画素に対応する出力画像上の画素に隣接したときの画素値の急激な変化を目立たなくする処理である。
【０２３３】
具体的には、制御部１は、後方カメラ２Ｂの入力画像における画素の位置に応じた加算修正値ＣＢ２を導き出し、導き出した加算修正値ＣＢ２を０以上１以下の値に丸め処理（最小値０、最大値１で制限）した後に−２を乗じた値を、対応する「重み」の値ｗＢに加算する。なお、加算修正値ＣＢ２に−２（負値）を乗ずるのは、後方カメラ２Ｂの入力画像の側端部における画素値の重みの値ｗＢを小さくしてその画素値の影響を小さくするためである。
【０２３４】
加算修正値ＣＢ２は、以下の式で表される。なお、Ｂ２は急峻さを表すパラメータであり、例えば、０≦Ｂ２≦１である。また、ｘは後方カメラ２Ｂの入力画像の中心点からの水平距離［ピクセル］を表す。また、Ｂ３は加算修正値ＣＢ２が値１に達するときのｘの値を表し、本実施例では±３２０［ピクセル］である。
【０２３５】
【数１７】
2015154144.tif 000019
同様に、制御部１は、右側方カメラ２Ｒの入力画像における画素の位置に応じた加算修正値ＣＲ２（図示省略。）を導き出し、導き出した加算修正値ＣＲ２を０以上１以下の値に丸め処理（最小値０、最大値１で制限）した後に＋２を乗じた値を、対応する「重み」の値ｗＢに加算する。なお、加算修正値ＣＲ２に＋２（正値）を乗ずるのは、後方カメラ２Ｂの入力画像における画素値の重みの値ｗＢを大きくしてその画素値の影響を大きくすることで、右側方カメラ２Ｒの入力画像の側端部における画素値の影響を小さくするためである。
【０２３６】
また、制御部１は、乗算修正の一例である遠方領域パタン化対策処理を実行する。図２９は、遠方領域パタン化対策処理を説明する図である。なお、図中の白色は、「重み」の値ｗＢが−１であることを表し、図中の黒色は、「重み」の値ｗＢが＋１であることを表し、図中の中間色は、「重み」の値ｗＢが−１より大きく＋１より小さいことを表す。遠方領域パタン化対策処理は、重複領域に対応する出力画像部分の遠方領域（空間モデルＭＤの中心から遠い領域）における格子模様を目立たなくする処理である。具体的には、遠方領域パタン化対策処理は、遠方領域における画素の値として採用される加重平均値を単純平均値に近づける。すなわち、乗算修正値をゼロに近づけることによって値ｗＢを値ｗＲに近づける。そのため、遠方領域パタン化対策処理は、重複領域に対応する出力画像部分の遠方領域以外の領域における立体物像の視認性を維持しながら、遠方領域における立体物像の見栄えを改善できる。なお、遠方領域では、見下ろし画像としての性質が弱まるため中心に近い領域に比べて立体物像の消失が発生しにくい。そのため、画素値として採用される加重平均値が単純平均値に近づいたとしても、出力画像を視認する操作者は、立体物像の存在を適切に認識できる。
【０２３７】
具体的には、制御部１は、出力画像における画素の位置に応じた乗算修正値ＣＰを導き出し、導き出した乗算修正値ＣＰを、対応する「重み」の値ｗＢに乗算する。遠方領域における画素の値を、後方カメラ２Ｂの入力画像における画素の値と右側方カメラ２Ｒの入力画像における画素の値との単純平均に近づけるためである。
【０２３８】
乗算修正値ＣＰは、以下の式で表される。なお、Ｂ４は急峻さを表すパラメータであり、例えば、０≦Ｂ４≦１０である。また、Ｒは空間モデルＭＤの中心点からの半径［ピクセル］を表す。また、Ｂ５は乗算修正値ＣＰが変曲点に達するときのＲの値を表し、本実施例では１５０［ピクセル］である。
【０２３９】
【数１８】
2015154144.tif 000020
このように、制御部１は、加算修正及び乗算修正を実行して「重み」の値ｗＢを修正する。本実施例では、制御部１は、以下の式で示すように「重み」の値ｗＢを修正する。なお、以下の式において値ｗ'Ｂは修正後の値を表す。
【０２４０】
【数１９】
2015154144.tif 000021
なお、制御部１は、周辺減光対策処理、サイドエッジ対策処理、及び遠方領域パタン化対策処理の少なくとも１つを省略してもよい。例えば、制御部１は、周辺減光対策処理、サイドエッジ対策処理、及び遠方領域パタン化対策処理の全てを省略してもよく、周辺減光対策処理又はサイドエッジ対策処理を省略してもよい。
【０２４１】
その後、制御部１は、修正した「重み」の値ｗ'Ｂをハードウェアに実装可能な形式に換算する。本実施例では、制御部１は、「重み」の値ｗ'Ｂを０以上２５５以下の値にスケール変換する。二進数演算に適した値とするためである。
【０２４２】
また、制御部１は、後方カメラ２Ｂの入力画像における画素値の「重み」の値ｗ'Ｂと右側方カメラ２Ｒの入力画像における画素値の「重み」の値ｗ'Ｒとの合計が２５５となるように値ｗ'Ｂ、ｗ'Ｒを導き出す。なお、値ｗ'Ｒは、修正した「重み」の値ｗ'Ｂから導き出される値である。
【０２４３】
例えば、制御部１は、後方カメラ２Ｂの入力画像における画素値の「重み」の値ｗ'Ｂが最大値である２５５であれば、右側方カメラ２Ｒの入力画像における画素値の「重み」の値ｗ'Ｒを最小値である０とする。この場合、制御部１は、右側方カメラ２Ｒの入力画像における画素値の寄与度をゼロとし、後方カメラ２Ｂの入力画像における画素値をそのまま出力画像の画素値として用いる。
【０２４４】
或いは、制御部１は、値ｗ'Ｂが最小値である０であれば、右側方カメラ値ｗ'Ｒを最大値である２５５とする。この場合、制御部１は、後方カメラ２Ｂの入力画像における画素値の寄与度をゼロとし、右側方カメラ２Ｒの入力画像における画素値をそのまま出力画像の画素値として用いる。
【０２４５】
或いは、制御部１は、値ｗ'Ｂが１５３であれば、右側方カメラ値ｗ'Ｒを１０２とする。この場合、制御部１は、後方カメラ２Ｂの入力画像における画素値の寄与度と右側方カメラ２Ｒの入力画像における画素値の寄与度との比が３：２となるように出力画像の画素値を決定する。
【０２４６】
本実施例では、後方カメラ２Ｂの入力画像における画素値と右側方カメラ２Ｒの入力画像における画素値との加重平均は、制御部１の出力画像生成手段１１における加重平均部１１２（図１１参照。）を用いて実行される。加重平均部１１２は、後方カメラ２Ｂの入力画像における画素値の重みｗ'Ｂに基づいて出力画像における画素値を導き出す。例えば、後方カメラ２Ｂの入力画像における画素値がＹＣｂＣｒ方式の色データ（Ｙ３、Ｃｂ３、Ｃｒ３）を有し、右側方カメラ２Ｒの入力画像における画素値が色データ（Ｙ４、Ｃｂ４、Ｃｒ４）を有する場合を考える。なお、Ｙ３、Ｙ４は輝度信号であり、例えば、２５６段階（８ビット）のレベルを有する。また、Ｃｂ３、Ｃｂ４、Ｃｒ３、Ｃｒ４は色差信号であり、例えば、２５６段階（８ビット）のレベルを有する。この場合、輝度信号Ｙは、Ｙ＝｛ｗ'Ｂ×Ｙ３＋（２５５−ｗ'Ｂ）×Ｙ４｝／２５６で表される。また、色差信号Ｃｂは、Ｃｂ＝｛ｗ'Ｂ×Ｃｂ３＋（２５５−ｗ'Ｂ）×Ｃｂ４｝／２５６で表され、色差信号Ｃｒは、Ｃｒ＝｛ｗ'Ｂ×Ｃｒ３＋（２５５−ｗ'Ｂ）×Ｃｒ４｝／２５６で表される。なお、値「２５６」の代わりに値「２５５」を用いるのは上述の理由による。また、値「２５６」による除算は、８回の右シフト演算によって実現される。この構成により、画像生成装置１００は、補間処理における加重平均と同様、平均化境界処理における加重平均に関してもＦＰＧＡ等による組込実装に適した低演算量を実現できる。そのため、画像生成装置１００は、補間処理に加えて平均化境界処理を実装する場合であっても、除算回路等の搭載を回避できる。
【０２４７】
図３０は、平均化境界処理の効果を説明する図であり、図３０（Ａ）は、平均化境界処理を適用せずに格子模様形成処理を適用して生成された出力画像の１例を示す。また、図３０（Ｂ）は、平均化境界処理を適用して生成された出力画像の１例であり、重複領域に対応する出力画像部分において後方カメラ２Ｂの入力画像における画素値と側方カメラ２Ｌ、２Ｒの入力画像における画素値とが加重平均された状態を示す。また、図３０（Ｃ）は、平均化境界処理を適用して生成された出力画像の別の１例であり、重複領域に対応する出力画像部分において後方カメラ２Ｂの入力画像における画素値と側方カメラ２Ｌ、２Ｒの入力画像における画素値とが単純平均された状態を示す。なお、画像生成装置１００は、平均化境界処理を適用して図３０（Ａ）に示す出力画像を生成することもできる。
【０２４８】
図３０に示すように、重複領域に対応する出力画像部分における立体物像の視認性は、図３０（Ａ）において最も高く、図３０（Ｂ）、図３０（Ｃ）の順に低下する。すなわち、操作者は、図３０（Ａ）に示す出力画像において重複領域に対応する出力画像部分の立体物像を最もはっきりと視認でき、図３０（Ｂ）、図３０（Ｃ）に示す出力画像では、加重平均又は単純平均による画素値の混合により立体物像がぼやけて立体物像を視認しにくくなる。
【０２４９】
一方で、重複領域に対応する出力画像部分の見栄えは、図３０（Ｃ）において最も良く、図３０（Ｂ）、図３０（Ａ）の順に低下する。すなわち、操作者は、図３０（Ｃ）に示す出力画像では格子模様に煩わされることはないが、図３０（Ｂ）、図３０（Ａ）に示す出力画像では、格子模様の存在により不自然さを感じる場合がある。
【０２５０】
上述の性質を踏まえ、画像生成装置１００の操作者は、ショベルの作業環境、天候、周囲の明るさ等に応じて、トレードオフの関係にある視認性と見栄えのバランスを自由に調整できる。その結果、操作者は、出力画像の見栄えを必要に応じて改善できる。
【０２５１】
次に、図３１を参照して、出力画像生成手段１１が出力画像における画素の位置に応じて平均化境界処理と補間処理とを選択的に実行して出力画像を改善する処理（以下、「出力画像改善処理」とする。）の流れについて説明する。なお、図３１は、出力画像改善処理の流れを示すフローチャートである。また、出力画像生成手段１１は、例えば、図７のステップＳ５において図１２の補間処理を単独で実行する代わりに、この出力画像改善処理を実行する。
【０２５２】
最初に、出力画像生成手段１１は、画素値を導き出そうとする画素が、重複領域に対応する出力画像部分に属するか否かを判定する（ステップＳ６１）。
【０２５３】
重複領域に対応する出力画像部分に属すると判定した場合（ステップＳ６１のＹＥＳ）、出力画像生成手段１１は平均化境界処理を実行する（ステップＳ６２）。
【０２５４】
一方で、重複領域に対応する出力画像部分に属さないと判定した場合（ステップＳ６１のＮＯ）、出力画像生成手段１１は補間処理を実行する（ステップＳ６３）。
【０２５５】
なお、平均化境界処理における加重平均と補間処理における加重平均は何れも出力画像生成手段１１の加重平均部１１２によって実行される。本実施例では、加重平均部１１２は、それら２つを特に区別することなく、二進数演算を用いて加重平均を実行する。具体的には、加重平均部１１２は、補間処理では、重みαを用いて１つの入力画像における２つの画素値を加重平均し、平均化境界処理では、重みｗを用いて２つの入力画像における２つの画素値を加重平均する。そのため、画像生成装置１００は、平均化境界処理における加重平均のための機能要素と、補間処理における加重平均のための機能要素とを別々に用意する必要はない。この構成は、出力画像生成手段１１がＦＰＧＡで実現される場合等、制御部１のリソースに一定の制限がある場合に有効である。
【０２５６】
以上の構成により、画像生成装置１００は、出力画像平面に設定される「場」の値を用いて一方のカメラの入力画像における画素値の重みと他方のカメラの入力画像における画素値の重みとを調整可能に決定する。なお、「場」の値は、撮像範囲が一部重複する２つのカメラのうちの一方のカメラを波源とする波と他方のカメラを波源とする波の合成波の振幅に関する物理量である。そして、一方のカメラの入力画像における画素値と他方のカメラの入力画像における画素値とを加重平均することで重複領域に対応する出力画像部分における画素の値を導き出す。そのため、トレードオフの関係にある出力画像の視認性と見栄えとのバランスを自由に調整でき、必要に応じて出力画像部分の見栄えを改善できる。
【０２５７】
また、制御部１は、上述の２つの波の合成波の振幅に関する物理量である「場」の値を、一方のカメラの入力画像における画素値の「重み」の値に変換する。また、他方のカメラの入力画像における画素値の「重み」の値を、一方のカメラの入力画像における画素値の「重み」の値から導き出す。また、一方のカメラの入力画像における画素値の「重み」の値、及び、他方のカメラの入力画像における画素値の「重み」の値を何れも所定範囲（例えば０以上２５５以下）内の値に変換する。また、一方のカメラの入力画像における画素値の「重み」の値と、他方のカメラの入力画像における画素値の「重み」の値の合計を常に一定（例えば２５５）に維持する。そのため、画像生成装置１００は、平均化境界処理における加重平均に関し、ＦＰＧＡ等による組込実装に適した低演算量を実現できる。
【０２５８】
また、制御部１は、所定の変換曲線を用いて、「場」の値を一方のカメラの入力画像における画素値の「重み」の値に変換する。そのため、画像生成装置１００は、重複領域に対応する出力画像部分における各画素に関し、２つのカメラの位置関係に基づいて２つのカメラのそれぞれの入力画像における画素値の「重み」の値を一意に決定できる。
【０２５９】
また、制御部１は、２つの入力画像のそれぞれの周辺部の画素の値の重みを低めに修正する。そのため、画像生成装置１００は、重複領域に対応する出力画像部分において、周辺光量の低下に起因する入力画像の周辺部の暗さを目立たなくすることができる。
【０２６０】
また、制御部１は、２つの入力画像のそれぞれの側端部の画素の値の重みを低めに修正する。そのため、画像生成装置１００は、重複領域に対応する出力画像部分において、一方の入力画像の側端部の画素に対応する出力画像上の画素が、他方の入力画像の画素に対応する出力画像上の画素に隣接したときの画素値の急激な変化を目立たなくすることができる。
【０２６１】
また、制御部１は、重複領域に対応する出力画像部分の遠方領域における画素に関し、一方のカメラの入力画像の画素値の重みが、他方のカメラの入力画像の画素値の重みに近づくように、２つの入力画像のそれぞれの画素値の重みを修正する。そのため、画像生成装置１００は、遠方領域における格子模様を目立たなくすることができる。
【０２６２】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【０２６３】
例えば、上述の実施例において、画像生成装置１００は、「場」の値ｆ、「重み」の値ｗ、加算修正値ＣＢ１、ＣＲ１、ＣＢ２、ＣＲ２、乗算修正値ＣＰ、修正した「重み」の値ｗ'等の各種値を演算式を用いて導き出してもよく、予め用意しておいた参照テーブルを用いて導き出してもよい。
【０２６４】
また、画像生成装置１００は、「重み」の値ｗ、加算修正値ＣＢ１、ＣＲ１、ＣＢ２、ＣＲ２、乗算修正値ＣＰ等を所定範囲内の値に変換する場合、丸め処理のほか、スケール変換等を用いてもよい。また、個々の演算時に個別に変換処理を行ってもよいし、いくつかの連続する演算の後に変換処理を行ってもよい。
【０２６５】
また、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
【０２６６】
また、画像生成装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の被操作体にカメラと共に搭載され、それら他の被操作体の操作を支援する操作支援システムに組み入れられてもよい。
【符号の説明】
【０２６７】
１・・・制御部  ２・・・カメラ  ２Ｌ・・・左側方カメラ  ２Ｒ・・右側方カメラ  ２Ｂ・・後方カメラ  ３・・・入力部  ４・・・記憶部  ５・・・表示部  １０・・・座標対応付け手段  １１・・・出力画像生成手段  ４０・・・入力画像・空間モデル対応マップ  ４１・・・空間モデル・処理対象画像対応マップ  ４２・・・処理対象画像・出力画像対応マップ  ６０・・・ショベル  ６１・・・下部走行体  ６２・・・旋回機構  ６３・・・上部旋回体  ６４・・・キャブ  １１０・・・整数座標点選択部  １１１・・・重み導出部  １１２・・・加重平均部
【図１】
2015154144.tif 000022
【図２】
2015154144.tif 000023
【図３】
2015154144.tif 000024
【図４】
2015154144.tif 000025
【図５】
2015154144.tif 000026
【図６】
2015154144.tif 000027
【図７】
2015154144.tif 000028
【図１０】
2015154144.tif 000029
【図１１】
2015154144.tif 000030
【図１２】
2015154144.tif 000031
【図１３】
2015154144.tif 000032
【図１８】
2015154144.tif 000033
【図２４】
2015154144.tif 000034
【図２５】
2015154144.tif 000035
【図２６】
2015154144.tif 000036
【図３１】
2015154144.tif 000037
【図８】
2015154144.tif 000038
【図９】
2015154144.tif 000039
【図１４】
2015154144.tif 000040
【図１５】
2015154144.tif 000041
【図１６】
2015154144.tif 000042
【図１７】
2015154144.tif 000043
【図１９】
2015154144.tif 000044
【図２０】
2015154144.tif 000045
【図２１】
2015154144.tif 000046
【図２２】
2015154144.tif 000047
【図２３】
2015154144.tif 000048
【図２７】
2015154144.tif 000049
【図２８】
2015154144.tif 000050
【図２９】
2015154144.tif 000051
【図３０】
2015154144.tif 000052
【手続補正書】
【提出日】平成27年6月2日(2015.6.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１６２
【補正方法】変更
【補正の内容】
【０１６２】
画像生成装置１００の制御部１は、例えば、座標対応付け手段１０により、図７の処理対象画像生成処理のステップＳ２において、空間モデルＭＤの平面領域Ｒ１上の一座標と複数の入力画像平面上の座標との対応付けが可能な場合に、空間モデルＭＤの平面領域Ｒ１上の一座標と２つのカメラのそれぞれに対応する２つの入力画像平面のうちの１つにおける一座標とを対応付ける際に、この格子模様形成処理を実行するものとする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０２４４
【補正方法】変更
【補正の内容】
【０２４４】
或いは、制御部１は、値ｗ'Ｂが最小値である０であれば、値ｗ'Ｒを最大値である２５５とする。この場合、制御部１は、後方カメラ２Ｂの入力画像における画素値の寄与度をゼロとし、右側方カメラ２Ｒの入力画像における画素値をそのまま出力画像の画素値として用いる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０２４５
【補正方法】変更
【補正の内容】
【０２４５】
或いは、制御部１は、値ｗ'Ｂが１５３であれば、値ｗ'Ｒを１０２とする。この場合、制御部１は、後方カメラ２Ｂの入力画像における画素値の寄与度と右側方カメラ２Ｒの入力画像における画素値の寄与度との比が３：２となるように出力画像の画素値を決定する。
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図２６
【補正方法】変更
【補正の内容】
【図２６】
2015154144.tif 000053