(57)【要約】【課題】歪曲のある広角画像からリアルタイムに世界座標系の座標値を得ること。【解決手段】  座標関係式２０とそれぞれのパラメーターとを使用して、広角画像１０の画像座標値[Ud, Vd]を歪曲平面座標値[Xcd, Ycd]に変換する歪曲平面化処理３０と、前記歪曲平面座標値[Xcd, Ycd]を理想平面座標値[Xcm, Ycm]に変換する理想平面化処理３２と、前記理想平面座標値[Xcm, Ycm]を前記世界座標値[Xwm, Ywm, Zwm]に変換する世界座標化処理３４とを備えると共に、前記各画像座標値[Ud, Vd]の前記世界座標値[Xwm, Ywm, Zwm]を前記計測マップ３８として前記記憶部１４に格納するマップ生成処理３６を備えた。【選択図】図１
2010218226.tif 000002
【特許請求の範囲】
【請求項１】
広角レンズを有するカメラの外部パラメーター及び内部パラメーターを記憶した記憶部と、前記カメラから入力される広角画像の画像処理に使用するための所定の計測マップを生成する生成処理部とを備え、
前記記憶部が、複数の座標系を定義する座標系定義と、各座標系の関係を表す複数の座標関係式と、各座標関係式の係数となる関係式パラメーターとを記憶し、
前記座標系定義による座標系が、前記広角画像の画素を単位とする二次元の画像座標系と、前記カメラの三次元のカメラ座標系を歪曲のない理想的な二次元の理想平面に投影した理想平面座標系と、前記広角レンズによる前記広角画像の歪曲を前記理想平面に投影して歪曲平面とした歪曲平面座標系と、前記カメラの撮像対象となる世界の三次元の世界座標系とであり、
前記生成処理部が、
前記座標系のそれぞれの座標値について、前記座標関係式とそれぞれのパラメーターとを使用して、前記広角画像の画像座標値を歪曲平面座標値に変換する歪曲平面化処理と、前記歪曲平面座標値を理想平面座標値に変換する理想平面化処理と、前記理想平面座標値を世界座標値に変換する世界座標化処理とを備えると共に、
各画像座標値の前記世界座標値を前記計測マップとして前記記憶部に格納するマップ生成処理を備えた、
ことを特徴とする計測マップ生成装置。
【請求項２】
前記世界座標化処理が、前記世界座標系での物体の特徴部分の仮定地上高を予め設定して、前記理想平面座標値を前記世界座標値に変換する仮定地上高処理を備えた、
ことを特徴とする請求項１記載の計測マップ生成装置。
【請求項３】
前記記憶部が、前記歪曲平面座標系と前記理想平面座標系との前記座標関係式として、放射歪曲を補正する放射歪曲補正式と、対数歪曲を補正する対数歪曲補正式とを有し、
前記理想平面化処理が、前記理想平面座標系又は前記歪曲平面座標系での予め定められた校正円の内部には前記放射歪曲補正式を使用し、当該校正円の外部には前記対数歪曲補正式を使用して、前記歪曲平面座標値を前記理想平面座標値に変換する切替処理を備えた、
ことを特徴とする請求項１又は２記載の計測マップ生成装置。
【請求項４】
前記記憶部が、画像処理の対象とする測定の範囲を前記世界座標値の最大値及び最小値で区分する測定枠を予め記憶し、
前記生成処理部が、前記計測マップのうち、前記世界座標値が当該測定枠に含まれる画像座標値の値を抽出する測定枠処理を備えた、
ことを特徴とする請求項１，２又は３記載の計測マップ生成装置。
【請求項５】
広角レンズを有するカメラの外部パラメーター及び内部パラメーターを記憶した記憶部と、前記カメラから入力される広角画像の画像処理に使用するための所定の計測マップを生成する生成処理部とを備え、
前記記憶部が、複数の座標系を定義する座標系定義と、各座標系の関係を表す複数の座標関係式と、各座標関係式の係数となる関係式パラメーターとを記憶し、
前記座標系として、前記広角画像の画素を単位とする二次元の画像座標系と、前記カメラの三次元のカメラ座標系を歪曲のない理想的な二次元の理想平面に投影した理想平面座標系と、前記広角レンズによる前記広角画像の歪曲を前記理想平面に投影して歪曲平面とした歪曲平面座標系と、前記カメラの撮像対象となる世界の三次元の世界座標系とであり、
前記歪曲平面座標系と前記理想平面座標系との前記座標関係式として、放射歪曲を補正する放射歪曲補正式、対数歪曲を補正する対数歪曲補正式とを有する計測マップ生成装置を使用して計測マップを生成する方法であって、
前記座標系のそれぞれの座標値について、前記座標関係式とそれぞれのパラメーターとを使用して、前記広角画像の画像座標値を歪曲平面座標値に変換する歪曲平面化工程と、
前記歪曲平面座標系での予め定められた校正円の内部については前記放射歪曲補正式を使用し、当該校正円の外部については前記対数歪曲補正式を使用して、前記歪曲平面座標値を前記理想平面座標値に変換する理想平面化工程と、
前記理想平面座標値を前記世界座標値に変換する世界座標化工程と、
前記各画像座標値の前記世界座標値を生成するまで各工程を繰り返すことで前記計測マップを生成するマップ生成工程とを備えた、
ことを特徴とする計測マップ生成方法。
【請求項６】
広角レンズを有し自車の走行環境を撮影するカメラと、
所定の計測マップを記憶した記憶部と、
前記カメラから入力される広角画像と前記計測マップとに基づいて前記自車の前記走行環境を確認する確認処理部とを備え、
前記計測マップが、前記走行環境の世界座標系での測定枠の範囲内について、画像座標系の画像座標値と前記世界座標系の世界座標値との対応を予め記憶したマップであって、
前記確認処理部が、
連続する前記広角画像を使用して、前記測定枠の範囲内の当該広角画像での特徴点を追跡する追跡処理と、
前記追跡した特徴点であるフローの画像座標値から前記計測マップを参照し、当該フローの世界座標系での位置を特定する位置参照処理とを備えた、
ことを特徴とする走行環境確認装置。
【請求項７】
前記計測マップが、前記世界座標系での物体の特徴部分の地上高を予め仮定して、前記画像座標系の画像座標値を前記世界座標系の世界座標値に投影したマップであって、
前記記憶部が、前記走行環境の前記仮定地上高について前記世界座標系で予め定められた速度範囲を記憶し、
前記確認処理部が、前記位置を特定した前記フローのうち前記速度範囲内のフローを前記仮定地上高の高さの前記特徴部分が移動する物体として抽出する有効フロー抽出処理を備えた、
ことを特徴とする請求項６記載の走行環境確認装置。
【請求項８】
前記記憶部が、複数の仮定地上高毎の計測マップを記憶し、
前記確認処理部が、複数の仮定地上高毎にフローを抽出する、
ことを特徴とする請求項７記載の走行環境確認装置。
【請求項９】
広角レンズを有するカメラと、前記カメラの外部パラメーター及び内部パラメーターを記憶した記憶部と、前記カメラから入力される広角画像の歪曲を補正する補正処理部と、前記補正処理部で補正された補正画像を表示する表示部とを備え、
前記記憶部が、複数の座標系を定義する座標系定義と、各座標系の関係を表す複数の座標関係式と、各座標関係式の係数となる関係式パラメーターとを記憶し、
前記座標系定義による座標系が、前記カメラで撮像した広角画像の画素を単位とする二次元の画像座標系と、前記広角の程度に応じてサイズを拡大した拡大補正画像を扱う拡大補正画像座標系と、前記拡大補正画像座標系と同一サイズで前記画像座標系を歪曲のない理想的な二次元の拡大理想平面に投影した拡大理想平面座標系と、前記広角レンズによる前記広角画像の歪曲を前記拡大理想平面に投影して歪曲平面とした歪曲平面座標系と、前記広角画像よりも前記サイズを拡大した前記表示部の表示座標系とであり、
前記補正処理部が、
前記座標系のそれぞれの座標値について、前記座標関係式とそれぞれのパラメーターとを使用して、前記拡大補正画像の座標値を前記拡大理想平面の座標値に変換する拡大理想平面化処理と、前記拡大理想平面の座標値を前記歪曲平面の座標値に変換する歪曲平面化処理と、前記歪曲平面の座標値を前記拡大補正画像の座標値に変換する拡大補正画像化処理とを備えると共に、
前記拡大補正画像の画素毎に、対応する前記歪曲平面の座標値に応じた前記広角画像の座標値の値を参照することで、前記拡大補正画像座標系での前記拡大補正画像の生成を制御する歪画像補正制御処理を備えた、
ことを特徴とする歪画像補正装置。
【請求項１０】
前記記憶部が、前記歪曲平面座標系と前記拡大理想平面座標系との前記座標関係式として、放射歪曲を補正する放射歪曲補正式と、対数歪曲を補正する対数歪曲補正式とを有し、
前記歪曲平面化処理が、前記拡大理想平面座標系又は前記歪曲平面座標系での予め定められた校正円の内部には前記放射歪曲補正式を使用し、当該校正円の外部には前記対数歪曲補正式を使用して、前記歪曲平面座標値を前記理想平面座標値に変換する拡大切替処理を備えた、
ことを特徴とする請求項９記載の歪画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理により走行環境を確認する技術分野に関連し、特に、移動体に装備され走行環境の物体を抽出する技術に関する。
【背景技術】
【０００２】
移動体は、例えば、四輪車、二輪車、電動車などである。運転者は、駐車のための操作時等を除き、通常、走行する前方を視る。車線変更や、右左折時には、各種ミラーで後方を確認する。また、移動体には、運転者からの死角がある。移動体の前方、側方及び後方を走行環境という。
運転者による走行環境の確認を支援するためのシステムとして、画像処理を用いて、自車の前方、後方又は側方を監視し、物体の挙動を確認するシステムがある。例えば、後方や側方の確認装置は、後方から接近する物体（障害物、他車、接近車両）を捉えて、運転者の運転操作等に応じて警報等を発する。また、運転者に情報を提示する表示部を備え、表示部に後方画像を表示する手法もある。
【０００３】
特許文献１には、車両後方の障害物を検出することを目的として、平坦路面に投影した輝点パターンを撮像して基準画像としておき、監視対象に投影した同一の輝点パターンを基準画像と比較し、画像の相違に基づいて三次元計測し、障害物を検出する手法が開示されている（段落００１４から段落００１６，図３及び図４）。
そして、この特許文献１では、広角レンズを使用する際の広角画像の歪み（歪曲）に対応して、基準となる平坦路面に投影した各輝点の隣り合わせの情報を輝点探索方向とする参照データの生成手法が開示されている（段落００２３から段落００２７，図５及び図１２）。
特許文献２には、連続する後方画像からオプティカルフローを抽出し、これを危険度と関連付けることを目的として、オプティカルフローの総量に対応するフローの大きさと自車との相対速度とを危険度に関連付ける手法が開示されている。
特許文献３には、自車の死角領域への他車の進入を検出することを目的として、オプティカルフローの消失時点以降の他車と自車の相対的位置関係を推定する手法や、消失点（FOE, Focus of Expansion）を利用してフローを検出する手法が開示されている。
特許文献４には、画像計測を高精度に行うことを目的として、校正用の板を撮像し、実測による像高と撮像画面上の像高とを求め、歪曲収差率を算出して、補正曲線を得る手法が開示されている。
特許文献５には、カーブ走行中も接近物を精度良く検出することを目的として、空間モデルを仮定して（段落０１０８から段落０１１５、図１５から図１８）、カメラ画像のオプティカルフローを三次元座標系に変換する（段落０１１６から段落０１３１、図１９）手法が開示されている。また、カメラ座標系の二次元座標を世界座標系の三次元座標に変換する際に、空間モデルは路面よりも高い位置にあるという条件を加えることで、一意な変換を決定することができる旨が開示されている（段落０１２０、数９）。
特許文献６には、隣接車線の接近を正確に検出して警告することを目的として、広角レンズを使用した広角画像の歪みを補正して、白線を抽出し、オプティカルフローにより接近車両を検出する手法が開示されている。
【０００４】
このように、走行環境確認装置は、自車の周辺状況を自動的に確認するために、走行中の移動体に取り付けられたカメラを使用して、撮影した画像からオプティカルフロー等の処理で物体の動きを把握し、物体との相対位置、速度、移動方向を測定する。
また、物体の三次元空間の世界座標系と、撮影された画像の二次元の画像座標系とをカメラのキャリブレーション等の校正作業により対応させている。この世界座標系と画像座標系とを対応させるためには、線形な位置関係を前提としており、このため、レンズ収差の小さいカメラが使用される。このレンズ収差の小さいカメラは、原理的に、撮影可能なエリアが狭い。
ところで、近時、駐車支援などの目的で後方確認用カメラが普及している。この後方確認用カメラでは、車両後方を広範囲に運転者へ表示できるよう、レンズ収差の大きい広角レンズが使用される。この広角レンズによる広角画像は、線形ではなく、特許文献１及び特許文献６で取り扱われているよりも強い歪みがある。
広角レンズを使用した広角画像は、二次元のカメラ座標系と三次元の世界座標系との対応が非線形となり、そのままでは自動計測には不向きである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平6-325298号
【特許文献２】特開平11-259634号
【特許文献３】特開2000-127849
【特許文献４】特開2001-133223号
【特許文献５】特開2004-56763号
【特許文献６】特開2007-26321号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように、従来例では、広角画像の非線形性から、上記各引用文献に記載の手法を広角画像に適用することができない、という不都合があった。
そして、駐車支援などを目的として広角画像を撮像する後方確認用カメラが装着されていても、オプティカルフローや白線認識などの手法を用いて後方の安全確認を行う後方確認装置に関しては、レンズ収差の小さい専用カメラを別に導入しなければならない、という不都合があった。
【０００７】
例えば、上記特許文献２では、二次元の画像平面上の輝度値の時間的推移を特定することで、三次元の世界座標でのフローの移動を予測しているが、収差の小さいレンズが前提であり、この手法を広角画像に適用すると、自車との車間距離が縮まるほど二次元・三次元の座標間で対応をとるのが困難となってしまう。
【０００８】
上記特許文献３では、ＦＯＥを使用してフローを検出しているが、広角画像にこの手法を適用すると、ＦＯＥから伸びるフローベクトルが曲線（非ベクトル）となり、自車との車間距離が縮まるほどＦＯＥ推定が適わず対応が取れなくなってしまう。
また、ＦＯＥ推定残差法（任意のフローの集まりをある１グループと定義し、そのグループ内でＦＯＥを設定し判定を行う処理）等に基づく処理についても、やはり歪みによる非線形成分による同様の障害が発生する。
そして、共通なＦＯＥをもつ任意の１グループを最初にどこで区分けするかの選定処理には時間を要するため、後方の障害物の数が増えるほど組み合わせの数が増加し、演算負荷が著しく増大する恐れがあり、処理時間の予測が困難となる。
さらに、グループ化を速やかに実行するためには、グループ化処理の前段で、まずフローの性質（向き・方向）で不適切なフローをできるだけ除去し、組み合わせの数を減らす処理を事前に施すことが望ましく、そのためにも単独のフローの段階で有効・無効のフロー判定を行うための手法が必要となる。
また探索の有効範囲に関して、自車の真後ろ方向の検索を無効化し、隣斜線後方の接近障害物に限定して障害物の検出を行う仕様を前提としているが、このような仕様で、仮に後方のカメラ視野全域の安全確認を行うためには、他のカメラの追加導入と補完・連携作業が必要となってしまう。
【０００９】
上記特許文献５では、空間モデルやその高さの設定により二次元・三次元の座標間での対応付けをしているが、空間モデル自体が線形で定義されているため、広角画像に適用することができない。
上記特許文献６では、広角画像の歪みを補正した後に物体の抽出処理を行うため、第１に、補正画像の生成に処理時間が必要となり、より短時間の処理やリアルタイム性が要求される作業には不向きである。第２に、補正した画像は、歪み除去時の画像加工により、画像内の物体の形状に不自然さが加わってしまうため、オプティカルフローやマッチング作業の精度が低下する。
【００１０】
上記特許文献１の輝点パターンの投影で広角画像用の参照データを予め作成しておくと、実際の処理時に補正画像を生成しないため望ましいが、輝点パターンの投影では、解像度が粗く、後方から接近する車両を精度良く捉えることが困難となってしまう。
上記特許文献４の歪曲収差の補正方法では、多項式となる補正式により歪曲収差を補正することができるが、多項式のみの補正では、広角画像の中央部分を良好に補正することができても、広角画像の歪曲の大きいが周辺環境の確認に重要な外側部分について、その歪曲を良好に補正することができない。また、補正曲線を求めておき、個々の画像については当該補正曲線から歪曲の補正を計算処理するため、特許文献６等と同様に、リアルタイム性が要求される作業に不向きとなる。
【００１１】
特に、走行環境確認のためのオプティカルフロー処理では、白線を抽出して走行路を特定し、走行路の消失点を求める処理を行っているため、線形の画像が前提であって、広角画像を用いる際にも、特許文献６記載の手法のように、線形の画像に補正しなければならない。そして、歪曲のある画像を補正すると、オプティカルフローの抽出処理などで必要となるマッチングの精度が低下してしまう。
【００１２】
［課題１］このように、上記従来例では、歪曲のある広角画像をリアルタイムの走行環境確認処理に利用することができない、という不都合があった。
［課題２］さらに、上記従来例では、広角画像を使用してリアルタイムに走行環境を確認することができない、という不都合があった。
【００１３】
［発明の目的］  本発明の目的は、歪曲のある広角画像からリアルタイムに世界座標系の座標値を得ることにある。本発明はさらに、広角レンズを有するカメラを使用して走行環境をリアルタイムに確認することにある。
【課題を解決するための手段】
【００１４】
［着眼点］本発明の発明者は、広角画像の全体を補正するのではなく、オプティカルフローのマッチング処理等を広角画像のまま行い、抽出したフローについて世界座標値を求めれば良い、という点に着目した。そして、座標系の定義を工夫することで、上記課題を解決できるのではないか、との着想に至った。
【００１５】
［課題解決手段１］実施例１に対応する第１群の本発明は、広角レンズを有するカメラの外部パラメーター及び内部パラメーターを記憶した記憶部と、前記カメラから入力される広角画像の画像処理に使用するための所定の計測マップを生成する生成処理部とを備えている。そして、前記記憶部が、複数の座標系を定義する座標系定義と、各座標系の関係を表す複数の座標関係式と、各座標関係式の係数となる関係式パラメーターとを記憶している。
さらに、前記座標系定義による座標系が、前記広角画像の画素を単位とする二次元の画像座標系と、前記カメラの三次元のカメラ座標系を歪曲のない理想的な二次元の理想平面に投影した理想平面座標系と、前記広角レンズによる前記広角画像の歪曲を前記理想平面に投影して歪曲平面とした歪曲平面座標系と、前記カメラの撮像対象となる世界の三次元の世界座標系とである。
そして、前記生成処理部が、前記座標系のそれぞれの座標値について、前記座標関係式とそれぞれのパラメーターとを使用して、前記広角画像の画像座標値を歪曲平面座標値に変換する歪曲平面化処理と、前記歪曲平面座標値を理想平面座標値に変換する理想平面化処理と、前記理想平面座標値を前記世界座標値に変換する世界座標化処理とを備えると共に、前記各画像座標値の前記世界座標値を前記計測マップとして前記記憶部に格納するマップ生成処理を備えた、という構成を採っている。
これにより、上記課題１を解決した。
【００１６】
［課題解決手段２］ 実施例２に対応する第２群の本発明は、広角レンズを有し自車の走行環境を撮影するカメラと、所定の計測マップを記憶した記憶部と、前記カメラから入力される広角画像と前記計測マップとに基づいて前記自車の前記走行環境を確認する確認処理部とを備えている。
そして、前記計測マップは、前記走行環境の世界座標系での測定枠の範囲内について、画像座標系の画像座標値と前記世界座標系の世界座標値との対応を予め記憶したマップである。
さらに、前記確認処理部が、連続する前記広角画像を使用して、前記測定枠の範囲内の当該広角画像での特徴点を追跡する追跡処理と、前記追跡した特徴点であるフローの画像座標値から前記計測マップを参照し、当該フローの世界座標系での位置を特定する位置参照処理とを備えている。
これにより、上記課題２を解決した。
【発明の効果】
【００１７】
本発明は、本明細書の記載及び図面を考慮して各請求項記載の用語の意義を解釈し、各請求項に係る発明を認定すると、各請求項に係る発明は、上記背景技術等との関連において次の有利な効果を奏する。
【００１８】
［発明の作用効果１］ 課題解決手段１の計測マップ生成装置は、生成処理部が、歪曲平面化処理として、前記広角画像の画像座標値を歪曲平面座標値に変換し、理想平面化処理として、前記歪曲平面座標値を理想平面座標値に変換する。このため、広角画像の歪曲を残したまま歪曲平面座標値を求め、さらにこの歪曲を補正して理想平面座標値に変換することができる。このため、世界座標化処理として、前記理想平面座標値を前記世界座標値に変換することができる。このように、理想平面と歪曲平面とを使用することで、広角画像の画像座標値を世界座標値に対応付けることができる。そして、マップ生成処理は、前記各画像座標値の前記世界座標値を前記計測マップとして前記記憶部に格納する。
従って、広角画像の画素位置（画像座標値）を特定し、この計測マップを使用すると、世界座標系での世界座標値を簡単かつ高速に特定することができる。特に、この計測マップを生成しておくと、広角画像の視野の広さを活かしつつ三次元測定をすることができる。さらに、計測マップを利用する前提で、広角画像を補正せずに画像処理の対象とすることができ、オプティカルフローの抽出処理等で必要となるマッチングの精度を向上させることができる。
【００１９】
［発明の作用効果２］ 課題解決手段２の走行環境確認装置は、記憶部が、前記走行環境の世界座標系での測定枠の範囲内について、画像座標系の画像座標値と前記世界座標系の世界座標値との対応を予め記憶した計測マップを記憶し、確認処理部が、追跡処理として、連続する前記広角画像を使用して、補正をせずに歪曲したまま、前記測定枠の範囲内の当該広角画像での特徴点を追跡し（追跡処理）、前記追跡した特徴点であるフローの画像座標値から前記計測マップを参照して、当該フローの世界座標系での位置を特定する（位置参照処理）。このため、計算量の予測が困難で不安定な広角画像自体の補正処理をすることなく、リアルタイムで、フローを抽出し、さらに、計測マップを参照することで、フローの世界座標系での世界座標値（位置）を得ることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態の構成例を示すブロック図である。（実施例１から２）
【図２】座標系の定義例を示す説明図である。（実施例１から２）
【図３】歪曲平面及び理想平面の定義例を示す説明図である。（実施例１から２）
【図４】広角レンズと歪曲との関係例を示す説明図である。（実施例１から２）
【図５】図５（Ａ）は画像座標値の一例を示し、図５（Ｂ）は歪曲平面の一例を示し、図５（Ｃ）は理想平面の一例を示し、図５（Ｄ）は世界座標系の一例を示す説明図である（実施例１から２）
【図６】実施例１の構成例を示すフローチャートである。（実施例１）
【図７】図７（Ａ）は広角画像の一例を示す図で、図７（Ｂ）は放射歪曲補正式による補正画像の一例を示す図で、図５（Ｃ）は放射歪曲補正式及び対数補正式による補正画像の一例を示す説明図である。（実施例１及び２）
【図８】計測マップを生成する情報処理の一例を示すフローチャートである。（実施例１）
【図９】計測マップを測定枠で抽出する情報処理の一例を示すフローチャートである。（実施例１）
【図１０】図１０（Ａ）及び（Ｂ）は使用範囲の計測マップの一例を示す説明図である。（実施例１）
【図１１】図１１（Ａ）及び（Ｂ）は説明のために精度を落とした計測マップの一例を示す説明図である。（実施例１）
【図１２】図１２（Ａ）から（Ｃ）は仮定地上高Yconstを変化させた場合の測定枠計測マップの一例を示す説明図である。（実施例１）
【図１３】実施例２の構成例を示すブロック図である。（実施例２）
【図１４】実施例２のハードウエア資源の構成例を示すブロック図である。（実施例２）
【図１５】オプティカルフローを測定する関係の一例を示す説明図である。（実施例２）
【図１６】図１６（Ａ）及び（Ｂ）は広角画像の一例を示す説明図である。
【図１７】図１７（Ａ）及び（Ｂ）は広角画像にオプティカルフロー抽出用のテンプレートを登録した一例を示す説明図である。
【図１８】図１８（Ａ）及び（Ｂ）は抽出したフローの一例を示す説明図である。
【図１９】図１９（Ａ）及び（Ｂ）はＸ方向の計測マップでマスクした広角画像の一例示す説明図である。
【図２０】図２０（Ａ）及び（Ｂ）はＺ方向の計測マップでマスクした広角画像の一例示す説明図である。
【図２１】図２１（Ａ）から（Ｅ）は抽出したフローと見かけ速度との関係の一例を示す説明図である。
【図２２】後方確認処理の一例を示すフローチャートである。
【図２３】速度範囲を用いて抽出したフローの一例を示す説明図である。
【図２４】複数の仮定地上高を使用する一例を示す説明図である。
【図２５】多階層でフローを抽出する一例を示す説明図である。
【図２６】多階層で抽出したフローの一例を示す説明図である。
【図２７】実施例３の構成例を示すブロック図である。（実施例３）
【図２８】広角画像と拡大補正画像との関係例を示す説明図である。
【図２９】歪補正画像生成処理の一例を示すフローチャートである。
【図３０】仮定地上高Yconst=345とした簡易マップの一例を示す図で、図３０（Ａ）は重複部分を示し、図３０（Ｂ）は簡易Xmapの誤差を示し、図３０（Ｃ）は簡易Zmapの誤差を示す図である。
【図３１】仮定地上高Yconst=0とした簡易マップの一例を示す図で、図３１（Ａ）は重複部分を示し、図３１（Ｂ）は簡易Xmapの誤差を示し、図３１（Ｃ）は簡易Zmapの誤差を示す図である。
【図３２】図３２（Ａ）から（Ｅ）は図３０（Ａ）に示す重複部分を重複数に応じて個別に表示した一例を示す説明図である。
【発明を実施するための形態】
【００２１】
発明を実施するための最良の形態として、３つの実施例を開示する。実施例１は計測マップ生成装置であり、実施例２は走行環境確認装置であり、実施例３は歪画像補正装置である。実施例１から３までを含めて実施形態という。
実施例１は、二次元の広角画像１０と三次元空間の世界座標の対応が非線形となる場合でも使用できる計測マップ３８（画像と同じサイズの二次元テーブル）の生成手法に関する。特に、レンズ収差により発生する画像の歪みにより非線形となる場合に好適な技術である。
実施例２は、この計測マップ３８とオプティカルフローの抽出処理とを併用するための技術に関する。
【実施例１】
【００２２】
＜1 広角画像用計測マップ作成＞
＜1.1 歪曲平面と理想平面＞
まず、本実施形態の実施例１を開示する。実施例１は、広角画像１０を走行環境確認装置で使いやすくするために、広角画像１０の画像座標値[Ud, Vd]と世界座標系ＸＹＺの世界座標値[Xw, Yw, Zw]とを対応させる計測マップ３８を生成するものである。
実施例１の計測マップ生成装置は、その主要な要素として、記憶部１４と、生成処理部１６とを備えている。
図１に示す例では、カメラ１２は、広角レンズ２８を有し、広角画像１０を撮像する。この広角画像１０は、記憶部１４の画像メモリー１５に格納される。
そして、記憶部１４は、座標系定義１８と、座標関係式２０と、パラメーター群２２とを備えている。座標系定義１８は、画像座標系ＵＶと、理想平面座標系ＸｃｍＹｃｍと、歪曲平面座標系ＸｃｄＹｃｄと、世界座標系ＸＹＺとを定義する。座標関係式２０は、各座標系の座標値の関係を表す算式（後述する式（１），式（２），式（３）及び式（４））である。
さらに、記憶部１４は、パラメーター群２２として、カメラ１２の外部パラメーターｒ，ｔと、内部パラメーターａ，ｃと、座標関係式２０の係数となる関係式パラメーターｋ，ｐとを記憶する。
各パラメーターは、単一ではなく、次元数や項数に応じた数の値を持つ。個々のパラメーターを特定する際には、添え字を付して表記し、添え字を一括する際には添え字nを用いることもある。
【００２３】
図２及び図３に示すように、画像座標系ＵＶは、前記広角画像１０の画素を単位とする二次元の座標系であり、画像座標値[Ud, Vd]を特定する。この画像座標系ＵＶは、カメラ１２の解像度（画素数）に依存して定まる。
理想平面座標系ＸｃｍＹｃｍは、前記カメラ１２の三次元のカメラ座標系ｘｙｚを、歪曲のない理想的な二次元の理想平面２４（図５（Ｃ））に投影した座標系であり、理想平面座標値[Xcm, Ycm]を特定する。理想平面２４は、レンズ収差のない投影面で、世界座標系ＸＹＺの座標値と線形の関係を保つ。
歪曲平面座標系ＸｃｄＹｃｄは、前記広角レンズ２８による前記広角画像１０の歪曲を前記理想平面２４に投影して歪曲平面２６（図５（Ｂ））とした座標系であり、歪曲平面座標値[Xcd, Ycd]を特定する。この歪曲平面座標系ＸｃｄＹｃｄは非線形である。
世界座標系ＸＹＺは、線形で三次元であり、前記カメラ１２の撮像対象となる世界の世界座標値[Xwm, Ywm, Zw]を特定する。
ここで、添え字wは世界座標系の値であることを示し、添え字cはイメージ・プレーン上の値であることを示し、添え字mは線形な画像であることを示し、添え字dは広角レンズによる歪みを含む画像であることを示す。すなわち、理想平面座標値[Xcm, Ycm]は理想状態でXwmYwmZwがイメージプレーン上に線形投影された理論座標値、歪曲平面座標値[Xcd, Ycd]はレンズ収差によりイメージプレーン上でｍの理論投影点が歪曲変換された実投影座標値、画像座標値[Ud, Vd]はモニタなどの表示器における画像の座標系である。よってUdVdおよびXcdYcdは歪みを含む画像の座標値である。また、UdVdはカメラ等の入力装置による入力データ座標と等価である。
この添え字の使い方は、実施例２及び３でも同様である。実施例３では、広角画像１０よりもサイズを拡大した座標系を使用するが、サイズを拡大した座標系の座標値には下付とした添え字ａを用いる。
【００２４】
生成処理部１６は、カメラ１２から入力される広角画像１０の画像処理に使用する計測マップ３８を生成するために、歪曲平面化処理３０と、理想平面化処理３２と、世界座標化処理３４と、マップ生成処理３６とを備えている。
歪曲平面化処理３０は、前記座標系のそれぞれの座標値について、前記座標関係式２０とそれぞれのパラメーターとを使用して、前記広角画像１０の画像座標値[Ud, Vd]を歪曲平面座標値[Xcd, Ycd]に変換する。
理想平面化処理３２は、同様に、座標関係式２０とパラメーターとを使用して、前記歪曲平面座標値[Xcd, Ycd]を理想平面座標値[Xcm, Ycm]に変換する。
世界座標化処理３４は、同様に、座標関係式２０とパラメーターとを使用して、前記理想平面座標値[Xcm, Ycm]を前記世界座標値[Xwm, Ywm, Zwm]に変換する。
そして、マップ生成処理３６は、前記各画像座標値[Ud, Vd]の前記世界座標値[Xwm, Ywm, Zwm]を前記計測マップ３８として前記記憶部１４に格納する。
【００２５】
計測マップ３８は、好適には、世界座標系ＸＹＺでのＹ軸の値を仮定しつつ、Ｘ計測マップ３８Ａ（図１０（Ａ））と、Ｚ計測マップ３８Ｂ（図１０（Ｂ））とを備えると良い。Ｘ計測マップ３８Ａは、画像座標系ＵＶのＵ軸と、世界座標系ＸＹＺのＸ軸との対応をＶ軸の値毎に示す。Ｚ計測マップ３８Ｂは、画像座標系ＵＶのＶ軸と、世界座標系ＸＹＺのＺ軸との対応をＵ軸の値毎に示す。
【００２６】
図２を参照すると、ピンホールＰＮを用いたピンホールカメラ・モデルを用いて、世界座標系ＸＹＺとカメラ座標系ｘｙｚとを対応付けることができる。この２つの座標系の対応付けに用いるパラメーターは、回転を表す外部パラメーターｒと、並進を表す外部パラメーターｔとである。
画像座標系ＵＶ（ピクセル座標系）は、カメラ座標系ｘｙｚを中心ｃとして二次元に投影した座標系であり、理想平面２４（イメージ・プレーン）と対応付けられる。理想平面２４は、世界座標系ＸＹＺを線形に二次元に投影した理想平面座標系ＸｃｍＹｃｍの平面である。理想平面座標系ＸｃｍＹｃｍと、画像座標系ＵＶとは、カメラ１２の内部パラメーターａ，ｃで対応付けられる。内部パラメーターａは線形のレンズ歪みにより定まり、内部パラメーターｃは中心位置の定義により定まる。
各パラメーターｒ，ｔ，ａはカメラ１２のキャリブレーション（校正）にて求められる。カメラ１２のキャリブレ−ションとして、既知の三次元座標と表示された画像平面の座標との関係を公知の最急降下法や勾配法等があり、これらの手法によりパラメーターを求めることができる。
【００２７】
図２に示す例では、世界座標系ＸＹＺにて座標値[Xwm2, Ywm2, Zwm2]である物体ＯＪの点Ｍｒが、画像座標系ＵＶでの広角画像１０に点ｍとして撮影されている。物体ＯＪは、障害物や、車両等の移動体や、路面ＧＲの輝度変化や、背景である。
そして、図２に示すように、三次元である世界座標系ＸＹＺを二次元の画像座標系ＵＶに投影するため、画像座標系での点ｍは、Ｍｒ[Xwm2, Ywm2, Zwm2]ではなく、Ｍｖ[Xwm1, Ywm1, Zwm1]である可能性もあり、画像座標系ＵＶの情報のみではＭｖであるか、それともＭｒであるのかは判別できない。
【００２８】
図３を参照すると、実施例１ではカメラ１２を自車ＭＴの後方に設置し、自車ＭＴの後方の走行環境を撮影する。カメラ１２を下向きに傾けて設置するため、カメラ１２の光軸を法線とする平面を理想平面２４とする。理想平面２４には、路面ＧＲから、路面ＧＲに平行で自車ＭＴの車高の高さ（地上高上限４８）までの世界座標系ＸＹＺの範囲の物体ＯＪが投影される。
【００２９】
図４を参照すると、世界座標系ＸＹＺでの物体ＯＪの特徴部分ＣＡは、画像座標系ＵＶにて特徴点ＣＰとなる。レンズ収差が小さい場合には、光軸と特徴部分ＣＡの位置Ｍｒ[Xwm2, Ywm2, Zwm2]との成す角AN1は、カメラ１２側でも同一角度となり、理想平面２４の理想平面座標値Xcmに対応する。しかし、レンズ収差の大きな広角レンズ２８を使用した場合、歪みの影響のため、対象の三次元空間座標Ｍｒ[Xwm2, Ywm2, Zwm2]とレンズ焦点および画像座標系ＵＶの対応は、直線関係にはならず、光軸との成す角ＡＮ２は対象側の成す角ＡＮ１より小さくなる。すなわち、理想平面２４での理想平面座標値Xcmと比較して、画像座標系ＵＶの内側に歪み、理想平面２４を歪曲させた歪曲平面２６の歪曲平面座標値Xcdに対応する。この歪曲には、糸巻き型の歪曲と、樽型の歪曲とがある。
【００３０】
このように、広角レンズ２８を有するカメラ１２では、広角レンズ２８の集光性により、中心側へ屈折した位置に像が投影される。この場合、三角形の相似関係が成立しないので、相似関係を前提として特徴部分ＣＡまでの距離を推定することができない。とはいえ、広角レンズ２８の集光性を利用し内側に屈折した直線と画像座標系ＵＶの面と交点に像を映し出すことができるので、同じサイズの撮像素子で、より広範囲の像を撮影することができる。従って、レンズ収差の小さいカメラ１２と比較して、同一の撮像範囲をより小さい撮像素子で撮像することができる。
【００３１】
図５を参照すると、図５（Ａ）に示す画像座標系ＵＶの広角画像１０の特徴点ＣＰ１，ＣＰ２は、図５（Ｂ）に示す歪曲平面座標系ＸｃｄＹｃｄと、図５（Ｃ）に示す理想平面座標系ＸｃｍＹｃｍとを介して、図５（Ｄ）に示す世界座標系ＸＹＺの特徴部分ＣＡ１，ＣＡ２と対応付けることができる。
【００３２】
図６を参照すると、生成処理部１６は、まず、パラメーター群２２を読み出す（ステップＳ１）。パラメーター群２２としては、カメラ１２のキャリブレーションにより予め定められた外部パラメーターｒ，ｔと、内部パラメーターａ，ｃと、関係式パラメーターである式（２）の放射歪曲補正パラメーターｋと、式（３）の対数歪曲補正パラメーターｐとである。次に、必要に応じて仮定地上高Yconstを設定する（ステップＳ２）。
【００３３】
生成処理部１６は、さらに、次式（１）を使用して、図５（Ａ）に示す前記広角画像１０の画像座標値[Ud, Vd]を、図５（Ｂ）に示す歪曲平面座標値[Xcd, Ycd]に変換する（歪曲平面化処理３０，ステップＳ３）。この歪曲平面化処理３０は、広角レンズ２８による歪みを補正せずに、歪曲している画像座標値[Ud, Vd]を歪曲させたまま歪曲平面２６に投影する処理である。例えば、図５に示す特徴点ＣＰ１[Ud1, Vd1]を歪曲平面座標値[Xcd1, Ycd1]に変換し、特徴点ＣＰ２[Ud2, Vd2]を歪曲平面座標値[Xcd2, Ycd2]に変換する。
次式（１）の内部パラメーターａは広角レンズ２８の微少な線形の歪みに応じて予め定められた値であり、内部パラメーターｃは画像座標系ＵＶの中心位置[Cx, Cy]に応じた値である。
【００３４】
【数１】
2010218226.tif 000003
【００３５】
-1:  逆行列であることを示す
[Ud,Vd]：  広角画像１０での画像座標値であり、物体ＯＪを撮像した画像座標系ＵＶでの画素位置（二次元平面）
[Xcd,Ycd]：  歪曲平面座標系ＸｃｄＹｃｄ（歪みがあるイメージ・プレーン）での歪曲平面座標値（二次元平面）
ann：  カメラ１２の内部パラメーターで線形歪み
Cxd, Cyd：  広角画像１０の画像中心
【００３６】
ステップＳ３に続いて、生成処理部１６は、次式（２）又は次式（３）を使用して、図５（Ｂ）に示す歪曲平面座標値[Xcd, Ycd]を、図５（Ｃ）に示す理想平面座標値[Xmc, Ymc]に変換する（理想平面化処理３２，ステップＳ４）。例えば、式（３）を用いて歪曲平面座標値[Xcd1, Ycd1]を理想平面座標値[Xcm1, Ycm1]に変換し、式（２）を用いて歪曲平面座標値[Xcd2, Ycd2]を理想平面座標値[Xcm2, Ycm2]に変換する。
次式（２）及び（３）にて、Rcmは歪曲平面座標系ＸｃｄＹｃｄの座標値[Xcd, Ycd]の半径である。関係式パラメーターは、式（２）では放射歪曲補正パラメーターｋであり、式（３）では対数歪曲補正パラメーターｐである。
【００３７】
【数２】
2010218226.tif 000004
【００３８】
[Xcm,Ycm]：  理想平面座標系ＸｃｍＹｃｍ（歪み無しのイメージ・プレーン）での理想平面座標値（二次元平面）
Rcm:  歪曲平面座標系ＸｃｄＹｃｄの座標値[Xcd, Ycd]の半径
Rck：  歪曲平面座標系ＸｃｄＹｃｄでの校正円Rck（の半径）
kn:  放射歪曲補正パラメーター
pn:  対数歪曲補正パラメーター
【００３９】
式の番号を示す数字にａ，ｂ，ｃ等のアルファベットが付されている式について、その式の番号を示す数字で言及する際には、アルファベットで識別するすべての式を含む。例えば、式（２）というときには、式（２ａ）と式（２ｂ）とを含む。
【００４０】
記憶部１４は、関係式パラメーターｋ，ｐを記憶しても良いし、式（２）及び式（３）の右辺の分母の値を記憶しておくことで、当該関係式パラメーターを間接的に記憶するようにしても良い。
式（２）及び式（３）の右辺の分母は、事前の準備として、それぞれRcmの特性方程式（後述式（１４）及び式（１９））を立てて、ラゲールの解法等によりRcmについて解いておき、各式の分母の値を特定しておくことができる。
【００４１】
Rckは式（２）と式（３）とを切り替えるしきい値となる値で、歪曲平面座標系ＸｃｄＹｃｄで予め定められた校正円Rckの半径である。図５に示すように、この校正円Rckの内側の座標値[Xd2, Yd2]については式（２）を使用し、校正円Rckの外側の座標値[Xd1, Yd1]については式（３）を使用すると良い（切替処理４２）。
【００４２】
また、式（２）及び式（３）に変えて、歪曲を補正する別の算式を用いても良いし、校正用の板等を撮影して比較することで、理想平面２４の座標と歪曲平面２６の座標とを対応付けるようにしても良い。好ましくは、校正円Rckと式（３）とを使用して、広角画像１０を幅広く使用できるようにすると良い。
【００４３】
ステップＳ４に続いて、生成処理部１６は、次式（４）を使用して、図５（Ｃ）に示す前記理想平面座標値[Xcm, Ycm]を図５（Ｄ）に示す前記世界座標値[Xwm, Ywm, Zwm]に変換する（世界座標化処理３４，ステップＳ５）。例えば、理想平面座標値[Xcm1, Ycm1]を世界座標値[Xwm1, Ywm1, Zwm1]に変換する。仮定地上高Yconstを定めている際には、世界座標値[Xwm1, Yconst, Zwm1]となる。
【００４４】
次式（４）での外部パラメーターtはカメラ座標系ｘｙｚと世界座標系ＸＹＺとの並進に応じて予め定められた値で、外部パラメーターｒは回転に応じて予め定められた値である。
媒介変数ｓは、理想平面２４と世界座標系ＸＹＺの相似関係に応じた理想平面２４の長さと世界座標系ＸＹＺの長さを対応させる比例定数である。
仮定地上高Yconstは、二次元の画像座標値[Ud, Vd]から三次元の世界座標値[Xwm, Ywm, Zwm]を求めるために、予め仮定した物体ＯＪの高さである。すなわち、次式（４）に示す例では、理想平面座標値[Xcm, Ycm]から、世界座標値のXwmとZwmとを算出する。
【００４５】
【数３】
2010218226.tif 000005
【００４６】
-1:  逆行列であることを示す
rnn, tn：  カメラ１２の外部パラメーターでｒは回転成分、ｔは並進成分
[Xwm, Yconst,  Zwm]：  物体ＯＪの世界座標系ＸＹＺでの世界座標値（三次元空間）
Yconst:  仮定地上高
s：  媒介変数
【００４７】
ステップＳ５に続いて、生成処理部１６は、前記各画像座標値[Ud, Vd]の前記世界座標値[Xwm, Ywm, Zwm]を前記計測マップ３８として前記記憶部１４に格納する（マップ生成処理３６，ステップＳ６）。この計測マップ３８は、画像座標系の広角画像１０のすべての画素について対応する世界座標値[Xwm, Zwm]を対応させた全体計測マップ５０（図示せず）である。世界座標系ＸＹＺで測定枠４４を定義する例では、画像座標値[Ud, Vd]毎に、対応する世界座標値[Xwm, Zwm]が測定枠４４内であるか否かを判定して（ステップＳ７）、測定枠計測マップ５２を生成する。
【００４８】
・1.1 歪曲平面と理想平面の効果
上述のように、理想平面２４と歪曲平面２６とを使用することで、広角画像１０の画像座標値[Ud, Vd]を世界座標系ＸＹＺの世界座標値[Xwm, Ywm, Zwm]に対応付けることができる。広角画像１０のまま画像処理をした処理結果について、その画素位置[Ud, Vd]を特定すると、計測マップ３８を参照することで、世界座標系ＸＹＺでの世界座標値[Xwm, Ywm, Zwm]を簡単に特定することができる。
特に、この計測マップ３８を生成しておくと、広角画像１０の画素毎に世界座標値[Xwm, Ywm, Zwm]を特定することができ、広角画像１０の視野の広さを活かしつつ、広角画像１０を三次元の測定に利用することができる。さらに、計測マップ３８の利用する前提で、広角画像１０を補正せずに画像処理の対象とすることができ、オプティカルフローの抽出処理等で必要となるマッチングの精度を向上させることができる。
【００４９】
＜1.2 仮定地上高毎の計測マップ＞
ステレオカメラ等の複眼のカメラ１２では、同一の対象物についの２つの二次元画像から三次元空間の情報を再現することができる。しかし、単眼のカメラ１２では、１つの二次元画像から三次元空間の情報を再現することができず、例えば、奥行き方向に関する情報を特定することができない。
このため、走行環境の確認を単眼のカメラ１２で行うには、対象となる物体ＯＪが路面ＧＲの上に接地しているもの、あるいは後続車のバンパーやタイヤの高さにある特徴部分ＣＡに焦点を絞り、路面ＧＲからの高さＹが既知であるものと定義すると良い。
この例では、図１に示す前記世界座標化処理３４が、前記世界座標系ＸＹＺでの物体ＯＪの特徴部分ＣＡの仮定地上高Yconstを予め設定して、前記理想平面座標値[Xcm, Ycm]を前記世界座標値[Xwm, Yconst, Zwm]に変換する仮定地上高処理４０を備えると良い。
【００５０】
再度図２を参照すると、単眼のカメラ１２で撮影した広角画像１０の点ｍ[Ud, Vd]では、Ｍｖ[Xwm1, Ywm1, Zwm1]と、Ｍｒ[Xwm2, Ywm2, Zwm2]との違いを判定できない。すなわち、[Xwm,Ywm,Zwm]の３つの値を[Ud,Vd]の２つの値から求めることができない。この点、Mrの高さＹを既知（例：Ｙ＝接地０、Y=タイヤ高さ等々）とすると、式（４）の媒介変数sを求めることができる。そして、仮定地上高処理４０は、残りの[Xwm,Zwm]の2つの値を、[Ud,Vd,Yconst]より得ることができる。
【００５１】
再度図３を参照すると、仮定地上高Yconstは、測定目的に応じて定めることができ、例えば、Yconst1の高さとしても良いし、Yconst2の高さとしても良い。
【００５２】
・1.2 仮定地上高毎の計測マップの効果
上述のように、仮定地上高Yconstを設定し、２つの値から３つの値を求めるために仮定する値を、世界座標系ＸＹＺでの高さとしたこと、二次元の情報から三次元の情報を実用的に再現し、そして、仮定地上高Yconstの高さを工夫することで、物体ＯＪの特徴的な特徴部分ＣＡを予め特定することができ、すると、例えば、オプティカルフローの抽出処理等に際して、有効な情報を抽出する効率が高くなる。
【００５３】
＜1.3 校正円と補正式＞
図５（Ｂ）に示す例では、校正円Rckの内側と外側とで使用する補正式を切り替えていた。この切替処理４２を説明する。
この例では、前記記憶部１４が、前記歪曲平面座標系ＸｃｄＹｃｄと前記理想平面座標系ＸｃｍＹｃｍとの前記座標関係式２０として、放射歪曲を補正する放射歪曲補正式（２）と、対数歪曲を補正する対数歪曲補正式（３）とを有している。放射歪曲補正式（２）は、上述した式（２ａ）及び式（２ｂ）であり、対数歪曲補正式（３）は、上述した式（３ａ）及び（３ｂ）である。
そして、図１に示す前記理想平面化処理３２が、切替処理４２を備えている。この切替処理４２は、図５（Ｂ）に示すように、前記理想平面座標系ＸｃｍＹｃｍ又は前記歪曲平面座標系ＸｃｄＹｃｄでの予め定められた校正円Rckの内部については前記放射歪曲補正式２を使用する。一方、切替処理４２は、当該校正円Rckの外部については前記対数歪曲補正式３を使用する。この２つの式を校正円Rckの内側と外側とで切り替えつつ、前記歪曲平面座標値[Xcd, Ycd]を前記理想平面座標値[Xcm, Ycm]に変換する。
【００５４】
校正円Rckは、理想平面座標系ＸｃｍＹｃｍで定義しても、歪曲平面座標系ＸｃｄＹｃｄで定義しても、どちらでも良い。切替処理４２の計算上は歪曲平面座標系ＸｃｄＹｃｄで定義すると簡便である。また、校正円Rckは、厳密な円とせず、多角形のコーナーに丸みを付与した形状としても良い。これは、どのような補正式の組み合わせを採用するかに依存して定まる。また、理想平面化処理３２の計算量としては、校正円Rckを単純な円とすると計算量を低減できて好ましい。
【００５５】
図７（Ａ）は、画像座標系ＵＶの広角画像１０であり、図７（Ｂ）は、式（２）で補正した 放射歪曲補正画像１１Ａの一例を示し、図７（Ｃ）は式（２）及び式（３）を使用して補正した対数歪曲補正画像１１Ｂの一例を示す。
校正円Rckは、カメラ１２のキャリブレーション時の校正点に対し、誤差が小さくなる位置を求め、値を設定する。図７（Ｂ）に示す放射歪曲補正画像１１Ａは、点線で示す範囲でほぼ補正され、理想平面２４と重ね合わせることができる。しかし、図７（Ｂ）に示す範囲では、広角画像１０の視野の広さという利点を活用することができない。一方、図７（Ｃ）に示す対数補正画像では、理想平面２４と重ね合わせることのできる範囲が大幅に広がる。
【００５６】
以下、式（２）及び式（３）を校正円Rckで切り替えることを前提として、上述した式（１）から式（４）を導出し、さらに、式（２）及び式（３）の右辺分母の解法を説明する。
まず、レンズ収差の小さいカメラ１２で撮影した場合の二次元の画像座標系ＵＶと三次元の世界座標系ＸＹＺとの対応関係を、歪みのない理想平面座標系ＸｃｍＹｃｍを介して、次式（５ａ）及び（６）に示す。各パラメーターｒ，ａは、上述のようにカメラ１２のキャリブレーションにより求める。
【００５７】
【数４】
2010218226.tif 000006
【００５８】
[Xwm,Ywm,Zwm]：  物体ＯＪの世界座標系ＸＹＺでの世界座標値（三次元空間）
[Xcm,Ycm]：  理想平面座標系ＸｃｍＹｃｍでの理想平面座標値（二次元平面）
[Ud,Vd]：  物体ＯＪを撮像した画像座標系ＵＶでの画像座標値（二次元平面）
rnn, tn：  カメラ１２の外部パラメーターでｒは回転成分、ｔは並進成分
ann：  カメラ１２の内部パラメーターで線形歪み
Cxd, Cyd：  カメラ１２の内部パラメーターで画像中心
s：  媒介変数
【００５９】
再度図４を参照すると、広角レンズ２８の集光性により、中心側へ屈折した位置に像が投影されると、三角形の相似関係が成立せず、相似関係を前提として特徴部分ＣＡまでの距離を推定することができない。従って、通常の方法では、式（５）の媒介変数ｓを求めることができず、世界座標系ＸＹＺでの位置（距離）の推定が出来ない。
このように、レンズ収差の大きいカメラ１２では撮影した画像に歪み（歪曲）が発生する。Ｒを次式（７）で定義すると、発生する歪みと画像の関係は、Tsai（ツァイ）等の手法にて一般に次の近似式（８）で表現され、線形な画像と歪を持つ非線形な画像の相関を求めることができる。なお、近似式（８）はR2の３次項で打ち切った。
式（８）により、理想平面座標系ＸｃｍＹｃｍと歪曲平面座標系ＸｃｄＹｃｄとを関連づけることができる。さらに、歪曲平面座標系ＸｃｄＹｃｄと画像座標系ＵＶとは次式（９）で表される。
【００６０】
【数５】
2010218226.tif 000007
【００６１】
[Xcd,Ycd]：  歪曲平面座標系ＸｃｄＹｃｄ（歪みがあるイメージ・プレーン）での歪曲平面座標値（二次元平面）
Rcm:  理想平面座標系ＸｃｍＹｃｍの座標値[Xcm, Ycm]の半径
Rck：  歪曲平面座標系ＸｃｄＹｃｄでの校正円Rck（の半径）
kn:  放射歪曲補正パラメーター
添字Tは行列の転置を指す。
【００６２】
式（８）から、式（２）を導出することができる。
この式（８）では、カメラ１２の視野が拡大されレンズ収差が許容以上に大きくなると、近似補正に関しては非線形の要素が強く、画像中心[cx, cy]より離れた画素位置で先の近似式（８）が成立しない。
【００６３】
レンズ収差がTsaiの近似式の許容を上回った場合の歪みを含む画像は、図７（Ｂ）に示す放射歪曲補正画像１１Ａとなる。図７（Ｂ）に示すように、画像中心付近の歪みは補正されるが、画面の中心から外れ枠外に近づくにつれ画像は理想平面２４に補正するのが困難となる。このような状態では、後方の視界に対し画面の中心に近い限られた範囲でしか接近する物体ＯＪ（後続車）の検知ができない。よって広範囲の安全確認を目的に導入した広角のカメラ１２であっても、１台では全視界で安全確認を行うことが難しい。
【００６４】
出願人は、このようなレンズ収差の大きなカメラ１２による画像の取り扱いについて、画像中心から離れた位置に関する非線形部分の補正のために、式（８）の歪み近似式に対し、Rcm2 < Rck2 の領域と Rcm2 ≧ Rck2 の領域で演算式を切り分けて補正を行う次式（１０）を提案している。この領域を分けた外側向けの近似式（１０）は、画面中心より離れた位置で求めた校正用の実測データをベースに、対数式を基本としている。
【００６５】
【数６】
2010218226.tif 000008
【００６６】
pn:  対数歪曲補正パラメーター
【００６７】
この式（１０）から、式（３）を導出することができる。
そして、切替処理４２は、次のようにRcmの値に応じて算式を切り分ける。
Rcm2 ＜ Rck2   式（２）
Rcm2 ≧ Rck2  式（３）
この補正式を導入し近似式を切り分ける作業により、歪みをもつ広角画像１０は、図７（Ｃ）に示すように補正変換され対数歪曲補正画像１１Ｂとなる。歪みを含む画像の補正法は他にもいくつか提案されているが、このように求めた補正画面は線形な画像に近似したものであるため一般的な線形の画像空間とほぼ同等に取り扱うことができ、二次元の画像平面と三次元空間についてカメラ１２の視野全域で対応をとることが可能である。
【００６８】
式（５ａ）のYをYconstとすると、式（５ｂ）となる。これを変換すると、次式（４）を導出することができる。この式（４）は、世界座標化処理３４が使用する算式である。
【００６９】
【数７】
2010218226.tif 000009
【００７０】
添字の-1は逆行列であることを示す。
【００７１】
次に、Rcm2 < Rck2 での近似について、画像座標値[Ud, Vd]から計測マップ３８に記録する三次元空間の世界座標値[Xwm, Ywm, Zwm]を求める。
式（７）及び式（８）から、次式（１１）及び次式（１２）の関係が成立する。
【００７２】
【数８】
2010218226.tif 000010
【００７３】
また、画像座標値[Ud, Vd]は、式（９）の関係から歪曲平面座標値[Xcd, Ycd]に基づいて求めることができる。よって、式（７）と、式（９）との関係から、Xcd,Ycdを[Ud,Vd]で置き換えることができる。すなわち ann, cn はキャリブレーションより取得済みの既知の値であるので次式（１３）が成り立つ。
【００７４】
【数９】
2010218226.tif 000011
【００７５】
f-1（ann, cn）はf（ann, cn）の逆行列である。
【００７６】
この式（１３）により、式（１）を導出することができる。
式（１３）のうち右辺左辺で等しいZ成分は共通項として無視できるので、X, Y成分に着目し二次元ベクトルで次式（１４）のようなRcmに関する特性方程式を立てる。また、f（ann, cn）はアフィン変換を示すのでその逆行列は次式（１５）となり、式（１３）のZ成分は左辺右辺とも1となり、共通項として無視できる。従って、Rcmについて求める特性方程式はX,Y成分に着目した式（１４）を使用できる。
【００７７】
【数１０】
2010218226.tif 000012
【００７８】
式（１４）に示す特性方程式は通常五次元以上の方程式となる。この方程式をラゲールの解法（あるいはコンパニオン行列の固有値解法）等の手法でRcmについて解く。
なお、特性方程式は通常五次元以上の方程式となる。式（８）では、Tsaiの歪みの近似方程式で半径方向の歪み（放射）歪みをモデル化している。このモデルが精度よく広角レンズ２８の歪みを近似するには、半径方向Rcm2の二乗以上、すなわちRcmの四乗以上の次数が望ましいと考えられている。仮に、Rcmの二乗の次数で近似式を打ち切ったとしても、式（８）に従った計算を行えばRcmを求める方程式の次数はRcm2 x（1+k1Rcm2）2 でRcmの六乗となる。
【００７９】
そして、一般に五次元以上の方程式では解が反復法と呼ばれる計算法でなければ求まらないことが知られている。但し反復法では、解が収束するか規定回数で打ち切るまで計算処理を繰り返すため、解の精度を確保するためには、その収束打ち切りの回数の上限を大き目に確保する必要が生じる。なお、動画を扱う画像処理で、全画素単位でこれらの処理をリアルタイムに実行することは不可能に近い。
【００８０】
そして、求めたRcmを使用すると｛1+k1Rcm2+k2Rcm4+k3Rcm6｝の値を特定できるので、式（８）から理想座標値[Xcm, Ycm]と歪曲座標値[Xcd, Ycd]の関係を数式化でき、式（２）の右辺の分母を特定することができる。
また式（１３）より[Xcd, Ycd]を[Ud, Vd]で置き換えることで[Xcm, Ycm]と[Ud, Vd]の関係を数式化できる。
以下、この数式化した関係をXcm＝gx[Ud,Vd]、Ycm=gy[Ud,Vd]と表す。
【００８１】
またYwm＝Yconst（任意の定数）である場合は、さらに求めた[Xcm,Ycm]から次式によって残りの三次元空間座標[Xwm,Zwm]の位置を特定できる。
Y に任意の高さYconstを与え、式（５ｂ）の行列を次式（５ｃ）の行列に変形する。rnn, tnはキャリブレーションより取得済みの既知の値であるので、画面上の座標[Ud,Vd]に対して媒介変数sの実値を取得することができる。
よって求めたsの実値を使用し[Ud,Vd,Yconst]に対する[Xwm,Zwm]の位置を特定することができる。
【００８２】
【数１１】
2010218226.tif 000013
【００８３】
添字の-1は逆行列を示す
【００８４】
次に、Rcm2 ≧ Rck2 での近似式について[Ud, Vd]から[Xwm, Ywm, Zwm]を求める。
本式も最急降下法等の手法によりp1 ln Rcm2 + p2の対数部分項を次式（１７）のように五次元以上のRcm2の高次特性方程式でさらに近似し置き換える。
【００８５】
【数１２】
2010218226.tif 000014
【００８６】
nnは式（１０）のRcmに関する式を五次元以上の方程式に近似した際の近似係数
【００８７】
やはりX,Y成分に着目し二次元ベクトルで次式（１９）に示すRcmに関する特性方程式を立てる。
【００８８】
【数１３】
2010218226.tif 000015
【００８９】
求めたRcmを使用すると｛1+p1 ln Rcm2 + p2｝の値が特定できるので、式（１０）から[Xcm, Ycm]と[Xcd, Ycd]の関係を数式化できる。
また式（１３）より[Xcd, Ycd] を[Ud,Vd]で置き換えることで[Xcm, Ycm]と[Ud,Vd]の関係を数式化できる。
よってYconst を設定することで、同様に二次元の画像平面の各画素[Ud,Vd]に対する[Xwm,Zwm]座標を得ることができる。
【００９０】
以上、Yconst を定めた後[Ud,Vd]を画面サイズに合わせて変化させ、Rcm2＜ Rck2、 Rcm2 ≧ Rck2 で処理を切り替え、全ての[Ud,Vd,Yconst]に対する[Xwm,Zwm]を求めることができる。
さらに取得した[Xwm,Zwm]値を対応する画像上の[Ud,Vd]位置にあわせて二次元平面上へ配置することでXwm およびZwm に関する広角のカメラ１２の視野全域について、計測マップ３８を作成することができる。
【００９１】
次に、上述した式（２）と式（３）とを校正円Rckで切り替えることで計測マップ３８を生成する方法を説明する。この計測マップ生成方法は、計測マップ生成装置を使用して、計測マップ３８を生成する。計測マップ生成装置は、図１に示す記憶部１４と、生成処理部１６とを備えている。
【００９２】
図８を参照すると、まず、仮定地上高Yconstと、校正円Rckとを入力する（ステップＳ２１）。次に、カメラ１２の内部パラメーターａ，ｃと式（１）とを使用して、前記広角画像１０の画像座標値[Ud, Vd]を歪曲平面座標値[Xcd, Ycd]に変換する（歪曲平面化工程，ステップＳ２２）。そして、歪曲平面座標値[Xcd, Ycd]が校正円Rckの範囲内であるか否かを確認する（ステップＳ２３）。そして、前記歪曲平面座標系ＸｃｄＹｃｄでの予め定められた校正円Rckの内部の場合には、前記放射歪曲補正式２を使用して、前記歪曲平面座標値[Xcd, Ycd]を前記理想平面座標値[Xcm, Ycm]に変換する（理想平面化工程，ステップＳ２４）。一方、当該校正円Rckの外部の場合には、前記対数歪曲補正式３を使用して、前記歪曲平面座標値[Xcd, Ycd]を前記理想平面座標値[Xcm, Ycm]に変換する（理想平面化工程，ステップＳ２５）。
さらに、カメラ１２の外部パラメーターｒ，ｔと式（４）とを使用して、前記理想平面座標値[Xcm, Ycm]を前記世界座標値[Xwm, Yconst, Zwm]に変換する（世界座標化工程，ステップＳ２６）。そして、ステップＳ２２で特定した画像座標値[Udi, Vdj]に対応する世界座標値として、ステップＳ２６で変換した世界座標値[Xwm, Yconst, Zwm]を記録する（ステップＳ２７）。
【００９３】
そして、前記各画像座標値[Ud, Vd]の前記世界座標値[Xwm, Ywm, Zwm]を生成するまで前記各工程Ｓ２２からＳ２７を繰り返すことで前記計測マップ３８を生成する（マップ生成工程，ステップＳ２８，Ｓ２９，Ｓ３０，Ｓ３０）。マップ生成工程では、画像座標系の最大値をimax及びjmaxとして、Vdjを固定してiをインクリメントし（ステップＳ２８，Ｓ２９）、この  Vdjについてimaxに至った場合に、jをインクリメントし（ステップＳ３０，Ｓ３１）、UdiとVdjとがともに最大値となるまで、全ての画像座標値[Udi, Vdj]となるまで世界座標値[Xwm, Yconst, Zwm]への変換を繰り返す。
【００９４】
・1.3 校正円と補正式の効果
上述のように、対数歪曲補正式（３）を使用することで、実測による校正可能範囲外も良好に補正することができる。
また、計測マップ３８を予め生成しておくことで、走行環境を確認するための画像処理時に、演算負荷の高い補正をする必要がなくなり、広角画像１０をそのまま画像処理に使用することができる。
例えば、従来例でも歪み除去により線形に近似した画像から、一定の高さに照準を絞った位置での物体ＯＪについて二次元の画像平面と三次元空間を取ることができしかしながら、歪み補正処理については最急降下法等の演算負荷の高いものを使用するため、短時間での処理やリアルタイム性を要求される装置について、画像平面上の全画素に関して対応を取るには非常にスペックの高いＣＰＵが要求され、またはリアルタイムでの処理をすることができない。
そして、広角画像１０を補正すると、線形な近似画像を作成する際に施す形状の修正変換により連続する2枚の画像間での変化が非連続となり、マッチング処理・オプティカルフロー処理等の画像処理で支障をきたす恐れがある。
よって、画像平面上の座標に対して対応する三次元座標（但し高さは一定値）を画像と同じサイズの二次元テーブルに記録した計測マップ３８を導入することで、処理を高速化し、より実用的なスペックのＣＰＵでも物体ＯＪの位置を特定することができる。
【００９５】
＜1.4 測定枠との合成＞
再度図１を参照すると、好適な例では、前記記憶部１４が、画像処理の対象とする測定の範囲を前記世界座標値XYZの最大値及び最小値で区分する測定枠４４を予め記憶している。
そして、前記生成処理部１６が、前記計測マップ３８のうち、前記世界座標値が当該測定枠４４に含まれる画像座標値の値を抽出する測定枠処理４６を備えると良い。
測定枠４４は、走行環境を確認するに際して、測定する必要の無い領域がある際には、その領域を測定対象から除外するための枠である。測定枠４４は、世界座標系ＸＹＺで定義することができる。例えば、自車ＭＴとの距離の範囲を世界座標系ＸＹＺのＺの範囲で定義し、左右方向の範囲をＸの値で定義すると良い。また、図３に示す地上高上限４８よりも高い領域を測定対象外と定義することもできる。
測定枠処理４６は、図６に示すように、全体計測マップ５０を生成した後（ステップＳ６）、測定枠４４の内側について、測定枠計測マップ５２を生成すると良い。
【００９６】
図９を参照すると、全体計測マップ５０から測定枠計測マップ５２を生成するには、まず、測定枠４４を入力する（ステップＳ４１）。測定枠４４は、自車ＭＴに近く画像座標系ＵＶで下部のＺ最小値Zmin、自車ＭＴから離れており画像座標系ＵＶの上部となるＺ最大値Zmax、世界座標系ＸＹＺ及び画像座標系ＵＶの左右方向の最小値Xmin及び最大値Xmaxとである。
続いて、画像座標系ＵＶの座標値を特定し（ステップＳ４２）、世界座標値[Xwm, Zwm]を読み出す（ステップＳ４３）。この特定した画像座標値[Udi, Vdj]の世界座標値[Xwm, Zwm]が測定枠４４の各最大値及び最小値の範囲外であれば（ステップＳ４４）、世界座標値[Xwm, Zwm]を背景値で上書きする（ステップＳ４５）。測定枠４４の範囲内であれば上書きしない。
【００９７】
次に、Udiの画素位置iが最大値であるか否かを確認し（ステップＳ４６）、最大値でなければiをインクリメントしてi+1の画素位置についてステップＳ４２からＳ４５を繰り返す（ステップＳ４７）。Udiの画素位置が最大値となると、jが最大値となるまで（ステップＳ４８）、jをインクリメントしてステップＳ４２からＳ４６を繰り返す。
これにより測定枠４４の外側の世界座標値[Xwm, Yconst, Zwm]を背景値で上書きし、測定枠計測マップ５２を生成する。
【００９８】
図１０は、生成した測定枠計測マップ５２の一例であり、仮定地上高Yconstを350 [mm] と設定した。図１０（Ａ）に後方視界 -5,100から+ 5,100 [mm] のＸ計測マップ３８Ａの一例を示し、図１０（Ｂ）に後方視界 250〜 17,000 [mm] のＺ計測マップ３８Ｂの一例を示す。
Ｘ計測マップ３８Ａでは、暗が左遠方を示し、明が右遠方を示す。Ｚ計測マップ３８Ｂでは、暗が車間距離近方を示し、明が車間距離遠方を示す。
【００９９】
表示の都合上、図１０に示す測定枠計測マップ５２について、区分を判りやすくするために、8 ビットにダウンサイズ化し、偶数域を白（8 ビット偶数）で交互に描画することで境界位置を示した。
また、両翼方向（XminとXmax）の測定枠４４となる設定視界について、両隣車線を含む３車線分（±5〜6m 程度）で設定すると良い。手前・奥（ZminとZmax）は使用するカメラ１２のスペックにあわせて適当に測定枠４４を設定する。例えば、遠く離れた接近車両は画像上で小さくなりすぎて何なのか判別が難しい。また接近しすぎると警報を出しても間に合わないため測定の対象外とする場合がある。
この測定枠４４の設定により画像処理中の無駄な探索を回避できる。すなわち、測定枠計測マップ５２でX, Zの座標データを設定しない無効化（白＝背景色）位置では、オプティカルフロー処理を始めから行わない。つまり、判定に不要な位置として計算しないことで効率化できる。
【０１００】
図１１（Ａ）及び（Ｂ）に示す例えば8 ビットにダウンサイズした測定枠計測マップ５２に関しては、分解能により、ある1領域が以下の情報を示している。（白＝背景色位置は無効）
図１１（Ａ）Ｘ計測マップ３８Ａ: （5,100ｘ2）/255 ≒ 39 [ｍｍ]
図１１（Ｂ）Ｚ計測マップ３８Ｂ: （17,000）/255 ≒ 66 [ｍｍ]
8 ビットの計測マップ３８の場合、確認したいオプティカルフローの始点の座標が[Ud1,Vd1]、終点の座標が[Ud2, Vd2]なら、測定枠計測マップ５２より取得したX1[Ud1, Vd1]、Z1[Ud1, Vd1]およびX2[Ud2, Vd2]、Z2[Ud2,Vd2]から対象の三次元空間座標W1[Xwm1, Ywm1, Zwm1]、W2[Xwm2, Ywm2, Zwm2]は次のとおりとなる。
W1[Xwm1,Ywm1,Zwm1]= [39 x X1[Ud1,Vd1], Yconst , 66 x Z1[Ud1,Vd1] 単位はmm
W2[Xwm2,Ywm2,Zwm2]= [39 x X2[Ud2,Vd2], Yconst , 66 x Z2[Ud2,Vd2] 単位はmm
【０１０１】
計測マップ３８の分解能を16 ビット、32 ビットとあげていけば、各画素位置での三次元位置X、Z の情報をより詳細に取得することができる。
16 ビットＸ計測マップ３８Ａ: （5100ｘ2）/65536 ≒0.16ｍｍ
16 ビットＺ計測マップ３８Ｂ: （17000） /65536 ≒0.25ｍｍ
【０１０２】
図１２は、測定枠計測マップ５２で、Ｚ計測マップ３８Ｂである一例を示す図である。図１２（Ａ）から（Ｃ）は、仮定地上高Yconstを変化させた際のそれぞれのＺ計測マップ３８Ｂである。図１２（Ａ）の仮定地上高Yconst1が一番高く、図１２（Ｃ）の仮定地上高Yconst3が一番低い。この仮定地上高は、図２３に示す仮定地上高Yconstと対応している。
【０１０３】
・1.4 測定枠との合成の効果
上述のように、世界座標系ＸＹＺで測定枠４４を定義し、計測マップ３８に反映させておくことができる。すると、走行環境の確認等の目的で、測定枠４４がある場合に、測定枠４４の参照と、世界座標系ＸＹＺの参照との２度のアクセスを必要とせず、１度のアクセスで必要な情報を得ることができる。
【実施例２】
【０１０４】
＜2 走行環境確認装置＞
＜2.1 広角画像のオプティカルフロー＞
次に、実施例２を開示する。
走行環境確認装置は、主要な要素として、確認処理部６０と、追跡処理６２と、位置参照処理６４とを備えている。
図１３を参照すると、走行環境確認装置は、広角レンズ２８を有し自車ＭＴの走行環境を撮影するカメラ１２と、所定の計測マップ３８を記憶した記憶部１４と、前記カメラ１２から入力される広角画像１０と前記計測マップ３８とに基づいて前記自車ＭＴの前記走行環境を確認する確認処理部６０とを備えている。
そして、前記計測マップ３８は、前記走行環境の世界座標系ＸＹＺでの測定枠４４の範囲内について、画像座標系ＵＶの画像座標値[Ud, Vd]と前記世界座標系ＸＹＺの世界座標値[Xwm, Ywm, Zwm]との対応を予め記憶したマップである。この計測マップ３８は、図１０から図１２に示す測定枠４４が付された測定枠計測マップ５２であり、個別に、Ｘ計測マップ３８Ａ及びＺ計測マップ３８Ｂということもある。
【０１０５】
前記確認処理部６０が、追跡処理６２と、位置参照処理６４とを備えている。追跡処理６２は、連続する前記広角画像１０を使用して、前記測定枠４４の範囲内の当該広角画像１０での特徴点ＣＰを追跡する。位置参照処理６４は、前記追跡した特徴点ＣＰであるフローＦＬの画像座標値から前記計測マップ３８を参照し、当該フローＦＬの世界座標系ＸＹＺでの位置を特定する。
【０１０６】
図１３に示す例では、記憶部１４は、広角画像１０を一時的に記憶する画像メモリー１５と、フローＦＬの抽出に使用する速度範囲６８と、テンプレート７０と、測定枠４４とを記憶している。また、確認処理部６０は、抽出したフローＦＬのうち確認の目的に応じて有効なフローＦＬを抽出する有効フロー抽出処理６６や、フローＦＬをグループ化するグループ化処理７２や、抽出したフローＦＬに基づいて接近や警報出力の有無等を判定する判定処理７４を備えている。
【０１０７】
図１４を参照すると、走行環境確認装置は、ハードウエア資源として、確認の用途や機能に応じて、自車ＭＴの速度を検出する車速センサー８２や、自車ＭＴの操舵角を検出する操舵角センサー８４や、ウインカー操作の有無を検出するウインカー制御部８６や、地図情報と自車ＭＴの位置とに基づいて走行路を案内するナビゲーション装置８８を備えている。走行環境確認装置は、さらに、カメラ１２からの広角画像１０を表示する表示部９０と、この表示部９０に表示する広角画像１０の表示を制御する表示制御部９２とを備えると良い。表示制御部９２は、表示する画像の視点の切り替え等に応じた画像処理を行うと良い。
そして、走行環境確認装置は、確認処理部６０として機能するコントローラー８０を備えている。このコントローラー８０は、ＣＰＵを有する。実施例２では、広角画像１０を逐次に補正する高負荷な処理を行わないため、比較的安価なＣＰＵを使用することができる。
また、走行環境確認装置は、コントローラー８０による判定処理７４の判定結果に応じて警報を出力する警報出力部９４を備えると良い。警報出力部９４は、音での警報であれば、音の出力制御部とスピーカーとを備える。表示による警報であれば、表示制御部９２と連動して警報を表示制御する。また、警報出力部９４は、ウインカー制御部８６と連動して、車線変更のためにウインカーが操作された際に、当該車線にフローＦＬから抽出した後方車両が存在している際に、警報を出力するようにしても良い。
【０１０８】
以下、広角レンズ２８を有するカメラ１２で後方を連続撮影した画像からフローＦＬを検出し、複数のフローＦＬから自車ＭＴの走行や運転者の操作に危険が及ぶ恐れがあるフローＦＬを抽出し、運転者へ警報を出力する走行環境確認装置を例として説明する。
実施例２では、この走行環境確認装置は、実施例１で説明した計測マップ３８を使用する。
例えば、走行環境確認装置は、広角画像１０からフローＦＬを抽出して障害物となる物体ＯＪの動きを監視し、安全の確認が必要であると判断された物体ＯＪに関して、計測マップ３８から物体ＯＪの三次元空間の世界座標値[Xwm, Ywm, Zwm]を参照し、自車ＭＴとの相対速度、相対位置を自動計測し、予め定められた警報すべき範囲の場合には、警報を発する。
【０１０９】
図１５に示すように、仮定地上高Yconstは図中一般車のナンバープレート等が配備される高さとすると良い。
仮定地上高Yconst = 0 で計測マップ３８作成を行うと、物体ＯＪと路面ＧＲの境界部分で検出できたフローＦＬのみ抽出することとなってしまう。この境界部分では、影の形状変化（天気や日照方向、路面ＧＲの状態等の外乱）により特徴点ＣＰがアンマッチとなりやすく、フローＦＬの検出効率が低くなる。このため、仮定地上高Yconst = 0を避けることが望ましい。そして、仮定地上高Yconstの高さは、バンパー、ナンバープレート、ライト、タイヤホイール等のコントラストが強く特徴量の大きな要素を含む高さ（100〜500 [mm]）を目安とすると良い。なお、記憶部１４の記憶容量に余裕がある場合は、図１２に示すように仮定地上高Yconstを複数設定し、X及びZの計測マップ３８を多層化しても良い。
【０１１０】
また、図１５に示すように、地上高上限４８よりも高い高さにつては、測定対象外とすると良い。
計測マップ３８は、レンズ焦点と対象を結ぶ直線が、仮定地上高Yconstと平行な平面との角度が0度（平行）以上となる位置では、求める平面とレンズ焦点と対象を結ぶ直線が交わらないため、X,Z座標が求まらず、また、この高さではフローＦＬの検出効率も低い。従って、実施例２では、カメラ１２の設置高を地上高上限４８として、これより高い部分は、後方の空中方向を撮影したものと考え、測定枠４４から除外する。これにより、効率的なフローＦＬを実行することができる。
【０１１１】
図１５に示す例では、自車ＭＴから後方をカメラ１２で撮像し、後方の物体ＯＪである車両が、時間Δｔの間に、点線位置から実線位置に移動すると、世界座標系ＸＹＺでのフローＦＬは、ピンホールカメラ・モデルでの理想平面２４，歪曲平面２６にてフローＦＬとなる。
【０１１２】
図１６（Ａ）は、移動前の広角画像１０の一例を示し、図１６（Ｂ）はΔｔ後の移動後の広角画像１０の一例を示す。図１７は、図１６（Ａ）に示す広角画像１０にテンプレート７０を重ねた状態を示し、図１７（Ａ）は全体テンプレート７０Ａを重ねた例で、図１７（Ｂ）はテンプレート７０を測定枠４４の範囲とした測定枠テンプレート７０Ｂを重ねた例を示す。そして、図１８に、抽出したフローＦＬを図１６（Ｂ）に示す広角画像１０に重ねた例を示す。図１８（Ａ）は全体テンプレート７０Ａにより抽出したフローＦＬで、図１８（Ｂ）は測定枠テンプレート７０Ｂにより抽出したフローＦＬである。
【０１１３】
全体テンプレート７０Ａを例に、追跡処理６２によるオプティカルフロー処理を説明する。オプティカルフローの手法は、まず、移動前に撮影した画面全体について、図１７（Ａ）に示す全体テンプレート７０Ａで図１６（Ａ）に示す広域画像をテンプレート７０による各ブロックに領域分割し、そのテンプレート７０Ａのブロックを登録する。次に、図１６（Ｂ）に示す移動後の画像に対して、移動前に登録したされた各テンプレート７０のブロックの単位で近傍の周辺画像を探索し、一致点・対応点を調査し、画像中の物体ＯＪの特徴部分ＣＡを画像上の特徴点ＣＰとして捉え、その物体ＯＪの挙動を推定する。
【０１１４】
オプティカルフローの計算は次の手順となる。
（１）比較する移動前の画像をテンプレート７０領域に分割し登録する。
（２）登録したテンプレート７０単位で、移動後の画像のテンプレート７０の登録地点およびその周囲の画像の対応点を探索する。探索時の一致度の判定は、テンプレート７０の輝度値と探索位置でテンプレート７０のサイズ分で画素毎に輝度値の変化を調べる。一般的には、絶対値差分和(SAD, Sum of Absolute Difference)や正規化相互相関(NCC, Normalized Cross-Correlation) による評価をする。
また、処理を効率化するために、メディアンフィルタなどのノイズ除去処理を行っても良い。そして、路面ＧＲ（道路）など明らかに輝度分布に変化や起伏無いような地点は、特徴量の少ない地点として探索処理や評価をパスしても良い。
（３）対応点がテンプレート７０の登録地点であれば、そのテンプレート７０内に移る物体ＯＪは静止しており、テンプレート７０の登録地点の周辺に対応点が見つかればテンプレート７０内の物体ＯＪは移動したものと考えられる。
（４）さらに、（３）について、カメラ１２（自車ＭＴ）が移動しておれば、静止する物体ＯＪは追従、後ろに移動するものは背景と判断できる。
また、図１７に示す例では、テンプレート７０のブロックを線形な格子状としているが、歪曲平面２６にあわせて歪曲させ、特にＺ方向で遠方のフローについてより微細な抽出をするようにしても良い。
【０１１５】
広角画像１０にてフローＦＬが検出されると、計測マップ３８を参照して、検出したフローＦＬの始点および終点の画像座標値[Ud,Vd]から移動前後の世界座標値[Xwm,Zwm]を求める。この場合、二次元の画像平面と三次元空間の対応は計測マップ３８の作成時に演算済みであるため、毎処理ごと検出した各フローＦＬ単位で演算を繰り返す必要がなく、例え大きなレンズ収差を持つ広角レンズ２８のカメラ１２で撮影された歪みを含む画像であっても、画像座標値[Ud, Vd]から計測マップ３８の各座標に記録された世界座標値[Xwm, Zwm（およびYconst）]を参照することができる。これにより、始点と終点の画像座標値[Ud,Vd]に対応する世界座標値[Xwm, Yconst, Zwm]を瞬時に特定できる。
さらに、比較する移動前後の画像で撮影時に撮影時間（フレームレート）Δｔを記録しておくことで、検出フローＦＬのX、Z座標から、物体ＯＪの移動方向、移動速度、現在の車間距離を取得することができる。
【０１１６】
図１９及び図２０に、カメラ１２からの広角画像１０と測定枠計測マップ５２を重ねあわせたイメージを示す。図１９及び図２０に示す計測マップ３８の背景の部分でテンプレート７０の登録をパスすると、無駄な位置での探索を行わずに処理を効率化できる。すなわち、計測マップ３８の測定枠４４で抽出し、測定枠計測マップ５２としておくと、無効データにより、不要なテンプレート７０登録をパスすることができる。
【０１１７】
再度図１７（Ｂ）を参照すると、図１７（Ｂ）に示すように、測定枠４４の内側のみ測定枠テンプレート７０Ｂを登録することで、図１８（Ｂ）に示すように、図１８（Ａ）と比較して、後方車両の抽出に有用なフローＦＬのみを当初から抽出することができる。
【０１１８】
このように、計測マップ３８とオプティカルフロー処理とを併用して、駐車支援に使用する広角レンズ２８を有するカメラ１２を使用して、後方車両の抽出をすることができる。これは、追跡処理６２が、カメラ１２からの入力画像を連続処理してフローＦＬを追跡することで、車両後方の物体ＯＪの動きを取得する処理である。この連続する画像（動画）の変化をフローＦＬとして追跡することで、自車ＭＴの後方の物体ＯＪの移動状況を自車ＭＴとの相対的な関係で判別することができる。
【０１１９】
そして、位置参照処理６４は、検出した特徴点ＣＰのフローＦＬの始点および終点の[Ud,Vd]から移動前後の特徴部分ＣＡの世界座標値[Xwm, Zwm]を求める。この場合、二次元の画像平面と三次元空間の対応は計測マップ３８の作成時に演算済みであるため、毎処理ごと検出した各フローＦＬ単位で演算を繰り返す必要がなく、大きなレンズ収差に応じた歪曲を持つ広角画像１０であっても、画像座標値[Ud,Vd]から計測マップ３８の各座標[Ud,Vd]に対応して記録された世界座標値[Xwm, Zwm（およびYconst）]値を参照することができる。
さらに比較する移動前後の画像で撮影時に撮影時間を記録しておくことで、検出フローＦＬの世界座標値[Xwm, Zwm]から、特徴部分ＣＡを有する物体ＯＪの移動方向、移動速度、自車ＭＴとの車間距離を取得することができる。例えば、Ｚ計測マップ３８Ｂによる座標値をフローＦＬの始点と終点において参照することで、自車ＭＴと物体ＯＪとの車間距離を、（Ｚ終点−Ｚ始点）/Δt 撮影時間差により、接近する物体ＯＪの向きと自車ＭＴとの相対速度を把握することができる。
【０１２０】
このように、車間距離が縮まる方向に発生するフローＦＬについては接近の判定を行い、（背景を含め）車間距離が広がる方向に相対速度が発生するものフローＦＬは、他の無効なフローＦＬと同様に接近等の判定から除外することが出来る。
Ｘ計測マップ３８Ａを使用した物体ＯＪの車線変更等に伴う接近も同様の手法で判定することができる。
【０１２１】
・2.1 広角画像のオプティカルフローの効果
実施例２では、前記走行環境の世界座標系ＸＹＺでの測定枠４４の範囲内について、画像座標系の画像座標値と前記世界座標系ＸＹＺの世界座標値との対応を予め記憶した計測マップ３８を使用することで、広角画像１０を補正せずにそのまま画像処理の対象とすることができる。特に、確認処理部６０が、追跡処理６２として、連続する前記広角画像１０を使用して、補正をせずに歪曲したまま、前記測定枠４４の範囲内の当該広角画像１０での特徴点ＣＰを追跡し（追跡処理６２）、前記追跡した特徴点ＣＰであるフローの画像座標値から前記計測マップ３８を参照して、当該フローの世界座標系ＸＹＺでの位置を特定する（位置参照処理６４）。このため、計算量の予測が困難で負荷が高く不安定な広角画像１０自体の補正処理をすることなく、リアルタイムで、フローを抽出し、さらに、計測マップ３８を参照することで、フローＦＬの世界座標系ＸＹＺでの世界座標値（位置）を得ることができる。
【０１２２】
このように、フローＦＬを抽出し、計測マップ３８でフローＦＬの世界座標値[Xwm, Yconst, Zwm]を特定する処理により、歪み成分を考慮した上で、二次元の画像座標[Ud,Vd]に対応した三次元の世界座標値[Xwm, Yconst, Zwm]を読み取ることができるため、カメラ１２から入力される広角画像１０をダイレクトに高速処理できる。よって、よりレンズ収差が大きく、視野及び画角の広いカメラ１２と、比較的に低スペックのCPUを使用して走行環境確認装置を構成することができる。
【０１２３】
・また、広角レンズ２８による歪曲の補正をせずに、広角画像１０の生の画像で特徴点ＣＰの抽出をすることができるため、そして、歪み除去処理等の際に生じる画像の形状補正や加工が不要であるため、他の歪み補正画面を応用したオプティカルフロー処理等に対して、マッチング精度を高く維持することができる。
さらに、大きい歪曲を補正するために五次元以上の多項式を解く処理など、計算量を事前に予測できない処理を含まずに、走行環境の確認をすることができる。そして、計測マップ３８を事前に準備することで、広角画像１０の補正という負荷の高い処理をせず、リアルタイムにフローを抽出することができる。
・また、レンズ収差の大きなカメラ１２でも対応できるので、一般的に駐車ガイド等の目的で普及したバックアイカメラを転用できる。従って、レンズ収差が小さく、視野の狭い後方監視・計測専用のカメラ１２を追加する必要がない。
【０１２４】
そして、広角画像１０を補正した後に画像処理を行う従来の手法では、歪み補正画像が元の入力画像よりも大きくなるため、取り扱う処理（登録テンプレート７０の総数）が増大し画像処理が高負荷となる。また、画像サイズを元のサイズに戻す場合も、画像サイズ変換する画像処理に処理時間が必要となる。そして、縮小により画面中心付近に映る物体ＯＪの表示サイズが小さくなり認識が難しくなる。さらに、歪み補正画像の作成作業では、画像サイズを引き伸ばす分、画素の隙間が生じるためバイリニア補完などの画素補完処理が必要となる。よって、補完処理分の処理時間が必要となる。処理に時間を要するほど、接近する物体ＯＪの移動量が増え、その分対応点を探す範囲を大きく取らなければならない。よって処理時間がさらに必要となる。
この点、実施例２の計測マップ３８による手法では、歪み補正画像を作成せず、入力される広角画像１０をそのまま使用してオプティカルフロー処理を行うことができるため、画像作成時間を不要とすることができる。
【０１２５】
＜2.2 フローの速度範囲＞
次に、速度範囲６８を使用して、有効フロー抽出処理６６を行う例を説明する。オプティカルフローで検出したフローＦＬは、接近する後続車両の他に、反対斜線を走行する他車、自車ＭＴの移動に伴う後方の物体ＯＪなどの周辺に発生する。このフローＦＬを、それぞれ、自車ＭＴの走行や運転者の操作に関係する可能性のあるフローＦＬと、無関係なフローＦＬとを区別するために、速度範囲６８を使用する。すなわち、設定した仮定地上高Yconstさから外れる高さで発生したフローＦＬに関しては、仮定地上高Yconstとの前提条件と異なる計算となることから、速度等の演算結果が正しい値（閾値の範囲内の移動方向・速度）を示さないことを利用する。
すなわち、この例では、前記計測マップ３８は、前記世界座標系ＸＹＺでの物体OJの特徴部分ＣＡの地上高Yconstを予め仮定して、前記画像座標系ＵＶの画像座標値[Ud,Vd]を前記世界座標系ＸＹＺの世界座標値[Xwm, Yconst, Zwm]に投影したマップである。
そして、前記記憶部１４が、前記走行環境の前記仮定地上高Yconstについて前記世界座標系ＸＹＺで予め定められた速度範囲６８を記憶している。速度範囲６８は、Ｚ方向（進行方向）と、Ｘ方向（左右方向）とについてそれぞれ定めておくと良い。
さらに、前記確認処理部６０が、前記位置を特定した前記フローＦＬのうち前記速度範囲６８内のフローＦＬを前記仮定地上高の高さの前記特徴部分ＣＡが移動する物体ＯＪとして抽出する有効フロー抽出処理６６を備えている。
【０１２６】
この例では、フローＦＬと計測マップ３８との対応を利用し、フローＦＬの速度を判定することで、仮定地上高Yconst以外の高さで検出したフローを除去することが出来る。
図２１を参照し、図２１（Ａ）及び（Ｂ）に示す３本のフローＦＬを例として、Ｚ方向について検討する。図２１（Ａ）から（Ｅ）に示す白抜きのフローは世界座標系ＸＹＺでの実際のフローＦＬの速度を示し、黒色のフローは仮定地上高Yconstに投影した見かけ速度ＦＬＹを示す。
【０１２７】
まず、抽出すべきフローＦＬに対して、フローＦＬ始点・終点の画像座標値[Ud, Vd]に対応する世界座標系ＸＹＺのZ座標をＺ計測マップ３８Ａより取得する。そして、移動前後の撮影時間間隔Δt、撮影時間差を基に、移動速度（Ｚ終点−Ｚ始点）/Δt 撮影時間差を計算する。すると、各フローＦＬの速度を求めることができる。なお、後ろ向きの移動方向をもつフローＦＬは背景として除去する。
【０１２８】
この速度は、自車ＭＴとの相対速度である。フローＦＬの速度範囲６８の上下及び下限の設定は、使用するカメラ１２の分解能や、走行環境確認の用途や、仮定地上高Yconstによって定まる。Ｚ方向の速度がマイナスになるものは離れゆく後続車か、背景により発生したフローＦＬとなるので対象外となる。
Ｚ方向については、図２１（Ｂ）に示す速度範囲６８の長さ以内とすると良い。
【０１２９】
図２１（Ｃ）に示すように、フローＦＬｂの位置、すなわち仮定地上高Yconstの高さと一致する高さで取得したフローＦＬの始点及び終点に関する計測マップ３８のＺ値は、見かけ速度ＦＬＹｂとなり、速度範囲６８内となり、適切な値である。よってフローＦＬｂが取り出せる閾値＝接近車両の速度と扱うことが出来る。
一方、図２１（Ｄ）に示すように、フローＦＬａの位置、すなわち仮定地上高Yconstの高さより高い位置で取得したフローＦＬはYconstの平面と実際の位置より後方で交わるので、計測された見かけ上の速度ＦＬＹａが増加し、速度範囲６８よりも高速となり、除外される。
また、図２１（Ｅ）に示すように、フローＦＬｃの位置、すなわちYconst高さより低い位置で取得したフローＦＬはYconstの平面と実際の位置より前方で交わるので、計測された見かけ上の速度ＦＬＹｃが減少する。
そして、正しい速度が取り出せるような抽出速度の閾値を設定することで、Yconstにかかる位置でのフローＦＬのみを抽出することが出来る。
【０１３０】
同様にＸ方向に対しても同じような速度計算を行う。また、仮定地上高Yconstを複数設定し多階層の計測マップ３８を持たせる場合は、さらに抽出したフローＦＬの重ね合わせより、接近対象の立体的な復元を行うことができる。
【０１３１】
Ｘ方向（自車ＭＴの左右方向で、車線を横切る方向）の速度範囲６８は、１秒間に２車線以上移動する速度(3.0×2 [m/s] ≒ 22 [km/h])以上をもつ物体ＯＪを示すフローＦＬを誤対応フローＦＬとして除去することができる。すなわち、Ｘ方向の速度範囲６８の上限は、自車ＭＴが直進で移動する際に、後続車が1秒で2車線(3,100 [mm] × 2)を横切る速さ(6,200 [mm/sec] ＝ 22.32 [km/h] を仮定し、設定することができる。車線の幅員は、およその平均値である。このように、1秒間で2車線の移動速度を見ておけば自車ＭＴのふらつき移動が生じても、確認処理部６０が大きく過剰反応することがない。
【０１３２】
Ｚ方向の速度範囲６８の下限については、下限を0とする場合、Ｚ方向の速度が0の場合、フローＦＬの長さが0となる。自車ＭＴが走行中にフローＦＬの長さが0となるのは、相対速度が0であり、併走車両が存在する確率が高いため、フローＦＬの抽出位置によっては、候補領域として抽出を行いその位置に併走車両がいないか探索を行う場合に利用できる。
また、併走する車両を検出の対象外とする仕様では、Ｚ方向の速度範囲６８の下限を+5 [km/h] に設定すると、＋5 [km/h] 以下のあいまいな情報を除去できる。つまり、短いフローＦＬを除去できる。設定する下限速度を高めるとノイズや誤検出に強くなるが、低速移動する接近車も対象外として除去されることとなる。このため、走行環境の確認の用途や頻度、目的によって設定下限を調整すると良い。
【０１３３】
Ｚ方向の速度範囲６８の上限については、警報の実効性との関係で計算することもできる。接近車の検出と警報時間から、放置したままで衝突となり得るまでの猶予時間を1秒とする走行環境確認装置を例とする。この装置で、さらに、自車ＭＴとの距離が11 [m] 離れた位置で接近車両の映像上のサイズが使用するテンプレート７０のブロックサイズに対して小さくなりすぎて  認識できなくなるようなカメラ１２を使用する場合、相対速度 40 [km/h] = 11,111 [mm/sec] の接近車は、ビデオレート1/30秒後に検出され警報を出力した1秒後には（11.1m以上  駆け抜けて）自車ＭＴに追いつく。このため、40 [km/h] 以上の上限は設定しても無効となり、Ｚ方向の速度範囲６８のZ上限は相対速度で40 [km/h] となる。
自車ＭＴとの距離が14m離れた位置で接近車両の映像が小さくなりすぎるカメラ１２に変更した場合、14 [m/sec] × 3.6=50.4 [km/h] まで上限を設定できる。猶予時間や、テンプレート７０のブロックのサイズを変更しても速度Zの上限は変化する。
【０１３４】
図２２は広角画像１０を使用して有効フローを抽出する処理の一例を示すフローチャートである。まず、カメラ１２のキャリブレーションを行い、歪みを含めたカメラ１２の外部パラメーター及び内部パラメーターを測定する。そして、計測マップ３８を準備しておく。
【０１３５】
実際の処理では、広角画像１０を取得し（ステップＳ６１）、続いて、テンプレート７０の登録やメディアンフィルタによる画質改善などオプティカルフロー処理の前処理をする（ステップＳ６２）。そして、特徴点ＣＰを追跡し、フローＦＬを検出する（追跡処理６２，ステップＳ６３）。フローの始点と終点の画像座標値[Ud, Vd]について、計測マップ３８を参照して世界座標値[Xwm, Yconst, Zwm]を特定する（位置参照処理６４，ステップＳ６４）。
続いて、フローＦＬの速度を算出し、速度範囲６８を使用して無効フローを除去し、有効フローを抽出する（有効フロー抽出処理６６，ステップＳ６５）。続いて、フロー誤差の補正等、誤判定処理を行う（判定処理７４，ステップＳ６６）。この一連の処理をリアルタイムで繰り返す。
【０１３６】
図２２を参照して、実施例２の利点を説明する。
従来例では、広角画像１０を取得した後、歪みを補正した補正画像を作成し、歪み補正画像の隙間を補完する処理をし、さらに、場合によっては画像サイズを修正しなければならない。一方、実施例２では、補正画像を作成することなく、オプティカルフロー前処理を行うことができる。
【０１３７】
オプティカルフロー処理は、「極短い時間で撮影した画像を比較する場合、画面上の物体ＯＪの移動に伴う形状変化は小さく平行移動と同等として扱うことが可能である」という仮定が前提条件となっている。歪み補正変換処理に時間を要すると、比較する次の画像の撮影が遅れ、基準とする前回の画像との時間間隔が延長される。
よって物体ＯＪの移動量が増大し画像自体の形状変化が大きくなり画像間の一致レベルが悪化する。例えば、位置による見え方の変化として、接近車遠くのものは点に見えるため、距離の近い物同士では移動量や方向等を検出できるが、遠くにあるものと近くのものでは、ギャップが大きすぎて対応を取ることができず、特徴点ＣＰのマッチングの精度が低下する。その結果、フローＦＬの検出効率が低下する。また移動量が増加すると一致箇所を探索する範囲も拡大(例：画面の端から端まで移動したら縦(or 横)ライン1 方向全部が探索調査対象)し、ますます処理時間の増加を招く。
【０１３８】
よって実施例２は、まず、以下の点で従来の手法より優れている。
（１）歪み除去・二次元三次元対応等の演算にかかわる要素を全て事前に計測マップ３８に記録することで、毎回の変換計算を行う必要がなく処理を高速化することができるため、より視界の広い（レンズ収差の大きい）カメラ１２と手ごろな（安価な・計算能力の高くない）CPUで走行環境確認装置を構成できる。
（２）歪みを含む生の広角画像１０での比較については歪み除去といった類の人為的な画像の形状加工・補正が不要であり、入力画像をそのまま使用できるため、比較する画像間での形状変化をより小さく抑え、マッチング等の精度を高く維持することが可能である。
このように、フローＦＬの検出効率の面で補正除去画像を応用した従来の手法より優れている。
【０１３９】
なお、二次元画像平面から三次元世界座標への変換作業等の画像処理を行う装置では、通常、フローＦＬの発生をトリガとして処理を開始する。すなわち、フローＦＬが発生しなければ、後方視界は変化・異常なしと判断され何ら処理をしない。しかし、従来例では、フローＦＬの発生の有無にかかわらず広角画像１０を補正しなければならず、ＣＰＵを常に稼働させなければならなかった。一方、実施例２ではフローＦＬを検出しない際には、計測マップ３８の参照もせず何ら処理をしない。
【０１４０】
また、従来のTsaiの近似式のような補正近似計算によると、歪み補正処理により作成した画像には計算誤差が含まれる。そして、通常、カメラ１２からの広角画像１０から歪み補正した画像を作成する場合、補正変換した値は離散的な値となる。従って、歪み補正した画像では歪みを含む補正前の生画像とリンクができない画素が発生する。この結果、リンクできない画素位置で画素の抜けが発生した虫食い状の画像となる。このような場合、発生した虫食い画素の位置に対してはバイリニア法などの補完法で仮想的な輝度値を割付けて画素の抜けを穴埋めする作業が必要となってしまう。つまり、広角画像１０の歪み補正では、広角レンズ２８により集光した分を補正時に画像を外へ引き伸ばす必要があるため「生画像の画像サイズ」＜「歪み補正済画像の画像サイズ」となる。その際、画像が引き伸ばされた分だけ画素の抜けが発生してしまう。
【０１４１】
このため、歪みを補正しない生の画像データ同士での比較に比べ、歪み補正処理により作成した画像データ同士の比較では計算誤差が付加される分画質が劣化し、特徴部分ＣＡの本来の形状を損ねてしまう。そのため比較画像間の一致レベルが悪化しフローＦＬの検出効率が下がる。加えて画素の抜け位置及び補完された仮想的な輝度値も同様にフローＦＬ検出効率に影響を及ぼす。
この点、計測マップ３８にも歪み補正処理と同じように計算誤差は発生するが、フローＦＬ検出については生画像を使用する分、画質レベルでの計算誤差は発生せず検出効率に対するそのような影響はない。
【０１４２】
フローＦＬを検出した後、別途手段で計測マップ３８に含まれる計算誤差分の補正を行うことは可能である。しかし、逆に計算誤差の含まれた歪み補正画像を使用すると、計算誤差による画像の劣化に起因してフロー自体を抽出できなくなってしまう。フローＦＬを抽出できなければ、事後的に補正をすることができない。このように、画像処理の基本に立ち戻り、できるだけフローＦＬの検出効率が下がらぬよう画質を劣化させない方向に対応するのが望ましい。この点、実施例２では、広角画像１０をそのままフローＦＬの抽出処理に使用することができる。
また、計測マップ３８の作成作業においては広角画像１０の画素に対して１対１で世界座標値[Xwm, Yconst, Zwm]の割付けをしているため、各計測マップ３８の値[Xwm, Zwm]はそれぞれのマップ上で連続したデータとなり離散的な配置にはならない。よって抜けや虫食いは発生せず補完処理も不要である。すなわち、「生画像の画像サイズ」＝「計測マップ３８のサイズ」となるので抜けは発生しない。
【０１４３】
次に、オプティカルフロー処理（ステップＳ６３）を比較する。
従来例では、歪み補正画像作成時の変換に関する計算誤差、および画像の引き伸ばし時の隙間補完などの誤差の影響で画質の劣化を招く恐れがある。その結果、比較する移動前後の画像間での相違が増し、フローＦＬを検出不能となる恐れがある。
フローＦＬが検出できなければ、距離や速度を探索するきっかけを失うため、後処理へと処理が移行できない。すなわち、補正すべきフローＦＬそのものが検出されないので、位置・速度計算に対するフローＦＬ誤差補正を行うこともできない。
【０１４４】
対して実施例２では、広角画像１０でのフローＦＬは画質が劣化しない上に、全処理がより高速で進行できる分、フローＦＬの検出効率が高い。仮に、検出したフローＦＬに対応する計測マップ３８の値に、量子化誤差などの計算誤差が含まれていたとしても、後処理にて誤差補正が可能である。
【０１４５】
フローＦＬの抽出後、従来例では、消失点ＦＯＥの位置を求め、消失点ＦＯＥとの関係で個別に世界座標系ＸＹＺの座標値を算出する。従って、ＦＯＥが求められない場合には、物体ＯＪのフローＦＬの座標値を求めることができない。一方、実施例２では、計測マップ３８を使用することで、画像座標値から直接世界座標値[Xwm, Yconst, Zwm]を求めることができる。従って、路面ＧＲの白線がかすれている場合や、走行車線がカーブする場合など、ＦＯＥを求めることができない状態であっても、実施例２ではフローの世界座標値[Xwm, Yconst, Zwm]を算出することができる。
【０１４６】
次に、実施例２では、計測マップ３８を用いて位置参照処理６４を行う（ステップＳ６４）。仮に、極めて高速なCPUを導入し、計測マップ３８を使用せずリアルタイム計算で位置・速度を求めようとしても、計測マップ３８と同様の精度を確保することが困難である。すなわち、式（１４）や式（１９）の特性方程式を反復法で計算値を求めることをリアルタイムで行うことは困難であり、計算量を予測できる算式を使用するしかなく、近似精度が悪化する。
【０１４７】
そして、有効フロー抽出処理６６（ステップＳ６５）による有効フローの抽出では、実施例２では、フローＦＬ自体の特徴に基づいて有効フローと無効フローとの識別をすることができ、走行環境の背景等を解析する必要がない。すなわち、仮定地上高Yconst等に応じて有効フローＦＬとなる速度範囲６８を定めておき、この速度範囲６８と比較することで有効・無効を判定するため、単純な処理で無効なフローを除外することができる。
実際、図２３に示すように、速度範囲６８による有効フローの抽出により、図１８（Ｂ）に示すフローのうち、対向車や影による無効フローを除去することができる。
さらに、判定処理７４による解析（ステップＳ６６）では、フローを良好に抽出し、さらに有効フローを抽出し、フローの始点及び終点の世界座標値[Xwm, Yconst, Zwm]を取得しているため、情報量が多い状態から判定することができ、物体ＯＪの車種等の識別や、走行車線の判定や、接近の程度などを良好に判定することができる。
【０１４８】
・2.2 フローＦＬの速度範囲の効果
上述のように、仮定地上高Yconstと速度範囲６８とを調整することで、予め定めた任意の高さ付近に位置する特徴部分ＣＡについて、ナンバーやバンパー等を狙って選択的に取り出すことができる。そして、これら特徴を応用し、自車ＭＴの走行に関連する後方や側方の物体ＯＪの接近を示すフローＦＬを効率良く抽出することができる。
【０１４９】
＜2.3 仮定地上高毎のフロー＞
実施例２では、複数の計測マップ３８を活用して物体ＯＪを立体的に検出することもできる。この例では、前記記憶部１４が、複数の仮定地上高毎の複数の計測マップ３８を記憶し、前記確認処理部６０が、複数の仮定地上高Yconst毎にフロー５２を抽出する。
図２４を参照すると、この例では、仮定地上高Yconstとして、Yconst1, Yconst2及びYconst3の３つの仮定地上高Yconstを定義している。計測マップ３８は、図１２に示すように仮定地上高毎の計測マップ３８となる。この３種類の計測マップ３８を使用することにより、３つのフローＦＬａ，ＦＬｂ及びＦＬｃを抽出することができる。
【０１５０】
図１２に示すグループ化処理７２は、この確認処理部６０が複数の仮定地上高Yconst毎に抽出したフローＦＬａ，ＦＬｂ及びＦＬｃを、図２５及び図２６に示すように、１つのグループＧＰにまとめる。このグループ化処理７２は、検出してOKであったフローＦＬの始点と終点とに着目して、次のように、フローを三次元の世界座標系ＸＹＺにプロットする。
[Ud1i,Vd1i]⇒[Xwmi,Yconst1,Zwmi]
[Ud2j,Vd2j]⇒[Xwmj,Yconst2,Zwmj]
[Ud3k,Vd3k]⇒[Xwmk,Yconst3,Zwmk]
iはYconst1ベースの計測マップ３８で見つかったフローＦＬ総数
jはYconst2ベースの計測マップ３８で見つかったフローＦＬ総数
kはYconst3ベースの計測マップ３８で見つかったフローＦＬ総数
【０１５１】
判定処理７４は、グループＧＰの全体での速度、幅及び高さの情報を使用して、後方車両であるか否かや、車両の種類などを判定する。
【０１５２】
・2.3 仮定地上高毎のフローの効果
この仮定地上高毎のフローを抽出することで、同一の物体ＯＪの複数の特徴部分ＣＡを捉えて、物体ＯＪの種類や位置を判定することができる。具体的には、移動体であるか否か、四輪・二輪の別、走行車線について、より精度の高い判定をすることができる。
【０１５３】
・2.4 応用例
前方監視
カメラ１２の単体では検出した接近車の位置情報は自車ＭＴからの相対位置・相対速度しか入手できないが、車速センサー８２や操舵角センサー８４等の各種センサーを追加すると、「計測マップ３８から入手した背景の移動量」=「センサーから入手した自車ＭＴの移動量」の関係から、「自車ＭＴの移動速度」と「フロー＋計測マップ３８」の差分判定により、障害物の絶対速度を確認することもできる。
それらを応用すると前方向で前から後ろに流れる背景と、自車ＭＴより遅い速度で走る前方車両の区別をすることができる。つまり、実施例２は、自動追従・衝突判定などの用途に向けて単眼広角のカメラ１２を前方監視用のカメラ１２として使用し、判定システムを構成することができる。
【０１５４】
歪みのあるカメラ１２では、「画像中の物体ＯＪの移動がFOE（無限遠点）から発散・収縮方向の直線上を移動する」動きにならないため、従来の手法では対応できない。また、その際の画面中の移動量も、歪みによる影響のため計測できない(=車速計との対応ができない)。この点、計測マップ３８を使用すれば、歪んだ広角画像１０での物体ＯＪの相対距離・相対速度が求まるから、あとは速度計から取得した自車ＭＴの挙動を差し引きすれば、背景と接近車両の区別ができ前方監視に対応できる。
【０１５５】
コーナーリングでの車両周辺監視への応用
車速センサー８２や、操舵角センサー８４や、ナビゲーション装置８８を併用すると、絶対速度の他に接近車両と自車ＭＴについて基準点に対する絶対系での位置・移動方向・速度を推定することができる。道路情報や操舵角センサー８４による操舵始動判定などを用い、カーブの入り口手前等で基準点を設定するなどの処理により、曲がり道・コーナーリング上での接近車両の動向を判定することができる。この例では、コーナーリング中でのFOEの移動量を計算する必要はない。歪んだカメラ１２で画像中の物体ＯＪの相対距離・相対速度を求め、基準点に対する自車ＭＴの移動速度・旋回方向の合成ベクトルから背景と接近車両の区別ができ前方監視にも対応できる。
【０１５６】
従来の手法では、接近車判別・危険度予測に対し「FOEを原点とした画像中の2次元画像平面でのベクトル合成（自車ＭＴの速度や旋回に対する移動ベクトルと、背景「静止による点ベクトル」や周辺車両の移動ベクトル）を基準に処理している。しかしながら歪みのあるカメラ１２では、レンズ収差による屈折による影響により、二次元画像上でFOEを基準としたベクトルの考え方が通用しない。一方、実施例２では、計測マップ３８を用いることで、三次元空間上のベクトル合成を基本とし、歪みのあるカメラ１２でもコーナーリング中での判別処理に対応することができる。
【実施例３】
【０１５７】
＜3 歪画像補正装置＞
次に、実施例３の歪画像補正装置を開示する。図２７に示すように、歪画像補正装置は、主要な構成として、記憶部１４と、補正処理部１００とを備えている。記憶部１４は、広角レンズを有するカメラ１２の外部パラメーターｒ，ｔ及び内部パラメーターａを記憶している。この記憶部１４は、実施例１及び２と同様に、複数の座標系を定義する座標系定義１８と、各座標系の関係を表す複数の座標関係式２０と、各座標関係式の係数となる関係式パラメーター群２２とを記憶している。
実施例３では、前記座標系定義１８による座標系として、実施例１及び２と同様の前記広角画像１０の画素を単位とする二次元の画像座標系ＵＶの他、本実施例３に特有な拡大補正画像座標系と、拡大理想平面座標系と、歪曲平面座標系と、表示座標系とを有する。
【０１５８】
拡大補正画像座標系は、前記広角の程度に応じてサイズを拡大した拡大補正画像１０２を扱う。例えば、縦横の長さをそれぞれ広角画像１０の２倍のサイズとする。広角画像１０の画素数が640 x 480の場合には、拡大補正画像座標系の画素数を1280 x 960とする。この広角の程度に応じた拡大は、広角レンズ２８を使用せず同一の最大視野を線形で撮像する場合に必要となる拡大率である。
図２３に示すように、単位面積当たりの画素の大きさを同一とすると、拡大補正画像１０２のサイズは、広角画像１０よりも大きい。
【０１５９】
拡大理想平面座標系は、実施例１及び２の理想平面ＸｃｍＹｃｍと同様にイメージ・プレーンであり、前記拡大補正画像座標系と同一サイズに拡大され、前記画像座標系を歪曲のない理想的な二次元の拡大理想平面に投影した座標系である。すなわち、理想平面ＸｃｍＹｃｍのサイズを拡大した座標系である。そして、拡大補正画像座標系の座標値は、世界座標系ＸＹＺの座標値と線形に対応する。
【０１６０】
歪曲平面座標系は、実施例１及び２の歪曲平面ＸｃｄＹｃｄに対応するイメージ・プレーンであり、前記広角レンズ２８による前記広角画像の歪曲を前記拡大理想平面に投影して歪曲平面とした座標系である。拡大理想平面座標系の座標値と、歪曲平面座標系の座標値とは、座標関係式（式（２５），式（２７）等）で広角レンズ２８による歪みを補正可能である。そして、実施例３では、実施例２の表示部９０及び表示制御部９２（図１４）よりも高解像度で表示するための表示座標系を有している。
【０１６１】
そして、補正処理部１００は、カメラ１２から入力される広角画像１０の歪曲を補正する。この補正処理部１００は、主要な構成として、図２７に示すように、拡大理想平面化処理１１０と、歪曲平面化処理１１２と、拡大補正画像化処理１１４と、歪画像補正制御処理１１６とを備えている。
【０１６２】
拡大理想平面化処理１１０は、前記拡大補正画像１０２の座標値[Umaa, Vmaa]を前記拡大理想平面の座標値[Xcmaa, Ycmaa]に変換する。この拡大理想平面化処理１１０は、主に、カメラ１２の内部パラメーターａと中心位置Cxm, Cxyとによる補正をすることで（後述式（２２））、カメラ１２の広角画像１０をイメージ・プレーンである拡大理想平面に投影させる。
【０１６３】
歪曲平面化処理１１２は、前記拡大理想平面の座標値[Xcmaa, Ycmaa]を前記歪曲平面の座標値[Xcd, Ycd]に変換する。この歪曲平面化処理１１２は、主に、広角レンズ２８による歪曲を補正することで（後述式（２５），式（２７））、拡大したイメージ・プレーンにて、広角画像１０の歪みを補正する。
【０１６４】
拡大補正画像化処理１１４は、前記歪曲平面の座標値[Xcd, Ycd]を前記広角画像１０の座標値[Ud, Vd]に変換する。この拡大補正画像化処理１１４は、イメージ・プレーンで広角歪みを補正した座標値[Xcd, Ycd]を、広角画像１０の座標値[Ud, Vd]に対応付けることで（後述式（２８））、拡大した歪みのあるイメージ・プレーンの座標値[Xcd, Ycd]と、カメラ１２が撮像した広角画像１０の座標値[Ud, Vd]とを対応付ける。
【０１６５】
歪画像補正制御処理１１６は、前記拡大補正画像１０２の画素毎に、対応する前記歪曲平面の座標値[Xcd, Ycd]に応じた広角画像１０の座標値[Ud, Vd]の値を参照することで、前記拡大補正画像座標系での拡大補正画像１０２の生成を制御する。
【０１６６】
広角画像１０と拡大補正画像１０２では、図２８に示すように、画像の中心位置が異なる。広角画像１０の横方向の画素数をUdとし、拡大補正画像１０２の横方向の画素数をUmとすると、それぞれの画素中心は、次式 （２０ａ）に示す関係となる。縦方向についても、次式（２０ｂ）に示す通りである。
そして、次式（２１）の関係から、次式（２２ａ）及び（２２ｂ）を導出でき、従って、式（２２ｂ）を使用して、拡大補正画像１０２の各座標値[Umaa, Vmaa]を、拡大理想平面の座標値[Xcmaa, Ycmaa]に変換することができる。
【０１６７】
【数１４】
2010218226.tif 000016
【０１６８】
[Cxd, Cyd]：  広角画像１０の中心位置
Ud, Vd：  広角画像１０の画素数
[Cxm, Cym]：  拡大補正画像１０２の中心位置
Um, Vm：  拡大補正画像１０２の画素数
[Xcmaa, Ycmaa]：  拡大理想平面座標系（線形のイメージ・プレーン）での拡大理想平面座標値（二次元平面）
[Umaa, Vcmaa]：  拡大補正画像１０２の座標値（二次元平面）
ann：  カメラ１２の内部パラメーターで線形歪み（式（１），式（６ａ）と同一の値）
【０１６９】
式（２１）から式（２２）の内部パラメーターａは実施例１及び２での値と同一の値を使用することができる。拡大補正画像１０２の各画素[Umaa, Vmaa]は、この内部パラメーターａと補正した画像中心Cxm, Cymとにより、イメージ・プレーン上の拡大理想平面の座標値[Xcmaa, Ycmaa]へ変換することができる。式（２２ｂ）により推定したイメージ・プレーン上の座標値[Xcmaa, Ycmaa]は、式（５ｂ），式（５ｃ）により、実空間上の世界座標値[Xw, Yconst, Zw]に結像するとして取り扱うことができる。広角レンズ２８による歪みのない画像の場合、式（８ａ），式（８ｂ）のk1, k2, k3項や、式（１０ａ），式（１０ｂ）のp1, p2, p3項の値は全て０となるため、Xcm = Xcd、Ycm = Ycdとなるが、実施例３では、実施例１及び２と同様に、この広角レンズ２８による歪みを考慮しなければならない。このため、拡大理想平面座標系に対応して、歪曲平面座標系を定義し、対応付ける。
【０１７０】
そして、実施例３では、好ましくは、前記記憶部１４が、前記歪曲平面座標系と前記拡大理想平面座標系との前記座標関係式として、放射歪曲を補正する放射歪曲補正式（２５）と、対数歪曲を補正する対数歪曲補正式（２７）とを有すると良い。そして、前記歪曲平面化処理１１２が、前記拡大理想平面座標系又は前記歪曲平面座標系での予め定められた校正円Rckの内部には前記放射歪曲補正式（２５）を使用し、当該校正円Rckの外部には前記対数歪曲補正式（２７）を使用して、前記歪曲平面座標値を前記理想平面座標値に変換する拡大切替処理１１３を備えると良い。
【０１７１】
校正円Rckは、実施例３では、拡大理想平面に定義される円であり、次式（２３）で表される各座標値での直径と比較される。そして、次式群では、拡大理想平面での座標値が校正円Rcmakの内部であるか否かに応じて、放射歪曲補正式（２５）と対数歪曲補正式（２７）とを切り替える。
【０１７２】
【数１５】
2010218226.tif 000017
【０１７３】
Rcmaa:  拡大理想平面座標系の座標値[Xcmaa, Ycmaa]の半径
Rck：  拡大理想平面座標系での校正円Rck（の半径）
[Xcdaa, Ycdaa]：  歪曲平面座標系（歪みのあるイメージ・プレーン）での歪曲平面座標値（二次元平面）
kn:  拡大理想平面と歪曲平面の関係を特定するための放射歪曲補正パラメーター
pn:   拡大理想平面と歪曲平面の関係を特定するための対数歪曲補正パラメーター
[Ud, Vd]：  広角画像１０の座標値（式（１）及び式（９）等と同一）
添字Tは行列の転置を指す。
【０１７４】
式（２２ｂ）を用いて、拡大補正画像１０２の座標値を拡大理想平面の座標値に対応付けた後、式（２４）から式（２７）を用いて、この拡大理想平面の座標値に含まれている歪曲を補正する。ここでは、拡大理想平面の座標値[Xcmaa, Ycmaa]による直径が、予め定められた校正円Rckの内部であるか否かにより使用する算式を切り替える。校正円Rckの内部である場合には、放射歪曲補正式（２５）を用いる。放射歪曲補正パラメーターｋと、直径Rcmaとにより、この式（２５）により、拡大されている拡大理想平面での座標値[Xcmaa, Ycmaa]は、歪曲平面の座標値[Xcd, Ycd]に縮小されつつ、広角レンズ２８による歪みが補正される。対数歪曲補正式の対数歪曲補正パラメーターｐ（２７）についても同様の役割を果たす。
【０１７５】
式（２８）は、式（９）と同一であり、歪曲平面の座標値[Xcd, Ycd]と、広角画像１０の座標値[Ud, Vd]とを内部パラメーターａと中心位置[Cxd, Cyd]とを使用して対応付けている。
【０１７６】
図２９は、歪補正画像生成処理の一例を示すフローチャートである。
拡大理想平面化処理１１０は、記憶部１４に、歪補正画像バッファーを確保する（ステップＳ７１）。この歪補正画像バッファーは、拡大補正画像１０２と同一のサイズで領域確保する。そして、校正円Rckが入力される（ステップＳ７２）。次に、拡大理想平面化処理１１０は、拡大補正画像１０２の座標値[Umaai, Vmaai]を特定して、式（２２ｂ）を用いて、拡大理想平面の座標値[Xcmaa, Ycmaa]を特定する（ステップＳ７３）。歪曲平面化処理１１２は、拡大理想平面の座標値[Xcmaa, Ycmaa]の直径Rcmaaを算出して、校正円Rckと比較する（ステップＳ７４）。校正円Rck内であれば、放射歪曲式（２５）を用いて広角レンズ２８による歪みを補正し（ステップＳ７７）、校正円Rck内でなければ、対数歪曲補正式（２７）を用いて歪みを補正する（ステップＳ７７）。この歪みが補正された座標値は、イメージ・プレーン上の歪曲平面の座標値[Xcd, Ycd]となる。
【０１７７】
拡大補正画像処理１１４は、歪曲平面の座標値[Xcd, Ycd]に対応する広角画像１０の座標値[Ud, Vd]を式（２８）により算出する。このステップＳ７３からステップＳ７８により、拡大補正画像１０２の座標値[Umaai, Vmaaj]に対応する広角画像１０の座標値[Ud, Vd]を特定することができる（ステップＳ７９）。そして、拡大補正画像１０２の全体について、ステップＳ７３からステップＳ７９を繰り返す（ステップＳ８０，Ｓ８１，Ｓ８２，Ｓ８３）。図２８に示す例では、右側の拡大補正画像の図中左上から走査を開始して、拡大補正画像の各座標値[Umaai, Vmaai]に対応する広角画像１０の座標値[Ud, Vd]を特定し、この広角画像の座標値[Ud, Vd]の値（例えば、広角画像１０がグレースケールであれば濃度値）を読み取り、当該拡大補正画像の座標値[Umaai, Vmaai]の値とする。この広角画像１０の座標値の値を参照することで、拡大補正画像を生成する。なお、拡大補正画像の座標値からの計算上、広角画像１０の外を参照することがあり、この場合、参照を無効とし、例えば黒色とする。
【０１７８】
補正処理部１００は、生成した拡大補正画像１０２を、例えば、ドライバー用の表示部９０に表示する。広角画像１０と拡大補正画像１０２とを切替表示する際には、拡大補正画像１０２の表示は高解像度の画像として表示制御すると良い。
【０１７９】
図２７から図２９に示す手法では、拡大補正画像１０２から広角画像１０への参照にて、拡大補正画像１０２の異なる座標値から、広角画像１０の同一の座標値への参照が生ずる。この重複により、拡大補正画像１０２の精度は悪化する。
【０１８０】
また、図２７に示す例では、簡易マップ生成処理１１８を備えている。簡易マップ生成処理１１８は、拡大理想平面や歪曲平面を使用して、広角画像１０の各画素に世界座標値を対応付ける簡易な計測マップを生成する。計測マップは、広角画像１０の座標値[Ud, Vd]に、対応する世界座標値[Xw, Yconst, Zw]を対応させたテーブルである。世界座標値[Xw, Yconst, Zw]は、拡大理想平面の座標値[Xcmaa, Ycmaa]と対応するため、広角画像１０の座標値と、拡大理想平面の座標値[Xcmaa, Ycmaa]と対応させることで、簡易計測マップを生成することができる。
【０１８１】
実施例１及び２では、図５に示すように、広角画像１０の座標値[Ud, Vd]から歪曲平面の座標値[Xcd, Ycd]を特定し、式（２）又は式（３）を用いて理想平面の座標値[Xcm, Ycm]に変換し、そして式（４）を用いて世界座標値[Xwm, Ywm, Zwm]を特定する。これにより、広角画像１０の座標値[Ud, Vd]毎の世界座標値[Xwm, Yconst, Zwm]を求めて計測マップとする。
【０１８２】
実施例３では、図２９に示す手順で求めた拡大補正画像１０２の座標値[Umaa, Vmaa]又は拡大理想平面の座標値[Xcmaa, Ycmaa]から世界座標値[Xwm, Yconst, Zwm]を求めて簡易計測マップとする。拡大補正画像１０２は、線形であり、世界座標値[Xwm, Yconst, Zwm]と一対一で対応している。しかし、拡大補正画像１０２には参照対象が重複した座標値があり、この誤差が世界座標値の誤差となる。
【０１８３】
このように、広角画像１０と拡大補正画像１０２の画像サイズの相違分、データの隙間となる画素抜けが生ずるか、重複が生ずる。そして、図２９等に示す手順によると、重複は生ずるが、バイリニア補完等の画素抜けによる虫食い箇所の穴埋め対策をしなくとも、虫食い画像とはならない。
【０１８４】
そして、広角画像１０の座標値は整数値である一方、拡大補正画像１０２をイメージ・プレーンに投影した拡大理想平面及び歪曲平面の座標値は実数値である。このため、歪曲平面の座標値[Xcd, Ycd]から広角画像１０の座標値[Ud, Vd]を参照すると、実数から整数への丸め誤差が生ずる。これによっても、拡大補正画像１０２での重複が生ずる。
【０１８５】
実施例１では、広角画像１０の整数の座標値から出発して計測マップを生成する手法では、整数への丸めが生ぜず、精度の高い計測マップを作成することができる。
【０１８６】
図３０は、仮定地上高Yconst=345[mm]とした簡易マップの一例を示す図で、図３０（Ａ）は重複部分を示し、図３０（Ｂ）は簡易Xmapの誤差を示し、図３０（Ｃ）は簡易Zmapの誤差を示す。図３１は、仮定地上高Yconst=0とした簡易マップの一例を示す図で、図３１（Ａ）は重複部分を示し、図３１（Ｂ）は簡易Xmapの誤差を示し、図３１（Ｃ）は簡易Zmapの誤差を示す。図３０及び図３１では、背景の白色は計測範囲外であり、重複数が多いほど濃い黒色に表現している。
図３２（Ａ）から（Ｅ）は図３０（Ａ）に示す重複部分を重複数に応じて個別に表示した一例を示す。背景のグレーは計測対象外である。図３２に示す例では、各図によって白色部分の重複回数が異なる。
【０１８７】
図３０（Ａ）の重複部分を説明する。図３２（Ａ）に示す白色部分は、重複回数が０で精度の高い部分である。図３２（Ｂ）に示す白色部分は、重複回数が１回で、図３２（Ｃ）に示す白色部分は、重複回数が２回で、図３３（Ｄ）に示す白色部分は重複回数が３回で、図３２（Ｅ）に示す白色部分は重複回数が４回以上である。このように、広角レンズによる歪みが大きくなる外側につれて、重複の回数が増加する。
【０１８８】
図３０（Ａ）と比較すると、図３０（Ｂ）及び（Ｃ）に示す簡易な計測マップでは、濃度が薄くなる外側に向けて世界座標系の測定精度が低下してしまう。図３１に示す路面上（Yconst=0）とする計測マップについても同様である。
しかしながら、本手法によると重複参照点の少ない比較的近距離を対象とした計測マップを、歪み補正装置作成手段等の従来の計算法により実施例1の手段に比べ容易に作成することが可能である。例えば、駐車支援用のカメラは自車の下方足元が画面中央に位置する方向で車両に固定されている。このような構成下のシステムに対し、走行中の自車両について足元の左右白線を2値化等の画像処理により求め、画像平面上の検出点座標をYconst=0の位置における簡易計測マップから実空間座標に変換することで、自車が走行車線中央付近を走行しているか確認することが可能となり、走行車線の逸脱警報装置開発などに応用することができる。この場合、検出エリアを簡易計測マップ重複点の少ない範囲に限定することで、検出対象外となる他白線、背景や後続車両等の障害物を同時に画像から除外することができる。よって、足元の左右両白線の検出作業に関わるこれら他障害物の影響を回避することが可能となり、検出効果も同時に向上することができる。
したがって、実空間上で広範囲の対象を検出する場合には実施例1、比較的近距離の対象を検出する場合には実施例3に従った計測マップ作成方法を採用することで、効率的な装置開発を行うことができる。
【符号の説明】
【０１８９】
１０  広角画像
１２  カメラ
１４  記憶部
１６  生成処理部
２８  広角レンズ
３０  歪曲平面化処理
３２  理想平面化処理
３４  世界座標化処理
３６  マップ生成処理
３８  計測マップ
３８Ａ  Ｘ計測マップ
３８Ｂ  Ｚ計測マップ
４０  仮定地上高処理
４２  切替処理
４４  測定枠
４６  測定枠処理
４８  地上高上限
５０  全体計測マップ
５２  測定枠計測マップ
６０  確認処理部
６２  追跡処理
６４  位置参照処理
６６  有効フロー抽出処理
６８  速度範囲
７０  テンプレート
７２  グループ化処理
７４  判定処理
【図１】
2010218226.tif 000018
【図２】
2010218226.tif 000019
【図３】
2010218226.tif 000020
【図４】
2010218226.tif 000021
【図５】
2010218226.tif 000022
【図６】
2010218226.tif 000023
【図８】
2010218226.tif 000024
【図９】
2010218226.tif 000025
【図１３】
2010218226.tif 000026
【図１４】
2010218226.tif 000027
【図１５】
2010218226.tif 000028
【図２１】
2010218226.tif 000029
【図２２】
2010218226.tif 000030
【図２４】
2010218226.tif 000031
【図２５】
2010218226.tif 000032
【図２７】
2010218226.tif 000033
【図２９】
2010218226.tif 000034
【図７】
2010218226.tif 000035
【図１０】
2010218226.tif 000036
【図１１】
2010218226.tif 000037
【図１２】
2010218226.tif 000038
【図１６】
2010218226.tif 000039
【図１７】
2010218226.tif 000040
【図１８】
2010218226.tif 000041
【図１９】
2010218226.tif 000042
【図２０】
2010218226.tif 000043
【図２３】
2010218226.tif 000044
【図２６】
2010218226.tif 000045
【図２８】
2010218226.tif 000046
【図３０】
2010218226.tif 000047
【図３１】
2010218226.tif 000048
【図３２】
2010218226.tif 000049