(57)【要約】【課題】旋回を含む移動をしながら、時系列的に異なるタイミングで撮影された２つの画像に、左右方向に繰り返す形状となる静止立体物の被写体が存在していても、これらの被写体の現実の位置を精度よく求める。【解決手段】カメラＥＣＵ３０（静止立体物検出装置）は、車載カメラ１０によって撮影された２つの画像の間で対応する特徴点を抽出し、特徴点の各画像における座標位置を特定する特徴点追跡部６０と、車載カメラ１０の動きを求めるカメラ運動検出部５０と、特徴点の座標位置及び車載カメラ１０の動きに基づいて、特徴点の現実の三次元空間における位置を求める特徴点位置算出部７０と、を備え、特徴点追跡部６０は、後の画像である第２の画像を、車載カメラ１０の旋回の動きが無かったと仮定したときに得られるべき旋回相殺画像に変換する画像差分相殺部６１（旋回相殺画像変換部）を備える。【選択図】図１
2019174892.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラによって時系列的に前後する少なくとも２つのタイミングで撮影して得られた２つの画像の間で、前記２つの画像にそれぞれ含まれた特徴点を抽出し、前記特徴点のうち前記２つの画像の間で対応する特徴点同士の、各前記画像における座標位置を特定する特徴点追跡部と、
前記２つのタイミングの間で検出された前記車載カメラの動きを求めるカメラ運動検出部と、
前記特徴点追跡部により特定された前記２つの画像における前記特徴点の前記座標位置及び前記カメラ運動検出部により検出された前記車載カメラの動きに基づいて、前記特徴点の現実の空間における位置を求める特徴点位置算出部と、を備え、
前記特徴点追跡部は、前記２つの画像のうち時系列的に後のタイミングで撮影して得られた画像である第２の画像を、前記カメラ運動検出部が検出した前記車載カメラの旋回の動きが無かったと仮定したときに得られるべき画像である第２の旋回相殺画像に変換する旋回相殺画像変換部を備え、
前記特徴点追跡部は、前記２つの画像のうち時系列的に先のタイミングで撮影して得られた画像である第１の画像と前記第２の旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の画像における座標位置と前記第２の画像における座標位置を特定する静止立体物検出装置。
【請求項２】
前記第１の画像及び前記第２の画像をそれぞれ、前記車載カメラを通る鉛直方向に延びた鉛直軸を中心とした円筒の周面に投影した画像である円筒型歪補正画像に変換する画像幾何変換部を備え、
前記旋回相殺画像変換部は、前記第２の画像が前記画像幾何変換部により変換された後の第２の円筒型歪補正画像を、前記車載カメラの前記旋回による向きの変化分に対応した左右方向へ平行移動することにより、前記第２の円筒型歪補正画像を、前記旋回の動きが無かったと仮定したときに得られるべき画像である前記第２の旋回相殺画像に変換し、
前記特徴点追跡部は、前記第１の画像が前記画像幾何変換部により変換された後の第１の円筒型歪補正画像と前記第２の旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の円筒型歪補正画像における座標位置と前記第２の円筒型歪補正画像における座標位置を特定する請求項１に記載の静止立体物検出装置。
【請求項３】
前記特徴点追跡部は、前記特徴点をオプティカルフローとして特定する請求項１又は２に記載の静止立体物検出装置。
【請求項４】
カメラ運動検出部は、前記車載カメラが搭載された車両の動きを求めることにより、前記車載カメラの動きを求める請求項１から３のうちいずれか１項に記載の静止立体物検出装置。
【請求項５】
車載カメラによって時系列的に前後する２つのタイミングで撮影して得られた少なくとも２つの画像の間で、前記２つの画像にそれぞれ含まれた特徴点を抽出し、前記特徴点のうち前記２つの画像の間で対応する特徴点同士の、各前記画像における座標位置を特定し、
前記２つのタイミングの間で検出された前記車載カメラの動きを求め、
特定された前記２つの画像における前記特徴点の前記座標位置及び前記カメラ運動検出部により検出された前記車載カメラの動きに基づいて、前記特徴点の現実の空間における位置を求めるに際して、
前記２つの画像のうち時系列的に後のタイミングで撮影して得られた画像である第２の画像を、検出した前記車載カメラの旋回の動きが無かったと仮定したときに得られるべき画像である第２の旋回相殺画像に変換し、
前記２つの画像のうち時系列的に前のタイミングで撮影して得られた画像である第１の画像と前記第２の旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の画像における座標位置と前記第２の画像における座標位置を特定する静止立体物検出方法。
【請求項６】
前記第１の画像及び前記第２の画像をそれぞれ、前記車載カメラを通る鉛直方向に延びた鉛直軸を中心とした円筒の周面に投影した画像である円筒型歪補正画像に変換し、
前記第２の画像が円筒型歪補正画像に変換された第２の円筒型歪補正画像を、前記車載カメラの前記旋回による向きの変化分に対応した左右方向へ平行移動することにより、前記第２の円筒型歪補正画像を、前記旋回の動きが無かったと仮定したときに得られるべき画像である前記第２の旋回相殺画像に変換し、
前記第１の画像が円筒型歪補正画像に変換された第１の円筒型歪補正画像と前記第２の旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の円筒型歪補正画像における座標位置と前記第２の円筒型歪補正画像における座標位置を特定する請求項５に記載の静止立体物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止立体物検出装置及び静止立体物検出方法に関する。
【背景技術】
【０００２】
近年、車両にカメラを搭載し、カメラで撮影された画像に基づいて、車両の運転に役立つ種々の情報を取得することが行なわれている。例えば、異なる時刻に撮影された２枚の画像（第１の画像、第２の画像）間での、それらの画像にそれぞれ写った同一対象物の座標位置の変化をベクトルデータ（オプティカルフロー）で表すことが行なわれている（例えば、特許文献１参照）。このオプティカルフローを用いると、その対象物が動いているのか、又は静止しているのかの別を検出することもできる。
【０００３】
また、自車が動いているときは、静止立体物についても自車と相対的な位置関係が変るためオプティカルフローが生じる。そして、第１の画像と第２の画像とで同一対象物として検出された画像部分における座標位置と、その間の自車の現実の移動距離とに基づいて、三角測量の原理により、静止立体物の現実の位置を特定することもできる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−０９２９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、自車の動きが旋回を含んでいるとき、遠方にある背景が、実際の距離よりも近い距離で検出されてしまうことがある。例えば、遠方にある背景が、ビルの窓のように同じ形状（模様）が左右方向に繰り返されているような場合である。
【０００６】
オプティカルフローの勾配法では、時系列的に異なるタイミングで得られた複数の画像において、同一の対象物（窓）を追跡（トラッキング）して検知しなければならないが、特徴点を含む比較的小さい領域をグルーピングし、特徴点の座標位置を中心とした所定範囲でマッチング処理するため、動きの少ない対象物を優先的に検知する特性があり、本来検知すべき同一の対象物ではなく、より動きの少ない隣接した別の対象物（窓）を同一対象物として誤って検知してしまうことがある。
【０００７】
このような問題は、画像処理において、画像全体を認識して端から何個目の窓であるかといった判断を行うことで防ぐことはできるが、画像全体でそのような認識をするのは、処理時間等の処理コストとの兼ね合いで難しい。
【０００８】
前述したオプティカルフローの勾配法により、静止立体物が正規の位置よりも近い位置として検出されると、例えば、車載カメラの画像に基づいて駐車場の空きスペースを自動的に探す処理等の際に、本来は障害物の無い駐車枠（空きスペース）であるにも拘わらず、近い位置として検出された窓がその空きスペースに存在しているかのように誤って判定されて、そこが空きスペースでないと誤判定される事態が生じ得る。
【０００９】
本発明は上記事情に鑑みなされたものであって、自車が旋回を含む移動をしながら、時系列的に異なるタイミングで撮影された２つの画像に、左右方向に繰り返す形状となる静止立体物の被写体が存在していても、これらの被写体の現実の位置を精度よく求めることができる静止立体物検出装置及び静止立体物検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１は、車載カメラによって時系列的に前後する少なくとも２つのタイミングで撮影して得られた２つの画像の間で、前記２つの画像にそれぞれ含まれた特徴点を抽出し、前記特徴点のうち前記２つの画像の間で対応する特徴点同士の、各前記画像における座標位置を特定する特徴点追跡部と、前記２つのタイミングの間で検出された前記車載カメラの動きを求めるカメラ運動検出部と、前記特徴点追跡部により特定された前記２つの画像における前記特徴点の前記座標位置及び前記カメラ運動検出部により検出された前記車載カメラの動きに基づいて、前記特徴点の現実の空間における位置を求める特徴点位置算出部と、を備え、前記特徴点追跡部は、前記２つの画像のうち時系列的に後のタイミングで撮影して得られた画像である第２の画像を、前記カメラ運動検出部が検出した前記車載カメラの旋回の動きが無かったと仮定したときに得られるべき画像である旋回相殺画像に変換する旋回相殺画像変換部を備え、前記特徴点追跡部は、前記２つの画像のうち時系列的に前のタイミングで撮影して得られた画像である第１の画像と前記旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の画像における座標位置と前記第２の画像における座標位置を特定する静止立体物検出装置である。
【００１１】
本発明の第２は、車載カメラによって時系列的に前後する少なくとも２つのタイミングで撮影して得られた２つの画像の間で、前記２つの画像にそれぞれ含まれた特徴点を抽出し、前記特徴点のうち前記２つの画像の間で対応する特徴点同士の、各前記画像における座標位置を特定し、前記２つのタイミングの間で検出された前記車載カメラの動きを求め、特定された前記２つの画像における前記特徴点の前記座標位置及び前記カメラ運動検出部により検出された前記車載カメラの動きに基づいて、前記特徴点の現実の空間における位置を求めるに際して、前記２つの画像のうち時系列的に後のタイミングで撮影して得られた画像である第２の画像を、検出した前記車載カメラの旋回の動きが無かったと仮定したときに得られるべき画像である旋回相殺画像に変換し、前記２つの画像のうち時系列的に前のタイミングで撮影して得られた画像である第１の画像と前記旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の画像における座標位置と前記第２の画像における座標位置を特定する静止立体物検出方法である。
【発明の効果】
【００１２】
本発明に係る静止立体物検出装置及び静止立体物検出方法によれば、自車が旋回を含む移動をしながら、時系列的に異なるタイミングで撮影された２つの画像に、左右方向に繰り返す形状となる被写体が存在していても、これらの被写体の現実の位置を精度よく求めることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る静止立体物検出装置の一例であるカメラＥＣＵ（Electronic Control Unit）を含む自動運転支援システムを示すブロック図である。
【図２Ａ】車載カメラにより撮影された広角画像の一例を示す図である。
【図２Ｂ】図２Ａの広角画像を座標変換した後の円筒型歪補正画像ＰＢを示す図である。
【図２Ｃ】円筒型歪補正画像を説明する図である。
【図３】自車２００と被写体である建物を示す模式図である。
【図４Ａ】時刻ｔ１に撮影された第１の広角画像を座標変換した第１の円筒型歪補正画像を示す図である。
【図４Ｂ】時刻ｔ２に撮影された第２の広角画像を座標変換した第２の円筒型歪補正画像を示す図である。
【図５】上側に第２の円筒型歪補正画像、下側に第２の旋回相殺画像をそれぞれ表示した図である。
【図６Ａ】第１の円筒型歪補正画像の一部を拡大した図である。
【図６Ｂ】第２の旋回相殺画像の一部（図６Ａに示した第１の円筒型歪補正画像の一部と同じ座標位置の範囲）を拡大した図である。
【図６Ｃ】第２の円筒型歪補正画像の一部（図６Ａに示した第１の円筒型歪補正画像の一部と同じ座標位置の範囲）を拡大した図である。
【図７】第１の円筒型歪補正画像における座標位置と第２の円筒型歪補正画像における座標位置と、その間（時刻ｔ１から時刻ｔ２の間）に自車が移動した位置（時刻ｔ１における車載カメラの位置と時刻ｔ２における車載カメラの位置との差分）との関係を示す模式図である。
【図８】自動運転支援システムにおけるカメラＥＣＵの処理の流れを示すフローチャートである。
【図９】比較例による、図７相当の模式図である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る静止立体物検出装置及び静止立体物検出方法の具体的な実施の形態について、図面を参照して説明する。
【００１５】
＜自動運転支援システムの構成＞
図１は、本発明に係る静止立体物検出装置の一例であるカメラＥＣＵ（Electronic Control Unit）３０を含む自動運転支援システムを示すブロック図である。図１に示した自動運転支援システムは、車両２００（以下、自車２００という）に搭載された車載カメラ１０、自車２００における車載ネットワークであるＣＡＮ（Controller Area Network）２０及びカメラＥＣＵ３０と、を備えている。
【００１６】
図２Ａは車載カメラ１０により撮影された広角画像ＰＡの一例を示す図であり、図２Ｂは図２Ａの広角画像ＰＡを座標変換した後の円筒型歪補正画像ＰＢを示す図である。車載カメラ１０は、例えば、自車２００の前部に設置されて自車２００の前方を被写体として撮影する前部カメラ、自車２００の後部に設置されて自車２００の後方を被写体として撮影する後部カメラ、自車２００の右側部に設置されて自車２００の右側方を被写体として撮影する右側部カメラ、自車２００の左側部に設置されて自車２００の左側方を被写体として撮影する左側部カメラと、を備えている。
【００１７】
車載カメラ１０は、広い範囲を撮影するために、広い画角の広角レンズを備えていて、例えば図２Ａに示した広角画像ＰＡを撮影する。車載カメラ１０は、例えば５００［ｍｓｅｃ］の周期で間欠的に撮影を行う。この周期は例示に過ぎず、５００［ｍｓｅｃ］よりも短い周期で撮影してもよい。また、車載カメラ１０は、少なくとも前部カメラを備えたものであればよく、他のカメラ（後部カメラ、右側部カメラ、左側部カメラ）を備えたものでなくてもよい。
【００１８】
ＣＡＮ２０は、カメラＥＣＵ３０の他に、エンジンＥＣＵ等他のＥＣＵと接続されていて、これら接続されたカメラＥＣＵ３０及び他のＥＣＵの間で、自車２００の種々の情報を共有している。自動運転支援システムにおいては、自車２００の車輪の単位時間当たりの回転数（移動距離）と、ステアリングホイールの操舵角度（に対応した自車２００の旋回角度）とが、ＣＡＮ２０を通じてカメラＥＣＵ３０に入力される。
【００１９】
＜カメラＥＣＵ（静止立体物検出装置）の構成＞
カメラＥＣＵ３０は、車載カメラ１０と接続され、画像幾何変換部４０と、カメラ運動検出部５０と、特徴点追跡部６０と、特徴点位置算出部７０と、を備えている。
【００２０】
カメラ運動検出部５０は、ＣＡＮ２０を通じて入力された情報（自車２００の車輪の単位時間当たりの回転数（移動距離）及びステアリングホイールの操舵角度（に対応した自車２００の旋回角度））に基づいて、自車２００の位置及び向きを算出し、算出された自車２００の位置及び向きを、車載カメラ１０の運動として検出する。
【００２１】
なお、本実施形態におけるカメラ運動検出部５０は、特定のタイミング（例えば、時系列的に先の画像を（第１の広角画像ＰＡ１）を撮影したタイミング（時刻ｔ１））における自車２００の位置及び向きを基準として、その後の別の特定のタイミング（第２の広角画像ＰＡ２を撮影したタイミング（時刻ｔ２））における自車２００の位置及び向きを、基準の位置及び基準の向きからの位置の変化量及び向きの変化量（旋回角度）により算出する。
【００２２】
画像幾何変換部４０は、車載カメラ１０から入力された、図２Ａに示した各車載カメラ１０で撮影された広い画角の画像（広角画像）ＰＡを、図２Ｂに示した円筒型歪補正画像ＰＢに変換する。
【００２３】
ここで、広角画像ＰＡは、現実の三次元空間において、鉛直方向（上下方向）に延びた被写体は、画角の中央（横方向の中央）付近では縦方向（上下方向）に延びた画像として表現されるが、画角の端（横方向の端）に近くなるにしたがって、その端に近い被写体の画像は、縦方向に対して傾いた画像として表現される。
【００２４】
一方、円筒型歪補正画像ＰＢは、図２Ｃに示す、その車載カメラ１０を通る鉛直方向に延びた鉛直軸Ｃを中心とした円筒の周面のスクリーンＳｃに投影した画像であり、被写体である現実の三次元空間において、鉛直方向（上下方向）に延びた被写体は、縦方向（図２に示すｙ軸に沿った方向）から傾くことなく縦方向に延びた画像として表現される。また、円筒型歪補正画像ＰＢは、横方向（図２に示すｘ軸に沿った方向）の長さＬ（又は画素数Ｎ）と鉛直軸Ｃ回りの角度とが正比例した画像となっている。なお、鉛直軸Ｃ回りの角度は、自車２００の旋回角度θに一致する。
【００２５】
特徴点追跡部６０には、車載カメラ１０によって時系列的に異なる２つのタイミング（時刻ｔ１，ｔ２）で撮影して得られた２つの広角画像（時系列的に先のタイミング（時刻ｔ１）で撮影された第１の広角画像ＰＡ１が画像幾何変換部４０で変換された後の第１の円筒型歪補正画像ＰＢ１と、第１の広角画像ＰＡ１よりも時系列的に後のタイミング（時刻ｔ２（第１の広角画像ＰＡ１が撮影されてから、例えば５００［ｍｓｅｃ］後））で撮影された第２の広角画像ＰＡ２が画像幾何変換部４０で変換された第２の円筒型歪補正画像ＰＢ２が入力される。
【００２６】
そして、特徴点追跡部６０は、２つの円筒型歪補正画像ＰＢ１，ＰＢ２にそれぞれ含まれた、対応する特徴点を抽出して特定する。特徴点の特定は、第１の円筒型歪補正画像ＰＢ１における特徴点の座標位置（ｘ１，ｙ１）と、第２の円筒型歪補正画像ＰＢ２における特徴点の座標位置（ｘ２，ｙ２）とを求めることで行われる。
【００２７】
図３は自車２００と被写体である建物３００（静止立体物の一例）を示す模式図である。本実施形態の特徴点追跡部６０は、第１の円筒型歪補正画像ＰＢ１において背景として含まれている特徴点の一例として、図３に示す建物３００の窓３１０のコーナ部ｐｃを抽出して、そのコーナ部ｐｃを第２の円筒型歪補正画像ＰＢ２において特定する。
【００２８】
図４Ａは時刻ｔ１に撮影された第１の広角画像ＰＡ１を座標変換した第１の円筒型歪補正画像ＰＢ１を示す図であり、図４Ｂは時刻ｔ２に撮影された第２の広角画像ＰＡ２を座標変換した第２の円筒型歪補正画像ＰＢ２を示す図である。また、図５は上側に第２の円筒型歪補正画像ＰＢ２、下側に第２の旋回相殺画像ＰＢ２′をそれぞれ表示した図である。
【００２９】
特徴点追跡部６０は、画像差分相殺部６１（旋回相殺画像変換部の一例）と、特徴点抽出部６２と、追跡処理部６３と、を備えている。画像差分相殺部６１は、カメラ運動検出部５０が車載カメラ１０の動きとして旋回を検出したとき（図３において自車２００が二点鎖線で示す旋回角度θで旋回した姿勢のとき）は、第２の円筒型歪補正画像ＰＢ２（図４Ｂ及び図５の上側の図）を、車載カメラ１０の旋回の動きが無かったと仮定したとき（図３において自車２００が実線で示す姿勢のとき）に得られるべき画像である第２の旋回相殺画像ＰＢ２′（図５の下側の図）に変換する。
【００３０】
具体的には、画像差分相殺部６１は、第１の広角画像ＰＡ１が撮影されたタイミング（時刻ｔ１）から第２の広角画像ＰＡ２が撮影されたタイミング（時刻ｔ２）の間にカメラ運動検出部５０が車載カメラ１０の動き（自車２００の動きと同じ）として旋回を検出したときは、第２の円筒型歪補正画像ＰＢ２の全体を、自車２００の旋回角度θと同じ角度だけ鉛直軸Ｃ回りに、自車２００の旋回方向と同じ向きに回転させる変換を行って第２の旋回相殺画像ＰＢ２′を得る。
【００３１】
第２の旋回相殺画像ＰＢ２′は、車載カメラ１０の旋回の動きが無かったと仮定したときに得られるべき画像であるから、第２の旋回相殺画像ＰＢ２′は、自車２００の旋回によって生じる第２の円筒型歪補正画像ＰＢ２における背景の動きを無かったものとする（相殺する）ことができる。
【００３２】
つまり、第１の広角画像ＰＡ１が撮影されたタイミング（時刻ｔ１）から第２の広角画像ＰＡ２が撮影されたタイミング（時刻ｔ２）の間に自車２００が旋回していると、その旋回角度θに対応した分だけ、第２の円筒型歪補正画像ＰＢ２の全体が第１の円筒型歪補正画像ＰＢ１に対してずれた画像となるが、ずれた第２の円筒型歪補正画像ＰＢ２をこのまま用いて、特徴点であるコーナ部ｐｃの追跡をオプティカルフローの勾配法で実行すると、不都合を生じる恐れがある。そこで、画像差分相殺部６１は、オプティカルフローの勾配法を実行して対応する特徴点を精度よく特定する処理において、自車２００の旋回による第２の円筒型歪補正画像ＰＢ２のずれを無くすように、第２の円筒型歪補正画像ＰＢ２に対して自車２００の旋回の動きに対応した相殺の処理を行う。
【００３３】
第２の円筒型歪補正画像ＰＢ２は、鉛直軸Ｃ回りの角度と第２の円筒型歪補正画像ＰＢ２の横方向の長さとが正比例の関係にあるため、第２の円筒型歪補正画像ＰＢ２を鉛直軸Ｃ回りに角度θ［度］だけ回転させる変換は、第２の円筒型歪補正画像ＰＢ２を、その旋回角度θ［度］に正比例した長さＬ（又は画素数Ｎに画素間隔の寸法を乗じた長さ）だけ横方向（−ｘ方向）に平行移動する変換（座標位置（ｘ２−Ｌ，ｙ２））で処理することができる。したがって、画像差分相殺部６１による、自車２００の旋回によって生じる第２の円筒型歪補正画像ＰＢ２における背景の変化の相殺の演算処理の負荷を軽減することができる。
【００３４】
特徴点抽出部６２は、第１の円筒型歪補正画像ＰＢ１（図６Ａ参照）と、第２の円筒型歪補正画像ＰＢ２（図６Ｃ参照）を画像差分相殺部６１で変換処理（自車２００の旋回による背景の変化を無くした相殺処理）した後の画像ＰＢ２′（以下、第２の旋回相殺画像ＰＢ２′という。図６Ｂ参照）と、について、特徴点であるコーナ部ｐｃをそれぞれ抽出する。
【００３５】
コーナ部ｐｃの抽出は、例えば、公知の「ハリスのコーナ検出の手法（Harris corner detector）」を適用することができる。ハリスのコーナ検出の手法は、簡単には、画像をラスタスキャンして、画像の局所における縦方向の勾配の値と横方向の勾配の値との総和が、予め設定された閾値を超えた座標位置の部分を、画像のコーナとして検出するものである。
【００３６】
追跡処理部６３は、特徴点抽出部６２により抽出された第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃと、特徴点抽出部６２により抽出された第２の旋回相殺画像ＰＢ２′におけるコーナ部ｐｃとの対応関係をオプティカルフローの勾配法により求める。すなわち、第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃを含む局所画像のテンプレートＴを設定し、第２の旋回相殺画像ＰＢ２′において、このテンプレートＴと類似度の高い局所画像を（テンプレートＴ）を探索して、その類似度の高いテンプレートＴにおけるコーナ部ｐｃを特定する。つまり、同一の被写体（例えば、窓３１０ｅ）に対応した第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃと第２の旋回相殺画像ＰＢ２′におけるコーナ部ｐｃとを特定する。
【００３７】
追跡処理部６３は、第１の円筒型歪補正画像ＰＢ１と第２の旋回相殺画像ＰＢ２′とにおいて対応関係が特定された２つのコーナ部ｐｃについて、その動きを追跡する際は、第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃの座標位置（ｘ１，ｙ１）と、旋回分の相殺前の第２の円筒型歪補正画像ＰＢ２におけるコーナ部ｐｃの座標位置（ｘ２，ｙ２）とで、コーナ部ｐｃの動きを特定する。
【００３８】
具体的には、第１の円筒型歪補正画像ＰＢ１（座標値（ｘ１，ｙ１））と第２の旋回相殺画像ＰＢ２′（座標値（ｘ２−Ｌ，ｙ２））との間で対応関係を特定した際に算出されたオプティカルフローのｘ方向成分について、旋回分の相殺の際に減算した長さＬだけ加算する。
【００３９】
特徴点位置算出部７０は、図７に示すように、同一被写体として対応関係がある窓３１０ｅのコーナ部ｐｃの現実の三次元空間における位置を、第１の円筒型歪補正画像ＰＢ１における座標位置と第２の円筒型歪補正画像ＰＢ２における座標位置と、その間（時刻ｔ１から時刻ｔ２の間）に自車２００が移動した位置（時刻ｔ１における車載カメラ１０（ｔ１）の位置と時刻ｔ２における車載カメラ１０（ｔ２）の位置との差分）とに基づいて、三角測量の原理により算出する。
【００４０】
＜カメラＥＣＵの動作＞
次に、自動運転支援システムにおけるカメラＥＣＵ３０の動作（本発明に係る静止物体検出方法の一例）について説明する。
【００４１】
図６Ａは第１の円筒型歪補正画像ＰＢ１の一部を拡大した図であり、図６Ｂは第２の旋回相殺画像ＰＢ２′の一部（図６Ａに示した第１の円筒型歪補正画像ＰＢ１の一部と同じ座標位置の範囲）を拡大した図であり、図６Ｃは第２の円筒型歪補正画像ＰＢ２の一部（図６Ａに示した第１の円筒型歪補正画像ＰＢ１の一部と同じ座標位置の範囲）を拡大した図である。
【００４２】
図７は第１の円筒型歪補正画像ＰＢ１における座標位置と第２の円筒型歪補正画像ＰＢ２における座標位置と、その間（時刻ｔ１から時刻ｔ２の間）に自車２００が移動した位置（時刻ｔ１における車載カメラ１０（ｔ１）の位置と時刻ｔ２における車載カメラ１０（ｔ２）の位置との差分）との関係を示す模式図、図８は、自動運転支援システムにおけるカメラＥＣＵ３０の処理の流れを示すフローチャートである。
【００４３】
カメラＥＣＵ３０には、自車２００の車載カメラ１０から自車２００の前方の広角画像ＰＡが入力され、また、ＣＡＮ２０を通じて自車２００の情報が入力されている。カメラＥＣＵ３０の画像幾何変換部４０は、車載カメラ１０が撮影した例えば図２Ａに示す広角画像ＰＡを、図２Ｃに示す車載カメラ１０を通る鉛直方向に延びた鉛直軸Ｃを中心とした円筒の周面のスクリーンＳｃに投影した画像である円筒型歪補正画像ＰＢ（図２Ｂ参照）に変換する。また、カメラＥＣＵ３０のカメラ運動検出部５０は、入力された車両の情報に基づいて、自車の位置や向き等を検出する。
【００４４】
自車２００が、例えば図３の実線で示す姿勢のときのタイミング（時刻ｔ１）で第１の広角画像ＰＡ１が撮影され、その後の例えば図３の二点鎖線で示す姿勢のときのタイミング（時刻ｔ２）で第２の広角画像ＰＡ２が撮影されている、なお、各広角画像ＰＡ１、ＰＡ２には、略同じ輪郭形状を有する複数の窓３１０（窓３１０ａ，３１０ｂ，…）が左右方向に繰り返すように並んで設けられている。
【００４５】
画像幾何変換部４０は、第１の広角画像ＰＡ１を第１の円筒型歪補正画像ＰＢ１（図４Ａ）に変換し、第２の広角画像ＰＡ２を第２の円筒型歪補正画像ＰＢ２（図４Ｂ）に変換する（図８のＳ１）。
【００４６】
続いて、特徴点追跡部６０の画像差分相殺部６１が、カメラ運動検出部５０によって時刻ｔ１から時刻ｔ２の間に自車２００に動きが検出される（Ｓ２）。そして、画像差分相殺部６１は、その動きに旋回の動きが含まれているときは、その時刻ｔ２に対応した第２の円筒型歪補正画像ＰＢ２について、その旋回による向きの変化分（旋回角度θ）に対応した長さＬだけ、左方向へ平行移動することにより、第２の円筒型歪補正画像ＰＢ２を、その旋回の動きが無かったと仮定したときに得られるべき画像である第２の旋回相殺画像ＰＢ２′（図５の下側の図）に変換する（図８のＳ３）。
【００４７】
特徴点抽出部６２は、第１の円筒型歪補正画像ＰＢ１（図６Ａ）と、第２の旋回相殺画像ＰＢ２′（図６Ｂ）とについて、それぞれ特徴点の一例であるコーナ部ｐｃをそれぞれ抽出する（図８のＳ４）。
【００４８】
次いで、追跡処理部６３は、特徴点抽出部６２により抽出された第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃと、特徴点抽出部６２により抽出された第２の旋回相殺画像ＰＢ２′におけるコーナ部ｐｃとの対応関係（同一被写体に対応したコーナ部ｐｃ）をオプティカルフローの勾配法により求める。
【００４９】
さらに、追跡処理部６３は、第１の円筒型歪補正画像ＰＢ１と第２の旋回相殺画像ＰＢ２′とにおいて対応関係が特定された２つのコーナ部ｐｃについて、その動きを追跡する際は、第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃの座標位置（ｘ１，ｙ１）と、画像差分相殺部６１による旋回分の相殺前の第２の円筒型歪補正画像ＰＢ２におけるコーナ部ｐｃの座標位置（ｘ２，ｙ２）とで、コーナ部ｐｃの動きを特定する（図８のＳ４）。
【００５０】
特徴点位置算出部７０は、図７に示すように、第１の円筒型歪補正画像ＰＢ１における座標位置と第２の円筒型歪補正画像ＰＢ２における座標位置と、その間（時刻ｔ１から時刻ｔ２の間）に自車２００が移動した位置（時刻ｔ１における車載カメラ１０（ｔ１）の位置と時刻ｔ２における車載カメラ１０（ｔ２）の位置との差分）とに基づいて、同一被写体として対応関係がある窓３１０ｅのコーナ部ｐｃの現実の三次元空間における位置を、三角測量の原理により算出する（図８のＳ５）。
【００５１】
以上、詳細に説明したように、本実施形態のカメラＥＣＵ３０は、自車２００が旋回を含む移動をしながら、時系列的に異なるタイミングで撮影された２つの広角画像ＰＡ１，ＰＡ２の背景として、現実の三次元空間において左右方向に繰り返す形状となる静止立体物の被写体（窓３１０等）が存在していても、これらの被写体の現実の位置を精度よく求めることができる。
【００５２】
図９は本発明の静止立体物検出装置、静止立体物検出方法が適用されない比較例による、図７相当の模式図である。上述した本発明の実施形態に対して、本発明が適用されない比較例によれば、画像差分相殺部６１が存在しないため、画像差分相殺部６１によるに相殺処理が行われない。この結果、比較例の特徴点抽出部は、図６Ａに示した第１の円筒型歪補正画像ＰＢ１と、相殺処理が施されていない図６Ｃに示した第２の円筒型歪補正画像ＰＢ２との間で、特徴点であるコーナ部ｐｃの対応付けを行なう。
【００５３】
この場合、比較例の特徴点抽出部が、第１の円筒型歪補正画像ＰＢ１における窓３１０ｅのコーナ部ｐｃを含む局所領域のテンプレートＴを、図６Ｃに示した第２の円筒型歪補正画像ＰＢ２において探索させる。そうすると、比較例の特徴点抽出部は、第１の円筒型歪補正画像ＰＢ１における窓３１０ｅのコーナ部ｐｃの座標位置に近い第２の円筒型歪補正画像ＰＢ２の座標位置に存在する、窓３１０ｅに隣接する他の窓３１０ｄのコーナ部ｐｃを、第１の円筒型歪補正画像ＰＢ１における窓３１０ｅのコーナ部ｐｃに対応する特徴点として誤って特定する。
【００５４】
このように、比較例の特徴点抽出部によって同一の被写体として誤って対応づけられた、第１の円筒型歪補正画像ＰＢ１における特徴点（窓３１０ｅのコーナ部ｐｃ）と、第２の円筒型歪補正画像ＰＢ２における特徴点（窓３１０ｄのコーナ部ｐｃ）との間で、比較例の追跡処理部が、オプティカルフローを求める。
【００５５】
求められたオプティカルフローは、同一被写体（窓３１０ｅのコーナ部ｐｃ）の動きを表すものではないため、比較例のカメラＥＣＵは、オプティカルフローによって、窓３１０ｅのコーナ部ｐｃの動きを検出することができない。
【００５６】
しかも、比較例の特徴点抽出部は、第２の円筒型歪補正画像ＰＢ２における窓３１０ｄのコーナ部ｐｃを誤って窓３１０ｅのコーナ部ｐｃと特定しているため、比較例の特徴点位置算出部が、第１の円筒型歪補正画像ＰＢ１における窓３１０ｅのコーナ部ｐｃの座標位置と、第２の円筒型歪補正画像ＰＢ２における窓３１０ｅのコーナ部ｐｃ（実際には、誤って特定した窓３１０ｄのコーナ部ｐｃ）の座標位置と、その間の自車２００の動きとに基づいて、三角測量の原理により算出した窓３１０ｅのコーナ部ｐｃの現実の三次元空間における位置は、図９に示すように、図７に示した本来の位置よりも自車２００に近い位置となる。
【００５７】
したがって、比較例のカメラＥＣＵは、自車２００が旋回を含む移動をしながら、時系列的に異なるタイミングで撮影された２つの広角画像ＰＡ１，ＰＡ２の背景として、現実の三次元空間において左右方向に繰り返す形状となる静止立体物の被写体（窓３１０等）が存在していた場合に、これらの被写体の現実の位置を精度よく求めることができない。
【００５８】
本実施形態のカメラＥＣＵ３０は、画像幾何変換部４０によって、車載カメラ１０で撮影して得られた広角画像ＰＡを、車載カメラ１０を通る鉛直方向に延びた鉛直軸Ｃを中心とした円筒の周面のスクリーンＳｃに投影した画像である円筒型歪補正画像ＰＢに変換している。
【００５９】
そして、画像差分相殺部６１が、第２の円筒型歪補正画像ＰＢ２を、自車２００の旋回の動きが無かったと仮定したときに得られるべき画像である第２の旋回相殺画像ＰＢ２′に変換する処理を、第２の円筒型歪補正画像ＰＢ２を、車載カメラ１０の旋回による向きの変化分に対応した左右方向へ平行移動するだけの処理で達成することができる。したがって、カメラＥＣＵ３０は、画像差分相殺部６１による、自車２００の旋回によって生じる第２の円筒型歪補正画像ＰＢ２における背景の変化の相殺の演算処理の負荷を軽減することができる。
【００６０】
本実施形態のカメラＥＣＵ３０は、車載カメラ１０によって撮影して得られた画像における、自車２００から遠く離れた背景となる画像のうち、略同一形状が繰り返すような被写体を、オプティカルフローの勾配法で検出する際に、特に有効である。
【００６１】
上述した自動運転支援システムの車載カメラ１０は、自車２００の周囲を広角画像ＰＡで撮影したが、本発明に係る静止立体物検出装置及び静止立体物検出装置は、撮影された画像が広角画像であってもよいし、広角では無い狭い画角の画像であってもよい。
【符号の説明】
【００６２】
１０      車載カメラ
３０      カメラＥＣＵ
４０      画像幾何変換部
５０      カメラ運動検出部
６０      特徴点追跡部
６１      画像差分相殺部（旋回相殺画像変換部）
６２      特徴点抽出部
６３      追跡処理部
７０      特徴点位置算出部
２００    車両（自車）
３００    建物
３１０ｄ，３１０ｅ  窓
Ｃ        鉛直軸
ＰＢ１    第１の円筒型歪補正画像
ＰＢ２    第２の円筒型歪補正画像
ＰＢ２′  第２の旋回相殺画像
Ｓｃ      スクリーン
ｐｃ      コーナ部（特徴点）
θ        旋回角度
【図１】
2019174892.tif 000003
【図２Ａ】
2019174892.tif 000004
【図２Ｂ】
2019174892.tif 000005
【図２Ｃ】
2019174892.tif 000006
【図３】
2019174892.tif 000007
【図４Ａ】
2019174892.tif 000008
【図４Ｂ】
2019174892.tif 000009
【図５】
2019174892.tif 000010
【図６Ａ】
2019174892.tif 000011
【図６Ｂ】
2019174892.tif 000012
【図６Ｃ】
2019174892.tif 000013
【図７】
2019174892.tif 000014
【図８】
2019174892.tif 000015
【図９】
2019174892.tif 000016