(57)【要約】      （修正有）【課題】２次元オプティカルフローを用いた検出法に比べて少ない計算量で接近体を検出する接近体検出装置を提供する。【解決手段】接近体検出装置は、法線算出部と、画素値集計部と、１次元オプティカルフロー算出部と、接近体検出部とを含む。法線算出部は、基準線の近似曲線上の複数の点をそれぞれ通る複数の法線を算出する。画素値集計部は、第１および第２の入力画像データのそれぞれについて、複数の法線上の画素値を法線毎に集計し、複数の法線上の画素値和を当該法線が通る近似曲線上の点から撮影装置までの近似曲線に沿った距離に対応付け、画素値和の第１および第２の分布を生成する。１次元オプティカルフロー算出部は、第１の分布を基準とする第２の分布の動きを動きベクトル群で表す１次元オプティカルフローを算出する。接近体検出部は、１次元オプティカルフローに基づいて、撮影装置への接近体を検出する。【選択図】図１
2018206107.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置によって撮影された第１の入力画像データおよび前記撮影装置によって前記第１の入力画像データよりも遅い時間に撮影された第２の入力画像データに含まれる基準線について第１の近似曲線を算出する基準線近似部と、
前記第１の近似曲線上の複数の点をそれぞれ通る複数の法線を算出する法線算出部と、
前記第１の入力画像データおよび前記第２の入力画像データのそれぞれについて、前記複数の法線上の画素値を法線毎に集計し、前記複数の法線上の画素値和を当該法線が通る前記第１の近似曲線上の点から前記撮影装置までの前記第１の近似曲線に沿った距離に対応付け、画素値和の第１の分布および第２の分布を生成する集計部と、
前記第１の分布を基準とする前記第２の分布の動きを動きベクトル群で表す第１の１次元オプティカルフローを算出する１次元オプティカルフロー算出部と、
前記第１の１次元オプティカルフローに基づいて、前記撮影装置への接近体を検出する接近体検出部と
を具備する、接近体検出装置。
【請求項２】
前記接近体検出部は、前記第１の１次元オプティカルフローにおいて前記第１の近似曲線に沿った距離が小さくなる方向を向いた動きベクトルのうち当該動きベクトルの終点から前記撮影装置までの前記第１の近似曲線に沿った距離が最小である第１の動きベクトルを探索し、前記第１の動きベクトルの終点を通る法線上に前記撮影装置への最接近体が存在すると検出する、請求項１に記載の接近体検出装置。
【請求項３】
前記第１の動きベクトルの大きさと前記第１の入力画像データおよび前記第２の入力画像データの間の撮影時間差とに基づいて、前記最接近体の、前記第１の近似曲線に沿った方向の相対速度を算出する相対速度算出部をさらに具備する、請求項２に記載の接近体検出装置。
【請求項４】
前記基準線に対する複数の平行線について複数の第２の近似曲線を算出する平行線算出部をさらに具備し、
前記集計部は、前記第１の入力画像データおよび前記第２の入力画像データのそれぞれについて、前記複数の第２の近似曲線上であって前記第１の動きベクトルの終点を通る法線から所定の範囲内にある画素値を第２の近似曲線毎に集計し、前記複数の第２の近似曲線上の画素値和を当該第２の近似曲線と前記第１の動きベクトルの終点を通る法線との交点から前記第１の近似曲線までの当該第１の近似曲線に垂直な方向の距離に対応付け、画素値和の第３の分布および第４の分布を生成し、
前記１次元オプティカルフロー算出部は、前記第３の分布を基準とする前記第４の分布の動きを動きベクトル群で表す第２の１次元オプティカルフローを算出し、
前記接近体検出部は、前記第２の１次元オプティカルフローにおいて前記第１の近似曲線に垂直な方向の距離が小さくなる方向を向いた動きベクトルのうち当該動きベクトルの終点から前記第１の近似曲線までの当該第１の近似曲線に垂直な方向の距離が最小である第２の動きベクトルを探索し、前記第２の動きベクトルの終点を通る第２の近似曲線と前記第１の動きベクトルの終点を通る法線との交点上に前記最接近体が存在すると検出する、
請求項２に記載の接近体検出装置。
【請求項５】
前記第２の動きベクトルの大きさと前記第１の入力画像データおよび前記第２の入力画像データの間の撮影時間差とに基づいて、前記最接近体の、前記第１の近似曲線に垂直な方向の相対速度を算出する相対速度算出部をさらに具備する、請求項４に記載の接近体検出装置。
【請求項６】
前記接近体検出装置は、前記撮影装置によって撮影された複数の入力画像データを順次処理し、
前記基準線近似部が前記第１の近似曲線を算出する周期は、前記１次元オプティカルフロー算出部が前記第１の１次元オプティカルフローを算出する周期よりも長い、
請求項１乃至請求項５のいずれか１項に記載の接近体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる時間に撮影された画像データから接近体を検出する技術に関する。
【背景技術】
【０００２】
例えば、車両走行時の安全性を高めるために、自車両に取り付けられたカメラによって撮影された画像データに基づいて、接近車両を検出する技術が必要とされている。従来、時間的に異なる２枚の画像データ間での物体の動きを各画素の動きベクトルとして表す２次元オプティカルフローを算出し、これに基づいて接近車両の位置および相対速度を推定することが知られている。しかしながら、２次元オプティカルフローは計算量が多く、接近車両を低遅延で検出することが困難であった。
【０００３】
特許文献１には、車両の後方撮影画像において横長帯状の特定領域を設定し、車両のハンドルの操作方向に応じた移動方向情報に基づいて検出感度を調整して、この特定領域上で他の車両に関する移動ベクトル情報を抽出する、という技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４１０７６０５号公報（図１５）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術は、他の車両の形状、道路のカーブの曲率変化などの影響を受けやすく、自車両に対する他の車両の相対速度を正確に算出することが容易でない。
【０００６】
本発明は、２次元オプティカルフローを用いた検出法に比べて少ない計算量で接近体を検出することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、接近体検出装置は、基準線近似部と、法線算出部と、集計部と、１次元オプティカルフロー算出部と、接近体検出部とを含む。基準線近似部は、撮影装置によって撮影された第１の入力画像データおよび撮影装置によって第１の入力画像データよりも遅い時間に撮影された第２の入力画像データに含まれる基準線について第１の近似曲線を算出する。法線算出部は、第１の近似曲線上の複数の点をそれぞれ通る複数の法線を算出する。集計部は、第１の入力画像データおよび第２の入力画像データのそれぞれについて、複数の法線上の画素値を法線毎に集計し、複数の法線上の画素値和を当該法線が通る第１の近似曲線上の点から撮影装置までの第１の近似曲線に沿った距離に対応付け、画素値和の第１の分布および第２の分布を生成する。１次元オプティカルフロー算出部は、第１の分布を基準とする第２の分布の動きを動きベクトル群で表す第１の１次元オプティカルフローを算出する。接近体検出部は、第１の１次元オプティカルフローに基づいて、撮影装置への接近体を検出する。
【発明の効果】
【０００８】
本発明によれば、２次元オプティカルフローを用いた検出法に比べて少ない計算量で接近体を検出することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る接近体検出装置を例示するブロック図。
【図２】図１の接近体検出装置の入力画像データを例示する図。
【図３】図１の接近体検出装置の入力画像データを例示する図。
【図４】基準線（車線境界線）に対する法線の説明図。
【図５】入力画像データにおける座標系の説明図。
【図６】道路面における座標系の説明図。
【図７】図５と図６との関係の説明図。
【図８】図２および図３の入力画像データから算出される１次元オプティカルフローを例示する図。
【図９】図１の接近体検出装置の動作を例示するフローチャート。
【図１０】図１の接近体検出装置の効果の説明図。
【図１１】図１の接近体検出装置の効果の説明図。
【図１２】第２の実施形態に係る接近体検出装置を例示するブロック図。
【図１３】基準線（車線境界線）に対する平行線の説明図。
【図１４】図２および図３の入力画像データから算出される１次元オプティカルフローを例示する図。
【図１５】図１２の接近体検出装置の動作を例示するフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら実施形態の説明を述べる。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。
【００１１】
（第１の実施形態）  
第１の実施形態に係る接近体検出装置は、基本的には、車両などの移動体または建物などの非移動体に取り付けられた撮影装置（カメラ）によって撮影された複数の入力画像データを解析し、当該撮影装置（の取り付けられた対象）への接近体の存在を検出する。さらに、この接近体検出装置は、接近体の存在の検出に加えて、撮影装置に最も接近している最接近体の位置を検出したり、その相対速度を算出したりすることもできる。最接近体の位置および相対速度の情報は、当該最接近体との接触の危険性の評価に活用することができる。故に、例えば、この接近体検出装置を車両の電子ミラーと組み合わせ、車線変更を試みたドライバーに対して必要に応じて警告を発するなどの応用が可能である。
【００１２】
この接近体検出装置は、図１に例示されるように、基準線検出部１０１と、基準線近似部１０２と、法線算出部１０３と、画素値集計部１０４と、１次元オプティカルフロー算出部１０５と、接近体検出部１０６と、相対速度算出部１０７とを含む。
【００１３】
基準線検出部１０１は、図示されない撮影装置から入力画像データを受け取る。基準線検出部１０１は、入力画像データから基準線を検出する。なお、接近体の検出には複数枚の入力画像データが必要であるが、これらの間で基準線の変化が小さい場合（例えば、ある入力画像データにおける基準線が、他の入力画像データにおける基準線と略一致する場合）には１枚の入力画像データから基準線が検出されてよい。基準線検出部１０１は、検出結果（例えば、入力画像データのうち基準線を構成する画素を抽出した画像データ）を基準線近似部１０２へ送る。
【００１４】
ここで、基準線は、接近体の基本的な移動路を定め、直線状であることもあれば、湾曲していることもある。基準線は、例えば、車線を区分する車線境界線（例えば、白の破線若しくは実線、または黄色の実線）である。基準線は、車線境界線に限られないものの、以降の説明では簡単化のために車線境界線であることとする。
【００１５】
なお、基準線を検出するために、入力画像データは必須ではない。具体的には、撮影装置が移動体に取り付けられ、接近体と同じまたは反対の方向に移動しているならば、移動体の軌跡から基準線を推定可能である。例えば、移動体が車両である場合には、操舵角の情報から基準線を推定可能である。
【００１６】
基準線近似部１０２は、基準線検出部１０１から基準線の検出結果を受け取る。基準線近似部１０２は、基準線を多項式近似し、基準線の近似曲線を得る。なお、本明細書において曲線とは直線を含む概念である。すなわち、近似直線は、近似曲線に包含される。基準線近似部１０２は、基準線の近似曲線を定義するパラメータを法線算出部１０３へ送る。例えば、入力画像データにおいて図５に示すｘｙ座標系が定義されているとすれば、基準線近似部１０２は、基準線を以下のように近似する。
【００１７】
【数１】
2018206107.tif 000003
【００１８】
法線算出部１０３は、基準線近似部１０２から基準線の近似曲線を定義するパラメータを受け取り、図４に例示されるように、近似曲線上の複数の点をそれぞれ通る複数の法線を算出する。法線算出部１０３は、算出したそれぞれの法線を定義するパラメータを画素値集計部１０４へ送る。なお、算出する法線の数が少ないほど法線算出部１０３の計算量は少なくて済むし、算出する法線が多いほど後述される１次元オプティカルフローの精度は向上する。法線は、基準線の近似曲線上に等間隔で設けられてもよいし、不等間隔で設けられてもよい。例えば、法線は、撮影装置からの距離が小さいほど密に、大きいほど疎に設けられてもよい。
【００１９】
法線算出部１０３は、具体的には、以下に説明するように法線を算出する。まず、入力画像データにおいて図５に示すｘｙ座標系が定義され、道路面（接近体が移動する平面）において図６に示すＸＺ座標系が定義され、これらの座標系が図７に例示される関係を持つとする。
【００２０】
入力画像データにおける座標ｘおよびｙは、それぞれ、道路面上の以下の座標にそれぞれ対応する（変換可能である）。ただし、道路面上の各点は同一平面上にあり、カメラの光軸は道路面と平行とする。カメラの光軸が道路面と平行でない場合は、その傾き角を考慮して同様の計算ができる。
【００２１】
【数２】
2018206107.tif 000004
【００２２】
数式（２）を数式（１）に代入すると、以下の数式（３）が得られる。  
【００２３】
【数３】
2018206107.tif 000005
【００２４】
入力画像データ上での基準線の近似曲線上の点（α、β）は、道路平面上での基準線の近似曲線上の点（αｈ／β，ｆｈ／β）に対応する。これは、数式（２）において、ｘ＝α，ｙ＝βを代入することで導出可能である。基準線の近似曲線の点（αｈ／β，ｆｈ／β）を通る接線の傾きＭは、数式（３）の導関数から求めることができる。
【００２５】
【数４】
2018206107.tif 000006
【００２６】
この接線と直交する法線の傾きは、−１／Ｍである。故に、道路面上で点（αｈ／β ，ｆｈ／β）を通る法線は、次のように表すことができる。
【００２７】
【数５】
2018206107.tif 000007
【００２８】
そして、数式（５）の法線は、入力画像データにおいて以下の直線に対応する。
【００２９】
【数６】
2018206107.tif 000008
【００３０】
画素値集計部１０４は、図示されない撮影装置から第１の入力画像データおよび第２の入力画像データを含む複数の入力画像データを受け取り、法線算出部１０３から複数の法線を定義するパラメータを受け取る。ここで、第１の入力画像データは図２に例示されるように自車両の後方を撮影した画像データであって、自車両の走行車線と隣接する車線を他の車両が走行する場面を示し、第２の入力画像データは図３に例示されるように第１の入力画像データよりも遅い時間に撮影された画像データであるとする。また、自車両とは、撮影装置が取り付けられた車両を意味する。
【００３１】
なお、後述されるように、接近体検出部１０６は第２の入力画像データの撮影時点における接近体の情報を検出し、後述される相対速度算出部１０７も第２の入力画像データの撮影時点における接近体の相対速度を算出する。故に、第２の入力画像データは低遅延で与えられることが好ましい。
【００３２】
画素値集計部１０４は、第１の入力画像データについて、複数の法線上の画素値を法線毎に集計し、各法線上の画素値和を当該法線が通る基準線の近似曲線上の点から撮影装置までの当該近似曲線に沿った距離に対応付け、画素値和の第１の分布を生成する。ここで、距離とは実空間における距離を意味する。画素値は、典型的には輝度であるが、これに限られない。画素値集計部１０４は、第２の入力画像データについても、同様に、複数の法線上の画素値を法線毎に集計し、各法線上の画素値和を当該法線が通る基準線の近似曲線上の点から撮影装置までの当該近似曲線に沿った距離に対応付け、画素値和の第２の分布を生成する。画素値集計部１０４は、第１の分布および第２の分布を１次元オプティカルフロー算出部１０５へ送る。
【００３３】
なお、画素値集計部１０４は、法線上の全ての画素値を集計する必要はない。具体的には、接近体を検出する必要のない領域の画素値は除外されてよい。例えば、隣接する車線を走行する接近体を検出する場合には、画素値集計部１０４は、この車線の領域内に限って法線上の画素値を集計すればよい。画素値の集計対象となる車線の領域は、例えば入力画像データの解析により推定されてもよいし、基準線としての車線境界線からの方向および距離によって定義されてもよい。
【００３４】
１次元オプティカルフロー算出部１０５は、画素値集計部１０４から、第１の分布および第２の分布を受け取る。１次元オプティカルフロー算出部１０５は、第１の分布（図８の破線で示すグラフ）を基準とする第２の分布（図８の実線で示すグラフ）の動きを表す１次元オプティカルフローを算出する。具体的には、この１次元オプティカルフローは、第１の分布上の各点について、第２の分布上の対応点までの移動方向および移動量を示す動きベクトル群である。１次元オプティカルフロー算出部１０５は、１次元オプティカルフローを接近体検出部１０６および相対速度算出部１０７へ送る。
【００３５】
接近体検出部１０６は、１次元オプティカルフロー算出部１０５から１次元オプティカルフローを受け取る。接近体検出部１０６は、１次元オプティカルフローに基づいて撮影装置への接近体を検出する。具体的には、接近体検出部１０６は、１次元オプティカルフローが基準線の近似曲線に沿った距離が小さくなる方向を向いた動きベクトルを含む場合に、当該動きベクトルの終点を通る法線上に接近体が存在すると検出できる。
【００３６】
さらに、接近体検出部１０６は、かかる動きベクトルのうち、当該動きベクトルの終点から撮影装置までの基準線の近似曲線に沿った距離が最小である第１の動きベクトルを探索し、第１の動きベクトルの終点を通る法線上に撮影装置への最接近体が存在すると検出してもよい。通常、接近体が複数存在する場合には、接触の危険性が最も高いのは最接近体である。故に、最接近体の位置、すなわち、最接近体までの距離、を評価することは技術的意義がある。
【００３７】
接近体検出部１０６は、検出結果を外部のシステム（例えば、警報システム、車両の運転制御システム）などへ出力する。また、接近体検出部１０６は、探索した第１の動きベクトルの大きさを相対速度算出部１０７に通知する。ここで、ベクトルの大きさは、実空間における長さを意味する。
【００３８】
接近体検出部１０６の検出結果は、例えば、車線変更時の接触防止に応用可能である。具体的には、図１０に例示されるような自車両の居る車線と隣接する車線を他の車両が自車両よりも速く走行している場面、図１１に例示されるような自車両に後続する他の車両が車線変更して自車両を追い越そうとする場面などが想定される。このような場面で自車両が車線変更をすると他の車両と接触する危険がある。故に、外部の警報システムは、接近体検出部１０６からの検出結果に基づいて、接近体が図１０および図１１に斜線で示される警戒領域内に存在するかどうかを監視する。そして、警報システムは、警戒領域内に接近体が存在する状態で、自車両のドライバーが車線変更のためにウィンカーを操作すると、警報を発して衝突を回避する。警戒領域は、例えば幅４ｍで自車両の後方に２０ｍ程度と定義されてよい。警戒領域のサイズは、道路状況、ドライバーの状態などに応じて可変としてもよい。
【００３９】
また、接近体検出部１０６の検出結果に対して、例えば、学習されたＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた高度なパターン認識処理を施し、接近体についての詳細情報（例えば車種など）を推定してもよい。外部のシステムは、かかる詳細情報を用いてより適切に警告または運転制御を行うことができる。
【００４０】
相対速度算出部１０７は、接近体検出部１０６から第１の動きベクトルの大きさを通知される。相対速度算出部１０７は、第１の動きベクトルの大きさと、第１の入力画像データおよび第２の入力画像データの間の撮影時間差とに基づいて、最接近体の、基準線の近似曲線に沿った方向の相対速度を算出する。例えば、第１の入力画像データおよび第２の入力画像データの間の撮影時間差が１／３０秒であって、第１の動きベクトルの大きさが１０ｃｍであるならば、最接近体の相対速度は３ｍ／秒となる。相対速度算出部１０７は、最接近体の相対速度の情報を外部のシステム（例えば、警報システム、車両の運転制御システム）などへ出力する。
【００４１】
ここで、第１の動きベクトルの大きさと、第１の入力画像データおよび第２の入力画像データの間の撮影時間差は固定（例えば１／３０秒周期）であって相対速度算出部１０７にとって既知であることとするが、第１の入力画像データおよび第２の入力画像データの間の撮影時間差を、例えば接近体の有無、最接近体の位置または相対速度などに応じて可変としてもよい。この場合には、第１の入力画像データおよび第２の入力画像データの撮影時間情報から撮影時間差を導出すればよい。
【００４２】
なお、相対速度算出部１０７は、最接近体に加えて第２、第３番目の接近体についても相対速度を算出してもよい。ただし、前述のように、通常、接近体が複数存在する場合に接触の危険性が最も高いのは最接近体である。
【００４３】
以下、図９を用いて、図１の接近体検出装置の動作を説明する。この動作は、接近体検出に用いられる第１の入力画像データおよび第２の入力画像データが得られる毎に行われる。  
まず、基準線検出部１０１は、第１の入力画像データおよび第２の入力画像データの少なくとも一方から基準線を検出する（ステップＳ２０１）。基準線近似部１０２は、ステップＳ２０１において検出された基準線を多項式近似し、基準線の近似曲線を得る（ステップＳ２０２）。法線算出部１０３は、ステップＳ２０２において得られた基準線の近似曲線上の複数の点をそれぞれ通る複数の法線を算出し（ステップＳ２０３）、処理はステップＳ２０４へ進む。
【００４４】
なお、複数の入力画像データに対して図９の処理を順次実行する場合に、ステップＳ２０１〜ステップＳ２０３の処理を省略し、前回実行時のステップＳ２０１〜ステップＳ２０３の結果を以降のステップで利用してもよい。例えば、自車両が直線状の道路や緩やかなカーブを走行している場合には、基準線の変化は乏しいと推定できるので、前回実行時のステップＳ２０１〜ステップＳ２０３の結果を再利用したとしても、妥当な１次元オプティカルフローを得ることができる。図９の処理を１／３０秒周期で繰り返すとすれば、ステップＳ２０１〜ステップＳ２０３の処理は例えば１／１０秒周期または１／１５秒周期で繰り返せば十分である可能性がある。これにより、ステップＳ２０１〜ステップＳ２０３に関する処理負荷を１／３倍または１／２倍に削減することができる。
【００４５】
ステップＳ２０４において、画素値集計部１０４は、第１の入力画像データおよび第２の入力画像データのそれぞれについて、ステップＳ２０３において算出された複数の法線上の画素値を法線毎に集計し、複数の法線上の画素値和を当該法線が通る基準線の近似曲線上の点から撮影装置までの当該近似曲線に沿った距離に対応付け、画素値和の第１の分布および第２の分布を生成する。
【００４６】
１次元オプティカルフロー算出部１０５は、ステップＳ２０４において生成された第１の分布および第２の分布に基づいて、１次元オプティカルフローを算出する（ステップＳ２０５）。接近体検出部１０６は、ステップＳ２０５において算出された１次元オプティカルフローに基づいて撮影装置への接近体を検出する（ステップＳ２０６）。
【００４７】
相対速度算出部１０７は、ステップＳ２０６における検出結果と、第１の入力画像データおよび第２の入力画像データの間の撮影時間差とに基づいて、（最）接近体の、基準線の近似曲線に沿った方向の相対速度を算出し（ステップＳ２０７）、処理は終了する。
【００４８】
以上説明したように、第１の実施形態に係る接近体検出装置は、基準線の近似曲線上の複数の点について法線を算出し、各点を通る法線上の画素値を集計して画素値和の分布を生成し、画素値和の分布から１次元オプティカルフローを算出し、１次元オプティカルフローに基づいて接近体を検出する。故に、この接近体検出装置によれば、２次元オプティカルフローを用いた検出法に比べて少ない計算量で接近体を検出することができる。さらに、この接近体検出装置によれば、（最）接近体の位置の検出に加えて、当該（最）接近体の、基準線の近似曲線に沿った方向の相対速度を算出することもできる。
【００４９】
（第２の実施形態）  
前述の第１の実施形態に係る接近体検出装置は、（最）接近体が基準線の近似曲線のいずれの法線上に存在するかを検出したり、（最）接近体の、基準線の近似曲線に沿った方向の相対速度を算出したりすることができる。しかしながら、かかる情報は、例えば左隣または右隣の車線を併走する他車両の進行方向が右方向または左方向にずれて自車両に接触する、或いは、自車両の進行方向が右方向または左方向にずれて左隣または右隣の車線を併走する他車両に接触する、などの事象への危険性の評価に用いることはできない。かかる事象は、自車両または他車両のドライバーのわき見、居眠り、飲酒、持病の発症などによる意識の低下または消失、自車両または他車両のスリップなどの様々な要因で起こり得る。そこで、第２の実施形態に係る接近体検出装置は、さらに、（最）接近体の詳細な位置を検出したり、（最）接近体の、基準線の近似曲線に垂直な方向の相対速度を算出したりする。
【００５０】
この接近体検出装置は、図１２に例示されるように、基準線検出部１０１と、基準線近似部１０２と、法線算出部１０３と、画素値集計部３０４と、１次元オプティカルフロー算出部３０５と、接近体検出部３０６と、相対速度算出部３０７と、平行線算出部３０８とを含む。
【００５１】
画素値集計部３０４、１次元オプティカルフロー算出部３０５、接近体検出部３０６および相対速度算出部３０７は、画素値集計部１０４、１次元オプティカルフロー算出部１０５、接近体検出部１０６および相対速度算出部１０７において説明した処理に追加してさらなる処理を行い、以降では前者の処理についての説明は省略する。なお、前者の処理を行う機能部と後者の処理を行う機能部とを独立して設けてもよい。
【００５２】
平行線算出部３０８は、基準線近似部１０２から基準線の近似曲線を定義するパラメータを受け取り、これを用いて、図１３に例示されるように、基準線に対する複数の平行線について複数の近似曲線を算出する。平行線算出部３０８は、算出したそれぞれの近似曲線を定義するパラメータを画素値集計部３０４へ送る。なお、算出する近似曲線の数が少ないほど平行線算出部３０８の計算量は少なくて済むし、算出する近似曲線の数が多いほど後述される１次元オプティカルフローの精度は向上する。平行線の近似曲線は、基準線の近似曲線から等間隔で設けられてもよいし、不等間隔で設けられてもよい。例えば、平行線の近似曲線は、基準線の近似曲線からの距離が小さいほど密に、大きいほど疎に設けられてもよい。
【００５３】
画素値集計部３０４は、撮影装置から第１の入力画像データおよび第２の入力画像データを含む複数の入力画像データを受け取り、平行線算出部３０８から複数の平行線の近似曲線を定義するパラメータを受け取る。
【００５４】
画素値集計部３０４は、第１の入力画像データおよび第２の入力画像データのそれぞれについて、複数の平行線の近似曲線上の画素値を近似曲線毎に集計する。ここで、画素値の集計対象となる領域は、最接近体の検出された法線の近傍、すなわち、前述の第１の動きベクトルの終点を通る法線から所定の範囲に制限されてよい。具体的には、画素値の集計対象となる領域は、前述の第１の動きベクトルの終点を通る法線から、当該第１の動きベクトルと逆方向に数ｍ程度の矩形領域であり得る。画素値の集計対象となる領域を制限することで、画素値集計部３０４の計算量が減るだけでなく、最接近体に後続する別の接近体の画素値が集計されることによる最接近体の位置検出および相対速度算出の精度低下を防ぐことができる。
【００５５】
画素値集計部３０４は、第１の入力画像データおよび第２の入力画像データのそれぞれについて、複数の平行線の近似曲線上の画素値和を、当該近似曲線と前述の第１の動きベクトルの終点を通る法線との交点から基準線の近似曲線までの（当該基準線の近似曲線に垂直な方向の）距離に対応付け、画素値和の第３の分布および第４の分布を生成する。画素値集計部３０４は、第３の分布および第４の分布を１次元オプティカルフロー算出部３０５へ送る。
【００５６】
１次元オプティカルフロー算出部３０５は、画素値集計部３０４から、第３の分布および第４の分布を受け取る。１次元オプティカルフロー算出部３０５は、第３の分布（図１４の破線で示すグラフ）を基準とする第４の分布（図１４の実線で示すグラフ）の動きを表す１次元オプティカルフロー（以降、便宜的に第２の１次元オプティカルフローと称する）を算出する。具体的には、この第２の１次元オプティカルフローは、第３の分布上の各点について、第４の分布上の対応点までの移動方向および移動量を示す動きベクトル群である。１次元オプティカルフロー算出部３０５は、第２の１次元オプティカルフローを接近体検出部３０６および相対速度算出部３０７へ送る。
【００５７】
接近体検出部３０６は、１次元オプティカルフロー算出部３０５から第２の１次元オプティカルフローを受け取る。接近体検出部３０６は、第２の１次元オプティカルフローが基準線の近似曲線に垂直な方向の距離が小さくなる方向を向いた動きベクトルのうち、当該動きベクトルの終点から当該近似曲線までの（当該近似曲線に垂直な方向の）距離が最小である第２の動きベクトルを探索し、第２の動きベクトルの終点を通る平行線の近似曲線と前述の第１の動きベクトルの終点を通る法線との交点上に最接近体が存在すると検出する。接近体検出部３０６は、検出結果を外部のシステムなどへ出力する。また、接近体検出部３０６は、探索した第２の動きベクトルの大きさを相対速度算出部３０７に通知する。
【００５８】
相対速度算出部３０７は、接近体検出部３０６から第２の動きベクトルの大きさを通知される。相対速度算出部３０７は、第２の動きベクトルの大きさと、第１の入力画像データおよび第２の入力画像データの間の撮影時間差とに基づいて、最接近体の、基準線の近似曲線に垂直な方向の相対速度を算出する。例えば、第１の入力画像データおよび第２の入力画像データの間の撮影時間差が１／３０秒であって、第２の動きベクトルの大きさが２ｃｍであるならば、最接近体の相対速度は０．６ｍ／秒となる。相対速度算出部３０７は、最接近体の相対速度の情報を外部のシステムなどへ出力する。
【００５９】
以下、図１５を用いて、図１２の接近体検出装置の動作を説明する。この動作は、接近体検出に用いられる第１の入力画像データおよび第２の入力画像データが得られる毎に行われる。なお、図１５の動作の前半部分（ステップＳ２０１〜ステップＳ２０７）は図９の動作と同様であるので説明を省略する。
【００６０】
平行線算出部３０８は、ステップＳ２０２において算出された基準線の近似曲線を用いて、基準線に対する複数の平行線について複数の近似曲線を算出する（ステップＳ４０８）。なお、ステップＳ４０８は、ステップＳ２０７の終了を待つ必要はなく、ステップＳ２０２の終了後の任意のタイミングで実行可能である。
【００６１】
画素値集計部３０４は、第１の入力画像データおよび第２の入力画像データのそれぞれについて、ステップＳ４０８において算出された複数の平行線の近似曲線上の画素値を近似曲線毎に集計する（ステップＳ４０９）。ここで、画素値の集計対象となる領域は、ステップＳ２０６における接近体の検出位置の近傍に制限されてよい。さらに、画素値集計部３０４は、第１の入力画像データおよび第２の入力画像データのそれぞれについて、複数の平行線の近似曲線上の画素値和を、当該近似曲線とステップＳ２０６において接近体の検出された法線との交点から基準線の近似曲線までの（当該基準線の近似曲線に垂直な方向の）距離に対応付け、画素値和の第３の分布および第４の分布を生成する。
【００６２】
１次元オプティカルフロー算出部３０５は、ステップＳ４０９において生成された第３の分布および第４の分布に基づいて、１次元オプティカルフローを算出する（ステップＳ４１０）。接近体検出部１０６は、ステップＳ４１０において算出された１次元オプティカルフローに基づいて、ステップＳ２０６において検出した接近体の詳細な位置を検出する（ステップＳ４１１）。具体的には、接近体検出部１０６は、接近体が基準線の近似曲線から当該近似曲線に垂直な方向にどれだけ離れているかを検出する。
【００６３】
相対速度算出部１０７は、ステップＳ４１１における検出結果と、第１の入力画像データおよび第２の入力画像データの間の撮影時間差とに基づいて、（最）接近体の、基準線の近似曲線に垂直な方向の相対速度を算出し（ステップＳ４１１）、処理は終了する。
【００６４】
以上説明したように、第２の実施形態に係る接近体検出装置は、基準線に対する複数の平行線の近似曲線を算出し、各近似曲線上の画素値を集計して画素値和の分布を生成し、画素値和の分布から１次元オプティカルフローを算出し、１次元オプティカルフローに基づいて接近体の位置（基準線の近似曲線から当該近似曲線に垂直な方向にどれだけ離れているか）を検出する。故に、この接近体検出装置によれば、２次元オプティカルフローを用いた検出法に比べて少ない計算量で接近体を検出することができる。さらに、この接近体検出装置によれば、（最）接近体の、基準線の近似曲線に垂直な方向の相対速度を算出することもできる。
【００６５】
（変形例）  
前述の第１の実施形態および第２の実施形態の説明では、自車両の後方（より一般化すれば、撮影装置が取り付けられた移動体の移動方向の反対側）を撮影した画像データから接近体を検出することとした。しかしながら、両実施形態に係る接近体検出装置は、自車両の前方（より一般化すれば、撮影装置が取り付けられた移動体の移動方向側）を撮影した画像データから接近体を検出することもできる。
【００６６】
上述の実施形態は、本発明の概念の理解を助けるための具体例を示しているに過ぎず、本発明の範囲を限定することを意図されていない。実施形態は、本発明の要旨を逸脱しない範囲で、様々な構成要素の付加、削除または転換をすることができる。
【００６７】
上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
【００６８】
上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【符号の説明】
【００６９】
１０１・・・基準線検出部
１０２・・・基準線近似部
１０３・・・法線算出部
１０４，３０４・・・画素値集計部
１０５，３０５・・・１次元オプティカルフロー算出部
１０６，３０６・・・接近体検出部
１０７，３０７・・・相対速度算出部
３０８・・・平行線算出部
【図１】
2018206107.tif 000009
【図２】
2018206107.tif 000010
【図３】
2018206107.tif 000011
【図４】
2018206107.tif 000012
【図５】
2018206107.tif 000013
【図６】
2018206107.tif 000014
【図７】
2018206107.tif 000015
【図８】
2018206107.tif 000016
【図９】
2018206107.tif 000017
【図１０】
2018206107.tif 000018
【図１１】
2018206107.tif 000019
【図１２】
2018206107.tif 000020
【図１３】
2018206107.tif 000021
【図１４】
2018206107.tif 000022
【図１５】
2018206107.tif 000023