(57)【要約】【課題】少ない計算量でリアルタイムに自車MTの周辺環境を監視すること。【解決手段】  自車MTの周辺の画像を連続して撮像するカメラ１０と、前記画像IMのフロー検出対象となる領域を予め定められた同一の大きさの基礎区画BTで区分けする基礎区画配置部３６と、前記検出される前記フローFlwのフロー関連位置FPに前記基礎区画BTと同一の大きさの動的区画DTを動的に配置する動的区画配置部３８と、前記基礎区画BT及び動的区画DTで区画されたそれぞれの区画画像TMの特徴量FEを当該基礎区画BT及び動的区画DTの区別無く算出する特徴量算出部４０と、前記連続する前後の前記画像IM間で前記特徴量FEの一致度ADが高い前記区画画像TMを探索することで前記フローFlwを抽出するフロー抽出部１２とを備えた。【選択図】図１
2013149176.tif 000002
【特許請求の範囲】
【請求項１】
自車の周辺の画像を連続して撮像するカメラと、
画像のフロー検出対象となる領域を予め定められた同一の大きさの基礎区画で区分けする基礎区画配置部と、
前記検出される前記フローのフロー関連位置に前記基礎区画と同一の大きさの動的区画を動的に配置する動的区画配置部と、
前記基礎区画及び動的区画で区画されたそれぞれの区画画像の特徴量を当該基礎区画及び動的区画の区別無く算出する特徴量算出部と、
前記連続する前後の前記画像間で前記特徴量の一致度が高い前記区画画像を探索することで前記フローを抽出するフロー抽出部と、
を備えたことを特徴とするオプティカルフロー処理装置。
【請求項２】
前記動的区画配置部が、前記フロー関連位置でのワールド座標系と画像座標系との大きさの対応関係を参照して、当該フロー関連位置を中心とする当該対応関係に応じた大きさの範囲内に複数の動的補完区画を配置する処理を備えた、ことを特徴とする請求項１記載のオプティカルフロー処理装置。
【請求項３】
前記画像に撮像される範囲のワールド座標系で予め定められた位置及び同一の大きさの仮想ブロックを前記画像の画像座標系に表示ブロックとして予め対応させた表示マップを記憶する表示ブロック管理部を備え、
前記動的区画配置部が、
前記フロー関連位置に動的中心区画を配置する処理と、
当該フロー関連位置の前記表示ブロックを参照して当該フロー関連位置を中心とする当該表示ブロックの範囲に前記動的補完区画を配置する処理を備えた、ことを特徴とする請求項１記載のオプティカルフロー処理装置。
【請求項４】
前記動的区画配置部が、前記フローのフロー方向に沿って前記複数の前記動的補完区画を配置する処理を備えた、ことを特徴とする請求項２又は３記載のオプティカルフロー処理装置。
【請求項５】
自車の周辺の画像を連続して撮像する撮像工程と、
画像のフロー検出対象となる領域を予め定められた同一の大きさの基礎区画で区分けする基礎区画配置工程と、
前記検出される前記フローのフロー関連位置に前記基礎区画と同一の大きさの動的区画を動的に配置する動的区画配置工程と、
前記基礎区画及び動的区画で区画されたそれぞれの区画画像の特徴量を当該基礎区画及び動的区画の区別無く算出する特徴量算出工程と、
前記連続する前後の前記画像間で前記特徴量の一致度が高い前記区画画像を探索することで前記フローを抽出するフロー抽出工程と、
を備えたことを特徴とするオプティカルフロー処理方法。
【請求項６】
請求項５記載の方法を演算装置を用いて実行するためのオプティカルフロー処理用プログラム。
【請求項７】
自車の周辺の画像を連続して撮像するカメラと、
前記画像のフロー検出対象となる領域に予め定められた大きさの複数の基礎区画を配置すると共に、検出される前記フローのフロー関連位置に応じて当該基礎区画と同一の大きさの動的区画を配置する区画配置部と、
前記連続する前後の前記画像間で一致度が高い前記区画画像を探索することで前記フローを抽出するフロー抽出部と、
前記複数のフローの前記フロー関連位置間の実空間での距離に基づいて当該複数のフローのグループ化を判定するグループ判定部と、
前記画像毎に接近車の候補となるグループを検出すると共に当該グループの検出回数に応じて当該グループが接近車であるか否かを判定する接近車検出部と、
を備えたことを特徴とする周辺車両検出装置。
【請求項８】
前記グループ判定部が、
前記動的区画から検出されるフローについて当該動的区画の生成元のフローが属したグループに帰属可能とするグループ継続処理と、
前記基礎区画又は動的区画から抽出されるフローについて前記フロー間の前記実空間での距離に基づいて帰属可能な１以上のグループを探索するグループ探索処理と、
前記帰属可能とされたグループが複数ある際には当該グループの検出回数を比較する検出回数比較処理と、
当該検出回数を比較したフローを当該検出回数が最多のグループに属させると共に、前記基礎区画から検出されたフローで帰属可能なグループが探索されない際には新規グループに属させるグループ帰属化処理と、
を備えたことを特徴とする請求項７記載の周辺車両検出装置。
【請求項９】
前記画像に撮像される範囲のワールド座標系で予め定められた位置及び同一の大きさの仮想ブロックを前記画像の画像座標系に表示ブロックとして予め対応させた表示マップを記憶する表示ブロック管理部を備え、
前記グループ探索処理が、
前記画像と同一サイズの画像を描画できる二次元の統合バッファを初期化する処理と、
当該統合バッファでの前記抽出されたフローの前記フロー関連位置に前記表示ブロックを描画する処理と、
前記表示ブロックが重なり合うグループがある際には重なり合ったグループを前記帰属可能なグループとして抽出する処理と、
を備えたことを特徴とする請求項８記載の周辺車両検出装置。
【請求項１０】
前記区画配置部が、
１グループに属する動的区画数を増加させない上限値を管理する上限値管理処理と、
前記動的区画の配置が前記上限値を超過する配置となる際には削除対象とする動的区画を選定すると共に当該削除対象に当該動的区画を上書きする区画選定処理と、
を備えたことを特徴とする請求項６，７，８又は９記載の周辺車両検出装置。
【請求項１１】
前記接近車検出部が、グループ毎に、
当該グループに属する各フローの始点と、当該各フローの直近の速度とを加算することで当該各フローのフロー予測終点を算出する予測終点算出処理と、
前記画像と同一サイズの画像を描画できる二次元の予測バッファに対して前記各フロー予測終点での前記実空間での距離に応じた大きさの予測領域を当該各フロー予測終点を中心として描画する予測領域描画処理と、
前記グループに属する前記各フローの終点が、前記予測領域に予め定められたしきい値以上含まれる際に、当該グループを接近車候補と判定する接近車候補判定処理と、
を備えたことを特徴とする請求項７，８，９又は１０記載の周辺車両検出装置。
【請求項１２】
自車の周辺の画像を連続して撮像するカメラと、
前記画像に撮像される範囲のワールド座標系で予め定められた位置及び同一の大きさの仮想ブロックを前記画像の画像座標系に表示ブロックとして予め対応させた表示マップを記憶する表示ブロック管理部と、
前記画像のフロー検出対象となる領域に予め定められた大きさの複数の基礎区画を配置すると共に、検出される前記フローのフロー関連位置に応じて当該基礎区画と同一の大きさの動的区画を配置する区画配置部と、
前記連続する前後の前記画像間で一致度が高い前記区画画像を探索することで前記フローを抽出するフロー抽出部と、
前記検出したフローの有効性を判定することで、接近車検出に有効な有効フローと、接近車ではない無効フローと、有効無効の判定を保留する保留フローとに区別する有効性判定部と、
前記複数の前記有効フロー及び前記保留フローについて前記フロー関連位置の前記表示ブロックの大きさに基づいて当該フローのグループ化を判定するグループ判定部と、
前記画像毎に接近車の候補となるグループを検出すると共に当該グループの検出回数に応じて当該グループが接近車であるか否かを判定する接近車検出部と、
前記保留フローの処理で使用する表示ブロックの大きさを前記有効フローに使用する表示ブロックの大きさよりも小さくする保留フロー減衰制御部と、
を備えたことを特徴とする周辺車両検出装置。
【請求項１３】
前記接近車検出部が、グループ毎に、
当該グループに属する各フローの始点と、当該各フローの直近の速度とを加算することで当該各フローのフロー予測終点を算出する予測終点算出処理と、
前記画像と同一サイズの画像を描画できる二次元の予測バッファに対して前記各フロー予測終点での前記表示ブロックの大きさの予測領域を当該各フロー予測終点を中心として描画する予測領域描画処理と、
前記グループに属する前記各フローの終点が、前記予測領域に予め定められたしきい値以上含まれる際に、当該グループを接近車候補と判定する接近車候補判定処理とを備え、
前記保留フロー減衰制御部が、前記予測領域描画処理にて前記保留フローに使用する表示ブロックの大きさを前記有効フローに使用する表示ブロックの大きさよりも小さく制御する処理を備えた、
ことを特徴とする請求項１２記載の周辺車両検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理により走行環境を確認する技術分野に関連し、特に、移動体に装備され走行環境の物体を抽出する技術に関する。
【背景技術】
【０００２】
移動体は、例えば、四輪車、二輪車、電動車などである。運転者は、駐車のための操作時等を除き、通常、走行する前方を視る。車線変更や、右左折時には、各種ミラーで後方を確認する。また、移動体には、運転者からの死角がある。ここでは、移動体の前方、側方及び後方などの周囲を走行環境という。
運転者による走行環境の確認を支援するシステムとして、移動体である自車に設置したカメラで走行環境を撮像し、この画像又は補正・編集した画像を表示部に表示する手法や、画像処理をして一定の条件を満たす際に警報を発する手法などがある。
走行環境確認のために有用な画像処理として、時間的な差のある２枚の画像間で同一物体を抽出し、その物体間の変位ベクトルをオプティカルフローとして生成する手法がある。
【０００３】
特許文献１には、オプティカルフローを用いて走行環境中の移動体を抽出することを目的として、オプティカルフロー群を複数の小領域に分割し、放射状の一定範囲に含まれる小領域を一つの移動体と認識する手法（段落００１８から００２０，００２７から００２９，図３）が開示されている。
特許文献２には、オプティカルフローを用いて後続車両の接近の判定を目的として、相対速度が大きく車間距離が短いほどオプティカルフローが大きくなる性質から、このオプティカルフローの大きさの平均値に基づいて、接近の程度を判定する（段落００１０、００２０から００２２、００２９から００３０，図４）手法が開示されている。
特許文献３には、テンプレートマッチングによるオプティカルフローを用いて侵入者を追跡監視することを目的として、当初のテンプレートの周辺にウインドウを設定し、ウインドウを周回しつつオプティカルフローの一致率が高いウインドウを探索し、一致率の高いウインドウの方向へテンプレートを平行移動（段落０００９、００４３から００４７）させる手法が開示されている。
特許文献４には、画像の背景に周期的な構造物が存在する場合でも移動体のオプティカルフローのみを抽出することを目的として、時間的に連続する３つの画像間の２つのオプティカルフローの関係から、静止物体に起因する偽のオプティカルフローを判定する手法が開示されている。
特許文献５（同一出願人及び発明者）には、広角レンズを用いたカメラで撮像した画像の座標値とワールド座標系の座標値とをイメージ・プレーン上での補正計算により対応させる手法が開示されている。
特許文献６（同一出願人）には、広角歪みを有する画像の補正計算に際して画像を同心円状に３領域に区分して領域毎に最適な補正計算をする手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平8-83345号公報
【特許文献２】特開平11-259634号公報
【特許文献３】特開2002-163657号公報
【特許文献４】特開平8-30792号公報
【特許文献５】特開2010-218226号公報
【特許文献６】特開2011-054008号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１では、オプティカルフローのグループ化について、二次元の画像座標系にてグループ化の計算をしているため（段落００２６から００２８）、自車と移動体との車間距離の遠近に応じて計算精度が低下してしまう。また、自車と移動体とが接近し移動体が大きく撮像される状態では、移動体の輪郭部分のみが抽出されることで、オプティカルフローが離散化してしまい、グループ化が困難となる。
上記特許文献２では、オプティカルフローのグループ化について、フローの総和をフローの総数で除算することでフローの大きさの平均値を算出しているため（段落００２９）、自車と移動体との車間距離の変化に応じて抽出されるフローの総数が変化すると、フローの大きさの平均値に含まれる誤差が大きくなってしまう。
上記特許文献３では、テンプレートマッチングの最適化につき、多数のウインドウを生成して一致率を算出しなければならず（段落００４３）、そして、ウインドウの設定も総当たりであり（段落００４４）、移動体をリアルタイムで検出するための計算コストが膨大となってしまう。
上記特許文献４では、背景に周期的に生じる静止物から生じてしまう偽のオプティカルフローを除去する手法について、オプティカルフローの長さの比に基づいた判定をしているため（段落００１４）、自車と静止物との車間距離が変化に弱く安定した除去をすることができない。
【０００６】
［課題１］このように、上記従来例では、少ない計算量で走行環境をリアルタイムに監視することができない、という不都合があった。
［課題２］また、上記従来例では、移動体までの車間距離が変化すると同一物体の移動をフロー群から検出することが難しくなってしまう、という不都合があった。
【０００７】
［発明の目的］本発明の目的は、少ない計算量でリアルタイムに自車の周辺環境を監視することにある。
【課題を解決するための手段】
【０００８】
［着眼点］本発明の発明者は、自車周辺の移動体を検出するには、小さ過ぎない大きさのテンプレート（区画）を配置しておき、フローが検出された際に当該検出されたフローの位置又はその近くに同一の大きさの区画を動的に配置すると良い、という点に着目した。そして、動的な区画配置の仕方や動的区画から抽出されるフローのグループ化等を工夫することで、上記課題を解決できるのではないか、との着想に至った。
【０００９】
［課題解決手段１］実施例１に対応する第１群の本発明は、オプティカルフロー処理装置であり、自車の周辺の画像を連続して撮像するカメラと、前記画像のフロー検出対象となる領域を予め定められた同一の大きさの基礎区画で区分けする基礎区画配置部と、前記検出される前記フローのフロー関連位置に前記基礎区画と同一の大きさの動的区画を動的に配置する動的区画配置部と、前記基礎区画及び動的区画で区画されたそれぞれの区画画像の特徴量を当該基礎区画及び動的区画の区別無く算出する特徴量算出部と、前記連続する前後の前記画像間で前記特徴量の一致度が高い前記区画画像を探索することで前記フローを抽出するフロー抽出部とを備えた、という構成を採っている。
これにより、上記課題１を解決した。
【００１０】
［課題解決手段２］ 実施例２に対応する第２群の本発明は、周辺車両検出装置であり、自車の周辺の画像を連続して撮像するカメラと、前記画像のフロー検出対象となる領域に予め定められた大きさの複数の基礎区画を配置すると共に、検出される前記フローのフロー関連位置に応じて当該基礎区画と同一の大きさの動的区画を配置する区画配置部と、前記連続する前後の前記画像間で一致度が高い前記区画画像を探索することで前記フローを抽出するフロー抽出部と、前記複数のフローの前記フロー関連位置間の実空間での距離に基づいて当該複数のフローのグループ化を判定するグループ判定部と、前記画像毎に接近車の候補となるグループを検出すると共に当該グループの検出回数に応じて当該グループが接近車であるか否かを判定する接近車検出部とを備えた、という構成を採っている。
これにより、上記課題１及び２を解決した。
【発明の効果】
【００１１】
本発明は、本明細書の記載及び図面を考慮して各請求項記載の用語の意義を解釈し、各請求項に係る発明を認定すると、各請求項に係る発明は、上記背景技術等との関連において次の有利な効果を奏する。
【００１２】
［発明の作用効果１］ 課題解決手段１のオプティカルフロー処理装置は、基礎区画配置部が、同一の大きさの基礎区画（テンプレート）で画像を区分けし、動的区画配置部が、検出したフロー関連位置に基礎区画と同一の大きさの動的区画を動的に配置し、特徴量算出部が、基礎区画及び動的区画で区画されたそれぞれの区画画像の特徴量を当該基礎区画及び動的区画の区別無く算出するため、共通の情報処理で基礎区画及び動的区画の特徴量を算出することができる。
そして、フロー抽出部は、連続する前後の前記画像間で前記特徴量の前記一致度が高い前記区画画像を探索する。
このように、抽出したフローの位置に関連するフロー関連位置に動的区画を配置することで、基礎区画間に隙間があっても、または、基礎区画を比較的大きめとしても、動的区画により移動車の特徴的な画像部分を切り出すことができ、そして、動的区画及び基礎区画の区画画像を用いて特徴量の一致度によりフローを抽出するため、少ない計算量で、移動車の移動を連続的に検出することができる。従って、自車の走行中に少ない計算量でリアルタイムに周辺環境を監視することができる。
【００１３】
［発明の作用効果２］ 課題解決手段２の周辺車両検出装置は、区画配置部が、検出される前記フローのフロー関連位置に応じて当該基礎区画と同一の大きさの動的区画を配置し、フロー抽出部が、前記連続する前後の前記画像間で前記一致度が高い前記区画画像を探索することで前記フローを抽出するため、課題解決手段１と同様に、少ない計算量で移動車の移動を連続的に検出することができる。
さらに、グループ判定部が、前記複数のフローの前記フロー関連位置間の実空間での距離に基づいて当該複数のフローのグループ化を判定するため、移動車が実空間で遠方にある場合には小さく撮像され、近接すると大きく撮像されるという遠近ギャップによらず、フロー間の実空間での距離に基づいてフローをグループ化することができる。そして、動的区画に由来するフローは実空間で近い位置にあるため、動的区画から抽出されるフロー群を良好にグループ化することができる。特に、一度抽出したフローのフロー関連位置に動的区画を次々と配置することで、フローの抽出により移動車の移動を良好に追跡し、これをフローのグループを単位として情報処理することができる。
そして、接近車検出部は、前記画像毎に接近車の候補となるグループを検出すると共に当該検出回数に応じて当該グループが接近車であるか否かを判定する。
従って、接近車の候補となる区画画像の推移をフローとして抽出し、さらに移動車の接近により遠近ギャップが生じても移動車に由来するフローを良好にグループ化し、このグループの検出を連続して行うことで、少ない計算量で、接近車を良好に抽出することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の一実施形態の構成例を示すブロック図である。（実施例１）
【図２】本実施形態で使用するテンプレートの種類を示す説明図である。（実施例１から３）
【図３】図３（Ａ）及び（Ｂ）はワールド座標系とカメラ座標系と画像座標系との関係例を示す説明図である。（実施例１から３）
【図４】図４は仮定地上高の設定例を示す説明図である。（実施例１から３）
【図５】図５は仮想ブロックと表示ブロックとの関係例を示す説明図である。（実施例１から３）
【図６】図６は仮想円盤を用いて表示ブロック半径を求める情報処理の一例を示すフローチャートである。（実施例１から３）
【図７】図７は図６に示す情報処理での仮想ブロックベクトル等の一例を示す説明図である。（実施例１から３）
【図８】図８（Ａ）から（Ｃ）は図６に示す情報処理の手順４から手順６に対応する状況の一例を示す説明図である。（実施例１から３）
【図９】図９（Ａ）から（Ｆ）広角又は補正した画像とそれぞれの表示ブロックとの関係例を示す説明図である。（実施例１から３）
【図１０】図１０は実施例１での情報処理例を示すフローチャートである。（実施例１から３）
【図１１】図１１は画像座標値の相違に応じた表示ブロックの大きさの相違例を示す説明図である。（実施例１から３）
【図１２】図１２は動的補完区画を配置する処理例を示すフローチャートである。（実施例１から３）
【図１３】図１３（Ａ）及び（Ｂ）は動的補完区画の配置例を示す説明図である。（実施例１から３）
【図１４】図１４（Ａ）及び（Ｂ）は基礎区画と動的区画を配置した一例を示す説明図である。（実施例１から３）
【図１５】図１５は実施例２の構成例を示すブロック図である。（実施例２）
【図１６】図１６（Ａ）及び（Ｂ）は実空間距離の例を示す説明図である。（実施例１から３）
【図１７】図１７（Ａ）及び（Ｂ）はフローと表示ブロックとの対応例を示す説明図である。（実施例１から３）
【図１８】図１８（Ａ）及び（Ｂ）はフローとフローのグループとの対応例を示す説明図である。（実施例１から３）
【図１９】図１９はグループ判定部の構成例を示すブロック図である。（実施例１から３）
【図２０】図２０は画像IM[9]に接近車MAが撮像された一例を示す説明図である。（実施例１から３）
【図２１】図２１は画像IM[10]に接近車MAが撮像された一例を示す説明図である。（実施例１から３）
【図２２】図２２は画像IM[9][10]間で抽出されたフローの一例を示す説明図である。（実施例１から３）
【図２３】図２３は図２２に続いてさらにフローが抽出された一例を示す説明図である。（実施例１から３）
【図２４】図２４は図２２に示す状態での統合バッファに描画したグループ領域の一例を示す説明図である。（実施例１から３）
【図２５】図２５は図２３に示す状態で統合バッファに描画したグループ領域の一例を示す説明図である。（実施例１から３）
【図２６】図２６はグループの推移と統合処理の一例を示すための説明図である。（実施例１から３）
【図２７】図２７は画像IM[18][19]間で抽出されたフローをグループ化した一例を示す説明図である。（実施例１から３）
【図２８】図２８は画像IM[19][20]間で抽出されたフローをグループ化した一例を示す説明図である。（実施例１から３）
【図２９】図２９は図２８に示すグループに統合処理等をした一例を示す説明図である。（実施例１から３）
【図３０】図３０は図２９に示すグループのグループ番号の調整処理等に使用するグループ検出回数テーブルを説明用に整理した内容を示す説明図である。
【図３１】図３１は接近車検出部の構成例を示すブロック図である。（実施例１から３）
【図３２】図３２は予測バッファに描画した予測領域の一例を示す説明図である。（実施例１から３）
【図３３】図３３は実施例３の構成例を示すブロック図である。（実施例３）
【図３４】図３４は実施例３の情報処理例の前段を示すフローチャートである。（実施例１から３）
【図３５】図３５は実施例３の情報処理例の中段を示すフローチャートである。（実施例１から３）
【図３６】図３６は実施例３の情報処理例の後段を示すフローチャートである。（実施例１から３）
【図３７】図３７はフローテーブルの一例を示す説明図である。（実施例１から３）
【図３８】図３８は区画テーブルの一例を示す説明図である。（実施例１から３）
【図３９】図３９（Ａ）及び（Ｂ）は繰り返しパターンの拡大例を示す説明図である。（実施例１から３）
【図４０】図４０（Ａ）及び（Ｂ）は繰り返しパターン等による誤検出フローの例を示す説明図である。（実施例１から３）
【図４１】図４１は繰り返しパターンと区画画像との関係例を示す説明図である。（実施例１から３）
【図４２】図４２は繰り返しパターンと真逆フローとの関係例を示す説明図である。（実施例１から３）
【図４３】図４３は真逆フローの一例を示す説明図である。（実施例１から３）
【図４４】図４４は統合バッファでの真逆フロー等の処理例を示す説明図である。（実施例１から３）
【図４５】図４５は予測バッファでの予測領域を小さくした処理例を示す説明図である。（実施例１から３）
【図４６】図４６（１ａ）から（５ｂ）は手順Fで参照する画像例である。
【図４７】図４７（６ａ）から（１０ｂ）は手順Fで参照する画像例である。
【図４８】図４８（１１ａ）から（１５ｂ）は手順Fで参照する画像例である。
【図４９】図４９（１６ａ）から（２０ｂ）は手順Fで参照する画像例である。
【図５０】図５０（２１ａ）から（２５ｂ）は手順Fで参照する画像例である。
【図５１】図５１（２６ａ）から（３０ｂ）は手順Fで参照する画像例である。
【図５２】図５２（３１ａ）から（３５ｂ）は手順Fで参照する画像例である。
【図５３】図５３（３６ａ）から（３７ｂ）は手順Fで参照する画像例である。
【図５４】図５４（３８ａ）及び（３８ｂ）は実施例３の真逆フロー処理の効果例を示す画像例である。（実施例１から３）
【発明を実施するための形態】
【００１５】
発明を実施するための形態として、３つの実施例を開示する。実施例１はオプティカルフロー処理装置であり、実施例２及び３は周辺車両検出装置である。実施例１から３までを含めて実施形態という。
【００１６】
＜0.1 オプティカルフロー処理＞
オプティカルフロー処理（相関法）は、時間的に連続する２枚の画像IMを対象とした情報処理であり、前回撮像した前画像IMと、前画像IMの次に撮像した現画像IMとを比較することでオプティカルフローFlwを抽出する。本明細書では、オプティカルフローFlwを「フローFlw」と省略する。
フロー抽出処理では、予め定められたテンプレートで前画像IM及び現画像IMを多数の矩形領域（区画）に区切り、前画像IMの区画画像TMと相関性の高い現画像IMの区画を探索する。この区画の比較・探索をブロックマッチングという。そして、前画像IMの区画画像TMの特徴と最も良く一致する現画像IMの区画画像TMを探索し、特徴が相関する程度が一定以上の区画間をフローFlwで結びつける。このフローFlwはベクトルであり、その大きさ（フロー長）は自車MTも移動中であれば相対速度に比例する。フローFlwは二次元の画像座標系UVで抽出されるため、フロー方向FlwAは三次元座標でのベクトルを二次元に投影した際の向きとなる。すなわち、フロー方向FlwAは進行方向に関連するが進行方向そのものではない。
【００１７】
フローFlwは、移動前となる前画像IM上に配置したテンプレートの区画（矩形領域）から、移動後となる現画像IMの座標上の区画を結ぶベクトルである。移動前の区画の基準点がフローFlwの始点[U0, V0]、移動後の区画の基準点がフローFlwの終点[U1, V1]となる。現画像IMが前画像IMとなると、現画像IMでフロー終点[U1, V1]であった区画は、前画像IMとしてフロー始点[U0, V0]となる。フロー始点[U0, V0]とフロー終点[U1, V1]とを特定することで、フローFlwの属性を表現することができる。
ブロックマッチングでの特徴量FEとしては、相違度 (SAD, Sum of Absolute Difference) や正規化相互相関 (NCC, Normalized cross-corelation) 等の評価値がある。この評価値の偏差が最も小さい区画の一致度SADの高い区画を探索することで、前画像IMから現画像IMに向けて探索された区画間にフローFlwを配置することができる。
【００１８】
ところが、特に一致度SADを判定指標とするブロックマッチング処理については外乱の影響に弱く、例えば路面GT等、特徴のない平坦な画像IMでは不特定多数の位置に区画間の一致箇所が発生してしまう。このような平坦な区画画像TMから検出されたフローFlwの大きさや方向は一定には定まらず、路面GTの荒れ具合や照明条件によっては、抽出されるフローFlwが接近車MAを示すフローFlwと同じ性質を持つ場合がある。このような誤検出フローFlwは接近車MAの有無を判断する際に非常に大きな障害となる。また、正規化相互相関NCCを判定指標としたフロー検出処理では、計算負荷が大きく、処理能力が十分でないシステムでは、遅延、不検出の恐れがある。
【００１９】
このような路面GT等と移動体とを情報処理により区別するには、ブロックマッチングの際に、区画画像TM内の輝度値について、その分散（ばらつき）、差分、またはソーベルフィルタ等の微分処理をし、その処理結果である評価値を算出すると良い。これらの評価値を使用すると、移動体の特徴量FEを持たない区画画像TMを区別し、フローFlwの検出対象外と判定することができる。これにより、接近車MAではないフローFlwをノイズとして除去することができる。
【００２０】
しかし、テンプレートと物体との位置関係によっては、物体の特徴量FEが十分に算出されないこともある。望ましくは、対象物体そのものか、又は特徴的な部分がテンプレート（区画）の中央部分に位置し、背景や近接状態のボディ板面といった特徴量FEをあまり持たない画像IMよりも多くの表示領域を占めると良い。逆に、テンプレートが、画像IMに撮像された物体の特徴部分を含みつつも、背景や特徴のないボディ板面などが多く含まれてしまうと、特徴量FEが良好に計算されず、安定したフローFlwの抽出ができなくなってしまう。
【００２１】
そして、接近車MAの出現タイミングや出現位置は予測不能であるため、接近車MAが偶然にテンプレートの中央付近に移動するのを待ち、また、出現位置を予測し、その特定位置に対して集中的にテンプレートを配置しておくような手法は非現実的である。
このため、特徴量FEを含む区画をできるだけ多くするには、初期状態で登録するテンプレート（基礎区画BT，デフォルトテンプレート）を画像IMの全域に対して均等に密な間隔で配置すると良い。しかしながら、単に基礎区画BT間の隙間を狭くし、または基礎区画BTの大きさを小さくして、その数を増加させるだけでは、搭載するメモリ等のリソースをより多く必要とし、計算量も二乗のオーダーで増加する高コストなシステムとなってしまう。そして、多くの基礎区画BTは背景や路面GT等、接近車MAとは関係ない無意味な参照を行うこととなり、画像処理が非効率となってしまう。
【００２２】
これに対し、例えば、特許文献３に、フローFlwの検出位置へ新たにテンプレートを動的に配置する手法が記載されている。このようにフロー検出位置に順次テンプレートを追加していくことで、予め密で多数のテンプレートを配置しなくとも、基礎区画BTをまたがるような動的区画DTを追加配置することができる。これにより、接近車MAの存在確率が高いところに対し車両を見失う確率を軽減できる。
残念ながら、特許文献３記載の手法では、検出したテンプレートあるいは、新規に追加したテンプレートを次回のオプティカルフロー処理においてアフィン変換によって画像IMサイズを伸縮処理してマッチングしているため、画像IMの伸縮処理、および伸縮サイズに合わせてマッチング処理を変更する処理が必要となり、その結果、非常に高価な計算コストがシステムに要求されてしまう。さらに、画像IMの伸縮作業においては画素の欠落・補完あるいは画像IM自体の変形が発生するため、本来の画像IMで比較する場合に比べマッチング精度が低下してしまう。特に、広角歪み等を有する非線形の画像IMを対象とする場合には、画像IMを線形に伸縮するとマッチング精度が極端に悪化してしまう。
【００２３】
また、オプティカルフロー処理は、NTSCビデオレート（1/30 [sec]）等のごく短い期間で連続画像IMを処理するため、前後する画像IMの変形量は小さく、ほぼ無視できる。このため、移動前後の2枚の異なる画像IMを対応させることができる。よって、画像IM自体を伸縮処理するような複雑な作業はかえって遅延を招く要因となり、遅延に引きずられる形で物体の移動量が増加すると、さらに大きな伸縮作業が必要となる。結果、さらなる精度低下およびコストアップを招きかねない。
【００２４】
本実施形態では、上記の不都合を考慮し、以下のような処理手法を提案する。
適度に分布配置させた基礎区画BT（デフォルトテンプレート）に加え、基礎区画BTと同じサイズである動的区画DT（動的テンプレート）を、フローFlwの検出にあわせ動的に追加する。これにより、接近車MAの可能性が高く探索の重要度が高いエリアに対して、探索精度を部分的に向上させることができる。さらに、この動的区画DTの配置により、連続検出を行うためのフローFlwのトラッキング効果（追跡効果）を得ることができる。
【００２５】
そして、全ての区画画像TM（テンプレート）のサイズを共通化する。すなわち、基礎区画BTと動的区画DTの大きさを等しくする。この共通化により、ブロックマッチング等の主要な画像処理を同一の処理とすることができる。従って、メモリ・リソース節減や計算コストの削減効果を得ることができる。そして、動的追加する動的区画DTの登録数を必要に応じて調整する実施例では、この計算コストの削減効果がさらに大きい。
好ましい実施例では、得られたトラッキング効果により、任意のフローFlwの連続検出回数や移動量・移動方向の変化を監視することができる。この条件に評価用のしきい値を設定して接近車MAの判定を行うことができる。
【００２６】
そして、時系列でみて連続作業の中で接近車MAを規定回数以上連続検出するためには、より条件の良いフローFlwを元に動的に動的区画DTを配置する必要がある。検出したフロー終点（移動位置）に対して、予め定めた規則に従って周辺領域にさらに複数の動的区画DTを追加配置することで、接近車MAが中央に配置されない場合でも、他の動的区画DTでギャップを補えるよう補完することができる。実施例では、フロー終点等のフロー関連位置FP又はごく近くに配置する動的区画DTを動的中心区画DTcといい、動的中心区画DTc等を中心としてその周囲に配置する動的区画DTを動的補完区画DTsという。
【００２７】
この動的補完区画DTsをフロー終点以外の周囲部に複数個配置しておけば、仮にレンズの歪や視差の影響で画像IMの表示形状に変形が生じた場合でも、複数配置した動的補完区画DTsのうち比較的変形量が少ない位置へ配置されたものが、本来の検出位置に配置された動的中心区画DTcの代わりに検出を行うことができる。すなわち、動的補完区画DTsの配置により、接近車MAの連続検出性を向上できる。
【００２８】
このようにして、連続検出能力を向上する手法をとれば、仮にフロー終点で特徴量FEを稼げずに次回の処理でフローFlwを見失っても、周辺に配置した区画から検出できたフローFlwを元に移動体のトラッキングを継続することができる。
そして、次画像IM、次々画像IMと検出処理が進行する毎に、特徴量FEの少ない、あるいは一致度ADの低い等、条件の悪い動的区画DTを、より条件の良い動的区画DTと置き換えていく仕組みを盛り込むことで、処理が進行するほど条件の良い区画のみで選別された理想状態に近づけることができる。結果、さらにトラッキング性能を向上できる。
【００２９】
動的中心区画DTc、動的補完区画DTs、及び他の隣接する基礎区画BTから検出したフローFlwを一定条件下でグループ化すると、フローFlwのグループFlwGを単位として、接近車MAの判定に必要な連続検出回数・移動成分等の判定情報を共有することができ、最終的な接近車MAの検出に関する評価時に良好に使用することができる。
また、離散により単独検出となったフローFlwに対する補完区画の追加処理により、単独状態となったフローから派生する追加の区画により１度消えかけたグループFlwGが再形成できる。この効果によりさらに連続検出性能が向上できる。
【００３０】
ところで、自車MTと移動体の車間距離が短くなると、区画画像TMに含まれる実空間での大きさが小さくなり、移動体の表面が拡大されてくる。移動体が四輪車であると、区画画像TMは、例えば、そのボディの板面をクローズアップした状態まで拡大される。すると、この区画画像TMでは特徴的な要素を持たず、輝度値が単一な画像IMとなってしまう。
通常、ブロックマッチングの精度維持や処理負担の均質化のために、テンプレートの各区画画像TMの大きさは同一となっている。このため、車間距離が短くなるにつれて、遠近表示により、区画画像TMに対応する実空間での相関寸法が小さくなる。すると、特徴を有していた移動体が撮像されている区画画像TMであっても、車間距離が短くなることで、特徴がなくなり、フローFlwを抽出できなくなる。特に、微分処理等による路面判定処理が機能する例では、特徴量FEを持たない区画画像TMについては、処理対象外となる。
【００３１】
すなわち、接近車MAの撮像範囲に配置される区画画像TMであっても、車間距離によっては、フローFlwが上手く抽出されない区画が生じてしまう。その結果、判別可能となる区画画像TMは、接近車MAの各物体の輪郭、タイヤや、ライト・バンパー等の輝度変化の大きい部分に重なった区画のみとなる。
この状況下では、接近後に残るフローFlwは離散的な配置となり、隣接するフローFlwの間隔が開くため、隣接するフローFlwの集合（グループFlwG）を単位とした情報処理が困難となり、接近車MAを連続して追跡する処理の精度が低下してしまう。
【００３２】
このように、自車MTと接近車MAとの車間距離が変化すると、第１に、同一サイズの区画画像TMでは接近した接近車MAの全体をフローFlwとして検出できなくなってしまう。第２に、同一の接近車MAから生じるフローFlwが離散的で接続しなくなってしまうため、フローFlwをグループ化して判定する処理の精度が悪化してしまう。
このような課題に対し、好ましい実施例では、表示ブロックBDを参照して動的区画DTを配置し、また、表示ブロックBDを参照してフローFlwのグループ化の判定をし、さらに表示ブロックBDを利用してグループFlwGが接近車MAの候補となるか否かの判定をすることで、車間距離による表示ギャップの影響を除去した状態でフローFlwの抽出、グループ化、又は接近車MAの判定をすることができる。
【００３３】
＜0.2 フロー関連位置FP＞
本実施形態は、抽出されたフローFlwに関連する位置に、次回のオプティカルフロー処理用に動的区画DTを配置する。フローFlwは、上述のように、前画像IMと現画像IMとの間で特徴量FEの一致度ADが高い区画間を結ぶ。前画像IMの区画位置がフロー始点、現画像IMの区画位置がフロー終点となる。
本実施形態では、フローFlwの位置を基準として動的区画DTを配置する。好ましい実施例では、実空間での大きさ等の情報の参照や、等の情報処理を行う。基準とすべきフローFlwの位置は、フロー始点でなければならない場合にはフロー始点と明記し、フローFlwに関連する位置であれば厳密に始点や終点と同一点でなくても良い場合には、本明細書では、「フロー関連位置FP」という。
フロー関連位置FPとしては、（１）フロー始点、（２）フロー終点、（３）フロー始点とフロー終点とから算術的に求められる位置（例えばフローFlwの中点）、（４）フローFlwの終点に近い位置、（５）フローFlwの延長線上の位置、（６）フローFlwの始点又は終点から一定距離の位置、（７）フローFlwの始点又は終点から一定距離以内の位置などがある。
【００３４】
好ましい実施例では、フロー関連位置FPが点ではなく一定領域となることもあり、その領域の大きさは画像IMの位置に応じて変化する。例えば、本発明の実施例では、動的補完区画DTsを配置するフロー関連位置FPを次のように求める。まず、フローFlwの終点でのワールド座標系XYZと画像座標系UVとの大きさの対応関係を参照する。そして、当該フローFlwの終点を中心とする当該対応関係に応じた大きさの範囲を、フロー関連位置FPとする。
フローFlwの終点でのワールド座標系XYZと画像座標系UVとの大きさの対応関係は、事前にオフラインで計算しておきマップ等を作成しておいても良いし、リアルタイムに計算するようにしてもよい。好ましい実施例では、この対応関係を表示マップ３４として事前に作成しておく。表示マップ３４は、画像座標系UVの各位置と、当該位置での表示ブロック半径BDr（図５、図６参照）又は実空間距離WL（図１６参照）を対応させたマップとすると良い。
【００３５】
＜0.3  座標系と各種マップ＞
図３に座標系の定義例を示す。本実施形態及び各実施例では、様々な座標系の定義を採用できるが、代表的な例を図３に示す。図３では、三次元のカメラ座標系xyzと、三次元のワールド座標系XYZと、二次元の画像座標系UVとを示す。
図３（Ａ），（Ｂ）に示す例では、カメラ座標系xyzのx軸とワールド座標系XYZのX軸と画像座標系UVのU軸とは平行であり、カメラ座標系xyzのy軸と世界座標系XYZのY軸と画像座標系UVのV軸とが平行である。ワールド座標系XYZのZ軸は路面と平行で車両の後方に向き、カメラ座標系xyzのz軸はカメラ１０の光軸と一致する。イメージ・プレーンIPはカメラ座標系xyzのxy平面に設定する。
図３（Ｂ）に示すように、カメラ座標系xyzの原点OCは、レンズ焦点位置であり、画像座標系U,Vの中心からカメラ座標系のz方向に焦点距離fの位置にある。図４に示すイメージ・プレーンIPはこの焦点位置を含むカメラ座標系xyzのxy平面に設定する。
以下、数式のデータ名（値や符号）の名称の末尾にwを付した値は特にワールド座標系XYZでの座標値であることを示し、末尾にcを付した値はカメラ座標系xyzでの座標値であることを示す。w又はcを付していない場合には、どちらであっても計算可能であることを示す。
さらに、画像IMが広角画像IMである際には、イメージ・プレーンIPに理想座標値[Xcm, Ycm]と歪曲座標値[Xcd, Ycd]とを定義し、所定の算式で歪曲座標値[Xcd, Ycd]を理想座標値[Xcm, Ycm]に近似する。理想座標値[Xcm, Ycm]は線形で、ワールド座標系XYZと対応させることができる。
【００３６】
・仮定地上高Yconst
図４を参照すると、本実施形態では、カメラ１０を自車MTの後方に設置し、自車MTの後方の走行環境を撮影する。カメラ１０を下向きに傾けて設置することで、接近車MA等の移動体を撮像できる範囲を広くしている。そして、カメラ１０の光軸（z軸）を法線とする平面でカメラ１０の焦点位置にある平面がイメージ・プレーンIP（特許文献５での理想平面）である。
本実施例では、画像座標[U, V]の２つの座標値U, Vと、ワールド座標系XYZの３つの座標値X, Y, Zとを対応させるために、ワールド座標系XYZの高さYについては、予め定められた高さを仮定地上高Yconstとして仮定する。すなわち、ワールド座標系XYZにて様々なフローFlwが抽出されるが、その高さを仮定地上高Yconstと仮定する。すると、仮定地上高Yconstに近い高さのフローは若干の速度の誤差を含みつつ仮定地上高Yconstの高さに表れたと取り扱われ、一方、仮定地上高Yconstとは高さの異なる高さのフローFlwは、速度に異常があるノイズとして除去されていく。
【００３７】
従って、仮定地上高Yconstを仮定することで、画像座標系UVとワールド座標系XYZとを対応させることができる他、路面GTに生じるフローFlwや、車高より高い電柱や歩道橋等から生じるフローFlwをノイズとして除去し易くなる。
図４に示すように、仮定地上高Yconstは、フローFlwを抽出する特徴量FEの多いバンパー付近の高さとすると良い。第１の仮定地上高Yconst1はバンパーと車体とのつなぎ目、第２の仮定地上高Yconst2はバンパー下部と路面GTとの境界で輝度差が大きく現れやすい高さである。実施例では、フローFlwの目的に応じて仮定地上高Yconstを定める。
【００３８】
・マップ
本実施形態の画像処理では、画像IMを対象とする画像処理をしつつ、実空間での位置（速さ、大きさ、距離）等の情報を参照することがある。実空間の情報を参照するには、関連する座標値の変換式によりリアルタイムに計算しても良いが、予め定められた精度で対応関係を計算しておき計算結果をマップとして求めておくと、少ない計算量でリアルタイム処理をすることができる。
ここでは、実施例で使用可能な３つのマップについて説明する。各マップは一例であって、他の構成でのマップを使用しても良い。１つめは、画像座標値[U, V]からワールド座標値[X, Yconst, Z]を求めるマップで、UVtoXZマップ（特許文献３の計測マップ）という。２つめは、ワールド座標値[X, Z]から画像座標値[U, V]を求めるマップで、XZtoUVマップという。３つめは、画像座標値[U, V]から世界座標系の仮想ブロックIBの画像座標系UVでの大きさ（例えば、球体である仮想ブロックIBの半径）を求めるマップで、表示マップ３４という。
実施例１及び２では上述したマップの活用は必須ではないが、適宜使用することでより効果を得ることができる。実施例３では上述した３つのマップを利用する。
【００３９】
・UVtoXZマップ（計測マップ）
特許文献５には、駐車支援用の広角レンズを使用したカメラ１０を元に画像座標系UVの二次元座標と、実空間のワールド座標系XYZの座標値との相関を円滑に取得するためのUVtoXZマップ（計測マップ）が開示されている。
UVtoXZマップを生成するには、まず、カメラキャリブレーションデータrnn, tn, kn, pn, ann, cnを読み出す。そして、仮定地上高Yconstを設定する。
次に、次式（１）を使用して画像座標値[U, V]を歪曲座標値[Xcd, Ycd]に変換する。
なお、式の番号を示す数字にa,b,c等のアルファベットが付されている式について、その式の番号を示す数字で言及する際には、アルファベットで識別するすべての式を含む。例えば、式(2)というときには、式(2a)と式(2b)とを含む。
【００４０】
【数１】
2013149176.tif 000003
【００４１】
-1:  逆行列であることを示す
[U, V]：  広角の画像IMでの画像座標値であり、物体を撮像した画像座標系UVでの画素位置（二次元平面）
[Xcd,Ycd]：  歪曲平面座標系（歪みがあるイメージ・プレーン）での歪曲平面座標値（二次元平面）
ann：  カメラ１０の内部パラメーターで線形歪み
Cx, Cy：  広角の画像IMの画像IM中心
【００４２】
さらに、歪曲座標値[Xcd, Ycd]を理想座標値[Xcm, Ycm]に変換する。このとき、好ましい実施例では、理想平面に校正円Rckを配置し、校正円Rckの内側は放射歪曲を放射歪曲補正式（３）で補正し、校正円Rckの外側は対数歪曲を補正する対数歪曲補正式（４）を使用する。式（３）は、Tsaiの歪曲近似式である。
【００４３】
【数２】
2013149176.tif 000004
【００４４】
[Xcm, Ycm]：  理想平面座標系（歪み無しのイメージ・プレーン）での理想平面座標値（二次元平面）
Rcm:  歪曲平面座標系の座標値[Xcd, Ycd]の半径
Rck：  歪曲平面座標系での校正円Rck（の半径）
kn:  放射歪曲補正パラメーター
pn:  対数歪曲補正パラメーター
【００４５】
次に、次式（５）の関係から、次式（６）により理想座標値[Xcm, Ycm]をワールド座標値[X, Yconst, Z]に変換する。媒介変数ｓは、イメージ・プレーンIPとワールド座標系XYZの相似関係に応じたイメージ・プレーンIPの長さとワールド座標系XYZの長さを対応させる比例定数である。
【００４６】
【数３】
2013149176.tif 000005
【００４７】
-1:  逆行列であることを示す
rnn, tn：  カメラ１０の外部パラメーターでｒは回転成分、ｔは並進成分
[X, Yconst, Z]：  物体のワールド座標系XYZでの座標値（三次元空間）
Yconst:  仮定地上高
s：  媒介変数
【００４８】
このように、画像座標系UVの必要な範囲の座標値[U, V]について、式（１）を用いてイメージ・プレーンIP上の広角歪みを含む座標値を求め、式（３）及び（４）を用いて広角歪みを近似補正した理想値を求め、仮定地上高Yconstと式（６）を用いて広角歪みを補正したイメージ・プレーンIP上の理想値からワールド座標系XYZの所定の高さの座標値[X, Yconst, Z]を求めることができる。
【００４９】
UVtoXZマップ（計測マップ）は、画像座標値[U, V]と、ワールド座標値[X, Yconst, Z]とを予め対応させたマップである。
【００５０】
・XZtoUVマップ
XZtoUVマップは、UVtoXZマップとは逆に、ワールド座標値[X, Z]から画像座標値[U, V]を求めるためのマップである。
XZtoUVマップを求めるには、まず、式（５）により、ワールド座標値[X, Y, Z]をイメージ・プレーンIPでの理想座標値[Xc, Yc]に変換する。
次に、式（２）により式（３）と式（４）とを切り換えて、広角歪みを近似的に補正する。
【００５１】
さらに、イメージ・プレーンIPの[Xcd, Ycd]を式（７）に従って画像座標値[U, V]に変換する。
【００５２】
【数４】
2013149176.tif 000006
【００５３】
-1:  逆行列であることを示す
ann：  カメラ１０の内部パラメーターで線形歪み
Cx, Cy：  広角の画像IMの画像IM中心
このように、XZtoUVマップは、ワールド座標値[X, Yconst, Z]と画像座標値[U, V]とを予め対応させたマップである。
【００５４】
・表示マップ３４
UVtoXZマップと、XZtoUVマップとを使用することで、画像IMの任意の画像座標値[U, V]のワールド座標系XYZでの座標値[X, Yconst, Z]を求め、逆に、ワールド座標値[X, Yconst, Z]から画像座標値[U, V]を求めることができる。本実施形態ではさらに、好ましい実施例にて、フローFlwの終点でのワールド座標系XYZと画像座標系UVとの大きさの対応関係の情報を使用する。このワールド座標系XYZと画像座標系UVとの大きさの対応関係は、マップ無しにリアルタイムで求めても良いし、UVtoXZマップと、XZtoUVマップとを使用してリアルタイムに求めても良いし、また、予めこの大きさの対応関係に関するマップを別途作成しておいても良い。ここでは、球体の仮想ブロックIBを用いてこの対応関係を予め計算しておく手法を説明する。計算結果は、画像座標値[U, V]から世界座標系の仮想ブロックIBの画像座標系UVでの大きさを求めるデータを集めたマップであり、表示マップ３４という。
【００５５】
図５に示すように、フローFlwは、世界座標系の仮想ブロックIBの移動から生じると仮定する。仮想ブロックIBは、画像IMに撮像される範囲の三次元空間にて予め定められた位置及び大きさを持つ。この仮想ブロックIBを、前記画像IMの二次元の画像座標系UVに表示ブロックBDとして投影すると、画像座標系UVでは仮想ブロックIBの位置に応じて大きさが異なる。
【００５６】
すなわち、カメラ１０の近くの仮想ブロックIBは、遠方の仮想ブロックIBよりも画像座標系UVにて大きく投影される。すなわち、遠近法により、無限遠点の仮想ブロックIBは極小で、遠くの仮想ブロックIBは小さく、カメラ１０に近づくにつれて大きくなる。
このように、表示ブロックBDは、画像座標系UVの座標値（位置）と関連づけられた仮想ブロックIBの大きさである。従って、三次元空間の物体が、画像IM上、遠近法により大きさが変わる程度を表すことができる。それぞれの表示ブロックBDの大きさは、仮想ブロックIBの位置及び大きさに応じて定められる。
【００５７】
図５に示すように、図中左側のワールド座標系XYZにて、仮想ブロックIBが始点[U0, V0]から終点[U1, V1]に移動したことでフローFlwが生じたと判定する。図３に示す例では、この仮想ブロックIBは球体で、大きさ（仮想ブロック半径IBr）は同一である。この同一の大きさの球体は、画像座標系UVでは、遠近法（自車MTとの車間距離）に応じて画像IMでの表示上の大きさが変化する。すなわち、カメラ１０から奥行き方向（図３（Ａ）のz軸）に遠方となるほど小さくなり、カメラ１０に近づくほど仮想ブロックIBは大きく撮像される。
【００５８】
この表示ブロックBDの大きさ（例えば、半径）について、仮想ブロックIBを二次元化した仮想円盤ICの操作により算出することができる。
図６に示す手順A（表示ブロック半径の算出）では、仮想円盤ICによる算出処理は、手順A1から手順A9までで、手順A3から手順A5はカメラ座標系xyzでの計算、手順A6はワールド座標系XYZでの計算、手順A7から手順A9は画像座標系UVでの計算である。
【００５９】
まず、カメラ座標系xyzの原点OCを、次のように表す。このカメラ座標原点OCは、レンズ焦点位置である。
ワールド座標系XYZ[X, Y, Z] = [OrgXw, OrgYw, OrgZw]
カメラ座標系  [x, y, z] = [OrgXc, OrgYc, OrgZc] =[0,0,0]
求める仮想ブロック（球体又は円盤）の中心位置は、仮定地上高Yconstを採用し、次の通りである。
ワールド座標系XYZ[X, Y, Z] = [Xp, Yconst, Zp]
【００６０】
・手順A1  カメラ座標原点OCをワールド座標系XYZへ変換する（ステップＳ１）。
カメラ座標原点OCの位置は[x, y, z] = [0,0,0]であるので、カメラキャリブレーションデータrnn, tnを用いると次式（１０ａ）と表すことができ、カメラ座標原点ワールド座標 [OrgXw, OrgYw, OrgZw]は次式（１０ｂ）で求めることができる。なお、レンズ焦点位置はイメージ・プレーンIP上の中心となるのでレンズ歪の有無に関わらず、この座標変換式（１０ｂ）を適用することができる。
式（１０ｂ）の添字の-1は逆行列であることを示す
【００６１】
【数５】
2013149176.tif 000007
【００６２】
・手順A2  仮想ブロックベクトルIBvを算出する（ステップＳ２）。
図７に示す例では、カメラ座標原点ワールド座標系OW[OrgXw, OrgYw, OrgZw]から前記仮想ブロックIBの中心IBo[Xp, Yp, Zp]までのベクトルVecを、仮想ブロックベクトルIBv[VecX, VecY, VecZ]として当該ワールド座標系XYZにて算出する。仮想ブロックIBの中心IBoの高さYpは、ここでは仮定地上高Yconstであり、次式（１２）により仮想ブロックベクトルIBvを算出することができる。
【００６３】
【数６】
2013149176.tif 000008
【００６４】
・手順A3  仮想ブロック回転角IBbを算出する（ステップＳ３）。
この例では、当該仮想ブロックベクトルIBv[VecX, VecY, VecZ]をカメラ座標系xyzに変換するとともに、当該仮想ブロックベクトルIBv[VecX, VecY, VecZ]の前記原点OCを中心とした回転角度を仮想ブロック回転角IBei[0, φ、ψ]として算出する。
すなわち、この例では、ワールド座標系XYZの仮想ブロックベクトルIBv[VecXw, VecYw, VecZw]をカメラ１０の外部パラメーターを使用してカメラ座標系xyzの仮想ブロックベクトルIBv[VecXc, VecYc, VecZc]に変換する。
【００６５】
次に、カメラ座標系xyzにて、原点(レンズ焦点)周りに各三次元軸まわりの回転角度[θ,φ,ψ]を求める。仮想円盤ICの回転は面積変化とは独立するのでθ＝0.0（固定）と仮定する。すると、空間の回転変換より、次式（１３ａ）が成り立つため次式（１３ｂ）及び（１３ｃ）にて仮想ブロック回転角IBei[0,φ,ψ]を求めることができる。
ここで、Y軸周り回転角φについてはφとφ±πの2通りの解が発生するが、表裏の関係となり、計算結果に影響は及ばず、調整不要である。
【００６６】
【数７】
2013149176.tif 000009
【００６７】
・手順A4  円盤円周点ICeiを算出する（ステップＳ４）。
図８（Ａ）に示す例では、原点OCの周りに、仮想ブロックIBの大きさに対応した半径rの仮想円盤ICを生成する。そして、当該仮想円盤ICの円周上の点をN分割することで円盤円周点ICei[Xei, Yei, Zei]を算出する。記号eiのiは円周点の番号である。
ここでは、仮想円盤ICの初期角度[θ0,φ0,ψ0]=[0,0,0]とする。すなわち、仮想円盤ICをカメラ座標系xyzのyz平面に設定する。この仮想円盤ICの円周上の点を360度/N分割して、分割点の番号をeiとし、各円周上の分割点ICei[Xei, Yei, Zei]の位置を次式（１４）により求める。仮想円盤ICの半径rは、仮想ブロックIBの実空間での大きさに応じて定めても良いし、仮想ブロックと検出用速度との関係から求めるようにしても良い。
【００６８】
【数８】
2013149176.tif 000010
【００６９】
・手順A5  円盤円周点ICeiを回転変換する（ステップＳ５）。
図８（Ｂ）に示す例では、当該カメラ座標系xyzにて当該複数の前記円盤円周点ICei[Xei, Yei, Zei]を式（１５）によりそれぞれ前記仮想ブロック回転角IBei[0, φ、ψ]で回転変換する。
【００７０】
【数９】
2013149176.tif 000011
【００７１】
仮想円盤ICを構成するN角形のN点を求める計算についてワールド座標系XYZを基準に計算（別解として後述）をしても良いが、ここでは、カメラ座標系xyzを基準に回転等の変換計算を行う。カメラ座標系xyzの原点周りで回転の計算をすると、不要な虚像等が生じずに計算量や判別処理を低減することができる。
【００７２】
・手順A6  仮想ブロック円周点IBeiを算出する（ステップＳ６）。
図８（Ｃ）に示す例では、回転変換した当該複数の前記円盤円周点ICei[Xeiθ, Yeiφ, Zeiψ]を前記ワールド座標系XYZに変換するとともに、次式（１６）の計算により仮想ブロックベクトルIBv[VecX, VecY, VecZ]でシフト移動させることで、当該ワールド座標系XYZにて仮想ブロック円周点IBei[Xeiθp, Yeiφp, Zeiψp]を求める。
【００７３】
【数１０】
2013149176.tif 000012
【００７４】
このように、外部パラメーターの逆変換を使用して円盤円周点ICei[Xeiθ, Yeiφ, Zeiψ]の各頂点を一旦ワールド座標系XYZに戻し、続いて、仮想円盤ICの各ワールド座標[Xeiθ, Yeiφ, Zeiψ]に仮想ブロックベクトルIBv[VecX, VecY, VecZ]を加算することで、ワールド座標系XYZで表される実空間上でシフト移動し、オフセット分を調整する。
【００７５】
・手順A7  表示ブロックBD円周点BDeiを算出する（ステップＳ７）。
この例では、ワールド座標系XYZの前記仮想ブロック円周点IBei[Xeiθp, Yeiφp, Zeiψp]を透視座標変換することで、次式（１７）のように前記画像IMの画像座標系UVでの表示ブロックBD円周点BDei[Uei, Vei]に変換する。
すなわち、仮想ブロックIBの全円周点IBei[Xeiθp, Yeiφp, Zeiψp]を二次元の画像座標系UVに投影することで、表示ブロックBD円周点BDei[Uei, Vei]を算出する。
【００７６】
【数１１】
2013149176.tif 000013
【００７７】
・手順A8  表示ブロックBD面積BDaを算出する（ステップＳ８）。
この例では、当該複数の前記表示ブロックBD円周点BDei[Uei, Vei]に囲まれた前記表示ブロックBDの面積を表示ブロックBD面積BDaとして算出する。
すなわち、画像IM上の投影点[Ue1, Ve1]〜[UeN, VeN]に囲まれた領域について、表示ブロックBD面積BDaを求める。この、表示ブロックBD面積BDaは実際に画像IMに[Ue1, Ve1]〜[UeN, VeN]で囲まれた領域を描画して、その描画画素数から求めることもできるが、例えば、以下のように仮想円盤をN角形と見立ててヘロンの公式などを利用して近似的に求めることもできる。
【００７８】
まず[Ue1,Ve1]〜[UeN, VeN]と同様に、仮想円盤ICの中心ICo[Xp Yconst, Zp]に関して投影座標変換を行い画像平面上の位置[Ue0, Ve0]を求める。
そして、[Ue0, Ve0]と[Uei, Vei], [Uei+1,Vei+1]の隣り合う２点で囲まれる3角形に着目する。
3点を結ぶ辺[ai,bi,ci]を次式（１８ａ）により求める。
これを[Ue1, Ve1]〜[UeN, VeN]まで繰り返し実行して、ヘロンの面積公式で求めた各分割三角形の面積総和により、次式（１８ｂ），（１８ｃ）により仮想円盤ICの画像IM上での表示ブロックBD面積BDaを求める。
【００７９】
【数１２】
2013149176.tif 000014
【００８０】
なお、[Ue0, Ve0]あるいは[Ue1, Ve1]〜[UeN, VeN]が画像IMの外に変換されるときは、該当辺を画像IMの枠との交点でクリップ（切り取り）し、画面の隅とクリップ点で囲まれる領域を計算する。
全ての点が画面外に変換されるときや、三角形が一つも形成されないような位置は面積を０でクリップし無効扱いとする。
【００８１】
・手順A9  表示ブロック半径BDrを算出する（ステップＳ９）。
続いて、表示ブロックBD面積BDaを円の面積とした際の半径を算出することで表示ブロック半径BDrを算出する。
すなわち、仮想円盤ICの大きさを示す場合、表示面積で取り扱うのではなく、求めた表示ブロックBD面積BDaについて表示ブロック半径BDrを次式（１９）により変換して近似半径として扱うことが可能である。
特に歪みを持つカメラ１０では、歪みの影響で投影した影響で外部に移る点が画面中央側へ偏芯するため表示仮想円盤がより真円に近くなる。よって円によるN角形の近似効率が良い。
【００８２】
【数１３】
2013149176.tif 000015
【００８３】
・手順A10  表示マップ３４を生成する（ステップＳ１０）。
この例では、続いて、前記表示ブロック半径BDrと前記画像IMの位置とを相関させることで表示マップ３４を生成する。これにより、画像IMの画像座標値[U, V]と、表示ブロック半径BDrとを対応させた表示マップ３４を予め生成しておくことができる。また、表示ブロック半径BDrやその近似値は、実空間距離WLとすることもできる。表示マップ３４は、図６に示す手順Ａで算出した表示ブロック半径BDrのみならず、別の手法で算出する表示ブロック半径BDrや実空間距離WLを記憶するようにしても良い。また、表示ブロック半径BDrから生成する表示ブロックBD円形（図５参照）に限らず、多角形（図１１参照）とすることができる。
【００８４】
図９（Ａ）は広角カメラ１０を使用した原画像IM、図９（Ｂ）は特許文献５記載の手法で広角歪みを補正した補正画像IMで両者とも本実施例での画像IMである。
仮定地上高Yconstを設定し、画像座標系UVの解像度に応じた無限遠点に相当する位置から自車MTの近くまでに配置した球体の仮想ブロックIBの表示ブロックBDを求めた。この表示ブロックBDを画像IMに重ねた図を図９（Ｃ）及び（Ｄ）に示す。
図９（Ｅ）及び（Ｆ）はそれぞれ図９（Ｃ）及び（Ｄ）の表示ブロックBDのみを抜き出した図である。
このように、表示ブロックBDはカメラ１０の広角の程度や、補正の手法等にかかわらず事後的な計算により求めることができる。
【実施例１】
【００８５】
＜1  オプティカルフロー処理装置 ＞
＜1.1 同一サイズの動的区画DTを配置＞
まず、本実施形態の実施例１を開示する。実施例１は、少ない計算量で自車MT周辺の車両を検出するために、テンプレート（区画）を動的に配置する技術である。
【００８６】
オプティカルフロー処理装置１０１は、その主要な要素として、図１に示すように、カメラ１０と、基礎区画配置部３６と、動的区画配置部３８と、特徴量算出部４０と、フロー抽出部１２とを備えている。以下、各部３６，３８，４０，１２等の内容を説明する。各部３６，３８，４０，１２の動作は、時間的に順序づけて把握すると一連の方法を構成する工程である。各部及び対応する各工程の情報処理は、ＥＣＵ等で実行されるプログラムによって実現することができる。
【００８７】
カメラ１０は、自車MTの周辺の画像を連続して撮像する（撮像工程）。カメラ１０は、通常のレンズで比較的歪みのない画像IMを撮像しても良いし、広角レンズを有し広角歪みのある画像IMを撮像しても良い。
【００８８】
基礎区画配置部３６は、前記画像IMのフロー検出対象となる領域を予め定められた同一の大きさの基礎区画BTで区分けする（基礎区画BT配置工程）。基礎区画配置部３６は、画像IMの全面に基礎区画BTを配置して良いし、画像IM中背景を除いた走行環境の部分のみに配置するようにしても良い。
【００８９】
動的区画配置部３８は、前記検出される前記フローFlwのフロー関連位置FPに前記基礎区画BTと同一の大きさの動的区画DTを動的に配置する（動的区画DT配置工程）。フロー関連位置FPは、上述したように、フロー始点やフロー終点等のフローFlwの位置に応じて定まる点又は領域である。本実施例１では、フロー終点を基準としてフロー関連位置FPを定めると良い。動的区画配置部３８は、動的区画DTの大きさを基礎区画BTと同一とする。すなわち、基礎区画BTと動的区画DTとで、画像座標系UVでU軸での長さ（画素数）及びV軸での長さ（画素数）とを同一とする。
【００９０】
特徴量算出部４０は、前記基礎区画BT及び動的区画DTで区画されたそれぞれの区画画像TMの特徴量FEを当該基礎区画BT及び動的区画DTの区別無く算出する（特徴量算出工程）。すなわち、本実施例１では、基礎区画BTと動的区画DTとを画像座標系UVで同一の大きさとしたため、区画画像TMの画素数を同一とすることができ、このため、区画画像TMの特徴量FEは基礎区画BT及び動的区画DTの区別無く算出できる。
【００９１】
そして、フロー抽出部１２は、前記連続する前後の前記画像IM間で前記特徴量FEの前記一致度ADが高い前記区画画像TMを探索することで前記フローFlwを抽出する（フロー抽出工程）。
フローFlwが抽出される区画画像TMの組み合わせとしては、（１）前画像IM[i - 1]の基礎区画BTと現画像IM[i]の基礎区画BT、（２）前画像IM[i - 1]の基礎区画BTと現画像IM[i]の動的区画DT、（３）前画像IM[i - 1]の動的区画DTと現画像IM[i]の基礎区画BT、（４）前画像IM[i - 1]の動的区画DTと現画像IM[i]の動的区画DTとがある。
実際には、動的区画DTをフロー始点として抽出されるフローFlwが多い。一方、連続的に抽出されるフローFlwが最初に検出されるのは、基礎区画BTをフロー始点とする例が多い。
【００９２】
図１０を参照して実施例１による情報処理例を説明する。連続的に撮像される画像IMについて、初回を画像IM[1]として、順に画像IM[2]、画像IM[3]、画像IM[i + 1]と表す。また、フロー抽出部１２がフローFlwを抽出する前後の画像IMについて番号を並べて画像IM[1][2]と表す。画像IM[1][2]は初回の画像IM[1]と次の画像IM[1]との組み合わせである。図１０に示す例では、単に番号のみを[1][2]等と表している。
【００９３】
カメラ１０にて画像IM[1]を撮像する（ステップＳ１１[1]）と、基礎区画配置部３６は、当該画像IM[1]に基礎区画BTを配置する（ステップＳ１２[1]）。続いて、基礎区画BTで切り出した区画画像TMの特徴量FEを算出する（ステップＳ１４[1]）。
【００９４】
次に、画像IM[2]を撮像する（ステップＳ１１[2]）。基礎区画配置部３６は、ステップＳ１２[1]で配置した基礎区画BTと同じ基礎区画BTを当該画像IM[2]に配置する（ステップＳ１２[2]）。続いて、基礎区画BTで切り出した区画画像TMの特徴量FEを算出する（ステップＳ１４[2]）。そして、フロー抽出部１２は、画像IM[1]の区画画像TMの特徴量FEと画像IM[2]の区画画像TMの特徴量FEとを比較することで、フローFlwを抽出する（ステップＳ１５[2]）。
【００９５】
このステップＳ１５[2]のより具体的な画像処理では、画像IM[1]の区画画像TMを１つ特定し、この区画画像TMの特徴量FEと一致度ADの高い画像IM[2]の区画画像TMを順に探索する。発見できればフローFlwの抽出とし、一方、発見できなければ画像IM[1]の次の区画画像TMの処理をする。このようなループ処理によりフローFlwを探索する。なお、前画像IMの全ての区画画像TMを比較対象とするのではなく、特徴量FEがしきい値との関係でフローFlwの始点となる可能性が高い区画画像TMのみを比較対象としても良い。
また、フロー抽出部１２は、様々な画像処理によりフローFlwの有効性を判定し、無効なフローFlwを検出しないようにしても良い。ステップＳ１５[2]にてフローFlwが抽出されないこともあるが、図１０に示す例では、１つ以上のフローFlwが抽出されたとする。
【００９６】
画像IM[3]の撮像により（ステップＳ１１[3]）、基礎区画BTの配置（ステップＳ１２[3]）に続いて動的区画DTを配置することができる（ステップＳ１３[3]）。すなわち、動的区画DTは、前画像IMにてフローFlwが抽出されて始めて配置することが可能となる。このステップＳ１３[3]の動的区画DTの配置又は設定は、好ましい例では、画像IM[3]を対象とする画像処理の一部としてではなく、画像IM[2]を対象とする画像処理の一部とし、ステップＳ１５[2]にてフローFlwを抽出した際に次回画像IM[3]用に予め動的区画DTを設定する。
動的区画DTは、抽出された１つのフローFlwに対して１つの動的区画DTとしても良いし、複数としても良いし、一定数以下の複数としても良い。
【００９７】
特徴量算出部４０は、動的区画DTの区画画像TMの特徴量FEと、基礎区画BTの区画画像TMの特徴量FEとを同一のロジックで算出する。そして、画像IM[3]の段階では、フロー抽出部１２は、画像IM[2]の基礎区画BTから画像IM[3]の動的区画DT又は基礎区画BTへのフローFlwを抽出する。この状態で、連続的にフローFlwが二度抽出される可能性があるため、接近車MA判定の判定処理例によっては、接近車MAの判定処理をすることができる（ステップＳ１６[3]）。その判定処理例によっては、画像IM[4]の処理から接近車MA判定をするようにしても良い。
【００９８】
画像IM[4]の撮像後は（ステップＳ１１[4]）、本実施例がより効果的に作用する状態である。すなわち、動的区画DTの区画画像TMをフロー始点とするフローFlwの抽出が可能となる（ステップＳ１５[4]）。ステップＳ１３[4]にて複数の動的区画DTを配置すると、元のフローFlwが接近車MAに由来するフローであれば、ステップＳ１５[4]にて配置した動的区画DTとほぼ同数のフローFlwの抽出が期待できる。このため、フローFlwの単体で接近車MAの判定をする他、動的区画DTの配置を通じて、フローFlwの集合的な振るまいに基づいてより正確に接近車MAの判定をすることができる。
【００９９】
図１０に示すように、ステップＳ１５[2]にてフローFlw[1][2]が抽出されると、このフローFlw[1][2]のフロー関連位置FPとして例えばフロー終点及びその周囲に複数の動的区画DTが配置され（ステップＳ１３[3]）、フローFlw[1][2]の終点近くを始点とするフローFlw[2][3]が抽出される（ステップＳ１５[3]）。さらに、ステップＳ１５[4]ではフローFlw[2][3]の終点近くを始点とするフローFlw[3][4]が抽出され、ステップＳ１５[5]ではフローFlw[3][4]の終点近くを始点とするフローFlw[4][5]が抽出される。
このように、抽出されたフロー位置に順次動的区画DTを配置することで、前回画像IMで抽出されたフローFlwのさらに移動先までのフローFlwを連続的に抽出することができる。このため、実際に実空間で自車MTの周辺を移動している移動体を連続的に監視することができる。
【０１００】
・1.1 同一サイズの動的区画DTの配置の効果
上述のように、この例では、基礎区画BTと動的区画DTとを画像座標系UVで同一の大きさとしたため、区画画像TMの画素数を同一とすることができ、このため、区画画像TMの特徴量FEは基礎区画BT及び動的区画DTの区別無く算出することができる。そして、フロー抽出部１２は、前記連続する前後の前記画像IM間で前記特徴量FEの前記一致度ADが高い前記区画画像TMを探索することで前記フローFlwを抽出するため、少ない計算量で接近車MAフローFlwを増加させることができる。
【０１０１】
＜1.2 実空間対応情報の参照で補完区画DTs配置＞
次に、実空間対応情報を参照して動的区画DTを配置する手法を説明する。この例では、前記動的区画配置部３８は、フロー関連位置FPでのワールド座標系XYZと画像座標系UVとの大きさの対応関係を参照して、当該フロー関連位置FPを中心とする当該対応関係に応じた大きさの範囲内に複数の動的補完区画DTsを配置する処理（工程）を備えると良い。
【０１０２】
図２を参照すると、好ましい例では、区画として、基礎区画BTと、動的区画DTとを有する。そして、動的区画DTは、フロー終点等のフロー関連位置FPに配置する動的中心区画DTcと、動的中心区画DTcの周辺に配置する動的補完区画DTsとを有する。
図２に示すように、基礎区画BTは画像IMに均質に配置される。本実施例では、基礎区画BTと基礎区画BTとの間に、隙間OPを設けることができる。隙間OPの配置を可能とすることで、基礎区画BTの大きさを、抽出対象の特徴に対して、大きすぎず、小さすぎない適切な大きさとすることができる。
動的中心区画DTcは、前回の処理で抽出されたフローFlwのフロー関連位置FPの中心（図中、フロー終点）に配置される。動的中心区画DTcはフローFlwに対して１つである。動的補完区画DTsは、フロー関連位置FPとなる一定領域に複数配置する。図２に示す例では、見やすくするために上下方向にもずらしているが、どのような方向で配置するかはフロー抽出の目的によって定めると良い。
そして、動的中心区画DTc及び動的補完区画DTsは、隙間OPに重ねて配置することができる。従って、隙間が生じるように基礎区画BTを配置しても、フローFlwが抽出されると、隙間OPの部分にも動的に動的区画DTを配置して、時間的に前後する画像IM間の特徴部分の移動を良好に抽出することができる。
また、基礎区画BTは、隙間OP無く配置するようにしても良いし（図１１等参照）、画像IMのうちフローの抽出対象となる領域にのみ配置するようにしても良い（図１４等参照）。
【０１０３】
そして、好ましい例では、動的区画配置部３８は、ワールド座標系XYZと画像座標系UVとの大きさの対応関係に基づいて動的補完区画DTsの配置位置を定める。この大きさの対応関係は、画像座標系UVの座標値に応じて異なるため、フロー関連位置FPの座標値[U, V]に応じて動的補完区画DTsを配置する範囲（フロー関連位置FPの領域）は異なる。
すなわち、図１１を参照すると、フローFlwの始点[U0, V0]と終点[U1, V1]とでは、実空間で同一の大きさのブロックは画像IMでは異なる大きさのブロック（表示ブロックBD）で表示される。遠近法により、実空間で同一の大きさのブロックは、車間距離が遠い位置ほど画像IMでは小さく表示され、近づくほど大きく表示される。
この表示ギャップに対して、動的区画配置部３８は、大きさの対応関係（表示ブロックBDの画像IMでの大きさ）に基づいて動的補完区画DTsの配置位置を定める。このため、車間距離が縮まり先行車の特徴部分が離散していっても、その離散の度合に応じて動的補完区画DTsを広めの領域に配置することができる。
【０１０４】
このように、動的区画配置部３８が、フロー関連位置FPでの実空間と画像IMとの大きさの対応関係に基づいた範囲に複数の動的補完区画DTsを配置すると、表示ギャップ効果を排除して、時間的に連続するフローFlwを見失わず、連続的に追跡することができる。さらに、複数の動的補完区画DTsをこのように配置することで、フローFlwのグループFlwGを良好に形成し、さらには、このグループFlwGの時間的な推移を良好に監視することができる。表示ギャップを解消しつつフローFlw及びそのグループFlwGを追跡可能とするために、特に、自車MTの周辺の移動車の接近を良好に検出することができる。そして、このような画像IMの位置に応じて動的補完区画DTsの配置領域の大きさを変化させることで、移動体の接近によるフローFlwの離散化に対応可能であるため、この離散化に対応するためのその他の複雑な画像処理を必要としない。
【０１０５】
・フロー方向FlwAに沿って補完区画DTs配置
動的区画配置部３８は、複数の動的補完区画DTsを配置する際に、フロー関連位置FPの領域内にて様々な幾何学的工夫をすることができる。走行する自車MTの走行環境を監視する例では、自車MTに接近する接近車MAを良好に検出できると良い。接近車MAを検出するには、前記動的区画配置部３８は、前記フローFlwのフロー方向FlwAに沿って前記複数の前記動的補完区画DTsを配置する処理（工程）を備えると良い。
このフロー方向FlwAに沿った動的補完区画DTsの配置は、実空間と画像IMとの大きさの対応関係の参照の有無にかかわらず利用することができる。
【０１０６】
図１３（Ａ）に示す例では、動的区画配置部３８は、フロー関連位置FPの領域にて画像IMの水平方向に動的補完区画DTs（図中×印で示す）を配置している。図１３（Ｂ）に示す例では、動的区画配置部３８は、フローFlwの方向に沿って動的補完区画DTsを配置している。図１３（Ａ）及び（Ｂ）に示す円は、例えば表示半径BDrを使用することができる。図１３（Ｃ）では、実空間距離WLを使用して、フロー終点の左右実空間距離WLの両点に動的補完区画DTsを配置し、さらに、フローFlwの始点と終点との間にも動的補完区画を配置した。
図１３（Ｂ）に示すように、動的区画配置部３８が、フロー方向FlwAに沿って動的補完区画DTsを配置すると、接近車MAの進行方向に動的区画DTを配置することができ、このため、周辺環境のうち特に接近車MAに由来するフローFlwの検出確率を高めることができる。
一方、図１３（Ａ）に示す例では、画像IMの水平方向に動的補完区画DTsを配置すると、移動車の接近により表示ギャップが生じても、どこかの動的補完区画DTsが特徴部分を追跡する確率を高めることができる。これは、画像IMの上下方向よりも水平方向の方が効果的である。
図１３（Ｃ）に示す例では、合計３つの動的補完区画DTsで当該フローFlwと連続するフローを良好に抽出することができ、記憶容量及び画像処理の処理量を減らすことで、計算コストを低減することができる。
【０１０７】
上記より、動的区画配置部３８は、前記フロー関連位置FPが予め定められた車間距離よりも遠い位置である際には当該フローFlwのフロー方向FlwA（図１３（Ｂ））に配置し、当該車間距離以内の位置である際には画像IMの水平方向（画像IM内の地平線を直線近似した際に平行な方向，図１３（Ａ））に配置するようにしても良い。これにより、接近車MAが遠方にある際にはフロー方向FlwAへの動的補完区画DTsの配置により接近車MAの検出確率を高め、接近車MAがさらに接近し特徴部分の離散化の可能性が生じた際には、動的補完区画DTsを水平方向に配置することで表示ギャップにより一層対応し同一の接近車MAからのフローFlwを連続的に追跡することができる。
【０１０８】
また、動的区画配置部３８は、図１３（Ｂ）に示すフロー方向FlwAで、かつ、仮定地上高Yconstの平面上の直線に沿って動的補完区画DTsを配置するようにしてもよい。例えば、フロー始点とフロー終点の実空間での位置を求め、この実空間でのベクトルとなるフローFlwの成分のうちワールド座標系XYZでY成分を仮定地上高Yconstとし、当該フローFlwを仮定地上高Yconstの平面で延長した方向で仮想ブロックIBの外周と接する点を得て、この点の位置を画像座標系UVに戻すと良い。仮定地上高Yconstの平面上でフロー方向FlwAとなる直線に沿って動的補完区画DTsを配置できると、接近車MAの特徴量FEの多い部分を連続的に追跡することができる。
【０１０９】
その他、動的区画配置部３８は、フローFlwの進行を予測し、予測点を参照して動的補完区画DTsを配置するようにしても良い。フローFlwの進行の予測処理については、フローFlwのグループFlwGを接近車MAの候補と判定するか否かの処理にて開示するが、動的補完区画DTsの配置にも応用することができる。フローFlwの進行の予測は、動的区画DTに前回フローFlwのフロー速度を記憶させておき、今回フローFlwの終点を当該フロー速度で進めることで、同一速度（速さ及び向き）で進行する際のフローFlwの位置を予測することができる。動的区画配置部３８が、フローFlwの進行を予測して、予測点の近傍に複数の動的補完区画DTsを配置すると、接近車MAの速さが変化した場合でも当該接近車MAを連続して検出する確率を高めることができる。
【０１１０】
・表示ブロックBDの活用
再度図１を参照すると、オプティカルフロー処理装置１０１は、表示ブロック管理部１４を備えている。表示ブロック管理部１４は、前記画像IMに撮像される範囲のワールド座標系XYZで予め定められた位置及び同一の大きさの仮想ブロックIBを前記画像IMの画像座標系UVに表示ブロックBDとして予め対応させた表示マップ３４を記憶する。仮想ブロックIBは、図５及び図７に示す三次元である実空間に配置した同一の大きさのブロックであり、例えば球体である。表示ブロックBDは、この仮想ブロックIBを画像座標系UVに投影したブロックであり、仮想ブロックIBまでの距離に応じて画像IMにて大きさが異なる。表示ブロックBDは、仮想ブロックIBが遠くであれば小さく、近くであれば大きく表示される。この表示ブロック管理部１４は、表示ブロックBDではなく、実空間距離WLを画像座標系UVに対応させたデータを表示マップ３４として記憶しても良い。
【０１１１】
そして、前記動的区画配置部３８は、前記フロー関連位置FPに動的中心区画DTcを配置する処理と、当該フロー関連位置FPの前記表示ブロックBDを参照して当該フロー関連位置FPを中心とする当該表示ブロックBDの範囲に前記動的補完区画DTsを配置する処理（工程）を備えると良い。
動的区画配置部３８が、フロー関連位置FPを中心とする当該表示ブロックBDの範囲に動的補完区画DTsを配置すると、表示マップ３４の参照により、少ない計算コストでフロー関連位置FPでのワールド座標系XYZと画像座標系UVとの大きさの対応関係を参照した処理をすることができる。
表示マップ３４で管理するデータを表示半径BDrとする際には、表示ブロックBDは画像IM上の円となり、例えば、図１２にフロー関連位置FPとして示した円を表示半径とすることができる。
【０１１２】
図１４に、基礎区画配置部３６による隙間OPを設けた基礎区画BTの配置例と、動的区画配置部３８による具体的な動的区画DT（動的中心区画DTc及び動的補完区画DTs）の配置例を示す。図１４（Ａ）に示す基礎区画BTにて接近車MAを検出した後、図１４（Ｂ）に示すように検出したフローFlwのフロー関連位置FPに複数の動的区画DTを配置することができる。
【０１１３】
・1.2 実空間対応情報の参照で補完区画DTs配置の効果
上述のように、動的区画配置部３８が、フロー関連位置FPの実空間対応情報を参照して動的補完区画DTsを配置すると、車間距離による表示ギャップを解消して連続的にフローFlwを抽出することができる。
【実施例２】
【０１１４】
＜2 周辺車両検出装置＞
＜2.1 実空間距離WLによるフローグループ判定＞
次に、本実施形態の実施例２を開示する。実施例２は、自車MT周辺の接近車MAを発見し、追跡するために、フローFlwを良好にグループ化しようとするものである。
【０１１５】
周辺車両検出装置１０２は、その主要な要素として、カメラ１０と、区画配置部４２と、フロー抽出部１２と、グループ判定部４４と、接近車検出部４６とを備えている。
図１５に示す例では、さらに、特徴量算出部４０と、表示ブロック管理部１４とを備えている。
以下、各部４２，１２，４４，４６等の動作を説明する。各部１０，４２，１２，４４，４６の動作例は、一連の方法（周辺車両検出方法）を構成する工程の説明ともなる。各部及び各工程による情報処理は、車載のＥＣＵ等で対応するプログラムを実行することで実現できる。
【０１１６】
カメラ１０は、実施例１と同様に、自車MTの周辺の画像IMを連続して撮像する。
区画配置部４２は、図１５に示す例では、基礎区画配置部３６と、動的区画配置部３８とを備えている。基礎区画配置部３６は、実施例１と同様に、前記画像IMのフロー検出対象となる領域に予め定められた大きさの複数の基礎区画BTを隙間OPを持たせ又は隙間OP無く配置する。動的区画配置部３８は、実施例１と同様に、検出される前記フローFlwのフロー関連位置FPに応じて当該基礎区画BTと同一の大きさの動的区画DTを配置する。動的区画DTは隙間OPに重ねることができる。
【０１１７】
フロー抽出部１２は、前記連続する前後の前記画像IM間で一致度ADが高い前記区画画像TMを探索することで前記フローFlwを抽出する。一致度ADを比較する対象は種々あるが、特徴量算出部４０にて、区画画像TMの特徴量FEを予め算出しておき、特徴量FEを比較するようにしても良い。
【０１１８】
本実施例２では、特に、グループ判定部４４が、前記複数のフローFlwの前記フロー関連位置FP間の実空間での距離（実空間距離WL）に基づいて、当該複数のフローFlwのグループ化を判定する。グループ化判定のためのフロー関連位置FPとして、フロー始点を採用すると、時間的に連続するフローFlwの追跡をし易くなる。その他、フロー終点や中点をフロー関連位置FPとしても良い。
フローFlwのグループFlwGの管理は、例えば、グループFlwGを識別するグループ番号を使用して、同一グループFlwGのフローFlwには同一のグループ番号を付する。
そして、接近車検出部４６は、前記画像IM毎に接近車MAの候補となるグループFlwGを検出すると共に、当該グループFlwGの検出回数に応じて当該グループFlwGが接近車MAであるか否かを判定する。
【０１１９】
図１６を参照すると、ワールド座標系XYZでの実空間距離WLは、画像座標系UVではその位置に応じて対応する表示上の長さ（画像距離IL）が変化する。図１６に３つのフローFlwについての２つの実空間距離WL及び画像座標系UVでの距離（画像距離IL）とを示す。図１６（Ａ）に示すフローFlwの位置よりも、図１６（Ｂ）に示すフローFlwがより自車MTに近い（車間距離が短い）とする。
そして、ワールド座標XYZにて実空間距離WLaとWLcは等しく、WLbとWLdは等しい。この状態でも、実空間距離WLaとWLcに対応する画像座標系UVでの画像距離ILa, ILbよりも、車間距離が短い画像距離ILc, ILdの方が長くなる。
逆に、画像座標系UVにて画像距離ILの長さが同一であっても、車間距離に応じてワールド座標系XYZでの長さが異なる。
【０１２０】
本実施例では、グループ判定部４４が、実空間距離WLに基づいて当該複数のフローFlwのグループ化を判定するため、画像IMでの画像距離ILではなく、実空間でのフローFlw間の距離を参照してグループ化を判定することができる。すると、接近車MAが遠方の際には小さく撮像されて画像IMでのフローFlw間距離（画像距離IL）が短い場合にも、接近車MAが近くて大きく撮像され画像距離ILが長くなる場合にも、同一の接近車MA（又は特徴部分）によるフローFlwを良好にグループ化することができる。
【０１２１】
図１７に、フローFlwと実空間距離WLの関係例を示す。
好ましい例では、図１７（Ａ）に示すように、実空間の三次元のワールド座標値[X, Y, Z]と画像IMの二次元の画像座標値[U, V]とを対応させ、周辺環境の監視に良好なフローFlwの抽出確率を高めるために、抽出対象のフローFlwの高さを仮定地上高Yconst（図４）と仮定する。図１７（Ｂ）には、実空間距離WLの大きさを対応する大きさの半径を持つ円で表す。この円は、図５に示す表示ブロックBDであり、その半径は、表示ブロック半径BDrとなる。
【０１２２】
図１８（Ａ）に示すフローFlwについて、実空間距離WLを直径とする円（又は表示ブロックBD）で表すと、図１８（Ｂ）に示すように、円が重なり合う。好ましい例では、グループ判定部４４は、重なり合う円を同一のグループFlwGと判定する。このように実空間距離WLを参照してフローFlwをグループ化すると、グループ化の判断基準が車間距離によって変化しないため、同一の接近車MA又は接近車MAの同一の特徴部分を車間距離によらず連続してグループ化し、グループFlwGとして追跡することができる。
グループ判定部４４は、図１８（Ｂ）に示す例では、実空間距離WLに応じた円を描画し、この円の重なり合いから、斜線のないグループFlwG(1)と、斜線１本のグループFlwG(2)と、斜線２本のグループFlwG(3)とにグループ分けする。
【０１２３】
また、動的区画配置部３８が、検出される前記フローFlwのフロー関連位置FPでの実空間距離WLに基づいて動的区画DTを配置しつつ、グループ判定部４４が、実空間距離WLに基づいてグループ化をすると、フローFlwが抽出された点に対して連続的な処理をするのではなく、フローFlwが抽出された位置での実空間距離WLで特定される領域を対象として動的区画DTを配置し、かつ、フローFlw群をグループ化することができる。このため、基礎区画BTの配置を粗くしておいても、実空間距離WLで特定される領域を対象として連続的に接近車MAを追跡することができる。
【０１２４】
・検出回数の比較で帰属グループFlwG特定
図１９を参照すると、グループ判定部４４は、グループ継続処理４８と、グループ探索処理５０と、検出回数比較処理５２と、グループ帰属化処理５４とを備えている。グループ判定部４４の動作を一連のグループ判定方法と把握する場合には、各処理４８，５０，５２，５４は方法を構成する工程となる。グループ継続工程とグループ探索工程とはどちらを先にしても良いし、並列処理としても良い。
【０１２５】
グループ判定に際して、まず、グループ継続処理４８は、前記動的区画DTから検出されるフローFlwについて当該動的区画DTの生成元のフローFlwが属したグループFlwGに帰属可能とする。基礎区画BTから検出されるフローFlwは、生成元のフローFlwがないため、グループFlwGの継承処理はない。グループFlwGに帰属可能とする処理は、当該フローFlwに仮にグループ番号を与えておく情報処理などである。例えば、動的区画DTを配置する際に当該動的区画DTについてのデータとして当該動的区画DTを配置する元となったフローFlwのグループ番号を記録しておき、この動的区画DTからフローFlwが抽出された際には、そのフローFlwについてのデータとして当該グループ番号を記録すると良い。
以下、グループ継続処理４８の処理対象となるフローFlwを子フローFlw、子フローFlwを抽出した動的区画DTを配置する生成元となったフローFlwを親フローFlwという。子フローFlwは、次の画像IMの処理では親フローFlwとなる。
【０１２６】
グループ探索処理５０は、前記基礎区画BT又は動的区画DTから抽出されるフローFlwについて前記フローFlw間の前記実空間距離WLに基づいて帰属可能な１以上のグループFlwGを探索する処理である。グループ探索処理５０では、帰属可能なグループFlwGを探索できない場合と、１つのグループFlwGを探索する場合と、２以上のグループFlwGを探索する場合とがある。実空間距離WLに基づいてグループFlwGを探索するのは、処理対象のフローFlwの近くに、既にグループFlwGに帰属しているフローFlwがあれば、同一のグループFlwGに帰属させることで、隣接するフローFlwを１つのグループFlwGに帰属させる処理である。
このグループ探索処理５０にて、処理対象のフローFlwに近いか否かは、実空間距離WLに基づいて判定するため、画像IMでの画像距離ILによらず、接近車MA又はその特徴部分の実際の大きさに基づいてフローFlwが帰属可能なグループFlwGを探索することができる。
【０１２７】
そして、検出回数比較処理５２は、前記帰属可能とされたグループFlwGが複数ある際には当該グループFlwGの検出回数を比較する。「検出回数」は、接近車検出部４６にて連続的に接近車MAの候補として検出された回数である。そして、この検出回数比較処理５２にて検出回数を比較するのは、帰属可能なグループFlwGが２以上ある場合であり、帰属可能なグループFlwGが１つのみの場合にはこの比較は行わない。
基礎区画BTから抽出されたフローFlwの場合、グループ探索処理５０にてグループ番号の異なる２以上のグループFlwGに帰属可能と判定された場合に、その２つのグループFlwGの検出回数を比較する。
動的区画DTから抽出されたフローFlwの場合、グループ探索処理５０にて帰属可能なグループFlwGが１以上探索された場合に、グループ継続処理４８で帰属可能とされた生成元のフローFlwが帰属していたグループFlwGとあわせて検出回数を比較する。グループ探索処理５０にて２つの帰属可能なグループFlwGが探索された場合、その２つのグループFlwGの検出回数と、グループ継続処理４８にて継続するグループFlwGの検出回数とを比較する。
【０１２８】
グループ帰属化処理５４は、当該検出回数を比較したフローFlwを当該検出回数が最多のグループFlwGに属させると共に、前記基礎区画BTから検出されたフローFlwで帰属可能なグループFlwGが探索されない際には新規グループFlwGに属させる。
基礎区画BT又は動的区画DTから検出されたフローで、検出回数比較処理５２にて複数のグループFlwGの検出回数を比較した際には、検出回数が最多のグループFlwGに帰属させる。
基礎区画BTから検出されたフローで、グループ探索処理５０にて帰属可能なグループFlwGが探索されない際には、新規グループFlwGに属させる。これは、例えば、グループFlwGを識別するグループ番号を新しく発番して新しい番号を当該フローFlwに割り当てる。
動的区画DTから検出されたフローFlwで、グループ探索処理５０にて実空間距離WL内に他のグループFlwGが発見されなかった際には、グループ継続処理４８にて割り当てられたグループFlwGに帰属させる。
また、グループ帰属化処理５４は、グループ探索処理５０にて２以上のグループFlwGが探索された場合には、処理対象のフローFlwのみならず、検出回数の少ない他の全てのフローFlwのグループFlwGを検出回数が最多のグループFlwGに上書きする処理（最多更新処理）を備えても良い。
【０１２９】
図２０及び図２１に、連続する２枚の画像IMの例を示す。IM[i]のiは画像処理開始後の画像（フレーム）の番号である。フローFlwを抽出する前後の画像については[]を重ねて例えば画像IM[9][10]と表す。画像IM[9]は９枚目の画像であり、接近車MAが連続して撮像されていると、図２０に示す基礎区画BTの他、図２１に示すように動的区画DTも配置される（図２０では図示略）。また、接近車MAのフローが連続して抽出されると、グループ判定部４４は、グループFlwG毎の検出回数を管理する。
図２０に示す画像IM[9]で撮像された接近車MAと、図２１に示す画像IM[10]で撮像された接近車MAとの間（画像IM[9][10]）で、図２０及び図２１に示すフローFlwが抽出されたとする。
図２２及び図２３を参照すると、図２２の段階でフローFlw(1)からFlw(6)まで抽出され、さらに斜線を付して示すフローFlw(7)が抽出されている。そして、図２３の段階では、フローFlw(8)及びFlw(9)が抽出されている。図２２に示す例では、実空間距離WL又は表示ブロック半径BDrを半径とする円を表示ブロックBDとして使用する。
グループ探索処理５０は、図２２に示す例では、フローFlw(1)から(6)のフロー終点に表示ブロックBD(1)から(6)を描画し、重なり合うグループFlwGを探索する。
図２４及び図２５に示す統合バッファ５６を参照すると、画像IM[9][10]の処理中、グループ帰属化処理５４は、フローFlw(6)までの状態では、図２４に示すように、フローFlw(1)及びFlw(2)がグループFlwG(3)、フローFlw(3)、Flw(4)及びFlw(5)がグループFlwG(2)、フローFlw(6)がグループFlwG(1)に帰属させたとする。
【０１３０】
続いて、図２２に示すように、画像IM[9][10]の処理中にフロー(7)が抽出され、表示ブロックBD(7)が描画されたとする。フローFlw(7)は、グループ探索処理５０にて実空間距離WL内に近接する（表示ブロックBD(7)の円周が重なる）グループFlwGがないため、基礎区画BT由来の際には新規グループFlwGとなり、動的区画DT由来の際には親フローFlwと同一のグループFlwGで、図２４に示す例では表示ブロックBDが重ならないグループFlwGへの帰属となる。いずれの場合も、フローFlw(7)はグループFlwG(1)には帰属しない。ここでは、図２４に示すように、新規にグループFlwG(4)になったとする。
図２３に示すように、続いて、フローFlw(9)が抽出されると、図２５に示すように、グループ探索処理５０は、表示ブロックBD(9)を描画する。フローFlw(9)の表示ブロックBD(9)はグループFlwG(1)及びFlwG(4)と重なるため、このグループFlwG(1)及びFlwG(4)が探索される。続いて、検出回数比較処理５２は、検出回数を比較して、フローFlw(9)を最多のグループFlwGに帰属させる。最多更新処理をすると、結局、Flw(6)とFlw(7)とは同一のグループFlwGとなる。図２５に示す例では、フローFlw(2)が基礎区画BT由来とすると、フローFlw(7)の新規グループFlwG(4)の検出回数は０回であるため、フローFlw(9)はグループFlwG(1)に吸収される。
【０１３１】
図２３に示すように、続いて、フローFlw(8)が抽出されたとする。図２５を参照すると、斜線１本で示すグループFlwG(2)と、斜線２本で示すグループFlwG(3)があるところに、白丸で示すフローFlw(8)が抽出されている。フローFlw(8)は図２３に示す２つのグループFlwG(2), FlwG(3)の両方と重なるため、グループ探索処理５０は、帰属可能なグループFlwGとしてこれら２つのグループFlwGを探索する。フローFlw(8)が基礎区画BT由来のフローFlwの場合には、フローFlw(8)は、グループFlwG(2), FlwG(3)のいずれかのうち検出回数の多いグループFlwGに帰属する。動的区画DT由来の場合には、グループ継続処理４８で与えられたグループFlwGと、 グループFlwG(2)と、グループFlwG(3)との３グループFlwGの検出回数を比較する。
いずれの場合も、例えば、グループFlwG(2)の検出回数が多ければ、グループFlwG(2)に帰属する。この際、最多更新処理により、グループFlwG(3)の帰属フローFlwをグループFlwG(2)に帰属させても良い。
図２５に示すように、画像IM[9][10]の処理の最終段階では、グループ判定部４４は、図２２及び図２３に示すフローFlwをグループFlwG(1)及びFlwG(2)のいずれかに帰属させることができた。好ましい例では、画像IM[9][10]の処理終了時にグループ番号の再整理等の処理を行うと良い。
図２４及び図２５に示す統合バッファ５６に描画した実空間距離WLによる円又は表示ブロック半径 BDrによる表示ブロックBDの重なり合いを、グループ領域GAという。
【０１３２】
次に、図２６に示す別の事例で、グループ判定部４４の処理例を再度説明する。図２８から図３０に示す例では、時間的に連続するグループFlwGの推移を開示する。ここでは、画像IM[18][19]のフローFlwをグループ化した画像IM[19]（図２７）のグループFlwGを前提として、次の画像IM[19][20]（図２８）のフローFlwをグループ化し、さらに、グループFlwGの統合（図２９）及び番号の調整（図３０）をする。
図２６に示す基礎区画BT及び図示しない動的区画DTの配置にて、接近車MAにつき、フレーム番号18番と19番との画像IM[18][19]でフローFlwが抽出され、図２７に示すグループFlwG(1，星マーク)、グループFlwG(2，三角マーク)、グループFlwG(3，四角マーク)、グループFlwG(4, 丸マーク)の４グループFlwGとなっている。グループFlw(n)の番号nは調整処理により変化するが、説明のために図２７から図２９では継続的に同一のグループについては同一のマークを付する。図中、各グループFlwGの数字は検出回数である。グループFlwG(4)は画像IM[18][19]で始めて検出されたグループFlwGであり、FlwG(1)は画像IM[14][15]で始めて検出され、画像IM[18][19]で５連続検出されている。
図２８に示すように、画像IM[19][20]では、接近車MAは図中右下方向に移動した。図２８に示す状態でフローFlwを抽出し、グループ化をすると、グループ継続処理４８が動的区画DTを介して、画像IM[18][19]のグループFlwGの番号及び属性をIM[19][20]のフローFlwGに承継させる。そして、連続して検出されたグループFlwGはその検出回数に１加算される。
図２８に示すように、前回までの検出回数の履歴でグループFlwG(4)の検出回数がグループFlwG(2) の検出回数より多かったため、図２９に示すように、グループFlwG(4) が吸収され、グループFlwG(2) に置き換わった。
また、図２７に示すグループFlwG(1, 星マーク)ように、直後の図２８で検出されないグループは消滅する。
【０１３３】
さらに、図２９及び図３０に示すように、グループFlwG(1)およびFlwG(4)の空きグループ位置については、この画像IMの全フローFlwの処理終了後に、グループ番号を通し番号に改めると良い。図２９及び図３０に示すように、グループFlwG(2)及びFlwG(4)は統合の上、消滅により欠番となったFlwG(1)の番号となり、グループFlwG(3)はFlwG(2)に、画像IM[19][20]で初回検出のグループFlwG(5)はFlw(3)の番号となる。
本例の場合、図２９終了時に番号を整理されたFlwG(1)、FlwG(2) 、FlwG(3)の3グループが、連続検出対象グループとなり、次回処理に持ち越しされる。
このように、実空間距離WLとグループ検出回数に基づいてグループFlwGを吸収し、統合していくため、連続的に検出されるグループFlwGを残し、フローFlwが隣接するグループFlwGを残し、そして、孤立的なフローFlwを除外することで、接近車MAの追跡能力を向上させることができる。すなわち、履歴と隣接性の参照で追跡確率を高めることができる。
【０１３４】
・表示ブロックBD描画でグループFlwG統合
再度図１５を参照すると、周辺車両検出装置１０２は、表示ブロック管理部１４を備えている。そして、再度図１９を参照すると、周辺車両検出装置１０２又はそのグループ判定部４４は、統合バッファ５６を備えている。
表示ブロック管理部１４、前記画像IMに撮像される範囲のワールド座標系XYZで予め定められた位置及び同一の大きさの仮想ブロックIBを前記画像IMの画像座標系UVに表示ブロックBDとして予め対応させた表示マップ３４を記憶する。仮想ブロックIB及び表示ブロックBDは、図５及び図６を参照して開示した手法によるデータで、実空間距離WLをより画像処理にて処理しやすいように事前準備したデータ（マップ）である。
また、統合バッファ５６は、画像IMと同一サイズの画像IMを描画できる二次元のイメージバッファであり、ECU等で管理されるメモリの一部記憶領域を割り当てることでも実現することができる。
【０１３５】
そして、前記グループ探索処理５０は、前記統合バッファ５６を初期化する処理と、当該統合バッファ５６での前記抽出されたフローFlwの前記フロー関連位置FPに前記表示ブロックBDを描画する処理と、前記表示ブロックBDが重なり合うグループFlwGがある際には重なり合ったグループFlwGを前記帰属可能なグループFlwGとして抽出する処理とを備える。
【０１３６】
再度図２０を参照する。この例では、図２０に示した円を表示マップ３４の参照による表示ブロックBDとし、表示ブロックBDの半径（表示ブロック半径BDr）が実空間距離WLに相当する。この例では、グループ探索処理５０は、フロー関連位置FPの画像座標値[U, V]から表示マップ３４を参照することで、図２０に示す表示ブロックBDを統合バッファ５６に描画することができる。このように、グループ探索処理５０は、イメージバッファでの画像処理にて円の描画や円の重なり合いの抽出という通常の画像処理でグループFlwGの探索処理を実行することができ、従って、少ない計算コストでフローFlwの高精度なグループ化を実現することができる。また、事前準備した表示マップ３４の使用により、自車MTの走行中に安定したリアルタイム処理を実現することができる。
【０１３７】
・動的区画DTの上限管理
再度図１５を参照すると、好ましい例では、前記区画配置部４２の動的区画配置部３８が、上限値管理処理５８と、区画選定処理６０とを備える。
上限値管理処理５８は、１グループFlwGに属する動的区画数を増加させない上限値を管理する。そして、区画選定処理６０は、前記動的区画DTの配置が前記上限値を超過する配置となる際には、削除対象とする動的区画DTを選定すると共に当該削除対象に当該動的区画DTを上書きする。これにより、少ない計算量で追跡能力を確保することができる。
【０１３８】
上限値は、１つのグループFlwGに属する動的区画数の上限であり、基礎区画BTが比較的細かい場合には８、粗い場合には６４、本実施例で通常の状態であれば１６程度が好ましい。動的区画配置部３８は、動的区画DTとして、１つの抽出されたフローFlwから１つの動的中心区画DTcと、複数（M個）の動的補完区画DTsとを配置する。このような動的補完区画DTsの配置を繰り返し、動的補完区画DTsからフローFlwが抽出される確率が高まると、動的区画数が1+M倍での増加に近づき発散しかねない。また、フローFlwのグループ化にてグループFlwGの統合をするため、この統合時に１つのグループFlwGに属するフロー数が急激に増加することもある。一方、接近車MAの判定はグループFlwG単位で行うため、１グループFlwGに属するフローFlw数が一定数を超えると、そのフロー数は接近車MAの検出の精度の向上には寄与しなくなる。
【０１３９】
このため、上限値管理処理５８は、１グループFlwGに属する動的区画数の上限を管理する。グループFlwGの統合によっては、この上限値を大きく超える可能性もあるが、上限値を１つ超えた場合も、上限値の倍以上となった際も、上限値を超えた状態として同様に処理すると良い。
【０１４０】
区画選定処理６０は、動的区画DTの配置が前記上限値を超過する配置となる際には、削除対象とする動的区画DTを選定すると共に当該削除対象に当該動的区画DTを上書きする。この上書きにより、１グループFlwGに属する動的区画DTの数を増加させない。なお、この例では、上限値を超えた動的区画DTを積極的に削除する処理はせず、動的区画DTからフローFlwが抽出されないことによる動的区画数の減少に委ねる。削除対象とする動的区画DTの選定については、例えば、動的区画DTの特徴量FEを比較して、フローFlwとなり得る特徴の程度が低い動的区画DTを選定すると良い。これにより、フローFlwを抽出する可能性の低い動的区画DTが上書き（削除）対象となる。
また、好ましい例では、上限値を超過した状態では、動的補完区画DTsの配置をせず、動的中心区画DTcの上書き配置のみとすると良い。
【０１４１】
・2.1 実空間距離WLによるフローグループ判定の効果
上述のように、グループ判定部４４が、実空間距離WLに基づいて当該複数のフローFlwをグループ化するため、画像IMでの画像距離ILではなく、実空間でのフローFlw間の距離に応じてフローFlwのグループFlwGを定めることができる。すると、接近車MAが遠方の際には小さく撮像されて画像IMでのフローFlw間距離（画像距離IL）が短い場合にも、接近車MAが近くて大きく撮像され画像距離ILが長くなる場合にも、同一の接近車MA（又は特徴部分）によるフローFlwを良好にグループ化することができる。
本実施例２では、グループ判定部４４によるグループ継続処理４８やグループ探索処理５０等により、接近車検出部４６は、接近車MAの接近により検出されたグループFlwGが微細化かつ離散化した配置となっても、当該グループの検出回数に応じて当該グループが接近車であるか否かを判定することができる。
また、表示マップ３４を使用すると、この実空間距離WLによるフローFlwのグループ化を少ない計算量で実施することができる。
【０１４２】
＜2.2 グループFlwG単位の予測比較で接近車検出＞
次に、グループFlwG単位の予測比較処理により、接近車MAであるか否かを判定する手法を説明する。
図３１を参照すると、この例では、接近車検出部４６は、予測終点算出処理６２と、予測領域描画処理６６と、接近車候補判定処理６８と、予測バッファ６４とを備える。予測バッファ６４は、統合バッファ５６と同様に画像IMと同一サイズのイメージバッファである。
【０１４３】
予測終点算出処理６２は、フローFlwのグループFlwG毎に、当該グループFlwGに属する各フローFlwの始点と、当該各フローFlwの直近の速度とを加算することで当該各フローFlwのフロー予測終点FApを算出する。
予測領域描画処理６６は、グループFlwG毎に、予測バッファ６４に対して、前記各フロー予測終点FApでの前記実空間距離WLに応じた大きさの予測領域FAを、当該各フロー予測終点FApを中心として描画する。
接近車候補判定処理６８は、前記グループFlwGに属する前記各フロー終点が、前記予測領域FAに予め定められたしきい値以上含まれる際に、当該グループFlwGを接近車MAの候補と判定する。
【０１４４】
図３２を参照すると、一点鎖線で示すフローFlwPは、前回の画像IMに配置した区画から抽出された同一グループFlwGのフローFlwP(1)、フローFlwP(2)、及びフローFlw(3)である。点線で示す矢印は、フローFlwPの始点と、当該各フローFlwPの直近の速度とを加算したベクトルであり、それぞれのフローFlwPの終点を始点として同一方向で同一大きさに接続した予測フローFlwFである。今回フローFlwが動的補完区画DTsから生じる場合には、一点鎖線で示す前回フローFlwPはないが、動的補完区画DTsについての動的中心区画DTcに前回フローFlwPがあり、この速さ及び向きを使用して動的補完区画DTsから抽出されるフローFlwの終点位置を予測すると良い。
予測終点算出処理６２は、これら点線で示す矢印の終点（矢印の先）をフロー予測終点FApとして算出する。
【０１４５】
そして、予測領域描画処理６６は、予測バッファ６４に、フロー予測終点FApでの実空間距離WLに応じた大きさの予測領域FAを、当該各フロー予測終点FApを中心として描画する。図３２に示す例では、３つの予測領域FAが重なり合って一定の領域を形成している。この実空間距離WLに応じた円の描画は、表示マップ３４の参照による表示ブロックBDの描画としても良い。
【０１４６】
予測領域FAは、前回フローFlwPが静止物等のノイズではなく仮定地上高Yconstの近くの高さで自車MTに相対速度で接近する物体が、フレームレートに応じた数十分の１秒間に、速度及び向きを変えずに移動した場合に今回フローFlwが到達する領域であり、その領域の広がりは、好ましくは、実空間距離WLが参照され遠近による表示ギャップの影響を除外した広がりを持つ。このため、接近車MAの特徴部分から発せられるフローFlwは、通常、この予測領域FA内にフロー終点を持つ。
【０１４７】
接近車候補判定処理６８は、グループFlwG毎に、前記グループFlwGに属する前記各フローFlwの終点が、前記予測領域FAに予め定められたしきい値以上含まれる際に、当該グループFlwGを接近車候補と判定する。すなわち、同一のグループFlwGに属するフロー群の一定割合以上が、予測領域FA内にフロー終点を持つ場合、当該フロー群は同一の物体から発せられ同一の移動をしていると判定できる。このため、接近車候補判定処理６８は、当該グループFlwGは接近車MAの候補であると判定し、当該グループFlwGの検出回数をカウントアップする。
【０１４８】
図３２に示す例では、前回フローFlwP(1)による予測フローFlwF(1)のフロー予測終点FApを中心とした予測領域FAは、同様に予測フローFlwF(2)及び予測フローFlwF(3)のフロー予測終点FApを中心とした予測領域FAと統合され、１つの領域となっている。そして、予測フローFlwF(2)に対して、実際のフローFlw(1)は方向も大きさも異なり、そのフロー終点は予測領域FAに入らない。一方、フローFlw(2)及びFlw(3)は方向が若干異なるものの予測領域FA内に入っている。しきい値を65%とすると、66%のフローFlwが予測領域FA内に入ったため、図３２に示すフローは接近車MAの候補として検出され、当該グループFlwGの検出回数に１を加算する。
なお、フローFlw(1)は、フローFlw(2)及びフローFlw(3)とは異なる物体に起因するフローFlwで、路面GT等の背景によるノイズと考えられる。
【０１４９】
・2.2 グループFlwG単位の予測比較で接近車MA検出の効果
上述のように、グループFlwG毎に、予測領域描画処理６６が、前回フローFlwの向き及び速さから予測した今回フローFlwの終点位置の予測領域FAを算出し、接近車候補判定処理６８が、当該グループFlwGのフローFlwの内、前記予測領域FAに終点を持つフローFlwの比率に基づいて当該グループFlwGが接近車候補であるか否かを判定するため、静止物によるフローFlwなどノイズ除去し、接近車MAを良好に検出することができる。そして、予測領域描画処理６６が、予測領域の大きさを実空間距離WLに応じて定めるため、車間距離による表示ギャップの影響を受けずに接近車MAの判定をすることができる。
【実施例３】
【０１５０】
＜3 周辺車両検出装置 ＞
＜3.1 表示ブロックBDの描画と保留フローFlw＞
次に、本実施形態の実施例３を開示する。実施例３は、フローFlwの有効性判定として、有効とも無効とも判定しない保留フローFlwを取り扱い、保留フローFlwについてはグループ化や接近車MA判定にて通常の有効フローFlwに対する処理よりもグループ化又は接近車MAとの判定を厳しくする。これにより、フローFlwの有効性判定を厳しくしすぎることで真に有効なフローFlwを検出できなくなり、逆に、有効性判定を緩くしすぎることで大量の誤検出フローFlwが発生する事態を防止することができる。
また、実施例３では、表示マップ３４を使用し、実施例１及び実施例２で開示した多様な機能（画像処理）を一連の手順（方法）で実施する手法を開示する。このため、実施例１及び２の各部の機能をより把握するには、以下の実施例３の記載が参考となる。
【０１５１】
実施例３による周辺車両検出装置１０３は、その主要な要素として、カメラ１０と、表示ブロック管理部１４と、区画配置部４２と、フロー抽出部１２と、有効性判定部７０と、グループ判定部４４と、接近車検出部４６と、保留フロー減衰制御部７２とを備えている。
図３３に示す例では、さらに、特徴量算出部４０を備え、そして、区画配置部４２が、基礎区画配置部３６と、動的区画配置部３８とを備えている。
以下、各部１４，４２，１２，７０，４４，４６，７２等の動作を説明する。各部１４，４２，１２，７０，４４，４６，７２の動作例は、一連の周辺車両検出方法を構成する工程の説明ともなる。各部及び各工程による情報処理は、車載のＥＣＵ等で対応するプログラムを実行することで実現する。
【０１５２】
カメラ１０は、自車MTの周辺の画像IMを連続して撮像する。
表示ブロック管理部１４は、実施例１及び２と同様に、前記画像IMに撮像される範囲のワールド座標系XYZで予め定められた位置及び同一の大きさの仮想ブロックIBを前記画像IMの画像座標系UVに表示ブロックBDとして予め対応させた表示マップ３４を記憶する。実施例３では、表示マップ３４を最大限活用する手順を説明する。表示マップ３４は、実施例３では、画像座標値と表示ブロック半径BDrとを予め対応させている。
【０１５３】
区画配置部４２の基礎区画配置部３６は、前記画像IMのフローFlw検出対象となる領域に予め定められた大きさの複数の基礎区画BTを配置する。動的区画配置部３８は、検出される前記フローFlwのフロー関連位置FPに応じて当該基礎区画BTと同一の大きさの動的区画DTを配置する。動的区画配置部３８は、図３３に示す例では、実施例２と同様に、上限値管理処理５８と、区画選定処理６０とを備えると良い。
【０１５４】
フロー抽出部１２は、前記連続する前後の前記画像IM間で一致度ADが高い前記区画画像TMを探索することで前記フローFlwを抽出する。一致度ADは、特徴量算出部４０によって算出される特徴量FEの比較による一致度ADとすると良い。
【０１５５】
有効性判定部７０は、前記検出したフローFlwの有効性を判定することで、接近車MA検出に有効な有効フローFlwと、接近車MAではない無効フローと、有効無効の判定を保留する保留フローFlwとに区別する。
無効フローFlwは、誤検出を防止するための複数の無効判定処理により無効と判定されるフローFlwである。無効判定処理としては、後述するように、無効判定（１）内角異常（フローFlwの移動方向が急激すぎる）、（２）無限遠点方向への移動（無限遠点から近接していない）、（３）速度異常（相対速度が足りないか、または相対速度の超過）などがある。
【０１５６】
保留フローFlwは、実施例３では特に、背景や特に路面GTの繰り返しパターンから生じる真逆フローFlwR（ある方向のフローFlwと当該フローFlwの方向とは真逆のフローFlwとが同時に抽出される）を保留フローFlwとすると良い。保留フローFlwは、有効無効を判定しきれない場合に有効フローFlwと同様の扱いをしつつ、グループ化や接近車MA判定で抑制的に扱うフローFlwであり、保留フローFlwと判定する理由やしきい値は多様である。例えば、速度異常についても、有効と無効との２段階ではなく、保留フローFlwと判定する速度範囲を設定しても良い。
有効フローFlwは、抽出されたフローFlwの内、無効でも保留でもないフローである。
【０１５７】
グループ判定部４４は、前記複数の前記有効フローFlw及び前記保留フローFlwについて前記フロー関連位置FPの前記表示ブロックBDの大きさに基づいて当該フローFlwのグループ化を判定する。実施例３では、実空間距離WLとして予め表示マップ３４に用意した表示ブロックBDを使用する。グループ判定部４４は、好ましくは、実施例２の図１９に示したグループ継続処理４８と、グループ探索処理５０と、検出回数比較処理５２と、グループ帰属化処理５４とを備えると良い。
接近車検出部４６は、前記画像IM毎に接近車MAの候補となるグループFlwGを検出すると共に、当該グループFlwGの検出回数に応じて当該グループFlwGが接近車MAであるか否かを判定する。
【０１５８】
保留フロー減衰制御部７２は、前記保留フローFlwの処理で使用する表示ブロックBDの大きさを前記有効フローFlwに使用する表示ブロックBDの大きさよりも小さくする。表示ブロックBDの大きさを調整するには、表示ブロック半径BDrにゲインを掛けると良い。保留フローFlwに対する処理で表示ブロックBDを小さくすると、保留フローFlwが他のグループFlwGと統合される可能性が低下する。一方、他のグループFlwGと極めて近くに隣接する場合には、有効なフローFlwである可能性が高く、この保留フローFlwは他のグループFlwGに統合される。保留フローFlwが連続的に検出されても、それがノイズであれば、他のグループFlwGと統合されることなく、グループFlwGとして孤立するため、他のグループFlwGに依存して検出回数が増加することなく、抑制的なグループ化を実現することができる。
このように、保留フロー減衰制御部７２が、保留フローFlwの連結確率を低下させるため、接近車検出の感度を維持しつつ静止物によるフローFlwなどノイズ除去することができる。
【０１５９】
・予測処理で保留フローFlwを減衰制御
また、好ましい例では、グループ判定部４４での処理のみならず、接近車検出部４６の処理にあっても、保留フローFlwを対象とする判定処理にて抑制的な情報処理をすると良い。
まず、実施例２と同様に、予測終点算出処理６２は、当該グループFlwGに属する各フローFlwの始点と、当該各フローFlwの直近の速度とを加算することで当該各フローFlwのフロー予測終点FApを算出する。
そして、予測領域描画処理６６は、予測バッファ６４に対して前記各フロー予測終点FApでの前記表示ブロックBDの大きさの予測領域FAを、当該各フロー予測終点FApを中心として描画する。実施例３では、実空間距離WLとして表示ブロックBDの大きさを採用する。
さらに、接近車候補判定処理６８は、前記グループFlwGに属する前記各フローFlwの終点が、前記予測領域FAに予め定められたしきい値以上含まれる際に、当該グループFlwGを接近車MAの候補と判定する。
【０１６０】
そして、本実施例３では特に、前記保留フロー減衰制御部７２が、前記予測領域描画処理６６にて前記保留フローFlwに使用する表示ブロックBDの大きさを前記有効フローFlwに使用する表示ブロックBDの大きさよりも小さく制御する処理を備えている。
これによっても、ノイズである保留フローFlwによる接近車MA判定を抑制し、一方、有効な保留フローFlwによる接近車MA判定の可能性を残すことができる。
【０１６１】
・検出するフローFlwの速度範囲
フローFlwの速度を扱う手法を説明する。速度は、ワールド座標系XYZでX方向とZ方向となる。X方向は画像IMではほぼ左右方向であり、Z方向は画像IMでは自車MTに近づく方向で、ほぼ上下方向である。
自車MTも走行しているため、接近車MAの速度は相対速度である。本実施例では、周辺車両のうち、自車MTに接近する接近車MAの検出を課題とするため、Z方向の速度は一定速度以上の値である。すなわち、検出する車両の相対速度の範囲（しきい値）を次の通りに設定する。
【０１６２】
-Xmax ≦ X速度 ≦＋Xmax [km/h]
＋Zlow ≦ Z速度 ≦＋Zmax [km/h]
ここで、
Xmax: ワールド座標系XYZでのX方向の上限速度
Zlow: ワールド座標系XYZでのZ方向の下限速度
Zmax: ワールド座標系XYZでのZ方向の上限速度
【０１６３】
・表示マップ３４との関係
実施例３では、表示マップ３４についても、UVtoXZマップ（計測マップ）と同様に事前にオフライン計算した後、UVtoXZマップで参照可能な実空間の有効検出範囲に絞り表示ブロック半径BDrを予めマップとして登録しておくと良い。事前にマップ化することによって、数値計算ではなくデータマップの参照という形で必要に応じて表示ブロックBDの大きさ（例えば、表示ブロック半径BDr）を取得することができるため処理の高速化が可能となり、高い計算コストを有しない安価なシステムでの実装が可能となる。
【０１６４】
計測マップの作成時に車両後方で有効監視エリアと定めた範囲を[XminからXmax][ZminからZmax]とし、8ビットとした場合、画像平面上の座標[U,V]はX計測マップ、Z計測マップ上の座標に登録された座標データXmap[U,V]、Zmap[U,V]を参照することで、実空間の三次元座標[X, Y, Z]を8ビット換算値[Xa, Ya, Za] で次の範囲として取得できる。
-128 ≦ Xa ≦127，  0 ≦ Za ≦255
単位はマップbitとする。Za：255 [マップbit]で実空間Zmax [ｍｍ]
【０１６５】
仮定地上高Yconstはマップ作成時に設定した固定値であるので、取り得るXa,Zaの値は256 × 256通りの組み合わせとなる。
よって256 × 256サイズの格子マップ（データテーブル）を作成し、Ya = Yconstと固定し、Xa, ZaをもとのX, Zへ換算した後、仮想ブロックIBの位置を[X, Yconst, Z]と定義することで、画像IM上に検出される全てのフローFlwに対応した仮想ブロックIBの表示ブロック半径BDrについて情報を登録することができる。
【０１６６】
この表示マップ３４への登録は表示ブロック半径BDrではなく、表示ブロックBDの直径や面積でも良いが、表示ブロック半径BDrとすると接近車MAの判定処理に都合が良い。しかし、カメラ１０と移動体とが接近しすぎると表示ブロック半径BDrは発散していくため、実用的には、表示マップ３４への登録は適当な上限値までとすると良い。
【０１６７】
また、マップへの登録値を表示ブロックBDの面積ではなく、半径や直径で登録すると、マップへの登録値を小さくしリソースの節約が可能となる。例えば、表示ブロック半径BDrが20ピクセルであればマップ登録に5ビット必要で、直径だと40ピクセルとなりマップ登録に6ビット必要で、面積で1256ピクセルとなりマップ登録に11ビット必要となる。面積では表現のためのデータサイズが大きくなる。メモリの節約のため、仮想ブロックIBの登録単位は表示ブロック半径BDrであることが望ましいと。
【０１６８】
実施例３では、作成した表示マップ３４を基準に検出したフローFlwのフロー終点周辺に動的補完区画DTsを配置していれば、接近車MAの輪郭位置からフローFlwを検出した場合でも、車間距離の遠近に関わらず、このフローFlwから、最低1/2以上は接近車MAの本体を示す位置へ動的補完区画DTsを登録することができる。
【０１６９】
さらに作成した仮想ブロックIBおよび表示マップ３４は、この動的補完区画DTsの登録以外に、連続検出したフローFlw毎の評価（連続性の確認・移動成分の変化）を行う場合の評価基準として使用することができる。さらに、連続計測結果や履歴を共有し評価単位となるグループFlwGを作成する画像処理時に活用できる。そして、後述の繰り返しパターン判定の際、制御パラメーターに使用することができる。
【０１７０】
有効な仮想ブロックIBを仮定地上高Yconst上に円中心が位置するようにすると、画像平面上の有効座標（実空間座標と対応の取れる座標）の全ての位置で表示ブロック半径BDrをマップ化することができる。
このように設定した仮想ブロックIBの表示ブロック半径BDrは、（１）動的補完区画DTs登録位置の基準、（２）フローFlwのグループ化、（３）接近車MAに対するフローFlwの連続性判定、（４）繰り返しパターンによる誤検出フローFlwへの対応に活用することができる。
【０１７１】
次に、実施例３の処理例を詳細に説明する。図３４、図３５及び図３６にこの手順による情報処理例を示す。手順は次の順序である。
・手順０  事前設定から画像IM[1]の撮像まで
・手順１  フロー処理の初回から動的中心区画DTcの配置まで（図３４）。
・手順２  画像IM[3]入力以後：動的区画追加後の処理：動的区画DT（図３５）。
・手順３  画像IM[3]入力以後：動的区画追加後の処理：基礎区画BT（図３５）。
・手順４  グループ単位でのフロー連続性確認手法（図３６）。
・手順５  接近車両検出判定（図３６）。
この手順０から５について、まず、入力される画像IMに対する処理の順序で説明する。各手順の情報処理の成果物は次の通りとなる。
手順０  画像IM[1]の基礎区画DTの特徴。
手順１  画像IM[2]の基礎区画DTの特徴と、画像IM[1][2]間のフローFlw及びそのグループFlwGと、このフローFlwのフィードフォワードデータ（フローテーブルのデータ）と、画像IM[3]用の動的区画DTの配置。
手順２  画像IM[3]の動的区画DTの特徴と、この画像IM[3]の動的区画DTと画像IM[2]の基礎区画BT間のフローFlw及びそのグループFlwGと、このフローFlwのフィードフォワードデータ（フローテーブルのデータ）と、画像IM[4]用の動的区画DTの配置。
手順３  画像IM[3]の基礎区画DTの特徴と、この画像IM[3]の基礎区画DTと画像IM[2]の基礎区画BT間のフローFlw及びそのグループFlwGと、画像IM[4]用の動的区画DTの配置。
手順４及び５  フィードフォワードデータから計算されるグループの検出回数と、接近車の判定
図３５に示す画像処理では、手順２、手順３及び画像IM[3]以降の画像に対する処理にも対応する条件分岐と繰り返しが開示されている。上記手順０から５（画像IM[1]から画像IM[3]）までの処理を説明した後、前画像でグループFlwGが既に存在している場合の処理について後述する。
【０１７２】
図３７はフローテーブル（フィードフォワードデータテーブル）の一例を示し、図３８は区画テーブル（次回動的テンプレート追加テーブル）の一例を示す。
図３９から図４２は真逆フローFlwRに関連する図で、図４３から図４５は真逆フローFlwR等の保留フローFlwと上記手順１から５との関係例を示す図である。
ここでは、まず、図３４から図３８を参照して詳細な手順例を説明し、その後、図３９から図４５を参照して詳細手順での保留フローFlwの扱いを開示する。
【０１７３】
・手順０  事前設定から画像IM[1]の撮像まで
手順0-１
まず、相対速度の単位を計測マップの解像度にあわせて[km/h]から[マップbit/フレームに]変換する。つまり１フレーム(1/30 [sec])で何マップbit移動するかという単位とする。以降、計測マップ上の登録データの単位を次のようにマップbitで示す。
Z方向相対速度SpZ = 50 [km/h] → 13,889 [ｍm/sec] → 463 [mm/フレーム]
Zmax ＝ 15 [m] でZ計測マップ8bitなら、463 [mm/フレーム] = 463/（15000/256）＝7.9 ≒ 8 [マップbit/フレーム]
【０１７４】
検出対象とする接近車MAの接近速度の上限Xmaxを±22 [km/h]、Z方向の下限速度Zlowを10 [km/h]、Z方向の上限速度Zmaxを60 [km/h]として、X計測マップ8bit ＋Xmax ＝ ± 5.1 [m] でのマップbit値に次式で変換できる。
Xmax = 22 [km/h] → 203 [mm/フレーム] → 203/(5100×2/256) = 5.10 ≒ 6 [マップbit/フレーム]
【０１７５】
Z計測マップ8bit ＋Zmax = 15 [m] でのマップbit値は次式で変換できる。
Zlow = 10 [km/h] → 92.6 [mm/フレーム] → 92.6/(15000/256) = 1.58 ≒ 2 [マップbit/フレーム]
Zmax = 60 [km/h] → 555.6 [mm/フレーム] → 555.6/(15000/256) = 9.48 ≒ １0 [マップbit/フレーム]
【０１７６】
上記事例の場合、フローFlwの始点・終点を計測マップ上に変換し、その変化量がX方向で ±6 [マップbit/フレーム] 以上、Z方向で＋2 [マップbit/フレーム] 以上、10 [マップbit/フレーム] 以下を越えるフローFlwは無効なフローFlwとして除外する。
【０１７７】
手順0-2
計測マップの分解能が低い場合、後述の手順1-3による速度判定で使用するフロー速度SpX, SpZの精度が確保できない。よって無限遠点の位置[Upi, Vpi]を求めて記録しておく。記録した[Upi, Vpi]は後述の手順１-2によるフローFlw評価に使用する。
【０１７８】
・無限遠点画像座標系UV[Upi, Vpi]の求め方
無限遠点ワールド系[Xpi, Ypi, Zpi] = [0, H, L]とする。
pi（添え字）: 無限遠点であることを示す。
H: カメラ高さOrgYw（表示マップ３４作成時に設定）
L: 仮想無限遠距離（例：Z計測マップ255bit相当の実長 [mm] の2倍等）
上述した座標変換式（７）等により [Xpi,Ypi,Zpi] ⇒[Upi, Vpi]に投影変換する（EOF相当）。LはZmaxより遠方に設定するのでZ計測マップによる参照は適用できない。このため、事前にオフラインにて計算しておくと良い。
【０１７９】
手順0-3
まず、最初の画像IM[1]を撮影し、記録する。
システムのリソースにあわせ、画像IM[1]に対して基準となる基礎区画BTを配置する。基礎区画BTの登録位置及び登録数は、システム起動から終了まで不変とする。基礎区画BTの大きさは画像IMの位置に応じて変化させても良いが、ここでは全て同一の大きさとすることで、特徴量FEや一致度ADの計算コストを低減する。
そして、画像IM[1]の全ての基礎区画BTの区画画像TMの特徴量FEを算出する。
【０１８０】
手順0-4  テーブル準備
詳細手順の工程で使用する次の３つのテーブルを準備する。データ自体は、手順の進行に従って記録し、上書きし、また削除する。
フローテーブル（図３７）（フィードフォワードデータテーブル）
区画テーブル（図３８）（次回動的テンプレート追加テーブル）
グループ検出回数テーブル（図３０参照）
図３７に示す区画テーブルのデータ項目名は、図中左からデータの連番（管理）、フローFlwのグループFlwGを識別するグループ番号（FlwG）、フロー始点（U0, V0）、フロー終点（U1, V1）、区画画像TMの特徴量の一致度AD（一致度）、区画画像TMの特徴量FE（特徴量）、表示ブロック半径BDr（半径）、過去の速度（速度X, 速度Z）である。
図３８に示すフローテーブルのデータ項目名は、図中左からデータの連番（管理）、グループ番号（FlwG）、上書きの有無（上書き）フロー終点（U1, V1）、当該フローFlwの速度（速度X, 速度Z）である。
【０１８１】
手順0-5  バッファ準備
詳細手順の工程で使用する次の２つのバッファを準備する。
統合バッファ５６（図１９，図２４，図２５）
予測バッファ６４（図３１，図３２）
【０１８２】
・手順１  フロー処理の初回から動的中心区画DTcの配置まで
図３４を参照して手順１を説明する。
手順1-1  マッチング処理によるフロー検出
カメラ１０からの画像IM[2]を撮影し、画像IM[2]の全ての基礎区画BTの特徴量FEを算出する（ステップＳ３１）。
そして、画像IM[1]と画像IM[2]間でフロー処理を実行する。デフォルトテンプレートである基礎区画BTの総数を基礎区画BT数Ndとすると、基礎区画BT[id]（添字idは1からNd）で、id = 0からNd個のフローFlwを検出することが可能である。まず、基礎区画BT[id = 0]の特徴量FEが予め定められたしきい値を超えているか否かを判定し、超えている際には一致度ADを比較する。
すなわち、画像IM[1]の基礎区画BT[id = 0]の特徴量FEと、画像IM[2]の全ての基礎区画BTの特徴量FEとを比較して、一致度ADが予め定められたしきい値以上の基礎区画BTを探索する。発見した場合、画像IM[1]の基礎区画BT[id = 0]と、画像IM[2]の最も一致度ADが高い基礎区画BT[id]との間にてフローFlw[id = 0]の検出となる（ステップＳ３２２）。
基礎区画BT[id = 0]の特徴量FEが特徴量FEしきい値以下の場合、または、一致度ADしきい値以上の基礎区画BTを発見しない場合には、フローFlwは検出されず、ステップＳ４１を経由して再度この手順1-1にて次のフローFlw[id+1]を評価する。
このように、区画画像TM間でマッチング処理をして一致度AD判定や特徴量FE判定で、設定したしきい値を満たすことができない場合、フローFlwは検出されない。
【０１８３】
手順1-2  始点終点データによる無効判定
基礎区画BT[id]でフローFlw[id]が検出されると、画像IM[1]と画像IM[2]の基礎区画BTの位置から、このフローFlw[id]のフロー始点終点の画像座標値[U, V]を求め、フロー始点[U[id]0, V[id]0]、フロー終点[U[id]1,V[id]1]とする。さらに、フロー始点終点[U[id]0,V[id]0]・[U[id]1,V[id]1]に対して、計測マップよりワールド座標系XYZでのフロー始点終点[X[id]0, Z[id]0]・終点[X[id]1, Z[id]1]を求める。
この画像座標系UV又はワールド座標系XYZのフロー始点終点を用いてフローFlw[id]の有効性を判定する（ステップＳ３３）。この有効性判定では、無効判定処理により無効とするフローFlwを抽出して棄却する。フローFlwが無効の際には、手順1-1へ戻り次のフローFlw[id+1]の評価に移る。有効の際には手順1-3に進む。
[U[id]0, V[id]0]: フロー始点（画像座標系UV）
[X[id]0, Z[id]0]: フロー始点（ワールド座標系XYZ）
[U[id]1,V[id]1]: フロー終点（画像座標系UV）
[X[id]1, Z[id]1]: フロー終点（ワールド座標系XYZ）
このステップＳ３３での有効性判定にて、フローの無効判定のみならず、しきい値等を使用して無効には至らない保留フローFlwとの判定をするようにしても良い。
【０１８４】
無効判定（１）  EOF-フロー始点ベクトルVec1= [U[id]0 - Upi, V[id]0 - Vpi]と、フローFlw[id] = [U[id]1 - U[id]0, V[id]1 - V[id]0]について次式(20)で２ベクトルの内角確認を行う。
【０１８５】
【数１４】
2013149176.tif 000016
【０１８６】
この式(20)が成り立つ際には、内角が90°以上 = 直角 or 鈍角変化である。
この場合移動方向に不備があったとして、当該フローFlwを無効と判断し、手順1-2へ戻り次のフローFlw[id+1]の評価に移る。
このように、内積を示す式(21)より分母（長さ）は必ず正なので、鋭角を示すのはcosθがプラスのみである。そして、理想的なフローであれば、Flw[i]はVec1の延長＝内角はより0に近くなる。このため、この内角確認により無効なフローFlwを発見することができる。
この無効判定（１）は、計測マップの分解能が低い場合に特に有効であり、無限遠点近くではどのような精密さで計測マップを生成しても必ず分解能が低くなるため、無限遠点近くを対象とするフローFlwの無効判定処理として有効である。
【０１８７】
無効判定（２）  次のベクトルVec2, Vec3を求める。
EOF - フロー始点ベクトルVec2= [U[id]0 - Upi, V[id]0 - Vpi]
EOF - フロー終点ベクトルVec3= [U[id]1 - Upi, V[id]1 - Vpi]
そして、「ベクトルVec2の絶対値 ≧ ベクトルVec3の絶対値」であれば、接近移動が無かったものとして当該フローFlw[id]を無効と判断し、手順1-2へ戻り次のフローFlw[id+1]の評価に移る。
この無効判定（２）も、計測マップの分解能が低い場合により効果的である。
【０１８８】
手順1-3  相対速度
比較する画像IM間の撮影時間差Δt（NTSCのカメラ１０なら1フレーム間隔1/30 [秒]）より、対象が始点[X[id]0, Z[id]0]から終点[X[id]1, Z[id]1]まで移動した際の相対速度[spX[id], spZ[id]] [マップbit/フレーム] を求める。
・フローFlwが連続撮影であればマップbit/フレームはワールド座標系XYZでのフロー始点終点[[X[id]1, Z[id]1] - [X[id]0, Z[id]0]の差分値で求めることができる。
・無効判定（３）として、相対速度[spX[id], spZ[id]]が相対速度のしきい値を満たすか否かを判定する。速度のしきい値は上述した次の速度範囲である。速度範囲を満たさないフローは無効なフローとして除外し、手順1-2に戻り次のフローFlw[id+1]の確認を引き続き実行する。
-Xmax ≦ X速度spX[id] ≦ ＋Xmax [km/h]
＋Zlow ≦ Z速度spZ[id] ≦ ＋Zmax [km/h]
なお、Z計測マップの距離をZmax：256, Zmin：０とした場合は、Z[id]0 ＞ Z[id]1の関係から接近方向の速度の符号が-になるので符合に関して補正作業が必要である。実施例では、Spz符号補正は完了したものとする。
【０１８９】
手順1-4  表示ブロック半径BDr
次に、フロー始点[X[id]0, Z[id]0]に対して、表示ブロック半径BDr[i]0を表示マップ３４より取得する（ステップＳ３４）。
表示ブロック半径BDr[i]0はカメラ１０の仕様（取付位置・姿勢・焦点距離・歪曲変数他）に応じたゲイン（カメラ１０に対する不変の固有値）によりそのサイズを調整しても良い。例えば、表示マップ３４の作成時の表示ブロック半径BDrが実空間サイズで50 [cm] の場合、ゲインを0.25とすると半径12.5 [cm] となる。
ゲイン調整後の表示ブロック半径BDr[i]0が「小さすぎる」あるいは「０」の場合は、遠方あるいは半径計算不可位置と判断し、当該フローFlwを無効判定（４）として、手順1-2に戻り次のフローFlw[id+1]を対象とする。
【０１９０】
手順1-5  グループ番号
相対速度[spX[id], spZ[id]]がしきい値を満たすフローFlwについて、検出した順番に1番から自然数でグループ番号を割り付ける。このグループ番号は、次回の画像IM[3]と画像IM[2]による判別作業にて使用する。グループ番号は、グループの属性を管理するための番号であり、手順の進行によって、仮の番号を与え、連番とする更新をし、確定し、確定されていた番号を仮の番号としていく。仮の状態を仮グループ番号として整理しても良いが、ここでは、グループに付する番号をすべてグループ番号という。
【０１９１】
手順1-6  統合バッファ５６
まず、画像IMと同じサイズの空バッファ（統合バッファ５６）用意する。そして、画像IM上のフロー始点[U[id]0, V[i]0]を中心に表示マップ３４より表示ブロック半径BDr[id]を取得する。表示ブロック半径BDrは必要であればゲイン調整をしても良い。そして、統合バッファ５６にこの表示ブロック半径BDr[id]0で円を描画する（ステップＳ３５）。統合バッファ５６に描画する円をグループ領域GAという。グループ領域GAは、グループ番号で識別される。
画像[1][2]の最初のフローFlwを処理対象とする時点ではグループ領域GAは重ならないため（ステップＳ３６）、このフローFlwのグループFlwGには新しいグループ番号を付与する。
このグループ領域GAは、中心[U[id]0, V[id]0]、半径BDr[i]0の円形の領域ではなく、正方形その他の多角形の領域としても良い。グループ領域GAを正方形とする場合、例えば、頂点を[U[id]0 ± BDr[i]0, V[id]0 - BDr[i]0]の２点と、[U[id]0 ± R[id]0, V[id]0+ BDr[i]0]の２点との計4点としても良い。
グループ領域GAは、図２０に示す例では、表示ブロックBDが重なり合って生じる円又は連結された円である。
【０１９２】
手順1-7  動的中心区画DTcの追加と区画テーブル
フロー終点位置[U[id]1,V[id]1]に動的中心区画DTc（動的テンプレート）を追加する（ステップＳ３９）。動的中心区画DTcは、次回の画像IM[2]及び画像IM[3]のフロー処理で使用される。動的中心区画DTcを配置したフロー終点[U[id]1, V[id]1]は、次回の画像IM[2]及び画像IM[3]の処理で検出されるフローFlwの始点となる。
図１０で示す例では、処理対象の画像IMの処理中に動的区画DTを配置するが、図３３から図２６に示す例では、フローが抽出された段階で、次回の画像IMの画像処理用に動的区画DTを準備しておく。
動的中心区画DTcを配置すると、そのグループ番号と、フロー終点位置[U[id]1, V[id]1]と、相対速度[spX[i], spZ[i]]とを図３８に示す区画テーブルに記録する。フローFlwの情報を動的中心区画DTcとの関係で記録しておくことで、この動的中心区画DTc又は関連する動的補完区画DTsから抽出される次のフローFlwに当該フローFlwの情報を引き継ぐことができる。
動的中心区画DTcの位置[U[id]1,V[id]1]が、基礎区画BTの登録位置や他の登録済み動的区画DT（動的補完区画DTsを含む）と重複する場合は、登録位置[U[id]1,V[id]1]をシフトさせ、[U[id]1, V[id]1] → [U[id]1 ± a, V[id]1 ± b] （a,bはシフト探索量）のように登録重複しない位置へ補正する。a, bの値が表示ブロック半径BDr[id]0を超過する場合は、登録を中止し、手順1-2へ戻り次のフローFlwについて処理を行う。
【０１９３】
手順1-8  動的補完区画DTsの追加
さらにフロー終点位置[U[id]1,V[id]1]の周囲に動的補完区画DTsを追加する（ステップＳ４０）。動的補完区画DTsは、動的区画DTの一種である。
動的補完区画DTsは、図１２及び図１３に示すように、次の手法１又は２により登録すると良い。
手法１  フロー検出位置[U,V]に対し簡易的に線分[U ± BDr[u, v], V]は仮定地上高Yconst平面と仮想ブロックIBの交線であるとして扱い、この線分の[U ± BDr[u,v], V]を任意にM等分した分割点座標を求める。
[U[i], V[i]] = [(U[i] - 2 × BDr[i]) + 2 × BDr[i]／M,  V[i]]
そして、[U[i], V[i]]へ計M個の動的補完区画DTsを登録する。表示ブロック半径BDr[u, v]は表示マップ３４の参照値である。
【０１９４】
手法２  [U[i],  V[i]]への動的補完区画DTsのみでは不足する場合は、フローFlwの延長線上を仮想円盤中心が移動するとして扱い、対象となるフロー延長線と設定した仮想ブロックIBで区切られた線分を任意のN等分した分割点位置に動的補完区画DTsの登録位置をN点登録しても良い。
ここでは、仮想円盤中点・分割点は仮定地上高Yconst平面上に分布しているものとして取り扱う。
【０１９５】
手法１及び２のいずれの場合もシステムの数値計算能力が十分に備わっていれば、フロー検出位置[ [U,V]を一旦仮定地上高Yconst平面上に投影し、表示マップ３４作成時に設定した仮想ブロックIBの実空間半径BDrを利用して動的補完区画DTs登録候補点を３次元実空間上に求め、それらを再度座標変換式(7)により、それぞれ画像座標[U,V]に投影変換して動的補完区画DTsを登録すると良い。
動的補完区画DTsの登録位置と、基礎区画BT、動的中心区画DTc、又は他の動的補完区画DTsとが重複する場合は、シフト操作し、重複が生じない位置へと調整する。
[U[i], V[i]] = [U[i] ± a, V[i] ± b] （a, bはシフト探索量）と補正する。
a, bが半径R[i]0を超過する場合は、登録を中止する。 
【０１９６】
動的補完区画DTsについても、関連する動的中心区画DTcのグループ番号と、フロー終点位置[U[id]1, V[id]1]と、相対速度[spX[i], spZ[i]]とを区画テーブルに記録する。やはり登録箇所が既に登録済みの区画と重複する場合は、周辺の重複登録しない座標を探し登録座標を補正する。
【０１９７】
手順1-9  次フローFlw[id+1]の処理
全区画のマッチング処理が終了したか否かを確認し、全区画終了でなければ、手順1-1へ戻り、次の検出フローFlw[id+1]について手順1-2、手順1-3、手順1-4の処理を行う。全区画終了であれば手順1-13に進む。
【０１９８】
手順1-10  グループ番号の割り付け
画像[1][2]に対する処理で、２つめ以降に検出したフローFlw[id+1]については、既存のグループFlwGと同一のグループFlwGに属させるか、それとも、新たなグループFlwGに属させるかの判定が必要となる（ステップＳ３６）。
まず、表示ブロック半径BDr[id+1]を参照して、統合バッファ５６にグループ領域GA[U[id+1]0, V[id+1]0]を描画する。この描画したグループ領域GA[U[id+1]0, V[id+1]0]が、既に登録済みのグループ領域GAと重なり合った場合には、当該重なり合ったグループ領域GAと同一のグループFlwGに帰属させる（ステップＳ３８）。すなわち、このフローFlw[id+1]のグループ番号は重なり合ったグループ領域GAのグループ番号とする。
一方、グループ領域GAが重なり合わなかった場合には、このフローFlw[id+1]は新しいグループFlwGに帰属させ（ステップＳ３９）、グループ番号を2番とする。以降、新たにグループ番号を追加する際は３番、4番と1つずつ加算し、連番でグループ番号を追加する。
画像[1][2]を対象とする処理の段階では、動的区画DTから検出されるフローFlwがないため、前回フローFlwPが属するグループ番号との選定は行わない。
３つめ以降のフローFlwを対象とする処理にて、ステップＳ３６で２以上のグループ領域GAと重なる場合、図３５を参照して後述するように検出回数の比較により帰属するグループを特定すると良い。
【０１９９】
手順1-11
同様に手順1-7から手順1-8までの作業を完了する。
手順1-12
続いて、全区画画像TMに対する処理が完了するまで（ステップＳ４１）、基礎区画BT[id+2]から基礎区画BT[Nd]までの全ての区画画像TMについて手順1-9から手順1-11までを繰り返し処理する。
手順1-13
全ての基礎区画BTの作業が終わった段階で、区画テーブルのグループ番号を1番からの通し番号に整理する（ステップＳ４２）。
画像IM[1]及び画像IM[2]による処理では、区画テーブル内のグループ番号は連番となっているが、処理が進行すると、動的区画DTの選定処理により無効判定された動的区画DTのグループ番号が消失し、欠落番号が生じる。手順1-13では、この欠落番号を取り除き、グループ番号も正式な番号として連番とし、グループ番号に更新する。
【０２００】
・手順２  画像IM[3]入力以後：動的区画DT追加後の処理：動的区画DT
次に、図３５を参照して手順２及び３を説明する。
画像IM[1][2]に対するフロー処理により、動的区画DT（動的補完区画DTsを含む）が追加されている。区画テーブルには、これらのそれぞれの区画について、グループ番号と、フロー終点位置[U[id]1, V[id]1]と、相対速度[spX[i], spZ[i]]とを保持している。これら区画テーブルで管理されるデータは、グループFlwGの履歴データである。区画テーブルに登録されているフロー終点位置[U[id]1, V[id]1]の多くは、この手順2ではフロー始点（動的中心区画DTc）又はフロー始点の周囲（動的補完区画DTs）の位置となる。
【０２０１】
手順2-0  フィードフォワードデータ
画像IM[3]を撮影する。手順1-1に従い、画像IM[2]及び画像IM[3]に関してフロー処理を行う。フロー処理は、効率化のため、基礎区画BTと動的区画DTの登録位置に対して1度にまとめて処理を行う。動的区画DTは、動的中心区画DTcと動的補完区画DTsを含めて、Na個配置されている。
次に手順1-2以降の検出フローFlwの判定処理を行うが、本実施例３では、デフォルトテンプレートである基礎区画BTのNd個について確認する前に、動的テンプレートである動的区画DT[ia]（添字iaは1からNa）を対象とする（ステップＳ５１）。その後基礎区画BTのNd個に対して同様の処理を行う。動的区画DTを先にマッチング処理することで、フローFlwを効率的にグループ単位で処理することができる。
【０２０２】
動的区画DTから検出されるフローFlwに関しては、フィードフォワードデータ[ia: 1からNa]個をフローテーブルに記録する。フィードフォワードデータは、次のデータ項目を含む。
フロー終点で求めた表示ブロック半径BDr[ia]1
フロー始点[U[ia]0, V[ia]0]
フロー終点[U[ia]1, V[ia]1]
前回検出された速度[spX[ia],spZ[ia]]（画像IM[1][2]で設定）
フロー始点・終点の一致度AD（SAD, NCC値等による評価値、その他）
フロー始点・終点の特徴量FE（テンプレート内画像IMの輝度分散値、微分情報(ソーベル等)による評価値、その他）
グループ番号
上記登録したデータは、後述の画像IM[2]及び画像IM[3]に関するグループFlwG単位での判別作業用に使用する。具体的には、後述の手順2-8および手順4-1から手順4-7で使用する。
【０２０３】
手順2-1
撮像した画像IM[3]の動的区画DTの区画画像TMに対して、手順1-1から手順1-3と同様にマッチング処理をし（ステップＳ５２）、有効なフローFlwを探索する（ステップＳ５３）。
画像IM[2]と画像IM[3]によるグループFlwG単位での判別作業で使用するフィードフォワードデータ[ia]を初期化する。引き続き手順1-2から手順1-4の処理を行う。
【０２０４】
手順2-2
手順1-4の処理と同様に、有効なフローFlwについて、フロー終点[U[ia]1, V[ia]1]での表示ブロック半径BDr[ia]1を求める（ステップＳ５４）。この表示ブロック半径BDr[ia]1は、後述する手順４のフィードフォワードによるグループFlwG評価処理で使用する。なお、表示ブロック半径BDr[ia]1が1以下であれば、無効なフローとして扱い、手順2-1へ戻り次のフローFlw[ia+1]の評価に移る。
【０２０５】
手順2-3
条件を満たしたフローFlwに対するグループ番号の割り当ては、ステップＳ５６からステップＳ６０までの処理を行うが、この手順2の初回では、グループ番号（画像IM[3][4]用）は、前回グループ番号の割り当てとなる（ステップＳ５９）。前回グループ番号は、手順1-13で画像IM[1][2]を対象とした処理で登録したグループ番号（画像IM[2][3]用）である。
【０２０６】
手順2-4
その後手順1-8までの作業を行った後、後述のグループFlwG評価作業で使用するために、フィードフォワードデータ[ia]を更新する（ステップＳ５５）。フィードフォワードデータ[ia]の速度[spX[ia], spZ[ia]]は、画像IM[1][2]を対象に手順1-8で記録した速度を使用する。
なお、今回の手順2-1内、手順1-2から手順1-４で確認した速度は、次回の画像IM[3][4]に対するフィードフォワードデータ設定に使用するため、以降の手順1-7内で区画テーブルへ記録する。
【０２０７】
手順2-5
続いて、この手順2の初回では、手順1-7、手順1-8に従い次回の画像IM[4]と画像IM[3]のフロー用に動的中心区画DTc、動的補完区画DTsを追加する（ステップＳ６３）。
【０２０８】
手順2-6
画像IM[1][2]の処理で設定した動的区画DT[ia]番が完了すると（ステップＳ６５）、動的区画DT[ia+1]について、手順2-1から手順2-3の作業を実行する（ステップＳ５２，Ｓ５３）。
【０２０９】
手順2-7
動的区画DT[ia+1]から検出したフローFlw[ia+1]について、作業手順2-3による前回のグループFlwG（前回Ｇ）に属させるか、そレートも、別のグループFlwG（別Ｇ）に属させるかの判定を行う（ステップＳ５６からＳ６０）。
まず、表示ブロック半径BDr[ia+1]を参照して、統合バッファ５６にグループ領域GA[U[ia+1]0, V[ia+1]0]を描画する（ステップＳ５６）。
【０２１０】
・この描画したグループ領域GA[U[ia+1]0, V[ia+1]0]が、既に登録済みのグループ領域GA（画像IM[3][4]用）と重なり合った場合には、当該重なり合った別のグループFlwG（別Ｇ）と、当該動的区画DTの生成元フローFlwが属したグループFlwG（前回Ｇ）とのグループ検出回数を比較する（ステップＳ５８）。この検出回数は、グループ検出回数テーブルに記録されている。比較結果、別Ｇの検出回数が多ければ、重なり合ったグループFlwGのグループ番号を割り当て、一方、前回Ｇの検出回数が多ければ、前回Ｇのグループ番号を割り当てる。グループ番号が確定するとフィードフォワードデータ[ia]にも記録する。
グループ検出回数が同数の場合は、通し番号の小さいほうのグループ番号を優先的に割り付ける。
【０２１１】
一方、グループ領域GAが重なり合わなかった場合には、作業手順2-3と同様に、前回グループFlwGのグループ番号を割り当てる（ステップＳ５９）。すなわち、画像IM[1][2]を対象として手順1-13で設定したグループ番号を読み出し、今回のグループ番号（画像IM[3][4]用）として使用する。
【０２１２】
画像IM[3][4]の比較時には、グループ検出回数テーブルに登録されるグループ検出回数は最大でも1回である。しかし、画像IM[4][5]、画像IM[5][6]・・・と処理が進むにつれ、無効判定された動的区画DTに割り付けられたグループ番号が消失し、欠落番号が生じ、グループ検出回数に差が生じる。
【０２１３】
手順2-8  グループFlwG単位で動的区画DTの最大登録数を管理
Flw[ia+2]]からFlw[Na]まで（ステップＳ６５）、残り全ての動的区画DT由来のフローFlw[ia]を繰り返し順次処理する。
手順2-5の処理に際しては、グループ番号(画像IM[3][4]用）毎に、追加する動的中心区画DTc(画像IM[3][4]用）及び動的補完区画DTs(画像IM[3][4]用）の登録数をカウントする。
【０２１４】
ここで、ある任意のグループ番号(画像IM[3][4]用）に関して、最大登録数である上限値を超過して動的区画DT(画像IM[3][4]用）を追加登録しようとする場合（ステップＳ６１）、次のような情報処理をする（ステップＳ６２からＳ６４）。ステップＳ６３及びＳ６４の「中心」は動的中心区画DTsで、「補完」は動的補完区画DTsである。
（１）今回のフローFlw[ia+n]]に対する動的補完区画DTs(画像IM[3][4]用）は新規追加しない。
（２）追加する動的中心区画DTc(画像IM[3][4]用）は、既に登録済みの動的補完区画DTs(画像IM[3][4]用）の中から削除対象を選定し、区画テーブルを上書きして更新する。
削除対象の動的補完区画DTs(画像IM[3][4]用）は、手順2-4で記録したフィードフォワードデータの一致度AD、特徴量FEを比較して最も劣るスコアを持つ登録済み動的中心区画DTc(画像IM[3][4]用）に属する補完区画(画像IM[3][4]用）のメンバーから選定する（ステップＳ６２）。
そして、登録済の動的補完区画DTs(画像IM[3][4]用）のグループ番号と、フロー終点位置[U[id]1, V[id]1]と、相対速度[spX[i], spZ[i]]とを上書きし、追加する動的中心区画DTc(画像IM[3][4]用）のデータを記録する（ステップＳ６４）。
【０２１５】
上書き更新した動的補完区画DTs(画像IM[3][4]用）は、２回以上の上書き更新しないようにすると良い。この例では、最も劣るスコアを持つ動的中心区画DTc(画像IM[3][4]用）を基準とした動的補完区画DTs(画像IM[3][4]用）が全て手順2-8の更新作業により上書き更新された後は、次にロースコアである登録済動的中心区画DTc(画像IM[3][4]用）に属する登録済動的補完区画DTs(画像IM[3][4]用）を更新する。
【０２１６】
グループFlwG毎の動的区画DTの最大登録数16とした場合を例に説明する。フローFlw[ia = 9]の結果を例えば図３７及び図３８に示すテーブル形式で記録する。
【０２１７】
そして、フローFlw[ia = 11]のグループ番号[3]であったとする。手順1-2、手順1-3等で無効と判断されたフローFlw[ia = 7]のデータを除き、グループ番号[3]については、既に次回用の動的区画DT（動的中心区画DTc及び動的補完区画DTs）が16個記録されている。すなわち、図３８に示すように、区画テーブルにはグループ番号が[3]である動的区画DTが16個存在する。
【０２１８】
この場合、フローFlw[ia = 11]のフィードフォワードデータの特徴量FEはフローテーブルの下へそのまま追加する。そして、フローFlw[ia = 10]を基にした動的中心区画DTcは、一致度ADが大きく特徴量FEの小さいFlw[ia=4]の動的補完区画DTs（例えば区画テーブルの１３番目）へ上書き登録する。また、再書き込み回避のためのマーキングを行う。（仮に区画テーブルの１３番目にマーキングがついていれば１４番を更新）。そして、フローFlw[ia = 10]による動的補完区画DTsは追加しない。
手順2-9
画像IM[1][2]で設定した動的区画DT[Na]個由来のFlw[ia = 1からNa]について、手順2-1から手順2-8まで繰り返し処理する。
【０２１９】
ここで、１グループの上限値を16とする際のデータの上書き処理例を説明する。
図３７に示すように、Flw[ia = 10]番目の結果を図３７に示すデータ形式で記録する。そして、続いて検出されたフローFlw[ia = 11]のデータのグループ番号が３であったとする。
図３７のフローテーブルに示すように、グループFlwG(3)に属する管理番号7のフローは、手順1-2又は手順1-3等で無効とされている。グループFlwG(3)に属するその他のフローの総数を数えて、図３８に示す区画テーブルを参照すると、FlwGの列が3であるフローFlwは、処理中の管理番号ia＝11のフローを除いてすでに16個記録されている。
この状態で、フローFlw[ia = 11]のフィードフォワードデータは、図３７に示すフローテーブルに管理番号11として追加記録する（管理番号11は図示せず）。
一方、１グループの上限値を１６と定義したので、Flw[ia=11]に関しては、図３８に示す区画テーブルには追加記録せず、削除対象を選定して、上書きする。削除対象は、図３７を参照すると、グループFlwG(3)のなかで、一致度ADが394と大きく特徴量FEが60と小さいFlw[ia = 4]（管理番号4）の動的補完区画DTsとする。図３８に示す例では、管理番号13番の区画がFlw[ia = 4]の動的中心区画DTcであるため、管理番号14番でフロー終点[U1 = 176, V1 = 75]の動的補完区画DTsが削除対象となる。管理番号14番に上書き済みのマーキングがされていれば、管理番号15番を対象とする。ここでは、図３８に示す区画テーブルの管理番号14番にフローFlw[ia = 11]の動的中心区画DTcを上書きする。
【０２２０】
・手順３  画像IM[3]入力以後：動的区画DT追加後の処理：基礎区画BT
手順3-1
画像IM[3]の動的区画DTと前画像IM[2]間のフローFlwの抽出が完了したため、引き続き基礎区画BTの区画画像TMついての処理を手順３として実行する。この手順３では、手順1-2から手順1-13及び手順21-から2-8に準拠して作業を行う（ステップＳ５２からＳ６６）。
但し、手順1-5手順1-10作業中に新たにグループ番号(画像IM[3][4]用）を定義する場合（ステップＳ３７）、使用するグループ番号(画像IM[3][4]用）は1番ではなく、前回動的区画DTの登録時に手順1-13で設定したグループ番号(画像IM[1][2]）の最大値からの通し番号とする。
例えば、前回の手順1-13処理でNa個、通番補正後のグループ番号がNo. 1からNo. 10であった場合、設定するグループ番号(画像IM[3][4]用）はNo. 11から順次追加する。
【０２２１】
基礎区画BTから抽出されるフローは、上述した手順2-7と異なり、動的区画DTのように前回の処理結果から継承される手順1-13で設定されたグループ番号（画像IM[1][2]）を持たない。このためグループ検出回数テーブルを参照する必要はない。すなわち、グループ番号(画像IM[3][4]用）が、統合バッファ５６[U[i+1]0, V[i+1]0]座標上に登録済みであれば、検出回数が最多のグループ番号を割り付ける（ステップＳ５６，Ｓ５７，Ｓ５８，Ｓ６０）。
【０２２２】
手順3-2
動的区画DTの配置に際して、配置する動的区画DTの数が計算能力に対して多くなりすぎる場合がある。この場合、手順3-2として、既存の親フローを上書きしていくことで、動的区画DTの上限数を設定すると良い。
手順1-7及び手順1-8に対応する手順2-8で動的区画DT(画像IM[3][4]用）の追加作業中に、グループ番号(画像IM[3][4]用）を単位として動的中心区画DTc及び動的補完区画DTsの総数を確認する（ステップＳ６１）。そして、上限値を超えて新たに登録を行おうとする場合は、手順2-8に従い基準となる動的中心区画DTcの一致度AD・特徴量FEスコアを調べ（ステップＳ６２）、最も低い動的中心区画DTcの動的補完区画DTs(画像IM[3][4]用）上へ、新たな動的中心区画DTcのデータを上書き更新する。また新たな動的補完区画DTsの登録を見合わせる（ステップＳ６４）。
【０２２３】
手順3-3
全ての基礎区画BT[Nd]個＝Flw[idからNd]について手順3-1から手順3-2の処理を完了させるまで（ステップＳ６６）、処理（ステップＳ５２からＳ６６）を繰り返す。
【０２２４】
手順3-4
画像IM[1][2]で設定した動的区画DTのNa個と基礎区画BTのNd個の全ての区画画像TMについて、画像IM[2][3]による判定作業が終わった段階で（ステップＳ６６）、グループ番号を通し番号に整理する。すなわち、次回の画像IM[4]と画像IM[3]に対するフロー処理用に動的中心区画DTcと動的補完区画DTsへグループ番号(画像IM[3][4]用）が割り当てられている。このグループ番号を1番からの通し番号に整理する（ステップＳ６７）。そして、それぞれの登録済みの動的中心区画DTc及び動的補完区画DTsに対して、整理前のグループ番号(画像IM[3][4]用）を整理したグループ番号(画像IM[3][4]用）に置き換える。
【０２２５】
手順3-5
さらに手順2-4等で登録したフィードフォワードデータ内のグループ番号、画像IM[1][2]を対象として手順１-13で設定したグループ検出回数テーブルのインデックスについても、該当する新規グループ番号に置き換える。
フィードフォワードデータの持つグループ番号は、画像IM[1][2]、手順1-13で設定したもの、あるいは手順2-7で統合された番号である。また手順3-1、手順3-2の基礎区画BTの判定処理で追加された分を除く、画像IM[3][4]用のグループ番号と等価である。
【０２２６】
再度図３５を参照して、画像IM[4]以降に対する処理を説明する。画像IM[4]以降についても、まず、動的区画DTから読み出し（ステップＳ５１）、前画像IM[4 - 1]の基礎区画BT及び動的区画DTとマッチングする（ステップＳ５２）。有効フローがなければ、画像IM[4]の次の動的区画DTを繰り返し選択して処理する（ステップＳ６５でNO）。動的区画DTの処理が完了すると（ステップＳ６５でYES）、基礎区画BTを繰り返し選択して処理する。
有効フローに対しては、フロー終点の表示ブロック半径BDrを参照して（ステップＳ５４）、統合バッファ５６に表示ブロックBD（及びその重なりであるグループ領域GA）を描画する（ステップＳ５６，グループ探索処理５０）この統合バッファ５６を使用したグループFlwGの判定は、実施例２で開示したグループ判定部４４の各処理（図１９）で実現することができる。また、有効フローについて、フィードフォワードデータを更新しておく（ステップＳ５５）。
グループFlwGの帰属判定（動的区画DT由来）では、グループ判定部４４は、現画像IM[4]以降の動的区画DTをフロー終点とする有効フローFlwは、グループ領域GAが重ならない場合（ステップＳ５７，グループ探索処理５０）、前画像IM[4 - 1]をフロー終点とするフローFlw(親フローFlw)が帰属していたグループ（前回Ｇ）に帰属させる（ステップＳ５９，グループ継続処理４８）。当該有効フローFlwの表示ブロックBDが他のフローの表示ブロックBDと重なる場合（ステップＳ５７）、帰属可能なグループは、前回Ｇと、重なり合った１以上の重なりＧである。検出回数比較処理５２は、帰属可能とされたグループFlwGが複数ある際に当該グループFlwGの検出回数を比較する（ステップＳ５８）続いて、当該検出回数を比較したフローFlwを当該検出回数が最多のグループFlwGに属させる（ステップＳ５９，Ｓ６０，グループ帰属化処理５４）。この検出回数の比較で、前回Ｇが残っていると、前回Ｇの検出回数は２以上であるため、このグループ帰属化処理５４で選択されやすく（ステップＳ５９）、その結果、グループFlwGが離散しても同一の接近車MAを連続的に同一グループとして検出することができる。
ステップＳ６５でYESとなり現画像IM[4]以降の基礎区画BTについての処理が開始すると、グループFlwGの帰属判定（基礎区画BT由来）を実行する。グループ判定部４４は、現画像IM[4]以降の基礎区画BTをフロー終点とする有効フローFlwは、グループ領域GAが重ならない場合（ステップＳ５７，グループ探索処理５０）、新しいグループに帰属させる（ステップＳ５９）。当該有効フローFlwの表示ブロックBDが他のフローの表示ブロックBDと重なる場合（ステップＳ５７）、帰属可能なグループは、重なり合った１以上の重なりＧである。重なりＧが２以上ある場合、検出回数比較処理５２は、当該グループFlwGの検出回数を比較し（ステップＳ５８）、最多のグループFlwGに属させる（ステップＳ５９，Ｓ６０，グループ帰属化処理５４）。
グループ帰属化処理５４は、グループ探索処理５０にて２以上のグループFlwGが探索された場合には、処理対象のフローFlwのみならず、検出回数の少ない他の全てのフローFlwのグループFlwGを検出回数が最多のグループFlwGに上書きすると良い（最多更新処理）。
動的区画DT由来の有効フローFlwと、基礎区画BT由来の有効フローFlwとのすべての処理が完了すると（ステップＳ６６でYES）、ステップＳ６７にてグループ番号を整理、更新する（ステップＳ６７）。
図３５に示す例では、グループFlwGへの帰属化処理が完了すると、続いて、図１５及び図３３に示す動的区画配置部３９が、次回画像IM[4 + 1]以降用に動的区画DTの配置をする。ここでは、１つのグループで配置可能な動的区画DTの数（図３８に示す区画テーブル（次回動的テンプレート追加テーブル）に残すフローFlwの数）に上限を定めているため、ステップＳ６１にて処理中の有効フローFlwから動的区画を配置するとグループ上限値を超過してしまうか否かを判定し（ステップＳ６１，上限値管理処理５８）、超過する際には削除対象を選定した上（ステップＳ６２）で、動的中心区画DTcのみ削除対象への上書きにより配置する（ステップＳ６４，区画選定処理６０）。一方、上限値を超過していなければ、動的中心区画DTc及び動的補完区画DTsとを配置する（ステップＳ６３）。
このように、画像IM[4]以降について、グループ判定部４４によるグループFlwGへの帰属化処理と、動的区画配置部３９による上限値を管理した動的区画DTの配置処理とにより、接近車MAから抽出されるFlwを良好に抽出し、グループ化し、さらに、グループを単位として時間的に連続する移動を追跡することができる。
【０２２７】
再度図２７を参照して最多更新処理を説明する。図２７に示す例では、図３５に示すステップＳ６７の終了後（画像IM[18][19]）、グループ番号が確定している。そして、図２８に示す画像IM[19][20]を処理する。グループFlwG(2)とFlwG(4)について、図３５に示す手順2-7（ステップＳ５８）にて図３０に示すグループ検出回数テーブルを参照し、検出回数を比較すると、図２８に示すグループFlwG(2)の検出回数がグループFlwG(4)の検出回数より多い。このため、最多更新処理は、図２９に示すように、グループFlwG(4)を吸収し、グループFlwG(2)に置き換える。
基礎区画BTからグループFlwG(6)以降が追加されても、グループ領域が重なると、ステップＳ５８の検出回数の評価（過去検出は必ず0回）で他のグループFlwG(2)又は(3)に吸収される。これにより、グループFlwG(2)及びグループFlwG(3)の連続検出性が向上した。
続いて、図３５に示すグループ番号の整理処理（ステップＳ６７，手順3-4）にて、グループ番号を通し番号に改める。
前回グループFlwG(1) → 不検出により消滅
前回グループFlwG(2) → 新グループFlwG(1)
前回グループFlwG(3) → 新グループFlwG(2)
前回グループFlwG(4) → FlwG(2)への吸収により番号消滅
新規グループFlwG(5)以降 → 初回の新グループFlwG(3)
新規グループFlwG(6)以降 → 吸収により番号消滅
グループ検出回数テーブルやフローテーブルでグループFlwG(2)が指す内容は新グループFlwG(1)へコピーし、グループFlwG(3)の内容もグループFlwG(2)へコピーする。
次回（画像IM[3][4]）処理時に、手順3-1で基礎区画BTから新たに見つかったフローへのグループ番号の初期値はグループ番号３（グループFlwG(3)）から開始される。
【０２２８】
・手順４  グループFlwG単位でのフロー連続性確認手法
手順4では、手順2-1から手順2-4で作成したフィードフォワードデータ[ia：0からNa]を利用して、新規グループ番号に基づいたグループFlwG単位で連続性を評価し、接近車MAを検出する。
図３６に、手順4から手順5までの情報処理例を示す。
フィードフォワードデータは、画像IM[1][2]を対象に手順1-7、手順1-8で設定した動的区画DTに基づくため、登録総数はNa個である。また、動的補完区画DTsの登録数をM個とすると、連続する1+M個の動的区画DT（動的補完区画DTsを含む）で同一のグループ番号を持つ。このグループ番号は、手順１-13にて画像IM[1][2]を対象に、例えば、1=動的中心区画DTc、M=動的補完区画DTsとして登録した番号である。
【０２２９】
なお、フィードフォワードデータの記録速度[spX[ia], spZ[ia]] (画像IM[1][2]で設定)
は、前回の登録作業時に記録されたものである。
フィードフォワードデータの記録速度[spX[ia], spZ[ia]]は、画像IM[3][4]での比較作業以降、前回の登録作業時に手順2-8あるいは手順3-2の作業が加わる。よって動的補完区画DTs（次回フロー用）が上書き更新された場合のみ、動的中心区画DTcと異なる値となる。手順2-8あるいは手順3-2で更新作業が入った場合でもグループ番号は共通に保たれる。
【０２３０】
手順4-1
手順2-1で記録したフィードフォワードデータ[ia]を参照し、データが無効（初期化状態のゼロデータ）でないことを確認する（ステップＳ７１）。フィードフォワードデータ[ia]の要素が無効であった場合は、先の手順2-1から手順2-4の段階で無効と判断されたものであるため、フィードフォワードデータ[ia]に関する処理は、引き続き次のデータ[ia+1]の確認作業を行う。よって、これら事前の確認により有効なデータは手順2-4でデータを与えられている。
手順4でのグループFlwG単位の予測による処理では、グループFlwGに属するフローFlwの過去の速度によるフロー予測終点と、実際のフローFlwのフロー終点との近接性を確認することで、一定範囲に近い場合には当該フローを正規フローとする。このフロー予測終点の算出による正規フローの確認対象（予測対象フロー）は、グループFlwGに属するすべてのフローFlwを対象としても良いし、グループFlwGに残る動的区画DTからのフローFlwのみを対象としても良いし、ステップＳ６２で削除対象とされたフローFlwも含むようにしても良い。
【０２３１】
手順4-2
フィードフォワードデータ[ia]に記録したフロー始点[U[ia]0, V[ia]0]を、実空間[X[ia]0,  Yconst, Z[ia]0]に変換する（ステップＳ７２）。
手順4-3
実空間[X[ia]0, Yconst, Z[ia]0]に次式にて比較画像IM間での推定移動（予測移動）を加え、実空間上でフロー予測終点FAp[X[ia]1f, Yconst, Z[ia]1f]を求める（ステップＳ７３）。
撮影フレーム間隔 × 履歴データからの速度[spX[ia], spZ[ia]]
【０２３２】
手順4-4
座標変換式（７）によりフロー予測終点FAp[X[ia]1f, Yconst, Z[ia]1f]を画面平面上の座標[U[ia]1f, V[ia]1f]に投影変換する（ステップＳ７４）。投影変換の座標計算は浮動小数演算等を使用するためシステムへの負担が大きい。このような場合は上述したXZtoUVマップを利用して[X[ia]1f, Yconst, Z[ia]1f]に対応する[U[ia]1f, V[ia]1f]値を取得すると良い。
【０２３３】
手順4-5
画像IMと同じサイズの空のバッファ（以降：予測バッファ６４）を用意して、画像座標系UVでのフロー予測終点FAp[U[ia]1f, V[ia]1f]周りに円領域（中心[U[ia]1f, V[ia]1f]・半径BDr[ia]1）を設定しフィードフォワードデータ[ia]に記録されたグループ番号で描画する（ステップＳ７５）。この描画した円領域は、図３２に示す予測領域FAである。予測バッファ６４を利用する手法は手順1-6の統合バッファ５６と同様である。ゲインによるサイズ調整をしても良い。
円領域の半径を表示ブロック半径BDrとすることで、車間距離によらず実空間距離WLに基づく大きさで予測領域FAを描画することができる。
【０２３４】
手順4-6
このフィードフォワード処理は、グループを単位として行う。よって、同一グループに属するフローについて、手順4-１から手順4-5まで（ステップＳ７１からＳ７５まで）を同一グループの全てのフローについて、予測領域FAを描画するまで（ステップＳ７６）、繰り返し実行する。
【０２３５】
手順4-7
１グループ分のフィードフォワードデータ（フローFlw）について、予測バッファ６４上でのそれぞれのフロー終点[U1,V1]の位置を参照し、予測領域FAに含まれているか否かを確認し、フロー終点が予測領域FAに含まれている場合、正常な正規フローとする（ステップＳ７７）。そして、例えば、グループFlwGを単位として、正規フロー数／フロー総数の正規比率を求めておく。
【０２３６】
手順4-8
次に、全のグループFlwGごとに手順4-1から4-7（ステップＳ７１からＳ７７）の作業を実行し（ステップＳ７８）、グループ番号毎の正規比率を記録する。
手順4-9
手順4-7及び手順4-8で求めた正規比率にしきい値を設定し、正規比率がしきい値を満たす場合は、グループ検出回数テーブルの該当グループFlwGに対し検出回数1回として加算する（ステップＳ７９）。接近により離散したグループFlwGも連続して正しい検出が行えればカウントを追加し接近車MAの判定に使用する。
【０２３７】
図３６に示す例では、予測対象フローFlwのフロー始点に過去速度を加算して予測領域FAを描画し、実際の予測対象フローの終点が当該予測領域FA内となるか否かを確認したが、逆に、予測対象フローの終点から予測領域FAを描画し、フロー予測終点がこの予測領域FAに含まれるか否かを確認するようにしても良い。
【０２３８】
・手順５  接近車MAの検出判定
手順5-1
次の入力画面[4]を取得し画面[4][3]の処理に移る。
手順1-1から4-9の作業を繰り返し、さらに画面[4][5]、画面[5][6]と作業を繰り返しグループFlwG毎の検出回数を求めていく（ステップＳ８０）。
ただし、それぞれ手順2-4で登録したフィードフォワードデータ内のグループ番号についても、該当する新規のグループ番号に置き換える際に、グループ検出回数テーブルの該当検出数もグループ番号の登録回数から新規グループ番号の対応位置へ移動させる。
フローFlwの判断や、該当する仮想ブロックIBの消失、手順2-7の入れ替えなどで該当グループ番号が検出されなくなった時点で、グループ検出回数テーブルの該当グループ番号のデータは0クリアする。
そして、手順3-5実行時にグループ番号を通し番号処理してグループ番号を確定する際、グループ検出回数テーブルの該当項目も調整する。
【０２３９】
手順5-2
手順4-9実行時にグループ検出回数テーブルのグループ検出回数にしきい値を設定する。あるグループFlwGが規定回数以上検出されることは、連続して接近移動を繰り返す物体の存在＝接近車MAありと判断し（ステップＳ８１）、ドライバーへ情報提示する。
【０２４０】
・警報提示手段
接近車MAを検出した際、ブザーやバイブレータなどの他機器を利用してドライバーへの情報提示することができる。その他、カーナビモニタなどへ以下のような情報を出力することもできる。
【０２４１】
警報提示手段（１）
作業5-2で接近車MAを検出したグループFlwGに対し、該当グループFlwGの予測バッファ６４上の予測領域FAをカメラ１０の入力画像IMと重ね合わせてモニタへ出力する。
【０２４２】
警報提示手段（２）
警報提示手段（１）で操作する該当グループFlwGの予測バッファ６４上の該当グループ領域GAについて、重心位置[U重心,V重心]を求める。求めた重心位置[U重心,V重心]をさらに計測マップにて実空間上[X重心,Yconst,Z重心]に変換する。そして、インパネに、左右および自車MT後方を示す3つのLEDを用意する。
実空間上へ変換された際のX重心の符号・位置を確認し、設定したLEDに対して対応させたランプのスイッチを入れる。
さらに実空間上へ変換された際のZ重心の大きさから、相対距離や接近速度を計算し、大きさにおおじてLEDへの点灯輝度や点滅タイミングを変化させ危険度を通知する。
あるいは左右の方向指示器と連動し、ドライバーが方向指示器を起動する方向と判断接近車MAの存在[X重心,Yconst,Z重心]が合致し注意すべき際にはドライバーへ通常と違う動作音・アラームを提示する等の効果を使用して情報提示する。
【０２４３】
・表示ブロック半径BDrの設定等についての補足
補足（１）  仮想ブロックIBの表示ブロック半径BDrの設定について、半径BDrを小さく、あるいは作業1-6で調整した半径BDr[i]0のゲインを1未満とすると、動的補完区画DTsの配置範囲、およびグループFlwGと判定する領域が狭くなる。この場合、次回の画像IMに対するフロー監視はより狭い範囲に集中する。
但し、特徴量FEが少ないテンプレートに対しあまり範囲を集中しすぎると、動的中心区画DTcと動的補完区画DTsの中身がほとんど同じような状態となるため、連続して画像処理を行っていく中で消失せずに最終的に残る動的区画DTが減少し、接近車MAの検出確率が低下してしまう。
【０２４４】
またグループFlwGの統合が上手くいかず手順4-7、手順4-8でのグループ検出カウントを稼ぐことが難しくなる。
逆に、表示ブロック半径BDrを大きくとると、処理を経過する中で最終的に良質な特徴量FEをもつ動的区画DTの数を増やすことができるが、隣り合うグループ領域GAが連結する確率が増加する。結果、別の接近車MAなど全く違う対象を同じグループFlwGに統合する可能性が増すため１つのグループFlwGに全く異なる記録速度[spX[ia],spZ[ia]]を持つテンプレートが発生する。結果、手順4-7手順4-8に関するフィードフォワード処理で誤検出・不検出するカウントが発生し正しくグループFlwGによる接近車MA判定を行うことが難しくなる場合がある。
【０２４５】
補足（２）
表示ブロック半径BDrを小さく、あるいは作業2-2で調整した半径BDr[ia]1のゲインを1未満とすると、フローFlwの確認に精度が要求される。よって、フロー予測終点FApからなる判定領域が、あいまいなフローから計測した速度[spX[ia], spZ[ia]]を元にフィードフォワード予測を行うと、ギャップが大きくなり実際のフロー終点と予測位置が一致しないので手順4-7の作業時にカウントを稼ぐことができなくなってしまう。
逆に表示ブロック半径BDrを大きくとると、フロー検出誤差あるいは計測マップの分解能による推定誤差など多少のズレがあった場合でも検出カウントを得ることができる。但し表示ブロック半径BDr[ia]1が大きすぎると、誤検出の発生頻度は増加する。
【０２４６】
補足（３）
動的補完区画DTsはもともと検出したフローFlwを基準に登録したものではないため、設定すべき速度は得られない（基準とする動的中心区画DTcに速度のコピー）。よって予測終点は実際のフロー終点よりもギャップが大きいことが予測される。
手順4-5の予測バッファ６４に対する表示ブロック半径BDr[ia]1での塗りつぶし処理、手順4-6の同じグループFlwGの処理を実施する作業を行うことで、本来ギャップを含む動的補完区画DTsに対するフロー予測終点FApは、動的区画DT周辺で設定した表示ブロック半径BDr[ia]1の領域、あるいは同じグループに属する他の動的補完区画DTsが設定した表示ブロック半径BDr[ia]1の領域からも検出カウントを得ることができる。
つまり補足（２）において予測精度を厳しくするために表示ブロック半径BDr[ia]1を絞った場合でも、ギャップを持つ動的補完区画DTsに対しては判定領域を拡大するのと同等の判定緩和効果を得ることができる。すなわち、補足（２）表示ブロック半径BDr[ia]1による予測精度調整と、動的補完区画DTsに含まれるギャップとの間を自動的にバランス調整できる。
【０２４７】
・繰り返しパターン対応
次に、保留フローFlwと判定するフローFlwの例として、真逆フローFlwR等を説明する。道路白線や壁などの直線成分を多く持つ障害物の輪郭付近では相似要素が高く、輪郭線に並行方向へ一致箇所が多数検出される。
図３９（Ａ）に示す路面と白線との境界である区画画像TMに対しては、図３９（Ｂ）に示すように、特徴量FEの一致度ADの高い区画画像TMが多数生じる。
自車MTの進行方向とほぼ並行である道路白線の輪郭部などは、後ろ向きにも、前向きにも一致箇所が発生する。特に分解能の低い（例えば８ビット）計測マップを使用した場合、フロー始点終点に関する速度による無効判定を使用しても除去困難であるような誤検出フローFlwが発生する。このような誤検出は、画像処理の原理的な要因に影響して発生するので、マッチングの手法や計測マップによる判定手法を使用しても対策は相当難しく、接近車検出に関する大きな障害となる。
【０２４８】
図４０（Ａ）は特徴量FEの一致度ADに基づいて抽出した全てのフローFlwを示す。図４０（Ａ）に示す全てのフローは移動車によるフローではないため、全て誤検出フローFlwである。背景やノイズであるフローFlwは、フロー速度等を使用した無効フローFlwの判定により除去することができるが、図４０（Ｂ）に示すように、この無効フローFlwの判定では白線の輪郭に残った誤検出フローFlwを除去することができない。
このように、白線の輪郭などの繰り返しパターンがあると、後述する詳細手順1-2及び詳細手順1-3により無効フローFlwを除去しても、誤検出フローFlwとして残ってしまう。
このような除去困難である誤検出フローFlwは、白線の輪郭以外にも橋の欄干やガードレールの繰り返し構造を持つオブジェクト（繰り返しパターン）からも発生する。
【０２４９】
このような繰り返しパターンに関して、特許文献４等には、連続する2枚の画像IM比較に加えて、さらに1枚前に取得した画像IMに対して入力画像IMとのフロー処理を行い、フローFlwの長さの変化を確認することで繰り返しパターンの解決に取り組んでいる。
しかしながら、このような手法では、ある入力画像IMに対する1回の処理に対して、少なくとも入力1枚ストック２枚の3枚の画像IMを記録するメモリが必要となり、またフローFlwを行うシステム計算不可も2倍必要となるため、さらに繰り返しパターンかどうか、フロー内容を確認する処理とあわせると必然的にコスト高なシステムとなってしまう。
また、連続する繰り返しパターンの区間が長ければ長いほど、特許文献４の処理でも回避できない誤検出のケースが存在する。
【０２５０】
図４１に繰り返しパターンと区画画像TMとの関係例を示す。図中、重線（二本線）で示す重線部は繰り返しパターン検出点で、実線（１本線）で示す実線部は今回の区画画像TMで、点線で示す点線部は1つ前の画像IMに対する処理で使用した区画画像TMである。前回より、図４１では、３つの移動について、点線部、実線部、重線部と進行している。
図４１に示す区画画像TM(1)の位置では、点線部である1つ前の画像IMの区画画像TMを使用することで繰り返しパターンの発生を判別できる。しかし、区画画像TM(2)及び区画画像TM(3)の位置では、1つ前の点線部の画像IMの区画画像TMを使用しても、繰り返しパターンの発生であるか否かを判別できない。
なお、特許文献４記載には、点線部vs重線部の一致度ADと、実線部vs重線部の一致度ADとの差を算出し、この差に基づいて繰り返しパターンであるか否かを判定する手法が開示されている。
【０２５１】
本実施例では、処理する画像IMは新旧2枚のまま追加せずに、上述した手順0-1から手順5-2までの作業をこなして得た検出結果およびその履歴カウントを利用し、さらに手順0-1から手順5-2内の作業に盛り込みながら繰り返しパターンを回避できる
ここで、繰り返しパターンへの対策として、次の４つの処理を開示する。
（１）手順B  一致度AD(SAD)ギャップの確認による誤検出回避手法
（２）手順C  真逆フローFlwRの検出と判定保留作業
（３）手順D  保留フローFlwによる表示ブロック半径の調整
（４）手順E  連続検出しきい値の調整
なお、手順Aは図６に示す表示ブロック半径BDrの算出手順である。
【０２５２】
・手順B  一致度AD（SAD）のギャップの確認による誤検出回避手法
視差の関係がある以上、カメラ１０と物体の相対位置が変化すると画像IMに必ず微小の変化が発生する。フローFlwの発生は物体の移動を示すので、フローFlwが一定以上の長さを持つのに、フロー始点の一致度ADとフロー終点での一致度ADの差（＝画像IMの変化）が小さいのは繰り返しパターンが発生しているものとして考える。
【０２５３】
手順B1
手順1-1でフローFlwを求めるマッチング処理の際、基礎区画BTの登録点（フロー始点）で確認した一致度ADを記録する。フロー始点で、マッチングが一致したとしてもフローFlwの長さ＝0となるのでフローは発生しない。
手順B2
手順1-2で通常通りに処理を行い、検出した一致度AD（=フロー終点となる位置）を確認する。
手順B3
手順1-3において、検出したフローFlwについて画像平面上でU方向成分・V長さを確認し差が次式にていずれかが２以下となるもの（隣り合う関係＝移動なし）は処理対象から除外する。
ΔU＝[U[i]0 - U[i]1の絶対値、及びΔV＝V[i]0 - V[i]1]の絶対値
手順B4
さらに残ったフローFlwに対し、移動があったにも関わらずフロー終点の一致度ADと区画の登録点での一致度ADとの差に対してしきい値を設定し、一致度ADの偏差が設定しきい値より小さい場合は、白線等の輪郭線等を示す確率が高いものとして無効フローと判断する。
【０２５４】
・手順C  真逆フローFlwRの検出と判定保留作業
手順Bによる処理で一致度ADの偏差のしきい値を厳しく設定すると、接近車MA自身の検出に失敗してしまうことがある。これは、基本的に接近車MAとの車間距離が迫るほど検出されるフローFlwは輪郭部に集中していく傾向があるからである。また、区画のサイズを小さく取ることで、画像IMの変化への感度が弱くなることも原因である。よって、手順Bの一致度ADの差による評価をあまり厳しく（許容設定範囲を小さく）することができない。このため、手順Bのみで繰り返しパターンを除去するのは困難である。
【０２５５】
繰り返しパターンが問題となるのは、連続マッチング処理に際して区画画像TMの移動方向が繰り返されるためである。このような繰り返しパターンの発生傾向は自車MTの進行方向と平行に存在する。
本実施例では、接近を示すフローFlwを検出したテンプレートの所属するグループFlwGには、基礎区画BT・他の動的中心区画DTc・動的補完区画DTsが含まれる。よって手順2-0あるいは手順3-1（手順1-1）で除去されたフローFlwの中には、図４２に示すように自車MTと並行ではあるが、逆向きを示すフローFlwが存在する公算が高い。
繰り返しパターンが撮像されると、同一のグループFlwGに属する基礎区画BT、動的中心区画DTc、及び動的補完区画DTsのいずれかが真逆フローFlwRを検出する確率が高い。このため、真逆フローFlwRの発生が、繰り返しパターンの発生として、重点的に判別作業を強化することで繰り返しパターンによる影響を抑制できる。
真逆フローFlwRは、有効フローFlwと方向が逆となるが、画角や広角歪み、繰り返しパターンの形状によっては、完全な「真逆」とはならないこともあるが、ここでは、一定範囲の逆転関係をもって真逆フローFlwRとよぶ。
【０２５６】
そこで以下の処理を組み合わせ、手順B（一致度SADギャップの確認処理）を補完することで手順Bのしきい値設定値をより小さく設定しても繰り返しパターンに対応できるようにする。
手順C1
手順1-4で無効とされたフローFlwのうち、自車MTの移動速度と真逆を示す真逆フローFlwRについて、フロー始点・及びフロー終点座標を記録する。
手順C2
手順4-1のフィードフォワード処理前に、統合バッファ５６と記録した真逆フローFlwRの始点終点履歴を確認し、統合バッファ５６上の領域記録から真逆フローFlwRがいずれかのグループ領域GAに含まれる場合は記録を行い、グループ番号毎に含まれる真逆フローFlwRの数をカウントする。
手順C3
手順4-9において、該当グループ番号毎に真逆フローFlwRの数が一定以上含まれる場合は、手順4-9の条件を満たすグループFlwGについてはカウントの増加数を1/2とする。
また検出があった回での手順5-2（接近車MAの判定）に関する処理については、該当グループFlwGの検出処理をパスする。
【０２５７】
グループの検出回数のカウントを保留することで、グループFlwGの有効性の確認は次回の画像IMによる判断に委譲される。よって、白線を含む確率の高いグループFlwGほど、手順4-9のカウントが蓄積されないので、手順5-2で接近車MAと判断される確率が減少する。
処理を繰り返していく中で、繰り返しパターンを持つものは、繰り返し真逆フローFlwRが検出されるので、判定の厳しさが増し除去されていく。
また逆に接近車MAに対して繰り返しパターンであると誤認識された場合でも、連続検出される中で再び真逆フローFlwRが誤認識され発生する確率は低く、次画像IMでの有効フローFlwによる連続検出カウント増加により最終的にフォローアップされ接近車MAを検出することができる。
【０２５８】
・手順D  保留フローFlwによる表示ブロック半径の調整
手順C（真逆フローFlwによる判定保留）によるグループ検出回数のカウントの抑制は有効であるが、手順1-6（手順2-7・手順3-1）等の統合バッファ５６および手順4-5の予測バッファ６４の作成時に、白線の確率を持つグループFlwGと接近車MAを示すグループFlwGが連結してしまうと正しい接近車MA判定ができない恐れがある。
この手順Dでは、真逆フローFlwRを保留フローFlwとし、表示ブロック半径BDrを有効フローFlwに対する処理よりも小さく制御する。
【０２５９】
手順D1
追加処理C-3を行った際、真逆フローFlwRによりカウントアップができなかったグループFlwGに対してグループ番号を記録する。
手順D2
さらに、その発生回数が履歴としてグループ番号単位で記録・蓄積できるようなテーブルを用意する。
手順D3
次画像IMに対して、接近車検出処理を行う。手順1-6（手順2-7・手順3-1）を実行する際、直前の作業で、当該グループ番号に手順D1の発生が確認された場合は、手順D2で記録された総発生回数に比例する形で表示ブロック半径BDr0を縮小するゲインを掛ける。結果、統合バッファ５６にてグループ領域GAを設定する際、白線の確率が高い真逆フローFlwRを含むグループFlwGと他のグループFlwGの連結確率を下げることができる。
【０２６０】
手順D4
さらに、手順2-4を行う場合、同様に当該グループ番号に手順D1の発生が確認された場合は、手順D2で記録された総発生回数に比例する形で表示ブロック半径BDr1を縮小するゲインを掛ける。その結果、手順4-5で予測バッファ６４へグループ領域GAを設定する際、白線の確率が高い真逆フローFlwRを含むグループFlwGと他のグループFlwGの連結確率を下げることができる。
また、手順3-５実行時にグループ番号 を通し番号処理してグループ番号を確定する際、「真逆フローFlwRによる無効履歴回数分を記録したテーブル」の該当項目も調整する。
【０２６１】
図４３を参照すると、手順2-0直後の画像IMに対して、図中フローFlw(1)は真逆フローFlwRであり、フローFlw(2)は真逆フローFlwRとセットとなるフローFlwである。フローFlw(3)は繰り返しパターンの履歴を持つ検出箇所に検出したフローFlwである。
フローFlw(1)及びフローFlw(2)により、白線箇所に真逆フローFlwRを検出でき、この真逆フローFlwRの位置にて繰り返しパターンが検出されたと判定できる。この真逆フローFlwを親フローとして動的に追加する動的区画DTに、繰り返しパターン検出と記録する。また、真逆フローFlwRの検出位置自体を別に記録しても良い。
また、真逆フローFlwRの検出位置を繰り返しパターン検出位置として記録しておくと、フローFlw(3)のように今回の処理で真逆フローFlwRが検出されなくとも、当該フローFlw(3)を真逆フローFlwRとセットのフローFlwであると判定することができる。
【０２６２】
図４４に示す統合バッファ５６でのグループ判定処理にて、真逆フローFlwRを発見したグループFlwGに所属するフローFlw(2)については、無効判定処理にて有効フローFlwと判定されても、手順4-1直前等にてフィードフォワード判定の対象外とする。すなわち、該当フローテーブルの該当登録データを削除する
一方、手順2-7等にて、次画面処理用の動的中心区画DTc・動的補完区画DTsは通常通り追加すると良い。
また、繰り返しパターンとして記録された履歴を持つグループFlwGに所属する有効フローFlwについては、手順2-7、手順2-8等にて、発生回数に合わせて表示ブロック半径BDr0を縮小させて、第１に、他のグループFlwGとの連結を回避し、第２に、領域（対象）を絞ることで集中確認できるよう対応する。
【０２６３】
図４５に示す予測バッファ６４に対して、繰り返し履歴を持つグループFlwGに所属する有効フローFlwについては、手順4-5等にて、発生回数に合わせて表示ブロック半径BDr1を縮小させグループ検出の判定精度を厳しくすると良い。図４５に示す例では、予測領域FAの外にフロー終点が来るので、このフローは発見されず（予測とのギャップが大きい）、グループの検出回数はカウントアップされない。
【０２６４】
・手順E  連続検出しきい値の調整
手順E1
手順5-2で接近車MAと判断する連続検出回数しきい値を、手順D2手順D3で定めた真逆フローFlwRによる無効履歴回数分に比例してゲインをかけ厳しくする。つまり、手順Cではカウントの増加率で対応するが、繰り返しパターンであると疑われた回数だけ手順5-2による蓄積カウントの評価しきい値を調整することで接近車MAの判定を行うこともできる。
【０２６５】
・手順F  画像IM参照して再説明
次に、図４６から図５４の画像IMの例を参照して詳細手順を再度説明する。画像例は、ここでは、図中のかっこで示す番号で特定する。例えば、図４６（１ａ）については、図（１ａ）と省略する。図（１）というときには、図（１ａ）及び（１ｂ）の両方を示す。工程のステップの番号は、図３４から図３６に示すフローチャートでの番号である。
【０２６６】
手順F1-1  図（１）基礎区画BT
まず、計測マップの有効領域にそって基礎区画BTを登録する。
手順F1-2  図（２）基礎区画BTと全フロー
基礎区画BTに対しオプティカルフロー処理を行う（ステップＳ３１）。一致度AD・特徴量FEなどのマッチング判定を経て、フローFlwは図（２）のように検出される。
【０２６７】
手順F1-3  図（３）計測マップより抽出した有効フロー
計測マップに登録された実空間X、Z座標とフロー始点終点、および経過時間を使用して、接近車MAの位置変化・速度方向、さらにEOFとの簡易内積評価を算出し、接近方向の条件を示す有効フローFlwを確認し取り出す（ステップＳ３３）。検出した有効フローFlwについては判定に使用した速度情報を記録しておく。
【０２６８】
手順F2-1  図（４）代表フローFlwの位置
図（３）中の接近車MAのあるフローFlwを代表例として1つ取り出して説明する。ここでは、図（５）に示す接近車MAで発生した図中右上のフローに着目する。
手順F2-2
図（５）親フローFlwと子フローFlw
図（６）フロー始点に設定する子フローFlw配置用領域
図（７）図（５）より子フローFlwを抜粋
取り出したフローFlwの始点に対しフローと自車MTの車間距離に応じたサイズ（表示ブロック面積BDa）を表示マップ３４より取得し（ステップＳ３４）、取得した表示ブロック面積BDaに基づいて子フローFlwを検出するための動的区画DTを配置する（ステップＳ３９，Ｓ４０）。
この例では、表示マップ３４には実空間半径25 [cm] の仮想ブロックIBの表示ブロック面積BDaを登録する。そして、表示マップ３４に登録された表示ブロック面積BDaと同等サイズの近似正方形を使用する。この例では、１つの親フローに対して、親フローの始点終点の中点（フローの軌道上）に動的中心区画DTcを配置し、近似四角形の両サイドに１本ずつ動的補完区画DTsを配置すると良い。
【０２６９】
手順F2-3
今回取り出したフローは基礎区画BTより検出されたものなのでフィードフォワード予測による接近車検出作業は実行しない。また、手順F5-1以降の繰り返しパターン判定に使用する場合は、真逆フローFlwRの発生があったことを記録する。
【０２７０】
・手順F3  動的区画
基礎区画BTの登録数を増加するほど、接近車MAに対するフローFlw検出性を向上できるが、システム規模(処理速度・メモリサイズ)の都合などで、デフォルトの登録数を確保できない場合の対処方法として、先に追加した親フローFlwを基に区画を動的に追加する。
【０２７１】
手順F3-1
手順F2-2で検出した親フローFlwおよび追加した子フローFlwの終点位置に動的にテンプレートを追加する（ステップＳ３９，Ｓ４０）。
次の画像IMを取得し、手順F1-1から手順F1-3に従いフローFlw処理を行う（図３５）。前回、子フローFlwであったものは動的区画DTの追加により親フローFlwに昇格する。基礎区画BT・動的区画DTの検出は共に手順F1-1から1-3の規則に従うので必ずしも連続検出されるとは限らない。
図（８）  動的テンプレートの追加
図（９）  固定+動的フローFlw結果
図（１０）  基礎区画BTより検出されたフロー
図（１１）  追加した動的区画DTより検出されたフロー
【０２７２】
手順F3-2
検出したフローFlwを次回の親フローFlwとして取り扱い、フロー終点の仮想ブロックIBのサイズを表示マップ３４より確認し、それぞれ子フローFlw検出用の動的区画DTを配置する（ステップＳ６３，Ｓ６４）。
ここでは、手順F3-3で設定するグループFlwGに帰属可能な子フローFlwは1グループFlwGあたり最大16本とする。
フロー登録数に上限を設定する場合は、全親子フローFlwの検出に使用したブロックマッチング処理の一致度ADスコア、特徴量FEスコア、及び手順F1-3判定で得た速度のグループFlwG単位での速度平均・分散(偏差)などの評価を元にして優れたもの上位16本を選定すると良い（ステップＳ６１，Ｓ６２）。
なお、手順F3-1で子フローFlwが親フローFlwに昇格しているので孫フローなるものは存在しない。すなわち、基礎区画BTと動的区画DTとを問わず、テンプレート（区画）より発生するフローFlwを全て「親フローFlw」、親フローFlwを元に手順F2-2に従い追加する動的区画から検出されるフローFlwを「子フローFlw」として考える。
図（１２）  動的区画DT派生フローFlwの各始点に子フローFlw配置領域を設定
図（１３）  図（１２）より領域抜粋
図（１４）  それぞれ子フローFlwを配置する。
【０２７３】
手順F3-3
それぞれの親フローFlwの始点で子フローFlw配置に使用した領域に関して、隣接する領域同士で、重なり合うもの・隣接するものを組み合わせて1つのグループFlwGに設定する（ステップＳＳ５４，Ｓ５６，Ｓ５７，Ｓ５８，Ｓ５９，Ｓ６０）。組み合わせた領域については、グループFlwG識別を行うためのグループ番号を与える。但し検出した親フローFlwのうち動的区画DTより派生されたものには、手順F2-2の作業で既にグループ番号が付加されている（ステップＳ５９）。統合した領域に対し新たに与えるグループ番号には、後述の手順F4-7に従い連続検出カウント数の大きいものを優先的に継承させる（ステップＳ５８，Ｓ５９，６０）。
基礎区画BTより検出されたフローは連続カウント数=0なので自動的に後回しにされる。従って動的区画DTで連続検出されたグループFlwGが優先される。
後述5-1以降の繰り返しパターン回避処理を実施する場合は誤検出回避のため、真逆フローFlwRの発生履歴が多いグループ番号を連続検出カウント数の評価より優先して継承させる。
【０２７４】
注釈
フローは特徴量FEの大きい区画画像TMは、接近車MAの輪郭付近に発生しやすい。よって後続車両が接近しモニタ表示サイズが大きくなるほど、隣接、あるいはラップしていない分散した構成でフローおよび組み合わせグループ領域GAが求まるケースが増える。
一般に検出したフローFlwの中から隣接するフローあるいは検出したテンプレートの集まりを一つの集合とみなしグループ化する手法では、しばしばフローFlwの集まりの作成に隣接フローFlwの数や密集度を応用している。このような場合、接近した車両の輪郭サイズは拡大し、輪郭部に生じるフローは広く分散するためグループFlwGを形成することは困難である。
しかしながら本実施例では、基礎区画BTより検出された1本のフローからでもグループFlwGを作成することができる。そのフロー終点に設定する動的区画から検出されるフローは、後続車の移動に追従する形でフローFlwが検出される。よって表示サイズの拡大・縮小に対しても輪郭部の位置変化に追従可能であるため、移動する後続車の表示変化に上手く対応できる。グループ領域GAが分散しても判定情報や履歴は動的区画DT・動的検出されたフローFlwによるグループFlwGでの継承という形で失うことなく維持できる。
また基礎区画BTからの派生フローは単独で存在する場合は新グループFlwGの形成、他の動的フローと隣接する場合は、隣接する領域の結合という形で後続車を追従する動的なグループFlwG形成補助や情報継承に良好な効果を示す。
さらに、これら本手法による効果は子フローFlwの追加という方法でより強化される。
【０２７５】
手順F3-3
次の画像IMを取得し手順F3-1から作業を繰り返すことで、後続車の接近に伴い効率よく動的区画DTを追加することができる。よって、システム規模の都合などで、基礎区画BTの登録数を削減した粗い探索点分布の状態でも接近車MAに対するフローFlwの検出ロスを削減することができる。
例えば図（１７）では、基礎区画BTの登録点境界にかかる後続車の接近に対しフローFlwの検出が上手くできなかったが、代わりに動的区画DTの追加によりフロー検出を補完することができた。
表示マップ３４によるグループ領域GAの設定方法に従うことで、例えば図（１９）及び図（２０）のように接近車MA接近による表示サイズ拡大に合わせて動的区画DTの登録点を分散(=拡大)できる。
図（１５）  基礎区画+動的区画  結果  2回目
図（１６）  動的区画の追加  2回目
図（１７）  基礎区画+動的区画  結果  3回目
図（１８）  基礎区画+動的区画  結果  3回目
図（１９）  基礎区画+動的区画  結果  N回目
図（２０）  基礎区画+動的区画  結果  N回目
【０２７６】
・手順F4  フィードフォワード予測+連続検出性
手順F1-1から手順F3-3までの処理を行うことで、後続車の接近にあわせフローFlwの連続検出性を確保することができたので、次にフローFlwの連続検出性を基準とした接近車MAの検出判定を行う。
この手法は有効フローFlwの連続検出性を利用するものなので、追加した動的区画DTより検出されたフローFlw(子フローFlwから親フローFlwへ昇格したもの)を基本として判定作業を行う。
【０２７７】
手順F4-1
手順F3-3のグループ化処理まで(動的区画DTがある場合はグループFlwGの結合処理（ステップＳ５４からＳ６０）を含む)作業を進める。グループ領域GAに属するフローFlwの中で、動的区画DTより検出されたフローを予測対象フローとして取り出す。予測対象フローFlwのフロー終点にて、この画像座標値[U, V]に対応する表示マップ３４の表示ブロックBDの大きさを参照し、予測領域FAを設定する（ステップＳ７１からＳ７５に対応、図３２参照）。なお、ステップＳ７２からＳ７５では、予測対象フローのフロー始点に過去速度を加えた点をフロー予測終点FApとして、予測バッファ６４にフロー予測終点FApを中心とした予測領域FAを描画した上で、実際のフロー終点がこの予測領域FA内に入るかを確認した（ステップＳ７７）。一方、この手順F4では、実際のフロー終点を中心として予測領域FAを描画しておき、フロー予測終点FApがこの予測領域FAに入るか否かを確認する（手順F4-6）。
【０２７８】
グループFlwG別に、所属する全ての予測対象フローFlwについて各フロー終点に対応する予測領域FAを描画する（ステップＳ７５に対応）。さらに、それぞれのフローFlwで求めた予測領域FAを合成し、グループFlwGとしての予測領域FAを求める。合成により作成した予測領域FAは、各予測領域FAが不連続であっても同一グループについての予測領域FAとする。
動的区画DTから検出できた全ての親フローFlwを所属するグループFlwGの予測対象フローFlwに含める。よって手順F3-2のように動的区画DTの追加登録数に制約がある場合、選定作業で上位16本から漏れたフローFlwについても除外せずに、予測対象フローFlwへ追加する。
【０２７９】
注釈（予測領域FA）
手順F3-2の注釈（動的区画DT）と同じく、フローは特徴量FEの大きい接近車MAの輪郭付近に発生しやすい。よって接近車MAが接近しモニタ表示サイズが大きくなるほど、隣接、あるいはラップしていない分散した構成でグループFlwGとしての予測領域FAが求まるケースが増加する。ただしこの場合、各予測領域FAのもととなった予測対象フロー自体がそもそも分散して検出されているので、組み合わせ作成した予測領域FAがばらばらに離れていても以降の手順F4-3以下の処理に関する影響は少ない。
図（２１）  図（１２）の予測対象フローFlwに対する予測領域FA
図（２２）  図（２１）から背景を除去
【０２８０】
手順F4-3
判定対象となる予測対象フローFlwの始点に対して実空間X, Z座標位置を計測マップより求める（ステップＳ７２）。予測対象フロー始点の実空間上に仮想ブロックIBが存在するものと仮定する。次に予測対象フローFlwの元親となるフロー(基礎フロー)に関して、手順F1-3で記録した速度XZをロードする。
今回、例にあげる基礎フローFlwについて、図（１２）の場合は、図（４）の代表フロー(親フローFlw)が相当する。
【０２８１】
手順F4-4
フローFlwを行う2枚の画像IMの入力時間差は微少であるという前提なので、接近対象の速度変化は変化なく維持されるものと考える。よって予測対象フローのフロー始点の実空間XZ位置に対し、ロードした基礎フローFlwの速度XZを当てはめて、画像IM入力時間差×速度より現時点の仮想ブロックIBの実空間位置(フロー終点の実空間位置)を求める（ステップＳ７３）。この位置をフロー予測終点FApという。
手順F1-1に従えば、予測に用いる画像IMの入力時間差は、手順F2-1(予測対象フローFlwの検出)の時点で新たに更新されている。
【０２８２】
手順F4-5
本文で提案したXZtoUVマップによりフロー予測終点FApの仮想ブロックIBの実空間位置を画像座標系UVへ変換する（ステップＳ７４）。
手順F4-6
変換した仮想ブロックIB(フロー予測終点FAp)の画像座標値[U, V]が図（２１）及び図（２２）で設定した予測領域FAに含まれている場合、当該フロー予測終点FAｐを算出した元となるフローFlwは正規フローであると判定し、正規フロー数を1加算する（ステップＳ７７）。同一グループに属する全ての予測対象フローFlwについて同様の処理を実施し（ステップＳ７６）、正規フロー数の加算作業を行う（ステップＳ７７）。
ついで、グループ検出スイッチを全グループFlwG数分準備する。正規フロー数が一定値を超えた場合や、グループに属するフロー総数に対する正規フロー数の比（正規比率）が予め定められた比率を超えた際に、そのグループのグループ検出スイッチをONにする。
【０２８３】
手順F4-7
予測対象フロー全てについて処理を完了させる。次にグループFlwG別の連続検出回数を記録するためにグループ検出回数テーブルを全グループ数分用意する。そして、グループ検出スイッチがONとなった該当グループFlwGのグループ検出回数テーブルの連続検出カウントを1加算する（ステップＳ７９）。
手順F4-8
各グループFlwG別に手順Fを繰り返し、全てのグループFlwGについて連続検出カウントを確認する（ステップＳ７８）。
次の画像IMを取得し、手順F1-1から繰り返し処理を行う。手順F4-7終了後、グループ検出スイッチとなったグループFlwGについてグループ検出回数テーブルの連続検出カウントの累積値を確認する。累積値が任意のしきい値を超過した段階で後続車両の接近として判断する（ステップＳ８１）
本例は2連続検出(連続検出カウント累積値≧2)となるグループFlwGの存在をもって「接近車MAあり」と判定する。
図（２３）  接近車MAの検出
【０２８４】
・手順F5  繰り返しパターン判定と回避方法
手順F1から手順F4までの処理で、接近車MAの検出を行うことができた。しかしながら、次の図（２４）から図（２７）に示すように、この処理だけでは白線のような車両の進行方向と並行に存在する構造物による繰り返しパターンに対して、手順F1-3による計測マップの判定からフィードフォワード予測までの一連の処理だけでは誤検出を回避することができない。
図（２４）  図（３）中、白線位置に重なるフローFlwを代表とした検出作業開始時の状態
図（２５）  図（３）中、白線位置に重なるフローFlwの連続検出    1回目処理
図（２６）  白線位置に重なるフローFlwの誤検出(親子フローFlw)    2回目処理
図（２７）  白線位置に重なるフローFlwの誤検出(親子フローFlw)    4回目処理
図（２８）  白線位置に重なるフローFlwの誤検出(フィードフォワード予測)    4回目処理
【０２８５】
注釈（繰り返しパターン）
このように、自車MTの進行方向に繰り返されるパターンから発生するフローFlwについては、速度Zの接近方向による無効判定だけでは対応が難しい。本実施例では、このような繰り返しパターンを持つ構造物から真逆フローFlwRが検出され、そして、この真逆フローFlwRは通常の接近方向を示す有効フローFlwの検出頻度と同程度の確率で発生することを利用し、誤判定を回避する。
つまり、本実施例では、接近車MAからの接近方向フロー発生頻度(真逆フローFlwRの発生頻度は低い)、繰り返しパターンからの接近、及び真逆フローFlwRの発生頻度(同程度発生)の違いを利用して、誤検出を回避する。
【０２８６】
繰り返しパターン以外の背景からも、真逆フローFlwRおよび他方向の誤検出フローFlwが発生する。このようなフローFlwについては通常どおり手順F1-3の段階でほぼ誤検出フローFlwとして除去される。
(1)  まず背景の大部分では特徴量FEに乏しくなる傾向が強いのでマッチング判定時に除去される。
(2)  特に遠方に存在する背景に関してこの傾向が強い(モニタ上の表示サイズが小さくなるため、画素情報量が低下しコントラストがとりにくくなる)。乏しいコントラストでは仮にマッチング判定時に一致度ADの条件が満たされた場合でもフローFlwの方向があいまいで定まりにくい(周囲の至る箇所で一致する=一部は対象外と判定可能)。大多数のあいまいなフローFlwに関しては計測マップの速度判定や移動量判別によって除去される。
(3)  さらに遠方の背景については計測マップ有効範囲の確認で除去できる。
つまり繰り返しパターン以外の背景で発生するフローは速度等を利用した無効判定により除去されるので、接近車MAの誤検出の要因となることは非常に稀なケースとなる。
仮に手順F1-3の判定処理が外乱・ノイズの影響で上手く機能しない場合、接近車MA以外の多くの対象は、相対速度がマイナスのため、接近フローFlwは通常検出されない。外乱の影響で一時的、または例外的に接近フローFlwを誤検出した場合でも、当該対象から連続して接近フローFlwが誤検出される確率は非常に低い。接近フローFlwが連続検出されない場合、対応するグループFlwGあるいは、フィードフォワードテーブル、履歴テーブル等も割り当てられないので、パススイッチ記録処理も機能しない。つまり、繰り返しパターン以外から検出された真逆フローFlwは、手順1-3の様に無効フローと共に除外される。しかし、白線等の繰り返しパターン位置においては、図４２の様に形状的・構造的な特性から相対速度がマイナスであるにも関わらず、連続して接近フローを誤検出する恐れが高いため、対策が必要となる。
【０２８７】
手順F5-1
まず、手順F1-2の段階まで処理を進める。手順F1-3において無効なフローFlwを除去する際（ステップＳ３３，Ｓ５３）、真後ろ方向(速度X ≒ 0、速度Z ＜ 0)となるフローFlwを真逆フローFlwRとして別途記録する。この結果、図（３）のように、接近車MAを示す有効フローFlw、白線(繰り返しパターン)位置に生じる誤検出フローFlwおよび真逆フローFlwRが抽出される。繰り返しパターン以外の背景や、あいまいなフロー(ノイズ)が除去される。
自車MT直進の速度を速度X ≒ 0、速度Z ＞ 0と仮定すると真逆フローFlwRの速度成分が(速度X ≒ 0、速度Z ＜ 0)と予測できる。
図（２９）  図3+真逆フローFlwR
図（３０）  真逆フローFlwR抜粋
【０２８８】
手順F5-2
図（２４）と同様に今回は白線上のフローFlwを代表フローFlwの例にとって処理を進める。
図（３１）  取り出した代表フロー(子フローFlw含む)と、グループFlwGにかかる真逆フローFlwR
真逆フローFlwRが発生したことを記録するために全検出グループFlwG数分のフィードフォワード予測処理用のパススイッチを設ける。手順F2-3に従い、子フローFlw設定時の領域(2回目以降で動的区画DTが存在する場合は手順F3-3で統合したグループ領域GA)に対して真逆フローFlwRが重なる場合は、該当グループFlwGに対応するパススイッチをONとする。真逆フローFlwRがなければスイッチはOFFのままとする。
【０２８９】
手順F5-3
真逆フロー履歴テーブルをグループFlwG数分確保する。全グループFlwGに対して手順F5-2までの処理を完了させる。処理完了後、パススイッチがONとなったグループFlwGに対して、該当するグループFlwGに関しては履歴テーブルの真逆フロー発生履歴カウントを1ポイント加算する。
今回は真逆フローFlwRが複数本、同一グループ領域GAに発生した場合でもテーブル上の履歴カウント増加数は1とする。
【０２９０】
手順F5-4
全ての予測対象フローFlwに対する処理終了後、次の画像IM取得前に全てのパススイッチをOFFリセットする。手順F5-1から手順F5-4の初回作業では動的区画DTの追加数が0なので、処理の先頭に立ち戻り、次の画像IMを取得し手順F5-4までの作業を繰り返し実施する。
【０２９１】
手順F5-5
手順F4-1からに沿って、動的区画DT位置から検出されたフローFlwに関してフィードフォワード予測による接近車MAの判定を行う。但し、手順F5-4にてグループFlwGのパススイッチがONとなった場合、そのグループFlwGの真逆フロー発生履歴カウントに応じて予測領域FAに設定する表示マップ３４(表示ブロック半径BDrや表示ブロック面積BDa)を縮小する。予測領域FAは次図（３２）から図（３３）のように縮小制限される。
フィードフォワード領域のサイズを制限することで、より実際のフローと予測対象フローFlwの終点が一致するもの(誤差の小さいもの)でなければ連続検出のためのグループFlwGカウントは難しくなる。よってグループFlwGの連続検出カウントを稼グためのフロー判定精度を厳しく強化できる(あいまいなものはグループ領域GA内のフロー検出カウントに寄与しない)。
今回の例では、履歴のカウント回数Nに対して半径BDr=表示マップ３４による表示ブロック半径BDr ÷ 2^Nを採用する。但し、例では半径Rが2以下となった場合はRを下限値2でクリップする。
【０２９２】
手順F5-4
全ての予測対象フローFlwについてグループFlwG別のグループFlwGカウント追加判定処理を完了する。各グループFlwG単位での判定の際、手順F4-6でグループ検出カウントがしきい値を超えた場合に、グループ検出回数テーブルに加える連続検出カウントの加算方法を以下のように変更する。
・手順F5-2でパススイッチがONとなったグループFlwGで検出があった際、連続検出カウントを1ポイント加算する。さらに、手順F4-6の連続検出カウントの累積値しきい値による接近車検出判定作業をパスする。
・パススイッチがOFFのグループ検出については、連続検出カウントを2ポイント加算する(加算ポイントを2倍にする)。また、手順F4-6の接近車MAの検出判定を、今回の例では次のように変更する。
(連続検出カウントの累積値 ÷ 2) ≧ しきい値(任意定数) + a × 真逆フロー発生履歴テーブルに記録された検出履歴回数
今回の例ではしきい値 = 2(手順F4-7と同じ設定)
aは任意係数で、例えばa = 1
図（３２）  図（２９）に対して繰り返し判定を入れない場合の予測領域FA
図（３３）  図（２９）に対して繰り返し判定を入れた場合の予測領域FA
【０２９３】
注釈
図（２５）のように、追加する動的区画DTの増加、基礎区画BTを含めたグループ領域GAの統合により、処理が進行するほど疑わしいポイントでの繰り返しパターンの検出感度を向上できる。また同様に、自車MTとの相対距離が近づくほど繰り返しパターンの検出感度を確保できる。
図（３４）  図（２５）修正  白線位置に重なるフローFlwの連続検出+真逆フローFlwR追加  1回目処理
図（３５）  図（２６）修正  白線位置に重なるフローFlwの誤検出時(親子フローFlw)  2回目処理
図（３６）  図（２７）修正  白線位置に重なるフローFlwの誤検出時(親子フローFlw)  4回目処理
図（３７）  図（２８）修正  白線位置に重なるフローFlwの誤検出回避時(フィードフォワード予測)  4回目処理
【０２９４】
図５４（３８ａ）（３８ｂ）に、逆向きフロー判定処理の効果を示す画像例として、0.5秒間の(画像 15 枚)の一連のシステム動作結果を示す。
【０２９５】
・3.1 表示ブロックBD描画と保留フローFlwの効果
上述のように、保留フロー減衰制御部７２が、前記保留フローFlwの処理で使用する表示ブロックBDの大きさを前記有効フローFlwに使用する表示ブロックBDの大きさよりも小さくするため、保留フローFlwが他のグループFlwGと統合される可能性を低下させつつ、他のグループFlwGと極めて近くに隣接する場合には有効なフローと同様に扱うことができ、保留フローFlwが連続的に検出されても、それがノイズであれば、他のグループFlwGと統合されることなく、グループFlwGとして孤立するため、他のグループFlwGに依存して検出回数が増加することなく、抑制的なグループ化を実現することができる。このように、保留フロー減衰制御部７２が、保留フローFlwの連結確率を低下させるため、接近車検出の感度を維持しつつ静止物によるフローなどノイズ除去することができる。
また、接近車MAの判定にて予測領域FAを描画する際にも、保留フローFlwについては表示ブロックBDを小さくすることで予測領域FAを小さくすることで、接近車MAの近接とは異なる移動（静止を含む）をするノイズを接近車MAと誤判定する可能性を低下させることができる。
このように、保留フローFlwを有効フローFlwと同様に処理しつつ、グループ化や接近車MA判定段階で抑制的に取り扱うことで、有効フローFlwを無効判定してしまうほどに厳しいしきい値を採用しなくとも、ノイズによるフローFlwによる誤検出を抑止することができる。これは、その他の複雑な処理を不要とするため、少ない計算量で精度良く接近車MAの近接を判定するために極めて有用な制御である。
【０２９６】
＜3.2 実施例１から３に開示した手法の再整理と効果＞
・仮想ブロックIB
任意の接近車MAの挙動を、テンプレート（区画）という単位で区切っても、それらが１台の車両の挙動より発生するならば、そのフローFlwの方向やフローFlwの長さ等の性質は共通する。この共通性を情報処理にて取り扱うために、実空間に小型の仮想的なブロックIBの集合体を想定し、先行車をこの仮想ブロックIBの集合体とする。
そして、車間の遠近と画像IM表示サイズに対応するため、設定する任意の各仮想ブロックIBについては、三次元実空間座標で定義すると良い。
【０２９７】
・表示マップ３４
本実施例では、フローは、接近車MAを構成する仮想的なブロック群のうち、ある１つ仮想ブロックIBの移動により発生したと整理する。そして、二次元の画像座標系UVでのフロー検出位置を実空間の三次元座標に変換し、変換した三次元座標値に設定した一定の大きさを持つ仮想ブロックを、透視変換により再度画像座標系UVへ変換する。すると、実空間で同一の大きさを持つ仮想ブロックが二次元の画像座標系UVでどの程度の大きさになるかという情報を得ることができる。この仮想ブロックの画像座標系UVでの大きさを参照してフローFlwの有効性等を判定処理することで、車間距離と物体の表示サイズに関するギャップに対応した処理を実現することができる。
・表示マップ３４を応用することで、後続車両と自車MTの相対距離によるモニタ表示上のサイズ変化に応じた動的区画DTの配置、フローおよび車両検出判定を行うことができる。
【０２９８】
・動的補完区画DTs
有効フローFlwの実空間での検出位置に存在する仮想ブロックの周辺には、別の仮想ブロックが存在すると仮定することができる。この別の仮想ブロックから発生するフローFlwを捕捉するために、動的中心区画DTcの周囲に複数個の動的補完区画DTsを追加すると良い。すると、基礎区画BTの登録数を減らしても、フローFlw検出性能を確保することができるので、コストパフォーマンスを向上できる。
【０２９９】
・補完区画と表示ブロックBD
動的補完区画DTsは、有効フローFlwの検出位置に投影された2次元画像平面上の仮想ブロックの表示サイズを基に配置する構成とし、車間距離と物体の表示サイズに関するギャップに対応できるよう処理する。
【０３００】
・基礎区画BT、動的区画DT及び補完区画を同一サイズとする連続処理
次画像IMに対する処理は基礎区画BTに加え、追加した動的区画DT、補完区画を併せた全テンプレート（区画画像TM）でマッチング処理することで、次回のフローFlwを検出する。検出された有効フローFlwを対象に、新たに次々画面用の動的中心区画DTc、動的補完区画DTsを設定する。この一連の作業を繰り返し連続処理することで、基礎区画BTを比較的大きめの大きさとすることで計算コストを低減しつつ、動的に良好に接近車MAを追跡することができる。
【０３０１】
・動的区画DTと補完区画の上限と選定
接近車MAの検出を連続処理する中で、動的中心区画DTcと動的補完区画DTsの登録総数に上限を設け、条件の良い動的区画DTが条件の悪い動的区画DTを上書き更新することで、質の良い動的区画DTのみが選抜されていく構成とすることで、連続検出性能を向上させることができる。
【０３０２】
・履歴データ
有効フローFlwを検出した動的中心区画DTcと動的補完区画DTs、さらには隣接する区画をグループ化し、フローFlwの連続検出回数や移動成分の変化に関する履歴データを共有する。
表示ブロックBDに応じて動的中心区画DTc及び動的補完区画DTsを繰り返し配置し、配置した区画で検出されたフローFlwには配置の元となるフローFlwの履歴データを継続させるため、対象車両と自車MTとの車間距離が接近しグループ領域GAが離散した単体のフローFlwの状態であっても、接近車MAの検出を継続してカウントすることができる。すなわち、グループFlwG情報に関する履歴を保持することができる。
また、動的補完区画DTsから検出されたフローFlw等により再度グループFlwGとなるメンバー（隣接フロー）を確保し、グループFlwGを再形成できる構成を盛り込むことができる。
「検出した全フロー毎の評価（接近方向フローFlwの抽出）」、「連続検出したフロー毎の評価（連続性の確認・移動成分の変化）」、「フローFlwが所属するグループFlwG単位で含まれるフローFlwの個数、グループFlwGの検出回数等の評価」の3段階の評価を元に接近車MAの存在を判定する。
加えて、浮動少数演算や除算処理を省略するための各種マップを使用すると、より高速、低コストかつ精度良く後方接近車MAの検出処理を実行することができる。マップは、計測マップ、表示マップ３４およびXZtoUVマップである。
【０３０３】
・フィードフォワード予測+連続検出性による後続車接近検出判定方法
フィードフォワード予測によりフローFlwの移動方向に対する正誤判定を強化できる。そして、グループ化およびグループFlwG別の連続検出カウントという時系列で、後続車両の接近検出を行うことで、検出性能を向上できる。
【０３０４】
・繰り返しパターン判定と回避方法
・検出した逆向きパターンにより、繰り返パターンの存在を予知し、疑わしいグループFlwGについては、接近方向のフローFlwによる連続検出回数と真逆フローFlwRの検出履歴の発生頻度によるバランスで制約を設けることで、誤検出を回避する。
【０３０５】
・その他
・簡易EOF評価(手順1-3)、表示マップ３４作成、XZtoUVマッフ作成、および真逆フローFlwRの評価(速度X≒0、速度Z＜0)等は全て計測マップ作成に関わる計算モでルに基づき実施することができる。
・他特許のように白線検出や道路領域の選定処理などの別アプリケーションを組み込まず、フローFlwとフロー群のグループ化処理だけで後続車両の接近検出を行うことができるシンプルな構成であるため、より簡易的なシステム(安価な)でも高精度の接近車MAの検出結果を得ることができる。
・本方式を採用したシステムでは、現状のテスト結果で不検出≒0件、誤検出1.5件/35分程度(晴天時:高速走行約5分、市街地走行約30分)の結果を得ている。
【符号の説明】
【０３０６】
１０  カメラ
１２  フロー抽出部
１４  表示ブロック管理部
３４  表示マップ
３６  基礎区画配置部
３８  動的区画配置部
４０  特徴量算出部
４２  区画配置部
４４  グループ判定部
４６  接近車検出部
４８  グループ継続処理
５０  グループ探索処理
５２  検出回数比較処理
５４  グループ帰属化処理
５６  統合バッファ
５８  上限値管理処理
６０  区画選定処理
６２  予測終点算出処理
６４  予測バッファ
６６  予測領域描画処理
６８  接近車候補判定処理
７０  有効性判定部
７２  保留フロー減衰制御部
UV  画像座標系
xyz  カメラ座標系
XYZ  ワールド座標系
IM  画像
MT  自車
MA  接近車
Flw  フロー
FlwG  グループ
FlwR  真逆フロー
IB  仮想ブロック
BD  表示ブロック
BDr  表示ブロック半径
BDa  表示ブロック面積
BT  基礎区画
DT  動的区画
DTc  動的中心区画
DTs  動的補完区画
FE  特徴量
AD  一致度
FP  フロー関連位置
WL  実空間距離
IL  画像距離
GA  グループ領域
FA  予測領域
FAp  フロー予測終点
【図１】
2013149176.tif 000017
【図２】
2013149176.tif 000018
【図３】
2013149176.tif 000019
【図４】
2013149176.tif 000020
【図５】
2013149176.tif 000021
【図６】
2013149176.tif 000022
【図７】
2013149176.tif 000023
【図８】
2013149176.tif 000024
【図１０】
2013149176.tif 000025
【図１１】
2013149176.tif 000026
【図１２】
2013149176.tif 000027
【図１４】
2013149176.tif 000028
【図１５】
2013149176.tif 000029
【図１６】
2013149176.tif 000030
【図１９】
2013149176.tif 000031
【図２０】
2013149176.tif 000032
【図２１】
2013149176.tif 000033
【図２２】
2013149176.tif 000034
【図２３】
2013149176.tif 000035
【図２４】
2013149176.tif 000036
【図２５】
2013149176.tif 000037
【図３０】
2013149176.tif 000038
【図３１】
2013149176.tif 000039
【図３２】
2013149176.tif 000040
【図３３】
2013149176.tif 000041
【図３４】
2013149176.tif 000042
【図３５】
2013149176.tif 000043
【図３６】
2013149176.tif 000044
【図３７】
2013149176.tif 000045
【図３８】
2013149176.tif 000046
【図４１】
2013149176.tif 000047
【図４２】
2013149176.tif 000048
【図４４】
2013149176.tif 000049
【図４５】
2013149176.tif 000050
【図９】
2013149176.tif 000051
【図１３】
2013149176.tif 000052
【図１７】
2013149176.tif 000053
【図１８】
2013149176.tif 000054
【図２６】
2013149176.tif 000055
【図２７】
2013149176.tif 000056
【図２８】
2013149176.tif 000057
【図２９】
2013149176.tif 000058
【図３９】
2013149176.tif 000059
【図４０】
2013149176.tif 000060
【図４３】
2013149176.tif 000061
【図４６】
2013149176.tif 000062
【図４７】
2013149176.tif 000063
【図４８】
2013149176.tif 000064
【図４９】
2013149176.tif 000065
【図５０】
2013149176.tif 000066
【図５１】
2013149176.tif 000067
【図５２】
2013149176.tif 000068
【図５３】
2013149176.tif 000069
【図５４】
2013149176.tif 000070