(57)【要約】  自車両への物体の接近の検知の精度を向上させる。このために、物体の自車両への接近を検知する物体接近検知装置に、抽出部、挙動検出部、挙動判定部、及び接近判定部を備える。抽出部は、自車両に搭載されている撮像装置が物体を撮像して得た時系列の撮像画像から、当該撮像画像間で対応している特徴点を複数抽出する。挙動検出部は、抽出された複数の特徴点の各々についての撮像画像間での挙動を検出する。挙動判定部は、抽出された複数の特徴点の各々についての挙動がランダムであるか否かを判定する。接近判定部は、物体が自車両に接近しているか否かを判定して、当該判定の結果を出力する。接近判定部は、この判定を、抽出された複数の特徴点のうちで挙動がランダムではないと挙動判定部が判定した特徴点についての挙動に基づいて行う。
2012160657.tif 000002
【特許請求の範囲】
【請求項１】
物体の自車両への接近を検知する装置であって、
前記自車両に搭載されている撮像装置が前記物体を撮像して得た時系列の撮像画像から、該撮像画像間で対応している特徴点を複数抽出する抽出部と、
前記複数の特徴点の各々についての前記撮像画像間での挙動を検出する挙動検出部と、
前記複数の特徴点の各々について前記挙動がランダムであるか否かを判定する挙動判定部と、
前記複数の特徴点のうちで前記挙動がランダムではないと前記挙動判定部が判定した特徴点についての挙動に基づいて、前記物体が前記自車両に接近しているか否かを判定し、該判定の結果を出力する接近判定部と、
を備える物体接近検知装置。
【請求項２】
前記挙動検出部は、前記複数の特徴点の各々についてのオプティカルフローを前記時系列の撮像画像から検出し、
前記挙動判定部は、前記オプティカルフローの向きの時間変化量に基づいて、前記挙動がランダムであるか否かを判定する、
請求項１に記載の物体接近検知装置。
【請求項３】
前記挙動判定部は、前記抽出部が抽出した複数の特徴点のうちの１つの特徴点についての、時系列で連続している２つのオプティカルフロー間でのオプティカルフローの向きの変化を求め、該向きの変化が所定角度以上であった度数が所定時間の間で所定度数よりも大きい場合には、該１つの特徴点の挙動がランダムであるとの判定を下し、該度数が該所定時間の間で該所定度数よりも小さい場合には、該１つの特徴点の挙動はランダムではないとの判定を下す請求項２に記載の物体接近検知装置。
【請求項４】
コンピュータによって実行される、物体の自車両への接近を検知する方法であって、
前記自車両に搭載されている撮像装置が前記物体を撮像して得た時系列の撮像画像から、該撮像画像間で対応している特徴点を複数抽出し、
前記複数の特徴点の各々についての前記撮像画像間での挙動を検出し、
前記複数の特徴点の各々について前記挙動がランダムであるか否かを判定し、
前記複数の特徴点のうちで前記挙動がランダムではないと判定された特徴点についての挙動に基づいて、前記物体が前記自車両に接近しているか否かを判定して、該判定の結果を出力する、
物体接近検知方法。
【請求項５】
前記挙動の検出においては、前記複数の特徴点の各々についてのオプティカルフローを前記時系列の撮像画像から検出し、
前記挙動がランダムであるか否かの判定においては、前記オプティカルフローの向きの時間変化量に基づいて、前記挙動がランダムであるか否かを判定する、
請求項４に記載の物体接近検知方法。
【請求項６】
前記挙動がランダムであるか否かの判定においては、前記時系列の撮像画像から抽出された複数の特徴点のうちの１つの特徴点についての、時系列で連続している２つのオプティカルフロー間でのオプティカルフローの向きの変化を求め、該向きの変化が所定角度以上であった度数が所定時間の間で所定度数よりも大きい場合には、該１つの特徴点の挙動がランダムであるとの判定を下し、該度数が該所定時間の間で該所定度数よりも小さい場合には、該１つの特徴点の挙動はランダムではないとの判定を下す請求項５に記載の物体接近検知方法。
【請求項７】
物体の自車両への接近を検知する処理をコンピュータに実行させるプログラムであって、
前記自車両に搭載されている撮像装置が前記物体を撮像して得た時系列の撮像画像から、該撮像画像間で対応している特徴点を複数抽出し、
前記複数の特徴点の各々についての前記撮像画像間での挙動を検出し、
前記複数の特徴点の各々について前記挙動がランダムであるか否かを判定し、
前記複数の特徴点のうちで前記挙動がランダムではないと判定された特徴点についての挙動に基づいて、前記物体が前記自車両に接近しているか否かを判定して、該判定の結果を出力する、
処理をコンピュータに実行させるプログラム。
【請求項８】
前記挙動の検出においては、前記複数の特徴点の各々についてのオプティカルフローを前記時系列の撮像画像から検出し、
前記挙動がランダムであるか否かの判定においては、前記オプティカルフローの向きの時間変化量に基づいて、前記挙動がランダムであるか否かを判定する、
請求項７に記載のプログラム。
【請求項９】
前記挙動がランダムであるか否かの判定においては、前記時系列の撮像画像から抽出された複数の特徴点のうちの１つの特徴点についての、時系列で連続している２つのオプティカルフロー間でのオプティカルフローの向きの変化を求め、該向きの変化が所定角度以上であった度数が所定時間の間で所定度数よりも大きい場合には、該１つの特徴点の挙動がランダムであるとの判定を下し、該度数が該所定時間の間で該所定度数よりも小さい場合には、該１つの特徴点の挙動はランダムではないとの判定を下す請求項８に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、自車両への物体の接近を検知する技術に関するものである。
【背景技術】
【０００２】
自車両に搭載されたカメラで撮像した画像に対して画像処理を施すことによって、自車両へ接近する物体（例えば他車両）の存在を検知する技術が知られている。
この技術に用いられる画像処理技術のひとつとして、撮像画像に映っている移動物体の画像領域を、当該カメラで撮像した動画像を構成している時系列の撮像画像から抽出した特徴点のオプティカルフロー（Optical Flow）に基づいて認識する技術が知られている。なお、オプティカルフローとは、例えば、時系列の画像における２枚の画像間において同一の対象（例えば特徴点）の対応箇所を探索することで求められる、画像内における当該対象の見かけの動きを表現している動きベクトル情報である。【０００３】
また、撮像画像を構成する画素のうちで動きベクトルの角度差が所定の閾値以下である画素を連結してなる連結ブロックについて求めた動きベクトルと、所定の接近方向との角度差に基づいて、移動物体の接近を判定する技術が知られている。【０００４】
更に、移動物体を動画像から検出するときに、近距離の移動物体の検出精度を維持しつつ、遠方の移動物体の検出精度を、省メモリ、省計算量で向上させるという技術が知られている。この技術は、例えばオプティカルフローを用いて、時系列で連続する２つの画像フレーム間での物体の動きの検出を試みる。そして、このときに、動きの検出ができた場合にはその動きを追跡し、動きの検出ができなかった場合には次の時刻以降の画像フレームを用いてその動きを再評価するというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭６４−４８１８１号公報
【特許文献２】特開２００７−１７２５４０号公報
【特許文献３】国際公開第２００９／０７８０５６号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
自車両に搭載したカメラでの撮影により得られた自車両周囲の画像に映っている物体の像の変化の様子は、その物体が同一の大きさであって同一の速度で自車両に接近している場合であっても、物体とカメラとの位置関係により異なるものである。例えば、遠くに位置する物体に対応する画像上の特徴点は、近くに位置する物体に対応する画像上の特徴点と比較して、その動きが小さく見える。【０００７】
また、同一の物体に対応する特徴点であっても、その特徴点の移動の向きは、カメラの光軸中心から見たときの物体の移動方向によって異なるものである。例えば、カメラの正面方向から当該カメラに向かう方向に物体が接近しているのであれば、その物体の各部に対応する画像上での各特徴点は、放射状に拡大する向きに移動するように見える。また、例えば、自車両から側方を撮影するカメラで、自車両の側方を走行している他車両が自車両を追い抜く様子を撮影した場合には、他車両の各部に対応する各特徴点の画像上の軌跡は、画像の中央付近では膨らみ、当該画像の端部付近では窄まる樽形状を呈する。【０００８】
従って、同一の物体の異なる部位から抽出した複数の特徴点であっても、物体とカメラとの距離や物体の移動方向によっては、特徴点のオプティカルフローが互いに異なるものとなることがある。【０００９】
オプティカルフローを用いて画像から移動物体の画像領域を検出する技術は、画像を構成する特徴点のうちでオプティカルフローが同一のものを集めて構成される画像領域を、移動物体の画像領域として検出するというものである。しかしながら、前述の事情を考慮すると、車載カメラでの撮像画像から抽出した特徴点のオプティカルフローを利用して行う接近物体の検知では、オプティカルフローがある程度類似していれば、接近物体の画像領域を構成する特徴点であると判定する必要がある。【００１０】
ところが、接近物体の画像領域を構成するための特徴点のグルーピングを上述のようにある程度ラフに行うと、例えば下記の［１］から［３］の場合において、接近物体のものではない特徴点を、接近物体の画像領域を構成するものと誤判定してしまうことがある。【００１１】
［１］特徴点のオプティカルフローを求めるには、時系列の２枚の画像である前画像と後画像との間で対応している特徴点を探し出す必要がある。ところが、自車両が高速に移動していると、前画像と後画像との間での特徴点の画像上の位置の移動量が過大となり、後画像の探索範囲から特徴点の位置が外れてしまうことがある。この場合には、前画像と後画像との間で対応関係にない画素を特徴点として後画像から誤抽出してしまうことがあり、これにより特徴点のオプティカルフローが誤ったものとなる結果、接近物体の画像領域の検知を誤ってしまうことがある。【００１２】
［２］例えば、車線の境界を表すために道路上に連続して直線に描かれている白線のペイントのエッジを特徴点として選択する場合がある。このような白線のペイントは前画像と後画像との両者において同様な構図で映っているため、前画像のペイントの像から選択された特徴点は、対応する画素を後画像から見つけ出すことが困難であり、両画像間での特徴点の対応関係が一意には決まらないことが多い。従って、このような場合にも、前画像と後画像との間で対応関係にない画素を特徴点として誤抽出してしまうことがあり、これにより特徴点のオプティカルフローが誤ったものとなる結果、接近物体の画像領域の検知を誤ってしまうことがある。【００１３】
［３］例えば夜間や薄明時の撮影では、被写体が暗いためにカメラで生じるノイズが撮像画像に目立つようになるが、このような、自車両に実在するものではないノイズを、誤って特徴点として選択してしまうことがある。このようにして誤って選択された特徴点が接近物体の画像領域として抽出されてしまうと、接近物体の画像領域の検知を誤ることとなる。【００１４】
以上のような原因によって接近物体の画像領域の誤検知が発生すれば、自車両への物体の接近の誤検知が生じることは明らかである。
本明細書で後述する接近物体検知装置は、上述した問題に鑑み、自車両への物体の接近の検知の精度を向上させることを課題としている。
【課題を解決するための手段】
【００１５】
本明細書で後述する物体接近検知装置は、物体の自車両への接近を検知する装置である。この物体接近検知装置のひとつに、抽出部、挙動検出部、挙動判定部、及び接近判定部を備えるというものがある。ここで、抽出部は、自車両に搭載されている撮像装置が物体を撮像して得た時系列の撮像画像から、当該撮像画像間で対応している特徴点を複数抽出する。挙動検出部は、抽出された複数の特徴点の各々についての撮像画像間での挙動を検出する。挙動判定部は、抽出された複数の特徴点の各々についての挙動がランダムであるか否かを判定する。接近判定部は、物体が自車両に接近しているか否かを判定して、当該判定の結果を出力する。接近判定部は、この判定を、抽出された複数の特徴点のうちで挙動がランダムではないと挙動判定部が判定した特徴点についての挙動に基づいて行う。【００１６】
また、本明細書で後述する物体接近検知方法は、コンピュータによって実行される、物体の自車両への接近を検知する方法である。この方法のひとつは、まず、自車両に搭載されている撮像装置が物体を撮像して得た時系列の撮像画像から、当該撮像画像間で対応している特徴点を複数抽出する。次に、抽出された複数の特徴点の各々についての撮像画像間での挙動を検出する。次に、抽出された複数の特徴点の各々について挙動がランダムであるか否かを判定する。そして、抽出された複数の特徴点のうちで挙動がランダムではないと判定された特徴点についての挙動に基づいて、物体が自車両に接近しているか否かを判定して、当該判定の結果を出力する。【００１７】
また、本明細書で後述するプログラムのひとつは、物体の自車両への接近を検知する処理をコンピュータに実行させるプログラムである。この処理は、まず、自車両に搭載されている撮像装置が物体を撮像して得た時系列の撮像画像から、当該撮像画像間で対応している特徴点を複数抽出する。次に、抽出された複数の特徴点の各々についての撮像画像間での挙動を検出する。次に、抽出された複数の特徴点の各々について挙動がランダムであるか否かを判定する。そして、抽出された複数の特徴点のうちで挙動がランダムではないと判定された特徴点についての挙動に基づいて、物体が自車両に接近しているか否かを判定して、当該判定の結果を出力する。
【発明の効果】
【００１８】
本明細書で後述する接近物体検知装置は、自車両への物体の接近の検知を高精度に行えるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】物体接近検知装置の一実施例の機能ブロック図である。
【図２】物体接近検知装置の別の一実施例の機能ブロック図である。
【図３】物体接近検知処理の処理内容を図解したフローチャートである。
【図４】特徴点追跡管理テーブルの構造を図解した図である。
【図５】オプティカルフロー演算の説明図である。
【図６】特徴点のグルーピングの説明図である。
【図７】コンピュータのハードウェア構成例である。
【発明を実施するための形態】
【００２０】
まず図１について説明する。図１は、物体接近検知装置の一実施例の機能ブロック図である。
図１の物体接近検知装置１は、物体の自車両への接近を検知する装置である。
【００２１】
物体接近検知装置１には、自車両に搭載されている撮像装置２が接続されている。この物体接近検知装置１は、抽出部３、挙動検出部４、挙動判定部５、及び接近判定部６を備えている。
【００２２】
抽出部３は、撮像装置２が物体を撮像して得た時系列の撮像画像から、当該撮像画像間で対応している特徴点を複数抽出する。
挙動検出部４は、抽出部３が抽出した複数の特徴点の各々についての撮像画像間での挙動を検出する。
【００２３】
挙動判定部５は、抽出部３が抽出した複数の特徴点の各々についての挙動検出部４により検出された挙動がランダムであるか否かを判定する。
接近判定部６は、物体が自車両に接近しているか否かを判定して、当該判定の結果を出力する。接近判定部６は、この判定を、抽出部３が抽出した複数の特徴点のうちで前述の挙動がランダムではないと挙動判定部５が判定した特徴点についての挙動に基づいて行う。
【００２４】
前述した［１］から［３］のような、自車両への物体の接近の誤検知を生じさせる原因となる特徴点は、時間の経過に応じたその挙動がランダムなものとなることは明らかである。そこで、物体接近検知装置１では、上述の構成を備えて、物体が自車両に接近しているか否かの判定を、撮像画像から抽出された特徴点のうちで挙動に何らかの規則性を有しているもののみに基づいて行うようにする。すなわち、この物体接近検知装置１では、挙動がランダムである特徴点については、当該判定の基準として使用しないようにする。このようにすることで、前述した［１］から［３］の場合における誤検知の発生が抑制されるので、自車両への物体の接近の検知の精度が向上する。
【００２５】
なお、図１の物体接近検知装置１において、挙動検出部４は、抽出部３が抽出した複数の特徴点の各々についてのオプティカルフローを前記時系列の撮像画像から検出するようにしてもよい。このようにする場合には、挙動判定部５は、挙動がランダムであるか否かの判定を、このオプティカルフローの向きの時間変化量に基づいて行うようにする。より具体的には、挙動判定部５は、抽出部３が抽出した複数の特徴点のうちの１つの特徴点についての、時系列で連続している２つのオプティカルフロー間でのオプティカルフローの向きの変化を求める。挙動判定部５は、ここで、当該向きの変化が所定角度以上であった度数が所定時間の間で所定度数よりも大きい場合には、当該１つの特徴点の挙動がランダムであるとの判定を下す。一方、挙動判定部５は、当該度数が当該所定時間の間で当該所定度数よりも小さい場合には、当該１つの特徴点の挙動はランダムではないとの判定を下す。挙動判定部５は、このようにして、特徴点の挙動がランダムであるか否かの判定を行うようにしてもよい。
【００２６】
次に図２について説明する。図２は、物体接近検知装置の別の一実施例の機能ブロック図である。
図２の物体接近検知装置１０は、特徴点抽出処理部１１、特徴点追跡管理処理部１２、オプティカルフロー演算処理部１３、接近判定処理部１４、及び領域特定処理部１５を備えている。なお、この物体接近検知装置１０には、車載カメラ２０と警告部３０とが接続されている。
【００２７】
車載カメラ２０は、自車両に搭載されている撮像装置である。なお、本実施例においては、広い画角が得られる広角レンズ（例えば対角線魚眼レンズ）を車載カメラ２０に装備して、自車両の側方の広い範囲の画像を取得するものとする。このような広角レンズを用いて撮像した画像から抽出した特徴点であっても、前述した自車両への物体の接近の誤検知を生じさせる原因となる特徴点は、その挙動がランダムなものとなることに変わりはない。もちろん、標準的な画角が得られる標準レンズを車載カメラ２０に装備してもよい。
【００２８】
特徴点抽出処理部１１は、車載カメラ２０で撮像された動画像、すなわち時系列の静止画像である複数枚の撮像画像が入力されて、各撮像画像から特徴点となる画素を抽出する処理を行う。
【００２９】
特徴点追跡管理処理部１２は、特徴点抽出処理部１１により抽出された特徴点を管理して各撮像画像で対応している特徴点の追跡を行う。
オプティカルフロー演算処理部１３は、車載カメラ２０で撮像された各撮像画像に含まれている、特徴点抽出処理部１１により抽出された特徴点のオプティカルフローを算出する処理を行う。
【００３０】
接近判定処理部１４は、特徴点追跡管理処理部１２により追跡されている特徴点の軌跡が所定の条件を満たすか否かを判定する処理を行い、当該所定の条件を満たしている特徴点を、領域特定処理部１５による領域抽出の対象から除外する。
【００３１】
領域特定処理部１５は、特徴点抽出処理部１１により抽出された特徴点のうちで接近判定処理部１４による除外がされずに残ったものを集めて画像領域を構成し、得られた画像領域に映っている物体の像を、接近物体の検出結果として出力する。
【００３２】
図２の物体接近検知装置１０における接近判定処理部１４は、ランダム性評価処理部１６を備えている。ランダム性評価処理部１６は、特徴点の軌跡のランダム性の評価を各特徴点について行う。接近判定処理部１４は、前述の所定の条件として、評価値の基準値が予め設定されており、ランダム性評価処理部１６による評価によって得られる評価値が当該基準値以上であるか否かを判定する。そして、この評価値が所定の基準値以上である特徴点を、領域特定処理部１５による領域抽出の対象から除外する。
【００３３】
前述したような、自車両への物体の接近の誤検知を生じさせる原因となる特徴点についてオプティカルフローの時間変化を観察すると、当該オプティカルフローの向きがランダムに変化する。そこで、ランダム性評価処理部１６は、各特徴点についてのオプティカルフローの変化のランダム性を評価し、その評価結果を表す評価値が所定値よりも高いランダム性を表している特徴点を、領域特定処理部１５による領域抽出の対象から除外する。
【００３４】
警告部３０は、接近物体の検出結果を領域特定処理部１５から受け取ると、自車両へ接近する物体が検出された旨の警告を、例えば、ＬＥＤ（発光ダイオード）の点灯による視覚的な手段や、ブザー音の発音による聴覚的な手段によって、自車両の運転者に通知する。
【００３５】
なお、図２の物体接近検知装置１０の各機能ブロックによって、図１の物体接近検知装置１の各機能ブロックが有する機能の提供が行われる。すなわち、抽出部３の機能は、図２においては特徴点抽出処理部１１によって提供され、挙動検出部４の機能は、図２においては特徴点追跡管理処理部１２とオプティカルフロー演算処理部１３とによって提供される。また、挙動判定部５の機能は、図２においては接近判定処理部１４（及びランダム性評価処理部１６）によって提供され、接近判定部６の機能は、図２においては領域特定処理部１５によって提供される。
【００３６】
次に、図２の物体接近検知装置１０による、物体の自車両への接近を検知する処理の処理手順について、図３を用いて説明する。図３は、図２の物体接近検知装置１０によって行われる、物体接近検知処理の処理内容を図解したフローチャートである。
【００３７】
図３において、まず、Ｓ１０１では、特徴点抽出処理を抽出部３が行う。この処理では、まず、車載カメラ２０で撮像された動画像、すなわち時系列の静止画像である複数枚の撮像画像を車載カメラ２０から受け取る処理が行われる。次に、この撮像画像から、ある種の特徴を有する画素を抽出する処理が行われる。本実施例では、この抽出処理において、撮像画像上の映像において形状の特徴が著しい位置の画素を撮像画像から抽出する処理を行う。より具体的には、この抽出処理において、周知であるハリス・オペレータ（Harris Operator）を使用して、コーナーの形状を呈している位置の画素を撮像画像上の映像から抽出する処理を行う。
【００３８】
次に、Ｓ１０２では、Ｓ１０１で抽出した各特徴点に関する情報を取得して、取得した情報を特徴点毎に特徴点追跡管理テーブルに登録する処理を特徴点追跡管理処理部１２が行う。
【００３９】
特徴点追跡管理テーブルの構造を図４に図解する。
このテーブルでは「最新ＩＤ」、「周辺画像データ」、「特徴点座標」、「時刻」、「オプティカルフロー」、及び「直近ＩＤ」の各項目のデータが特徴点毎に対応付けられる。
【００４０】
「最新ＩＤ」は、Ｓ１０１で抽出した各特徴点を個々に識別するために抽出部３が各特徴点に付与する識別番号のデータである。
「周辺画像データ」は、特徴点が抽出された撮影画像のデータから抽出される、当該特徴点を中心とした所定の範囲内の画像領域の画像（テンプレート）を表している画素についての画素値のデータである。この周辺画像データは、後述するオプティカルフロー演算処理において使用されるデータである。
【００４１】
「特徴点座標」は、特徴点の画像上の位置を表している座標のデータである。
「時刻」のデータは、この特徴点が抽出された撮像画像の撮像時刻を表しているデータである。従って、このデータが同一である特徴点は、同一の撮像画像から抽出されたものであることが分かる。
【００４２】
「オプティカルフロー」は、各特徴点についての、撮像画像から算出されたオプティカルフローの成分のデータである。
「直近ＩＤ」は、上述したＳ１０１において特徴点を抽出した撮像画像の１枚前の撮像画像から抽出された、当該特徴点に対応する特徴点に対して付与されていた「最新ＩＤ」である。従って、特徴点追跡管理テーブルでの「最新ＩＤ」と「直近ＩＤ」との対応関係によって、撮像画像間での各特徴点の対応関係が示される。
【００４３】
なお、「オプティカルフロー」及び「直近ＩＤ」の両データは、後述するＳ１０５の処理によって特徴点追跡管理テーブルに登録される。
【００４４】
図３の説明に戻る。Ｓ１０３では、特徴点追跡管理テーブルに関連情報が登録された特徴点毎の処理が開始され、以降のＳ１０４からＳ１１２までの処理が、当該特徴点毎に行われる。
【００４５】
まず、Ｓ１０４では、オプティカルフロー演算をオプティカルフロー演算処理部１３が行う。この処理について、図５を参照しながら説明する。
物体接近検知装置１０が受け取った撮像画像のうち、最新の画像フレーム（「最新画像フレーム」と称することとする）と、その１つの前の画像フレーム（「直近画像フレーム」と称することとする）に注目する。そして、まず、特徴点追跡管理テーブルを参照して、直近画像フレームから抽出した周辺画像データを取得する処理が行われる。次に、最新画像フレームを参照し、最新画像フレームから抽出されるテンプレートと同一サイズの画像領域のうちで、直近画像フレームから抽出した周辺画像データとの類似度が最大である画像領域を見つけ出すブロックマッチング処理が行われる。そして、直近画像フレームから抽出した特徴点と、ブロックマッチング処理によって最新画像フレームから見出された画像領域の中心の画素との座標から、当該特徴点についての直近画像フレームから最新画像フレームへの動きベクトルを算出する処理が行われる。この処理により得られた動きベクトルが、当該特徴点についての、直近フレームから最新フレームへのオプティカルフローである。
【００４６】
図３の説明に戻る。次に、Ｓ１０５では、特徴点追跡管理テーブルを更新する処理を特徴点追跡管理処理部１２が行う。この処理では、まず、処理対象の特徴点についてＳ１０４の処理によって算出されたオプティカルフローの成分を、特徴点追跡管理テーブルにおける当該特徴点についての「オプティカルフロー」の欄に登録する処理が行われる。更に、特徴点追跡管理テーブルにおける当該特徴点についての「直近ＩＤ」の欄に、Ｓ１０４の処理におけるオプティカルフローの算出に使用された直近画像フレームの特徴点に対して「最新ＩＤ」として付与されていた識別番号のデータを登録する処理も行われる。
【００４７】
次に、Ｓ１０６では、時間経過を計時する不図示のタイマによって、同一特徴点についてのオプティカルフローの算出を所定数回行うのに十分な時間である所定時間の経過が計時されか否かを判定する処理を接近判定処理部１４が行う。ここで、所定時間の経過が計時されたと判定されたとき（判定結果がＹｅｓのとき）にはＳ１０７に処理が進み、所定時間の経過が未だ計時されていないと判定されたとき（判定結果がＮｏのとき）にはＳ１０１へ処理が戻って上述した処理が再度行われる。
【００４８】
次に、Ｓ１０７では、処理対象の特徴点の挙動のランダム性を評価する処理をランダム性評価処理部１６が行う。
本実施例では、現在の時刻ｔ０より時間ｎだけ前から当該時刻ｔ０までの各時刻における、特徴点のオプティカルフローを用いて、このランダム性の評価を行う。
【００４９】
ここで、時刻ｔにおける特徴点ＰのオプティカルフローＰｔは、
Ｐｔ＝（ｘ（ｔ）−ｘ（ｔ−１），ｙ（ｔ）−ｙ（ｔ−１））
である。なお、ここで、時刻ｔにおける特徴点Ｐの座標が（ｘ（ｔ），ｙ（ｔ））であり、時刻ｔ−１における特徴点Ｐの座標が（ｘ（ｔ−１），ｙ（ｔ−１））である。
【００５０】
また、特徴点Ｐについての、時刻ｔ−１におけるオプティカルフローＰｔ−１から時刻ｔにおけるオプティカルフローＰｔ−１への向きの変化量θ（ｔ）は、ベクトルの内積の導出式を変形して、下記の式により求める。
θ（ｔ）＝ａｃｏｓ｛（Ｐｔ・Ｐｔ−１）／｜Ｐｔ｜・｜Ｐｔ−１｜｝
なお、関数ａｃｏｓは逆余弦関数である。
【００５１】
そこで、処理対象の特徴点について、例えば、ｉを、ｔ０−（ｎ−２）からｔ０までの整数としてθ（ｉ）を算出する。そして、得られたθ（ｔ０−（ｎ−２））、…、θ（ｔ０）のうちで、所定の角度θｔｈよりも大きいものの個数を計数する。そして、この個数が、予め設定しておいた所定個数よりも多いか否かを判定する。ここで、計数した個数が所定個数Ｎｔｈよりも多い場合には、特徴点Ｐの挙動はランダムであるとの評価を下す。一方、計数した個数が所定個数Ｎｔｈ以下の場合には、特徴点Ｐの挙動はランダムではないとの評価を下す。
【００５２】
例えば、時刻ｔ０−ｎを、現在の時刻ｔ０において得られた撮像画像から５枚前の画像を撮像した時刻とし、θ（ｔ０−３）、θ（ｔ０−２）、θ（ｔ０−１）、及びθ（ｔ０）を算出する。そして、このうちで、所定角度θｔｈ（例えば９０°）よりも大きいものの個数を計数する。ここで、この個数が所定個数Ｎｔｈ（例えば３個）よりも大きい場合には、この特徴点の挙動はランダムであるとの評価を下す。一方、計数した個数が所定個数Ｎｔｈ以下の場合には、この特徴点の挙動はランダムではないとの評価を下す。
【００５３】
Ｓ１０８では、Ｓ１０７による挙動のランダム性の評価処理により、処理対象の特徴点の挙動がランダムであると評価されたか否かを判定する処理を接近判定処理部１４が行う。ここで、処理対象の特徴点の挙動がランダムであると評価されたと判定されたとき（判定結果がＹｅｓのとき）には、Ｓ１１２に処理が進む。一方、ここで、処理対象の特徴点の挙動がランダムではないと評価されたと判定されたとき（判定結果がＮｏのとき）には、Ｓ１０９に処理が進む。
【００５４】
Ｓ１０９では、処理対象の特徴点が、自車両へ接近する物体の像を構成するものであるか否かを判定するために、接近条件の充足性を評価する処理を接近判定処理部１４が行う。そして、続くＳ１１０において、処理対象の特徴点が接近条件を充足するか否かを判定する処理を接近判定処理部１４が行う。
【００５５】
例えば、車載カメラ２０での撮像画像が自車両の左側方の画像である場合において、当該撮像画像から抽出される、自車両の後方より接近する物体（例えば自車両の追い抜きを行っている他車両）の像についての特徴点は、オプティカルフローの向きが右向きとなる。これに対し、当該撮像画像から抽出される背景の像についての特徴点は、オプティカルフローの向きが逆向き（左向き）となる。そこで、この場合には、オプティカルフローの向きが右向きであることを接近条件として設定しておく。そして、Ｓ１０９の処理において、最新フレームについての特徴点管理テーブルを参照する処理が行われ、続くＳ１１０の処理において、処理対象の特徴点のオプティカルフローの向きが右向きであるか否かを判定する処理が行われる。
【００５６】
このＳ１１０の判定処理において、処理対象の特徴点が接近条件を充足すると評価されたと判定されたとき（判定結果がＹｅｓのとき）には、Ｓ１１１に処理が進む。一方、処理対象の特徴点が接近条件を充足しないと評価されたと判定されたとき（判定結果がＮｏのとき）には、Ｓ１１２に処理が進む。
【００５７】
Ｓ１１１では、処理対象の特徴点を、領域特定処理部１５による領域抽出の対象として採択する処理を接近判定処理部１４が行い、その後はＳ１１３に処理が進む。
Ｓ１１２では、処理対象の特徴点を棄却して、領域特定処理部１５による領域抽出の対象から除外する処理を接近判定処理部１４が行い、その後はＳ１１３に処理が進む。
【００５８】
Ｓ１１３では、Ｓ１０３の処理によって開始された、特徴点追跡管理テーブルに関連情報が登録された特徴点毎の処理が終了する。
Ｓ１１４では、Ｓ１１１の処理によって採択された特徴点をグルーピングすることによって、Ｓ１０１の処理において特徴点を抽出した撮像画像における接近物体の画像領域を特定し、この画像領域の位置情報を出力する処理を領域特定処理部１５が行う。
【００５９】
領域特定処理部１５によって行われる、特徴点のグルーピングの手法を、図６を用いて説明する。
図６において、白丸の点が、Ｓ１１１の処理によって採択された特徴点を表している。これらの採択された特徴点は、図６の例では破線の環で囲まれている領域内に全て位置している。領域特定処理部１５は、本実施例では、Ｓ１１１の処理によって採択された特徴点の全てを囲む最小の矩形を撮像画像上に設定し、この矩形の領域を接近物体の画像領域とする。
以上のＳ１１４までの処理を終えると、この図３の物体接近検知処理が終了する。
【００６０】
警告部３０は、画像領域の位置情報を領域特定処理部１５から受け取ると、自車両へ接近する物体が検出された旨の警告を、前述したようにして自車両の運転者に通知する。また、警告部３０が表示装置を備えて車載カメラ２０での撮像画像を表示すると共に、領域特定処理部１５から受け取った画像領域の位置情報を、当該撮像画像の表示に重畳して表示するようにしてもよい。
【００６１】
以上のように、図２の物体接近検知装置１０は、撮像画像から抽出した特徴点のオプティカルフローを利用して、接近する物体の存在を検知する。ここで、各特徴点の挙動がランダムであるか否かを、各特徴点のオプティカルフローに基づき判定し、挙動がランダムである特徴点については、接近物体の存在の検知の基準として使用しないようにしている。従って、図２の物体接近検知装置１０では、自車両への物体の接近の検知を、高い精度で行える。
【００６２】
なお、図２の物体接近検知装置１０を、標準的なハードウェア構成のコンピュータを用いて構成してもよい。
【００６３】
ここで図７について説明する。図７は、コンピュータのハードウェア構成例であり、図２に機能ブロックを図解した物体接近検知装置１０を構成することができるものの一例である。
【００６４】
このコンピュータ４０は、ＭＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、ハードディスク装置４４、入力装置４５、表示装置４６、インタフェース装置４７、及び記録媒体駆動装置４８を備えている。なお、これらの構成要素はバスライン４９を介して接続されており、ＭＰＵ４１の管理の下で各種のデータを相互に授受することができる。
【００６５】
ＭＰＵ（Micro Processing Unit）４１は、このコンピュータ４０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）４２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ４１は、この基本制御プログラムをコンピュータ４０の起動時に読み出して実行することにより、このコンピュータ４０の各構成要素の動作制御が可能になる。
【００６６】
ＲＡＭ（Random Access Memory）４３は、ＭＰＵ４１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００６７】
ハードディスク装置４４は、ＭＰＵ４１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ４１は、ハードディスク装置４４に記憶されている所定の制御プログラムを読み出して実行することにより、各種の制御処理を行えるようになる。
【００６８】
入力装置４５は、例えばキーボード装置やマウス装置であり、コンピュータ４０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ４１に送付する。
【００６９】
表示装置４６は例えば液晶ディスプレイであり、ＭＰＵ４１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置４７は、このコンピュータ４０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、車載カメラ２０から送られてくる時系列の撮像画像（動画像）の取り込みや、警告部３０へのデータの送出などを行う。
【００７０】
記録媒体駆動装置４８は、可搬型記録媒体５０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ４１は、可搬型記録媒体５０に記録されている所定の制御プログラムを、記録媒体駆動装置４８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体５０としては、例えばＵＳＢ（Universal Serial Bus）規格のコネクタが備えられているフラッシュメモリ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。
【００７１】
このようなコンピュータ４０を物体接近検知装置１０として動作させるには、まず、図３に図解した物体接近検知処理の処理内容をＭＰＵ４１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置４４若しくは可搬型記録媒体５０に予め格納しておく。そして、ＭＰＵ４１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ４１が、図２に図解した各機能ブロックとして機能し、このコンピュータ４０が物体接近検知装置１０として動作するようになる。
【００７２】
また、端末装置と、当該端末装置との間で各種データの授受を行うことのできるサーバ装置とからなるコンピュータシステムを用いて、物体接近検知装置１０を構成してもよい。このコンピュータシステムで図２の物体接近検知装置１０を構成する場合には、例えば、自車両に設置される端末装置にサーバ装置との通信用の通信装置を備えると共に、図４の車載カメラ２０及び警告部３０を接続する。一方、サーバ装置には、例えば図７のコンピュータ４０の構成を備える。但し、インタフェース装置４７には、端末装置の通信装置との間でのデータ通信を管理する通信装置を備える。そして、端末装置は、車載カメラ２０が得た時系列の撮像画像（すなわち動画像）をサーバ装置に送付する。一方、サーバ装置では、端末装置から受け取った撮像画像に基づき、前述した物体接近検知処理を行い、その結果を端末装置に送付して警告部３０の動作制御を行わせる。このようにして、コンピュータシステムにより、前述した物体接近検知装置１０を構成してもよい。
【符号の説明】
【００７３】
１、１０  物体接近検知装置
２  撮像装置
３  抽出部
４  挙動検出部
５  挙動判定部
６  接近判定部
１１  特徴点抽出処理部
１２  特徴点追跡管理処理部
１３  オプティカルフロー演算処理部
１４  接近判定処理部
１５  領域特定処理部
１６  ランダム性評価処理部
２０  車載カメラ
３０  警告部
４０  コンピュータ
４１  ＭＰＵ
４２  ＲＯＭ
４３  ＲＡＭ
４４  ハードディスク装置
４５  入力装置
４６  表示装置
４７  インタフェース装置
４８  記録媒体駆動装置
４９  バスライン
５０  可搬型記録媒体
【図１】
2012160657.tif 000003
【図２】
2012160657.tif 000004
【図３】
2012160657.tif 000005
【図４】
2012160657.tif 000006
【図５】
2012160657.tif 000007
【図６】
2012160657.tif 000008
【図７】
2012160657.tif 000009
【手続補正書】
【提出日】平成25年11月14日(2013.11.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体の自車両への接近を検知する装置であって、
前記自車両に搭載されている撮像装置が前記物体を撮像して得た時系列の撮像画像から、該撮像画像間で対応している特徴点を複数抽出する抽出部と、
前記複数の特徴点の各々についての前記撮像画像間での挙動を検出する挙動検出部と、
前記複数の特徴点の各々について前記挙動がランダムであるか否かを判定する挙動判定部と、
前記複数の特徴点のうちで前記挙動がランダムではないと前記挙動判定部が判定した特徴点についての挙動に基づいて、前記物体が前記自車両に接近しているか否かを判定し、該判定の結果を出力する接近判定部と、
を備える物体接近検知装置。
【請求項２】
前記挙動検出部は、前記複数の特徴点の各々についてのオプティカルフローを前記時系列の撮像画像から検出し、
前記挙動判定部は、前記オプティカルフローの向きの時間変化量に基づいて、前記挙動がランダムであるか否かを判定する、
請求項１に記載の物体接近検知装置。
【請求項３】
前記挙動判定部は、前記抽出部が抽出した複数の特徴点のうちの１つの特徴点についての、時系列で連続している２つのオプティカルフロー間でのオプティカルフローの向きの変化を求め、該向きの変化が所定角度以上であった度数が所定時間の間で所定度数よりも大きい場合には、該１つの特徴点の挙動がランダムであるとの判定を下し、該度数が該所定時間の間で該所定度数よりも小さい場合には、該１つの特徴点の挙動はランダムではないとの判定を下す請求項２に記載の物体接近検知装置。
【請求項４】
コンピュータによって実行される、物体の自車両への接近を検知する方法であって、
前記自車両に搭載されている撮像装置が前記物体を撮像して得た時系列の撮像画像から、該撮像画像間で対応している特徴点を複数抽出し、
前記複数の特徴点の各々についての前記撮像画像間での挙動を検出し、
前記複数の特徴点の各々について前記挙動がランダムであるか否かを判定し、
前記複数の特徴点のうちで前記挙動がランダムではないと判定された特徴点についての挙動に基づいて、前記物体が前記自車両に接近しているか否かを判定して、該判定の結果を出力する、
物体接近検知方法。
【請求項５】
物体の自車両への接近を検知する処理をコンピュータに実行させるプログラムであって、
前記自車両に搭載されている撮像装置が前記物体を撮像して得た時系列の撮像画像から、該撮像画像間で対応している特徴点を複数抽出し、
前記複数の特徴点の各々についての前記撮像画像間での挙動を検出し、
前記複数の特徴点の各々について前記挙動がランダムであるか否かを判定し、
前記複数の特徴点のうちで前記挙動がランダムではないと判定された特徴点についての挙動に基づいて、前記物体が前記自車両に接近しているか否かを判定して、該判定の結果を出力する、
処理をコンピュータに実行させるプログラム。
【国際調査報告】
2012160657.tif 000010
2012160657.tif 000011
2012160657.tif 000012
2012160657.tif 000013