(57)【要約】【課題】大きさの異なるオプティカルフローが混在している動画像から、小さいオプティカルフローを高精度に検出し、かつ、オプティカルフローの検出を高速に行う。【解決手段】評価量計算手段１０３がオプティカルフローの大きさに関連付けられた評価量を算出し、過去フレーム選択手段１０４が評価量に基づいてオプティカルフローの算出に用いる過去の画像フレームを特定する。オプティカルフローを算出する画素が、オプティカルフローが小さくなると考えられる場合には現在時刻からの時間間隔が長い過去の画像フレームを用いてオプティカルフローを算出し、オプティカルフローが大きくなると考えられる場合には時間間隔が短い過去の画像フレームを用いてオプティカルフローを算出する。【選択図】  図１
2004355082.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像における現フレームと過去フレームとを用いてオプティカルフローを検出するオプティカルフロー検出システムであって、
複数の過去フレームを記憶する画像蓄積手段と、
オプティカルフローの大きさに対応する数値である評価量を算出する評価量計算手段と、
前記評価量計算手段が算出した前記評価量にもとづいて、前記画像蓄積手段に記憶されている過去フレームのうちいずれの過去フレームを用いるのかを決定する過去フレーム選択手段と
を備えたことを特徴とするオプティカルフロー検出システム。
【請求項２】
評価量計算手段は、物体の画像フレーム上の座標位置にもとづいて、オプティカルフローの大きさに対応する評価量を算出する
請求項１に記載のオプティカルフロー検出システム。
【請求項３】
評価量計算手段が算出する評価量は、物体の画像フレームにおける垂直方向座標値である
請求項２に記載のオプティカルフロー検出システム。
【請求項４】
評価量計算手段は、過去に検出したオプティカルフローの大きさにもとづいて、オプティカルフローの大きさに対応する評価量を算出する
請求項１に記載のオプティカルフロー検出システム。
【請求項５】
入力された動画像における現フレームと過去フレームとを用いてオプティカルフローを検出するオプティカルフロー検出システムであって、
複数の過去フレームを記憶する画像蓄積手段と、
現フレームに現れる物体との間の距離を計測する距離計測手段と、
前記距離計測手段が計測した距離にもとづいて、前記画像蓄積手段に記憶されている過去フレームのうちいずれの過去フレームを用いるのかを決定する過去フレーム選択手段と
を備えたことを特徴とするオプティカルフロー検出システム。
【請求項６】
検出したオプティカルフローにもとづいて、画像上の物体の領域を検出する領域検出手段を備えた
請求項１から請求項５のうちいずれか１項に記載のオプティカルフロー検出システム。
【請求項７】
入力される動画像は、走行中の車両から外部を撮影した映像であって、
領域検出手段は、他の車両または障害物を検出する
請求項６に記載のオプティカルフロー検出システム。
【請求項８】
入力された動画像における現フレームと過去フレームとを用いてオプティカルフローを検出するオプティカルフロー検出方法であって、
複数の過去フレームを記憶し、
オプティカルフローの大きさに対応する数値である評価量を算出し、
算出した前記評価量にもとづいて、記憶されている過去フレームのうちいずれの過去フレームを用いるのかを決定する
ことを特徴とするオプティカルフロー検出方法。
【請求項９】
入力された動画像における現フレームと過去フレームとを用いてオプティカルフローを検出するオプティカルフロー検出方法であって、
複数の過去フレームを記憶し、
現フレームに現れる物体との間の距離を計測し、
計測した距離にもとづいて、記憶されている過去フレームのうちいずれの過去フレームを用いるのかを決定する
ことを特徴とするオプティカルフロー検出方法。
【請求項１０】
入力された動画像における現フレームと過去フレームとを用いてオプティカルフローを検出する処理を実行させるためのオプティカルフロープログラムであって、
コンピュータに、
複数の過去フレームを記憶させる処理と、
オプティカルフローの大きさに対応する数値である評価量を算出する処理と、算出した前記評価量にもとづいて、記憶されている過去フレームのうちいずれの過去フレームを用いるのかを決定する処理とを実行させる
オプティカルフロー検出プログラム。
【請求項１１】
入力された動画像における現フレームと過去フレームとを用いてオプティカルフローを検出する処理を実行させるためのオプティカルフロープログラムであって、
コンピュータに、
複数の過去フレームを記憶させる処理と、
現フレームに現れる物体との間の距離を計測させる処理と、
計測された距離にもとづいて、記憶されている過去フレームのうちいずれの過去フレームを用いるのかを決定する処理とを実行させる
オプティカルフロー検出プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像における物体または画素の動きを示すベクトルであるオプティカルフローを検出するオプティカルフロー検出システム、検出方法および検出プログラムに関する。
【０００２】
【従来の技術】
近年、撮像装置で撮影された画像から、撮像装置が設置された車両等の周囲の物体の動き等を把握する方法が提案されている。その方法は、動画像のフレーム間でオプティカルフローを測定することにより、写っている物体の動きを把握するものである。
【０００３】
オプティカルフローは、画像の各フレームに特徴照合法（パターンマッチング）や、時空間勾配法等を用いることにより求められる。
【０００４】
現時刻の画像フレームと過去の画像フレームと間の時間間隔が短すぎるためにオプティカルフローが小さすぎて高精度の検出が困難である場合に、現時刻との時間間隔の長い過去の画像フレームと現時刻の画像フレームとを用いることにより、オプティカルフローを高精度で検出することができる方法が提案されている（例えば、特許文献１参照。）。
【０００５】
【特許文献１】
特開２００３−４４８６１号公報  （第４−７頁、第１図）
【０００６】
【発明が解決しようとする課題】
しかし、特許文献１に記載されている方法では、大きさの小さなオプティカルフローを高精度に検出するために、各座標について、現フレームとの時間間隔が異なる複数の過去の画像フレームを用いてオプティカルフローを検出する。そのため、オプティカルフローを検出するためのデータ処理量が多いという問題がある。
【０００７】
そこで、本発明は、大きさの小さなオプティカルフローを、少ないデータ処理量で高精度に検出することができるオプティカルフロー検出システム、検出方法および検出プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明によるオプティカルフロー検出システムは、複数の過去フレームを記憶する画像蓄積手段と、オプティカルフローの大きさに対応する数値である評価量を算出する評価量計算手段と、評価量計算手段が算出した評価量にもとづいて、画像蓄積手段に記憶されている過去フレームのうちいずれの過去フレームを用いるのかを決定する過去フレーム選択手段とを備えたことを特徴とする。
【０００９】
評価量計算手段は、物体の画像フレーム上の座標位置にもとづいて、オプティカルフローの大きさに対応する評価量を算出してもよい。そのような構成によれば、画像フレームから得られる情報にもとづいてオプティカルフローの検出に用いる過去の画像フレームを特定することができるため、オプティカルフロー検出システムの構成を複雑にすることなくオプティカルフローを検出することができる。
【００１０】
評価量計算手段が算出する評価量は、物体の画像フレームにおける垂直方向座標値であってもよい。道路画像等の画像フレームでは、上方の物体は遠方の物体であると考えられるためオプティカルフローが小さいと考えられ、下方の物体は近傍の物体であると考えられるためオプティカルフローが大きいと考えられる。従って、道路画像等の画像フレームでは、垂直方向座標値という取得が容易な情報を用いて評価量を算出することができる。
【００１１】
評価量計算手段は、過去に検出したオプティカルフローの大きさにもとづいて、オプティカルフローの大きさに対応する評価量を算出してもよい。そのような構成によれば、画像フレームから新たに評価量を抽出する必要が無くなるため、より高速に評価量を算出することができる。
【００１２】
本発明による他の態様のオプティカルフロー検出システムは、複数の過去フレームを記憶する画像蓄積手段と、現フレームに現れる物体との間の距離を計測する距離計測手段と、距離計測手段が計測した距離にもとづいて、画像蓄積手段に記憶されている過去フレームのうちいずれの過去フレームを用いるのかを決定する過去フレーム選択手段とを備えたことを特徴とする。そのような構成によれば、画像に含まれる物体との距離にもとづいて評価量を算出するため、オプティカルフローが小さいと考えられる距離の遠い物体の座標のオプティカルフローの検出には現在時刻との時間間隔の長い過去の画像フレームを選択することにより、高精度にオプティカルフローを検出することができる。また、オプティカルフローが大きいと考えられる距離の近い物体の座標のオプティカルフローの検出には現在時刻との時間間隔の短い過去の画像フレームを選択することにより、対応点を探索する領域を現在時刻の画像フレームにおける物体の位置の周辺に狭められ、高速にオプティカルフローを検出することができる。
【００１３】
検出したオプティカルフローにもとづいて、画像上の物体の領域を検出する領域検出手段を備えてもよい。そのような構成によれば、画像上を移動する物体を監視したり追跡したりすることができる。
【００１４】
入力される動画像は、走行中の車両から外部を撮影した映像であってもよく、領域検出手段は、他の車両または障害物を検出してもよい。そのような構成によれば、画像上を移動する物体の領域を抽出することができるため、例えば、走行中の車両が撮影した動画像から他の車両の領域を抽出した場合、車両の運転手に警告する等を行って、衝突を防止することができる効果がある。
【００１５】
【発明の実施の形態】
実施の形態１．
図１は、本発明によるオプティカルフロー検出システムを含む画像領域検出システムの第１の実施の形態を示すブロック図である。図１に示す画像領域検出システムは、動画像を入力する画像入力装置１１０と画像領域検出装置１００とを含む。
【００１６】
画像領域検出装置１００は、入力された動画像を蓄積する画像蓄積手段１０１と、オプティカルフローを検出する座標を設定する処理対象座標設定手段１０２と、オプティカルフローを検出する座標の評価量を算出する評価量計算手段１０３と、算出した評価量にもとづいてオプティカルフローの算出に用いる画像フレームを特定する過去フレーム選択手段１０４と、現フレームの一の点に対応する過去の画像フレームの点である対応点を特定する対応点探索手段１０５と、現フレームが撮影された時刻である現時刻と過去フレームが撮影された時刻との時間間隔、現フレームの画像フレームの一の点、および対応点にもとづいてオプティカルフローを算出するオプティカルフロー計算手段１０６と、算出したオプティカルフローを表示装置（図示せず。）等に出力するオプティカルフロー出力手段１０７と、オプティカルフローの向きと大きさとにもとづいて画像フレーム中で物体の像の領域を検出する領域検出手段１０８とを含む。
【００１７】
なお、オプティカルフロー検出システムは、図１に示す構成では、画像領域検出装置１００におけるオプティカルフロー出力手段１０７および領域検出手段１０８を除く部分に相当するが、オプティカルフロー出力手段１０７および領域検出手段１０８を含めたシステムをオプティカルフロー検出システムと捉えてもよい。また、画像領域検出装置１００は、コンピュータなどのデータ処理装置で実現される。
【００１８】
すなわち、処理対象座標設定手段１０２、評価量計算手段１０３、過去フレーム選択手段１０４、対応点探索手段１０５、オプティカルフロー計算手段１０６、オプティカルフロー出力手段１０７および領域検出手段１０８は、記憶装置に記憶されているプログラムにもとづいてコンピュータが動作することによって実現される。従って、以下に説明する処理対象座標設定手段１０２、評価量計算手段１０３、過去フレーム選択手段１０４、対応点探索手段１０５、オプティカルフロー計算手段１０６、オプティカルフロー出力手段１０７および領域検出手段１０８の処理は、コンピュータがが実行するプログラムで実現される。画像蓄積手段１０１は、例えばコンピュータが内蔵する、またはコンピュータに接続されるハードディスク等の記憶装置で実現される。画像入力装置１１０は、ビデオカメラや、赤外線カメラ、暗視カメラ等の動画撮影機器や、レーダや超音波送受信装置等の距離計測機器等を１台または複数台を組み合わせて実現され、物体の特徴量の２次元的または３次元的な分布を得る機器によって実現される。
【００１９】
画像入力装置１１０は、動画像を撮影し、撮影した動画像を画像フレーム毎に画像蓄積手段１０１および処理対象座標設定手段１０２に入力する。画像蓄積手段１０１は入力された画像フレームを過去フレームとして蓄積する。処理対象座標設定手段１０２は、現フレーム（最新フレームすなわち現時刻の画像フレーム）におけるオプティカルフローを検出する座標を設定し、現フレームを評価量計算手段１０３と対応点探索手段１０５とに出力する。処理対象座標設定手段１０２は、例えば、映像に対してラスタスキャンを行う場合の順に座標を設定する。
【００２０】
評価量計算手段１０３は、オプティカルフローを検出する座標に設定された処理対象座標の評価量を算出する。評価量は、オプティカルフローの大きさと関係づけられる量である。例えば、図２に示すような走行中の車両の後方を撮影した白黒画像の画像フレームが入力された場合には、ｙ座標値が小さい範囲の像の物体は、撮影位置から遠方にある物体であると考えられ、オプティカルフローの大きさが小さくなると考えられる。また、ｙ座標値が大きい範囲の像の物体は、撮影位置の近傍にある物体であると考えられ、オプティカルフローの大きさが大きくなると考えられる。そこで、道路画像などが入力される場合には、ｙ座標値を評価量とすることができる。
【００２１】
なお、評価量の他の例として、オプティカルフローを検出する座標あるいはその座標の周辺で過去に算出したオプティカルフローの大きさを評価量として用いてもよいし、オプティカルフロー検出システムの利用者の事前知識にもとづいて利用者が評価量を設定してもよいし、また、これらの方法で求めた評価量を組み合わせて、新たな評価量を算出してもよい。評価量は、以上に述べた方法により求められる量に限定されるものではなく、オプティカルフローの大きさに関連する量であればよい。評価量計算手段１０３は、算出した評価量を過去フレーム選択手段１０４に出力する。
【００２２】
過去フレーム選択手段１０４は、評価量にもとづいて、画像蓄積手段１０１が蓄積している過去の画像フレームのうち、オプティカルフローの検出に用いる画像フレームを特定する。例えば、評価量があらかじめ決められた閾値未満である場合には、現在時刻の画像フレームの２つ前の画像フレームをオプティカルフローの検出に用いる画像フレームと特定し、評価量があらかじめ決められた閾値以上である場合は、現在時刻の画像フレームの１つ前の画像フレームをオプティカルフローの検出に用いる画像フレームと特定する。以下、過去フレーム選択手段１０４が特定した画像フレームを過去画像フレームと記す。過去フレーム選択手段１０４は、画像蓄積手段１０１が蓄積している動画像のうち、過去画像フレームを読み込んで対応点探索手段１０５に出力する。
【００２３】
対応点探索手段１０５は、現フレームのオプティカルフローを検出する座標に対応する過去画像フレームの座標である対応点を特定し、特定した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する。対応点の特定方法については、後述する。
【００２４】
オプティカルフロー計算手段１０６は、オプティカルフローを検出する座標、対応点の座標、および現フレームが撮影された時刻と過去画像フレームが撮影された時刻との差である時間間隔にもとづいてオプティカルフローを算出する。オプティカルフローは、オプティカルフローを検出する座標と対応点との差のベクトルを、時間間隔で割った商として算出される。そして、オプティカルフロー計算手段１０６は、算出したオプティカルフローを保持するとともに、オプティカルフロー出力手段１０７に出力する。オプティカルフローの保持は、コンピュータが搭載しているメモリ等の一時記憶手段に記憶させることによって実現される。オプティカルフロー出力手段１０７は、入力されたオプティカルフローを領域検出手段１０８に出力する。領域検出手段１０８は、入力されたオプティカルフローにもとづいて、同一物体が存在すると考えられる領域を検出する。
【００２５】
次に、この実施の形態の動作について説明する。図３は、この実施の形態の動作を説明するフローチャートである。
【００２６】
画像入力装置１１０から画像領域検出装置１００に画像フレーム毎に入力される動画像は、画像領域検出装置１００において、画像蓄積手段１０１および処理対象座標設定手段１０２に入力される（ステップＳ１０１）。画像蓄積手段１０１は、入力された画像フレームを過去フレームとして蓄積する（ステップＳ１０２）。処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てについてオプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ１０３）。オプティカルフローを検出するべき座標が残っていると判断した場合には、処理対象座標設定手段１０２は、現フレームにおけるオプティカルフローを検出する処理対象座標を設定する（ステップＳ１０４）。すなわち、処理済みの座標の次の座標を処理対象座標とする。そして、処理対象座標を評価量計算手段１０３および対応点探索手段１０５に出力する。評価量計算手段１０３は、オプティカルフローを検出する処理対象座標の評価量を算出する（ステップＳ１０５）。
【００２７】
過去フレーム選択手段１０４は、評価量にもとづいて、画像蓄積手段１０１が蓄積している過去の画像フレームのうち、オプティカルフローの検出に用いる画像フレームを特定する（ステップＳ１０６）。そして、対応点探索手段１０５は、あらかじめ定められた探索範囲から、現フレームにおけるオプティカルフローを検出する座標に対応する過去画像フレームの座標である対応点を特定し、特定した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する（ステップＳ１０７）。オプティカルフロー計算手段１０６は、オプティカルフローを検出する座標、対応点の座標、および現在フレームが撮影された時刻と過去画像フレームが撮影された時刻との差にもとづいてオプティカルフローを算出する（ステップＳ１０８）。オプティカルフロー計算手段１０６は、算出したオプティカルフローを保持する（ステップＳ１０９）。
【００２８】
そして、処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てについてオプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ１０３）。オプティカルフローを検出するべき座標が残っていないと判断した場合には、処理対象座標設定手段１０２は、オプティカルフロー計算手段１０６が保持しているオプティカルフローをオプティカルフロー出力手段１０７に出力する（ステップＳ１１０）。オプティカルフロー出力手段１０７は、入力されたオプティカルフローを領域検出手段１０８に出力する。領域検出手段１０８は、入力されたオプティカルフローにもとづいて、同一物体の像が存在していると思われる領域を検出する（ステップＳ１１１）。
【００２９】
ステップＳ１０７において、対応点探索手段１０５が画像フレームの対応点を特定する際の動作について説明する。この実施の形態では、対応点を探索する際に、現フレームと過去画像フレームとの類似性の評価に、領域間の各画素の差の絶対値の総和（以下、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）と記す。）を用いる。なお、現フレームと過去画像フレームとの類似性の評価は、ＳＡＤを用いた方法に限定されるものではなく、領域間の各画素の差の２乗の総和（ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｅｎｃｅｓ））を用いる方法等、領域間の相関値や、領域間の正規化相関値等の処理に用いられる類似性の評価値を用いてもよい。
【００３０】
図４は、対応点探索手段１０５が特定点を特定する際の動作を説明するフローチャートである。対応点探索手段１０５は、現フレームにおけるオプティカルフローを検出する処理対象座標の周辺（例えば、処理対象座標を中心とした縦横５画素の矩形領域）の画素値である輝度と画像濃度とを抽出する（ステップＳ２０１）。次に、適当な値を最小ＳＡＤとしてセットする（ステップＳ２０２）。ここでセットされる最小ＳＡＤは比較的大きな値であり、例えば、画像の種類（カラー画像または２値画像の別）や階調に応じて、一般に、それよりも値が小さいと類似度が高いと判定される値よりも大きな値に設定される。
【００３１】
対応点探索手段１０５は、あらかじめ決められている探索範囲において、全ての画素について対応点の探索を行ったか否かを判断する（ステップＳ２０３）。探索範囲は、例えば、過去画像フレームにおいて、現フレームにおける処理対象座標と同じ座標を中心とした縦横３１画素の範囲である。ただし、この範囲は単なる一例であって、画像の解像度等、状況に応じて適切な値に設定される。探索範囲において、対応点であるか否かの判定を行っていない画素が存在する場合には、対応点探索手段１０５は、過去画像フレームにおける処理対象座標（対応点候補座標とする。）として、処理の済んだ座標の次の座標に設定する（ステップＳ２０４）。なお、探索は、探索範囲において例えば左上端からラスタスキャン方向に実行され、例えばステップＳ２０２の処理終了後に、対応点候補座標として、探索範囲における左上端の直前の画素の座標に設定されている。そして、対応点探索手段１０５は、対応点候補座標の周辺（例えば、対応点候補座標を中心とした縦横５画素の矩形領域）の画素値を過去画像フレームから抽出する（ステップＳ２０５）。
【００３２】
対応点探索手段１０５は、現フレームにおける処理対象座標の周辺の画素値と対応点候補座標の周辺の画素値とについてＳＡＤを算出する（ステップＳ２０６）。対応点探索手段１０５は、算出したＳＡＤが最小ＳＡＤとして設定されている値より小さいか否かを判定する（ステップＳ２０７）。算出したＳＡＤが最小ＳＡＤとして設定されている値未満の場合には、対応点探索手段１０５は、算出されたＳＡＤを新たに最小ＳＡＤとして設定し、対応点候補座標を対応点座標とする（ステップＳ２０８）。ステップＳ２０７で算出したＳＡＤが最小ＳＡＤとして設定されている値以上の場合、およびステップＳ２０８の処理が終了した場合には、ステップＳ２０３の処理に戻る。
【００３３】
そして、対応点探索手段１０５は、利用者が特定した領域内の全ての画素について対応点の探索を行ったか否かを判断する（ステップＳ２０３）。利用者が特定した領域内の全ての画素について対応点の探索を行った場合には、対応点探索手段１０５は、対応点座標の画素を対応点と特定し、特定した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する（ステップＳ２０９）。
【００３４】
次に、走行中の車両の後方を撮影して得られた動画像を例に、この実施の形態の動作について説明する。図２は、そのようにして得られた動画像の画像フレームの１つである。ここで、走行中の車両の後方を撮影した場合、画像の風景部分のオプティカルフローは撮影位置から遠ざかる方向であるのに対して、撮影を行っている車両を追い抜く車両の部分のオプティカルフローは、撮影位置に近づいてくる方向である。また、画像中の道路部分のうち上方部分の像の物体は、遠方の物体であると考えられ、オプティカルフローの大きさが小さくなると考えられる。そして、画像中の道路部分のうち下方部分の像の物体は、撮影位置の近傍の物体であると考えられ、オプティカルフローの大きさが大きくなると考えられる。これらの性質を利用して、追い抜き車両の検出や、対応点の探索を行う。
【００３５】
図５は、具体例を用いてこの実施の形態の動作を説明するフローチャートである。画像入力装置１１０は、例えば、道路を走行中の車両から後方を、２５６階調の白黒画像で撮影する（ステップＳ３０１）。従って、画像入力装置１１０が出力する動画像は、走行中の車両から外部を撮影した映像である。画像入力装置１１０は、撮影した動画像（道路画像）を画像フレーム毎に画像蓄積手段１０１および処理対象座標設定手段１０２に入力する。画像蓄積手段１０１は、入力された道路画像を過去フレームとして蓄積する（ステップＳ３０２）。処理対象座標設定手段１０２は、まず、オプティカルフローの検出を行う領域を定める。ここでは、図４に示すラインＬｐから下の領域をオプティカルフローの検出を行う領域と特定したとする。処理対象座標設定手段１０２は、例えば、ｙ座標値が所定値以下である領域を除外することによってラインＬｐを定めたり、利用者から指定を受けることによってラインＬｐを定めたりする。
【００３６】
処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる処理対象座標の全てについてオプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ３０３）。オプティカルフローを検出するべき処理対象座標が残っていると判断した場合には、処理対象座標設定手段１０２は、動画像中のオプティカルフローを検出する座標を設定する（ステップＳ３０４）。すなわち、処理済みの座標の次の座標を処理対象座標とする。なお、オプティカルフローを検出する処理対象座標として、Ｌｐの下の領域について、左上端から右下端までラスタスキャンの方向の順に座標が設定される。
【００３７】
評価量計算手段１０３は、オプティカルフローを検出する処理の対象とする座標の評価量をｙ座標値とする（ステップＳ３０５）。ｙ座標値が閾値Ｓｙ以上であれば現フレームの１つ前の過去画像フレームを用いてオプティカルフローの検出を行い、ｙ座標値が閾値Ｓｙ未満であれば現フレームの２つ前の過去画像フレームを用いてオプティカルフローの検出を行う（ステップＳ３０６、３０７、３０８）。すなわち、図２４に示すＳｙから下の領域が、現フレームの１つ前の過去画像フレームを用いてオプティカルフローの検出を行う領域とされ、Ｓｙから上の領域が、現フレームから２つ前の過去画像フレームを用いてオプティカルフローの検出を行う領域とされる。
【００３８】
現在時刻の画像フレームから１つ前の過去画像フレームを用いてオプティカルフローの検出を行う場合に、対応点探索手段１０５が、現在時刻の画像フレームから１つ前の過去画像フレームにおける対応点の検出を行う（ステップＳ３０９）。そして、検出した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する。オプティカルフロー計算手段１０６は、現フレームにおけるオプティカルフローを検出する処理の対象とする座標と、対応点の座標との差のベクトルをオプティカルフローとする（ステップＳ３１１）。
【００３９】
現在時刻の画像フレームから２つ前の過去画像フレームを用いてオプティカルフローの検出を行う場合、対応点探索手段１０５が、現フレームから２つ前の過去画像フレームにおける対応点の検出を行う（ステップＳ３１０）。そして、検出した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する。オプティカルフロー計算手段１０６は、現フレームにおけるオプティカルフローを検出する処理の対象とする座標と、対応点の座標との差のベクトルに１／２を乗じたものをオプティカルフローとする（ステップＳ３１２）。なお、ｎフレーム前の過去フレームを用いた場合には、差のベクトルを（１／ｎ）してオプティカルフローとする。
【００４０】
オプティカルフロー計算手段１０６は、算出したオプティカルフローを保持する（ステップＳ３１３）。そして、処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てに、オプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ３０３）。処理対象座標設定手段１０２がオプティカルフローを検出するべき処理対象座標が残っていないと判断した場合には、オプティカルフロー計算手段１０６は、保持しているオプティカルフローを、オプティカルフロー出力手段１０７に出力する（ステップＳ３１４）。オプティカルフロー出力手段１０７は、入力されたオプティカルフローを領域検出手段１０８に出力する。
【００４１】
領域検出手段１０８は、オプティカルフローが、画像領域検出装置１００を搭載されている車両に近づく方向を持つ画素の領域を、追い抜き車両の領域として抽出して表示手段等に出力することができる（ステップＳ３１５）。このとき、追い抜き車両の領域を監視したり、追跡したりしてもよい。
【００４２】
この実施の形態によれば、画像フレームにおける各座標に応じて対応点を探索する過去画像フレームを選択するように構成したので、オプティカルフローの小さな画素には現時刻との時間間隔が長い過去の画像フレームを選択することにより高精度にオプティカルフローを検出することができ、オプティカルフローの大きな画素には時間間隔の短い過去の画像フレームを選択することにより、対応点を探索する領域を狭められ、高速にオプティカルフローを検出することができる。
【００４３】
なお、この実施の形態では、現フレームよりも１つ前の過去画像フレームを用いる場合と、現フレームよりも２つ前の過去画像フレームを用いる場合との２つに場合分けしたが、現フレームよりも３つ前以上の過去画像フレームを用いるようにして、より多くの場合に場合分けしてもよい。
【００４４】
また、この実施の形態では、領域検出手段１０８は、オプティカルフローにもとづいて他の車両のが存在する領域を検出することができるが、例えば、画像領域検出装置１００を搭載されている車両が近づいていく障害物等が存在する領域を検出することもできる。
【００４５】
さらに、この実施の形態では、道路画像が入力される場合を例にしたので評価量としてｙ座標値を用いたが、評価量は、ｙ座標値に限定されるわけではなく、オプティカルフローの大きさに関連する量であれば他の量を用いてもよい。例えば、オプティカルフローを検出する座標あるいはその座標の周辺で過去に算出したオプティカルフローの大きさを評価量として用いてもよいし、オプティカルフロー検出システムの利用者の事前知識にもとづいて利用者が評価量を設定してもよいし、また、これらの方法で求めた評価量を組み合わせて、新たな評価量を算出してもよい。
【００４６】
実施の形態２．
図６は、本発明によるオプティカルフロー検出システムを含む画像領域検出システムの第２の実施の形態を示すブロック図である。図６に示す画像領域検出システムは、動画像を入力する画像入力装置１１０、画像領域検出装置２００および距離計測装置３００を含む。第１の実施の形態における画像領域検出装置１００とは異なり、画像領域検出装置２００には評価量計算手段１０３が含まれていない。また、過去フレーム選択手段２０１の動作は、第１の実施の形態における過去フレーム選択手段１０４の動作とは異なる。
【００４７】
距離計測装置３００は、画像入力装置１１０が撮影した動画像に含まれる物体と撮影位置との間の距離（実距離）を計測する。過去フレーム選択手段２０１は、距離計測装置３００が計測した撮影位置と物体との間の距離にもとづいてオプティカルフローの算出に用いる過去画像フレームを特定する。距離計測装置３００は、例えば、レーダや、ステレオカメラ、超音波送受信装置等の距離計測機器によって実現される。
【００４８】
次に、この実施の形態の動作について説明する。図７は、この実施の形態の動作を説明するフローチャートである。
【００４９】
画像入力装置１１０から画像領域検出装置２００に画像フレーム毎に入力される動画像は、画像領域検出装置２００において、画像蓄積手段１０１および処理対象座標設定手段１０２に入力される（ステップＳ４０１）。画像蓄積手段１０１は、入力された画像フレームを過去フレームとして蓄積する（ステップＳ４０２）。処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てについてオプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ４０３）。オプティカルフローを検出するべき座標が残っていると判断した場合には、処理対象座標設定手段１０２は、現フレームにおけるオプティカルフローを検出する処理対象座標を設定する（ステップＳ４０４）。すなわち、処理済みの座標の次の座標を処理対象座標とする。そして、現フレームを過去フレーム選択手段２０１および対応点探索手段１０５に出力する。距離計測装置３００は、現フレーム内に存在する物体と画像領域検出装置２００の設置位置との間の距離（実距離）を計測する（ステップＳ４０５）。なお、距離計測装置３００は、画像領域検出装置２００の近傍に設置されているとする。
【００５０】
距離計測装置３００は、例えば、画像領域検出装置２００から、距離計測装置３００の計測視野における処理対象座標に対応する方向の情報の供給を受ける。そして、供給された情報にもとづいて計測方向を定め、現フレーム内に存在する物体との間の距離を計測する。なお、距離計測装置３００は、例えば、過去フレーム選択手段を実現するソフトウェアの指示に応じて距離を計測する。
【００５１】
過去フレーム選択手段２０１は、物体との間の距離にもとづいて、画像蓄積手段１０１が蓄積している過去の画像フレームのうち、オプティカルフローの検出に用いる画像フレームを特定する（ステップＳ４０６）。そして、対応点探索手段１０５は、現フレームのオプティカルフローを検出する座標に対応する過去画像フレームの座標である対応点を、予め定められた探索領域内を探索して特定し、特定した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する（ステップＳ４０７）。オプティカルフロー計算手段１０６は、オプティカルフローを検出する処理対象座標、対応点の座標、および現フレームが撮影された時刻と過去画像フレームが撮影された時刻とにもとづいてオプティカルフローを算出する（ステップＳ４０８）。オプティカルフロー計算手段１０６は、算出したオプティカルフローを保持する（ステップＳ４０９）。
【００５２】
そして、処理対象座標設定手段１０２は、オプティカルフローを検出する座標を全て設定したか否かを判断する（ステップＳ４０３）。処理対象座標設定手段１０２がオプティカルフローを検出するべき座標が残っていないと判断した場合には、オプティカルフロー計算手段１０６は、保持しているオプティカルフローを、オプティカルフロー出力手段１０７に対して出力する（ステップＳ４１０）。オプティカルフロー出力手段１０７は、入力されたオプティカルフローを領域検出手段１０８に出力する。領域検出手段１０８は、入力されたオプティカルフローにもとづいて、同一の物体の像を含むと考えられる領域を抽出する（ステップＳ４１１）。
【００５３】
次に、走行中の車両の後方を撮影して得られた動画像を例に、この実施の形態の動作について説明する。図２は、そのようにして得られた動画像の画像フレームである。
【００５４】
図７は、具体例を用いてこの実施の形態の動作を説明するフローチャートである。画像入力装置１１０は、例えば、道路を走行中の車両から後方を、２５６階調の白黒画像で撮影する（ステップＳ５０１）。画像入力装置１１０は、撮影した動画像（道路画像）を画像フレーム毎に画像蓄積手段１０１および処理対象座標設定手段１０２に入力する。画像蓄積手段１０１は、入力された道路画像を過去フレームとして蓄積する（ステップＳ５０２）。処理対象座標設定手段１０２は、まず、オプティカルフローの検出を行う領域を定める。ここでは、図４に示すラインＬｐから下の領域をオプティカルフローの検出を行う領域と特定したとする。処理対象座標設定手段１０２は、例えば、ｙ座標値が所定値以下である領域を除外することによってラインＬｐを定めたり、利用者から指定を受けることによってラインＬｐを定めたりする。
【００５５】
処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てについてオプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ５０３）。オプティカルフローを検出するべき処理対象座標が残っていると判断した場合には、処理対象座標設定手段１０２は、動画像中のオプティカルフローを検出する座標を設定する（ステップＳ５０４）。すなわち、処理済みの座標の次の座標を処理対象座標とする。なお、オプティカルフローを検出する処理対象座標として、Ｌｐの下の領域について、左上端から右下端までラスタスキャンの方向の順に座標が設定される。
【００５６】
距離計測装置３００は、処理対象座標に対応する実距離を計測する（ステップＳ５０５）。そして、例えば３０ｍを閾値として、撮影位置と物体との間の距離が３０ｍ未満であった場合には、現在時刻の画像フレームから１つ前の過去画像フレームを用いてオプティカルフローの検出を行い、撮影位置と物体との間の距離が３０ｍ以上であった場合には、現在時刻の画像フレームから２つ前の過去画像フレームを用いてオプティカルフローの検出を行うことに決定する（ステップＳ５０６、５０７、５０８）。なお、キーボードやマウス等の入力手段を介して、利用者による距離の閾値の入力を受け付けてもよい。
【００５７】
現在時刻の画像フレームから１つ前の過去画像フレームを用いてオプティカルフローの検出を行う場合、対応点探索手段１０５が、現在時刻の画像フレームから１つ前の過去画像フレームにおける対応点の検出を行う（ステップＳ５０９）。そして、検出した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する。オプティカルフロー計算手段１０６は、現在時刻の画像フレームにおけるオプティカルフローを検出する処理の対象とする座標と、対応点の座標との差のベクトルをオプティカルフローとする（ステップＳ５１１）。
【００５８】
現在時刻の画像フレームから２つ前の過去画像フレームを用いてオプティカルフローの検出を行う場合、対応点探索手段１０５が、現在時刻の画像フレームから２つ前の過去画像フレームにおける対応点の検出を行う（ステップＳ５１０）。そして、検出した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する。オプティカルフロー計算手段１０６は、現在時刻の画像フレームにおけるオプティカルフローを検出する処理の対象とする座標と、対応点の座標との差のベクトルに１／２を乗じたものをオプティカルフローとする（ステップＳ５１２）。
【００５９】
オプティカルフロー計算手段１０６は、算出したオプティカルフローを保持する（ステップＳ５１３）。そして、処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てに、オプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ５０３）。処理対象座標設定手段１０２がオプティカルフローを検出するべき座標が残っていないと判断した場合には、オプティカルフロー計算手段１０６は、保持しているオプティカルフローを、オプティカルフロー出力手段１０７を介して領域検出手段１０８に出力する（ステップＳ５１４）。
【００６０】
領域検出手段１０８は、オプティカルフローが撮影している車両に近づく方向を持つ画素の領域を、追い抜き車両の領域として表示手段等に出力する（ステップＳ５１５）。このとき、追い抜き車両の領域を監視したり、追跡したりしてもよい。
【００６１】
この実施の形態によれば、画像に含まれる物体との距離に応じてオプティカルフローの検出に用いる過去画像フレームを選択するため、オプティカルフローが小さいと考えられる距離の遠い物体の座標のオプティカルフローの検出には時間間隔の大きい過去画像フレームを選択することにより、高精度にオプティカルフローを検出することができる。また、オプティカルフローが大きいと考えられる距離の近い物体の座標のオプティカルフローの検出には時間間隔の小さい過去画像フレームを選択することにより、対応点を探索する領域を狭められ、高速にオプティカルフローを検出することができる。
【００６２】
また、この実施の形態によれば、画像に含まれる物体との距離に応じてオプティカルフローの検出に用いる過去画像フレームを選択するため、事前にオプティカルフローの大きさの予測をする必要が無く、オプティカルフローの大きさの予測が困難な場合にも適用することができる。
【００６３】
【発明の効果】
以上のように、本発明によれば、オプティカルフローの検出に用いる過去の画像フレームを、オプティカルフローの大きさに対応する数値である評価量にもとづいて決定しているため、大きさの小さなオプティカルフローを高精度に、かつ、高速に検出することができる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】画像入力装置に入力された動画像の画像フレームの一例を示す図である。
【図３】本発明の第１の実施の形態の動作を説明するフローチャートである。
【図４】本発明の対応点探索手段の動作を説明するフローチャートである。
【図５】具体例を用いて第１の実施の形態の動作を説明するフローチャートである。
【図６】本発明の第２の実施の形態を示すブロック図である。
【図７】本発明の第２の実施の形態の動作を説明するフローチャートである。
【図８】具体例を用いて第２の実施の形態の動作を説明するフローチャートである。
【符号の説明】
１００  コンピュータ
１０１  画像蓄積手段
１０２  処理対象座標設定手段
１０３  評価量計算手段
１０４  過去フレーム選択手段
１０５  対応点探索手段
１０６  オプティカルフロー計算手段
１０７  オプティカルフロー出力手段
１０８  領域検出手段
１１０  画像入力装置
３００  距離計測装置
【図１】
2004355082.tif 000003
【図２】
2004355082.tif 000004
【図３】
2004355082.tif 000005
【図４】
2004355082.tif 000006
【図５】
2004355082.tif 000007
【図６】
2004355082.tif 000008
【図７】
2004355082.tif 000009
【図８】
2004355082.tif 000010