(57)【要約】【課題】車載カメラで撮像された動画像を用いたオプティカルフローの演算において、演算負荷を軽減することのできる動画像処理装置を提供する。【解決手段】動画像処理装置１０は、運転者の視線の情報である視線情報を取得する視線情報取得部１６と、取得された視線情報に基づき得られる視線を中心とする認識範囲を動画像に含まれる画像内に設定する認識範囲設定部１９と、設定された認識範囲に含まれる物体の認識度合を、認識範囲に含まれない物体の認識度合よりも大きく設定する認識度合設定部１５と、動き検出用の画像の注目位置と参照画像の参照位置との差分が閾値以下である場合に注目位置を参照位置の対応位置とする対応位置決定部２１と、認識度合が大きい物体に対する閾値を認識度合が小さい物体に対する閾値よりも大きくする検出精度決定部２０と、オプティカルフローを検出する動き検出部２２とを備える。【選択図】図１
2017146641.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像部によって撮像された動画像からオプティカルフローを検出する動画像処理装置であって、
運転者の視線の情報である視線情報を取得する視線情報取得部と、
前記取得された視線情報に基づき得られる視線を中心とする認識範囲を前記動画像に含まれる画像のフレーム内に設定する認識範囲設定部と、
前記動画像に含まれる画像のうち、前記設定された認識範囲に含まれる物体の認識度合を、前記認識範囲に含まれない物体の認識度合よりも大きく設定する認識度合設定部と、
前記認識度合が大きい物体に対する検出精度を前記認識度合が小さい物体に対する検出精度よりも低く設定する検出精度決定部と、
前記認識範囲に含まれる物体及び前記認識範囲に含まれない物体について、物体毎に、前記オプティカルフローを検出する演算を前記検出精度に応じて行う動き検出部とを備える
ことを特徴とする動画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から物体の動きをオプティカルフローとして検出する動画像処理装置に関する。
【背景技術】
【０００２】
近年、車載カメラで撮像された動画像を用いて、他車両等の障害物を検出し、車両の安全運転の支援等に利用するシステムが知られている。この種のシステムの一つに、車載カメラで撮像された動画像を用いて、物体の動きを示すオプティカルフローを検出するシステムが提案されている。オプティカルフローは、異なる時間に撮像された２つの画像の間で同一の物体の対応付けを行い、一方の画像の物体の位置と他方の画像の物体の位置とに基づき物体の移動方向及び移動量をベクトルとして示したものである。
【０００３】
例えば、特許文献１には、フレーム（画像）を注目領域と非注目領域とに分割し、領域毎に設定された条件でオプティカルフローを検出する装置が開示されている。例えば前方車両が急ブレーキをかけたときに自車両と前方車両との衝突を回避するために確保されるべき車間距離は、自車両の速度が高いほど長い。そのため、上記装置では、前方車両等の障害物との衝突を未然に防ぐため、当該障害物を検出するための注目領域を、車速が大きい場合には、フレーム内の上方（即ち、自車両から遠い位置）に配置し、その大きさを小さくする。また、自車両から遠い位置に設定された注目領域の画像は、自車両に近い位置の画像に比べ変化が少ない。そのため、注目領域をフレーム内の上方に設定する場合には、比較するフレームの時間間隔を大きくしたり、ノイズ除去のための閾値を小さくしたりする。そして、このようにフレームの時間間隔を大きくすることや閾値を小さくすることで、オプティカルフローの検出精度を高めつつ演算負荷の軽減を図っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２７６３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記文献に記載の装置の場合、自車両が停止又は低速走行しているときには注目領域がフレームの上方に設定されないため、比較するフレームの時間間隔を大きくする等の条件が適用されず、演算負荷を十分に軽減することができない。例えば、自車両が、交差点内又は交差点手前を低速で走行する場合や、法定速度の低い市街地を走行する場合等、停止時又は低速走行時においても、自車両の周囲には多数の障害物が存在する。そのため、低速走行時においてもオプティカルフローの検出精度を必要な範囲に維持しつつ、演算負荷を十分に軽減できることが求められている。
【０００６】
本発明は、このような実情に鑑みてなされたものであり、その目的は、車載カメラで撮像された動画像を用いたオプティカルフローの演算において、演算負荷を軽減することのできる動画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する動画像処理装置は、車両に搭載された撮像部によって撮像された動画像からオプティカルフローを検出する動画像処理装置であって、運転者の視線の情報である視線情報を取得する視線情報取得部と、前記取得された視線情報に基づき得られる視線を中心とする認識範囲を前記動画像に含まれる画像のフレーム内に設定する認識範囲設定部と、前記動画像に含まれる画像のうち、前記設定された認識範囲に含まれる物体の認識度合を、前記認識範囲に含まれない物体の認識度合よりも大きく設定する認識度合設定部と、前記認識度合が大きい物体に対する検出精度を前記認識度合が小さい物体に対する検出精度よりも低く設定する検出精度決定部と、前記認識範囲に含まれる物体及び前記認識範囲に含まれない物体について、物体毎に、前記オプティカルフローを検出する演算を前記検出精度に応じて行う動き検出部とを備える。
【０００８】
オプティカルフローの検出精度が高く設定された場合には、演算負荷が大きくなり、オプティカルフローの検出精度が低く設定された場合には、演算負荷が小さくなる。上記構成によれば、運転者が既に注目している物体、すなわち画像中で認識範囲に含まれる物体については、認識度合が大きく設定されてオプティカルフローを検出するための精度が低く抑えられる。すなわち、オプティカルフローを検出するための演算負荷が軽減される。一方、運転者が注目すべき領域、すなわち認識範囲に含まれない物体については、認識度合が小さく設定されてオプティカルフローを検出するための検出精度が高められる。そのため、オプティカルフローの検出の必要性が高い物体の検出精度を維持しつつも、一つの画像に含まれる全ての物体に対して同様にオプティカルフローを検出する演算を行なう場合に比べて演算負荷を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明にかかる動画像処理装置の一実施形態について概略構成を示すブロック図。
【図２】運転者の視線に基づきカメラ座標系で設定される認識範囲を示す模式図。
【図３】物体のパターンを含む画像に設定された認識範囲、及び認識範囲に基づく認識度合の設定について説明する模式図。
【図４】２つの全体画像の間での対応位置の探索を説明する模式図。
【図５】車両の進行方向が左方向であるときの探索範囲の設定を説明する模式図。
【図６】新たな画像が取得されたときの認識度合の更新について説明する模式図。
【図７】オプティカルフローを検出する手順全体を示すフローチャート。
【図８】対応位置の探索の手順を示すフローチャート。
【図９】対応位置の探索の他の実施形態を説明する模式図。
【発明を実施するための形態】
【００１０】
以下、動画像処理装置を具体化した一実施形態を説明する。
（動画像処理装置の構成）
まず図１を参照して、動画像処理装置１０を含む動画像処理システムの概略構成について説明する。動画像処理装置１０が搭載された車両には、カメラ１１が搭載されている。カメラ１１は、車両の所定の位置に固定され、光軸を車両の前進方向に向け、車両の前方を含む領域を撮像領域としている。画像取得部１２は、カメラ１１から映像信号を取得し、映像信号を画像処理が可能な形式に変換する。変換した画像は、図示しない不揮発性記憶部に記憶される。
【００１１】
一方、動画像処理システムは、動画像処理装置１０に対し、オプティカルフローの検出対象とする物体（以下、検出対象物）を決定する検出対象物決定部１３を備えている。検出対象物は、単に「移動体」であってもよいし、「他車両」や「人」のように種類が特定されたものであってもよい。また、この検出対象物は、「前方右側の物体」のように存在する領域が特定されたものであってもよいし、上記移動体やその種類を組み合わせたものであってもよい。また、車両の走行環境（市街地、高速道路、駐車場、晴天・雨天、見通しの良し悪し等）や、車両の速度、舵角に応じて、この検出対象物とする物体を変更してもよい。
【００１２】
動画像処理装置１０は、各種処理を実行する演算部、演算結果を記憶する揮発性記憶部、及びプログラムを格納した不揮発性記憶部等を備えるマイクロコンピュータ等によって構成されている。
【００１３】
動画像処理装置１０の物体検出部１４は、画像取得部１２から画像を入力し、検出対象物決定部１３によって決定された検出対象物の検出を行う。また、物体検出部１４は、検出対象物の検出結果を、上記の不揮発性記憶部に記憶するとともに、認識度合設定部１５に出力する。なお、この検出結果とは、画像における検出対象物のパターンが占める領域、及び画像における検出対象物の数が識別可能な情報である。
【００１４】
また、動画像処理装置が搭載された車両には、視線情報取得部１６が搭載されている。視線情報取得部１６は、運転者の視線を検出する視線検出装置１７の検出結果に基づき、運転者の焦点を示す視点位置を３次元座標で示す視線情報を取得する。例えば、視線検出装置１７は、運転者の顔を撮像する可視光カメラを備え、可視光カメラから取得した動画像から運転者の眼の虹彩の位置を検出するものである。又は、視線検出装置１７は、赤外線を運転者の顔に向けて照射する発光部と、角膜上の反射光の位置を検出する赤外線カメラとを備え、赤外線カメラから画像を取得し、運転者の瞳孔と角膜反射との相対関係に基づいて視線を検出するものである。
【００１５】
一方、画像取得部１２が画像を取得したとき、画像取得部１２は、取得通知を画像同期部１８に出力する。画像同期部１８は、取得通知を入力すると、収集開始指示を認識範囲設定部１９に出力する。
【００１６】
認識範囲設定部１９は、画像同期部１８から収集開始指示を入力すると、視線情報取得部１６から視線情報を所定の間隔で収集する。すなわち、画像を取得してから次の画像を取得する間に、複数の視線情報が収集される。そして、認識範囲設定部１９は、視線を中心とする認識範囲をカメラ座標系において設定する。その後、認識範囲設定部１９は、画像同期部１８から新たな収集開始指示を入力すると、設定した認識範囲の座標情報を認識度合設定部１５へ出力するとともに、その出力した情報を破棄し、新たに視線情報の収集を開始する。
【００１７】
認識度合設定部１５は、物体検出部１４から入力した検出対象物の検出結果と、認識範囲設定部１９から取得した認識範囲の座標とに基づき、各検出対象物に対する運転者の認識度合ｒｅｃを算出する。認識度合ｒｅｃは、運転者が、検出対象物を目で見て確認していることの確実性を示すものであり、認識度合ｒｅｃが高い場合には、運転者がその検出対象物を認識している度合が高いと推定され、認識度合ｒｅｃが低い場合には、運転者がその検出対象物を認識している度合が低いと推定される。認識度合設定部１５は、算出した認識度合ｒｅｃを、検出精度決定部２０に出力する。
【００１８】
検出精度決定部２０は、認識度合ｒｅｃに基づいて検出精度決定を行う。認識度合ｒｅｃが大きい場合には検出対象物の動きの検出精度を低くし、認識度合ｒｅｃが小さい場合には検出対象物の動きの検出精度を高くする。検出精度決定部２０は、決定した検出精度を対応位置決定部２１に出力する。
【００１９】
対応位置決定部２１は、「時間ＴＫ」に取得した画像（Ｋ）を不揮発性記憶部から取得する。そして、画像（Ｋ）を参照画像とし、「時間ＴＫ＋ΔＴ」に取得した画像（Ｋ＋１）を検出対象画像とする。そして、対応位置決定部２１は、参照画像の検出対象物のパターン上に参照位置を設定し、検出対象画像のうち参照位置と画素値が類似する位置（以下、対応位置）を探索する。対応位置決定部２１は、対応位置を決定すると、参照位置と対応位置との座標を動き検出部２２に出力する。
【００２０】
動き検出部２２は、対応位置決定部２１から取得した参照位置と対応位置との相対方向及び相対距離から、オプティカルフローを求める。オプティカルフローの情報は、不揮発性記憶部等に蓄積し、例えば検出対象物がカメラ１１の撮像領域外となったとき等の所定のタイミングで削除する。
【００２１】
（認識度合ｒｅｃの算出）
次に、認識範囲の設定及び検出対象物毎の認識度合ｒｅｃの算出について詳述する。まず、物体検出部１４が、検出対象画像について、物体検出部１４に指定された検出対象物の検出を行う。検出対象物の検出方法は特に限定されないが、例えば、「人」が検出対象物として指定されたとき、物体検出部１４は、画像中の「人」のパターンとそれ以外のパターンとを、輝度勾配の分布を表現する特徴量であるＨＯＧ（Ｈｉｓｔｇｒａｍ  Ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量等を用いて検出する。また、例えば「車両」が検出対象物として指定されたとき、物体検出部１４は、車両の画像パターンをエッジ抽出したときに現れる車両特有のエッジパターンや、ＨＯＧ特徴量等を用いて車両を検出する。また、「移動体」が検出対象物として指定されたときは、３つ以上の画像を比較して差分を抽出するフレーム間差分法等を用いる。
【００２２】
図２に示すように、認識範囲設定部１９は、検出対象画像が取得された後、次の画像が取得されるまでに収集した視線情報に基づき、カメラ座標系における視点位置Ｐを取得する。視線情報取得部１６から入力した視線情報が、カメラ座標系以外の座標である場合には、視点位置を示す３次元座標を、カメラ座標系の座標に変換する座標変換を行う。なお、図２に示すＺ軸は、カメラの光軸と平行な軸である。カメラの光軸は、車両の前方への直進方向とほぼ平行である。Ｚ軸座標が正でありその値が大きくなるほど、車両から遠い位置となる。Ｘ軸は、水平方向に延在する軸であってＺ軸と直交する軸、Ｙ軸は鉛直方向に延在する軸である。
【００２３】
さらに、認識範囲設定部１９は、検出対象画像に対して視点位置Ｐを中心とする認識範囲Ｒ１を設定する。認識範囲Ｒ１は、一辺の長さを「２Ｓ」とする正方形であって、視点位置Ｐを含むＸ−Ｙ平面上に設定される。また、Ｘ座標及びＹ座標には、Ｚ座標に応じた「係数Ｋｚ」が乗算される。係数Ｋｚは、「０」よりも大きく「１」以下であって、例えばＺ座標の逆数（１／Ｚ）等、Ｚ座標が大きくなるほど小さくなる。例えば視点位置Ｐを（Ｘ１，Ｙ１，Ｚ１）とし、「Ｓ」を一定の長さとするとき、認識範囲Ｒ１は、頂点Ｐ１｛（Ｘ１−Ｓ）・Ｋｚ，（Ｙ１＋Ｓ）・Ｋｚ，Ｚ１｝、頂点Ｐ２｛（Ｘ１＋Ｓ）・Ｋｚ，（Ｙ１＋Ｓ）・Ｋｚ，Ｚ１｝、頂点Ｐ３｛（Ｘ１＋Ｓ）・Ｋｚ，（Ｙ１−Ｓ）・Ｋｚ，Ｚ１｝、頂点Ｐ４｛（Ｘ１−Ｓ）・Ｋｚ，（Ｙ１−Ｓ）・Ｋｚ，Ｚ１｝を有する。
【００２４】
視点位置Ｐ（Ｘ１，Ｙ１，Ｚ１）よりもＺ軸座標が大きい視点位置Ｐ（Ｘ２，Ｙ２，Ｚ２）の周りには（Ｚ２＞Ｚ１）、視点位置Ｐ（Ｘ１，Ｙ１，Ｚ１）を基準に設定された認識範囲Ｒ１よりも面積が小さい認識範囲Ｒ１が設定される。これは、運転者の焦点距離が長くなるほど、運転者が認識できる範囲は２次元座標（Ｘ−Ｙ座標）上では狭くなることによる。認識範囲設定部１９は、このように認識範囲Ｒ１を設定すると、その認識範囲Ｒ１を、２次元のカメラ座標系（Ｘ，Ｙ）に座標変換する。
【００２５】
図３に示すように、認識度合設定部１５は、認識範囲Ｒ１の２次元座標を取得して検出対象画像１００のフレーム内に認識範囲Ｒ１を重ねる。そして、この認識範囲Ｒ１に、物体検出部１４により検出された検出対象物が少なくとも一部含まれるか否かを判断する。図３に示す例では、前方車両１０１のパターン全体と、前方車両１０２のパターンの一部とが認識範囲Ｒ１に含まれている。なお、図３には、便宜的に画像処理前の画像を示しているが、認識範囲の設定は画像処理後の情報を用いる。
【００２６】
認識度合設定部１５は、認識範囲Ｒ１に検出対象物の少なくとも一部が含まれると判断した場合には、その検出対象物の画像パターンのうち、認識範囲Ｒ１に含まれる面積（画素数）を算出する。図３に示す例においては、前方車両１０１のパターンの面積と、前方車両１０２のうち認識範囲Ｒ１に含まれる面積とを算出する。そして、その面積を、その検出対象物の認識度合ｒｅｃとする。つまり、認識範囲Ｒ１に含まれている検出対象物の面積が大きいほど、その検出対象物についての認識度合ｒｅｃは大きくなる。一方、検出対象物が認識範囲Ｒ１に含まれない場合には、認識度合ｒｅｃは「０」となる。図３に示す例では、前方車両１０１の認識度合ｒｅｃは、前方車両１０２の認識度合ｒｅｃよりも大きい。
【００２７】
この認識度合ｒｅｃは、画像取得部１２が検出対象画像を取得してから新たな画像を取得するまでの間に累積される。すなわち、認識度合設定部１５は、「時間ＴＫ」に撮像された画像（Ｋ）を画像取得部１２が取得してから、「時間ＴＫ＋ΔＴ」に撮像された画像（Ｋ＋１）を画像取得部１２が取得するまでの期間（以下、取得間隔という）、視線情報取得部１６から視線情報の収集を継続し、認識度合ｒｅｃを繰り返し算出する。そして、取得間隔内に算出した認識度合ｒｅｃを検出対象物毎に累積する。例えば「前方車両」の検出対象物に対し、取得間隔内に、「認識度合ｒｅｃ（１）」、「認識度合ｒｅｃ（２）」、・・・「認識度合ｒｅｃ（Ｍ）」が算出された場合、これらを全て合計して、「前方車両」の認識度合ｒｅｃとする。
【００２８】
（検出精度の決定）
次に、認識度合設定部１５により算出された認識度合ｒｅｃに基づいて、検出対象物毎に、検出精度を決定する処理について説明する。検出精度決定部２０は、認識度合設定部１５から取得した認識度合ｒｅｃに応じて、閾値Ｎを設定する。オプティカルフローの検出では、画像（Ｋ）と画像（Ｋ＋１）との間で、同一の物体上の対応位置を検出するとき、画像（Ｋ）中の検出対象物のパターン上に参照位置を定め、画像（Ｋ＋１）中で、参照位置との画素値の差分が閾値以下となる位置を探索する。探索位置と参照位置との画素値の差分が閾値以下となる位置が検出された場合、その位置を、参照位置に対応する対応位置とする。なお、参照位置及び探索位置には、複数の画素を含む所定の領域が設定される。画像（Ｋ）と画像（Ｋ＋１）との差分（相違度）は、例えば、差の絶対値和であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）等を利用して算出され、探索位置と参照位置とが完全に一致したとき「０」となり、相違が大きいほど大きい値となる。このとき「差分」と比較される「閾値」が、認識度合ｒｅｃに応じて設定される閾値Ｎである。なお、差分は、差の二乗和であるＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）を利用して算出されてもよい。
【００２９】
検出精度決定部２０は、認識度合ｒｅｃが「０」、すなわち運転者が認識していない検出対象物に対して、閾値Ｎを最小値とする。この最小値は、全ての検出対象物に対して同様にオプティカルフローを検出する従来の方法において用いられる固定された閾値以下に設定されている。また、認識度合ｒｅｃが「０」よりも大きい場合には、認識度合ｒｅｃが大きいほど、閾値Ｎを大きくする。例えば、認識度合ｒｅｃの基準値ＲＣ（ＲＣ＞０）を設け、認識度合ｒｅｃが「０」よりも大きく基準値ＲＣ以下である場合には第１の閾値とし、認識度合ｒｅｃが基準値ＲＣよりも大きい場合には第１の閾値よりも大きい第２の閾値としてもよい。又は、認識度合ｒｅｃを変数に一つとする演算式を用いて、認識度合ｒｅｃの大きさに伴い閾値を連続的に大きくするようにしてもよい。
【００３０】
このように検出対象物毎に閾値Ｎを変更することによって、検出精度の維持又は向上と、演算負荷の軽減とのバランスをとることができる。例えば、全ての検出対象物に対して同様にオプティカルフローを検出する方法において用いられる固定閾値よりも閾値Ｎを大きくすると、対応位置の検出精度は低くなるものの、差分が閾値Ｎ以下となれば対応位置が検出されたとして対応位置の探索が終了するので、結果として探索回数は少なくなる。すなわち、演算負荷が軽減される。閾値Ｎが最小値である場合には、探索回数は多くなるものの、対応位置の検出精度が維持又は高められるので、オプティカルフローの検出精度の維持又は向上を図ることができる。
【００３１】
（対応位置の探索）
次に図４を参照して、対応位置の探索について詳述する。対応位置決定部２１は、図４中下側に示す撮像時間（ＴＫ＋ΔＴ）に撮像された画像（Ｋ＋１）をオプティカルフローの検出対象である検出対象画像とし、図４中上側に示す撮像時間（ＴＫ）に撮像された画像（Ｋ）を画像（Ｋ＋１）の比較対象である参照画像とする。そして、検出対象画像と参照画像との間で、対応位置を探索する。
【００３２】
まず、対応位置決定部２１は、画像（Ｋ）を基準として、検出対象物毎に探索範囲Ｒ２を設定する。探索範囲Ｒ２は、検出対象物のパターンを囲うように設定される矩形状の範囲である。車両の進行方向が直進である場合には、その各辺から検出対象物までの最短距離が長さＤとなるように設定される。また、対応位置決定部２１は、車輪の回転速度を検出する車速センサ３０から車速信号を入力し、車速信号から得られる車速の大きさに応じて長さＤを設定する。長さＤは、車速が大きくなるに伴い大きい値となる。また、対応位置決定部２１は、画像（Ｋ）において検出対象物のパターン上に１乃至複数の参照位置Ｐｒを設定する。
【００３３】
次に、対応位置決定部２１は、画像（Ｋ）で設定した探索範囲Ｒ２を画像（Ｋ＋１）に適用する。そして、対応位置決定部２１は、画像（Ｋ＋１）の探索範囲Ｒ２内において探索位置Ｐｓを決め、探索位置Ｐｓの画素値と、画像（Ｋ）の参照位置の画素値との差分を求めていく。探索位置Ｐｓの初期位置は、例えば探索範囲Ｒ２内の左上の隅部であり、差分が閾値Ｎ以下になるまで探索範囲Ｒ２を左端から右端に向かって走査していく。探索位置Ｐｓが探索範囲Ｒ２の右辺に到達したときには、探索位置Ｐｓを次の行、すなわち走査済みの行の直下の行に移動させる。そして、対応位置決定部２１は、画素値の差分が閾値Ｎ以下となると、その探索位置Ｐｓを参照位置Ｐｒの対応位置とし、探索を終了する。画素値の差分が閾値Ｎ以下となる探索位置Ｐｓがない場合には、例えば探索範囲Ｒ２の面積を拡げて対応位置を探索する。又は、探索範囲Ｒのうち、画素値の差分が最も小さい位置を対応位置とするか、フレームから検出対象物が退出して検出対象物のパターンが画像（Ｋ＋１）に含まれないとして探索を終了する。また、一つの検出対象物について複数の参照位置Ｐｒが設定されている場合には、順に対応位置を探索していく。対応位置決定部２１は、全ての参照位置Ｐｒについて対応位置を決定すると、対応位置を動き検出部２２に出力する。動き検出部２２は、参照位置Ｐｒと対応位置との座標に基づき、オプティカルフローをそれぞれ演算する。
【００３４】
（探索範囲の設定）
次に図５を参照して、車両の進行方向が左方向又は右方向である場合の探索範囲Ｒ２の設定について詳述する。「左方向」及び「右方向」は、左カーブを走行する場合の進行方向（前方左側方向）、及び右カーブを走行する場合の進行方向（前方右側方向）を含む。
【００３５】
対応位置決定部２１は、探索対象の画像（Ｋ＋１）に対して探索範囲Ｒ２を設定する際、舵角センサ３１から舵角を取得して、車両の進行方向を判断する。上述したように、車両が直進しているとき（図４参照）、対応位置決定部２１は、画像（Ｋ）において、各辺から物体までの最短距離が長さＤとなるように探索範囲Ｒ２の位置及び大きさを定める。
【００３６】
図５のように、車両の進行方向が左方向である場合、静止している検出対象物、又は車両よりも左方向における移動速度が小さい物体は、カメラ１１のフレーム内において右側に相対移動することとなる。そのため、対応位置決定部２１は、図５中上方に示すように、探索範囲Ｒ２を、その左辺が検出対象物のパターンの左端に接するようにして、当該パターンの位置が探索範囲Ｒ２内で左側に偏るようにする。また、探索範囲Ｒ２の上辺、右辺及び底辺からパターンまでの最短距離が長さＤとなるようにする。そして、対応位置決定部２１は、図５の下方左側に示すように、画像（Ｋ）においてその位置及び大きさを定めた探索範囲Ｒ２を、探索対象である画像（Ｋ＋１）に適用する。
【００３７】
例えば、検出対象物（前方車両）の左方向の移動速度が車両（自車両）に比べてかなり大きい場合、又はカーブの曲率半径が小さい場合等には、その検出対象物のパターンが設定した探索範囲Ｒ２外となりやすい。そのため、最初に設定した探索範囲Ｒ２内において対応位置が「非検出」となった場合には、図５の下方右側に示すように、探索範囲Ｒ２を、最初に設定した探索範囲Ｒ２の左側に再設定する。再設定した探索範囲Ｒ２の幅は、長さＤでもよいし、それ以外でもよい。一方、対応位置決定部２１は、車両の進行方向が右方向である場合は、上記の処理における「左」を「右」、「右」を「左」に置き換えて同様に行う。すなわち、探索範囲Ｒ２を、その右辺が検出対象物のパターンの右端に接するように設定し、その探索範囲Ｒ２内で対応位置が非検出となった場合には、最初に設定した探索範囲Ｒ２の右側に探索範囲Ｒ２を再設定する。
【００３８】
（閾値Ｎの更新）
次に図６を参照して、閾値Ｎの更新方法について詳述する。上述したように、「画像１」における認識度合ｒｅｃは、例えば「画像１」が取得されてから「画像２」が取得されるまでの間の視線情報に基づいて設定される。ここで、「画像１」における認識度合ｒｅｃを、「認識度合ｒｅｃ１」とする。「画像２」が取得された場合には、「画像３」が取得されるまでの間の視線情報に基づいて「画像２」における「認識度合ｒｅｃ２」が設定される。また、「認識度合ｒｅｃ２」を設定する際、認識度合ｒｅｃ１に係数ｗ（ｗ＜１）をかけて重み付けをした値「ｗ・ｒｅｃ１」が認識度合ｒｅｃ１に加算される。「画像２」が取得されてから「画像３」が取得されるまでの視線情報に基づいて累積する認識度合を「認識度合ｒｅｃｎｗ」とし、最終的に「画像２」に対して得られる認識度合を「認識度合ｒｅｃ２」とすると、認識度合ｒｅｃ２は、以下の式（１）で表される。
ｒｅｃ２＝ｗ・ｒｅｃ１＋ｒｅｃｎｗ  ・・・（１）
式（１）を、「画像Ｍ」に対して得られる認識度合ｒｅｃＭについて一般化すると以下の式（２）となる。なお、式（２）における「ｒｅｃｎｗ」は、「画像Ｍ」が取得されてから「画像Ｍ＋１」が取得されるまでの視線情報に基づいて累積する認識度合である。
ｒｅｃＭ＝｛ｗ・ｒｅｃ〔Ｍ−１〕｝＋ｒｅｃｎｗ  ・・・（２）
（オプティカルフローを検出する手順）
次に、図７を参照して、オプティカルフローを検出する手順全体について説明する。オプティカルフローの検出処理が開始されると、初回に取得された画像である初回画像を用いて認識度合ｒｅｃが算出される。その理由は、オプティカルフローを検出するためには１対の画像が必要であり、初回画像のみを取得した段階ではオプティカルフローが検出できないためである。
【００３９】
画像取得部１２は、カメラ１１から初回画像を取得し（ステップＳ１）、物体検出部１４に出力する。物体検出部１４は、取得した初回画像を用いて検出対象物を検出する（ステップＳ２）。
【００４０】
また、認識範囲設定部１９は、初回画像の取得に伴い画像同期部１８から収集開始指示を入力する。これにより、認識範囲設定部１９は、視線情報の収集を開始し、運転者の視線を中心とした認識範囲Ｒ１を設定する（ステップＳ３）。認識範囲設定部１９は、認識範囲Ｒ１を設定すると、認識範囲Ｒ１の座標を認識度合設定部１５に出力する。このステップＳ３は、ステップＳ２と並行して実行される。
【００４１】
認識度合設定部１５は物体検出部１４から検出対象物の検出結果を取得し、認識範囲設定部１９から認識範囲Ｒ１の座標を取得して、検出結果及び認識範囲Ｒ１の座標を用いて、認識度合ｒｅｃを設定する（ステップＳ４）。一つの視線情報につき設定した認識度合ｒｅｃは、次の画像が取得されるまで累積される。
【００４２】
次に、画像取得部１２は、カメラ１１からオプティカルフローの検出対象とする画像である検出対象画像を新たに取得し（ステップＳ５）、物体検出部１４に出力する。物体検出部１４は、取得した検出対象画像を用いて未検出の検出対象物を検出する（ステップＳ６）。未検出の検出対象物であるか否かは、例えば検出対象画像で検出された検出対象物及び初回画像で検出された検出対象物の位置又は特徴量から判断することができる。
【００４３】
また、検出対象画像が取得されると、画像同期部１８からの収集開始指示に基づき、認識範囲設定部１９が、視線情報の収集を開始し、運転者の視線を中心とした認識範囲Ｒ１を検出対象画像に設定する（ステップＳ７）。認識範囲設定部１９は、認識範囲Ｒ１を検出対象画像に設定すると、認識範囲Ｒ１の座標を認識度合設定部１５に出力する。このステップＳ７は、ステップＳ６と並行して実行される。
【００４４】
認識度合設定部１５は物体検出部１４から検出対象物の検出結果を取得し、認識範囲設定部１９から認識範囲Ｒ１の座標を取得して、検出結果及び認識範囲Ｒ１の座標を用いて、検出対象物毎に認識度合ｒｅｃを設定する（ステップＳ８）。認識範囲Ｒ１に含まれていない検出対象物は、認識度合ｒｅｃは「０」となり、認識範囲Ｒ１に含まれる検出対象物の認識度合ｒｅｃは「０」よりも大きくなる。
【００４５】
検出精度決定部２０は、認識度合設定部１５により設定された認識度合ｒｅｃに基づき、初回画像を参照画像として、参照画像と検出対象画像との間で対応位置を探索するための閾値Ｎを検出対象物毎に決定する（ステップＳ９）。なお、ステップＳ６で新たに検出された検出対象物に対しては、閾値Ｎは設定しない。認識度合ｒｅｃが「０」である検出対象物には、閾値Ｎの最小値が設定される。認識度合ｒｅｃが「０」よりも大きい場合には、最小値よりも大きい値が設定され、認識度合ｒｅｃが大きくなると閾値Ｎも大きい値となる。
【００４６】
対応位置決定部２１は、参照画像における検出対象物のパターンを基準として、車速情報及び舵角情報に基づいて、検出対象物毎に探索範囲Ｒ２を設定し、その探索範囲Ｒ２を検出対象画像にも適用する。また、対応位置決定部２１は、検出精度決定部２０が設定した閾値Ｎを用いて、対応位置を探索する（ステップＳ１０）。すなわち、対応位置決定部２１は、探索位置を移動させながら、初回画像における検出対象物のパターン上の参照位置と、検出対象画像における探索範囲Ｒ２内の探索位置との画素値の差分を演算し、差分が閾値Ｎ以下となった位置を対応位置とする。参照位置が複数設定されている場合には、全ての参照位置に対応する対応位置の検出を行う。
【００４７】
対応位置の探索が終了すると、動き検出部２２は、初回画像における参照位置の座標と、対応位置決定部２１が決定した対応位置の座標とを取得し、それらの座標の移動量及び移動方向を示すベクトルを求め、オプティカルフローとして検出する（ステップＳ１１）。一つの検出対象物の探索範囲Ｒ２についてオプティカルフローを検出すると、次の検出対象物の探索範囲Ｒ２について対応位置を探索し、検出対象画像内の全ての探索範囲Ｒ２について探索を行う。なお、車両の進行方向が直進である場合に探索範囲Ｒ２内に対応位置が検出されなかった場合、及び車両の進行方向が左方向又は右方向である場合に再設定した探索範囲Ｒ２内に対応位置が検出されなかった場合には、上述したように探索範囲Ｒ２を拡げて対応位置を再探索する。又は、探索範囲Ｒのうち、画素値の差分が最も小さい位置を対応位置とするか、フレームから検出対象物が退出して検出対象物のパターンが画像（Ｋ＋１）に含まれないとして探索を終了する。
【００４８】
動き検出部２２は、オプティカルフローを検出すると、オプティカルフローの検出を終了するか否かを判断する（ステップＳ１２）。オプティカルフローの検出の終了条件は、支援に応じて予め定められている。動き検出部２２がオプティカルフローの検出を終了すると判断したとき（ステップＳ１２：ＹＥＳ）、検出処理を終了する。一方、動き検出部２２がオプティカルフローの検出を終了しないと判断したとき（ステップＳ１２：ＮＯ）、画像取得部１２に取得要求を出力し、画像取得部１２は、ステップＳ５に戻り、新たに検出対象画像を取得する。そして、参照画像とした初回画像の替わりに、初回画像の次に取得した検出対象画像が参照画像とされ、新たにステップＳ５で取得した画像が検出対象画像とされる。さらに、それらの画像の間で対応位置が決定されて、オプティカルフローが検出対象物毎に検出される。
【００４９】
図８を参照して、ステップＳ１０の対応位置の探索について詳述する。対応位置決定部２１は、参照画像である画像（Ｋ）に基づいて検出対象物毎に探索範囲Ｒ２の位置及び大きさを決定し、検出対象画像である画像（Ｋ＋１）に対して検出対象物毎に探索範囲Ｒ２を設定する（ステップＳ１０１）。探索範囲Ｒ２は、車速情報及び舵角情報に応じて設定される。
【００５０】
次に対応位置決定部２１は、参照画像である画像（Ｋ）のうち、検出対象物のパターン上に１乃至複数の参照位置を設定する（ステップＳ１０２）。また、対応位置決定部２１は、検出対象画像である画像（Ｋ＋１）に設定された探索範囲Ｒ２内で探索位置を設定する（ステップＳ１０３）。例えば探索を開始するときは、対応位置決定部２１は、探索位置を探索範囲Ｒ２の左上隅部に設定する。
【００５１】
対応位置決定部２１は、参照位置及び探索位置が定まると、画像（Ｋ）の参照位置と画像（Ｋ＋１）の探索位置との画素値の差分Ｄｉｆｆを算出する（ステップＳ１０４）。そして、対応位置決定部２１は、差分Ｄｉｆｆが閾値Ｎ以下であるか否かを判断する（ステップＳ１０５）。対応位置決定部２１は、差分Ｄｉｆｆが閾値Ｎ以下である場合には（ステップＳ１０５：ＹＥＳ）、その探索位置を対応位置として決定して（ステップＳ１０６）、対応位置の探索を終了する。
【００５２】
一方、対応位置決定部２１が、差分Ｄｉｆｆが閾値Ｎよりも大きいと判断した場合には（ステップＳ１０５：ＮＯ）、探索範囲Ｒ２内において、探索が終了したか否かを判断する（ステップ１０７）。探索が終了していない場合には（ステップＳ１０７：ＮＯ）、ステップＳ１０３に戻り、探索位置を再設定する。このとき、前回の探索位置を、予め定められた探索方向に移動させる。そして、対応位置決定部２１は、新たな探索位置で、画像（Ｋ）の参照位置と画像（Ｋ＋１）の探索位置との画素値の差分Ｄｉｆｆを算出する（ステップＳ１０４）。
【００５３】
ステップＳ１０７において、探索範囲Ｒ２内における探索が終了したと判断した場合には（ステップＳ１０７：ＹＥＳ）、車両の進行方向が左方向又は右方向であることによって、探索範囲Ｒ２が既に再設定されているか否かを判断する（ステップＳ１０８）。再設定されていると判断すると（ステップＳ１０８：ＹＥＳ）、対応位置を決定せずに処理を終了する。
【００５４】
ステップＳ１０８において、対応位置決定部２１が、再設定が無いと判断すると（ステップＳ１０８：ＮＯ）、対応位置決定部２１は、舵角センサ３１から取得した舵角情報に基づき、車両の進行方向が左方向又は右方向であるか否かを判断する（ステップＳ１０９）。対応位置決定部２１が、車両が直進していると判断すると（ステップＳ１０９：ＮＯ）、対応位置を決定せずに処理を終了する。
【００５５】
ステップＳ１０９において、対応位置決定部２１が、進行方向が左方向又は右方向であると判断すると（ステップＳ１０９：ＹＥＳ）、探索範囲Ｒ２を再設定する（ステップＳ１１０）。即ち上述したように、車両の進行方向が左方向である場合には、検出対象物が探索範囲Ｒ２内で左側に偏るように探索範囲Ｒ２を設定しているので、探索範囲Ｒ２を最初に設定した探索範囲Ｒ２の左側に移動させる。また、車両の進行方向が右方向である場合には、検出対象物が探索範囲Ｒ２内で右側に偏るように探索範囲Ｒ２を設定しているので、探索範囲Ｒ２を最初に設定した探索範囲Ｒ２の右側に移動させる。このように探索範囲Ｒ２を再設定すると、ステップＳ１０３に戻る。
【００５６】
対応位置が決定されなかった場合には、検出対象画像である画像（Ｋ＋１）に基づいてその検出対象物のオプティカルフローが検出されない。但し、その次に取得された画像（Ｋ＋２）において、その検出対象物が新たな検出対象物として検出された場合には、例えば画像（Ｋ＋２）及び画像（Ｋ＋３）に基づいて、その検出対象物のオプティカルフローが検出される。
【００５７】
このように、検出対象画像のうち、運転者が既に注目している検出対象物に対しては、運転者が注目していない検出対象物に比べ閾値Ｎが大きく設定されて演算負荷が軽減される。したがって、検出対象物毎に閾値Ｎを変更することによって、検出精度の維持又は向上と、演算負荷の軽減との両立を図ることができる。
【００５８】
以上説明したように、本実施形態によれば、以下の効果が得られるようになる。
（１）運転者が既に注目している検出対象物、すなわち画像中で認識範囲Ｒ１に含まれる検出対象物については、認識度合ｒｅｃが大きく設定されてオプティカルフローの検出精度が低く抑えられる。すなわち、オプティカルフローを検出するための演算負荷が軽減される。一方、運転者が注目すべき領域、すなわち認識範囲Ｒ１に含まれない検出対象物については、認識度合ｒｅｃが小さく設定されてオプティカルフローを検出するための検出精度が高められる。そのため、オプティカルフローの検出精度を維持しつつも、注目検出対象物に対して同様にオプティカルフローを検出する演算を行なう場合に比べて演算負荷を軽減することができる。
【００５９】
（他の実施形態）
なお、上記各実施形態は、以下のような形態をもって実施することもできる。
・図９を参照して、探索範囲の設定の他の態様について説明する。図９中、左側に示すように、車両の進行方向が左方向である場合には、カメラ１１の画角で規定される画像のフレーム１０５には、その左端及び上端から新たな風景の画像が含まれるようになる。そのため、車両の進行方向が左方向である場合、フレーム１０５のうち、左端部及び上端部に設定された第１領域１１０については、対応位置を決定するための画像がないため、ここではオプティカルフローの検出を行わず、次の画像からオプティカルフローの検出を行なう。フレーム１０５のうち第１領域１１０を除く第２領域１１１に含まれる検出対象物の画像については、その直前に取得された画像（参照画像）にも検出対象物の画像パターンが含まれていることが推定されるため、参照画像との間で対応位置を探索して、オプティカルフローを検出する。また、図９中、中央に示すように、車両の進行方向が直進である場合には、その上端から新たな風景の画像が含まれるようになるため、第１領域１１０を上端部に設定する。また、図９中、右側に示すように、車両の進行方向が右方向である場合には、その右端及び上端から新たな風景の画像が含まれるようになるため、第１領域１１０を右端部及び上端部に設定する。この場合においても、演算負荷の軽減を図ることができる。
【００６０】
・上記実施形態では、車両の舵角を検出し、車両の進行方向に応じて探索範囲Ｒ２の位置を変更したが、ナビゲーションシステム等に格納された地図情報、又はカメラ１１から取得した画像を画像処理して道路形状を取得し、道路形状に応じて探索範囲Ｒ２の位置を変更してもよい。
【００６１】
・上記実施形態では、車両の進行方向に応じて探索範囲Ｒ２の位置を変更したが、探索範囲Ｒ２を大きめに確保すれば、車両の進行方向によらず、探索範囲Ｒ２を、検出対象物を中心に設定することができる。このようにすると対応位置の探索範囲が広くなる懸念はあるものの、探索範囲の位置を変更する処理を軽減することができる。
【００６２】
・上記実施形態では、運転者の視点位置のＺ軸座標（奥行方向の位置）に応じて、認識範囲Ｒ１を設定したが、視点位置によらず、視線の方向だけで認識範囲Ｒ１を設定してもよい。この場合には、認識範囲Ｒ１は、視線の方向とＸ−Ｙ平面との交点を中心とする一定の大きさの範囲が設定される。このようにすると、３次元座標の認識範囲を２次元座標に変換する処理が省かれるため、これによっても演算負荷を軽減できる。
【００６３】
・上記実施形態では、認識範囲Ｒ１を矩形状に設定したが、円形状等、他の形状に設定してもよい。なお、この場合には、探索位置を、矩形状以外の認識範囲Ｒ１のいずれにあるかをメモリに記憶する。
【００６４】
・上記実施形態では、認識範囲Ｒ１に含まれる検出対象物のパターンの面積に応じて認識度合ｒｅｃを設定した。これ以外に、認識範囲Ｒ１に含まれるか否かで認識度合ｒｅｃを設定してもよい。この場合には、認識度合ｒｅｃは２つの値のいずれかをとる。例えば、認識範囲Ｒ１に含まれる場合には認識度合ｒｅｃを「１」、認識範囲Ｒ１に含まれない場合には認識度合ｒｅｃを「０」とする。このようにすると、認識範囲Ｒ１に含まれるパターンの面積の算出が省かれるので、この場合も同様に演算負荷を軽減できる。
【００６５】
・上記実施形態では、検出対象物毎に探索範囲Ｒ２を設定したが、探索範囲Ｒ２を一つにしてもよい。例えば画像の中央部等の所定の領域を探索範囲とし、この中で、各検出対象物の参照位置との対応位置を探索する。あるいは、複数の検出対象物を含むように探索範囲を設定してもよい。このようにすると、検出対象物毎に探索範囲を設定するための処理が省かれるか、若しくは探索範囲の数が少なくなるので、やはり演算負荷を軽減できる。
【００６６】
・上記実施形態では、参照位置と探索位置との間で画素値の差分を算出した。これ以外に、参照位置の特徴量と探索位置の特徴量との差分を算出してもよい。
【符号の説明】
【００６７】
１０…動画像処理装置、１１…カメラ、１２…画像取得部、１３…検出対象物決定部、１４…物体検出部、１５…認識度合設定部、１６…視線情報取得部、１７…視線検出装置、１８…画像同期部、１９…認識範囲設定部、２０…検出精度決定部、２１…対応位置決定部、２２…動き検出部、３０…車速センサ、３１…舵角センサ、Ｐｒ…参照位置、Ｐｓ…探索位置、Ｒ１…認識範囲、Ｒ２…探索範囲。
【図１】
2017146641.tif 000003
【図２】
2017146641.tif 000004
【図３】
2017146641.tif 000005
【図４】
2017146641.tif 000006
【図５】
2017146641.tif 000007
【図６】
2017146641.tif 000008
【図７】
2017146641.tif 000009
【図８】
2017146641.tif 000010
【図９】
2017146641.tif 000011