(57)【要約】【課題】  撮像装置に対する対象物の移動方向を精度よく判定できるようにする。【解決手段】  撮像装置に対する対象物の移動方向を判定する移動方向判定装置であって、前記撮像装置が撮像した第１の撮像画像から、画像内の前記対象物の第１の複数の特徴点を抽出し、前記第１の撮像画像よりも後の時間に前記撮像装置が撮像した第２の撮像画像から、前記第１の複数の特徴点に対応する第２の複数の特徴点を抽出する抽出部と、前記第１の複数の特徴点の位置と前記第１の複数の特徴点に対応する前記第２の複数の特徴点の位置との間の、位置の変位量をそれぞれ算出する算出部と、それぞれの前記位置の変位量の違いに基づいて、前記撮像装置に対する前記対象物の移動方向を判定する判定部とを有する。【選択図】図１３
2017162184.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置に対する対象物の移動方向を判定する移動方向判定装置であって、
前記撮像装置が撮像した第１の撮像画像から、画像内の前記対象物の第１の複数の特徴点を抽出し、前記第１の撮像画像よりも後の時間に前記撮像装置が撮像した第２の撮像画像から、前記第１の複数の特徴点に対応する第２の複数の特徴点を抽出する抽出部と、
前記第１の複数の特徴点の位置と前記第１の複数の特徴点に対応する前記第２の複数の特徴点の位置との間の、位置の変位量をそれぞれ算出する算出部と、
それぞれの前記位置の変位量の違いに基づいて、前記撮像装置に対する前記対象物の移動方向を判定する判定部と
を有することを特徴とする移動方向判定装置。
【請求項２】
前記判定部は、
前記第１の撮像画像の画像中心線からの前記第１の複数の特徴点の位置までの距離と、前記位置の変位量とに基づいて、前記撮像装置に対する前記対象物の移動方向を判定することを特徴とする請求項１に記載の移動方向判定装置。
【請求項３】
前記判定部は、
前記第１の撮像画像の画像中心線からの前記第１の複数の特徴点の位置までの距離と、前記位置の変位量とに基づいて、前記対象物が、前記撮像装置に対して接近しているか否かを判定することを特徴とする請求項１に記載の移動方向判定装置。
【請求項４】
前記判定部は、
前記第１の撮像画像の画像中心線からの前記第１の複数の特徴点の位置までの距離と、前記位置の変位量とに基づいて、前記対象物が、前記撮像装置に接近する方向に移動しているのか、前記撮像装置の撮像方向に略平行な方向に移動しているのかを判定することを特徴とする請求項１に記載の移動方向判定装置。
【請求項５】
前記算出部は、
前記第１の撮像画像における横方向の位置の変位量を算出することを特徴とする請求項１乃至４のいずれか１項に記載の移動方向判定装置。
【請求項６】
対象物を撮像する撮像装置と、
前記撮像装置に対する前記対象物の移動方向を判定する移動方向判定装置と、を有する移動方向判定システムであって、
前記撮像装置が撮像した第１の撮像画像から、画像内の前記対象物の第１の複数の特徴点を抽出し、前記第１の撮像画像よりも後の時間に前記撮像装置が撮像した第２の撮像画像から、前記第１の複数の特徴点に対応する第２の複数の特徴点を抽出する抽出部と、
前記第１の複数の特徴点の位置と前記第１の複数の特徴点に対応する前記第２の複数の特徴点の位置との間の、位置の変位量をそれぞれ算出する算出部と、
それぞれの前記位置の変位量の違いに基づいて、前記撮像装置に対する前記対象物の移動方向を判定する判定部と
を有することを特徴とする移動方向判定システム。
【請求項７】
撮像装置に対する対象物の移動方向を判定するコンピュータに、
前記撮像装置が撮像した第１の撮像画像から、画像内の前記対象物の第１の複数の特徴点を抽出し、
前記第１の撮像画像よりも後の時間に前記撮像装置が撮像した第２の撮像画像から、前記第１の複数の特徴点に対応する第２の複数の特徴点を抽出し、
前記第１の複数の特徴点の位置と前記第１の複数の特徴点に対応する前記第２の複数の特徴点の位置との間の、位置の変位量をそれぞれ算出し、
それぞれの前記位置の変位量の違いに基づいて、前記撮像装置に対する前記対象物の移動方向を判定する、
処理を実行させるための移動方向判定プログラム。
【請求項８】
撮像装置に対する対象物の移動方向を判定する移動方向判定方法であって、
前記撮像装置が撮像した第１の撮像画像から、画像内の前記対象物の第１の複数の特徴点を抽出し、
前記第１の撮像画像よりも後の時間に前記撮像装置が撮像した第２の撮像画像から、前記第１の複数の特徴点に対応する第２の複数の特徴点を抽出し、
前記第１の複数の特徴点の位置と前記第１の複数の特徴点に対応する前記第２の複数の特徴点の位置との間の、位置の変位量をそれぞれ算出し、
それぞれの前記位置の変位量の違いに基づいて、前記撮像装置に対する前記対象物の移動方向を判定する、
処理をコンピュータが実行することを特徴とする移動方向判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動方向判定装置、移動方向判定システム、移動方向判定プログラム及び移動方向判定方法に関する。
【背景技術】
【０００２】
従来より、車両に搭載された撮像装置を用いて、撮像装置に対する対象物（他車両等）の移動方向を判定する移動方向判定システムが知られている。当該システムでは、例えば、各フレームの撮像画像に基づき対象物のオプティカルフロー（位置の変位ベクトル）を算出し、算出したオプティカルフローの時間変化を解析することで、撮像装置に対する対象物の移動方向を判定している。
【０００３】
当該システムによる判定結果を用いれば、例えば、自車両に対して横方向から接近する他車両を判別することが可能となり、他車両との衝突を未然に防ぐことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２９６０４号公報
【特許文献２】特開２０１２−１１８８８６号公報
【特許文献３】特開平１１−２５５０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、車両に搭載される撮像装置により撮像される撮像画像は、撮像装置の配置位置、角度等の影響により縦方向の分解能が低くなるため、移動方向の判定に際しては、横方向のオプティカルフローが用いられている。このため、従来の移動方向判定システムでは、対象物の奥行き方向への移動を精度よく判定することが難しく、撮像装置に対する対象物の移動方向を適切に判定できない場合があった。
【０００６】
この結果、例えば、横方向から自車両に接近する他車両（接近車両）と、自車両の側方を追い越す他車両（追い越し車両）との判別において、追い越し車両を、接近車両と誤判別してしまう場合があった。
【０００７】
一つの側面では、撮像装置に対する対象物の移動方向を精度よく判定できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
一態様によれば、撮像装置に対する対象物の移動方向を判定する移動方向判定装置であって、前記撮像装置が撮像した第１の撮像画像から、画像内の前記対象物の第１の複数の特徴点を抽出し、前記第１の撮像画像よりも後の時間に前記撮像装置が撮像した第２の撮像画像から、前記第１の複数の特徴点に対応する第２の複数の特徴点を抽出する抽出部と、前記第１の複数の特徴点の位置と前記第１の複数の特徴点に対応する前記第２の複数の特徴点の位置との間の、位置の変位量をそれぞれ算出する算出部と、それぞれの前記位置の変位量の違いに基づいて、前記撮像装置に対する前記対象物の移動方向を判定する判定部とを有する。
【発明の効果】
【０００９】
撮像装置に対する対象物の移動方向を精度よく判定できるようになる。
【図面の簡単な説明】
【００１０】
【図１】移動方向判定システムに含まれる各装置の車両内での配置例を示す図である。
【図２】車両の前部に搭載された撮像装置の撮像範囲を説明するための図である。
【図３】撮像画像の一例を示す図である。
【図４】撮像装置に対する対象物の移動方向を説明するための図である。
【図５】接近方向に移動する対象物及び鉛直方向に移動する対象物についての横方向のオプティカルフローの第１の算出方法を説明するための図である。
【図６】接近方向に移動する対象物及び鉛直方向に移動する対象物についての横方向のオプティカルフローの特性の違いを説明するための図である。
【図７】接近方向に移動する対象物についての横方向のオプティカルフローの第２の算出方法を説明するための第１の図である。
【図８】接近方向に移動する対象物についての横方向のオプティカルフローの第２の算出方法による算出例を示す図である。
【図９】鉛直方向に移動する対象物についての横方向のオプティカルフローの第２の算出方法を説明するための図である。
【図１０】鉛直方向に移動する対象物についての横方向のオプティカルフローの第２の算出方法による算出例を示す図である。
【図１１】横方向のオプティカルフローの第２の特性判別方法を説明するための図である。
【図１２】移動方向判定システムのハードウェア構成の一例を示す図である。
【図１３】移動方向判定システムの機能構成の一例を示す図である。
【図１４】移動方向判定処理の第１のフローチャートである。
【図１５】移動方向判定処理の実施例を示す図である。
【図１６】移動方向判定処理の第２のフローチャートである。
【図１７】接近方向に移動する対象物についての横方向のオプティカルフローの第２の算出方法を説明するための第２の図である。
【図１８】移動方向判定処理の第３のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１２】
［第１の実施形態］
＜移動方向判定システムに含まれる各装置の車両内での配置＞
はじめに、移動方向判定システムに含まれる各装置を車両に搭載した際の各装置の配置例について説明する。図１は、移動方向判定システムに含まれる各装置の車両内での配置例を示す図である。
【００１３】
図１に示すように、移動方向判定システム１００は、撮像装置１１０、１１１と移動方向判定装置１２０とを有する。
【００１４】
撮像装置１１０は、車両１３０のの前方を撮像し、例えば、車両１３０の前側ナンバープレートや前側エンブレムの近傍等の、車両１３０の前方を撮像可能な位置に配置される。撮像装置１１１は、車両１３０の後方を撮像し、例えば、車両１３０の後側ナンバープレートや後側エンブレムの近傍等の、車両１３０の後方を撮像可能な位置に配置される。
【００１５】
撮像装置１１０、１１１は、例えばＮＴＳＣ（National Television System Committee）方式の単眼のカメラであり、撮像により得られたＮＴＳＣ信号は、車両ネットワークを介して移動方向判定装置１２０に送信される。
【００１６】
移動方向判定装置１２０は、例えば、車両１３０のセンタコンソールの下部等に配置される。移動方向判定装置１２０は、車両ネットワークを介して受信したＮＴＳＣ信号をデジタルデータに変換し、撮像画像（例えば、解像度＝横７２０画素×縦４８０画素、インタレース、３０［ｆｐｓ］）を生成する。また、移動方向判定装置１２０は、生成した撮像画像に基づき、対象物（他車両等）のオプティカルフローを算出し、対象物の移動方向を判定する。
【００１７】
なお、オプティカルフローとは、第１のフレームの撮像画像における特徴点の位置と、第１のフレームより後の時間に撮像された第２のフレームの撮像画像における、対応する特徴点の位置との間の、フレーム間での位置の変位を示すベクトルである。また、オプティカルフロー値とは、当該ベクトルの長さ（つまり変位量）をいう。
【００１８】
移動方向判定装置１２０により判定された判定結果は、車両１３０に対して横方向から接近する対象物との衝突を回避するための処理に利用される。具体的には、車両１３０に搭載された自動ブレーキシステムに通知され、自動ブレーキ制御に利用される。あるいは、移動方向判定装置１２０により判定された判定結果は、カーナビゲーションシステム等のＡＶ（Audio Visual）制御部に通知され、搭乗者に対する警報出力に利用される。
【００１９】
なお、図１では、撮像装置１１０、１１１をそれぞれ車両１３０の前部及び後部に配置する例を示したが、移動方向判定システム１００において、撮像装置は、車両１３０の前部または後部のいずれか一方にのみ配置されてもよい。以下では、説明の簡略化のため、撮像装置１１０が車両１３０の前部にのみ配置されたケースについて示すものとする。
【００２０】
＜撮像範囲の説明＞
次に、撮像装置１１０の撮像範囲について説明する。図２は、車両の前部に搭載された撮像装置の撮像範囲を説明するための図である。図２（ａ）は、車両１３０の上方から見た場合の、撮像装置１１０の撮像範囲を示しており、図２（ｂ）は、車両１３０の側方から見た場合の、撮像装置１１０の撮像範囲を示している。
【００２１】
図２（ａ）に示すように、撮像装置１１０は、光軸中心を表す撮像方向２２０が、車両１３０の前方（車両１３０の長手方向に平行な方向）となるように車両１３０に取り付けられている。撮像装置１１０の水平画角はα度（例えば、α＝１９０）であり、撮像装置１１０は、車両１３０の上方から見た場合の撮像範囲として、領域２１０で示す撮像範囲を有している。なお、以下では、車両１３０の長手方向に平行な軸をＹ軸とし、車両１３０の幅方向に平行な軸をＸ軸とする。
【００２２】
また、図２（ｂ）に示すように、撮像装置１１０の垂直画角はβ度（例えば、β＝１３５）であり、撮像装置１１０は、車両１３０の側方から見た場合の撮像範囲として、領域２３０で示す撮像範囲を有している。なお、以下では、車両１３０の高さ方向に平行な軸をＺ軸とする。
【００２３】
＜撮像画像の説明とオプティカルフローの算出対象＞
次に、撮像装置１１０により撮像され、移動方向判定装置１２０により生成される撮像画像について説明する。図３は、撮像画像の一例を示す図である。
【００２４】
図３の例は、水平画角１９０度、垂直画角１３５度の撮像装置１１０により撮像され、移動方向判定装置１２０により生成された、解像度＝横７２０画素×縦４８０画素の撮像画像３００を示している。画像中心線３１０は、撮像画像３００の横方向の中心位置（図３の例では、横方向における３６０画素目と３６１画素目の間）を通る直線である。撮像画像３００における画像中心線３１０の横方向の位置は、図２で示した撮像方向２２０に対応する。
【００２５】
図３に示すように、撮像画像３００において、対象物（他車両等）が描画される領域３０１（他車両等が移動する路面が含まれる領域）は、横方向に７２０画素の画素数を有しているのに対して、縦方向には１００画素程度の画素数しか有していない。つまり、移動方向判定装置１２０により生成される撮像画像３００は、画像上の縦方向の角度分解能が低い。
【００２６】
このようなことから、第１の実施形態における移動方向判定装置１２０は、撮像画像３００に対して縦方向のオプティカルフローは算出せず、横方向のオプティカルフローのみを算出するものとする。なお、以下では、撮像画像３００における横方向の軸をｘ軸、縦方向の軸をｚ軸とする。
【００２７】
＜移動方向判定装置が判定する移動方向＞
次に、移動方向判定装置１２０が撮像画像３００に基づき横方向のオプティカルフローを算出することで判定する、対象物の移動方向について説明する。図４は、対象物の移動方向を説明するための図である。
【００２８】
図４に示すように、領域２１０に示す撮像範囲において、対象物の移動方向は、撮像方向２２０を示す直線との関係において（つまり、撮像装置１１０に対する移動方向という観点において）以下の４つに大別することができる。
・Ｘ軸方向であって、撮像方向２２０を示す直線に近づく方向（矢印４１０）
・Ｘ軸方向であって、撮像方向２２０を示す直線から遠ざかる方向（矢印４１１）
・Ｙ軸方向であって、車両１３０から遠ざかる方向（矢印４２０）
・Ｙ軸方向であって、車両１３０に近づく方向（矢印４２１）
上述したように、移動方向判定装置１２０による判定結果は、車両１３０に対して横方向から接近する対象物との衝突を回避するための処理に利用される。このため、第１の実施形態における移動方向判定装置１２０では、対象物の移動方向がＹ軸方向であるか否かは判定せず、対象物の移動方向がＸ軸方向であるか否かを判定する。また、移動方向判定装置１２０は、Ｘ軸方向に移動する対象物の移動方向が、撮像方向２２０を示す直線から遠ざかる方向であるか否かは判定せず、撮像方向２２０を示す直線に近づく方向であるか否かを判定する。
【００２９】
つまり、移動方向判定装置１２０は、算出した横方向のオプティカルフローを用いて、対象物の移動方向が矢印４１０で示す移動方向であるか否かを判定し、矢印４１１、矢印４２０、矢印４２１で示す移動方向であるか否かの判定は行わない。
【００３０】
したがって、第１の実施形態における移動方向判定装置１２０は、横方向のオプティカルフローに基づいて判定した対象物それぞれの撮像装置１１０に対する移動方向が、矢印４１０で示す移動方向に該当するか否かを判定する。
【００３１】
ただし、従来の算出方法により算出された横方向のオプティカルフローに基づく移動方向の判定方法を用いて、対象物の移動方向を判定しようとすると、矢印４２０で示す移動方向を、矢印４１０で示す移動方向と誤判定してしまう場合があった。
【００３２】
そこで、第１の実施形態における移動方向判定装置１２０は、矢印４２０で示す移動方向を、矢印４１０で示す移動方向と誤判定することがないように、移動方向の判定を行う。
【００３３】
以下、第１の実施形態における移動方向判定装置１２０による移動方向の判定方法について詳説する前に、まず、図５を用いて当該誤判定の原因について詳説する。なお、以下の説明では、矢印４１０で示す移動方向を、「接近方向」と称し、矢印４２０で示す移動方向を、「鉛直方向」と称する。
【００３４】
＜横方向のオプティカルフローの従来の算出方法の説明＞
図５は、接近方向に移動する対象物及び鉛直方向に移動する対象物についての、横方向のオプティカルフローの従来の算出方法を説明するための図である。なお、横方向のオプティカルフローの従来の算出方法を、以下では、横方向のオプティカルフローの「第１の算出方法」と称する。
【００３５】
図５（ａ）において、直線５０１は撮像装置１１０を通りＸ軸に平行な線である。また、直線５０２は、対象物が接近方向（矢印４１０）に移動する直前の位置と、撮像装置１１０の位置とを結ぶ線である。更に、直線５０３は、対象物が接近方向（矢印４１０）に移動した直後の位置と、撮像装置１１０の位置とを結ぶ線である。
【００３６】
また、図５（ａ）において、角度θ１は、直線５０１と直線５０２とのなす角度であり、角度θ２は、直線５０１と直線５０３とのなす角度である。角度θ１、θ２は、移動前後の対象物内の特定の１点を、撮像装置１１０から見た場合のそれぞれの方向を示している。
【００３７】
図５（ａ）に示すように、対象物が接近方向（矢印４１０）に移動することで、撮像装置１１０から見た場合の対象物内の特定の1点の方向が、角度θ１から角度θ２へと変化した場合、撮像画像内では横方向のオプティカルフロー５１０が発生することになる。
【００３８】
一方、図５（ｂ）において、直線５０４は、対象物が鉛直方向（矢印４２０）に移動する直前の位置と、撮像装置１１０の位置とを結ぶ線である。また、直線５０５は、対象物が鉛直方向（矢印４２０）に移動した直後の位置と、撮像装置１１０の位置とを結ぶ線である。
【００３９】
また、図５（ｂ）において、角度θ１'は、直線５０１と直線５０４とのなす角度であり、角度θ２'は、直線５０１と直線５０５とのなす角度である。角度θ１'、θ２'は、移動前後の対象物の特定の１点を、撮像装置１１０から見た場合のそれぞれの方向を示している。
【００４０】
図５（ｂ）に示すように、対象物が鉛直方向（矢印４２０）に移動することで、撮像装置１１０から見た場合の対象物内の特定の１点の方向が、角度θ１'から角度θ２'へと変化した場合、撮像画像内では横方向のオプティカルフロー５２０が発生することになる。
【００４１】
このように、対象物が接近方向に移動した場合も、対象物が鉛直方向に移動した場合も、撮像画像内では横方向のオプティカルフロー５１０または５２０が発生することになる。このため、横方向のオプティカルフローに基づいて、対象物の移動方向が接近方向であるのか鉛直方向であるのかを判定しようとしても正しく判定できず、鉛直方向に移動する対象物を、接近方向に移動している対象物であると誤判定してしまうことになる。
【００４２】
ここで、対象物の移動方向が接近方向か鉛直方向かを判定する方法として、例えば、対象物が接近方向に移動した場合と鉛直方向に移動した場合とで、横方向のオプティカルフローの時間特性に違いがあることを利用する方法が挙げられる。
【００４３】
そこで、以下では、第１の算出方法により算出されたオプティカルフローの時間特性の違いを判別することで、対象物の移動方向が接近方向か鉛直方向かを判定する方法について説明する。
【００４４】
＜横方向のオプティカルフローの従来の特性判別方法＞
図６は、接近方向に移動する対象物と鉛直方向に移動する対象物について、第１の算出方法により算出された横方向のオプティカルフローの時間特性の違いを説明するための図である。図６を用いて、第１の算出方法により算出された横方向のオプティカルフローの、移動方向の違いに基づく時間特性の違いを判別する特性判別方法について説明する。なお、第１の算出方法により算出された横方向のオプティカルフローの時間特性の違いを判別する特性判別方法を、以下では「第１の特性判別方法」と称する。
【００４５】
図６（ａ−１）は、接近方向に移動する対象物内の特定の１点の位置を、同じ時間間隔でプロットしていくことで、各時刻における撮像装置１１０から見た場合の方向の変化（角度の差分絶対値Δθ１・・・Δθｎ）を示したものである。
【００４６】
図６（ｂ−１）は、鉛直方向に移動する対象物内の特定の１点の位置を、同じ時間間隔でプロットしていくことで、各時刻における撮像装置１１０から見た場合の方向の変化（角度の差分絶対値Δθ１'・・・Δθｎ'）を示したものである。
【００４７】
また、図６（ａ−２）は、接近方向（矢印４１０）に移動する対象物の、各時刻における撮像方向２２０を示す直線からの距離Ｘを横軸にとり、角度の差分絶対値Δθｎを縦軸にとったグラフである。距離Ｘの減少は、接近方向に移動する対象物の時間経過に対応し、角度の差分絶対値Δθは、撮像画像における横方向のオプティカルフローに対応する。したがって、図６（ａ−２）は、接近方向（矢印４１０）に移動する対象物内の特定の１点の横方向のオプティカルフローの時間特性を示しているといえる。
【００４８】
また、図６（ｂ−２）は、鉛直方向（矢印４２０）に移動する対象物内の特定の１点の、各時刻における直線５０１からの距離Ｙを横軸にとり、角度の差分絶対値Δθｎ'を縦軸にとったグラフである。距離Ｙの増加は、鉛直方向に移動する対象物の時間経過に対応し、角度の差分絶対値Δθは、撮像画像における横方向のオプティカルフローに対応する。したがって、図６（ｂ−２）は、鉛直方向（矢印４２０）に移動する対象物内の特定の１点の横方向のオプティカルフローの時間特性を示しているといえる。
【００４９】
図６（ａ−２）のグラフからわかるように、対象物が接近方向に移動する場合、時間の経過（距離Ｘの減少）とともに、角度の差分絶対値が大きくなる。一方、図６（ｂ−２）のグラフからわかるように、対象物が鉛直方向に移動する場合、時間の経過（距離Ｙの増加）とともに、角度の差分絶対値が小さくなる。
【００５０】
つまり、接近方向（矢印４１０）に移動する対象物の場合、特定の１点に着目すると、撮像画像上における横方向のオプティカルフロー値は、時間の経過とともに増加するという特性がある。一方、鉛直方向（矢印４２０）に移動する対象物の場合、特定の１点に着目すると、撮像画像上における横方向のオプティカルフロー値は、時間の経過とともに減少するという特性がある。
【００５１】
したがって、このような時間特性の違いを判別すれば（第１の特性判別方法によれば）、対象物の移動方向が接近方向（矢印４１０）か、鉛直方向（矢印４２０）かを判定することができる。
【００５２】
しかしながら、図６（ａ−２）、図６（ｂ−２）に示すような時間特性を有するのは、対象物が同じ移動速度で移動している場合に限られ、対象物の移動速度が増加している場合または減少している場合には、上記時間特性が維持されない。
【００５３】
つまり、第１の算出方法により算出された横方向のオプティカルフローの場合、対象物の移動速度が増加している場合または減少している場合には、時間特性が維持されない。したがって、第１の算出方法により算出された横方向のオプティカルフローに基づく第１の特性判別方法では、対象物の移動速度が増加している場合または減少している場合に時間特性の違いを判別することができない。
【００５４】
そこで、第１の実施形態における移動方向判定装置１２０は、対象物の移動速度が増加している場合または減少している場合（つまり、対象物が加減速中の場合）であっても、上記時間特性が維持される算出方法により、横方向のオプティカルフローを算出する。上記時間特性が維持される算出方法を、横方向のオプティカルフローの「第２の算出方法」と称する。
【００５５】
また、第１の実施形態における移動方向判定装置１２０は、横方向のオプティカルフローの第２の算出方法による算出結果に応じた特性判別方法に基づいて、横方向のオプティカルフローの時間特性の違いを判別する。なお、第２の算出方法により算出された横方向のオプティカルフローに応じた特性判別方法を、「第２の特性判別方法」と称する。
【００５６】
以下、第１の実施形態における移動方向判定装置１２０において実行される、横方向のオプティカルフローの第２の算出方法と、第２の算出方法により算出された横方向のオプティカルフローに応じた第２の特性判別方法とについて説明する。
【００５７】
＜横方向のオプティカルフローの第２の算出方法の概要＞
はじめに、横方向のオプティカルフローの第２の算出方法の概要について説明する。第１の実施形態における移動方向判定装置１２０において実行される、横方向のオプティカルフローの第２の算出方法は、以下の通りである。
・撮像画像において、対象物の移動前後の位置を特定するための特徴点を、同一対象物において少なくとも２箇所以上抽出する（第１の特徴点、第２の特徴点）。
・第１の特徴点及び第２の特徴点として、画像中心線３１０からの距離が異なる特徴点を抽出する。ここでは、画像中心線３１０から遠い方の特徴点を第１の特徴点とし、画像中心線３１０に近い方の特徴点を第２の特徴点とする。なお、第１の特徴点と第２の特徴点は、同一対象物より抽出するため、同一時間帯における第１の特徴点の移動速度と、第２の特徴点の移動速度とは同じになる。
・単位時間あたりの第１の特徴点の移動により発生する横方向のオプティカルフローと、同一時間帯の第２の特徴点の移動により発生する横方向のオプティカルフローとを算出する。
【００５８】
上記算出方法によれば、対象物が加減速中であっても、同一時間帯において第１の特徴点と第２の特徴点とは同じ移動速度で移動することになる。このため、接近方向に移動する対象物と鉛直方向に移動する対象物についての横方向のオプティカルフローのそれぞれの時間特性が維持されることになる。異なる位置の特徴点における横方向のオプティカルフローを、同一特徴点における異なる時間の横方向のオプティカルフローと捉えれば、第２の算出方法により算出される横方向のオプティカルフローは、時間特性を表しているとみなすことができるからである。
【００５９】
＜横方向のオプティカルフローの第２の特性判別方法の概要＞
次に、第２の特性判別方法の概要について説明する。第２の算出方法により算出された横方向のオプティカルフローに応じた第２の特性判別方法は、以下の通りである。
・第１の特徴点の横方向のオプティカルフローと、第２の特徴点の横方向のオプティカルフローとに基づいて、画像中心線３１０に近づくにつれて、横方向のオプティカルフロー値が増加する傾向にあるのか、減少する傾向にあるのかを判別する。
・画像中心線３１０に近づくにつれて、横方向のオプティカルフロー値が減少する傾向にある場合、当該対象物のオプティカルフローが第１の特性を有すると判別する。一方、画像中心線３１０に近づくにつれて、横方向のオプティカルフロー値が増加する傾向にある場合、当該対象物の横方向のオプティカルフローが第２の特性を有すると判別する。
【００６０】
上記第２の特性判別方法により時間特性の違いを判別することで、対象物の移動方向が接近方向か鉛直方向かを判定することが可能になる。
【００６１】
なお、第１の実施形態における移動方向判定装置１２０は、横方向のオプティカルフローが第１の特性を有している場合、対象物の移動方向を「接近方向」と判定する。また、横方向のオプティカルフローが第２の特性を有している場合、対象物の移動方向を「鉛直方向」と判定する。
【００６２】
＜横方向のオプティカルフローの第２の算出方法の詳細＞
続いて、図７〜図１０を用いて横方向のオプティカルフローの第２の算出方法について更に詳細に説明する。図７は、接近方向に移動する対象物についての横方向のオプティカルフローの第２の算出方法を説明するための図である。
【００６３】
図７（ａ）において、第１の特徴点７０１は、他車両７００の側面後部の点（撮像画像上で画像中心線３１０からの距離が遠い方の点）である。また、第２の特徴点７１１は、他車両７００の側面前部の点（撮像画像上で画像中心線３１０からの距離が近い方の点）である。また、図７（ａ）において、他車両７００は、接近方向（矢印４１０）に移動する直前の状態を示している。
【００６４】
一方、図７（ｂ）は、図７（ａ）の状態から、単位時間経過後の状態を示している。第１の特徴点７０２は、対象物である他車両７００の側面後部の第１の特徴点７０１が、他車両７００の接近方向への移動に伴って移動した点である。つまり、第１の特徴点７０１に対応する特徴点である。同様に、第２の特徴点７１２は、対象物である他車両７００の側面前部の第２の特徴点７１１が、他車両７００の接近方向への移動に伴って移動した点である。つまり、第２の特徴点７１１に対応する特徴点である。
【００６５】
図７（ｂ）に示すように、単位時間が経過する間に、撮像装置１１０から見た場合の第１の特徴点７０１の方向は、角度Δθ１だけ変化している。また、撮像装置１１０から見た場合の第２の特徴点７１１の方向は、角度Δθ２だけ変化している。したがって、撮像画像内では、角度Δθ１に対応する横方向のオプティカルフローと、角度Δθ２に対応する横方向のオプティカルフローとが発生することになる。
【００６６】
このため、両者を比較すれば、画像中心線３１０からの距離が異なる２つの位置においてそれぞれ同じ移動速度で移動する特徴点の撮像画像内での横方向のオプティカルフローを比較することができる。
【００６７】
図８は、接近方向に移動する対象物についての横方向のオプティカルフローの第２の算出方法による算出例を示す図である（なお、図８では、他車両７００の画像は省略し、特徴点のみを示している）。図８において、第１の特徴点７０１は、画像中心線３１０から距離ｘ１の位置にあり、第２の特徴点７１１は、画像中心線３１０から距離ｘ２の位置にある。
【００６８】
図８に示すように、単位時間経過後、第１の特徴点７０１は第１の特徴点７０２として抽出され、第２の特徴点７１１は第２の特徴点７１２として抽出される。したがって、第１の特徴点７０１の横方向のオプティカルフロー値（変位量Δｘ１）と、第２の特徴点７１１の横方向のオプティカルフロー値（変位量Δｘ２）とを算出することができる。
【００６９】
図８から明らかなように、他車両７００が接近方向に移動した場合、第１の特徴点７０１の横方向のオプティカルフロー値（Δｘ１）よりも、第２の特徴点７１１の横方向のオプティカルフロー値（Δｘ２）の方が大きくなる。つまり、接近方向に移動する対象物についての横方向のオプティカルフローの時間特性が維持されているということができる。
【００７０】
図９は、鉛直方向に移動する対象物についての横方向のオプティカルフローの第２の算出方法を説明するための図である。
【００７１】
図９（ａ）において、第１の特徴点９０１は、対象物である他車両９００の側面後部の点（撮像画像上で画像中心線３１０からの距離が遠い方の点）である。また、第２の特徴点９１１は、他車両９００の側面前部の点（撮像画像上で画像中心線３１０からの距離が近い方の点）である。また、図９（ａ）において、他車両９００は、鉛直方向（矢印４２０）に移動する直前の状態を示している。
【００７２】
一方、図９（ｂ）は、図９（ａ）の状態から、単位時間経過後の状態を示している。第１の特徴点９０２は、他車両９００の側面後部の第１の特徴点９０１が、他車両９００の鉛直方向への移動に伴って移動した点である。つまり、第１の特徴点９０１に対応する特徴点である。同様に、第２の特徴点９１２は、対象物である他車両９００の側面前部の第２の特徴点９１１が、他車両９００の鉛直方向への移動に伴って移動した点である。つまり、第２の特徴点９１１に対応する特徴点である。
【００７３】
図９（ｂ）に示すように、単位時間が経過する間に、撮像装置１１０から見た場合の第１の特徴点９０１の方向は、角度Δθ１'だけ変化している。また、撮像装置１１０から見た場合の第２の特徴点９１１の方向は、角度Δθ２'だけ変化している。したがって、撮像画像内では、角度Δθ１'に対応する横方向のオプティカルフローと、角度Δθ２'に対応する横方向のオプティカルフローとが発生することになる。
【００７４】
このため、両者を比較すれば、画像中心線３１０からの距離が異なる２つの位置においてそれぞれ同じ移動速度で移動する特徴点の撮像画像内での横方向のオプティカルフローを比較することができる。
【００７５】
図１０は、鉛直方向に移動する対象物についての横方向のオプティカルフローの第２の算出方法による算出例を示す図である（なお、図１０では、他車両９００の画像は省略し、特徴点のみを示している）。図１０において、第１の特徴点９０１は、画像中心線３１０から距離ｘ１'の位置にあり、第２の特徴点９１１は、画像中心線３１０から距離ｘ２'の位置にある。
【００７６】
図１０に示すように、単位時間経過後、第１の特徴点９０１は第１の特徴点９０２として抽出され、第２の特徴点９１１は第２の特徴点９１２として抽出される。したがって、第１の特徴点９０１の横方向のオプティカルフロー値（変位量Δｘ１'）と、第２の特徴点９１１の横方向のオプティカルフロー値（変位量Δｘ２'）とを算出することができる。
【００７７】
図１０から明らかなように、他車両９００が鉛直方向に移動している場合、第１の特徴点９０１の横方向のオプティカルフロー値（Δｘ１'）の方が、第２の特徴点９１１の横方向のオプティカルフロー値（Δｘ２'）よりも大きくなる。つまり、鉛直方向に移動する対象物についての横方向のオプティカルフローの時間特性が維持されているということができる。
【００７８】
このように、横方向のオプティカルフローの算出において第２の算出方法を用いれば、対象物が加減速中であっても、接近方向に移動する対象物及び鉛直方向に移動する対象物それぞれの、横方向のオプティカルフローの時間特性を維持することができる。
【００７９】
＜横方向のオプティカルフローの第２の特性判別方法の詳細＞
続いて、第２の算出方法により算出された横方向のオプティカルフローに応じた第２の特性判別方法について、図１１を用いて更に詳細に説明する。
【００８０】
図１１は、横方向のオプティカルフローの第２の特性判別方法を説明するための図である。図１１（ａ）、（ｂ）において、横軸は、撮像画像３００内における各特徴点の画像中心線３１０からの距離を示している。また、縦軸は、撮像画像３００内における各特徴点の横方向のオプティカルフロー値を示している。以下、各特徴点の画像中心線３１０からの距離を横軸にとり、横方向のオプティカルフロー値を縦軸にとった平面を、「判別面」と称する。
【００８１】
図１１（ａ）に示すように、接近方向に移動する対象物の場合、画像中心線３１０から離れるほど、横方向のオプティカルフロー値（Δｘ）が小さくなる。つまり、判別面において各特徴点を通るグラフ１１０１は、右肩下がり（負の傾き）となる。
【００８２】
一方、図１１（ｂ）に示すように、鉛直方向に移動する対象物の場合、画像中心線３１０から離れるほど、横方向のオプティカルフロー値（Δｘ'）が大きくなる。つまり、判別面において各特徴点を通るグラフ１１１１は、右肩上がり（正の傾き）となる。したがって、対象物の移動方向が接近方向か鉛直方向かは、判別面にプロットされた各特徴点の画像中心線３１０からの距離と横方向のオプティカルフロー値との関係を解析し、グラフの傾きを判別することで判定することができる。なお、図１１（ａ）、（ｂ）の例では、説明の簡略化のため特徴点が２つの場合について示したが、特徴点は３個以上抽出してもよく、その場合、判別面に各特徴点をプロットした場合のグラフ１１０１、１１１１は、例えば最小二乗法により算出することができる。
【００８３】
＜移動方向判定システムのハードウェア構成＞
続いて、上記移動方向判定方法（第２の算出方法及び第２の特性判別方法）を適用した、第１の実施形態における移動方向判定システム１００のハードウェア構成について説明する。図１２は、移動方向判定システムのハードウェア構成の一例を示す図である。
【００８４】
図１２に示すように、移動方向判定システム１００は、撮像装置１１０と移動方向判定装置１２０とを有する。
【００８５】
撮像装置１１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ１２１１とＮＴＳＣエンコーダ１２１２とを有する。ＣＭＯＳセンサ１２１１は、受光した光信号を電気信号に変換する撮像素子である。ＮＴＳＣエンコーダは、ＣＭＯＳセンサ１２１１より出力された電気信号を、ＮＴＳＣ信号に変換して、車両ネットワークを介して移動方向判定装置１２０に送信する。
【００８６】
移動方向判定装置１２０は、ＮＴＳＣデコーダ１２２１、ＧＰＵ（Graphics Processing Unit）１２２２、ＣＰＵ（Central Processing Unit）１２２３、メモリ１２２４を有する。ＮＴＳＣデコーダ１２２１、ＧＰＵ１２２２、ＣＰＵ１２２３、メモリ１２２４は、データバス１２３０を介して相互に接続されている。
【００８７】
ＮＴＳＣデコーダ１２２１は、車両ネットワークを介して撮像装置１１０より受信したＮＴＳＣ信号をデジタルデータに変換することで、撮像画像を生成する。
【００８８】
ＧＰＵ１２２２は、専用のハードウェアによって撮像画像を処理する集積回路である。ＣＰＵ１２２３は、メモリ１２２４に格納された各種プログラム（移動方向判定プログラム等）を実行するコンピュータである。
【００８９】
メモリ１２２４は、ＣＰＵ１２２３により実行される各種プログラムを格納したり、ＣＰＵ１２２３が各種プログラムを実行する際のワークエリアを提供する。
【００９０】
＜移動方向判定システムの機能構成＞
次に、移動方向判定システム１００の機能構成について説明する。図１３は、移動方向判定システムの機能構成の一例を示す図である。
【００９１】
図１３に示すように、撮像装置１１０は、ＣＭＯＳセンサ１２１１及びＮＴＳＣエンコーダ１２１２の動作を制御し、ＮＴＳＣ信号を移動方向判定装置１２０に送信する画像処理部１３１１を有する。
【００９２】
移動方向判定装置１２０は、移動方向判定プログラムがＣＰＵ１２２３により実行されることで、移動方向判定部１３２０として機能する。移動方向判定部１３２０は、特徴点算出部１３２１、オプティカルフロー算出部１３２２、同一対象物判定部１３２３、オプティカルフロー比較部１３２４を有する。
【００９３】
特徴点算出部１３２１は、ＮＴＳＣデコーダ１２２１により生成された撮像画像を、フレーム単位で取得し、各フレームの撮像画像より特徴点を抽出する。
【００９４】
オプティカルフロー算出部１３２２は、特徴点算出部１３２１において抽出された、各フレームの撮像画像における各特徴点についてマッチングを行う。また、オプティカルフロー算出部１３２２は、異なるフレーム間においてマッチングされた特徴点の、撮像画像内での横方向の位置（座標）の変位に基づいて、当該フレーム間における横方向のオプティカルフローを算出する。
【００９５】
同一対象物判定部１３２３は、オプティカルフロー算出部１３２２において算出された撮像画像内における各特徴点を、同一対象物ごとにグルーピングする。
【００９６】
オプティカルフロー比較部１３２４は、同一対象物判定部１３２３により同一対象物に属するものとしてグルーピングされた各特徴点を、それぞれの横方向のオプティカルフロー値と、画像中心線３１０からのそれぞれの距離とに基づいて、判別面にプロットする。
【００９７】
また、オプティカルフロー比較部１３２４は、同一対象物に属する各特徴点を判別面にプロットすることで、各特徴点の画像中心線３１０からの距離と横方向のオプティカルフロー値との関係を解析し、グラフの傾きを判別する。オプティカルフロー比較部１３２４は、グラフが負の傾きであると判別した場合には、当該対象物の移動方向が接近方向であると判定して、判定結果を出力する。また、オプティカルフロー比較部１３２４は、グラフが負の傾きでないと判別した場合には、当該対象物の移動方向が鉛直方向であると判定して、判定結果を出力する。
【００９８】
＜移動方向判定処理の説明＞
次に、移動方向判定装置１２０による移動方向判定処理の流れについて説明する。図１４は、移動方向判定処理の第１のフローチャートである。
【００９９】
ステップＳ１４０１において、特徴点算出部１３２１は、撮像画像のフレーム数をカウントするカウンタｎに初期値（＝"１"）を代入する。
【０１００】
ステップＳ１４０２において、特徴点算出部１３２１は、ｎフレーム目の撮像画像を取得する。また、ステップＳ１４０３において、特徴点算出部１３２１は、取得したｎフレーム目の撮像画像より特徴点を抽出し、抽出した特徴点をオプティカルフロー算出部１３２２に通知する。
【０１０１】
ステップＳ１４０４において、特徴点算出部１３２１は、（ｎ＋１）フレーム目の撮像画像を取得する。また、ステップＳ１４０５において、特徴点算出部１３２１は、取得した（ｎ＋１）フレーム目の撮像画像より特徴点を抽出し、抽出した特徴点をオプティカルフロー算出部１３２２に通知する。
【０１０２】
ステップＳ１４０６において、オプティカルフロー算出部１３２２は、ｎフレーム目の撮像画像より抽出された特徴点と、（ｎ＋１）フレーム目の撮像画像より抽出された特徴点とについて、特徴点の対応付けを行うマッチングを行う。
【０１０３】
ステップＳ１４０７において、オプティカルフロー算出部１３２２は、マッチングした特徴点のそれぞれの位置（座標）に基づいて、ｎフレーム目の撮像画像における、各特徴点の横方向のオプティカルフローを算出する。オプティカルフロー算出部１３２２は、算出したｎフレーム目の撮像画像における各特徴点の横方向のオプティカルフロー値（Δｘ）を同一対象物判定部１３２３に通知する。
【０１０４】
ステップＳ１４０８において、同一対象物判定部１３２３は、ｎフレーム目の撮像画像に含まれる各特徴点について、同一対象物に属する特徴点ごとにグルーピングする。同一対象物判定部１３２３は、同一対象物ごとにグルーピングされた各特徴点の横方向のオプティカルフロー値（Δｘ）を、オプティカルフロー比較部１３２４に通知する。
【０１０５】
ステップＳ１４０９において、オプティカルフロー比較部１３２４は、同一対象物内の各特徴点を、横方向のオプティカルフロー値（Δｘ）と、画像中心線３１０からの距離とに基づいて、判別面にプロットする。
【０１０６】
ステップＳ１４１０において、オプティカルフロー比較部１３２４は、ステップＳ１４０９において判別面にプロットされた各特徴点のグラフの傾きを算出する。
【０１０７】
ステップＳ１４１１において、オプティカルフロー比較部１３２４は、ステップＳ１４１０において算出されたグラフの傾きが、負の傾きであるか否かを判別する。ステップＳ１４１１において、負の傾きであると判別した場合には（ステップＳ１４１１においてＹｅｓ）、ステップＳ１４１２に進む。
【０１０８】
ステップＳ１４１２において、オプティカルフロー比較部１３２４は、対象物の移動方向は接近方向であると判定し、判定結果を出力する。
【０１０９】
一方、ステップＳ１４１１において、負の傾きでないと判別した場合には（ステップＳ１４１１においてＮｏ）、ステップＳ１４１３に進む。ステップＳ１４１３において、オプティカルフロー比較部１３２４は、対象物の移動方向は鉛直方向であると判定し、判定結果を出力する。
【０１１０】
ステップＳ１４１４において、特徴点算出部１３２１は、移動方向判定処理を終了するか否かを判定し、終了しないと判定した場合には（ステップＳ１４１４においてＮｏ）、ステップＳ１４１５に進む。ステップＳ１４１５において、特徴点算出部１３２１は、カウンタｎに１を加算して、ステップＳ１４０２に戻る。以降、ステップＳ１４１４において終了すると判定するまで、ステップＳ１４０２〜ステップＳ１４１５の処理を繰り返す。
【０１１１】
一方、ステップＳ１４１４において、移動方向判定処理を終了すると判定した場合には（ステップＳ１４１４においてＹｅｓ）、処理を終了する。
【０１１２】
＜実施例＞
次に、移動方向判定装置１２０による移動方向判定処理の実施例について説明する。図１５は、移動方向判定処理の実施例を示す図である。
【０１１３】
図１５（ａ）は、ｎフレーム目の撮像画像１５１０を示している。撮像画像１５１０中の白丸は、特徴点算出部１３２１により抽出された特徴点１５１１〜１５１８を示している。
【０１１４】
図１５（ｂ）は、（ｎ＋１）フレーム目の撮像画像１５２０を示している。撮像画像１５２０中の白丸は、特徴点算出部１３２１により抽出された特徴点１５２１〜１５２８を示している。なお、撮像画像１５２０中の点線の白丸は、オプティカルフロー算出部１３２２による特徴点のマッチングにより、対応する特徴点であると判定された特徴点である。
【０１１５】
図１５（ｂ）の例では、特徴点１５１１と特徴点１５２１とが対応し、特徴点１５１２と特徴点１５２２とが対応し、特徴点１５１３と特徴点１５２３とが対応し、特徴点１５１４と特徴点１５２４とが対応すると判定されている。
【０１１６】
また、特徴点１５１５と特徴点１５２５とが対応し、特徴点１５１６と特徴点１５２６とが対応し、特徴点１５１７と特徴点１５２７とが対応し、特徴点１５１８と特徴点１５２８とが対応すると判定されている。
【０１１７】
なお、図１５（ｂ）の撮像画像１５２０中の各矢印は、オプティカルフロー算出部１３２２により算出された、各特徴点（１５１１〜１５１８）における横方向のオプティカルフローを示している。
【０１１８】
図１５（ｃ）は、ｎフレーム目の撮像画像１５１０について、同一対象物判定部１３２３が、同一対象物に属する特徴点をグルーピングした様子を示している。撮像画像１５１０において、領域１５３１に含まれる２つの特徴点１５１１、１５１２は、同一対象物に属することを示している。同様に、領域１５３２〜１５３４にそれぞれ含まれる２つの特徴点（１５１３と１５１４、１５１５と１５１６、１５１７と１５１８）は、同一対象物に属することを示している。
【０１１９】
なお、同一対象物に属するか否かは撮像画像１５１０に対して既知の画像処理（例えば、エッジ抽出処理等）を施すことにより判断するものとする。
【０１２０】
図１５（ｄ）は、オプティカルフロー比較部１３２４が、同一対象物に属する各特徴点を、横方向のオプティカルフロー値と、画像中心線３１０からの距離とに基づいて、判別面にプロットした様子を示している。
【０１２１】
判別面１５４１は、領域１５３１に含まれる２つの特徴点を、横方向のオプティカルフロー値と、画像中心線３１０からの距離とに基づいてプロットした様子を示している。グラフ１５５１は負の傾きを有しているため、オプティカルフロー比較部１３２４は、領域１５３１により特定される対象物の移動方向が、接近方向であると判定する。
【０１２２】
判別面１５４２は、領域１５３２に含まれる２つの特徴点を、横方向のオプティカルフロー値と、画像中心線３１０からの距離とに基づいてプロットした様子を示している。グラフ１５５２は正の傾きを有しているため、オプティカルフロー比較部１３２４は、領域１５３２により特定される対象物の移動方向が、鉛直方向であると判定する。
【０１２３】
判別面１５４３は、領域１５３３に含まれる２つの特徴点を、横方向のオプティカルフロー値と、画像中心線３１０からの距離とに基づいてプロットした様子を示している。グラフ１５５３は負の傾きを有しているため、オプティカルフロー比較部１３２４は、領域１５３３により特定される対象物の移動方向が、接近方向であると判定する。
【０１２４】
判別面１５４４は、領域１５３４に含まれる２つの特徴点を、横方向のオプティカルフロー値と、画像中心線３１０からの距離とに基づいてプロットした様子を示している。グラフ１５５４は負の傾きを有しているため、オプティカルフロー比較部１３２４は、領域１５３４により特定される対象物の移動方向が、接近方向であると判定する。
【０１２５】
以上の説明から明らかなように、第１の実施形態における移動方向判定システムは、単眼の撮像装置により撮像された撮像画像に基づいて、第２の算出方法により横方向のオプティカルフローを算出する。また、第１の実施形態における移動方向判定システムは、第２の特性判別方法により横方向のオプティカルフローの時間特性の違いを判別し、対象物の移動方向を判定する。
【０１２６】
これにより、第１の実施形態における移動方向判定システムによれば、対象物が加減速中であっても、横方向のオプティカルフローのみを用いて対象物の移動方向が、接近方向か鉛直方向かを判定することが可能となる。つまり、撮像装置に対する対象物の移動方向を精度よく判定することができるようになる。
【０１２７】
［第２の実施形態］
上記第１の実施形態では、同一対象物より複数の特徴点を抽出し、それぞれの特徴点を、横方向のオプティカルフロー値と画像中心線からの距離とに基づいて判別面にプロットすることで、グラフの傾きを判別して対象物の移動方向を判定した。これに対して、第２の実施形態では、同一対象物より２つの特徴点を抽出し、それぞれの特徴点の横方向のオプティカルフロー値の大小関係を判別する。そして、画像中心線からの距離が近い方の横方向のオプティカルフロー値が大きいか否かを判別することにより、対象物の移動方向を判定する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【０１２８】
図１６は、移動方向判定処理の第２のフローチャートである。図１４を用いて説明した移動方向判定処理の第１のフローチャートとの相違点は、ステップＳ１６０１及びステップＳ１６０２である。
【０１２９】
ステップＳ１６０１において、オプティカルフロー比較部１３２４は、同一対象物より、画像中心線３１０からの距離が異なる２つの横方向のオプティカルフローを抽出する。また、オプティカルフロー比較部１３２４は、抽出した２つの横方向のオプティカルフローのオプティカルフロー値について大小関係を判別する。なお、抽出した２つの横方向のオプティカルフローとは、画像中心線３１０からの距離が近い方の横方向のオプティカルフローと、画像中心線３１０からの距離が遠い方の横方向のオプティカルフローである。
【０１３０】
ステップＳ１６０２において、画像中心線３１０からの距離が近い方の横方向のオプティカルフロー値の方が大きいと判別した場合には（ステップＳ１６０２においてＹｅｓ）、ステップＳ１４１２に進む。この場合、オプティカルフロー比較部１３２４は、当該対象物の移動方向が接近方向であると判定する。
【０１３１】
一方、ステップＳ１６０２において、画像中心線３１０からの距離が近い方の横方向のオプティカルフロー値が大きくないと判別した場合には（ステップＳ１６０２においてＮｏ）、ステップＳ１４１３に進む。この場合、オプティカルフロー比較部１３２４は、当該対象物の移動方向が鉛直方向であると判定する。
【０１３２】
このように、第２の実施形態における移動方向判定システム１００は、同一対象物内の２つの特徴点の横方向のオプティカルフロー値の大小関係を判別することで、当該対象物の移動方向が、接近方向か鉛直方向かを判定する。この結果、上記第１の実施形態と比較して、移動方向を判定する際の移動方向判定装置１２０の処理負荷を低減させることが可能となる。
【０１３３】
［第３の実施形態］
上記第２の実施形態では、同一対象物内の２つの特徴点の横方向のオプティカルフローを抽出して、大小関係を判別することで、対象物の移動方向を判定した。これに対して、第３の実施形態では、同一対象物より複数の特徴点の横方向のオプティカルフローを抽出し、抽出した複数のオプティカルフローを画像中心線からの距離が遠いグループと近いグループとに分類する。更に、第３の実施形態では、それぞれのグループにおいて、横方向のオプティカルフローの平均値を算出し、それぞれのグループにおいて算出された横方向のオプティカルフローの平均値の大小関係を判別することで、対象物の移動方向を判定する。以下、第３の実施形態について、第２の実施形態との相違点を中心に説明する。
【０１３４】
図１７は、接近方向に移動する対象物の横方向のオプティカルフローの第２の算出方法を説明するための図である。図１７（ａ）に示すように、第１の特徴点群１７０１〜１７０３は、対象物である他車両７００の側面後部の点群（画像中心線３１０からの距離が遠い方の点群）である。また、第２の特徴点群１７１１〜１７１３は、他車両７００の側面前部の点群（画像中心線３１０までの距離が近い方の点群）である。また、図１７（ａ）において、他車両７００は、接近方向（矢印４１０）に移動する直前の状態を示している。
【０１３５】
なお、画像中心線３１０からの距離が遠い方の点群とは、画像中心線３１０からの距離が所定の閾値以上の点群をいい、画像中心線３１０からの距離が近い方の点群とは、画像中心線３１０からの距離が所定の閾値未満の点群をいうものとする。
【０１３６】
一方、図１７（ｂ）は、図１７（ａ）の状態から、単位時間経過後の状態を示している。図１７（ｂ）において、第１の特徴点群１７０４〜１７０６は、他車両７００の側面後部の第１の特徴点群１７０１〜１７０３が、他車両７００の接近方向への移動に伴って移動した場合の点群である。つまり、第１の特徴点群１７０１〜１７０３に対応する特徴点群である。
【０１３７】
同様に、第２の特徴点群１７１４〜１７１６は、他車両７００の側面前部の第２の特徴点群１７１１〜１７１３が、他車両７００の接近方向への移動に伴って移動した点群である。つまり、第２の特徴点群１７１１〜１７１３に対応する特徴点群である。
【０１３８】
図１７（ｂ）に示すように、それぞれの対応する特徴点に基づいて横方向のオプティカルフロー値（角度の差分絶対値Δθ１１〜Δθ１３に対応するΔｘ１１〜Δｘ１３と、角度の差分絶対値Δθ２１〜Δθ２３に対応するΔｘ２１〜Δｘ２３）が算出される。これにより、他車両７００の側面後部の横方向のオプティカルフロー値Δｘ１１〜Δｘ１３のグループと、他車両７００の側面前部の横方向のオプティカルフロー値Δｘ２１〜Δｘ２３のグループとに分類することができる。更に、それぞれのグループにおけるオプティカルフローの平均値を算出することができる。
【０１３９】
この結果、他車両７００の側面後部の１つの特徴点のオプティカルフローと、側面前部の１つの特徴点のオプティカルフローとの大小関係を判別して対象物の移動方向を判定する場合（上記第２の実施形態）と比較して、信頼性の高い判定結果を得ることができる。
【０１４０】
続いて、第３の実施形態における移動方向判定システム１００による、移動方向判定処理の流れについて説明する。図１８は、移動方向判定処理の第３のフローチャートである。図１６を用いて説明した移動方向判定処理の第２のフローチャートとの相違点は、ステップＳ１８０１からステップＳ１８０３である。
【０１４１】
ステップＳ１８０１において、オプティカルフロー比較部１３２４は、同一対象物内のそれぞれの特徴点を、画像中心線３１０からの距離に応じて、２つのグループに分類する。
【０１４２】
例えば、オプティカルフロー比較部１３２４は、同一対象物内のそれぞれの特徴点の画像中心線３１０からの距離の平均値を算出する。また、オプティカルフロー比較部１３２４は、同一対象物内のそれぞれの特徴点を、算出した平均値以上の距離にある特徴点のグループ（第１のグループ）と、算出した平均値未満の距離にある特徴点のグループ（第２のグループ）とに分類する。
【０１４３】
ステップＳ１８０２において、オプティカルフロー比較部１３２４は、第１のグループに分類された特徴点の横方向のオプティカルフロー値（Δｘ１）の平均値を算出する。また、オプティカルフロー比較部１３２４は、第２のグループに分類された特徴点の横方向のオプティカルフロー値（Δｘ２）の平均値を算出する。更に、オプティカルフロー比較部１３２４は、第１のグループにおける横方向のオプティカルフロー値（Δｘ１）の平均値と、第２のグループにおける横方向のオプティカルフロー値（Δｘ２）の平均値とを比較する。
【０１４４】
ステップＳ１８０３において、オプティカルフロー比較部１３２４は、第１のグループにおける横方向のオプティカルフロー値（Δｘ１）の平均値と、第２のグループにおける横方向のオプティカルフロー値（Δｘ２）の平均値との大小関係を判別する。
【０１４５】
ステップＳ１８０３において、第２のグループにおける横方向のオプティカルフロー値（Δｘ２）の平均値の方が大きいと判別した場合には（ステップＳ１８０３においてＹｅｓ）、ステップＳ１４１２に進む。この場合、オプティカルフロー比較部１３２４は、当該対象物の移動方向が接近方向であると判定する。
【０１４６】
一方、ステップＳ１８０３において、第２のグループにおける横方向のオプティカルフロー値（Δｘ２）の平均値が大きくないと判別した場合には（ステップＳ１８０３においてＮｏ）、ステップＳ１４１３に進む。この場合、オプティカルフロー比較部１３２４は、当該対象物の移動方向が鉛直方向であると判定する。
【０１４７】
このように、第３の実施形態における移動方向判定システム１００は、同一対象物内の複数の特徴点の横方向のオプティカルフローを、画像中心線３１０からの距離に基づいて２つのグループに分類する。また、第３の実施形態における移動方向判定システム１００は、グループごとに横方向のオプティカルフロー値の平均値を算出する。更に、第３の実施形態における移動方向判定システム１００は、それぞれのグループにおいて算出された横方向のオプティカルフロー値の平均値の大小関係を判別することで、対象物の移動方向が接近方向か鉛直方向かを判定する。
【０１４８】
これにより、第３の実施形態における移動方向判定システムによれば、２つの特徴点のオプティカルフロー値の大小関係を判別して対象物の移動方向を判定する場合と比較して、信頼性の高い判定結果を得ることができる。
【０１４９】
［その他の実施形態］
上記第１乃至第３の実施形態では、移動方向として接近方向と鉛直方向とを定義し、対象物の移動方向が接近方向であるのか鉛直方向であるのかを判定した。しかしながら、移動方向の判定は、接近方向と鉛直方向とに限定されない。画像中心線３１０に近い方の特徴点の横方向のオプティカルフロー値と、画像中心線３１０から遠い方の特徴点の横方向のオプティカルフロー値との関係を判別することで判定可能な移動方向であれば、どのような移動方向を判定してもよい。
【０１５０】
また、上記第１の実施形態では、グラフの傾きが負の傾きであるか否かを判別して、移動方向を判定した。しかしながら、第２の特性判別方法はこれに限定されず、例えば、グラフの傾きが所定の閾値以下であるか否かを判別して、移動方向を判定してもよい。
【０１５１】
同様に、上記第２及び第３の実施形態では、第２の特徴点（群）の横方向のオプティカルフロー値（の平均値）が第１の特徴点（群）の横方向のオプティカルフロー値（の平均値）より大きいか否かを判別して、移動方向を判定した。しかしながら、第２の特性判別方法はこれに限定されず、例えば、両者の差が所定の閾値以上であるか否かを判別して、移動方向を判定してもよい。
【０１５２】
また、上記第１乃至第３の実施形態では、１フレームごとにオプティカルフローを算出するものとして説明したが、オプティカルフローの算出周期は１フレームごとに限定されず、任意のタイミングであってもよい。
【０１５３】
また、上記第１乃至第３の実施形態では、移動方向判定システムを車両に搭載するものとして説明したが、上記移動方向判定方法は、車両以外の移動体に適用してもよいことは言うまでもない。
【０１５４】
また、上記第１乃至第３の実施形態では、撮像装置として、単眼のカメラを用いるものとして説明したが、移動方向判定システムにおいて用いる撮像装置は、単眼のカメラに限定されない。また、上記第１乃至第３の実施形態において説明した撮像装置の種類、画角、撮像画像の解像度、フレーム周期等は一例であり、これに限定されるものではない。
【０１５５】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
撮像装置に対する対象物の移動方向を判定する移動方向判定装置であって、
前記撮像装置が撮像した第１の撮像画像から、画像内の前記対象物の第１の複数の特徴点を抽出し、前記第１の撮像画像よりも後の時間に前記撮像装置が撮像した第２の撮像画像から、前記第１の複数の特徴点に対応する第２の複数の特徴点を抽出する抽出部と、
前記第１の複数の特徴点の位置と前記第１の複数の特徴点に対応する前記第２の複数の特徴点の位置との間の、位置の変位量をそれぞれ算出する算出部と、
それぞれの前記位置の変位量の違いに基づいて、前記撮像装置に対する前記対象物の移動方向を判定する判定部と
を有することを特徴とする移動方向判定装置。
（付記２）
前記判定部は、
前記第１の撮像画像の画像中心線からの前記第１の複数の特徴点の位置までの距離と、前記位置の変位量とに基づいて、前記撮像装置に対する前記対象物の移動方向を判定することを特徴とする付記１に記載の移動方向判定装置。
（付記３）
前記判定部は、
前記第１の撮像画像の画像中心線からの前記第１の複数の特徴点の位置までの距離と、前記位置の変位量とに基づいて、前記対象物が、前記撮像装置に対して接近しているか否かを判定することを特徴とする付記１に記載の移動方向判定装置。
（付記４）
前記判定部は、
前記第１の撮像画像の画像中心線からの前記第１の複数の特徴点の位置までの距離と、前記位置の変位量とに基づいて、前記対象物が、前記撮像装置に接近する方向に移動しているのか、前記撮像装置の撮像方向に略平行な方向に移動しているのかを判定することを特徴とする付記１に記載の移動方向判定装置。
（付記５）
前記判定部は、
前記第１の撮像画像の画像中心線からの前記第１の複数の特徴点の位置までの距離と、前記位置の変位量との関係を解析し、前記距離に応じて、前記位置の変位量が小さくなるか大きくなるかを判別することで、前記撮像装置に対する前記対象物の移動方向を判定することを特徴とする付記２に記載の移動方向判定装置。
（付記６）
前記判定部は、
前記第１の複数の特徴点のうち、前記第１の撮像画像の画像中心線からの距離が異なる２つの特徴点について、それぞれの前記位置の変位量の大小関係を判別することで、前記撮像装置に対する前記対象物の移動方向を判定することを特徴とする付記２に記載の移動方向判定装置。
（付記７）
前記判定部は、
前記第１の撮像画像の画像中心線からの前記第１の複数の特徴点の位置までの距離に基づいて、前記第１の複数の特徴点を２つのグループに分類し、第１のグループに属する特徴点それぞれの前記位置の変位量の平均値と、第２のグループに属する特徴点それぞれの前記位置の変位量の平均値との大小関係を判別することで、前記撮像装置に対する前記対象物の移動方向を判定することを特徴とする付記２に記載の移動方向判定装置。
（付記８）
前記算出部は、前記第１の撮像画像における横方向の位置の変位量を算出することを特徴とする付記１乃至７のいずれかの付記に記載の移動方向判定装置。
（付記９）
対象物を撮像する撮像装置と、
前記撮像装置に対する前記対象物の移動方向を判定する移動方向判定装置と、を有する移動方向判定システムであって、
前記撮像装置が撮像した第１の撮像画像から、画像内の前記対象物の第１の複数の特徴点を抽出し、前記第１の撮像画像よりも後の時間に前記撮像装置が撮像した第２の撮像画像から、前記第１の複数の特徴点に対応する第２の複数の特徴点を抽出する抽出部と、
前記第１の複数の特徴点の位置と前記第１の複数の特徴点に対応する前記第２の複数の特徴点の位置との間の、位置の変位量をそれぞれ算出する算出部と、
それぞれの前記位置の変位量の違いに基づいて、前記撮像装置に対する前記対象物の移動方向を判定する判定部と
を有することを特徴とする移動方向判定システム。
（付記１０）
撮像装置に対する対象物の移動方向を判定するコンピュータに、
前記撮像装置が撮像した第１の撮像画像から、画像内の前記対象物の第１の複数の特徴点を抽出し、
前記第１の撮像画像よりも後の時間に前記撮像装置が撮像した第２の撮像画像から、前記第１の複数の特徴点に対応する第２の複数の特徴点を抽出し、
前記第１の複数の特徴点の位置と前記第１の複数の特徴点に対応する前記第２の複数の特徴点の位置との間の、位置の変位量をそれぞれ算出し、
それぞれの前記位置の変位量の違いに基づいて、前記撮像装置に対する前記対象物の移動方向を判定する、
処理を実行させるための移動方向判定プログラム。
（付記１１）
撮像装置に対する対象物の移動方向を判定する移動方向判定方法であって、
前記撮像装置が撮像した第１の撮像画像から、画像内の前記対象物の第１の複数の特徴点を抽出し、
前記第１の撮像画像よりも後の時間に前記撮像装置が撮像した第２の撮像画像から、前記第１の複数の特徴点に対応する第２の複数の特徴点を抽出し、
前記第１の複数の特徴点の位置と前記第１の複数の特徴点に対応する前記第２の複数の特徴点の位置との間の、位置の変位量をそれぞれ算出し、
それぞれの前記位置の変位量の違いに基づいて、前記撮像装置に対する前記対象物の移動方向を判定する、
処理をコンピュータが実行することを特徴とする移動方向判定方法。
【０１５６】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１５７】
１００              ：移動方向判定システム
１１０、１１１      ：撮像装置
１２０              ：移動方向判定装置
１３０              ：車両
２２０              ：撮像方向
３１０              ：画像中心線
７００              ：他車両
７０１、７０２      ：第１の特徴点
７１１、７１２      ：第２の特徴点
９００              ：他車両
９０１、９０２      ：第１の特徴点
９１１、９１２      ：第２の特徴点
１３２１            ：特徴点算出部
１３２２            ：オプティカルフロー算出部
１３２３            ：同一対象物判定部
１３２４            ：オプティカルフロー比較部
１５１０            ：撮像画像
１５１１〜１５１８  ：特徴点
１５２０            ：撮像画像
１５２１〜１５２８  ：特徴点
【図１】
2017162184.tif 000003
【図２】
2017162184.tif 000004
【図３】
2017162184.tif 000005
【図４】
2017162184.tif 000006
【図５】
2017162184.tif 000007
【図６】
2017162184.tif 000008
【図７】
2017162184.tif 000009
【図８】
2017162184.tif 000010
【図９】
2017162184.tif 000011
【図１０】
2017162184.tif 000012
【図１１】
2017162184.tif 000013
【図１２】
2017162184.tif 000014
【図１３】
2017162184.tif 000015
【図１４】
2017162184.tif 000016
【図１５】
2017162184.tif 000017
【図１６】
2017162184.tif 000018
【図１７】
2017162184.tif 000019
【図１８】
2017162184.tif 000020