(57)【要約】  移動体検出装置（１０）は、車両（４０）に搭載され、車両（４０）の進行方向を撮影することで、撮影画像を取得する撮影部（２０）と、撮影画像の単位領域毎に、単位領域の画像の動きを示す動きベクトルを算出する算出部（３４）と、撮影画像内における静止物の車両（４０）の進行による動きが生じない点である動き消失点と、算出部（３４）によって算出された動きベクトルとに基づいて、進行方向に存在する移動体を検出する検出部（３８）とを備える。
2016151976.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、当該車両の進行方向を撮影することで、撮影画像を取得する撮影部と、
前記撮影画像の単位領域毎に、前記単位領域の画像の動きを示す第１動きベクトルを算出する算出部と、
前記撮影画像内における静止物の前記車両の進行による動きが生じない点である動き消失点と、前記算出部によって算出された第１動きベクトルとに基づいて、前記進行方向に存在する移動体を検出する検出部とを備える
移動体検出装置。
【請求項２】
前記移動体検出装置は、さらに、前記動き消失点を前記撮影画像のフレーム毎に設定する設定部を備え、
前記検出部は、前記設定部によって設定された動き消失点と、前記算出部によって算出された第１動きベクトルとに基づいて、前記移動体を検出する
請求項１に記載の移動体検出装置。
【請求項３】
前記検出部は、前記単位領域毎に、前記第１動きベクトルの終点を終点とする所定の方向のベクトルであって、前記第１動きベクトルの始点と前記動き消失点とを結ぶ直線と当該ベクトルとの交点を始点とするベクトルを、前記移動体の実空間における動きを表す第２動きベクトルとして算出することで、前記移動体を検出する
請求項１又は２に記載の移動体検出装置。
【請求項４】
前記所定の方向は、前記撮影画像における左右方向である
請求項３に記載の移動体検出装置。
【請求項５】
車両の進行方向を撮影することで、撮影画像を取得する撮影ステップと、
前記撮影画像の単位領域毎に、前記単位領域の画像の動きを示す動きベクトルを算出する算出ステップと、
前記撮影画像内における静止物の前記車両の進行による動きが生じない点である動き消失点と、前記算出ステップにおいて算出された動きベクトルとに基づいて、前記進行方向に存在する移動体を検出する検出ステップとを含む
移動体検出方法。
【請求項６】
車両に搭載された撮影装置による当該車両の進行方向の撮影に取得された撮影画像の単位領域毎に、前記単位領域の画像の動きを示す動きベクトルを算出する算出部と、
前記撮影画像内における静止物の前記車両の進行による動きが生じない点である動き消失点と、前記算出部によって算出された動きベクトルとに基づいて、前記進行方向に存在する移動体を検出する検出部とを備える
画像処理装置。
【請求項７】
車両に搭載された撮影装置による当該車両の進行方向の撮影に取得された撮影画像の単位領域毎に、前記単位領域の画像の動きを示す動きベクトルを算出する算出部と、
前記撮影画像内における静止物の前記車両の進行による動きが生じない点である動き消失点と、前記算出部によって算出された動きベクトルとに基づいて、前記進行方向に存在する移動体を検出する検出部とを備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、移動体検出装置、画像処理装置及び移動体検出方法に関する。
【背景技術】
【０００２】
従来、車両の周辺に存在する歩行者などを検出し、検出結果に応じて車両を制御する技術が知られている。例えば、特許文献１には、車載の撮像装置によって取得された画像に対してパターンマッチングなどの処理を行うことで、歩行者などの物体を判別する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−５８７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、走行中の車両に搭載された車載カメラの撮影画像から移動体を検出することができる移動体検出装置、画像処理装置及び移動体検出方法を提供する。
【課題を解決するための手段】
【０００５】
本開示に係る移動体検出装置は、車両に搭載され、当該車両の進行方向を撮影することで、撮影画像を取得する撮影部と、撮影画像の単位領域毎に、単位領域の画像の動きを示す第１動きベクトルを算出する算出部と、撮影画像内における静止物の車両の進行による動きが生じない点である動き消失点と、算出部によって算出された第１動きベクトルとに基づいて、進行方向に存在する移動体を検出する検出部とを備える。
【発明の効果】
【０００６】
本開示によれば、走行中の車両に搭載された車載カメラの撮影画像から移動体を検出することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施の形態に係る移動体検出装置の機能構成を示すブロック図である。
【図２】図２は、実施の形態に係る移動体検出装置を搭載する車両を示す図である。
【図３】図３は、実施の形態に係る撮影画像を示す図である。
【図４】図４は、実施の形態に係る撮影画像に対するブロック毎の動きベクトルの算出処理を説明するための図である。
【図５】図５は、実施の形態に係る動き消失点と動きベクトルとを示す図である。
【図６】図６は、実施の形態に係る移動体の検出処理を説明するための図である。
【図７】図７は、実施の形態に係る移動体検出装置の動作（移動体検出方法）を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。つまり、以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示における技術を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１０】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００１１】
（実施の形態）
以下、図１〜図７を用いて、実施の形態に係る移動体検出装置などについて説明する。
【００１２】
［１．構成］
図１は、本実施の形態に係る移動体検出装置１０の機能構成を示すブロック図である。図２は、本実施の形態に係る移動体検出装置１０を搭載する車両４０を示す図である。移動体検出装置１０は、図１に示すように、撮影部２０と、画像処理装置３０とを備える。
【００１３】
撮影部２０は、図２に示すように、車両４０に搭載される。撮影部２０は、車両４０の進行方向を撮影することで、撮影画像を取得する。具体的には、撮影部２０は、車両４０が進行方向に移動している間（走行中）に進行方向を撮影することで、撮影画像を取得する。より具体的には、撮影部２０は、進行方向における車両４０の外界の空間、例えば、車両４０の前方の空間を撮影する。撮影画像は、複数のフレームから構成される動画像である。
【００１４】
撮影部２０は、例えば、車載カメラであり、車両４０の天井又はダッシュボードの上面などに取り付けられる。これにより、撮影部２０は、車両４０の前方を撮影する。なお、撮影部２０は、車両４０の内部ではなく、外部に取り付けられてもよい。
【００１５】
画像処理装置３０は、撮影部２０による撮影によって取得された撮影画像を用いて、車両４０の進行方向に存在する移動体を検出するための画像処理装置である。画像処理装置３０は、例えば、プログラム、メモリ及びプロセッサを含むマイクロコンピュータなどで実現される。画像処理装置３０は、例えば、撮影部２０と一体で車両４０に搭載されてもよく、あるいは、撮影部２０とは別体で車両４０に搭載されてもよい。
【００１６】
画像処理装置３０は、図１に示すように、フレームメモリ３２と、算出部３４と、設定部３６と、検出部３８とを備える。
【００１７】
フレームメモリ３２は、撮影部２０による撮影によって取得された撮影画像を記憶するためのメモリである。フレームメモリ３２は、例えば、１フレーム分の撮影画像を記憶する。フレームメモリ３２は、例えば、揮発性メモリである。
【００１８】
算出部３４は、撮影画像の単位領域毎に、当該単位領域の画像の動きを示す第１動きベクトルを算出する。第１動きベクトルは、領域の画像がどの方向にどの程度動いているかを示す動きベクトルである。単位領域は、１以上の画素の集まりからなるブロックである。ブロックは、例えば、矩形の領域であり、一例として、８×８画素の集まりからなる。
【００１９】
具体的には、算出部３４は、図３に示すように、撮影画像５０を複数のブロック５１に分割する。なお、図３は、本実施の形態に係る撮影画像５０を示す図である。本実施の形態では、算出部３４は、撮影画像５０をＭ行×Ｎ列のブロック５１に分割する。つまり、ブロック５１は、撮影画像５０が行列状に分割された単位領域である。なお、Ｍ及びＮは、２以上の自然数である。
【００２０】
図４は、本実施の形態に係る撮影画像に対するブロック毎の動きベクトルの算出処理を説明するための図である。算出部３４は、撮影画像を構成するフレーム間でブロックマッチングを行うことにより、フレーム内の各ブロック５１の第１動きベクトルを算出する。例えば、算出部３４は、図４に示すように、現フレーム５３と前フレーム５４とに対して、ブロック５１毎に、ブロック５１を構成する同じ相対位置の画素の画素値同士の絶対値誤差又は二乗誤差を算出するなどの距離関数を用いた評価を行うことで、最もマッチングしたブロックを探索する。
【００２１】
例えば、ブロックマッチングの結果、現フレーム５３におけるブロック５３ａ及びブロック５３ｂはそれぞれ、前フレーム５４におけるブロック５４ａ及びブロック５４ｂに相当する。ブロック５４ａからブロック５３ａへの移動量及び移動方向を示すベクトルが、ブロック５３ａの第１動きベクトルに相当する。ブロック５３ｂの第１動きベクトルについても同様である。
【００２２】
なお、現フレーム５３は、撮影部２０から算出部３４に入力されるフレームである。前フレーム５４は、フレームメモリ３２に保持されているフレームであり、例えば、現フレーム５３の直前のフレームである。現フレーム５３及び前フレーム５４は、例えば、撮影画像を構成する複数のフレームのうち、撮影順（入力順）で連続する２枚のフレームであるが、これに限らない。例えば、前フレーム５４は、現フレーム５３より前のフレームであればよく、複数枚前のフレームでもよい。なお、算出部３４は、前フレーム５４の代わりに、現フレーム５３より後のフレームを用いてもよい。
【００２３】
設定部３６は、移動体を検出するために用いる動き消失点を設定する。動き消失点は、撮影画像内における車両４０の進行による静止物の動きが生じない点である。具体的には、動き消失点は、観測者（ここでは、車両４０）が並進運動した際に撮影画像に生じる静止物の動きベクトルの始点方向を延長した場合に収束する点である。例えば、光軸が車両４０の接地面及び車両４０の進行方向に対して平行になるようにカメラ（撮影部２０）が設置されている場合は、車両４０が直進する際の動き消失点は、撮影画像の中心に略一致する。本実施の形態では、動き消失点は、予め定められている。例えば、設定部３６は、撮影画像の略中心を動き消失点として設定する。
【００２４】
静止物は、実空間において静止している物体である。静止物は、例えば、信号機、車両用防護柵（ガードレール）若しくは建造物などの工作物、地面（道路）又は空などの背景に相当する物体である。なお、静止物は、街路樹又は電線などの風などによって僅かに動く物体を含んでもよい。つまり、静止物は、移動量が０又は０とみなせる物体でもよい。
【００２５】
移動体は、実空間において移動している物体である。移動体は、例えば、人物若しくはペットなどの動物、又は、バイク若しくは自動車などの車両などである。なお、移動体は、ゴミ箱又は立て看板などの固定されていない物体を含んでもよい。
【００２６】
図５は、本実施の形態に係る動き消失点と動きベクトルとを示す図である。図５には、動き消失点６０と、移動体６１と、動きベクトル６２及び６３とが示されている。
【００２７】
動きベクトル６２及び６３は、算出部３４によってブロック５１毎に算出された第１動きベクトルである。動きベクトル６２は、移動体６１が存在するブロックの第１動きベクトルである。動きベクトル６３は、移動体６１が存在しないブロックの第１動きベクトルである。つまり、動きベクトル６３は、車両４０の進行によって撮影画像内に生じる静止物の動きベクトルに相当する。
【００２８】
本実施の形態では、設定部３６が、撮影画像の略中心を動き消失点６０として設定する。このとき、図５の実線の矢印で示すように、動きベクトル６２以外の複数の動きベクトル６３の始点方向は、動き消失点６０に収束する。言い換えると、静止物の動きベクトルは、動き消失点６０を中心に放射状に広がるように分布する。
【００２９】
このように、静止物の動きベクトル（動きベクトル６３）の始点方向は、動き消失点６０に収束する一方で、移動体６１が存在するブロックの動きベクトル（動きベクトル６２）の始点方向は、動き消失点６０には収束しない。したがって、動きベクトルの始点方向が動き消失点６０に収束するか否かを判定することで、移動体６１が存在するブロックを検出することができる。
【００３０】
検出部３８は、動き消失点と、算出部３４によって算出された第１動きベクトルとに基づいて、進行方向に存在する移動体を検出する。具体的には、検出部３８は、設定部３６によって設定された動き消失点と、算出部３４によって算出された第１動きベクトルとに基づいて、移動体を検出する。
【００３１】
例えば、検出部３８は、動き消失点と第１動きベクトルの始点とを通る直線と、第１動きベクトルの終点とを用いて、移動体の実空間における動きを表す第２動きベクトルを算出することで、移動体を検出する。具体的には、検出部３８は、ブロック５１毎に、第１動きベクトルの終点を終点とする所定の方向のベクトルであって、第１動きベクトルの始点と動き消失点とを結ぶ直線と当該ベクトルとの交点を始点とするベクトルを、第２動きベクトルとして算出する。具体的には、所定の方向は、撮影画像における左右方向である。より具体的には、所定の方向は、実空間における水平方向（左右方向）に相当する。例えば、第２動きベクトルは、図６に示す動きベクトル６４である。
【００３２】
図６は、本実施の形態に係る移動体６１の検出処理を説明するための図である。図６において、移動体６１ａは、時刻ｔのとき（現フレーム５３）の移動体６１の位置を示している。移動体６１ｂは、時刻ｔ−１のとき（前フレーム５４）の移動体６１の位置を示している。ここでは、移動体６１ａが存在するブロックにおける移動体６１の第２動きベクトルを算出する方法について説明する。
【００３３】
撮影画像には、水平方向及び垂直方向の各々に、ｘ軸及びｙ軸が設定される。撮影画像のブロック（又は、画素）は、ｘ座標及びｙ座標を用いて表される。例えば、動き消失点の座標は、（ｘｖ，ｙｖ）で表される。
【００３４】
まず、検出部３８は、移動体６１ａのブロックの動きベクトル６２（第１動きベクトル）の始点を算出する。当該始点は、移動体６１ｂのブロックの位置、すなわち、前フレーム５４における移動体６１が存在するブロックの位置に相当する。ここでは、第１動きベクトル６２の始点の座標を、（ｘｔ−１，ｙｔ−１）で表す。
【００３５】
次に、検出部３８は、動き消失点６０と動きベクトル６２の始点とを通る直線６５を表す式を算出する。例えば、直線６５は、（式１）ｙ＝ｐｘ＋ｑで表されるので、動き消失点６０の座標（ｘｖ，ｙｖ）と始点の座標（ｘｔ−１，ｙｔ−１）とを（式１）に代入することで、係数ｐ及び係数ｑが算出される。
【００３６】
次に、検出部３８は、係数ｐ及び係数ｑが算出された（式１）に、第１動きベクトル６２の終点のｙ座標ｙｔを代入することで、直線６５上の所定点６６のｘ座標ｘｔ’を算出する。検出部３８は、所定点６６を始点とし、動きベクトル６２の終点を終点とする動きベクトル６４を、移動体６１の実空間における動きを表す第２動きベクトルとして算出する。
【００３７】
ここで、所定点６６のｙ座標と動きベクトル６２の終点のｙ座標とが同じであるので、動きベクトル６４の方向は、Ｘ軸方向に平行、すなわち、撮影画像における左右方向に一致する。動きベクトル６４の大きさ、すなわち、動きベクトル６２の終点のｘ座標と所定点６６のｘ座標との差（絶対値）が、移動体６１の移動量に相当する。つまり、本実施の形態によれば、移動体６１の実空間における左右方向への移動量を算出することができる。
【００３８】
なお、静止物の場合は、動きベクトル６２と直線６５とが一致するので、動きベクトル６２の終点のｘ座標と所定点６６のｘ座標との差（絶対値）が、０になる。すなわち、動きベクトル６４の大きさが０になる。
【００３９】
例えば、検出部３８は、動きベクトル６４（第２動きベクトル）の大きさが所定の閾値より大きい場合に、対応するブロックに移動体６１が存在すると判定する。検出部３８は、当該判定をブロック５１毎に行うことで、撮影画像内において移動体が存在するブロック５１を検出することができる。つまり、検出部３８は、実空間において、検出したブロック５１に相当する領域に存在する移動体を検出する。
【００４０】
所定の閾値は、例えば、撮影画像の全領域において固定の値でもよく、あるいは、ブロック５１の位置に応じて異なる値でもよい。例えば、撮影画像の中央近傍に近いブロック５１には、小さな値の閾値を用い、撮影画像の中央から離れたブロック５１には、大きな値の閾値を用いてもよい。
【００４１】
第２動きベクトルの大きさが閾値より大きい場合は、移動体６１が車両４０の進行方向（すなわち、車両４０が進む領域）に入ろうとしている、すなわち、危険であることを意味する。したがって、検出部３８が移動体６１を検出することで、車両４０に対する危険を察知することができる。これにより、例えば、危険を回避するための制御を行うことができる。
【００４２】
本実施の形態では、検出部３８は、移動体を検出した場合に検出信号を出力する。検出信号は、具体的には、車両４０のブレーキ制御部又は報知部などに出力される。例えば、ブレーキ制御部は、検出信号に基づいて車両４０を減速させる。例えば、報知部は、検出信号に基づいて警告音などを発する、又は、警告表示を行うことで、運転者又は移動体（例えば、飛び出してきた子供）に危険を知らせる。これにより、危険を回避させるなどの運転支援を行うことができる。
【００４３】
［２．動作（移動体検出方法）］
図７は、本実施の形態に係る移動体検出装置１０の動作（移動体検出方法）を示すフローチャートである。
【００４４】
まず、撮影部２０が、車両４０の進行方向を撮影することにより、撮影画像（動画像）を取得する（Ｓ１０：撮影ステップ）。撮影画像は、例えば、１フレーム毎にフレームメモリ３２に格納され、かつ、算出部３４に入力される。
【００４５】
次に、算出部３４は、撮影画像のブロック５１毎に、ブロック５１の画像の動きを示す第１動きベクトルを算出する（Ｓ１２：算出ステップ）。具体的には、算出部３４は、撮影部２０から入力される現フレーム５３と、フレームメモリ３２から読み出した前フレーム５４とを用いて、ブロック５１毎に、ブロックマッチングを行うことで第１動きベクトルを算出する。
【００４６】
次に、設定部３６は、動き消失点を設定する（Ｓ１４：設定ステップ）。なお、本実施の形態では、動き消失点は固定点であるので、当該設定を省略してもよい。
【００４７】
次に、検出部３８は、動き消失点と、算出ステップで算出された第１動きベクトルとに基づいて、進行方向に存在する移動体を検出する（Ｓ１６：検出ステップ）。具体的には、検出部３８は、図６を用いて説明したように、ブロック５１毎に、動き消失点６０を通る直線６５と、第１動きベクトル（動きベクトル６２）とに基づいて、移動体の実空間における動きを表す第２動きベクトルを算出する。検出部３８は、ブロック５１毎に算出された第２動きベクトルの大きさに基づいて、対応するブロックに移動体が存在するか否かを判定する。例えば、検出部３８は、第２動きベクトルの大きさが所定の閾値より大きい場合に、対応するブロックに移動体が存在すると判定する。
【００４８】
これにより、例えば、図６に示すように、車両４０の進行方向に向かって移動してきている移動体６１を検出することができる。よって、例えば、子供の飛び出しなどを検出することができ、危険を判定することができる。
【００４９】
［３．効果など］
以上のように、本実施の形態に係る移動体検出装置１０は、車両４０に搭載され、車両４０の進行方向を撮影することで、撮影画像を取得する撮影部２０と、撮影画像のブロック毎に、ブロックの画像の動きを示す第１動きベクトルを算出する算出部３４と、撮影画像内における静止物の車両４０の進行による動きが生じない点である動き消失点と、算出部３４によって算出された第１動きベクトルとに基づいて、進行方向に存在する移動体を検出する検出部３８とを備える。
【００５０】
従来は、車両の走行環境によっては、撮影画像から移動体が検出できない場合がある。例えば、移動体が自車と並走している場合、又は、移動体が自車に対して直交する方向に移動している場合は、自車に対する移動体の動きベクトルが０になるので、移動体として認識できない。
【００５１】
これに対して、本実施の形態に係る移動体検出装置１０によれば、動き消失点と、撮影画像のブロック毎の動きベクトルとを用いるので、走行中の車両４０において撮影画像から移動体を検出することができる。つまり、撮影画像の動きベクトルから、動き消失点に基づいて推定された静止物の動きベクトル成分を取り除くことで、移動体の動きベクトルを算出することができる。これにより、車両４０の進行方向に存在する移動体を精度良く検出することができる。
【００５２】
また、例えば、本実施の形態では、検出部３８は、ブロック毎に、第１動きベクトルの終点を終点とする所定の方向のベクトルであって、第１動きベクトルの始点と動き消失点とを結ぶ直線と当該ベクトルとの交点を始点とするベクトルを、移動体の実空間における動きを表す第２動きベクトルとして算出することで、移動体を検出する。
【００５３】
これにより、第２動きベクトルを精度良く検出することができるので、移動体の検出精度をより高めることができる。
【００５４】
また、例えば、本実施の形態では、所定の方向は、撮影画像における左右方向である。
【００５５】
これにより、実空間において進行方向に対して左右方向に移動する移動体を検出することができる。例えば、路肩から飛び出してくる子供などを検出することができるので、車両４０に対する危険を察知することができる。したがって、例えば、危険を回避するための制御を行うことができる。
【００５６】
また、本実施の形態に係る移動体検出方法は、車両４０の進行方向を撮影することで、撮影画像を取得する撮影ステップと、撮影画像のブロック毎に、ブロックの画像の動きを示す動きベクトルを算出する算出ステップと、撮影画像内における静止物の車両４０の進行による動きが生じない点である動き消失点と、算出ステップにおいて算出された動きベクトルとに基づいて、進行方向に存在する移動体を検出する検出ステップとを含む。
【００５７】
これにより、走行中の車両４０に搭載された車載カメラの撮影画像から移動体を検出することができる。
【００５８】
また、本実施の形態に係る画像処理装置又は集積回路は、車両４０に搭載された撮影装置による車両４０の進行方向の撮影に取得された撮影画像のブロック毎に、ブロックの画像の動きを示す動きベクトルを算出する算出部３４と、撮影画像内における静止物の車両４０の進行による動きが生じない点である動き消失点と、算出部３４によって算出された動きベクトルとに基づいて、進行方向に存在する移動体を検出する検出部３８とを備える。
【００５９】
これにより、走行中の車両４０に搭載された車載カメラの撮影画像から移動体を検出することができる。
【００６０】
［４．変形例］
本実施の形態では、設定部３６が、予め定められた動き消失点を設定する、すなわち、動き消失点が固定点である例について示したが、これに限らない。動き消失点は、車両４０の走行状態に応じて変化する。
【００６１】
例えば、車両４０が前方に真っ直ぐ進んでいる場合は、動き消失点は、撮影画像の中心に略一致する。車両４０が右カーブに沿って進んでいる場合は、動き消失点は、撮影画像の中心より右寄りに位置する。車両４０が左カーブに沿って進んでいる場合は、動き消失点は、撮影画像の中心より左寄りに位置する。なお、動き消失点は、撮影画像外に存在する場合もある。
【００６２】
具体的には、設定部３６は、動き消失点を撮影画像のフレーム毎に設定してもよい。例えば、設定部３６は、撮影画像から複数の静止物の動きベクトルを推定し、推定した複数の動きベクトルの始点方向が収束する点を動き消失点として設定してもよい。
【００６３】
静止物の動きベクトルとは、車両４０の進行によって撮影画像内に生じる静止物の動きを示すベクトルである。静止物の動きベクトルは、例えば、撮影画像には静止物が支配的に占められるとみなしたロバスト推定に基づいて推定される。ロバスト推定としては、例えば、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）法を用いることができる。これにより、撮影画像内の移動体を除去しながら静止物の動きベクトルを推定することができる。
【００６４】
このように、例えば、本変形例では、移動体検出装置１０は、動き消失点を撮影画像のフレーム毎に設定する設定部３６を備え、検出部３８は、設定部３６によって設定された動き消失点と、算出部３４によって算出された第１動きベクトルとに基づいて、移動体を検出する。
【００６５】
これにより、動き消失点をフレーム毎に設定するので、動き消失点の精度を高めることができる。したがって、移動体の検出精度をより高めることができる。
【００６６】
なお、本開示における技術は、移動体検出装置、画像処理装置及び移動体検出方法として実現できるだけでなく、移動体検出方法又は画像処理方法をステップとして含むプログラム、及び、そのプログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などの記録媒体として実現することもできる。
【００６７】
つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００６８】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【００６９】
そこで、以下では、他の実施の形態を例示する。
【００７０】
例えば、上記実施の形態では、算出部３４が２枚の撮影画像を用いて動きベクトルを算出する例について示したが、これに限らない。例えば、算出部３４は、３枚以上の撮影画像を用いて動きベクトルを算出してもよい。これにより、より高精度な動きベクトルを算出することができるので、移動体の検出精度を高めることができる。なお、このとき、例えば、画像処理装置３０が、複数のフレームメモリ３２を備えればよい。あるいは、フレームメモリ３２は、２フレーム以上の撮影画像を記憶してもよい。
【００７１】
また、例えば、上記実施の形態では、第２動きベクトルの方向が撮影画像の左右方向である例について示したが、これに限らない。具体的には、検出部３８は、所定点６６の座標を算出する際に、動きベクトル６２（第１動きベクトル）の終点のｙ座標を代入したが、動きベクトル６２の終点を通る所定の直線と直線６５との交点を所定点６６として算出してもよい。
【００７２】
また、例えば、上記実施の形態では、車両４０の進行方向が車両４０の前方である場合について示したが、車両４０の進行方向は、車両４０の後方でもよい。すなわち、車両４０は、後方に進行（バック）してもよく、このとき、撮影部２０は、車両４０の後方を撮影してもよい。例えば、撮影部２０が撮影方向を変更することができてもよく、あるいは、後方を撮影する別の撮影部が車両４０に取り付けられていてもよい。
【００７３】
また、例えば、上記実施の形態では、画像処理装置３０が車両４０に搭載された例について示したが、これに限らない。画像処理装置３０は、車両４０とは別体のサーバ装置などであって、車両４０に搭載された撮影部２０（車載カメラ）などからネットワークを介して撮影画像を取得してもよい。あるいは、画像処理装置３０は、車載カメラによって撮影され記録媒体などに記録された撮影画像を、記録媒体などから読み出すことで取得してもよい。
【００７４】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
【００７５】
したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７６】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７７】
本開示に係る移動体検出装置、画像処理装置及び移動体検出方法は、例えば、車載カメラなどに利用することができる。
【符号の説明】
【００７８】
１０  移動体検出装置
２０  撮影部
３０  画像処理装置
３２  フレームメモリ
３４  算出部
３６  設定部
３８  検出部
４０  車両
５０  撮影画像
５１、５３ａ、５３ｂ、５４ａ、５４ｂ  ブロック
５３  現フレーム
５４  前フレーム
６０  動き消失点
６１、６１ａ、６１ｂ  移動体
６２、６３、６４  動きベクトル
６５  直線
６６  所定点
【図１】
2016151976.tif 000003
【図２】
2016151976.tif 000004
【図３】
2016151976.tif 000005
【図４】
2016151976.tif 000006
【図５】
2016151976.tif 000007
【図６】
2016151976.tif 000008
【図７】
2016151976.tif 000009
【手続補正書】
【提出日】平成29年5月30日(2017.5.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、移動体検出装置、画像処理装置及び移動体検出方法に関する。
【背景技術】
【０００２】
従来、車両の周辺に存在する歩行者などを検出し、検出結果に応じて車両を制御する技術が知られている。例えば、特許文献１には、車載の撮像装置によって取得された画像に対してパターンマッチングなどの処理を行うことで、歩行者などの物体を判別する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−５８７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、走行中の車両に搭載された車載カメラの撮影画像から移動体を検出することができる移動体検出装置、画像処理装置及び移動体検出方法を提供する。
【課題を解決するための手段】
【０００５】
本開示に係る移動体検出装置は、車両に搭載され、当該車両の進行方向を撮影することで、撮影画像を取得する撮影部と、撮影画像の単位領域毎に、単位領域の画像の動きを示す第１動きベクトルを算出する算出部と、撮影画像内における静止物の車両の進行による動きが生じない点である動き消失点と、算出部によって算出された第１動きベクトルとに基づいて、進行方向に存在する移動体を検出する検出部とを備える。
【発明の効果】
【０００６】
本開示によれば、走行中の車両に搭載された車載カメラの撮影画像から移動体を検出することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施の形態に係る移動体検出装置の機能構成を示すブロック図である。
【図２】図２は、実施の形態に係る移動体検出装置を搭載する車両を示す図である。
【図３】図３は、実施の形態に係る撮影画像を示す図である。
【図４】図４は、実施の形態に係る撮影画像に対するブロック毎の動きベクトルの算出処理を説明するための図である。
【図５】図５は、実施の形態に係る動き消失点と動きベクトルとを示す図である。
【図６】図６は、実施の形態に係る移動体の検出処理を説明するための図である。
【図７】図７は、実施の形態に係る移動体検出装置の動作（移動体検出方法）を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。つまり、以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示における技術を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１０】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００１１】
（実施の形態）
以下、図１〜図７を用いて、実施の形態に係る移動体検出装置などについて説明する。
【００１２】
［１．構成］
図１は、本実施の形態に係る移動体検出装置１０の機能構成を示すブロック図である。図２は、本実施の形態に係る移動体検出装置１０を搭載する車両４０を示す図である。移動体検出装置１０は、図１に示すように、撮影部２０と、画像処理装置３０とを備える。
【００１３】
撮影部２０は、図２に示すように、車両４０に搭載される。撮影部２０は、車両４０の進行方向を撮影することで、撮影画像を取得する。具体的には、撮影部２０は、車両４０が進行方向に移動している間（走行中）に進行方向を撮影することで、撮影画像を取得する。より具体的には、撮影部２０は、進行方向における車両４０の外界の空間、例えば、車両４０の前方の空間を撮影する。撮影画像は、複数のフレームから構成される動画像である。
【００１４】
撮影部２０は、例えば、車載カメラであり、車両４０の天井又はダッシュボードの上面などに取り付けられる。これにより、撮影部２０は、車両４０の前方を撮影する。なお、撮影部２０は、車両４０の内部ではなく、外部に取り付けられてもよい。
【００１５】
画像処理装置３０は、撮影部２０による撮影によって取得された撮影画像を用いて、車両４０の進行方向に存在する移動体を検出するための画像処理装置である。画像処理装置３０は、例えば、プログラム、メモリ及びプロセッサを含むマイクロコンピュータなどで実現される。画像処理装置３０は、例えば、撮影部２０と一体で車両４０に搭載されてもよく、あるいは、撮影部２０とは別体で車両４０に搭載されてもよい。
【００１６】
画像処理装置３０は、図１に示すように、フレームメモリ３２と、算出部３４と、設定部３６と、検出部３８とを備える。
【００１７】
フレームメモリ３２は、撮影部２０による撮影によって取得された撮影画像を記憶するためのメモリである。フレームメモリ３２は、例えば、１フレーム分の撮影画像を記憶する。フレームメモリ３２は、例えば、揮発性メモリである。
【００１８】
算出部３４は、撮影画像の単位領域毎に、当該単位領域の画像の動きを示す第１動きベクトルを算出する。第１動きベクトルは、領域の画像がどの方向にどの程度動いているかを示す動きベクトルである。単位領域は、１以上の画素の集まりからなるブロックである。ブロックは、例えば、矩形の領域であり、一例として、８×８画素の集まりからなる。
【００１９】
具体的には、算出部３４は、図３に示すように、撮影画像５０を複数のブロック５１に分割する。なお、図３は、本実施の形態に係る撮影画像５０を示す図である。本実施の形態では、算出部３４は、撮影画像５０をＭ行×Ｎ列のブロック５１に分割する。つまり、ブロック５１は、撮影画像５０が行列状に分割された単位領域である。なお、Ｍ及びＮは、２以上の自然数である。
【００２０】
図４は、本実施の形態に係る撮影画像に対するブロック毎の動きベクトルの算出処理を説明するための図である。算出部３４は、撮影画像を構成するフレーム間でブロックマッチングを行うことにより、フレーム内の各ブロック５１の第１動きベクトルを算出する。例えば、算出部３４は、図４に示すように、現フレーム５３と前フレーム５４とに対して、ブロック５１毎に、ブロック５１を構成する同じ相対位置の画素の画素値同士の絶対値誤差又は二乗誤差を算出するなどの距離関数を用いた評価を行うことで、最もマッチングしたブロックを探索する。
【００２１】
例えば、ブロックマッチングの結果、現フレーム５３におけるブロック５３ａ及びブロック５３ｂはそれぞれ、前フレーム５４におけるブロック５４ａ及びブロック５４ｂに相当する。ブロック５４ａからブロック５３ａへの移動量及び移動方向を示すベクトルが、ブロック５３ａの第１動きベクトルに相当する。ブロック５３ｂの第１動きベクトルについても同様である。
【００２２】
なお、現フレーム５３は、撮影部２０から算出部３４に入力されるフレームである。前フレーム５４は、フレームメモリ３２に保持されているフレームであり、例えば、現フレーム５３の直前のフレームである。現フレーム５３及び前フレーム５４は、例えば、撮影画像を構成する複数のフレームのうち、撮影順（入力順）で連続する２枚のフレームであるが、これに限らない。例えば、前フレーム５４は、現フレーム５３より前のフレームであればよく、複数枚前のフレームでもよい。なお、算出部３４は、前フレーム５４の代わりに、現フレーム５３より後のフレームを用いてもよい。
【００２３】
設定部３６は、移動体を検出するために用いる動き消失点を設定する。動き消失点は、撮影画像内における車両４０の進行による静止物の動きが生じない点である。具体的には、動き消失点は、観測者（ここでは、車両４０）が並進運動した際に撮影画像に生じる静止物の動きベクトルの始点方向を延長した場合に収束する点である。例えば、光軸が車両４０の接地面及び車両４０の進行方向に対して平行になるようにカメラ（撮影部２０）が設置されている場合は、車両４０が直進する際の動き消失点は、撮影画像の中心に略一致する。本実施の形態では、動き消失点は、予め定められている。例えば、設定部３６は、撮影画像の略中心を動き消失点として設定する。
【００２４】
静止物は、実空間において静止している物体である。静止物は、例えば、信号機、車両用防護柵（ガードレール）若しくは建造物などの工作物、地面（道路）又は空などの背景に相当する物体である。なお、静止物は、街路樹又は電線などの風などによって僅かに動く物体を含んでもよい。つまり、静止物は、移動量が０又は０とみなせる物体でもよい。
【００２５】
移動体は、実空間において移動している物体である。移動体は、例えば、人物若しくはペットなどの動物、又は、バイク若しくは自動車などの車両などである。なお、移動体は、ゴミ箱又は立て看板などの固定されていない物体を含んでもよい。
【００２６】
図５は、本実施の形態に係る動き消失点と動きベクトルとを示す図である。図５には、動き消失点６０と、移動体６１と、動きベクトル６２及び６３とが示されている。
【００２７】
動きベクトル６２及び６３は、算出部３４によってブロック５１毎に算出された第１動きベクトルである。動きベクトル６２は、移動体６１が存在するブロックの第１動きベクトルである。動きベクトル６３は、移動体６１が存在しないブロックの第１動きベクトルである。つまり、動きベクトル６３は、車両４０の進行によって撮影画像内に生じる静止物の動きベクトルに相当する。
【００２８】
本実施の形態では、設定部３６が、撮影画像の略中心を動き消失点６０として設定する。このとき、図５の実線の矢印で示すように、動きベクトル６２以外の複数の動きベクトル６３の始点方向は、動き消失点６０に収束する。言い換えると、静止物の動きベクトルは、動き消失点６０を中心に放射状に広がるように分布する。
【００２９】
このように、静止物の動きベクトル（動きベクトル６３）の始点方向は、動き消失点６０に収束する一方で、移動体６１が存在するブロックの動きベクトル（動きベクトル６２）の始点方向は、動き消失点６０には収束しない。したがって、動きベクトルの始点方向が動き消失点６０に収束するか否かを判定することで、移動体６１が存在するブロックを検出することができる。
【００３０】
検出部３８は、動き消失点と、算出部３４によって算出された第１動きベクトルとに基づいて、進行方向に存在する移動体を検出する。具体的には、検出部３８は、設定部３６によって設定された動き消失点と、算出部３４によって算出された第１動きベクトルとに基づいて、移動体を検出する。
【００３１】
例えば、検出部３８は、動き消失点と第１動きベクトルの始点とを通る直線と、第１動きベクトルの終点とを用いて、移動体の実空間における動きを表す第２動きベクトルを算出することで、移動体を検出する。具体的には、検出部３８は、ブロック５１毎に、第１動きベクトルの終点を終点とする所定の方向のベクトルであって、第１動きベクトルの始点と動き消失点とを結ぶ直線と当該ベクトルとの交点を始点とするベクトルを、第２動きベクトルとして算出する。具体的には、所定の方向は、撮影画像における左右方向である。より具体的には、所定の方向は、実空間における水平方向（左右方向）に相当する。例えば、第２動きベクトルは、図６に示す動きベクトル６４である。
【００３２】
図６は、本実施の形態に係る移動体６１の検出処理を説明するための図である。図６において、移動体６１ａは、時刻ｔのとき（現フレーム５３）の移動体６１の位置を示している。移動体６１ｂは、時刻ｔ−１のとき（前フレーム５４）の移動体６１の位置を示している。ここでは、移動体６１ａが存在するブロックにおける移動体６１の第２動きベクトルを算出する方法について説明する。
【００３３】
撮影画像には、水平方向及び垂直方向の各々に、ｘ軸及びｙ軸が設定される。撮影画像のブロック（又は、画素）は、ｘ座標及びｙ座標を用いて表される。例えば、動き消失点の座標は、（ｘｖ，ｙｖ）で表される。
【００３４】
まず、検出部３８は、移動体６１ａのブロックの動きベクトル６２（第１動きベクトル）の始点を算出する。当該始点は、移動体６１ｂのブロックの位置、すなわち、前フレーム５４における移動体６１が存在するブロックの位置に相当する。ここでは、第１動きベクトル６２の始点の座標を、（ｘｔ−１，ｙｔ−１）で表す。
【００３５】
次に、検出部３８は、動き消失点６０と動きベクトル６２の始点とを通る直線６５を表す式を算出する。例えば、直線６５は、（式１）ｙ＝ｐｘ＋ｑで表されるので、動き消失点６０の座標（ｘｖ，ｙｖ）と始点の座標（ｘｔ−１，ｙｔ−１）とを（式１）に代入することで、係数ｐ及び係数ｑが算出される。
【００３６】
次に、検出部３８は、係数ｐ及び係数ｑが算出された（式１）に、第１動きベクトル６２の終点のｙ座標ｙｔを代入することで、直線６５上の所定点６６のｘ座標ｘｔ’を算出する。検出部３８は、所定点６６を始点とし、動きベクトル６２の終点を終点とする動きベクトル６４を、移動体６１の実空間における動きを表す第２動きベクトルとして算出する。
【００３７】
ここで、所定点６６のｙ座標と動きベクトル６２の終点のｙ座標とが同じであるので、動きベクトル６４の方向は、Ｘ軸方向に平行、すなわち、撮影画像における左右方向に一致する。動きベクトル６４の大きさ、すなわち、動きベクトル６２の終点のｘ座標と所定点６６のｘ座標との差（絶対値）が、移動体６１の移動量に相当する。つまり、本実施の形態によれば、移動体６１の実空間における左右方向への移動量を算出することができる。
【００３８】
なお、静止物の場合は、動きベクトル６２と直線６５とが一致するので、動きベクトル６２の終点のｘ座標と所定点６６のｘ座標との差（絶対値）が、０になる。すなわち、動きベクトル６４の大きさが０になる。
【００３９】
例えば、検出部３８は、動きベクトル６４（第２動きベクトル）の大きさが所定の閾値より大きい場合に、対応するブロックに移動体６１が存在すると判定する。検出部３８は、当該判定をブロック５１毎に行うことで、撮影画像内において移動体が存在するブロック５１を検出することができる。つまり、検出部３８は、実空間において、検出したブロック５１に相当する領域に存在する移動体を検出する。
【００４０】
所定の閾値は、例えば、撮影画像の全領域において固定の値でもよく、あるいは、ブロック５１の位置に応じて異なる値でもよい。例えば、撮影画像の中央近傍に近いブロック５１には、小さな値の閾値を用い、撮影画像の中央から離れたブロック５１には、大きな値の閾値を用いてもよい。
【００４１】
第２動きベクトルの大きさが閾値より大きい場合は、移動体６１が車両４０の進行方向（すなわち、車両４０が進む領域）に入ろうとしている、すなわち、危険であることを意味する。したがって、検出部３８が移動体６１を検出することで、車両４０に対する危険を察知することができる。これにより、例えば、危険を回避するための制御を行うことができる。
【００４２】
本実施の形態では、検出部３８は、移動体を検出した場合に検出信号を出力する。検出信号は、具体的には、車両４０のブレーキ制御部又は報知部などに出力される。例えば、ブレーキ制御部は、検出信号に基づいて車両４０を減速させる。例えば、報知部は、検出信号に基づいて警告音などを発する、又は、警告表示を行うことで、運転者又は移動体（例えば、飛び出してきた子供）に危険を知らせる。これにより、危険を回避させるなどの運転支援を行うことができる。
【００４３】
［２．動作（移動体検出方法）］
図７は、本実施の形態に係る移動体検出装置１０の動作（移動体検出方法）を示すフローチャートである。
【００４４】
まず、撮影部２０が、車両４０の進行方向を撮影することにより、撮影画像（動画像）を取得する（Ｓ１０：撮影ステップ）。撮影画像は、例えば、１フレーム毎にフレームメモリ３２に格納され、かつ、算出部３４に入力される。
【００４５】
次に、算出部３４は、撮影画像のブロック５１毎に、ブロック５１の画像の動きを示す第１動きベクトルを算出する（Ｓ１２：算出ステップ）。具体的には、算出部３４は、撮影部２０から入力される現フレーム５３と、フレームメモリ３２から読み出した前フレーム５４とを用いて、ブロック５１毎に、ブロックマッチングを行うことで第１動きベクトルを算出する。
【００４６】
次に、設定部３６は、動き消失点を設定する（Ｓ１４：設定ステップ）。なお、本実施の形態では、動き消失点は固定点であるので、当該設定を省略してもよい。
【００４７】
次に、検出部３８は、動き消失点と、算出ステップで算出された第１動きベクトルとに基づいて、進行方向に存在する移動体を検出する（Ｓ１６：検出ステップ）。具体的には、検出部３８は、図６を用いて説明したように、ブロック５１毎に、動き消失点６０を通る直線６５と、第１動きベクトル（動きベクトル６２）とに基づいて、移動体の実空間における動きを表す第２動きベクトルを算出する。検出部３８は、ブロック５１毎に算出された第２動きベクトルの大きさに基づいて、対応するブロックに移動体が存在するか否かを判定する。例えば、検出部３８は、第２動きベクトルの大きさが所定の閾値より大きい場合に、対応するブロックに移動体が存在すると判定する。
【００４８】
これにより、例えば、図６に示すように、車両４０の進行方向に向かって移動してきている移動体６１を検出することができる。よって、例えば、子供の飛び出しなどを検出することができ、危険を判定することができる。
【００４９】
［３．効果など］
以上のように、本実施の形態に係る移動体検出装置１０は、車両４０に搭載され、車両４０の進行方向を撮影することで、撮影画像を取得する撮影部２０と、撮影画像のブロック毎に、ブロックの画像の動きを示す第１動きベクトルを算出する算出部３４と、撮影画像内における静止物の車両４０の進行による動きが生じない点である動き消失点と、算出部３４によって算出された第１動きベクトルとに基づいて、進行方向に存在する移動体を検出する検出部３８とを備える。
【００５０】
従来は、車両の走行環境によっては、撮影画像から移動体が検出できない場合がある。例えば、移動体が自車と並走している場合、又は、移動体が自車に対して直交する方向に移動している場合は、自車に対する移動体の動きベクトルが０になるので、移動体として認識できない。
【００５１】
これに対して、本実施の形態に係る移動体検出装置１０によれば、動き消失点と、撮影画像のブロック毎の動きベクトルとを用いるので、走行中の車両４０において撮影画像から移動体を検出することができる。つまり、撮影画像の動きベクトルから、動き消失点に基づいて推定された静止物の動きベクトル成分を取り除くことで、移動体の動きベクトルを算出することができる。これにより、車両４０の進行方向に存在する移動体を精度良く検出することができる。
【００５２】
また、例えば、本実施の形態では、検出部３８は、ブロック毎に、第１動きベクトルの終点を終点とする所定の方向のベクトルであって、第１動きベクトルの始点と動き消失点とを結ぶ直線と当該ベクトルとの交点を始点とするベクトルを、移動体の実空間における動きを表す第２動きベクトルとして算出することで、移動体を検出する。
【００５３】
これにより、第２動きベクトルを精度良く検出することができるので、移動体の検出精度をより高めることができる。
【００５４】
また、例えば、本実施の形態では、所定の方向は、撮影画像における左右方向である。
【００５５】
これにより、実空間において進行方向に対して左右方向に移動する移動体を検出することができる。例えば、路肩から飛び出してくる子供などを検出することができるので、車両４０に対する危険を察知することができる。したがって、例えば、危険を回避するための制御を行うことができる。
【００５６】
また、本実施の形態に係る移動体検出方法は、車両４０の進行方向を撮影することで、撮影画像を取得する撮影ステップと、撮影画像のブロック毎に、ブロックの画像の動きを示す動きベクトルを算出する算出ステップと、撮影画像内における静止物の車両４０の進行による動きが生じない点である動き消失点と、算出ステップにおいて算出された動きベクトルとに基づいて、進行方向に存在する移動体を検出する検出ステップとを含む。
【００５７】
これにより、走行中の車両４０に搭載された車載カメラの撮影画像から移動体を検出することができる。
【００５８】
また、本実施の形態に係る画像処理装置又は集積回路は、車両４０に搭載された撮影装置による車両４０の進行方向の撮影に取得された撮影画像のブロック毎に、ブロックの画像の動きを示す動きベクトルを算出する算出部３４と、撮影画像内における静止物の車両４０の進行による動きが生じない点である動き消失点と、算出部３４によって算出された動きベクトルとに基づいて、進行方向に存在する移動体を検出する検出部３８とを備える。
【００５９】
これにより、走行中の車両４０に搭載された車載カメラの撮影画像から移動体を検出することができる。
【００６０】
［４．変形例］
本実施の形態では、設定部３６が、予め定められた動き消失点を設定する、すなわち、動き消失点が固定点である例について示したが、これに限らない。動き消失点は、車両４０の走行状態に応じて変化する。
【００６１】
例えば、車両４０が前方に真っ直ぐ進んでいる場合は、動き消失点は、撮影画像の中心に略一致する。車両４０が右カーブに沿って進んでいる場合は、動き消失点は、撮影画像の中心より右寄りに位置する。車両４０が左カーブに沿って進んでいる場合は、動き消失点は、撮影画像の中心より左寄りに位置する。なお、動き消失点は、撮影画像外に存在する場合もある。
【００６２】
具体的には、設定部３６は、動き消失点を撮影画像のフレーム毎に設定してもよい。例えば、設定部３６は、撮影画像から複数の静止物の動きベクトルを推定し、推定した複数の動きベクトルの始点方向が収束する点を動き消失点として設定してもよい。
【００６３】
静止物の動きベクトルとは、車両４０の進行によって撮影画像内に生じる静止物の動きを示すベクトルである。静止物の動きベクトルは、例えば、撮影画像には静止物が支配的に占められるとみなしたロバスト推定に基づいて推定される。ロバスト推定としては、例えば、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）法を用いることができる。これにより、撮影画像内の移動体を除去しながら静止物の動きベクトルを推定することができる。
【００６４】
このように、例えば、本変形例では、移動体検出装置１０は、動き消失点を撮影画像のフレーム毎に設定する設定部３６を備え、検出部３８は、設定部３６によって設定された動き消失点と、算出部３４によって算出された第１動きベクトルとに基づいて、移動体を検出する。
【００６５】
これにより、動き消失点をフレーム毎に設定するので、動き消失点の精度を高めることができる。したがって、移動体の検出精度をより高めることができる。
【００６６】
なお、本開示における技術は、移動体検出装置、画像処理装置及び移動体検出方法として実現できるだけでなく、移動体検出方法又は画像処理方法をステップとして含むプログラム、及び、そのプログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などの記録媒体として実現することもできる。
【００６７】
つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００６８】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【００６９】
そこで、以下では、他の実施の形態を例示する。
【００７０】
例えば、上記実施の形態では、算出部３４が２枚の撮影画像を用いて動きベクトルを算出する例について示したが、これに限らない。例えば、算出部３４は、３枚以上の撮影画像を用いて動きベクトルを算出してもよい。これにより、より高精度な動きベクトルを算出することができるので、移動体の検出精度を高めることができる。なお、このとき、例えば、画像処理装置３０が、複数のフレームメモリ３２を備えればよい。あるいは、フレームメモリ３２は、２フレーム以上の撮影画像を記憶してもよい。
【００７１】
また、例えば、上記実施の形態では、第２動きベクトルの方向が撮影画像の左右方向である例について示したが、これに限らない。具体的には、検出部３８は、所定点６６の座標を算出する際に、動きベクトル６２（第１動きベクトル）の終点のｙ座標を代入したが、動きベクトル６２の終点を通る所定の直線と直線６５との交点を所定点６６として算出してもよい。
【００７２】
また、例えば、上記実施の形態では、車両４０の進行方向が車両４０の前方である場合について示したが、車両４０の進行方向は、車両４０の後方でもよい。すなわち、車両４０は、後方に進行（バック）してもよく、このとき、撮影部２０は、車両４０の後方を撮影してもよい。例えば、撮影部２０が撮影方向を変更することができてもよく、あるいは、後方を撮影する別の撮影部が車両４０に取り付けられていてもよい。
【００７３】
また、例えば、上記実施の形態では、画像処理装置３０が車両４０に搭載された例について示したが、これに限らない。画像処理装置３０は、車両４０とは別体のサーバ装置などであって、車両４０に搭載された撮影部２０（車載カメラ）などからネットワークを介して撮影画像を取得してもよい。あるいは、画像処理装置３０は、車載カメラによって撮影され記録媒体などに記録された撮影画像を、記録媒体などから読み出すことで取得してもよい。
【００７４】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
【００７５】
したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７６】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７７】
本開示に係る移動体検出装置、画像処理装置及び移動体検出方法は、例えば、車載カメラなどに利用することができる。
【符号の説明】
【００７８】
１０  移動体検出装置
２０  撮影部
３０  画像処理装置
３２  フレームメモリ
３４  算出部
３６  設定部
３８  検出部
４０  車両
５０  撮影画像
５１、５３ａ、５３ｂ、５４ａ、５４ｂ  ブロック
５３  現フレーム
５４  前フレーム
６０  動き消失点
６１、６１ａ、６１ｂ  移動体
６２、６３、６４  動きベクトル
６５  直線
６６  所定点
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に搭載され、当該車両の進行方向を撮影することで、撮影画像を取得する撮影部と、
前記撮影画像内における静止物の前記車両の進行による動きが生じない点である動き消失点を、前記撮影画像のフレーム毎に設定する設定部と、
前記撮影画像の単位領域毎に、前記単位領域の画像の動きを示す第１動きベクトルを算出する算出部と、
前記設定部によって設定された動き消失点と、前記算出部によって算出された第１動きベクトルとに基づいて、前記進行方向に存在する移動体を検出する検出部とを備え、
前記検出部は、前記単位領域毎に、前記第１動きベクトルの終点を終点とする所定の方向のベクトルであって、前記第１動きベクトルの始点と前記動き消失点とを結ぶ直線と当該ベクトルとの交点を始点とするベクトルを、前記移動体の実空間における動きを表す第２動きベクトルとして算出することで、前記移動体を検出する
移動体検出装置。
【請求項２】
前記所定の方向は、前記撮影画像における左右方向である
請求項１に記載の移動体検出装置。
【請求項３】
車両の進行方向を撮影することで、撮影画像を取得する撮影ステップと、
前記撮影画像内における静止物の前記車両の進行による動きが生じない点である動き消失点を、前記撮影画像のフレーム毎に設定する設定ステップと、
前記撮影画像の単位領域毎に、前記単位領域の画像の動きを示す第１動きベクトルを算出する算出ステップと、
前記設定ステップにおいて設定された動き消失点と、前記算出ステップにおいて算出された第１動きベクトルとに基づいて、前記進行方向に存在する移動体を検出する検出ステップとを含み、
前記検出ステップでは、前記単位領域毎に、前記第１動きベクトルの終点を終点とする所定の方向のベクトルであって、前記第１動きベクトルの始点と前記動き消失点とを結ぶ直線と当該ベクトルとの交点を始点とするベクトルを、前記移動体の実空間における動きを表す第２動きベクトルとして算出することで、前記移動体を検出する
移動体検出方法。
【請求項４】
車両に搭載された撮影装置による当該車両の進行方向の撮影に取得された撮影画像内における静止物の前記車両の進行による動きが生じない点である動き消失点を、前記撮影画像のフレーム毎に設定する設定部と、
前記撮影画像の単位領域毎に、前記単位領域の画像の動きを示す第１動きベクトルを算出する算出部と、
前記設定部によって設定された動き消失点と、前記算出部によって算出された第１動きベクトルとに基づいて、前記進行方向に存在する移動体を検出する検出部とを備え、
前記検出部は、前記単位領域毎に、前記第１動きベクトルの終点を終点とする所定の方向のベクトルであって、前記第１動きベクトルの始点と前記動き消失点とを結ぶ直線と当該ベクトルとの交点を始点とするベクトルを、前記移動体の実空間における動きを表す第２動きベクトルとして算出することで、前記移動体を検出する
画像処理装置。
【請求項５】
車両に搭載された撮影装置による当該車両の進行方向の撮影に取得された撮影画像内における静止物の前記車両の進行による動きが生じない点である動き消失点を、前記撮影画像のフレーム毎に設定する設定部と、
前記撮影画像の単位領域毎に、前記単位領域の画像の動きを示す第１動きベクトルを算出する算出部と、
前記設定部によって設定された動き消失点と、前記算出部によって算出された第１動きベクトルとに基づいて、前記進行方向に存在する移動体を検出する検出部とを備え、
前記検出部は、前記単位領域毎に、前記第１動きベクトルの終点を終点とする所定の方向のベクトルであって、前記第１動きベクトルの始点と前記動き消失点とを結ぶ直線と当該ベクトルとの交点を始点とするベクトルを、前記移動体の実空間における動きを表す第２動きベクトルとして算出することで、前記移動体を検出する
集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2016151976.tif 000010
【図２】
2016151976.tif 000011
【図３】
2016151976.tif 000012
【図４】
2016151976.tif 000013
【図５】
2016151976.tif 000014
【図６】
2016151976.tif 000015
【図７】
2016151976.tif 000016
【国際調査報告】
2016151976.tif 000017
2016151976.tif 000018
2016151976.tif 000019
2016151976.tif 000020