(57)【要約】  移動体検出装置（１０）は、車両（４０）に搭載され、車両（４０）の進行方向を撮影することで、撮影画像を取得する撮影部（２０）と、撮影画像の単位領域である第１領域毎に、第１領域の画像の動きを示す第１動きベクトルを算出する算出部（３４）と、複数の第１領域を含む単位領域である第２領域毎に、第２領域に含まれる複数の第１領域の複数の第１動きベクトルを用いて、車両（４０）の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部（３６）と、第１動きベクトルと第２動きベクトルとの差分に基づいて、進行方向に存在する移動体を検出する検出部（３８）とを備える。
2016151977.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、当該車両の進行方向を撮影することで、撮影画像を取得する撮影部と、
前記撮影画像の単位領域である第１領域毎に、前記第１領域の画像の動きを示す第１動きベクトルを算出する算出部と、
複数の前記第１領域を含む単位領域である第２領域毎に、前記第２領域に含まれる複数の前記第１領域の複数の前記第１動きベクトルを用いて、前記車両の進行によって前記撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部と、
前記第１動きベクトルと前記第２動きベクトルとの差分に基づいて、前記進行方向に存在する移動体を検出する検出部とを備える
移動体検出装置。
【請求項２】
前記推定部は、前記第２領域に含まれる複数の前記第１領域の複数の前記第１動きベクトルを代表する代表ベクトルを、前記第２動きベクトルとして推定する
請求項１に記載の移動体検出装置。
【請求項３】
前記第１領域は、前記撮影画像が行列状に分割された単位領域であり、
前記第２領域は、一行又は一列分の前記第１領域を含む
請求項１又は２に記載の移動体検出装置。
【請求項４】
前記検出部は、前記第１領域毎に、前記第１動きベクトルから前記第２動きベクトルを減算することで第３動きベクトルを算出し、算出した第３動きベクトルに基づいて前記第１領域内での前記移動体の有無を判定することで、前記移動体を検出する
請求項１〜３のいずれか１項に記載の移動体検出装置。
【請求項５】
前記検出部は、前記第３動きベクトルの大きさが所定の閾値より大きく、かつ、前記第３動きベクトルの方向が前記撮影画像の中央近傍に向いている場合に、対応する前記第１領域に前記移動体が存在すると判定する
請求項４に記載の移動体検出装置。
【請求項６】
車両の進行方向を撮影することで、撮影画像を取得する撮影ステップと、
前記撮影画像の単位領域である第１領域毎に、前記第１領域の画像の動きを示す第１動きベクトルを算出する算出ステップと、
複数の前記第１領域を含む単位領域である第２領域毎に、前記第２領域に含まれる複数の前記第１領域の複数の前記第１動きベクトルを用いて、前記車両の進行によって前記撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定ステップと、
前記第１動きベクトルと前記第２動きベクトルとの差分に基づいて、前記進行方向に存在する移動体を検出する検出ステップとを含む
移動体検出方法。
【請求項７】
車両に搭載された撮影装置による当該車両の進行方向の撮影により取得された撮影画像の単位領域である第１領域毎に、前記第１領域の画像の動きを示す第１動きベクトルを算出する算出部と、
複数の前記第１領域を含む単位領域である第２領域毎に、前記第２領域に含まれる複数の前記第１領域の複数の前記第１動きベクトルを用いて、前記車両の進行によって前記撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部と、
前記第１動きベクトルと前記第２動きベクトルとの差分に基づいて、前記進行方向に存在する移動体を検出する検出部とを備える
画像処理装置。
【請求項８】
車両に搭載された撮影装置による当該車両の進行方向の撮影により取得された撮影画像の単位領域である第１領域毎に、前記第１領域の画像の動きを示す第１動きベクトルを算出する算出部と、
複数の前記第１領域を含む単位領域である第２領域毎に、前記第２領域に含まれる複数の前記第１領域の複数の前記第１動きベクトルを用いて、前記車両の進行によって前記撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部と、
前記第１動きベクトルと前記第２動きベクトルとの差分に基づいて、前記進行方向に存在する移動体を検出する検出部とを備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、移動体検出装置、画像処理装置及び移動体検出方法に関する。
【背景技術】
【０００２】
従来、車両の周辺に存在する歩行者などを検出し、検出結果に応じて車両を制御する技術が知られている。例えば、特許文献１には、車載の撮像装置によって取得された画像に対してパターンマッチングなどの処理を行うことで、歩行者などの物体を判別する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−５８７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、走行中の車両に搭載された車載カメラの撮影画像から移動体を検出することができる移動体検出装置、画像処理装置及び移動体検出方法を提供する。
【課題を解決するための手段】
【０００５】
本開示に係る移動体検出装置は、車両に搭載され、当該車両の進行方向を撮影することで、撮影画像を取得する撮影部と、撮影画像の単位領域である第１領域毎に、第１領域の画像の動きを示す第１動きベクトルを算出する算出部と、複数の第１領域を含む単位領域である第２領域毎に、第２領域に含まれる複数の第１領域の複数の第１動きベクトルを用いて、車両の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部と、第１動きベクトルと第２動きベクトルとの差分に基づいて、進行方向に存在する移動体を検出する検出部とを備える。
【発明の効果】
【０００６】
本開示によれば、走行中の車両に搭載された車載カメラの撮影画像から移動体を検出することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施の形態に係る移動体検出装置の機能構成を示すブロック図である。
【図２】図２は、実施の形態に係る移動体検出装置を搭載する車両を示す図である。
【図３】図３は、実施の形態に係る撮影画像を示す図である。
【図４】図４は、実施の形態に係る撮影画像に対するブロック毎の動きベクトルの算出処理を説明するための図である。
【図５】図５は、実施の形態に係る静止物の動きを示す動きベクトルの推定処理を説明するための図である。
【図６】図６は、実施の形態に係る推定された静止物の動きベクトルを示す図である。
【図７】図７は、実施の形態に係る移動体の検出処理を説明するための図である。
【図８】図８は、実施の形態に係る移動体検出装置の動作（移動体検出方法）を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。つまり、以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示における技術を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１０】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００１１】
（実施の形態）
以下、図１〜図８を用いて、実施の形態に係る移動体検出装置などについて説明する。
【００１２】
［１．構成］
図１は、本実施の形態に係る移動体検出装置１０の機能構成を示すブロック図である。図２は、本実施の形態に係る移動体検出装置１０を搭載する車両４０を示す図である。移動体検出装置１０は、図１に示すように、撮影部２０と、画像処理装置３０とを備える。
【００１３】
撮影部２０は、図２に示すように、車両４０に搭載される。撮影部２０は、車両４０の進行方向を撮影することで、撮影画像を取得する。具体的には、撮影部２０は、車両４０が進行方向に移動している間（走行中）に進行方向を撮影することで、撮影画像を取得する。より具体的には、撮影部２０は、進行方向における車両４０の外界の空間、例えば、車両４０の前方の空間を撮影する。撮影画像は、複数のフレームから構成される動画像である。
【００１４】
撮影部２０は、例えば、車載カメラであり、車両４０の天井又はダッシュボードの上面などに取り付けられる。これにより、撮影部２０は、車両４０の前方を撮影する。なお、撮影部２０は、車両４０の内部ではなく、外部に取り付けられてもよい。
【００１５】
画像処理装置３０は、撮影部２０による撮影によって取得された撮影画像を用いて、車両４０の進行方向に存在する移動体を検出するための画像処理装置である。画像処理装置３０は、例えば、プログラム、メモリ及びプロセッサを含むマイクロコンピュータなどで実現される。画像処理装置３０は、例えば、撮影部２０と一体で車両４０に搭載されてもよく、あるいは、撮影部２０とは別体で車両４０に搭載されてもよい。
【００１６】
画像処理装置３０は、図１に示すように、フレームメモリ３２と、算出部３４と、推定部３６と、検出部３８とを備える。
【００１７】
フレームメモリ３２は、撮影部２０による撮影によって取得された撮影画像を記憶するためのメモリである。フレームメモリ３２は、例えば、１フレーム分の撮影画像を記憶する。フレームメモリ３２は、例えば、揮発性メモリである。
【００１８】
算出部３４は、撮影画像の単位領域である第１領域毎に、第１領域の画像の動きを示す第１動きベクトルを算出する。第１動きベクトルは、第１領域の画像がどの方向にどの程度動いているかを示す動きベクトルである。第１領域は、１以上の画素の集まりからなるブロックである。ブロックは、例えば、矩形の領域であり、一例として、８×８画素の集まりからなる。
【００１９】
具体的には、算出部３４は、図３に示すように、撮影画像５０を複数のブロック５１に分割する。なお、図３は、本実施の形態に係る撮影画像５０を示す図である。本実施の形態では、算出部３４は、撮影画像５０をＭ行×Ｎ列のブロック５１に分割する。つまり、ブロック５１は、撮影画像５０が行列状に分割された単位領域である。なお、Ｍ及びＮは、２以上の自然数である。
【００２０】
図４は、本実施の形態に係る撮影画像に対するブロック毎の動きベクトルの算出処理を説明するための図である。算出部３４は、撮影画像を構成するフレーム間でブロックマッチングを行うことにより、フレーム内の各ブロック５１の第１動きベクトルを算出する。例えば、算出部３４は、図４に示すように、現フレーム５３と前フレーム５４とに対して、ブロック５１毎に、ブロック５１を構成する同じ相対位置の画素の画素値同士の絶対値誤差又は二乗誤差を算出するなどの距離関数を用いた評価を行うことで、最もマッチングしたブロックを探索する。
【００２１】
例えば、ブロックマッチングの結果、現フレーム５３におけるブロック５３ａ及びブロック５３ｂはそれぞれ、前フレーム５４におけるブロック５４ａ及びブロック５４ｂに相当する。ブロック５４ａからブロック５３ａへの移動量及び移動方向を示すベクトルが、ブロック５３ａの第１動きベクトルに相当する。ブロック５３ｂの第１動きベクトルについても同様である。
【００２２】
なお、現フレーム５３は、撮影部２０から算出部３４に入力されるフレームである。前フレーム５４は、フレームメモリ３２に保持されているフレームであり、例えば、現フレーム５３の直前のフレームである。現フレーム５３及び前フレーム５４は、例えば、撮影画像を構成する複数のフレームのうち、撮影順（入力順）で連続する２枚のフレームであるが、これに限らない。例えば、前フレーム５４は、現フレーム５３より前のフレームであればよく、複数枚前のフレームでもよい。なお、算出部３４は、前フレーム５４の代わりに、現フレーム５３より後のフレームを用いてもよい。
【００２３】
推定部３６は、第１領域より大きい第２領域毎に、第２領域に含まれる複数の第１領域の複数の第１動きベクトルを用いて、車両４０の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する。第２領域は、複数の第１領域を含む単位領域である。本実施の形態では、図３に示すように、第２領域は、一列分のブロック５１を含むカラム５２である。
【００２４】
図５は、本実施の形態に係る静止物の動きを示す動きベクトルの推定処理を説明するための図である。通常、撮影画像５０では、静止物が支配的に占められる。つまり、撮影画像５０において、静止物が占める割合（面積又はブロック数）は、移動体が占める割合（面積又はブロック数）より多い。
【００２５】
静止物は、実空間において静止している物体である。静止物は、例えば、信号機、車両用防護柵（ガードレール）若しくは建造物などの工作物、地面（道路）又は空などの背景に相当する物体である。なお、静止物は、街路樹又は電線などの風などによって僅かに動く物体を含んでもよい。つまり、静止物は、移動量が０又は０とみなせる物体でもよい。
【００２６】
移動体は、実空間において移動している物体である。移動体は、例えば、人物若しくはペットなどの動物、又は、バイク若しくは自動車などの車両などである。なお、移動体は、ゴミ箱又は立て看板などの固定されていない物体を含んでもよい。
【００２７】
図５に示す矢印は、静止物の推定される第２動きベクトル６０である。図５に示すように、車両４０が前方に進行する場合、静止物の第２動きベクトル６０は放射状になる。つまり、撮影部２０は、車両４０が前方に進行する際に前方を撮影することによって、進行方向の中心から放射状に静止物が移動するような撮影画像５０（動画像）を取得する。
【００２８】
本実施の形態では、推定部３６は、カラム５２に含まれる複数のブロック５１の複数の第１動きベクトルを代表する代表ベクトルを、第２動きベクトルとして推定する。具体的には、推定部３６は、カラム５２に含まれる一列分のブロック５１の第１動きベクトルの代表値を代表ベクトルとして算出する。例えば、推定部３６は、一列分のブロック５１の第１動きベクトルの平均値又は中間値を代表ベクトルとして算出する。
【００２９】
図６は、本実施の形態に係る推定された静止物の動きベクトルを示す図である。具体的には、図６は、Ｘ軸方向（行方向）における静止物の動きベクトルを、右方向を正として示している。
【００３０】
推定部３６は、例えば、ロバスト推定に基づいて第２動きベクトルをカラム５２毎に算出する。ロバスト推定としては、例えば、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）法を用いることができる。これにより、撮影画像５０に移動体が含まれる場合であっても、移動体を除外しながら静止物の第２動きベクトルを推定することができる。
【００３１】
なお、図６に示す例では、Ｘ軸方向（行方向）における静止物の動きベクトルを示したが、Ｙ軸方向（列方向）においても同様に行うことができる。このとき、推定部３６は、例えば、第２領域として、一行分のブロック５１を含む領域を利用すればよい。
【００３２】
検出部３８は、第１動きベクトルと第２動きベクトルとの差分に基づいて、車両４０の進行方向に存在する移動体を検出する。具体的には、検出部３８は、ブロック５１毎に、第１動きベクトルから第２動きベクトルを減算することで第３動きベクトルを算出し、算出した第３動きベクトルに基づいてブロック５１内での移動体の有無を判定することで、移動体を検出する。
【００３３】
例えば、検出部３８は、第３動きベクトルの大きさが所定の閾値より大きく、かつ、第３動きベクトルの方向が撮影画像の中央近傍に向いている場合に、対応する第１領域に移動体が存在すると判定する。検出部３８は、当該判定をブロック５１毎に行うことで、撮影画像内において移動体が存在するブロック５１を検出することができる。つまり、検出部３８は、実空間において、検出したブロック５１に相当する領域に存在する移動体を検出する。
【００３４】
所定の閾値は、例えば、撮影画像の全領域において固定の値でもよく、あるいは、ブロック５１の位置に応じて異なる値でもよい。例えば、撮影画像の中央近傍に近いブロック５１には、小さな値の閾値を用い、撮影画像の中央から離れたブロック５１には、大きな値の閾値を用いてもよい。
【００３５】
撮影画像の中央は、例えば、撮影画像の中心である。あるいは、撮影画像の中央は、撮影画像の中心を通る垂直線でもよい。また、撮影画像の中央は、動き消失点でもよい。動き消失点とは、撮測者（ここでは、車両４０）が並進運動した際に撮影画像に生じる静止物の動きベクトルの始点方向を延長した場合に収束する点で、車両４０の進行による動きが生じない点である。例えば、車両４０が前方に真っ直ぐ進んでいる場合は、動き消失点は、撮影画像の中心に略一致する。例えば、光軸が車両４０の接地面及び車両４０の進行方向に対して平行になるようにカメラ（撮影部２０）が設置されている場合は、車両４０が直進する際の動き消失点は、撮影画像の中心に略一致する。
【００３６】
図７は、本実施の形態に係る移動体７０の検出処理を説明するための図である。図７において、移動体７０ａは、時刻ｔのとき（現フレーム５３）の移動体７０の位置を示している。移動体７０ｂは、時刻ｔ−１のとき（前フレーム５４）の移動体７０の位置を示している。
【００３７】
検出部３８は、図７に示すように、第１動きベクトル７１から第２動きベクトル７２を減算することで、第３動きベクトル７３を算出する。具体的には、検出部３８は、第３動きベクトル７３を算出する対象となるブロックの第１動きベクトル７１と、当該ブロックを含むカラムの第２動きベクトル７２とを用いて、第３動きベクトル７３を算出する。
【００３８】
第３動きベクトル７３の大きさは、移動体７０の移動量を示している。第３動きベクトル７３の方向は、移動体７０の実空間における移動方向を示している。したがって、第３動きベクトル７３の大きさが閾値より大きく、かつ、第３動きベクトル７３の方向が中央近傍に向いている場合は、移動体７０が車両４０の進行方向（すなわち、車両４０が進む領域）に入ろうとしている、すなわち、危険であることを意味する。したがって、検出部３８が移動体７０を検出することで、車両４０に対する危険を察知することができる。これにより、例えば、危険を回避するための制御を行うことができる。
【００３９】
本実施の形態では、検出部３８は、移動体を検出した場合に検出信号を出力する。検出信号は、具体的には、車両４０のブレーキ制御部又は報知部などに出力される。例えば、ブレーキ制御部は、検出信号に基づいて車両４０を減速させる。例えば、報知部は、検出信号に基づいて警告音などを発する、又は、警告表示を行うことで、運転者又は移動体（例えば、飛び出してきた子供）に危険を知らせる。これにより、危険を回避させるなどの運転支援を行うことができる。
【００４０】
［２．動作（移動体検出方法）］
図８は、本実施の形態に係る移動体検出装置１０の動作（移動体検出方法）を示すフローチャートである。
【００４１】
まず、撮影部２０が、車両４０の進行方向を撮影することにより、撮影画像（動画像）を取得する（Ｓ１０：撮影ステップ）。撮影画像は、例えば、１フレーム毎にフレームメモリ３２に格納され、かつ、算出部３４に入力される。
【００４２】
次に、算出部３４は、撮影画像のブロック５１毎に、ブロック５１の画像の動きを示す第１動きベクトルを算出する（Ｓ１２：算出ステップ）。具体的には、算出部３４は、撮影部２０から入力される現フレーム５３と、フレームメモリ３２から読み出した前フレーム５４とを用いて、ブロック５１毎に、ブロックマッチングを行うことで第１動きベクトルを算出する。
【００４３】
次に、推定部３６は、カラム５２毎に、第１動きベクトルを用いて、静止物の動きを示す第２動きベクトルを推定する（Ｓ１４：推定ステップ）。具体的には、推定部３６は、カラム５２毎に、カラム５２に含まれる一列分のブロック５１の第１動きベクトルを代表する代表ベクトルを算出する。例えば、推定部３６は、一列分のブロック５１の第１動きベクトルの平均値を算出し、算出した平均値をカラム５２の第２動きベクトルとして推定する。このとき、推定部３６は、ＲＡＮＳＡＣなどのロバスト推定を用いることで、より精度良く第２動きベクトルを推定することができる。
【００４４】
次に、検出部３８は、ブロック５１毎に算出された第１動きベクトルと、カラム５２毎に推定された第２動きベクトルとの差分に基づいて、移動体を検出する（Ｓ１６：検出ステップ）。具体的には、検出部３８は、ブロック５１毎に、第１動きベクトルから、当該ブロックを含むカラム５２の第２動きベクトルを減算することで、第３動きベクトルを算出する。検出部３８は、ブロック５１毎に算出された第３動きベクトルの大きさ及び方向に基づいて、対応するブロックに移動体が存在するか否かを判定する。例えば、検出部３８は、第３動きベクトルの大きさが所定の閾値より大きく、かつ、第３動きベクトルの方向が撮影画像の中央近傍に向いている場合に、対応するブロックに移動体が存在すると判定する。
【００４５】
これにより、例えば、図７に示すように、車両４０の進行方向に向かって移動してきている移動体７０を検出することができる。よって、例えば、子供の飛び出しなどを検出することができ、危険を判定することができる。
【００４６】
［３．効果など］
以上のように、本実施の形態に係る移動体検出装置１０は、車両４０に搭載され、車両４０の進行方向を撮影することで、撮影画像を取得する撮影部２０と、撮影画像の単位領域であるブロック毎に、ブロックの画像の動きを示す第１動きベクトルを算出する算出部３４と、複数のブロックを含む単位領域であるカラム毎に、カラムに含まれる複数のブロックの複数の第１動きベクトルを用いて、車両４０の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部３６と、第１動きベクトルと第２動きベクトルとの差分に基づいて、進行方向に存在する移動体を検出する検出部３８とを備える。
【００４７】
従来は、車両の走行環境によっては、撮影画像から移動体が検出できない場合がある。例えば、移動体が自車と並走している場合、又は、移動体が自車に対して直交する方向に移動している場合は、自車に対する移動体の動きベクトルが０になるので、移動体として認識できない。
【００４８】
これに対して、本実施の形態に係る移動体検出装置１０によれば、撮影画像のブロック毎の第１動きベクトルと、車両４０の進行によって生じる静止物の第２動きベクトルとの差分を用いるので、走行中の車両４０において撮影画像から移動体を検出することができる。つまり、撮影画像の動きベクトルから推定された静止物の動きベクトル成分を取り除くことで、移動体の動きベクトルを算出することができる。これにより、車両４０の進行方向に存在する移動体を精度良く検出することができる。
【００４９】
また、例えば、本実施の形態では、推定部３６は、カラムに含まれる複数のブロックの複数の第１動きベクトルを代表する代表ベクトルを、第２動きベクトルとして推定する。
【００５０】
これにより、複数の第１動きベクトルを用いるので、第２動きベクトルをより精度良く推定することができる。したがって、移動体の検出精度をより高めることができる。
【００５１】
また、例えば、本実施の形態では、ブロックは、撮影画像が行列状に分割された単位領域であり、第２領域は、一行又は一列分のブロックを含む。
【００５２】
これにより、例えば、一列分のブロックの第１動きベクトルを用いる場合は、行方向における第２動きベクトルをより精度良く推定することができる。あるいは、一行分のブロックの第１動きベクトルを用いる場合は、列方向における第２動きベクトルをより精度良く推定することができる。したがって、移動体の検出精度をより高めることができる。また、Ｘ軸方向とＹ軸方向との各々に対して第２動きベクトルを算出することで、左右方向（水平方向）だけでなく、奥行方向へ移動する移動体を検出することができる。
【００５３】
また、例えば、本実施の形態では、検出部３８は、ブロック毎に、第１動きベクトルから第２動きベクトルを減算することで第３動きベクトルを算出し、算出した第３動きベクトルに基づいてブロック内での移動体の有無を判定することで、移動体を検出する。
【００５４】
これにより、ブロック毎に移動体の有無を判定するので、移動体の検出精度をより高めることができる。
【００５５】
また、例えば、本実施の形態では、検出部３８は、第３動きベクトルの大きさが所定の閾値より大きく、かつ、第３動きベクトルの方向が撮影画像の中央近傍に向いている場合に、対応するブロックに移動体が存在すると判定する。
【００５６】
これにより、移動体の方向及び移動量を推定することができるので、移動体が車両４０に接近しているか否か、及び、接近の程度などを判定することができる。すなわち、本実施の形態に係る移動体検出装置１０によれば、危険度が高い移動体を検出することができる。
【００５７】
また、本実施の形態に係る移動体検出方法は、車両４０の進行方向を撮影することで、撮影画像を取得する撮影ステップと、撮影画像の単位領域であるブロック毎に、ブロックの画像の動きを示す第１動きベクトルを算出する算出ステップと、複数のブロックを含む単位領域であるカラム毎に、カラムに含まれる複数のブロックの複数の第１動きベクトルを用いて、車両４０の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定ステップと、第１動きベクトルと第２動きベクトルとの差分に基づいて、進行方向に存在する移動体を検出する検出ステップとを含む。
【００５８】
これにより、走行中の車両４０に搭載された車載カメラの撮影画像から移動体を検出することができる。
【００５９】
また、本実施の形態に係る画像処理装置又は集積回路は、車両４０に搭載された撮影装置による車両４０の進行方向の撮影により取得された撮影画像の単位領域であるブロック毎に、ブロックの画像の動きを示す第１動きベクトルを算出する算出部３４と、複数のブロックを含む単位領域であるカラム毎に、カラムに含まれる複数のブロックの複数の第１動きベクトルを用いて、車両４０の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部３６と、第１動きベクトルと第２動きベクトルとの差分に基づいて、進行方向に存在する移動体を検出する検出部３８とを備える。
【００６０】
これにより、走行中の車両４０に搭載された車載カメラの撮影画像から移動体を検出することができる。
【００６１】
なお、本開示における技術は、移動体検出装置、画像処理装置及び移動体検出方法として実現できるだけでなく、移動体検出方法又は画像処理方法をステップとして含むプログラム、及び、そのプログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などの記録媒体として実現することもできる。
【００６２】
つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００６３】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【００６４】
そこで、以下では、他の実施の形態を例示する。
【００６５】
例えば、上記実施の形態では、算出部３４が２枚の撮影画像を用いて動きベクトルを算出する例について示したが、これに限らない。例えば、算出部３４は、３枚以上の撮影画像を用いて動きベクトルを算出してもよい。これにより、より高精度な動きベクトルを算出することができるので、移動体の検出精度を高めることができる。なお、このとき、例えば、画像処理装置３０が、複数のフレームメモリ３２を備えればよい。あるいは、フレームメモリ３２は、２フレーム以上の撮影画像を記憶してもよい。
【００６６】
また、例えば、上記実施の形態では、第２領域が一行又は一列分のブロックを含む例について示したが、これに限らない。例えば、カラム５２は、複数列分のブロックを含んでもよい。あるいは、第２領域は、２行×２列などの複数行かつ複数列分のブロックを含んでもよい。
【００６７】
また、例えば、上記実施の形態では、車両４０の進行方向が車両４０の前方である場合について示したが、車両４０の進行方向は、車両４０の後方でもよい。すなわち、車両４０は、後方に進行（バック）してもよく、このとき、撮影部２０は、車両４０の後方を撮影してもよい。例えば、撮影部２０が撮影方向を変更することができてもよく、あるいは、後方を撮影する別の撮影部が車両４０に取り付けられていてもよい。
【００６８】
また、例えば、上記実施の形態では、画像処理装置３０が車両４０に搭載された例について示したが、これに限らない。画像処理装置３０は、車両４０とは別体のサーバ装置などであって、車両４０に搭載された撮影部２０（車載カメラ）などからネットワークを介して撮影画像を取得してもよい。あるいは、画像処理装置３０は、車載カメラによって撮影され記録媒体などに記録された撮影画像を、記録媒体などから読み出すことで取得してもよい。
【００６９】
また、例えば、推定部３６は、動き消失点を用いて第２動きベクトルを推定してもよい。動き消失点を用いることで、ＲＡＮＳＡＣなどのロバスト推定の精度を高めることができる。したがって、移動体の検出精度を向上させることができる。
【００７０】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
【００７１】
したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７２】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７３】
本開示に係る移動体検出装置、画像処理装置及び移動体検出方法は、例えば、車載カメラなどに利用することができる。
【符号の説明】
【００７４】
１０  移動体検出装置
２０  撮影部
３０  画像処理装置
３２  フレームメモリ
３４  算出部
３６  推定部
３８  検出部
４０  車両
５０  撮影画像
５１、５３ａ、５３ｂ、５４ａ、５４ｂ  ブロック
５２  カラム
５３  現フレーム
５４  前フレーム
６０  第２動きベクトル
７０、７０ａ、７０ｂ  移動体
７１  第１動きベクトル
７２  第２動きベクトル
７３  第３動きベクトル
【図１】
2016151977.tif 000003
【図２】
2016151977.tif 000004
【図３】
2016151977.tif 000005
【図４】
2016151977.tif 000006
【図５】
2016151977.tif 000007
【図６】
2016151977.tif 000008
【図７】
2016151977.tif 000009
【図８】
2016151977.tif 000010
【手続補正書】
【提出日】平成29年5月22日(2017.5.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、移動体検出装置、画像処理装置及び移動体検出方法に関する。
【背景技術】
【０００２】
従来、車両の周辺に存在する歩行者などを検出し、検出結果に応じて車両を制御する技術が知られている。例えば、特許文献１には、車載の撮像装置によって取得された画像に対してパターンマッチングなどの処理を行うことで、歩行者などの物体を判別する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−５８７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、走行中の車両に搭載された車載カメラの撮影画像から移動体を検出することができる移動体検出装置、画像処理装置及び移動体検出方法を提供する。
【課題を解決するための手段】
【０００５】
本開示に係る移動体検出装置は、車両に搭載され、当該車両の進行方向を撮影することで、撮影画像を取得する撮影部と、撮影画像の単位領域である第１領域毎に、第１領域の画像の動きを示す第１動きベクトルを算出する算出部と、複数の第１領域を含む単位領域である第２領域毎に、第２領域に含まれる複数の第１領域の複数の第１動きベクトルを用いて、車両の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部と、第１動きベクトルと第２動きベクトルとの差分に基づいて、進行方向に存在する移動体を検出する検出部とを備える。
【発明の効果】
【０００６】
本開示によれば、走行中の車両に搭載された車載カメラの撮影画像から移動体を検出することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施の形態に係る移動体検出装置の機能構成を示すブロック図である。
【図２】図２は、実施の形態に係る移動体検出装置を搭載する車両を示す図である。
【図３】図３は、実施の形態に係る撮影画像を示す図である。
【図４】図４は、実施の形態に係る撮影画像に対するブロック毎の動きベクトルの算出処理を説明するための図である。
【図５】図５は、実施の形態に係る静止物の動きを示す動きベクトルの推定処理を説明するための図である。
【図６】図６は、実施の形態に係る推定された静止物の動きベクトルを示す図である。
【図７】図７は、実施の形態に係る移動体の検出処理を説明するための図である。
【図８】図８は、実施の形態に係る移動体検出装置の動作（移動体検出方法）を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。つまり、以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示における技術を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１０】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００１１】
（実施の形態）
以下、図１〜図８を用いて、実施の形態に係る移動体検出装置などについて説明する。
【００１２】
［１．構成］
図１は、本実施の形態に係る移動体検出装置１０の機能構成を示すブロック図である。図２は、本実施の形態に係る移動体検出装置１０を搭載する車両４０を示す図である。移動体検出装置１０は、図１に示すように、撮影部２０と、画像処理装置３０とを備える。
【００１３】
撮影部２０は、図２に示すように、車両４０に搭載される。撮影部２０は、車両４０の進行方向を撮影することで、撮影画像を取得する。具体的には、撮影部２０は、車両４０が進行方向に移動している間（走行中）に進行方向を撮影することで、撮影画像を取得する。より具体的には、撮影部２０は、進行方向における車両４０の外界の空間、例えば、車両４０の前方の空間を撮影する。撮影画像は、複数のフレームから構成される動画像である。
【００１４】
撮影部２０は、例えば、車載カメラであり、車両４０の天井又はダッシュボードの上面などに取り付けられる。これにより、撮影部２０は、車両４０の前方を撮影する。なお、撮影部２０は、車両４０の内部ではなく、外部に取り付けられてもよい。
【００１５】
画像処理装置３０は、撮影部２０による撮影によって取得された撮影画像を用いて、車両４０の進行方向に存在する移動体を検出するための画像処理装置である。画像処理装置３０は、例えば、プログラム、メモリ及びプロセッサを含むマイクロコンピュータなどで実現される。画像処理装置３０は、例えば、撮影部２０と一体で車両４０に搭載されてもよく、あるいは、撮影部２０とは別体で車両４０に搭載されてもよい。
【００１６】
画像処理装置３０は、図１に示すように、フレームメモリ３２と、算出部３４と、推定部３６と、検出部３８とを備える。
【００１７】
フレームメモリ３２は、撮影部２０による撮影によって取得された撮影画像を記憶するためのメモリである。フレームメモリ３２は、例えば、１フレーム分の撮影画像を記憶する。フレームメモリ３２は、例えば、揮発性メモリである。
【００１８】
算出部３４は、撮影画像の単位領域である第１領域毎に、第１領域の画像の動きを示す第１動きベクトルを算出する。第１動きベクトルは、第１領域の画像がどの方向にどの程度動いているかを示す動きベクトルである。第１領域は、１以上の画素の集まりからなるブロックである。ブロックは、例えば、矩形の領域であり、一例として、８×８画素の集まりからなる。
【００１９】
具体的には、算出部３４は、図３に示すように、撮影画像５０を複数のブロック５１に分割する。なお、図３は、本実施の形態に係る撮影画像５０を示す図である。本実施の形態では、算出部３４は、撮影画像５０をＭ行×Ｎ列のブロック５１に分割する。つまり、ブロック５１は、撮影画像５０が行列状に分割された単位領域である。なお、Ｍ及びＮは、２以上の自然数である。
【００２０】
図４は、本実施の形態に係る撮影画像に対するブロック毎の動きベクトルの算出処理を説明するための図である。算出部３４は、撮影画像を構成するフレーム間でブロックマッチングを行うことにより、フレーム内の各ブロック５１の第１動きベクトルを算出する。例えば、算出部３４は、図４に示すように、現フレーム５３と前フレーム５４とに対して、ブロック５１毎に、ブロック５１を構成する同じ相対位置の画素の画素値同士の絶対値誤差又は二乗誤差を算出するなどの距離関数を用いた評価を行うことで、最もマッチングしたブロックを探索する。
【００２１】
例えば、ブロックマッチングの結果、現フレーム５３におけるブロック５３ａ及びブロック５３ｂはそれぞれ、前フレーム５４におけるブロック５４ａ及びブロック５４ｂに相当する。ブロック５４ａからブロック５３ａへの移動量及び移動方向を示すベクトルが、ブロック５３ａの第１動きベクトルに相当する。ブロック５３ｂの第１動きベクトルについても同様である。
【００２２】
なお、現フレーム５３は、撮影部２０から算出部３４に入力されるフレームである。前フレーム５４は、フレームメモリ３２に保持されているフレームであり、例えば、現フレーム５３の直前のフレームである。現フレーム５３及び前フレーム５４は、例えば、撮影画像を構成する複数のフレームのうち、撮影順（入力順）で連続する２枚のフレームであるが、これに限らない。例えば、前フレーム５４は、現フレーム５３より前のフレームであればよく、複数枚前のフレームでもよい。なお、算出部３４は、前フレーム５４の代わりに、現フレーム５３より後のフレームを用いてもよい。
【００２３】
推定部３６は、第１領域より大きい第２領域毎に、第２領域に含まれる複数の第１領域の複数の第１動きベクトルを用いて、車両４０の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する。第２領域は、複数の第１領域を含む単位領域である。本実施の形態では、図３に示すように、第２領域は、一列分のブロック５１を含むカラム５２である。
【００２４】
図５は、本実施の形態に係る静止物の動きを示す動きベクトルの推定処理を説明するための図である。通常、撮影画像５０では、静止物が支配的に占められる。つまり、撮影画像５０において、静止物が占める割合（面積又はブロック数）は、移動体が占める割合（面積又はブロック数）より多い。
【００２５】
静止物は、実空間において静止している物体である。静止物は、例えば、信号機、車両用防護柵（ガードレール）若しくは建造物などの工作物、地面（道路）又は空などの背景に相当する物体である。なお、静止物は、街路樹又は電線などの風などによって僅かに動く物体を含んでもよい。つまり、静止物は、移動量が０又は０とみなせる物体でもよい。
【００２６】
移動体は、実空間において移動している物体である。移動体は、例えば、人物若しくはペットなどの動物、又は、バイク若しくは自動車などの車両などである。なお、移動体は、ゴミ箱又は立て看板などの固定されていない物体を含んでもよい。
【００２７】
図５に示す矢印は、静止物の推定される第２動きベクトル６０である。図５に示すように、車両４０が前方に進行する場合、静止物の第２動きベクトル６０は放射状になる。つまり、撮影部２０は、車両４０が前方に進行する際に前方を撮影することによって、進行方向の中心から放射状に静止物が移動するような撮影画像５０（動画像）を取得する。
【００２８】
本実施の形態では、推定部３６は、カラム５２に含まれる複数のブロック５１の複数の第１動きベクトルを代表する代表ベクトルを、第２動きベクトルとして推定する。具体的には、推定部３６は、カラム５２に含まれる一列分のブロック５１の第１動きベクトルの代表値を代表ベクトルとして算出する。例えば、推定部３６は、一列分のブロック５１の第１動きベクトルの平均値又は中間値を代表ベクトルとして算出する。
【００２９】
図６は、本実施の形態に係る推定された静止物の動きベクトルを示す図である。具体的には、図６は、Ｘ軸方向（行方向）における静止物の動きベクトルを、右方向を正として示している。
【００３０】
推定部３６は、例えば、ロバスト推定に基づいて第２動きベクトルをカラム５２毎に算出する。ロバスト推定としては、例えば、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）法を用いることができる。これにより、撮影画像５０に移動体が含まれる場合であっても、移動体を除外しながら静止物の第２動きベクトルを推定することができる。
【００３１】
なお、図６に示す例では、Ｘ軸方向（行方向）における静止物の動きベクトルを示したが、Ｙ軸方向（列方向）においても同様に行うことができる。このとき、推定部３６は、例えば、第２領域として、一行分のブロック５１を含む領域を利用すればよい。
【００３２】
検出部３８は、第１動きベクトルと第２動きベクトルとの差分に基づいて、車両４０の進行方向に存在する移動体を検出する。具体的には、検出部３８は、ブロック５１毎に、第１動きベクトルから第２動きベクトルを減算することで第３動きベクトルを算出し、算出した第３動きベクトルに基づいてブロック５１内での移動体の有無を判定することで、移動体を検出する。
【００３３】
例えば、検出部３８は、第３動きベクトルの大きさが所定の閾値より大きく、かつ、第３動きベクトルの方向が撮影画像の中央近傍に向いている場合に、対応する第１領域に移動体が存在すると判定する。検出部３８は、当該判定をブロック５１毎に行うことで、撮影画像内において移動体が存在するブロック５１を検出することができる。つまり、検出部３８は、実空間において、検出したブロック５１に相当する領域に存在する移動体を検出する。
【００３４】
所定の閾値は、例えば、撮影画像の全領域において固定の値でもよく、あるいは、ブロック５１の位置に応じて異なる値でもよい。例えば、撮影画像の中央近傍に近いブロック５１には、小さな値の閾値を用い、撮影画像の中央から離れたブロック５１には、大きな値の閾値を用いてもよい。
【００３５】
撮影画像の中央は、例えば、撮影画像の中心である。あるいは、撮影画像の中央は、撮影画像の中心を通る垂直線でもよい。また、撮影画像の中央は、動き消失点でもよい。動き消失点とは、撮測者（ここでは、車両４０）が並進運動した際に撮影画像に生じる静止物の動きベクトルの始点方向を延長した場合に収束する点で、車両４０の進行による動きが生じない点である。例えば、車両４０が前方に真っ直ぐ進んでいる場合は、動き消失点は、撮影画像の中心に略一致する。例えば、光軸が車両４０の接地面及び車両４０の進行方向に対して平行になるようにカメラ（撮影部２０）が設置されている場合は、車両４０が直進する際の動き消失点は、撮影画像の中心に略一致する。
【００３６】
図７は、本実施の形態に係る移動体７０の検出処理を説明するための図である。図７において、移動体７０ａは、時刻ｔのとき（現フレーム５３）の移動体７０の位置を示している。移動体７０ｂは、時刻ｔ−１のとき（前フレーム５４）の移動体７０の位置を示している。
【００３７】
検出部３８は、図７に示すように、第１動きベクトル７１から第２動きベクトル７２を減算することで、第３動きベクトル７３を算出する。具体的には、検出部３８は、第３動きベクトル７３を算出する対象となるブロックの第１動きベクトル７１と、当該ブロックを含むカラムの第２動きベクトル７２とを用いて、第３動きベクトル７３を算出する。
【００３８】
第３動きベクトル７３の大きさは、移動体７０の移動量を示している。第３動きベクトル７３の方向は、移動体７０の実空間における移動方向を示している。したがって、第３動きベクトル７３の大きさが閾値より大きく、かつ、第３動きベクトル７３の方向が中央近傍に向いている場合は、移動体７０が車両４０の進行方向（すなわち、車両４０が進む領域）に入ろうとしている、すなわち、危険であることを意味する。したがって、検出部３８が移動体７０を検出することで、車両４０に対する危険を察知することができる。これにより、例えば、危険を回避するための制御を行うことができる。
【００３９】
本実施の形態では、検出部３８は、移動体を検出した場合に検出信号を出力する。検出信号は、具体的には、車両４０のブレーキ制御部又は報知部などに出力される。例えば、ブレーキ制御部は、検出信号に基づいて車両４０を減速させる。例えば、報知部は、検出信号に基づいて警告音などを発する、又は、警告表示を行うことで、運転者又は移動体（例えば、飛び出してきた子供）に危険を知らせる。これにより、危険を回避させるなどの運転支援を行うことができる。
【００４０】
［２．動作（移動体検出方法）］
図８は、本実施の形態に係る移動体検出装置１０の動作（移動体検出方法）を示すフローチャートである。
【００４１】
まず、撮影部２０が、車両４０の進行方向を撮影することにより、撮影画像（動画像）を取得する（Ｓ１０：撮影ステップ）。撮影画像は、例えば、１フレーム毎にフレームメモリ３２に格納され、かつ、算出部３４に入力される。
【００４２】
次に、算出部３４は、撮影画像のブロック５１毎に、ブロック５１の画像の動きを示す第１動きベクトルを算出する（Ｓ１２：算出ステップ）。具体的には、算出部３４は、撮影部２０から入力される現フレーム５３と、フレームメモリ３２から読み出した前フレーム５４とを用いて、ブロック５１毎に、ブロックマッチングを行うことで第１動きベクトルを算出する。
【００４３】
次に、推定部３６は、カラム５２毎に、第１動きベクトルを用いて、静止物の動きを示す第２動きベクトルを推定する（Ｓ１４：推定ステップ）。具体的には、推定部３６は、カラム５２毎に、カラム５２に含まれる一列分のブロック５１の第１動きベクトルを代表する代表ベクトルを算出する。例えば、推定部３６は、一列分のブロック５１の第１動きベクトルの平均値を算出し、算出した平均値をカラム５２の第２動きベクトルとして推定する。このとき、推定部３６は、ＲＡＮＳＡＣなどのロバスト推定を用いることで、より精度良く第２動きベクトルを推定することができる。
【００４４】
次に、検出部３８は、ブロック５１毎に算出された第１動きベクトルと、カラム５２毎に推定された第２動きベクトルとの差分に基づいて、移動体を検出する（Ｓ１６：検出ステップ）。具体的には、検出部３８は、ブロック５１毎に、第１動きベクトルから、当該ブロックを含むカラム５２の第２動きベクトルを減算することで、第３動きベクトルを算出する。検出部３８は、ブロック５１毎に算出された第３動きベクトルの大きさ及び方向に基づいて、対応するブロックに移動体が存在するか否かを判定する。例えば、検出部３８は、第３動きベクトルの大きさが所定の閾値より大きく、かつ、第３動きベクトルの方向が撮影画像の中央近傍に向いている場合に、対応するブロックに移動体が存在すると判定する。
【００４５】
これにより、例えば、図７に示すように、車両４０の進行方向に向かって移動してきている移動体７０を検出することができる。よって、例えば、子供の飛び出しなどを検出することができ、危険を判定することができる。
【００４６】
［３．効果など］
以上のように、本実施の形態に係る移動体検出装置１０は、車両４０に搭載され、車両４０の進行方向を撮影することで、撮影画像を取得する撮影部２０と、撮影画像の単位領域であるブロック毎に、ブロックの画像の動きを示す第１動きベクトルを算出する算出部３４と、複数のブロックを含む単位領域であるカラム毎に、カラムに含まれる複数のブロックの複数の第１動きベクトルを用いて、車両４０の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部３６と、第１動きベクトルと第２動きベクトルとの差分に基づいて、進行方向に存在する移動体を検出する検出部３８とを備える。
【００４７】
従来は、車両の走行環境によっては、撮影画像から移動体が検出できない場合がある。例えば、移動体が自車と並走している場合、又は、移動体が自車に対して直交する方向に移動している場合は、自車に対する移動体の動きベクトルが０になるので、移動体として認識できない。
【００４８】
これに対して、本実施の形態に係る移動体検出装置１０によれば、撮影画像のブロック毎の第１動きベクトルと、車両４０の進行によって生じる静止物の第２動きベクトルとの差分を用いるので、走行中の車両４０において撮影画像から移動体を検出することができる。つまり、撮影画像の動きベクトルから推定された静止物の動きベクトル成分を取り除くことで、移動体の動きベクトルを算出することができる。これにより、車両４０の進行方向に存在する移動体を精度良く検出することができる。
【００４９】
また、例えば、本実施の形態では、推定部３６は、カラムに含まれる複数のブロックの複数の第１動きベクトルを代表する代表ベクトルを、第２動きベクトルとして推定する。
【００５０】
これにより、複数の第１動きベクトルを用いるので、第２動きベクトルをより精度良く推定することができる。したがって、移動体の検出精度をより高めることができる。
【００５１】
また、例えば、本実施の形態では、ブロックは、撮影画像が行列状に分割された単位領域であり、第２領域は、一行又は一列分のブロックを含む。
【００５２】
これにより、例えば、一列分のブロックの第１動きベクトルを用いる場合は、行方向における第２動きベクトルをより精度良く推定することができる。あるいは、一行分のブロックの第１動きベクトルを用いる場合は、列方向における第２動きベクトルをより精度良く推定することができる。したがって、移動体の検出精度をより高めることができる。また、Ｘ軸方向とＹ軸方向との各々に対して第２動きベクトルを算出することで、左右方向（水平方向）だけでなく、奥行方向へ移動する移動体を検出することができる。
【００５３】
また、例えば、本実施の形態では、検出部３８は、ブロック毎に、第１動きベクトルから第２動きベクトルを減算することで第３動きベクトルを算出し、算出した第３動きベクトルに基づいてブロック内での移動体の有無を判定することで、移動体を検出する。
【００５４】
これにより、ブロック毎に移動体の有無を判定するので、移動体の検出精度をより高めることができる。
【００５５】
また、例えば、本実施の形態では、検出部３８は、第３動きベクトルの大きさが所定の閾値より大きく、かつ、第３動きベクトルの方向が撮影画像の中央近傍に向いている場合に、対応するブロックに移動体が存在すると判定する。
【００５６】
これにより、移動体の方向及び移動量を推定することができるので、移動体が車両４０に接近しているか否か、及び、接近の程度などを判定することができる。すなわち、本実施の形態に係る移動体検出装置１０によれば、危険度が高い移動体を検出することができる。
【００５７】
また、本実施の形態に係る移動体検出方法は、車両４０の進行方向を撮影することで、撮影画像を取得する撮影ステップと、撮影画像の単位領域であるブロック毎に、ブロックの画像の動きを示す第１動きベクトルを算出する算出ステップと、複数のブロックを含む単位領域であるカラム毎に、カラムに含まれる複数のブロックの複数の第１動きベクトルを用いて、車両４０の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定ステップと、第１動きベクトルと第２動きベクトルとの差分に基づいて、進行方向に存在する移動体を検出する検出ステップとを含む。
【００５８】
これにより、走行中の車両４０に搭載された車載カメラの撮影画像から移動体を検出することができる。
【００５９】
また、本実施の形態に係る画像処理装置又は集積回路は、車両４０に搭載された撮影装置による車両４０の進行方向の撮影により取得された撮影画像の単位領域であるブロック毎に、ブロックの画像の動きを示す第１動きベクトルを算出する算出部３４と、複数のブロックを含む単位領域であるカラム毎に、カラムに含まれる複数のブロックの複数の第１動きベクトルを用いて、車両４０の進行によって撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部３６と、第１動きベクトルと第２動きベクトルとの差分に基づいて、進行方向に存在する移動体を検出する検出部３８とを備える。
【００６０】
これにより、走行中の車両４０に搭載された車載カメラの撮影画像から移動体を検出することができる。
【００６１】
なお、本開示における技術は、移動体検出装置、画像処理装置及び移動体検出方法として実現できるだけでなく、移動体検出方法又は画像処理方法をステップとして含むプログラム、及び、そのプログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などの記録媒体として実現することもできる。
【００６２】
つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００６３】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【００６４】
そこで、以下では、他の実施の形態を例示する。
【００６５】
例えば、上記実施の形態では、算出部３４が２枚の撮影画像を用いて動きベクトルを算出する例について示したが、これに限らない。例えば、算出部３４は、３枚以上の撮影画像を用いて動きベクトルを算出してもよい。これにより、より高精度な動きベクトルを算出することができるので、移動体の検出精度を高めることができる。なお、このとき、例えば、画像処理装置３０が、複数のフレームメモリ３２を備えればよい。あるいは、フレームメモリ３２は、２フレーム以上の撮影画像を記憶してもよい。
【００６６】
また、例えば、上記実施の形態では、第２領域が一行又は一列分のブロックを含む例について示したが、これに限らない。例えば、カラム５２は、複数列分のブロックを含んでもよい。あるいは、第２領域は、２行×２列などの複数行かつ複数列分のブロックを含んでもよい。
【００６７】
また、例えば、上記実施の形態では、車両４０の進行方向が車両４０の前方である場合について示したが、車両４０の進行方向は、車両４０の後方でもよい。すなわち、車両４０は、後方に進行（バック）してもよく、このとき、撮影部２０は、車両４０の後方を撮影してもよい。例えば、撮影部２０が撮影方向を変更することができてもよく、あるいは、後方を撮影する別の撮影部が車両４０に取り付けられていてもよい。
【００６８】
また、例えば、上記実施の形態では、画像処理装置３０が車両４０に搭載された例について示したが、これに限らない。画像処理装置３０は、車両４０とは別体のサーバ装置などであって、車両４０に搭載された撮影部２０（車載カメラ）などからネットワークを介して撮影画像を取得してもよい。あるいは、画像処理装置３０は、車載カメラによって撮影され記録媒体などに記録された撮影画像を、記録媒体などから読み出すことで取得してもよい。
【００６９】
また、例えば、推定部３６は、動き消失点を用いて第２動きベクトルを推定してもよい。動き消失点を用いることで、ＲＡＮＳＡＣなどのロバスト推定の精度を高めることができる。したがって、移動体の検出精度を向上させることができる。
【００７０】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
【００７１】
したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７２】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７３】
本開示に係る移動体検出装置、画像処理装置及び移動体検出方法は、例えば、車載カメラなどに利用することができる。
【符号の説明】
【００７４】
１０  移動体検出装置
２０  撮影部
３０  画像処理装置
３２  フレームメモリ
３４  算出部
３６  推定部
３８  検出部
４０  車両
５０  撮影画像
５１、５３ａ、５３ｂ、５４ａ、５４ｂ  ブロック
５２  カラム
５３  現フレーム
５４  前フレーム
６０  第２動きベクトル
７０、７０ａ、７０ｂ  移動体
７１  第１動きベクトル
７２  第２動きベクトル
７３  第３動きベクトル
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に搭載され、当該車両の進行方向を撮影することで、撮影画像を取得する撮影部と、
前記撮影画像の単位領域である第１領域毎に、前記第１領域の画像の動きを示す第１動きベクトルを算出する算出部と、
複数の前記第１領域を含む単位領域である第２領域毎に、前記第２領域に含まれる複数の前記第１領域の複数の前記第１動きベクトルを用いて、前記車両の進行によって前記撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部と、
前記第１動きベクトルと前記第２動きベクトルとの差分に基づいて、前記進行方向に存在する移動体を検出する検出部とを備える
移動体検出装置。
【請求項２】
前記推定部は、前記第２領域に含まれる複数の前記第１領域の複数の前記第１動きベクトルを代表する代表ベクトルを、前記第２動きベクトルとして推定する
請求項１に記載の移動体検出装置。
【請求項３】
前記第１領域は、前記撮影画像が行列状に分割された単位領域であり、
前記第２領域は、一行又は一列分の前記第１領域を含む
請求項１又は２に記載の移動体検出装置。
【請求項４】
前記検出部は、前記第１領域毎に、前記第１動きベクトルから前記第２動きベクトルを減算することで第３動きベクトルを算出し、算出した第３動きベクトルに基づいて前記第１領域内での前記移動体の有無を判定することで、前記移動体を検出する
請求項１〜３のいずれか１項に記載の移動体検出装置。
【請求項５】
前記検出部は、前記第３動きベクトルの大きさが所定の閾値より大きく、かつ、前記第３動きベクトルの方向が前記撮影画像の中央近傍に向いている場合に、対応する前記第１領域に前記移動体が存在すると判定する
請求項４に記載の移動体検出装置。
【請求項６】
車両の進行方向を撮影することで、撮影画像を取得する撮影ステップと、
前記撮影画像の単位領域である第１領域毎に、前記第１領域の画像の動きを示す第１動きベクトルを算出する算出ステップと、
複数の前記第１領域を含む単位領域である第２領域毎に、前記第２領域に含まれる複数の前記第１領域の複数の前記第１動きベクトルを用いて、前記車両の進行によって前記撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定ステップと、
前記第１動きベクトルと前記第２動きベクトルとの差分に基づいて、前記進行方向に存在する移動体を検出する検出ステップとを含む
移動体検出方法。
【請求項７】
車両に搭載された撮影装置による当該車両の進行方向の撮影により取得された撮影画像の単位領域である第１領域毎に、前記第１領域の画像の動きを示す第１動きベクトルを算出する算出部と、
複数の前記第１領域を含む単位領域である第２領域毎に、前記第２領域に含まれる複数の前記第１領域の複数の前記第１動きベクトルを用いて、前記車両の進行によって前記撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部と、
前記第１動きベクトルと前記第２動きベクトルとの差分に基づいて、前記進行方向に存在する移動体を検出する検出部とを備える
画像処理装置。
【請求項８】
車両に搭載された撮影装置による当該車両の進行方向の撮影により取得された撮影画像の単位領域である第１領域毎に、前記第１領域の画像の動きを示す第１動きベクトルを算出する算出部と、
複数の前記第１領域を含む単位領域である第２領域毎に、前記第２領域に含まれる複数の前記第１領域の複数の前記第１動きベクトルを用いて、前記車両の進行によって前記撮影画像内に生じる静止物の動きを示す第２動きベクトルを推定する推定部と、
前記第１動きベクトルと前記第２動きベクトルとの差分に基づいて、前記進行方向に存在する移動体を検出する検出部とを備える
集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2016151977.tif 000011
【図２】
2016151977.tif 000012
【図３】
2016151977.tif 000013
【図４】
2016151977.tif 000014
【図５】
2016151977.tif 000015
【図６】
2016151977.tif 000016
【図７】
2016151977.tif 000017
【図８】
2016151977.tif 000018
【国際調査報告】
2016151977.tif 000019
2016151977.tif 000020
2016151977.tif 000021
2016151977.tif 000022