(57)【要約】【課題】画像に映る移動物体を検出する精度を高める。【解決手段】特徴点検出部２０は、撮像装置１２により撮像された画像における特徴点を抽出し、複数の画像に亘る複数の特徴点の動きを検出する。物体検出部２４は、動きが類似する複数の特徴点をグループ化することにより画像に映る移動物体を検出する。追跡部２６は、複数の画像に亘る移動物体の動きを追跡する。物体検出部２４は、或る画像において複数の特徴点をグループ化することにより移動物体の候補領域が複数検出された場合、複数の特徴点のそれぞれについて、特徴点の周囲の画素のうち特徴点と類似する画素の領域を連通させた類似領域を抽出する。物体検出部２４は、類似領域を含むように複数の候補領域を合成し、合成した領域を上記或る画像に映る移動物体の領域として検出する。【選択図】図３
2020144758.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された画像における特徴点を抽出し、異なる時刻に撮像された複数の画像に亘る複数の特徴点の動きを検出する特徴点検出部と、
前記特徴点検出部により検出された動きが類似する複数の特徴点をグループ化することにより前記画像に映る移動物体を検出する物体検出部と、
前記複数の画像に亘る、前記物体検出部により検出された移動物体の動きを追跡する追跡部と、
を備え、
前記物体検出部は、
或る画像において複数の特徴点をグループ化することにより移動物体の候補領域が複数検出された場合、前記複数の特徴点のそれぞれについて、特徴点の周囲の画素のうち特徴点と類似する画素の領域を連通させた類似領域を抽出する類似領域抽出部と、
前記類似領域抽出部により抽出された類似領域を含むように複数の候補領域を合成し、合成した領域を前記或る画像に映る移動物体の領域として検出する合成部と、を含む、
移動物体検出装置。
【請求項２】
前記合成部は、前記類似領域抽出部により抽出された類似領域が所定のサイズより小さい場合、その類似領域を前記移動物体の領域から除外する、
請求項１に記載の移動物体検出装置。
【請求項３】
前記類似領域抽出部は、特徴点または前記類似する画素の周囲にある画素のうち同じ方向にある複数の画素をグループ化し、前記複数の画素のグループと特徴点との相違度を計算する、
請求項１または２に記載の移動物体検出装置。
【請求項４】
前記撮像装置は、車両で用いられる、
請求項１に記載の移動物体検出装置。
【請求項５】
撮像装置により撮像された画像における特徴点を抽出し、異なる時刻に撮像された複数の画像に亘る複数の特徴点の動きを検出する処理と、
動きが類似する複数の特徴点をグループ化することにより前記画像に映る移動物体を検出する処理と、
前記複数の画像に亘る移動物体の動きを追跡する処理と、
をコンピュータが実行し、
前記移動物体を検出する処理は、
或る画像において複数の特徴点をグループ化することにより移動物体の候補領域が複数検出された場合、前記複数の特徴点のそれぞれについて、特徴点の周囲の画素のうち特徴点と類似する画素の領域を連通させた類似領域を抽出する処理と、
抽出された類似領域を含むように複数の候補領域を合成し、合成した領域を前記或る画像に映る移動物体の領域として検出する処理と、を含む、
移動物体検出方法。
【請求項６】
撮像装置により撮像された画像における特徴点を抽出し、異なる時刻に撮像された複数の画像に亘る複数の特徴点の動きを検出する処理と、
動きが類似する複数の特徴点をグループ化することにより前記画像に映る移動物体を検出する処理と、
前記複数の画像に亘る移動物体の動きを追跡する処理と、
をコンピュータに実行させ、
前記移動物体を検出する処理は、
或る画像において複数の特徴点をグループ化することにより移動物体の候補領域が複数検出された場合、前記複数の特徴点のそれぞれについて、特徴点の周囲の画素のうち特徴点と類似する画素の領域を連通させた類似領域を抽出する処理と、
抽出された類似領域を含むように複数の候補領域を合成し、合成した領域を前記或る画像に映る移動物体の領域として検出する処理と、を含む、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はデータ処理技術に関し、特に移動物体検出装置、移動物体検出方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
画像に映る移動する物体（「移動物体」とも呼ぶ。）を検出する方法として、複数の画像に亘る特徴点の動きベクトルを求め、各特徴点の動きベクトルをもとに複数の特徴点をクラスタリングすることにより、画像上の移動物体の領域を検出する方法がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／０３８１２３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これまでの移動物体検出方法では、実際には１つの移動物体が映る画像から複数の移動物体を検出してしまい、その結果、移動物体を正しく追跡できないことがあった。
【０００５】
本開示はこうした課題に鑑みてなされたものであり、１つの目的は、画像に映る移動物体の検出精度を高めることにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の移動物体検出装置は、撮像装置により撮像された画像における特徴点を抽出し、異なる時刻に撮像された複数の画像に亘る複数の特徴点の動きを検出する特徴点検出部と、特徴点検出部により検出された動きが類似する複数の特徴点をグループ化することにより画像に映る移動物体を検出する物体検出部と、複数の画像に亘る、物体検出部により検出された移動物体の動きを追跡する追跡部と、を備える。物体検出部は、或る画像において複数の特徴点をグループ化することにより移動物体の候補領域が複数検出された場合、複数の特徴点のそれぞれについて、特徴点の周囲の画素のうち特徴点と類似する画素の領域を連通させた類似領域を抽出する類似領域抽出部と、類似領域抽出部により抽出された類似領域を含むように複数の候補領域を合成し、合成した領域を或る画像に映る移動物体の領域として検出する合成部と、を含む。
【０００７】
本発明の別の態様は、移動物体検出方法である。この方法は、撮像装置により撮像された画像における特徴点を抽出し、異なる時刻に撮像された複数の画像に亘る複数の特徴点の動きを検出する処理と、動きが類似する複数の特徴点をグループ化することにより画像に映る移動物体を検出する処理と、複数の画像に亘る移動物体の動きを追跡する処理と、をコンピュータが実行し、移動物体を検出する処理は、或る画像において複数の特徴点をグループ化することにより移動物体の候補領域が複数検出された場合、複数の特徴点のそれぞれについて、特徴点の周囲の画素のうち特徴点と類似する画素の領域を連通させた類似領域を抽出する処理と、抽出された類似領域を含むように複数の候補領域を合成し、合成した領域を或る画像に映る移動物体の領域として検出する処理と、を含む。
【０００８】
なお、以上の構成要素の任意の組合せ、本開示の表現を、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。
【発明の効果】
【０００９】
本開示によれば、画像に映る移動物体の検出精度を高めることができる。
【図面の簡単な説明】
【００１０】
【図１】車両における移動物体検出の従来例を示す図である。
【図２】図２（ａ）−図２（ｆ）は、移動物体検出の事例を示す図である。
【図３】実施例の運転支援システムの構成を示す図である。
【図４】図４（ａ）−（ｄ）は、類似領域を抽出する例を示す図である。
【図５】図５（ａ）−（ｃ）は、検知枠を合成する例を示す図である。
【発明を実施するための形態】
【００１１】
図１は、車両における移動物体検出の従来例を示す。まず、撮像装置により撮像された画像（言い換えれば映像の各フレーム）内の特徴点（コーナー点等）を検出する。次に、現フレームで検出した特徴点と前フレームで検出した特徴点とを照合することにより特徴点を追跡し、特徴点の動きベクトルを求める（例１）。動きベクトルは、移動ベクトルとも言え、移動距離と移動方向を含む。
【００１２】
次に、近傍範囲にあって、かつ、動きベクトルが同じ複数の特徴点をグループ化し（クラスタリングとも言える）、グループ化された特徴点の集団（以下「特徴点群」とも呼ぶ。）の動きベクトルを算出する（例２）。次に、近傍範囲にあって、かつ、動きベクトルが同じ複数の特徴点群をグループ化する。グループ化した結果を囲む枠（領域とも言える）を移動物体の「検知枠」として出力する（例３）。
【００１３】
複数のフレームに亘る検知枠の動きを時系列で追跡する。具体的には、検知枠の幅、高さ、画像内での座標等、検知枠を特定可能な要素を使用して検知枠の動きを追跡する（例４）。追跡された検知枠の動きをもとに、次フレームでの検知枠の移動方向、移動距離および移動速度を予測し、その予測結果と、自車位置および自車速度をもとに、衝突予想時間（Time-To-Collision、TTC）を算出する（例５）。ＴＴＣを運転制御装置へ入力することにより、ＴＴＣに応じた車両制御（緊急ブレーキ等）を実行する。
【００１４】
図２（ａ）−図２（ｆ）は、移動物体検出の事例を示す。図２（ａ）−図２（ｆ）は、車載カメラにより撮像された画像６を含み、他車（すなわち移動物体）が徐々に接近してくる様子を時系列に示している。図２（ｃ）や図２（ｅ）に示すように、他車の像を１つの検知枠７により検出できれば、他車の動きを精度よく追跡することができる。
【００１５】
しかし、図２（ｄ）や図２（ｇ）等に示すように、他車の像に対する検知枠７が複数に分裂すると、他車の動きを追跡する精度が低下してしまう。また、図２（ｆ）や図２（ｇ）に示すように、他車の特徴点と背景の特徴点とを１つのグループにクラスタリングする場合、検知枠７の大きさが不正確となって、やはり他車の動きを追跡する精度が低下してしまう。
【００１６】
このような課題を解決するため、実施例では、画像に映る１つの移動物体に対して検出された複数の検知枠を１つの検知枠に統合することで移動物体の検出精度を高める移動物体検出装置を提案する。
【００１７】
図３は、実施例の運転支援システム１０の構成を示す。運転支援システム１０は、車両に搭載されるデータ処理システムであり、撮像装置１２、移動物体検出装置１４、運転制御装置１６を備える。これらの装置は、ＣＡＮ（Controller Area Network）、イーサネット（登録商標）、ＭＯＳＴ（Media Oriented Systems Transport）等、公知の車載ネットワークを介して接続される。
【００１８】
撮像装置１２は、車両の周囲を撮像し、撮像結果の画像を出力する。移動物体検出装置１４は、撮像装置１２から出力された画像に映る移動物体を検出する。運転制御装置１６は、移動物体検出装置１４から出力された移動物体に関する情報をもとに、車両の挙動を制御する。移動物体検出装置１４および運転制御装置１６は、ＥＣＵ（Electronic Control Unit）として実装されてもよい。図３には不図示だが、運転制御装置１６は、エンジン、ブレーキ、ステアリング等を制御する複数のＥＣＵと接続されてもよい。
【００１９】
実施例では、移動物体検出装置１４が出力する移動物体に関する情報は、移動物体に対するＴＴＣを含む。運転制御装置１６は、ＴＴＣが所定の閾値より小さい場合、具体的には、算出したＴＴＣ時間が通常停止時間より短い場合、自動緊急ブレーキ（Autonomous Emergency Braking、ＡＥＢ）を作動させる。上記の所定の閾値は、車両が走行中に自動緊急ブレーキを作動させずに車両を停止させる場合に、ブレーキの作動開始から停止位置（停止完了）までに要する時間であってもよい。
【００２０】
図３は、移動物体検出装置１４の機能ブロックを示すブロック図を含む。移動物体検出装置１４は、特徴点検出部２０、特徴点バッファ２２、物体検出部２４、追跡部２６、ＴＴＣ算出部２８を備える。
【００２１】
本開示のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ及びメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。例えば、移動物体検出装置１４の複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラムが、移動物体検出装置１４のＲＯＭに記憶されてもよい。運転支援システム１０のＣＰＵは、このコンピュータプログラムをＲＡＭに読み出して実行することにより、上記複数の機能ブロックの機能を発揮してもよい。
【００２２】
特徴点検出部２０は、撮像装置１２から出力された画像（映像の１フレームとも言える）における特徴点を抽出する。特徴点検出部２０は、公知のエッジ検出法やコーナー検出法を用いて特徴点を抽出してもよい。また、特徴点検出部２０は、撮像装置１２から順次出力された複数の画像（言い換えれば異なる時刻に撮像された複数の画像）に亘る複数の特徴点の動きベクトルを検出する。
【００２３】
特徴点バッファ２２は、撮像装置１２から出力された画像ごとに、その特徴点に関するデータ（画像内の座標や特徴量等）を記憶する。
【００２４】
物体検出部２４は、特徴点検出部２０により検出された複数の特徴点を特徴点バッファ２２から取得し、各特徴点の動きベクトルをもとに複数の特徴点をグループ化することにより画像に映る移動物体を検出する。物体検出部２４は、検出した移動物体に関するデータ（例えば後述の統合枠に関するデータ）を追跡部２６へ出力する。物体検出部２４の詳細な構成は後述する。
【００２５】
追跡部２６は、撮像装置１２から順次出力された複数の画像に亘る、物体検出部２４により検出された移動物体の動きを追跡し、移動物体の移動方向、移動距離および移動速度を算出する。追跡部２６は、これらのデータをＴＴＣ算出部２８へ出力する。
【００２６】
ＴＴＣ算出部２８は、追跡部２６により算出された移動物体の移動方向、移動距離および移動速度をもとに、移動物体の将来時点の移動方向、移動距離および移動速度を推定する。ＴＴＣ算出部２８は、その推定結果と、自車位置および自車速度をもとに、移動物体に対するＴＴＣを算出する。ＴＴＣ算出部２８は、自車位置および自車速度を車載ネットワークを介して車載センサ等から取得してもよい。また、特徴点検出部２０、追跡部２６、ＴＴＣ算出部２８は、公知技術により実現されてもよい。
【００２７】
物体検出部２４の構成を詳細に説明する。物体検出部２４は、クラスタリング部３０、類似領域抽出部３２、合成部３４を含む。クラスタリング部３０は、撮像装置１２から出力された画像（ここでは「対象画像」とも呼ぶ。）において、特徴点検出部２０により検出された動きベクトルの値が同一または類似（言い換えれば差異が所定の閾値以下）の複数の特徴点をグループ化することにより移動物体の候補領域を検出する。上記閾値は、開発者の知見や、運転支援システム１０を用いた実験により適切な値が定められてよい。
【００２８】
類似領域抽出部３２は、クラスタリング部３０により対象画像から移動物体の候補領域が複数検出された場合、複数の特徴点のそれぞれ（「対象特徴点」とも呼ぶ。）について、対象特徴点の周囲の画素のうち対象特徴点と類似する画素（「類似点」とも呼ぶ。）の領域を連通させた領域（「類似領域」とも呼ぶ。）を対象画像から抽出する。
【００２９】
具体的には、類似領域抽出部３２は、対象画像から新たな類似点を探索する際、対象特徴点または検出済の類似点の周囲にある画素のうち同じ方向にある複数の画素をグループ化し、複数の画素のグループと対象特徴点との相違度を計算する。相違度の計算（言い換えれば類似度の計算）では、テクスチャ、質感、色、コントラスト、エントロピー等を比較してもよい。また、類似領域抽出部３２は、公知の空間濃度レベル依存法（ＳＧＬＤＭ）、濃度レベル差分法（ＧＬＤＭ）または濃度ヒストグラム法（ＧＬＨＭ）を用いて対象画像のテクスチャ解析を行ってもよい。
【００３０】
図４（ａ）−（ｄ）は、類似領域を抽出する例を示す。図４（ａ）−（ｄ）の各ブロック（各格子の点）は、対象画像内の画素を示している。図４（ａ）に示すように、類似領域抽出部３２は、対象特徴点６２の上下左右に位置する４つの画素群と、対象特徴点６２との相違度を計算する。実施例では、１つの画素群は３画素とする。画素群の特徴量は、各画素の特徴量の平均値であってもよい。類似領域抽出部３２は、対象特徴点６２との相違度が所定の閾値以下の画素群の中心画素を類似点として検出し、図４（ａ）では類似点６４ａを検出する。
【００３１】
図４（ｂ）は、図４（ａ）に続く処理を示す。類似領域抽出部３２は、類似点６４ａの上下左右に位置する４つの画素群と、対象特徴点６２との相違度を計算する。図４（ｂ）では、類似領域抽出部３２は、対象特徴点６２との相違度が所定の閾値以下の画素群として、類似点６４ａの右に位置する画素群を特定し、類似点６４ｂを検出する。
【００３２】
図４（ｃ）は、図４（ｂ）に続く処理を示す。類似領域抽出部３２は、類似点６４ｂの上下左右に位置する４つの画素群と、対象特徴点６２との相違度を計算する。図４（ｃ）では、類似領域抽出部３２は、対象特徴点６２との相違度が所定の閾値以下の画素群として、類似点６４ｂの上下および右に位置する画素群を特定し、類似点６４ｃ、類似点６４ｄおよび類似点６４ｅを検出する。
【００３３】
図４（ｄ）は、図４（ｃ）に続く処理を示す。類似領域抽出部３２は、類似点６４ｅの上下左右に位置する４つの画素群と、対象特徴点６２との相違度を計算する。図４（ｄ）では、類似領域抽出部３２は、対象特徴点６２との相違度が所定の閾値以下の画素群として、類似点６４ｅの右に位置する画素群を特定し、類似点６４ｆを検出する。
【００３４】
このように、類似領域抽出部３２は、対象特徴点６２に対する類似点の探索を繰り返す。類似領域抽出部３２は、或る類似点（例えば類似点６４ｆ）の上下左右に位置する４つの画素群のいずれも対象特徴点６２との相違度が所定の閾値より大きければ、その類似点（例えば類似点６４ｆ）を起点とする探索を終了する。図４に関連する説明で用いた相違度の閾値は、開発者の知見や、運転支援システム１０を用いた実験により適切な値が定められてよい。
【００３５】
類似領域抽出部３２は、対象特徴点６２を起点として、探索により検出した１つ以上の類似点を連通させた領域を類似領域として抽出する。図４（ａ）−（ｄ）の例では、対象特徴点６２、類似点６４ａ、類似点６４ｂ、類似点６４ｃ、類似点６４ｄ、類似点６４ｅ、類似点６４ｆを結んだ領域を類似領域として抽出する。
【００３６】
図３に戻り、合成部３４は、類似領域抽出部３２により抽出された類似領域が、クラスタリング部３０により検出された複数の候補領域に亘る場合、その類似領域を含むように複数の候補領域を合成する。合成部３４は、合成した領域を対象画像に映る移動物体の領域として検出し、移動物体の領域に関する情報を追跡部２６へ出力する。移動物体の領域に関する情報は、対象画像において移動物体の領域が占める座標の情報であってもよい。
【００３７】
図５（ａ）−（ｃ）は、検知枠を合成する例を示す。図５（ａ）は、クラスタリング部３０が対象画像４０から検出した検知枠を示している。同図は、１台の車両から検知枠４２と検知枠４４が検出されたことを示している。図５（ｂ）は、類似領域抽出部３２が対象画像４０から抽出した類似領域４６と類似領域４８を示している。
【００３８】
類似領域４６と類似領域４８はともに、検知枠４２と検知枠４４の両方に跨っている。そのため、合成部３４は、図５（ｃ）に示すように、類似領域４６と類似領域４８の両方を含むように検知枠４２と検知枠４４を合成し、合成した結果である統合枠５０を生成する。合成部３４は、対象画像４０に映る移動物体の領域を示す情報として、対象画像４０における統合枠５０の位置を示す情報（座標情報等）を追跡部２６へ出力する。
【００３９】
合成部３４は、対象画像４０に映る移動物体の領域を検出する際、類似領域抽出部３２により抽出された類似領域が所定のサイズより小さい場合、その類似領域を移動物体の領域から除外する。図５（ｃ）の例では、検知枠４４の右側部分（すなわち背景が映る部分）からは上記所定のサイズ以上の類似領域が抽出されない。そのため、合成部３４は、検知枠４４の右側部分を統合枠５０から除外する。
【００４０】
なお、上記所定のサイズ（すなわち閾値）は、開発者の知見や、運転支援システム１０を用いた実験により適切な値が定められてよい。また、合成部３４は、統合枠５０に含まれない特徴点の情報を削除してもよく、または、統合枠５０に含まれない特徴点の情報を追跡部２６へ出力することを抑制してもよい。
【００４１】
以上の構成による運転支援システム１０の動作を図３を参照しつつ説明する。
車両に搭載された撮像装置１２は、車両の周囲の様子を示す映像を移動物体検出装置１４へ出力する。特徴点検出部２０は、撮像装置１２から出力された映像のフレームごとに特徴点を検出し、各特徴点の動きベクトルを検出する。特徴点バッファ２２は、映像のフレームごとの特徴点の情報を記憶する。
【００４２】
クラスタリング部３０は、映像のフレームごとに、動きベクトルの値が類似する複数の特徴点をグループ化することにより、各フレームに映る移動物体の候補領域を検出する。クラスタリング部３０により検出された移動物体の候補領域が１つであれば、物体検出部２４は、その候補領域を移動物体の領域として追跡部２６へ出力する。
【００４３】
一方、或るフレームから移動物体の候補領域が複数検出された場合、類似領域抽出部３２は、そのフレームから各特徴点に対する類似領域を抽出する。合成部３４は、類似領域が複数の候補領域に跨る場合、類似領域を含むようにそれら複数の候補領域を合成し、合成した領域を当該フレームに映る移動物体の領域として検出する。また、合成部３４は、抽出された類似領域が所定サイズより小さい場合、その類似領域を移動物体の領域から除外する。物体検出部２４は、合成部３４により検出された移動物体の領域を追跡部２６へ出力する。
【００４４】
追跡部２６は、複数のフレームに亘る移動物体の動きを追跡する。ＴＴＣ算出部２８は、複数のフレームに亘る移動物体の動きをもとに将来時点（例えば次フレーム）での移動物体の動きを推定する。ＴＴＣ算出部２８は、その推定結果をもとに、移動物体に対するＴＴＣを算出して運転制御装置１６へ出力する。運転制御装置１６は、ＴＴＣをもとに車両の挙動を制御し、例えば、衝突回避のために緊急ブレーキを作動させる。
【００４５】
実施例の移動物体検出装置１４によると、画像に映る移動物体を検出する精度を高めることができ、言い換えれば、画像から移動物体の領域を正しく検出できる。例えば、１つの移動物体を複数の移動物体として検出してしまうことを抑制できる。この結果、時系列での移動物体の動きを正しく検出でき、また、将来時点での移動物体の動きを推定する精度を高めることができる。
【００４６】
また、移動物体検出装置１４によると、小さい類似領域を移動物体の領域から除外することにより、移動物体以外の特徴点領域（背景領域等）を誤って移動物体と検出することを抑制できる。これにより、移動物体の検出精度を一層高めることができる。さらにまた、類似領域の抽出において、１つの画素ではなく画素のグループと特徴点とを比較する。これにより、類似判定（言い換えれば相違度判定）の計算量を低減することができる。
【００４７】
以上、本開示を実施例をもとに説明した。この実施例は例示であり、実施例の各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
【００４８】
上記実施例の移動物体検出装置１４は、移動物体の時系列での動きを追跡して、その追跡結果をもとに移動物体に対するＴＴＣを算出し、ＴＴＣを運転制御装置１６へ出力した。変形例として、移動物体検出装置１４は、移動物体の時系列での動きを追跡した結果を外部装置へ出力してもよく、その外部装置が、ＴＴＣの算出等、追跡結果に基づく所定のデータ処理を実行してもよい。
【００４９】
上記実施例の移動物体検出装置１４は車両に搭載された。変形例として、移動物体検出装置１４（または移動物体検出装置１４の機能）は、車両以外の装置であって、移動物体に関するデータ処理を実行する装置（サーバ等）に搭載されてもよい。また、移動物体検出装置１４は、移動物体検出装置１４を搭載した装置の外部に設置された撮像装置１２（例えば建物に固定された監視カメラ等）により撮像された画像を通信網を介して受け付けてもよく、その画像から移動物体を検出してもよい。
【００５０】
上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
【００５１】
実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
［項目１］
撮像装置により撮像された画像における特徴点を抽出し、異なる時刻に撮像された複数の画像に亘る複数の特徴点の動きを検出する特徴点検出部と、
前記特徴点検出部により検出された動きが類似する複数の特徴点をグループ化することにより前記画像に映る移動物体を検出する物体検出部と、
前記複数の画像に亘る、前記物体検出部により検出された移動物体の動きを追跡する追跡部と、
を備え、
前記物体検出部は、
或る画像において複数の特徴点をグループ化することにより移動物体の候補領域が複数検出された場合、前記複数の特徴点のそれぞれについて、特徴点の周囲の画素のうち特徴点と類似する画素の領域を連通させた類似領域を抽出する類似領域抽出部と、
前記類似領域抽出部により抽出された類似領域を含むように複数の候補領域を合成し、合成した領域を前記或る画像に映る移動物体の領域として検出する合成部と、を含む、
移動物体検出装置。
［項目２］
前記合成部は、前記類似領域抽出部により抽出された類似領域が所定のサイズより小さい場合、その類似領域を前記移動物体の領域から除外する、
項目１に記載の移動物体検出装置。
［項目３］
前記類似領域抽出部は、特徴点または前記類似する画素の周囲にある画素のうち同じ方向にある複数の画素をグループ化し、前記複数の画素のグループと特徴点との相違度を計算する、
項目１または２に記載の移動物体検出装置。
［項目４］
前記撮像装置は、車両で用いられる、
項目１に記載の移動物体検出装置。
［項目５］
撮像装置により撮像された画像における特徴点を抽出し、異なる時刻に撮像された複数の画像に亘る複数の特徴点の動きを検出する処理と、
動きが類似する複数の特徴点をグループ化することにより前記画像に映る移動物体を検出する処理と、
前記複数の画像に亘る移動物体の動きを追跡する処理と、
をコンピュータが実行し、
前記移動物体を検出する処理は、
或る画像において複数の特徴点をグループ化することにより移動物体の候補領域が複数検出された場合、前記複数の特徴点のそれぞれについて、特徴点の周囲の画素のうち特徴点と類似する画素の領域を連通させた類似領域を抽出する処理と、
抽出された類似領域を含むように複数の候補領域を合成し、合成した領域を前記或る画像に映る移動物体の領域として検出する処理と、を含む、
移動物体検出方法。
［項目６］
撮像装置により撮像された画像における特徴点を抽出し、異なる時刻に撮像された複数の画像に亘る複数の特徴点の動きを検出する処理と、
動きが類似する複数の特徴点をグループ化することにより前記画像に映る移動物体を検出する処理と、
前記複数の画像に亘る移動物体の動きを追跡する処理と、
をコンピュータに実行させ、
前記移動物体を検出する処理は、
或る画像において複数の特徴点をグループ化することにより移動物体の候補領域が複数検出された場合、前記複数の特徴点のそれぞれについて、特徴点の周囲の画素のうち特徴点と類似する画素の領域を連通させた類似領域を抽出する処理と、
抽出された類似領域を含むように複数の候補領域を合成し、合成した領域を前記或る画像に映る移動物体の領域として検出する処理と、を含む、
コンピュータプログラム。
【符号の説明】
【００５２】
１０  運転支援システム、  １２  撮像装置、  １４  移動物体検出装置、  ２０  特徴点検出部、  ２４  物体検出部、  ２６  追跡部、  ３２  類似領域抽出部、  ３４  合成部。
【図１】
2020144758.tif 000003
【図２】
2020144758.tif 000004
【図３】
2020144758.tif 000005
【図４】
2020144758.tif 000006
【図５】
2020144758.tif 000007