(57)【要約】【課題】画像に映る物体を検知する精度を高める、【解決手段】物体検出装置１００は、第１時点で撮像装置１１０により撮像された第１画像に映る物体の画像をテンプレート画像として記憶する。物体検出装置１００は、第１画像における上記物体の位置をもとに、第１時点より後の第２時点で撮像装置１１０により撮像される第２画像において上記物体が映りうる領域である候補領域を決定する。物体検出装置１００は、第２画像を取得し、第２画像から候補領域の部分を抽出し、抽出した部分からテンプレート画像に類似する画像を検出することにより、第２画像における上記物体の位置を検出する。【選択図】図１
2019174899.tif 000002
【特許請求の範囲】
【請求項１】
第１時点で撮像装置により撮像された第１画像に映る物体の画像をテンプレート画像として記憶するテンプレート記憶部と、
前記第１画像における前記物体の位置をもとに、前記第１時点より後の第２時点で前記撮像装置により撮像される第２画像において前記物体が映りうる領域である候補領域を決定する決定部と、
前記第２画像を取得する取得部と、
前記取得部により取得された第２画像から、前記決定部により決定された候補領域の部分を抽出し、抽出した部分から、前記テンプレート記憶部に記憶されたテンプレート画像に類似する画像を検出することにより、前記第２画像における前記物体の位置を検出する検出部と、
を備える物体検出装置。
【請求項２】
前記記憶部は、前記第２画像における前記候補領域の部分から前記テンプレート画像に類似する画像が検出された場合、前記類似する画像を新たなテンプレート画像として記憶し、
前記決定部は、前記第２時点より後の第３時点で前記撮像装置により撮像される第３画像において前記物体が映りうる新たな候補領域を決定し、
前記取得部は、前記第３画像を取得し、
前記検出部は、前記第３画像における前記新たな候補領域の部分から、前記新たなテンプレート画像に類似する画像を検出することにより、前記第３画像における前記物体の位置を検出する、
請求項１に記載の物体検出装置。
【請求項３】
前記記憶部は、前記第２画像における前記候補領域の部分から前記テンプレート画像に類似する画像が検出されない場合、前記テンプレート画像の更新を停止し、
前記検出部は、前記第３画像における前記新たな候補領域の部分から、前記テンプレート画像に類似する画像を検出することにより、前記第３画像における前記物体の位置を検出する、
請求項２に記載の物体検出装置。
【請求項４】
前記物体の少なくとも一部が映る複数の画像のパターンを記憶するパターン記憶部をさらに備え、
前記検出部は、前記第２画像における前記候補領域の部分から前記テンプレート画像に類似する画像を検出しない場合、前記候補領域の画像のパターンを認識し、認識したパターンと前記パターン記憶部に記憶されたパターンとを比較することにより、前記第２画像における前記物体の位置を検出する、
請求項１から３のいずれかに記載の物体検出装置。
【請求項５】
前記検出部は、前記第２画像における前記パターン記憶部に記憶されたパターンに類似する位置と、前記第１画像に映る前記物体のサイズとをもとに、前記第２画像における前記物体の位置を検出する、
請求項４に記載の物体検出装置。
【請求項６】
前記撮像装置は車両に搭載され、
前記決定部は、前記車両の走行状態に応じて、前記撮像装置に対する前記物体の相対的な位置の変化を推定し、その推定結果をもとに候補領域を決定する、
請求項１から５のいずれかに記載の物体検出装置。
【請求項７】
自車両から外部に向かう画像を撮像する撮像装置と、
前記撮像装置が撮像した画像をもとに物体を検出する物体検出装置と、
を備え、
前記物体検出装置は、
第１時点で撮像装置により撮像された第１画像に映る物体の画像をテンプレート画像として記憶するテンプレート記憶部と、
前記第１画像における前記物体の位置をもとに、前記第１時点より後の第２時点で前記撮像装置により撮像される第２画像において前記物体が映りうる領域である候補領域を決定する決定部と、
前記第２画像を取得する取得部と、
前記取得部により取得された第２画像から、前記決定部により決定された候補領域の部分を抽出し、抽出した部分から、前記テンプレート記憶部に記憶されたテンプレート画像に類似する画像を検出することにより、前記第２画像における前記物体の位置を検出する検出部と、
を備える車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はデータ処理技術に関し、特に画像に含まれる物体を検出する技術に関する。
【背景技術】
【０００２】
画像に映る移動する物体（以下「移動物体」とも呼ぶ。）を検出する従来の方法では、移動物体が映る画像のＨＯＧ（Histogram of Oriented Gradients）特徴やＬＢＰ（Local Binary Pattern）特徴のパターンを示す辞書データを事前学習により予め作成した。そして、検査対象の画像から認識したパターンを辞書データと照らし合わせることで、検査対象の画像に映る移動物体を検出した。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１７８６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像に映る移動物体を検出する従来の方法では、複雑な背景変化、照度変化（輝度変化）、物体（人物等）の姿勢の変化、またはオクルージョンが生じた場合、検査対象の画像から移動物体を正しく検知できないことがあった。
【０００５】
本開示はこうした課題に鑑みてなされたものであり、１つの目的は、画像に映る物体を検知する精度を高めることにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本開示のある態様の物体検出装置は、第１時点で撮像装置により撮像された第１画像に映る物体の画像をテンプレート画像として記憶するテンプレート記憶部と、第１画像における物体の位置をもとに、第１時点より後の第２時点で撮像装置により撮像される第２画像において物体が映りうる領域である候補領域を決定する決定部と、第２画像を取得する取得部と、取得部により取得された第２画像から、決定部により決定された候補領域の部分を抽出し、抽出した部分から、テンプレート記憶部に記憶されたテンプレート画像に類似する画像を検出することにより、第２画像における物体の位置を検出する検出部と、を備える。
【０００７】
本開示の別の態様は、車両である。この車両は、自車両から外部に向かう画像を撮像する撮像装置と、撮像装置が撮像した画像をもとに物体を検出する物体検出装置と、を備える。物体検出装置は、第１時点で撮像装置により撮像された第１画像に映る物体の画像をテンプレート画像として記憶するテンプレート記憶部と、第１画像における物体の位置をもとに、第１時点より後の第２時点で撮像装置により撮像される第２画像において物体が映りうる領域である候補領域を決定する決定部と、第２画像を取得する取得部と、取得部により取得された第２画像から、決定部により決定された候補領域の部分を抽出し、抽出した部分から、テンプレート記憶部に記憶されたテンプレート画像に類似する画像を検出することにより、第２画像における物体の位置を検出する検出部と、を備える。
【０００８】
なお、以上の構成要素の任意の組合せ、本開示の表現を、システム、方法、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。
【発明の効果】
【０００９】
本開示によれば、画像に映る物体を検知する精度を高めることができる。
【図面の簡単な説明】
【００１０】
【図１】実施例の車両の構成を示す図である。
【図２】図１の車両における物体検出装置を中心とした構成を示す図である。
【図３】検査画像の例を示す図である。
【図４】候補領域の例を示す図である。
【図５】物体検出装置の動作を示すフローチャートである。
【図６】時系列での画像処理の例を示す図である。
【発明を実施するための形態】
【００１１】
実施例の概要を説明する。車両の安全運転を支援するため、車両周辺を移動する人（以下「歩行者」と呼ぶ。）を検知する装置が車両に搭載されることがある。従来の歩行者検知装置は、画像に映る歩行者の特徴量を事前学習した辞書データを用いてパターン認識を行うことにより、車両の撮像装置により生成された画像に映る歩行者を検知していた。
【００１２】
しかし、従来の歩行者検知装置は、複雑な背景変化、照度変化（輝度変化）、歩行者の姿勢の変化またはオクルージョンが生じた場合、画像に映る歩行者を正しく検知することが困難なことがあった。例えば、本来存在しない歩行者を誤って検知してしまうこと（すなわち誤検知）や、本来存在する歩行者を検知できないこと（すなわち未検知）が発生することがあった。また、従来の歩行者検知装置は、撮像装置により生成された画像全体をパターン認識の対象とするため、歩行者検出に多大なシステムリソースを要していた。
【００１３】
実施例の物体検出装置は、車両の撮像装置が時系列の複数の画像を連続的に生成することを活用して、生成された画像の全体ではなく、画像の限定された部分から、逐次更新されるテンプレート画像を使用したテンプレートマッチングにより歩行者を検出する。これにより、歩行者検出に要するシステムリソースを低減するとともに、誤検知および未検知の発生を抑制する。以下、図面を参照して実施例を詳細に説明する。なお、以下に説明する実施例は一例であり、本開示は実施例により限定されるものではない。例えば、実施例では、画像から歩行者を検出することを説明するが、実施例の物体検出装置の技術は、歩行者に限らず様々な移動物体を検出する場合に適用可能である。
【００１４】
図１は、実施例の車両２００の構成を示す。車両２００には、物体検出装置１００と撮像装置１１０が搭載される。撮像装置１１０は、車両２００後部の屋根付近に搭載され、車両２００の後方を撮像する。なお、車両２００には、複数の撮像装置１１０が搭載され、車両２００の前部、左側、右側、後部の何れに配置されてもよいが、図１では後部に配置される撮像装置１１０を描いている。撮像装置１１０は、複数の画像を撮像し、複数の画像を時系列に並べた映像を物体検出装置１００に出力する。物体検出装置１００は、撮像装置１１０から映像を受け付け、映像に含まれる複数の画像のそれぞれをもとにして物体を検出する。
【００１５】
図２は、図１の車両２００における物体検出装置１００を中心とした構成を示す。車両２００は、物体検出装置１００、撮像装置１１０、ＥＣＵ（Electronic Control Unit）１２０、センサ１３０、運転支援装置１４０を備える。これらの各装置は、ＣＡＮ（Controller Area Network）、ＭＯＳＴ（Media Oriented Systems Transport）、ＵＳＢ（Universal Serial Bus）等の公知の車載ネットワークを介して接続される。
【００１６】
撮像装置１１０は、車両２００から外部に向かう映像を撮像する。前述のごとく、実施例では、車両２００から後方に向かう映像が撮像される。撮像装置１１０は、映像を物体検出装置１００へ出力する。
【００１７】
ＥＣＵ１２０は、車両２００内のシステムを制御する電子機器であり、システムの状態または制御内容を示す情報（「システム状態情報」とも呼ぶ。）を物体検出装置１００へ出力する。例えば、ＥＣＵ１２０は、ステアリングＥＣＵを含み、ステアリングＥＣＵは、車両２００の操舵角または転舵角を示すシステム状態情報を物体検出装置１００へ出力する。
【００１８】
センサ１３０は、車両２００の走行状態あるいは車外の状況を検出する。車両２００の走行状態を検出するためのセンサ１３０の一例は、速度センサである。なお、センサ１３０として、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ、舵角センサ、シフトセンサ等が搭載されてもよい。また、車外の状況を検出するためのセンサ１３０として、例えば、ミリ波レーダ、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載されてもよい。センサ１３０は、検出した情報（以下、「検出情報」という）を検出部３０４に出力する。
【００１９】
物体検出装置１００は、撮像装置が撮像した画像をもとに、車両２００の周囲を移動する歩行者を検出し、歩行者の位置を示すデータ（以下「歩行者位置情報」とも呼ぶ。）を運転支援装置１４０へ出力する。運転支援装置１４０は、歩行者情報を物体検出装置１００から受け付け、車両２００の運転を支援する処理を実行する。
【００２０】
運転支援装置１４０は、撮像装置１１０から出力された画像、物体検出装置１００から受け付けた歩行者位置情報、ＥＣＵ１２０から受け付けたシステム状態情報、およびセンサ１３０から受け付けた検出情報を利用して、車両２００の移動経路を決定し、その移動経路をもとに車両２００の自動運転を制御してもよい。例えば、運転支援装置１４０は、車両２００周辺の歩行者を避けるように移動経路を決定し、その移動経路にしたがって自動駐車を制御してもよい。また、運転支援装置１４０は、物体検出装置１００から受け付けた歩行者位置情報や、歩行者位置から導出される車両２００から歩行者までの距離を所定の表示装置（例えばナビゲーション装置の画面等）に表示させてもよい。
【００２１】
図２は、物体検出装置１００の機能ブロックを示すブロック図を含む。物体検出装置１００は、辞書記憶部１０、テンプレート記憶部１２、画像取得部１４、物体検出部１６、テンプレート生成部２２、走行状態検出部２４、候補領域決定部２６、出力部２８を備える。
【００２２】
本開示のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。例えば、物体検出装置１００の複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラムが、物体検出装置１００のメモリに記憶されてもよい。物体検出装置１００のＣＰＵは、このコンピュータプログラムを読み出して実行することにより、上記複数の機能ブロックの機能を発揮してもよい。
【００２３】
辞書記憶部１０は、歩行者の少なくとも一部が映る複数の画像のパターンを事前学習（例えば機械学習等）により記録した辞書データを記憶する。辞書データは、例えば、（１）歩行者の向きが異なる（正面、横向き、後ろ向き等）複数の画像の特徴量のパターン、（２）歩行者の撮像部位が異なる（全身、上半身のみ、下半身のみ等）複数の画像の特徴量のパターン、（３）背景や輝度が異なる複数の画像の特徴量のパターンを含んでもよい。また、画像の特徴量のパターンは、ＨＯＧ（Histogram of Oriented Gradients）特徴のパターン、および／または、ＬＢＰ（Local Binary Pattern）特徴のパターンを含んでもよい。
【００２４】
テンプレート記憶部１２は、後述のテンプレート生成部２２により生成されたテンプレート画像のデータを記憶する。テンプレート画像は、撮像装置１１０により撮像された画像に映る歩行者の画像であり、言い替えれば、撮像装置１１０により撮像された画像のうち歩行者が存在する部分の画像である。
【００２５】
画像取得部１４は、撮像装置１１０から映像を受けつける。映像では、複数の画像が時系列に並べられているので、画像取得部１４は複数の画像を順次取得する。以下、この画像を「検査画像」とも呼ぶ。検査画像は、車両２００から外部、特に後方に向かって撮像されている。
【００２６】
走行状態検出部２４は、ＥＣＵ１２０から出力されたシステム状態情報を受け付け、また、センサ１３０から出力された検出情報を受け付ける。走行状態検出部２４は、システム状態情報と検出情報の少なくとも一方をもとに、車両２００の走行状態を検出する。車両２００の走行状態は、例えば、車両２００の走行速度と操舵角を含む。
【００２７】
候補領域決定部２６は、後述の物体検出部１６により検出された、第１時点で撮像された検査画像に映る歩行者の位置をもとに、第１時点より後の第２時点で撮像される検査画像において歩行者が映りうる領域を候補領域として決定する。候補領域は、関心領域（Region Of Interest）とも言え、後述するように、歩行者を検出する対象領域となる。候補領域決定部２６は、検査画像の座標系における候補領域の座標値を決定してもよい。
【００２８】
候補領域決定部２６は、時系列の複数の検査画像に基づいて、撮像装置１１０（または車両２００）に対する歩行者の相対的な位置の変化を推定し、その推定結果をもとに候補領域を決定する。例えば、候補領域決定部２６は、ある時点の検査画像から検出された歩行者の位置（後述の歩行者領域）を、歩行者の相対的な移動方向の側へ拡大することにより、次の時点の検査画像における候補領域を決定してもよい。
【００２９】
候補領域決定部２６は、第１時点の検査画像と、第１時点より後の第２時点の検査画像（例えば第１時点の検査画像の次に撮像された検査画像）のそれぞれについて、候補領域内の特徴点を検出してもよい。特徴点は、例えば、ＧＦＴＴ（Good Features To Track）でもよく、ハリスコーナー（Harris Corner）でもよい。候補領域決定部２６は、公知のオプティカルフロー（例えばPyramidal Lucas-Kanade Optical Flow）の手法により、時系列での特徴点の動きベクトルを求め、第２時点より後の第３時点の検査画像（例えば第２時点の検査画像の次に撮像された検査画像）における候補領域を決定してもよい。
【００３０】
図３は、検査画像の例を示す。図３の検査画像４０は、歩行者の像を含み、後述するように、物体検出部１６は、歩行者が映る歩行者領域４２を検出する。図４は、候補領域の例を示す。候補領域決定部２６は、時系列の複数の候補領域間での特徴点の動きを検出し、ここでは、右方向の動きベクトルを検出したとする。この場合、候補領域決定部２６は、歩行者領域４２を右側へ相対的に大きく拡大し、左側へ相対的に小さく拡大した候補領域４４を決定する。
【００３１】
また、候補領域決定部２６は、走行状態検出部２４により検出された車両２００の走行状態に応じて、撮像装置１１０（または車両２００）に対する歩行者の相対的な位置の変化を推定し、その推定結果をもとに候補領域を決定する。例えば、候補領域決定部２６は、車両２００の速度が高いほど、歩行者の相対的な位置の変化が大きくなると推定し、大きな候補領域を決定してもよい。また、候補領域決定部２６は、車両２００が右旋回している場合、歩行者領域４２を右側へ相対的に大きく拡大し、左側へ相対的に小さく拡大した候補領域４４を決定してもよい。車両２００が右旋回すれば、歩行者の位置は、相対的に左側に移動するためである。
【００３２】
なお、候補領域決定部２６は、候補領域内の特徴点の動きベクトルと、車両２００の走行状態の両方に基づいて、撮像装置１１０（または車両２００）に対する歩行者の相対的な位置の変化を推定し、その推定結果をもとに候補領域を決定してもよい。
【００３３】
図２に戻り、物体検出部１６は、画像取得部１４により取得された検査画像をもとに歩行者を検出する。物体検出部１６は、パターン認識部１８とテンプレートマッチング部２０を含む。パターン認識部１８は、辞書記憶部１０に記憶された辞書データを用いて公知のパターン認識処理を実行し、検査画像から歩行者の位置を検出する。
【００３４】
候補領域決定部２６により候補領域が決定されている場合、パターン認識部１８は、検査画像における候補領域の部分（言い替えれば、候補領域に該当する画像）から、歩行者の位置を検出する。具体的には、パターン認識部１８は、検査画像における候補領域の特徴量のパターンを認識し、認識したパターンと、辞書データに記憶されたパターンとを比較することにより、検査画像における歩行者の位置を検出する。なお、候補領域が未決定であれば、パターン認識部１８は、検査画像の全体から歩行者の位置を検出する。
【００３５】
テンプレートマッチング部２０は、テンプレート記憶部１２に記憶されたテンプレート画像を用いて公知のテンプレートマッチングを実行し、検査画像から歩行者の位置を検出する。テンプレートマッチング部２０は、検査画像から、候補領域決定部２６により決定された候補領域の部分を抽出し、抽出した部分（すなわち候補領域の画像）から、テンプレート画像に類似する画像を検出する。
【００３６】
テンプレートマッチング部２０は、検査画像における候補領域の部分と、テンプレート画像との類似度を計算する。類似度の計算は、公知の方法でよく、例えば、ＳＡＤ値（Sum of Abusolute Difference）、ＳＳＤ値（Sum of Squared Difference）、ＮＣＣ値（Normalized Cross-Correlation）、またはＺＮＣＣ値（Zero-means Normalized Cross-Correlation）を計算してもよい。テンプレートマッチング部２０は、類似度が所定の閾値以上の場合（言い換えれば、相違度が所定の閾値未満の場合）、テンプレートマッチングに成功したと判定し、候補領域のうちテンプレート画像に類似する領域を歩行者領域として識別する。上記閾値は、物体検出装置１００の開発者の知見や、車両２００を用いた実験により適切な値が定められればよい。
【００３７】
テンプレート生成部２２は、検査画像における候補領域の部分からテンプレート画像に類似する領域が検出された場合、その領域の画像を新たなテンプレート画像としてテンプレート記憶部１２に記録する。すなわち、テンプレート生成部２２は、テンプレートマッチングに成功して歩行者領域を識別した場合、歩行者領域の画像を新たなテンプレート画像として、テンプレート記憶部１２に記憶されたそれまでのテンプレート画像を更新する（すなわち置き換える）。
【００３８】
テンプレート生成部２２は、検査画像における候補領域の部分からテンプレート画像に類似する画像が検出されない場合、テンプレート記憶部１２に記憶されたテンプレート画像の更新を停止する（スキップする）。これにより、次の検査画像に対するテンプレートマッチングは、テンプレート記憶部１２に記憶されたそれまでのテンプレート画像が使用される。
【００３９】
出力部２８は、物体検出部１６（パターン認識部１８またはテンプレートマッチング部２０）により検出された、検査画像における歩行者の位置を示すデータを含む歩行者位置情報を運転支援装置１４０へ出力する。検査画像における歩行者の位置を示すデータは、検査画像の座標系における歩行者領域の座標値（例えば四隅の座標値）であってもよい。また、物体検出部１６は、公知の方法により、検査画像における歩行者の位置をもとに車両２００から歩行者への距離を導出してもよい。出力部２８は、検査画像における歩行者の位置と、車両２００から歩行者への距離の少なくとも一方を含む歩行者位置情報を運転支援装置１４０へ出力してもよい。
【００４０】
以上の構成による物体検出装置１００の動作を説明する。
図５は、物体検出装置１００の動作を示すフローチャートである。画像取得部１４は、撮像装置１１０により撮像された車両２００周辺の様子を映す検査画像を取得する（Ｓ１０のＹ）。テンプレート記憶部１２にテンプレート画像が記憶されていれば（Ｓ１２のＹ）、テンプレートマッチング部２０は、検査画像における候補領域の部分から、テンプレート画像に類似する画像の検出を試行する（Ｓ１４）。
【００４１】
検査画像における候補領域の部分から、テンプレート画像に類似する画像が検出された場合（Ｓ１６のＹ）、テンプレートマッチング部２０は、テンプレート画像に類似する画像の領域を歩行者領域として識別する（Ｓ１８）。テンプレート生成部２２は、検査画像における歩行者領域の画像を新たなテンプレート画像としてテンプレート記憶部１２に記録し、すなわち、テンプレート記憶部１２に記憶されたテンプレート画像を更新する（Ｓ２８）。
【００４２】
テンプレート記憶部１２にテンプレート画像が記憶されておらず（典型的には１枚目の検査画像の場合）（Ｓ１２のＮ）、または、検査画像における候補領域の部分から、テンプレート画像に類似する画像が検出されなければ（Ｓ１６のＮ）、パターン認識部１８は、パターン認識による歩行者検出処理を実行する（Ｓ２０）。具体的には、候補領域決定部２６により候補領域が決定済の場合、パターン認識部１８は、候補領域の画像における特徴量のパターンを認識する。一方、候補領域が未決定であれば（典型的には１枚目の検査画像の場合）、パターン認識部１８は、検査画像全体に亘る特徴量のパターンを認識する。
【００４３】
パターン認識部１８は、認識した特徴量のパターンが、辞書記憶部１０の辞書データに定められた複数の歩行者パターンのいずれかに類似する場合（Ｓ２２のＹ）、検査画像（または検査画像の候補領域）における歩行者パターンに類似する位置と、先のタイミングで検出された歩行者のサイズとをもとに、検査画像における歩行者領域を識別する（Ｓ２４）。先のタイミングで検出された歩行者のサイズは、テンプレートマッチングに最後に成功した際に検出された歩行者領域のサイズと言え、テンプレート記憶部１２に記憶されたテンプレート画像のサイズとも言える。例えば、パターン認識により歩行者の上半身だけが検出された場合でも、先のタイミングで歩行者の全身が検出されていた場合、Ｓ２４では、歩行者の全身に対応するサイズの歩行者領域を識別する。
【００４４】
パターン認識部１８が認識した特徴量のパターンが、辞書データに定められた複数の歩行者パターンのいずれにも非類似であれば（Ｓ２２のＮ）、今回取得された検査画像の処理を終了し、後述のＳ３６に進む。なお、パターン認識による類似、非類似の判定方法、および、判定のパラメータ（閾値等）は、公知の技術を適用してよい。
【００４５】
テンプレート記憶部１２にテンプレート画像が記憶されていなければ（典型的には１枚目の検査画像の場合）（Ｓ２６のＮ）、Ｓ２８へ進む。テンプレート生成部２２は、Ｓ２４で識別された歩行者領域の画像をテンプレート画像としてテンプレート記憶部１２に記録する。テンプレート記憶部１２にテンプレート画像が記憶されていれば（典型的には２枚目以降の検査画像の場合）（Ｓ２６のＹ）、Ｓ２８をスキップする。すなわちテンプレート記憶部１２に記憶されたテンプレート画像を更新しない。
【００４６】
走行状態検出部２４は、車両２００の走行状態を検出する（Ｓ３０）。候補領域決定部２６は、車両２００の走行状態と、オプティカルフローにより特定された歩行者の動きとに応じて、次の検査画像用の候補領域を決定し、物体検出部１６へ入力する（Ｓ３２）。出力部２８は、歩行者の位置を示すデータを運転支援装置１４０へ出力する（Ｓ３４）。終了コマンドが入力された場合等、所定の終了条件が満たされれば（Ｓ３６のＹ）、本図のフローを終了する。終了条件が満たされなければ（Ｓ３６のＮ）、Ｓ１０に戻り、次の検査画像の処理へ移る。検査画像を取得しなければ（Ｓ１０のＮ）、Ｓ３６に進む。
【００４７】
図６は、時系列での画像処理の例を示す。タイミングｔは、撮像装置１１０により生成された１枚目の検査画像（例えば図３の検査画像４０）に対応する。タイミングｔ＋１は２枚目の検査画像に対応し、タイミングｔ＋２は３枚目の検査画像に対応し、タイミングｔ＋３は４枚目の検査画像に対応する。
【００４８】
１枚目の検査画像の処理時（タイミングｔ）、テンプレート記憶部１２には、テンプレート画像が記憶されていない。そのため、パターン認識部１８は、検査画像の全体を対象として特徴量のパターンを認識し、辞書記憶部１０の辞書データと比較して、歩行者領域（ｔの歩行者領域４２）を検出する。言い換えれば、パターン認識部１８は、公知のパターン認識により、検査画像の全体から歩行者の像を検出する。テンプレート生成部２２は、ｔの歩行者領域４２の画像をテンプレート画像としてテンプレート記憶部１２に格納する。候補領域決定部２６は、ｔ＋１の検査画像においてテンプレートマッチングの対象となる候補領域（ｔ＋１の候補領域４４）を決定する。
【００４９】
２枚目の検査画像の処理時（タイミングｔ＋１）、テンプレート記憶部１２には、テンプレート画像が記憶されている。そのため、テンプレートマッチング部２０は、検査画像における候補領域４４の部分と、テンプレート画像との類似度を算出する。２枚目の検査画像は、テンプレート画像との類似度が閾値以上であるため、テンプレートマッチング部２０は、候補領域４４からテンプレート画像に類似する歩行者領域（ｔ＋１の歩行者領域４２）を検出する。テンプレート生成部２２は、ｔ＋１の歩行者領域４２の画像を新たなテンプレート画像としてテンプレート記憶部１２に格納する。候補領域決定部２６は、ｔ＋２の検査画像においてテンプレートマッチングの対象となる候補領域（ｔ＋２の候補領域４４）を決定する。
【００５０】
３枚目の検査画像の処理時（タイミングｔ＋２）、テンプレート記憶部１２には、テンプレート画像が記憶されている。そのため、テンプレートマッチング部２０は、検査画像における候補領域４４の部分と、テンプレート画像との類似度を算出する。３枚目の検査画像は、テンプレート画像との類似度が閾値未満であるため、テンプレートマッチング部２０は、検査画像からテンプレート画像に類似する領域を検出しない。テンプレート生成部２２は、テンプレート記憶部１２に記憶されたテンプレート画像（ｔ＋１の歩行者領域４２）の更新を抑制する。
【００５１】
パターン認識部１８は、検査画像の候補領域４４を対象として特徴量のパターンを認識し、辞書データと比較して、歩行者領域（ｔ＋３の歩行者領域４２）を検出する。ｔ＋２の検査画像には歩行者の上半身だけ映っているが、パターン認識部１８は、テンプレート画像（ｔ＋１の歩行者領域４２）が示す歩行者のサイズに一致するように歩行者領域を決定する。候補領域決定部２６は、ｔ＋３の検査画像においてテンプレートマッチングの対象とする候補領域（ｔ＋３の候補領域４４）を決定する。
【００５２】
４枚目の検査画像の処理時（タイミングｔ＋３）、テンプレート記憶部１２にはテンプレート画像（ここではｔ＋１の歩行者領域４２の画像）が記憶されている。そのため、テンプレートマッチング部２０は、検査画像における候補領域４４の部分と、テンプレート画像との類似度を算出する。４枚目の検査画像は、テンプレート画像との類似度が閾値以上であるため、テンプレートマッチング部２０は、検査画像からテンプレート画像に類似する歩行者領域（ｔ＋３の歩行者領域４２）を検出する。テンプレート生成部２２は、ｔ＋３の歩行者領域４２の画像を新たなテンプレート画像としてテンプレート記憶部１２に格納する。候補領域決定部２６は、次の検査画像においてテンプレートマッチングの対象とする候補領域を決定する。
【００５３】
実施例の物体検出装置１００によると、画像内の限られた領域から移動物体を検出するため、画像に映る移動物体（歩行者等）を検出する精度を高めることができ、誤検知や未検知の発生を抑制することができる。また、物体検出装置１００では、画像内の限られた領域から移動物体を検出するため、物体検出の効率を高めることができる。例えば、物体検出に要する計算量およびシステムリソースを低減することができる。さらにまた、通常は、逐次更新されるテンプレート画像を用いたテンプレートマッチングにより物体を検知し、テンプレートマッチングに失敗した場合には、辞書を用いたパターン認識により物体を検知することにより、物体検知の効率と正確性を両立することができる。
【００５４】
物体検出装置１００は、画像からの物体検出に要する計算量およびシステムリソースを低く抑えることができるため、車両に搭載される装置として好適である。車両に搭載される撮像装置のフレームレートは、一般的に３０〜６０ＦＰＳ（Frames Per Second）であるが、物体検出装置１００は、車両の限られたシステムリソース下でも、１フレームごとに物体を検出することができる。
【００５５】
以上、本開示を実施例をもとに説明した。この実施例は例示であり、実施例の各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
【００５６】
変形例を説明する。テンプレート記憶部１２は、所定条件が満たされた場合に、それまで記憶したテンプレート画像を破棄してもよい。この条件は、（１）テンプレート画像がテンプレート記憶部１２に記憶されてから所定時間が経過したこと、（２）テンプレート画像が更新されずに所定枚数の検査画像が処理されたこと、（３）テンプレートマッチングが所定回数連続して失敗したことでもよい。これにより、パターン認識による物体検知が実行されるため、車両２００周辺の現在の状態に即したテンプレート画像であり、言い換えれば、テンプレートマッチングが成功する可能性が高いテンプレート画像がテンプレート記憶部１２に記憶される。
【００５７】
別の変形例を説明する。上述した実施例の物体検出装置１００は、車両２００に搭載されたが、変形例として、車両２００と通信網を介して接続されるサーバが、物体検出装置１００として機能してもよい。言い換えれば、サーバが、物体検出装置１００の機能を備えてもよい。この場合、サーバは、車両２００の撮像装置１１０が撮像した画像（映像）を車両２００から受信して、車両２００の周囲に存在する移動物体を検出し、その移動物体の位置情報を車両２００の運転支援装置１４０へ送信してもよい。
【００５８】
上述した実施例の物体検出装置１００は、車両２００の周辺の移動物体を検出したが、物体検出装置１００の構成は、画像に映る移動物体を検出する情報処理に広く適用可能である。
【００５９】
上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
【００６０】
実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
［項目１］
第１時点で撮像装置により撮像された第１画像に映る物体の画像をテンプレート画像として記憶するテンプレート記憶部と、
前記第１画像における前記物体の位置をもとに、前記第１時点より後の第２時点で前記撮像装置により撮像される第２画像において前記物体が映りうる領域である候補領域を決定する決定部と、
前記第２画像を取得する取得部と、
前記取得部により取得された第２画像から、前記決定部により決定された候補領域の部分を抽出し、抽出した部分から、前記テンプレート記憶部に記憶されたテンプレート画像に類似する画像を検出することにより、前記第２画像における前記物体の位置を検出する検出部と、
を備える物体検出装置。
この物体検出装置によると、第２画像の一部である候補領域の部分からテンプレート画像に類似する画像を検出するため、物体検出の効率を高めることができ、言い替えれば、物体検出に要する計算量およびシステムリソース量を低減することができる。また、比較的狭小な画像から物体検出を試行するため、物体検出の精度を高めることができ、言い替えれば、誤検出および未検出の発生を抑制することができる。
［項目２］
前記記憶部は、前記第２画像における前記候補領域の部分から前記テンプレート画像に類似する画像が検出された場合、前記類似する画像を新たなテンプレート画像として記憶し、
前記決定部は、前記第２時点より後の第３時点で前記撮像装置により撮像される第３画像において前記物体が映りうる新たな候補領域を決定し、
前記取得部は、前記第３画像を取得し、
前記検出部は、前記第３画像における前記新たな候補領域の部分から、前記新たなテンプレート画像に類似する画像を検出することにより、前記第３画像における前記物体の位置を検出する、
項目１に記載の物体検出装置。
この物体検出装置によると、画像から物体を検出する都度、テンプレート画像を更新していく。画像に映る物体の姿勢は、短時間で大きく変化することは少ないため、テンプレートマッチングの成功率を高めることができ、物体検出の効率および精度を高めることができる。
［項目３］
前記記憶部は、前記第２画像における前記候補領域の部分から前記テンプレート画像に類似する画像が検出されない場合、前記テンプレート画像の更新を停止し、
前記検出部は、前記第３画像における前記新たな候補領域の部分から、前記テンプレート画像に類似する画像を検出することにより、前記第３画像における前記物体の位置を検出する、
項目２に記載の物体検出装置。
この物体検出装置によると、第２画像に対するテンプレートマッチングに失敗した場合にテンプレート画像を更新しないため、第３画像に対するテンプレートマッチングの成功率を高めることができる。また、第２画像に対するテンプレートマッチングに失敗した場合でも候補領域を更新するため、第３画像に対するテンプレートマッチングを効率的に実行することができる。
［項目４］
前記物体の少なくとも一部が映る複数の画像のパターンを記憶するパターン記憶部をさらに備え、
前記検出部は、前記第２画像における前記候補領域の部分から前記テンプレート画像に類似する画像を検出しない場合、前記候補領域の画像のパターンを認識し、認識したパターンと前記パターン記憶部に記憶されたパターンとを比較することにより、前記第２画像における前記物体の位置を検出する、
項目１から３のいずれかに記載の物体検出装置。
この物体検出装置によると、第２画像に対するテンプレートマッチングに失敗した場合、パターン認識により第２画像から物体を検出するため、未検知の可能性を低減することができる。
［項目５］
前記検出部は、前記第２画像における前記パターン記憶部に記憶されたパターンに類似する位置と、前記第１画像に映る前記物体のサイズとをもとに、前記第２画像における前記物体の位置を検出する、
項目４に記載の物体検出装置。
この物体検出装置によると、第２画像における物体の位置を適切に検出することができる。例えば、第２画像における物体の位置をもとに、その物体までの距離を算出する場合に、実際の距離より短い距離を算出してしまうことを回避できる。
［項目６］
前記撮像装置は車両に搭載され、
前記決定部は、前記車両の走行状態に応じて、前記撮像装置に対する前記物体の相対的な位置の変化を推定し、その推定結果をもとに候補領域を決定する、
項目１から５のいずれかに記載の物体検出装置。
この物体検出装置によると、車両の速度や操舵角（転舵角）等に応じて適切に候補領域を決定でき、テンプレートマッチングの成功率を高めることができる。
［項目７］
自車両から外部に向かう画像を撮像する撮像装置と、
前記撮像装置が撮像した画像をもとに物体を検出する物体検出装置と、
を備え、
前記物体検出装置は、
第１時点で撮像装置により撮像された第１画像に映る物体の画像をテンプレート画像として記憶するテンプレート記憶部と、
前記第１画像における前記物体の位置をもとに、前記第１時点より後の第２時点で前記撮像装置により撮像される第２画像において前記物体が映りうる領域である候補領域を決定する決定部と、
前記第２画像を取得する取得部と、
前記取得部により取得された第２画像から、前記決定部により決定された候補領域の部分を抽出し、抽出した部分から、前記テンプレート記憶部に記憶されたテンプレート画像に類似する画像を検出することにより、前記第２画像における前記物体の位置を検出する検出部と、
を備える車両。
この車両によると、第２画像の一部である候補領域の部分からテンプレート画像に類似する画像を検出するため、物体検出の効率を高めることができ、言い替えれば、物体検出に要する計算量およびシステムリソース量を低減することができる。車両では、システムリソースが制限されることがあるが、比較的少ないシステム量で物体検出が可能であるため、例えば、撮像装置が３０ＦＰＳで画像を生成する都度、各画像から物体を検出することができる。また、比較的狭小な画像から物体検出を試行するため、物体検出の精度を高めることができ、言い替えれば、誤検出および未検出の発生を抑制することができる。
【符号の説明】
【００６１】
１０  辞書記憶部、  １２  テンプレート記憶部、  １４  画像取得部、  １６  物体検出部、  １８  パターン認識部、  ２０  テンプレートマッチング部、  ２２  テンプレート生成部、  ２６  候補領域決定部、  １００  物体検出装置、  １１０  撮像装置、  ２００  車両。
【図１】
2019174899.tif 000003
【図２】
2019174899.tif 000004
【図３】
2019174899.tif 000005
【図４】
2019174899.tif 000006
【図５】
2019174899.tif 000007
【図６】
2019174899.tif 000008