(57)【要約】      （修正有）【課題】画像を比較して物体を検出する際の検出精度を向上させる技術を提供する。【解決手段】物体検出システム１０は、画像表示装置２が、車両の移動を検出する移動量検出部２３と、車両に搭載され、車両の周囲を撮影するカメラ１から車両の移動に基づいて異なる時刻に撮影した第一の画像と第二の画像を取得する画像取得部２１と、第一の画像の解像度にあわせて第二の画像の解像度を低下させて補正する解像度補正部２４と、第一の画像内及び第二の画像内に撮影された物体を補正後の第一の画像と第二の画像を比較した差分に基づいて検出する物体検出部２５とを備える。【選択図】図１
2018074411.tif 000002
【特許請求の範囲】
【請求項１】
車両の移動を検出する移動検出部と、
前記車両に搭載され、前記車両の周囲を撮影する撮影装置から前記車両の移動に基づいて異なる時刻に撮影した第一の画像と第二の画像を取得する画像取得部と、
前記第一の画像の解像度にあわせて前記第二の画像の解像度を低下させて補正する解像度補正部と、
前記第一の画像内及び前記第二の画像内に撮影された物体を前記補正後の前記第一の画像と前記第二の画像を比較した差分に基づいて検出する物体検出部と、
を備える物体検出装置。
【請求項２】
前記撮影装置が前記車両の後方を撮影するように設置され、
前記移動検出部が、前記車両の移動方向を検出し、
前記画像取得部が、前記移動検出部によって検出された前記車両の移動方向に基づき、前記車両の移動方向が後進のときには、前記第二の画像よりも前の時刻に撮影された画像を前記第一の画像として取得し、前記車両の移動方向が前進のときには、前記第二の画像よりも後の時刻に撮影された画像を前記第一の画像として取得する請求項１に記載の物体検出装置。
【請求項３】
前記撮影装置が前記車両の前方を撮影するように設置され、
前記移動検出部が、前記車両の移動方向を検出し、
前記画像取得部が、前記移動検出部によって検出された前記車両の移動方向に基づき、前記車両の移動方向が前進のときには、前記第二の画像よりも前の時刻に撮影された画像を前記第一の画像として取得し、前記車両の移動方向が後進のときには、前記第二の画像よりも後の時刻に撮影された画像を前記第一の画像として取得する請求項１に記載の物体検出装置。
【請求項４】
前記移動検出部が、前記車両のシフトポジションに基づいて前記車両の移動方向を検出する請求項２又は３に記載の物体検出装置。
【請求項５】
前記移動検出部が、前記車両の移動量を検出し、
前記画像取得部は、前記第一の画像及び前記第二の画像のうち、一方の画像が撮影された時刻から起算した前記車両の移動量が閾値に達した時刻に撮影された画像を他方の画像として取得する請求項１〜４の何れか１項に記載の物体検出装置。
【請求項６】
車両に搭載され、前記車両の周囲を撮影する撮影装置から所定の時間を隔てて異なる時刻に撮影した第一の画像と第二の画像を取得する画像取得部と、
前記第一の画像の解像度にあわせて前記第二の画像の解像度を低下させて補正する解像度補正部と、
前記第一の画像内及び前記第二の画像内に撮影された物体を前記補正後の前記第一の画像と前記第二の画像を比較した差分に基づいて検出する物体検出部と、
を備える物体検出装置。
【請求項７】
前記解像度補正部は、前記第一の画像及び前記第二の画像に共通して撮影された被写体と前記車両との距離に応じて、前記第二の画像の解像度を低下させる程度を異ならせる請求項１〜６の何れか１項に記載の物体検出装置。
【請求項８】
車両の移動を検出するステップと、
車両に搭載され、前記車両の周囲を撮影する撮影装置から前記車両の移動に基づいて異なる時刻に撮影した第一の画像と第二の画像を取得するステップと、
前記第一の画像の解像度にあわせて前記第二の画像の解像度を低下させて補正するステップと、
前記第一の画像内及び前記第二の画像内に撮影された物体を補正後の前記第一の画像と前記第二の画像を比較した差分に基づいて検出するステップと、
をコンピュータが実行する物体検出方法。
【請求項９】
車両に搭載され、前記車両の周囲を撮影する撮影装置から所定の時間を隔てて異なる時刻に撮影した第一の画像と第二の画像を取得するステップと、
前記第一の画像の解像度にあわせて前記第二の画像の解像度を低下させて補正するステップと、
前記第一の画像内及び前記第二の画像内に撮影された物体を前記補正後の前記第一の画像と前記第二の画像を比較した差分に基づいて検出するステップと、
をコンピュータが実行する物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置及び物体検出方法に関する。
【背景技術】
【０００２】
従来、車両走行の障害となりうる物体を検出し、その物体との衝突を回避する技術が開発されてきている。そこで、そのような車両周辺にある障害物の候補となるような物体を検出するために、カメラなどを用いて車両周辺を撮像しておき、撮像した画像を処理する技術が存在する。その画像内に映し出された物体を検出する一方法として背景差分法（フレーム間差分法とも称す）がある。
【０００３】
背景差分法では、異なる時刻に撮影した２枚の画像（現在フレーム、過去フレーム）について、過去フレームを取得してから現在フレームを取得するまでに移動した距離を求め、この移動した距離に基づいて、過去フレームと現在フレームとの撮影位置の差を補正（位置補正）し、補正後の画像の差分から物体を検出する。なお、本発明と関連する技術としては、例えば、特許文献１〜２がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１９８２４１号公報
【特許文献２】特開２００９−７６０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように背景差分法によって物体を検出する場合、過去フレームと現在フレームとで解像度が異なるため、位置補正の精度が高くても、これらの差分から物体を検出しようとすると、精度良く物体を検出することが難しい。
【０００６】
例えば、過去フレームでは遠方に写っている物体（路面や障害物等）が、現在フレームでは近くに写っていると、同じ物体であっても、過去フレームでは当該物体の解像度が低いため、ぼやけて写り、現在フレームでは当該物体の解像度が高いため、鮮明に写る。このため、これらを比較すると、路面などの本来差分が現れないはずの物体であっても、差分が残ってしまい、路面等を障害物として誤検知してしまうことがある。
【０００７】
そこで、本発明は、画像を比較して物体を検出する際の検出精度を向上させる技術の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の物体検出装置は、上述した課題を解決するため、
車両の移動を検出する移動検出部と、
前記車両に搭載され、前記車両の周囲を撮影する撮影装置から前記車両の移動に基づいて異なる時刻に撮影した第一の画像と第二の画像を取得する画像取得部と、
前記第一の画像の解像度にあわせて前記第二の画像の解像度を低下させて補正する解像度補正部と、
前記第一の画像内及び前記第二の画像内に撮影された物体を前記補正後の前記第一の画像と前記第二の画像を比較した差分に基づいて検出する物体検出部と、
を備える。
また、本発明の物体検出装置は、上述した課題を解決するため、
車両に搭載され、前記車両の周囲を撮影する撮影装置から所定の時間を隔てて異なる時刻に撮影した第一の画像と第二の画像を取得する画像取得部と、
前記第一の画像の解像度にあわせて前記第二の画像の解像度を低下させて補正する解像度補正部と、
前記第一の画像内及び前記第二の画像内に撮影された物体を前記補正後の前記第一の画像と前記第二の画像を比較した差分に基づいて検出する物体検出部と、
を備える。
【発明の効果】
【０００９】
本発明によれば、画像を比較して物体を検出する際の検出精度を向上させる技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態１に係る物体検出システムの構成を示すブロック図である。
【図２】図２は、カメラの配置と、カメラが撮影する方向を示す図である。
【図３】図３は、位置補正部による位置補正の説明図である。
【図４】図４は、物体検出装置のハードウェア構成の一例を示す図である。
【図５】図５は、物体検出装置が実行する物体検出方法の説明図である。
【図６】図６は、本実機形態の物体検出方法おける解像度補正の効果を説明する図である。
【図７】図７は、カメラを車両の前部に設けた場合の物体検出方法の説明図である。
【図８】図８は、実施形態２に係る物体検出装置が実行する物体検出方法の説明図である。
【図９】図９は、カメラを車両の前部に設けた場合の物体検出方法の説明図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。
＜実施形態１＞
＜システムの構成＞
まず、本実施形態の物体検出システム１０の構成について説明する。図１は、実施形態１に係る物体検出システム１０の構成を示すブロック図である。物体検出システム１０は、カメラ１や、物体検出装置２、表示装置３を備えている。この物体検出システム１０は、自動車などの車両に搭載され、当該車両の後方の画像を表示することで、後進時の運転支援を行う機能を有している。物体検出システム１０は、例えば、車両に搭載したオーディオ・ビジュアル・ナビゲーション一体型の電子機器（以下、ＡＶＮ機とも称す）であってもよい。また、物体検出システム１０は、車両後方の画像に、例えば駐車支援としてのガイド線を重畳して表示する等の機能を有していてもよい。
【００１２】
カメラ１は、車両の後方を撮影して撮影画像を得る撮影装置である。このカメラ１は、レンズと撮像素子とを備えており、電子的に撮影画像を取得する。カメラ１は、所定の周期（例えば、１／３０秒周期）で撮影画像を取得し、各撮影画像を動画像の１つのフレームとする映像信号を物体検出装置２へ入力する。
【００１３】
図２は、カメラ１の配置と、カメラ１が撮影する方向を示す図である。図２に示すように、カメラ１は、車両の後端の背面ドア９２に設けられ、その光軸１５は車両の前後方向に沿って後方に向けられ、水平又は水平よりも下側へ向けて設けられる。即ち、本例のカメラ１は、車両の後方の様子を撮影するバックカメラであり、例えば、後進して駐車する際に、駐車枠や当該駐車枠の周囲の画像を取得するように設置される。また、このカメラ
１のレンズには魚眼レンズが採用されており、例えば、１８０〜１５０度の画角θを有している。なお、カメラ１のレンズは魚眼レンズに限らず、所要の領域を撮影できる画角（例えば１５０〜１００度の広角レンズ）を有するものであればよい。
【００１４】
図１に戻り、物体検出装置２は、カメラ１で取得した撮影画像に基づいて車両周辺の物体を検出し、運転に支障を及ぼすような障害物と判定した場合には、ユーザ（主に運転者）に注意を促す表示を行う。この物体検出装置２は、画像取得部２１、位置補正部２２、移動量検出部２３、解像度補正部２４、物体検出部２５、シフトポジション取得部２６、障害物判定部２７、出力制御部２８を備えている。なお、移動量検出部２３とシフトポジション取得部（移動方向検出部）２６は、本発明の移動検出部を構成する。
【００１５】
画像取得部２１は、カメラ１から撮影画像を取得し、この撮影画像から車両の移動に基づいて異なる時刻に撮影した第一の画像と第二の画像を取得する。例えば、画像取得部２１は、車両の移動方向が後進のときには、第二の画像よりも前の時刻に撮影された画像を第一の画像として取得し、前記車両の移動方向が前進のときには、第二の画像よりも後の時刻に撮影された画像を第一の画像として取得する。
【００１６】
位置補正部２２は、画像取得部２１が取得した第一の画像の視点位置を第二の画像に合わせるように補正する。図３は、この位置補正部２２による位置補正の説明図である。第一の画像と第二の画像とは、撮影の時刻が異なるため、この間に車両が移動すると、図３（Ａ）に示すように、第一の画像を撮影したときのカメラ１の位置（視点位置とも称す）８１と、第二の画像を撮影したときのカメラ１の位置（視点位置）８２が異なる。このため、第一の画像と第二の画像で共通の被写体を撮影した場合でも、当該被写体は第一の画像と第二の画像で異なって撮影される。
【００１７】
図３（Ｂ）は、第一の画像と第二の画像に共通して撮影される被写体８３の一例を示す。被写体８３は、路面８４上に描かれたパターンであり、本例では正方形を縦横に３分割した形状である。この被写体８３を視点位置８１から撮影した場合、図３（Ｃ）に示すように、路面８４に対して光軸１５が傾いているため、第一の画像７１に写る被写体８３Ａは、カメラ１から遠い辺ａ１〜ａ４が近い辺ｄ１〜ｄ４より短く変形して撮影される。また、被写体８３を視点位置８２から撮影した場合、図３（Ｄ）に示すように、第二の画像７２に写る被写体８３Ｂは、第一の画像７１の被写体８３Ａと比べて、カメラ１に近い位置、即ち第二の画像７２の下端側に写り、辺Ａ１〜Ａ４等の変形の程度も少なくなっている。なお、視点位置８１と視点位置８２との距離は、例えば７５ｍｍであり、第一の画像７１上の被写体８３Ａと第二の画像７２上の被写体８３Ｂとの差異は、大きなものではないが、図３では、説明のため誇張して示している。
【００１８】
そして、位置補正部２２は、図３（Ｅ）に示すように第一の画像７１の被写体８３Ａの各点ａ１〜ａ４，ｂ１〜ｂ４、ｃ１〜ｃ４が、第二の画像７２の対応する各点Ａ１〜Ａ４，Ｂ１〜Ｂ４，Ｃ１〜Ｃ４の位置となるように、それぞれの座標を変換することで、第一の画像７１の被写体８３Ａが第二の画像７２の被写体８３Ｂと同じ形状となる。このように第一の画像７１と第二の画像７２との差異に基づいて、第一の画像７１における各画素の座標を変換することで、第一の画像７１が第二の画像７２の視点位置８２で撮影された画像のように変換される。以下、この処理を視点変換又は位置補正と称す。
【００１９】
また、第一の画像７１や第二の画像７２が、魚眼レンズや広角レンズで撮影され、歪曲収差によって、直線状の被写体が湾曲して撮影される場合に、位置補正部２２は、この歪みを直線状に戻すように歪み補正を行ってもよい。
【００２０】
移動量検出部２３は、カメラ１で撮影した撮影画像を用いて車両の移動量を検出する機
能を有している。例えば、移動量検出部２３は、時間的に前後する撮影画像において、同一の被写体を表示している部分を抽出し、各表示位置の関係に基づいて車両の移動量を導出する。
【００２１】
同一の被写体を表示している画素を抽出する方法としては、例えば、テンプレートマッチング手法を用いることができる。テンプレートマッチング手法とは、画像の中から、予め指定したテンプレート画像と似ている位置を探す手法である。本実施形態で用いる場合には、例えば、前フレームの撮影画像の一部分の画像をテンプレートとして、後フレームの撮影画像と比較するといった処理を画像全体に渡って実行すればよい。このようなテンプレートマッチング手法としては、例えば、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）等の手法を用いることができる。
【００２２】
テンプレートマッチング手法以外にも特徴点方式を用いることもできる。特徴点方式とは、いわゆる、オプティカルフローを用いた方式である。つまり、互いに異なる時点に取得された複数の撮影画像のそれぞれから特徴点を抽出し、複数の俯瞰画像間での特徴点の動きを示すオプティカルフローを導出する。特徴点とは、画像から際立って検出できる点であり、例えば、物体のコーナー（エッジの交点）などの点である。そして、特徴点方式では、直近の俯瞰画像から抽出した特徴点と、過去の俯瞰画像から抽出した特徴点とを対応づけ、この対応付けられた各特徴点の位置に基づいて移動ベクトルを導出する。
【００２３】
また、撮影画像には、路面を撮影した部分と、自動車等の立体物を表示した部分との双方が含まれていることが多い。路面は、平面であり移動物ではないため、路面の移動ベクトルは、全て略同じ方向及び略同じ大きさの移動ベクトルになる。一方、立体物の移動ベクトルは、その立体物の移動方向や高さなどに応じて、方向及び大きさの異なる移動ベクトルとなる。
【００２４】
このため、立体物の移動ベクトルは、車両の移動量を正確に反映したものではなく、路面の移動ベクトルが車両の移動量を正確に反映したものとなる。したがって、移動量検出部２３が導出した移動ベクトルには、種々の方向及び大きさの移動ベクトルが含まれていることになるが、車両の移動量を正確に導出するためには、その中から例えば路面の移動ベクトルを抽出することが望ましい。
【００２５】
一般的には、車両周辺を撮影した画像には、路面を表示する部分が最も多く含まれているため、通常は、路面に関する移動ベクトルが最も多い。そこで、本実施形態では、全ての移動ベクトルについて大きさに関するヒストグラムを生成し、数が最も多い部分の移動ベクトルを、路面の移動ベクトルとして抽出する。
【００２６】
そして、移動量検出部２３は、撮影画像の上部、即ち図３（Ａ）において遠くの路面が撮影される部分の特徴点が、撮影画像の下部、即ち図３（Ａ）において近くの路面が撮影される部分へ移動するベクトルが検出された場合、車両の移動ベクトルが後方に向かうベクトルであること、即ち車両が後進したことと、その量（移動量）を検出する。反対に撮影画像の下部に撮影された特徴点が、撮影画像の上部へ移動した場合、車両が前進したことと、その量（移動量）を検出する。
【００２７】
なお、移動量検出部２３は、撮影画像を用いて車両の移動ベクトルを検出したが、これに限らず、例えばＡＶＮ機に備えられた加速度センサ等によって車両の移動量を検出しても良いし、車両のＥＣＵから車速パルスやシフトポジションを取得して移動量を求めても良い。
【００２８】
解像度補正部２４は、第一の画像及び第二の画像に共通して撮影された被写体と車両と
の距離が、第一の画像を撮影した時刻よりも第二の画像を撮影した時刻において短い場合に、第二の画像の解像度にあわせて前記第一の画像の解像度を低下させて補正する。例えば、第一の画像を平均化フィルタやガウシアンフィルタ、メディアンフィルタ等の空間フィルタによって処理することにより、解像度を低下させる。
【００２９】
物体検出部２５は、解像度補正後の第一の画像と第二の画像とを比較し、各画素の差分から第一の画像内及び前記第二の画像内に撮影された物体（例えば、駐車の障害となる立体物）を検出する。なお、物体検出部２５は、前記差分が、所定の閾値を超えた場合に物体として検出してもよい。前述の図３の例では、第一の画像の被写体８３Ａが第二の画像の被写体８３Ｂと同じになるように位置補正が行われた。この被写体８３Ａ，８３Ｂは路面８４に描かれたパターンのため、路面に描かれた標識や駐車枠など、路面と略同じ高さにあるものは、第一の画像と第二の画像とで一致するが、路面と異なる高さに存在するもの、即ち立体物は、第一の画像と第二の画像とで一致しない。このため、物体検出部２５は、第一の画像と第二の画像とで差が生じた部分を物体の画像として検出する。即ち、この画像上の差が生じた部分と対応する物体面上の位置に物体（立体物）が存在することを検出する。なお、本実施形態の物体検出部２５は、第一の画像と第二の画像のうち、後で撮影した第二の画像上で、検出した物体の位置を特定している。
【００３０】
シフトポジション取得部２６は、ＥＣＵ（不図示）等から自車両のシフトポジションを示す信号を取得する。シフトポジションは、シフトレバー（シフトノブ、シフター、セレクトレバー、チェンジレバー等とも称す）の位置、即ちシフトレバーによって操作されるトランスミッションの状態を示す。即ち、シフトポジションによって車両の移動方向が示される。本実施形態において、シフトポジション取得部２６は、移動方向検出部に相当する。
【００３１】
障害物判定部２７は、物体検出部２５によって、検出された物体のうち、運転の障害となる物体を障害物として検出する。例えば、ＥＣＵから車両の舵角を取得し、車両の走路を予測して、当該走路上及び近接する物体を障害物と検出する。なお、物体検出部２５で検出した物体（立体物）から障害物の絞り込みを行わず、全て障害物とする場合には、障害物判定部２７を省略してもよい。
【００３２】
出力制御部２８は、第一の画像又は第二の画像（本実施形態では、第一の画像）を取得し、映像信号として表示装置３へ出力して表示させる。このとき出力制御部２８は、当該画像から検出した障害物の情報を障害物判定部２７から取得し、当該画像のうち、障害物として抽出した物体の部分に、障害物であることを示す印（以下、警告パターンとも称す）を合成する。警告パターンは、例えば当該物体を囲む線や網掛け、図形、色又は輝度の変更等である。また、出力制御部２８は、撮影画像や俯瞰画像に駐車誘導線を合成するものであっても良い。
【００３３】
また、本実施形態の出力制御部２８は、シフトポジションが、Ｒレンジ、即ち車両の後進を示す場合に前記第二の画像を表示装置３に表示させ、シフトポジションが、Ｒレンジ以外の場合には、第二の画像以外の画像、例えばＡＶＮ機のナビゲーション画面やオーディオ機能の操作画面等を表示装置３に表示させる。
【００３４】
表示装置３は、車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、各種の情報をユーザに表示する。表示装置３は、目的地までのルートを案内するナビゲーション機能や音楽を再生するオーディオ機能を備えたＡＶＮ機の表示装置であっても良い。
【００３５】
図４は、物体検出装置２のハードウェア構成の一例を示す図である。物体検出装置２は
、図４に例示のように、接続バス２１０によって相互に接続されたＣＰＵ（Central Processing Unit）２０１、メモリ２０２、入出力ＩＦ２０３を有する。ＣＰＵ２０１は、物
体検出装置２全体の制御を行う中央処理演算装置である。ＣＰＵ２０１はプロセッサとも呼ばれる。ただし、ＣＰＵ２０１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ２０１がマルチコア構成であってもよい。
【００３６】
メモリ２０２は、主記憶装置と補助記憶装置とを含む。主記憶装置は、ＣＰＵ２０１の作業領域，プログラムやデータの記憶領域，通信データのバッファ領域として使用される。主記憶装置は、例えば、Random Access Memory（ＲＡＭ），或いはＲＡＭとRead Only Memory（ＲＯＭ）との組み合わせで形成される。主記憶装置は、ＣＰＵ２０１がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶装置は、例えば、フラッシュメモリ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。補助記憶部は、ＣＰＵ２０１により実行されるプログラムや、動作の設定情報などを記憶する記憶媒体である。補助記憶装置は、例えば、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable ROM）、フ
ラッシュメモリ、ＵＳＢメモリ、メモリカード等である。
【００３７】
入出力ＩＦ２０３は、物体検出装置２に接続するセンサや操作部、通信モジュール、ＥＣＵ等の機器との間でデータの入出力を行うインターフェースである。物体検出システム１０においては、ユーザによる選択操作が操作部から入出力ＩＦ２０３を介して、物体検出装置２に入力される。また、なお、上記の構成要素はそれぞれ複数に設けられてもよいし、一部の構成要素を設けないようにしてもよい。また、上記の構成要素は、ＡＶＮ機の構成要素に含まれるとしてもよい。
【００３８】
物体検出装置２では、ＣＰＵ２０１がプログラムを実行することにより、図１に示す画像取得部２１、位置補正部２２、移動量検出部２３、解像度補正部２４、物体検出部２５、シフトポジション取得部２６、障害物判定部２７、出力制御部２８の各処理部として機能する。但し、上記各処理部の少なくとも一部の処理がＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって提供されても
よい。また、上記各処理部の少なくとも一部が、ＦＰＧＡ（Field-Programmable Gate Array）等の専用ＬＳＩ（large scale integration）、その他のデジタル回路であってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。
【００３９】
＜表示制御方法＞
図５は、物体検出装置２が実行する物体検出方法の説明図である。物体検出装置２は、開始指示の入力があった場合や、車両のＡＣＣ電源がオンとなった場合に、周期的に図５の処理を実行させる。
【００４０】
先ず、物体検出装置２は、シフトポジションを取得し、車両の移動方向が後進か否かを判定する。車両の移動方向が後進であれば（ステップＳ１０、Ｙｅｓ）、物体検出装置２は、カメラ１から取得した撮影画像から、第一の画像を取得する（ステップＳ２０）。
【００４１】
また、物体検出装置２は、カメラ１から取得した撮影画像のオプティカルフローに基づいて車両の移動量を求めて、第一の画像が撮影された時刻から起算した車両の移動量を求める（ステップＳ３０）。そして、物体検出装置２は、車両の移動量が所定の閾値（例えば７５ｍｍ）に達したか否かを判定する（ステップＳ４０）。なお、この閾値は、７５ｍｍに限らず、３０〜１００ｍｍなど、要求する精度や、カメラの仕様、車両の速度などに応じて任意に設定できる。
【００４２】
車両の移動量が所定の閾値に達したか場合、この時刻に撮影された撮影画像を第二の画像として取得する（ステップＳ５０）。
【００４３】
物体検出装置２は、ステップＳ５０で取得した第二の画像を空間フィルタで処理して解像度を低下させ、第二の画像の解像度を第一の画像に合わせるように補正する（ステップＳ６０）。即ち、ステップＳ６０では、車両が後進しているため、ステップＳ２０で先に取得した第一の画像よりもステップＳ５０で取得した第二の画像の方が共通の被写体に近づいて撮影しており、第二の画像の方が解像度が高いため第一の画像に合わせて解像度を低下させている。
【００４４】
次に、物体検出装置２は、第一の画像と第二の画像を比較し、背景差分法によって第一の画像内及び前記第二の画像内に撮影された立体物（物体）を検出する（ステップＳ７０）。また、物体検出装置２は、車両の移動方向や舵角に基づいて、車両の走路を予測し、ステップ７０で検出された物体のうち、当該走路上に存在する物体及び当該走路と近接する物体を障害物として検出する（ステップＳ８０）。
【００４５】
そして、物体検出装置２は、ステップＳ８０で検出した障害物の情報に基づき、第二の画像のうち、障害物として抽出した物体の部分に、障害物であることを示す警告パターンを合成する（ステップＳ９０）。また、物体検出装置２は、警告パターンを合成した第二の画像を映像信号として表示装置３へ出力し、表示装置３に表示させる（ステップＳ１００）。
【００４６】
一方、ステップＳ１０で車両の移動方向が後進でなければ（ステップＳ１０、Ｎｏ）、物体検出装置２は、カメラ１から取得した撮影画像から、第二の画像を取得する（ステップＳ１２０）。
【００４７】
また、物体検出装置２は、カメラ１から取得した撮影画像のオプティカルフローに基づいて車両の移動量を求めて、第二の画像が撮影された時刻から起算した車両の移動量を求める（ステップＳ１３０）。そして、物体検出装置２は、車両の移動量が所定の閾値（例えば７５ｍｍ）に達したか否かを判定する（ステップＳ１４０）。
【００４８】
車両の移動量が所定の閾値に達したか場合、この時刻に撮影された撮影画像を第一の画像として取得する（ステップＳ１５０）。
【００４９】
物体検出装置２は、ステップＳ１２０で取得した第二の画像を空間フィルタで処理して解像度を低下させ、第二の画像の解像度を第一の画像に合わせるように補正する（ステップＳ１６０）。即ち、ステップＳ１６０では、車両が前進しているため、ステップＳ１５０で取得した第一の画像よりもステップＳ１２０で取得した第二の画像の方が共通の被写体の近くで撮影しており、第二の画像の方が解像度が高いため第一の画像に合わせて解像度を低下させている。
【００５０】
次に、物体検出装置２は、第一の画像と第二の画像を比較し、背景差分法によって第一の画像内及び前記第二の画像内に撮影された立体物（物体）を検出する（ステップＳ１７０）。また、物体検出装置２は、車両の移動方向や舵角に基づいて、車両の走路を予測し、ステップ１７０で検出された物体のうち、当該走路上に存在する物体及び当該走路と近接する物体を障害物として検出する（ステップＳ１８０）。
【００５１】
なお、本実施形態では、車両の移動方向が前進の場合、カメラ１で撮影した画像を表示装置３に表示させないため、障害物を検出するまでの処理（ステップＳ１２０〜Ｓ１８０）は行うが、警告パターンの合成や表示装置３への出力の処理は行わない。これにより例
えば、駐車時に切り返しのため、シフトポジションが後進から前進に切り替えられ、再び後進に戻された場合でも、前進時に求めた障害物の情報を用いて後進に切り替えた直後の撮影画像に警告パターンを合成して表示装置３へ出力することができる。
【００５２】
また、本実施形態の物体検出システム１０は、障害物を表示する専用の表示装置を備え、同様に前進時にもステップＳ１８０で検出した障害物の情報を用い、更新時のステップＳ９０、Ｓ１００と同様に第二の画像に警告パターンを合成して専用の表示装置へ出力し、表示させてもよい。
【００５３】
＜解像度補正の効果＞
図６は、本実機形態の物体検出方法おける解像度補正の効果を説明する図である。図６では、第一の画像４１、第二の画像４３のそれぞれ路面上の同じ位置を拡大して拡大画像４２，４４として示している。即ち、拡大画像４２，４４は、共通の被写体を撮影した部分である。
【００５４】
拡大画像４２，４４を比較した場合、拡大画像４２の輪郭が、ぼやけているのに対し、拡大画像４４では輪郭の細かな形状が表示されている。このため拡大画像４２，４４を比較して物体を検出した場合、拡大画像４５のように、輪郭部分の差異が物体として誤検知されてしまう。
【００５５】
そこで、図５の処理により、第二の画像４３を空間フィルタによって処理し、拡大画像４６のように解像度を低下させて第一の画像の解像度と合わせている。これにより拡大画像４６では、輪郭部分が拡大画像４２と同程度にぼやけ、差異が少なくなっている。このため拡大画像４２，４６を比較して物体を検出した場合、拡大画像４７のように、輪郭部分に誤検知が生じなくなる。
【００５６】
＜実施形態の作用効果＞
以上のように、本実施形態１によれば、第一の画像の解像度にあわせて第二の画像の解像度を低下させて補正し、補正後の第一の画像と第二の画像を比較した差分に基づいて、第一の画像内及び第二の画像内に撮影された物体を検出する。
【００５７】
これにより、本実施形態の物体検出装置２は、第一の画像と第二の画像の撮影位置が異なることによる解像度の違いを抑え、第一の画像と第二の画像を比較して物体を検出する際の検出精度を向上させることができる。
【００５８】
また、本実施形態１の物体検出装置２は、車両の移動方向を検出するシフトポジション取得部２６（移動方向検出部）を備え、カメラ１が車両の後方を撮影するように設置され、画像取得部２１が、シフトポジション取得部２６によって検出されたシフトポジション（車両の移動方向）に基づき、車両の移動方向が後進のときには、第二の画像よりも前の時刻に撮影された画像を第一の画像として取得し、前記車両の移動方向が前進のときには、第二の画像よりも後の時刻に撮影された画像を第一の画像として取得する。
【００５９】
これにより、本実施形態の物体検出装置２は、車両の移動方向に基づいて第一の画像と第二の画像とを適切に取得し、第一の画像と比べて、共通の被写体を近い位置で撮影した第二の画像の解像度を低下させ、第一の画像と第二の画像を比較して物体を検出する際の検出精度を向上させることができる。
【００６０】
また、本実施形態１の物体検出装置２は、シフトポジション取得部（移動方向検出部）２６が、車両のシフトポジションに基づいて、車両の移動方向を検出する。
【００６１】
これにより、本実施形態の物体検出装置２は、切り返し時などに、車両の移動方向を確実に検出することができる。
【００６２】
また、本実施形態１の物体検出装置２は、車両の移動量を検出する移動量検出部２３を備え、画像取得部２１は、第一の画像及び第二の画像のうち、一方の画像が撮影された時刻から起算した車両の移動量が閾値に達した時刻に撮影された画像を他方の画像として取得する。
【００６３】
これにより、本実施形態の物体検出装置２は、適切なタイミングで第一の画像と第二の画像を取得し、第一の画像と第二の画像を比較して物体を検出する際の検出精度を向上させることができる。例えば静止している物体は、車両側に動きがなければ異なる時刻の画像を比較しても差異が少ないため、この差異が適切な大きさとなるように、車両の移動量が閾値に達した時に物体検出を行うことで、適切に静止している物体を検出することができる。
【００６４】
＜変形例＞
前述の実施形態１では、カメラ１を車両の後部に設けて、車両後方の障害物を検出する構成としたが、これに限らず、カメラ（撮影装置）を車両の前部に設けて、車両前方の障害物を検出する構成としてもよい。図７は、カメラを車両の前部に設けた場合の物体検出方法の説明図である。本変形例は、前述の実施形態１とくらべて、カメラ１を車両の前部設け、前進時にも表示装置３にカメラ１で撮影した画像を表示させる構成と図７に示す一部の処理が異なり、その他の構成は同じである。このため同一の要素については、再度の説明を省略する。
【００６５】
本変形例では、車両前部にカメラが設けられているため、図７の処理は前述の実施形態１に係る図５と比べて、前進で行う処理と後進で行う処理が反対になっている。例えば、図７では、ステップＳ１０Ａにおいて、車両の移動方向が前進と判定した場合にステップＳ２０へ移行し、ステップＳ１０Ａにおいて、車両の移動方向が前進と判定した場合にステップＳ１２０へ移行する。ステップＳ２０〜Ｓ１００，ステップＳ１２０〜Ｓ１８０の処理は、図５と同じである。なお、図７の処理では、後進時に、ステップ１８０で、障害物を検出した後、物体検出装置２は、障害物の情報に基づき、第二の画像のうち、障害物として抽出した物体の部分に、障害物であることを示す警告パターンを合成する（ステップＳ１９０）。また、物体検出装置２は、警告パターンを合成した第二の画像を映像信号として表示装置３へ出力し、表示装置３に表示させる（ステップＳ１００）。
【００６６】
このように本変形例によれば、カメラ１が車両の前方を撮影するように設置され、画像取得部２１が、シフトポジション取得部２６によって検出された車両の移動方向に基づき、車両の移動方向が前進のときには、第二の画像よりも前の時刻に撮影された画像を第一の画像として取得し、前記車両の移動方向が後進のときには、第二の画像よりも後の時刻に撮影された画像を第一の画像として取得する。
【００６７】
これにより、本変形例の物体検出装置２は、カメラ１を車両部に設けて車両前方の物体を検出する場合においても、車両の移動方向に基づいて第一の画像と第二の画像とを適切に取得し、第一の画像と比べて、共通の被写体を近い位置で撮影した第二の画像の解像度を低下させ、第一の画像と第二の画像を比較して物体を検出する際の検出精度を向上させることができる。
【００６８】
＜実施形態２＞
前述の実施形態１では、車両の移動量が所定の閾値に達した場合に物体の検出を行う処理を示しており、主に静止物を対象としていた。本実施形態２は、前述の実施形態１の構
成に加え、移動物の検出も行う構成としている。本実施形態２において、前述の実施形態１と同一の要素は、同符号を付す等して再度の説明を省略する。
【００６９】
図８は、本実施形態２に係る物体検出装置２が実行する物体検出方法の説明図である。先ず、物体検出装置２は、シフトポジションを取得し、車両の移動方向が後進か否かを判定する。車両の移動方向が後進であれば（ステップＳ２１０、Ｙｅｓ）、物体検出装置２は、カメラ１から取得した撮影画像から、第二の画像を取得する（ステップＳ２２０）。
【００７０】
また、物体検出装置２は、カメラ１から取得した撮影画像のうち、ステップＳ２２０で取得した第二の画像の一つ前のフレームである撮影画像を第一の画像として取得する（ステップＳ２３０）。なお、本実施形態では、第二の画像の一つ前のフレームを第一の画像としたが、これに限らず、第二の画像の所定数前のフレームを第一の画像としてもよい。即ち、第二の画像に対して所定の時間を隔てて第一の画像を取得してもよい。
【００７１】
物体検出装置２は、カメラ１から取得した撮影画像のオプティカルフローに基づいて、第一の画像が撮影された時刻から第二の画像が撮影された時刻までの車両の移動量を求める（ステップＳ２４０）。
【００７２】
物体検出装置２は、ステップＳ２３０で取得した第二の画像を空間フィルタで処理して解像度を低下させる。ここで物体検出装置２は、ステップＳ２４０で求めた車両の移動量に基づいてフィルタ係数を決定し、この車両の移動量に応じた係数の空間フィルタで第二の画像の解像度を第一の画像に合わせるように補正する（ステップＳ２５０）。例えば、車両の移動量が大きく、第一の画像と第二の画像の解像度の差が大きい場合には、解像度を低下させる程度を大きくし、車両の移動量が大きく、第一の画像と第二の画像の解像度の差が小さい場合には、解像度を低下させる程度を小さくするようにフィルタ係数を設定する。
【００７３】
次に、物体検出装置２は、第一の画像と第二の画像を比較し、背景差分法によって第一の画像内及び前記第二の画像内に撮影された立体物（物体）を検出し、メモリに記憶する（ステップＳ２６０）。また、物体検出装置２は、ステップ２６０で検出された物体のうち、メモリに記憶した過去の検出結果と比較して移動している物体を移動物として検出する（ステップＳ２７０）。
【００７４】
物体検出装置２は、車両の移動方向や舵角に基づいて、車両の走路を予測し、ステップＳ２７０で検出された移動物のうち、当該走路上に存在する物体及び当該走路に向かって移動している物体を障害物として検出する（ステップＳ２８０）。
【００７５】
また、物体検出装置２は、前回静止物の検出を行った時刻から起算した車両の移動量が所定の閾値（例えば７５ｍｍ）以上か否かを判定する（ステップＳ２９０）。
【００７６】
この車両の移動量が所定の閾値以上でなければ（ステップＳ２９０，Ｎｏ）、物体検出装置２は、ステップＳ３４０へ移行し、車両の移動量が所定の閾値以上であれば（ステップＳ２９０，Ｙｅｓ）、前回静止物の検出を行った時刻に撮影した撮影画像を第一の画像として取得する（ステップＳ３００）。
【００７７】
物体検出装置２は、ステップＳ２２０で取得した第二の画像を空間フィルタで処理して解像度を低下させ、第二の画像の解像度を第一の画像に合わせるように補正する（ステップＳ３１０）。このステップＳ３１０の空間フィルタのフィルタ係数は、ステップＳ２５０における空間フィルタのフィルタ係数よりも解像度を低下させる程度を大きくするように設定してもよい。
【００７８】
次に、物体検出装置２は、第一の画像と第二の画像を比較し、背景差分法によって第一の画像内及び前記第二の画像内に撮影された物体（主に静止物）を検出する（ステップＳ３２０）。また、物体検出装置２は、車両の移動方向や舵角に基づいて、車両の走路を予測し、ステップ３２０で検出された物体のうち、当該走路上に存在する物体及び当該走路と近接する物体を障害物として検出する（ステップＳ３３０）。
【００７９】
そして、物体検出装置２は、ステップＳ２８０，Ｓ３３０で検出した障害物の情報に基づいて、第二の画像のうち、障害物として抽出した物体の部分に、障害物であることを示す警告パターンを合成する（ステップＳ３４０）。また、物体検出装置２は、ステップＳ２８０で検出した移動物である障害物と、ステップＳ３３０で検出した静止物である障害物とで警告パターンを異ならせてもよい。なお、ステップＳ２９０で、車両の移動量が所定の閾値以上でない（ステップＳ２９０，Ｎｏ）と判定され、ステップＳ２９０からステップＳ３４０へ移行した場合には、ステップＳ２８０で検出した障害物の情報に基づいて、警告パターンを合成する。
【００８０】
物体検出装置２は、警告パターンを合成した第二の画像を映像信号として表示装置３へ出力し、表示装置３に表示させる（ステップＳ３５０）。
【００８１】
一方、ステップＳ２１０で車両の移動方向が後進でなければ（ステップＳ２１０、Ｎｏ）、物体検出装置２は、カメラ１から取得した撮影画像から、第一の画像を取得する（ステップＳ４２０）。
【００８２】
また、物体検出装置２は、カメラ１から取得した撮影画像のうち、ステップＳ４２０で取得した第一の画像の一つ前のフレームである撮影画像を第二の画像として取得する（ステップＳ４３０）。なお、本実施形態では、第一の画像の一つ前のフレームを第二の画像としたが、これに限らず、第一の画像の所定数前のフレームを第二の画像としてもよい。即ち、第一の画像に対して所定の間隔を空けて第二の画像を取得してもよい。
【００８３】
物体検出装置２は、カメラ１から取得した撮影画像のオプティカルフローに基づいて、第一の画像が撮影された時刻から第二の画像が撮影された時刻までの車両の移動量を求める（ステップＳ４４０）。
【００８４】
物体検出装置２は、ステップＳ４２０で取得した第二の画像を空間フィルタで処理して解像度を低下させる。ここで物体検出装置２は、ステップＳ４４０で求めた車両の移動量に基づいてフィルタ係数を決定し、この車両の移動量に応じた係数の空間フィルタで第二の画像の解像度を第一の画像に合わせるように補正する（ステップＳ４５０）。
【００８５】
次に、物体検出装置２は、第一の画像と第二の画像を比較し、背景差分法によって第一の画像内及び前記第二の画像内に撮影された立体物（物体）を検出し、メモリに記憶する（ステップＳ４６０）。また、物体検出装置２は、ステップ４６０で検出された物体のうち、メモリに記憶した過去の検出結果と比較して移動している物体を移動物として検出する（ステップＳ４７０）。
【００８６】
物体検出装置２は、車両の移動方向や舵角に基づいて、車両の走路を予測し、ステップＳ４７０で検出された移動物のうち、当該走路上に存在する物体及び当該走路に向かって移動している物体を障害物として検出する（ステップＳ４８０）。
【００８７】
また、物体検出装置２は、前回静止物の検出を行った時刻から起算した車両の移動量が所定の閾値（例えば７５ｍｍ）以上か否かを判定する（ステップＳ４９０）。
【００８８】
この車両の移動量が所定の閾値以上でなければ（ステップＳ４９０，Ｎｏ）、物体検出装置２は、図８の処理を終了し、車両の移動量が所定の閾値以上であれば（ステップＳ４９０，Ｙｅｓ）、前回静止物の検出を行った時刻に撮影した撮影画像を第二の画像として取得する（ステップＳ５００）。
【００８９】
物体検出装置２は、ステップＳ５００で取得した第二の画像を空間フィルタで処理して解像度を低下させ、第二の画像の解像度を第一の画像に合わせるように補正する（ステップＳ５１０）。このステップＳ５１０の空間フィルタのフィルタ係数は、ステップＳ４５０における空間フィルタのフィルタ係数よりも解像度を低下させる程度を大きくするように設定してもよい。
【００９０】
次に、物体検出装置２は、第一の画像と第二の画像を比較し、背景差分法によって第一の画像内及び前記第二の画像内に撮影された静止物を検出する（ステップＳ５２０）。また、物体検出装置２は、車両の移動方向や舵角に基づいて、車両の走路を予測し、ステップ５２０で検出された物体のうち、当該走路上に存在する物体及び当該走路と近接する物体を障害物として検出する（ステップＳ５３０）。
【００９１】
このように本実施形態２によれば、移動する障害物と静止している障害物とを検出できる。特に、カメラ１で撮影した撮影画像の毎フレームについて、障害物検出を行うことで、移動する障害物を精度良く検出できると共に、車両の移動量が閾値に達する毎に、障害物検出を行うことで、静止物の差分が適当な大きさとなるタイミングで静止している障害物を検出できる。
【００９２】
また、本実施形態２の物体検出装置２は、解像度補正部２４が、第一の画像及び第二の画像に共通して撮影された被写体と車両との距離（撮影距離）に応じて、第二の画像の解像度を低下させる程度を異ならせる。例えば、当該撮影距離に応じて、第二の画像を処理する空間フィルタのフィルタ係数を異ならせている。
【００９３】
これにより、本実施形態２の物体検出装置２は、車両の移動量が大きく、第一の画像と第二の画像の解像度の差が大きい場合には、解像度を低下させる程度を大きくし、車両の移動量が大きく、第一の画像と第二の画像の解像度の差が小さい場合には、解像度を低下させる程度を小さくするようにフィルタ係数を設定して、適切に第二の画像の解像度を補正し、物体を検出する際の検出精度を向上させることができる。
【００９４】
＜変形例＞
前述の実施形態２では、カメラ１を車両の後部に設けて、車両後方の障害物を検出する構成としたが、これに限らず、カメラ（撮影装置）を車両の前部に設けて、車両前方の障害物を検出する構成としてもよい。図９は、カメラを車両の前部に設けた場合の物体検出方法の説明図である。本変形例は、前述の実施形態２とくらべて、カメラ１を車両の前部設け、前進時にも表示装置３にカメラ１で撮影した画像を表示させる構成と図９に示す一部の処理が異なり、その他の構成は同じである。このため同一の要素については、再度の説明を省略する。
【００９５】
本変形例では、車両前部にカメラが設けられているため、図９の処理は前述の実施形態２に係る図８と比べて、前進で行う処理と後進で行う処理が反対になっている。例えば、図９では、ステップＳ２１０Ａにおいて、車両の移動方向が前進と判定した場合にステップＳ２２０へ移行し、ステップＳ２１０Ａにおいて、車両の移動方向が後進と判定した場合にステップＳ４２０へ移行する。ステップＳ２２０〜Ｓ３５０，ステップＳ４２０〜Ｓ５３０の処理は、図８と同じである。なお、図７の処理では、後進時に、ステップ５３０
で、障害物を検出した後、物体検出装置２は、障害物の情報に基づき、第二の画像のうち、障害物として抽出した物体の部分に、障害物であることを示す警告パターンを合成する（ステップＳ５４０）。また、物体検出装置２は、ステップＳ４８０，Ｓ５３０で検出した障害物の情報に基づいて、第二の画像のうち、障害物として抽出した物体の部分に、障害物であることを示す警告パターンを合成する（ステップＳ５４０）。なお、ステップＳ４９０で、車両の移動量が所定の閾値以上でない（ステップＳ４９０，Ｎｏ）と判定され、ステップＳ４９０からステップＳ５４０へ移行した場合には、ステップＳ４８０で検出した障害物の情報に基づいて、警告パターンを合成する。
【００９６】
そして、物体検出装置２は、ステップＳ３５０へ移行し、警告パターンを合成した第二の画像を映像信号として表示装置３へ出力し、表示装置３に表示させる。
【００９７】
これにより、本変形例の物体検出装置２は、カメラ１を車両部に設けて車両前方の物体を検出する場合においても、車両の移動方向に基づいて第一の画像と第二の画像とを適切に取得し、第一の画像と比べて、共通の被写体を近い位置で撮影した第二の画像の解像度を低下させ、第一の画像と第二の画像を比較して物体を検出する際の検出精度を向上させることができる。
【００９８】
上記実施形態２及び変形例では、主に移動物を検出する処理（ステップＳ２２０〜Ｓ２８０、Ｓ４２０〜Ｓ４８０）と主に静止物を検出する処理（ステップＳ２９０〜Ｓ３３０、Ｓ４９０〜Ｓ５３０）とを実行する構成としたが、ステップＳ２２０〜Ｓ２８０、Ｓ４２０〜Ｓ４８０で移動物と静止物の両方を検出し、ステップＳ２９０〜Ｓ３３０、Ｓ４９０〜Ｓ５３０を省略しても良い。この場合、ステップＳ２６０、Ｓ４６０で検出した立体物のうち、ステップＳ２７０，Ｓ４７０で検出した移動物以外を静止物として検出し、この移動物と静止物についてステップＳ２８０，Ｓ４８０で障害物を検出しても良い。また、ステップＳ２７０，Ｓ４７０を省略し、移動物と静止物を区別せずにステップＳ２６０、Ｓ４６０で検出した全ての立体物についてステップＳ２８０，Ｓ４８０で障害物を検出しても良い。
【００９９】
上述した本発明の実施形態及び変形例はあくまでも例示であり、本発明はこれに限定されるものではない。また、上述した実施形態及び変形例において示した特徴的な構成は、本発明の趣旨を逸脱しない範囲において当然にその組み合わせが可能である。
【符号の説明】
【０１００】
１  カメラ
２  物体検出装置
３  表示装置
１０  物体検出システム
１５  光軸
２１  画像取得部
２２  位置補正部
２３  移動量検出部
２４  解像度補正部
２５  物体検出部
２６  シフトポジション取得部
２７  障害物判定部
２８  出力制御部
【図１】
2018074411.tif 000003
【図２】
2018074411.tif 000004
【図３】
2018074411.tif 000005
【図４】
2018074411.tif 000006
【図５】
2018074411.tif 000007
【図６】
2018074411.tif 000008
【図７】
2018074411.tif 000009
【図８】
2018074411.tif 000010
【図９】
2018074411.tif 000011