(57)【特許請求の範囲】
【請求項１】
車両の後退進路を含む後方領域の景色を撮影するための撮影手段と、
車両停止時に車両の後方領域に障害物が無いとみなされ得る状態であるときの画像を前記撮影手段により基準画像として撮影する基準画像取得手段と、
シフト操作部が後退位置に切換えられると、車両の後方領域の画像を前記撮影手段により比較画像として逐次撮影する比較画像取得手段と、
前記基準画像と前記比較画像とを比較する画像処理を逐次行って障害物を検出する障害物検出手段と、
前記障害物検出手段により障害物が検出されると、その旨を報知する報知手段と
を備え、
前記基準画像取得手段は、ドアスイッチと、シフトポジションスイッチとを有し、
前記基準画像を撮影する時期は、前記シフト操作部が駐車位置又は中立位置に操作されたことを前記シフトポジションスイッチが検出したときと、その後に運転席のドアの開閉を前記ドアスイッチが検知したときとである車両における後退支援装置。
【請求項２】
前記障害物検出手段は、障害物が静止物体のみか移動物体ありかを区別して認識する障害物認識手段を備え、前記報知手段は、障害物が検出された旨を前記障害物認識手段による認識結果に基づき、静止物体のみか移動物体ありかを区別して報知し、
前記障害物認識手段は、前記基準画像と最新の前記比較画像との比較によって検出された最新の障害物の検出数データと最新の障害物の中心座標データとを取得し、
前記基準画像と前回の前記比較画像との比較によって検出された前回の障害物の検出数データと前回の障害物の中心座標データとを取得し、
前記最新の障害物の検出数と前記前回の障害物の検出数とが異なる場合、又は、前記最新の障害物の検出数と前記前回の障害物の検出数とが等しく前記最新の障害物の中心座標と前記前回の障害物の中心座標とが一致しない場合に移動物体ありと認識し、
前記最新の障害物の検出数と前記前回の障害物の検出数とが等しく前記最新の障害物の中心座標と前記前回の障害物の中心座標とが一致する場合に静止物体のみと認識する請求項１に記載の車両における後退支援装置。
【請求項３】
前記障害物検出手段は、前記撮影手段によって撮影された画像データ上の遠近を考慮に入れて検出物体の実サイズを判定して該検出物体が障害物となり得るか否かを判断する障害物判定手段を備えている請求項１又は請求項２に記載の車両における後退支援装置。
【請求項４】
前記障害物判定手段は、前記撮影手段によって撮影された画像データ上の遠近の違いに応じて前記画像データを複数の領域に区分し、区分した領域毎に閾値を設定し、前記検出物体の面積値が前記閾値を超えた時に前記検出物体を障害物であると判定する請求項３に記載の車両における後退支援装置。
【請求項５】
前記障害物検出手段は、操舵輪の切れ角の信号に基づいて撮影画像における車両の予想後退進路を求める予想進路算出手段を備え、該予想進路算出手段により求められた前記予想後退進路の範囲内の検出物体を障害物として判定する請求項１〜請求項４のいずれか一項に記載の車両における後退支援装置。
【請求項６】
前記障害物検出手段は、前記予想進路算出手段により求められた前記予想後退進路の範囲内にある静止物体および移動物体を障害物として判定するとともに、該予想後退進路の範囲外にある移動物体を障害物として判定する請求項５に記載の車両における後退支援装置。
【請求項７】
前記報知手段は、障害物の存在の旨を画像表示する画像表示手段である請求項１〜請求項６のいずれか一項に記載の車両における後退支援装置。
【請求項８】
前記画像表示手段は、前記撮影手段により撮影された映像を動画で表示する画像表示装置を備え、該画像表示装置の画面に映し出される映像上の障害物に、障害物である旨を示す所定表示を重畳表示する重畳表示手段を備える請求項７に記載の車両における後退支援装置。
【請求項９】
請求項１〜請求項８のいずれか一項に記載の後退支援装置を備えている車両。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両後退前に車両後方に障害物が存在するかどうかを画像処理によって検出して報知し、車両後退時の後方の安全確認を支援する車両における後退支援装置及び車両に関するものである。
【０００２】
【従来の技術】
従来、自動車を後退させるときにカメラで撮影した車両後方の映像を運転席のモニタの画面に映し出し、その画面の映像を見て後方の安全確認を行うバックモニタが知られている。
【０００３】
また、車両後部に取付けられた超音波センサによって、車両後退中に障害物に接近すると、その障害物を検知してその旨を運転者に報知音等によって知らせる障害物検出装置が知られている。車両後退中に障害物に接近したときに運転者に障害物の存在が報知されるので、障害物に当たる前に車両を停車させて障害物との衝突を未然に防ぐことができる。
【０００４】
【発明が解決しようとする課題】
しかし、運転席のモニタに車両後方の映像を映し出すバックモニタは、単に景色を映し出すに過ぎず、後方の状況の認知と安全確認の判断は画面上の映像を見た運転者に依存していた。従って、運転者がモニタの画面中の障害物を見落とした場合や、運転者が車両を後退させるために後ろに振り返ってモニタの画面から目を離し、振り返り方向と反対側に死角ができた場合には、障害物を発見できない恐れがあった。
【０００５】
また、超音波センサを使った障害物検出装置は、車両の後退中に車両が障害物に接近したことを検知するものであって、超音波センサの検知範囲がかなり狭く、ある程度接近してから障害物を検出するものであった。そのため、車両の後退中に障害物を発見することはできても、車両後退前の停車中に後方の安全確認を兼ねて障害物を検出できるものではなかった。
【０００６】
そのため、後退進路上に障害物が存在しても、車両が実際に動き出し、障害物に接近してからでないと、障害物を発見することができなかった。そのため、例えば後退進路上に侵入してきた人やボール等の移動物体をセンサが検知したときには、そのような障害物の発見が遅れるという問題があった。
【０００７】
本発明は、上記課題を解決するためになされたものであり、その目的は、車両を後退させる前に車両の後退進路上の障害物を発見して運転者に報知し、車両後退時の後方安全確認を支援することができる車両における後退支援装置及び車両を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明では、車両の後退進路を含む後方領域の景色を撮影するための撮影手段と、車両停止時に車両の後方領域に障害物が無いとみなされ得る状態であるときの画像を前記撮影手段により基準画像として撮影する基準画像取得手段と、シフト操作部が後退位置に切換えられると、車両の後方領域の画像を前記撮影手段により比較画像として逐次撮影する比較画像取得手段と、前記基準画像と前記比較画像とを比較する画像処理を逐次行って障害物を検出する障害物検出手段と、前記障害物検出手段により障害物が検出されると、その旨を報知する報知手段とを備え、前記基準画像取得手段は、ドアスイッチと、シフトポジションスイッチとを有し、前記基準画像を撮影する時期は、前記シフト操作部が駐車位置又は中立位置に操作されたことを前記シフトポジションスイッチが検出したときと、その後に運転席のドアの開閉を前記ドアスイッチが検知したときとである。
【０００９】
請求項２に記載の発明では、請求項１に記載の発明において、前記前記障害物検出手段は、障害物が静止物体のみか移動物体ありかを区別して認識する障害物認識手段を備え、前記報知手段は、障害物が検出された旨を前記障害物認識手段による認識結果に基づき、静止物体のみか移動物体ありかを区別して報知し、前記障害物認識手段は、前記基準画像と最新の前記比較画像との比較によって検出された最新の障害物の検出数データと最新の障害物の中心座標データとを取得し、前記基準画像と前回の前記比較画像との比較によって検出された前回の障害物の検出数データと前回の障害物の中心座標データとを取得し、前記最新の障害物の検出数と前記前回の障害物の検出数とが異なる場合、又は、前記最新の障害物の検出数と前記前回の障害物の検出数とが等しく前記最新の障害物の中心座標と前記前回の障害物の中心座標とが一致しない場合に移動物体ありと認識し、前記最新の障害物の検出数と前記前回の障害物の検出数とが等しく前記最新の障害物の中心座標と前記前回の障害物の中心座標とが一致する場合に静止物体のみと認識することをその要旨とする。
【００１０】
請求項３に記載の発明では、請求項１又は請求項２に記載の発明において、前記障害物検出手段は、前記撮影手段によって撮影された画像データ上の遠近を考慮に入れて検出物体の実サイズを判定して該検出物体が障害物となり得るか否かを判断する障害物判定手段を備えていることをその要旨とする。
【００１１】
請求項４に記載の発明では、請求項３に記載の発明において、前記障害物判定手段は、前記撮影手段によって撮影された画像データ上の遠近の違いに応じて前記画像データを複数の領域に区分し、区分した領域毎に閾値を設定し、前記検出物体の面積値が前記閾値を超えた時に前記検出物体を障害物であると判定することをその要旨とする。
【００１２】
請求項５に記載の発明では、請求項１〜請求項４のいずれか一項に記載の発明において、前記障害物検出手段は、操舵輪の切れ角の信号に基づいて撮影画像における車両の予想後退進路を求める予想進路算出手段を備え、該予想進路算出手段により求められた前記予想後退進路の範囲内の検出物体を障害物として判定することをその要旨とする。
【００１３】
請求項６に記載の発明では、請求項５に記載の発明において、前記障害物検出手段は、前記予想進路算出手段により求められた前記予想後退進路の範囲内にある静止物体および移動物体を障害物として判定するとともに、該予想後退進路の範囲外にある移動物体を障害物として判定することをその要旨とする。
【００１４】
請求項７に記載の発明では、請求項１〜請求項６のいずれか一項に記載の発明において、前記報知手段は、障害物の存在の旨を画像表示する画像表示手段である。
【００１５】
請求項８に記載の発明では、請求項７に記載の発明において、前記画像表示手段は、前記撮影手段により撮影された映像を動画で表示する画像表示装置を備え、該画像表示装置の画面に映し出される映像上の障害物に、障害物である旨を示す所定表示を重畳表示する重畳表示手段を備える。
【００１６】
請求項９に記載の発明では、車両には、請求項１〜請求項８のいずれか一項に記載の後退支援装置が備えられている。
（作用）
請求項１に記載の発明によれば、基準画像取得手段は、車両停止時に車両の後方領域に障害物が無いとみなされ得る状態の時に、撮影手段により車両の後方領域の画像を基準画像として撮影する。比較画像取得手段は、シフト操作部が後退位置に切換えられると、撮影手段により車両の後方領域の画像を比較準画像として逐次撮影する。障害物検出手段は基準画像と比較画像とを比較する画像処理を逐次行って障害物を検出する。報知手段は、障害物検出手段により障害物が検出されると、障害物が存在する旨を運転者に報知する。
【００１７】
また、シフト操作部が駐車位置又は中立位置に操作された時と、その後に運転席のドアが開閉された時に、撮影手段により基準画像が撮影される。前進してきた車両が停車した直後は、通ってきた道上（つまり車両後方）に障害物が無いとみなし得る。停車直後にシフト操作部を後退位置または中立位置に操作することが通常行われる操作なので、このような操作時に基準画像を撮影することにより、障害物が無いとみなし得る画像を基準画像として取得することが可能となる。また、駐車後に運転者が一旦降車して次に乗車するときには一応車両後方の確認をするのが通常なので、運転席のドアを開閉する時に基準画像を撮影することにより、障害物が無いとみなし得る画像を基準画像として取得することが可能となる。
【００１８】
さらに、車両の後方領域に障害物が無いとみなし得る基準画像の撮影時期は、シフト操作部の操作位置を検出するセンサ（スイッチ）や、運転席のドアの開閉を検知するセンサ（スイッチ）からの信号に基づいて決定される。
【００１９】
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加え、障害物検出手段は、検出された障害物が静止物体のみか移動物体ありかを区別して障害物認識手段により認識する。報知手段は、障害物検出手段により検出された障害物の存在の旨を、静止物体のみか移動物体ありかを区別して報知する。
【００２０】
請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加え、障害物検出手段は、障害物判定手段により、撮影手段によって撮影された画像データにおける遠近を考慮に入れた検出物体の実サイズからその検出物体が障害物となり得るか否かを判定する。
【００２１】
請求項５に記載の発明によれば、請求項１〜請求項４のいずれか一項に記載の発明の作用に加え、障害物検出手段は、予想進路算出手段により操舵輪の切れ角の信号に基づいて撮像画像中における車両の予想後退進路を算出する。そして、予想進路算出手段により算出された予想後退進路の範囲内の物体を障害物として検出する。
【００２２】
請求項６に記載の発明によれば、請求項５に記載の発明の作用に加え、障害物検出手段は、予想進路算出手段により算出された予想後退進路の範囲内の静止物体及び移動物体を障害物として検出するとともに、予想後退進路の範囲外の移動物体を障害物として検出する。
【００２３】
請求項７に記載の発明によれば、請求項１〜請求項６のいずれか一項に記載の発明の作用に加え、報知手段としての画像表示手段により、障害物の存在が画像表示でもって運転者に報知される。
【００２４】
請求項８に記載の発明によれば、請求項７に記載の発明の作用に加え、画像表示手段は、撮影手段により撮影された車両の後方領域の映像を動画で表示する画像表示装置の画面上の映像中の障害物に、障害物である旨を示す報知画像が重畳表示される。
【００２５】
請求項９に記載の発明によれば、車両は、請求項１〜請求項８のいずれか一項に記載の後退支援装置を備えるので、請求項１〜請求項８のいずれか一項に記載の発明と同様の作用が得られる。
【００２６】
【発明の実施の形態】
＜第１の実施形態＞
以下、本発明を具体化した第１の実施形態を図１〜図９に基づいて説明する。
【００２７】
図５に示すように、車両としての自動車１の後部上方位置には、撮影手段としてのカメラ２が取付けられている。カメラ２はＣＣＤ素子を内蔵し、自動車１が後退するときに後方安全確認を必要とする範囲を少なくともカバーする同図に鎖線で示された後方領域の映像を撮影する。自動車１にはカーナビゲーションシステムが搭載されており、画像表示装置としてのカーナビ用のＬＣＤモニタ３が運転席近くの例えばインストルメントパネル上に設けられている。
【００２８】
本実施形態では、カーナビ用のＬＣＤモニタ３を使って、カメラ２によって撮影された自動車１の後方領域の映像（撮影動画像）を車両後退時に表示する。カメラ２は図６に示すようにリヤバンパ４がＬＣＤモニタ３の画面の下端に一部表示される撮影姿勢角で取付けられている（図５を参照）。自動車１には後退開始前に車両後方に障害物が存在するかどうかをカメラ２によって撮影した画像の画像処理によって検出し、障害物があれば運転者にその旨を報知して後方安全確認を支援する後退支援装置５が搭載されている。カメラ２やＬＣＤモニタ３は後退支援装置５の構成部品の一部をなしている。
【００２９】
図３は、後退支援装置５の電気的構成を示すブロック図である。後退支援装置５は、カメラ２、画像用ＥＣＵ６、カーナビ用ＥＣＵ７、ＬＣＤモニタ（以下、単にモニタと称す）３、シフトポジションスイッチ８、ドアスイッチ９、車速センサ１０、ステアリング切れ角センサ１１、音声処理回路１２およびスピーカ１３を備えている。カーナビ用ＥＣＵ７およびモニタ３は、前記カーナビゲーションシステムを構成するものを後退支援装置５に流用している。なお、後退支援専用のモニタを用意することもできる。
【００３０】
カメラ２は画像用ＥＣＵ６に電気的に接続され、ＣＣＤ素子により撮像された画像データを画像用ＥＣＵ６に転送する。カメラ２は画像用ＥＣＵ６により撮影のオン・オフが制御される。
【００３１】
画像用ＥＣＵ６には、シフトポジションスイッチ８、ドアスイッチ９、車速センサ１０が入力ポート１４を介して接続されるとともに、ステアリング切れ角センサ１１がＡ／Ｄ変換器１５を介して接続されている。また、画像用ＥＣＵ６には、カーナビ用ＥＣＵ７と音声処理回路１２が接続されている。カーナビ用ＥＣＵ７にはモニタ３が接続され、音声処理回路１２にはスピーカ１３が接続されている。
【００３２】
シフトポジションスイッチ８は、シフト操作部としてのシフトレバー１６（図５に示す）の操作位置を検出するもので、その出力信号ＳＰＳによって画像用ＥＣＵ６はシフトポジションＳＰを認識する。本実施形態の自動車１はオートマチック車で、シフトポジションＳＰには例えば「Ｐ，Ｒ，Ｎ，Ｄ，１速，２速」の６種類がある。
【００３３】
ドアスイッチ９は、運転席のドア１７（図５に示す）の開閉を検知するもので、ドア１７の開閉に応じてオン・オフするドア信号ＤＳを出力する。ドア信号ＤＳのオン・オフが切り替わることによってドア１７の開閉が検知される。
【００３４】
車速センサ１０は、車速を検出するもので、車速ｖに応じた検出信号ｖＳを出力する。
ステアリング切れ角センサ１１は、操舵輪１８（図５に示す）の切れ角を検出するものである。ステアリング切れ角センサ１１は、例えばステアリングホイール（ハンドル）１９（図５に示す）を支持するステアリングシャフト（図示せず）の回転量を検出し、操舵輪１８の切れ角θに応じた検出信号θＳを出力する。
【００３５】
カーナビ用ＥＣＵ７は、カーナビゲーションシステムに内蔵され、カーナビゲーションシステムの制御を司るためのものである。カーナビ用ＥＣＵ７はカーナビゲーションシステムに搭載されたモニタ３の画像表示制御をする。本実施形態では、カーナビ用ＥＣＵ７は、画像用ＥＣＵ６から外部入力される画像データの表示制御も行う。
【００３６】
画像用ＥＣＵ６は、中央処理装置（以下、ＣＰＵという）２０、画像メモリ２１およびメモリ（例えばＲＯＭおよびＲＡＭ）２２を備える。ＣＰＵ２０はメモリ２２に記憶されたプログラムデータに基づいて動作する。なお、基準画像取得手段は画像用ＥＣＵ６（ＣＰＵ２０），シフトポジションスイッチ８，ドアスイッチ９，車速センサ１０，画像メモリ２１により構成される。また、比較画像取得手段は画像用ＥＣＵ６（ＣＰＵ２０），シフトポジションスイッチ８，車速センサ１０，画像メモリ２１により構成される。また、予想進路算出手段は画像用ＥＣＵ６（ＣＰＵ２０），ステアリング切れ角センサ１１により構成される。そして、画像用ＥＣＵ６（ＣＰＵ２０）により障害物認識手段、障害物判定手段、障害物認識手段、および重畳表示手段が構成される。また、報知手段はＬＣＤモニタ３，画像用ＥＣＵ６（ＣＰＵ２０），カーナビ用ＥＣＵ７，音声処理回路１２，スピーカ１３により構成され、特にＬＣＤモニタ３，画像用ＥＣＵ６（ＣＰＵ２０），カーナビ用ＥＣＵ７により画像表示手段が構成される。
【００３７】
メモリ２２には例えば後退支援処理を行うためのプログラムデータがある。ここで、後退支援とは、自動車１の後退時に障害物となる物体を画像処理により検出し、運転者に音声と画像により警告することで、後退時の事故を低減するためのシステムである。具体的には、運転者が後方に障害物がないとみなして、ドア１７を開閉し運転席に乗り込んだ時から、自動車１が後方へ動き出すまでの間の車両後方の状況変化を検出して、障害物の存在を運転者に音声と画像によって報知することで、後退し始めるまでの後方の安全確認を支援する。
【００３８】
本実施形態では、シフトポジションが「Ｒ」にある間、モニタ３の画面３ａに車両の後方領域の映像が映し出され、画像による報知方法としては、画面３ａの映像中の障害物にそれを囲む矩形が重畳表示（スーパインポーズ）される。ＣＰＵ２０は、検出した障害物を囲む矩形を重畳表示する矩形表示処理のためのバッファを備える。つまり、画像データに矩形を重畳表示するためのデータを１フレーム分ずつ保存可能な５つのバッファを備え、矩形に関するデータを５フレーム分保存可能となっている。
【００３９】
後退支援処理では、障害物が存在しないとみなされ得るときの基準画像を予め１枚取得しておき、後退時に車両が動き出すまでの間の停車中に比較画像を逐次撮影し、逐次得られた比較画像と基準画像とを背景差分法を使って比較する画像処理をする。そして、基準画像と比較画像との間で変化のあった部分だけを抽出し、障害物を検出する。障害物検出は「静止物体のみ」と「移動物体あり」との識別（認識）までを行う。このため、メモリ２２には、音声報知をするために必要な音声データが、これら２種類の認識結果に応じた静止物体報知用と移動物体報知用との２種類記憶されている。また、メモリ２２には、矩形表示処理のためのプログラムデータが記憶されており、矩形表示処理によって、これら２種類の認識結果に応じた後述する２種類の態様で矩形の重畳表示がなされる。
【００４０】
図４は、後退支援処理における障害物検出の流れを説明する図である。
本実施形態では、車両停止後、シフトレバー１６をパーキング（駐車位置）「Ｐ」またはニュートラル（中立位置）「Ｎ」に操作した時の画像を基準画像Image０として採用する。また、ドア１７が開閉された時の画像を基準画像Image０として更新する。つまり、後方に障害物がないとみなし得る状態として、駐停車した時と、運転席のドア１７が開閉された時を採用する。これらの時は、障害物が存在しないとみなし得るからである。
【００４１】
駐停車した時は、その後方の画像は車両が今走行してきた場所に相当するので、駐停車の直後はその後方に障害物が無いとみなし得る。そこで、駐停車の直後の後方画像を得るために、停車後（車速ｖ＝０）、シフトレバー１６が「Ｐ」または「Ｎ」に操作された時の後方画像を基準画像として得るようにしている。
【００４２】
また、運転席のドア１７が開閉された時は、運転者が乗降したときで、運転者が降りてから、乗るために帰ってきたときには一応車両の後方を確認するので、後方に障害物が無いとみなし得るからである。基準画像Image０を更新するのは、駐停車をした後、後退を始めるまでに時間が経っているときがあるためである。このときには昼と夜の違いなど、光源に大きな変化があり、シフトレバー１６が「Ｐ」または「Ｎ」に操作されたときの後方画像を基準画像Image０とすると誤検出が生じてしまう恐れがある。従って、ドア１７が開閉されたときの後方画像を基準画像Image０として更新するようにしている。
【００４３】
そして、基準画像Image０の撮影（時刻ｔo）後、シフトレバー１６を「Ｒ」に入れると（時刻ｔ1）、所定時間Δｔ（例えば３３〜６６ミリ秒）毎に、比較画像Imageｎ（ｎ＝１，２，３，…）を逐次撮影する。比較画像Imageｎを１枚取得する度に、基準画像Image０と比較画像をImageｎとを差分処理する画像処理を行い、障害物を「静止物体のみ」と「移動物体あり」とを区別して検出する。車両が後退し始めて車速ｖが零でなくなると（ｖ≠０）、後退支援処理を停止する。
【００４４】
図１，図２は、後退支援処理のプログラムデータをフローチャートで示したものである。後退支援処理のプログラムデータは、車速センサ１０からの検出信号ｖＳに基づき自動車１が停車（ｖ＝０）したことが認知されると、ＣＰＵ２０により実行される。
【００４５】
図１に示すフローチャートは、基準画像Image０を撮影するための処理である。図２に示すフローチャートは、シフトレバー１６が「Ｒ」に操作されてから車両が動き出すまでの間で実行される障害物報知処理ルーチンである。シフトポジションＳＰが「Ｒ」に入れられると、カメラ２による比較画像Imageｎの撮影が開始され、モニタ３の画面３ａがカメラ２が撮影する車両後方の映像に切り換えられる。シフトポジションＳＰが「Ｒ」にある間は、モニタ３の画面３ａに後方の映像が映し出される。後退支援処理は車両が後退し始めるまでであるが、車両が動き出しても後退中はモニタ３の画面３ａに後方の映像が映し出される。モニタ３の画面３ａに後方の映像を動画で映し出す処理は、シフトポジションＳＰが「Ｒ」に入れられると、ＣＰＵ２０がメインプログラムを実行することで行われ、このメインプログラムの割り込み処理として障害物報知処理ルーチンが実行される。障害物報知処理ルーチンは、障害物検出、障害物認識、音声警告および矩形重畳表示の主に４つ処理からなる。
【００４６】
以下、後退支援処理のプログラムについて、図１，図２のフローチャートに従って説明する。
ステップ１０〜ステップ６０までの処理は、後方に障害物がないとみなし得る状態の時の画像を基準画像Image０として撮影するための処理である。
【００４７】
ステップ１０では、シフトポジションＳＰが「Ｐ」または「Ｎ」であるか否かを判断する。シフトポジションＳＰが「Ｐ」または「Ｎ」であれば、ステップ２０に進む。シフトポジションＳＰが「Ｐ」でも「Ｎ」でもなければそのまま処理を繰り返す待機をする。待機中に車速ｖ≠０となったときには、当該処理を終了する。
【００４８】
ステップ２０では、基準画像Image０を撮影する。つまり、ＣＰＵ２０はカメラ２をオンさせ、カメラ２から転送された１枚（１フレーム）の基準画像Image０を画像メモリ２１の所定記憶領域に記憶する。
【００４９】
ステップ３０では、運転席のドア１７が開閉されたか否かを判断する。つまり、ＣＰＵ２０は、ドアスイッチ９のオン・オフの切り替わりがあったか否かを判断する。ドア１７が開閉されたと判断されたときは、ステップ４０に進み、ドア１７が開閉されなかったときはステップ５０に進む。
【００５０】
ステップ４０では、基準画像Image０を更新する。つまり、ＣＰＵ２０はカメラ２をオンさせ、カメラ２から転送された１枚の基準画像Image０を画像メモリ２１の所定記憶領域に記憶して更新する。
【００５１】
ステップ５０では、シフトポジションＳＰが「Ｒ」であるか否かを判断する。ＳＰ＝Ｒのときは障害物報知処理ルーチンへ進む。ＳＰ＝Ｒでないときはステップ６０に進む。
【００５２】
ステップ６０では、シフトポジションＳＰが「Ｐ」または「Ｎ」であるか否かを判断する。シフトポジションＳＰが「Ｐ」または「Ｎ」であれば、ステップ３０に進み、Ｓ３０〜Ｓ６０の処理を繰り返す。つまり、シフトポジションＳＰが「Ｒ」となるか、「Ｐ」，「Ｎ」以外となるまで、ドア１７の開閉時に基準画像Image０を更新するための処理を繰り返す。一方、シフトポジションＳＰが「Ｐ」，「Ｎ」，「Ｒ」以外のポジションとなると、当該処理を終了する。
【００５３】
次に、ステップ５０においてシフトポジションＳＰが「Ｒ」であると判断されたときに実行される障害物報知処理ルーチンのプログラムについて図２に従って説明する。このルーチンは前述した主な４つの処理からなり、ステップ７０〜ステップ１１０が障害物検出処理、ステップ１２０が障害物認識処理、ステップ１３０，１４０が音声警告処理、ステップ１５０が矩形重畳表示処理（障害物矩形表示処理）である。
【００５４】
ステップ７０〜ステップ１１０からなる障害物検出処理は、比較画像撮影、差分処理、予想後退領域算出処理、閾値処理、障害物検出の各処理で構成され、所定時間Δｔ毎に逐次実行される。この障害物検出処理結果から障害物が検出されたときに限り、ステップ１２０の障害物認識処理に進む。障害物認識処理は、「静止物体のみ」か「移動物体あり」かを認識する処理である。その認識結果に応じて次のステップ１３０，１４０のいずれかを選択し、認識結果に応じた音声警告を行う。そして、ステップ１５０ではモニタ３の画面３ａに映し出されている映像（動画像）中の障害物にそれを囲む矩形を重畳表示（スーパインポーズ）する処理を行う。
【００５５】
ステップ１７０、１８０は、当該ルーチンを継続するか否かを判断するための処理で、車両が動き出すか、シフトレバー１６が「Ｒ」以外のポジションに変更されるかするまで、当該ルーチンを継続する。そのため、Ｓ１７０では車速ｖが零（ｖ＝０）であるか否かを判断し、Ｓ１８０ではシフトポジションＳＰが「Ｒ」（ＳＰ＝Ｒ）であるか否かを判断する。
【００５６】
以下、障害物報知処理ルーチンの主な処理である、障害物検出処理（Ｓ７０〜Ｓ１１０）、障害物認識処理（Ｓ１２０）、音声警告処理（１３０，１４０）、および矩形重畳表示処理（障害物矩形表示処理）（Ｓ１５０）について詳述する。
【００５７】
（障害物検出処理）
まず、障害物検出処理について説明する。
まずステップ７０では、比較画像Imageｎを撮影する。ＣＰＵ２０はカメラ２から転送された１枚（１フレーム）の比較画像Imageｎのデータを入力する。
【００５８】
ステップ８０では、２枚の画像Image０，Imageｎを比較する差分処理をする。ＣＰＵ２０は画像メモリ２１から基準画像Image０を読出し、２枚の画像Image０，Imageｎを背景差分法による画像処理をする。例えば、ImageｎとImage０との差の絶対値（｜Imageｎ−Image０｜）をとり、その差分画像に膨張処理を施す。これにより、一つの物体が輝度の異なる箇所（例えば影による暗部）で複数に分離されたとしても、元の一つの物体に結合する。次に所定の閾値を用いた閾値処理を施して二値画像を得る。二値画像データでは、Image０とImageｎとで異なっている部分が白領域（データ「１」）として表現される。
【００５９】
ステップ９０では、車両が後退するときの予想後退領域（予想後退進路）ＰＡを求める。ステアリング切れ角センサ１１からの信号値θＳを読み込み、その信号値θＳから得られた操舵輪１８の切れ角θに基づいて二値画像上の予想後退進路ＰＡを求める。予想後退進路ＰＡの算出には、メモリ２２に予め記憶された例えば計算式を用いる。計算式は、二値画像上の遠近を考慮したものとし、例えば楕円や放物曲線などの複数次曲線の式などを使う。図６は、二値画像Imageを模式的に示したもので、予想後退進路ＰＡは、計算式から決まる二本のライン（同図では鎖線で示す）で挟まれた領域として求められる。図６（ａ）に示すように、直進のときの切れ角θ（＝０）では、予想後退進路ＰＡは遠くほど幅が狭くなるように真っ直ぐ延びる領域となる。また、図６（ｂ）に示すように、ハンドル１９を切ったときの切れ角θ（θ＞０またはθ＜０）では、予想後退進路ＰＡは遠くほど幅が狭くなるカーブを描く領域となる。また、予想後退進路ＰＡの幅は車幅にほぼ等しい。なお、図６（ａ）では、検出物体を白領域でなく黒色で示している。
【００６０】
ステップ１００では、検出物体からサイズに基づき障害物を抽出（検出）する閾値処理をする。実サイズが所定サイズを超えるもののみを障害物として検出する。図６に示すように、まず二値画像Imageにおける予想後退進路ＰＡの領域を遠近の違いに応じて複数（例えば三つ）のブロックＢに区分し、各ブロックＢ毎に設定された閾値を用い、各ブロックＢ毎にそのブロックＢ内に一部でも存在する白領域（図６（ａ）では黒色）の面積値と閾値との大小比較をする。白領域の面積が閾値を超えるときは、その白領域が障害物となり得るサイズの物体であると判定する。閾値を超える面積の白領域については、白領域の検出数、各白領域の中心座標、各白領域を囲む矩形の始点（左上点）の座標と幅と高さを求めて、そのデータを５つのバッファのうちの１つ（最新時刻用のバッファ）に記憶する。５つのバッファには過去５フレーム分（今回も含む）のデータが記憶可能である。図６に示す予想後退進路ＰＡの範囲外の外領域ＯＡは障害物検出の対象とされず、外領域ＯＡに存在する物体は障害物として検出されない。
【００６１】
ステップ１１０では、障害物が検出されたか否かを判断する。つまり、前ステップで面積値が閾値を超える白領域が存在したか否かを判断する。障害物が検出されないときはステップ１７０に進み、障害物が検出されたときはステップ１２０の障害物認識処理に進む。なお、障害物認識処理には、前回の時刻ｔ-1と今回の時刻ｔにおける各障害物検出処理で得られた２種類のデータが必要であるため、当該ステップ１１０で障害物が検出されたと判断されたときに障害物認識処理へ移行するのは、二回目以降（ｎ≧２）の処理サイクルに限られる。
【００６２】
（障害物認識処理）
次にステップ１２０の障害物認識処理について図７を用いて説明する。障害物認識処理では、障害物が「静止物体のみ」か「移動物体あり」かを認識（識別）する。
【００６３】
まずバッファ（最新時刻用と前回用の２つのバッファ）から、前回と今回における障害物検出数のデータと各障害物の中心座標のデータとを読み出す。ここで、前回の時刻ｔ-1と今回の時刻ｔにおける障害物（白領域）の検出数を、それぞれＮt-1、Ｎtとする。また、各時刻ｔ-1，ｔにおける各障害物（白領域）の中心座標を、それぞれＣk,t-1（但し、ｋ＝１，２，…，Ｎt-1）、Ｃk,t（但し、ｋ＝１，２，…，Ｎt）とする。ここで、前の添字ｋは各フレームにおける障害物を特定する番号、後の添字は時刻を示す。これら２種類のデータを使って、以下の▲１▼，▲２▼の処理を順次行う。
【００６４】
▲１▼  検出数を比較する。Ｎt-1≠Ｎtならば「移動物体があり」とする。例えば図７（ａ）に示すように、時刻ｔ-1の検出数Ｎt-1が「１」で、時刻ｔの検出数Ｎtが「２」のように検出数が異なる場合、すなわち時刻ｔと時刻t-1で検出数の増減があった場合は必ず移動物体が存在する。よって、Ｎt-1≠Ｎtが成立したときは「移動物体があり」とする。
【００６５】
▲２▼  Ｎt-1＝Ｎtのときは、各時刻ｔ-1，ｔにおける障害物の中心座標を比較する。時刻ｔと時刻t-1で検出された物体が複数ある場合、各フレーム間で個々の物体の区別は困難なため、全ての組合せについて中心座標を比較する。例えば時刻t-1の中心座標Ｃk,t-1と、時刻tの中心座標Ｃk,tとの組合せを、（Ｃk,t-1、Ｃk,t）とおくと、（Ｃ1,t-1、Ｃ1,t）、（Ｃ1,t-1、Ｃ2,t）、…、（Ｃ1,t-1、ＣNt,t）、（Ｃ2,t-1、Ｃ1,t）、（Ｃ2,t-1、Ｃ2,t）、…、（Ｃ2,t-1、ＣNt,t）、…、（ＣNt-1,t-1、Ｃ1,t）、（ＣNt-1,t-1、Ｃ2,t）、…、（ＣNt-1,t-1、ＣN,t）のように全ての組合せについて調べる。中心座標の比較は一致するかどうかをみることとし、全ての組合せを調べて中心座標が一致する組合せの数（以下、一致数という）Ｎｅを求める。
【００６６】
図７（ｂ）に示すように、全ての物体が静止しているとき各物体の中心座標は、時刻ｔと時刻t-1とで変化せず同じなので、一致数Ｎｅが検出数Ｎt（＝Ｎt-1）に等しくなる。よって、Ｎｅ＝Ｎt（この例ではＮｅ＝Ｎt＝２）が成立すれば、「静止物体のみ」と認識する。また、図７（ｃ）に示すように、移動物体が存在する場合、移動物体の中心座標が時刻t-1と時刻ｔとで変化することから、一致数Ｎｅが必ず検出数Ｎtより少なくなる。よって、Ｎｅ≠Ｎt（この例では１＝Ｎｅ≠Ｎt＝２）が成立すれば、「移動物体あり」と認識する。なお、検出される障害物（白領域）の位置や大きさが光の当たり方の違い等によって揺らぐ誤差を考慮し、中心座標の一致の判定にある程度の許容範囲を持たせている。
【００６７】
このステップ１２０の処理での判定結果が、「静止物体のみ」であればステップ１３０に進み、「移動物体あり」であればステップ１４０に進む。
（音声警告処理）
次に音声警告処理について説明する。
【００６８】
ステップ１３０では、静止物体用の音声警告を行う。ＣＰＵ２０はメモリ２２から静止物体用の音声データを読み出し、音声処理回路１２に送信する。音声データに基づきスピーカ１３からは例えば「進路に障害物があります」と音声警告される。つまり、静止物体である旨が分かる内容の音声で報知する。
【００６９】
ステップ１４０では、移動物体用の音声警告を行う。ＣＰＵ２０はメモリ２２から移動物体用の音声データを読み出し、音声処理回路１２に送信する。音声データに基づきスピーカ１３からは例えば「進路に障害物が入ってきました」と音声警告される。つまり、移動物体である旨が分かる内容の音声で報知する。音声警告処理の次はステップ１５０に進む。
【００７０】
（矩形重畳表示処理）
次にステップ１５０の障害物矩形表示処理（矩形重畳表示処理）について説明する。モニタ３の画面３ａの映像に障害物を囲む矩形を重畳表示（スーパーインポーズ）する処理である。つまり映像中の障害物を強調表示する。この際、障害物が「静止物体のみ」のときは矩形を点滅させ、「移動物体あり」のときは矩形を移動物体に追随させるように移動させる。このように「静止物体のみ」と「移動物体あり」とで矩形の表示態様を変えている。
【００７１】
以下、矩形重畳表示処理を図８，図９に従って説明する。
ＣＰＵ２０は５つのバッファに記憶された今回を含む過去５フレーム分のデータを使用し、矩形の表示・消去の制御処理をする。まず矩形の表示は毎回行われ、５つのバッファのデータ（矩形の始点，幅，高さデータ）に基づいて矩形を重畳表示させる。矩形の消去は、最古（時刻t-4）のバッファに矩形のデータが格納されている時のみ、すなわち最古のバッファに格納されたパラメータdisp＝１のときのみ行われる。
【００７２】
図８は各バッファに保存可能な各フレーム毎のデータを画像データ化して模式的に示したものである。同図における右から順に時刻ｔ，t-1，…，t-4の各バッファとなっている。今回の新しいデータは同図における一番右側の時刻ｔのバッファに保存され、後続の新しいデータが入力される毎（Δｔを経過する毎）に各データは１つ左隣（一つ時刻の古い）のバッファに順番に移動していく。
【００７３】
バッファに保存されるデータとして、当該処理から２つのパラメータdisp，stillが付け加えられる。パラメータdispは、矩形が表示されているか否かを判断するためのもので、矩形を表示したらパラメータdispを「１」、矩形を消去したらパラメータdispを「０」とする。また、パラメータstillは、「静止物体のみ」か「移動物体あり」かを区別するためのもので、「静止物体のみ」のときにパラメータstillを「１」、「移動物体あり」のときにパラメータstillを「０」とする。なお、時刻ｔで表示された矩形は消去されない限り、時刻t-4となるまで（５・Δｔの間）その表示が継続される。
【００７４】
矩形の点滅・追随の二種類の異なる表示態様は、矩形を消去するときの消去の仕方の違いによってもたらされる。この矩形消去処理は、最古（時刻t-4）のバッファに格納されたパラメータdisp＝１のときのみ実行され、最古のバッファのパラメータstillの値の違いによって消去の仕方が異なる。以下、矩形消去処理について図８（ａ），（ｂ）を用いて説明する。
【００７５】
▲１▼  静止物体のみの場合（（図８（ａ））
まず最古（時刻t-4）のバッファに格納されたパラメータdisp＝１であれば、矩形データを消去するとともにパラメータdisp＝０とする。次にその時刻t-4でのパラメータstillを見る。「静止物体のみ」を示すstill＝１ならば、一つ新しい時刻t-3のバッファに移り、disp＝１ならば矩形のデータを消去するとともにdisp＝０とする。その時刻t-3でのパラメータstill＝１ならばさらに一つ新しいバッファに移り、以下同様の処理を繰り返す。これにより静止物体の矩形を表示している矩形データが全てのバッファにおいて一度の処理で全て消去される。よって、静止物体の矩形表示は５回に１回消去されるため、図９（ａ）に示すように、「静止物体のみ」の場合は障害物である静止物体ＳＳを囲む矩形Ｒが点滅表示となる。
【００７６】
▲２▼  移動物体ありの場合（（図８（ｂ））
まず最古（時刻t-4）のバッファに格納されたパラメータdisp＝１であれば、矩形データを消去するとともにパラメータdisp＝０とする。次にその時刻t-4でのパラメータstillを見る。「移動物体あり」を示すstill＝０であるときは、新しいバッファへ移ることはなく、最古（時刻t-4）のフレームの矩形データのみ消去される。この処理のため、移動物体の矩形は、常に最古のもののみ消去される。その結果、図９（ｂ）に示すように「移動物体あり」の場合は障害物である移動物体ＭＳを囲む矩形Ｒが移動物体ＭＳに追随して移動する。つまり、過去５つの矩形が画面３ａの映像中に表示される。なお、「移動物体あり」の場合に共存する静止物体については矩形が重畳表示されるだけで点滅はしない。もちろん、静止物体の矩形を点滅させる処理を採用することはできる。
【００７７】
次に後退支援装置５の作用について説明する。
車両が停止してシフトレバー１６が「Ｎ」また「Ｐ」に入れられると、カメラ２によって一枚の基準画像Image０が撮影される。その後、運転席のドア１７が開閉される度に、基準画像Image０が更新される。これらの処理によって、車両後方に障害物が無いとみなし得る最も近い時期の画像が基準画像Image０として画像メモリ２１に記憶される。
【００７８】
ここで、駐停車の際は次に車両を後退し始めるまでの間に、運転者が車両から降りる場合と、降りない場合とがある。運転者が車両から降りない場合は、シフトレバー１６を「Ｐ」または「Ｎ」に入れたときの画像が基準画像Image０とされ、運転者が車両から降りる場合は、運転席のドア１７が開閉されたときの画像が基準画像Image０とされる。前者の場合、車両を駐停車させたときはその後方は今通ってきた場所なので、駐停車直後にシフトレバー１６が「Ｐ」または「Ｎ」に操作された時は車両後方に障害物が無いとみなし得る。また、後者の場合、運転者は用を済ませて車両に戻ってきて乗車するときは車両後方を一応確認するので、運転者が車両に乗るためにドア１７を開閉した時は車両後方に障害物が無いとみなし得る。よって、障害物が無い時の画像が基準画像Image０として得られる。ここまでの処理が図１のフローチャートで示すプログラムに基づいて行われる。
【００７９】
次に運転者が車両を後退するためにシフトレバー１６を「Ｒ」に入れると、カメラ２によって撮影された車両後方の映像がモニタ３の画面３ａに映し出される。つまり、モニタ３の画面３ａがカーナビゲーション画面から車両後方の映像に切り換わる。また、シフトレバー１６が「Ｒ」に入れられると同時に、図２のフローチャートで示す障害物報知処理ルーチンが実行される。
【００８０】
すなわち、所定時間Δｔ毎に比較画像Imageｎ（ｎ＝１，２，…）が撮影され、その度に基準画像Image０と比較画像Imageｎ（ｎ＝１，２，…）とを背景差分法を用いて比較する画像処理が行われ、操舵輪１８の切れ角θから決まる予想後退進路ＰＡの範囲内で障害物検出が行われる。予想後退進路ＰＡ内に障害物が検出されると、障害物が「静止物体のみ」か「移動物体あり」かを認識する。
【００８１】
「静止物体のみ」の場合は、スピーカ１３から音声で「進路に障害物があります」と警告されるとともに、画面３ａの映像中に障害物を囲む矩形が点滅表示される（図９（ａ）を参照）。一方、「移動物体あり」の場合は、スピーカ１３から音声で「進路に障害物が入ってきました」と警告されるとともに、画面３ａの映像中に障害物を囲む矩形が表示され、その矩形が移動物体に追随して移動する（図９（ｂ）を参照）。
【００８２】
このため、運転者が車両を後退させるために後方を振り向いてモニタ３の画面３ａから目を離しても、音声の警告によって障害物の存在と、その障害物が静止物体なのか移動物体なのかまでを区別して把握できる。例えば後方を振り向いたときに運転者にとっての死角に静止物体があったり、移動物体が侵入したきたときにその障害物を見逃すことなく発見できる。
【００８３】
また、画面３ａを見て後方の安全確認を行っているときには、音声警告に加え、画面３ａの映像中の障害物にそれを囲む矩形が表示されるため、画面３ａの映像中の障害物を見逃すこともなくなる。さらに、障害物が「静止物体のみ」であれば矩形が点滅し、「移動物体あり」であれば矩形が移動物体に追随して移動するので、障害物の性質やその動向までを把握し易い。
【００８４】
このように運転者が車両を駐停車させてから降りていない場合には、シフトレバー１６を「Ｐ」または「Ｎ」に入れたときから、また運転者が車両を降りた場合には、ドア１７が開閉されたときから、車両が動き出すまでの状況変化を検出して障害物があれば運転者に、音声と画面３ａの映像中の矩形表示とによって警告を発するので、音声と画像とによる支援によって、後方が確実に安全な状態で車両を後退発進させることが可能となる。
【００８５】
車両が後退し始めると（車速ｖ≠０）、後退支援処理のプログラムは終了するが、車両の後退中、モニタ３の画面３ａには車両後方の映像が引き続き映し出される。そのため、車両後退中も画面３ａの映像を通して後方の状況を把握しながら安全な運転ができる。例えば車庫入れのときに車両の後部を壁などに当てる心配がない。シフトレバー１６が「Ｒ」から他の位置（例えば「Ｐ」，「Ｎ」等）に切り換えられると、モニタ３の画面３ａは車両後方の映像から元の画像に切り換えられる。なお、車両が後退する前にシフトレバー１６が「Ｒ」から他の位置に切り換えられた場合も、後退支援処理のプログラムは終了され、モニタ３の画面３ａは車両後方の映像から元の画像に切り換えられる。
【００８６】
以上詳述したように本実施形態によれば、以下の効果が得られる。
（１）車両を後退させるためにシフトレバー１６を「Ｒ」に操作した際に、運転者が車両を駐停車させてから降りていない場合には、シフトレバー１６を「Ｐ」または「Ｎ」に入れたときから、また運転者が車両を降りた場合には、ドア１７が開閉されたときから、車両が動き出すまでの車両後方の状況変化を画像処理によって検出し、車両の後退進路上に障害物が存在すれば、その旨を運転者に音声とモニタ３の画面３ａの映像中の障害物の位置に表示される重畳表示（スーパインポーズ）とを通して報知することができる。従来技術で述べたバックモニタに比べ、モニタ３の画面３ａに映し出されている映像中の障害物にその旨を示す重畳表示（スーパインポーズ）がなされるので、障害物をまず見逃すことがない。また、音声警告と重畳表示（スーパインポーズ）とによって聴覚と視覚との両方から運転者は警告を受け取ることになるので、障害物の見逃しを一層回避できる。また、モニタ３の画面３ａから目を離しても、音声警告がなされることによって、障害物の見逃しを回避できる。
【００８７】
（２）操舵輪１８の切れ角θから車両の予想後退進路ＰＡを求め、予想後退進路ＰＡの範囲だけを障害物の検出対象範囲とするので、その時の切れ角θに応じた後退進路上の障害物のみを運転者に報知することができる。つまり、障害物となり得るものだけを確実に発見できる。
【００８８】
（３）障害物が「静止物体のみ」か「移動物体あり」かを認識し、運転者に「静止物体のみ」か「移動物体あり」かを区別して報知するので、運転者は障害物がどのようなものであるかその性質や動向を把握し易い。
【００８９】
（４）スーパインポーズを障害物を囲む矩形表示とし、静止物体には矩形を点滅させ、移動物体には矩形を追随させるようにしたので、矩形の表示態様の違いによって一目で障害物が静止物体であるか移動物体であるかを判別することができる。
【００９０】
（５）スーパインポーズが障害物を囲む矩形という枠表示なので、矩形によって障害物がほとんど隠れず、その障害物が何であるかを識別（視認）できる。
（６）音声警告では、障害物が静止物体のみの場合は「進路に障害物があります」、移動物体ありの場合は「進路に障害物が入ってきました」と警告する。よって、運転者はモニタ３の画面３ａから目を離した場合でも、音声警告を聴くことによって、障害物が進路上に静止するものか、進路に侵入してきたものかまでを区別して認知できる。
【００９１】
（７）車両が後退し始めた後もモニタ３の画面３ａには車両後方の映像が引き続き映し出されるので、後退中においてもモニタ３の画面３ａを見ることで車両後方の状況をしっかり把握することができる。このため、車両が後退し始めてからは、障害物の検出および報知がなされなくなるが、モニタ３の画面３ａを見ることで後方の安全確認を行うことができる。
【００９２】
（８）カーナビゲーションシステムのモニタ３を後退支援装置５に利用しているが、モニタ３の画面は車両後退時に後方映像に切り換わるだけなので、カーナビゲーションシステムを使用するうえで特に支障はない。また、カーナビゲーションシステムのモニタ３を利用することから、専用モニタを用意する必要がなく、後退支援装置５を安いコストで自動車１に搭載できる。
【００９３】
（９）基準画像Image０を撮影する時期として、シフトレバー１６が「Ｐ」または「Ｎ」に入れられた時と、その後に運転席のドア１７が開閉された時とを採用したので、車両後方に障害物が無い状態の時の適切な基準画像Image０をほぼ確実に得ることができる。よって、障害物の検出漏れや、障害物の誤検出を極力減らすことができ、障害物の検出精度を高くできる。
【００９４】
（１０）基準画像Image０を運転席のドア１７を開閉する度に更新するので、光源の違いなどによる誤検出を防止することができる。例えば駐車後に運転者が車両を離れ、相当の時間が経過して車両後方の景色の光の当たり具合がすっかり変わってから、車両に戻ってきた運転者が車両を後退させる場合がある。このような場合でも、運転者が車両に戻ってきて乗車するためにドア１７を開閉した時に基準画像Image０が更新されるので、光の当たり具合が同じ背景の基準画像Image０と比較画像Imageｎとを比較する画像処理となるので、駐停車してから車両を後退させるまでに相当の時間が経過した場合でも、障害物の誤検出を回避できる。
【００９５】
（１１）画像データを遠近の違いによる複数のブロックＢに分割し、各ブロックＢ毎の閾値を用いて検出物体のうち障害物となり得るサイズのものを抽出する障害物検出方法を採るので、検出物体のうちその実サイズが障害物となり得る一定サイズを超えるもののみを障害物として判定できる。
【００９６】
＜第２の実施形態＞
次に、第２の実施形態を図１０，図１１を用いて説明する。
この実施形態は、前記第１の実施形態における障害物報知処理ルーチンの一部を変更した例である。前記第１の実施形態では、予想後退進路ＰＡの範囲外（外領域ＯＡ）の物体については障害物として検出しなかったが、この実施形態では、予想後退進路ＰＡの範囲外であっても移動物体については障害物として検出するようにしている。これは、運転者が車両を後退させるために後方に振り返った際、振り返り方向と反対側に死角ができ易く、このような死角において進路内に入ろうとする移動物体があることを運転者に報知するためである。
【００９７】
図１１に示すように、本実施形態の障害物報知処理ルーチンは、ステップ７０，８０と、ステップ１５０〜１７０は、前記第１の実施形態と同様の処理内容である。以下、第１の実施形態と異なる処理について説明する。
【００９８】
ステップ２００の閾値処理は、二値画像Imageの全範囲において行われる。すなわち、二値画像Imageの全範囲を遠近の違いに応じて複数のブロックＢに区分し、各ブロック毎に設定された閾値を用い、ブロックＢ毎に検出物体（白領域）の面積値と閾値との大小比較をする。前記第１の実施形態（Ｓ１００）が予想後退進路ＰＡ内のみを対象としていたのに対し、画像全範囲を対象とする。
【００９９】
ステップ２１０では、ステップ７０、８０，２００の処理によって障害物が検出されたか否かを判断する。今回は、撮影全範囲が障害物検出の対象範囲とされ、予想後退進路ＰＡの範囲外についても障害物の検出がなされる。障害物が検出されればステップ２１０に進み、障害物が検出されなければステップ１６０に進む。
【０１００】
ステップ２２０では、障害物認識処理を実行する。すなわち、障害物が「静止物体のみ」か「移動物体あり」かを判定する。この判定方法は前記第１の実施形態と同様で、障害物認識の対象範囲が撮影全範囲である点のみが異なっている。「静止物体のみ」であればステップ２３０に進み、「移動物体あり」であればステップ２６０に進む。
【０１０１】
ステップ２３０では、予想後退領域（予想後退進路）ＰＡを算出する。この算出方法は前記第１の実施形態におけるステップ９０と同じである。
次のステップ２４０では、静止物体が予想後退進路ＰＡ内に存在するか否かを判断する。静止物体が予想後退進路ＰＡ内に存在しない場合はステップ１６０に進む。つまり、外領域ＯＡの静止物体は障害物とみなされず報知の対象とされない。一方、静止物体が予想後退進路ＰＡ内に存在する場合は次のステップ２５０に進み、進路上に障害物が存在する旨を音声により警告する。
【０１０２】
一方、ステップ２６０では、移動物体の障害物が存在する旨を音声により警告する。この場合、予想後退進路ＰＡ内と外領域ＯＡに存在する移動物体が障害物となるので、音声内容は、進路に入ってきた、あるいは進路に入る恐れのある障害物が存在する旨の警告とする。
【０１０３】
次に障害物矩形表示処理（矩形重畳表示処理）に移る訳であるが、本実施形態では、外領域ＯＡの検出物体のうち移動物体のみを障害物とする。そのため、外領域ＯＡの静止物体に関するデータ（矩形データ）を消去する必要がある。つまり、ステップ２００の閾値処理では、画像全範囲の検出物体のデータ（検出数、中心座標、矩形の始点，幅，高さ等）をバッファに保存している。そのため、データのうち外領域ＯＡの静止物体に関する矩形データ（矩形の始点，幅，高さ等）を消去する必要がある。消去する矩形データを識別するのに予想後退進路ＰＡを使用し（ステップ２３０，２７０）、ステップ２８０では、予想後退進路ＰＡ外に中心座標があって、時刻t-1と時刻tとで中心座標が一致する組合せを持つ検出物体を外領域ＯＡの静止物体とみなし、その静止物体に関する矩形データを消去する。なお、検出数や中心座標のデータは、次回の障害物認識処理や矩形データ消去処理に使用する必要があるため消去されない。
【０１０４】
そして、ステップ１５０では、矩形表示処理が前記第１の実施形態と同様に実行される。「静止物体のみ」の場合は、前記第１の実施形態と同様に予想後退進路ＰＡ内に存在する障害物にそれを囲む矩形が重畳表示されるとともに矩形が点滅する。「移動物体あり」の場合は、予想後退進路ＰＡの範囲内と範囲外に存在する移動物体にそれを囲む矩形が重畳表示されるとともに、矩形が移動物体に追随して移動する。
【０１０５】
例えば図１０に示すように、外領域ＯＡに予想後退進路ＰＡに入ろうとする移動物体ＭＳがあると、モニタ３の画面３ａに映し出された映像上にはこの移動物体ＭＳを囲む矩形Ｒがこの移動物体ＭＳに追随するように表示される。このため、運転者は画面３ａの映像を通して後退進路内に侵入する恐れのある移動物体ＭＳを一目で発見することができる。
【０１０６】
以上詳述したように本実施形態によれば、前記第１の実施形態で述べた（１）〜（１１）の効果が同様に得られる他、以下の効果が得られる。
（１２）後退進路内に侵入する恐れのある移動物体を運転者に音声と画像によって報知することができる。このため、車両を後退させる際に後退進路に侵入する恐れがある移動物体に注意を払うことができる。例えば画面３ａで安全確認した後、車両を後退させるために運転者が後方に振り返った際、振り返り方向と反対側の死角に後退進路上に入ろうとする移動物体があった場合、音声によってその移動物体に気づくことができる。
【０１０７】
なお、実施形態は、上記に限定されず以下の態様で実施することもできる。
【０１０８】
○  基準画像を撮影するときに複数枚の画像を撮影し、認識処理で車両後方に移動物体が無いことを確認し、移動物体が存在していないときの画像を基準画像として選択する方法を採用することができる。この場合、車両を駐停車させてシフトレバーを「Ｐ」または「Ｎ」に入れた時やドア１７を開閉した時に、たまたま車両後方を人が通り過ぎた場合でも、人が通り過ぎた後の障害物の無い状態の時の画像を基準画像として採用できる。
【０１０９】
○  画像処理を行う画像範囲は画面全域でなくてもよい。処理領域を予め必要範囲に限定しておくことによって、処理速度の向上が図られる。
○  障害物を検出するための画像処理方法は、前記各実施形態の方法に限定されない。基準画像と比較画像とを比較してその違いの部分を検出可能な画像処理方法であれば、他の公知の画像処理方法を採用できる。
【０１１０】
○  重畳表示（スーパインポーズ）する所定表示は、矩形表示に限定されない。例えば、障害物に所定色の塗り潰し図形を重畳表示してもよい。また、障害物を囲む枠表示を矩形以外の形状としてもよい。例えば枠形状を円、楕円、星形状、四角以外の多角形状などを採用してもよい。また、障害物の輪郭線を強調した重畳表示とすることもできる。要するに、画面を見て障害物とその位置が一目で分かる強調表示であればよい。なお、枠表示は、障害物の少なくとも一部を囲むものであればよい。
【０１１１】
○  「静止物体のみ」か「移動物体あり」かを区別する認識方法に限定されない。例えば「静止物体のみ」、「移動物体のみ」、「静止物体＋移動物体」の３通りを区別して認識し、その認識結果に応じた３種類の音声や矩形表示でもって報知する方法でもよい。
【０１１２】
○  検出物体が静止物体か移動物体かを画像処理によって識別し、障害物として静止物体と移動物体とが混在する画面上において、静止物体については矩形を点滅させ、移動物体については矩形を追随させる表示方法を採用することもできる。識別方法としては、例えば前回と今回の検出物体の中心座標比較をし、中心座標が一致する組合せを持つものを静止物体と特定し、静止物体以外のものを移動物体と特定すればよい。
【０１１３】
○  報知方法は音声警告と重畳表示との両方を採用することに限定されない。例えば音声警告だけであってもよい。また、重畳表示（スーパインポーズ）だけであってもよい。
【０１１４】
○  画像表示装置は、カメラが撮影した車両後方の映像を動画で映し出すモニタに限定されない。例えば車両の模式画像を表示するとともに障害物の位置にランプが点滅する画像表示装置であってもよい。この装置でも画面を見て障害物の存在および位置を一目で把握できる。要するに、画像によって運転者に障害物の有無を報知できればよく、障害物の位置まで報知できればなおよい。模式画像や静止画像の場合でも、障害物を知らせる表示の表示態様やランプの点灯の点灯態様を変えれば、進路上の静止物体と進路上に入ってきた移動物体とを区別して報知することはできる。
【０１１５】
○  音によって警告する方法は音声に限定されない。例えばブザーやチャイムなどの音により障害物の存在を報知することもできる。例えば、静止物体と移動物体とを音の態様の違いにより区別して報知することもできる。
【０１１６】
○  前記第２の実施形態において、外領域ＯＡの移動物体のうち予想後退進路ＰＡの外側に一定距離の範囲（注意範囲）内のもののみを障害物とする方法を採ることができる。例えば、二値画像上において予想後退進路の外側一定距離内の注意範囲を、遠近を考慮した計算により求め、その注意範囲内の移動物体のみを障害物とする。また、移動物体の移動方向を検出し、予想後退進路に近づく移動物体のみを障害物とすることもできる。
【０１１７】
○  障害物判定手段は、前記各実施形態のようにブロック毎に設定した閾値と比較して判定するものに限定されない。例えば、二値画像上の障害物（白領域）の大きさ（面積）から遠近を考慮に入れて実サイズを計算し、計算した実サイズから障害物となり得るか否かを判断する方法を採用することができる。
【０１１８】
○  後退支援装置の適用車両はオートマチック車に限定されない。マニュアル車に適用することもできる。マニュアル車の場合、シフトポジションスイッチを設け、シフトポジションがニュートラル「Ｎ」に切換えられたときと、運転席のドア１７が開閉されたときに基準画像Image０を撮影するようにすればよい。
【０１１９】
○  カメラ２の取付け場所は適宜に変更できる。例えば車両後方を撮影可能な車内に配置することもできる。また、車両後部（例えばトランク部）にカメラのレンズ部を露出させた取付構造でもよい。さらに、撮影時にカメラのレンズを覆うカバーが開く構造とし、カバーによってレンズを汚れ難く保護してもよい。
【０１２０】
○  シフト操作部はシフレバーに限定されない。例えばハンドル１９の近くに設けられたシフト切換スイッチであってもよい。
○  赤外線カメラの機能を付けるなどして夜間の後退支援をできるようにしてもよい。
【０１２１】
○  カーナビゲーションシステムのモニタを利用する構成に限定されない。後退支援装置専用のモニタを設けても構わない。なお、モニタはＬＣＤに限定されず、ＣＲＴやプラズマディスプレイであってもよい。また、取付け位置もインストルメントパネル近辺に限定されない。インストルメントパネル上方で、前方視野の妨げにならない場所であればよく、他にも車両室内後方で、運転者から見易い場所に設置してもよい。
【０１２２】
○  車両は乗用車に限定されず、バスやトラックなどの自動車に広く後退支援装置を適用できる。また、フォークリフト等の産業車両に適用してもよい。もちろん、車両はエンジン車でなくとも、電気自動車などエンジン車以外にも適用できる。
【０１２３】
前記各実施形態及び各別例から把握される技術的思想（発明）を、その効果とともに以下に記載する。
（１）基準画像を撮影する時期は、車両が前進してきて停車した直後に運転者が操作する操作部が駐停車時の仕方で操作された時である。
この場合、前進してきた車両が停車した直後は、今通ってきた場所に障害物が無いとみなし得る。よって、障害物が無いとみなし得る画像を基準画像として取得できる。なお、前記各実施形態において、操作部はシフトレバー１６であり、駐停車時の操作の仕方は、駐車位置「Ｐ」または中立位置「Ｎ」に操作されることである。
【０１２４】
（２）運転者が車両に乗車する際に操作する操作部が乗車時の仕方で操作された時である。この場合、運転者は乗車する際は一応後方確認をするので、障害物が無いとみなし得る画像を基準画像として取得できる。なお、前記各実施形態において、操作部は運転席のドア１７であり、駐停車時の操作の仕方は、ドア１７を開閉することである。
【０１２５】
（３）前記報知手段は障害物が検出された旨を、聴覚情報（音情報）と視覚情報とにより報知する。この場合、障害物の報知を聴き逃したり見逃したりする報知情報の逃しを回避し易い。
【０１２６】
（４）前記報知手段は前記画像表示手段及び音声報知手段とを備える。この場合、音声と画像表示とによって運転者に障害物の存在の旨が報知されるので、聴覚と視覚の両方によって報知内容を知ることができ、それだけ障害物の見逃しを減らすことができる。
【０１２７】
（５）前記画像表示手段は、画像表示装置の画面に動画で映し出される映像中の障害物に所定表示を重畳表示させるとともに、該障害物が静止物体である場合と移動物体である場合とで前記所定表示を異なる表示態様で表示制御をする。この場合、所定表示の異なる表示態様によって、障害物が静止物体であるか移動物体であるかを一目で判断し易い。
【０１２８】
（６）前記画像表示手段は、前記障害物が静止物体である場合には前記所定表示を点滅させ、移動物体である場合には前記所定表示を該移動物体に追随して移動させる表示制御をする。この場合、障害物の性質や動向を所定表示の表示態様から一目で把握できる。
【０１２９】
（７）前記所定表示は前記障害物の少なくとも一部を囲む枠表示である。この場合、枠表示なので障害物がさほど隠れず、その障害物が何であるかを画面を通して認識できる。
【０１３０】
（８）前記画像表示装置は、車両に搭載されたカーナビゲーションシステムのモニタを兼用している。この場合、後退支援専用の画像表示装置を装備する必要がない。
【０１３１】
【発明の効果】
以上詳述したように請求項１及び請求項９に記載の発明によれば、車両後方に障害物が無いとみなされ得る状態の時に予め取得した基準画像と、シフト操作部が後退位置に入れられたときの比較画像とを比較する画像処理によって障害物を検出し、障害物が検出されると、その旨を運転者に報知するので、車両を後退させる前に後方の障害物を発見して運転者の後方安全確認を支援することができる。
【０１３２】
また、シフト操作部が駐車位置又は中立位置に入れられた時、あるいはその後に運転席のドアが開閉された時を、基準画像の撮影時期としたので、障害物が無いとみなし得る適切な基準画像を取得でき、障害物の検出漏れや誤検出の割合を低く抑えることができる。
【０１３３】
請求項２及び請求項９に記載の発明によれば、障害物を静止物体のみか移動物体ありかまでを区別して認識し、静止物体のみと移動物体ありとを区別して報知するので、運転者は報知内容から障害物が静止物体か移動物体かを認識できる。
【０１３４】
請求項３及び請求項９に記載の発明によれば、撮影手段によって撮影された画像データ上の検出物体が障害物となり得るサイズであるかどうかを遠近を考慮して判別し、実際に障害物となり得るサイズの物体のみを障害物として検出できるので、障害物となり得るものだけを的確に報知できる。
【０１３５】
請求項５及び請求項９に記載の発明によれば、操舵輪の切れ角から予想後退進路を求め、予想後退進路内の障害物のみを検出するので、障害物となり得るものをより的確に報知できる。
【０１３６】
請求項６及び請求項９に記載の発明によれば、操舵輪の切れ角から求めた予想後退進路内に存在する静止物体および移動物体を障害物として検出するとともに、移動物体については予想後退進路外のものも障害物として検出するので、後退進路内に侵入する恐れのある移動物体の存在を運転者に報知することができる。
【０１３７】
請求項７及び請求項９に記載の発明によれば、画像表示手段により、障害物の存在の旨が画像表示されるので、運転者は視覚を通して障害物の存在を把握することができる。
【０１３８】
請求項８及び請求項９に記載の発明によれば、撮影手段により撮影されて画像表示装置の画面上に動画で映し出される車両後方の映像中の障害物に所定表示の重畳表示がなされるので、運転者が映像中の障害物を見落とすことを回避できる。
【図面の簡単な説明】
【図１】第１の実施形態における後退支援処理のフローチャート。
【図２】同じくフローチャート。
【図３】後退支援装置の電気的構成を示すブロック図。
【図４】障害物検出処理の模式説明図。
【図５】後退支援装置を搭載した車両の模式側面図。
【図６】画像処理を説明するための画像模式図。
【図７】障害物認識処理を説明するための説明図。
【図８】障害物矩形表示処理を説明する説明図であり、（ａ）は静止物体のみ、（ｂ）は移動物体ありの場合である。
【図９】矩形表示処理を説明する画面図。
【図１０】第２の実施形態における矩形表示処理を説明する画面図。
【図１１】同じく後退支援処理のフローチャート。
【符号の説明】
１…車両としての自動車、２…撮影手段としてのカメラ、３…報知手段及び画像表示手段を構成するとともに画像表示装置としてのＬＣＤモニタ、５…後退支援装置、６…基準画像取得手段、障害物検出手段、報知手段及び画像表示手段を構成するとともに比較画像取得手段、障害物認識手段、重畳表示手段、障害物判定手段及び予想進路算出手段としての画像用ＥＣＵ、７…報知手段及び画像表示手段を構成するカーナビ用ＥＣＵ、 ８…基準画像取得手段を構成するシフトポジションスイッチ、９…基準画像取得手段を構成するドアスイッチ、１０…基準画像取得手段を構成する車速センサ、１１…障害物検出手段を構成するステアリング切れ角センサ、１２…報知手段を構成する音声処理回路、１３…報知手段を構成するスピーカ、１６…シフト操作部としてのシフトレバー、１７…ドア、１８…操舵輪、２０…基準画像取得手段、障害物検出手段、報知手段及び画像表示手段を構成するとともに比較画像取得手段、障害物認識手段、重畳表示手段、障害物判定手段及び予想進路算出手段としてのＣＰＵ、２１…基準画像取得手段を構成する画像メモリ、２２…メモリ、Image０…基準画像、Imageｎ…比較画像、Ｓ…障害物、ＰＡ…予想後退進路、ＳＳ…静止物体、ＭＳ…移動物体、Ｒ…矩形。
【図１】
0003690150.tif 000002
【図２】
0003690150.tif 000003
【図３】
0003690150.tif 000004
【図４】
0003690150.tif 000005
【図５】
0003690150.tif 000006
【図６】
0003690150.tif 000007
【図７】
0003690150.tif 000008
【図８】
0003690150.tif 000009
【図９】
0003690150.tif 000010
【図１０】
0003690150.tif 000011
【図１１】
0003690150.tif 000012