(57)【要約】【課題】停車中においても立体物である障害物を検出することのできる「周辺監視装置」を提供する。【解決手段】自動車の駐停車が発生したならば、制御部１２は、駐停車直前の走行中にリアカメラ１で撮影した撮影画像を視点変換した俯瞰画像を保存する（ｃ３）よう制御する。以降、停車中は、各時点において撮影した撮影画像の俯瞰画像（ｃ１）と、保存しておいた俯瞰画像との、同一被写領域に対応する画像部分の差分より（ｄ２、ｅ２）、障害物を検出する。【選択図】図５
2010015346.tif 000002
【特許請求の範囲】
【請求項１】
自動車に搭載される周辺監視装置であって、
前記自動車の周辺を撮影するカメラと、
前記自動車が走行中であるか停止中であるかを検出する走行中有無検出部と、
前記自動車の停止が発生したときに、当該停止前に前記カメラで撮影した画像を停止前画像として保存する画像保存部と、
前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に基づいて、前記自動車周辺の障害物を検出する障害物検出部とを有することを特徴とする周辺監視装置。
【請求項２】
請求項１記載の周辺監視装置であって、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と前記画像保存部が保存している停止前画像との差分に加え、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。
【請求項３】
請求項２記載の周辺監視装置であって、
前記障害物検出部は、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分とに基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。
【請求項４】
請求項１記載の周辺監視装置であって、
前記障害物検出部は、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分とに基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。
【請求項５】
請求項１記載の周辺監視装置であって、
前記カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成する視点変換部をさらに備え、
前記画像保存部は、前記自動車の停止が発生したときに、前記視点変換部により生成された前記俯瞰画像を前記停止前画像として保存し、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像を視点変換して生成した現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に基づいて前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。
【請求項６】
請求項５記載の周辺監視装置であって、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に加え、前記現時点俯瞰画像と前記現時点俯瞰画像より前に生成された俯瞰画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。
【請求項７】
請求項５記載の周辺監視装置であって、
前記障害物検出部は、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中は、前記現時点俯瞰画像と、前記現時点俯瞰画像より前に生成された俯瞰画像との差分のみに基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。
【請求項８】
自動車に搭載される周辺監視装置において、障害物を検出する障害物検出方法であって、
カメラで前記自動車の周辺を撮影する撮影ステップと、
前記自動車が走行中であるか停止中であるかを検出する走行有無検出ステップと、
前記自動車の停止が発生したときに、当該停止前に前記カメラで撮影した画像を停止前画像として保存する画像保存ステップと、
前記自動車の停止中が検出されている期間中に、前記カメラで撮影した現在の画像と、保存している停止前画像との差分に基づいて、前記自動車周辺の障害物を検出する障害物検出ステップとを有することを特徴とする障害物検出方法。
【請求項９】
請求項８記載の障害物検出方法であって、
前記障害物検出ステップにおいて、前記自動車の停止中が検出されている期間中に、前記カメラで撮影した現在の画像と保存している前記停止前画像との差分に加え、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。
【請求項１０】
請求項９記載の障害物検出方法であって、
前記障害物検出ステップにおいて、前記自動車が走行中であることが検出されている期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。
【請求項１１】
請求項８記載の障害物検出方法であって、
前記障害物検出ステップにおいて、前記自動車が走行中であることが検出されている期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。
【請求項１２】
請求項８記載の障害物検出方法であって、
前記カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成する視点変換ステップを有し、
前記画像保存ステップにおいて、前記自動車の停止が発生したときに、前記俯瞰画像を前記停止前画像として保存し、
前記障害物検出ステップにおいて、前記自動車の停止中が検出されている期間中に、前記カメラで撮影した現在の画像を視点変換して生成した現時点俯瞰画像と、前記保存している停止前画像との同一の被写領域に対応する画像部分間の差分に基づいて前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。
【請求項１３】
請求項１２記載の障害物検出方法であって、
前記障害物検出ステップにおいて、前記自動車の停止中が検出されている期間中に、前記現時点俯瞰画像と、前記保存している停止前画像との同一の被写領域に対応する画像部分間の差分に加え、前記現時点俯瞰画像と前記現時点俯瞰画像より前に生成された俯瞰画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。
【請求項１４】
請求項１２記載の障害物検出方法であって、
前記障害物検出ステップにおいて、前記自動車が走行中であることが検出されている期間中は、前記現時点俯瞰画像と、前記現時点俯瞰画像より前に生成された俯瞰画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする障害物検出方法。
【請求項１５】
自動車に搭載され、前記自動車の周辺を撮影するカメラが接続されたコンピュータによって読みとられ実行されるコンピュータプログラムであって、
前記コンピュータを、
前記自動車が走行中であるか停止中であるかを検出する走行中有無検出部と、
前記自動車の停止が発生したときに、当該停止前に前記カメラで撮影した画像を停止前画像として保存する画像保存部と、
前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に基づいて、前記自動車周辺の障害物を検出する障害物検出部として機能させることを特徴とするコンピュータプログラム。
【請求項１６】
請求項１５記載のコンピュータプログラムであって、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に加え、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とするコンピュータプログラム。
【請求項１７】
請求項１６記載のコンピュータプログラムであって、
前記障害物検出部は、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とするコンピュータプログラム。
【請求項１８】
請求項１５記載のコンピュータプログラムであって、
前記障害物検出部は、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とする周辺監視装置。
【請求項１９】
請求項１５記載のコンピュータプログラムであって、
当該コンピュータプログラムは、前記コンピュータを、さらに、前記カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成する視点変換部として機能させ、
前記画像保存部は、前記自動車の停止が発生したときに、前記視点変換部により生成された俯瞰画像を前記停止前画像として保存し、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像を視点変換して生成した現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に基づいて前記自動車周辺の障害物を検出することを特徴とするコンピュータプログラム。
【請求項２０】
請求項１９記載のコンピュータプログラムであって、
前記障害物検出部は、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に加え、前記現時点俯瞰画像と前記現時点俯瞰画像より前に生成された俯瞰画像との差分に基づいて、前記自動車周辺の障害物を検出することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車周辺の障害物等を監視する技術に関するものである。
【背景技術】
【０００２】
自動車周辺の障害物等を監視する技術としては、自動車の走行中に、異なる時点において異なる位置から撮影した複数の自動車周辺の画像に写り込んだ被写体の、撮影位置の相違に寄らない形状の変化に基づいて、自動車周辺の立体物を検出する技術が知られている（たとえば、特許文献１）。
【０００３】
また、被写領域が重複するように複数のカメラによって自動車周辺を撮影した複数の画像の各々に視点変換を施して、自動車周辺を俯瞰した画像である俯瞰画像を複数生成し、生成した複数の俯瞰画像の同一の被写領域を表す部分間の差分に基づいて自動車周辺の立体物を検出する技術も知られている（たとえば、特許文献２）。
【特許文献１】特開平10-222679号公報
【特許文献２】特開2006-339960号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記特許文献２記載の技術によれば、自動車周辺の立体物を検出するために複数のカメラが必要となる。
一方、前記特許文献２記載の技術に前記特許文献１記載の技術を適用し、自動車の走行中に、単一のカメラを用いて異なる時点において異なる位置から撮影した自動車周辺の複数の画像の各々に視点変換を施して、自動車周辺を俯瞰した画像である俯瞰画像を複数生成し、生成した複数の俯瞰画像の同一の被写領域を表す部分間の差分に基づいて自動車周辺の立体物を検出するようにすれば、単一のカメラを用いて自動車周辺の立体物を検出することができるようになる。
【０００５】
しかしながら、自動車の停止中は、異なる時点において撮影される自動車周辺の画像が全て同じ位置から自動車周辺を撮影した画像となり差分が発生しないため、単一のカメラを用いて自動車周辺の立体物を検出することはできない。
そこで、本発明は、自動車の停車中においても、自動車周辺の立体物である障害物を検出できる周辺監視装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題達成のために、本発明は、自動車に搭載される周辺監視装置に、前記自動車の周辺を撮影するカメラと、前記自動車が走行中であるか停止中であるかを検出する走行中有無検出部と、前記自動車の停止が発生したときに、当該停止前に前記カメラで撮影した画像を停止前画像として保存する画像保存部と、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に基づいて、前記自動車周辺の障害物を検出する障害物検出部とを備えたものである。
【０００７】
このような周辺監視装置によれば、自動車の停止時に、停止前に撮影した自動車周辺の画像を停止前画像として保存しておき、自動車の停止中は、各時点で撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に基づいて、前記自動車周辺の障害物を検出する。ここで、停止前画像として保存される停止前に撮影した自動車周辺の画像は、自動車の停止中に撮影される画像とは、異なる地点から自動車周辺を撮影したものとなる。よって、このようにすることにより、自動車の停車中においても、自動車周辺の立体物である障害物を検出することができるようになる。
【０００８】
なお、このような周辺監視装置は、前記障害物検出部において、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像と、前記画像保存部が保存している停止前画像との差分に加え、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出するように構成してもよい。
【０００９】
このようにすることにより、自動車周辺で現時点において移動している障害物を検出することができるようになる。
また、以上のような周辺監視装置は、前記障害物検出部において、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中、前記カメラで撮影した現在の画像と当該現在の画像の前に前記カメラで撮影した画像との差分に基づいて、前記自動車周辺の障害物を検出するように構成してもよい。
【００１０】
このようにすることにより、自動車の走行中に自動車周辺に位置する立体物や移動体である障害物も検出することができるようになる。
なお、以上のような障害物検出部における障害物の検出は、カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像に基づいて行うようにしてもよい。
すなわち、この場合には、たとえば、前記カメラで撮影した画像を視点変換して生成した、前記自動車の周辺を上方より観察したようすを表す俯瞰画像を生成する視点変換部をさらに備え、前記画像保存部において、前記自動車の停止が発生したときに、前記視点変換部により生成された前記俯瞰画像を前記停止前画像として保存し、前記障害物検出部において、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記カメラで撮影した現在の画像を視点変換して生成した現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に基づいて前記自動車周辺の障害物を検出するようにしてもよい。
【００１１】
また、この場合には、前記障害物検出部において、前記走行中有無検出部が前記自動車の停止中を検出している期間中に、前記現時点俯瞰画像と、前記画像保存部が保存している停止前画像との同一の被写領域に対応する画像部分間の差分に加え、前記現時点俯瞰画像と前記現時点俯瞰画像より前に生成された俯瞰画像との差分のみに基づいて、前記自動車周辺の障害物を検出するようにしてもよい。
【００１２】
また、車両の走行中には、前記障害物検出部において、前記走行中有無検出部が前記自動車が走行中であることを検出している期間中は、前記現時点俯瞰画像と、前記現時点俯瞰画像より前に生成された俯瞰画像との差分に基づいて、前記自動車周辺の障害物を検出するようにしてよい。
【発明の効果】
【００１３】
以上のように、本発明によれば、自動車の停車中においても、自動車周辺の立体物である障害物を検出できる周辺監視装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を説明する。
図１ａに、本実施形態に係る周辺監視システムの構成を示す。
周辺監視システムは自動車に搭載されるシステムであり、図示するように、周辺監視システムは、リアカメラ１、カレント画像バッファ２、視点変換部３、第１参照画像バッファ４、第２参照画像バッファ５、セレクタ６、射影変換部７、差分画像生成部８、障害物検出部９、障害物表示画像生成部１０、表示装置１１、制御部１２、車両状態センサ１３、警告音出力部１４、スピーカ１５とを備えている。
【００１５】
ここで、リアカメラ１は、図１ｂに示すように自動車の後部に配置され、自動車後方を撮影する広角のカメラである。また、車両状態センサ１３は、自動車の車速やパーキングブレーキの制動状態や舵角や角速度などの、自動車の各種状態を検出するセンサである。
【００１６】
なお、周辺監視システムは、ハードウエアとしては、マイクロプロセッサやメモリやその他の周辺装置を備えたコンピュータを用いて構成することもでき、この場合、リアカメラ１と表示装置１１を除く周辺監視システムの各部は、マイクロプロセッサが所定のプログラムを実行することにより実現されるものであってよい。
【００１７】
以下、このような車載監視システムの動作について説明する。
ここで、制御部１２は、画像撮影周期毎に、車両状態センサ１３で検出した車速や舵角や角速度より、前回測定時以後の自動車の位置と向きの変化量を車両変位情報として測定する。
一方、リアカメラ１は、画像撮影周期毎に、自動車後方を撮影した画像をカレント撮影画像としてカレント画像バッファ２に格納する。但し、ここでは、リアカメラ１は、被写体の左右を反転した鏡像画像を撮影画像として出力するものとする。なお、リアカメラ１としては、被写体の左右を反転しない正像画像を撮影画像として出力するものを用いるようにすることもできる。
カレント画像バッファ２は、画像撮影周期毎に、格納しているカレント撮影画像を、視点変換部３と障害物表示画像生成部１０に出力する。
そして、視点変換部３は、カレント画像バッファ２から入力するカレント撮影画像に視点変換処理を施して自動車後方を上方より俯瞰した俯瞰画像をカレント俯瞰画像として生成し、差分画像生成部８に出力すると共に、第１参照画像バッファ４と第２参照画像バッファ５とのうちの、遅延画像バッファに設定されている方に遅延俯瞰画像として格納する。
【００１８】
ここで、第１参照画像バッファ４と第２参照画像バッファ５とは、制御部１２が行う後述する検出方式切替処理によって、交互に遅延画像バッファに設定され、遅延画像バッファに設定された参照画像バッファは、遅延俯瞰画像を画像撮影周期毎に格納するために用いられる。また、第１参照画像バッファ４と第２参照画像バッファ５とは、遅延画像バッファに設定されていないときに、検出方式切替処理によって、固定画像バッファに設定されることがあり、第１参照画像バッファ４や第２参照画像バッファ５は、固定画像バッファに設定されているときには、固定画像バッファに設定された時点で格納していた遅延俯瞰画像を以降、固定俯瞰画像として、固定画像バッファに設定されている間保持し続ける。
【００１９】
ここで、このような遅延画像バッファと固定画像バッファの設定を行う検出方式切替処理について説明する。
図２に、制御部１２が行う検出方式切替処理の手順について説明する。
図示するように、この処理では、まず、第１参照画像バッファ４を、遅延画像バッファに設定し（ステップ２０２）、障害物の検出方式として、（カレント俯瞰画像-遅延俯瞰画像）を設定する（ステップ２０４）。この、（カレント俯瞰画像-遅延俯瞰画像）の障害物の検出方式の詳細については後述する。
【００２０】
次に、車両状態センサ１３で検出している車速やパーキングブレーキの制動状態等に基づいて、自動車が走行を開始するのを待ち（ステップ２０６）、走行を開始したならば、自動車の駐停車が発生するのを待つ（ステップ２０８）。
そして、自動車の駐停車が発生したならば（ステップ２０８）、車両の停止が検出されたときに測定した、車両の停止直前の画像撮影周期から停止直後の画像撮影周期までの自動車の位置と向きの変化量を表す車両変位情報を、停止時変位情報として保存する。また、第１参照画像バッファ４と第２参照画像バッファ５とのうちの、現在、遅延画像バッファに設定されている方の参照画像バッファを、固定画像バッファに設定し、他方の参照画像バッファを遅延画像バッファに設定する（ステップ２１０）。また、障害物の検出方式として、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝を設定する（ステップ２１２）。この、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の障害物の検出方式の詳細については後述する。
【００２１】
そして、自動車の走行開始が発生するのを待ち（ステップ２１６）、自動車の走行開始が発生したならば、ステップ２０４からの処理に戻る。
以上、制御部１２が行う、検出方式切替処理について説明した。
このような検出切替方式によれば、たとえば、図３に示すように、時刻順にt-m-1からt+4までの画像撮影周期が存在した場合において、走行中の自動車がt-n+1で停車し、その後に再度t+2で走行を開始した場合の、遅延画像バッファと固定画像バッファと検出方式の設定は、次のようになる。
【００２２】
ただし、t-m-1において、第１参照画像バッファ４が遅延画像バッファに設定されており、障害物の検出方式として、（カレント俯瞰画像-遅延俯瞰画像）が設定されているものとする
この場合、まず、カレント画像バッファ２には、常に、各画像撮影周期Ｔの始期において、一つ前の画像撮影周期Ｔ-1に撮影した撮影画像が格納される。
【００２３】
次に、画像撮影周期t-n+１において自動車の停止が検出されると、次の画像撮影周期t-n+2で、車両の停止直前の画像撮影周期t-nから停止直後の画像撮影周期t-n+１までの自動車の位置と向きの変化量を表す車両変位情報が、停止時変位情報として保存される。また、当該次の画像撮影周期t-n+2で、第１参照画像バッファ４が固定画像バッファに設定され、第２参照画像バッファ５が遅延画像バッファに設定され、障害物の検出方式として、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝に設定され、次の画像撮影周期t-n+3の始期から当該設定が有効となる。
【００２４】
よって、画像撮影周期t-m-1からt-n+2までは、第１参照画像バッファ４は遅延画像バッファとして機能し、遅延画像バッファとして、各画像撮影周期Ｔの始期において、当該画像撮影周期Ｔの二つ前の画像撮影周期T-2に撮影した撮影画像を視点変換した俯瞰画像が遅延俯瞰画像として格納される。
【００２５】
また、画像撮影周期t-m-1からt-n+2までは、障害物の検出は、（カレント俯瞰画像-遅延俯瞰画像）の検出方式によって行われる。
次に、画像撮影周期t-n+3の始期以降は、第１参照画像バッファ４は固定画像バッファとして機能し、固定画像バッファに設定される直前の画像撮影周期t-n+2に格納していた画像撮影周期t-nの撮影画像を視点変換した遅延俯瞰画像すなわち車両が停止する直前の俯瞰画像を固定俯瞰画像として、次に遅延画像バッファに設定されるまで保持する。
【００２６】
また、画像撮影周期t-n+3以降は、第２参照画像バッファ５は遅延画像バッファとして機能し、次に固定バッファに設定されるまでの各画像撮影周期Ｔの始期において、当該画像撮影周期Ｔの二つ前の画像撮影周期T-2に撮影した撮影画像を視点変換した俯瞰画像が遅延俯瞰画像として格納される。
【００２７】
次に、画像撮影周期t+2において自動車の走行開始が検出されると、次の画像撮影周期t+3で、障害物の検出方式として、（カレント俯瞰画像-遅延俯瞰画像）が設定され、次の画像撮影周期t-4の始期から当該設定が有効となる。
ここで、以上のようにして、車両の走行中は、各画像撮影周期において、遅延画像バッファにはカレント画像バッファ２に格納されている撮影画像の直前の画像撮影周期の撮影画像を視点変換した俯瞰画像が遅延俯瞰画像として格納され、障害物の検出が（カレント俯瞰画像-遅延俯瞰画像）の検出方式によって行われる。
【００２８】
一方、車両の停止中は、各画像撮影周期において、遅延画像バッファにはカレント画像バッファ２に格納されている撮影画像の直前の画像撮影周期の撮影画像を視点変換した俯瞰画像が遅延俯瞰画像として格納され、固定画像バッファには、車両の停止直前の画像撮影周期の撮影画像を視点変換した俯瞰画像が固定俯瞰画像として格納され、障害物の検出が｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式によって行われる。
【００２９】
以下、このようにして行われる車両の走行中の（カレント俯瞰画像-遅延俯瞰画像）の検出方式による障害物の検出動作と、車両の停止中の｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式による障害物の検出動作について説明する。
【００３０】
まず、車両の走行中の（カレント俯瞰画像-遅延俯瞰画像）の検出方式による障害物の検出動作について説明する。
ここでは、車両の走行中の障害物の検出動作の一例として図３における画像撮影周期t-m+1における検出動作を例にとり説明する。
この場合、カレント画像バッファ２は、画像撮影周期t-m+1において、画像撮影周期t-mの撮影画像をカレント撮影画像として出力し、視点変換部３はカレント画像バッファ２より入力するカレント撮影画像に視点変換処理を施して自動車後方を上方より俯瞰した俯瞰画像をカレント俯瞰画像として生成し、差分画像生成部８に出力する。
【００３１】
一方、画像撮影周期t-m+1において遅延画像バッファに設定されている参照画像バッファ（ここでは、第１参照画像バッファ４）は格納している画像撮影周期t-mの撮影画像を視点変換した俯瞰画像を遅延俯瞰画像としてセレクタ６に出力する。
セレクタ６は、（カレント俯瞰画像-遅延俯瞰画像）の検出方式が設定されている場合には、遅延画像バッファに設定されている参照画像バッファ（ここでは、第１参照画像バッファ４）から出力される遅延俯瞰画像のみを射影変換部７に出力する。
ここで、制御部１２は、上述のように画像撮影周期毎に、車両状態センサ１３で検出した車速や舵角や角速度より、前回測定時以後の自動車の位置と向きの変化量を車両変位情報として測定しており、各画像撮影周期において、測定した車両変位情報を射影変換部７に出力する。
【００３２】
そして、射影変換部７は、（カレント俯瞰画像-遅延俯瞰画像）の検出方式が設定されている場合には、セレクタ６から入力する遅延俯瞰画像を射影変換し差分画像生成部８に出力する。ここで、この遅延俯瞰画像の射影変換は、自動車後方の地面が平坦であった場合に自動車後方の地面上の同じ位置が写り込む遅延俯瞰画像の画素と視点変換部３から入力するカレント俯瞰画像の画素とが、同じ画素座標を有するように、制御部１２から入力する車両変位情報に基づいて、遅延俯瞰画像を射影変換することにより行う。但しこの遅延俯瞰画像の射影変換は、遅延俯瞰画像上の特徴パターンと、視点変換部３から出力される今回のカレント俯瞰画像上の、前記遅延俯瞰画像上の特徴パターンに対応する特徴パターンとが同じ座標を有するように、カレント俯瞰画像を参照して、遅延俯瞰画像を射影変換することにより行うようにしてもよい。
【００３３】
そして、差分画像生成部８は、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される射影変換後の遅延俯瞰画像との座標範囲が重複する部分の差分を求め、差分画像として、障害物検出部９に出力する。但し、射影変換後の遅延俯瞰画像とカレント俯瞰画像とについて、各画像に含まれるエッジを抽出したエッジ画像を生成し、生成した両エッジ画像の差分を差分画像とするようにしてもよい。
【００３４】
そして、障害物検出部９は、差分画像生成部８から出力された差分画像が、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される射影変換後の遅延俯瞰画像との間に差分が存在することを表している場合に、障害物の存在を検出する。また、障害物検出部９は、障害物の存在を検出したならば、障害物検出の旨を警告音出力部１４に通知すると共に、差分画像生成部８から出力された差分画像より、カレント俯瞰画像中において、射影変換後の遅延俯瞰画像と差分が存在する領域を求め、求めた領域を障害物が写り込んでいる領域として、障害物表示画像生成部１０に出力する。
【００３５】
そして、警告音出力部１４は、障害物検出の旨を通知されたならば、所定の警告音をスピーカから出力する。また、障害物表示画像生成部１０は、障害物検出部９が求めた障害物が写り込んでいる領域に対応する、カレント画像バッファ２から入力するカレント撮影画像上の領域を障害物検知領域として逆視点変換などにより求め、求めた障害物検知領域をカレント撮影画像上で表した障害物表示画像を生成し、表示装置１１に表示する。但し、リアカメラ１の広角レンズの歪み補正をカレント撮影画像に施した上で、カレント撮影画像上で障害物検知領域を表した画像を障害物表示画像として生成して表示するようにしてもよい。
【００３６】
ここで、このような画像撮影周期t-m+1における走行中の（カレント俯瞰画像-遅延俯瞰画像）の検出方式による障害物の検出例を図４に示す。
いま、画像撮影周期t-m-1から、画像撮影周期t-mに進む間に、自動車が、ａ２からａ１に示すように移動したものとする。
また、このt-m-1、t-mを含む期間において、自動車の後方には立体物である障害物４０１が存在しているものとする。
この場合、画像撮影周期t-mにおいて撮影された撮影画像はｂ１に示す画像となり、その直前の画像撮影周期t-m-1において撮影された撮影画像はｂ２に示す画像となる。
すると、その後、t-m+1の画像撮影周期では、画像撮影周期t-mにおいて撮影された撮影画像ｂ１がカレント画像としてカレント画像バッファ２から出力され、視点変換部３によってｃ１に示すようにカレント俯瞰画像に変換され差分画像生成部８に出力される。
【００３７】
また、遅延画像バッファに設定されている参照画像バッファから、画像撮影周期t-m-1において撮影されたｂ２に示す画像を視点変換したｃ２に示す遅延俯瞰画像が射影変換部７に出力される。そして、射影変換部７によって、ｃ２に示す遅延俯瞰画像が、ｄ１に示すように射影変換されて差分画像生成部８に出力され、差分画像生成部８において、射影変換後の遅延俯瞰画像とｃ１のカレント俯瞰画像の差分が求められ、ｄ２に示す差分画像が生成される。そして、このｄ２の差分画像より、障害物検出部９によって、障害物の検出と、障害物の存在する領域４０２の算出が行われる。
【００３８】
そして、警告音出力部１４によって、所定の警告音をスピーカから出力される。また、障害物表示画像生成部１０によって、ｅに示すように、障害物検出部９によって求めた障害物の存在する領域４０２より算出した障害物検知領域を示す矩形４０３をカレント撮影画像上に配置した画像が、障害物表示画像として表示装置１１に表示されることになる。
【００３９】
ここで、立体物である障害物４０１は、異なる位置で撮影した撮影画像を視点変換した俯瞰画像ｃ１、ｃ２において、異なる形状で写り込むので、以上の処理により、ｅの矩形４０３で示したように、カレント撮影画像上の、障害物４０１が写り込でいる位置やその周辺に正しく障害物を検知し、ユーザに提示することができることになる。
【００４０】
なお、移動する障害物についても、立体物である障害物４０１と同様に以上の処理によって検出、提示することができる。
次に、車両の停止中の｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式による障害物の検出動作について説明する。
ここでは、車両の走行中の障害物の検出動作の一例として図３における画像撮影周期t+1における検出動作を例にとり説明する。
この場合、カレント画像バッファ２は、画像撮影周期t+1において、画像撮影周期tの撮影画像をカレント撮影画像として出力し、視点変換画像はカレント画像バッファ２より入力するカレント撮影画像に視点変換処理を施して自動車後方を上方より俯瞰した俯瞰画像をカレント俯瞰画像として生成し、差分画像生成部８に出力する。
【００４１】
一方、画像撮影周期t+1において遅延画像バッファに設定されている参照画像バッファ（ここでは第２参照画像バッファ５）は格納している画像撮影周期t-1の撮影画像を視点変換した俯瞰画像を遅延俯瞰画像としてセレクタ６に出力する。
また、画像撮影周期t+1において固定画像バッファに設定されている参照画像バッファ（ここでは第１参照画像バッファ４）は格納している車両の停止直前の画像撮影周期t-nの撮影画像を視点変換した俯瞰画像を固定俯瞰画像としてセレクタ６に出力する。
セレクタ６は、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式が設定されている場合には、入力する遅延俯瞰画像と固定俯瞰画像との双方を順次射影変換部７に出力する。
そして、射影変換部７は、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式が設定されている場合には、入力する遅延俯瞰画像を、そのまま差分画像生成部８に出力すると共に、固定俯瞰画像を射影変換し、差分画像生成部８に出力する。
【００４２】
ここで、この固定俯瞰画像の射影変換は、制御部１２が保持している停止時車両変位情報に基づいて、自動車後方の地面が平坦であった場合に自動車後方の地面上の同じ位置が写り込む固定俯瞰画像の画素と視点変換部３から入力するカレント俯瞰画像の画素とが、同じ画素座標を有するように、固定俯瞰画像を射影変換することにより行う。
【００４３】
但し、この固定俯瞰画像の射影変換は、固定俯瞰画像上の特徴パターンと、視点変換部３から出力される今回のカレント俯瞰画像上の、固定俯瞰画像上の特徴パターンに対応する特徴パターンとが同じ座標を有するように、カレント俯瞰画像を参照して、固定俯瞰画像を射影変換することにより行うようにしてもよい。
【００４４】
そして、差分画像生成部８は、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式が設定されている場合には、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される遅延俯瞰画像との座標範囲が重複する部分の差分を求め、第１差分画像として、障害物検出部９に出力する。但し、遅延俯瞰画像とカレント俯瞰画像とについて、各画像に含まれるエッジを抽出したエッジ画像を生成し、生成した両エッジ画像の差分を第１差分画像とするようにしてもよい。また、差分画像生成部８は、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される射影変換後の固定俯瞰画像との座標範囲が重複する差分を求め、第２差分画像として、障害物検出部９に出力する。但し、射影変換後の固定俯瞰画像とカレント俯瞰画像とについて、各画像に含まれるエッジを抽出したエッジ画像を生成し、生成した両エッジ画像の差分を第２差分画像とするようにしてもよい。
【００４５】
そして、障害物検出部９は、差分画像生成部８から出力された第１差分画像が、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される射影変換後の遅延俯瞰画像との間に差分が存在することを表しているか、差分画像生成部８から出力された第２差分画像が、視点変換部３から入力するカレント俯瞰画像と、射影変換部７から出力される射影変換後の固定俯瞰画像との間に差分が存在することを表している場合に、障害物の存在を検出し、障害物検出の旨を警告音出力部１４に通知する。また、障害物検出部９は、｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式が設定されている場合には、差分画像生成部８から出力された第１差分画像より、カレント俯瞰画像中において、射影変換後の遅延俯瞰画像と差分が存在する領域を求めると共に、差分画像生成部８から出力された第２差分画像より、カレント俯瞰画像中において、射影変換後の遅延俯瞰画像と差分が存在する領域を求め、求めた各領域を障害物が写り込んでいる領域として求め、障害物表示画像生成部１０に出力する。
【００４６】
そして、警告音出力部１４は、障害物検出の旨を通知されたならば、所定の警告音をスピーカから出力する。また、障害物表示画像生成部１０は、障害物検出部９が求めた障害物が写り込んでいる各領域に対応する、カレント画像バッファ２から入力するカレント撮影画像上の領域を障害物検知領域として逆視点変換などにより求め、求めた障害物検知領域をカレント撮影画像上で表した障害物表示画像を生成し、表示装置１１に表示する。但し、リアカメラ１の広角レンズの歪み補正をカレント撮影画像に施した上で、カレント撮影画像上で求めた障害物検知領域を表した画像を障害物表示画像として生成して表示するようにしてもよい。
【００４７】
ここで、このような画像撮影周期t+1における自動車の停止中の｛（カレント俯瞰画像-遅延俯瞰画像）+（カレント俯瞰画像-固定俯瞰画像）｝の検出方式による障害物の検出例を図５に示す。
いま、車両の停止直前の画像撮影周期t-ｎにおいて図５ａ３、車両停止中の画像撮影周期t-1において図５ａ２、その直後の車両停止中の画像撮影周期tにおいて図５ａ１の位置に車両が位置しているものとする。また、このt-ｎ、t-1、tを含む期間において、自動車の後方には立体物である障害物５０１が存在し、t-1、tを含む期間において、自動車後方に移動する障害物５０２が存在したものとする。
【００４８】
この場合、画像撮影周期tにおいて撮影された撮影画像はｂ１に示す画像となり、その直前の画像撮影周期t-1において撮影された撮影画像はｂ２に示す画像となり、それ以前の車両の停止直前の画像撮影周期t-ｎにおいて撮影された撮影画像はｂ３に示す画像となる。
【００４９】
すると、その後、t+1の画像撮影周期では、画像撮影周期tにおいて撮影された撮影画像ｂ１がカレント画像としてカレント画像バッファ２から出力され、視点変換部３によってｃ１に示すようにカレント俯瞰画像に変換され差分画像生成部８に出力される。
また、遅延画像バッファに設定されている参照画像バッファから、画像撮影周期t-1において撮影されたｂ２に示す画像を視点変換したｃ２に示す遅延俯瞰画像が射影変換部７に出力され、射影変換部７から、そのまま差分画像生成部８に出力される。そして、ｃ２の遅延俯瞰画像とｃ１のカレント俯瞰画像の差分が求められ、ｄ１に示す第１差分画像が生成される。そして、このｄ２の第１差分画像より、ｅ１に示すように障害物検出部９によって、障害物の検出と、障害物の存在する領域５０３の算出が行われる。
【００５０】
また、固定画像バッファに設定されている参照画像バッファから、画像撮影周期t-nにおいて撮影されたｂ３に示す画像を視点変換したｃ３に示す遅延俯瞰画像が射影変換部７に出力され、射影変換部７によって、ｃ３に示す固定俯瞰画像が、ｄ２に示すように射影変換されて差分画像生成部８に出力され、差分画像生成部８において、射影変換後の固定俯瞰画像とｃ１のカレント俯瞰画像の差分が求められ、ｄ２に示す第２差分画像が生成される。そして、このｄ２の差分画像より、ｅ２に示すように障害物検出部９によって、障害物の検出と、障害物の存在する領域５０４の算出が行われる。
【００５１】
そして、そして、警告音出力部１４によって、所定の警告音をスピーカから出力される。また、障害物表示画像生成部１０によって、ｆに示すように、障害物検出部９によって求めた障害物の存在する領域５０３、５０４より算出した障害物検知領域を示す矩形５０５、５０６をカレント撮影画像上に配置した画像が、障害物表示画像として表示装置１１に表示されることになる。
【００５２】
ここで、移動する障害物５０２は、異なる時点で撮影した撮影画像を視点変換した俯瞰画像にｃ１、ｃ２に示すように異なる位置、形状で写り込むので、以上の処理により、カレント俯瞰画像と遅延俯瞰画像より障害物が存在する領域５０３を求めれば、ｆの矩形５０５で示したように、カレント撮影画像上の、障害物５０２が写り込でいる位置やその周辺に正しく障害物を検知し、ユーザに提示することができることになる。
【００５３】
一方、立体物である障害物５０１は、異なる位置で撮影した撮影画像を視点変換した俯瞰画像ｃ１、ｃ３において、異なる形状で写り込むので、以上の処理により、車両停止位置とは異なる位置から撮影した車両停止直前の撮影画像を視点変換した俯瞰画像を固定俯瞰画像として保持しておき、保持している固定俯瞰画像と、車両停止位置から撮影した撮影画像を視点変換したカレント俯瞰画像との差分より障害物が存在する領域５０４を求めれば、ｆの矩形５０６で示したように、カレント撮影画像上の、立体物である障害物５０１が写り込でいる位置やその周辺に正しく障害物を検知し、ユーザに提示することができることになる。
【００５４】
以上、本発明の実施形態について説明した。
なお、以上では、リアカメラ１を備えて自動車後方の障害物を検出する場合について説明したが、これに限定することなく、フロントカメラやサイドカメラを備えて自動車前方や側方の障害物を検出する場合など、本実施形態は、任意方向の障害物を検出する場合に、同様に適用することができる。
また、以上の実施形態において、障害物検出部９において、車両の停止が検出されたときに、差分画像生成部８から出力されている、視点変換部３から入力するカレント俯瞰画像と射影変換部７から出力される射影変換後の遅延俯瞰画像との差分画像を第３差分画像として保存しておき、自動車の走行開始が発生するまで、第１差分画像と第２差分画像に加え、第３差分画像をも対象として、障害物の存在の検出及び警告音出力部１４への通知や、障害物が写り込んでいる領域の算出及び障害物表示画像生成部１０への通知を行うようにしてもよい。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施形態に係る周辺監視システムの構成を示すブロック図である。
【図２】本発明の実施形態に係る検出方式切替処理を示すフローチャートである。
【図３】本発明の実施形態に係る検出方式切替処理の動作例を示す図である。
【図４】本発明の実施形態に係る障害物検出例を示す図である。
【図５】本発明の実施形態に係る障害物検出例を示す図である。
【符号の説明】
【００５６】
１…リアカメラ、２…カレント画像バッファ、３…視点変換部、４…第１参照画像バッファ、５…第２参照画像バッファ、６…セレクタ、７…射影変換部、８…差分画像生成部、９…障害物検出部、１０…障害物表示画像生成部、１１…表示装置、１２…制御部、１３…車両状態センサ、１４…警告音出力部、１５…スピーカ。
【図１】
2010015346.tif 000003
【図２】
2010015346.tif 000004
【図３】
2010015346.tif 000005
【図４】
2010015346.tif 000006
【図５】
2010015346.tif 000007