(57)【要約】【課題】車両に接近している障害物を確実に検出する。【解決手段】動き検出器１５において、現画像は前画像と比較され、動きベクトルが検出される。現画像は抽出器１６に送られ、フレーム左半分から、動きベクトル左右方向成分が右向きの互いに隣接する複数の画素ブロックが一体として抽出され、フレーム右半分から、動きベクトル左右方向成分が左向きの互いに隣接する複数の画素ブロックが一体として抽出される。さらに、フィルタ１７において、抽出器１６によって抽出された画素ブロックであって、車両近傍を表示する空間的範囲の外から抽出されたものが除外される。抽出器１６によって抽出され、且つ、フィルタ１７によって除外されなかった画素ブロックが、車両に接近している障害物として検出される。【選択図】図１
2008181324.tif 000002
【特許請求の範囲】
【請求項１】
車両前方の障害物を検出する前方監視装置において、
車両前方を動画撮影して画像を逐次取得する撮影装置と、
前記撮影装置によって取得される前記画像をフレーム毎に記憶するフレームメモリと、
前記撮影装置によって取得される現在の画像を、前記フレームメモリに記憶された直前の画像と比較して、動きベクトルを検出する動き検出器と、
前記画像のフレーム左半分からは、動きベクトル左右方向成分が右向きの互いに隣接する画素を集合画素として抽出し、前記画像のフレーム右半分からは、動きベクトル左右方向成分が左向きの互いに隣接する画素を集合画素として抽出する抽出器とを備え、
前記集合画素を車両に接近している障害物として検出することを特徴とする前方監視装置。
【請求項２】
前記抽出器によって抽出された前記集合画素であって、所定の空間的範囲の外から抽出されたものを、検出対象外として除外するフィルタを備えたことを特徴とする請求項１記載の前方監視装置。
【請求項３】
車両前方を動画撮影する撮影装置によって画像を逐次取得し、取得された前記画像を解析して車両前方の障害物を検出する前方監視プログラムにおいて、
前記撮影装置によって前記画像を取得する画像取得ステップと、
取得される前記画像をフレーム毎にフレームメモリに記憶する画像記憶ステップと、
前記撮影装置によって取得される現在の画像を、前記フレームメモリに記憶された直前の画像と比較して、動きベクトルを検出する動き検出ステップと、
前記画像のフレーム左半分からは、動きベクトル左右方向成分が右向きの互いに隣接する画素を集合画素として抽出し、前記画像のフレーム右半分からは、動きベクトル左右方向成分が左向きの互いに隣接する画素を集合画素として抽出する画素抽出ステップとを実行させ、
前記集合画素を車両に接近している障害物として検出することを特徴とする前方監視プログラム。
【請求項４】
前記画素抽出ステップにおいて抽出された前記集合画素であって、所定の空間的範囲の外から抽出されたものを、検出対象外として除外するウインドフィルタリングステップを実行させることを特徴とする請求項３記載の前方監視プログラム。
【請求項５】
車両前方を動画撮影する撮影装置によって画像を逐次取得し、取得された前記画像を解析して車両前方の障害物を検出する前方監視方法において、
前記撮影装置によって前記画像を取得する画像取得ステップと、
取得される前記画像をフレーム毎にフレームメモリに記憶する画像記憶ステップと、
前記撮影装置によって取得される現在の画像を、前記フレームメモリに記憶された直前の画像と比較して、動きベクトルを検出する動き検出ステップと、
前記画像のフレーム左半分からは、動きベクトル左右方向成分が右向きの互いに隣接する画素を集合画素として抽出し、前記画像のフレーム右半分からは、動きベクトル左右方向成分が左向きの互いに隣接する画素を集合画素として抽出する画素抽出ステップとを有し、
前記集合画素を車両に接近している障害物として検出することを特徴とする前方監視方法。
【請求項６】
前記画素抽出ステップにおいて抽出された前記集合画素であって、所定の空間的範囲の外から抽出されたものを、検出対象外として除外するウインドフィルタリングステップを有することを特徴とする請求項５記載の前方監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両前方の障害物を検出する前方監視装置、そのプログラム、及び前方監視方法に関する。
【背景技術】
【０００２】
近年、自動車には、追突事故や歩行者などとの事故の発生を低減させるため、車両前方の障害物を自動的に検出して、状況に応じて運転手に警告を発したり、制動を自動的にコントロールしたりする技術が導入されつつある。そのうちの障害物を検出する技術としては、車載カメラから得られる画像を利用するものが数多く存在する。中には、障害物の動きを検出し、車両に接近しているか否かを判定する前方監視装置が存在する（例えば、特許文献１参照）。
【０００３】
特許文献１記載の前方監視装置は、マイクによって集められる音のレベルをトリガとして画像を解析し、検出される動きベクトルを動く障害物として判定する。そして、音のレベルの変化により、その障害物が車両に接近しているか否かを判定する。これにより、車両に接近している歩行者などを検出することができる。
【特許文献１】特開平０６−２２７３１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１記載の前方監視装置は、音の環境によっては正常に作動しないとも考えられる。騒音環境下においては、歩行者による音のレベルの変化は小さいものであり、画像の解析がされず、歩行者が検出されない虞もある。また、検出できた場合であっても、その歩行者が車両に接近しているか否かの判定は、曖昧なものになると考えられる。
【０００５】
そもそも、特許文献１記載の前方監視装置は、カメラに併せてマイクを備えるなどその構成が複雑であり、製造コスト面にも問題がある。
【０００６】
本発明は、上記課題を解決するためのものであり、車両に接近している障害物を確実に検出することのできる前方監視装置、そのプログラム、及び前方監視方法を低コストに提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の前方監視装置は、車両前方の障害物を検出する前方監視装置であって、車両前方を動画撮影して画像を逐次取得する撮影装置と、撮影装置によって取得される画像をフレーム毎に記憶するフレームメモリと、撮影装置によって取得される現在の画像を、フレームメモリに記憶された直前の画像と比較して、動きベクトルを検出する動き検出器と、画像のフレーム左半分からは、動きベクトル左右方向成分が右向きの互いに隣接する画素を集合画素として抽出し、画像のフレーム右半分からは、動きベクトル左右方向成分が左向きの互いに隣接する画素を集合画素として抽出する抽出器とを備え、集合画素を車両に接近している障害物として検出することを特徴とする。
【０００８】
なお、抽出器によって抽出された集合画素であって、所定の空間的範囲の外から抽出されたものを、検出対象外として除外するフィルタを備えていることが好ましい。
【０００９】
本発明の前方監視プログラムは、車両前方を動画撮影する撮影装置によって画像を逐次取得し、取得された画像を解析して車両前方の障害物を検出する前方監視プログラムであって、撮影装置によって画像を取得する画像取得ステップと、取得される画像をフレーム毎にフレームメモリに記憶する画像記憶ステップと、撮影装置によって取得される現在の画像を、フレームメモリに記憶された直前の画像と比較して、動きベクトルを検出する動き検出ステップと、画像のフレーム左半分からは、動きベクトル左右方向成分が右向きの互いに隣接する画像を集合画素として抽出し、画像のフレーム右半分からは、動きベクトル左右方向成分が左向きの互いに隣接する画素を集合画素として抽出する画素抽出ステップとを実行させ、集合画素を車両に接近している障害物として検出することを特徴とする。
【００１０】
なお、画素抽出ステップにおいて抽出された集合画素であって、所定の空間的範囲の外から抽出されたものを、検出対象外として除外するウインドフィルタリングステップを実行させることが好ましい。
【００１１】
本発明の前方監視方法は、車両前方を動画撮影する撮影装置によって画像を逐次取得し、取得された画像を解析して車両前方の障害物を検出する前方監視方法であって、撮影装置によって画像を取得する画像取得ステップと、取得される画像をフレーム毎にフレームメモリに記憶する画像記憶ステップと、撮影装置によって取得される現在の画像を、フレームメモリに記憶された直前の画像と比較して、動きベクトルを検出する動き検出ステップと、画像のフレーム左半分からは、動きベクトル左右方向成分が右向きの互いに隣接する画素を集合画素として抽出し、画像のフレーム右半分からは、動きベクトル左右方向成分が左向きの互いに隣接する画素を集合画素として抽出する画素抽出ステップとを有し、集合画素を車両に接近している障害物として検出することを特徴とする。
【００１２】
なお、画素抽出ステップにおいて抽出された集合画素であって、所定の空間的範囲の外から抽出されたものを、検出対象外として除外するウインドフィルタリングステップを有することが好ましい。
【発明の効果】
【００１３】
本発明の前方監視装置によれば、画像のフレーム左半分からは、動きベクトル左右方向成分が右向きの互いに隣接する画素を集合画素として抽出し、画像のフレーム右半分からは、動きベクトル左右方向成分が左向きの互いに隣接する画素を集合画素として抽出する抽出器を備えているので、簡易的な装置でありながら、車両に接近している障害物を検出することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の第１実施形態の前方監視装置１１について図面を参照しながら説明する。図１に示すように、前方監視装置１１は、カメラ１２、フレームメモリ１３、加算器１４、動き検出器１５、抽出器１６、及びフィルタ１７から構成されており、自動車（以下、「車両」と称する。）に搭載され、車両に接近している前方の障害物（以下、「前方障害物」と称する。）を検出する。この前方監視装置１１は、前方監視プログラムをインストールすることで実現される。
【００１５】
カメラ１２は、車両の真直前方を動画撮影して画像を逐次取得する。フレームメモリ１３は、カメラ１２によって取得される画像を一時的に記憶する。そして、一フレーム分だけ時間を遅らせて画像を加算器１４に出力する。加算器１４は、カメラ１２によって取得される現在の画像（以下、「現画像」とも称する。）と、フレームメモリ１３に一時的に記憶された直前の画像（以下、「前画像」とも称する。）とを入力として受け、その時間的に連続する２つの画像を動き検出器１５に対して出力する。なお、フレームメモリ１３に前画像が記憶されていない場合、すなわち撮影開始時には、加算器１４は、現画像のみを動き検出器１５に対して出力する。
【００１６】
図２及び図３に示すように、画像２１，２２は、例えば、１６×２４（３８４）画素ブロックで構成される。その画素ブロックは、正方形に配列された複数の画素で構成される。以下、説明の都合上、画像２１，２２は、上から下へ順にＡ〜Ｐの行に分割され、左から右へ順にＡ〜Ｘの列に分割された画素ブロックＡＡ〜ＰＸによって構成されるものとする。なお、画像２１，２２には、自転車に乗る親子（自転車親子）２５、女児２６、信号機２７、道路標識２８、横断歩道２９、予告表示３０などが表示されている。
【００１７】
動き検出器１５（図１参照）は、現画像２２（図３参照）を前画像２１（図２参照）と比較して動きベクトルを検出する。動きベクトルとは、同一被写体として対応する画素ブロックの空間的移動量及び移動向きを表すものである。例えば、女児２６の頭部は、前画像２１において画素ブロックＨＵに表示され、現画像２２において画素ブロックＨＴに表示されている。つまり、現画像２２における画素ブロックＨＴは、前画像２１における画素ブロックＨＵに対応する。よって、図４に示すように、画素ブロックＨＵからＨＴを結ぶベクトル３５が画素ブロックＨＴの動きベクトルとなる。
【００１８】
抽出器１６（図１参照）は、現画像２２（図３参照）のフレーム左半分（画素ブロックＡＡ〜ＡＬ，ＢＡ〜ＢＬ，ＣＡ〜ＣＬ，ＤＡ〜ＤＬ，ＥＡ〜ＥＬ，ＦＡ〜ＦＬ，ＧＡ〜ＧＬ，ＨＡ〜ＨＬ，ＩＡ〜ＩＬ，ＪＡ〜ＪＬ，ＫＡ〜ＫＬ，ＬＡ〜ＬＬ，ＭＡ〜ＭＬ，ＮＡ〜ＮＬ，ＯＡ〜ＯＬ，ＰＡ〜ＰＬ）から、動きベクトル左右方向成分が右向きの互いに隣接する複数の画素ブロックを一体（集合画素）として抽出する。同様に、画像２２のフレーム右半分（画素ブロックＡＭ〜ＡＸ，ＢＭ〜ＢＸ，ＣＭ〜ＣＸ，ＤＭ〜ＤＸ，ＥＭ〜ＥＸ，ＦＭ〜ＦＸ，ＧＭ〜ＧＸ，ＨＭ〜ＨＸ，ＩＭ〜ＩＸ，ＪＭ〜ＪＸ，ＫＭ〜ＫＸ，ＬＭ〜ＬＸ，ＭＭ〜ＭＸ，ＮＭ〜ＮＸ，ＯＭ〜ＯＸ，ＰＭ〜ＰＸ）から、動きベクトル左右方向成分が左向きの互いに隣接する複数の画素ブロックを一体（集合画素）として抽出する。これにより、車両の進路に接近している障害物を抽出することができる。
【００１９】
図５に示すように、現画像２２からは、自転車親子２５を表示する画素ブロックＧＨ，ＧＩ，ＨＨ〜ＨＪ，ＩＨ〜ＩＫ，ＪＨ〜ＪＫ，ＫＪ，ＫＫが一体として抽出される。同様に、女児２６を表示する画素ブロックＨＳ，ＨＴ，ＩＳ，ＩＴ，ＪＳ，ＪＴが一体として抽出される。
【００２０】
フィルタ１７（図１参照）は、抽出器１６（図１参照）によって抽出された画素ブロックであって、所定の空間的範囲の外から抽出されたものを除外する。車両近傍を表示するフレーム下方を空間的範囲と定めることで、事故の可能性が低いものを除外することができる。
【００２１】
図５に示すように、ボーダ３６下方の画素ブロックＩＩ〜ＩＰ，ＪＨ〜ＪＱ，ＫＧ〜ＫＲ，ＬＡ〜ＬＸ，ＭＡ〜ＭＸ，ＮＡ〜ＮＸ，ＯＡ〜ＯＸ，ＰＡ〜ＰＸを所定の範囲とする場合、自転車親子２５を表示する画素ブロックの一部であるＧＨ，ＧＩ，ＨＨ〜ＨＪ，ＩＨと、女児２６を表示する画素ブロックＨＳ，ＨＴ，ＩＳ，ＩＴ，ＪＳ，ＪＴとが除外される。これにより、現画像２２からは、自転車親子２５を表示する画素ブロックの一部であるＩＩ〜ＩＫ，ＪＨ〜ＪＫ，ＫＪ，ＫＫが車両に接近している障害物として検出される。
【００２２】
以下、上記構成の前方監視装置１１（図１参照）の作用について、図６を参照しながら説明する。カメラ１２によって車両前方が動画撮影されると、先ず、画像２１（図２参照）が取得され、フレームメモリ１３に記憶される。続いて、画像２２（図３参照）が取得される。現画像２２は、前画像２１と併せて加算器１４に入力され、動き検出器１５に出力される。
【００２３】
動き検出器１５において、現画像２２は前画像２１と比較され、動きベクトルが検出される（図４参照）。そして、現画像２２は抽出器１６に送られ、フレーム左半分から、動きベクトル左右方向成分が右向きの互いに隣接する複数の画素ブロックが一体として抽出され、フレーム右半分から、動きベクトル左右方向成分が左向きの互いに隣接する複数の画素ブロックが一体として抽出される（図５参照）。これにより、自転車親子２５及び女児２６が車両の進路に接近していることを認識することができる。
【００２４】
さらに、フィルタ１７において、抽出器１６によって抽出された画素ブロックであって、車両近傍を表示する空間的範囲の外から抽出されたものが除外される（図５参照）。これにより、事故の可能性が低い女児２６を除外して、車両に接近している自転車親子２５を検出することができる。
【００２５】
なお、フィルタ１７を警告装置や車両の自動制動装置に接続させておくことで、車両に接近している障害物の検出時に、警告装置を作動させて運転手に注意を促したり、自動制動装置を作動させて車両を自動制動させたりして事故を未然に防止することができる。警告装置としては、運転手の視覚、聴覚、触覚などを刺激するものが考えられる。
【００２６】
また、障害物として検出された画素ブロックの位置と、その画素ブロックの動きベクトル左右方向成分の大きさとから、障害物の接近度合を把握することができるので、ベクトル情報を警告装置や自動制動装置に入力し、障害物の接近度合（緊急度合）に応じて警告方法や自動制動方法を変化させることもできる。
【００２７】
なお、上記第１実施形態の前方監視装置１１は、自動車に元から備えられた装置ではない。このため、別途自動車に搭載する必要がある。次に説明する第２実施形態の前方監視装置４１（図７参照）は、自動車に元から搭載されているドライブレコーダなどを利用した発明である。このため、別途自動車に搭載する必要はなくなる。
【００２８】
以下、本発明の第２実施形態の前方監視装置４１について図面を参照しながら説明する。図７に示すように、前方監視装置４１は、前方障害物を検出する装置であり、ドライブレコーダなどに用いられる画像圧縮装置４２に、抽出器１６、及びフィルタ１７を加えて構成され、車両に搭載される。
【００２９】
画像圧縮装置４２は、カメラ１２、第１加算器４３、離散コサイン変換器（ＤＣＴ，Discrete Cosine Transformer）４４、量子化器４５、逆量子化器４６、逆離散コサイン変換器（ＩＤＣＴ，Inverse Discrete Cosine Transformer）４７、第２加算器４８、フレームメモリ４９、動き検出器（ＭＤ，Motion Detector）１５、動き補償器（ＭＣ，Motion Compensator）５０、可変長符号化器５１、及び出力端子５２から構成され、カメラ１２によって取得される画像のデータに対して符号化処理を施して、得られる符号化データを出力端子５２から出力する装置である。符号化処理は、データを圧縮して保存するための前段階の処理であり、ＭＰＥＧ（Moving Picture Experts Group）などに採用されている。
【００３０】
第１加算器４３は、カメラ１２によって取得される現画像と、詳しくは後述する動き補償器５０によって動き補償された前画像との残差を取り、離散コサイン変換器４４に出力する。離散コサイン変換器４４は、入力された画像の空間的データを離散コサイン変換して周波数成分に分解し、量子化器４５に出力する。量子化器４５は、入力されたデータに対して所定の量子化処理を施して高周波成分を落とし、データを空間的に圧縮する。なお、第１加算器４３によって残差が取られない場合、すなわち撮影開始時には、第１加算器４３は、現画像を離散コサイン変換器４４に出力する。
【００３１】
逆量子化器４６は、量子化器４５によって量子化処理が施されたデータに対して所定の逆量子化処理を施して、高周波成分を復元させ、逆離散コサイン変換器４７に出力する。逆離散コサイン変換器４７は、入力された周波数領域データを逆離散コサイン変換して空間的データに復元する。
【００３２】
第２加算器４８は、逆離散コサイン変換器４７によって空間的データに復元された画像の残差と、詳しくは後述する動き補償器５０によって動き補償された前画像とを入力として受け、現画像を算出してフレームメモリ４９に対して出力する。なお、逆離散コサイン変換器４７から現画像が出力されて、且つ動き補償器５０から前画像が出力されない場合、すなわち撮影開始時には、第２加算器４８は、逆離散コサイン変換器４７によって空間的データに復元された現画像をそのままフレームメモリ４９に対して出力する。
【００３３】
フレームメモリ４９は、第２加算器４８から出力される現画像を入力として受け、一時的に記憶する。そして、一フレーム分だけ時間を遅らせて画像を動き検出器１５や動き補償器５０に出力する。動き検出器１５は、カメラ１２によって取得される現画像と、フレームメモリ４９から出力される前画像とを受け、上述した抽出処理を施して動きベクトルを出力する（図４参照）。
【００３４】
動き補償器５０は、フレームメモリ４９から出力される前画像と、動き検出器１５から出力される動きベクトルとを入力として受け、前画像に対して動き補償処理を施して、動き補償された前画像を出力する。なお、動き補償処理とは、前画像の各画素ブロックを動きベクトル分だけ空間的に移動させ、現画像の各画素ブロックの位置と対応させる処理のことである。
【００３５】
可変長符号化器５１は、量子化器４５によって量子化処理が施されたデータと、動き検出器１５から出力される動きベクトルとを入力として受け、その入力に対して符号化処理を施してデータを圧縮し、出力端子５２に圧縮したデータを出力する。なお、第１実施形態の前方監視装置１１（図１参照）と同じ構成については、同一の符号を付して詳しい説明を省略する。また、上記構成の前方監視装置４１の作用は、第１実施形態の前方監視装置１１と略同一であり、その説明を省略する。
【００３６】
なお、上記各実施形態において、カメラ１２が車両の真直前方を動画撮影する場合を例に説明したが、車両の真直後方を動画撮影するのでも良い。この場合、車両を後退させるときに上記各実施形態の場合と同様の効果を得ることができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の第１実施形態の前方監視装置の構成を示すブロック図である。
【図２】第（Ｎ−１）フレーム目の画像を示す図である。
【図３】第Ｎフレーム目の画像を示す図である。
【図４】動きベクトルを説明する画像の図である。
【図５】前方障害物の検出を説明する画像の図である。
【図６】第１実施形態の前方監視装置の作用を説明するフローチャートである。
【図７】第２実施形態の前方監視装置の構成を示すブロック図である。
【符号の説明】
【００３８】
１１，４１  前方監視装置
１２  カメラ
１３，４９  フレームメモリ
１４  加算器
１５  動き検出器（ＭＤ，Motion Detector）
１６  抽出器
１７  フィルタ
２１，２２  画像
３５  ベクトル
４２  画像圧縮装置
４３  第１加算器
４４  離散コサイン変換器（ＤＣＴ，Discrete Cosine Transformer）
４５  量子化器
４６  逆量子化器
４７  逆離散コサイン変換器（ＩＤＣＴ，Inverse Discrete Cosine Transformer）
４８  第２加算器
５０  動き補償器（ＭＣ，Motion Compensator）
５１  可変長符号化器
５２  出力端子
【図１】
2008181324.tif 000003
【図２】
2008181324.tif 000004
【図３】
2008181324.tif 000005
【図４】
2008181324.tif 000006
【図５】
2008181324.tif 000007
【図６】
2008181324.tif 000008
【図７】
2008181324.tif 000009