(57)【特許請求の範囲】
【請求項１】
車載のカメラからの信号入力の更新により前記カメラの撮影画像が更新される度に、該撮影画像の所定領域をフーリエ変換して得られるスペクトラムパターンに基づいて、横断歩道に応じた所定周期のゼブラパターンを前記所定領域から抽出する抽出手段と、
前記抽出したゼブラパターンの車両に近い前端と車両から遠い後端が前記所定領域上で横断歩道に応じた所定間隔以上離間しているときに、前記抽出したゼブラパターンを横断歩道であると認識し、前記前後端が前記所定領域上で前記所定間隔以上離間していないときに、前記ゼブラパターンを横断歩道でないと認識する認識手段と、
を備えることを特徴とする横断歩道検出装置。
【請求項２】
前記抽出手段が、前記前後端が前記所定間隔以上離間していない前記ゼブラパターンを前記所定領域から抽出することなく、かつ、前記前端が前記所定領域上に存在しない前記ゼブラパターンを前記所定領域から抽出したときに、前記認識手段が横断歩道であると認識した前記ゼブラパターンに対する、前記前端が前記所定領域上に存在しない前記ゼブラパターンの、前記後端の前記所定領域中における変位量と、前記撮影画像の更新前後に前記車両が進行した量とに基づいて、更新前後の各撮影画像の前記所定領域からそれぞれ抽出した前記ゼブラパターンどうしが同一の横断歩道であるか否かを判別する判別手段をさらに備えていることを特徴とする請求項１記載の横断歩道検出装置。
【請求項３】
前記抽出手段が、前記ゼブラパターンを前記所定領域から抽出しなかった場合に、前記判別手段が、前回の前記撮影画像の前記所定領域から前記抽出手段が抽出した前記ゼブラパターンの後端と、前記撮影画像の更新前後に前記車両が進行した量とに基づいて、前記ゼブラパターンの後端の位置を推定し、車両に対する相対位置に基づいて、前記推定した後端位置のゼブラパターンが横断歩道であるか否かを判別することを特徴とする請求項２記載の横断歩道検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載のカメラによる撮影画像から横断歩道を検出する装置に関する。
【背景技術】
【０００２】
車載のカメラによる撮影画像から横断歩道を検出する際には、画像中の白線部分をパターン認識し、これを、予め登録されている横断歩道の道路標示パターンとパターンマッチングするのが通常である。
【０００３】
このパターンマッチングは、制御系の演算処理に対する負荷が大きい。そこで、パターンマッチングにより横断歩道を検出している間は、車線等のパターンマッチングを停止することで、制御系の負荷を軽減するという提案も行われている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２５２１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、車載のカメラによる撮影画像の内容は車両の走行に伴い常に変化するので、画像の内容が変わる度にパターンマッチングで横断歩道を検出するだけでも、制御系の負担は相当なものとなる。
【０００６】
しかも、車両の走行に伴い画像中の横断歩道の位置や形状が変化するのに対応して、パターンマッチング用の道路標示パターンをそれに対応して数多く登録しておくか、新たな横断歩道のパターンを認識する度に学習し追加登録しなければならないので、パターンマッチングによる横断歩道検出では、装置規模の大型化が避けられない。
【０００７】
本発明は前記事情に鑑みなされたもので、本発明の目的は、制御系の演算処理に対する負荷を軽減しつつ、車両と共に移動する車載のカメラによる撮影画像から精度良く横断歩道を検出することができる横断歩道検出装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載した本発明の横断歩道検出装置は、
車載のカメラからの信号入力の更新により前記カメラの撮影画像が更新される度に、該撮影画像の所定領域をフーリエ変換して得られるスペクトラムパターンに基づいて、横断歩道に応じた所定周期のゼブラパターンを前記所定領域から抽出する抽出手段と、
前記抽出したゼブラパターンの車両に近い前端と車両から遠い後端が前記所定領域上で横断歩道に応じた所定間隔以上離間しているときに、前記抽出したゼブラパターンを横断歩道であると認識し、前記前後端が前記所定領域上で前記所定間隔以上離間していないときに、前記ゼブラパターンを横断歩道でないと認識する認識手段と、
を備えることを特徴とする横断歩道検出装置。
【０００９】
請求項１に記載した本発明の横断歩道検出装置によれば、車両が進行すると、カメラの撮影画像に写る横断歩道の位置や大きさ、形状が変化する。したがって、パターンマッチングにより撮影画像から横断歩道を検出するには、撮影画像中に写る横断歩道の大きさや形状に合わせた多数のパターンマッチング用の道路標示パターンを登録する必要がある。
【００１０】
一方、本発明によれば、横断歩道に応じた所定周期のゼブラパターンは、撮影画像のフーリエ変換によるスペクトラムパターンが所定周期の部分で強いかどうかによって、撮影画像から抽出できる。しかも、ゼブラパターンを抽出する部分を撮影画像中の所定領域に限ることで、ゼブラパターンの位置に応じた形状や大きさの変化する範囲を限定して、ゼブラパターンの前後端の間隔を指標とした横断歩道か否かの判別を容易にできる。
【００１１】
これにより、制御系の演算処理に対する負担を軽減しつつ、車載のカメラによる撮影画像から精度良く横断歩道を検出することができる。
【００１２】
また、請求項２に記載した本発明の横断歩道検出装置は、請求項１に記載した本発明の横断歩道検出装置において、前記抽出手段が、前記前後端が前記所定間隔以上離間していない前記ゼブラパターンを前記所定領域から抽出することなく、かつ、前記前端が前記所定領域上に存在しない前記ゼブラパターンを前記所定領域から抽出したときに、前記認識手段が横断歩道であると認識した前記ゼブラパターンに対する、前記前端が前記所定領域上に存在しない前記ゼブラパターンの、前記後端の前記所定領域中における変位量と、前記撮影画像の更新前後に前記車両が進行した量とに基づいて、更新前後の各撮影画像の前記所定領域からそれぞれ抽出した前記ゼブラパターンどうしが同一の横断歩道であるか否かを判別する判別手段をさらに備えていることを特徴とする。
【００１３】
請求項２に記載した本発明の横断歩道検出装置によれば、請求項１に記載した本発明の横断歩道検出装置において、ゼブラパターンの前後端が所定領域上に存在することを前提とする認識手段による横断歩道の認識が行えなくても、所定領域上にゼブラパターンの後端が存在すれば、判別手段により、撮影画像の更新前に対する所定領域中における後端の変位量と車両の進行量に基づいて、ゼブラパターンの後端の同一性が判別できる。
【００１４】
したがって、更新前のゼブラパターンが横断歩道であると認識されていれば、それと同一性を有するゼブラパターンの後端が、更新後の撮影画像の所定領域中に写っていることで、前端が写っていないゼブラパターンからでも横断歩道であることを実質的に認識することができる。
【００１５】
さらに、請求項３に記載した本発明の横断歩道検出装置は、請求項２に記載した本発明の横断歩道検出装置において、前記抽出手段が、前記ゼブラパターンを前記所定領域から抽出しなかった場合に、前記判別手段が、前回の前記撮影画像の前記所定領域から前記抽出手段が抽出した前記ゼブラパターンの後端と、前記撮影画像の更新前後に前記車両が進行した量とに基づいて、前記ゼブラパターンの後端の位置を推定し、車両に対する相対位置に基づいて、前記推定した後端位置のゼブラパターンが横断歩道であるか否かを判別することを特徴とする。
【００１６】
請求項３に記載した本発明の横断歩道検出装置によれば、請求項２に記載した本発明の横断歩道検出装置において、所定領域にゼブラパターンの前端だけでなく後端も存在しなくなった場合、更新前の撮影画像の所定領域から抽出手段が抽出したゼブラパターンと車両の進行量から推定したゼブラパターンが横断歩道であるか否かを、推定したゼブラパターンの後端の車両に対する相対位置から判別することができる。
【００１７】
このため、車両の進行に伴い横断歩道のゼブラパターンが撮影画像の所定領域に存在しない状況になっても、しばらくの間（例えば、車両が横断歩道を通過することが予想されるまでの間）は、横断歩道が車両の近傍に存在することを認識し、横断歩道又はその近傍に車両が存在することを前提とした処理を継続させることができる。
【発明の効果】
【００１８】
本発明によれば、制御系の演算処理に対する負荷を軽減しつつ、車両と共に移動する車載のカメラによる撮影画像から精度良く横断歩道を検出することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る横断歩道検出装置を内蔵するドライブレコーダの概略構成を示すブロック図である。
【図２】図１のドライブレコーダとカメラが搭載される車両の模式図である。
【図３】図１の画像認識ＬＳＩが検出する横断歩道の道路標示（ゼブラパターン）の規格を示す説明図である。
【図４】図３の横断歩道のゼブラパターンのエッジ周期を示す説明図である。
【図５】図１のカメラの撮影画像から横断歩道のゼブラパターンを検出するために画像認識ＬＳＩがエッジ処理した撮影画像の画像信号に対して高速フーリエ逆変換処理を施す画像認識領域を示す説明図である。
【図６】図１の画像認識ＬＳＩの概略構成を示す説明図である。
【図７】図６の各プロセッサエレメント（ＰＥ）でカメラの撮影画像を高速フーリエ逆変換して得られる有効データ部分から振幅スペクトルの平均値や強度閾値を得るプロセスを示す模式図である。
【図８】図７のプロセスで得た強度閾値に対する周期別の振幅スペクトルの分布の一例を示すグラフである。
【図９】図６の各プロセッサエレメント（ＰＥ）で高速フーリエ逆変換処理させるために図５の画像認識領域を９０゜回転させた状態を示す説明図である。
【図１０】図１に示すマイコンがＲＯＭのプログラムにしたがって実行する横断歩道に該当するゼブラパターンの検出に関する処理の概要を示すフローチャートである。
【図１１】図５の画像認識領域にゼブラパターンの前端が存在しない場合を示す説明図である。
【図１２】（ａ）〜（ｃ）は図１に示すマイコンが横断歩道に該当するゼブラパターンの追跡処理を行う際に用いるラベルの内容を示す説明図である。
【図１３】図１に示すマイコンがＲＯＭのプログラムにしたがって実行する横断歩道の追跡処理の手順の概要を示すフローチャートである。
【図１４】図１のカメラの撮影画像上における今回認識後端（今回の認識位置）と前回認識後端から予測した予測後端位置とを示す説明図である。
【図１５】図１のカメラの撮影画像に写る横断歩道上に先行車両が存在する場合を示す説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を、図面を参照しながら説明する。
【００２１】
図１は本発明の一実施形態に係る横断歩道検出装置を内蔵するドライブレコーダの概略構成を示すブロック図である。図１に示すドライブレコーダ１０は、図２の模式図に示すように、カメラ６０と共に車両１に搭載して使用される。
【００２２】
図１に示すように、ドライブレコーダ１０は、車両１の前方を撮影したカメラ６０からの撮影画像の入力信号をメインデコーダ２０でデコードし、画像処理用のＬＳＩ等で構成されるマイコン３０において圧縮処理した後、一定時間分の動画画像と一定周期毎の静止画像とをＳＤカード４０等のリムーバブル記憶媒体に記憶させるものである。なお、一定時間分の動画画像は、常に最新の過去一定時間分が記憶されるように上書き記録される。
【００２３】
また、ドライブレコーダ１０は、メインデコーダ２０及びマイコン３０と共に横断歩道検出装置を構成する画像認識ユニット５０を有している。画像認識ユニット５０は、画像認識処理用のＬＳＩ（以下、「画像認識ＬＳＩ」と略記する。）５１と、ＲＯＭ５２及びＲＡＭ５３を有している。ＲＯＭ５２には、画像認識ＬＳＩ５１がメインデコーダ２０からのデコードされた画像信号によるカメラ６０の撮影画像に対して高速フーリエ逆変換（ＩｘＦＦＴ）処理するために実行するプログラム等が格納されている。ＲＡＭ５３は画像認識ＬＳＩ５１がＲＯＭ５２のプログラムを実行するのに必要な作業領域等を提供するもので、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）で構成することができる。
【００２４】
次に、カメラ６０の撮影画像から横断歩道を検出する際の原理について説明する。図３の説明図に示すように、各都道府県の公安委員会によって定められる横断歩道７０の道路標示（ゼブラパターン）の規格では、交互に配置する白線部分７１の幅Ｌ１と非白線部分（路面露出部分）７２の幅Ｌ２とがそれぞれ０．４５〜０．５０ｍとなっている。また、車両１から見た白線部分７１や非白線部分７２の前端と後端との間隔は２．５〜３．０ｍ程度となっている。なお、白線部分７１や非白線部分７２の前端や後端に白線７３，７４を設けることもでき、その場合の白線７３，７４の太さ（前後長さ）は、それぞれ０．１５〜０．３０ｍと決められている。
【００２５】
したがって、カメラ６０の撮影画像に写る横断歩道７０のゼブラパターンのエッジ（白線部分７１や非白線部分７２のエッジ）をコントラストにより抽出すると、図４の説明図に示すように、白→黒（路面色）のエッジが０．９〜１．０ｍ周期で存在し、黒→白のエッジも同じく０．９〜１．０ｍ周期で存在することになる。
【００２６】
ところで、カメラ６０で車両１の前方を撮影した場合、白線部分７１の幅Ｌ１や非白線部分７２の幅Ｌ２の最小値である０．４５ｍは、撮影画像上での画素数に換算すると、本実施形態の場合、車両１の２０ｍ前方で約７ｄｏｔ分、２７ｍ前方で約５ｄｏｔ分、３５ｍ前方で約３ｄｏｔ分となる。白→黒（又は黒→白）のエッジ周期の最小値（０．９ｍ）はその倍となるので、車両１の２０ｍ前方で約１４ｄｏｔ分、２７ｍ前方で約１０ｄｏｔ分、３５ｍ前方で約６ｄｏｔ分となる。
【００２７】
一方、本実施形態では、撮影画像をエッジ処理した画像信号に対して画像認識ＬＳＩ５１が高速フーリエ逆変換（ＩｘＦＦＴ）処理して行うゼブラパターンのエッジ周期の検出分解能は、下限が映像信号の８画素（８ｄｏｔ）、上限が映像信号の８５．３画素（８５．３ｄｏｔ）である。下限は画像認識ＬＳＩ５１によるデコードされた画像信号の認識分解能に依存する。また、上限は画像認識ＬＳＩ５１によりデコードされた画像信号を認識する後述する画像認識領域（請求項中の所定領域に相当、図５参照）の水平方向幅（＝５１２ｄｏｔ）に依存する。
【００２８】
上述したエッジ周期の検出分解能（８〜８５．３ｄｏｔ）からすると、車両１の前方２０ｍや２７ｍ前方では、ゼブラパターンの白→黒（又は黒→白）のエッジ周期が検出できると予想されるが、３５ｍ前方では分解能上検出が困難と予想される。
【００２９】
また、横断歩道７０の前端や後端の白線７３，７４の太さの最小値である０．１５ｍは、撮影画像上での画素数に換算すると、本実施形態の場合、車両１の２０ｍ前方で約２．５ｄｏｔ分、２７ｍ前方で約１．４ｄｏｔ分、３５前方先で約０．８ｄｏｔ分となる。
【００３０】
２ｄｏｔ未満では前端や後端の白線７３，７４の太さ（白線７３，７４の前後のエッジ）を区別できないので、横断歩道７０の前端や後端の白線７３，７４の検出は、車両１の前方２０ｍでは可能と予想されるが、２７ｍ前方や３５ｍ前方では分解能上困難と予想される。
【００３１】
したがって、本実施形態では、横断歩道７０のゼブラパターンの白→黒（又は黒→白）のエッジ周期と横断歩道７０の前端や後端の白線７３，７４との双方を検出できるのは、大体、車両１の前方２０ｍのエリアであると考えられる。そこで、本実施形態では、カメラ６０による撮影画像のうち車両１の前方２０ｍ前後の領域を、上述した画像認識領域の上限及び下限としている。そして、車両１の前方２０ｍの撮影画像における０．９ｍ±２５％（４６ｄｏｔ±１１．５ｄｏｔ）の範囲を、横断歩道７０として検出するゼブラパターンの白→黒（又は黒→白）のエッジ周期としている。
【００３２】
図５はカメラ６０の撮影画像から横断歩道のゼブラパターンを検出するために画像認識ＬＳＩ５１がエッジ処理した撮影画像の画像信号に対して高速フーリエ逆変換処理を施す画像認識領域を示す説明図である。図５中引用符号６２で示す画像認識領域は、カメラ６０の撮影画像６１の上端からＶｄ画素（ｄｏｔ）目を上端とし、さらにＶｈ画素分下方を下端としている。画像認識領域６２の水平方向幅は、撮影画像６１の水平方向中心から左右にそれぞれ２５６ｄｏｔ分（合計５１２ｄｏｔ分）としてある。
【００３３】
画像認識領域６２の水平方向幅が５１２ｄｏｔ分であるのは、図６の説明図に示す本実施形態の画像認識ＬＳＩ５１の構成に依存している。図６に示すように、画像認識ＬＳＩ５１は、６４個のプロセッサエレメント（ＰＥ０〜ＰＥ６３）を、不図示のコントロールプロセッサ（ＣＰ）及び浮動小数点数演算装置（ＦＰＵ）で制御して、浮動小数点演算を高速処理する。なお、各ＰＥには演算処理用の作業エリアを提供するＲＡＭ（図示せず）がそれぞれ接続されている。
【００３４】
上述した構成の画像認識ＬＳＩ５１は、本実施形態では、各ＰＥ０〜ＰＥ６３において２ｂｙｔｅずつ実数部と虚数部を指定して、カメラ６０の撮影画像をエッジ処理した画像信号の１ライン分に対して、高速フーリエ逆変換（ＩｘＦＦＴ）による固定小数点演算処理を同時並行して実行する。各ＰＥ０〜ＰＥ６３による高速フーリエ逆変換（ＩｘＦＦＴ）後のデータは、対応する不図示の各ＲＡＭに格納され、そのうち０〜２５５のアドレスに格納された２５６ｂｙｔｅのデータが、有効データ部分となる。
【００３５】
各ＰＥ０〜ＰＥ６３に対応する各ＲＡＭの０〜２５５のアドレス部分には、１〜２５６の周波数順に、２ｂｙｔｅずつの実数部と虚数部の各データが格納されている。つまり、図７の模式図に示すように、虚数部と実数部とが６４個のＰＥ分だけ列方向に並んでいることになる。そこで、各ＰＥ０〜ＰＥ６３の虚数部と実数部とを１列に合成して各列の振幅スペクトルＳの平均値Ｓａｖｅと周期ｔを算出する。
【００３６】
各列の周波数毎の振幅スペクトルＳは、Ｓ＝（実数部／２５６）２  ＋（虚数部／２５６）２  で求めることができる。また、各列の周期ｔは、サンプル数／周波数で求めることができる。そこで、振幅スペクトルＳの平均値Ｓａｖｅと周期ｔとの組み合わせから、適切な振幅スペクトルの強度閾値Ｙを算出、設定する。
【００３７】
図８は、図７のプロセスで得た強度閾値に対する周期別の振幅スペクトルの分布の一例を示すグラフである。図８のグラフに示すように、振幅スペクトルＳの強度閾値Ｙは、周期ｔが大きいほど指数関数的に値が下がる曲線状となる。そして、振幅スペクトルＳの平均値Ｓａｖｅが強度閾値Ｙを大きく超える周期ｔが、車両１の前方２０ｍの撮影画像６１における０．９ｍ±２５％（４６ｄｏｔ±１１．５ｄｏｔ）の範囲に存在すれば、横断歩道７０のゼブラパターンが画像認識領域６２中に存在することになる。
【００３８】
本実施形態の画像認識ＬＳＩ５１は、図６の各ＰＥ０〜ＰＥ６３による高速フーリエ逆変換（ＩｘＦＦＴ）処理の効率を良くするために、図９の説明図に示すように、図５の画像認識領域６２を右（時計回り方向）に９０゜回転させた状態で、各縦方向の１ラインずつ、図９のの左側から（手前位置側から後方位置側に）、画像認識領域６２のエッジ処理した画像信号に対する高速フーリエ逆変換（ＩｘＦＦＴ）処理を実行する。
【００３９】
図１のマイコン３０は、画像認識ＬＳＩ５１による画像認識領域６２のエッジ処理した画像信号に対する高速フーリエ逆変換（ＩｘＦＦＴ）処理の結果を受けて、画像認識領域６２中の横断歩道７０に該当するゼブラパターンを検出する。そのために、マイコン３０には、横断歩道７０に該当するゼブラパターンを検出するためのプログラム等が格納されたＲＯＭ３１と、マイコン３０がＲＯＭ５２のプログラムを実行するのに必要な作業領域等を提供するＲＡＭ３２とが接続されている。ＲＡＭ３２は、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）で構成することができる。
【００４０】
次に、マイコン３０がＲＯＭ３１に格納されたプログラムにしたがい実行する横断歩道７０に該当するゼブラパターンの検出に関する処理の概略を、図１０のフローチャートを参照して説明する。
【００４１】
まず、マイコン３０は、カメラ６０の撮影画像６１の信号入力を受けて映像（撮影画像６１）を収集し（ステップＳ１）、収集した映像（撮影画像６１）をエッジ処理する（ステップＳ３）。そして、エッジ処理した映像（撮影画像６１中の画像認識領域６２の画像信号）を画像認識ＬＳＩ５１で上述したようにフーリエ逆変換処理することで、画像認識領域６２中に存在するゼブラパターンの振幅スペクトルＳの平均値Ｓａｖｅと周期ｔを求める（ステップＳ５）。
【００４２】
次に、マイコン３０は、振幅スペクトルＳの平均値Ｓａｖｅと強度閾値Ｙとの比較に基づいて、図５の画像認識領域６２のエッジ処理した画像信号について、横断歩道７０に該当するゼブラパターンの候補が存在する否かの判定を行う（ステップＳ７）。
【００４３】
この判定では、マイコン３０は、図５の画像認識領域６２のエッジ処理した画像信号から求まるゼブラパターンの前端（画像認識領域６２の下端側）のｙ座標値と後端（画像認識領域６２の上端側）のｙ座標値を、ゼブラパターンの前端（図９の手前位置）のｙ座標値（図５の画像認識領域６２中のｙ座標値）と、ゼブラパターンの後端（図９の後方位置）のｙ座標値（図５の画像認識領域６２中のｙ座標値）として登録する。
【００４４】
そして、マイコン３０は、登録したゼブラパターンの前後端のｙ座標における画素位置差が、車両１の前方２０ｍの撮影画像６１における２．２ｍ以上分に相当する量である場合に、そのゼブラパターンを、横断歩道７０の候補に該当するゼブラパターンが存在すると判定する。
【００４５】
そして、マイコン３０は、横断歩道７０の候補に該当するゼブラパターンが存在しない場合は（ステップＳ７でＮＯ）、ステップＳ１にリターンする。存在する場合は（ステップＳ７でＹＥＳ）、画像認識領域６２中に存在するゼブラパターンを横断歩道７０の候補に該当するゼブラパターンであると判断し（ステップＳ９）、その判断が連続２回続いたか否かを確認する（ステップＳ１１）。
【００４６】
横断歩道７０の候補に該当するゼブラパターンであるとの判断が連続２回続いていない場合は（ステップＳ１１でＮＯ）、ステップＳ１にリターンし、連続２回続いた場合は（ステップＳ１１でＹＥＳ）、横断歩道７０に該当するゼブラパターンであると判定する（ステップＳ１３）。
【００４７】
そして、マイコン３０は、ステップＳ１３の処理の一環として、横断歩道７０の候補と判断された１つ目のゼブラパターンの前端及び後端に対応するラインを、横断歩道７０の前端（図９の手前位置）のｙ座標値（図５の画像認識領域６２中のｙ座標値）と、横断歩道７０の後端（図９の後方位置）のｙ座標値（図５の画像認識領域６２中のｙ座標値）として、ＲＡＭ３２に登録する。
【００４８】
なお、横断歩道７０の候補と判断されたゼブラパターンの前端及び後端は、次のようにして特定する。つまり、画像認識領域６２のエッジ処理した画像信号の水平方向の各ラインについて、画像認識領域６２の下端側から上端側に向けて、横断歩道７０の周期性を持つゼブラパターンが存在しないラインに続いて存在するラインが連続２回続くと、横断歩道７０の周期性を持つゼブラパターンが存在する１つ目のラインのｙ座標値が、横断歩道７０の候補と判断されたゼブラパターンの前端として特定される。
【００４９】
また、画像認識領域６２の下端側から上端側に向けて、横断歩道７０の周期性を持つゼブラパターンが存在するラインに続いて存在しないラインが連続２回続くと、横断歩道７０の周期性を持つゼブラパターンが存在しない１つ目のラインのｙ座標値が、横断歩道７０の候補と判断されたゼブラパターンの後端として特定される。
【００５０】
特定されたゼブラパターンの前後端のｙ座標値は、横断歩道７０の前後端としてＲＡＭ３２に登録される。また、後述する横断歩道７０の追跡処理（図１３参照）の際に利用する追跡用ラベル（図１２（ｃ）参照、横断歩道有効フラグが「有効（○）」、有効フラグが「有効（○）」、引継処理フラグが「未（同一性未確認）」、Ｌｏｓｔ回数が「０」、Ｌｏｓｔ確定フラグが「×（未確定）」）の今回値として、特定されたゼブラパターンの後端のｙ座標値が登録される。
【００５１】
そして、マイコン３０は、不図示のイグニッションスイッチ（ＩＧＮ）がＯＦＦになるまで（ステップＳ１５でＹＥＳ）、ステップＳ１乃至ステップＳ１３の処理を繰り返す。
【００５２】
次に、マイコン３０がＲＯＭ３１に格納されたプログラムにしたがい実行する横断歩道７０の追跡処理について説明する。上述したように、横断歩道７０の候補に該当するゼブラパターンであると判断されるには、画像認識領域６２中に、車両１の前方２０ｍの撮影画像６１における２．２ｍ以上分に相当する量だけ、ゼブラパターンの前後端のｙ座標における画素位置差が存在しなければならない。
【００５３】
したがって、図１１の説明図に示すように、画像認識領域６２にゼブラパターンの前端が存在しなくなると、そのゼブラパターンは、上述した条件により横断歩道７０の候補に該当するゼブラパターンであると判断できなくなってしまう。しかし、走行する車両１のカメラ６０による撮影画像の場合は、車両１の振動等の理由で一時的に画像認識領域６２にゼブラパターンの前端が存在しなくなる可能性がある。
【００５４】
そこで、画像認識領域６２にゼブラパターンの前端が存在しなくなった場合に、そのゼブラパターンと、先に横断歩道７０の候補に該当するゼブラパターンであると判断された、更新前の画像認識領域６２に存在したゼブラパターンとに同一性が認められるか否かを、新たな条件を用いて判断するのが、横断歩道７０の追跡処理である。
【００５５】
ゼブラパターンの同一性は、更新前後の各画像認識領域６２に存在するゼブラパターンの後端を基準にして判断される。更新前前の各画像認識領域６２に存在したゼブラパターンに同一性が認められると、更新後の画像認識領域６２にゼブラパターンの前端が存在しなくても、横断歩道７０に該当するゼブラパターンが画像認識領域６２に存在しないと即座には判定されなくなる。
【００５６】
上述した横断歩道７０の追跡処理を実行するために、マイコン３０は、横断歩道７０の候補と判断されたゼブラパターンの後端（図９の後方位置）について、図１２（ａ）〜（ｃ）の説明図に示す内容のフラグやデータをラベルとして管理する。具体的には、まず、横断歩道７０に該当すると判定されたゼブラパターンの後端であることを示す横断歩道有効フラグ（○＝有効、×＝無効）と、横断歩道７０の候補と判断されたゼブラパターンの後端であることを示す有効フラグ（フラグ○＝候補である、フラグ×＝候補でない）とを管理する。
【００５７】
また、マイコン３０は、過去の画像認識領域６２に存在していたゼブラパターンの後端との同一性が確認されて引継処理されたか否かを示す引継処理フラグ（未＝同一性未確認、済＝同一性確認済み）と、引継処理なく画像認識領域６２にゼブラパターンの後端存在しなかったＬｏｓｔ回数（カウント数）と、Ｌｏｓｔ確定フラグ（○＝確定、×＝未確定）とを管理する。
【００５８】
さらに、マイコン３０は、カメラ６０からの信号入力の更新による撮影画像６１の更新前後（前回、今回）の、ゼブラパターンの後端のｙ座標値（認識位置Ｚ）と、撮影画像６１の更新前後で車両１が進行した量（自車走行距離）を管理する。各ラベルには、独立したラベル番号（ラベルＮｏ．）が付番される。
【００５９】
横断歩道７０の追跡処理において、マイコン３０は、図１３に示すように、まず、全てのラベルの引継処理フラグを「未（同一性未確認）」に設定し（ステップＳ２１）、横断歩道有効フラグが「有効（○）」のラベルがないか否かを確認する（ステップＳ２３）。ラベルがない場合は（ステップＳ２３でＹＥＳ）、更新後の画像認識領域６２から、ゼブラパターンの後端と認識できる今回認識後端を全て抽出し、ｙ座標値の小さい順に（画像認識領域６２の下端側からの距離Ｚｉが小さい順に）作成した認識位置Ｚ毎のラベルの今回値に、抽出した各今回認識後端のｙ座標値を代入する（ステップＳ２５）。その後、後述するステップＳ４１に処理を移行する。
【００６０】
ここで、マイコン３０がステップＳ２５で作成する各ラベルの内容は、図１２（ｂ）に示すように、横断歩道有効フラグが「無効（×）」、有効フラグが「無効（×）」、引継処理フラグが「未（同一性未確認）」、Ｌｏｓｔ回数が「０」、Ｌｏｓｔ確定フラグが「×（未確定）」となる。各ラベルには、空き番号の小さい番号から順にラベル番号が付番される。そして、ステップＳ２５で今回認識後端のｙ座標値をラベルの今回値に代入する際に、有効フラグが「無効（×）」から「有効（○）」に、引継処理フラグが「未（同一性未確認）」から「済（同一性確認済み）」に、それぞれ切り替えられる。
【００６１】
また、図１３のステップＳ２３で、横断歩道有効フラグが「有効（○）」のラベルがある場合（ＮＯ）は、ｙ座標値の小さい順に（画像認識領域６２の下端側からの距離Ｚｉが小さい順に）、有効フラグが「有効（○）」であり、かつ、引継処理フラグが「未（同一性未確認）」であるラベル（図１２（ａ）に示すラベルＮｏ．１，２）を読み出す（ステップＳ２７）。
【００６２】
続いて、マイコン３０は、今回認識後端のｙ座標値をいずれかのラベルの今回値に全て代入したか否かを確認し（ステップＳ２９）、全て代入した場合は（ステップＳ２９でＹＥＳ）、ステップＳ４１に処理を移行する。一方、全てを代入し終えていない場合は（ステップＳ２９でＮＯ）、前回と今回の追跡処理の際に不図示の車速センサからの車速信号によってそれぞれ把握した前回と今回の車速の平均値（（前回車速＋今回車速）／２）に、前回と今回の追跡処理の間に経過した時間を乗じて、車両１の進行量（自車走行距離）を算出する（ステップＳ３１）。
【００６３】
そして、マイコン３０は、ステップＳ２７で読み出したラベルに前回値として代入されている、前回認識後端のｙ座標値と、ステップＳ３１で算出した自車走行距離とから、計算上の今回認識後端のｙ座標値（予測後端位置のｙ座標値）を決定する（ステップＳ３３）。さらに、ステップＳ２５で読み出していずれのラベルの今回値にも代入していない最小の今回認識後端のｙ座標値が、ステップＳ３３で決定した予測後端位置のｙ座標値に対する所定の許容誤差範囲内に、存在するか否かを確認する（ステップＳ３５）。
【００６４】
なお、図１４の説明図に示すように、予測後端位置７５を中心とする画像認識領域６２中の上下等間隔の範囲が、許容誤差範囲７６である。ステップＳ３５では、この誤差許容範囲７６内に、今回認識後端７７が存在するか否かを確認する。
【００６５】
存在する場合は（ステップＳ３５でＹＥＳ）、マイコン３０は、範囲内処理を行い（ステップＳ３７）、存在しない場合は（ステップＳ３５でＮＯ）、マイコン３０は、範囲外処理を行って（ステップＳ３９）、いずれも、ステップＳ２９にリターンする。
【００６６】
ステップＳ３７の範囲内処理では、ステップＳ２７で読み出したラベルの今回値に今回認識後端のｙ座標値を代入すると共に、Ｌｏｓｔ回数を「０」にリセットし、かつ、引継処理フラグを「済（同一性確認済み）」に設定する。
【００６７】
ステップＳ３９の範囲外処理では、ステップＳ２７で読み出したいずれのラベルの今回値にも代入していないことを条件に、図１２（ｂ）に示すように、横断歩道有効フラグが「無効（×）」、有効フラグが「無効（×）」、引継処理フラグが「未（同一性未確認）」、Ｌｏｓｔ回数が「０」、Ｌｏｓｔ確定フラグが「×（未確定）」のラベルを作成し、最小の空き番号をラベル番号として付番する。そして、作成したラベルの今回値として、今回認識後端のｙ座標値を代入し、有効フラグを「無効（×）」から「有効（○）」に、引継処理フラグを「未（同一性未確認）」から「済（同一性確認済み）」に、それぞれ切り替える。
【００６８】
ステップＳ４１では、ステップＳ３１と同様にして車両１の進行量（自車走行距離）を算出し、続いて、今回値に今回認識後端のｙ座標値を代入していないラベルに前回値として代入されている、前回認識後端のｙ座標値と、ステップＳ３１で算出した自車走行距離とから、計算上の今回認識後端のｙ座標値（予測後端位置のｙ座標値）を決定する（ステップＳ４３）。
【００６９】
さらに、追跡用ラベルが存在するか否かを確認し（ステップＳ４５）、存在しない場合は（ステップＳ４５でＮＯ）、後述するステップＳ４９に処理を移行し、存在する場合は（ステップＳ４５でＹＥＳ）、マイコン３０は、追跡用ラベルの今回値に代入されている今回認識後端のｙ座標値が、ステップＳ４３で決定した予測後端位置のｙ座標値に対する所定の許容誤差範囲内に、存在するか否かを確認する（ステップＳ４７）。
【００７０】
存在しない場合は（ステップＳ４７でＮＯ）、マイコン３０は、ステップＳ４９に処理を移行し、存在する場合は（ステップＳ４７でＹＥＳ）、マイコン３０は、後述するステップＳ５１に処理を移行する。
【００７１】
そして、ステップＳ４９では、マイコン３０は、ステップＳ４３で決定した予測後端位置のｙ座標値を、今回値を代入していないラベルに、今回認識後端のｙ座標値（今回値）として代入し、ステップＳ５３に処理を移行する。一方、ステップＳ５１では、マイコン３０は、追跡用ラベルの今回値に代入されている今回認識後端のｙ座標値を、今回値を代入していないラベルに、今回認識後端のｙ座標値（今回値）として代入し、ステップＳ５３に処理を移行する。
【００７２】
ステップＳ５３では、マイコン３０は、各ラベルの今回値に代入されている今回認識後端のｙ座標値が、ＭＡＳＫ領域内に存在するか否かを確認する。ここで、ＭＡＳＫ領域とは、カメラ６０が車両１のボディにより死角となってしまう部分と、画像認識領域６２以外の撮影画像６１の部分を含む領域である。
【００７３】
そして、ＭＡＳＫ領域内に存在する場合は（ステップＳ５３でＹＥＳ）、今回認識後端のｙ座標位置が、カメラ６０よりも車両１の進行方向において２ｍを超えて手前の位置であるか否かを確認する（ステップＳ５５）。カメラ６０よりも２ｍを超えて手前の位置である場合は（ステップＳ５５でＹＥＳ）、後述するステップＳ６１に処理を移行し、そうでない場合は（ステップＳ５５でＮＯ）、後述するステップＳ６３に処理を移行する。
【００７４】
一方、ステップＳ５３で、ＭＡＳＫ領域内に存在しない場合（ＮＯ）は、Ｌｏｓｔ回数を「１」インクリメントし（ステップＳ５７）、Ｌｏｓｔ回数が閾値Ｎを超えているか否かを確認する（ステップＳ５９）。超えている場合は（ステップＳ５９でＹＥＳ）、マイコン３０は、ステップＳ６１に処理を移行し、超えていない場合は（ステップＳ５９でＮＯ）、マイコン３０は、ステップＳ６３に処理を移行する。
【００７５】
ステップＳ６１では、Ｌｏｓｔ回数が閾値Ｎを超えたラベルについて、Ｌｏｓｔ回数を「０」にリセットすると共に、有効フラグを「無効（×）」にする。ステップＳ６３では、終了処理を行う。この終了処理では、有効フラグが「有効（○）」で引継処理フラグが「済（同一性確認済み）」の全ラベルについて、今回値に代入された今回認識後端のｙ座標値（認識位置Ｚ）どうしを比較する。そして、今回認識後端のｙ座標値として同じ値がそれぞれの今回値に代入されている複数のラベルが存在した場合は、最小のラベル番号のラベルを採用し、他のラベルは有効フラグを「○（有効）」から「×（無効）」に切り替える。
【００７６】
以上の説明からも明らかなように、本実施形態では、図１０のフローチャートにおけるステップＳ１乃至ステップＳ５が、請求項中の抽出手段に対応する処理となっている。また、本実施形態では、図１０中のステップＳ７乃至ステップＳ１３が、請求項中の認識手段に対応する処理となっている。
【００７７】
さらに、本実施形態では、図１３のフローチャートにおけるステップＳ２３乃至ステップＳ３９と、テップＳ５３乃至ステップＳ５５が、請求項中の判別手段に対応する処理となっている。
【００７８】
このように構成された本実施形態のドライブレコーダ１０では、メインデコーダ２０、マイコン３０、及び、画像認識ユニット５０で構成される横断歩道検出装置により、次のような動作が行われる。
【００７９】
即ち、カメラ６０からの撮影画像６１の画像認識領域６２をエッジ処理した画像信号を画像認識ＬＳＩ５１で高速フーリエ逆変換して、横断歩道７０に対応する周期ｔと前後端間隔を有するゼブラパターンを抽出し、横断歩道７０に該当するゼブラパターンを特定する。この際、車両１が進行して撮影画像６１中でのゼブラパターンの形状や大きさが変化しても、その変化量を画像認識領域６２内での変化に止めることができる。そのため、ゼブラパターンの周期ｔや前後端の間隔を撮影画像６１における画素数の範囲で特定する際に、その範囲を一定の範囲に制限して、画像処理を伴わずに画像認識による横断歩道７０の判別を、マイコン３０に負担をかけることなく容易に行うことができる。
【００８０】
また、車両１の進行に伴いゼブラパターンの前端が画像認識領域６２中に存在しなくなっても、更新前の画像認識領域６２において横断歩道７０であると判断されたゼブラパターンに対する、後端どうしの変位量と車両１の進行量とに基づいて、更新後の画像認識領域６２において抽出された、画像認識領域６２中に前端が存在しないゼブラパターンが横断歩道７０であるかどうかを判別することができる。
【００８１】
さらに、更新前の画像認識領域６２から抽出したゼブラパターンの後端が更新後の画像認識領域６２中に存在しなくても、車両１の進行量から推定したゼブラパターンの後端がカメラ６０よりも２ｍ手前（車両１の前方）かそれよりも前方に存在すれば、後端の位置を推定したゼブラパターンが横断歩道７０に該当するゼブラパターンと同一性を有するものであることを認識することができる。よって、車両１が横断歩道７０を通過する等の間まで、横断歩道７０の存在を認識し、車両１の走行制御等に横断歩道７０の情報を活用することができる。
【００８２】
しかも、画像認識ＬＳＩ５１が行う高速フーリエ逆変換による振幅スペクトラムＳの平均値Ｓａｖｅで、ゼブラパターンの強周期性を判断して横断歩道７０であるかどうかを判定するので、図１５の説明図に示すように、横断歩道７０のゼブラパターン上に先行車両２，３が存在しても、横断歩道７０を画像処理領域６２のゼブラパターンから精度良く検出することができる。
【産業上の利用可能性】
【００８３】
本発明は、車載のカメラによる撮影画像から横断歩道を検出する装置に用いて好適である。
【符号の説明】
【００８４】
１  車両
２，３  先行車両
１０  ドライブレコーダ
２０  メインデコーダ
３０  マイコン
３１  ＲＯＭ
３２  ＲＡＭ
４０  ＳＤカード
５０  画像認識ユニット
５１  画像認識ＬＳＩ
５２  ＲＯＭ
５３  ＲＡＭ
６０  カメラ
６１  撮影画像
６２  画像認識領域
７０  横断歩道
７１  白線部分
７２  非白線部分
７３，７４  白線
７５  予測後端位置
７６  許容誤差範囲
７７  今回認識後端
Ｓ  振幅スペクトル
Ｓａｖｅ  振幅スペクトル平均値
Ｙ  強度閾値
Ｚ  認識位置
Ｚｉ  距離
ｔ  周期
【図１】
0005815385.tif 000002
【図２】
0005815385.tif 000003
【図３】
0005815385.tif 000004
【図４】
0005815385.tif 000005
【図５】
0005815385.tif 000006
【図６】
0005815385.tif 000007
【図７】
0005815385.tif 000008
【図８】
0005815385.tif 000009
【図９】
0005815385.tif 000010
【図１０】
0005815385.tif 000011
【図１１】
0005815385.tif 000012
【図１２】
0005815385.tif 000013
【図１３】
0005815385.tif 000014
【図１４】
0005815385.tif 000015
【図１５】
0005815385.tif 000016