(57)【要約】【課題】障害物がライトにより部分的にしか照射されていないときであっても障害物を早期に検出できる技術を提供する。【解決手段】障害物が部分的にしかヘッドライトにより照射されておらず、障害物の一部分しか撮影画像の明るい部分として認識手段５ａにより認識されなくとも、判別手段５ｂによる判別結果に基づく正規化が明るい部分の上方または下方の所定範囲内に施されることにより、正規化が施された所定範囲内に障害物の残りの部分のパターンが出現する。したがって、所定範囲内の明るさの階調が増えるように正規化が施された撮影画像のパターン認識により、ヘッドライトの光により一部分しか明るくなっていないにも関わらず、障害物が検出手段５ｄにより検出されるため、障害物がヘッドライトにより部分的にしか照射されていないときであっても障害物を早期に検出することができる。【選択図】図１
2011086097.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラの撮影画像から障害物を検出する障害物検出装置において、
前記撮影画像のライトで照射されて明るい部分を認識する認識手段と、
前記明るい部分が前記撮影画像の下部にあるか上部にあるかを判別する判別手段と、
前記判別手段による判別が下部との結果であれば、前記明るい部分の上方の所定範囲内の明るさを前記所定範囲の階調が増えるように正規化し、前記判別手段による判別が上部との結果であれば、前記明るい部分の下方の前記所定範囲内の明るさを前記所定範囲の階調が増えるように正規化する正規化手段と、
前記正規化が前記所定範囲内に施された前記撮影画像に基づいて障害物を検出する検出手段と
を備えることを特徴とする障害物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載カメラの撮影画像から障害物を検出する技術に関する。
【背景技術】
【０００２】
従来、横断歩道周辺に固定して設置されたカメラによる撮影画像の画像パターンと、歩行者が存在しないときの撮影画像の横断歩道部分の画像パターンとから、横断歩道上の歩行者を検出する技術が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２４７２９７号公報（段落［０００５］〜［０００９］、図１、要約書など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、カメラが設置された場所の横断歩道上の障害物（歩行者）しか検出することができない。そこで、車載カメラを車両に搭載し、これにより横断歩道上の障害物を検出することも考えられる。このようにすれば、横断歩道周辺にカメラが設置されていなくとも、車両の走行路の横断歩道上の障害物を検出することができる。しかしながら、横断歩道上の障害物がヘッドライトにより一部分しか照射されておらず、障害物が部分的にしか明るくなっていない時点では、横断歩道の白色の部分と、部分的にしか明るくなっていない障害物とを区別することは困難であった。したがって、障害物の大部分がヘッドライトに照射されることにより障害物のほぼ全体が明るくなって、横断歩道の白色の部分と、ほぼ全体が明るくなった障害物とを区別することができるようになるまで障害物の検出が遅れるおそれがあった。
【０００５】
本発明は、障害物がライトにより部分的にしか照射されていないときであっても障害物を早期に検出できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明の障害物検出装置は、車載カメラの撮影画像から障害物を検出する障害物検出装置において、前記撮影画像のライトで照射されて明るい部分を認識する認識手段と、前記明るい部分が前記撮影画像の下部にあるか上部にあるかを判別する判別手段と、前記判別手段による判別が下部との結果であれば、前記明るい部分の上方の所定範囲内の明るさを前記所定範囲の階調が増えるように正規化し、前記判別手段による判別が上部との結果であれば、前記明るい部分の下方の前記所定範囲内の明るさを前記所定範囲の階調が増えるように正規化する正規化手段と、前記正規化が前記所定範囲内に施された前記撮影画像に基づいて障害物を検出する検出手段とを備えることを特徴としている（請求項１）。
【発明の効果】
【０００７】
請求項１に記載の発明によれば、撮影画像のライトで照射されて明るい部分が認識手段により認識され、認識手段により認識された明るい部分が撮影画像の下部にあると判別手段により判別されれば、明るい部分の上方の所定範囲内の明るさが当該所定範囲の階調が増えるように正規化手段により正規化される。また、認識手段により認識された明るい部分が撮影画像の上部にあると判別手段により判別されれば、明るい部分の下方の所定範囲内の明るさが当該所定範囲の階調が増えるように正規化手段により正規化される。
【０００８】
ところで、例えば、障害物が部分的にしかライトにより照射されていないときには、ライトに照射されて明るくなった障害物の一部分が、撮影画像の明るい部分として認識手段により認識される。しかしながら、判別手段による判別結果に基づいて正規化手段により正規化される、明るい部分の上方または下方の所定範囲内には、ライトの光が障害物全体に及ばないことから、認識手段により明るい部分として認識されるほどには明るくなっていない障害物の残りの部分が存在するため、当該所定範囲内が正規化手段により正規化されてその明るさが増幅されれば、障害物の残りの部分のパターンが出現する。したがって、所定範囲内の明るさの階調が増えるように正規化が施された撮影画像に基づいて、ライトの光により一部分しか明るくなっていないにも関わらず障害物が検出手段により検出されるため、障害物がライトにより部分的にしか照射されていないときであっても障害物を早期に検出することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の障害物検出装置の一実施形態のブロック図である。
【図２】図１の単眼カメラの構成の一例を示す図である。
【図３】図２の単眼カメラによる撮影画像の一例である。
【図４】図１の動作説明用のフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の一実施形態について、図１〜図４を参照して説明する。
【００１１】
図１は本発明の障害物検出装置２の一実施形態のブロック図である。図２は図１の単眼カメラ３の構成の一例を示す図である。図３は図２の単眼カメラ３による撮影画像ＩＭＧの一例であって、（ａ）は横断歩道１０上の歩行者１１の足元がヘッドライト８に照射された状態で単眼カメラ３により撮影された撮影画像ＩＭＧ、（ｂ）は歩行者１１の足元がヘッドライト８に照射されることによる撮影画像ＩＭＧの明るい部分ＢＰ上方の所定範囲ＰＲ内に正規化が施された撮影画像ＩＭＧである。図４は図１の動作説明用のフローチャートである。
【００１２】
１．構成
図１に示す障害物検出装置２は、車両１に搭載された単眼カメラ（本発明の「車載カメラ」に相当）３の撮影画像ＩＭＧから障害物（歩行者１１）を検出するものであって、単眼カメラ３と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ５と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ６と、警報用のスピーカ７とを備えている。
【００１３】
単眼カメラ３は、本実施形態では車両１前方の路面撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、撮影した画像ＩＭＧの信号を出力する（図３参照）。また、図２に示すように、車両１前方の路面撮影を行なうため、単眼カメラ３は、車両１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
【００１４】
ＥＣＵ５は、例えばイグニッションキーのオンにより、予め設定された障害物検出のプログラムを実行することにより以下の各手段を備えている。
【００１５】
（１）認識手段５ａ
認識手段５ａは、車両１の走行中に単眼カメラ３により取得された図３（ａ）に示すような撮影画像ＩＭＧの、ヘッドライト（本発明の「ライト」に相当）８で照射されて明るい部分ＢＰを認識する。図３（ａ）に示すように、認識手段５ａは、撮影画像ＩＭＧ内で、所定の閾値以上の明るさを有する部分を明るい部分ＢＰとして認識する。認識手段５ａは、例えば、撮影画像ＩＭＧを所定の明るさを閾値として２値化することにより明るい部分ＢＰを認識することができるが、明るい部分ＢＰを認識する手法としては、所定の明るさ以上の部分を認識することができればどのような手法を採用してもよい。
【００１６】
（２）判別手段５ｂ
判別手段５ｂは、撮影画像ＩＭＧの明るい部分ＢＰが、撮影画像ＩＭＧの下部にあるか上部にあるかを、認識手段５ａにより認識された明るい部分ＢＰのそれぞれについて判別する。判別手段５ｂは、ヘッドライト８がロービーム状態であり、明るい部分ＢＰが、車両１の進行方向の撮影画像ＩＭＧのほぼ下半分に存在する場合に、明るい部分ＢＰが撮影画像ＩＭＧの下部にあると判定する。また、判別手段５ｂは、ヘッドライト８がハイビーム状態であり、明るい部分ＢＰが、車両１の進行方向の撮影画像ＩＭＧのほぼ上半分に存在する場合に、明るい部分ＢＰが撮影画像ＩＭＧの上部にあると判定する。
【００１７】
なお、図３（ａ）に示す撮影画像ＩＭＧは、車両１のヘッドライト８がロービーム状態のときに単眼カメラ３により撮影されたものであり、認識手段５ａにより認識された図３（ａ）中の明るい部分ＢＰのそれぞれは、判別手段５ａにより撮影画像ＩＭＧの下部にあると判別される。また、判別手段５ａが、明るい部分ＢＰが撮影画像ＩＭＧの下部にあるか上部にあるかを判別する手法としては、ヘッドライト８の状態に関する情報および撮影画像ＩＭＧ中の明るい部分ＢＰの位置に関する情報のいずれか一方のみの情報に基づく手法であってもよい。また、判別手段５ａによる判別方法は、上記した手法に限られるものではない。
【００１８】
（３）正規化手段５ｃ
正規化手段５ｃは、判別手段５ｂによる判別が下部との結果であれば、明るい部分ＢＰの上方の所定範囲ＰＲ内の明るさを所定範囲ＰＲの階調が増えるように正規化し、判別手段５ｂによる判別が上部との結果であれば、明るい部分ＢＰの下方の所定範囲ＰＲ内の明るさを所定範囲ＰＲの階調が増えるように正規化する。
【００１９】
この実施形態では、正規化手段５ｃは、所定範囲ＰＲ内の明るさの階調が、予め定めた２５６階調（０（暗）〜２５５（明）、８ｂｉｔ）に増えるように、所定範囲ＰＲ内の正規化を行う。また、正規化手段５ｃは、正規化を施す所定範囲ＰＲを、
ａ）認識手段５ａにより認識された明るい部分ＢＰと同じ幅とする、
ｂ）予め定められた大きさとする、
ｃ）まず、予め定められた範囲で正規化を行ったあと、正規化後の状態に応じて範囲の大きさの微調整を行う、
のように設定することができ、設定された所定範囲ＰＲ内の明るさが増幅されるように正規化を行う。
【００２０】
なお、図３（ａ）に示す例では、明るい部分ＢＰが撮影画像ＩＭＧの下部にあると判別手段５ｂにより判別される。したがって、認識手段５ａにより認識された明るい部分ＢＰそれぞれの上方の所定範囲ＰＲ内の明るさが増幅されるように正規化手段５ｃによる正規化が行われる（図３（ｂ）参照）。
【００２１】
次に、図３（ａ），（ｂ）を参照して、認識手段５ａにより認識された撮影画像ＩＭＧの明るい部分ＢＰのうち、歩行者１１（障害物）の足元の部分がヘッドライト８に照射されることによる明るい部分ＢＰの上方の所定範囲ＰＲ内の明るさが増幅されるように正規化手段５ｃによる正規化が行われた例について説明する。図３（ａ）に示すように、歩行者１１の足元しかヘッドライト８により照射されていないときには、ヘッドライト８に照射されて明るくなった歩行者１１の足元が、撮影画像ＩＭＧの明るい部分ＢＰとして認識手段５ａにより認識される。
【００２２】
ところが、判別手段５ｂによる判別結果に基づいて正規化手段５ｃにより正規化されるこの明るい部分ＢＰの上方の所定範囲ＰＲ内には、ヘッドライト８の光が歩行者１１全体に及ばないことから、認識手段５ａにより明るい部分ＢＰとして認識されるほどには明るくなっていない歩行者１１の上半身１２が存在する。したがって、この所定範囲ＰＲ内が正規化手段５ｃにより正規化されてその明るさが増幅されれば、上半身１２のパターンが撮影画像ＩＭＧの所定範囲ＰＲ内に出現する。
【００２３】
なお、正規化手段５ｃにより増やされる明るさの階調は、上記したように２５６階調（８ｂｉｔ）に限られず、撮影画像ＩＭＧの全体の明暗などに応じて、５１２階調（０（暗）〜５１１（明）、９ｂｉｔ）とするなど、どのように設定してもよい。
【００２４】
（４）検出手段５ｄ
検出手段５ｄは、正規化手段５ｃによる正規化が所定範囲ＰＲ内に施された撮影画像ＩＭＧに基づいて、パターン認識により障害物を検出する（図３（ｂ）参照）。すなわち、検出手段５ｄは、認識手段５ａにより認識された明るい部分ＢＰと、その明るい部分ＢＰの上方または下方の所定範囲ＰＲ内の明るさが正規化手段５ｃにより増幅されることにより出現するパターンとが、撮影画像ＩＭＧ上でつながっているかどうか、換言すれば、明るい部分ＢＰと新たに出願したパターンとが、一のパターンとして認識できるかどうかにより障害物を検出する。
【００２５】
図３（ｂ）に示す例では、歩行者１１の足元の部分がヘッドライト８に照射されることによる明るい部分ＢＰの上方の所定範囲ＰＲ内の明るさが増幅されるように正規化手段５ｃによる正規化が行われるが、これにより、上半身１２のパターンが撮影画像ＩＭＧの所定範囲ＰＲ内に新たに出現する。検出手段５ｄは、明るい部分ＢＰと、その上方の所定範囲ＰＲ内に新たに出現した上半身１２とが一のパターンとして認識できるかどうかをパターン認識し、一のパターンとして認識できれば、これにより歩行者１１を検出する。
【００２６】
一方、正規化手段５ｃにより明るさが増幅された所定範囲ＰＲ内に新たなパターンが出現しないか、もしくは、新たなパターンが出現したとしても、新たなパターンと明るい部分ＢＰとが一のパターンとして認識できなければ、検出手段５は、当該明るい部分ＢＰが障害物によりヘッドライト８の光が反射されたものではないこと、すなわち、障害物が存在しないことを検出する。
【００２７】
なお、検出手段５ｄによるパターン認識の手法としては、濃淡ヒストグラムによる手法や、エッジ検出による手法など、明るい部分ＢＰと、その明るい部分ＢＰの上方または下方の所定範囲ＰＲ内の明るさが増幅されることにより出現する新たなパターンとにより、何らかの一のパターンが形成されるか、形成されないかを認識できる手法であれば、どのような手法を採用してもよい。
【００２８】
（５）報知手段５ｅ
報知手段５ｅは、検出手段５ｄによる、障害物（歩行者１１）の検出に基づき、例えば走行モニタ６に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ７から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００２９】
２．動作
次に、上記したように構成された障害物検出装置２の動作について図４を参照して説明する。なお、本実施形態では、車両１が、夜間走行を行ったり、トンネル内などを走行することにより、ヘッドライト８を点灯して走行しているときを例に挙げて説明する。
【００３０】
まず、車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ）示すような、単眼カメラ３による車両１前方の撮影画像ＩＭＧの信号がＥＣＵ５に取込まれる。そして、取込まれた撮影画像ＩＭＧのヘッドライト８で照射されて明るい部分ＢＰの認識が認識手段５ａにより行われる（ステップＳ１）。
【００３１】
次に、認識手段５ａにより認識された明るい部分ＢＰが撮影画像ＩＭＧの下部にあるか上部にあるかが判別手段５ｂにより判別される（ステップＳ２）。このとき、認識手段５ａにより複数の明るい部分ＢＰが認識されていれば、認識された複数の明るい部分ＢＰのうち、一の明るい部分ＢＰについての判別が判別手段５ｂにより行われる。そして、判別手段５ｂによる判別結果に応じて、判別が行われた一の明るい部分ＢＰの上方または下方の所定範囲ＰＲ内の明るさが増幅されるように正規化が正規化手段５ｃにより行われる（ステップＳ３）。
【００３２】
続いて、正規化手段５ｃによる正規化が所定範囲ＰＲ内に施された撮影画像ＩＭＧのパターン認識により、障害物が存在するか、存在しないかが検出手段５ｄにより検出される（ステップＳ４）。そして、検出手段５ｄにより障害物（歩行者１１）が検出されれば、走行モニタ６による警告表示が行われたり、スピーカ７から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段５ｅにより報知される（ステップＳ５）。
【００３３】
次に、明るい部分ＢＰが、障害物がヘッドライト８の光を反射することによるものであるかどうかを検出する処理が、認識手段５ａにより認識された全ての明るい部分ＢＰについて実行されたかどうかがＥＣＵ５により判定され、全ての明るい部分ＢＰについての処理が終了していなければ（ステップＳ６でＮＯ）、全ての明るい部分ＢＰについての処理が終了するまでステップＳ２〜Ｓ５の処理を繰返し実行する。
【００３４】
一方、全ての明るい部分ＢＰについての処理が終了したとＥＣＵ５により判定されれば（ステップＳ６でＹＥＳ）、単眼カメラ３により撮影された次の撮影画像ＩＭＧについて、ステップＳ１からの処理が実行される。これにより、障害物の存在が、ドライバに分かりやすく報知されて、特に夜間や、トンネル内など、ヘッドライト８が点灯されているときの運転支援を実現することができる。
【００３５】
以上のように、この実施形態によれば、撮影画像ＩＭＧのヘッドライト８で照射されて明るい部分ＢＰが認識手段５ａにより認識され、認識手段５ａにより認識された明るい部分ＢＰが撮影画像ＩＭＧの下部にあると判別手段５ｂにより判別されれば、明るい部分ＢＰの上方の所定範囲ＰＲ内の明るさが当該所定範囲ＰＲの階調が増えるように正規化手段５ｃにより正規化される。また、認識手段５ａにより認識された明るい部分ＢＰが撮影画像ＩＭＧの上部にあると判別手段５ｂにより判別されれば、明るい部分ＢＰの下方の所定範囲ＰＲ内の明るさが当該所定範囲ＰＲの階調が増えるように正規化手段５ｃにより正規化される。
【００３６】
このとき、例えば、障害物（歩行者１１）が部分的にしかヘッドライト８により照射されておらず、障害物の一部分しか撮影画像ＩＭＧの明るい部分ＢＰとして認識手段５ａにより認識されなくとも、判別手段５ｂによる判別結果に基づく正規化が明るい部分ＢＰの上方または下方の所定範囲ＰＲ内に施されることにより、正規化が施された所定範囲ＰＲ内に障害物の残りの部分（上半身１２）のパターンが出現する。したがって、所定範囲ＰＲ内の明るさの階調が増えるように正規化が施された撮影画像ＩＭＧのパターン認識により、ヘッドライト８の光により一部分しか明るくなっていないにも関わらず、障害物が検出手段５ｄにより検出されるため、障害物がヘッドライト８により部分的にしか照射されていないときであっても障害物を早期に検出することができる。
【００３７】
また、本実施形態では、障害物が存在すると想定される明るい部分ＢＰの上方または下方の所定範囲ＰＲ内のみ正規化を行うため、撮影画像ＩＭＧの全体を正規化するのに比べて処理の高速化を図ることができると共に、障害物の検出を効率よく行うことができる。また、撮影画像ＩＭＧの全体の明るさの階調が増えるように撮影画像ＩＭＧの全体を正規化すれば、障害物検出に必要のない背景部分の明るさまで増幅されて画像ノイズとなり、障害物の誤検出の原因となるおそれがあるが、撮影画像ＩＭＧの所定範囲ＰＲ内のみを部分的に正規化を行うことで、背景部分の明るさが増幅されることによる画像ノイズを原因とする障害物の誤検出を防止することができる。
【００３８】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後進の際に後方の路面を撮影可能に車両１に後部に取付けてもよい。このとき、撮影画像ＩＭＧのバックライトで照射されて明るい部分ＢＰを認識手段５ａにより認識すればよい。
【００３９】
また、上記した実施形態では、判別手段５ｂによる判別結果に基づいて、認識手段５ａにより認識された明るい部分ＢＰの上方および下方のいずれか一方のみの所定範囲ＰＲ内の正規化が実行されるように構成されているが、これを、上方および下方両方の所定範囲ＰＲ内の正規化が正規化手段５ｃにより実行されるようにしてもよい。このように構成すれば、認識手段５ａにより認識された明るい部分ＢＰが、障害物がヘッドライト８などのライトの光を反射することによるものであるのかどうかを、すなわち、明るい部分ＢＰに障害物が存在するのかどうかを、さらに確実に検出手段５ｄにより検出することができる。
【００４０】
また、検出手段５ｄによる撮影画像ＩＭＧのパターン認識は、撮影画像ＩＭＧのうち、明るい部分ＢＰおよび、この明るい部分ＢＰの上方または下方の所定範囲ＰＲを最低限含む領域で行うのが、処理の効率上望ましい。しかしながら、撮影画像ＩＭＧの全領域において検出手段５ｄによるパターン認識を行ってもよい。また、全ての明るい部分ＢＰについて、その上方または下方の所定範囲ＰＲ内の正規化が終了した後に、検出手段５ｄのパターン認識による障害物検出を行ってもよい。
【００４１】
また、上記した実施形態では、夜間走行の際や、トンネル内を走行する際にヘッドライト８が点灯されている状態を例に挙げて説明したが、本発明が適用されるのは、夜間走行およびトンネル内走行のためにヘッドライト８が点灯されている状態に限られるものではない。
【００４２】
また、上記した実施形態では、検出手段５ｄはパターン認識により障害物の検出を行うように構成されているが、例えば、単眼カメラ３により時系列に撮影されて正規化が施された撮影画像ＩＭＧを、メモリやハードディスクドライブなどにより構成される記憶手段に格納し、記憶手段に格納された時系列の撮影画像ＩＭＧから導出される、撮影画像ＩＭＧ内での位置を示す時系列の特徴点の動き（オプティカルフロー）などに基づいて、検出手段５ｄが障害物を検出するようにしてもよい。
【００４３】
また、本発明は種々の車両の障害物検出に適用することができる。
【符号の説明】
【００４４】
３    単眼カメラ（車載カメラ）
５ａ    認識手段
５ｂ    判別手段
５ｃ    正規化手段
５ｄ    検出手段
８    ヘッドライト（ライト）
１１  歩行者（障害物）
ＩＭＧ    撮影画像
ＢＰ    明るい部分
ＰＲ    所定範囲
【図１】
2011086097.tif 000003
【図２】
2011086097.tif 000004
【図４】
2011086097.tif 000005
【図３】
2011086097.tif 000006