(57)【要約】【課題】日照によりコントラストが低下した場合でも、踏切を正確に検出することができる踏切検出装置及びその方法を提供する。【解決手段】所定領域を撮像して画像を出力する撮像部１０と、撮像された画像から所定の色成分を有する複数の領域を抽出する候補領域抽出部２１と、抽出された複数の領域から２領域を選択して１つ以上の組み合わせを作成する組み合わせ作成部２２と、作成された各組み合わせの輝度分布に対する分離度を算出する分離度評価部２３と、算出された分離度に基づいて対象物が踏切であるか否かを判定する踏切判定部２４とを有することを特徴とする。【選択図】図２
2013228914.tif 000002
【特許請求の範囲】
【請求項１】
所定領域を撮像して画像を出力する撮像手段と、
前記撮像手段により撮像された画像から所定の色成分を有する複数の領域を抽出する候補領域抽出手段と、
前記候補領域抽出手段により抽出された複数の領域から２領域を選択して１つ以上の組み合わせを作成する組み合わせ作成手段と、
前記組み合わせ作成手段により作成された各組み合わせの輝度分布に対する分離度を算出する分離度評価手段と、
前記分離度評価手段により算出された分離度に基づいて対象物が踏切であるか否かを判定する踏切判定手段と、
を有することを特徴とする踏切検出装置。
【請求項２】
前記候補領域抽出手段は、踏切の警報器の点灯色に対応する前記所定の色成分を有する領域を抽出することを特徴とする請求項１記載の踏切検出装置。
【請求項３】
前記候補領域抽出手段は、所定時間以内に抽出された領域の和集合を候補領域として抽出することを特徴とする請求項１又は請求項２記載の踏切検出装置。
【請求項４】
前記候補領域抽出手段は、前記所定の色成分を有する領域の形状が略円形で且つ前記所定の色成分を有する領域の面積が所定値以上である領域を候補領域として抽出することを特徴とする請求項１乃至請求項３のいずれか１項記載の踏切検出装置。
【請求項５】
前記組み合わせ作成手段は、所定距離以下に位置される候補領域同士のみを組み合わせることを特徴とする請求項１乃至請求項４のいずれか１項記載の踏切検出装置。
【請求項６】
前記組み合わせ作成手段は、略水平又は略垂直に並んでいる候補領域同士を組み合わせることを特徴とする請求項１乃至請求項５のいずれか１項記載の踏切検出装置。
【請求項７】
前記分離度評価手段は、前記組み合わせ作成手段により作成された１つ以上の組み合わせの同時刻の輝度分布に対する分離度を算出することを特徴とする請求項１乃至請求項６のいずれか１項記載の踏切検出装置。
【請求項８】
前記候補領域抽出手段は、前回撮像された画像から抽出された候補領域と、現在撮像された画像から抽出された候補領域との対応付けを行う特徴とする請求項１乃至請求項７のいずれか１項記載の踏切検出装置。
【請求項９】
撮像手段により所定領域を撮像して画像を出力する撮像ステップと、
撮像された画像から所定の色成分を有する複数の領域を抽出する候補領域抽出ステップと、
抽出された複数の領域から２領域を選択して１つ以上の組み合わせを作成する組み合わせ作成ステップと、
作成された各組み合わせの輝度分布に対する分離度を算出する分離度評価ステップと、
算出された分離度に基づいて対象物が踏切であるか否かを判定する踏切判定ステップと、
を有することを特徴とする踏切検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両前方の踏切の状態を画像処理により検出する踏切検出装置及び踏切検出方法に関する。
【背景技術】
【０００２】
従来、踏切検出装置として、車両前方の踏切の状態を撮像した画像データを画像処理することにより踏切を検出する装置が知られており、特許文献１が開示されている。
【０００３】
特許文献１に記載されている画像処理装置は、移動体に搭載される画像処理装置であって、移動体の外部の情景を継続的に撮影して、情景に対応する画像を継続的に形成する撮像部と、撮像部によつて形成された画像を処理して、情景中の所定の特徴を継続的に抽出する特徴抽出部と、特徴抽出部によって抽出された特徴を外部装置に伝送する伝送部と、特徴抽出部によって抽出された特徴を記録する記録部とを備えている。
【０００４】
この画像処理装置によれば、間欠的に撮像される画像から例えば踏切の警報器を含む特徴情報を抽出し、抽出された特徴情報を記録することで、正確な道路状況を小容量で記録することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２１３１３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、日照によりコントラストが低下した場合には、上述した特許文献１に記載された画像処理装置では、ネオンサイン等と踏切とを正確に分離することができなかった。
【０００７】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、日照によりコントラストが低下した場合でも、踏切を正確に検出することができる踏切検出装置及び踏切検出方法を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、所定領域を撮像して画像を出力する撮像部と、撮像された画像から所定の色成分を有する複数の領域を抽出する候補領域抽出部と、抽出された複数の領域から２領域を選択して１つ以上の組み合わせを作成する組み合わせ作成部と、作成された各組み合わせの輝度分布に対する分離度を算出する分離度評価部と、算出された分離度に基づいて対象物が踏切であるか否かを判定する踏切判定部とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、抽出された複数の領域から２領域を選択して１つ以上の組み合わせを作成し、作成された各組み合わせの輝度分布に対する分離度を算出し、算出された分離度に基づいて対象物が踏切であるか否かを判定するので、日照によりコントラストが低下した場合でも、踏切を正確に検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る踏切検出装置を搭載した車両の一例を示す図である。
【図２】本発明の第１実施形態に係る踏切検出装置の内部構成を示すブロック図である。
【図３】本発明の第１実施形態に係る踏切検出装置の候補領域抽出部による処理手順を示すフローチャートである。
【図４】本発明の第１実施形態に係る踏切検出装置の分離度評価部と踏切判定部とによる処理手順を示すフローチャートである。
【図５】本発明の第２実施形態に係る踏切検出装置の候補領域抽出部による処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した第１及び第２の実施形態に係る踏切検出装置及び踏切検出方法について図面を参照して説明する。
【００１２】
［第１実施形態］
［踏切検出装置の構成］
図１は本発明の第１実施形態に係る踏切検出装置を搭載した車両の一例を示す図である。図１に示すように、踏切検出装置は、車両１に搭載され、撮像部１０と計算機２０とを有し、車両前方の踏切の状態を検出する。
【００１３】
撮像部１０は、車両前方の所定領域の状態を撮像して画像を出力するものである。所定領域の状態とは、踏切の警報器が点灯しているか否か、つまり列車が接近しているか否かの状態を示している。
【００１４】
撮像部１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Couple Device）の撮像素子を有し、ＲＧＢ色空間で表現されるカラー画像（色情報）を取得することができるカラーカメラで構成することができる。また、撮像部１０は、例えば、車両１のバックミラーの裏側に取り付けられ、車両１の進行方向を向いて水平に取り付けられている。
【００１５】
図２は、本発明の第１実施形態に係る踏切検出装置の内部構成を示すブロック図である。図２に示すように、計算機２０は、候補領域抽出部２１と組み合わせ作成部２２と分離度評価部２３と踏切判定部２４とを有する。具体的には、計算機２０は、図示しない中央処理装置（ＣＰＵ）とメモリとを有し、ＣＰＵがメモリに記憶された踏切検出プログラムを実行することで、候補領域抽出部２１と組み合わせ作成部２２と分離度評価部２３と踏切判定部２４との各々の処理を実行することができる。
【００１６】
図２において、候補領域抽出部２１は、撮像部１０により撮像された画像から所定の色成分を有する複数の領域を抽出する。組み合わせ作成部２２は、候補領域抽出部２１により抽出された複数の領域から２領域を選択して選択された２領域の１つ以上の組み合わせを作成する。分離度評価部２３は、組み合わせ作成部２２により作成された各組み合わせの輝度分布に対する分離度を算出する。踏切判定部２４は、分離度評価部２３により算出された分離度に基づいて対象物が踏切であるか否かを判定する。
【００１７】
［候補領域抽出処理］
次に、図３に示すフローチャートを参照しながら、候補領域抽出部２１による候補領域抽出処理の詳細について説明する。
【００１８】
まず、ステップＳ１００において、候補領域抽出部２１は、撮像部１０から入力されたカラー画像の色空間をＲＧＢからＨＳＶ（Hue（色相）、Saturation（彩度）、Value（明度））に変換する。ＨＳＶ色空間は、明度と色相を分離して表現する色空間であり、明るさの影響を受けずに色を表すことができる。
【００１９】
次に、ステップＳ１０１において、候補領域抽出部２１は、色相が「赤」に対応する領域をＨＳＶ色空間画像から抽出する。ここで、「赤」の条件としては、非特許文献１（梅澤登志矢、江口一彦：夜間動画像からの道路交通信号認識技術の研究、愛知工業大学研究報告  第４３号B平成２０年）に記載されている信号機の「赤」に相当する値を参考にすることができる。
【００２０】
非特許文献１によれば、「赤」に対しては、色相Ｈは０＜H≦１０となる。ただし、明るさが暗すぎる領域は、点灯色として相応しくないため、S＜０．３またはV＜１２０の領域は抽出すべき領域から除外する。なお、色相Ｈ、色相Ｓ、明度Ｖの設定値は、実験的に適切に設定されるべきであり、上述した値に限定されるものではない。
【００２１】
次に、ステップＳ１０２において、候補領域抽出部２１は、ラベリング処理によりステップＳ３０１で抽出された領域を個別に認識する。具体的には、色部分（又は色がない部分）が連続した画素には同じ番号を割り振る処理を行い、色の領域を個別に識別することができる。
【００２２】
次に、ステップＳ１０３において、候補領域抽出部２１は、ステップＳ１０２のラベリング処理で検出された各領域の面積を調べ、各領域の面積が所定値未満であるかどうかを判定し、各領域の面積が所定値未満である場合には、その領域を、抽出すべき領域から除外する。
【００２３】
所定値とは例えば、２０ｍ前方の信号機の点灯領域の画像上での面積とする。踏切の手前では車両が必ず一旦停止するため、一旦、車両の停止中に踏切の状態検出を行えば良い。従って、所定値は２０ｍあれば十分であり、必要以上に検出範囲を広げると、抽出すべき領域の誤検出の増加の原因になる。
【００２４】
次に、ステップＳ１０４において、候補領域抽出部２１は、各領域の縦と横の長さの比を求め、その比が０．７＜比＜１．３に該当する領域のみを抽出する。即ち、領域の形状が判定される。ここで、縦、横の長さは、処理負荷を軽減するためにそれぞれ、領域内でのｘ座標の最小値と最大値の差、ｙ座標の最小値と最大値の差とする。候補領域抽出部２１は、各領域の縦と横の長さの比が０．７＜比＜１．３である場合に、所定の色成分を有する領域の形状が略円形である候補領域を抽出することができる。
【００２５】
また、候補領域抽出部２１は、略円形である領域で、且つその領域の面積が所定値以上である領域を、候補領域として抽出することもできる。
【００２６】
次に、ステップＳ１０５において、候補領域抽出部２１は、今回の処理で抽出された候補領域をメモリに所定時間記憶する。ステップＳ１０６において、候補領域抽出部２１は、メモリに所定時間記憶されている候補領域を出力する。また、候補領域抽出部２１は、所定時間内に抽出された複数の領域の和集合、即ち複数の領域の論理和を候補領域として設定することもできる。
【００２７】
組み合わせ作成部２２は、候補領域抽出部２１から出力された複数の候補領域から関連する２領域を選択して１つの組み合わせてを作成する処理を、複数の候補領域の全ての領域について行い、１つ以上の組み合わせを作成する。ここで、組み合わせ作成部２２は、互いに所定距離以下に離れた候補領域同士を組み合わせ対象とし、所定距離を超えて離れた候補領域同士は組み合わせ対象から除外する。
【００２８】
また、組み合わせ作成部２２は、略水平もしくは略垂直に並んでいる候補領域同士を組み合わせ対象とし、略水平もしくは略垂直に並んでいない候補領域同士を組み合わせ対象から除外する。２つの領域同士が略水平の位置にあるかどうかは、領域内の例えば中心画素のｙ座標の座標値が略同じであるかどうかによって決定される。また、２つの領域同士が略垂直の位置にあるかどうかは、領域内の例えば中心画素のｘ座標の座標値が略同じであるかどうかによって決定される。
【００２９】
そして、組み合わせ作成部２２で組み合わされた２領域は、それぞれ領域Ｒ１、領域Ｒ２と表記される。
【００３０】
［分離度評価処理及び踏切判定処理］
次に、図４のフローチャートを参照しながら、分離度評価部２３と踏切判定部２４の処理の詳細について説明する。
【００３１】
ステップＳ２００において、分離度評価部２３は、組み合わせ作成部２２で組み合わされた領域Ｒ１と領域Ｒ２との同時刻における画像を取得する。以降のステップＳ２０１〜Ｓ０４ではこの同時刻の領域Ｒ１と領域Ｒ２との画像に対して処理が行なわれる。
【００３２】
ステップＳ２０１において、分離度評価部２３は、領域Ｒ１の平均輝度値μ１と領域Ｒ２の平均輝度値μ２とを計算する。さらに、ステップＳ２０２において、分離度評価部２３は、領域Ｒ１の輝度の分散σ１と領域Ｒ２の輝度の分散σ２とを計算する。
【００３３】
次に、ステップＳ２０３において、分離度評価部２３は、領域Ｒ１の平均輝度値μ１と領域Ｒ２の平均輝度値μ２と領域Ｒ１の輝度の分散σ１と領域Ｒ２の輝度の分散σ２とを用いて、分離度ｓを算出する。分離度ｓは、領域Ｒ１と領域Ｒ２との間の輝度の差と、領域Ｒ１及び領域Ｒ２の輝度分布の和との比に基づいて算出された値であり、式（１）によって分離度ｓを算出することができる。
【００３４】
分離度ｓ＝クラス間分散／全分散＝σＢ２/ σＴ２  ‥（１）
ここで、クラス間分散σＢ２、クラス内分散σＷ２、全分散σＴ２は、式（２）〜式（４）で表すことができる。
【００３５】
σＷ２＝（Ｎ１×σ1２＋Ｎ２×σ2２）／（Ｎ１＋Ｎ２）‥（２）
ただし、Ｎ１は領域Ｒ１の画素数、Ｎ２は領域Ｒ２の画素数、σ1２は領域Ｒ１の輝度の分散、σ2２は領域Ｒ２の輝度の分散である。
【００３６】
σＢ２＝｛Ｎ１×（μ1−μＴ）２＋Ｎ２×（μ2−μＴ）２｝／（Ｎ１＋Ｎ２）‥（３）
ただし、μ１は領域Ｒ１の平均輝度値、μ２は領域Ｒ２の平均輝度値、μＴは領域Ｒ１と領域Ｒ２を合わせた領域の平均輝度値である。
【００３７】
σＴ２  ＝σＢ２＋σＷ２‥（４）
分離度評価部２３は、式（１）〜（４）に基づいて分離度ｓを対象画像の各画素について算出する。
【００３８】
ここで、式（３）に示すように、クラス間分散σＢ２は領域Ｒ１と領域Ｒ２との間の輝度の差に応じて変化する値であり、各領域Ｒ１，Ｒ２の平均輝度値μ１，μ２が全画素の平均輝度値μＴから離れているほど大きな値となる。全分散σＴ２は領域Ｒ１と領域Ｒ２の輝度分布の和に応じて変化する値であり、各領域Ｒ１，Ｒ２の分散σ１，σ２が小さくなるほど、即ち、各領域Ｒ１，Ｒ２の輝度分布が均一になるほど小さな値となる。
【００３９】
従って、分離度ｓは領域Ｒ１の平均輝度値μ１と領域Ｒ２の平均輝度値μ２との間が離れており、且つ両者の分散σ１，σ２が小さいほど、即ち、各領域Ｒ１，Ｒ２の輝度分布が均一であるほど評価値が大きな値となる。
【００４０】
分離度ｓは、０以上１以下の値となるので、条件に応じて様々な閾値を設定しなくても１つの閾値を設定しておけば、踏切を検出することができる。
【００４１】
このように第１実施形態に係る踏切検出装置によれば、昼間のように日射量が多い時間帯から朝、夕のように日射量が少ない時間帯に変化したとしても、日射条件の変化に影響を受けることなく、踏切を検出することができる。朝、夕のように日射量が少ない時間帯では、全体的に暗い画像になるために輝度分布は輝度値が低い方向に全体的にシフトする。即ち、平均輝度値μ１、μ２の値は低下するが、μ１とμ２との差は変化しないので、クラス間分散σＢ２は変化しない。また、分散σ１，σ２も多少の変化を伴うだけでほとんど変化しないので、全分散σＴ２についても変化しない。
【００４２】
従って、分離度ｓは日射量が変化したとしても同様の値が算出されるので、日射条件の変化にロバストに踏切を検出することができる。
【００４３】
次に、ステップＳ２０４において、踏切判定部２４は、予め設定された閾値θによって、分離度評価部２３で算出された分離度ｓを閾値処理する。踏切判定部２４は、分離度ｓが予め設定された閾値θ以上であるときには、対象領域を踏切と判定し、分離度ｓが閾値θ未満であるときには、対象領域を踏切と判定しない。
【００４４】
［第１実施形態の効果］
このように、第１実施形態に係る踏切検出装置によれば、抽出された複数の領域から２領域を選択して１つ以上の組み合わせを作成し、作成された各組み合わせの輝度分布に対する分離度を算出し、算出された分離度に基づいて対象物が踏切であるか否かを判定する。即ち、分離度に基づいて踏切の警報器の点灯状態を判定するので、朝、夕のように日射量が少ない時間帯でコントラストが低下した状態になっても、日射条件の変化に影響を受けることなく、踏切の警報器を検出することができる。
【００４５】
また、踏切の警報器の点灯色に対応する色成分を有する領域、例えば点灯色である「赤」の領域を抽出するので、処理対象を容易に限定することができる。
【００４６】
また、所定時間以内に抽出された複数の領域の和集合を候補領域とするので、交互に（排他的に）点灯する踏切の警報器の現在の点灯／消灯にかかわらず、警報器の領域を抽出することができる。
【００４７】
また、所定の色成分を有する領域の形状が略円形で且つその領域の面積が所定値以上である領域を候補領域として抽出するので、候補領域の誤検出を低減することができる。
【００４８】
また、所定距離以下に位置される候補領域同士のみを組み合わせるので、候補領域の誤検出を低減でき、しかも処理コストを低減することができる。
【００４９】
また、交互に点灯する警報器同士は、略水平又は略垂直に設置されることから略水平又は略垂直に位置する領域を候補領域として検出することで、候補領域が限定されるので、候補領域の誤検出を低減することができる。
【００５０】
また、領域の組み合わせの同時刻の輝度分布に対する分離度を算出するので、同時刻に組み合わせされた２つの候補領域の一方の領域が消灯し、他方の領域が点灯している状態を検出できることから、交互に点灯する警報器を正確に判定することができる。
【００５１】
［第２実施形態］
［第２実施形態の構成］
第２実施形態に係る踏切検出装置は、踏切の手前で車両を一旦停止させない状況で用いられる例を示している。この第２実施形態に係る踏切検出装置は、踏切の手前で車両を一旦停止させない米国などの国に対応したものである。
【００５２】
なお、第２実施形態に係る踏切検出装置の大部分は第１の実施形態に係る踏切検出装置と共通しているため、ここでは、両者の相違する構成のみを説明する。
【００５３】
［候補領域抽出処理］
図５は本発明の第２実施形態に係る踏切検出装置の候補領域抽出部による処理手順を示すフローチャートである。図５に示す第２実施形態に係る踏切検出装置のフローチャートは、図３に示す第１実施形態に係る踏切検出装置のフローチャートに対して、ステップＳ３０５の処理のみが異なる。ステップＳ３００〜Ｓ３０４、Ｓ３０６は、ステップＳ１００〜Ｓ１０４、Ｓ１０６の処理と同じであるので、その説明は省略する。ここでは、ステップＳ３０５の処理のみを説明する。
【００５４】
ステップＳ３０５では、候補領域抽出部２１は、前回撮像された画像から抽出された候補領域と、現在撮像された画像から抽出された候補領域との対応付けを行う。
【００５５】
［第２実施形態の効果］
第２実施形態に係る踏切検出装置によれば、前回の候補領域と現在の候補領域とが対応付けされている候補領域抽出部２１を備えているので、車両が移動することによって、画像上での踏切の警報器の位置が変化した場合でも、候補領域の誤検出を低減することができる。
【００５６】
なお、候補領域の対応付けは、領域の位置と形状と大きさが最も近い領域を選択することによって行なわれる。次に、候補領域抽出部２１は、対応付けられた領域を所定時間記憶する。
【符号の説明】
【００５７】
１０  撮像部
２０  計算機
２１  候補領域抽出部
２２  組み合わせ作成部
２３  分離度評価部
２４  踏切判定部
【図１】
2013228914.tif 000003
【図２】
2013228914.tif 000004
【図３】
2013228914.tif 000005
【図４】
2013228914.tif 000006
【図５】
2013228914.tif 000007