(57)【要約】  先行車認識や白線認識等の画像認識アプリケーションの性能を損なうことなく、かつ低コストに点滅光源の認識性能を向上させる車載画像認識装置を得るために、車載カメラにおいて対となる第１の撮像部１１ａと第２の撮像部１１ｂとで露光のタイミングをずらして交互に撮像を行い、第１の撮像部１１ａから得られる第１の画像１２ａと第２の撮像部１１ｂから得られる第２の画像１２ｂのどちらか一方もしくは両方から点滅する光源を検出し、さらに次回からは点滅光源の点灯するタイミングに合わせて第１の撮像部１１ａと第２の撮像部１１ｂとで露光を行うことにより画像認識機能の性能を損なうことなく高い精度で点滅光源を認識する。
2015098325.tif 000002
【特許請求の範囲】
【請求項１】
一対の撮像部で撮像した画像を画像処理する車載画像認識装置であって、
前記一対の撮像部により同一の光源を、予め設定された点滅周期を整数倍した撮像周期でかつ前記一対の撮像部の露光タイミングを前記点滅周期の半周期分だけずらして撮像し、
一方の撮像部で撮像した光源の画素値と他方の撮像部で撮像した光源の画素値との差が閾値以上である場合に前記光源が点滅光源であると判定することを特徴とする車載画像認識装置。
【請求項２】
前記光源が点滅光源であると判定した場合に、前記一対の撮像部のうち、点滅光源が明るく撮像されている方の撮像部の露光タイミングに、他方の撮像部の露光タイミングを一致させて、前記一対の撮像部により同時の露光タイミングで撮像した一対の画像に基づいて光源までの距離データを生成することを特徴とする請求項１に記載の車載画像認識装置。
【請求項３】
予め２種類の点滅周期が設定されており、前記光源の画素値が、同一の撮像部で撮像される画像において一定の場合は点滅周期の設定が正しいと判断し、段階的に変動する場合は点滅周期の設定が異なっていると判断し、点滅周期の設定を他方のものに切り替えることを特徴とする請求項２に記載の車載画像認識装置。
【請求項４】
第１の撮像部と、
前記第１の撮像部と並列に配置された第２の撮像部と、
前記第１の撮像部及び前記第２の撮像部から取得した画像から距離データを生成する距離データ生成部と、
前記第１の撮像部及び前記第２の撮像部から取得した画像から光源を認識する光源認識部と、を有し、
前記第１の撮像部及び前記第２の撮像部は、認識する点滅光源の点滅周期に基づく撮像周期でかつ前記第１の撮像部及び前記第２の撮像部の露光タイミングを前記点滅周期の半周期分だけずらして撮像し、
前記光源認識部は、前記第１の撮像部で撮像した画像と前記第２の撮像部で撮像した画像に基づいて前記光源が点滅光源であるか否かを判定することを特徴とする請求項１に記載の車載画像認識装置。
【請求項５】
前記第１の撮像部及び第２の撮像部から取得した画像と前記距離データとに基づいて画像認識を行う画像認識部と、
車速、ヨーレート、ＧＰＳ情報、時刻情報、地図データの少なくとも一つを含む情報を受信する外部情報受信部と、を有し、
前記光源認識部の認識結果と、前記画像認識部の認識結果と、前記外部情報受信部の情報に基づいて前記露光タイミングを調整する露光タイミング調整部を有することを特徴とする請求項４に記載の車載画像認識装置。
【請求項６】
前記第１の撮像部及び第２の撮像部から取得した画像の情報に基づいて、画像認識に最適な露光パラメータに調整する第１の露光制御部と、第２の露光調整部とを有する請求項５に記載の車載画像認識装置。
【請求項７】
前記露光タイミング調整部は、前記光源認識部の認識結果に基づき、前記点滅光源の点滅周期を推定し、前記露光タイミングを調整することを特徴とする請求項５に記載の車載画像認識装置。
【請求項８】
前記露光タイミング調整部は、前記画像認識部の認識結果および、前記外部情報受信部から取得した情報に基づき、ステレオ視による距離データ生成を行うかを判定することを特徴とする請求項５に記載の車載画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラに係り、特に、先行車および白線および歩行者、および光源といった複数の対象を同時に認識する機能を備えた車載画像認識装置に関わる。
【背景技術】
【０００２】
近年、信号機や、電光式の道路標識に使用される光源が、従来の白熱灯からＬＥＤへ置き換わっている。ＬＥＤは白熱灯と比較し、消費電力が少なく、かつ高寿命であるという利点がある。また日光の反射により発光しているように見える疑似点灯もないため視認性が高く、安全性の向上にも寄与するとされている。【０００３】
信号機や道路標識に使用されるＬＥＤは、点灯時において、高速で点灯と消灯を繰り返す点滅をしている。この点滅の周期は、商用電源が５０Ｈｚの地域では１００Ｈｚ、６０Ｈｚの地域では１２０Ｈｚであり、高速であるため人間には常時点灯しているように見える。【０００４】
車載カメラでは、点滅を繰り返す光源が消灯している状態とカメラの露光のタイミングが一致した場合、カメラから得られる画像に光源の発する光が記録されないという問題がある。また、カメラの撮像周期、点滅光源の周期が定数倍に近い場合、複数のフレームに連続して前記の問題が発生する。【０００５】
上記の問題を解決するために、例えば特許文献１には、多数の撮像部を設置し、点滅光源の点滅周期より短い時間で露光タイミングをずらしながら撮像し、光源の輝度変化を観測することにより点滅光源を認識する手段が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２８６９４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述した従来の手法では、光源の点滅周期より短い周期Ｔledで画像を取得し、各画像に対して認識処理を実施するので、処理負荷が非常に大きくなる。また、多数の画像を撮像部から認識部に転送するので、バスの転送量が膨大になることが想定される。画像認識機能を有する車載カメラでは、先行車や歩行者、道路上の白線など多数の物体を同時に認識することが求められており、処理負荷やバス転送量が大きいと、他の認識処理との両立が困難となる。また、より多くの数の撮像部が必要となるため、コストが高いという問題がある。【０００８】
本発明の目的は、上記の点に鑑みてなされたものであり、その目的とするところは、先行車認識や白線認識などの画像認識アプリケーションの性能を損なうことなく、かつ低コストに点滅光源の認識性能を向上させることができる車載撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決する本発明の車載画像認識装置は、一対の撮像部で撮像した画像を画像処理する車載画像認識装置であって、前記一対の撮像部により同一の光源を、予め設定された点滅周期を整数倍した撮像周期でかつ前記一対の撮像部の露光タイミングを前記点滅周期の半周期分だけずらして撮像し、一方の撮像部で撮像した光源の画素値と他方の撮像部で撮像した光源の画素値との差が閾値以上である場合に前記光源が点滅光源であると判定することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、先行車認識や白線認識などの画像認識アプリケーションの性能を損なうことなく、かつ低コストに点滅光源の認識性能を向上させることができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１１】
【図１】車載画像認識装置の機能を説明するブロック図。
【図２】点滅光源の点滅と、第１の撮像部および第２の撮像部の露光タイミングの一例を示す図。
【図３】露光タイミング調整部の動作例を示すフローチャート。
【発明を実施するための形態】
【００１２】
次に、本発明の実施形態について図を用いて以下に説明する。
図１は、本実施形態における車載画像認識装置の一例を示した機能ブロック図である。
【００１３】
車載画像認識装置１０は、車載カメラにおいて一対となる第１の撮像部１１ａと第２の撮像部１１ｂとで露光のタイミングをずらして交互に撮像を行い、第１の撮像部１１ａから得られる第１の画像１２ａと、第２の撮像部１１ｂから得られる第２の画像１２ｂのどちらか一方もしくは両方から点滅する光源を検出し、さらに次回からは点滅光源の点灯するタイミングに合わせて第１の撮像部１１ａと第２の撮像部１１ｂとで露光を行うことにより画像認識機能の性能を損なうことなく高い精度で点滅光源を認識するものである。
【００１４】
車載画像認識装置１０は、車両に搭載されるステレオカメラであって、図示のように、第１の撮像部１１ａおよび第２の撮像部１１ｂと、第１の撮像部１１ａおよび第２の撮像部１１ｂにより取得した第１の画像１２ａおよび第２の画像１２ｂに基づいて距離情報を生成する距離データ生成部１３と、撮像対象までの距離情報を格納する距離データ格納部１４と、画像認識を行う画像認識部１５と、光源の認識を行う光源認識部１６と、露光のタイミングをそれぞれ調整する露光タイミング調整部１７と、外部の情報を受信する外部情報受信部１８と、第１の撮像部１１ａおよび第２の撮像部１１ｂの露光を制御する第１の露光制御部１９ａおよび第２の露光制御部１９ｂを具備するものである。
【００１５】
第１の撮像部１１ａおよび第２の撮像部１１ｂは、同じ方向を向いており、また同じ範囲を撮像する。例えば、フロントガラスを通して車両前方を撮像するように、車両のルームミラー近傍で左右に分かれて配置されている。
【００１６】
距離データ生成部１３は、第１の画像１２ａと第２の画像１２ｂをステレオ視して視差画像などの距離情報を生成する。画像認識部１５は、第１の画像１２ａと第２の画像１２ｂの少なくとも一方を用いて、信号や標識、先行車、歩行者、自転車などの対象物を画像から認識する。認識方法としては、既知のパターンマッチング等を用いることができる。
【００１７】
光源認識部１６は、第１の画像１２ａと第２の画像１２ｂの少なくとも一方から光源を認識し、その認識した光源が点滅光源であるか否かを認識する。露光タイミング調整部１７は、画像認識部１５の画像認識結果および外部情報受信部１８で受信した外部情報に基づき、第１の撮像部１１ａおよび第２の撮像部１１ｂの露光タイミングを調整する。第１の露光制御部１９ａおよび第２の露光制御部１９ｂは、例えば露光タイミング調整部１７からの指示に応じて、第１の撮像部１１ａおよび第２の撮像部１１ｂの露光タイミングを制御する。また、第１の撮像部１１ａ及び第２の撮像部１１ｂから取得した画像の情報に基づいて、画像認識に最適な露光パラメータに調整する。外部情報受信部１８は、車両ネットワーク２０に接続されており、外部情報受信部１８によって、車速情報２１、ヨーレート２２、ＧＰＳ情報２３、時刻情報２４、地図データ２５などの外部情報を取得する。
【００１８】
車両画像認識装置１０は、点滅光源であるＬＥＤを使用した信号機や電光式の道路標識等の表示機を撮像する際に、ＬＥＤの点滅周期に合わせて第１の撮像部１１ａおよび第２の撮像部１１ｂの露光のタイミングを合わせて撮像する。
【００１９】
具体的には、第１の撮像部１１ａおよび第２の撮像部１１ｂの撮像周期Ｔｃを点滅周期Ｔｌの整数Ｎｃ倍に設定し、かつ第１の撮像部１１ａの露光タイミングと、第２の撮像部１１ｂの露光タイミングとを、点滅周期の整数Ｎｓ＋０．５倍ずらすことにより、点滅に対して半周期ずらした第１の画像および第２の画像を取得する。これにより、少なくとも第１の画像１２ａと第２の画像１２ｂのいずれかには、点灯状態で光源が記録される。
【００２０】
光源認識部１６では、第１の画像１２ａと第２の画像１２ｂから光源を抽出する認識処理を行う。そして、抽出した光源の画素値が、第１の画像１２ａと第２の画像１２ｂとの間で、一定値以上の差がある場合に、かかる光源は点滅光源であると判定する。露光タイミング調整部１７は、光源認識部１６において光源が点滅光源と判定された場合、第１の撮像部１１ａと第２の撮像部１１ｂのうち、点滅光源が明るく撮像される方の撮像部の露光タイミングに合わせて、他方の撮像部の露光タイミングを変更し、第１の撮像部１１ａおよび第２の撮像部１１ｂの露光タイミングが同時になるように調整する。距離データ生成部は、第１の撮像部および第２の撮像部で撮像した第１の画像および第２の画像に基づいて車両から光源までの距離データを生成する。
【００２１】
次に、本発明の露光タイミング調整の一例を図２に示す。
図２は、点滅光源の点滅と、第１の撮像部および第２の撮像部の露光のタイミングの一例を示す図である。図２に示すように、点滅周期ＴｌでＬＥＤの輝度が増減して点滅光源が発光している場合、露光タイミング調整部１７は、第１の撮像部１１ａおよび第２の撮像部１１ｂの撮像周期Ｔｃを点滅周期Ｔｌの整数Ｎｃ倍に設定する。これにより、点滅光源であっても、毎フレームを同じ輝度で撮像することができ、各フレームに写る点滅光源の輝度を一定にできる。
【００２２】
そして、露光タイミング調整部１７は、第１の撮像部の露光タイミングと第２の撮像部の露光タイミングのずれ時間を、点滅周期Ｔｌの整数Ｎｓ＋０．５倍に設定する（ずれ時間＝Ｔｌ×（Ｎｓ＋０．５））。したがって、第１の撮像部１１ａと第２の撮像部１１ｂは、ＬＥＤの点滅周期Ｔｌの半周期だけずれた輝度を取得することができる。ここで、第１の撮像部１１ａと第２の撮像部１１ｂのうち、一方の撮像部の露光タイミングが、点滅光源の暗いタイミングであった場合、他方の撮像部の露光タイミングは点滅周期Ｔｌに対して半周期ずれているため、必ず明るいタイミングとなる。
【００２３】
光源認識部１６は、一方の撮像部から得られる画像は明るい光源が存在し、他方の撮像部から得られる画像は明るい光源が存在しないことを認識することにより、光源が点滅していることを認識することができる。したがって、次回以降、点滅光源が明るいタイミングに合わせて第１の撮像部１１ａおよび第２の撮像部１１ｂを同時に露光することにより、点滅光源を確実に撮像することができる。したがって、点滅光源をステレオ視することができ、点滅光源までの正確な距離情報を得ることができる。
【００２４】
点滅光源を撮像し、第１の撮像部１１ａおよび第２の撮像部１１ｂが同じ輝度で撮像されるタイミングであっても、信号機や電光式の道路標識等のＬＥＤを用いた表示機は、視認性を確保するために、先行車や路面等と比較して十分に明るい。したがって、先行車や路面を認識するために最適な露光を行った場合でも、点滅光源を十分な画素値で撮像でき、点滅していない光源（常時点灯の光源）と同様に認識することが可能となる。
【００２５】
この場合は、第１の撮像部１１ａおよび第２の撮像部１１ｂのいずれの露光タイミングに合わせても光源の認識は可能である。したがって、いずれか一方の撮像部の露光タイミングに合わせてステレオ視を行うことで、点滅光源を認識し、かつ距離情報を得ることができる。つまり、常時発光している光源を認識する場合と同様の状態となる。
【００２６】
なお、画像から光源を認識する方法としては、例えばテンプレートマッチングや色情報を用いた分類など、画像から特徴を抽出できる方法であればよく、公知の方法を用いることができる。
【００２７】
図３は、露光タイミング調整部による露光タイミングの設定方法の一例を説明するフローチャートである。露光タイミング調整部１７は、画像認識部１５の認識結果および、外部情報受信部１８から取得した情報に基づき、ステレオ視による距離データ生成を行うかを判定する。
【００２８】
まず、ステップＳ１では、画像認識部１５および光源認識部１６から認識結果情報を受信する。次に、ステップＳ２では、外部情報受信部１８から、車両ネットワーク２０に接続されている車速情報２１、ヨーレート２２、ＧＰＳ情報２３、時刻情報２４、地図データ２５などの外部情報を取得する。
【００２９】
そして、ステップＳ３では、点滅光源の点滅周期Ｔｌが１／５０秒であるか否かが判断される。撮像周期Ｔｃおよび撮像ずらし時間は、点滅光源の点滅周期に基づいて決定されるので、点滅光源の点滅周期を判断する必要がある。
【００３０】
ステップＳ３で、点滅光源の点滅周期が１／５０秒であると判断した場合には、ステップＳ４で、点滅光源の点滅周期を１／５０秒に設定し、それ以外の場合、すなわち１／５０秒ではないと判断した場合には、ステップＳ５で、点滅電源の点滅周期を１／６０秒に設定する。
【００３１】
初回は、点滅周期が不明であるため１／５０秒と１／６０秒のいずれかに設定しておく。例えば光源の画素値が、同一の撮像部で撮像される画像においてほぼ同一の値となっている場合は、撮像周期が意図した一方の点滅周期の整数倍となっており、点滅周期の設定が正しいと判断できる。
【００３２】
一方、光源の画素値が、同一の撮像部で撮像される画像において段階的に変動する場合は、光源の点滅周期が現在の設定と異なると判断し、点滅周期の設定を他方のものに切り替える。次回以降は前回の周期を設定し、同様の基準で点滅周期が異なると判定された場合に切り替えを行う。
【００３３】
点滅光源の点滅周期は、点滅光源の電源周波数に基づいて決定してもよい。商用電源の周波数は地域により決まっているため、ＧＰＳ情報や、カーナビゲーションシステムと連携して自車が走行する位置を受信し、点滅周期を決定してもよい。例えば日本の場合、東日本の電源周波数は５０Ｈｚ、西日本の電源周波数は６０Ｈｚである。したがって、ＧＰＳ情報２３や地図データ２５などの外部情報から車両の現在位置を特定することにより、点滅電源の電源周波数を認識でき、例えば電源周波数が５０Ｈｚの場合には点滅光源の点滅周期が１／５０秒、電源周波数が６０Ｈｚの場合には点滅光源の点滅周期が１／６０秒であると設定できる。
【００３４】
次に、ステップＳ６では、点滅光源の発光タイミングを推定済か否かを判定する。点滅光源の発光タイミングを推定済である場合は、ステップＳ８により点滅光源の発光タイミングに合わせて第１の撮像部１１ａおよび第２の撮像部１１ｂで同時に撮像する。この場合、第１の撮像部１１ａおよび第２の撮像部１１ｂの両方で点滅光源を確実に撮像でき、かつステレオ視により光源までの距離情報を取得することができる。
【００３５】
一方、点滅光源の発光タイミングを推定出来ていない場合は、ステップＳ７で、距離情報が必要かの判定を行う。ステレオカメラでは距離情報を取得可能であることが特徴だが、全てのフレームで距離情報が必要ではないため、状況に応じてステレオ視を行うか（露光タイミングを同時にするか）、または、露光タイミングをずらすかを、ステップＳ１で取得した認識結果および、ステップＳ２で取得した外部情報に基づいて選択する。距離情報が必要であると判定された場合には、ステップＳ８により点滅光源の発光タイミングに合わせて第１の撮像部および第２の撮像部を同時に撮像する。距離情報が必要でないと判定された場合には、ステップＳ９により、第１の撮像部と第２の撮像部の露光タイミングを所定の時間ずらして撮像する。
【００３６】
例えば、歩行者検出や先行車検出などの他のアプリケーションがステレオカメラからの距離情報を必要としている状況である場合には、点滅光源の発光タイミングの推定よりも他のアプリケーションを優先して露光タイミングを同時にして撮像する。
【００３７】
車載画像認識装置１０では、先行車や歩行者などを画像上から認識しており、その結果を画像認識部１５から取得する。先行車が一定の距離以下である場合や、歩行者や自転車が自車の進行路の近くに存在する場合には、危険を回避するため、距離情報が必要と判断する。また、ステレオ視では立体物を効果的に検出可能であるため、内部にカウンタを設けておき、周囲の環境に変動がない場合においても、一定周期でステレオ視と、露光タイミングをずらす場合を交互に繰り返してもよい。
【００３８】
地図データ２５から信号機や電光式の道路標識の位置を取得できる場合には、自車が一定距離以上接近した場合のみ露光タイミングをずらすようにしてもよい。露光に関するパラメータは、先行車や歩行者を認識するために最適なものであることが望ましいが、光源を認識することを優先すると判定する場合には、その限りでなくシャッタ開放時間を長くするなどを行ってよい。
【００３９】
上記した車載画像認識装置１０によれば、撮像部のシャッタ長や画素転送量を変えることがないため、画像認識アプリケーションの性能を損なうことなく、また光源の抽出処理は従来のままのため処理負荷を増大せず、かつハードウェアの増加がないため低コストに、点滅する光源の認識性能を向上することができる。
【００４０】
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００４１】
１０…車載画像認識装置、１１ａ…第１の撮像部、１１ｂ…第２の撮像部、１２ａ…第１の画像、１２ｂ…第２の画像、１３…距離データ生成部、１４…距離データ、１５…画像認識部、１６…光源認識部、１７…露光タイミング調整部、１８…外部情報受信部、１９ａ…第１の露光制御部、１９ｂ…第２の露光制御部、２０…車両ネットワーク、２１…車速情報、２２…ヨーレート、２３…ＧＰＳ情報、２４…時刻情報、２５…地図データ
【図１】
2015098325.tif 000003
【図２】
2015098325.tif 000004
【図３】
2015098325.tif 000005
【国際調査報告】
2015098325.tif 000006
2015098325.tif 000007