(57)【要約】【課題】車載用画像認識装置において、処理負荷を抑えてカメラの高ダイナミックレンジを確保する。【解決手段】本発明の車載用画像処理装置は、１００［ms］周期の画像更新周期で撮像対象物の画像を撮像する。画像更新周期の１周期内で約３３［ms］の画像フレームを３つ取得する。先ず、画像更新周期の１周期内で、通常の露光時間で撮像対象物を撮像した第１画像フレームを取得し、続いて、同一周期内で、通常の露光時間より短い露光時間で同一の撮像対象物を撮像した第２画像フレームを取得し、最後に、同一周期内で、通常の露光時間より長い露光時間で同一の撮像対象物を撮像した第３画像フレームを取得する。そして、取得された第１画像フレーム、第２画像フレームおよび第３画像フレームのそれぞれのコントラストをチェックし、各画像フレームの最も良好なコントラストの部分画像を選択した部分画像を合成した合成画像に基づいて画像認識する。【選択図】        図１
2009177250.tif 000002
【特許請求の範囲】
【請求項１】
車両に備えられる撮像装置によって撮像された該車両の周辺の画像に基づいて画像認識をおこなう車載用画像認識装置であって、
画像更新周期の１周期内において異なる露光時間で複数の画像を撮像するように前記撮像装置を制御する撮像処理手段と、
前記撮像処理手段による前記撮像装置の制御によって撮像された各前記複数の画像のコントラストが所定範囲内の値であるか否かを判定するコントラスト判定手段と、
前記コントラスト判定手段によって各前記複数の画像のコントラストが所定範囲内の値であると判定された各前記複数の画像の同一部分の部分画像を抽出し、該複数の画像の同一部分の部分画像から最もコントラストが大きい部分画像をそれぞれ選択する部分画像選択手段と、
前記部分画像選択手段によって選択された各前記部分画像を１つの画像へと合成する画像合成手段と、
前記画像合成手段によって合成された前記１つの画像に基づいて画像認識処理をおこなう画像認識処理手段と
を有することを特徴とする車載用画像認識装置。
【請求項２】
前記画像合成手段によって各前記複数の画像の部分画像を１つの画像へと合成する際に、各該複数の画像の部分画像のコントラストに応じた重み付け係数を格納する重み付け係数格納手段をさらに有し、
前記画像合成手段は、前記部分画像選択手段によって選択された各前記部分画像のコントラストに応じた重み付け係数を各該部分画像の画素値に乗じて各該複数の画像の部分画像を１つの画像へと合成することを特徴とする請求項１に記載の車載用画像認識装置。
【請求項３】
車両に備えられる撮像装置によって撮像された該車両の周辺の画像に基づいて画像認識をおこなう車載用画像認識装置であって、
画像更新周期の１周期内において異なる露光時間で複数の画像を撮像するように前記撮像装置を制御する撮像処理手段と、
前記撮像処理手段による前記撮像装置の制御によって撮像された各前記複数の画像のコントラストが所定範囲内の値であるか否かを判定するコントラスト判定手段と、
前記撮像装置によって撮像された画像に基づいて画像認識処理をおこなう画像認識処理手段と
を有し、
前記撮像処理手段は、前記画像更新周期の１周期内において、前記コントラスト判定手段によって前記所定の画像のコントラストが所定範囲内の値であると判定される画像が撮像されるまで前記所定の露光時間とそれぞれ異なる露光時間で画像を撮像するように前記撮像装置を制御し、
前記画像認識処理手段は、前記画像更新周期の１周期内において、前記コントラスト判定手段によってコントラストが所定範囲内の値であるとはじめて判定された画像に基づいて画像認識処理をおこなうことを特徴とする車載用画像認識装置。
【請求項４】
前記車両に備えられる車載装置から取得される情報に基づいて、前記撮像装置が前記画像更新周期の１周期内において前記異なる露光時間で複数の画像を撮像する必要性があるか否かを判定する複数画像撮像必要性判定手段をさらに有し、
前記撮像処理手段は、前記複数画像撮像必要性判定手段によって前記画像更新周期の１周期内において前記異なる露光時間で複数の画像を撮像する必要性があると判定された場合にのみ、該画像更新周期の１周期内において該異なる露光時間で複数の画像を撮像するように前記撮像装置を制御することを特徴とする請求項１、２または３に記載の車載用画像認識装置。
【請求項５】
車両に備えられる撮像装置によって撮像された該車両の周辺の画像に基づいて画像認識をおこなった結果に基づいて該車両がおかれている状況を判定する、該車両に搭載される車両制御装置と車載ネットワークを介して通信可能な車両状況判定装置であって、
画像更新周期の１周期内において異なる露光時間で複数の画像を撮像するように前記撮像装置を制御する撮像処理手段と、
前記撮像処理手段による前記撮像装置によって撮像された各前記複数の画像のコントラストが所定範囲内の値であるか否かを判定するコントラスト判定手段と、
前記コントラスト判定手段によって各前記複数の画像のコントラストが所定範囲内の値であると判定された各前記複数の画像の同一部分の部分画像を抽出し、該複数の画像の同一部分の部分画像から最もコントラストが大きい部分画像をそれぞれ選択する部分画像選択手段と、
前記部分画像選択手段によって選択された各前記部分画像を１つの画像へと合成する画像合成手段と、
前記画像合成手段によって合成された前記１つの画像に基づいて画像認識処理をおこなう画像認識処理手段と、
前記画像認識処理手段によっておこなわれた画像認識処理の結果に基づいて前記車両の周辺の状況を判定し、該判定の結果に応じて該車両の制動制御が必要である場合に前記車両制御装置へ制動制御信号を出力する車両状況判定処理手段と
を有することを特徴とする車両状況判定装置。
【請求項６】
車両に備えられる撮像装置によって撮像された該車両の周辺の画像に基づいて画像認識をおこなった結果に基づいて該車両がおかれている状況を判定する、該車両に搭載される車両制御装置と車載ネットワークを介して通信可能な車両状況判定装置であって、
画像更新周期の１周期内において異なる露光時間で複数の画像を撮像するように前記撮像装置を制御する撮像処理手段と、
前記撮像処理手段による前記撮像装置の制御によって撮像された各前記複数の画像のコントラストが所定範囲内の値であるか否かを判定するコントラスト判定手段と、
前記撮像装置によって撮像された画像に基づいて画像認識処理をおこなう画像認識処理手段と、
前記画像認識処理手段によっておこなわれた画像認識処理の結果に基づいて前記車両の周辺の状況を判定し、該判定の結果に応じて該車両の制動制御が必要である場合に前記車両制御装置へ制動制御信号を出力する車両状況判定処理手段と
を有し、
前記撮像処理手段は、前記画像更新周期の１周期内において、前記コントラスト判定手段によって前記所定の画像のコントラストが所定範囲内の値であると判定される画像が撮像されるまで前記所定の露光時間とそれぞれ異なる露光時間で画像を撮像するように前記撮像装置を制御し、
前記画像認識処理手段は、前記画像更新周期の１周期内において、前記コントラスト判定手段によってコントラストが所定範囲内の値であるとはじめて判定された画像に基づいて画像認識処理をおこなうことを特徴とする車両状況判定装置。
【請求項７】
車両に備えられる撮像装置によって撮像された該車両の周辺の画像に基づく画像認識を車載用画像認識装置がおこなう車載用画像認識方法であって、
前記車両に備えられる車載装置から取得される情報に基づいて、画像更新周期の１周期内において異なる露光時間で複数の画像を撮像する必要性があるか否かを判定する複数画像撮像必要性判定ステップと、
前記複数画像撮像必要性判定ステップによって、前記画像更新周期の１周期内において前記異なる前記露光時間で複数の画像を撮像する必要性があると判定された場合に、該画像更新周期の１周期内において該異なる露光時間で複数の画像を撮像するように前記撮像装置を制御する撮像処理ステップと、
前記撮像処理ステップによる前記撮像装置の制御によって撮像された各前記複数の画像のコントラストが所定範囲内の値であるか否かを判定するコントラスト判定ステップと、
前記コントラスト判定ステップによって各前記複数の画像のコントラストが所定範囲内の値であると判定された各前記複数の画像の同一部分の部分画像を抽出し、該複数の画像の同一部分の部分画像から最もコントラストが大きい部分画像をそれぞれ選択する部分画像選択ステップと、
前記部分画像選択ステップによって選択された各前記複数の画像の部分画像を、各前記複数の画像の部分画像のコントラストに応じた重み付け係数を各該部分画像の画素値に乗じて各該複数の画像の部分画像を１つの画像へと合成する画像合成ステップと、
前記画像合成ステップによって合成された前記１つの画像に基づいて画像認識処理をおこなう画像認識処理ステップと
を含むことを特徴とする車載用画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に備えられる撮像装置によって撮像した該車両の周辺の画像に基づいて画像認識する車載用画像認識装置および車載用画像認識方法と、車載用画像認識装置の画像認識処理結果に基づいて該車両がおかれている状況を判定する車両状況判定装置に関し、特に、露光時間が異なる画像を複数撮像し、これら複数の画像を、画像認識処理精度が高まるように１枚の画像に合成する処理を処理負荷を抑えておこない、車載用画像認識装置のカメラの高ダイナミックレンジを確保可能な車載用画像認識装置および車載用画像認識方法、および、該車両の周辺に存在する存在物への衝突を未然に自動的に回避させる車両状況判定装置に関する。
【背景技術】
【０００２】
従来から、車両内のルームミラー付近に備えられ、車両前方をカメラで撮影した画像を画像認識処理して他の車両、歩行者、道路区画線（道路上の白線や黄線）などを認識する車載用画像処理装置が知られている。車載用画像処理装置は、夜間走行時、トンネル出入り口付近走行時、逆光を受けての走行時には、カメラのダイナミックレンジが不足するため、画像の明るい部分が飽和（これを、「白とび」という）したり、画像の暗い部分が真黒（これを、「黒つぶれ」という）になったりして、正常に画像認識処理できず、他の車両、歩行者、道路区画線などの認識精度に悪影響を及ぼすという問題点があった。
【０００３】
この問題を解決するために、従来は、撮影対象の輝度値に対する出力が対数関数的に変化する（すなわち、撮影対象の輝度値が低い場合には、出力を強調し、逆に、撮影対象の輝度値が高い場合には、出力を抑制する）高ダイナミックレンジのカメラが提案されている。
【０００４】
しかし、高ダイナミックレンジのカメラは、画像の白とびや黒つぶれを抑制することは可能であるが、これと引き換えに、画像全体のコントラストの低下を招いてしまう。画像認識処理は、画像のコントラスト差に特徴がある部分を抽出することによっておこなうので、コントラストの低下は、やはり、画像認識処理の認識精度に悪影響を及ぼしてしまう。
【０００５】
また、複数の異なるシャッタ時間による画像を、白とびや黒つぶれの部分を除去するように合成した画像を撮影可能なカメラも提案されている。しかし、この場合、複数の画像を合成した境界線が発生するが、該境界線が画像認識処理の認識精度に悪影響を与えるおそれがあった。また、該境界線を除去するために画像補正処理をおこなったとしても、該画像補正処理によって処理負荷が大きくなるという問題もあった。
【０００６】
そこで、このような問題を解決するために、例えば、特許文献１に開示されるように、異なるシャッタ速度で撮影した複数の画像を、画像の複数のエリアごとに最適な画素値の画像を抽出して１枚の画像に合成することによって、高ダイナミックレンジに対応した画像を撮像することが可能な撮像装置が提案されている。
【０００７】
また、特許文献２に開示されるように、露光量の異なる複数の画像を撮像し、該露光量の異なる複数の画像それぞれを縦方向に伸張し、この伸張後の各画像の信号レベルを平均化した後に１枚の画像に合成することによって、より鮮明な画像を撮影することが可能な撮像システムが提案されている。
【０００８】
また、特許文献３に開示されるように、車両に備えられる、それぞれ露光時間の異なる複数のカメラによって撮像された画像を１枚の画像に合成することによって、コントラストの大きい状況下でも撮像対象の鮮明な画像を撮影することが可能な車載カメラシステムが提案されている。
【０００９】
また、特許文献４に開示されるように、互いに異なる露光時間で複数の画像を撮影し、該画像を被写体の動きが異なる領域に分割し、各領域において、被写体の動きが大きいほど露光時間がより短い画像を選択し、被写体の動きが小さいほど露光時間がより長い画像を選択して各領域を連結して１枚の画像を合成することによって、移動する車両などから画像を撮影した場合であっても品質の高い画像を得ることが可能な撮像装置が提案されている。
【００１０】
【特許文献１】特開２００３−２５００９４号公報
【特許文献２】特開２００４−４８３４５号公報
【特許文献３】特開２０００−２１７１００号公報
【特許文献４】特開２００６−２４５９０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記特許文献１〜３に代表される従来技術では、異なるシャッタ速度で撮像した複数の画像を撮像し、これらの複数の画像を１枚の画像に合成する処理を常時おこなうことは、カメラの高ダイナミックレンジは確保できる。しかし、特に、車載用画像認識装置は、車両の移動、時刻の変化、天候などに応じて、車両の前景がめまぐるしく変化する。このため、車載用画像認識装置は、常に高ダイナミックレンジが必要とされる状況であるとは限らず、高ダイナミックレンジが必要とされない状況では、無駄な処理をおこなうこととなり、処理負荷が負担となるという問題があった。
【００１２】
なお、上記特許文献４に代表される従来技術では、移動する車両などから画像を撮影した場合であっても品質の高い画像を得ることが可能であっても、カメラの高ダイナミックレンジを確保するものではなく、撮影した画像を使用した画像認識処理の認識精度の向上に資するものではない。
【００１３】
本発明は、上記問題点（課題）を解消するためになされたものであって、車載用画像認識装置において、露光時間が異なる画像を複数撮影し、これら複数の画像を、画像認識処理精度が高まるように１枚の画像に合成する処理を処理負荷を抑えておこない、車載用画像認識装置のカメラの高ダイナミックレンジを確保可能な車載用画像認識装置、車両状況判定装置および車載用画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した問題を解決し、目的を達成するため、本発明は、車両に備えられる撮像装置によって撮像された該車両の周辺の画像に基づいて画像認識をおこなう車載用画像認識装置であって、画像更新周期の１周期内において異なる露光時間で複数の画像を撮像するように前記撮像装置を制御する撮像処理手段と、前記撮像処理手段による前記撮像装置の制御によって撮像された各前記複数の画像のコントラストが所定範囲内の値であるか否かを判定するコントラスト判定手段と、前記コントラスト判定手段によって各前記複数の画像のコントラストが所定範囲内の値であると判定された各前記複数の画像の同一部分の部分画像を抽出し、該複数の画像の同一部分の部分画像から最もコントラストが大きい部分画像をそれぞれ選択する部分画像選択手段と、前記部分画像選択手段によって選択された各前記部分画像を１つの画像へと合成する画像合成手段と、前記画像合成手段によって合成された前記１つの画像に基づいて画像認識処理をおこなう画像認識処理手段とを有することを特徴とする。
【００１５】
また、本発明は、上記発明において、前記画像合成手段によって各前記複数の画像の部分画像を１つの画像へと合成する際に、各該複数の画像の部分画像のコントラストに応じた重み付け係数を格納する重み付け係数格納手段をさらに有し、前記画像合成手段は、前記部分画像選択手段によって選択された各前記部分画像のコントラストに応じた重み付け係数を各該部分画像の画素値に乗じて各該複数の画像の部分画像を１つの画像へと合成することを特徴とする。
【００１６】
また、本発明は、車両に備えられる撮像装置によって撮像された該車両の周辺の画像に基づいて画像認識をおこなう車載用画像認識装置であって、画像更新周期の１周期内において異なる露光時間で複数の画像を撮像するように前記撮像装置を制御する撮像処理手段と、前記撮像処理手段による前記撮像装置の制御によって撮像された各前記複数の画像のコントラストが所定範囲内の値であるか否かを判定するコントラスト判定手段と、前記撮像装置によって撮像された画像に基づいて画像認識処理をおこなう画像認識処理手段とを有し、前記撮像処理手段は、前記画像更新周期の１周期内において、前記コントラスト判定手段によって前記所定の画像のコントラストが所定範囲内の値であると判定される画像が撮像されるまで前記所定の露光時間とそれぞれ異なる露光時間で画像を撮像するように前記撮像装置を制御し、前記画像認識処理手段は、前記画像更新周期の１周期内において、前記コントラスト判定手段によってコントラストが所定範囲内の値であるとはじめて判定された画像に基づいて画像認識処理をおこなうことを特徴とする。
【００１７】
また、本発明は、上記発明において、前記車両に備えられる車載装置から取得される情報に基づいて、前記撮像装置が前記画像更新周期の１周期内において前記異なる露光時間で複数の画像を撮像する必要性があるか否かを判定する複数画像撮像必要性判定手段をさらに有し、前記撮像処理手段は、前記複数画像撮像必要性判定手段によって前記画像更新周期の１周期内において前記異なる露光時間で複数の画像を撮像する必要性があると判定された場合にのみ、該画像更新周期の１周期内において該異なる露光時間で複数の画像を撮像するように前記撮像装置を制御することを特徴とする。
【００１８】
また、本発明は、車両に備えられる撮像装置によって撮像された該車両の周辺の画像に基づいて画像認識をおこなった結果に基づいて該車両がおかれている状況を判定する、該車両に搭載される車両制御装置と車載ネットワークを介して通信可能な車両状況判定装置であって、画像更新周期の１周期内において異なる露光時間で複数の画像を撮像するように前記撮像装置を制御する撮像処理手段と、前記撮像処理手段による前記撮像装置によって撮像された各前記複数の画像のコントラストが所定範囲内の値であるか否かを判定するコントラスト判定手段と、前記コントラスト判定手段によって各前記複数の画像のコントラストが所定範囲内の値であると判定された各前記複数の画像の同一部分の部分画像を抽出し、該複数の画像の同一部分の部分画像から最もコントラストが大きい部分画像をそれぞれ選択する部分画像選択手段と、前記部分画像選択手段によって選択された各前記部分画像を１つの画像へと合成する画像合成手段と、前記画像合成手段によって合成された前記１つの画像に基づいて画像認識処理をおこなう画像認識処理手段と、前記画像認識処理手段によっておこなわれた画像認識処理の結果に基づいて前記車両の周辺の状況を判定し、該判定の結果に応じて該車両の制動制御が必要である場合に前記車両制御装置へ制動制御信号を出力する車両状況判定処理手段とを有することを特徴とする。
【００１９】
また、本発明は、車両に備えられる撮像装置によって撮像された該車両の周辺の画像に基づいて画像認識をおこなった結果に基づいて該車両がおかれている状況を判定する、該車両に搭載される車両制御装置と車載ネットワークを介して通信可能な車両状況判定装置であって、画像更新周期の１周期内において異なる露光時間で複数の画像を撮像するように前記撮像装置を制御する撮像処理手段と、前記撮像処理手段による前記撮像装置の制御によって撮像された各前記複数の画像のコントラストが所定範囲内の値であるか否かを判定するコントラスト判定手段と、前記撮像装置によって撮像された画像に基づいて画像認識処理をおこなう画像認識処理手段と、前記画像認識処理手段によっておこなわれた画像認識処理の結果に基づいて前記車両の周辺の状況を判定し、該判定の結果に応じて該車両の制動制御が必要である場合に前記車両制御装置へ制動制御信号を出力する車両状況判定処理手段とを有し、前記撮像処理手段は、前記画像更新周期の１周期内において、前記コントラスト判定手段によって前記所定の画像のコントラストが所定範囲内の値であると判定される画像が撮像されるまで前記所定の露光時間とそれぞれ異なる露光時間で画像を撮像するように前記撮像装置を制御し、前記画像認識処理手段は、前記画像更新周期の１周期内において、前記コントラスト判定手段によってコントラストが所定範囲内の値であるとはじめて判定された画像に基づいて画像認識処理をおこなうことを特徴とする。
【００２０】
また、本発明は、車両に備えられる撮像装置によって撮像された該車両の周辺の画像に基づく画像認識を車載用画像認識装置がおこなう車載用画像認識方法であって、前記車両に備えられる車載装置から取得される情報に基づいて、画像更新周期の１周期内において異なる露光時間で複数の画像を撮像する必要性があるか否かを判定する複数画像撮像必要性判定ステップと、前記複数画像撮像必要性判定ステップによって、前記画像更新周期の１周期内において前記異なる前記露光時間で複数の画像を撮像する必要性があると判定された場合に、該画像更新周期の１周期内において該異なる露光時間で複数の画像を撮像するように前記撮像装置を制御する撮像処理ステップと、前記撮像処理ステップによる前記撮像装置の制御によって撮像された各前記複数の画像のコントラストが所定範囲内の値であるか否かを判定するコントラスト判定ステップと、前記コントラスト判定ステップによって各前記複数の画像のコントラストが所定範囲内の値であると判定された各前記複数の画像の同一部分の部分画像を抽出し、該複数の画像の同一部分の部分画像から最もコントラストが大きい部分画像をそれぞれ選択する部分画像選択ステップと、前記部分画像選択ステップによって選択された各前記複数の画像の部分画像を、各前記複数の画像の部分画像のコントラストに応じた重み付け係数を各該部分画像の画素値に乗じて各該複数の画像の部分画像を１つの画像へと合成する画像合成ステップと、前記画像合成ステップによって合成された前記１つの画像に基づいて画像認識処理をおこなう画像認識処理ステップとを含むことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、画像更新周期の１周期内において異なる露光時間撮像された複数の画像のコントラストが所定範囲内の部分画像のうち最もコントラストが大きい部分画像が選択されて１つの画像へと合成された画像に基づいて画像認識処理をおこなうので、中間色の階調が失われ、粗い画像になってしまうおそれコントラストが大きい画像および暗い部分と明るい部分との階調が平均化され、不鮮明な画像になるコントラストが小さい画像を処理対象外とし、処理負荷の軽減を図りつつ、画像認識の精度を向上させるという効果を奏する。
【００２２】
また、本発明によれば、画像更新周期の１周期内において異なる露光時間撮像された複数の画像のコントラストが所定範囲内の部分画像が、各該部分画像のコントラストに応じた重み付け係数が画素値に乗じられて１つの画像へと合成されるので、合成された画像のコントラストを向上させ、より画像認識に適した画像を得ることが可能になるという効果を奏する。
【００２３】
また、本発明によれば、画像更新周期の１周期内において、所定回数を限度として、コントラストが所定範囲内の値となって画像認識処理に適したコントラストの画像が撮像されるまで露光時間を変化させて画像を撮像し、画像認識処理に適したコントラストの画像が撮像されると、以後は画像の撮像をおこなわず、画像認識処理に適したコントラストの画像に基づいて画像認識処理をおこなうので、処理負荷を軽減して、より画像認識に適した画像を得ることが可能になるという効果を奏する。
【００２４】
また、本発明によれば、画像更新周期の１周期内において異なる露光時間で複数の画像を撮像する必要性がある場合にのみ該画像更新周期の１周期内において該異なる露光時間で複数の画像を撮像するので、処理条件を限定して、無駄な処理を省くという効果を奏する。具体的には、例えば、車両の現在位置情報と、現在時刻とに基づいて、車両がトンネル内やトンネル出入口付近に位置すること、または、現在時刻が逆光を受けやすい夕方の時間帯であることに基づいて、画像更新周期の１周期内において異なる露光時間で複数の画像を撮像する必要性があると判定し、該画像更新周期の１周期内において該異なる露光時間で複数の画像を撮像するので、処理条件を限定して、無駄な処理を省くという効果を奏する。
【００２５】
また、本発明によれば、画像認識処理の結果に基づいて車両の周辺の状況を判定し、該判定の結果に応じて該車両の制動制御が必要である場合に車両制御装置へ制動制御信号を出力するので、該車両制御装置は自動的に制動制御をおこなうこととなり、該車両の周辺の存在物への衝突を自動的に回避し、事故発生を未然に防止することが可能になるという効果を奏する。
【発明を実施するための最良の形態】
【００２６】
以下に添付図面を参照し、本発明の車載用画像認識装置、車両状況判定装置および車載用画像認識方法にかかる実施例１および実施例２を詳細に説明する。なお、以下の実施例１および実施例２で示す車載用画像認識装置および車載用画像認識方法は、車両に搭載される画像認識装置であるが、これに限定されず、本発明は、一般的な画像認識装置および車載用画像認識方法に広く適用可能である。
【００２７】
先ず、実施例１および実施例２の説明に先立ち、本発明の概要および特徴を説明する。図１は、本発明の概要および特徴を示す図である。同図に示すように、例えば、車載用画像処理装置は、１００［ms］周期の画像更新周期で撮像対象物の画像を撮像する。この画像更新周期を３等分して、画像更新周期の１周期内で約３３［ms］の画像フレームを３つ取得する。
【００２８】
先ず、車載用画像処理装置は、画像更新周期の１周期内で、通常の露光時間で撮像対象物を撮像した第１画像フレームを取得する。続いて、車載用画像処理装置は、前述の画像更新周期の同一周期内で、通常の露光時間より短い露光時間で同一の撮像対象物を撮像した第２画像フレームを取得する。最後に、車載用画像処理装置は、前述の画像更新周期の同一周期内で、通常の露光時間より長い露光時間で同一の撮像対象物を撮像した第３画像フレームを取得する。なお、露光時間を変えて複数の画像フレームを取得することを、「可変露光時間画像フレーム取得」と呼ぶ。
【００２９】
そして、車載用画像処理装置は、取得された第１画像フレーム、第２画像フレームおよび第３画像フレームのそれぞれのコントラストをチェックし、各画像フレームの最も良好なコントラストの部分画像を選択し、選択されたそれぞれの部分画像を合成した合成画像に基づいて画像認識する、または最も良好なコントラストの画像フレームを選択して画像認識する。
【００３０】
このように、露光時間を変えて取得した複数の画像フレームに基づいて画像認識処理をおこなうことによって、「白とび」や「黒つぶれ」のない、良好なコントラストを有する画像に基づいて画像認識処理をおこない、画像認識の精度を向上させることができる。
【００３１】
なお、以下の実施例１および実施例２では、画像更新周期を１００[ms]とし、画像更新周期を３つに等分に分割して画像更新周期の１周期内で３つの画像フレームを取得する場合を示す。しかし、これに限定されず、任意に設定変更可能であるとしてもよい。
【実施例１】
【００３２】
以下に実施例１にかかる車載用画像処理装置および車両状況判定装置の構成について説明する。図２は、実施例１にかかる車載用画像処理装置および車両状況判定装置の構成を示す機能ブロック図である。同図に示すように、実施例１にかかる車載用画像認識装置１０ａおよび車両状況判定装置２０ａは、車両１において、ＣＡＮ（Controller  Area  Network）などの車載ネットワーク１００を介して、車載用画像認識装置１０ａへカーナビゲーション情報、日付情報、時刻情報などを受け渡すカーナビゲーション装置２０と、車両１が備える電子機器を制御する車両制御ＥＣＵ（Electronic  Control  Unit）装置３０と通信可能に接続されている。
【００３３】
なお、車両制御ＥＣＵ装置３０によって、警報装置３０ａと、ブレーキ制御装置３０ｂと、発動機制御装置３０ｃと、シートベルト制御装置３０ｄとが制御される。警報装置３０ａは、車両制御ＥＣＵ装置３０の指示に応じて、車両１の外部および／または車両１の運転者へ向けて警報音を出力する。
【００３４】
ブレーキ制御装置３０ｂは、車両制御ＥＣＵ装置３０の指示に応じて、ブレーキ油圧を高めて車両１のブレーキ制御装置を制御して車両１の走行を制動する。発動機制御装置３０ｃは、車両制御ＥＣＵ装置３０の指示に応じて、車両１の発動機への燃料またはエネルギーの供給を抑制する。シートベルト制御装置３０ｄは、車両制御ＥＣＵ装置３０の指示に応じて、車両１の使用中のシートベルトをロックする。
【００３５】
車載用画像認識装置１０ａには、撮像装置であるイメージセンサ部１７が接続されている。このイメージセンサ部１７は、光学レンズ１７ａと、シャッタ部１７ｂと、ＣＭＯＳセンサ１７ｃとを含んで構成される。イメージセンサ部１７のＣＭＯＳセンサ１７ｃは、光学レンズ１７ａおよびシャッタ部１７ｂを介して、撮像対象物の画像を取得し、画像データに変換して車載用画像認識装置１０ａへと受け渡す。さらに、車載用画像認識装置１０ａには、ディスプレイ装置などの表示部１８が接続されている。なお、シャッタ部１７ｂは、画像フレーム取得処理部１１ｄの制御を受け、ＣＭＯＳセンサ１７ｃへの露光時間を制御する。
【００３６】
車載用画像認識装置１０ａは、制御部１１と、記憶部１２と、イメージセンサ部１７から画像データを受け渡されるためのインターフェースであるイメージセンサインターフェース部１３と、表示部１８に表示させる画像の画像データを該表示部１８に受け渡すためのインターフェースである表示出力インターフェース部１４とを有する。
【００３７】
制御部１１は、車載用画像認識装置１０ａの全体制御をつかさどるマイクロ・コンピュータなどの制御装置であり、特に、実施例１に密接に関係する構成要素としては、撮像処理部１１ａと、時刻判定処理部１１ｂと、自車位置判定処理部１１ｃと、画像フレーム取得処理部１１ｄと、画像コントラスト判定処理部１１ｅと、部分画像選択処理部１１ｆと、部分画像合成処理部１１ｇと、画像認識処理部１１ｈとを有する。
【００３８】
記憶部１２は、イメージセンサ部１７によって撮像された画像フレームの画像データを展開する画像メモリである画像バッファ１２ａと、車載用画像認識装置１０ａの動作を規定するパラメータである設定値を格納する設定値格納領域１２ｂと、部分画像合成処理部１１ｇが後述するように部分画像を合成して１つの画像を生成する際に各部分画像の画素値にそれぞれ乗算する合成重み付け係数を格納する合成重み付け係数格納領域１２ｃと、画像認識処理部１１ｈが後述するように画像認識をおこなう際に使用する画像認識パターンデータを格納する画像認識パターンデータ格納領域１２ｄとを含む。
【００３９】
なお、設定値格納領域１２ｂには、図３に示す設定値格納テーブルが格納される。同図に示すように、設定値格納テーブルは、「設定項目」のカラムと、「設定値」のカラムとを有する。「設定項目」には、「画像更新周期」、「画像更新周期分割数」、「通常の露光時間」、「短い露光時間」、「長い露光時間」、「画像コントラスト上限値」、「画像コントラスト下限値」がある。
【００４０】
「画像更新周期」は、イメージセンサ部１７が１つの画像を撮像するために必要な時間である。図３では、「画像更新周期」の「設定値」として、“１００［ms］”が格納されている。「画像更新周期分割数」は、画像更新周期を等分に分割する分割数である。図３では、「画像更新周期分割数」の「設定値」として、“３”が格納されている。
【００４１】
「通常の露光時間」は、イメージセンサ部１７が画像を撮像する際の標準的な露光時間である。図３では、「通常の露光時間」の「設定値」として、“ｘ［s］”が格納されている。「短い露光時間」、は、イメージセンサ部１７が画像を撮像する際の、「標準的な露光時間」より短い露光時間である。図３では、「短い露光時間」の「設定値」として、“ｙ［s］”が格納されている。「長い露光時間」、は、イメージセンサ部１７が画像を撮像する際の、「標準的な露光時間」より長い露光時間である。図３では、「長い露光時間」の「設定値」として、“ｚ［s］”が格納されている。なお、当然に、ｙ［s］＜ｘ［s］＜ｚ［s］の大小関係が成り立つ。
【００４２】
「画像コントラスト上限値」は、画像認識処理で許容される画像のコントラストの上限値である。コントラストとは、同一画像内における画素値（または輝度値）の最大値と最小値との差であるので、コントラストが大きいほど、明るい部分はより明るく、黒い部分はより黒く表現され、鮮明な画像となる。反面、中間色の階調が失われ、粗い画像になってしまうおそれがある。このため、画像認識処理で許容される画像のコントラストの上限値を設定しておくのである。図３では、「画像コントラスト上限値」の「設定値」として、“ａ０”が格納されている。
【００４３】
「画像コントラスト下限値」は、画像認識処理で許容される画像のコントラストの下限値である。コントラストが小さすぎると、暗い部分と明るい部分との階調が平均化され、不鮮明な画像になってしまうおそれがある。このため、画像認識処理で許容される画像のコントラストの下限値を設定しておくのである。図３では、「画像コントラスト下限値」の「設定値」として、“ｂ”が格納されている。なお、当然に、ｂ＜ａ０の大小関係が成り立つ。
【００４４】
なお、設定値格納テーブルに格納される各設定値は、イメージセンサ部１７および車載用画像認識装置１０ａの性能に応じてカスタマイズ可能である。各設定値をカスタマイズすることによって、車載用画像認識装置１０ａの画像認識性能を最大限発揮させることが可能になる場合がある。
【００４５】
また、合成重み付け係数格納領域１２ｃには、図４に示す合成重み付け係数格納テーブルが格納される。同図に示すように、合成重み付け係数格納テーブルは、「コントラスト上限値」と、「コントラスト下限値」と、「重み付け係数」とのカラムを有する。合成重み付け係数格納テーブルでは、「コントラスト上限値」および「コントラスト下限値」で決まるコントラストの範囲に、１つの「重み付け係数」が対応付けられている。
【００４６】
例えば、「コントラスト上限値」および「コントラスト下限値」が“ａ０”および“ａ１”の場合には、「重み付け係数」として“α０”が対応付けられている。同様にして、『「コントラスト上限値」、「コントラスト下限値」、「重み付け係数」』の組み合わせは、『“ａ１”、“ａ２”、“α１”』、『“ａ２”、“ａ３”、“α２”』、・・・、『“ａｎ”、“ｂ”、“αｎ”』となる。なお、当然に、ｂ＜ａｎ＜・・・＜ａ３＜ａ２＜ａ１＜ａ０の大小関係が成り立つ。ａ０およびｂは、設定値格納テーブルに設定されている「画像コントラスト上限値」および「画像コントラスト下限値」の「設定値」と同一である。
【００４７】
例えば、画像フレーム取得処理部１１ｄによって取得された複数の画像フレームの同一部分画像のうち、最もコントラストが高い部分画像を有する画像フレームのコントラストがａ（ただし、ａ１≦ａ＜ａ２）であった場合に、部分画像合成処理部１１ｇによってすべての部分画像が１つの画像へと合成される際に、コントラストがａである部分画像の全画素値にα１が乗じられた上で１つの画像へと合成される。このようにすると、メリハリのある鮮明な画像を合成することが可能になる。
【００４８】
なお、“α０”、“α１”、“α２”、・・・、“αｎ”は、画像認識処理に最適な画像を合成するための所定の適合値である。“α０”、“α１”、“α２”、・・・、“αｎ”は、画像認識処理により最適な画像を合成するために適宜変更可能である。また、ｂ＜ａｎ＜・・・＜ａ３＜ａ２＜ａ１＜ａ０の大小関係を維持する限りにおいて、ａ１、ａ２、ａ３、・・・、ａｎは、画像認識処理に最適な画像を合成するために適宜変更可能である。
【００４９】
また、画像認識パターンデータ格納領域１２ｄには、図５に示す画像認識パターンデータテーブルが格納される。同図に示すように、画像認識パターンデータテーブルは、「画像認識対象名」と、「画像認識パターンデータ」とのカラムを有する。「画像認識対象名」に「画像認識パターンデータ」が対応付けられている。例えば、「画像認識対象名」が“白線”である場合には、「画像認識パターンデータ」として“白線画像認識パターンデータ”が対応付けられている。
【００５０】
制御部１１の説明に戻ると、撮像処理部１１ａは、画像更新周期の１周期内において異なる露光時間で複数の画像を撮像するようにイメージセンサ部１７を制御する。
【００５１】
時刻判定処理部１１ｂは、カーナビゲーション装置２０もしくはその他の装置から取得される時刻情報または車載用画像認識装置１０ａのシステム時刻（以下、時刻情報およびシステム時刻を、現在時刻と呼ぶ）が、「夕方」や「夜間」など、車載用画像認識装置１０ａによる画像認識の精度が低下すると予想される時間帯であるか否かを判定する。
【００５２】
例えば、「夕方」であれば、逆光によってイメージセンサ部１７が撮像した画像の質が低下し、画像認識の精度が低下する。また、「夜間」であれば、イメージセンサ部１７が撮像した画像に「黒つぶれ」が発生しやすく、同様に画像認識の精度が低下する。時刻判定処理部１１ｂは、現在時刻が、車載用画像認識装置１０ａによる画像認識の精度が低下すると予想される時間帯であると判定すると、画像フレーム取得処理部１１ｄに対して、可変露光時間画像フレーム取得を指示する可変露光時間画像フレーム取得信号を出力する。
【００５３】
自車位置判定処理部１１ｃは、カーナビゲーション装置２０から取得される車両１の現在位置が、トンネル内、トンネル出入口付近など車両１の周囲が暗いとされる位置にあるか否かを判定する。自車位置判定処理部１１ｃは、車両１の現在位置が、周囲が暗いとされる位置にあると判定すると、画像フレーム取得処理部１１ｄに対して、可変露光時間画像フレーム取得を指示する可変露光時間画像フレーム取得信号を出力する。
【００５４】
画像フレーム取得処理部１１ｄは、設定値格納領域１２ｂに格納される設定値格納テーブルに設定されている「画像更新周期」、「画像更新周期分割数」、「通常の露光時間」、「短い露光時間」、「長い露光時間」に基づいて、イメージセンサ部１７から画像更新周期の1周期内に「通常の露光時間」に基づく画像フレーム、「短い露光時間」に基づく画像フレーム、「長い露光時間」に基づく画像フレームの画像データを取得し、記憶部１２の画像バッファ１２ａに展開する。
【００５５】
画像コントラスト判定処理部１１ｅは、画像フレーム取得処理部１１ｄによって取得され、画像バッファ１２ａに展開された「通常の露光時間」に基づく画像フレーム、「短い露光時間」に基づく画像フレーム、「長い露光時間」に基づく画像フレームの画像データのそれぞれのコントラストを判定するとともに、該コントラストが「画像コントラスト上限値」と「画像コントラスト下限値」とで決まる範囲内であるか否かを判定する。
【００５６】
部分画像選択処理部１１ｆは、複数の画像フレームのうち、コントラストが「画像コントラスト上限値」と「画像コントラスト下限値」とで決まる範囲内である同一部分画像であって、「通常の露光時間」に基づく画像フレームの部分画像、「短い露光時間」に基づく画像フレームの部分画像、「長い露光時間」に基づく画像フレームの部分画像のなかで最もコントラストが大きい部分画像を選択する。
【００５７】
部分画像合成処理部１１ｇは、部分画像選択処理部１１ｆによって選択された部分画像を１つの画像へと合成する処理をおこなう。部分画像合成処理部１１ｇは、合成重み付け係数格納領域１２ｃに格納される合成重み付け係数格納テーブルの各コントラストに応じた重み付け係数を、部分画像選択処理部１１ｆによって選択された各部分画像の画素値に乗じて１つの画像へと合成する。
【００５８】
このように、部分画像合成処理部１１ｇによって合成された画像は、「白とび」も「黒つぶれ」もなく、適切なコントラストである画像となり、該画像に基づく画像認識処理の認識精度が向上する。また、部分画像選択処理部１１ｆによって選択された各部分画像の画素値に各コントラストに応じた重み付け係数を乗じることによって、メリハリのある鮮明な画像を合成することが可能になる。
【００５９】
画像認識処理部１１ｈは、部分画像合成処理部１１ｇによって合成された画像と、画像認識パターンデータ格納領域１２ｄに格納される画像認識パターンデータテーブルに記憶される画像認識パターンデータとに基づいて、車両１の前方を走行する他の車両、道路区画線、歩行者などの画像認識処理をおこなう。
【００６０】
具体的には、部分画像合成処理部１１ｇによって合成された画像内の少なくとも一部に写し出されている物体の画像データと、画像認識パターンデータとのパターンマッチングをおこない、一致率が所定値（例えば８０％）以上である場合に、該物体が何であるかを特定する。さらに、画像認識処理部１１ｈは、画像認識処理結果を、表示出力インターフェース部１４を介して表示部１８に表示させる。また、該画像認識処理結果を、後述の車両状況判定処理部１５へと受け渡す。
【００６１】
さらに、車両状況判定装置２０ａは、上記した車載用画像認識装置１０ａと、車両状況判定処理部１５と、車載ネットワーク１００を介した他の車載装置との通信のためのインターフェースである車載ネットワーク入出力インターフェース部１６とを有する。
【００６２】
車両状況判定処理部１５は、マイクロ・コンピュータなどの制御装置である。車両状況判定処理部１５は、車載用画像認識装置１０ａの画像認識処理部１１ｈから受け渡された画像認識処理結果に基づき、車両１の前方の近距離に、衝突危険性が高い他の車両や歩行者が存在するか否かを判定する。車両１の前方の至近距離に、衝突危険性が高い他の車両や歩行者が存在すると判定した場合には、車載ネットワーク入出力インターフェース部１６を介して、車両制御ＥＣＵ装置３０に対して、警報装置３０ａの出力制御、ブレーキ制御装置３０ｂの制動制御、発動機制御装置３０ｃの燃料またはエネルギー供給抑制制御、シートベルト制御装置３０ｄのシートベルトロック制御を指示する安全確保信号を出力する。
【００６３】
車両状況判定装置２０ａの車両状況判定処理部１５が、車両制御ＥＣＵ装置３０に対して、安全確保信号を出力することによって、車両制御ＥＣＵ装置３０は、自動的に車両１の制動制御をおこなうこととなり、車両１の前方の至近距離に存在する衝突危険性が高い他の車両や歩行者への衝突を自動的に回避し、事故発生を未然に防止することが可能になる。
【００６４】
次に、図２に示した実施例１にかかる車載用画像認識装置１０ａで実行される画像認識処理について説明する。図６は、実施例１にかかる車載用画像認識装置１０ａで実行される画像認識処理手順を示すフローチャートである。
【００６５】
同図に示すように、先ず、時刻判定処理部１１ｂは、時刻は夕方などの逆光を受けやすい時間帯または夜などの暗い時間帯であるか否かを判定する（ステップＳ１０１）。時刻は夕方などの逆光を受けやすい時間帯または夜などの暗い時間帯であると判定された場合に（ステップＳ１０１肯定）、ステップＳ１０２へ移り、時刻は夕方などの逆光を受けやすい時間帯または夜などの暗い時間帯であると判定されなかった場合に（ステップＳ１０１否定）、ステップＳ１１１へ移る。
【００６６】
ステップＳ１０２では、自車位置判定処理部１１ｃは、カーナビゲーション装置２０から取得される自車の位置情報が、トンネルなどの暗い位置であるか否かを判定する。カーナビゲーション装置２０は、地図データベースを有しているので、該地図データベースに格納される地図情報に基づいて、自車の位置情報が、トンネルなどの暗い位置であるか否かを判定することが可能である。
【００６７】
カーナビゲーション装置２０から取得される自車の位置情報が、トンネルなどの暗い位置であると判定された場合に（ステップＳ１０２肯定）、ステップＳ１０３へ移り、カーナビゲーション装置２０から取得される自車の位置情報が、トンネルなどの暗い位置であると判定されなかった場合に（ステップＳ１０２否定）、ステップＳ１１１へ移る。
【００６８】
続いて、ステップＳ１０３では、画像フレーム取得処理部１１ｄは、「通常の露光時間」で第１画像フレームを取得する。続いて、画像コントラスト判定処理部１１ｅは、第１画像フレームの画像からコントラストが所定範囲内（すなわち、「画像コントラスト上限値」と「画像コントラスト下限値」とで決まる範囲内）の部分画像を抽出するとともに、該部分画像のコントラストを算出する（ステップＳ１０４）。
【００６９】
続いて、画像フレーム取得処理部１１ｄは、「短い露光時間」で第２画像フレームを取得する（ステップＳ１０５）。続いて、画像コントラスト判定処理部１１ｅは、第２画像フレームの画像からコントラストが所定範囲内（すなわち、「画像コントラスト上限値」と「画像コントラスト下限値」とで決まる範囲内）の部分画像を抽出するとともに、該部分画像のコントラストを算出する（ステップＳ１０６）。
【００７０】
続いて、画像フレーム取得処理部１１ｄは、「長い露光時間」で第３画像フレームを取得する（ステップＳ１０７）。続いて、画像コントラスト判定処理部１１ｅは、第３画像フレームの画像からコントラストが所定範囲内（すなわち、「画像コントラスト上限値」と「画像コントラスト下限値」とで決まる範囲内）の部分画像を抽出するとともに、該部分画像のコントラストを算出する（ステップＳ１０８）。
【００７１】
続いて、部分画像選択処理部１１ｆは、ステップＳ１０４、ステップＳ１０６、ステップＳ１０８の各処理で抽出された画像の同一部分画像において、最もコントラストが大きい部分画像を選択する。そして、画像内のすべての部分画像について、ステップＳ１０４、ステップＳ１０６、ステップＳ１０８の各処理で抽出された部分画像のうち、最もコントラストが大きい部分画像を選択する。そして、部分画像合成処理部１１ｇは、第１画像フレーム、第２画像フレーム、第３画像フレームのそれぞれの画像から選択された部分画像を、コントラスト値に基づく所定の重み付けにより合成する（以上、ステップＳ１０９）。
【００７２】
続いて、画像認識処理部１１ｈは、部分画像合成処理部１１ｇによって合成された画像を使用して画像認識処理をおこなう（ステップＳ１１０）。この処理が終了すると、実施例１の画像認識処理は終了する。そして、画像認識処理部１１ｈは、画像認識処理結果を、表示出力インターフェース部１４を介して表示部１８に表示させるとともに、車両状況判定装置２０ａの車両状況判定処理部１５へと受け渡す。
【００７３】
一方、ステップＳ１１１では、ステップＳ１０３と同様に、画像フレーム取得処理部１１ｄは、「通常の露光時間」で第１画像フレームを取得する。続いて、画像認識処理部１１ｈは、該第１画像フレームの画像を使用して画像認識処理をおこなう（ステップＳ１１２）。この処理が終了すると、実施例１の画像認識処理は終了する。
【００７４】
以上の実施例１の画像認識処理によれば、時刻は夕方などの逆光を受けやすい時間帯または夜などの暗い時間帯である場合に、または、自車の位置情報が、トンネル内などの暗い位置、トンネル出入口など「白とび」や「黒つぶれ」が発生しやすい位置である場合に、可変露光時間画像フレーム取得をおこなわないので、不要な処理を省き、車載用画像認識装置１０ａの処理負荷の軽減を図ることができる。
【００７５】
次に、実施例１にかかる車載用画像認識装置で可変露光時間画像フレーム取得をおこなった場合の画像例について説明する。図７−１〜図７−４は、実施例１にかかる車載用画像認識装置で可変露光時間画像フレーム取得をおこなった場合の画像例を示す図である。
【００７６】
先ず、図７−１は、車載用画像認識装置１０ａで、［通常の露光時間］で撮像したトンネル出口付近の画像の例を示す図である。同図に示すように、トンネル内照明、トンネル内白線は、鮮明に撮像されており、画像認識可能なレベルである。しかし、前方車両Ａおよび前方車両Ｂは、テールランプのみしか撮像されておらず、画像認識可能なレベルではない。また、トンネル出口から外の部分は、「白とび」が発生しており、画像認識不可能である。したがって、図７−１に示す画像では、トンネル出口から外ではコントラストが過剰であり、トンネル内部でコントラストが不足している部分があるため、画像認識処理には不適切な画像である。
【００７７】
次に、車載用画像認識装置１０ａで、［短い露光時間］でトンネル出口付近の画像を撮像する。図７−２は、車載用画像認識装置１０ａで、［短い露光時間］で撮像したトンネル出口付近の画像の例を示す図である。同図に示すように、トンネル出口から外の部分は、「白とび」が発生しておらず、前方車両Ｃおよびトンネル外白線が鮮明に撮像されており、画像認識可能なレベルにある。しかし、トンネル内部の部分では「黒つぶれ」が発生しており、画像認識不可能である。したがって、図７−２に示す画像では、トンネル内部のコントラストが不足しているため、画像認識処理には不適切な画像である。
【００７８】
次に、車載用画像認識装置１０ａで、［長い露光時間］でトンネル出口付近の画像を撮像する。図７−３は、車載用画像認識装置１０ａで、［長い露光時間］で撮像したトンネル出口付近の画像の例を示す図である。同図に示すように、トンネル内白線、トンネル内部の前方車両Ａおよび前方車両Ｂは鮮明に撮像されており、画像認識可能なレベルにある。しかし、トンネル内照明は、コントラスト過剰により、画像認識に不適切である。また、トンネル出口から外の部分は、「白とび」が発生しており、画像認識不可能である。したがって、図７−３に示す画像でも、トンネル内照明およびトンネル出口から外のコントラストが過剰であるため、画像認識処理には不適切な画像である。
【００７９】
そこで、実施例１にかかる車載用画像認識装置１０ａは、図７−１の［通常の露光時間］で撮像したトンネル出口付近の画像からトンネル内照明の部分画像を選択し、図７−２の［短い露光時間］で撮像したトンネル出口付近の画像からトンネル出口から外の部分の部分画像を選択し、図７−３の［長い露光時間］で撮像したトンネル出口付近の画像からトンネル内白線、トンネル内部の前方車両Ａおよび前方車両Ｂの部分画像を選択し、これらの部分画像を合成する。なお、トンネル内白線の部分画像を［長い露光時間］で撮像したトンネル出口付近の画像から選択したのは、該トンネル内白線の部分画像のコントラストが、［普通の露光時間］で撮像したトンネル出口付近の画像のトンネル内白線の部分画像のコントラストよりも大きいためである。
【００８０】
このようにして合成された画像は、図７−４に示すとおりである。図７−４の画像によれば、トンネル内照明、トンネル内白線、トンネル内部の前方車両Ａおよび前方車両Ｂ、トンネル出口から外の前方車両Ｃおよびトンネル外白線のすべてが画像認識処理に適切なコントラストにより鮮明に写し出され、画像認識処理の精度を向上させることができる。
【実施例２】
【００８１】
以下に実施例２にかかる車載用画像処理装置および車両状況判定装置の構成について説明する。図８は、実施例２にかかる車載用画像処理装置および車両状況判定装置の構成を示す機能ブロック図である。同図に示すように、実施例２にかかる車載用画像認識装置１０ｂおよび車両状況判定装置２０ｂは、実施例１にかかる車載用画像認識装置１０ａおよび車両状況判定装置２０ａと同様に、車両１において、ＣＡＮ（Controller  Area  Network）などの車載ネットワーク１００を介して、車載用画像認識装置１０ａへカーナビゲーション情報、日付情報、時刻情報などを受け渡すカーナビゲーション装置２０と、車両１が備える電子機器を制御する車両制御ＥＣＵ（Electronic  Control  Unit）装置３０と通信可能に接続されている。
【００８２】
以下の実施例２の説明では、実施例１との差異部分のみを説明する。特記しない構成、機能、処理は、実施例１にかかる車載用画像認識装置１０ａおよび車両状況判定装置２０ａと同様である。
【００８３】
実施例２にかかる車載用画像認識装置１０ｂは、実施例１にかかる車載用画像認識装置１０ａから部分画像選択処理部１１ｆ、部分画像合成処理部１１ｇ、合成重み付け係数格納領域１２ｃが省略された構成である。
【００８４】
画像フレーム取得処理部１１ｄは、画像更新周期の１周期内において、取得した画像フレームのコントラストが所定範囲内の値であると判定されるまで露光時間を変化させながら画像フレームを取得する。また、画像認識処理部１１ｈは、画像コントラスト判定処理部１１ｅによって、前述の画像更新周期の１周期内においてはじめてコントラストが所定範囲内の値であると判定された画像に基づいて画像認識処理をおこなう。
【００８５】
また、画像コントラスト判定処理部１１ｅは、画像の「白とび」および「黒つぶれ」の部分の有無を判定する。画像の「白とび」は、画像のコントラストが「画像コントラスト上限値」を超過する場合であり、画像の「黒つぶれ」は、画像のコントラストが「画像コントラスト下限値」を下回る場合である。
【００８６】
実施例２の車両状況判定装置２０ｂは、実施例２の車載用画像認識装置１０ｂと、車両状況判定処理部１５と、車載ネットワーク１００を介した他の車載装置との通信のためのインターフェースである車載ネットワーク入出力インターフェース部１６とを有する。実施例２の車載用画像認識装置１０ｂの車両状況判定処理部１５の構成、機能、処理は、実施例１の車載用画像認識装置１０ａの車両状況判定処理部１５と同一である。
【００８７】
次に、実施例２にかかる車載用画像認識装置で実行される画像認識処理について説明する。図９は、実施例２にかかる車載用画像認識装置で実行される画像認識処理手順を示すフローチャートである。
【００８８】
同図に示すように、先ず、時刻判定処理部１１ｂは、時刻は夕方などの逆光を受けやすい時間帯または夜などの暗い時間帯であるか否かを判定する（ステップＳ２０１）。時刻は夕方などの逆光を受けやすい時間帯または夜などの暗い時間帯であると判定された場合に（ステップＳ２０１肯定）、ステップＳ２０２へ移り、時刻は夕方などの逆光を受けやすい時間帯または夜などの暗い時間帯であると判定されなかった場合に（ステップＳ２０１否定）、ステップＳ２１５へ移る。
【００８９】
ステップＳ２０２では、自車位置判定処理部１１ｃは、カーナビゲーション装置２０から取得される自車の位置情報が、トンネルなどの暗い位置であるか否かを判定する。カーナビゲーション装置２０は、地図データベースを有しているので、該地図データベースに格納される地図情報に基づいて、自車の位置情報が、トンネルなどの暗い位置であるか否かを判定することが可能である。
【００９０】
カーナビゲーション装置２０から取得される自車の位置情報が、トンネルなどの暗い位置であると判定された場合に（ステップＳ２０２肯定）、ステップＳ２０３へ移り、カーナビゲーション装置２０から取得される自車の位置情報が、トンネルなどの暗い位置であると判定されなかった場合に（ステップＳ２０２否定）、ステップＳ２１５へ移る。
【００９１】
続いて、ステップＳ２０３では、画像フレーム取得処理部１１ｄは、「通常の露光時間」で第１画像フレームを取得する。続いて、画像コントラスト判定処理部１１ｅは、第１画像フレームの画像に「白とび」部分があるか否か（すなわち、画像のコントラストが「画像コントラスト上限値」を超過する部分があるか否か）を判定する（ステップＳ２０４）。
【００９２】
第１画像フレームの画像に「白とび」部分があると判定された場合に（ステップＳ２０４肯定）、ステップＳ２０５へ移り、第１画像フレームの画像に「白とび」部分があると判定されなかった場合に（ステップＳ２０４否定）、ステップＳ２１０へ移る。
【００９３】
ステップＳ２０５では、画像フレーム取得処理部１１ｄは、「短い露光時間」で第２画像フレームを取得する。続いて、画像コントラスト判定処理部１１ｅは、第２画像フレームの画像に「黒つぶれ」部分があるか否か（すなわち、画像のコントラストが「画像コントラスト下限値」を下回る部分があるか否か）を判定する（ステップＳ２０６）。
【００９４】
第２画像フレームの画像に「黒つぶれ」部分があると判定された場合に（ステップＳ２０６肯定）、ステップＳ２０７へ移り、第２画像フレームの画像に「黒つぶれ」部分があると判定されなかった場合に（ステップＳ２０６否定）、ステップＳ２０９へ移る。
【００９５】
ステップＳ２０７では、画像フレーム取得処理部１１ｄは、「長い露光時間」で第３画像フレームを取得する。続いて、画像認識処理部１１ｈは、ステップＳ２０７で取得された第３画像フレームを使用して画像認識をおこなう（ステップＳ２０８）。この処理が終了すると、実施例２の画像認識処理は終了する。
【００９６】
一方、ステップＳ２０９では、画像認識処理部１１ｈは、第２画像フレームを使用して画像認識をおこなう。この処理が終了すると、実施例２の画像認識処理は終了する。
【００９７】
他方、ステップＳ２１０では、画像コントラスト判定処理部１１ｅは、第１画像フレームの画像に「黒つぶれ」部分があるか否か（すなわち、画像のコントラストが「画像コントラスト下限値」を下回る部分があるか否か）を判定する。
【００９８】
第１画像フレームの画像に「黒つぶれ」部分があると判定された場合に（ステップＳ２１０肯定）、ステップＳ２１１へ移り、第２画像フレームの画像に「黒つぶれ」部分があると判定されなかった場合に（ステップＳ２１０否定）、ステップＳ２１６へ移る。
【００９９】
ステップＳ２１１では、画像フレーム取得処理部１１ｄは、「長い露光時間」で第２画像フレームを取得する。続いて、画像コントラスト判定処理部１１ｅは、第２画像フレームの画像に「白とび」部分があるか否か（すなわち、画像のコントラストが「画像コントラスト上限値」を超過する部分があるか否か）を判定する（ステップＳ２１２）。
【０１００】
第２画像フレームの画像に「白とび」部分があると判定された場合に（ステップＳ２１２肯定）、ステップＳ２１３へ移り、第２画像フレームの画像に「白とび」部分があると判定されなかった場合に（ステップＳ２１２否定）、ステップＳ２０９へ移る。
【０１０１】
ステップＳ２１３では、画像フレーム取得処理部１１ｄは、「短い露光時間」で第３画像フレームを取得する。続いて、画像認識処理部１１ｈは、ステップＳ２１３で取得された第３画像フレームを使用して画像認識をおこなう（ステップＳ２１４）。この処理が終了すると、実施例２の画像認識処理は終了する。
【０１０２】
また、ステップＳ２１５では、ステップＳ２０３と同様に、画像フレーム取得処理部１１ｄは、「通常の露光時間」で第１画像フレームを取得する。続いて、画像認識処理部１１ｈは、ステップＳ２１５で取得された第１画像フレームを使用して画像認識をおこなう（ステップＳ２１６）。この処理が終了すると、実施例２の画像認識処理は終了する。
【０１０３】
以上の実施例２の画像認識処理によれば、「白つぶれ」や「黒とび」が無く、コントラストが所定範囲内である画像フレームが取得されると、それ以降の可変露光時間画像フレーム取得をおこなわないので、不要な処理を省き、車載用画像認識装置１０ｂの処理負荷の軽減を図ることができる。
【０１０４】
以上、本発明の実施例１および実施例２を説明したが、本発明は、これに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例１および実施例２に記載した効果は、これに限定されるものではない。
【０１０５】
また、上記実施例１および実施例２において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記実施例で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【０１０６】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【０１０７】
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）（またはＭＰＵ（Micro Processing Unit）、ＭＣＵ（Micro Controller Unit）などのマイクロ・コンピュータ）および当該ＣＰＵ（またはＭＰＵ、ＭＣＵなどのマイクロ・コンピュータ）にて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されてもよい。
【産業上の利用可能性】
【０１０８】
本発明は、車載用画像認識装置において、露光時間が異なる画像を複数撮像し、これら複数の画像を、画像認識処理精度が高まるように１枚の画像に合成する処理を処理負荷を抑えておこない、車載用画像認識装置のカメラの高ダイナミックレンジを確保したい場合に有用である。
【図面の簡単な説明】
【０１０９】
【図１】本発明の概要および特徴を示す図である。
【図２】実施例１にかかる車載用画像認識装置および車両状況判定装置の構成を示す機能ブロック図である。
【図３】設定値格納テーブルの例を示す図である。
【図４】合成重み付け係数格納テーブルの例を示す図である。
【図５】画像認識パターンデータテーブルの例を示す図である。
【図６】実施例１にかかる車載用画像認識装置で実行される画像認識処理手順を示すフローチャートである。
【図７−１】実施例１にかかる車載用画像認識装置で、通常の露光時間で撮像したトンネル出口付近の画像の例を示す図である。
【図７−２】実施例１にかかる車載用画像認識装置で、短い露光時間で撮像したトンネル出口付近の画像の例を示す図である。
【図７−３】実施例１にかかる車載用画像認識装置で、長い露光時間で撮像したトンネル出口付近の画像の例を示す図である。
【図７−４】実施例１にかかる車載用画像認識装置で、通常の露光時間、短い露光時間、長い露光時間で撮像したトンネル出口付近の画像を合成した画像の例を示す図である。
【図８】実施例２にかかる車載用画像認識装置および車両状況判定装置の構成を示す機能ブロック図である。
【図９】実施例２にかかる車載用画像認識装置で実行される画像認識処理手順を示すフローチャートである。
【符号の説明】
【０１１０】
１    車両
１０ａ、１０ｂ    車載用画像認識装置
１１    制御部
１１ａ    撮像処理部
１１ｂ    時刻判定処理部
１１ｃ    自車位置判定処理部
１１ｄ    画像フレーム取得処理部
１１ｅ    画像コントラスト判定処理部
１１ｆ    部分画像選択処理部
１１ｇ    部分画像合成処理部
１１ｈ    画像認識処理部
１２    記憶部
１２ａ    画像バッファ
１２ｂ    設定値格納領域
１２ｃ    合成重み付け係数格納領域
１２ｄ    画像認識パターンデータ格納領域
１３    イメージセンサインターフェース部
１４    表示出力インターフェース部
１５    車両状況判定処理部
１６    車載ネットワーク入出力インターフェース部
１７    イメージセンサ部
１７ａ    光学レンズ
１７ｂ    シャッタ部
１７ｃ    ＣＭＯＳセンサ
１８    表示部
２０    カーナビゲーション装置
２０ａ、２０ｂ    車両状況判定装置
３０    車両制御ＥＣＵ装置
３０ａ    警報装置
３０ｂ    ブレーキ制御装置
３０ｃ    発動機制御装置
３０ｄ    シートベルト制御装置
１００    車載ネットワーク
【図１】
2009177250.tif 000003
【図２】
2009177250.tif 000004
【図３】
2009177250.tif 000005
【図４】
2009177250.tif 000006
【図５】
2009177250.tif 000007
【図６】
2009177250.tif 000008
【図７−１】
2009177250.tif 000009
【図７−２】
2009177250.tif 000010
【図７−３】
2009177250.tif 000011
【図７−４】
2009177250.tif 000012
【図８】
2009177250.tif 000013
【図９】
2009177250.tif 000014