(57)【特許請求の範囲】
【請求項１】
画像の補正を行うためにコンピュータによって実行される画像補正方法であって、
撮像装置で撮像された前記画像を取得する画像取得ステップと、
視認性判断装置によって検出された前記画像内に存在する視認性の悪い領域を、視認性認識結果として取得する視認性認識結果取得ステップと、
前記視認性認識結果取得ステップで取得された前記視認性認識結果に基づいて、前記画像取得ステップで取得された前記画像内における前記視認性の悪い領域を特定する領域特定ステップと、
前記視認性の悪い領域の特徴量を算出する第１特徴量算出ステップと、
前記視認性の悪い領域以外の領域の特徴量を算出する第２特徴量算出ステップと、
前記第１及び第２特徴量算出ステップで算出された前記特徴量に基づいて、前記視認性の悪い領域の画像を補正する画像補正ステップと、
を有しており、
時系列に連続して撮像された複数の前記画像内を移動する物体を検出する物体検出ステップと、
前記視認性の悪い領域以外の領域の特徴量として、前記物体検出ステップで検出された前記物体が前記視認性の悪い領域以外の領域に存在する際に、前記物体を含む前記物体周辺の領域の特徴量を算出し、前記算出された前記物体を含む前記物体周辺の領域の特徴量を格納する特徴量格納ステップと、
時系列に連続して撮像された複数の前記画像内における前記物体の移動を追従し、前記物体が前記視認性の悪い領域に侵入したか否かを判断する物体追従ステップと、
を有し、
前記物体が前記視認性の悪い領域に侵入したと判断された場合には、前記画像補正ステップにおいて、前記特徴量格納ステップで格納された前記物体を含む前記物体周辺の領域の特徴量を前記視認性の悪い領域以外の領域の特徴量に設定して、前記視認性の悪い領域の画像を補正する画像補正方法。
【請求項２】
前記画像補正ステップにおいて、前記視認性の悪い領域に属する画素の画素値を新たに算出し、前記視認性の悪い領域に属する画素の画素値を前記算出された画素値に変更する画素値変更ステップを有する請求項１に記載の画像補正方法。
【請求項３】
前記画素値変更ステップにおいて、前記視認性の悪い領域に属する画素の座標位置に基づく前記画素値の変更を行う請求項２に記載の画像補正方法。
【請求項４】
前記画素値変更ステップにおいて、前記算出された画素値が所定の閾値を超える場合には、前記視認性の悪い領域に属する画素の画素値を変更前の元の画素値又は前記所定の画素値に設定する請求項２又は３に記載の画像補正方法。
【請求項５】
前記視認性の悪い領域と前記視認性の悪い領域以外の領域との境界において、前記画素値の変化が滑らかになるように補正する画素値補正ステップを有する請求項２から４のいずれか１つに記載の画像補正方法。
【請求項６】
前記第１及び第２特徴量算出ステップにおいて、各画素の画素値の統計処理を行い、その統計処理結果を前記特徴量とする請求項１から５のいずれか１つに記載の画像補正方法。
【請求項７】
前記第１及び第２特徴量算出ステップにおいて、前記統計処理結果として各画素の画素値の平均値を算出する請求項６に記載の画像補正方法。
【請求項８】
前記画像補正ステップにおいて、前記視認性の悪い領域の前記特徴量を前記視認性の悪い領域以外の領域の前記特徴量に合わせるように、前記視認性の悪い領域に属する画素の画素値を算出し、前記視認性の悪い領域に属する画素の画素値を前記算出された画素値に変更する請求項１から７のいずれか１つに記載の画像補正方法。
【請求項９】
前記第１特徴量算出ステップにおいて、前記視認性の悪い領域の前記特徴量を算出する際に、前記画素値が所定の閾値より大きい画素を無視する請求項１から８のいずれか１つに記載の画像補正方法。
【請求項１０】
前記第２特徴量算出ステップにおいて、前記視認性の悪い領域以外の領域の特徴量を算出する際に、前記画素値が所定の閾値より小さい画素を無視する請求項１から９のいずれか１つに記載の画像補正方法。
【請求項１１】
前記視認性の悪い領域以外の領域として、前記視認性の悪い領域の周辺の領域を設定する請求項１から１０のいずれか１つに記載の画像補正方法。
【請求項１２】
前記画像補正ステップが、
前記視認性の悪い領域の画像の視認性を向上させるように、前記画像取得ステップで取得された前記画像全体を補正する画像全体補正ステップと、
前記画像全体補正ステップで前記画像全体が補正された画像から、前記視認性の悪い領域の画像を切り出す画像切り出しステップと、
前記画像取得ステップで取得された前記画像の前記視認性の悪い領域に、前記画像切り出しステップで切り出された前記視認性の悪い領域の画像を貼り付ける画像貼り付けステップとを、
有する請求項１に記載の画像補正方法。
【請求項１３】
前記画像補正ステップで補正された補正後の撮像画像を、前記移動体に設置された表示装置に表示する画像表示ステップを有する請求項１から１２のいずれか１つに記載の画像補正方法。
【請求項１４】
画像の補正を行うためにコンピュータによって実行される画像補正方法であって、
移動体と共に移動するように、前記移動体に設置されている撮像装置で撮像された前記画像を取得する画像取得ステップと、
視認性判断装置によって検出された前記画像内に存在する視認性の悪い領域を、視認性認識結果として取得する視認性認識結果取得ステップと、
前記視認性認識結果取得ステップで取得された前記視認性認識結果に基づいて、前記画像取得ステップで取得された前記画像内における前記視認性の悪い領域を特定し、前記視認性の悪い領域の画像を補正する画像補正ステップと、
を有し、
前記移動体に、前記撮像装置で撮像される撮像方向を含む周辺領域に存在する立体物を検出するための立体物検出手段が搭載されており、前記立体物検出手段によって検出された前記立体物が前記画像内の前記視認性の悪い領域に存在する場合に、前記画像補正ステップにおいて、前記立体物が存在する前記視認性の悪い領域の画像の補正が行われる画像補正方法。
【請求項１５】
ユーザが、前記立体物が前記画像内の前記視認性の悪い領域に存在する場合に、前記立体物が存在する前記視認性の悪い領域の画像の補正を行う動作モードと、すべての前記視認性の悪い領域の画像の補正を行う動作モードとを切り替えることができる請求項１４に記載の画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に写り込んだ影などの影響で視認性の悪い領域（視認しにくい領域）を有する画像を補正するための画像補正方法に関する。
【背景技術】
【０００２】
従来の撮像装置（カメラ）には、撮像画像の明るさを自動調整するためのオートアイリス機構を有するものが存在している。このオートアイリス機構は、撮像された画像の明度（「撮像画像における画像全体の平均輝度値（画像の明るさに相当）」や「撮像画像中央部の平均輝度値」）に基づき、カメラのレンズに設けられた絞りの開口量を調節したり、電子シャッタのシャッタスピードの増減を制御したりすることによって、光量の調節を行う機構である。
【０００３】
このオートアイリス機構を用いることで、日中や夜間のように被写体の明るさが変化する場合でも撮像画像は最適な明るさに調整され、人間にとって視認しやすい撮像画像、あるいは画像処理装置が高い精度で画像処理を行うことのできる撮像画像を得ることが可能となる。
【０００４】
また、下記の特許文献１には、オートアイリス機構の制御方法を改良した技術が開示されている。特許文献１に開示されている技術では、車両周辺が撮像された撮像画像内に局所的に視認の難しい領域（視認性の悪い領域）が存在する場合には、その視認の難しい領域の明るさに合わせて光量の調節が行われる。これにより、例えば、撮像画像の一部が局所的に明るい場合や暗い場合などのように、撮像画像の一部の視認性が悪い場合であっても、視認の難しい領域を最適な明るさで撮像することで、視認の難しい領域に係る視認性を向上させることが可能となる。
【０００５】
なお、特許文献１に開示されている技術では、撮像装置における光量調節によって撮像画像の視認性の向上が実現されるので、リアルタイムな視認性の向上しか行うことができない。すなわち、特許文献１に開示されている技術では、例えば、既に撮像された撮像画像に存在する局所的な視認性の悪い領域に係る視認性を向上させることはできない。
【０００６】
一方、画像処理ソフトウェア（フォトレタッチツール）を用いることによって、撮像装置により撮像された撮像画像の画質を事後的に調整することも可能である。画像処理ソフトウェア（フォトレタッチツール）を利用した場合、明るさのほかに色調やコントラストなどを始めとして、画像の様々な特性を調節することが可能である。
【特許文献１】特開平９−１４２２１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示されている技術では、撮像画像において、局所的に視認性の悪い領域に係る視認性を向上させるために、撮像装置における光量の調節が行われるので、視認性の悪い領域に係る視認性の向上に伴って、それ以外の領域（視認性の良い領域）の明るさも変更されてしまい、その結果、視認性の良い領域に係る視認性が悪化してしまうおそれがある。
【０００８】
例えば、特許文献１に開示されている技術を利用して、画像に写り込んだ影領域の視認性を向上させるために撮像装置に入る光量を増加させた場合、影領域の明るさが増加して視認可能になるものの、非影領域（影領域ではない領域）の明るさも増加してしまい、それまで視認可能だった非影領域が明るくなり過ぎて視認不可能になってしまう可能性がある。
【０００９】
また、例えば、画像処理に熟練したユーザが、フォトレタッチツールを用いて、撮像画像に存在する局所的な視認性の悪い領域に係る視認性を向上させるような画像処理操作を行うことも可能であるが、この画像処理操作は手間（労力）と時間を要するものであり、例えばビデオカメラによって撮像された撮像画像（動画像）の視認性をリアルタイムで向上させることは、実際の処理上、不可能である。
【００１０】
上記の問題を解決するため、本発明は、画像全体の視認性を維持したまま、局所的に視認性の悪い領域に係る視認性を改善することを可能にする画像補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明の画像補正方法は、画像の補正を行うためにコンピュータによって実行される画像補正方法であって、
撮像装置で撮像された前記画像を取得する画像取得ステップと、
視認性判断装置によって検出された前記画像内に存在する視認性の悪い領域を、視認性認識結果として取得する視認性認識結果取得ステップと、
前記視認性認識結果取得ステップで取得された前記視認性認識結果に基づいて、前記画像取得ステップで取得された前記画像内における前記視認性の悪い領域を特定する領域特定ステップと、
前記視認性の悪い領域の特徴量を算出する第１特徴量算出ステップと、
前記視認性の悪い領域以外の領域の特徴量を算出する第２特徴量算出ステップと、
前記第１及び第２特徴量算出ステップで算出された前記特徴量に基づいて、前記視認性の悪い領域の画像を補正する画像補正ステップと、
を有しており、
時系列に連続して撮像された複数の前記画像内を移動する物体を検出する物体検出ステップと、
前記視認性の悪い領域以外の領域の特徴量として、前記物体検出ステップで検出された前記物体が前記視認性の悪い領域以外の領域に存在する際に、前記物体を含む前記物体周辺の領域の特徴量を算出し、前記算出された前記物体を含む前記物体周辺の領域の特徴量を格納する特徴量格納ステップと、
時系列に連続して撮像された複数の前記画像内における前記物体の移動を追従し、前記物体が前記視認性の悪い領域に侵入したか否かを判断する物体追従ステップと、
を有し、
前記物体が前記視認性の悪い領域に侵入したと判断された場合には、前記画像補正ステップにおいて、前記特徴量格納ステップで格納された前記物体を含む前記物体周辺の領域の特徴量を前記視認性の悪い領域以外の領域の特徴量に設定して、前記視認性の悪い領域の画像を補正することを、
有する。
これにより、画像全体の視認性を維持したまま、局所的に視認性の悪い領域に係る視認性を改善することが可能となる。また、視認性の悪い領域の特徴を表す特徴量と、視認性の悪い領域以外の領域の特徴を表す特徴量とを、統計処理によって算出することが可能となる。また、画像内を移動する物体が局所的に視認性の悪い領域に侵入した場合に、その物体の視認性を改善することが可能となる。
【００１２】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記画像補正ステップにおいて、前記視認性の悪い領域に属する画素の画素値を新たに算出し、前記視認性の悪い領域に属する画素の画素値を前記算出された画素値に変更する画素値変更ステップを有する。
これにより、視認性の悪い領域に属する画素の画素値のみを変更して、局所的に視認性の悪い領域に係る視認性を改善することが可能となる。
【００１３】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記画素値変更ステップにおいて、前記視認性の悪い領域に属する画素の座標位置に基づく前記画素値の変更を行う。
これにより、例えば、撮像装置が設置されている条件や撮像装置の撮像特性を考慮した画像の補正を行うことが可能となる。
【００１４】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記画素値変更ステップにおいて、前記算出された画素値が所定の閾値を超える場合には、前記視認性の悪い領域に属する画素の画素値を変更前の元の画素値又は前記所定の画素値に設定する。
これにより、局所的に視認性の悪い領域の補正に対して、必要以上の過度の補正が行われないようにすることが可能となる。
【００１５】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記視認性の悪い領域と前記視認性の悪い領域以外の領域との境界において、前記画素値の変化が滑らかになるように補正する画素値補正ステップを有する。
これにより、補正後の画像が与える違和感を解消することが可能となる。
【００１６】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記視認性の悪い領域の特徴量を算出する第１特徴量算出ステップと、
前記視認性の悪い領域以外の領域の特徴量を算出する第２特徴量算出ステップとを有し、前記画像補正ステップにおいて、前記第１及び第２特徴量算出ステップで算出された前記特徴量に基づいて、前記視認性の悪い領域の画像を補正する。
これにより、視認性の悪い領域の特徴を表す特徴量と、視認性の悪い領域以外の領域の特徴を表す特徴量との比較結果に基づいて、視認性の悪い領域の画像を補正することが可能となる。
【００１８】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記第１及び第２特徴量算出ステップにおいて、前記統計処理結果として各画素の画素値の平均値を算出する。
これにより、迅速かつ容易な平均値算出処理によって、視認性の悪い領域の特徴を表す特徴量と、視認性の悪い領域以外の領域の特徴を表す特徴量とを算出することが可能となる。
【００１９】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記画像補正ステップにおいて、前記視認性の悪い領域の前記特徴量を前記視認性の悪い領域以外の領域の前記特徴量に合わせるように、前記視認性の悪い領域に属する画素の画素値を算出し、前記視認性の悪い領域に属する画素の画素値を前記算出された画素値に変更する。
これにより、視認性の悪い領域以外の領域に係る視認性を基準として、視認性の悪い領域に係る視認性を向上させることが可能となる。
【００２０】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記第１特徴量算出ステップにおいて、前記視認性の悪い領域の前記特徴量を算出する際に、前記画素値が所定の閾値より大きい画素を無視する。
これにより、例外的な画素値を有する画素の影響を排除して、視認性の悪い領域の特徴量を算出することが可能となる。
【００２１】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記第２特徴量算出ステップにおいて、前記視認性の悪い領域以外の領域の特徴量を算出する際に、前記画素値が所定の閾値より小さい画素を無視する。
これにより、例外的な画素値を有する画素の影響を排除して、視認性の悪い領域以外の領域の特徴量を算出することが可能となる。
【００２２】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記視認性の悪い領域以外の領域として、前記視認性の悪い領域の周辺の領域を設定する。
これにより、視認性の悪い領域の周辺の領域の特徴量に合わせて、視認性の悪い領域に係る視認性を向上させることが可能となる。
【００２４】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記画像補正ステップが、
前記視認性の悪い領域の画像の視認性を向上させるように、前記画像取得ステップで取得された前記画像全体を補正する画像全体補正ステップと、
前記画像全体補正ステップで前記画像全体が補正された画像から、前記視認性の悪い領域の画像を切り出す画像切り出しステップと、
前記画像取得ステップで取得された前記画像の前記視認性の悪い領域に、前記画像切り出しステップで切り出された前記視認性の悪い領域の画像を貼り付ける画像貼り付けステップとを、
有する。
これにより、画像全体の視認性を維持したまま、局所的に視認性の悪い領域に係る視認性を改善することが可能となる。
【００２６】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、前記画像補正ステップで補正された補正後の撮像画像を、前記移動体に設置された表示装置に表示する画像表示ステップを有する。
これにより、例えば、移動体を運転する運転者に対して、視認性の良い撮像画像を提供することが可能となり、車両運転の安全性を向上させることが可能となる。
【００２７】
さらに、本発明の画像補正方法は、画像の補正を行うためにコンピュータによって実行される画像補正方法であって、
移動体と共に移動するように、前記移動体に設置されている撮像装置で撮像された前記画像を取得する画像取得ステップと、
視認性判断装置によって検出された前記画像内に存在する視認性の悪い領域を、視認性認識結果として取得する視認性認識結果取得ステップと、
前記視認性認識結果取得ステップで取得された前記視認性認識結果に基づいて、前記画像取得ステップで取得された前記画像内における前記視認性の悪い領域を特定し、前記視認性の悪い領域の画像を補正する画像補正ステップと、
を有し、
前記移動体に、前記撮像装置で撮像される撮像方向を含む周辺領域に存在する立体物を検出するための立体物検出手段が搭載されており、前記立体物検出手段によって検出された前記立体物が前記画像内の前記視認性の悪い領域に存在する場合に、前記画像補正ステップにおいて、前記立体物が存在する前記視認性の悪い領域の画像の補正が行われる。
これにより、画像の視認性の悪い領域に立体物が重なっており、立体物を視認することが困難な場合に、立体物を確実に視認することができるようにするために、視認性の悪い領域に係る視認性を改善することが可能となる。また、立体物の視認性を低下させている視認性の悪い領域のみに係る視認性を改善することで、必要な場合にのみ視認性の悪い領域が改善されるようにして、処理負荷を減らすことが可能となる。
【００２８】
さらに、本発明の画像補正方法は、上記の画像補正方法に加えて、ユーザが、前記立体物が前記画像内の前記視認性の悪い領域に存在する場合に、前記立体物が存在する前記視認性の悪い領域の画像の補正を行う動作モードと、すべての前記視認性の悪い領域の画像の補正を行う動作モードとを切り替えることができる。
これにより、ユーザは、視認性の改善処理の態様を自身で設定することができるようになる。
【発明の効果】
【００２９】
本発明は、画像全体の視認性を維持したまま、局所的に視認性の悪い領域に係る視認性を改善することを可能にするという効果を有している。また、本発明の画像補正方法によれば、撮像装置によって撮像された撮像画像に関して、その視認性を改善する処理をリアルタイムに行うことも可能であり、また、既に撮像された撮像画像に関して、その視認性を改善する処理を行うことも可能である。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら、本発明の第１〜第３の実施の形態について説明する。以下では、画像内の一部に影が写り込んでおり、この影が写っている領域（影領域）が、影が写っていない領域（非影領域）に比べて暗いために、影領域の視認性が悪くなっている場合を一例として説明する。なお、本明細書において、「視認性」は、人間が視認可能か否かの程度（すなわち、見やすさ又は見にくさ）を表すだけではなく、画像処理装置による処理精度に影響を与える程度を表している。
【００３１】
まず、図１を参照しながら、本発明の第１〜第３の実施の形態における画像補正方法を用いた画像補正システムの構成について説明する。図１には、本発明の第１〜第３の実施の形態における画像補正方法を用いた画像補正システムの構成の一例が図示されている。
【００３２】
図１に図示されている画像補正システムは、カメラ（撮像装置）１０、影認識装置（視認性判断装置）１１、立体物センサ１５、影補正装置（画像補正装置）２０、表示モニタ３０、撮像画像利用装置４０を有している。
【００３３】
図１において、カメラ１０は、任意の撮像方向の撮像を行う機能を有している。なお、カメラ１０で撮像される撮像画像は、動画像であってもよく、静止画像であってもよい。また、カメラ１０の設置の態様は任意であり、例えば監視カメラなどのように所定の位置に固定されていてもよく、車両、船、飛行機、移動可能なロボットなどの移動体と共に移動するように移動体に設置されていてもよい。また、カメラ１０は、人間が持ち運ぶことが可能なカメラであってもよい。
【００３４】
図１に図示されているように、カメラ１０で撮像された撮像画像は、影認識装置１１及び影補正装置２０に供給される。なお、図１には、カメラ１０で撮像された撮像画像が直接、影認識装置１１及び影補正装置２０に供給される構成が図示されているが、カメラ１０で撮像された撮像画像がいったん記録媒体に格納されたり、別の画像処理装置で画像処理が行われたりした後に、影認識装置１１及び影補正装置２０に供給されてもよく、また、ネットワークなどを通じて影認識装置１１及び影補正装置２０に供給されてもよい。
【００３５】
また、影認識装置１１は、カメラ１０で撮像された撮像画像内に存在する影を認識する機能を有している。なお、本発明は、撮像画像内に存在する影の認識方法に特に制限を加えるものではなく、すなわち、影認識装置１１は、撮像画像内に存在する影を認識するために、任意の影認識技術を用いることが可能である。影認識装置１１は、例えば、撮像画像内において影が存在する画素（影に属する画素）の座標を影認識結果として出力することが可能である。影認識装置１１による影認識結果は、影補正装置２０に供給される。
【００３６】
また、影補正装置２０は、影認識装置１１から供給された影認識結果に基づいて、カメラ１０から供給された撮像画像内に写っている影領域の画質を補正（改善）する機能を有している。影補正装置２０は、影領域の画質の補正を行うことによって、撮像画像における影による影響を低減させることが可能である。なお、影補正装置２０の詳細な構成に関しては、後で、図２を参照しながら説明する。影補正装置２０によって影が補正された撮像画像（補正後の撮像画像）は、様々な用途に使用可能である。
【００３７】
例えば、影補正装置２０で生成された補正後の撮像画像は、表示モニタ３０に送られて表示される。補正後の撮像画像は、影領域の画質が改善されており、本来、影によって見えにくいはずの画像領域の視認性が向上されている。
【００３８】
また、例えば、影補正装置２０で生成された補正後の撮像画像は、駐車支援装置や物体検出装置などの撮像画像利用装置４０に送られる。駐車支援装置では、例えば車両に搭載されたカメラ１０による撮像画像に基づいて、車両を所望の駐車目標位置に駐車させる支援が行われるが、影を含むカメラ１０からの撮像画像に代わって、影の影響が除去された補正後の撮像画像を利用することで、より安全かつ確実な駐車支援が行われるようになる。また、物体検出装置においても、駐車支援装置と同様にカメラ１０による撮像画像に基づいて、移動体の進行方向を含む周辺領域に存在する物体（障害物）の検出が行われる。したがって、物体検出装置においても、影を含むカメラ１０からの撮像画像に代わって、影の影響が除去された補正後の撮像画像を利用することで、より確実に物体検出が行われるようになる。
【００３９】
また、影補正装置２０は、移動体の進行方向を含む周辺領域に存在する立体物を検出するための立体物センサ１５から供給される立体物検出結果を参照し、撮像画像内の影領域に立体物が存在する場合にのみ、立体物が存在する影領域の補正を行うようにしてもよい。なお、立体物センサ１５は、任意の技術を用いて立体物を検出する機能を有しており、例えば、超音波を用いたクリアランスソナーやミリ波を用いたミリ波レーダなどの技術を利用することが可能である。また、立体物センサ１５の設置の態様は任意であり、例えば、カメラ１０と共に移動する移動体に設置されていてもよく、さらには、障害物の検出を運転者に報知することを目的に設定されている障害物センサを本発明に係る立体物センサ１５として使用することも可能である。
【００４０】
また、影補正装置２０において、撮像画像内の影領域に立体物が存在する場合にのみ、立体物が存在する影領域の補正を行うようにするのか、あるいは、すべての場合において影領域の補正を行うようにするのかなどの様々な動作モードに関して、ユーザが選択的に設定できるようにすることも可能である。
【００４１】
ここで、影補正装置２０で生成された補正後の撮像画像について具体的に説明する。例えば、図１に図示されている画像補正システムのカメラ１０が、車両に設置されており、車両周辺の所定の撮像方向を撮像するカメラであるとする。そして、カメラ１０で撮像された撮像画像が、運転者が視認できる場所に設置されている表示モニタ３０に表示されるとする。この場合、カメラ１０によって、例えば図１４に図示されているような撮像画像が撮像される。なお、図１５には、図１４の撮像画像内の物体の輪郭を模式化した図が図示されている。
【００４２】
従来の技術であれば、カメラ１０で撮像された撮像画像内に影が写っている場合でも、影領域を補正する画像補正処理が行われることなく、影を含む撮像画像（図１４に示す撮像画像）がそのまま表示モニタ３０に表示される。
【００４３】
一方、本発明の画像補正方法を利用した場合には、カメラ１０で撮像された撮像画像内の影認識処理が影認識装置１１によって行われ、影補正装置２０によって影領域に係る視認性を向上させる画像補正処理が行われるので、カメラ１０で撮像された撮像画像に代わって、例えば図１６に図示されているような影が補正（除去）された補正後の撮像画像が、表示モニタ３０に表示される。なお、図１７には、図１６の補正後の撮像画像内の物体の輪郭を模式化した図が図示されている。
【００４４】
図１４に示す補正前の撮像画像と図１６に示す補正後の撮像画像との比較（あるいは、図１５に示す補正前の撮像画像の模式図と図１７に示す補正後の撮像画像の模式図との比較）から分かるように、補正前の撮像画像は影領域に係る視認性が悪く、影領域に存在する物体を視認することが容易ではなかったが、補正後の撮像画像は、影領域に係る視認性が改善され、影領域に存在する物体の視認が容易となる。
【００４５】
＜第１の実施の形態＞
次に、図２を参照しながら、本発明の第１の実施の形態における画像補正方法を実行する影補正装置の構成について説明する。図２には、本発明の第１の実施の形態における画像補正方法を実行する影補正装置の構成の一例が図示されている。なお、図２に図示されている影補正装置２０は、図１に図示されている影補正装置２０の一構成例を示すものである。
【００４６】
図２に図示されている影補正装置２０は、影領域特徴量算出部２１、非影領域特徴量算出部２２、影領域画質改善部２３、影認識結果取得部２６、画像取得部２７、補正画像出力部２８を有している。なお、影領域特徴量算出部２１、非影領域特徴量算出部２２、影領域画質改善部２３によって表されている影補正装置２０の機能は、ハードウェア及び／又はコンピュータによって実行されるソフトウェアによって実現可能である。
【００４７】
図２において、影認識結果取得部２６は、影認識装置１１によって得られた撮像画像の影認識結果を取得する機能を有しており、画像取得部２７は、カメラ１０によって撮像された撮像画像を取得する機能を有している。なお、例えば、影認識結果取得部２６及び画像取得部２７のそれぞれにおける情報取得タイミングの同期制御が行われるなど、画像取得部２７で取得された撮像画像と、その撮像画像の影認識結果との対応が明確に把握される必要がある。すなわち、影補正装置２０は、ある撮像画像から得られた影認識結果を用いて、その撮像画像内の影の補正を行うように構成されている。
【００４８】
影認識結果取得部２６及び画像取得部２７のそれぞれで取得された影認識結果及び撮像画像は、影領域特徴量算出部２１、非影領域特徴量算出部２２、影領域画質改善部２３に供給される。
【００４９】
影領域特徴量算出部２１は、影認識結果を参照して撮像画像内における影領域を特定し、特定された影領域の特徴を表す特徴量を算出する機能を有している。影領域特徴量算出部２１は、例えば、影領域に属する各画素の画素値（画素値としては、例えば、各画素で用いられている色空間における任意のパラメータの一部又はすべてを使用することが可能）の統計処理を行うことによって得られる統計処理結果を、影領域の特徴量とすることが可能である。
【００５０】
また、影領域特徴量算出部２１は、撮像画像内に複数の影領域が存在する場合には、複数の影領域のそれぞれの特徴量を算出してもよく、また、１枚の撮像画像に含まれる影領域全体の特徴量を算出してもよい。影領域特徴量算出部２１で算出された影領域の特徴量は、影領域画質改善部２３に供給される。なお、影領域特徴量算出部２１は、後述の影領域の特徴量算出処理（図４を参照）を行うことが可能である。
【００５１】
また、非影領域特徴量算出部２２は、影認識結果を参照して撮像画像内における影領域以外の領域（本明細書では、非影領域と呼ぶ）を特定し、特定された非影領域の特徴を表す特徴量を算出する機能を有している。非影領域特徴量算出部２２は、影領域特徴量算出部２１と同様に、例えば、非影領域に属する各画素の画素値（画素値としては、例えば、各画素で用いられている色空間における任意のパラメータの一部又はすべてを使用することが可能）の統計処理を行うことによって得られる統計処理結果を、非影領域の特徴量とすることが可能である。非影領域特徴量算出部２２で算出された非影領域の特徴量は、影領域画質改善部２３に供給される。なお、非影領域特徴量算出部２２は、後述の非影領域特徴量算出処理（図５を参照）を行うことが可能である。
【００５２】
また、影領域画質改善部２３は、影領域に対応する撮像画像内の画像領域（画素）の補正を行う機能を有している。影領域画質改善部２３は、例えば非影領域の特徴量を基準として影領域の特徴量が補完されるように、影領域に属する各画素の特徴量の変更を行うことによって、非影領域に変更を加えることなく、影領域に係る視認性を向上させることが可能である。影領域画質改善部２３で補正された撮像画像（補正後の撮像画像）は、補正画像出力部２８に供給される。なお、影領域画質改善部２３は、後述の影領域の画質改善処理（図６を参照）、影境界付近を除いた影領域の画質改善処理（図７を参照）、影境界付近の影領域の画質改善処理（図８を参照）、影境界付近の画素の平均化処理（図９を参照）を行うことが可能である。
【００５３】
また、補正画像出力部２８は、影領域画質改善部２３から供給された補正後の撮像画像を外部（例えば表示モニタ３０や撮像画像利用装置４０）に出力する機能を有している。
【００５４】
次に、図３を参照しながら、本発明の第１の実施の形態における画像補正方法に係る画像補正処理の概要について説明する。図３は、本発明の第１の実施の形態における画像補正方法に係る画像補正処理の概要を示すフローチャートである。なお、図３に図示されている画像補正処理は、図１及び図２に図示されている影補正装置２０によって実行される。
【００５５】
図３に図示されている画像補正処理では、まず、影領域特徴量算出部２１において、影認識結果から特定される影領域及び撮像画像に基づいて影領域の特徴量算出処理が行われ、影領域の特徴量が算出される（ステップＳ２１０）。一方、非影領域特徴量算出部２２においては、影認識結果から特定される非影領域及び撮像画像に基づいて非影領域の特徴量算出処理が行われ、非影領域の特徴量が算出される（ステップＳ２２０）。そして、ステップＳ２１０及びステップＳ２２０のそれぞれの処理によって算出された影領域及び非影領域の特徴量に基づいて、影領域画質改善部２３において、撮像画像内の影領域の補正が行われる（ステップＳ２３０）。  
【００５６】
なお、ステップＳ２１０及びステップＳ２２０のそれぞれにおける処理によって算出される影領域及び非影領域の特徴量は、次に行われるステップＳ２３０における影領域の画像改善処理の基データとして使用される。また、図３では、ステップＳ２１０における処理の後にステップＳ２２０における処理が行われるように図示されているが、ステップＳ２１０及びステップＳ２２０のそれぞれにおける処理は独立して実行可能であり、並列して行われてもよい。
【００５７】
次に、図４を参照しながら、図３のステップＳ２１０における影領域の特徴量算出処理の詳細について説明する。図４は、本発明の第１の実施の形態における画像補正方法に係る影領域の特徴量算出処理の詳細な動作の一例を示すフローチャートである。
【００５８】
図４に図示されている影領域の特徴量算出処理では、まず、影領域特徴量算出部２１が、撮像画像を取得する（ステップＳ２１０１）とともに、影認識結果から影領域の座標を取得する（ステップＳ２１０２）。このとき、例えば図１８に図示されているような影領域に属する画素の座標を特定する情報が取得される。
【００５９】
そして、影領域特徴量算出部２１は、ステップＳ２１０２で取得された影領域の座標に対応する撮像画像内の画素（すなわち、影領域に属する画素）を１つ選択して（ステップＳ２１０３）、ステップＳ２１０３で選択された画素の画素値が所定の閾値以下か否かを判定する（ステップＳ２１０４）。上記の所定の閾値には、あらかじめ設定された任意の値が使用される。なお、ステップＳ２１０４において取り扱われる画素値として、その画素で用いられている色空間における任意のパラメータの一部又はすべてを使用することが可能である。
【００６０】
また、上記のステップＳ２１０４における判定処理は、最終的に算出される影領域の特徴量から、極端に画素値の高い画素（例えば白色の物体を表す画素）の影響を排除するために行われる処理である。例えば、影領域内に白線が存在する場合には、その白線を表す画素は、影領域に属するにもかかわらず、高い画素値を有しているため、この画素を無視して影領域の特徴量の算出が行われることが望ましい。なお、所定の閾値より大きい画素値を有する画素を無視することなく、影領域に属するすべての画素の画素値から、影領域の特徴量が算出されてもよい。また、影領域に属する任意の画素を選択し、選択された画素の画素値から、影領域の特徴量が算出されてもよい。
【００６１】
ステップＳ２１０４で画素値が所定の閾値以下であると判定された画素に関しては、影領域の特徴量算出対象に設定され（ステップＳ２１０５）、ステップＳ２１０４で画素値が所定の閾値以下ではないと判定された画素に関しては、影領域の特徴量算出対象から除外される。
【００６２】
ステップＳ２１０３〜ステップＳ２１０５の処理は、影領域に属する各画素に対して行われる。すなわち、選択された画素を影領域の特徴量算出対象に設定するか除外するかの判定が完了した場合、影領域の座標に対応する撮像画像内の画素がすべて選択されたか否かが確認される（ステップＳ２１０６）。そして、未選択の画素が存在する場合にはステップＳ２１０３に戻り、未選択の画素に関して、ステップＳ２１０３〜ステップＳ２１０５の処理が行われる。
【００６３】
一方、影領域に属するすべての画素が選択された場合には、例えば、ステップＳ２１０５で設定された影領域の特徴量算出対象の画素の画素値の統計処理を行ってその統計処理結果を得ることによって、影領域の特徴量が算出される（ステップＳＳ２１０７）。なお、ステップＳ２１０７で行われる統計処理には任意の統計処理アルゴリズムを用いることが可能である。例えば、影領域の特徴量算出対象の画素の画素値の平均を算出する統計処理を行い、その統計処理結果として得られた画素値の平均値を影領域の特徴量としてもよい。
【００６４】
次に、図５を参照しながら、図３のステップＳ２２０における非影領域の特徴量算出処理の詳細について説明する。図５は、本発明の第１の実施の形態における画像補正方法に係る非影領域の特徴量算出処理の詳細な動作の一例を示すフローチャートである。
【００６５】
図５に図示されている非影領域の特徴量算出処理では、まず、非影領域特徴量算出部２２が、撮像画像を取得する（ステップＳ２２０１）。また、非影領域特徴量算出部２２は、影認識結果を取得し、影領域の周辺の座標（非影領域に属する座標）を取得する（ステップＳ２２０２）。なお、例えば、影領域と非影領域との境界（影境界）から任意の距離（例えば５〜１０ピクセル）の範囲内の非影領域を、影領域の周辺と定義することが可能である。このとき、非影領域として、例えば図１８に図示されているような影領域の周辺の領域が設定される。
【００６６】
上記のステップＳ２２０２における処理は、影領域の周辺の画素のみを考慮して非影領域の特徴量を算出するために行われる処理である。影領域は、仮に影が発生していない場合には、影領域のすぐ周辺の特徴量を有するはずであったと予想される。したがって、影領域の特徴量の補正に用いられる非影領域の特徴量は、影領域の周辺の画素の画素値から算出されることが望ましい。なお、ステップＳ２２０２の処理において、影領域の周辺だけではなく、他の非影領域（あるいはすべての非影領域）の座標が取得されてもよい。また、影領域の周辺の一部の領域の座標のみが取得されてもよい。
【００６７】
そして、非影領域特徴量算出部２２は、ステップＳ２２０２で取得された非影領域（影領域の周辺）の座標に対応する撮像画像内の画素（すなわち、影領域の周辺に属する画素）を１つ選択して（ステップＳ２２０３）、ステップＳ２２０３で選択された画素の画素値が所定の閾値以上か否かを判定する（ステップＳ２２０４）。上記の所定の閾値には、あらかじめ設定された任意の値が使用される。例えば、所定の閾値として、影領域の画素値の平均値を使用することも可能である。また、ステップＳ２２０４において取り扱われる画素値としては、上述の影領域の特徴量算出処理と同様に、その画素で用いられている色空間における任意のパラメータの一部又はすべてを使用することが可能である。
【００６８】
また、上記のステップＳ２２０４における判定処理は、最終的に算出される非影領域の特徴量から、極端に画素値の低い画素（例えば黒色の物体を表す画素）の影響を排除するために行われる処理である。例えば、非影領域内に存在する黒色の物体を表す画素は、非影領域に属するにもかかわらず、低い画素値を有しているため、この画素を無視して非影領域の特徴量の算出が行われることが望ましい。なお、所定の閾値より小さい画素値を有する画素を無視することなく、非影領域に属するすべての画素の画素値から、非影領域の特徴量が算出されてもよい。また、非影領域に属する任意の画素を選択し、選択された画素の画素値から、非影領域の特徴量が算出されてもよい。
【００６９】
ステップＳ２２０４で画素値が所定の閾値以上であると判定された画素に関しては、非影領域の特徴量算出対象に設定され（ステップＳ２２０５）、ステップＳ２２０４で画素値が所定の閾値以上ではないと判定された画素に関しては、非影領域の特徴量算出対象から除外される。
【００７０】
ステップＳ２２０３〜ステップＳ２２０５の処理は、影領域の周辺に属する各画素に対して行われる。すなわち、選択された画素を非影領域の特徴量算出対象に設定するか除外するかの判定が完了した場合、影領域の周辺の座標に対応する撮像画像内の画素がすべて選択されたか否かが確認される（ステップＳ２２０６）。そして、未選択の画素が存在する場合にはステップＳ２２０３に戻り、未選択の画素に関して、ステップＳ２２０３〜ステップＳ２２０５の処理が行われる。
【００７１】
一方、影領域の周辺に属するすべての画素が選択された場合には、例えば、ステップＳ２２０５で設定された非影領域の特徴量算出対象の画素の画素値の統計処理を行ってその統計処理結果を得ることによって、非影領域の特徴量が算出される（ステップＳＳ２２０７）。なお、ステップＳ２２０７で行われる統計処理には任意の統計処理アルゴリズムを用いることが可能である。例えば、非影領域の特徴量算出対象の画素の画素値の平均を算出する統計処理を行い、その統計処理結果として得られた画素値の平均値を非影領域の特徴量としてもよい。
【００７２】
次に、図６を参照しながら、図３のステップＳ２３０における影領域の画質改善処理の詳細について説明する。図６は、本発明の第１の実施の形態における画像補正方法に係る影領域の画質改善処理の詳細な動作の一例を示すフローチャートである。
【００７３】
図６に図示されている非影領域の特徴量算出処理では、影領域画質改善部２３において、影境界付近を除いた影領域の画質改善処理が行われる（ステップＳ２３１）。また、影領域画質改善部２３において、影境界付近の影領域の画質改善処理が行われ（ステップＳ２３２）、さらに、影境界付近に生じる視認の際の違和感を解消するために、影境界付近の画素の平均化処理が行われる（ステップＳ２３３）。
【００７４】
なお、図６に図示されている非影領域の特徴量算出処理では、ステップＳ２３０における処理の後にステップＳ２３１における処理が行われるように図示されている。しかしながら、影領域全体が影境界付近を除いた影領域及び影境界の影領域に分けられ、それぞれの領域に係る画質改善処理は独立して実行可能であり、ステップＳ２３１及びステップＳ２３２における処理は並列して行われてもよい。
【００７５】
また、ステップＳ２３２における影境界付近の影領域の画質改善処理は、後述のように、影境界付近に生じる視認の際の違和感を解消するために行われる処理であるが、影領域全体を、影境界付近を除いた影領域及び影境界の影領域に分けずに、１つの画像改善アルゴリズムを用いて影領域全体の画像改善処理を行ってもよい。また、ステップＳ２３３における影境界付近の画素の平均化処理を省略することも可能である。
【００７６】
ここで、ステップＳ２３０における影領域の画質改善処理の基本的な概念について説明する。本発明の第１の実施の形態における画像補正方法では、影領域及び非影領域の特徴量に基づいて、影領域の画像の補正（改善）が行われる。
【００７７】
ステップＳ２３０における影領域の画質改善処理では、撮像画像の影領域に属する各画素の画素値を変更することによって、補正後の撮像画像の各画素の画素値を生成する処理が行われる。すなわち、補正前の撮像画像内の座標位置（ｘ，ｙ）の画素（影領域に属する画素）の画素値をＶｉｎ（ｘ，ｙ）で表し、補正後の撮像画像内の座標位置（ｘ，ｙ）の画素の画素値をＶｏｕｔ（ｘ，ｙ）で表した場合、ステップＳ２３０における影領域の画質改善処理では、下記の式（１）のように、補正前の撮像画像の各画素の画素値Ｖｉｎ（ｘ，ｙ）を、任意の関数Ｆを用いて演算することにより、補正後の撮像画像の各画素の画素値Ｖｏｕｔ（ｘ，ｙ）が生成される。
【００７８】
Ｖｏｕｔ（ｘ，ｙ）＝Ｆ（Ｖｉｎ（ｘ，ｙ））  ・・・  （１）
【００７９】
また、式（１）の関数Ｆを、例えばステップＳ２１０で算出された影領域の特徴量Ｘｍ及びステップＳ２２０で算出された非影領域の特徴量Ｙｍによって定め、上記の式（１）を下記の式（２）のような変換式とすることが可能である。
【００８０】
Ｖｏｕｔ（ｘ，ｙ）＝Ｖｉｎ（ｘ，ｙ）×（Ｙｍ／Ｘｍ）  ・・・  （２）
【００８１】
例えば、影領域の特徴量Ｘｍとして影領域の画素値の平均値が設定されており、非影領域の特徴量Ｙｍとして非影領域の画素値の平均値が設定されている場合には、式（２）を用いた演算によって、補正前の撮像画像の各画素の画素値Ｖｉｎ（ｘ，ｙ）を非影領域の平均値レベルまで増加させた値を、補正後の撮像画像の各画素の画素値Ｖｏｕｔ（ｘ，ｙ）とすることが可能となる。
【００８２】
以下、上記の式（２）を用いた画素値の変換について、図１９及び図２０を参照しながら説明する。図１９は、本発明に係る補正前の撮像画像の影境界付近の画素を模式的に表した図である。また、図２０は、図１９の線分Ａ−Ｂ上の補正前及び補正後の画素値の値を示すグラフである。
【００８３】
図１９には、影境界付近の画素が図示されている。図１９において、影領域内の位置Ａと非影領域の位置Ｂとの間の線分（影境界を横切る線分Ａ−Ｂ）を定義する。このとき、図２０に図示されているように、線分Ａ−Ｂ上の補正前の撮像画像の画素の画素値は、非影領域に属する画素に関しては一般に高い値（非影領域の画素値の特徴量Ｙｍである平均値に近い値）となり、影領域に属する画素に関しては一般に低い値（影領域の特徴量Ｘｍに近い値）となる。
【００８４】
ここで、影領域に属する画素の画素値に対して、上記の式（２）の変換を行って、非影領域の特徴量Ｙｍのレベルに影領域の特徴量Ｘｍのレベルを合わせることによって、補正後の撮像画像内の影領域に属する画素値を得ることが可能となる。なお、非影領域の画素の画素値の変更を行わないことで、非影領域の視認性を維持することが可能となる。
【００８５】
なお、式（２）では、統計処理結果（平均値）を用いることで、関数Ｆを、撮像画像内の座標位置（ｘ，ｙ）に依存しない関数として定義しているが、関数Ｆを撮像画像内の座標位置（ｘ，ｙ）に依存する関数Ｆ（ｘ，ｙ）としてもよい。この関数Ｆ（ｘ，ｙ）の一例としては例えば後述の式（３）が挙げられるが（ただし、式（３）では、一方の座標ｙにのみ依存）、より複雑な関数を用いた変換式を定義することも可能である。
【００８６】
次に、図７を参照しながら、図６のステップＳ２３１における影境界付近を除いた影領域の画質改善処理の詳細について説明する。図７は、本発明の第１の実施の形態における画像補正方法に係る影境界付近を除いた影領域の画質改善処理の詳細な動作の一例を示すフローチャートである。
【００８７】
なお、例えば、上述の式（２）を用いて影境界付近を除いた影領域に属する画素の画素値を変換することも可能であるが、ここでは、車両に設置された撮像装置の撮像画像の特性を考慮して、補正後の影領域において画像の下から上にかけて、画像が明るくなる傾向を再現することが可能な後述の式（３）を用いる方法について説明する。
【００８８】
図７に図示されている影境界付近を除いた影領域の画質改善処理では、まず、影領域画質改善部２３が、撮像画像を取得する（ステップＳ２３１１）とともに、影認識結果から影境界付近を除いた影領域の座標を取得する（ステップＳ２３１２）。
【００８９】
そして、影領域画質改善部２３は、ステップＳ２３１２で取得された影境界付近を除いた影領域の座標に対応する撮像画像内の画素（すなわち、影境界付近を除いた影領域に属する画素）を１つ選択して（ステップＳ２３１３）、ステップＳ２３１３で選択された画素の座標に基づくパラメータを設定する（ステップＳ２３１４）。そして、影領域画質改善部２３は、ステップＳ２３１４で設定されたパラメータを用いて、選択された画素の画素値を算出し（ステップＳ２３１５）、その画素の画素値をステップＳ２３１５で算出された画素値に変更する（ステップＳ２３１６）。
【００９０】
ステップＳ２３１３〜ステップＳ２３１６の処理は、影境界付近を除いた影領域に属する各画素に対して行われる。すなわち、選択された画素の画素値を変更した場合、影境界付近を除いた影領域の座標に対応する撮像画像内の画素がすべて選択されたか否かが確認される（ステップＳ２３１７）。そして、未選択の画素が存在する場合にはステップＳ２３１３に戻り、未選択の画素に関して、ステップＳ２３１３〜ステップＳ２３１６の処理が行われる。一方、影境界付近を除いた影領域に属するすべての画素が選択された場合には、影境界付近を除いた影領域の画質改善処理は終了となる。
【００９１】
上記のステップＳ２３１４で設定されるパラメータは、上述のように、車両に設置された撮像装置の撮像画像の特性を考慮して、補正後の影領域において画像の下から上にかけて、画像が明るくなる傾向を再現するために設定されるものである。具体的には、ステップＳ２３１４及びステップＳ２３１５において、下記の式（３）のような変換式によって、画素値の変換を行うことが可能である。
【００９２】
Ｖｏｕｔ（ｘ，ｙ）＝Ｖｉｎ（ｘ，ｙ）×（α−（Ｈ−ｙ）×β）  ・・・  （３）
ただし、α，βは任意の正の値であり、Ｈは撮像画像の高さである。
【００９３】
以下、上記の式（３）を用いた画素値の変換について、図２１及び図２２を参照しながら説明する。図２１は、本発明の第１の実施の形態における画像補正方法で用いられる式（３）を説明するための座標の定義を示す図である。また、図２２は、図２１のｙ方向に依存して設定されるパラメータ（重み）を説明するためのグラフである。
【００９４】
図２１に図示されているように、撮像画像の左上を原点（０，０）として、横方向をｘ軸、縦方向をｙ軸とし、さらに、撮像画像の高さをＨと表記する。このとき、上記の式（３）のパラメータ（α−（Ｈ−ｙ）×β）は、図２２に図示されているように、ｙ軸方向に勾配（−β）を有する重みであり、この重みが画素値に設定される。パラメータ（α−（Ｈ−ｙ）×β）は、ｙの値が大きくなる（すなわち、画像の下方向の向かう）とともに、大きな値となる。したがって、このパラメータ（α−（Ｈ−ｙ）×β）が積算されて得られるＶｏｕｔ（ｘ，ｙ）はｙ方向に依存して明るさが調整された値となる。なお、α、βの値は、例えば、カメラ１０の特性や車両形状などによって異なる値となる。また、式（３）はｙ方向のみ依存した重みを設定しているが、ｘ方向に依存した重みや、ｘ方向及びｙ方向の両方に依存した重みを設定することも可能である。
【００９５】
次に、図８を参照しながら、図６のステップＳ２３２における影境界付近の影領域の画質改善処理の詳細について説明する。図８は、本発明の第１の実施の形態における画像補正方法に係る影境界付近の影領域の画質改善処理の詳細な動作の一例を示すフローチャートである。
【００９６】
図８に図示されている影境界付近の影領域の画質改善処理では、まず、影領域画質改善部２３が、撮像画像を取得する（ステップＳ２３２１）とともに、影認識結果から影境界付近の影領域の座標を取得する（ステップＳ２３２２）。
【００９７】
そして、影領域画質改善部２３は、ステップＳ２３２２で取得された影境界付近の影領域の座標に対応する撮像画像内の画素（すなわち、影境界付近の影領域に属する画素）を１つ選択して（ステップＳ２３２３）、ステップＳ２３２３で選択された画素の座標に基づくパラメータを設定する（ステップＳ２３２４）。そして、影領域画質改善部２３は、ステップＳ２３２４で設定されたパラメータを用いて、選択された画素の画素値を算出する（ステップＳ２３２５）。ただし、ステップＳ２３２５で算出された画素値は、この時点では、まだ画素値の変更候補に過ぎない。
【００９８】
なお、ここでは、ステップＳ２３２３及びステップＳ２３２４において、式（３）のような座標依存のパラメータを有する変換式によって画素値の算出を行っているが、例えば式（２）に示すような座標依存のパラメータを有さない変換式を用いて画素値の算出を行ってもよい。
【００９９】
ここで、影領域画質改善部２３は、ステップＳ２３２５で算出された画素値が、その画素値が取り得る最大値（あるいは所定の設定値）以下の値か否かを確認する（ステップＳ２３２６）。そして、影領域画質改善部２３は、画素値が最大値以下の値である場合には、その画素の画素値をステップＳ２３２５で算出された画素値に変更し（ステップＳ２３２７）、一方、画素値が最大値を超えている場合には、選択された画素の画素値がそのまま使用されるように、現在の画素値を、変更後の画素値として設定する（ステップＳ２３２８）。
【０１００】
上記のステップＳ２３２６における処理は、影境界付近の影領域が他の影領域に比べて画素値が高い傾向があり、補正後の撮像画像における影境界付近の影領域が白く強調されてしまう（明るくなり過ぎてしまう）場合が多いことを考慮して行われる処理である。例えば１６進数表記の輝度値の最大値は２５６であるが、ステップＳ２３２５で算出された画素値（輝度値）は、２５６以上の値となってしまう場合がある。このような場合を考慮して、図８に図示されている影境界付近の影領域の画質改善処理では、ステップＳ２３２５において画素値の最大値を超える値が算出された場合には、この算出結果を採用せずに、元の画素値を採用する。なお、例えば、ステップＳ２３２６において、ステップＳ２３２５で算出された画素値を所定の設定値（例えば２００）と比較し、この所定の設定値を超える画素値に関しては、一律に所定の設定値をその画素値として設定することも可能である。また、この所定の設定値を座標に依存して変化する値としてもよい。
【０１０１】
ステップＳ２３２３〜ステップＳ２３２８の処理は、影境界付近の影領域に属する各画素に対して行われる。すなわち、選択された画素の画素値を変更した場合、影境界付近の影領域の座標に対応する撮像画像内の画素がすべて選択されたか否かが確認される（ステップＳ２３３９）。そして、未選択の画素が存在する場合にはステップＳ２３２３に戻り、未選択の画素に関して、ステップＳ２３２３〜ステップＳ２３２８の処理が行われる。一方、影境界付近の影領域に属するすべての画素が選択された場合には、影境界付近の影領域の画質改善処理は終了となる。
【０１０２】
次に、図９を参照しながら、図６のステップＳ２３３における影境界付近の画素の平均化処理の詳細について説明する。図９は、本発明の第１の実施の形態における画像補正方法に係る影境界付近の画素の平均化処理の詳細な動作の一例を示すフローチャートである。
【０１０３】
図９に図示されている影境界付近の画素の平均化処理では、影領域画質改善部２３が、撮像画像を取得する（ステップＳ２３３１）とともに、影認識結果から影境界の画素の座標を取得する（ステップＳ２３３２）。
【０１０４】
次に、影領域画質改善部２３は、ステップＳ２３３２で取得された影境界の画素の座標に基づいて、影境界付近の非影領域の特徴量を算出する（ステップＳ２３３３）とともに、影境界付近の影領域の特徴量を算出する（ステップＳ２３３４）。なお、ステップＳ２３３３における影境界付近の非影領域の特徴量の算出処理は、例えば、図５に図示されている非影領域の統計量算出処理などにおいて同時に行われてもよい。また、ステップＳ２３３４における影境界付近の影領域の特徴量の算出処理では、図８に図示されている影境界付近の影領域の画質改善処理で得られた画素値（補正後の画素値）を用いて、影境界付近の影領域の特徴量が算出されることが望ましい。
【０１０５】
そして、影領域画質改善部２３は、ステップＳ２３３３の処理で得られた影境界付近の非影領域の特徴量と、ステップＳ２３３４の処理で得られた影境界付近の影領域の特徴量とを用いて、影境界付近の画素の画素値を平均化する画素値平均化処理を行う（ステップＳ２３３５）。
【０１０６】
ステップＳ２３３５の画素値平均化処理は、影境界付近の非影領域及び影領域の特徴量に基づいて、影境界付近で発生し得る不連続な画素値の変化（影領域と非影領域との間の画素値の差）が滑らか（連続的）になるように影境界付近の画素値を補正するための処理である。この画素値平均化処理によって、撮像画像に存在していた影の輪郭をぼかすことが可能となり、あたかも初めから影が存在しなかったかのような違和感の無い補正後の撮像画像を生成することが可能となる。なお、ここでは、影境界付近の影領域に属する画素の画素値を変えて、非影領域と影領域との間の画素値の変化を滑らかにしているが、影境界付近の非影領域に属する画素の画素値や、影境界付近の非影領域及び影領域の両方の画素の画素値を変えてもよい。
【０１０７】
以上、説明したように、本発明の第１の実施の形態によれば、画像内の視認性の悪い領域に関して、その領域の画素に対して視認性が良くなるような変換を行うことによって、画像全体の視認性を維持したまま、局所的に視認性の悪い領域に係る視認性を改善することが可能となる。
【０１０８】
＜第２の実施の形態＞
次に、図１０を参照しながら、本発明の第２の実施の形態における画像補正方法を実行する影補正装置の構成について説明する。図１０には、本発明の第２の実施の形態における画像補正方法を実行する影補正装置の構成の一例が図示されている。なお、図１０に図示されている影補正装置２０は、図１に図示されている影補正装置２０の一構成例を示すものである。
【０１０９】
図１０に図示されている影補正装置２０は、影認識結果取得部２６、画像取得部２７、補正画像出力部２８、画像改善部５１、影領域画像切り出し部５２、影領域画像貼り付け部５３を有している。なお、画像改善部５１、影領域画像切り出し部５２、影領域画像貼り付け部５３によって表されている影補正装置２０の機能は、ハードウェア及び／又はコンピュータによって実行されるソフトウェアによって実現可能である。
【０１１０】
図１０の影認識結果取得部２６、画像取得部２７、補正画像出力部２８は、図２に図示されている影認識結果取得部２６、画像取得部２７、補正画像出力部２８と同一の機能を有している。
【０１１１】
また、画像改善部５１は、画像取得部２７で取得された撮像画像内に視認性の悪い領域が存在する場合に、その視認性の悪い領域に係る視認性を改善するために、撮像画像全体に対して画像補正処理を行うものである。画像改善部５１によって画像全体が補正された撮像画像は、視認性の悪い領域に係る視認性は改善されるものの、視認性の良かった領域に関しては、逆に視認性が低下しているおそれがある。なお、画像改善部５１では、例えば、ヒストグラム平滑化処理などの公知の画像補正技術（画像改善技術）を用いて撮像画像全体に対して画像補正を行われる。また、上述の本発明の第１の実施の形態において示唆されている任意の処理によって、撮像画像全体の画像補正処理が行われてもよい。
【０１１２】
また、影領域画像切り出し部５２は、影認識結果を参照して撮像画像内における影領域を特定し、画像改善部５１で補正された撮像画像から影領域の画像のみを切り出す機能を有している。
【０１１３】
また、影領域画像貼り付け部５３は、影認識結果を参照して撮像画像内における影領域を特定し、画像取得部２７で取得された撮像画像に対して、影領域画像切り出し部５２で切り出された影領域の画像を貼り付ける機能を有している。
【０１１４】
次に、図１１及び図２３を参照しながら、本発明の第２の実施の形態における画像補正方法に係る画像補正処理の概要について説明する。図１１は、本発明の第２の実施の形態における画像補正方法に係る画像補正処理の概要を示すフローチャートである。なお、図１１に図示されている画像補正処理は、図１及び図１０に図示されている影補正装置２０によって実行される。
【０１１５】
図１１に図示されている画像補正処理では、撮像画像が取得される（ステップＳ２５０１）とともに、影認識結果から影領域の画素の座標が取得される（ステップＳ２５０２）。画像改善部５１は、影領域の画像に係る視認性が改善されるように、撮像画像全体に対して画像補正処理を行い（ステップＳ２５０３）、影領域画像切り出し部５２は、ステップＳ２５０３で補正された撮像画像（画像全体が補正された撮像画像）から、影領域の画像を切り出す処理を行う。そして、影領域画像貼り付け部５３は、ステップＳ２５０４で切り出された影領域の画像を、ステップＳ２５０１で取得された撮像画像に貼り付ける（ステップＳ２５０５）ことによって、影領域のみに係る視認性が改善された補正後の撮像画像が生成される。なお、補正後の撮像画像に関して、影領域と非影領域との間の影境界付近の画素の平均化処理（図９に図示されている影境界付近の画素の平均化処理）が行われてもよい。
【０１１６】
また、図２３は、本発明の第２の実施の形態における画像補正方法の概要を説明するための概念図である。図１１に図示されている画像補正処理によれば、図２３に図示されているように、まず、画像改善部５１において、撮像画像８１から、画像全体が補正された撮像画像８２が生成され、影領域画像切り出し部５２において、画像全体が補正された撮像画像８２から、影領域の画像８３のみが切り出される。そして、影領域画像貼り付け部５３において、撮像画像８１の影領域に、影領域画像切り出し部５２で切り出された影領域の画像８３が貼り付けられて、影領域のみが補正された補正後の撮像画像８４が生成される。
【０１１７】
以上、説明したように、本発明の第２の実施の形態によれば、上述の本発明の第１の実施の形態と同様に、画像内の視認性の悪い領域に関して、その領域の画素に対して視認性が良くなるような変換を行うことによって、画像全体の視認性を維持したまま、局所的に視認性の悪い領域に係る視認性を改善することが可能となる。
【０１１８】
＜第３の実施の形態＞
次に、図１２を参照しながら、本発明の第３の実施の形態における画像補正方法を実行する影補正装置の構成について説明する。図１２には、本発明の第３の実施の形態における画像補正方法を実行する影補正装置の構成の一例が図示されている。なお、図１２に図示されている影補正装置２０は、図１に図示されている影補正装置２０の一構成例を示すものである。
【０１１９】
図１２に図示されている影補正装置２０は、影認識結果取得部２６、画像取得部２７、補正画像出力部２８、物体検出・追従部６１、物体存在領域特徴量算出部６２、物体存在領域特徴量格納部６３、影侵入判断部６４、影補正部６５を有している。なお、物体検出・追従部６１、物体存在領域特徴量算出部６２、影侵入判断部６４、影補正部６５によって表されている影補正装置２０の機能は、ハードウェア及び／又はコンピュータによって実行されるソフトウェアによって実現可能である。
【０１２０】
図１２の影認識結果取得部２６、画像取得部２７、補正画像出力部２８は、図２に図示されている影認識結果取得部２６、画像取得部２７、補正画像出力部２８と同一の機能を有している。
【０１２１】
また、物体検出・追従部６１は、撮像画像内に存在する物体（移動体）を検出するとともに、その物体の移動（あるいは、撮像側の移動によって起こる撮像画像内での物体の移動）を追従する機能を有している。物体検出・追従部６１は、適宜、検出された物体を含む物体周辺の画像領域（物体存在領域）の特徴量を算出するよう物体存在領域特徴量算出部６２に指示を行う。また、物体検出・追従部６１は、常に物体を追従し、その物体の存在領域を影侵入判断部６４に供給する。
【０１２２】
また、物体存在領域特徴量算出部６２は、物体検出・追従部６１から指示を受けると、物体検出・追従部６１で検出された物体に係る物体存在領域の特徴量を算出する機能を有している。物体存在領域特徴量算出部６２で算出された物体存在領域の特徴量は、本発明の第１の実施の形態における非影領域の特徴量Ｙｍに対応する情報であり、物体存在領域特徴量格納部６３に格納される。
【０１２３】
一方、影侵入判断部６４は、物体検出・追従部６１から供給される物体の存在領域、及び影領域の座標に基づいて、物体が影に侵入したか否かを判断する機能を有している。なお、物体の一部が影に侵入した場合に物体が影に侵入したと判断されてもよく、あるいは、物体が完全に影に侵入した場合に物体が影に侵入したと判断されてもよい。影侵入判断部６４は、物体が影に侵入したと判断すると、影補正部６５に対して、その物体に係る物体存在領域に基づいて影の補正を行うように指示する。
【０１２４】
影補正部６５は、影侵入判断部６４から影補正の指示を受けると、上述の本発明の第１の実施の形態に係る画像補正方法に基づいて画像補正処理を行い、撮像画像内の影領域に係る視認性を改善する。このとき、上述のように、非影領域の特徴量Ｙｍとして、物体存在領域特徴量格納部６３に格納されている物体存在領域の特徴量を使用することで、この物体を確実に視認できるような補正後の撮像画像が生成されるようになる。
【０１２５】
なお、影補正部６５は、影侵入判断部６４から指示を受けた場合のみ影の補正を行ってもよく、また、影侵入判断部６４からの指示がない場合には上述の本発明の第１又は第２の実施の形態における画像処理方法を用いて影の補正を行い、影侵入判断部６４から指示を受けた場合に、その物体の視認性の向上に特化した影の補正を行ってもよい。
【０１２６】
次に、図１３及び図２４を参照しながら、本発明の第３の実施の形態における画像補正方法に係る画像補正処理の概要について説明する。図１３は、本発明の第３の実施の形態における画像補正方法に係る画像補正処理の概要を示すフローチャートである。なお、図１３に図示されている画像補正処理は、図１及び図１２に図示されている影補正装置２０によって実行される。
【０１２７】
図１３に図示されている画像補正処理では、例えば動画像の入力が行われており、常に撮像画像及び影認識結果が供給されている（図１３ではこの処理は不図示）。物体検出・追従部６１は、撮像画像内に物体を検出すると（ステップＳ２６０１）、物体存在領域特徴量算出部６２に物体存在領域の特徴量の算出指示を行う（ステップＳ２６０２）とともに、その物体の追従処理を開始する（ステップＳ２６０３）。
【０１２８】
なお、図１３に図示されている画像補正処理では、物体の追従を行う前に物体存在領域の特徴量の算出が行われるかのように動作が示されているが、物体の追従を行っている間も適宜、物体存在領域の特徴量の算出及び格納が行われてもよい。本発明の第３の実施の形態では、物体が検出されてからその物体が影に侵入するまでの間に、少なくとも一度は物体存在領域の特徴量の算出が行われ、その算出結果が物体存在領域特徴量格納部６３に格納される必要がある。
【０１２９】
物体の追従が開始された場合には、影侵入判断部６４によって、物体の影への侵入の監視が継続的に行われる（ステップＳ２６０４）。そして、物体が影に侵入したことが検出された場合には、物体が非影領域に存在していた際の物体存在領域の特徴量（すなわち、物体存在領域特徴量格納部６３に格納されている物体存在領域の特徴量）を非影領域の特徴量Ｙｍとして、本発明の第１の実施の形態における画像補正処理が行われる（ステップＳ２６０５）。これにより、物体が良好な視認性を有していた状態における特徴量を基準として、その基準に近づくように影領域の補正を行うことが可能となり、その物体の視認性の向上に特化した影の補正が行われるようになる。
【０１３０】
また、図２４は、本発明の第３の実施の形態における画像補正方法の概要を説明するための概念図である。図１３に図示されている画像補正処理によれば、図２４に図示されているように、物体９１が影領域９３に侵入する前の状態において、物体９１を含む物体周辺の領域が物体存在領域９２として設定され、その物体存在領域９２の特徴量が算出され、格納される。そして、物体の追従を行った結果、物体が影領域９３に侵入したと判断されると、格納されている物体存在領域の特徴量を非影領域の特徴量Ｙｍとして、影領域の補正が行われる。
【０１３１】
なお、影領域の補正の際、影領域の特徴量Ｘｍとして、影領域の一部又は全体の特徴量が算出されてもよく、あるいは、影領域内に存在する物体９１の物体存在領域９４内の特徴量が算出されてもよい。影領域内に存在する物体９１の物体存在領域９４内の特徴量を影領域の特徴量Ｘｍとして使用した場合のほうが、より物体の視認性の向上に特化した画像補正処理が行われるようになる。
【０１３２】
以上、説明したように、本発明の第３の実施の形態によれば、上述の本発明の第１及び第２の実施の形態と同様に、画像内の視認性の悪い領域に関して、その領域の画素に対して視認性が良くなるような変換を行うことによって、画像全体の視認性を維持したまま、局所的に視認性の悪い領域に係る視認性を改善することが可能となる。また、本発明の第３の実施の形態によれば、特に、撮像画像内を移動する物体が視認性の悪い領域に侵入した場合に、その物体の視認性の向上に特化して、視認性の悪い領域に係る視認性を改善することが可能となる。
【０１３３】
なお、上述の本発明の第１〜第３の実施の形態では、主に、視認性の悪い領域として、影の写り込みによって局所的に暗い画像領域を一例に挙げて説明したが、影の写り込みだけではなく、例えば、逆に光源が写り込んでおり、光源及びその周囲の画像領域が明る過ぎるために、撮像画像内に視認性の悪い領域が発生する場合も考えられる。本発明は、このような影以外の原因によって発生した視認性の悪い領域を有する画像の補正に対しても適用される。なお、視認性の悪化の原因が影ではなく光源の場合には、上述の本発明の第１〜第３の実施の形態において、影領域を明る過ぎる領域と読み替え、この明る過ぎる領域を、他の領域に合わせるように暗くする動作が行われればよい。
【０１３４】
また、本明細書では、本発明の第１〜第３の実施の形態に係る技術を独立して説明しているが、本発明の第１〜第３の実施の形態に係る技術を任意に組み合わせて、本発明を実現することも可能である。
【０１３５】
また、本発明によれば、画像の補正を行う画像補正装置であって、
撮像装置で撮像された前記画像を取得する画像取得手段と、
視認性判断装置によって検出された前記画像内に存在する視認性の悪い領域を、視認性認識結果として取得する視認性認識結果取得手段と、
前記視認性認識結果取得手段で取得された前記視認性認識結果に基づいて、前記画像取得手段で取得された前記画像内における前記視認性の悪い領域を特定し、前記視認性の悪い領域の画像を補正する画像補正手段とを、
有する画像補正装置も提供される。
【０１３６】
また、本発明によれば、本発明の画像補正方法をコンピュータに実行させるためのプログラムも提供される。
【産業上の利用可能性】
【０１３７】
本発明は、画像全体の視認性を維持したまま、局所的に視認性の悪い領域に係る視認性を改善することを可能にするという効果を有しており、画像の画質を改善するための画像補正技術や、車両に設置された撮像装置によって撮像された撮像画像を運転者に提供する車両運転支援技術などに適用可能である。
【図面の簡単な説明】
【０１３８】
【図１】本発明の第１〜第３の実施の形態における画像補正方法を用いた画像補正システムの構成の一例を示す図である。
【図２】本発明の第１の実施の形態における画像補正方法を実行する影補正装置の構成の一例を示す図である。
【図３】本発明の第１の実施の形態における画像補正方法に係る画像補正処理の概要を示すフローチャートである。
【図４】本発明の第１の実施の形態における画像補正方法に係る影領域の特徴量算出処理の詳細な動作の一例を示すフローチャートである。
【図５】本発明の第１の実施の形態における画像補正方法に係る非影領域の特徴量算出処理の詳細な動作の一例を示すフローチャートである。
【図６】本発明の第１の実施の形態における画像補正方法に係る影領域の画質改善処理の詳細な動作の一例を示すフローチャートである。
【図７】本発明の第１の実施の形態における画像補正方法に係る影境界付近を除いた影領域の画質改善処理の詳細な動作の一例を示すフローチャートである。
【図８】本発明の第１の実施の形態における画像補正方法に係る影境界付近の影領域の画質改善処理の詳細な動作の一例を示すフローチャートである。
【図９】本発明の第１の実施の形態における画像補正方法に係る影境界付近の画素の平均化処理の詳細な動作の一例を示すフローチャートである。
【図１０】本発明の第２の実施の形態における画像補正方法を実行する影補正装置の構成の一例を示す図である。
【図１１】本発明の第２の実施の形態における画像補正方法に係る画像補正処理の概要を示すフローチャートである。
【図１２】本発明の第３の実施の形態における画像補正方法を実行する影補正装置の構成の一例を示す図である。
【図１３】本発明の第３の実施の形態における画像補正方法に係る画像補正処理の概要を示すフローチャートである。
【図１４】図１に図示されている画像補正システムに入力される補正前の撮像画像の一例を示す図
【図１５】図１４に図示されている撮像画像内の物体の輪郭を模式的に表す図
【図１６】図１に図示されている画像補正システムから出力される補正後の撮像画像の一例を示す図
【図１７】図１６に図示されている撮像画像内の物体の輪郭を模式的に表す図
【図１８】本発明の第１の実施の形態における画像補正方法に係る影領域及び非影領域の一例を示す図である。
【図１９】本発明に係る補正前の撮像画像の影境界付近の画素を模式的に表した図である。
【図２０】図１９の線分Ａ−Ｂ上の補正前及び補正後の画素値の値を示すグラフである。
【図２１】本発明の第１の実施の形態における画像補正方法で用いられる式（３）を説明するための座標の定義を示す図である。
【図２２】図２１のｙ方向に依存して設定されるパラメータ（重み）を説明するためのグラフである。
【図２３】本発明の第２の実施の形態における画像補正方法の概要を説明するための概念図である。
【図２４】本発明の第３の実施の形態における画像補正方法の概要を説明するための概念図である。
【符号の説明】
【０１３９】
１０  カメラ（撮像装置）
１１  影認識装置（視認性判断装置）
１５  立体物センサ
２０  影補正装置（画像補正装置）
２１  影領域特徴量算出部
２２  非影領域特徴量算出部
２３  影領域画質改善部
２６  影認識結果取得部
２７  画像取得部
２８  補正画像出力部
３０  表示モニタ
４０  撮像画像利用装置
５１  画像改善部
５２  影領域画像切り出し部
５３  影領域画像貼り付け部
６１  物体検出・追従部
６２  物体存在領域特徴量算出部
６３  物体存在領域特徴量格納部
６４  影侵入判断部
６５  影補正部
８１  撮像画像
８２  画像全体が補正された撮像画像
８３  補正された影領域の画像
８４  補正後の撮像画像
９１  物体
９２、９４  物体存在領域
９３  影領域
【図１】
0004632992.tif 000002
【図２】
0004632992.tif 000003
【図３】
0004632992.tif 000004
【図４】
0004632992.tif 000005
【図５】
0004632992.tif 000006
【図６】
0004632992.tif 000007
【図７】
0004632992.tif 000008
【図８】
0004632992.tif 000009
【図１０】
0004632992.tif 000010
【図１１】
0004632992.tif 000011
【図１２】
0004632992.tif 000012
【図１３】
0004632992.tif 000013
【図１５】
0004632992.tif 000014
【図１７】
0004632992.tif 000015
【図１８】
0004632992.tif 000016
【図１９】
0004632992.tif 000017
【図２０】
0004632992.tif 000018
【図２１】
0004632992.tif 000019
【図２２】
0004632992.tif 000020
【図２３】
0004632992.tif 000021
【図２４】
0004632992.tif 000022
【図９】
0004632992.tif 000023
【図１４】
0004632992.tif 000024
【図１６】
0004632992.tif 000025