(57)【要約】  【課題】  撮像装置からノイズ量に関するデータを取得しなくても、撮像装置から入力された画像信号の平均輝度に基づいてノイズ量を判定できる画像処理装置を提供する。  【解決手段】  画像処理装置２０は、画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置１０から、輝度補正後の画像信号を入力する画像信号入力制御部２１と、撮像装置における輝度補正のゲイン量を決定するアルゴリズムを記憶した記憶部２５と、画像信号入力制御部２１に入力された画像信号の平均輝度と記憶部２５に記憶されたアルゴリズムとに基づいて、画像信号に施された輝度補正のゲイン量を推定するゲイン量推定部２２と、ゲイン量推定部２２により推定されたゲイン量に基づいてノイズが多いか否かを判定するノイズ量判定部２３とを備える。【選択図】  図１
2011228855.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置から、前記輝度補正後の画像信号を入力する画像信号入力部と、
前記撮像装置における輝度補正のゲイン量を決定するアルゴリズムを記憶した記憶部と、
前記画像信号入力部に入力された画像信号の平均輝度と前記記憶部に記憶されたアルゴリズムとに基づいて、前記画像信号に施された輝度補正のゲイン量を推定するゲイン量推定部と、
前記ゲイン量推定部により推定されたゲイン量に基づいてノイズが多いか否かを判定するノイズ量判定部と、
を備える画像処理装置。
【請求項２】
前記ノイズ量判定部は、前記ゲイン量推定部により推定したゲイン量が、設定可能な最大のゲイン量であるときにノイズが多いと判定する請求項１の画像処理装置。
【請求項３】
前記ノイズ量判定部にてノイズが多いと判定したときには、当該画像信号に基づく画像処理を行わない請求項２に記載の画像処理装置。
【請求項４】
車両の周辺を撮像する撮像装置と、
請求項１〜３のいずれかに記載の画像処理装置と、
を備え、
前記撮像装置は、
レンズと、
前記レンズを通して入力される光を光電変換する撮像素子と、
光電変換によって得られた画像信号の輝度に応じてゲイン量を決定するゲイン制御部と、
前記ゲイン制御部にて決定されたゲイン量で画像信号を輝度補正する輝度補正部と、
輝度補正された画像信号を出力する出力部と、
を有する車載カメラシステム。
【請求項５】
前記ゲイン制御部は、
画像信号の平均輝度を算出する平均輝度算出部と、
前記平均輝度に基づいて、画像信号の平均輝度が目標値になるようにゲイン量を調整するゲイン量調整部と、
を備え、
前記ゲイン量調整部が設定するゲイン量は上限を有する請求項４の車載カメラシステム。
【請求項６】
前記平均輝度算出部は、
前記画像を複数の領域に分割し、分割した各領域の平均輝度を求め、平均輝度が第１の閾値以上の領域、または、平均輝度が第２の閾値以下の領域が存在する場合には、当該領域を除いた領域の平均輝度を算出する請求項５に記載の車載カメラシステム。
【請求項７】
画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置から、前記輝度補正後の画像信号を入力するステップと、
記憶部から、前記撮像装置における輝度補正のゲイン量を決定するアルゴリズムを読み出すステップと、
入力された画像信号の平均輝度と前記記憶部から読み出したアルゴリズムとに基づいて、前記画像信号に施された輝度補正のゲイン量を推定するステップと、
推定されたゲイン量に基づいて、ノイズが多いか否かを判定するステップと、
を備える画像ノイズ判定方法。
【請求項８】
画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置から取得した画像信号のノイズ量を判定するために、コンピュータに、
前記撮像装置から画像信号を入力するステップと、
記憶部から、前記撮像装置における輝度補正のゲイン量を決定するアルゴリズムを読み出すステップと、
入力された画像信号の平均輝度と前記記憶部から読み出したアルゴリズムとに基づいて、前記画像信号に施された輝度補正のゲイン量を推定するステップと、
推定されたゲイン量に基づいて、ノイズが多いか否かを判定するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラシステムに用いられる画像処理装置に関し、特に、撮像装置にて信号処理された画像のノイズを判定する方法に関する。
【背景技術】
【０００２】
車載カメラシステムは、車両の周辺や車両内を撮像する撮像装置と、撮像装置から送信された画像信号を受け取り、用途に応じた画像処理を行う画像処理装置とから構成されている。
【０００３】
撮像装置は、光を集光するレンズ、レンズによって集光された光を光電変換して電気信号を得る撮像素子、電気信号の処理を行う信号処理部を有している。信号処理部では、設定値に基づいて撮像画像の調整を行うが、その設定値の設定範囲には上限と下限がある。
【０００４】
撮像装置が行う信号処理の一つに輝度制御がある。輝度制御は、出力される明るさを一定に保つように輝度レベルの量を調整する機能である。画像が暗い場合には、目標として設定されている輝度レベルになるように輝度レベルを上げ、画像が明るい場合には、設定されている輝度レベルになるように、輝度レベルを下げる。
【０００５】
輝度レベルの設定値の設定範囲には上限があるので、上限まで輝度レベルを上げても、目標としている輝度レベルに到達しない場合がある。目標としている輝度レベルに到達するために、設定値を上げれば輝度レベルも上がるが、画像信号に含まれるノイズも同じ割合で増幅されるため、ノイズが多い画像となる。
【０００６】
車載カメラシステムでは、画像処理装置が、撮像装置によって撮像した画像に基づいて道路上の障害物検知、白線検出などを行う。従って、車載カメラシステムがノイズの多い画像に基づいて画像処理を行うと、障害物や白線を誤認識する原因となる。
【０００７】
特許文献１は、画像信号中のノイズを測定する方法を開示している。この文献に記載された方法では、画像信号に複数の局所領域を設け、その非飽和の局所領域の輝度のばらつきに基づいてノイズレベルを検出する。また、画像ノイズに関する技術ではないが、特許文献２は、撮像装置と画像処理装置との通信によって、撮像装置の制御データを送受信し、制御情報を取得する方法を開示している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−３３１２８３号公報
【特許文献２】特開２００６−２１１５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
実際に車載カメラシステムを使用する環境下では、被写体の明るさが一定ではないことがほとんどなので、画像信号から直接ノイズを検出することは困難である。従って、輝度のばらつきに基づいてノイズを検出する特許文献１の方法を車載カメラシステムに適用することは困難である。
【００１０】
また、通信を用いて撮像装置の制御パラメータの情報などを送受信する特許文献２の方法を採用するためには、撮像装置と画像処理装置の双方に専用の通信線を追加する必要がある。従って、車載カメラシステムが、コスト増になると共に、装置の規模が大きくなってしまうなどの課題がある。
【００１１】
そこで、本発明は、上記背景に鑑み、撮像装置からノイズ量に関するデータを取得しなくても、撮像装置から入力された画像信号の平均輝度に基づいてノイズ量を判定できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置から、前記輝度補正後の画像信号を入力する画像信号入力部と、前記撮像装置における輝度補正のゲイン量を決定するアルゴリズムを記憶した記憶部と、前記画像信号入力部に入力された画像信号の平均輝度と前記記憶部に記憶されたアルゴリズムとに基づいて、前記画像信号に施された輝度補正のゲイン量を推定するゲイン量推定部と、前記ゲイン量推定部により推定されたゲイン量に基づいてノイズが多いか否かを判定するノイズ量判定部とを備える。前記ノイズ量判定部は、前記ゲイン量推定部により推定したゲイン量が、設定可能な最大のゲイン量であるときにノイズが多いと判定してもよい。
【００１３】
この構成により、撮像装置からノイズ量に関するデータを取得しなくても、撮像装置から入力された画像信号の平均輝度に基づいてノイズ量の多寡を判定できる。画像処理装置でノイズ量を判定するために撮像装置に変更を加える必要がないので、画像処理装置を含むシステム全体のコストを抑えたノイズ判定を行うことができる。
【００１４】
本発明の画像処理装置は、前記ノイズ量判定部にてノイズが多いと判定したときには、当該画像信号に基づく画像処理を行わない構成を有する。この構成により、ノイズの多い画像に基づく処理を行わないので、画像処理の精度を高めることができる。
【００１５】
本発明の車載カメラシステムは、車両の周辺を撮像する撮像装置と、上記の画像処理装置とを備え、前記撮像装置は、レンズと、前記レンズを通して入力される光を光電変換する撮像素子と、光電変換によって得られた画像信号の輝度に応じてゲイン量を決定するゲイン制御部と、前記ゲイン制御部にて決定されたゲイン量で画像信号を輝度補正する輝度補正部と、輝度補正された画像信号を出力する出力部とを有する。また、前記ゲイン制御部は、画像信号の平均輝度を算出する平均輝度算出部と、前記平均輝度に基づいて、画像信号の平均輝度が目標値になるようにゲイン量を調整するゲイン量調整部とを備え、前記ゲイン量調整部が設定するゲイン量は上限を有する。この構成により、撮像装置は、画像の平均輝度に基づいて適切なゲイン量を決定することができる。
【００１６】
本発明の車載カメラシステムにおいて、前記平均輝度算出部は、前記画像を複数の領域に分割し、分割した各領域の平均輝度を求め、平均輝度が第１の閾値以上の領域、または、平均輝度が第２の閾値以下の領域が存在する場合には、当該領域を除いた領域の平均輝度を算出する構成を有する。この構成により、平均輝度が極端に高い領域（平均輝度が第１の閾値以上の領域）または極端に低い領域（平均輝度が第２の閾値以下の領域）を平均輝度算出の対象から除外することにより、ゲイン量を決定するための適切な平均輝度が得られる。
【００１７】
本発明の画像ノイズ判定方法は、画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置から、前記輝度補正後の画像信号を入力するステップと、記憶部から、前記撮像装置における輝度補正のゲイン量を決定するアルゴリズムを読み出すステップと、入力された画像信号の平均輝度と前記記憶部から読み出したアルゴリズムとに基づいて、前記画像信号に施された輝度補正のゲイン量を推定するステップと、推定されたゲイン量に基づいてノイズが多いか否かを判定するステップとを備える。
【００１８】
本発明のプログラムは、画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置から取得した画像信号のノイズ量を判定するために、コンピュータに、前記撮像装置から画像信号を入力するステップと、記憶部から、前記撮像装置における輝度補正のゲイン量を決定するアルゴリズムを読み出すステップと、入力された画像信号の平均輝度と前記記憶部から読み出したアルゴリズムとに基づいて、前記画像信号に施された輝度補正のゲイン量を推定するステップと、推定されたゲイン量に基づいて、ノイズが多いか否かを判定するステップとを実行させる。
【００１９】
これらの構成により、撮像装置からノイズ量に関するデータを取得しなくても、撮像装置から入力された画像信号の平均輝度に基づいてノイズ量を判定できる。上記した本発明の画像処理装置の各種の構成を、本発明の画像ノイズ判定方法およびプログラムに適用することが可能である。
【発明の効果】
【００２０】
本発明は、撮像装置に特殊な通信線を追加したり、大幅なハード構成の変更を行ったりして、撮像装置からノイズ量に関するデータを取得しなくても、撮像装置から入力された画像信号の平均輝度に基づいてノイズ量を判定できるというすぐれた効果を有する。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態の車載カメラシステムの構成を示す図
【図２】（ａ）撮像された画像を領域分割した例を示す図、（ｂ）所定の閾値より平均輝度が大きい領域を含む画像の例を示す図
【図３】輝度補正後の撮像画像の平均輝度の変化を示す図
【図４】本実施の形態の画像処理装置の動作を示す図
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態に係る車載カメラシステムについて図面を参照しながら詳細に説明する。
図１は、車載カメラシステム１の構成を示す図である。車載カメラシステム１は、撮像装置１０と画像処理装置２０とを有している。撮像装置１０は、レンズ１１を通して入ってきた光を受光して光電変換する撮像素子１２と、光電変換によって得られた画像信号の輝度に基づいて輝度補正のゲイン量を決めるゲイン制御部１３と、ゲイン制御部１３にて決定されたゲイン量で輝度補正を行う輝度補正部１４と、輝度補正後の画像信号を出力する画像信号出力制御部１５とを有している。
【００２３】
ゲイン制御部１３は、画像の平均輝度に基づいてゲイン量を決定する。ゲイン制御部１３は、画像の平均輝度を算出する平均輝度算出部１６と、平均輝度に基づいてゲイン量を調整するゲイン量調整部１７を有している。ゲイン量調整部１７は、画像の平均輝度が目標の輝度になるようにゲイン量を調整する。ただし、ゲイン量には上限がある。上限値のゲイン量を用いても、画像の平均輝度が目標値に達しないこともあるが、この場合には、ゲイン制御部１３は、設定可能な上限値をゲイン量として用いる。
【００２４】
平均輝度算出部１６は、太陽光や他の車両のヘッドライトなどの強烈な光が映り込んだ部分を除いて平均輝度を求めてもよい。以下、この処理について詳細に説明する。平均輝度算出部１６は、まず、画像を複数の領域に分割する。図２（ａ）は、撮像された画像を８×６の領域に均等に分割した例を示す図である。平均輝度算出部１６は、４８個の領域のそれぞれにおいて平均輝度を求める。ゲイン制御部１３は、平均輝度が所定の閾値以上の領域があるか判定する。
【００２５】
図２（ｂ）において、網掛けをした４個の領域は、所定の閾値以上の平均輝度を有する領域を示す。この場合、平均輝度算出部１６は、網掛けをした４個の領域を除く４４個の領域の平均輝度を求め、求めた平均輝度を用いてゲイン量を決定する。
【００２６】
このように平均輝度が所定の閾値以上の領域を、平均輝度を算出するための領域から除外することにより、強烈な光等によって輝度が極端に大きくなった領域の影響を除外し、適切なゲイン量を求めることができる。これにより、極端に輝度が大きい領域以外の領域において画像処理に必要な明るさを確保した画像信号に調整することができ、様々な被写体が存在する実環境下でも適切な輝度制御を行える効果がある。
【００２７】
次に、画像処理装置２０について説明する。画像処理装置２０は、撮像装置１０から送信された画像信号を入力する画像信号入力制御部２１と、受信した画像信号から撮像装置１０で行われた輝度補正のゲイン量を推定するゲイン量推定部２２と、ゲイン量推定部２２にて求めたゲイン量から画像信号に含まれるノイズ量を判定するノイズ量判定部２３と、撮像画像を処理して運転支援を行う運転支援アプリ２４とを有している。運転支援アプリ２４は、例えば、撮像画像から障害物や白線等を検知してドライバに提供することにより、安全運転を支援するためのアプリケーションである。運転支援のために提供する情報は、障害物や白線だけでなく様々なものが考えられる。
【００２８】
ゲイン量推定部２２は、記憶部２５に接続されている。記憶部２５は、撮像装置１０のゲイン制御部１３にてゲイン量を決定するアルゴリズムを記憶している。ゲイン量推定部２２は、記憶部２５から読み出したアルゴリズムを用いて、画像信号の平均輝度からゲイン量を推定する。
【００２９】
図３は、輝度補正後の撮像画像の平均輝度の変化を示す図である。通常は、輝度補正後の撮像画像の平均輝度は、ゲイン制御によって目標値にコントロールされる。しかし、照度が所定の閾値を下回ると、ゲイン量の上限値を用いても、目標値にまで補正できない。従って、画像信号が目標の平均輝度に達していない場合には、ゲイン量として上限値が用いられたと求められる。画像信号が目標の平均輝度に達している場合には、ゲイン量として上限値以下の値が用いられたと求められる。
【００３０】
図３に示すとおり、所定の閾値より照度が低くなると、輝度補正後の平均輝度は低下する。ゲイン量を大きくすると、画像信号に含まれるノイズも同じ割合で増幅されるため、ノイズが多い画像となる。本実施の形態では、ノイズ量判定部２３は、ゲイン量の上限値を閾値として平均輝度レベルが下がっていくところを目安にノイズ量の見極めを行う。具体的には、ノイズ量判定部２３は、ゲイン量推定部２２にて推定されたゲイン量に基づいてノイズが多いか少ないかを判定する。具体的には、ゲイン量として上限値が用いられた場合にはノイズが多いと判定し、上限値より小さい値が用いられた場合にはノイズが少ないと判定する。
【００３１】
以上説明した画像処理装置２０は、画像信号入力制御部２１、ゲイン量推定部２２、ノイズ量判定部２３、運転支援アプリ２４のそれぞれの機能を実現するモジュールを有するプログラムを、コンピュータによって実行させることにより実現してもよい。このようなプログラムも本発明の範囲に含まれる。
【００３２】
図４は、本実施の形態の画像処理装置２０の動作を示す図である。画像処理装置２０は、撮像装置１０から送信された画像信号が入力されると（Ｓ１０）、入力された画像信号を画像信号入力制御部２１からゲイン量推定部２２に渡す。ゲイン量推定部２２は、ゲイン制御部１３によるゲイン量決定のアルゴリズムを記憶部２５から読み出し、読み出したアルゴリズムを用いて、画像信号の平均輝度を求める（Ｓ１２）。具体的には、ゲイン制御部１３が画像全体の平均輝度を求めた場合には、ゲイン量推定部２２も画像全体の平均輝度を求め、ゲイン制御部１３にて所定の閾値より大きい輝度を有する領域を除外して平均輝度を求めた場合には、ゲイン量推定部２２も所定の閾値より大きい輝度を有する領域を除外して平均輝度を求める。
【００３３】
図３に示す関係性から、撮像画像の平均輝度が目標の輝度に達しているか否かによってゲイン量が上限値に達しているか否かを判断することができる。ゲイン量推定部２２は、撮像画像の平均輝度レベルが目標の輝度と一致する場合にはゲイン量が上限値ではなく、平均輝度レベルが目標の輝度を下回る場合には、ゲイン量が上限値であると推定する（Ｓ１４）。
【００３４】
ノイズ量判定部２３は、推定されたゲイン量が上限値であったか否かを判定する（Ｓ１６）。ゲイン量が上限値であった場合（Ｓ１６でＹＥＳ）、ノイズが多いと判定し、画像処理装置２０は、当該画像に基づく画像処理を停止する（Ｓ１８）。ゲイン量が上限値でない場合（Ｓ１６でＮＯ）、ノイズが少ないと判定し、画像処理装置２０は、運転支援アプリ２４によって当該画像に基づく画像処理を続行する（Ｓ２０）。
【００３５】
これにより、画像処理装置２０は、撮像装置１０から入力された画像信号を全て処理するのではなく、画像処理に適した質の良い画像信号のみ画像処理を行うため、画像処理の精度を高め、車載カメラシステム１は画像処理に基づく適切な制御を行える。
【００３６】
以上、本発明の画像処理装置および車載カメラシステムについて、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。上記した実施の形態においては、平均輝度算出部１６は、極端に輝度の高い領域を除外して画像の平均輝度を求める例について説明したが、極端に輝度の低い領域を除外して画像の平均輝度を求めることとしてもよい。
【産業上の利用可能性】
【００３７】
以上説明したように、本発明は、撮像装置からノイズ量に関するデータを取得しなくても、撮像装置から入力された画像信号の平均輝度に基づいてノイズ量を判定できるというすぐれた効果を有し、車載カメラシステムに用いられる画像処理装置等として有用である。
【符号の説明】
【００３８】
１  車載カメラシステム
１０  撮像装置
１１  レンズ
１２  撮像素子
１３  ゲイン制御部
１４  輝度補正部
１５  画像信号出力制御部
１６  平均輝度算出部
１７  ゲイン量調整部
２０  画像処理装置
２１  画像信号入力制御部
２２  ゲイン量推定部
２３  ノイズ判定部
２４  運転支援アプリ
２５  記憶部
【図１】
2011228855.tif 000003
【図２】
2011228855.tif 000004
【図３】
2011228855.tif 000005
【図４】
2011228855.tif 000006