(57)【要約】【課題】撮像画像に基づいて処理を行う場合の誤検出を防止することができる画像処理装置を提供すること。【解決手段】画像処理装置１０は、所定の撮像範囲を撮像する後方カメラ１２と、後方カメラ１２の周囲に配置されたライセンス灯３０の照明状態を変化させたときの前後の撮像画像を取得する画像取得部１６と、前後の撮像画像を比較することにより、ライセンス灯３０を点灯させたことにより生じる撮像範囲内の不使用領域を決定する不使用領域決定部１８とを備えている。【選択図】図１
2016129305.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮像範囲を撮像する撮像手段と、
前記撮像手段の周囲に配置された照明手段の照明状態を変化させたときの前後の撮像画像を取得する画像取得手段と、
前記前後の撮像画像を比較することにより、前記照明手段を点灯させたことにより生じる撮像範囲内の不使用領域を決定する不使用領域決定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記画像取得手段は、前記照明手段の点灯状態および消灯状態のそれぞれにおいて撮像画像を取得することを特徴とする画像処理装置。
【請求項３】
請求項１または２において、
前記照明手段による照明状態の変化は、前記画像取得手段からの指示に応じて行われることを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記照明手段による照明状態は、外部装置によって制御可能であり、
前記画像取得手段は、前記外部装置に対して、前記照明手段による照明状態の変化を指示することを特徴とする画像処理装置。
【請求項５】
請求項３において、
前記照明手段による照明状態は、前記照明手段の電源供給ラインに挿入されるスイッチング素子のオン／オフによって変更可能であり、
前記画像取得手段は、前記スイッチング素子のオン／オフを指示することを特徴とする画像処理装置。
【請求項６】
請求項１または２において、
前記照明手段による照明状態の変化は、前記撮像手段による撮像タイミングに合わせて行われることを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか一項において、
前記照明手段は、車両に設けられたライセンス灯であり、
前記撮像手段は、前記ライセンス灯を点灯したときの光が到達可能な範囲に取り付けられていることを特徴とする画像処理装置。
【請求項８】
請求項１〜７のいずれか一項において、
前記撮像手段による撮像によって得られた撮像画像の中で、前記不使用領域を除く有効領域の画像に基づいて所定の画像認識処理を行う画像認識手段をさらに備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによる撮像によって得られた画像を対象に処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来から、雨滴がレンズに付着している状態で照明を当ててカメラで撮像し、得られた撮像画像中に含まれる特徴的なエッジ強度に基づいて、レンズに付着した雨滴を検出するようにした画像信号処理装置が知られている（例えば、特許文献１参照。）。この画像信号処理装置では、雨滴が検出された場合には、警報信号を出力したり、温風を吹き付けるブロアや付着した水滴を除去するワイパーを作動させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２５４２０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した特許文献１に開示された画像信号処理装置では、撮像画像中に含まれる特徴的なエッジ強度に基づいて雨滴を検出しており、この特徴的なエッジ強度と、所定の警告を行うために検出対象として想定している物体の形状とが偶然一致するような場合には誤検出の原因となり、検出精度が低下するおそれがあるという問題があった。例えば、雨滴に対応する円形形状を雨滴に対応する特徴的なエッジ強度とし、検出対象として円形形状のタイヤを考えると、これらの形状は類似しているため、光の反射の状態によってはタイヤを雨滴として誤検出したり、雨滴をタイヤとして誤検出する場合が考えられる。
【０００５】
本発明は、このような点に鑑みて創作されたものであり、その目的は、撮像画像に基づいて処理を行う場合の誤検出を防止することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の画像処理装置は、所定の撮像範囲を撮像する撮像手段と、撮像手段の周囲に配置された照明手段の照明状態を変化させたときの前後の撮像画像を取得する画像取得手段と、前後の撮像画像を比較することにより、照明手段を点灯させたことにより生じる撮像範囲内の不使用領域を決定する不使用領域決定手段とを備えている。
【０００７】
照明手段を点灯させたことに起因して生じる画像の一部を不使用領域として特定することにより、この不使用領域を含む撮像画像全体を処理の対象とする場合に比べて、撮像画像に基づいて処理を行う場合の誤検出を防止することができる
また、上述した画像取得手段は、照明手段の点灯状態および消灯状態のそれぞれにおいて撮像画像を取得することが望ましい。これにより、照明手段を点灯させたときの影響を正確に知ることが可能となる。
【０００８】
また、上述した照明手段による照明状態の変化は、画像取得手段からの指示に応じて行われることが望ましい。これにより、照明状態の変化の前後について確実に撮像画像を取得することが可能となる。
【０００９】
また、上述した照明手段による照明状態は、外部装置によって制御可能であり、画像取得手段は、外部装置に対して、照明手段による照明状態の変化を指示することが望ましい。これにより、照明手段の照明状態を制御する外部装置（例えば、車両電子制御装置（車両ＥＣＵ）など）が存在する場合に、外部装置に指示を出すだけで、大幅な設計変更等を行うことなく照明状態の変化の前後について容易に撮像画像を取得することが可能となる。
【００１０】
また、上述した照明手段による照明状態は、照明手段の電源供給ラインに挿入されるスイッチング素子のオン／オフによって変更可能であり、画像取得手段は、スイッチング素子のオン／オフを指示することが望ましい。これにより、電源供給ラインにスイッチング素子を追加するという比較的少ない設計変更により、照明状態の変化の前後について確実に撮像画像を取得することが可能となる。
【００１１】
また、上述した照明手段による照明状態の変化は、撮像手段による撮像タイミングに合わせて行われることが望ましい。これにより、照明手段を適切なタイミングで消灯させることができ、消灯時間を短くすることが可能となる。
【００１２】
また、上述した照明手段は、車両に設けられたライセンス灯であり、撮像手段は、ライセンス灯を点灯したときの光が到達可能な範囲に取り付けられていることが望ましい。これにより、車両後部のナンバープレート周辺に取り付けられることが多いバックカメラに本発明を適用することができる。
【００１３】
また、上述した撮像手段による撮像によって得られた撮像画像の中で、不使用領域を除く有効領域の画像に基づいて所定の画像認識処理を行う画像認識手段をさらに備えることが望ましい。これにより、撮像画像に基づく画像認識処理の認識精度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】一実施形態の車両システムの構成を示す図である。
【図２】後方カメラの搭載位置と撮像範囲を示す図である。
【図３】後方カメラの外観形状を示す斜視図である。
【図４】ライセンス灯の点灯状態に対応する撮像画像を示す図である。
【図５】ライセンス灯の消灯状態に対応する撮像画像を示す図である。
【図６】ライセンス灯の照明状態の変化の前後の撮像画像に基づいて不使用領域を決定する本実施形態の画像処理装置の動作手順を示す流れ図である。
【図７】変形例の車両システムの構成を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の画像処理装置を適用した一実施形態の車両システムについて、図面を参照しながら説明する。図１は、一実施形態の車両システムの構成を示す図である。図１に示すように、本実施形態の車両システムは、画像処理装置１０、ライセンス灯３０、車両ＥＣＵ（車両電子制御装置）４０を備えている。
【００１６】
画像処理装置１０は、車両に搭載されており、車両後方を撮像した撮像画像に基づいて所定の処理を行う。例えば、交差車両警報ＣＴＡ（Cross Traffic Alert）、後側方車両検知警告ＢＳＷ（Blind Spot Warning）、車線逸脱警告ＬＤＷ（Lane Departure Warning）などの撮像画像に基づく各種の画像認識処理を行う。ライセンス灯３０は、車両後部のナンバープレートを照らす照明であり、ナンバープレートの取り付け位置の上部にとりつけられている。車両ＥＣＵ４０は、エンジン等の制御や各種照明の点灯／消灯を制御する。制御対象となる各種照明には、前照灯やウインカー等の他にライセンス灯３０も含まれている。
【００１７】
上述した画像処理装置１０は、後方カメラ１２、画像メモリ１４、画像取得部１６、不使用領域決定部１８、検出対象範囲画像抽出部２０、ＣＴＡ処理部２２、ＢＳＷ処理部２４、ＬＤＷ処理部２６を備える。
【００１８】
後方カメラ１２は、車両後方に取り付けられており、左右の隣接車線が含まれる撮像範囲を有する。例えば、ＣＣＤ撮像素子やＣＭＯＳ撮像素子を用いるとともに、魚眼レンズを取り付けて画角を広くしたカメラを用いることが望ましい。
【００１９】
図２は、後方カメラ１２の搭載位置と撮像範囲を示す図である。図２に示すように、自車両Ｇの後方中央近傍、例えばナンバープレート上部に後方カメラ１２が取り付けられている。
【００２０】
図３は、後方カメラ１２の外観形状を示す斜視図である。図３に示すように、後方カメラ１２には、レンズ１２Ａが備わっており、このレンズ１２Ａを通して撮像範囲が撮像される。上述したように、この後方カメラ１２は、例えばナンバープレート上部であって、ライセンス灯３０を点灯したときの光がレンズ１２Ａに到達可能な範囲に取り付けられている。
【００２１】
画像メモリ１４は、後方カメラ１２の撮像によって得られた画像を格納する。例えば、後方カメラ１２は、毎秒３０フレーム（３０ｆｐｓ）の間隔で撮像を行っており、これらの各撮像画像が画像メモリ１４に格納される。
【００２２】
画像取得部１６は、ライセンス灯３０の照明状態を変化させたときの前後の撮像画像を取得する。具体的には、画像取得部１６は、ライセンス灯３０の点灯状態および消灯状態のそれぞれにおいて撮像画像を取得する。なお、後方カメラ１２の撮像によって得られた画像は一旦画像メモリ１４に格納されるため、この格納された画像の中から該当する２枚が抽出される。
【００２３】
図４および図５は、照明状態を変化させたときの前後の撮像画像を示す図である。図４には、ライセンス灯３０の点灯状態に対応する撮像画像が示されている。また、図５には、ライセンス灯３０の消灯状態に対応する撮像画像が示されている。
【００２４】
図４において、Ａ１は、後方カメラ１２のレンズ１２Ａ（図３）に雨滴が付着した場合にライセンス灯３０の光の照射により生じる高輝度の部分領域を示している。また、Ａ２、Ａ３は、後方カメラ１２のレンズ１２Ａの縁周辺でライセンス灯３０の光の照射により生じる高輝度の部分領域を示している。一般に、これらの部分領域Ａ１、Ａ２、Ａ３は、１枚の撮像画像だけを観察しても、ライセンス灯３０の光によるものであるか否かを判別することは容易ではない。これに対し、ライセンス灯３０の消灯状態に対応する撮像画像（図５）には、これらの部分領域Ａ１、Ａ２、Ａ３は含まれない。
【００２５】
不使用領域決定部１８は、画像取得部１６によって取得した変化前後の撮像画像を比較することにより、ライセンス灯３０を点灯させたことにより生じる撮像範囲内の不使用領域を決定する。具体的には、図４および図５に示す２枚の撮像画像を比較することにより、部分画像Ａ１、Ａ２、Ａ３が不使用領域として決定される。
【００２６】
検出対象範囲画像抽出部２０は、後方カメラ１２によって撮像されて画像メモリ１４に格納された画像を読み出し、この画像の中から、不使用領域決定部１８によって決定された不使用領域以外の領域を検出対象範囲画像として抽出する。
【００２７】
ＣＴＡ処理部２２は、検出対象範囲画像抽出部２０によって抽出された検出対象範囲画像が入力され、この検出対象範囲画像に含まれる車両等を画像認識処理によって抽出し、抽出したこれらの車両等が自車両に接近したときに警告する交差車両警報処理を行う。
【００２８】
ＢＳＷ処理部２４は、検出対象範囲画像抽出部２０によって抽出された検出対象範囲画像が入力され、この検出対象範囲画像に含まれる隣接走行車線上の他の車両を画像認識処理によって抽出し、抽出したこれらの車両等が自車両に接近したときに警告する後側方車両検知警告処理を行う。
【００２９】
ＬＤＷ処理部２６は、検出対象範囲画像抽出部２０によって抽出された検出対象範囲画像が入力され、この検出対象範囲画像に含まれる走行車線を区画する路面上の左右の白線を画像認識処理によって検知し、自車両の走行位置がこれらの白線を跨いで隣接走行車線に進入したときに警告する車線逸脱警告処理を行う。
【００３０】
これらＣＴＡ処理部２２、ＢＳＷ処理部２４、ＬＤＷ処理部２６のそれぞれによって行われる画像認識処理では、不使用領域を除く検出対象範囲画像を用いて行われるため、不使用領域の部分画像を処理対象に含めた場合に生じる誤検出、誤認識を確実に防止することができる。
【００３１】
なお、上述したＣＴＡ処理部２２、ＢＳＷ処理部２４、ＬＤＷ処理部２６は、画像認識処理を伴う処理の具体例を示したものであって、必ずしもこれら３つの全てを備える必要はない。また、これらの各処理部の代わりに、あるいは、これらに加えて、他の画像認識処理を伴う別の処理部を含めるようにしてもよい。
【００３２】
上述した後方カメラ１２が撮像手段に、ライセンス灯３０が照明手段に、画像取得部１６が画像取得手段に、不使用領域決定部１８が不使用領域決定手段に、ＣＴＡ処理部２２、ＢＳＷ処理部２４、ＬＤＷ処理部２６が画像認識手段に、車両ＥＣＵ４０が外部装置にそれぞれ対応する。
【００３３】
図６は、ライセンス灯３０の照明状態の変化の前後の撮像画像に基づいて不使用領域を決定する本実施形態の画像処理装置１０の動作手順を示す流れ図である。この動作手順は、所定の時間間隔で繰り返し行うことが望ましい。
【００３４】
画像取得部１６は、ライセンス灯３０が点灯状態か否かを判定する（ステップ１００）。例えば、画像処理装置１０と車両ＥＣＵ４０とがＣＡＮ（Controller Area Network）やＬＩＮ（Local Interconnect Network）等などの通信線を介して接続されており、画像取得部１６は、車両ＥＣＵ４０からライセンス灯３０の点灯状態を示す情報を受け取ったり、ライセンス灯３０の消灯や点灯を指示することができる。ライセンス灯３０が点灯状態でない場合にはステップ１００の判定において否定判断が行われ、この判定が繰り返される。また、ライセンス灯３０が点灯状態の場合にはステップ１００の判定において肯定判定が行われる。次に、画像取得部１６は、後方カメラ１２による撮像によって得られた点灯状態での撮像画像を取得する（ステップ１０２）。
【００３５】
次に、画像取得部１６は、ライセンス灯３０の消灯を指示する（ステップ１０４）。この指示は、ライセンス灯３０の点灯／消灯を制御する車両ＥＣＵ４０に対して行われる。この指示を行った後、画像取得部１６は、後方カメラ１２による撮像によって得られた消灯状態での撮像画像を取得する（ステップ１０６）。その後、画像取得部１６は、ライセンス灯３０の点灯を指示する（ステップ１０８）。なお、ステップ１０４において消灯を指示してからステップ１０８において点灯を指示するまでの時間は短い方が望ましい。例えば、後方カメラ１２によって毎秒３０フレームの間隔で撮像を行う場合には、ライセンス灯３０が消灯している間に確実に撮像するためには数フレーム分以上の消灯時間が必要であるが、自車両のナンバープレートの視認性確保のためには消灯時間をこの数フレーム分としてそれ以上長くしないことが望ましい。
【００３６】
次に、不使用領域決定部１８は、ステップ１０２において取得した点灯状態での撮像画像と、ステップ１０６において取得した消灯状態での撮像画像とを比較して、不使用領域を決定する（ステップ１１０）。
【００３７】
このように、本実施形態の画像処理装置１０では、ライセンス灯３０を点灯させたことに起因して生じる撮像画像の一部を不使用領域として特定することにより、この不使用領域を含む撮像画像全体を処理の対象とする場合に比べて、撮像画像に基づいて処理を行う場合の誤検出を防止することができる。
【００３８】
また、ライセンス灯３０の点灯状態および消灯状態のそれぞれにおいて撮像画像を取得することにより、ライセンス灯３０を点灯させたときの影響を正確に知ることが可能となる。
【００３９】
また、ライセンス灯３０による照明状態の変化（点灯／消灯）は、画像取得手段からの指示に応じて行われるため、照明状態の変化の前後について確実に撮像画像を取得することが可能となる。
【００４０】
また、ライセンス灯３０による照明状態は車両ＥＣＵ４０によって制御可能であり、画像取得部１６は、車両ＥＣＵ４０に対して、ライセンス灯３０による照明状態の変化を指示している。これにより、ライセンス灯３０の照明状態を制御する車両ＥＣＵ４０に指示を出すだけで、大幅な設計変更等を行うことなく照明状態の変化の前後について容易に撮像画像を取得することが可能となる。
【００４１】
また、後方カメラ１２は、ライセンス灯３０を点灯したときの光が到達可能な範囲に取り付けることができるため、車両後部のナンバープレート周辺に取り付けられることが多いバックカメラを後方カメラ１２として使用することが可能となる。
【００４２】
また、上述した撮像手段による撮像によって得られた撮像画像の中で、不使用領域を除く有効領域の画像（検出対象範囲画像）に基づいて所定の画像認識処理（交差車両警報処理、後側方車両検知警告処理、車線逸脱警告処理）を行うことにより、撮像画像に基づく画像認識処理の認識精度を向上させることができる。
【００４３】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、車両ＥＣＵ４０に指示を送って消灯（ステップ１０４）や点灯（ステップ１０８）を画像取得部１６から指示したが、車両ＥＣＵ４０を介さずにこれらの指示を行うようにしてもよい。
【００４４】
図７は、変形例の車両システムの構成を示す図である。図１に示した構成に対して、ライセンス灯３０周りの構成が異なっている。具体的には、ライセンス灯３０の電源供給ライン（望ましくはアース側）に、ライセンス灯３０を必要に応じて消灯させるためのスイッチング素子４２が追加されている。このスイッチング素子４２は、常時オンされており、本発明において消灯状態に対応する撮像画像を取得するタイミング（図６のステップ１０４）でオフされる。そして、撮像画像取得が終了した後、再度オンされる（図６のステップ１０８）。なお、図６に示した流れ図は、この変形例でもそのまま用いることができるが、車両ＥＣＵ４０から点灯状態に関する情報を受け取らないとステップ１００の判定はできない。この場合には、ステップ１００の動作手順は省略すればよい。仮に、ライセンス灯３０が消灯しているときに図６に示す動作手順を実施しても、ステップ１０２、１０６で同じ内容の撮像画像が得られるだけであり、その時点（ライセンス灯３０の消灯時）で不使用領域は存在しないことになるだけであって、特に不都合は生じない。
【００４５】
このように、ライセンス灯３０の電源供給ラインにスイッチング素子４２を追加するという比較的少ない設計変更により、照明状態の変化の前後について確実に撮像画像を取得することが可能となる。
【００４６】
また、上述した実施形態では、後方カメラ１２の撮像タイミング（シャッタータイミング）を考慮した撮像画像の取得は行っていないが、シャッタータイミングを考慮することにより、ライセンス灯３０をシャッタータイミングに合わせた適切なタイミングで消灯させることができ、消灯時間を短くすることが可能となる。例えば、図１、図７では、後方カメラ１２から画像取得部１６にシャッタータイミングを知らせる信号線が点線で示されている。画像取得部１６は、後方カメラ１２のシャッタータイミングを知ることにより、シャッタータイミングに合わせてライセンス灯３０を消灯させ、かつ、消灯時間が最小となるように、消灯を指示するタイミングを設定することが可能となる。
【００４７】
また、上述した実施形態では、ライセンス灯３０が点灯したときの光が後方カメラ１２のレンズ１２Ａに到達する場合を考えたが、後方カメラ１２の設置位置を変えた場合などにおいて、ライセンス灯３０以外の照明の光が後方カメラ１２のレンズ１２Ａに到達する場合についても本発明を適用することができる。また、後方カメラ１２だけでなく、サイドミラー等のその他の場所に取り付けるカメラについても各種照明の光が進入するような場合には本発明を適用することができる。
【００４８】
また、上述した実施形態では、車両に搭載された画像処理装置１０について本発明を適用したが、車両以外の場所に設置された場合についても本発明を適用することができる。例えば、建造物の出入口において人や車両の通過や進入を監視する場合に、夜間時に点灯した照明の光がカメラに到達するような場合についても本発明を適用することができる。
【産業上の利用可能性】
【００４９】
上述したように、本発明によれば、照明手段を点灯させたことに起因して生じる画像の一部を不使用領域として特定することにより、この不使用領域を含む撮像画像全体を処理の対象とする場合に比べて、撮像画像に基づいて処理を行う場合の誤検出を防止することができる。
【符号の説明】
【００５０】
１０  画像処理装置
１２  後方カメラ
１４  画像メモリ
１６  画像取得部
１８  不使用領域決定部
２０  検出対象範囲画像抽出部
２２  ＣＴＡ処理部
２４  ＢＳＷ処理部
２６  ＬＤＷ処理部
３０  ライセンス灯
４０  車両ＥＣＵ
４２  スイッチング素子
【図１】
2016129305.tif 000003
【図２】
2016129305.tif 000004
【図３】
2016129305.tif 000005
【図４】
2016129305.tif 000006
【図５】
2016129305.tif 000007
【図６】
2016129305.tif 000008
【図７】
2016129305.tif 000009