(57)【要約】【課題】撮像画像に歪みが生じていた場合でも歪みのない撮像画像を再現する。【解決手段】記憶部１３は、車両に搭載され当該車両の一部を含む車外風景を撮像するリアカメラ１及びサイドカメラ２により撮像された、歪みのない画像を、基準画像として記憶している。画像処理部１２は、記憶部１３に記憶済みの基準画像を用いて、リアカメラ１及びサイドカメラ２により撮像される画像の歪みを補正する。【選択図】図１
2019176398.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され前記車両の一部を含む車外風景を撮像する撮像装置により撮像された、歪みのない画像を、基準画像として記憶している記憶部と、
前記記憶部に記憶済みの前記基準画像を用いて、前記撮像装置により撮像される画像の歪みを補正する画像処理部とを備える車両用画像処理装置。
【請求項２】
前記撮像装置のレンズへの液体の付着を検知する検知部を備え、
前記画像処理部は、前記検知部により液体の付着が検知された場合、前記記憶部に記憶済みの前記基準画像を用いて、前記撮像装置により撮像される前記画像の歪みを補正することを特徴とする請求項１記載の車両用画像処理装置。
【請求項３】
前記画像処理部は、前記基準画像に映った前記車両の一部の輪郭の位置と、前記撮像装置により撮像される前記画像に映る前記輪郭の位置とを用いて、前記撮像装置により撮像される前記画像の歪みを補正することを特徴とする請求項１又は請求項２記載の車両用画像処理装置。
【請求項４】
前記記憶部に記憶済みの前記基準画像は、前記撮像装置が前記車両に取り付けられた状態で撮像されたものであることを特徴とする請求項１から請求項３のうちのいずれか１項記載の車両用画像処理装置。
【請求項５】
車両に搭載され前記車両の一部を含む車外風景を撮像する撮像装置により撮像される画像を処理する車両用画像処理方法であって、
画像処理部が、前記撮像装置により撮像され記憶部に記憶済みの歪みのない画像を基準画像として用いて、前記撮像装置により撮像される画像の歪みを補正することを特徴とする車両用画像処理方法。
【請求項６】
車両に搭載され前記車両の一部を含む車外風景を撮像する撮像装置により撮像された、歪みのない画像を、基準画像として記憶する記憶手順と、
前記記憶手順により記憶済みの前記基準画像を用いて、前記撮像装置により撮像される画像の歪みを補正する画像処理手順とを、コンピュータに実行させる車両用画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両に搭載された撮像装置により撮像される画像を処理する車両用画像処理装置、車両用画像処理方法及び車両用画像処理プログラムに関するものである。
【背景技術】
【０００２】
車両の後部又は側部等に搭載された、車外を撮像するための撮像装置において、雨滴等の液体がレンズ面に付着することがある。その場合、液体によるレンズ効果によって、撮像された画像に歪みが生じ、本来の歪みのない画像が得られない。そこで、特許文献１に係る画像処理装置は、連続的に撮像して得られた撮像画像上における雨雪の特徴量と実測落下速度特性とに基づき、雨雪の車両ウインドウへの付着位置を推定し、撮像画像のうちの雨雪付着部分を補正する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２１２１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両が駐車している最中に雨雪が降り始めた場合、撮像装置が起動して撮像を開始するときにはすでに雨雪が撮像装置に付着している可能性が高い。その場合、特許文献１に係る画像処理装置は、雨雪が映り込んだ撮像画像を用いることになり、雨雪が付着していない歪みのない撮像画像を再現することができないという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、撮像画像に歪みが生じていた場合でも歪みのない撮像画像を再現することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る車両用画像処理装置は、車両に搭載され車両の一部を含む車外風景を撮像する撮像装置により撮像された、歪みのない画像を、基準画像として記憶している記憶部と、記憶部に記憶済みの基準画像を用いて、撮像装置により撮像される画像の歪みを補正する画像処理部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、車両に搭載され車両の一部を含む車外風景を撮像する撮像装置により撮像された、歪みのない画像を、基準画像として用いて、撮像装置により撮像される画像の歪みを補正するようにしたので、撮像画像に歪みが生じていた場合でも画像処理によって歪みのない撮像画像を再現することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る車両用画像処理装置の構成例を示すブロック図である。
【図２】実施の形態１におけるリアカメラの車両設置例を示す車両上面図である。
【図３】図３Ａは、実施の形態１におけるサイドカメラの車両設置例を示す車両上面図であり、図３Ｂは車両側面図である。
【図４】実施の形態１において、歪みのない撮像画像及び歪みのある撮像画像の一例を示す図である。
【図５】実施の形態１に係る車両用画像装置の動作例を示すフローチャートである。
【図６】実施の形態２に係る車両用画像処理装置の構成例を示すブロック図である。
【図７】実施の形態２に係る車両用画像処理装置の動作例を示すフローチャートである。
【図８】各実施の形態に係る車両用画像処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、実施の形態１に係る車両用画像処理装置１０の構成例を示すブロック図である。車両用画像処理装置１０は、画像取得部１１、画像処理部１２、及び記憶部１３を備える構成であり、車両に搭載される。この車両用画像処理装置１０は、同じ車両に搭載されているリアカメラ１、サイドカメラ２、及び表示装置３と接続される。
【００１０】
図２は、実施の形態１におけるリアカメラ１の車両設置例を示す車両上面図である。リアカメラ１は、車両後部２１に設置され、破線で示される撮像範囲１ａを撮像する。この撮像範囲１ａは、車外後方の風景と、バンパ等の車両後部２１の一部とを含む。リアカメラ１は、撮像範囲１ａを撮像した画像を、車両用画像処理装置１０の画像取得部１１へ出力する。
【００１１】
図３Ａは、実施の形態１におけるサイドカメラ２の車両設置例を示す車両上面図であり、図３Ｂは車両側面図である。サイドカメラ２は、車両側部３１のサイドミラーの位置に、サイドミラーの代わりに設置され、破線で示される撮像範囲２ａを撮像する。この撮像範囲２ａは、車外斜め後方の風景と、サイドウインドウ、ドア、タイヤ、及び車体等の車両側部３１の一部とを含む。サイドカメラ２は、撮像範囲２ａを撮像した画像を、車両用画像処理装置１０の画像取得部１１へ出力する。
なお、実施の形態１では、車両の一方の側部に設置されたサイドカメラ２を例に用いて車両用画像処理装置１０の動作を説明するが、もう一方の側部に設置されたサイドカメラに対しても同様に車両用画像処理装置１０が動作する。
【００１２】
図１に示される画像取得部１１は、リアカメラ１及びサイドカメラ２から画像を取得し、画像処理部１２へ出力する。
【００１３】
画像処理部１２は、記憶部１３に記憶済みの基準画像を用いて、リアカメラ１及びサイドカメラ２により撮像された画像の歪みを補正し、表示装置３へ出力する。画像の歪みは、リアカメラ１及びサイドカメラ２のレンズに付着した雨滴等の液体に起因したものである。補正方法の詳細は後述する。
【００１４】
記憶部１３は、事前にリアカメラ１により撮像された撮像範囲１ａの歪みのない画像、及び事前にサイドカメラ２により撮像された撮像範囲２ａの歪みのない画像を、それぞれ基準画像として記憶している。基準画像は、例えば、車両にリアカメラ１及びサイドカメラ２が取り付けられたときに、リアカメラ１及びサイドカメラ２のレンズに液体が付着していない状態で撮像された画像である。
【００１５】
表示装置３は、歪みが補正されたリアカメラ１及びサイドカメラ２の画像を、画像処理部１２から受け取り、画面表示する。この表示装置３は、例えば、電子ミラーとして機能する。
【００１６】
図４は、実施の形態１において、歪みのない撮像画像４１及び歪みのある撮像画像４２の一例を示す図である。図４では、歪みの有無が分かりやすくなるよう、格子模様が撮像された画像を例示する。
車両外部に設置されるリアカメラ１及びサイドカメラ２は、降雨時にレンズに雨滴が付着する可能性が高い。レンズに雨滴が付着すると、雨滴がレンズのような効果を持ち、正常時であれば歪みのない撮像画像４１が撮像されるはずが、雨滴のレンズ効果により撮像画像４２のように歪みが生じる。そのため、雨滴対策をしなければ、降雨時にリアカメラ１及びサイドカメラ２により撮像される歪みのある撮像画像４２が、表示装置３に表示される。
【００１７】
そこで、車両用画像処理装置１０は、リアカメラ１及びサイドカメラ２がバンパ等、車両の一部を撮像することを利用する。車両用画像処理装置１０は、レンズに液体が付着していない正常時に撮像された歪みのない撮像画像４１を基準画像として記憶部１３に記憶させる。液体がレンズに付着した場合、撮像画像４２のように歪みが生じるため、歪んだ撮像画像４２に映ったバンパ等の位置は、基準画像に映ったバンパ等の位置からずれる。
【００１８】
画像処理部１２は、基準画像に映ったバンパ等の位置と歪んだ撮像画像４２に映ったバンパ等の位置との差を利用し、歪んだ撮像画像４２を基準画像に近づける画像処理計算を行うことにより、撮像画像４２の歪みを補正する。図２の例では、画像処理部１２は、正常時にリアカメラ１により撮像され記憶部１３に記憶されている基準画像におけるバンパの輪郭２２の絶対位置と、降雨時にリアカメラ１により撮像され画像取得部１１により取得された撮像画像におけるバンパの輪郭の絶対位置との変化量を基に、当該撮像画像全体の歪み加減を計算する。そして、画像処理部１２は、計算した歪みを相殺するように当該撮像画像全体を歪ませる。また、図３Ａ及び図３Ｂの例では、画像処理部１２は、正常時にサイドカメラ２により撮像され記憶部１３に記憶されている基準画像におけるサイドウインドウ、ドア、タイヤ、及び車体の輪郭３２の絶対位置と、降雨時にサイドカメラ２により撮像され画像取得部１１により取得された撮像画像におけるサイドウインドウ、ドア、タイヤ、及び車体の輪郭の絶対位置との変化量を基に、当該撮像画像全体の歪み加減を計算する。そして、画像処理部１２は、計算した歪みを相殺するように当該撮像画像全体を歪ませる。これにより、画像処理部１２は、比較的簡易に歪みのない撮像画像を再現することができる。
【００１９】
なお、図２、図３Ａ及び図３Ｂでは、画像処理部１２は、歪み補正に車両の輪郭２２，３２の位置を利用する構成であるが、車両の輪郭２２，３２の位置以外を利用してもよい。例えば、画像処理部１２は、車体の塗装デザインの位置を利用してもよい。また、例えば、図４に示されるような格子模様等の配光の光を、車両に搭載された光源から車体に照射させる場合、画像処理部１２は、この格子模様等に光る位置を利用してもよい。赤外線等の不可視光線を照射する光源を用いれば車両のデザインに影響を及ぼさない。また、例えば、再帰性反射材で構成された格子模様等の不可視マーカが車両に設置された場合、画像処理部１２は、この不可視マーカの位置を利用してもよい。
【００２０】
図５は、実施の形態１に係る車両用画像処理装置１０の動作例を示すフローチャートである。車両用画像処理装置１０は、例えば表示装置３が起動している期間、図５のフローチャートに示される動作を繰り返し行う。以下では、車両用画像処理装置１０がリアカメラ１の撮像画像を歪み補正する例を用いて、フローチャートを説明する。
【００２１】
ステップＳＴ１１において、画像取得部１１は、リアカメラ１から撮像画像を取得し、画像処理部１２へ出力する。
【００２２】
ステップＳＴ１２において、画像処理部１２は、画像取得部１１から受け取ったリアカメラ１の撮像画像に映るバンパ等の位置と、記憶部１３に記憶されている基準画像に映るバンパ等の位置との変化量を基に、リアカメラ１の撮像画像の歪みを補正する。そして、画像処理部１２は、歪みを補正したリアカメラ１の撮像画像を、表示装置３に出力して表示させる。
【００２３】
以上のように、実施の形態１に係る車両用画像処理装置１０は、記憶部１３と、画像処理部１２とを備える。記憶部１３は、車両に搭載され当該車両の一部を含む車外風景を撮像するリアカメラ１及びサイドカメラ２により撮像された、歪みのない画像を、基準画像として記憶している。画像処理部１２は、記憶部１３に記憶済みの基準画像を用いて、リアカメラ１及びサイドカメラ２により撮像される画像の歪みを補正する。この構成により、車両用画像処理装置１０は、自身の動作開始時にすでに撮像画像に歪みが生じていた場合でも、画像補正によって歪みのない撮像画像を再現することができる。
また、車両用画像処理装置１０は、撮像画像の画像処理を行うだけなので、歪みの原因であるレンズの液体を拭き取る又は吹き飛ばす等の機械的な仕組みが不要となり、機械的な仕組みを導入するための費用及び機械的故障の要因をなくすことができる。
また、レンズ表面に親水処理を施すことによって撮像画像に歪みが生じることを防ぐことも考えられるが、親水処理は経年劣化してしまう。その場合、レンズ表面の親水処理と車両用画像処理装置１０による画像処理とを組み合わせることにより、親水処理が経年劣化した後も、撮像画像に生じる歪みを補正することができる。
【００２４】
また、実施の形態１の画像処理部１２は、基準画像に映った車両の一部の輪郭の位置と、リアカメラ１及びサイドカメラ２により撮像される画像に映る上記輪郭の位置とを用いて、リアカメラ１及びサイドカメラ２により撮像される画像の歪みを補正する。この構成により、車両用画像処理装置１０は、リアカメラ１及びサイドカメラ２がバンパ等、車両の一部を撮像することを利用して画像の歪みを補正することができる。そのため、歪み補正において基準として使用される専用の構造物等を必要としない。
【００２５】
また、実施の形態１の記憶部１３に記憶済みの基準画像は、リアカメラ１及びサイドカメラ２が車両に取り付けられた状態で撮像されたものである。画像処理部１２は、予め用意された基準画像を用いて画像の歪みを補正するのではなく、リアカメラ１及びサイドカメラ２が実際に撮像した画像を基準画像として用いて画像の歪みを補正する。これにより、リアカメラ１及びサイドカメラ２の取り付け時のずれ等に起因して、車両ごとに撮像範囲１ａ，２ａにずれが生じたとしても、基準画像に映った車両の一部の位置と正常時の撮像画像に映る車両の一部の位置とが一致する。よって、車両用画像処理装置１０は、精度よく歪みを補正することができる。
【００２６】
実施の形態２．
図６は、実施の形態２に係る車両用画像処理装置１０の構成例を示すブロック図である。実施の形態２に係る車両用画像処理装置１０は、図１に示された実施の形態１の車両用画像処理装置１０に対して検知部１４が追加された構成である。図６において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
【００２７】
検知部１４は、リアカメラ１のレンズへの液体の付着、及びサイドカメラ２のレンズへの液体の付着を検知し、液体が付着したことを検知した場合に画像処理部１２へ通知する。この検知部１４は、記憶部１３に記憶されている基準画像に映った車両の一部の位置と、リアカメラ１及びサイドカメラ２により撮像された画像に映った車両の一部の位置とに差がある場合、雨滴等の液体がレンズに付着していると判断し、差がない場合、液体がレンズに付着していないと判断する。なお、検知部１４は、基準画像における車両の一部の位置と撮像画像における車両の一部の位置とが厳密に一致する場合にのみ液体がレンズに付着していないと判断する必要はない。例えば、車両走行時の振動を受けて振動するリアカメラ１及びサイドカメラ２の振動量を考慮した閾値が、予め検知部１４に与えられてもよい。この場合、検知部１４は、基準画像における車両の一部の位置と撮像画像における車両の一部の位置との変化量が閾値未満であればレンズに液体が付着していないと判断し、上記変化量が上記閾値以上であればレンズに液体が付着していると判断する。
【００２８】
図７は、実施の形態２に係る車両用画像処理装置１０の動作例を示すフローチャートである。車両用画像処理装置１０は、例えば表示装置３が起動している期間、図７のフローチャートに示される動作を繰り返し行う。以下では、車両用画像処理装置１０がリアカメラ１の撮像画像を歪み補正する例を用いて、フローチャートを説明する。
【００２９】
ステップＳＴ１１において、画像取得部１１は、リアカメラ１から撮像画像を取得し、画像処理部１２及び検知部１４へ出力する。
【００３０】
ステップＳＴ２１において、検知部１４は、画像取得部１１から受け取ったリアカメラ１の撮像画像に映るバンパ等の位置と、記憶部１３に記憶されている基準画像に映るバンパ等の位置とに差がある場合、リアカメラ１のレンズに液体が付着していると判断し（ステップＳＴ２１“ＹＥＳ”）、ステップＳＴ１２へ進む。ステップＳＴ１２において、画像処理部１２は、画像取得部１１から受け取ったリアカメラ１の撮像画像に映るバンパ等の位置と、記憶部１３に記憶されている基準画像に映るバンパ等の位置との変化量を基に、リアカメラ１の撮像画像の歪みを補正する。そして、画像処理部１２は、歪みを補正したリアカメラ１の撮像画像を、表示装置３に出力して表示させる。
【００３１】
一方、検知部１４は、画像取得部１１から受け取ったリアカメラ１の撮像画像に映るバンパ等の位置と、記憶部１３に記憶されている基準画像に映るバンパ等の位置とに差がない場合、リアカメラ１のレンズに液体が付着していないと判断する（ステップＳＴ２１“ＮＯ”）。この場合、画像処理部１２は、画像取得部１１から受け取ったリアカメラ１の撮像画像を、歪み補正せずにそのまま表示装置３に出力して表示させる。
【００３２】
以上のように、実施の形態２に係る車両用画像処理装置１０は、リアカメラ１及びサイドカメラ２への液体の付着を検知する検知部１４を備える。画像処理部１２は、検知部１４により液体の付着が検知された場合、記憶部１３に記憶済みの基準画像を用いて、リアカメラ１及びサイドカメラ２により撮像される画像の歪みを補正する。この構成により、車両用画像処理装置１０は、撮像画像に歪みが生じた場合のみ補正を行なえばよいため、歪み補正のための処理負荷を軽減できる。
【００３３】
最後に、各実施の形態に係る車両用画像処理装置１０のハードウェア構成を説明する。
図８は、各実施の形態に係る車両用画像処理装置１０のハードウェア構成例を示す図である。車両用画像処理装置１０における画像取得部１１は、カメラインタフェース１００である。カメラインタフェース１００は、リアカメラ１及びサイドカメラ２の画像データをプロセッサ１０１へ出力する。車両用画像処理装置１０における画像処理部１２及び検知部１４の機能は、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１により実現される。車両用画像処理装置１０における記憶部１３は、メモリ１０２である。
【００３４】
車両用画像処理装置１０における画像処理部１２及び検知部１４の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、車両用画像処理装置１０は、プロセッサ１０１により実行されるときに、図５等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、画像処理部１２及び検知部１４の手順又は方法をコンピュータに実行させるものであるとも言える。
【００３５】
ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の光ディスクであってもよい。
【００３６】
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。
【００３７】
上記説明では、撮像装置としてリアカメラ１及びサイドカメラ２を例示したが、撮像装置はこれらのカメラに限定されるものではなく、車両に搭載され当該車両の一部を含む車外風景を撮像するものであればよい。
また、撮像装置は、車外に設置されてもよいし、車内に設置されてもよい。例えば、撮像装置が車内に設置され、リアウインドウ越しにバンパを含む車外後方の風景を撮像する場合、リアウインドウに付着した雨滴等の液体が撮像画像に歪みを生じさせることになる。その場合、車両用画像処理装置１０は、リアウインドウに付着した液体により生じた、撮像画像の歪みを補正する。
また、上記説明では、車両用画像処理装置１０が歪み補正した撮像画像の用途として、電子ミラーとして機能する表示装置３を例示したが、撮像画像の用途は電子ミラーに限定されるものではなく、車両周囲の障害物検知等に使用されてもよい。
【符号の説明】
【００３８】
１  リアカメラ（撮像装置）、１ａ，２ａ  撮像範囲、２  サイドカメラ（撮像装置）、３  表示装置、１０  車両用画像処理装置、１１  画像取得部、１２  画像処理部、１３  記憶部、１４  検知部、２１  車両後部、２２，３２  輪郭、３１  車両側部、４１，４２  撮像画像、１００  カメラインタフェース、１０１  プロセッサ、１０２  メモリ。
【図１】
2019176398.tif 000003
【図２】
2019176398.tif 000004
【図３】
2019176398.tif 000005
【図４】
2019176398.tif 000006
【図５】
2019176398.tif 000007
【図６】
2019176398.tif 000008
【図７】
2019176398.tif 000009
【図８】
2019176398.tif 000010