(57)【要約】【課題】画像の歪みを好適に除去することが可能で、且つ車両の各種機器を制御する場合には、全体としての構成の簡素化を図ることが可能な画像処理装置を提供する。【解決手段】撮影部１０が一定時間毎に車両周辺を撮影し、特徴量算出部３２が、連続的に撮影して得られた撮影画像から、画像上における雨雪の落下課程等を求め、特徴量決定部３３が、画像上の落下課程等と実測落下速度特性とに基づき、実際の雨雪の落下課程等を得る。そして、付着データ推定部３４が、実際の雨雪５０の落下課程等から付着位置と付着時刻を推定する。【選択図】      図１
2004212184.tif 000002
【特許請求の範囲】
【請求項１】
連続的に車両周辺を撮影する撮影手段と、
前記撮影手段により撮影される撮影画像から飛来物を検出して雨雪と推定する雨雪推定手段と、
前記撮影手段により連続的に撮影された撮影画像に基づいて、前記雨雪推定手段により推定された雨雪の画像上での特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された雨雪の画像上での特徴量、および実空間での雨雪の大きさと落下速度との相関を示し且つ予め測定された雨雪の実測落下速度特性に基づいて、雨雪の実空間での特徴量を決定する特徴量決定手段と、
前記特徴量決定手段により決定された雨雪の実空間での特徴量に基づいて、雨雪のウインド部への付着位置を推定する付着データ推定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
車速に関する情報を取得する車速取得手段を更に備え、
前記付着データ推定手段は、前記特徴量決定手段により決定された雨雪の実空間での特徴量に加え、前記車速取得手段に取得された車速に関する情報に基づいて、車両走行時における雨雪のウインド部への付着位置を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記付着データ推定手段により推定された雨雪の付着位置に基づいて、前記撮影手段により撮影された撮影画像のうち雨雪付着部分を補正する画像補正手段をさらに備え、
前記付着データ推定手段は、前記特徴量決定手段により決定された雨雪の実空間での特徴量に基づいて、雨雪のウインド部への付着時刻を推定し、
前記画像補正手段は、この付着時刻に基づいて、雨滴のウインド部への近接時または付着時に、補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記雨雪の画像上での特徴量および前記雨雪の実空間での特徴量として雨雪の大きさを用い、更にこの特徴量は雨雪の位置および落下速度の少なくとも１つを含むものであることを特徴とする請求項１〜請求項３のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関する。
【０００２】
【従来の技術】
従来、車両周辺をカメラ等の手段により撮影し、得られた撮影画像を画像処理し、画像処理の結果に基づいて車両の各種機器を制御する機能を有した画像処理装置が知られている（例えば特許文献１参照）。
【０００３】
しかし、この装置では、雨や雪が降っている場合、カメラのレンズまたはカメラ前方のウインド部に雨滴や雪が付着すると、撮影画像に歪みが生じてしまう。つまり、雨滴等が凸レンズとして作用するなどして、光路に変化が生じ、撮影画像に歪みが生じてしまう。
【０００４】
撮影画像の歪みを除去するためには、レンズまたはウインド部への雨雪の付着前に雨雪を検出することと、レンズまたはウインド部の雨雪の付着位置を知ることが必要とされる。付着前に雨雪を検出する理由は、雨雪が付着してから雨雪を検出すると雨雪検出時には既に雨滴等によって画像に歪みが生じており、歪みの除去に遅れが生じてしまうからである。また、付着位置を知ることは、画像中における歪み位置を特定するうえで重要である。
【０００５】
一方、付着前に雨滴等を検出し付着位置を特定する検出装置として、投光部と、投光部から投射される帯状光を受光する受光部と備え、これらの間を雨滴や雪が通過すると帯状光の特性に変化が生じることを利用して、雨滴や雪を付着前に検出すると共に、雨滴等の付着位置をある程度知ることが可能となる装置が提案されている（例えば特許文献２参照）。
【０００６】
従って、この装置を用いることで、画像処理装置に撮影画像の歪みを除去する機能を追加する必要がなく、好適に歪みを除去することが可能となる。
【０００７】
【特許文献１】
特開２００１−１４７２７８号公報
【０００８】
【特許文献２】
特開平１０−８２７４１号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、特許文献２に記載の装置を用いて画像の歪みを除去する場合、投光部や受光部などの要素が必要となってしまい、画像の歪みを除去する機能を画像処理装置に組み込んだ場合に比して、全体としての構成が複雑となってしまう。
【００１０】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、画像の歪みを好適に除去することが可能で、且つ車両の各種機器を制御する場合には、全体としての構成の簡素化を図ることが可能な画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明は、撮影手段が、連続的に車両周辺を撮影し、雨雪推定手段が、撮影手段により撮影される撮影画像から飛来物を検出して雨雪と推定し、特徴量算出手段が、撮影手段により連続的に撮影された撮影画像に基づいて、雨雪推定手段により推定された雨雪の画像上での特徴量を算出し、特徴量決定手段が、特徴量算出手段により算出された雨雪の画像上での特徴量、および実空間での雨雪の大きさと落下速度との相関を示し且つ予め測定された雨雪の実測落下速度特性に基づいて、雨雪の実空間での特徴量を決定し、付着データ推定手段が、特徴量決定手段により決定された雨雪の実空間での特徴量に基づいて、雨雪のウインド部への付着位置を推定する。
【００１２】
【発明の効果】
本発明によれば、連続的に車両周辺を撮影して得られた撮影画像に基づいて、雨雪の画像上での特徴量（例えば雨雪の位置、大きさ、落下速度など）を算出し、これと予め測定された雨雪の実測落下速度特性とに基づいて、実空間での雨雪の特徴量（例えば雨雪の位置、大きさ、落下速度など）を決定する。そして、決定された実空間での雨雪の特徴量に基づいて、雨雪のウインド部への付着位置を推定する。つまり、本発明では、画像上における雨雪の落下課程等を求め、画像上の落下課程等と、実測の落下速度特性とに基づき、実際の雨雪の落下課程等を得ている。そして、実際の雨雪の落下課程等から付着位置を推定している。
【００１３】
このように、本発明では雨雪の付着位置を推定することが可能となっている。このため、雨雪が実際にウインド部に付着する前であっても、推定された付着位置に基づく歪み除去を行うことで、除去に遅れが生じることなく、推定された付着位置の歪みを適切に除去することができる。
【００１４】
また、本発明では、撮影手段によって得られた撮影画像から付着位置を推定している。このため、雨雪の検出用に他の要素を設ける必要がなくなっている。
【００１５】
従って、画像の歪みを好適に除去することが可能で、車両の各種機器を制御する場合には、全体としての構成の簡素化を図ることが可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００１７】
図１は、本発明の実施形態に係る画像処理装置の構成図である。同図に示すように、画像処理装置１は、車両内部に設置され一定時間経過ごとに車両周辺を撮影する撮影部（撮影手段）１０を備えている。また、画像処理装置１は、車速に関する情報を取得する車速取得部（車速取得手段）２０と、撮影部１０により撮影された画像、および車速取得部２０により得られた車速の情報に基づいて、画像処理を行う処理部３０とを備えている。
【００１８】
ここで、撮影部１０は、例えば、１秒間に１０００枚程度の画像を撮影できる高フレームレート撮影手段である。車速取得部２０は、車輪速センサや舵角センサなどを用いデッドレコニング等の手法を使って、自車両の走行距離と、進行方向を検出するものである。また、車速取得部２０は、この他にもＧＰＳにより自車両の位置や速度を検出するようなものであってもよい。なお、車速取得部２０は、様々な情報を取得するが、処理部３０には車速に関する情報のみを送信するようになっている。
【００１９】
処理部３０は、撮影部１０により取得された撮影画像から飛来物を検出して雨雪と推定する飛来物検出部（雨雪推定手段）３１と、撮影部１０により連続的に撮影された撮影画像に基づいて、飛来物検出部３１により推定された雨雪の画像上での特徴量を算出する特徴量算出部（特徴量算出手段）３２とを備えている。ここで特徴量とは、雨雪の状態や動きに関する特徴を示すものであって、例えば雨雪の大きさと、雨雪の位置および落下速度の少なくとも１つを含むものである。また、雨雪とは、雨滴、雪またはそれらが入り交じったものである。
【００２０】
また、処理部３０は、特徴量算出部３２により算出された画像上の雨雪の特徴量に基づいて、実空間の雨雪の特徴量を決定する特徴量決定部（特徴量決定手段）３３と、特徴量決定部３３により決定された実空間の特徴量に基づいて、雨雪のウインド部への付着位置および付着時刻を推定する付着データ推定部（付着データ推定手段）３４とを備えている。さらに、処理部３０は、付着データ推定部３４による推定結果に基づいて画像の補正を行う画像補正部（画像補正手段）３５を備えている。
【００２１】
また、上記画像処理装置１には、画像補正部３５により補正された画像に基づいて、外部機器を制御する外部機器制御部４０が接続されている。外部機器制御部４０は、画像補正部３５からの画像データに基づいて、例えば、ワイパや運転操作自体を制御するものである。
【００２２】
図２は、本実施形態に係る画像処理装置１のフローチャートである。まず、撮影部１０は、車両周囲を撮影して画像を取得する（ＳＴ１）。図３は、雨雪がウインド部に付着する様子を示す説明図である。図３に示すように、雨雪５０は、略等速直線運動で落下する（時刻ｔ１〜ｔ４はすべて等間隔）。そして、雨雪５０は、時刻ｔ５においてウインド部５１に付着する。撮影部１０は、この等速直線運動の落下の様子（ウインド部５１への付着を含む）を１秒間に１０００枚程度撮影し、撮影画像のデータを処理部３０に逐次出力している。
【００２３】
なお、落下の際の雨雪５０は、通常略円形であるが、或る一定以上の大きさを超えると空気抵抗を受けて、横に広がった楕円形状をなすようになる。また、実際の雨雪５０は落下中に風等を受けるため水平方向に移動するが、本実施形態では、雨雪５０の水平方向への移動を考慮しないものとする。撮影部１０として高フレームレートの撮影手段を用いているため、雨雪５０の水平方向への影響は極めて小さくなっているからである。また、車両走行時においては車両の走行速度に比べ、雨雪５０の水平方向への移動量が極めて小さいからである。
【００２４】
再度図２を参照して説明する。画像取得後、飛来物検出部３１は、画像内の飛来物を検出して雨雪５０と推定する（ＳＴ２）。詳しくは、飛来物検出部３１は、飛来物を検出し、検出されたもの全てを雨滴か雪と推定する。そして、飛来物検出部３１は、推定結果を特徴量算出部３２に送信する。なお、飛来物検出部３１は、推定結果と共に、撮影部１０により連続的に取得される撮影画像を特徴量算出部３２に出力する。
【００２５】
その後、特徴量算出部３２は、撮影部１０により連続的に撮影された撮影画像および飛来物検出部３１の検出結果とに基づいて、画像上での雨雪５０の特徴量である位置、大きさおよび落下速度を算出する（ＳＴ３）。例えば、特徴量算出部３２は、今回撮影された画像から、画像上での雨雪５０の大きさおよび位置（撮像素子１２の結像された大きさおよび位置に相当）を求め、今回および前回撮影された画像から位置の移動量を求め、この移動量と撮影部１０の撮影間隔Δｔとに基づいて落下速度（撮像素子１２に結像された雨雪５０の所定時間あたりの位置移動量に相当）を算出する。
【００２６】
この際、特徴量算出部３２は、画像上の雨雪５０の大きさを、例えば雨雪５０の外形の横幅から求めるようにしている。また、特徴量算出部３２は、雨雪５０の画像上の位置を、例えば雨雪５０の円形状や楕円形状等の重心となる位置として特定する。また、ここで対象となる飛来物が画像上落下していないことが明らかな場合は、当該飛来物を雨雪以外の物として処理の対象外とする。
【００２７】
特徴量の算出後、特徴量算出部３２は、算出した特徴量の情報と、車速取得部２０からの車速に関する情報とを特徴量決定部３３に出力する。
【００２８】
そして、特徴量決定部３３は、これら情報を受信し雨雪５０の大きさと落下速度との相関関係を示す落下速度関数を算出する。関数の算出後、特徴量決定部３３は、雨雪５０の落下速度関数と、雨雪５０の大きさと落下速度との相関関係を示し且つ予め測定された雨雪５０の実測落下速度特性との交点があるか否か判断する（ＳＴ４）。以下、この処理について詳しく説明する。
【００２９】
図４は、落下速度関数と実測落下速度特性との交点を求める処理（ＳＴ４）の説明図であり、（ａ）は撮影部１０から実空間の雨雪５０までの距離等の関係を示し、（ｂ）は撮影部１０により連続的に得られる撮影画像の一例を示し、（ｃ）は落下速度関数と実測落下速度特性との交点等を示している。なお、図４（ｂ）では、説明を容易にするために、連続的に得られる撮影画像を重ね合わせて一画像にしたものを示している。
【００３０】
撮影部１０は、レンズ１１を介して実空間の雨雪５０を撮像素子１２にて撮像する。このとき、図４（ａ）に示すように、実際の雨雪５０の大きさをＳとし、レンズ１１から実際の雨雪５０までの距離をＺとし、撮像素子１２からレンズ１１までの距離をｆとし、撮像素子１２に結像された雨雪５０の大きさをＬとすると、実際の雨雪５０の大きさＳは、
【数１】
2004212184.tif 000003
とすることができる。
【００３１】
また、画像は撮影部１０により一定時間ごとに取得されている。今、図４（ｂ）に示すように、時刻ｔにおける画像上の雨雪５０が、座標（ｘ１，ｙ１）の位置ｐ１であるとする。そして、Δｔ秒後の画像上の雨雪５０が、座標（ｘ２，ｙ２）の位置ｐ２であるとする。そして、雨雪５０の水平方向の移動を考慮しないことからｘ１＝ｘ２とすると、実際の雨雪５０の落下速度ｖは、
【数２】
2004212184.tif 000004
とすることができる。
【００３２】
この式（２）に、式（１）を代入すると、実空間での雨雪５０の落下速度ｖは、
【数３】
2004212184.tif 000005
とすることができる。ここで、Ｌ１は、時刻ｔにおける画像上の雨雪５０の大きさである。
【００３３】
また、式（３）において、ｙ１，ｙ２，Δｔ，Ｌ１は既知の数であるため、実際の雨雪５０の落下速度ｖは、
【数４】
2004212184.tif 000006
とすることができる。この式（４）が、画像上から算出される実空間の雨雪５０の落下速度関数である。なお、落下速度関数は、実空間の雨雪５０までの距離Ｚが不明であるため、Ｓの１次式となっている。すなわち、距離Ｚが不明であると、図５に示すように、撮影部１０に近い側（距離ｚ１）の雨雪５０の画像上での大きさが遠い側（距離ｚ２）の雨雪５０の画像上での大きさのｚ１／ｚ２倍である場合、両者は同じ大きさとして撮影されるからであり、画像上からでは、小さい雨雪５０が近くにある場合と、大きい雨雪５０が遠くにある場合との見分けが付かないからである。このため、落下速度関数は、Ｓの１次式となってしまう。
【００３４】
よって、特徴量決定部３３は、実空間の特徴量を求めるために、落下速度関数だけでなく、実測落下速度特性も用いて、両者の交点αの値を実際の雨雪５０の落下速度等とするようにしている（図４（ｃ））。
【００３５】
また、上記は車両停止中においての交点αの判断であったが、車両走行中においては、自車両が走行しているため、次のようにして交点αの判断を行う。
【００３６】
車両が速度ｖｓで走行している場合、Δｔ秒後における実空間の雨雪５０の位置は、Ｚ−ｖｓ・Δｔとなるので、これを上記式（２）に当てはめると、
【数５】
2004212184.tif 000007
とすることができる。
【００３７】
そして、式（１）を用いると、式（５）は、
【数６】
2004212184.tif 000008
とすることができる。ここで、ｙ１，ｙ２，Ｌ１，ｖｓ，Δｔは既知の数であるため、式（６）は、
【数７】
2004212184.tif 000009
とすることができる。この式（７）が車両走行中の落下速度関数である。
【００３８】
特徴量決定部３３は、車両が走行している場合、ステップＳＴ４において、この落下速度関数と、実測落下速度特性との交点を車両停車時と同様に求める（図４（ｃ））。
【００３９】
再び、図２を参照して説明する。落下速度関数と実測落下速度特性との交点がないと判断した場合（ＳＴ４：ＮＯ）、処理は終了する。一方、落下速度関数と実測落下速度特性との交点があると判断した場合（ＳＴ４：ＹＥＳ）、特徴量決定部３３は、雨雪５０の実空間の特徴量を決定する（ＳＴ５）。すなわち、上記式（４）または式（７）と実測落下速度特性との交点αから実空間の雨雪５０の落下速度ｖおよび大きさＳを求める。
【００４０】
そして、特徴量決定部３３は、実空間の雨雪５０の大きさＳを式（１）に代入して、撮影部１０内のレンズから雨雪５０までの距離Ｚを求め、雨雪５０の位置を決定する。これにより、特徴量決定部３３は、実空間における雨雪の特徴量（位置、落下速度、大きさ）を決定する。
【００４１】
このように、特徴量決定部３３は、画像上の雨雪の特徴量（大きさや落下速度）に基づいて、雨雪の実空間の特徴量（位置や落下速度）を求めていることになる。詳しくは、特徴量決定部３３は、画像上の雨雪の特徴量（大きさや落下速度）に基づいて、実空間における雨雪の大きさと落下速度との相関を示す落下速度関数を求め、さらに、雨雪の大きさと落下速度との実際の相関を示す実測落下速度特性を用いて、雨雪の実空間の特徴量（位置や落下速度）を求めている。
【００４２】
その後、付着データ推定部３４は、求められた雨雪の特徴量に基づいて、ウインド部５１への付着位置と付着時刻とを推定する（ＳＴ６）。ウインド部５１への付着位置は、車両停止中の場合、雨雪５０が垂直に落下しているとすると、雨雪５０の実空間での位置により推定することができる。また、ウインド部５１への付着時刻は、車両停止中の場合、雨雪５０が垂直に落下しているとすると、雨雪５０の実空間での位置と落下速度とにより推定できる。さらに、車両走行時においても、車速取得部２０により取得された車速に関する情報に基づき、付着位置と付着時刻との推定が可能となる。
【００４３】
その後、画像補正部３５は、雨雪が雨滴か雪かを判断する（ＳＴ７）。この判断は、例えば交点αに基づいて判断することができる。すなわち、画像補正部３５は、交点αが落下速度関数と雨滴の実測落下速度特性との交点である場合に雨雪を雨滴であると判断し、雪の実測落下速度特性との交点である場合に雨雪を雪であると判断する。
【００４４】
雪であると判断した場合、画像補正部３５は、雪の付着位置の画像を補正する（ＳＴ８）。具体的に画像補正部３５は、雪の付着位置の画像を削除する。雪が付着した場合に画像を削除するのは、雪がウインド部５１に付着して直ぐに溶けない場合などには、光路の変化による画像の歪み自体が発生しておらず、単に車両内部から外界が見えない状態になっているからである。そこで、ウインド部５１に付着したものが雪である場合、画像補正部３５は、撮影画像の雪付着部分を削除する補正を行うようにしている。そして、処理は終了する。
【００４５】
一方、雨滴であると判断した場合、画像補正部３５は、後述する拡大処理を行うか画像削除処理を行うかを判断する（ＳＴ９）。具体的に、画像補正部３５は、ウインド部５１に付着したにより、後述する拡大率が算出可能である場合には拡大処理を行うと判断し、拡大率が算出不可能である場合には削除処理を行うと判断する。削除処理を行うと判断した場合、処理は、ステップＳＴ８を経て終了する。ここで、ステップＳＴ７において雨滴であると判断されたのにもかかわらず、ステップＳＴ９において拡大率の算出不可能と判断される場合とは、例えば落下してくる雨雪が大きすぎて、拡大率が算出不可能な場合をいう。またこれに加えて、雨滴に塵などが入り交じり、非常に透明度が損なわれている場合なども拡大率が算出不可能として処理されることが考えられる。
【００４６】
一方、拡大処理を行うと判断した場合、画像補正部３５は、補正パラメータを算出し（ＳＴ１０）、雨滴の付着位置の画像を拡大し（ＳＴ１１）、処理は終了する。
【００４７】
ここで、画像削除処理（ＳＴ８）および拡大処理（ＳＴ１１）について詳説する。図６は、画像削除処理（ＳＴ８）および拡大処理（ＳＴ１１）の説明図であり、（ａ）は画像削除の範囲と雨雪５０の大きさとの関係を示しており、（ｂ）は雨滴付着時の光路の様子を示しており、（ｃ）は拡大処理（ＳＴ１１）にて求められる拡大率と雨雪の大きさとの関係を示している。
【００４８】
画像補正部３５は、画像削除処理（ＳＴ８）において、雨雪付着部分の撮影画像をマスクするようにしている。マスクの範囲は、雨雪の大きさが大きいほど広くなるようにされている。具体的には、図６（ａ）に示すように、雨雪の大きさに比例するようにマスクの範囲が広くなっている。
【００４９】
また、画像補正部３５は、画像補正処理（ＳＴ１１）において、雨滴付着部分の画像を拡大するようにしている。雨滴がウインド部５１に付着すると、図６（ｂ）に示すように、凸レンズと同じように作用して光を集光するようになる。このため、雨滴の付着部分については、車両外部の景色等は縮小して見えるようになる。従って、画像補正部３５は、雨滴の付着部分を拡大するように補正する必要がある。
【００５０】
この拡大する際、画像補正部３５は、雨滴の大きさが大きいほど画像の拡大率を大きくしている。具体的には、図６（ｃ）に示すように、雨滴の大きさに比例するように拡大率が大きくなっている。これは、雨滴の大きさが大きいほど、光を集光し雨滴付着部分の画像が小さく見える傾向にあるからである。
【００５１】
なお、画像補正部３５は、付着データ推定部３４により付着時刻に基づいて、上記画像補正（削除および拡大の双方）を雨雪５０のウインド部５１への近接時または付着時に行うことが望ましい。近接時または付着時に行うことで、画像の補正を行うタイミングが早すぎることによる画像への悪影響を防止することができるからである。
【００５２】
このようにして、本実施形態に係る画像処理装置１では、連続的に車両周辺を撮影して得られた撮影画像に基づいて、雨雪５０の画像上での特徴量（大きさ、落下速度など）を算出し、これと予め測定された雨雪の実測落下速度特性とに基づいて、実空間での雨雪５０の特徴量（位置、落下速度等）を決定する。そして、決定された実空間での雨雪５０の特徴量（位置、落下速度）に基づいて、雨雪５０のウインド部５１への付着位置を推定する。つまり、本実施形態では、画像上における雨雪５０の落下課程等を求め、画像上の落下課程等と、実測の落下速度特性とに基づき、実際の雨雪５０の落下課程等を得ている。そして、実際の雨雪５０の落下課程等から付着位置を推定している。
【００５３】
このように、本実施形態では雨雪５０の付着位置を推定することが可能となっている。このため、雨雪５０が実際にウインド部５１に付着する前であっても、推定された付着位置に基づく歪み除去を行うことで、除去に遅れが生じることなく、推定された付着位置の歪みを適切に除去することができる。
【００５４】
また、本実施形態では、撮影部１０によって得られた撮影画像から付着位置を推定している。このため、雨雪５０の検出用に他の要素を設ける必要がなくなっている。
【００５５】
従って、画像の歪みを好適に除去することが可能で、車両の各種機器を制御する場合には、全体としての構成の簡素化を図ることが可能となる。
【００５６】
また、車速に関する情報を取得するので、車両停止時のみでなく、車両走行時においても雨雪５０の付着位置および付着時刻を推定することが可能となり、利便性を向上させることができる。
【００５７】
また、雨雪５０の付着前に画像補正を行うということは、未だ雨雪が付着していないときの正常な画像に補正をかけることとなる。このため、画像補正のタイミングが早すぎると、画像に悪影響を及ぼしてしまう。ところが、本実施形態では、付着時刻に基づいて、画像補正のタイミングを雨雪５０がウインド部５１に近接したとき、または付着したときとするので、タイミングが早すぎることによる画像への悪影響を防止することができる。
【００５８】
なお、本発明は、上記した実施形態に限られるものではない。例えば、付着した雨滴上に雨滴が飛来してくることもある。この場合、新たに飛来してきた雨滴の大きさは上記実施形態の手法により容易に決定できるので、すでに付着している雨滴に新たに飛来した雨滴の大きさを加算するようにしてもよい。
【００５９】
また、本実施形態では、飛来物検出部３１は、検出した飛来物をすべて雨雪５０と推定するものであるが、これに限られるものではなく、例えば、テンプレートマッチングすることにより雨雪５０を推定するようにしてもよい。すなわち、小さな雨雪５０は空気抵抗が少なく撮影された雨雪５０の画像は円形に近くなる。このため、飛来物検出部３１に予め円形の画像を記憶しておき、テンプレートマッチングすることにより小さな雨雪５０の推定を精度よく行うようにすることもできる。また、大きな雨雪５０については、落下時に楕円形状となる傾向があることから、飛来物検出部３１に予め楕円形状の雨雪の画像を記憶しておき、テンプレートマッチングするようにしてもよい。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置の構成図である。
【図２】本実施形態に係る画像処理装置のフローチャートである。
【図３】雨雪がウインド部に付着するときの様子を示す説明図である。
【図４】落下速度関数と実測落下速度特性との交点を求める処理（ＳＴ４）の説明図であり、（ａ）は撮影部１０から実空間の雨雪５０までの距離等の関係を示し、（ｂ）は撮影部１０により連続的に得られる撮影画像の一例を示し、（ｃ）は落下速度関数と実測落下速度特性との交点等を示している。
【図５】雨雪が落下する際の様子を示す説明図である。
【図６】画像削除処理（ＳＴ８）および拡大処理（ＳＴ１１）の説明図であり、（ａ）は画像削除の範囲と雨雪の大きさとの関係を示しており、（ｂ）は雨滴付着時の光路の様子を示しており、（ｃ）は拡大処理（ＳＴ１１）にて求められる拡大率と雨雪の大きさとの関係を示している。
【符号の説明】
１  画像処理装置
１０  撮影部（撮影手段）
２０  車速取得部（車速取得手段）
３１  飛来物検出部（雨雪推定手段）
３２  特徴量算出部（特徴量算出手段）
３３  特徴量決定部（特徴量決定手段）
３４  付着データ推定部（付着データ推定手段）
３５  画像補正部（画像補正手段）
５０  雨雪
５１  ウインド部
【図１】
2004212184.tif 000010
【図２】
2004212184.tif 000011
【図３】
2004212184.tif 000012
【図４】
2004212184.tif 000013
【図５】
2004212184.tif 000014
【図６】
2004212184.tif 000015