(57)【要約】  雨等の影響を除去した背景画像を生成する画像処理装置において、画像メモリを削減する。  画像処理装置において、選択部は、入力画像信号により構成される時系列のフレーム毎に実行される処理サイクルのうちの注目処理サイクルにおいて入力される入力画像信号と注目処理サイクルの１つ前の処理サイクルにおいて生成された出力画像信号である直前出力画像信号と注目処理サイクルの２つ前の処理サイクルにおいて生成された出力画像信号に基づく画像信号である既出力画像信号とから色空間における距離が短い２つの画像信号を選択する。出力画像信号生成部は、選択された２つの画像信号を所定の混合比率に基づいて混合して出力画像信号を生成する。
2016152190.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号により構成される時系列のフレーム毎に実行される処理サイクルのうちの注目処理サイクルにおいて入力される前記入力画像信号と前記注目処理サイクルの１つ前の処理サイクルにおいて生成された出力画像信号である直前出力画像信号と前記注目処理サイクルの２つ前の処理サイクルにおいて生成された前記出力画像信号に基づく画像信号である既出力画像信号とから色空間における距離が短い２つの画像信号を選択する選択部と、
前記選択された前記２つの画像信号を所定の混合比率に基づいて混合して前記出力画像信号を生成する出力画像信号生成部と
を具備する画像処理装置。
【請求項２】
前記出力画像信号生成部は、１対１の前記混合比率に基づいて前記混合を行う請求項１記載の画像処理装置。
【請求項３】
前記出力画像信号生成部は、前記２つの画像信号の彩度の比率に応じた前記混合比率に基づいて前記混合を行う請求項１記載の画像処理装置。
【請求項４】
前記注目処理サイクルにおいて生成された前記出力画像信号と前記直前出力画像信号とを所定の第２の混合比率に基づいて混合して前記既出力画像信号を生成する既出力画像信号生成部をさらに具備する請求項１記載の画像処理装置。
【請求項５】
前記既出力画像信号生成部は、１対１の前記第２の混合比率に基づいて前記混合を行う請求項４記載の画像処理装置。
【請求項６】
前記既出力画像信号生成部は、前記注目処理サイクルにおいて生成された前記出力画像信号と前記直前出力画像信号との彩度の比率に応じた前記第２の混合比率に基づいて前記混合を行う請求項４記載の画像処理装置。
【請求項７】
前記直前出力画像信号を保持する直前出力画像信号保持部と、
前記既出力画像信号を保持する既出力画像信号保持部と
をさらに具備する請求項１記載の画像処理装置。
【請求項８】
画像信号を入力画像信号として供給する撮像装置と、
前記供給された前記入力画像信号により構成される時系列のフレーム毎に実行される処理サイクルのうちの注目処理サイクルにおいて入力される前記入力画像信号と前記注目処理サイクルの１つ前の処理サイクルにおいて生成された出力画像信号である直前出力画像信号と前記注目処理サイクルの２つ前の処理サイクルにおいて生成された前記出力画像信号に基づく画像信号である既出力画像信号とから色空間における距離が短い２つの画像信号を選択する選択部と、
前記選択された前記２つの画像信号を所定の混合比率に基づいて混合して前記出力画像信号を生成する出力画像信号生成部と
を具備する画像処理システム。
【請求項９】
入力画像信号により構成される時系列のフレーム毎に実行される処理サイクルのうちの注目処理サイクルにおいて入力される前記入力画像信号と前記注目処理サイクルの１つ前の処理サイクルにおいて生成された出力画像信号である直前出力画像信号と前記注目処理サイクルの２つ前の処理サイクルにおいて生成された前記出力画像信号に基づく画像信号である既出力画像信号とから色空間における距離が短い２つの画像信号を選択する選択手順と、
前記選択された前記２つの画像信号を所定の混合比率に基づいて混合して前記出力画像信号を生成する出力画像信号生成手順と
を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理システムおよび画像処理方法に関する。詳しくは、雨等の影響を除去する画像処理装置、画像処理システムおよび画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
屋外に設置される監視装置は、主に不審者や車等の侵入を監視するために使用される。この不審者等を感知する方法として、背景画像との差分を算出する方法が知られている。この際に使用される背景画像は、動きのある画像が除去された画像であることが望ましい。例えば降雨時においては、雨滴が除去された画像が使用される。そこで、画像に写り込んだ雨や雪等を除去するために画像処理を行うシステムが提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０１８６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術は、連続するフレームの画像を画像メモリに保持し、これらの平均値を算出することにより、雨等の影響を軽減するものである。しかし、この平均値の算出のためには、少なくとも３フレームの画像を保持する必要があり、大容量の画像メモリを要するという問題がある。【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、雨等の影響を除去した背景画像を生成する画像処理装置において、画像メモリを削減することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、入力画像信号により構成される時系列のフレーム毎に実行される処理サイクルのうちの注目処理サイクルにおいて入力される上記入力画像信号と上記注目処理サイクルの１つ前の処理サイクルにおいて生成された出力画像信号である直前出力画像信号と上記注目処理サイクルの２つ前の処理サイクルにおいて生成された上記出力画像信号に基づく画像信号である既出力画像信号とから色空間における距離が短い２つの画像信号を選択する選択部と、上記選択された上記２つの画像信号を所定の混合比率に基づいて混合して上記出力画像信号を生成する出力画像信号生成部とを具備する画像処理装置である。これにより、上記入力画像信号、上記直前出力画像信号および上記既出力画像信号のうち色空間における距離が短い２つの画像信号が選択されて混合されるという作用をもたらす。【０００７】
また、この第１の側面において、上記出力画像信号生成部は、１対１の上記混合比率に基づいて上記混合を行ってもよい。これにより、上記選択された上記２つの画像信号の平均値が算出されるという作用をもたらす。【０００８】
また、この第１の側面において、上記出力画像信号生成部は、上記２つの画像信号の彩度の比率に応じた上記混合比率に基づいて上記混合を行ってもよい。これにより、上記選択された上記２つの画像信号の彩度による重み付けを行った加重平均値が算出されるという作用をもたらす。【０００９】
また、この第１の側面において、上記注目処理サイクルにおいて生成された上記出力画像信号と上記直前出力画像信号とを所定の第２の混合比率に基づいて混合して上記既出力画像信号を生成する既出力画像信号生成部をさらに具備してもよい。これにより、上記出力画像信号および上記直前出力画像信号が混合されて、上記既出力画像信号が生成されるという作用をもたらす。【００１０】
また、この第１の側面において、上記既出力画像信号生成部は、１対１の上記第２の混合比率に基づいて上記混合を行ってもよい。これにより、上記出力画像信号および上記直前出力画像信号の平均値が算出されるという作用をもたらす。【００１１】
また、この第１の側面において、上記既出力画像信号生成部は、上記注目処理サイクルにおいて生成された上記出力画像信号と上記直前出力画像信号との彩度の比率に応じた上記第２の混合比率に基づいて上記混合を行ってもよい。これにより、上記出力画像信号および上記直前出力画像信号の彩度による重み付けを行った加重平均値が算出されるという作用をもたらす。【００１２】
また、この第１の側面において、上記直前出力画像信号を保持する直前出力画像信号保持部と、上記既出力画像信号を保持する既出力画像信号保持部とをさらに具備してもよい。これにより、上記直前出力画像信号および上記既出力画像信号がそれぞれ保持されるという作用をもたらす。【００１３】
また、本技術の第２の側面は、画像信号を入力画像信号として供給する撮像装置と、上記供給された上記入力画像信号により構成される時系列のフレーム毎に実行される処理サイクルのうちの注目処理サイクルにおいて入力される上記入力画像信号と上記注目処理サイクルの１つ前の処理サイクルにおいて生成された出力画像信号である直前出力画像信号と上記注目処理サイクルの２つ前の処理サイクルにおいて生成された上記出力画像信号に基づく画像信号である既出力画像信号とから色空間における距離が短い２つの画像信号を選択する選択部と、上記選択された上記２つの画像信号を所定の混合比率に基づいて混合して上記出力画像信号を生成する出力画像信号生成部とを具備する画像処理システムである。これにより、上記入力画像信号、上記直前出力画像信号および上記既出力画像信号のうち色空間における距離が短い２つの画像信号が選択されて混合されるという作用をもたらす。【００１４】
また、本技術の第３の側面は、入力画像信号により構成される時系列のフレーム毎に実行される処理サイクルのうちの注目処理サイクルにおいて入力される上記入力画像信号と上記注目処理サイクルの１つ前の処理サイクルにおいて生成された出力画像信号である直前出力画像信号と上記注目処理サイクルの２つ前の処理サイクルにおいて生成された上記出力画像信号に基づく画像信号である既出力画像信号とから色空間における距離が短い２つの画像信号を選択する選択手順と、上記選択された上記２つの画像信号を所定の混合比率に基づいて混合して上記出力画像信号を生成する出力画像信号生成手順とを具備する画像処理方法である。これにより、上記入力画像信号、上記直前出力画像信号および上記既出力画像信号のうち色空間における距離が短い２つの画像信号が選択されて混合されるという作用をもたらす。
【発明の効果】
【００１５】
本技術によれば、雨等の影響を除去した背景画像を生成する画像処理装置において、画像メモリを削減するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本技術の実施の形態におけるシステムの構成例を示す図である。
【図２】本技術の第１の実施の形態における画像処理装置２００の構成例を示す図である。
【図３】本技術の第１の実施の形態における直前出力画像信号保持部２３０および既出力画像信号保持部２４０の構成例を示す図である。
【図４】本技術の第１の実施の形態における選択方法を示す図である。
【図５】本技術の第１の実施の形態における選択部２１０の構成例を示す図である。
【図６】本技術の第１の実施の形態における混合方法を示す図である。
【図７】本技術の第１の実施の形態における出力画像信号生成部２２０の構成例を示す図である。
【図８】本技術の第１の実施の形態における画像処理を説明する図である。
【図９】本技術の第１の実施の形態における画像処理手順の一例を示す図である。
【図１０】本技術の第１の実施の形態における画像処理の効果を示す図である。
【図１１】本技術の第２の実施の形態における混合方法を示す図である。
【図１２】本技術の第２の実施の形態における出力画像信号生成部２２０の構成例を示す図である。
【図１３】本技術の第３の実施の形態における画像処理装置２００の構成例を示す図である。
【図１４】本技術の第３の実施の形態における画像処理を説明する図である。
【図１５】本技術の第３の実施の形態における既出力画像信号生成部２５０の構成例を示す図である。
【図１６】本技術の第４の実施の形態における既出力画像信号生成部２５０の構成例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（選択された画像信号の平均値を算出して出力画像信号を生成する場合の例）
２．第２の実施の形態（選択された画像信号の彩度に応じた混合比率に基づいて混合して出力画像信号を生成する場合の例）
３．第３の実施の形態（出力画像信号および直前画像信号から既出力画像信号を生成する場合の例）
４．第４の実施の形態（出力画像信号および直前画像信号の彩度に応じた混合比率に基づいて混合して既出力画像信号を生成する場合の例）
【００１８】
＜１．第１の実施の形態＞
［システムの構成］
図１は、本技術の実施の形態におけるシステムの構成例を示す図である。同図の撮像装置１００は、風景等を撮像して画像信号を出力する。この際、撮像装置１００は、フレーム毎に画像信号を生成して順次出力する。このフレームは１画面分の画像信号であり、順次出力された時系列のフレームにより動画像が構成される。また、撮像装置１００は、画像信号として赤色光に対応する画像信号（Ｒ）、緑色光に対応する画像信号（Ｇ）および青色光に対応する画像信号（Ｂ）からなる画像信号を出力することを想定する。
【００１９】
画像処理装置２００は、撮像装置１００により入力された入力画像信号から動きのある画像を除去した背景画像を生成して出力する装置である。なお、画像処理装置２００は、撮像装置１００から出力された時系列のフレーム毎に上述の画像処理を行う。ここで、このフレーム毎に繰返し実行される画像処理を処理サイクルと称する。後述するように、ある処理サイクルにおいて、対応するフレームの画像処理を行う際、それ以前の処理サイクルにおける画像処理の結果が参照される。そこで、画像処理装置２００の処理を説明する際に、ある処理サイクルに注目し、それ以前の処理サイクルと区別するために、この処理サイクルを注目処理サイクルと称する。なお、撮像装置１００および画像処理装置２００は、画像処理システムを構成する。
【００２０】
［画像処理装置の構成］
図２は、本技術の第１の実施の形態における画像処理装置２００の構成例を示す図である。この画像処理装置２００は、選択部２１０と、出力画像信号生成部２２０と、直前出力画像信号保持部２３０と、既出力画像信号保持部２４０とを備える。
【００２１】
選択部２１０は、撮像装置１００からの入力画像信号と、直前出力画像信号保持部２３０に保持された直前出力画像信号と、既出力画像信号保持部２４０に保持された既出力画像信号とのうち、色空間における距離が短い２つの画像信号を選択するものである。選択部２１０における選択の詳細については後述する。
【００２２】
出力画像信号生成部２２０は、選択部２１０により選択された２つの画像信号２０１を混合して出力画像信号を生成するものである。この際、出力画像信号生成部２２０は、これらを所定の混合比率に基づいて混合する。本技術の第１の実施の形態では、１対１の混合比率に基づいてこの混合が行われる。この出力画像信号生成部２２０における混合の詳細については、後述する。
【００２３】
直前出力画像信号保持部２３０は、注目処理サイクルの１つ前の処理サイクルにおいて出力画像信号生成部２２０により生成された出力画像信号を直前出力画像信号として保持するものである。直前出力画像信号保持部２３０の構成については、後述する。
【００２４】
既出力画像信号保持部２４０は、注目処理サイクルの２つ前の処理サイクルにおいて生成された出力画像信号に基づく画像信号を既出力画像信号として保持するものである。本技術の第１の実施の形態における既出力画像信号保持部２４０では、注目サイクルの１つ前の処理サイクルにおいて直前出力画像信号保持部２３０に保持されていた直前出力画像信号が既出力画像信号として保持される。上述のように、直前出力画像信号は１つ前の処理サイクルにおいて生成された出力画像信号であるため、本技術の第１の実施の形態では、注目処理サイクルの２つ前の処理サイクルにおいて生成された出力画像信号が既出力画像信号として保持されることとなる。既出力画像信号保持部２４０の構成については、後述する。
【００２５】
［直前出力画像信号保持部および既出力画像信号保持部の構成］
図３は、本技術の第１の実施の形態における直前出力画像信号保持部２３０および既出力画像信号保持部２４０の構成例を示す図である。同図におけるａは、フレームの構成を表している。同図におけるａには、６４０画素×４８０ラインからなるフレームを例として挙げた。撮像装置１００は、同図におけるａに付された番号の順に画像処理装置２００に対して画像信号を出力する。便宜的にこの番号を入力画像信号のアドレスとして扱う。
【００２６】
同図におけるｂは、直前出力画像信号保持部２３０の構成を表している。このように直前出力画像信号保持部２３０は、１フレームの画像信号数と同数の記憶領域を有する画像メモリにより構成される。前述のように、直前出力画像信号保持部２３０は、出力画像信号生成部２２０により生成された出力画像信号を直前出力画像信号として保持する。この際、この出力画像信号が対応する入力画像信号と同一アドレスの記憶領域に保持される。
【００２７】
同図におけるｃは、既出力画像信号保持部２４０の構成を表している。直前出力画像信号保持部２３０と同様に、既出力画像信号保持部２４０も１フレームの画像信号数と同数の記憶領域を有する画像メモリにより構成されている。前述のように、既出力画像信号保持部２４０は、直前出力画像信号保持部２３０に保持されていた直前出力画像信号を既出力画像信号として保持する。この際、直前出力画像信号保持部２３０と同様に、元の出力画像信号が対応する入力画像信号と同一アドレスの記憶領域に保持される。
【００２８】
［選択部における選択方法］
図４は、本技術の第１の実施の形態における選択方法を示す図である。同図は、選択部２１０における選択方法を表している。また、同図は、画像信号を構成するＲ、ＧおよびＢの各信号を座標に対応させた色空間を表している。同図の点４１０は、Ｒ、ＧおよびＢが全て値「０」の点であり、黒に対応する画像信号に該当する。点４２０は、Ｒ、ＧおよびＢの全てが最大値、例えば、８ビット表現で値「２５５」の点であり、白に対応する画像信号に該当する。また、点４０１乃至４０３は、それぞれ入力画像信号、直前出力画像信号および既出力画像信号を表すものと想定する。前述のように、選択部２１０は、入力画像信号、直前出力画像信号および既出力画像信号の３つ画像信号から色空間における距離が短い２つを選択する。このため、選択部２１０は、３つの画像信号の色空間における距離をそれぞれ算出する。
【００２９】
これを、点４０２および４０３について距離を算出する場合を例に挙げて説明する。点４０２および４０３のＲ、ＧおよびＢの各信号をそれぞれＲ１、Ｇ１およびＢ１ならびにＲ２、Ｇ２およびＢ２とすると、これらの距離Ｄは次式のように算出することができる。
【数１】
2016152190.tif 000003
上述の３つの画像信号についてそれぞれ距離Ｄを算出して比較し、最もＤの値が小さくなる２つの画像信号を選択する。これにより、３つの画像信号（図４における点４０１乃至４０３）のうち、色空間における相互の距離が最も短い２つの画像信号を選択することができる。なお、距離Ｄの代わりにＤ２を算出して比較に用いてもよい。
【００３０】
［選択部の構成］
図５は、本技術の第１の実施の形態における選択部２１０の構成例を示す図である。この選択部２１０は、色空間距離算出部２１１と、近距離画像信号選択部２１２とを備える。
【００３１】
色空間距離算出部２１１は、入力画像信号、直前出力画像信号および既出力画像信号の色空間における距離を算出するものである。
【００３２】
近距離画像信号選択部２１２は、色空間距離算出部２１１の算出結果に基づいて入力画像信号、直前出力画像信号および既出力画像信号のうち最も短い距離にある２つの画像信号を選択し、出力するものである。なお、これら３つの画像信号が等距離にある場合には、直前出力画像信号および既出力画像信号が選択されて、出力される。
【００３３】
［混合方法］
図６は、本技術の第１の実施の形態における混合方法を示す図である。同図は、図４において説明した点４０２および４０３に該当する画像信号に対して混合を行って、出力画像信号を生成する場合を表したものである。前述のように、本技術の第１の実施の形態では、１対１の混合比率に基づいて混合が行われる。この混合は、２つの画像信号の座標毎の平均値を算出することにより行うことができる。すなわち、同図に表したように対象となる２つの画像信号に対する色空間における中点４０４の画像信号を算出することにより行うことができる。中点４０４の画像信号の算出は、次式のように行うことができる。
Ｒ'＝（Ｒ１＋Ｒ２）／２
Ｂ'＝（Ｂ１＋Ｂ２）／２
Ｇ'＝（Ｇ１＋Ｇ２）／２
ただし、Ｒ'、Ｇ'およびＢ'は、中点４０４におけるＲ、ＧおよびＢの各信号である。これにより、２つの画像信号を１対１の比率に基づいて混合することができる。
【００３４】
［出力画像信号生成部の構成］
図７は、本技術の第１の実施の形態における出力画像信号生成部２２０の構成例を示す図である。この出力画像信号生成部２２０は、赤色画像信号算出部２２１と、緑色画像信号算出部２２２と、青色画像信号算出部２２３とを備える。
【００３５】
赤色画像信号算出部２２１は、入力された２つの画像信号のうち赤色光に対応する画像信号の平均値（Ｒ'）を算出するものである。緑色画像信号算出部２２２は、入力された２つの画像信号のうち緑色光に対応する画像信号の平均値（Ｇ'）を算出するものである。青色画像信号算出部２２３は、入力された２つの画像信号のうち青色光に対応する画像信号の平均値（Ｂ'）を算出するものである。これらにより算出されたＲ'、Ｇ'およびＢ'からなる画像信号は、出力画像信号として出力画像信号生成部２２０から出力される。
【００３６】
［画像処理方法］
図８は、本技術の第１の実施の形態における画像処理を説明する図である。同図におけるａは、画面４３０と画素４３１との関係を表している。この画素４３１に対応する画像信号＃ｍが画像処理装置２００に入力された場合を想定する。ここで、＃ｍは、前述した画像信号のアドレスを表している。同図におけるｂは、画像信号＃ｍを入力画像信号とした場合の画像処理装置２００における処理を表している。なお、同図におけるｂの処理サイクル＃ｔは、注目処理サイクルに該当する。
【００３７】
まず、入力画像信号＃ｍ、直前出力画像信号＃ｍおよび既出力画像信号＃ｍのうち色空間における距離が短い２つの画像信号が選択部２１０により選択される。なお、直前出力画像信号＃ｍおよび既出力画像信号＃ｍは、それぞれ画素４３１に対応する直前出力画像信号および既出力画像信号である。これらは、直前出力画像信号保持部２３０および既出力画像信号保持部２４０のアドレス＃ｍのメモリ領域に保持されていたものである。同図におけるｂの処理サイクル＃ｔでは、選択された画像信号として、直前出力画像信号＃ｍおよび既出力画像信号＃ｍを想定する。次に、出力画像信号生成部２２０により、これら２つの画像信号が混合されて出力画像信号が生成される。
【００３８】
この出力画像信号は、画像処理装置２００から出力されるとともに、直前出力画像信号保持部２３０のアドレス＃ｍのメモリ領域に保持される。同様に、直前出力画像信号＃ｍは、既出力画像信号保持部２４０のアドレス＃ｍのメモリ領域に保持される。これらは、注目処理サイクルの次の処理サイクルにおける直前出力画像信号＃ｍおよび既出力画像信号＃ｍとして使用される。一方、注目処理サイクルの１つ前の処理サイクル（処理サイクル＃（ｔ−１））において生成された出力画像信号が、注目処理サイクルにおける直前出力画像信号保持部２３０に保持されていた直前出力画像信号に該当する。さらに、注目処理サイクルの２つ前の処理サイクル（処理サイクル＃（ｔ−２））において生成された出力画像信号が、注目処理サイクルにおいて既出力画像信号保持部２４０に保持されていた既出力画像信号に該当する。このように、ある処理サイクルにおいて生成された出力画像信号がそれ以降の処理サイクルにおいて直前出力画像信号等として使用される。なお、同図におけるｂに挙げた例のほかに、入力画像信号＃ｍおよび既出力画像信号＃ｍが選択部２１０により選択される場合も想定することができる。
【００３９】
雨等が撮像された画像信号が入力されるとともに直前出力画像信号保持部２３０および既出力画像信号保持部２４０には、雨等が写り込む前の画像信号がそれぞれ保持されていた場合を例に挙げて、画像処理について説明する。雨等の水滴は通常白色であり、これに対応する画像信号＃ｍは、図４において説明した色空間において点４２０に近いものとなる。これに対し、直前出力画像信号＃ｍおよび既出力画像信号＃ｍは、雨等が写り込む前の画像信号であるため、色空間において入力画像信号＃ｍから離れた位置にある。そのため、選択部２１０により、直前出力画像信号＃ｍおよび既出力画像信号＃ｍが選択される。その後、これらの信号は、出力画像信号生成部２２０により混合されて出力される。このように、雨等が写りこんだ画像信号は、画像処理装置２００により除去される。
【００４０】
［画像処理手順］
図９は、本技術の第１の実施の形態における画像処理手順の一例を示す図である。同図の処理は、画像処理装置２００に画像信号が入力されることにより開始される。まず、入力画像信号、直前出力画像信号および既出力画像信号の間の色空間における距離が選択部２１０により算出される（ステップＳ９０１）。次に、算出された３つの距離が等しいか否かが判断される（ステップＳ９０２）。３つの距離が等しい場合には（ステップＳ９０２：Ｙｅｓ）、選択部２１０は、直前出力画像信号および既出力画像信号を選択する（ステップＳ９０４）。一方、算出された３つの距離が等しくない場合には（ステップＳ９０２：Ｎｏ）、選択部２１０は、最も距離が短い２つの画像信号を選択する（ステップＳ９０３）。
【００４１】
次に、出力画像信号生成部２２０が、選択された２つの画像信号を混合して出力画像信号を生成する（ステップＳ９０５）。次に、生成された出力画像信号が直前出力画像信号として直前出力画像信号保持部２３０に新たに保持される（ステップＳ９０６）。最後に、直前出力画像信号保持部２３０に保持されていた直前出力画像信号が既出力画像信号として既出力画像信号保持部２４０に新たに保持される（ステップＳ９０７）。その後、画像処理装置２００は、処理を終了する。
【００４２】
［画像処理の効果］
図１０は、本技術の第１の実施の形態における画像処理の効果を示す図である。同図は、撮像装置１００により撮像された降雨時の画像を画像処理装置２００により処理した場合の例を表している。図８において説明したように、雨滴が写り込んだ画像信号は、画像処理装置２００により除去されるため、雨が除去された背景画像を得ることができる。
【００４３】
このように、本技術の第１の実施の形態によれば、画像メモリとして直前出力画像信号保持部および既出力画像信号保持部の２フレーム分の画像メモリを用いて、雨等の影響を除去した背景画像を生成することができる。
【００４４】
＜２．第２の実施の形態＞
上述の実施の形態では、画像信号を混合する際、１対１の混合比率に基づいて混合を行っていた。これに対し、本技術の第２の実施の形態では、画像信号の彩度の比率に応じた混合比率に基づいて混合を行う。これにより、雨等の影響を除去する能力を向上させることができる。
【００４５】
［出力画像信号生成部における混合方法］
図１１は、本技術の第２の実施の形態における混合方法を示す図である。同図は、選択部２１０により選択された２つの画像信号の彩度の比率に応じた混合比率に基づいて混合を行う場合を表したものである。また、同図は、図６において説明した場合と同様に点４０２および４０３が選択部２１０により選択された場合を想定したものである。通常、雨等は白色等の無彩色である。一方、他の画像、例えば建物等は有彩色であることが多い。そこで、混合する際、画像信号の彩度に応じた混合比率により混合を行う。具体的には、次のように行う。まず、点４０２および４０３における彩度を算出する。この彩度は、点４１０および４２０を通る直線と点４０２および４０３との間の距離に相当する。この距離Ｃは、次式のように算出することができる。
【数２】
2016152190.tif 000004
これを点４０２および４０３についてそれぞれ算出する。これらの算出結果をそれぞれＣ１およびＣ２とする。次に、混合比率αを算出する。これは、次のように算出することができる。
α＝Ｃ１／（Ｃ１＋Ｃ２）      （ただし、Ｃ１＞Ｃ２の場合）
α＝Ｃ２／（Ｃ１＋Ｃ２）      （ただし、Ｃ１＜Ｃ２の場合）
α＝０．５                    （ただし、Ｃ１＝Ｃ２の場合）
【００４６】
次に、このαを用いて画像信号の混合を行う。これは、次のように場合に分けて行うことができる。
（ａ）Ｃ１＞Ｃ２の場合
Ｒ'＝α×Ｒ１＋（１−α）×Ｒ２
Ｂ'＝α×Ｂ１＋（１−α）×Ｂ２
Ｇ'＝α×Ｇ１＋（１−α）×Ｇ２
（ｂ）Ｃ１＜Ｃ２の場合
Ｒ'＝（１−α）×Ｒ１＋α×Ｒ２
Ｂ'＝（１−α）×Ｂ１＋α×Ｂ２
Ｇ'＝（１−α）×Ｇ１＋α×Ｇ２
（ｃ）Ｃ１＝Ｃ２の場合
図６において説明した平均値の算出と同様に行うことができる。
【００４７】
なお、これらの演算は、点４０２および４０３における画像信号について、それぞれの彩度による重み付けを行った加重平均を算出する演算と等価である。これにより、混合後の出力画像信号は、本技術の第１の実施の形態における出力画像信号と比べて、彩度の高い画像信号になる。この出力画像信号が直前出力画像信号として直前出力画像信号保持部２３０に保持され、次のフレームにおいて選択部２１０による選択の対象になる。この直前出力画像信号は彩度が高いため、無彩色に近い雨等が写り込んだ入力画像信号との差異が大きくなる。すなわち、色空間における距離が長くなる。このため、雨等が写り込んだ入力画像信号の除去能力を向上させることができる。
【００４８】
［出力画像信号生成部の構成］
図１２は、本技術の第２の実施の形態における出力画像信号生成部２２０の構成例を示す図である。この出力画像信号生成部２２０は、選択部２１０により選択された２つの画像信号に対して、上述した混合を行って出力画像信号を生成するものである。またこの出力画像信号生成部２２０は、混合比率算出部２２４と、赤色画像信号算出部２２５と、緑色画像信号算出部２２６と、青色画像信号算出部２２７とを備える。
【００４９】
混合比率算出部２２４は、選択部２１０により選択された画像信号を混合する際の混合比率（上述したα）を算出するものである。
【００５０】
赤色画像信号算出部２２５は、入力された２つの画像信号のうち赤色光に対応する画像信号を混合比率算出部２２４により算出された混合比率（α）に基づいて混合して新たな赤色光に対応する画像信号（Ｒ'）を算出するものである。緑色画像信号算出部２２６は、入力された２つの画像信号のうち緑色光に対応する画像信号をαに基づいて混合して新たな緑色光に対応する画像信号（Ｇ'）を算出するものである。青色画像信号算出部２２７は、入力された２つの画像信号のうち青色光に対応する画像信号をαに基づいて混合して新たな青色光に対応する画像信号（Ｂ'）を算出するものである。これらにより算出されたＲ'、Ｇ'およびＢ'からなる画像信号は、出力画像信号として出力画像信号生成部２２０から出力される。
【００５１】
これ以外の、画像処理装置２００の構成は、図２において説明した画像処理装置２００と同様であるため、説明を省略する。
【００５２】
このように、本技術の第２の実施の形態によれば、より彩度の高い出力画像信号を得ることができ、雨等の影響を除去する能力を向上させることができる。
【００５３】
＜３．第３の実施の形態＞
上述の実施の形態では、既出力画像信号として、注目サイクルの１つ前の処理サイクルにおいて直前出力画像信号保持部２３０に保持されていた直前出力画像信号を用いていた。これに対し、本技術の第３の実施の形態では、この直前出力画像信号と出力画像信号とを混合して既出力画像信号を生成する。これにより、雨等の影響を除去する能力をさらに向上させることができる。
【００５４】
［画像処理装置の構成］
図１３は、本技術の第３の実施の形態における画像処理装置２００の構成例を示す図である。同図の画像処理装置２００は、既出力画像信号生成部２５０をさらに備える点で、図２において説明した画像処理装置２００と異なる。
【００５５】
既出力画像信号生成部２５０は、既出力画像信号を生成するものである。この既出力画像信号生成部２５０は、直前出力画像信号保持部２３０に保持されていた直前出力画像信号と出力画像信号生成部２２０により生成された出力画像信号とを所定の混合比率に基づいて混合し、既出力画像信号を生成する。本技術の第３の実施の形態では、１対１の混合比率に基づいてこの混合が行われる。生成された既出力画像信号は、既出力画像信号保持部２４０に保持される。これ以外の画像処理装置２００の構成は、図２において説明した画像処理装置２００と同様であるため、説明を省略する。
【００５６】
［画像処理方法］
図１４は、本技術の第３の実施の形態における画像処理を説明する図である。注目処理サイクル（処理サイクル＃ｔ）における出力画像信号＃ｍおよび直前出力画像信号＃ｍが混合されて、新たな既出力画像信号が生成され、既出力画像信号保持部２４０のアドレス＃ｍのメモリ領域に保持される。この混合方法として、図６において説明した混合方法を使用することができる。すなわち、出力画像信号および直前出力画像信号の平均値を算出して新たな既出力画像信号を生成する方法を使用することができる。これにより、図８において説明した画像処理方法と比べて、既出力画像信号および直前出力画像信号の色空間における距離は、より短くなる。このため、次の処理サイクルにおいて選択部２１０により既出力画像信号および直前出力画像信号が選択される確率が高くなり、雨等が写り込んだ入力画像信号の除去能力が向上する。
【００５７】
［既出力画像信号生成部］
図１５は、本技術の第３の実施の形態における既出力画像信号生成部２５０の構成例を示す図である。この既出力画像信号生成部２５０は、赤色画像信号算出部２５１と、緑色画像信号算出部２５２と、青色画像信号算出部２５３とを備える。
【００５８】
赤色画像信号算出部２５１、緑色画像信号算出部２５２および青色画像信号算出部２５３は、それぞれ図７において説明した赤色画像信号算出部２２１、緑色画像信号算出部２２２および青色画像信号算出部２２３と同様であるため説明を省略する。これらにより算出された画像信号は、既出力画像信号として既出力画像信号生成部２５０から出力される。
【００５９】
このように、本技術の第３の実施の形態によれば、出力画像信号および直前出力画像信号に近い画像信号を有する既出力画像信号を生成することができ、雨等の影響を除去する能力をさらに向上させることができる。
【００６０】
＜４．第４の実施の形態＞
上述の第３の実施の形態では、既出力画像信号を生成する際、１対１の混合比率に基づいて混合を行っていた。これに対し、本技術の第４の実施の形態では、画像信号の彩度の比率に応じた混合比率に基づいて混合を行う。これにより、雨等の影響を除去する能力をさらに向上させることができる。
【００６１】
［既出力画像信号生成部］
図１６は、本技術の第４の実施の形態における既出力画像信号生成部２５０の構成例を示す図である。この既出力画像信号生成部２５０は、直前出力画像信号保持部２３０に保持されていた直前出力画像信号と出力画像信号生成部２２０により生成された出力画像信号とを混合し、既出力画像信号を生成するものである。この際、これら２つの画像信号の彩度の比率に応じた混合比率に基づいて混合を行う。また、この既出力画像信号生成部２５０は、混合比率算出部２５４と、赤色画像信号算出部２５５と、緑色画像信号算出部２５６と、青色画像信号算出部２５７とを備える。
【００６２】
混合比率算出部２５４は、出力画像信号および直前出力画像信号を混合する際の混合比率を算出するものである。この混合比率算出部２５４の構成は、図１２において説明した混合比率算出部２２４と同様であるため、説明を省略する。
【００６３】
赤色画像信号算出部２５５、緑色画像信号算出部２５６および青色画像信号算出部２５７は、それぞれ図１２において説明した赤色画像信号算出部２２５、緑色画像信号算出部２２６および青色画像信号算出部２２７と同様であるため説明を省略する。これらにより算出された画像信号は、既出力画像信号として既出力画像信号生成部２５０から出力される。
【００６４】
これ以外の画像処理装置２００の構成は、図１３において説明した画像処理装置２００と同様であるため、説明を省略する。
【００６５】
このように、本技術の第４の実施の形態によれば、彩度の高い既出力画像信号を生成することができ、雨等の影響を除去する能力をさらに向上させることができる。
【００６６】
上述のように、本技術の実施の形態によれば、雨等の影響を除去した背景画像を生成する画像処理装置において必要となる画像メモリを直前出力画像信号保持部２３０および既出力画像信号保持部２４０の２フレーム分の画像メモリにすることができる。画像メモリが削減でき、画像処理装置の小型化および低価格化が可能になる。
【００６７】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００６８】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【００６９】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【００７０】
なお、本技術は以下のような構成もとることができる。
（１）入力画像信号により構成される時系列のフレーム毎に実行される処理サイクルのうちの注目処理サイクルにおいて入力される前記入力画像信号と前記注目処理サイクルの１つ前の処理サイクルにおいて生成された出力画像信号である直前出力画像信号と前記注目処理サイクルの２つ前の処理サイクルにおいて生成された前記出力画像信号に基づく画像信号である既出力画像信号とから色空間における距離が短い２つの画像信号を選択する選択部と、
前記選択された前記２つの画像信号を所定の混合比率に基づいて混合して前記出力画像信号を生成する出力画像信号生成部と
を具備する画像処理装置。
（２）前記出力画像信号生成部は、１対１の前記混合比率に基づいて前記混合を行う前記（１）に記載の画像処理装置。
（３）前記出力画像信号生成部は、前記２つの画像信号の彩度の比率に応じた前記混合比率に基づいて前記混合を行う前記（１）に記載の画像処理装置。
（４）前記注目処理サイクルにおいて生成された前記出力画像信号と前記直前出力画像信号とを所定の第２の混合比率に基づいて混合して前記既出力画像信号を生成する既出力画像信号生成部をさらに具備する前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記既出力画像信号生成部は、１対１の前記第２の混合比率に基づいて前記混合を行う前記（４）に記載の画像処理装置。
（６）前記既出力画像信号生成部は、前記注目処理サイクルにおいて生成された前記出力画像信号と前記直前出力画像信号との彩度の比率に応じた前記第２の混合比率に基づいて前記混合を行う前記（４）に記載の画像処理装置。
（７）前記直前出力画像信号を保持する直前出力画像信号保持部と、
前記既出力画像信号を保持する既出力画像信号保持部と
をさらに具備する前記（１）から（６）のいずれかに記載の画像処理装置。
（８）画像信号を入力画像信号として供給する撮像装置と、
前記供給された前記入力画像信号により構成される時系列のフレーム毎に実行される処理サイクルのうちの注目処理サイクルにおいて入力される前記入力画像信号と前記注目処理サイクルの１つ前の処理サイクルにおいて生成された出力画像信号である直前出力画像信号と前記注目処理サイクルの２つ前の処理サイクルにおいて生成された前記出力画像信号に基づく画像信号である既出力画像信号とから色空間における距離が短い２つの画像信号を選択する選択部と、
前記選択された前記２つの画像信号を所定の混合比率に基づいて混合して前記出力画像信号を生成する出力画像信号生成部と
を具備する画像処理システム。
（９）入力画像信号により構成される時系列のフレーム毎に実行される処理サイクルのうちの注目処理サイクルにおいて入力される前記入力画像信号と前記注目処理サイクルの１つ前の処理サイクルにおいて生成された出力画像信号である直前出力画像信号と前記注目処理サイクルの２つ前の処理サイクルにおいて生成された前記出力画像信号に基づく画像信号である既出力画像信号とから色空間における距離が短い２つの画像信号を選択する選択手順と、
前記選択された前記２つの画像信号を所定の混合比率に基づいて混合して前記出力画像信号を生成する出力画像信号生成手順と
を具備する画像処理方法。
【符号の説明】
【００７１】
１００  撮像装置
２００  画像処理装置
２１０  選択部
２１１  色空間距離算出部
２１２  近距離画像信号選択部
２２０  出力画像信号生成部
２２１、２２５、２５１、２５５  赤色画像信号算出部
２２２、２２６、２５２、２５６  緑色画像信号算出部
２２３、２２７、２５３、２５７  青色画像信号算出部
２２４、２５４  混合比率算出部
２３０  直前出力画像信号保持部
２４０  既出力画像信号保持部
２５０  既出力画像信号生成部
【図１】
2016152190.tif 000005
【図２】
2016152190.tif 000006
【図３】
2016152190.tif 000007
【図４】
2016152190.tif 000008
【図５】
2016152190.tif 000009
【図６】
2016152190.tif 000010
【図７】
2016152190.tif 000011
【図８】
2016152190.tif 000012
【図９】
2016152190.tif 000013
【図１０】
2016152190.tif 000014
【図１１】
2016152190.tif 000015
【図１２】
2016152190.tif 000016
【図１３】
2016152190.tif 000017
【図１４】
2016152190.tif 000018
【図１５】
2016152190.tif 000019
【図１６】
2016152190.tif 000020
【国際調査報告】
2016152190.tif 000021
2016152190.tif 000022
2016152190.tif 000023
2016152190.tif 000024