(57)【要約】【課題】画像にメディアンフィルタ処理を施して降雪補正する場合に、降雪ノイズを除去し、監視対象物などの比較的大きな移動物体に発生する残像を低減する。【解決手段】画像処理装置は、画像を入力する画像入力部と、画像入力部により入力された入力画像に対し、メディアンフィルタ処理を施すメディアン処理部と、入力画像の動きのある領域を検出する動領域検出部と、入力画像に対する降雪補正パラメータの入力を受け付ける入力操作部と、降雪補正パラメータに対応する動領域の指定サイズを設定する指定サイズ設定部と、指定サイズ設定部で設定したサイズ以上の動領域を検出する動領域サイズ検出部と、動領域のサイズが、指定サイズ未満である場合に動領域の画像としてメディアンフィルタ処理が施された画像を用い、指定サイズ以上である場合に動領域の画像として画像入力部により入力された画像を用いて、降雪補正画像を生成する画像生成部と、を備える。【選択図】図１
2015180048.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力部と、
前記画像入力部により入力された入力画像に対し、メディアンフィルタ処理を施すメディアン処理部と、
前記入力画像の動きのある動領域を検出する動領域検出部と、
前記入力画像に対する降雪補正パラメータ又は降雨補正パラメータの入力を受け付ける入力操作部と、
前記降雪補正パラメータ又は降雨補正パラメータに対応する前記動領域の指定サイズを設定する指定サイズ設定部と、
前記指定サイズ設定部により設定された前記指定サイズ以上の動領域を検出する動領域サイズ検出部と、
前記動領域のサイズが、前記指定サイズ未満である場合、前記動領域の画像として前記メディアンフィルタ処理が施された画像を用い、前記指定サイズ以上である場合、前記動領域の画像として前記画像入力部により入力された画像を用いて、降雪補正画像又は降雨補正画像を生成する画像生成部と、を備える、
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記降雪補正画像又は降雨補正画像と前記降雪補正パラメータ又は降雨補正パラメータの操作画面を含む降雪降雨補正処理のメニュー画面とを同一画面上に表示する表示部、を更に備える、
画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記降雪補正画像又は降雨補正画像と前記降雪補正パラメータ又は降雨補正パラメータの操作画面を含む降雪降雨補正処理を有する複数の画像処理のメニュー画面とを同一画面上に表示する表示部、を更に備える、
画像処理装置。
【請求項４】
請求項２又は３に記載の画像処理装置であって、
前記指定サイズ設定部は、
前記表示部に表示された前記操作画面における前記降雪補正パラメータ又は降雨補正パラメータの変更操作に応じて、前記指定サイズを設定し、
前記画像生成部は、
前記指定サイズ設定部により設定された前記指定サイズに応じて、前記降雪補正画像又は降雨補正画像を生成する、
画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記入力操作部は、
除去する雪粒サイズ又は雨粒サイズを画素単位で指定する、
画像処理装置。
【請求項６】
請求項１又は５に記載の画像処理装置であって、
前記動領域サイズ検出部は、
前記動領域検出部により検出された動領域画像に対して、水平方向及び垂直方向に収縮処理を行った２つの画像の論理和画像を生成し、更に、水平方向及び垂直方向に膨張処理を行うことで生成した画像を用いる、
画像処理装置。
【請求項７】
降雪補正又は降雨補正を行う画像処理装置の画像処理方法であって、
画像を入力するステップと、
入力された入力画像に対し、メディアンフィルタ処理を施すステップと、
前記入力画像の動領域を検出するステップと、
前記入力画像に対する降雪補正パラメータ又は降雨補正パラメータの入力を受け付けるステップと、
前記降雪補正パラメータ又は降雨補正パラメータに対応する前記動領域の指定サイズを設定するステップと、
前記指定サイズ以上の動領域を検出するステップと、
前記動領域のサイズが、前記指定サイズ未満である場合、前記動領域の画像として前記メディアンフィルタ処理が施された画像を用い、前記指定サイズ以上である場合、前記動領域の画像として前記入力された画像を用いて、降雪補正画像又は降雨補正画像を生成するステップと、を有する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、降雪時に撮像された画像に現れる降雪ノイズを除去する（以降、「降雪補正を行う」という）画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、画像において降っている雪を取り除く技術として、時系列に連続する複数のフレーム画像について、各フレーム画像の同一座標の画素に対してメディアンフィルタ処理を施すことで、降雪を除去する画像処理装置が知られている（例えば特許文献１参照）。
【０００３】
この画像処理装置は、固定された監視カメラで撮像された複数フレーム（取得したフレーム数を２ｋ＋１とし、ｋは正の整数）の画像を記憶し、同一座標の各画素について、画素値を輝度値の高い順に並べ、ｋ＋１番目の輝度値を現時刻の出力輝度とする。
【０００４】
従って、この画像処理装置によれば、ある時点のフレーム画像における注目画素に雪片が撮像されていても、過去のフレーム画像または将来のフレーム画像では、確率的に雪が存在しない場合が殆どであるので、中間のフレーム画像の輝度値を採用することで、画像中の雪片を除去することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３４３９６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、時系列に連続するフレーム画像に対し、単純にメディアンフィルタ処理を施すと、画像中の雪片を除去することは可能であるが、監視対象物などの画像中に比較的大きな移動物体がある場合には、画像中の移動領域が大きくなるので、メディアンフィルタ処理された画像に顕著な残像が発生するという課題がある。
【０００７】
また、監視カメラがパン・チルトといった移動を行う場合も、相対的に画像が移動し、画像中の移動領域が大きくなるので、メディアンフィルタ処理された画像に顕著な残像が発生してしまうという課題がある。
【０００８】
本発明は、上述した従来の課題を解決するために、画像にメディアンフィルタ処理を施して降雪補正する場合に、降雪ノイズを除去し、監視対象物などの比較的大きな移動物体に発生する残像を低減する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、画像を入力する画像入力部と、前記画像入力部により入力された入力画像に対し、メディアンフィルタ処理を施すメディアン処理部と、前記入力画像の動きのある動領域を検出する動領域検出部と、前記入力画像に対する降雪補正パラメータ又は降雨補正パラメータの入力を受け付ける入力操作部と、前記降雪補正パラメータ又は降雨補正パラメータに対応する前記動領域の指定サイズを設定する指定サイズ設定部と、前記指定サイズ設定部により設定された前記指定サイズ以上の動領域を検出する動領域サイズ検出部と、前記動領域のサイズが、前記指定サイズ未満である場合、前記動領域の画像として前記メディアンフィルタ処理が施された画像を用い、前記指定サイズ以上である場合、前記動領域の画像として前記画像入力部により入力された画像を用いて、降雪補正画像又は降雨補正画像を生成する画像生成部と、を備える、画像処理装置である。
【００１０】
本発明は、降雪補正又は降雨補正を行う画像処理装置の画像処理方法であって、画像を入力するステップと、入力された入力画像に対し、メディアンフィルタ処理を施すステップと、前記入力画像の動領域を検出するステップと、前記入力画像に対する降雪補正パラメータ又は降雨補正パラメータの入力を受け付けるステップと、前記降雪補正パラメータ又は降雨補正パラメータに対応する前記動領域の指定サイズを設定するステップと、前記指定サイズ以上の動領域を検出する動領域サイズ検出部と、前記動領域のサイズが、前記指定サイズ未満である場合、前記動領域の画像として前記メディアンフィルタ処理が施された画像を用い、前記指定サイズ以上である場合、前記動領域の画像として前記入力された画像を用いて、降雪補正画像又は降雨補正画像を生成するステップと、を有する、画像処理方法である。
【発明の効果】
【００１１】
本発明によれば、降雪ノイズを除去でき、更に、監視対象物などの比較的大きな移動物体に発生する残像を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の画像処理装置の構成を示すブロック図
【図２Ａ】動領域サイズ検出部における動領域のサイズの検出動作を説明する図
【図２Ｂ】動領域サイズ検出部における動領域のサイズの検出動作を説明する図
【図２Ｃ】動領域サイズ検出部における動領域のサイズの検出動作を説明する図
【図３】降雪補正画像生成処理手順を説明するフローチャート
【図４】除去強度が最小値に設定された場合の画面表示部のＵＩ画面の一例を示す図
【図５】除去強度が中間値に設定された場合の画面表示部のＵＩ画面の一例を示す図
【図６】除去強度が最大値に設定された場合の画面表示部のＵＩ画面の一例を示す図
【図７】動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ再生直前の動画の表示例を示す図
【図８】動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ再生直後の動画の表示例を示す図
【図９】動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ降雪降雨除去後の動画の表示例を示す図
【図１０】動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ降雪降雨除去メニューの詳細が示された例を示す図
【図１１】動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ降雪降雨除去メニューの詳細が示された例を示す図
【図１２】動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ降雪降雨除去メニューの詳細が示された例を示す図
【図１３】動画のビューアの表示領域と各画像処理メニューの表示領域とが同一画面上に表示され、かつ空間階調補正、複数枚合成ＮＲ及び降雪降雨除去の各画像処理後の動画の表示例を示す図
【発明を実施するための形態】
【００１３】
本発明に係る画像処理装置及び画像処理方法の実施形態（以下、「本実施形態」という）について、図面を参照しながら説明する。本実施形態の画像処理装置は、カメラ、ビデオ、レコーダ等から出力される映像を処理する画像処理装置に適用される。
【００１４】
図１は、本実施形態における画像処理装置１の構成を示すブロック図である。画像処理装置１は、処理制御部１１と、映像入力部１２と、メディアン処理部１３と、動領域検出部１４と、動領域サイズ検出部１５と、降雪補正画像生成部１６と、画面表示部１７と、入力画像蓄積部２１と、メディアン画像蓄積部２２と、動領域処理画像蓄積部２３とを含む構成である。
【００１５】
画像入力部の一例としての映像入力部１２は、カメラ、ビデオ、レコーダ等から出力される映像を入力し、入力画像蓄積部２１に画像データを一時的に格納する。メディアン処理部１３は、入力画像蓄積部２１に格納された複数枚の画像（入力画像）を用いて、時間軸方向のメディアンフィルタ処理を実行し、メディアン画像を生成する。メディアン処理部１３は、メディアンフィルタ処理では、例えば時系列に蓄積された複数フレーム（ここで、フレーム数は２ｋ＋１、ｋは正の整数）の画像に対し、同一座標の各画素について輝度値を算出し、画素値を輝度値の高い順に並べ、ｋ＋１番目の輝度値を出力輝度として採用する。
【００１６】
動領域検出部１４は、入力画像蓄積部２１に格納された画像を用いて、雪や移動物体を含む動きのある動領域を画素単位で検出する。動領域の検出には、前フレームと現フレームの画素値の差分（フレーム間差分法）や、背景画像と現フレームの画素値の差分（背景差分法）等を算出する方法が用いられる。
【００１７】
指定サイズ設定部の一例としての動領域サイズ検出部１５は、動領域検出部１４で検出された動領域を、後述する収縮・膨張処理を用いて指定サイズ以上の動き領域を検出する処理を行い、この検出処理により得られた動き領域を含む画像（動領域処理画像）を生成する。
【００１８】
入力画像蓄積部２１は、映像入力部１２から入力した画像（入力画像）を数フレーム分蓄積するメモリである。
【００１９】
メディアン画像蓄積部２２は、メディアン処理部１３で生成された画像（メディアン画像）を蓄積するメモリである。このメディアン画像には、メディアン処理部１３で算出された画素毎の輝度値が含まれる。
【００２０】
動領域処理画像蓄積部２３は、動領域サイズ検出部１５で処理された画像（動領域処理画像）を蓄積するメモリである。
【００２１】
降雪補正画像生成部１６は、入力画像蓄積部２１、メディアン画像蓄積部２２及び動領域処理画像蓄積部２３にそれぞれ格納された入力画像、メディアン画像及び動領域処理画像を用いて、雪とそれ以外の移動物体との分離判定を行い、雪を除去した画像（降雪補正画像）を生成して出力する。
【００２２】
画面表示部１７は、入力画像や降雪補正画像を表示する表示部、及び動領域サイズ検出部１５で使用される動領域のサイズに対応するパラメータ値（除去強度）を指定するユーザインタフェース（ＵＩ：User Interface）としての入力操作部を含む。例えば、画面表示部１７はタッチパネルを用いて構成される。
【００２３】
処理制御部１１は、上述した画像処理装置１の各部の動作を制御し、画面表示部１７のＵＩからパラメータ値（除去強度）を取得し、動領域サイズ検出部１５に設定値を引き渡す動作を行う。
【００２４】
図２Ａ〜図２Ｃは、動領域サイズ検出部１５における動領域のサイズの検出動作を説明する図である。図中、白い画素４１が動領域に含まれる画素（動領域画素）であり、黒い画素４２は動領域に含まれない画素である。動領域のサイズの検出には、収縮・膨張処理が用いられる。この収縮・膨張処理では、動領域画像Ａに対し、指定された収縮サイズｍ（画素）分、白い画素４１を水平方向及び垂直方向にそれぞれ収縮させる。そして、水平方向及び垂直方向に収縮させた２つの画像Ｂ、Ｃの論理和をとる。その後、論理和がとられた画像Ｄの白い画素に対し、収縮サイズｍ（画素）と同じサイズの画素分、水平方向及び垂直方向に膨張させることが行われる。
【００２５】
この処理が行われると、指定された収縮サイズｍに対し、垂直方向又は水平方向（一方向）に２ｍ＋１の画素サイズ（Ｓ画素）を持つ動領域が指定サイズ以上の動領域として検出される。
【００２６】
具体的に、収縮サイズｍが値２である場合を示す。図２Ａは、動領域画素が３×３画素である場合を示す。３×３画素の動領域を含む画像Ａに対し、水平方向及び垂直方向にそれぞれ２画素収縮した画像Ｂ及び画像Ｃを生成する。２画素収縮した画像Ｂ及び画像Ｃでは、白の画素４１は消滅している。
【００２７】
画像Ｂと画像Ｃの論理和である画像Ｄは、白い画素を含まない。従って、画像Ｄを２画素分膨張させる処理を行っても、膨張処理後の画像Ｅは、動領域を表す白い画素を含まないことになる。即ち、３×３画素の動領域画素は、一方向に２ｍ（ｍ＝２）＋１である５画素を含まず、検出されないことになる。
【００２８】
図２Ｂは、動領域画素が５×５画素である場合を示す。５×５画素の動領域を含む画像Ａに対し、同様に、水平方向及び垂直方向にそれぞれ２画素収縮した画像Ｂ及び画像Ｃを生成する。水平方向に２画素収縮した画像Ｂでは、中央に位置する縦１列の５画素が白い画素４１となる。また、垂直方向に２画素収縮した画像Ｃでは、中央に位置する横１列の５画素が白い画素４１となる。
【００２９】
画像Ｂと画像Ｃの論理和である画像Ｄでは、中央に位置する縦及び横１列の十文字である部分が白い画素４１となる。水平方向及び垂直方向に２画素分膨張させた画像Ｅでは、白い画素の範囲が拡がり、検出される。即ち、収縮・膨張処理された５×５画素の動領域画素は、一方向に２ｍ（ｍ＝２）＋１である５画素を含むので、検出される。
【００３０】
図２Ｃは、動領域画素が５×３画素である場合を示す。５×３画素の動領域を含む画像Ａに対し、同様に、水平方向及び垂直方向にそれぞれ２画素収縮した画像Ｂ及び画像Ｃを生成する。水平方向に２画素収縮した画像Ｂでは、中央に位置する縦１列の３画素が白い画素となる。また、垂直方向に２画素収縮した画像Ｃでは、白い画素は消滅する。
【００３１】
画像Ｂと画像Ｃの論理和である画像Ｄでは、中央に位置する縦１列の部分が白い画素となる。水平方向及び垂直方向に２画素分膨張させた画像Ｅでは、白い画素の範囲が５×７画素に拡がり、検出される。即ち、収縮・膨張処理された５×３画素の動領域画素は、一方向に２ｍ（ｍ＝２）＋１である５画素を含むので、検出される。このように、一方向に長めの形状を持つ動領域画素は検出され易く、水平方向および垂直方向共に指定サイズ（２ｍ＋１）未満の動領域画素が消滅する。雪粒は一般的に方向に因らずに一定のサイズであるため、画像処理装置１は、この水平方向及び垂直方向の収縮処理と膨張処理を組み合わせた処理により、雪とそれ以外の移動物体との分離性能を高めることが可能となる。
【００３２】
次に、本実施形態の画像処理装置１の動作について、図３を参照して説明する。図３は、降雪補正画像生成処理手順を説明するフローチャートである。図３に示す降雪補正画像生成処理は、動領域サイズの検出処理が実行され、動領域処理画像蓄積部２３に動領域画像が格納された後、入力画像に対し、画素単位に実行される。
【００３３】
降雪補正画像生成部１６は、判定の対象となる画素が動領域画素であるか否かを判別する（Ｓ１）。動領域画素である場合、降雪補正画像生成部１６は、判定の対象となる画素の輝度値が上昇しているか否かを判別する（Ｓ２）。輝度値の上昇判定は、前フレームと現フレームの輝度値を比較することで行われる。
【００３４】
輝度値が上昇している場合、降雪補正画像生成部１６は、判定の対象となる画素を含む動領域画素のサイズが、画面表示部１７のＵＩで指示されたパラメータ値に対応する、動領域サイズ検出部１５で検出されるＳ画素以上であるか否かを判別する（Ｓ３）。ここで、Ｓ画素は、指定値であり、前述したように、収縮サイズｍとする２ｍ＋１で表される。Ｓ３の判定は、注目画素に対応する図２で説明した画像Ｅの動領域処理画像の画素値を参照する。
【００３５】
動領域画素のサイズがＳ画素以上である場合（図２の画像Ｅの画素値が白）、降雪補正画像生成部１６は、移動物体であると判定し、入力画像の画素値を出力画像の画素値として用いる（Ｓ４）。また、ステップＳ２で、判定の対象となる画素の輝度値が上昇していない場合、降雪補正画像生成部１６は、白い雪のような輝度値が高いものではないと判定し、ステップＳ４で入力画像の画素値を出力画像の画素値として用いる。
【００３６】
一方、動領域画素のサイズがＳ画素未満である場合（図２の画像Ｅの画素値が黒）、降雪補正画像生成部１６は、雪であると判定し、メディアン画像の画素値を出力画像の画素値を用いる（Ｓ５）。
【００３７】
また一方、ステップＳ１で判定の対象となる画素が動領域の画素でない場合、降雪補正画像生成部１６は、背景であると判定し、メディアン画像の画素値を出力画像の画素値として用いる（Ｓ６）。ここで、メディアン画像の代わりに入力画像を用いてもよいが、メディアン画像を用いることで、ノイズ除去の効果がある。
【００３８】
ステップＳ４、Ｓ５又はＳ６の処理後、降雪補正画像生成部１６は、入力画像中の全ての画素に対し、判定を終了したか否かを判別する（Ｓ７）。全ての画素の判定が終了していない場合、降雪補正画像生成部１６は、ステップＳ１の処理に戻る。
【００３９】
一方、全ての画素の判定が終了した場合、降雪補正画像生成部１６は、全ての画素の判定結果を基に、降雪補正画像を生成し、画面表示部１７に表示する（Ｓ８）。この後、降雪補正画像生成部１６は本処理を終了する。
【００４０】
図４は、パラメータ値である除去強度が最小値に設定された場合の画面表示部１７のＵＩ画面を示す図である。画面表示部１７のＵＩ画面には、入力映像が表示されるウインドウ３１、補正映像が表示されるウインドウ３２、残像低減処理を行うか否かを選択するラジオボタン３３、除去強度を調整するスライドバー３５、及び数値表示部３７が表示される。
【００４１】
ラジオボタン３３が「残像低減処理あり」に選択されている場合、上記本実施形態で説明した残像低減処理が行われ、一方、「残像低減処理なし」に選択されている場合、残像低減処理は行われない。
【００４２】
スライドバー３５は、使用者の指等によって左右方向に入力操作され、除去強度を画素単位で指示する。図４では除去強度を画素単位に５ビット（０〜３２）で表している。また、除去強度は降雪補正を行うためのパラメータ値であり、前述した２ｍ＋１で表される指定値であるＳ画素に対応する。従って、雪片がスライドバー３５で指示される除去強度に対応するＳ画素未満の動領域のサイズである場合、この雪片は除去されることになる。
【００４３】
例えば、除去強度が小さな設定値である場合、大きな雪片を除去しなくなるが、移動物体の残像（多重化や消失）は低減する。反対に、除去強度が大きな設定値である場合、小さな雪片から大きな雪片まで除去するが、移動物体の残像（多重化や消失）は増加する。このように、雪を消す、あるいは残像を生じさせない、ことのどちらを優先させるかを、使用者はスライドバー３５で調整可能である。また、雪を消す際、手前の大きな雪片は無理でも、奥にある多くの小さな雪片は消したいという場合にも、使用者はスライドバー３５で調整可能である。
【００４４】
図４では、使用者によって入力操作されるスライドバー３５が左端にあり、除去強度が値０である。この場合、ウインドウ３２に映し出される補正映像（降雪補正画像）は、ウインドウ３１に映し出される入力映像（入力画像）とほぼ同じ映像となり、雪５１が全く除去されていない。
【００４５】
図５は、除去強度が中間値に設定された場合の画面表示部１７のＵＩ画面を示す図である。図５では、使用者によって入力操作されるスライドバー３５が中間にあり、除去強度が値１６である。この場合、入力映像と比べ、ウインドウ３２に映し出される補正映像（降雪補正画像）には、奥側の小さな雪５１ａが除去されているが、手前側の大きな雪５１ｂは除去されていない。
【００４６】
図６は、除去強度が最大値に設定された場合の画面表示部１７のＵＩ画面を示す図である。図６では、使用者によって入力操作されるスライドバー３５が右端にあり、除去強度が値３２である。この場合、入力映像と比べ、ウインドウ３２に映し出される補正映像（降雪補正画像）には、雪がほぼ完全に消失している。
【００４７】
以上により、本実施形態の画像処理装置１は、画像にメディアンフィルタ処理を施して降雪補正する場合に、入力画像中の指定サイズ以上となる移動領域の画像には入力画像を用い、入力画像中の指定サイズ未満となる移動領域の画像にはメディアン画像を用いるので、監視対象物などの指定サイズ以上の動領域に発生する残像を低減することができる。また、画像処理装置１は、指定サイズ未満の雪粒ノイズを画像中から除去することができる。
【００４８】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００４９】
なお、上述した本実施形態では、画像処理装置１が画像処理する対象は入力画像中の雪粒であるとして説明したが、雪粒に限定されず、例えば雨粒であってもよい。つまり、画像処理装置１は、降雪補正処理後の画像（降雪補正画像）を生成できるが、更に、降雨補正処理後の画像（降雨補正画像）を生成することもできる。この場合には、上述した本実施形態において、「降雪」を「降雨」に読み替え、「雪粒」を「雨粒」に読み替え、更に「雪粒サイズ」を「雨粒サイズ」にそれぞれ読み替えればよい。
【００５０】
また、例えば本実施形態の画像処理装置１の処理制御部１１は、入力画像蓄積部２１に記憶されている動画の画像データを読み出し、本実施形態の入力画像中の雪又は雨を除去するための補正（以下、「降雪降雨除去」という）処理のメニュー画面と入力画像蓄積部２１から読み出した動画の画像データとを画面表示部１７の同一画面上に表示してもよい（図７〜図１２参照）。以下、画面表示部１７の同一画面ＷＤ１〜ＷＤ６に表示された画面例について、図７〜図１２を参照して説明する。
【００５１】
図７は、動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵとが同一画面ＷＤ１上に表示され、かつ再生直前の動画の表示例を示す図である。図８は、動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵとが同一画面ＷＤ２上に表示され、かつ再生直後の動画の表示例を示す図である。図９は、動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵとが同一画面ＷＤ３上に表示され、かつ降雪降雨除去後の動画の表示例を示す図である。
【００５２】
図７には、入力画像蓄積部２１から読み出された時点で再生直前の状態における動画の画像データのビューアの表示領域ＶＩＷと、画像処理装置１が実行可能な画像処理（具体的には、空間階調補正、複数枚合成ＮＲ（Noise Reduction）、降雪降雨除去）のメニュー（画像処理メニュー）の表示領域ＭＮＵとが同一画面ＷＤ１として示されている。図７や図８では、これらの各画像処理メニューの詳細内容が表示されておらず、各画像処理メニューの名称だけが表示されており、画像処理装置１における画像処理の対象となる動画の画像データと、画像処理装置１が実行可能な画像処理のメニューの一覧との関係がユーザにとって一目で視認可能となっている。従って、ユーザは、画像処理の対象となる動画の画像データと画像処理メニューとを対比的に確認できる。
【００５３】
図７〜図１３に示す画面ＷＤ１〜ＷＤ７の下段には、動画の再生、一時停止、停止、早送り、巻戻し、録画、戻し操作等に関する操作ボタンセットＢＳＴと、動画の再生タイミングを視覚的に示す再生バーＢＡＲと、動画の始点時刻及び終了時刻を示す動画時間エリアＳＴＥと、再生バーＢＡＲ内に表示されたインジケータＩＮＤが示す実際の再生時刻（つまり、始点時刻からの経過時間）を直接的に示す再生時刻エリアＣＲＴとが共通して表示される。ユーザの操作によって再生ボタンＲＰがカーソルＣＳＲにより押下されると、画像処理装置１の処理制御部１１は、入力画像蓄積部２１から読み出した動画の画像データを再生する（図８〜図１３参照）。この場合には、画像処理装置１の処理制御部１１は、画面ＷＤ２〜ＷＤ７上において、再生ボタンＲＰを一時停止ボタンＨＬに変更して表示する。
【００５４】
ここで、ユーザの操作によって、例えば画像処理メニューの表示領域ＭＮＵのうち降雪降雨除去のメニューバーＭＮＵ３がカーソルＣＳＲにより一度押下されると、画像処理装置１の降雪補正画像生成部１６は、上述した本実施形態の方法（例えば図３参照）に従って、表示領域ＶＩＷに表示された動画の画像データに降雪降雨除去の補正処理を行う。一方、降雪降雨除去の補正処理のメニューバーＭＮＵ３がカーソルＣＳＲにより更にもう一度押下されると、画像処理装置１の降雪補正画像生成部１６は、表示領域ＶＩＷに表示された動画の画像データに対する降雪降雨除去の補正処理を中断する。これにより、画像処理装置１は、表示領域ＶＩＷに表示された動画の画像データを再生した状態で、ユーザの簡単な操作（つまり、メニューバーＭＮＵ３の押下の有無）により、表示領域ＭＮＵに表示されたいずれかの画像処理メニューに対応した画像処理を的確に実行でき又はその実行を中断でき、画像処理前後の処理結果をユーザに対して簡単に確認させることができる。なお、画像処理装置１の処理制御部１１は、カーソルＣＳＲが画像処理メニューのいずれかのメニューバー上又はその近傍にある場合には、異なる形状のカーソルＣＳＲ１を表示してもよいし、当初のカーソルＣＳＲを表示してもよい。
【００５５】
また、ユーザの操作によって、図９に示す降雪降雨除去の補正処理のメニューバーＭＮＵ３の右端部に表示されたマーカＤＴ１がカーソルＣＳＲ１により押下されると、画像処理装置１の処理制御部１１は、降雪降雨除去の補正処理に関する入力パラメータ（例えば補正強度）を設定させるための詳細な操作画面の表示領域ＭＮＵ３Ｄを展開して画面ＷＤ４〜ＷＤ６上に表示する（図１０〜図１２参照）。図１０〜図１２は、それぞれ動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵ３Ｄとが同一画面ＷＤ４〜ＷＤ６上に表示され、かつ降雪降雨除去メニューの詳細が示された例を示す図である。
【００５６】
図１０〜図１２に示すように、画像処理装置１の処理制御部１１は、降雪降雨除去の補正処理に関する入力パラメータ（例えば補正強度）を設定させるための詳細な操作画面ＳＲＣ（図４〜図６参照）と同様の画面を表示領域ＭＮＵ３Ｄに表示する。図１０〜図１２に示す表示領域ＭＮＵ３Ｄでは、降雪降雨除去の補正処理に関する入力パラメータである補正モード、補正強度がそれぞれ所定モード、所定値に予め定められた自動設定のチェックボックスＡＴＣ（図１２参照）が追加して表示されている。なお、自動設定時の補正モード、補正強度は、初期値でも良いし、例えば動領域サイズ検出部１５における検出結果に基づいて動的に設定されてもよく、以下同様である。なお、図４〜図６に示す処理選択の選択肢（つまり、残像低減処理なし、残像低減処理ありのうちいずれかを選択させるための選択ボックス）は、図１０〜図１２に示す補正モードに対応している。
【００５７】
図１０及び図１１でも同様に、ユーザが補正強度に設けられたシークバー（図４〜図６に示すスライダ３５参照）に対してカーソルＣＳＲの個々に左右に移動する操作により、画像処理装置１は、表示領域ＶＩＷにおいて再生中の動画の画像データに対して、移動操作後の入力パラメータ（つまり、補正強度）を用いて、降雪降雨除去の補正処理を行う。
【００５８】
また、ユーザが補正強度に設けられた入力欄（図４〜図６に示す数値表示部３７参照）に対する数値（例えば０−３２までの値）の入力により、画像処理装置１は、表示領域ＶＩＷにおいて再生中の動画の画像データに対して、入力後の補正強度を用いて、降雪降雨除去の補正処理を行う。
【００５９】
図１０では補正強度が「１６」となっているが、図１１では補正強度が「３０」に変更されたので、図１１に示す動画の画像データは、図１０に示す動画の画像データに比べれば降雪時の雪粒又は降雨時の雨粒の除去量が増大し、ユーザは動画の内容を十分に把握できる。
【００６０】
また、ユーザの操作により、図１２に示す降雪降雨除去に関する入力パラメータである補正モード、補正強度を既定値（例えば初期値）に自動設定させるためのチェックボックスＡＴＣがカーソルＣＳＲにより押下されると、画像処理装置１は、表示領域ＶＩＷにおいて再生中の動画の画像データに対して、補正モード及び補正強度の既定値を用いて降雪降雨除去の補正処理を行う。これにより、画像処理装置１は、降雪降雨除去に関する補正モード、補正強度としてどのような値を入力すれば良いか分からないユーザに対しても、例えば降雪降雨除去の補正処理時の典型的な初期値を既定値として用いることで、動画の画像データに対する降雪降雨除去の補正処理を簡易に行うことができる。
【００６１】
また、本実施形態の画像処理装置１は、入力画像蓄積部２１から読み出した動画の画像データと降雪降雨除去の補正処理を含む複数の画像処理のメニュー画面とを画面表示部１７の同一画面上に表示してもよい（図１３参照）。以下、画面表示部１７の同一画面ＷＤ７に表示された画面例について、図１３を参照して説明する。
【００６２】
図１３は、動画のビューアの表示領域ＶＩＷと各画像処理メニューの表示領域ＭＮＵ１，ＭＮＵ２，ＭＮＵ３とが同一画面ＷＤ７上に表示され、かつ空間階調補正、複数枚合成ＮＲ及び降雪降雨除去の各画像処理後の動画の表示例を示す図である。図１３では、ユーザの操作により、空間階調補正のメニューバーＭＮＵ１、複数枚合成ＮＲのメニューバーＭＮＵ２、及び降雪降雨除去のメニューバーＭＮＵ３がそれぞれカーソルＣＳＲ１により押下されたことで、画像処理装置１によりそれぞれのメニューバーに対応する画像処理が施された動画の画像データが表示領域ＶＩＷに表示されている。つまり、本実施形態の画像処理装置１は、図７〜図１２を参照して説明した単一の画像処理（例えば降雪降雨除去の補正処理）に限定されず、動画の画像データを表示領域ＶＩＷに表示しながら、ユーザの簡易な操作に応じて複数の画像処理を実行でき、複数の画像処理結果をユーザに対して直感的かつ視覚的に示すことができる。
【００６３】
なお、空間階調補正とは、所定のパラメータ（例えば、補正方式、補正強度、色強調度、明るさ及び補正範囲）の入力又は指定に応じて、対応する別のパラメータ（例えば、重み付け係数、重み付け範囲、ヒスト上限クリップ量、ヒスト下限クリップ量、ヒスト分配係数設定値、分配開始・終了位置、画像ブレンド率、色ゲイン）に変換し、変換後に得られたパラメータを用いて、入力フレームに対して局所ヒストグラムの生成及び整形し、更に、トーンカーブを生成して階調変換及び色強調を行うための画像処理である。なお、複数枚合成ＮＲとは、入力されたフレーム（現在フレーム）の画像のコントラストと予め設定された動き検出レベルとに応じて、現在フレームと直前に入力されたフレーム（直前フレーム）の各画像の合成比率を算出し、更に合成比率に応じて画像を合成することで、現在フレームの画像に現れるノイズ成分を軽減するための画像処理である。
【００６４】
また図１３において、図１０と同様に、ユーザの操作によって、図９に示すマーカＤＴ１に対応する空間階調補正のメニューバーＭＮＵ１、複数枚合成ＮＲのメニューバーＭＮＵ２、及び降雪降雨除去のメニューバーＭＮＵ３の各マーカがカーソルＣＳＲ１により押下されると、画像処理装置１の処理制御部１１は、空間階調補正、複数枚合成ＮＲ、及び降雪降雨除去に関するそれぞれの複数の入力パラメータを設定させるための詳細な操作画面の表示領域ＭＮＵ３Ｄ等を展開して画面上に表示する。なお、空間階調補正、複数枚合成ＮＲに関するそれぞれの複数の入力パラメータを設定させるための詳細な操作画面の表示領域の図示は省略している。例えば空間階調補正では、ユーザの操作によって、上述した補正方式、補正強度、色強調度、明るさ及び補正範囲）がそれぞれ入力又は指定される。また、複数枚合成ＮＲでは、ユーザの操作によって、入力フレームの画像と前フレームの画像とを合成してノイズを低減するための程度を指定するパラメータ（つまり、ＮＲレベル）、上述した予め設定された動き検出レベル、例えば画像処理装置１がカメラである場合のカメラの検出精度及び検出範囲を指定させるためのパラメータ（つまり、検出精度、検出範囲）が、それぞれ入力又は指定される。
【００６５】
これにより、画像処理装置１は、表示領域ＶＩＷに表示された動画の画像データを再生した状態で、ユーザの簡単な操作（つまり、複数の画像処理に関するメニューバーＭＮＵ１，ＭＮＵ２，ＭＮＵ３の押下の有無）により、表示領域ＭＮＵ１，ＭＮＵ２，ＭＮＵ３の押下操作に対応した画像処理を的確に実行でき又はその実行を中断でき、画像処理前後の処理結果をユーザに対して簡単に確認させることができる。また、画像処理装置１は、複数の画像処理における各パラメータを設定するための詳細な操作画面の表示領域ＭＮＵ１Ｄ，ＭＮＵ２Ｄ，ＭＮＵ３Ｄに表示されたいずれかのパラメータの変更操作に応じた画像処理を的確に実行でき又はその実行を中断でき、画像処理前後の処理結果をユーザに対して簡単に確認させることができる。
【産業上の利用可能性】
【００６６】
本発明は、画像にメディアンフィルタ処理を施して降雪補正する場合に、降雪ノイズを除去でき、更に、監視対象物などの比較的大きな移動物体に発生する残像を低減する画像処理装置及び画像処理方法として有用である。
【符号の説明】
【００６７】
１  画像処理装置
１１  処理制御部
１２  映像入力部
１３  メディアン処理部
１４  動領域検出部
１５  動領域サイズ検出部
１６  降雪補正画像生成部
１７  画面表示部
２１  入力画像蓄積部
２２  メディアン画像蓄積部
２３  動領域処理画像蓄積部
３１、３２  ウインドウ
３３  ラジオボタン
３５  スライドバー
３７  数値表示部
ＷＤ１、ＷＤ２、ＷＤ３、ＷＤ４、ＷＤ５、ＷＤ６、ＷＤ７  画面
【図１】
2015180048.tif 000003
【図２Ａ】
2015180048.tif 000004
【図２Ｂ】
2015180048.tif 000005
【図２Ｃ】
2015180048.tif 000006
【図３】
2015180048.tif 000007
【図４】
2015180048.tif 000008
【図５】
2015180048.tif 000009
【図６】
2015180048.tif 000010
【図７】
2015180048.tif 000011
【図８】
2015180048.tif 000012
【図９】
2015180048.tif 000013
【図１０】
2015180048.tif 000014
【図１１】
2015180048.tif 000015
【図１２】
2015180048.tif 000016
【図１３】
2015180048.tif 000017