(57)【要約】【課題】信号対雑音比が低い動画像信号であっても、精度良く雑音を除去することが可能な動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム及び動領域画像雑音除去プログラムを提供することを目的とする。【解決手段】動画像雑音除去装置１は、時系列で連続する複数の原フレーム画像により構成される動画像信号に含まれる雑音を除去するものであって、時間軸方向周波数成分分解手段１１と、フレーム画像列動領域抽出手段１２と、フレーム画像内動領域抽出手段１３と、フレーム画像内静領域抽出手段１４と、動領域画像生成手段２１と、静領域画像生成手段３１と、空間周波数方向平滑化手段２２と、時間軸方向平滑化手段３２と、合成手段４０と、を主に備える。【選択図】図１
2010239296.tif 000002
【特許請求の範囲】
【請求項１】
時系列で連続する複数の原フレーム画像により構成される動画像信号に含まれる雑音を除去する動画像雑音除去装置であって、
前記動画像信号を前記原フレーム画像で構成される所定数の前記原フレーム画像列ごとに、順次１フレーム画像ずつずらして時間方向にウェーブレット分解し、前記動画像信号を前記所定数の原フレーム画像列ごとに時間軸方向における高周波成分と時間軸方向における低周波成分とに分解する時間軸方向周波数成分分解手段と、
前記時間軸方向における高周波成分を予め定めた閾値により２値化し、所定数の前記原フレーム画像列における動領域であるフレーム画像列動領域を示すフレーム画像列動領域２値化画像を生成するフレーム画像列動領域抽出手段と、
このフレーム画像列動領域抽出手段で生成された前記フレーム画像列動領域２値化画像について、予め定めた連続したフレーム画像数ごとに、前記フレーム画像列動領域の共通領域を抽出し、１フレーム画像分の動領域であるフレーム画像内動領域を示す動領域２値化画像を生成するフレーム画像内動領域抽出手段と、
前記動領域２値化画像の画素値を反転することで、１フレーム画像分の静領域であるフレーム画像内静領域を示す静領域２値化画像を生成するフレーム画像内静領域抽出手段と、
前記動領域２値化画像に基づいて、当該動領域２値化画像と時間軸方向に対応する前記原フレーム画像から動領域を抽出して動領域画像を生成する動領域画像生成手段と、
前記静領域２値化画像に基づいて、当該静領域２値化画像と時間軸方向に対応する前記原フレーム画像から静領域を抽出して静領域画像を生成する静領域画像生成手段と、
前記動領域画像において空間方向の平滑化処理を行うことで、前記動領域画像から雑音を除去した動領域雑音除去画像を生成する空間周波数方向平滑化手段と、
前記静領域画像において時間軸方向の平滑化処理を行うことで、前記静領域画像から雑音を除去した静領域雑音除去画像を生成する時間軸方向平滑化手段と、
前記動領域雑音除去画像と前記静領域雑音除去画像とを合成することで、１フレーム画像分の雑音除去動画像信号を生成する合成手段と、を備え、
前記空間周波数方向平滑化手段は、
前記動領域画像生成手段で生成された動領域画像を空間周波数方向にウェーブレット分解することで、当該動領域画像を空間低周波成分と空間高周波成分とに分解する空間周波数分解手段と、
この空間周波数分解手段で得られた一の動領域画像の空間低周波成分と、前記一の動領域画像と時間軸方向に隣り合う動領域画像の空間低周波成分との間でブロックマッチングを行い、前記一の動領域画像の動きベクトルを検出する動きベクトル検出手段と、
この動きベクトル検出手段で検出された一の動領域画像の動きベクトルを、水平方向、垂直方向、斜め方向の３方向に分類し、分類した方向に応じて空間高周波成分を低減する空間高周波成分低減手段と、
この空間高周波成分低減手段で空間高周波成分が低減された前記一の動領域画像を空間周波数方向にウェーブレット再構成することで、動領域の雑音除去動画像信号を生成するウェーブレット再構成手段と、を備えることを特徴とする動画像雑音除去装置。
【請求項２】
時系列で連続する複数の原フレーム画像により構成される動画像信号から予め抽出された動きのある領域を示す動領域情報に基づいて、前記動画像信号の雑音を除去した雑音除去動画像信号を生成する動領域画像雑音除去装置であって、
前記動領域情報に基づいて、前記原フレーム画像から動領域を抽出して動領域画像を生成する動領域画像生成手段と、
この動領域画像生成手段で生成された動領域画像において空間方向の平滑化処理を行うことで、前記動領域画像から雑音を除去した動領域雑音除去画像を生成する空間周波数方向平滑化手段と、を備え、
前記空間周波数方向平滑化手段は、
前記動領域画像生成手段で生成された動領域画像を空間方向にウェーブレット分解することで、当該動領域画像を空間低周波成分と空間高周波成分とに分解する空間周波数分解手段と、
この空間周波数分解手段で得られた一の動領域画像の空間低周波成分と、前記一の動領域画像と時間軸方向に隣り合う動領域画像の空間低周波成分との間でブロックマッチングを行い、前記一の動領域画像の動きベクトルを検出する動きベクトル検出手段と、
この動きベクトル検出手段で検出された一の動領域画像の動きベクトルを、水平方向、垂直方向、斜め方向の３方向に分類し、分類した方向に応じて空間高周波成分を低減する空間高周波成分低減手段と、
この空間高周波成分低減手段で前記空間高周波成分が低減された前記一の動領域画像を空間周波数方向にウェーブレット再構成することで、動領域の雑音除去動画像信号を生成するウェーブレット再構成手段と、を備えることを特徴とする動領域画像雑音除去装置。
【請求項３】
時系列で連続する複数の原フレーム画像により構成される動画像信号に含まれる雑音を除去するために、コンピュータを、
前記動画像信号を前記原フレーム画像で構成される所定数の前記原フレーム画像列ごとに、順次１フレーム画像ずつずらして時間方向にウェーブレット分解し、前記動画像信号を前記所定数の原フレーム画像列ごとに時間軸方向における高周波成分と時間軸方向における低周波成分とに分解する時間軸方向周波数成分分解手段、
前記時間軸方向における高周波成分を予め定めた閾値により２値化し、所定数の前記原フレーム画像列における動領域であるフレーム画像列動領域を示すフレーム画像列動領域２値化画像を生成するフレーム画像列動領域抽出手段、
このフレーム画像列動領域抽出手段で生成された前記フレーム画像列動領域２値化画像について、予め定めた連続したフレーム画像数ごとに、前記フレーム画像列動領域の共通領域を抽出し、１フレーム画像分の動領域であるフレーム画像内動領域を示す動領域２値化画像を生成するフレーム画像内動領域抽出手段、
前記動領域２値化画像の画素値を反転することで、１フレーム画像分の静領域であるフレーム画像内静領域を示す静領域２値化画像を生成するフレーム画像内静領域抽出手段、
前記動領域２値化画像に基づいて、当該動領域２値化画像と時間軸方向に対応する前記原フレーム画像から動領域を抽出して動領域画像を生成する動領域画像生成手段、
前記静領域２値化画像に基づいて、当該静領域２値化画像と時間軸方向に対応する前記原フレーム画像から静領域を抽出して静領域画像を生成する静領域画像生成手段、
前記動領域画像生成手段で生成された動領域画像を空間方向にウェーブレット分解することで、当該動領域画像を空間低周波成分と空間高周波成分とに分解する空間周波数分解手段、
この空間周波数分解手段で得られた一の動領域画像の空間低周波成分と、前記一の動領域画像と時間軸方向に隣り合う動領域画像の空間低周波成分との間でブロックマッチングを行い、前記一の動領域画像の動きベクトルを検出する動きベクトル検出手段、
この動きベクトル検出手段で検出された一の動領域画像の動きベクトルを、水平方向、垂直方向、斜め方向の３方向に分類し、分類した方向に応じて空間高周波成分を低減する空間高周波成分低減手段、
この空間高周波成分低減手段で空間高周波成分が低減された前記一の動領域画像を空間周波数方向にウェーブレット再構成することで、動領域の雑音除去動画像信号を生成するウェーブレット再構成手段、
前記静領域画像において時間軸方向の平滑化処理を行うことで、前記静領域画像から雑音を除去した静領域雑音除去画像を生成する時間軸方向平滑化手段、
前記動領域雑音除去画像と前記静領域雑音除去画像とを合成することで、１フレーム画像分の雑音除去動画像信号を生成する合成手段として機能させること特徴とする動画像雑音除去プログラム。
【請求項４】
時系列で連続する複数の原フレーム画像により構成される動画像信号から予め抽出された動きのある領域を示す動領域情報に基づいて、前記動画像信号の雑音を除去した雑音除去動画像信号を生成するために、コンピュータを、
前記動領域情報に基づいて、前記原フレーム画像から動領域を抽出して動領域画像を生成する動領域画像生成手段、
この動領域画像生成手段で生成された動領域画像を空間方向にウェーブレット分解することで、当該動領域画像を空間低周波成分と空間高周波成分とに分解する空間周波数方向分解手段、
この空間周波数方向分解手段で得られた一の動領域画像の空間低周波成分と、前記一の動領域画像と時間軸方向に隣り合う動領域画像の空間低周波成分との間でブロックマッチングを行い、前記一の動領域画像の動きベクトルを検出する動きベクトル検出手段、
この動きベクトル検出手段で検出された一の動領域画像の動きベクトルを、水平方向、垂直方向、斜め方向の３方向に分類し、分類した方向に応じて空間高周波成分を低減する空間高周波成分低減手段、
この空間高周波成分低減手段で空間高周波成分が低減された前記一の動領域画像を空間周波数方向にウェーブレット再構成することで、動領域の雑音除去動画像信号を生成するウェーブレット再構成手段として機能させることを特徴とする動領域画像雑音除去プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号から雑音を除去する動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム、動領域画像雑音除去プログラムに関する。
【背景技術】
【０００２】
一般に、静止画像から雑音（ノイズ）を除去する雑音除去法として、メディアンフィルタ（Median Filter）、ＴＶ（Total Variation）法、ウェーブレット縮退（Wavelet shrinkage）法等の非線形処理を利用する手法が知られている。
例えば、ウェーブレット縮退法は、画像信号を離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）により分解（ウェーブレット分解）して求めたＤＷＴ展開係数について、閾値関数（Threshold Function）により雑音の信号レベルを“０”に向けて減衰させてから、ウェーブレット逆変換（ＩＤＷＴ：Inverse Discrete Wavelet Transform）を行う非線形な手法である（非特許文献１参照）。この手法を用いると、画像信号が特定のＤＷＴ展開係数に集中し、画像信号の展開係数の絶対値が雑音の展開係数の絶対値よりも大きい場合、ほぼ原画像信号の特徴を損なわずに雑音除去を行うことができる。
【０００３】
一方、動画像における雑音除去法としては、動き補償とフィルタ処理とにより雑音を除去する手法が一般的である（特許文献１，２参照）。
例えば、特許文献１には、動画像において、現画像と１フレーム画像前の画像との差分により、現画像からノイズを減算する値を求め、ノイズを除去する技術が開示されている。また、特許文献１には、ノイズを減算する値を求める際に、現画像と１フレーム画像前の画像との前後画素から画像の形状判定を行い、フレーム画像間で形状について相関がある場合には、現画像に対するノイズ除去の割合を小さくするように制御する技術が開示されている。
【０００４】
また例えば、特許文献２には、動画像において、フレーム画像間の局所的な動きベクトルにより、前に入力されたフレーム画像に対して動き補正を行う際に、フレーム画像間の低域通過フィルタの係数を制御し、動画像におけるボケを最小限に抑えて雑音を低減させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１１３３５２号公報
【特許文献２】特開平７−２８８７１９号公報
【非特許文献】
【０００６】
【非特許文献１】D.L.Donoho,  “De-noising by soft-thresholding,”  IEEE Trans. Inform.Theory, Vol.41, pp.613-627, May 1995.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような不要な雑音成分は、動画像の主観画質の劣化のみならず、符号化効率の低下をも招くことになるため、精度良く除去することができる手法の確立が望まれている。
しかし、従来の動画像における雑音除去法は、信号対雑音比が低い場合、動き検出精度が低下するため、自ずと雑音除去性能も低下してしまうという問題がある。
また、近年の動画像はスーパーハイビジョン（ＳＨＶ）のように高精細化しており、このような高精細動画像は、撮像素子１画素あたりの受光面積が小さいため、撮影条件によって信号対雑音比が低下してしまう。よって、従来の雑音除去法では、動画像から精度良く雑音を除去することができないという問題がある。
【０００８】
本発明は、以上のような課題を解決するためになされたものであり、信号対雑音比が低い動画像信号であっても、精度良く雑音を除去することが可能な動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム及び動領域画像雑音除去プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の動画像雑音除去装置は、時系列で連続する複数の原フレーム画像により構成される動画像信号に含まれる雑音を除去する動画像雑音除去装置であって、時間軸方向周波数成分分解手段と、フレーム画像列動領域抽出手段と、フレーム画像内動領域抽出手段と、フレーム画像内静領域抽出手段と、動領域画像生成手段と、静領域画像生成手段と、空間周波数方向平滑化手段と、時間軸方向平滑化手段と、合成手段とを備え、空間周波数方向平滑化手段は、空間周波数分解手段と、動きベクトル検出手段と、空間高周波成分低減手段と、ウェーブレット再構成手段と、を備える構成とした。
【００１０】
かかる構成において、動画像雑音除去装置は、時間軸方向分解手段によって、動画像信号を原フレーム画像で構成される所定数の原フレーム画像列ごとに、順次１フレーム画像ずつずらして時間方向にウェーブレット分解し、動画像信号を所定数の原フレーム画像列ごとに時間軸方向における高周波成分と時間軸方向における低周波成分とに分解する。これは、フレーム画像列ごとに、１次元１階離散ウェーブレット変換を行うことで、時間高周波成分と時間低周波成分とに分解することができる。
【００１１】
また、動画像雑音除去装置は、フレーム画像列動領域抽出手段によって、時間軸方向における高周波成分を予め定めた閾値により２値化し、所定数の原フレーム画像列における動領域であるフレーム画像列動領域を示すフレーム画像列動領域２値化画像を生成する。時間高周波成分は、フレーム画像列における動きがある部分にあらわれると考えられるので、この時間高周波成分をさらに閾値で２値化することで、時間高周波成分のうち閾値より大きい部分をフレーム画像列の動領域として抽出することができる。
【００１２】
さらに、動画像雑音除去装置は、フレーム画像内動領域抽出手段によって、フレーム画像列動領域抽出手段で生成されたフレーム画像列動領域２値化画像について、予め定めた連続したフレーム画像数ごとに、フレーム画像列動領域の共通領域を抽出し、１フレーム画像分の動領域であるフレーム画像内動領域を示す動領域２値化画像を生成する。これによって、１フレーム画像分の動領域を抽出することができる。
【００１３】
そして、動画像雑音除去装置は、フレーム画像内静領域抽出手段によって、動領域２値化画像の画素値を反転することで、１フレーム画像分の静領域であるフレーム画像内静領域を示す静領域２値化画像を生成する。これによって、１フレーム画像分の静領域を抽出することができる。
このようにして、動画像信号から静領域と動領域とを個別に抽出することで、信号対雑音比が低い場合にも、静領域と動領域にそれぞれ含まれる雑音の特徴を精度良く抽出することができ、静領域と動領域のそれぞれの雑音との関係に応じて個別に雑音を除去することが可能となるため、雑音除去性能を向上させることができる。
【００１４】
また、動画像雑音除去装置は、動領域画像生成手段によって、フレーム画像内動領域抽出手段で生成された動領域２値化画像に基づいて、当該動領域２値化画像と時間軸方向に対応する前記原フレーム画像から動領域を抽出して動領域画像を生成する。
【００１５】
またさらに、動画像雑音除去装置は、静領域画像生成手段によって、フレーム画像内静領域抽出手段で生成された静領域２値化画像に基づいて、当該静領域２値化画像と時間軸方向に対応する原フレーム画像から静領域を抽出して静領域画像を生成する。
【００１６】
そして、動画像雑音除去装置は、空間周波数方向平滑化手段によって、動領域画像生成手段で生成された動領域画像において空間周波数方向の平滑化処理を行うことで、動領域画像から雑音を除去した動領域雑音除去画像を生成する。
ここで、空間周波数方向平滑化手段は、空間周波数分解手段と、動きベクトル検出手段と、空間高周波成分低減手段と、ウェーブレット再構成手段と、を備える。
【００１７】
動画像雑音除去装置は、空間周波数方向平滑化手段の空間周波数分解手段によって、動領域画像生成手段で生成された動領域画像を空間方向にウェーブレット分解することで、当該動領域画像を空間低周波成分と空間高周波成分とに分解する。この空間方向のウェーブレット分解は、動領域画像に対して２次元１階離散ウェーブレット変換を行うことで、動領域画像を空間低周波成分と空間高周波成分とに分解することができる。
【００１８】
また、動画像雑音除去装置は、空間周波数方向平滑化手段の動きベクトル検出手段によって、空間周波数分解手段で得られた一の動領域画像の空間低周波成分と、一の動領域画像と時間軸方向に隣り合う動領域画像の空間低周波成分との間でブロックマッチングを行い、一の動領域画像の動きベクトルを検出する。それぞれの空間低周波成分は、それぞれの動領域画像に比べて水平及び垂直方向に１／２の低域通過フィルタ処理と間引き処理とが加えられているため、雑音が低減されている。このように雑音が低減されることにより、動き検出精度を向上させることができるので、空間低周波成分間でブロックマッチングを行うことで、動きベクトルを良好に検出することができる。
【００１９】
さらに、動画像雑音除去装置は、空間周波数方向平滑化手段の空間高周波成分低減手段によって、動きベクトル検出手段で検出された一の動領域画像の動きベクトルを、水平方向、垂直方向、斜め方向の３方向に分類し、分類した方向に応じて空間高周波成分を低減する。カメラで撮影された画像は、被写体が動いた方向に蓄積ボケを有するため、空間高周波成分低減手段によって動き方向に応じて個別に空間高周波成分を低減することで、精度良く雑音を除去することができる。
【００２０】
またさらに、動画像雑音除去装置は、空間周波数方向平滑化手段のウェーブレット再構成手段によって、空間高周波成分低減手段で空間高周波成分が低減された前記一の動領域画像を空間周波数方向にウェーブレット再構成することで、動領域の雑音除去動画像信号を生成する。この空間方向のウェーブレット再構成としては、空間高周波成分及び空間低周波成分に対して２次元１階離散ウェーブレット逆変換を行うことで、空間高周波成分及び空間低周波成分の各周波数成分を動画像信号に再構成することができる。
動領域は、雑音とともに時間方向の信号相関が低いので、このように空間方向の平滑化処理を行うことで、雑音を除去する。
【００２１】
さらに、動画像雑音除去装置は、時間軸方向平滑化手段によって、静領域画像生成手段で生成された静領域画像において時間軸方向の平滑化処理を行うことで、静領域画像から雑音を除去した静領域雑音除去画像を生成する。静領域は、時間軸方向の信号相関が高く、雑音は、時間軸方向の信号相関が低いので、時間軸方向平滑化手段によって時間軸方向の平滑化処理を行うことで、雑音を除去する。
【００２２】
そして、動画像雑音除去装置は、合成手段によって、動領域雑音除去画像と静領域雑音除去画像と、を合成することで、１フレーム画像分の雑音除去動画像信号を生成する。これによって、動領域と静領域のそれぞれの雑音との関係に応じて個別に雑音を除去した雑音除去動画像信号を得ることができる。
【００２３】
また、請求項２に記載の動領域画像雑音除去装置は、時系列で連続する複数の原フレーム画像により構成される動画像信号から予め抽出された動きのある領域を示す動領域情報に基づいて、前記動画像信号の雑音を除去した雑音除去動画像信号を生成する動領域雑音除去装置であって、動領域画像生成手段と、空間周波数方向平滑化手段と、を備え、空間周波数方向平滑化手段は、空間周波数分解手段と、動きベクトル検出手段と、空間高周波成分低減手段と、ウェーブレット再構成手段と、を備える構成とした。
【００２４】
動領域画像雑音除去装置は、動領域画像生成手段によって、動領域情報に基づいて、原フレーム画像から動領域を抽出して動領域画像を生成する。
また、動領域雑音除去装置は、空間周波数方向平滑化手段によって、動領域画像生成手段で生成された動領域画像において空間周波数方向の平滑化処理を行うことで、動領域画像から雑音を除去した動領域雑音除去画像を生成する。
【００２５】
すなわち、動領域画像雑音除去装置は、空間周波数分解手段によって、動領域画像生成手段で生成された動領域画像を空間方向にウェーブレット分解することで、当該動領域画像を空間低周波成分と空間高周波成分とに分解する。また、動領域雑音除去装置は、動きベクトル検出手段によって、空間周波数方向分解手段で得られた一の動領域画像の空間低周波成分と、一の動領域画像と時間軸方向に隣り合う動領域画像の空間低周波成分との間でブロックマッチングを行い、一の動領域画像の動きベクトルを検出する。さらに、動領域雑音除去装置は、空間高周波成分低減手段によって、この動きベクトル検出手段で検出された一の動領域画像の動きベクトルを、水平方向、垂直方向、斜め方向の３方向に分類し、分類した方向に応じて空間高周波成分を低減する。そして、動領域雑音除去装置は、ウェーブレット再構成手段によって、空間高周波成分低減手段で空間高周波成分が低減された一の動領域画像を空間周波数方向にウェーブレット再構成することで、動領域の雑音除去動画像信号を生成する。
【００２６】
また、請求項３に記載の動画像雑音除去プログラムは、時系列で連続する複数の原フレーム画像により構成される動画像信号に含まれる雑音を除去するために、コンピュータを、時間軸方向周波数成分分解手段、フレーム画像列動領域抽出手段、フレーム画像内動領域抽出手段、フレーム画像内静領域抽出手段、動領域画像生成手段、静領域画像生成手段、空間周波数方向平滑化手段、時間軸方向平滑化手段、合成手段として機能させることを特徴とする。
【００２７】
かかる構成において、動画像雑音除去プログラムは、時間軸方向周波数成分分解手段によって、動画像信号を原フレーム画像で構成される所定数の原フレーム画像列ごとに、順次１フレーム画像ずつずらして時間軸方向にウェーブレット分解することで、当該フレーム画像列を時間高周波成分と時間低周波成分とに分解する。
【００２８】
また、動画像雑音除去プログラムは、フレーム画像列動領域抽出手段によって、時間軸方向分解手段で得られたフレーム画像列の時間高周波成分を予め定めた閾値により２値化することで、フレーム画像列における動領域であるフレーム画像列動領域を示すフレーム画像列動領域２値化画像を生成する。
【００２９】
またさらに、動画像雑音除去プログラムは、フレーム画像内動領域抽出手段によって、フレーム画像列動領域抽出手段で逐次生成された予め定めた連続した数のフレーム画像列動領域２値化画像ごとに、フレーム画像列動領域の共通領域を抽出することで、１フレーム画像分の動領域であるフレーム画像内動領域を示す動領域２値化画像を生成する。
【００３０】
またさらに、動画像雑音除去プログラムは、フレーム画像内静領域抽出手段によって、フレーム画像内動領域抽出手段で生成された動領域２値化画像の画素値を反転することで、１フレーム画像分の静領域であるフレーム画像内静領域を示す静領域２値化画像を生成する。
【００３１】
加えて、動画像雑音除去プログラムは、動領域画像生成手段によって、フレーム画像内動領域抽出手段で生成された動領域２値化画像に基づいて、当該動領域２値化画像と時間軸方向に対応する原フレーム画像から動領域を抽出して動領域画像を生成する。
【００３２】
さらに加えて、動画像雑音除去プログラムは、静領域画像生成手段によって、フレーム画像内静領域抽出手段で生成された静領域２値化画像に基づいて、当該静領域２値化画像と時間軸方向に対応する原フレーム画像から静領域を抽出して静領域画像を生成する。
【００３３】
また、動画像雑音除去プログラムは、空間周波数分解手段によって、動領域画像生成手段で生成された動領域画像を空間方向にウェーブレット分解することで、当該動領域画像を空間低周波成分と空間高周波成分とに分解する。
また、動画像雑音除去プログラムは、動きベクトル検出手段によって、空間周波数分解手段で得られた一の動領域画像の空間低周波成分と、一の動領域画像と時間軸方向に隣り合う動領域画像の空間低周波成分との間でブロックマッチングを行い、一の動領域画像の動きベクトルを検出する。
さらに、動画像雑音除去プログラムは、空間高周波成分低減手段によって、動きベクトル検出手段で検出された一の動領域画像の動きベクトルを、水平方向、垂直方向、斜め方向の３方向に分類し、分類した方向に応じて空間高周波成分を低減する。
またさらに、動画像雑音除去プログラムは、ウェーブレット再構成手段によって、空間高周波成分低減手段で空間高周波成分が低減された前記一の動領域画像を空間周波数方向にウェーブレット再構成することで、動領域の雑音除去動画像信号を生成する。
【００３４】
さらに、動画像雑音除去プログラムは、時間軸方向平滑化手段によって、静領域画像生成手段で生成された静領域画像において時間軸方向の平滑化処理を行うことで、静領域画像から雑音を除去した静領域雑音除去画像を生成する。
そして、動画像雑音除去プログラムは、合成手段によって、動領域雑音除去画像と静領域雑音除去画像とを合成することで、１フレーム画像分の雑音除去動画像信号を生成する。
【００３５】
また、請求項４に記載の動領域画像雑音除去プログラムは、時系列で連続する複数の原フレーム画像により構成される動画像信号から予め抽出された動きのある領域を示す動領域情報に基づいて、前記動画像信号の雑音を除去した雑音除去動画像信号を生成するために、コンピュータを、動領域画像生成手段、空間周波数分解手段、動きベクトル検出手段、空間高周波成分低減手段、ウェーブレット再構成手段として機能させる構成とした。
【００３６】
動領域画像雑音除去プログラムは、動領域画像生成手段によって、動領域情報に基づいて、原フレーム画像から動領域を抽出して動領域画像を生成する。
また、動画像雑音除去画像生成プログラムは、空間周波数分解手段によって、動領域画像生成手段で生成された動領域画像を空間方向にウェーブレット分解することで、当該動領域画像を空間低周波成分と空間高周波成分とに分解する。
【００３７】
さらに、動領域画像雑音除去画像生成プログラムは、動きベクトル検出手段によって、空間周波数分解手段で得られた一の動領域画像の空間低周波成分と、一の動領域画像と時間軸方向に隣り合う動領域画像の空間低周波成分との間でブロックマッチングを行い、一の動領域画像の動きベクトルを検出する。
【００３８】
またさらに、動領域画像雑音除去画像生成プログラムは、空間高周波成分低減手段によって、動きベクトル検出手段で検出された一の動領域画像の動きベクトルを、水平方向、垂直方向、斜め方向の３方向に分類し、分類した方向に応じて空間高周波成分を低減する。
そして、動領域画像雑音除去画像生成プログラムは、ウェーブレット再構成手段によって、空間高周波成分低減手段で空間高周波成分が低減された一の動領域画像を空間周波数方向にウェーブレット再構成することで、動領域の雑音除去動画像信号を生成する。
【発明の効果】
【００３９】
本発明は、以下に示す優れた効果を奏するものである。
請求項１〜４に記載の発明によれば、動画像信号から動領域と静領域とを抽出し、動領域と静領域のそれぞれの雑音との関係に応じて個別に雑音を除去するため、信号対雑音比が低い動画像信号であっても、精度良く雑音を除去することができる。したがって、例えば、スーパーハイビジョン（ＳＨＶ）のように高精細な動画像についても、精度良く雑音を除去することができる。
また、請求項１〜４に記載の発明によれば、動領域画像の動きベクトルの方向に応じて個別に空間高周波成分を低減するため、精度良く雑音を除去することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の動画像雑音除去装置の構成を示すブロック図である。
【図２】本発明において、フレーム画像列を時間方向にウェーブレット分解する処理を説明するための概念図である。
【図３】本発明において、ウェーブレット分解されたフレーム画像列から動領域を抽出する処理を説明するための概念図である。
【図４】（ａ）は、本発明において、１フレーム画像分の動領域を抽出する処理を説明するための概念図、（ｂ）は、（ａ）で抽出した１フレーム画像分の動領域から１フレーム画像分の静領域を抽出する処理を説明するための概念図である。
【図５】本発明において、動領域画像を空間方向にウェーブレット分解する処理を説明するための概念図である。
【図６】本発明において、動領域画像の動きベクトルを検出する処理を示す概念図である。
【図７】本発明において、動領域画像の空間高周波成分を低減する処理を示す概念図である。
【図８】本発明において、静領域画像の雑音を除去する処理を説明するための概念図である。
【図９】本発明の実施形態に係る動画像雑音除去装置の動作を示す流れ図である。
【図１０】本発明の実施形態に係る動画像雑音除去装置の動作を示す流れ図である。
【発明を実施するための形態】
【００４１】
以下、図面を参照して本発明に係る動画像雑音除去装置について説明する。なお、はじめに動画像雑音除去装置の処理の概要について説明し、次にその構成について説明する。
［動画像雑音除去処理の概要］
まず、本発明の動画像雑音除去装置で行われる動画像雑音除去処理の概要について説明する。
動画像信号を構成するフレーム画像において、ｘｙ座標系の時刻ｔにおける原画像をｓ（ｘ，ｙ，ｔ）、雑音成分をｎ（ｘ，ｙ，ｔ）としたとき、雑音を含んだ動画像信号Ｆ（ｘ，ｙ，ｔ）は、以下の（１）式で表すことができる。
【００４２】
(数１)
Ｆ（ｘ，ｙ，ｔ）＝ｓ（ｘ，ｙ，ｔ）＋ｎ（ｘ，ｙ，ｔ）          …（１）式
【００４３】
この雑音成分ｎ（ｘ，ｙ，ｔ）は、動画像を撮影したカメラの熱雑音成分であるため、白色性及びガウス性を持つ。すなわち、雑音成分ｎ（ｘ，ｙ，ｔ）は、生起確率が正規分布に従い、かつ、全周波数帯で略等しいエネルギー分布を持ち、時間方向及び空間方向の相関が低いという特徴を有している。
【００４４】
そこで、本発明の動画像雑音除去装置では、動画像信号を時間方向にウェーブレット分解して静・動領域判定を行った後、各領域に有効な時空間フィルタ処理を施すことで動画像雑音除去を行うものである。
【００４５】
［動画像雑音除去装置の構成］
図１を参照して、本発明の実施形態に係る動画像雑音除去装置の構成について説明する。ここでは、動画像雑音除去装置１は、フレーム画像内静・動領域成分抽出手段１０と、動領域画像雑音除去手段２０と、静領域画像雑音除去手段３０と、合成手段４０と、を備えている。
【００４６】
フレーム画像内静・動領域成分抽出手段１０は、動画像信号から１フレーム画像分の動領域成分と静領域成分とを抽出するものである。フレーム画像内静・動領域成分抽出手段１０は、時間軸方向周波数成分分解手段１１と、フレーム画像列動領域抽出手段１２と、フレーム画像内動領域抽出手段１３と、フレーム画像内静領域抽出手段１４と、動領域格納メモリ１５と、静領域格納メモリ１６と、を備えている。
【００４７】
時間軸方向周波数成分分解手段１１は、動画像信号を時間方向にウェーブレット分解するものである。この時間軸方向周波数成分分解手段１１は、図示を省略したクロック回路から出力されるクロックに同期して、ウェーブレット係数長分のフレーム画像単位（フレーム画像列）で動画像信号を入力し、フレーム画像列のすべての水平、垂直座標において、１次元１階離散ウェーブレット変換（ＤＷＴ）を行うことで、時間軸方向における低周波成分である時間低周波展開係数（時間低周波成分）Ｌｔと、時間軸方向における高周波成分である時間高周波展開係数（時間高周波成分）Ｈｔと、にウェーブレット分解する。
【００４８】
すなわち、時間軸方向周波数成分分解手段１１は、図２に示すように、任意の基準時間位置（ｔ＝０）をｔ、その時間位置フレーム画像Ｆ（ｔ）とし、Ｆ（ｔ）から時間方向のウェーブレット係数長分のフレーム画像Ｆ（ｔ）、Ｆ（ｔ＋１）、Ｆ（ｔ＋２）、Ｆ（ｔ＋３）、・・・を、すべての（ｘ，ｙ）の画素値について時間方向にウェーブレット変換することで、時間低周波成分Ｌｔと、時間高周波成分Ｈｔとに分解（ウェーブレット分解）する。
【００４９】
また、時間軸方向周波数成分分解手段１１は、フレーム画像列ごとに、順次１フレーム画像ずつずらして時間方向にウェーブレット分解する。
例えば、時間高周波成分ＥｖｅｎＨｔ（ｔ）の次の時間高周波成分ＯｄｄＨｔ（ｔ）は、図３に示すように、フレーム画像Ｆ（ｔ）から時間軸方向に１フレーム画像ずらしたＦ（ｔ＋１）からＦ（ｔ＋４）で構成されるフレーム画像列を、時間軸方向周波数成分分解手段１１によって時間方向にウェーブレット分解することで得られる。図３では、説明の便宜上、時間方向にボールがフレーム画像の左側から右側へと移動する様子を撮影した動画像を一例として用いている。
同様にして、フレーム画像列ごとに、順次１フレーム画像ずつずらして時間方向にウェーブレット分解することで、時間高周波成分ＯｄｄＨｔ（ｔ＋１）、時間高周波成分ＥｖｅｎＨｔ（ｔ＋１）…を得ることができる。
【００５０】
なお、ウェーブレット係数長及びその長さは、使用するウェーブレットによって異なる。例えば、Ｄａｕｂｅｃｈｉｅｓの２次のウェーブレットを用いた場合、ウェーブレット係数として［−０．１２９４  ０．２２４１  ０．８３６５  ０．４８３０］の４つの係数（ウェーブレット係数長＝“４”）を用いることができる。このウェーブレット係数長が、時間方向のフレーム画像数となる。すなわち、時間軸方向周波数成分分解手段１１によって得られた時間高周波成分ＥｖｅｎＨｔ（ｔ）、ＯｄｄＨｔ（ｔ）…は、それぞれ４フレーム画像分の動領域の変化を含むこととなる。
時間軸方向周波数成分分解手段１１は、ウェーブレット分解したフレーム画像列の時間高周波成分ＥｖｅｎＨｔ（ｔ）、ＯｄｄＨｔ（ｔ）…を、フレーム画像列動領域抽出手段１２に出力する。
【００５１】
フレーム画像列動領域抽出手段１２は、時間軸方向周波数成分分解手段１１で分解されたフレーム画像列の時間高周波成分からフレーム画像列における動領域であるフレーム画像列動領域を抽出するものである。
すなわち、フレーム画像列動領域抽出手段１２は、フレーム画像列の時間高周波成分ＥｖｅｎＨｔ（ｔ）、ＯｄｄＨｔ（ｔ）…を、予め定めた閾値により２値化し、閾値より大きい部分をフレーム画像列動領域として抽出する。つまり、フレーム画像列動領域抽出手段１２は、図３の紙面上側に示すような、フレーム画像列動領域２値化画像Ｂ１、Ｂ２・・・を生成する。この生成されたフレーム画像列動領域２値化画像Ｂ１、Ｂ２…は、フレーム画像内動領域抽出手段１３に出力される。
【００５２】
フレーム画像内動領域抽出手段１３は、フレーム画像列動領域抽出手段１２で生成されたフレーム画像列動領域２値化画像について、予め定めた連続した数ごとに共通領域を抽出することで、１フレーム画像分の動領域であるフレーム画像内動領域を示す動領域２値化画像を生成するものである。ここで、予め定めた連続した数は、ウェーブレット係数長によって決まる。
すなわち、フレーム画像内動領域抽出手段１３は、ここでは、フレーム画像列動領域２値化画像Ｂ１、Ｂ２、Ｂ３、Ｂ４の共通集合Ｂ１∩Ｂ２∩Ｂ３∩Ｂ４を計算することで、フレーム画像列動領域２値化画像Ｂ１、Ｂ２、Ｂ３、Ｂ４にそれぞれ含まれるＦ（ｔ＋３）の動領域の共通領域を抽出し、図４（ａ）に示すような、１フレーム画像分の動領域２値化画像であるＭｏｖＡｒｅａ（ｔ＋３）を生成することができる。
この生成された動領域２値化画像ＭｏｖＡｒｅａ（ｔ＋３）、ＭｏｖＡｒｅａ（ｔ＋４）・・・は、フレーム画像内静領域抽出手段１４と、動領域格納メモリ１５とにそれぞれ出力される。
【００５３】
フレーム画像内静領域抽出手段１４は、フレーム画像内動領域抽出手段１３で生成された１フレーム画像分の動領域であるフレーム画像内動領域を示す動領域２値化画像から原画像１フレーム画像分の静領域２値化画像を生成するものである。すなわち、フレーム画像内静領域抽出手段１４は、動領域２値化画像ＭｏｖＡｒｅａ（ｔ＋３）、ＭｏｖＡｒｅａ（ｔ＋４）・・・の画素値を反転させることで、図４（ｂ）に示すような、１フレーム画像分の静領域２値化画像であるＳｔａＡｒｅａ（ｔ＋３）、ＳｔａＡｒｅａ（ｔ＋４）・・・を生成することができる。この生成された静領域２値化画像であるＳｔａＡｒｅａ（ｔ＋３）、ＳｔａＡｒｅａ（ｔ＋４）・・・は、静領域格納メモリ１６に出力される。
【００５４】
動領域格納メモリ１５は、フレーム画像内動領域抽出手段１３で生成された動領域２値化画像を記憶するものである。動領域格納メモリ１５に記憶された動領域２値化画像ＭｏｖＡｒｅａ（ｔ＋３）、ＭｏｖＡｒｅａ（ｔ＋４）・・・は、後記する動領域画像雑音除去手段２０の動領域画像生成手段２１によって適宜読み出される。
【００５５】
静領域格納メモリ１６は、フレーム画像内静領域抽出手段１４で生成された静領域２値化画像を記憶するものである。静領域格納メモリ１６に記憶された静領域２値化画像ＳｔａＡｒｅａ（ｔ＋３）、ＳｔａＡｒｅａ（ｔ＋４）・・・は、後記する静領域画像雑音除去手段３０の静領域画像生成手段３１によって適宜読み出される。
なお、図１では、説明のために、動領域格納メモリ１５と、静領域格納メモリ１６とを別々に図示したが、これらを１個の記憶手段（不図示）で構成しても良い。
【００５６】
動領域画像雑音除去手段２０（動領域画像雑音除去装置）は、１フレーム画像分の動領域画像の雑音を除去するものであり、動領域画像生成手段２１と、空間周波数方向平滑化手段２２と、を備えている。
動領域画像生成手段２１は、動領域格納メモリ１５に格納された１フレーム画像分の動領域２値化画像に基づいて、当該動領域２値化画像と時間方向に対応する原フレーム画像から動領域を抽出して、動領域画像を生成するものである。
【００５７】
すなわち、動領域画像生成手段２１は、例えば、動領域２値化画像ＭｏｖＡｒｅａ（ｔ＋３）と、この動領域２値化画像ＭｏｖＡｒｅａ（ｔ＋３）と時間方向に対応する原フレーム画像Ｆ（ｔ＋３）との論理積演算（ＡＮＤ）を行うことで、原フレーム画像Ｆ（ｔ＋３）内の動領域のみを抽出した動領域画像ＭｏｖＦ（ｔ＋３）を生成する。このようにして生成された動領域画像ＭｏｖＦ（ｔ＋３）、ＭｏｖＦ（ｔ＋４）・・・は、空間周波数方向平滑化手段２２に出力される。動領域画像生成手段２１は、動領域２値化画像ＭｏｖＡｒｅａ（ｔ＋４）以降についても同様の処理を行う。
【００５８】
空間周波数方向平滑化手段２２は、動領域画像生成手段２１で生成された動領域画像において、空間方向の平滑化処理を行うことで、動領域画像から雑音を除去した動領域雑音除去画像を生成するものである。空間周波数方向平滑化手段２２は、空間周波数分解手段２２１と、動きベクトル検出手段２２２と、空間高周波成分低減手段２２３と、ウェーブレット再構成手段２２４と、を備えている。
【００５９】
空間周波数分解手段２２１は、動領域画像生成手段２１で生成された動領域画像を空間方向の周波数成分にウェーブレット分解するものである。すなわち、空間周波数分解手段２２１は、図５に示すように、例えば、動領域画像ＭｏｖＦ（ｔ＋３）を、２次元１階離散ウェーブレット変換することで、空間方向における低周波成分である空間低周波展開係数（空間低周波成分）ＬＬ_Ｆ（ｔ＋３）と、空間方向における高周波成分である空間高周波展開係数（空間高周波成分）ＬＨ_Ｆ（ｔ＋３）、ＨＬ_Ｆ（ｔ＋３）、ＨＨ_Ｆ（ｔ＋３）とに、ウェーブレット分解する。なお、このときＨａａｒウェーブレットを用いて、これを水平方向と垂直方向にそれぞれ適用する。ここで、Ｈａａｒウェーブレットを使用する理由は、線形位相性を満たす最小のフィルタであるためである。
このようにして生成された空間低周波展開係数（空間低周波成分）と、空間高周波展開係数（空間高周波成分）は、順次、動きベクトル検出手段２２２に出力される。
【００６０】
動きベクトル検出手段２２２は、空間周波数分解手段２２１で得られた一の動領域画像の空間低周波成分と、一の動領域画像と時間方向に隣り合う動領域画像の空間低周波成分との間でブロックマッチングを行い、一の動領域画像の動きベクトルを検出するものである。以下では、一の動領域画像をＭｏｖＦ（ｔ＋３）とし、一の動領域画像に隣り合う動領域画像をＭｏｖＦ（ｔ＋４）として説明する。
【００６１】
動きベクトル検出手段２２２は、図６に示すように、動領域画像ＭｏｖＦ（ｔ＋３）の空間低周波成分ＬＬ_Ｆ（ｔ＋３）と、動領域画像ＭｏｖＦ（ｔ＋３）に隣り合う動領域画像ＭｏｖＦ（ｔ＋４）の空間低周波成分ＬＬ_Ｆ（ｔ＋４）とを取得し、空間低周波成分ＬＬ_Ｆ（ｔ＋３）と空間低周波成分ＬＬ_Ｆ（ｔ＋４）との間でｎ×ｎサイズのブロックを用いてブロックマッチングを行うことで、各ブロックの動きベクトルを検出する。
【００６２】
ここで、動領域画像ＭｏｖＦ（ｔ＋３）、Ｍｏｖ（ｔ＋４）に比べて動き検出精度が劣る空間低周波成分であるＬＬ_Ｆ（ｔ＋３）とＬＬ_Ｆ（ｔ＋４）との間でブロックマッチングを行うのは、雑音を含む動領域画像ＭｏｖＦ（ｔ＋３）の動きベクトルの方向を検出する際に有利であるからである。すなわち、空間低周波成分ＬＬ_Ｆ（ｔ＋３）、ＬＬ_Ｆ（ｔ＋４）は、動領域画像ＭｏｖＦ（ｔ＋３）、ＭｏｖＦ（ｔ＋４）に比べて水平及び垂直方向に１／２の低域通過フィルタ処理と間引き処理とが加えられているため、雑音が低減されている。よって、空間低周波成分ＬＬ_Ｆ（ｔ＋３）と空間低周波成分ＬＬ_Ｆ（ｔ＋４）の間でブロックマッチングを行うことで動き検出確度を高めることができる。
【００６３】
このようにして検出された動きベクトル情報ＭｏｖＭｅｍ（ｉ，ｊ）は、空間高周波成分低減手段２２３に出力される。また、空間低周波成分ＬＬ_Ｆ（ｔ＋３）は、ウェーブレット再構成手段２２４に出力される。
なお、動きベクトル情報を、図示を省略した動きベクトル検出メモリに動きベクトル情報ＭｏｖＭｅｍ（ｉ，ｊ）を記憶させることとしても良い。動きベクトル情報ＭｏｖＭｅｍ（ｉ，ｊ）の水平と垂直の最大標本化周波数Ｉ，Ｊは、原画像の解像度が水平Ｘ画素、垂直Ｙラインとすると、Ｉ＝（１／２）・Ｘ、Ｊ＝（１／２）・Ｙとなる。動きベクトル検出メモリを設ける場合、空間高周波成分低減手段２２３によって、この動きベクトル検出メモリから、適宜動きベクトル情報ＭｏｖＭｅｍ（ｉ，ｊ）が読み出される。
【００６４】
空間高周波成分低減手段２２３は、動きベクトル検出手段２２２で検出された一の動領域画像の動きベクトル情報を、水平方向、垂直方向、斜め方向の３方向に分類し、分類した方向に応じて空間高周波成分を低減するものである。
空間高周波成分低減手段２２３は、まず、動きベクトル情報であるＭｏｖＭｅｍ（ｉ，ｊ）の任意の∀（ｉ，ｊ）について、その動き方向を計算する。カメラの撮像における蓄積ボケは動き方向におこるためである。
【００６５】
空間高周波成分低減手段２２３は、次に、動きベクトルの方向を第１象限で見て０度（水平方向）、４５度（斜め方向）、９０度（垂直方向）の３方向に分類する。この分類では、例えば０〜２０度を水平方向、２１〜７０度を斜め方向、７１〜９０度を垂直方向とする。斜め方向を広くとっているのは、人間の視覚では、斜め方向の解像度低下は、水平や垂直方向に比べて知覚されにくいためである。
【００６６】
空間高周波成分低減手段２２３は、図７に示すように、さらに、画素位置（ｉ，ｊ）の動きベクトルの方向が例えば０度（水平方向）の場合、空間低周波成分ＬＬ_Ｆ（ｔ＋３）に対し水平方向に位置する空間高周波成分ＬＨ_Ｆ（ｔ＋３）における画素位置（ｉ，ｊ）の周波数成分を１／２に低減する。ここで、ＭｏｖＦ（ｔ＋３）を空間方向に２次元１階離散ウェーブレット分解する際にＨａａｒウェーブレットを用いたため、ＬＨ_Ｆ（ｔ＋３）の画素位置（ｉ，ｊ）の周波数成分を１／２に低減する処理は、原画像の画素位置（ｘ，ｙ）の周波数成分と水平方向に隣り合う画素位置（ｘ＋１，ｙ）の周波数成分の差分（微分に相当）を１／２に低減する処理に相当する。
【００６７】
また、画素位置（ｉ，ｊ）の動きベクトルの方向が例えば４５度（斜め方向）の場合、空間低周波成分ＬＬ_Ｆ（ｔ＋３）に対し斜め方向に位置する空間高周波成分ＨＨ_Ｆ（ｔ＋３）の画素位置（ｉ，ｊ）の周波数成分を１／２に低減する。すなわち、原画像の画素位置（ｘ，ｙ）の周波数成分と、この原画像の画素位置（ｘ，ｙ）に対し斜め方向に位置する画素位置（ｘ＋１，ｙ＋１）の周波数成分との差分を１／２に低減する。
さらに、画素位置（ｉ，ｊ）の動きベクトルの方向が例えば９０度（垂直方向）の場合、空間低周波成分ＬＬ_Ｆ（ｔ＋３）に対し垂直方向に位置する空間高周波成分ＨＬ_Ｆ（ｔ＋３）の画素位置（ｉ，ｊ）の周波数成分を１／２に低減する。すなわち、原画像の画素位置（ｘ，ｙ）の周波数成分と、原画像の画素位置（ｘ，ｙ）に対し垂直方向に位置する画素位置（ｘ，ｙ＋１）周波数成分との差分を１／２に低減する。
【００６８】
このようにして、空間高周波成分低減手段２２３により、動きベクトル情報ＭｏｖＭｅｍ（ｉ，ｊ）のすべての画素位置の空間高周波成分を低減する処理が行われ、その結果が、ウェーブレット再構成手段２２４に出力される。
【００６９】
ウェーブレット再構成手段２２４は、空間高周波成分低減手段２２３によって雑音の信号レベルを低減させた空間高周波成分を、空間方向及び時間方向にそれぞれウェーブレット再構成することで動領域の雑音除去動画像信号を生成するものである。
すなわち、ウェーブレット再構成手段２２４は、まず、空間低周波成分ＬＬ_Ｆ（ｔ＋３）と、空間高周波成分ＬＨ_Ｆ（ｔ＋３）、ＨＨ_Ｆ（ｔ＋３）、ＨＬ_Ｆ（ｔ＋３）とに対して２次元１階離散ウェーブレット逆変換（ＩＤＷＴ）を行う。これによって各周波数成分が、時間高周波成分と時間低周波成分とに再構成されることになる。
この生成された動領域の雑音除去画像は、合成手段４０に出力される。
【００７０】
静領域画像雑音除去手段３０は、１フレーム画像分の静領域画像の雑音を除去するものであり、静領域画像生成手段３１と、時間軸方向平滑化手段３２と、を備えている。
静領域画像生成手段３１は、静領域格納メモリ１６に格納された静領域２値化画像に基づいて、当該静領域２値化画像と時間方向に対応する原フレーム画像から静領域を抽出して静領域画像を生成するものである。
【００７１】
すなわち、静領域画像生成手段３１は、例えば、静領域２値化画像ＳｔａＡｒｅａ（ｔ＋３）と、この静領域２値化画像ＳｔａＡｒｅａ（ｔ＋３）と時間方向に対応する、原フレーム画像Ｆ（ｔ＋３）とのＡＮＤ演算を行うことで、原フレーム画像Ｆ（ｔ＋３）内の静領域のみを抽出した静領域画像ＳｔａＦ（ｔ＋３）を生成する。このようにして生成された静領域画像ＳｔａＦ（ｔ＋３）、ＳｔａＦ（ｔ＋４）・・・は、時間軸方向平滑化手段３２に出力される。
【００７２】
時間軸方向平滑化手段３２は、静領域画像生成手段３１で生成された静領域画像において時間方向の平滑化処理を行うことで、静領域画像から雑音を除去した静領域雑音除去画像を生成するものである。前記したように、熱雑音は白色ガウス性を持ち、時間方向の信号相関が低いという特性を有するので、時間軸方向平滑化手段３２では、この特性を利用して、静領域画像ＳｔａＦ（ｔ＋３）、ＳｔａＦ（ｔ＋４）・・・の雑音を除去する。
【００７３】
すなわち、時間軸方向平滑化手段３２は、図８に示すように、ＳｔａＦ（ｔ＋３）と、このＳｔａＦ（ｔ＋３）の時間方向に前後のフレーム画像であるＳｔａＦ（ｔ＋２）、ＳｔａＦ（ｔ＋４）とを用いて、画素位置（ｘ，ｙ）に対し、［１／４  １／２  １／４］の低域通過フィルタを適用することで、画素位置（ｘ，ｙ）の雑音を除去する。このようにして、すべての画素位置について低域通過フィルタを適用し、静領域の雑音除去画像を生成する。このようにして生成された静領域の雑音除去画像は、合成手段４０に出力される。
【００７４】
合成手段４０は、動領域画像雑音除去手段２０で生成された動領域の雑音除去画像と、静領域画像雑音除去手段３０で生成された静領域の雑音除去画像とを合成し、雑音除去動画像信号を生成するものである。
すなわち、合成手段４０は、動領域の雑音除去画像と、静領域の雑音除去画像との論理和演算ＯＲを計算することにより、原画像の雑音除去画像ＮＲ（ｔ＋３）を生成する。
【００７５】
以上説明したように動画像雑音除去装置１を構成することで、静領域と動領域のそれぞれの周波数成分の特性に応じて個別に雑音を除去することが可能となる。すなわち、熱雑音は時間方向の信号相関が低いという特性を有するので、時間方向に低域通過フィルタを適用することで、静領域の雑音を除去することができる。また、動領域は、時間方向の信号相関が低いという特性を有するので、空間方向に低域通過フィルタを適用することで、動領域の雑音を除去することができる。さらに、動き方向への蓄積ボケを考慮して動領域の雑音を除去することができる。
【００７６】
なお、動画像雑音除去装置１は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、動画像雑音除去装置１は、コンピュータを、前記した各手段として機能させる動画像雑音除去プログラムにより動作させることができる。この動画像雑音除去プログラムは、ネットワークを介して配信することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。フレーム画像内静・動領域成分抽出装置、動画像雑音除去装置についても同様である。
【００７７】
［動画像雑音除去装置の動作］
次に図９及び図１０を参照（構成については適宜図１参照）して、本発明の実施形態に係る動画像雑音除去装置の動作について説明する。
【００７８】
〔時間軸方向周波数成分分解処理〕
図９に示すように、まず、動画像雑音除去装置１は、フレーム画像内静・動領域成分抽出手段１０の時間軸方向周波数成分分解手段１１によって、クロック（ＣＬＫ）に同期して動画像信号をフレーム単位で入力し、フレーム画像列ごとに、１次元１階離散ウェーブレット変換（ＤＷＴ）を行う（ステップＳ１）。これによって、動画像信号は、時間方向にウェーブレット分解され、フレーム画像列ごとに、時間高周波成分と時間低周波成分とに分解される。
【００７９】
〔フレーム画像列動領域抽出処理〕
次に、動画像雑音除去装置１は、フレーム画像列動領域抽出手段１２によって、ステップＳ１で分解されたフレーム画像列の時間高周波成分ＥｖｅｎＨｔ（ｔ）、ＯｄｄＨｔ（ｔ）…を、予め定めた閾値により２値化することで、フレーム画像列における動領域であるフレーム画像列動領域を示すフレーム画像列動領域２値化画像Ｂ１、Ｂ２・・・を生成する（ステップＳ２）。
【００８０】
〔フレーム画像内動領域抽出処理〕
さらに、動画像雑音除去装置１は、フレーム画像内動領域抽出手段１３によって、ステップＳ２で生成されたフレーム画像列動領域２値化画像Ｂ１、Ｂ２・・・の共通領域を抽出することで、１フレーム画像分の動領域であるフレーム画像内動領域を示す動領域２値化画像ＭｏｖＡｒｅａ（ｔ＋３）・・・を生成する（ステップＳ３）。
【００８１】
〔フレーム画像内静領域抽出処理〕
またさらに、動画像雑音除去装置１は、フレーム画像内静領域抽出手段１４によって、ステップＳ３で生成された動領域２値化画像の画素値を反転させることで、１フレーム画像分の静領域であるフレーム画像内静領域を示す静領域２値化画像ＳｔａＡｒｅａ（ｔ＋３）・・・を生成する（ステップＳ４）。
【００８２】
〔動領域画像雑音除去処理〕
続いて、動画像雑音除去装置１は、動領域画像雑音除去手段２０によって、ステップＳ３で生成された動領域２値化画像ＭｏｖＡｒｅａ（ｔ＋３）・・・から動領域画像を生成し、この動領域画像の雑音を除去する。
図１０に示すように、ここでは、まず、動画像雑音除去装置１は、動領域画像生成手段２１によって、ステップＳ３で生成された動領域２値化画像ＭｏｖＡｒｅａ（ｔ＋３）・・・と時間方向に対応する原フレーム画像Ｆ（ｔ＋３）・・・との論理積演算（ＡＮＤ）を行うことで、原フレーム画像Ｆ（ｔ＋３）・・・内の動領域のみを抽出した動領域画像ＭｏｖＦ（ｔ＋３）・・・を生成する（ステップＳ５）。
【００８３】
次に、動画像雑音除去装置１は、空間周波数方向平滑化手段２２の空間周波数分解手段２２１によって、ステップＳ５で生成された動領域画像ＭｏｖＦ（ｔ＋３）・・・を２次元１階離散ウェーブレット分解（ＤＷＴ）することで、動領域画像ＭｏｖＦ（ｔ＋３）・・・を、空間方向の低周波成分である空間低周波展開係数（空間低周波成分）ＬＬ_Ｆ（ｔ＋３）と、空間方向の高周波成分である空間高周波展開係数（空間高周波成分）ＬＨ_Ｆ（ｔ＋３）、ＨＬ_Ｆ（ｔ＋３）、ＨＨ_Ｆ（ｔ＋３）とにウェーブレット分解する（ステップＳ６）。
【００８４】
さらに、動画像雑音除去装置１は、空間周波数方向平滑化手段２２の動きベクトル検出手段２２２によって、ステップＳ６でウェーブレット分解された動領域画像ＭｏｖＦ（ｔ＋３）の空間低周波成分ＬＬ_Ｆ（ｔ＋３）と、この動領域画像ＭｏｖＦ（ｔ＋３）に隣り合う動領域画像Ｍｏｖ（ｔ＋４）の空間低周波成分ＬＬ_Ｆ（ｔ＋４）との間でブロックマッチングを行い、空間低周波成分ＬＬ_Ｆ（ｔ＋３）の画素位置（ｉ，ｊ）における動きベクトルを検出するとともに、ウェーブレット再構成手段２２４に空間低周波成分ＬＬ_Ｆ（ｔ＋３）を出力する（ステップＳ７）。
【００８５】
またさらに、動画像雑音除去装置１は、空間周波数方向平滑化手段２２の空間高周波成分低減手段２２３によって、ステップＳ７で検出された動きベクトル情報を、水平方向、垂直方向、斜め方向の３方向に分類し、分類した動き方向に応じて、空間高周波成分ＬＨ_Ｆ（ｔ＋３）、ＨＨ（ｔ＋３）、ＨＬ（ｔ＋３）を低減する（ステップＳ８）。
【００８６】
〔時間・空間方向再構成処理〕
そして、動画像雑音除去装置１は、空間周波数方向平滑化手段２２のウェーブレット再構成手段２２４によって、ステップＳ８で雑音の信号レベルを低減させた空間高周波成分ＬＨ_Ｆ（ｔ＋３）、ＨＨ_Ｆ（ｔ＋３）、ＨＬ_Ｆ（ｔ＋３）と、空間低周波成分ＬＬ_Ｆ（ｔ＋３）とに対して２次元１階離散ウェーブレット逆変換（ＩＤＷＴ）を行う（ステップＳ９）。
【００８７】
〔静領域画像生成処理〕
次に、動画像雑音除去装置１は、静領域画像雑音除去手段３０の静領域画像生成手段３１によって、静領域２値化画像ＳｔａＡｒｅａ（ｔ＋３）と、この静領域２値化画像ＳｔａＡｒｅａ（ｔ＋３）と時間方向に対応する、原フレーム画像Ｆ（ｔ＋３）との論理積演算（ＡＮＤ）を行うことで、原フレーム画像Ｆ（ｔ＋３）内の静領域のみを抽出した静領域画像ＳｔａＦ（ｔ＋３）を生成する（ステップＳ１０）。
【００８８】
〔時間軸方向平滑化処理〕
さらに、動画像雑音除去装置１は、静領域画像雑音除去手段３０の時間軸方向平滑化手段３２によって、静領域画像ＳｔａＦ（ｔ＋３）と、静領域画像ＳｔａＦ（ｔ＋３）の時間方向に前後のフレーム画像である静領域画像ＳｔａＦ（ｔ＋２）、ＳｔａＦ（ｔ＋４）とを用いて、すべての画素位置に対し、［１／４  １／２  １／４］の低域通過フィルタを適用することで、すべての画素位置の雑音を除去することで、静領域の雑音除去画像を生成する（ステップＳ１１）。なお、ステップＳ１０、Ｓ１１は、ステップＳ４に連続して行っても良いし、ステップＳ５〜Ｓ９と並行して動作させることとしても良い。
【００８９】
〔合成処理〕
そして、動画像雑音除去装置１は、合成手段４０によって、動領域の雑音除去画像と、静領域の雑音除去画像との論理和演算ＯＲを計算することにより、原画像の雑音除去画像ＮＲ（ｔ＋３）を生成する（ステップＳ１２）。
【００９０】
そして、動画像雑音除去装置１は、動画像信号のフレーム画像を入力するごとに、ステップＳ１〜Ｓ１２の動作を順次行うことで、時系列に雑音除去画像を生成し、雑音を除去した雑音除去動画像信号を生成する。
【００９１】
以上説明したように、動画像雑音除去装置１は、動画像信号を時間方向にウェーブレット分解して静・動領域判定を行った後、静・動領域のそれぞれと雑音との関係に応じて有効な時空間フィルタ処理を施すことで、動画像信号から精度良く雑音を除去することができる。
【００９２】
以上本発明の実施形態について説明したが、本発明は前記した実施形態に限定されるものではない。
例えば、前記した実施形態では、空間高周波成分低減手段２２３は、動きベクトルの方向を、０〜２０度を水平方向、２１〜７０度を斜め方向、７１〜９０度を垂直方向と分類しているが、これに限られるものではなく、この数値範囲は、適宜変更することができる。なお、人間の視覚では、斜め方向の解像度低下は、水平や垂直方向に比べて知覚されにくいことを考慮し、数値範囲を変更する場合にも斜め方向を広くとるようにする。
これによれば、処理対象となる動画像ごとに、動きベクトルの方向の分類の数値範囲を調整することができるので、雑音除去の精度をより向上させることができる。
【００９３】
また例えば、前記した実施形態では、空間高周波成分低減手段２２３によって空間高周波成分を低減する際に、画素位置（ｉ，ｊ）の動きベクトルに応じたそれぞれの空間高周波成分における画素位置（ｉ，ｊ）の周波数成分をそれぞれ１／２に低減しているが、これに限られるものではない。動きベクトルの大きさによって、低減値を変化させても良い。例えば、動きベクトルの値が大きければ、これに応じて低減値を小さくし、一方、動きベクトルの値が小さければ、これに応じて低減値を大きく設定する。動きベクトルの値と低減値との関係は、例えば線形な関係を満たせば良い。これによれば、処理対象となる動画像ごとの動きベクトルの値に対応させて低減値を調整することができるので、雑音除去の精度をより向上させることができる。
【符号の説明】
【００９４】
１      動画像雑音除去装置
１０      フレーム画像内静・動領域抽出手段
１１      時間軸方向周波数成分分解手段
１２      フレーム画像列動領域抽出手段
１３      フレーム画像内動領域抽出手段
１４      フレーム画像列静領域抽出手段
１５      動領域格納メモリ
１６      静領域格納メモリ
２０      動領域画像雑音除去手段
２１      動領域画像生成手段
２２      空間周波数方向平滑化手段
２２１      空間周波数分解手段
２２２      動きベクトル検出手段
２２３      空間高周波成分低減手段
２２４      ウェーブレット再構成手段
３０      静領域画像雑音除去手段
３１      動領域画像生成手段
３２      時間軸方向平滑化手段
４０      合成手段
【図１】
2010239296.tif 000003
【図２】
2010239296.tif 000004
【図３】
2010239296.tif 000005
【図４】
2010239296.tif 000006
【図５】
2010239296.tif 000007
【図６】
2010239296.tif 000008
【図７】
2010239296.tif 000009
【図８】
2010239296.tif 000010
【図９】
2010239296.tif 000011
【図１０】
2010239296.tif 000012