(57)【特許請求の範囲】
【請求項１】
入力画像信号を複数フレーム分記憶する記憶部と、
上記記憶部に記憶された各フレームの入力画像信号から、注目フレームの少なくとも１つの画素およびその他のフレームの少なくとも１つの画素を抽出する画素抽出部と、
上記画素抽出部で抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出し、上記ノイズレベルの変動を反映したクラス情報を発生するノイズ検出部と、
上記注目フレームの入力画像信号に対して、上記クラス情報に対応する予測係数を用いた重み付け演算を行うことによって、ノイズの除去された画像信号を生成する画像信号生成部とを備え、
上記ノイズ検出部は、上記画素抽出部で抽出された各フレームの画素の画素値を用いてダイナミックレンジに適応した符号化を行うことによって得られる符号化コード、並びに上記ダイナミックレンジを表すコードを用いて上記ノイズレベルの変動を検出する
ことを特徴とする画像処理装置。
【請求項２】
請求項１において、
上記記憶部に記憶された複数フレーム分の入力画像信号に基づいて、フレーム間における動きを検出する動き検出部をさらに備え、
上記画素抽出部は、上記動き検出部で検出された動きに基づいて決定されるフレーム内の位置の画素を、各フレームの入力画像信号から抽出することを特徴とする画像処理装置。
【請求項３】
請求項１において、
上記ノイズ検出部は、画素毎にノイズレベルの変動を検出することを特徴とする画像処理装置。
【請求項４】
請求項１において、
上記画素抽出部は、上記その他のフレームから、上記注目フレームから抽出された画素と同じ位置の画素を抽出することを特徴とする画像処理装置。
【請求項５】
請求項１において、
上記記憶部に記憶された各フレームの入力画像信号からそれぞれ１画素を抽出し、
上記ノイズ検出部は、抽出した画素に基づいて上記注目フレームから抽出した画素に対するノイズレベルの変動を検出することを特徴とする画像処理装置。
【請求項６】
複数フレームの入力画像信号から、注目フレームの少なくとも１つの画素およびその他のフレームの少なくとも１つの画素を抽出するステップと、
上記抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出し、上記ノイズレベルの変動を反映したクラス情報を発生するステップと、
上記注目フレームの入力画像信号に対して、上記クラス情報に対応する予測係数を用いた重み付け演算を行うことによって、ノイズの除去された画像信号を生成するステップとを備え、
上記クラス情報を発生するステップにおいて、上記画素を抽出するステップで抽出された各フレームの画素の画素値を用いてダイナミックレンジに適応した符号化を行うことによって得られる符号化コード、並びに上記ダイナミックレンジを表すコードを用いて上記ノイズレベルの変動を検出する
ことを特徴とする画像処理方法。
【請求項７】
教師画像信号に対してノイズ成分を付加し、生徒画像信号を生成するノイズ付加部と、
上記ノイズ付加部から出力される生徒画像信号を複数フレーム分記憶する記憶部と、
上記記憶部に記憶された各フレームの生徒画像信号から、注目フレームの少なくとも１つの画素およびその他のフレームの少なくとも１つの画素を抽出する画素抽出部と、
上記画素抽出部で抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出し、上記ノイズレベルの変動を反映したクラス情報を発生するノイズ検出部と、
上記クラス情報と、上記教師画像信号と、上記生徒画像信号とに基づいて、上記生徒画像信号と同質の入力画像信号から上記教師画像信号と同質の出力画像信号を生成するための予測係数を演算する予測係数演算部とを備え、
上記ノイズ検出部は、上記画素抽出部で抽出された各フレームの画素の画素値を用いてダイナミックレンジに適応した符号化を行うことによって得られる符号化コード、並びに上記ダイナミックレンジを表すコードを用いて上記ノイズレベルの変動を検出する
ことを特徴とする学習装置。
【請求項８】
請求項７において、
上記予測係数演算部は、上記クラス情報と、上記教師画像信号と、上記生徒画像信号とが入力され、上記生徒画像信号の複数の画素値と予測係数との線形結合によって演算される予測値と上記教師画像信号中の真値との間の誤差の２乗和を最小とする予測係数を、最小２乗法によって演算することを特徴とする学習装置。
【請求項９】
請求項７において、
上記記憶部に記憶された複数フレーム分の上記生徒画像信号に基づいて、フレーム間における動きを検出する動き検出部をさらに備え、
上記画素抽出部は、上記動き検出部で検出された動きに基づいて決定されるフレーム内の位置の画素を、各フレームの入力画像信号から抽出することを特徴とする学習装置。
【請求項１０】
請求項７において、
上記ノイズ検出部は、画素毎にノイズレベルの変動を検出することを特徴とする学習装置。
【請求項１１】
請求項７において、
上記画素抽出部は、上記その他のフレームから、上記注目フレームから抽出された画素と同じ位置の画素を抽出することを特徴とする学習装置。
【請求項１２】
請求項７において、
上記記憶部に記憶された各フレームの入力画像信号からそれぞれ１画素を抽出し、
上記ノイズ検出部は、抽出した画素に基づいて上記注目フレームから抽出した画素に対するノイズレベルの変動を検出することを特徴とする学習装置。
【請求項１３】
教師画像信号に対してノイズ成分を付加し、生徒画像信号を生成するステップと、
記憶された各フレームの生徒画像信号から、注目フレームの少なくとも１つの画素およびその他のフレームの少なくとも１つの画素を抽出するステップと、
抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出し、上記ノイズレベルの変動を反映したクラス情報を発生するステップと、
上記クラス情報と、上記教師画像信号と、上記生徒画像信号とに基づいて、上記生徒画像信号と同質の入力画像信号から上記教師画像信号と同質の出力画像信号を生成するための予測係数を演算するステップとを備え、
上記クラス情報を発生するステップにおいて、上記画素を抽出するステップで抽出された各フレームの画素の画素値を用いてダイナミックレンジに適応した符号化を行うことによって得られる符号化コード、並びに上記ダイナミックレンジを表すコードを用いて上記ノイズレベルの変動を検出する
ことを特徴とする学習方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力画像信号のノイズを除去する機能を有する画像処理装置、画像処理方法、学習装置および学習方法に関する。
【０００２】
【従来の技術】
例えばテレビジョン受像機の画像信号処理系等において、画像信号からノイズを除去するために、従来から動き適応型リカーシブフィルタが使用されている。動き適応型リカーシブフィルタの構成の一例を図１２に示す。入力の現フレームの画像信号が減算回路１００に供給される。減算回路１００には、さらに、フレームメモリ９９に記憶されている前フレームの画像信号が供給される。減算回路１００は、現フレームと前フレームとの画像信号の差分を生成し、生成した差分を絶対値算出回路１０１に供給する。絶対値算出回路１０１は、供給される差分を絶対値に変換する。絶対値算出回路１０１の出力がしきい値処理回路１０２に供給される。しきい値処理回路１０２は、供給される絶対値をしきい値の下でしきい値処理して、画素毎に動き／静止を判定する。
【０００３】
しきい値処理回路１０２による判定の結果が重み設定値発生回路１０３に供給される。重み設定値発生回路１０３は、しきい値処理回路１０２による判定の結果に応じて重み設定値ｋの値を設定する。設定されるｋの値は、入力フレームに対する振幅調整を行うアンプ１０４、およびフレームメモリ９９に記憶されている前フレームに対する振幅調整を行うアンプ１０５に供給される。ここで、アンプ１０４は入力信号をｋ倍し、また、アンプ１０５は入力信号を１−ｋ倍する。
【０００４】
しきい値処理回路１０２によって静止と判定される場合には、ｋの値として０〜０．５の間のある固定値が設定される。かかる設定により、アンプ１０４、１０５の後段の加算器１０６の出力は、現フレームの画素値をｋ倍した値と前フレームの現フレームと同一位置の画素値を１−ｋ倍した値とが加算された値とされる。一方、しきい値処理回路１０２によって動きと判定される場合には、ｋの値として１が設定される。かかる設定により、加算器１０６からは現フレームの画素値がそのまま出力される。
【０００５】
【発明が解決しようとする課題】
以上のような従来技術においては、次の（ａ）〜（ｄ）のような問題がある。（ａ）静止部分に対して、一定の重み（固定値ｋ）の下で重み付け加算を行うだけなので、ノイズレベルの大きさと、その信号レベルに対する大小関係とが時間的に変動する場合に、それに的確に対応するノイズ除去がなされない。（ｂ）ノイズレベルが大きい場合、静止部分を動きと誤判定してしまうので、ノイズ除去効果が減少する。（ｃ）動き部分を静止と誤判定し、ボケが生じる場合がある。（ｄ）動き部分に対してはノイズ除去ができない。
【０００６】
従って、この発明の目的は、ノイズレベルが時間的に変動する場合にも的確なノイズ除去を行うことが可能な画像処理装置、画像処理方法、学習装置および学習方法を提供することにある。
【０００７】
【課題を解決するための手段】
以上の課題を解決するために、請求項１に記載の発明は、入力画像信号を複数フレーム分記憶する記憶部と、
記憶部に記憶された各フレームの入力画像信号から、注目フレームの少なくとも１つの画素およびその他のフレームの少なくとも１つの画素を抽出する画素抽出部と、
画素抽出部で抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出し、ノイズレベルの変動を反映したクラス情報を発生するノイズ検出部と、
注目フレームの入力画像信号に対して、クラス情報に対応する予測係数を用いた重み付け演算を行うことによって、ノイズの除去された画像信号を生成する画像信号生成部とを備え、
ノイズ検出部は、上記画素抽出部で抽出された各フレームの画素の画素値を用いてダイナミックレンジに適応した符号化を行うことによって得られる符号化コード、並びにダイナミックレンジを表すコードを用いてノイズレベルの変動を検出する
ことを特徴とする画像処理装置である。
【０００８】
請求項６に記載の発明は、複数フレームの入力画像信号から、注目フレームの少なくとも１つの画素およびその他のフレームの少なくとも１つの画素を抽出するステップと、
抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出し、ノイズレベルの変動を反映したクラス情報を発生するステップと、
注目フレームの入力画像信号に対して、クラス情報に対応する予測係数を用いた重み付け演算を行うことによって、ノイズの除去された画像信号を生成するステップとを備え、
クラス情報を発生するステップにおいて、画素を抽出するステップで抽出された各フレームの画素の画素値を用いてダイナミックレンジに適応した符号化を行うことによって得られる符号化コード、並びにダイナミックレンジを表すコードを用いてノイズレベルの変動を検出する
ことを特徴とする画像処理方法である。
【０００９】
請求項７に記載の発明は、教師画像信号に対してノイズ成分を付加し、生徒画像信号を生成するノイズ付加部と、
ノイズ付加部から出力される生徒画像信号を複数フレーム分記憶する記憶部と、
記憶部に記憶された各フレームの生徒画像信号から、注目フレームの少なくとも１つの画素およびその他のフレームの少なくとも１つの画素を抽出する画素抽出部と、
画素抽出部で抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出し、ノイズレベルの変動を反映したクラス情報を発生するノイズ検出部と、
クラス情報と、教師画像信号と、生徒画像信号とに基づいて、生徒画像信号と同質の入力画像信号から教師画像信号と同質の出力画像信号を生成するための予測係数を演算する予測係数演算部とを備え、
ノイズ検出部は、画素抽出部で抽出された各フレームの画素の画素値を用いてダイナミックレンジに適応した符号化を行うことによって得られる符号化コード、並びにダイナミックレンジを表すコードを用いてノイズレベルの変動を検出する
ことを特徴とする学習装置である。
【００１０】
請求項１３に記載の発明は、教師画像信号に対してノイズ成分を付加し、生徒画像信号を生成するステップと、
記憶された各フレームの生徒画像信号から、注目フレームの少なくとも１つの画素およびその他のフレームの少なくとも１つの画素を抽出するステップと、
抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出し、ノイズレベルの変動を反映したクラス情報を発生するステップと、
クラス情報と、教師画像信号と、生徒画像信号とに基づいて、生徒画像信号と同質の入力画像信号から教師画像信号と同質の出力画像信号を生成するための予測係数を演算するステップとを備え、
クラス情報を発生するステップにおいて、画素を抽出するステップで抽出された各フレームの画素の画素値を用いてダイナミックレンジに適応した符号化を行うことによって得られる符号化コード、並びにダイナミックレンジを表すコードを用いてノイズレベルの変動を検出する
ことを特徴とする学習方法である。
【００１１】
この発明によれば、所定個数のフレームから抽出される画素のデータに基づいて、ノイズ成分のフレーム間変動を的確に反映するノイズ除去処理が可能となる。
【００１２】
【発明の実施の形態】
以下、この発明の一実施例について説明する。この発明の一実施例は、クラス分類適応処理を行うことによってノイズ除去を行うものである。ここでは、クラス分類適応処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測係数をメモリに格納し、かかる予測係数を使用した重み付け加算式に従う演算処理によって最適な推定値（すなわち、ノイズ除去後の画素値）を出力する処理を採用している。
【００１３】
図１は、一実施例の全体的構成を示す。ここで処理されるべき入力画像信号がフレームメモリ１１に供給される。フレームメモリ１１は、供給される現在フレームの画像を記憶すると共に、１フレーム前の画像をフレームメモリ１２に供給する。
【００１４】
フレームメモリ１２は、供給される１フレームの画像を記憶すると共に、１フレーム前の画像をフレームメモリ１３に供給する。このようにして、フレームメモリ１１、１２、１３には、この順に、より新しいフレームが記憶される。以下の説明では、フレームメモリ１２が入力画像信号内の現フレームを記憶し、また、フレームメモリ１１および１３がそれぞれ、現フレームの前および後のフレームを記憶する場合を例として行う。但し、フレームメモリ１１、１２、１３の記憶内容は、これに限定されるものでは無い。例えば時間的に２フレーム間隔の画像を記憶しても良い。また、連続する３フレームに限らず、５個のフレームメモリを設け、連続する５フレームの画像を記憶するようにしても良い。さらに、フレームメモリに代えてフィールドメモリを使用することも可能である。
【００１５】
フレームメモリ１１、１２、１３がそれぞれ記憶している前フレーム、現フレーム、後フレームが領域抽出部１４、１５に供給される。領域抽出部１４は、供給される各フレームから後述するような位置の画素を抽出し、抽出した画素値をノイズ成分抽出部１６に供給する。ノイズ成分抽出部１６は、領域抽出部１４の出力に基づいて、後述するように、ノイズ成分に係る情報を表現するクラスコードを発生し、発生したクラスコードをＲＯＭ２２に供給する。このように、領域抽出部１４が抽出する画素はクラスコードの発生のために使用されるので、クラスタップと称される。
【００１６】
ＲＯＭ２２は、後述するような学習によって決定される予測係数をクラス毎に、より具体的にはクラスコードに関連するアドレスに沿って、予め記憶している。そして、ＲＯＭ２２は、ノイズ成分抽出部１６から供給されるクラスコードに対応する予測係数を出力する。ノイズ成分抽出部１６の出力がＲＯＭ２２に供給される。
【００１７】
一方、領域抽出部１５は、フレームメモリ１１、１２、１３がそれぞれ記憶している連続する３フレームの画像から予測用の画素を抽出し、抽出した画素の値を推定演算部２３に供給する。推定演算部２３は、領域抽出部１５の出力とＲＯＭ２２から読出される予測係数とに基づいて、以下の式（１）に示すような重み付け演算を行ってノイズが除去された予測画像信号を生成する。このように、領域抽出部１５が抽出する画素値は、予測画像信号を生成するための重み付け加算において使用されるので、予測タップと称される。
ｙ＝ｗ1×ｘ1＋ｗ2×ｘ2＋‥‥＋ｗn×ｘn   （１）
ここで、ｘ1，‥‥，ｘnが各予測タップであり、ｗ1，‥‥，ｗnが各予測係数である。
【００１８】
次に、学習、すなわち、ＲＯＭ２２に格納する予測係数を得る処理について図２を参照して説明する。ここで、図１中の構成要素と同様な構成要素には、同一の参照符号を付した。学習を行うために用いられる、ノイズを含まない入力画像信号（教師信号と称する）がノイズ付加部１０、および正規方程式加算部１７に供給される。ノイズ付加部１０は入力画像信号にノイズ成分を付加してノイズ付加画像（生徒信号と称する）を生成し、生成した生徒信号をフレームメモリ１１に供給する。そして、図１を参照して説明したように、フレームメモリ１１、１２、１３には、時間的に連続する３フレームの生徒信号の画像がそれぞれ記憶される。以下の説明では、フレームメモリ１２が現フレームの画像を記憶し、また、フレームメモリ１１および１３がそれぞれ、現フレームの前および後のフレームの画像を記憶する場合を例として行う。但し、上述したように、フレームメモリ１１、１２、１３の記憶内容は、これに限定されるものでは無い。
【００１９】
フレームメモリ１１、１２、１３の後段においては、図１を参照して上述した処理と略同様な処理がなされる。但し、ノイズ成分抽出部１６が発生するクラスコードおよび領域抽出部１５が抽出する予測タップは、正規方程式加算部１７に供給される。正規方程式加算部１７には、さらに、教師信号が供給される。正規方程式加算部１７は、これら３種類の入力に基づいて正規方程式を解くための計算処理を行い、クラスコード毎の予測係数を決定する。そして、決定した予測係数をメモリ１９に供給する。メモリ１９は、供給される予測係数を記憶する。メモリ１９に記憶される予測係数とＲＯＭ２２（図１）に記憶される予測係数とは、同一のものである。
【００２０】
正規方程式について説明する。上述の式（１）において、学習前は予測係数ｗ1，‥‥，ｗnが未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号のクラス毎の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
ｙk＝ｗ1×ｘk1＋ｗ2×ｘk2＋‥‥＋ｗn×ｘkn   （２）
（ｋ＝１，２，‥‥，ｍ）
【００２１】
ｍ＞ｎの場合、予測係数ｗ1，‥‥，ｗnは一意に決まらないので、誤差ベクトルｅの要素ｅkを以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
ｅk＝ｙk−｛ｗ1×ｘk1＋ｗ2×ｘk2＋‥‥＋ｗn×ｘkn｝   （３）
（ｋ＝１，２，‥‥ｍ）
【００２２】
【数１】
0004078806.tif 000002
【００２３】
式（４）のｅ2を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2を予測係数ｗi（ｉ＝１，２‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗｉを定めれば良い。
【００２４】
【数２】
0004078806.tif 000003
【００２５】
式（５）から各予測係数ｗiを定める具体的な手順について説明する。式（６）、（７）のようにＸji，Ｙiを定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００２６】
【数３】
0004078806.tif 000004
【００２７】
【数４】
0004078806.tif 000005
【００２８】
【数５】
0004078806.tif 000006
【００２９】
式（８）が一般に正規方程式と呼ばれるものである。予測係数決定部１８は、上述した３種類の入力に基づいて正規方程式（８）中の各パラメータを算出し、さらに、掃き出し法等の一般的な行列解決に従って正規方程式（８）を解くための計算処理を行って予測係数ｗiを算出する。
【００３０】
以上のような学習におけるノイズ付加についてより詳細に説明する。ノイズ付加を行うためには、以下の（１）〜（４）のような方法を用いることができる。（１）コンピュータシミュレーションと同様にランダムノイズを発生させて入力画像信号に付加する。（２）入力する画像信号に対し、ＲＦ系を介してノイズを付加する。（３）レベル変化が少ない平坦な画像信号と、かかる画像信号にＲＦ系を介した処理を行うことによって得られる信号との間の差としてノイズ成分を抽出し、抽出したノイズ成分を入力画像信号に付加する。（４）平坦な画像信号にＲＦ系を用いた処理を行うことによって得られる信号と、かかる信号をフレーム加算することによってノイズが除去されてなる画像信号成分との差としてノイズ成分を抽出し、抽出したノイズ成分を入力画像信号に付加する。
【００３１】
（２）の方法を行うための構成の一例を図３に示す。教師信号がＤ／Ａ変換器３１によってＤ／Ａ変換され、アナログ信号としてＲＦエンコーダ３２に供給される。ＲＦエンコーダ３２は、供給される信号を変調等のＲＦ処理を行い、ＲＦ処理した信号を減衰器３３に供給する。減衰器３３は、供給される信号に減衰処理を施す。減衰器３３の出力はＲＦデコーダ６４に供給される。ＲＦデコーダ３２は、供給される信号を復調し、復調した信号をＡ／Ｄ変換器３５に供給する。
【００３２】
Ａ／Ｄ変換器３５は、供給される信号にＡ／Ｄ変換を施す。Ａ／Ｄ変換器３５の出力として、ノイズ付加画像信号、すなわち、生徒信号が得られる。この方法によって得られる生徒信号においては、教師信号と、Ａ／Ｄ変換後の生徒信号との間で、サンプリング位置のずれに起因して、画像全体に渡る画素位置のずれが生じる。このため、ノイズ付加をこの方法で行う場合には、学習の結果として得られる重み付け係数が画素位置のずれを反映したものとなる。そこで、教師信号と生徒信号との間での画素位置のずれを検出し、検出結果に基づいて画素位置を合わせる処理を行うのが望ましい。かかる方法においては、教師信号と、実際にノイズ除去の対象とされる生徒信号との間でのＲＦ系によるＤＣオフセット成分のずれを考慮するのが望ましい。
【００３３】
また、（３）の方法を行うための構成の一例を図４に示す。平坦な画像信号がＤ／Ａ変換器４１と、減算器４６とに供給される。Ｄ／Ａ変換器４１は、供給される信号をＤ／Ａ変換してアナログ信号とし、このアナログ信号をＲＦエンコーダ４２に供給する。ＲＦエンコーダ４２は、供給される信号をＲＦ処理し、ＲＦ処理した信号を減衰器４３に供給する。減衰器４３は、供給される信号に減衰処理を施す。
【００３４】
減衰器４３の出力がＲＦデコーダ４４に供給される。ＲＦデコーダ４４は供給される信号を復調し、復調した信号をＡ／Ｄ変換器４５に供給する。Ａ／Ｄ変換器４５は、供給される信号にＡ／Ｄ変換を施す。
【００３５】
Ａ／Ｄ変換器４５の出力が減算器４６に供給される。減算器４６は、平坦な画像信号と、Ａ／Ｄ変換器３５の出力（ノイズが付加された信号）との差をとることによってノイズ成分を抽出し、抽出したノイズ成分を加算器４７に供給する。加算器４７には、さらに、教師信号が供給される。加算器４７は、教師信号と、減算器４６の出力であるノイズ成分とを加算することにより、生徒信号を生成する。
【００３６】
また、（４）の方法を行うための構成の一例を図５に示す。平坦な画像信号がＤ／Ａ変換器５１に供給される。Ｄ／Ａ変換器５１は、供給される信号をＤ／Ａ変換してアナログ信号とし、このアナログ信号をＲＦエンコーダ５２に供給する。ＲＦエンコーダ５２は、供給される信号をＲＦ処理し、ＲＦ処理した信号を減衰器５３に供給する。減衰器５３は、供給される信号に減衰処理を施す。減衰器５３の出力がＲＦデコーダ５４に供給される。ＲＦデコーダ５４は、供給される信号を復調し、復調した信号をＡ／Ｄ変換器５５に供給する。Ａ／Ｄ変換器５５は、供給される信号にＡ／Ｄ変換を施す。
【００３７】
Ａ／Ｄ変換器５５の出力は、加算器５６と減算器５８とに供給される。加算器５６は、さらに、フレームメモリ５７の記憶内容を供給される。そして、加算結果をフレームメモリ５７に供給する。フレームメモリ５７は、加算器５６から供給される加算結果を記憶し、また、加算器５６と減算器５８とに記憶内容を出力する。加算器５６およびフレームメモリ５７は、リカーシブフィルタの構成のノイズ除去回路を構成するので、フレームメモリ５７は、ノイズ除去された画像信号を出力する。
【００３８】
減算器５８は、フレームメモリ５７の出力とＡ／Ｄ変換器５５の出力との差をとることによってノイズ成分を抽出し、抽出したノイズ成分を加算器５９に供給する。加算器５９には、さらに、教師信号が供給される。加算器５９は、教師信号とノイズ成分とを加算することにより、生徒信号を生成する。
【００３９】
次に、領域抽出部１４が行うクラスタップの抽出についてより詳細に説明する。図６Ａに、クラスタップ構造の一例を示す。ここで、黒丸で示す画素がクラスタップとして抽出される。すなわち、現フレームから注目画素のみがクラスタップとして抽出され、前／後フレームから注目画素と同一位置の１画素がそれぞれクラスタップとして抽出される。予測タップについても、同様のタップ構造を用いることができる。
【００４０】
また、例えば、図６Ｂに示すように、フレームメモリ数を増やし、図１等における３個に代わって例えば５個とし、例えば現フレームおよびその前後の２個ずつのフレームを記憶して、現フレームから注目画素のみを抽出し、前／後の２個ずつのフレームから注目画素と同一位置の画素を抽出するようなクラスタップ構造を使用しても良い。この場合には、抽出される画素領域が時間的に拡張されるので、より効果的なノイズ除去が可能となる。
【００４１】
ノイズ成分抽出部１６は、領域抽出部１４の出力に対応して、ＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）の出力によってノイズ成分を検出し、クラス分類を行ってクラスコードを発生する。
【００４２】
図７は、ノイズ成分抽出部１６の一例を示す。図７は、１ビットＡＤＲＣによって、クラスコードを発生するものである。６１で示す検出回路には、フレームメモリ１１，１２，１３のそれぞれから注目画素と、注目画素と同一位置の前後のフレームからそれぞれ抽出された２個の画素との合計３個の画素が供給される。各画素の値は、例えば８ビットで表現されている。検出回路６１は、３個の画素の中の最大値ＭＡＸとその最小値ＭＩＮを検出し、ＭＡＸ−ＭＩＮ＝ＤＲの演算によって、ダイナミックレンジＤＲを算出する。
【００４３】
検出回路６１からの３個の画素値が減算回路６２に順に供給され、各画素値から最小値ＭＩＮが減算される。最小値ＭＩＮが除去されることで正規化された値が比較回路６３に供給される。比較回路６３には、ダイナミックレンジＤＲを１／２にするビットシフト回路６４の出力（ＤＲ／２）が供給され、画素値とＤＲ／２との大小関係が検出される。画素値がＤＲ／２より大きい時には、１ビットの比較出力が”１”とされ、そうでないときは、比較出力が”０”とされる。比較回路６３は、順次得られる３画素の比較出力を並列化して３ビットのＡＤＲＣ出力を発生する。また、ダイナミックレンジＤＲがビット数変換回路６５に供給され、量子化によってビット数が８ビットから例えば５ビットに変換される。なお、図６Ｂに示すタップ構造の場合には、５ビットのＡＤＲＣ出力が形成される。
【００４４】
上述したようなクラスタップ構造の下では、入力画像信号が静止画像である場合には、フレーム間での画素値の変動が生じないはずである。従って、入力画像信号が静止画像である場合に画素値の変動が検出される場合には、ノイズに起因すると判定できる。
【００４５】
一例として、図８に示すように、時間的に連続したｔ−１，ｔ，ｔ＋１の各フレームから抽出されたクラスタップの画素値が１ビットＡＤＲＣの処理を受けることによって、３ビット（０１０）のＡＤＲＣ出力が発生する。また、ダイナミックレンジＤＲが５ビットに変換されたものが出力される。３ビットのＡＤＲＣ出力によって、ノイズレベルの変動が表現される。この場合、１ビットではなく、多ビットＡＤＲＣを行うようにすれば、ノイズレベル変動をより的確に表現することが可能となる。また、ダイナミックレンジＤＲを５ビットに変換したコードによって、ノイズレベルの大きさが表現される。８ビットを５ビットに変換するのは、クラス数があまり多くならないようにクリップするためである。
【００４６】
このように、ノイズ成分抽出部１６が生成するクラスコードは、ＡＤＲＣの結果として得られる時間方向のノイズレベル変動に係る例えば３ビットからなるコードと、ダイナミックレンジＤＲの結果として得られるノイズレベルに係る例えば５ビットからなるコードとを含むものとされる。ダイナミックレンジＤＲをクラス分類に用いることにより、動きとノイズとを区別でき、また、ノイズレベルの違いを区別できる。
【００４７】
上述したこの発明の一実施例は、主として静止画像のノイズ除去に適用して好適なものである。次に説明するこの発明の他の実施例は、動きを考慮してクラス分類適応処理を行うことによってノイズ除去を行うものである。すなわち、他の実施例では、入力画像信号から推定される動きに応じて、ノイズ成分を検出するために参照されるべき画素と、ノイズを除去するための演算処理に使用されるべき画像領域とが抽出され、これらに基づいくクラス分類適応処理によってノイズが除去された画像を出力するようにしたものである。
【００４８】
図９は、他の実施例によるノイズ除去装置の構成を示す。他の実施例においても、フレームメモリ１１、１２、１３が設けられ、時間的に連続する３フレームにそれぞれ含まれる画像が使用される。図９中で、上述した一実施例の図１中の構成要素と対応する部分には、同一の参照符号を付して示す。
【００４９】
図９において２４および２５が動き推定部を示す。動き推定部２４は、フレームメモリ１２に記憶された現フレームの画像と、フレームメモリ１３に記憶された前フレームの画像との間の注目画素の動きを推定する。また、動き推定部２５は、フレームメモリ１２に記憶された現フレームの画像と、フレームメモリ１１に記憶された後フレームの画像との間の注目画素の動きを推定する。動き推定部２４および２５のそれぞれで推定された注目画素に関する動き（方向および量）が領域抽出部１４’および１５’に供給される。動きを推定する方法としては、ブロックマッチング法、相関係数による推定、勾配法等を使用することができる。
【００５０】
領域抽出部１４’は、前述の一実施例における領域抽出部１４と同様に、クラスタップの画素値を抽出し、また、領域抽出部１５’は、前述の一実施例における領域抽出部１５と同様に、予測タップの画素値を抽出する。これらの領域抽出部１４’および１５’は、画素を抽出する時に、推定された動きに応じて抽出される画素位置が補正される。この動き補正によって、前後のフレームからそれぞれ抽出される画素が現フレームの注目画素と同一位置のものとされる。
【００５１】
領域抽出部１４’で抽出されたクラスタップの画素値がノイズ成分抽出部１６に供給され、ノイズ成分抽出部１６によって一実施例と同様の１ビットＡＤＲＣの処理によって、クラスコードが生成される。クラスコードがＲＯＭ２２に供給され、クラスコードに対応する予測係数がＲＯＭ２２から読み出される。推定演算部２３では、領域抽出部１５’からの予測タップの画素値と、ＲＯＭ２２からの予測係数によって、上述した式（１）に示す線形１次結合の演算を行うことによって、ノイズ除去された出力画素値を生成する。
領域抽出部１４’および１５’のそれぞれの後段側でなされる処理は、上述した一実施例と同様であるので、その説明は、簡単のために省略する。
【００５２】
図１０を参照して、領域抽出部１４’が行う処理についてより詳細に説明する。領域抽出部１４’は、図１０に示すようなタップ構造によって指定される画素位置の画素を抽出する。図１０と上述した図６Ａのタップ構造は、同一のものであり、前フレームｆｒ−１，現フレームｆｒ０、後フレームｆｒ１においてフレーム毎に１画素のみが抽出されるタップ構造である。ここで、動き推定部２４および２５によって動きが充分小さく静止と判定される場合には、各フレームにおける同一画素位置の画素がノイズ検出のためのクラスタップとして抽出される。したがって、処理対象の各フレーム内のクラスタップの画素位置は一定であり、タップ構造に変動は無い。
【００５３】
一方、動きがある程度以上大きく、動きと判定される場合には、各フレームから同一位置の画素をクラスタップとして抽出するために、動きに対応して抽出される画素位置の補正が行われる。後フレームｆｒ１から抽出する画素の位置は、動き推定部２４で推定された動きによって補正され、前フレームｆｒ−１から抽出する画素の位置は、動き推定部２５で推定された動きによって補正される。
【００５４】
領域抽出部１５’において抽出される画素に対する動き補正も同様になされる。このような動き補正の結果、領域抽出部１４’によって抽出されるクラスタップは、空間的位置が互いに一致する画素となる。領域抽出部１５’によって抽出される予測タップも、動き補正によって空間的位置が互いに一致する画素となる。抽出するクラスタップおよび予測タップを動き補正すること以外は、上述した一実施例と同様の処理によって、ノイズ除去された出力画像信号が形成される。
【００５５】
図１１は、この発明の他の実施例において、ＲＯＭ２２に格納する予測係数を取得するための学習装置の構成を示す。ノイズ除去を行うための図９に示す画像処理装置と同様に、動き推定部２４および２５が設けられ、また、領域抽出部１４’および１５’が動き推定部２４および２５で推定された動きに基づいて動きを補正する機能を有する。
【００５６】
領域抽出部１４’で抽出されたクラスタップがノイズ成分抽出部１６に供給され、ノイズ成分抽出部１６からクラスコードが発生する。クラスコードと、領域抽出部１５’で抽出された予測タップと、教師信号とが正規方程式加算部１７に供給される。正規方程式加算部１７は、これらの入力に基づいて正規方程式を解くための演算処理を行い、クラスコード毎に予測係数を決定する。予測係数は、メモリ１９に格納される。最小２乗法により予測係数を決定する処理は、上述した一実施例と同様であるので、その説明を省略する。
この発明は、上述した一実施例および他の実施例に限定されるものではなく、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００５７】
【発明の効果】
上述したように、この発明は、画像信号からノイズを除去するためクラス分類適応処理を行うに際し、例えば注目画素および注目画素と同一画素位置にある画素等をクラスタップとして抽出し、クラスタップのデータに基づいてフレーム間でのノイズレベルの変動を検出し、検出したノイズレベルの変動に対応してクラスコードを生成するようにしたものである。また、この発明は、フレームの間の動きを推定し、推定した動きを補正するように、ノイズ成分の検出処理に使用すべき画素（クラスタップ）と予測演算処理に使用すべき画素（予測タップ）を抽出する。そして、ノイズ成分を反映したクラス情報毎に、予測タップと予測係数との線形１次結合によって、ノイズ除去された画像信号を算出するものである。
【００５８】
この発明によれば、ノイズ成分のフレーム間変動に的確に対応する予測係数を選択することができるので、そのような予測係数を使用して推定演算を行うことにより、ノイズ成分の除去を良好に行うことができる。
【００５９】
また、動きがある場合にもノイズレベルが正しく検出でき、ノイズ除去が可能となる。特に、図１２に示す従来例のように動き部分を静止部分であると誤判定することが要因となり、画像にボケが生じることを回避することができる。
【００６０】
さらに、フレーム内において空間的な広がりが無いクラスタップ構造、例えば現フレームから注目画素のみが抽出され、現フレームに対して時間的に前／後にあるフレームから注目画素と同一位置の画素が抽出されるようなタップ構造をクラスタップおよび／または予測タップとして用いる場合には、空間方向のぼけ要因が処理に影響を与えることを回避することができる。すなわち、例えばエッジ等の影響により、出力画像信号中にぼけが生じることを回避できる。
【００６１】
【図面の簡単な説明】
【図１】  この発明をノイズ除去装置に適用した一実施例のブロック図である。
【図２】  この発明の一実施例における予測係数を取得するための学習装置のブロック図である。
【図３】  学習装置においてノイズ付加を行うための構成の第１の例を示すブロック図である。
【図４】  学習装置においてノイズ付加を行うための構成の第２の例を示すブロック図である。
【図５】  学習装置においてノイズ付加を行うための構成の第３の例を示すブロック図である。
【図６】  この発明の一実施例におけるクラスタップ構造について説明するための路線図である。
【図７】  この発明の一実施例におけるノイズ成分抽出部の一例のブロック図である。
【図８】  ノイズ成分抽出部の説明のための路線図である。
【図９】  この発明をノイズ除去装置に適用した他の実施例のブロック図である。
【図１０】  この発明の他の実施例におけるクラスタップ構造について説明するための略線図である。
【図１１】  この発明の他の実施例における予測係数を取得するための学習装置のブロック図である。
【図１２】  ノイズ除去に係る従来の構成の一例を示すブロック図である。
【符号の説明】
１０  ノイズ付加部
１１，１２，１３  フレームメモリ
１４，１４’，１５，１５’  領域抽出部
１６  ノイズ成分抽出部
１８  予測係数決定部
２２  ＲＯＭ
２３  推定演算部
２４，２５  動き推定部
【図１】
0004078806.tif 000007
【図２】
0004078806.tif 000008
【図３】
0004078806.tif 000009
【図４】
0004078806.tif 000010
【図５】
0004078806.tif 000011
【図６Ａ】
0004078806.tif 000012
【図６Ｂ】
0004078806.tif 000013
【図７】
0004078806.tif 000014
【図８】
0004078806.tif 000015
【図９】
0004078806.tif 000016
【図１０】
0004078806.tif 000017
【図１１】
0004078806.tif 000018
【図１２】
0004078806.tif 000019
0004078806.tif 000020