(57)【特許請求の範囲】
【請求項１】
第１の画像から、上記第１の画像より高画質な第２の画像を生成する画像処理装置において、
上記第１の画像を取得する取得手段と、
上記取得手段により取得された上記第１の画像を記憶する記憶手段と、
上記記憶手段により記憶された上記第１の画像に対応した位置に、上記取得手段により取得された新たな上記第１の画像を記憶することで、上記記憶手段に、上記第１の画像の蓄積画像が記憶されるようにする蓄積処理手段と、
上記第２の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得手段により取得された上記第１の画像の両方から、第１の画素情報を切り出す第１の切り出し手段と、
上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出手段と、
上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類手段と、
上記注目画素の位置に基づいて、上記蓄積画像と、上記取得手段により取得された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出し手段と、
上記第２の画素情報を利用して、上記クラス分類手段により分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成手段と
を備え、
上記蓄積処理手段は、上記第１の画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を、上記記憶手段に記憶させ、上記第１の画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定する画像処理装置。
【請求項２】
上記蓄積画像は、上記第１の画像よりも、静止部分においてはＳＮ比が高い画像である請求項１に記載の画像処理装置。
【請求項３】
上記蓄積処理手段は、上記第１の画像を、検出した上記動きに応じた位置に移動して蓄積し、その結果得られた上記蓄積画像を、上記記憶手段に記憶させる請求項１に記載の画像処理装置。
【請求項４】
上記蓄積画像の画素密度は、上記第１の画像の画素密度より高い請求項３に記載の画像処理装置。
【請求項５】
上記蓄積画像の画素密度は、上記第１の画像の画素密度と同じである請求項３に記載の画像処理装置。
【請求項６】
上記蓄積画像の画素数が、上記第１の画像の画素数よりも多い請求項３に記載の画像処理装置。
【請求項７】
上記第１の切り出し手段は、上記第１の画素情報として、上記第１の画像からクラスタップを切り出し、上記特徴量抽出手段は、上記クラスタップを構成する画素の画素値の分布を、上記特徴量として抽出する請求項１に記載の画像処理装置。
【請求項８】
上記第１の切り出し手段は、上記第１の画素情報として、上記第１の画像と上記蓄積画像のそれぞれから、１個又は複数個の画素を切り出し、上記特徴量抽出手段は、上記１個又は複数個の画素の画素値を利用して、上記注目画素の静動判定を行うとともに、その判定結果を上記特徴量として抽出する請求項１に記載の画像処理装置。
【請求項９】
上記特徴量抽出手段は、上記１個又は複数個の画素の画素値を利用して、上記第１の画像と上記蓄積画像の輝度値の差分を算出するとともに、その算出結果を上記特徴量として抽出する請求項８に記載の画像処理装置。
【請求項１０】
上記第１の切り出し手段は、上記第１の画素情報として、上記第１の画像から第１のクラスタップを切り出すとともに、上記蓄積画像から第２のクラスタップを切り出し、上記特徴量抽出手段は、上記第１のクラスタップと上記第２のクラスタップを利用して、上記注目画素の静動判定を行うとともに、その判定結果及び上記第１のクラスタップを構成する画素の画素値の分布を、上記特徴量として抽出する請求項１に記載の画像処理装置。
【請求項１１】
上記第２の切り出し手段は、上記第２の画素情報として、予測タップを切り出し、上記生成手段は、上記クラス毎に予め設定された係数を格納した係数格納手段を備え、上記係数と上記予測タップとを用いた演算を行うことで、上記第２の画像を生成する請求項１に記載の画像処理装置。
【請求項１２】
第１の画像から、上記第１の画像より高画質な第２の画像を生成する画像処理装置の画像処理方法において、
上記第１の画像を取得する取得ステップと、
上記取得ステップの処理で取得された上記第１の画像を記憶する記憶ステップと、
上記記憶ステップの処理で記憶された上記第１の画像に対応した位置に、上記取得ステップの処理で取得された新たな上記第１の画像を記憶することで、上記第１の画像の蓄積画像が記憶されるようにする蓄積処理ステップと、
上記第２の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第１の画像の両方から、第１の画素情報を切り出す第１の切り出しステップと、
上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、
上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、
上記注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出しステップと、
上記第２の画素情報を利用して、上記クラス分類ステップの処理で分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成ステップと
を含み、
上記蓄積処理ステップでは、上記第１の画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を記憶させ、上記第１の画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定する画像処理方法。
【請求項１３】
第１の画像から、上記第１の画像より高画質な第２の画像を生成する画像処理装置のプログラムであって、
上記第１の画像を取得する取得ステップと、
上記取得ステップの処理で取得された上記第１の画像を記憶する記憶ステップと、
上記記憶ステップの処理で記憶された上記第１の画像に対応した位置に、上記取得ステップの処理で取得された新たな上記第１の画像を記憶することで、上記第１の画像の蓄積画像が記憶されるようにする蓄積処理ステップと、
上記第２の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第１の画像の両方から、第１の画素情報を切り出す第１の切り出しステップと、
上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、
上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、
上記注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出しステップと、
上記第２の画素情報を利用して、上記クラス分類ステップの処理で分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成ステップと
を含み、
上記蓄積処理ステップでは、上記第１の画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を記憶させ、上記第１の画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定するコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１４】
第１の画像から、上記第１の画像より高画質な第２の画像を生成するのに用いる所定のデータを学習する画像処理装置において、
上記第１の画像に相当する生徒画像を生成する生成手段と、
上記生徒画像を記憶する記憶手段と、
上記記憶手段により記憶された上記生徒画像に対応した位置に、上記生成手段により生成された新たな上記生徒画像を記憶することで、上記記憶手段に、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理手段と、
上記第２の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成手段により生成された上記生徒画像の両方から、第１の画素情報を切り出す第１の切り出し手段と、
上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出手段と、
上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類手段と、
上記注目画素の位置に基づいて、上記蓄積画像と、上記生成手段により生成された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出し手段と、
上記第２の画素情報及び上記教師画像を利用して、上記クラス分類手段により分類されたクラス毎に、上記所定のデータを求める演算手段と
を備え、
上記蓄積処理手段は、上記生徒画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を、上記記憶手段に記憶させ、
上記蓄積手段は、上記生徒画像と蓄積画像の値又は差分の大きさに基づいて、上記重み付け値を設定する画像処理装置。
【請求項１５】
上記蓄積処理手段は、上記生徒画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定する請求項１４に記載の画像処理装置。
【請求項１６】
上記蓄積画像は、上記生徒画像よりも、静止部分においてはＳＮ比が高い画像である請求項１４に記載の画像処理装置。
【請求項１７】
上記蓄積処理手段は、上記生徒画像に含まれる特徴領域の動きを検出するとともに、上記生徒画像を、検出した上記動きに応じた位置に移動して蓄積し、その結果得られた上記蓄積画像を、上記記憶手段に記憶させる請求項１４に記載の画像処理装置。
【請求項１８】
上記蓄積画像の画素密度は、上記生徒画像の画素密度より高い請求項１７に記載の画像処理装置。
【請求項１９】
上記蓄積画像の画素密度は、上記生徒画像の画素密度と同じである請求項１７に記載の画像処理装置。
【請求項２０】
上記第１の切り出し手段は、上記第１の画素情報として、上記生徒画像からクラスタップを切り出し、上記特徴量抽出手段は、上記クラスタップを構成する画素の画素値の分布を、上記特徴量として抽出する請求項１４に記載の画像処理装置。
【請求項２１】
上記第１の切り出し手段は、上記第１の画素情報として、上記生徒画像と上記蓄積画像のそれぞれから、１個又は複数個の画素を切り出し、上記特徴量抽出手段は、上記１個又は複数個の画素の画素値を利用して、上記注目画素の静動判定を行うとともに、その判定結果を上記特徴量として抽出する請求項１４に記載の画像処理装置。
【請求項２２】
上記特徴量抽出手段は、上記１個又は複数個の画素の画素値を利用して、上記第１の画像と上記蓄積画像の輝度値の差分を算出するとともに、その算出結果を上記特徴量として抽出する請求項２１に記載の画像処理装置。
【請求項２３】
上記第１の切り出し手段は、上記第１の画素情報として、上記生徒画像から第１のクラスタップを切り出すとともに、上記蓄積画像から第２のクラスタップを切り出し、上記特徴量抽出手段は、上記第１のクラスタップと上記第２のクラスタップを利用して、上記注目画素の静動判定を行うとともに、その判定結果及び上記第１のクラスタップを構成する画素の画素値の分布を、上記特徴量として抽出する請求項１４に記載の画像処理装置。
【請求項２４】
上記第２の切り出し手段は、上記第２の画素情報として、予測タップを切り出すことを特徴とする請求項１４に記載の画像処理装置。
【請求項２５】
第１の画像から、上記第１の画像より高画質な第２の画像を生成するのに用いる所定のデータを学習する画像処理装置の画像処理方法において、
上記第１の画像に相当する生徒画像を生成する生成ステップと、
上記生徒画像を記憶する記憶ステップと、
上記記憶ステップの処理で記憶された上記生徒画像に対応した位置に、上記生成ステップの処理で生成された新たな上記生徒画像を記憶することで、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理ステップと、
上記第２の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記生徒画像の両方から、第１の画素情報を切り出す第１の切り出しステップと、
上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、
上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、
上記注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出しステップと、
上記第２の画素情報及び上記教師画像を利用して、上記クラス分類ステップの処理で分類されたクラス毎に、上記所定のデータを求める演算ステップと
を含み、
上記蓄積処理ステップでは、上記生徒画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を記憶させ、上記生徒画像と蓄積画像の値又は差分の大きさに基づいて、上記重み付け値を設定する画像処理方法。
【請求項２６】
第１の画像から、上記第１の画像より高画質な第２の画像を生成するのに用いる所定のデータを学習する画像処理装置のプログラムであって、
上記第１の画像に相当する生徒画像を生成する生成ステップと、
上記生徒画像を記憶する記憶ステップと、
上記記憶ステップの処理で記憶された上記生徒画像に対応した位置に、上記生成ステップの処理で生成された新たな上記生徒画像を記憶することで、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理ステップと、
上記第２の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記生徒画像の両方から、第１の画素情報を切り出す第１の切り出しステップと、
上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、
上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、
上記注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出しステップと、
上記第２の画素情報及び上記教師画像を利用して、上記クラス分類ステップの処理で分類されたクラス毎に、上記所定のデータを求める演算ステップと
を含み、
上記蓄積処理ステップでは、上記生徒画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を記憶させ、上記生徒画像と蓄積画像の値又は差分の大きさに基づいて、上記重み付け値を設定するコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び方法、並びに記録媒体に関し、特に、入力画像より高画質な画像を適切に生成することができるようにした画像処理装置及び方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来から、入力画像に対して各種の画像処理を施し、より高画質な画像を生成する技術が開発されている。この技術を利用して、例えば、ノイズが含まれる入力画像から、そのノイズが低減した画像を生成したり、テロップなどの、他の部分例えば背景に対して相対的に動きがある画像領域（以下、特徴領域と称する）を含む入力画像であって、その特徴領域のエッジが所謂ぼけている入力画像から、そのエッジがぼけていない画像を生成することができる。
【０００３】
ここで、図１乃至図９を参照して、ノイズが低減した画像を生成する従来の方法を説明する。
【０００４】
図１に示す従来の画像処理装置１０おいて、ノイズを含む入力画像は、減算器１１及び増幅器１４に入力される。減算器１１には、フレームメモリ１７から、入力画像に対して、１フレーム分遅延された画像も供給される。またフレームメモリ１７からの画像は、増幅器１６にも供給される。
【０００５】
減算器１１は、入力画像から、フレームメモリ１７からの画像を減算し、その減算結果、差分算出部１２に出力する。差分算出部１２は、減算器１１からの算出結果の絶対値を、入力画像と、フレームメモリ１７からの画像（１フレーム分前の画像）との差分値として取得し、閾値判定部１３に出力する。
【０００６】
閾値判定部１３は、差分算出部１２からの差分値を所定の閾値と比較し、その比較結果に基づいて、入力画像が静止部分であるか又は動き部分であるかを画素毎に判定し、その判定結果に基づいて重み付け値ｐを設定する。
【０００７】
入力画像が静止部分であると判定された場合、重み加算値ｐは、値０乃至値０．５の間の予め決められた所定の固定値に設定され、動き部分であると判定された場合、重み付け値ｐは、値１に設定される。
【０００８】
増幅器１４は、閾値判定部１３により設定された重み付け値ｐを増幅率として、入力画像の信号を増幅し、加算器１５に供給する。増幅器１６は、値１から、設定された重み付け値ｐを減算した値を増幅率として、フレームメモリ１７からの画像の信号を増幅し、加算器１５に供給する。加算器１５は、増幅器１４及び増幅器１６の出力を加算して、出力する。
【０００９】
すなわち、入力画像が静止部分である場合、入力画像の画素値と、入力画像に対して１フレーム分遅延された画像の画素値とが、重み付け値ｐに従って、重み付け加算される。このようにノイズが含まれる入力画像を１フレーム前の画像と足し合わせることにより、時間的にみて定常でない要素、例えばノイズを低減することができる。
【００１０】
しかしながら、入力画像が静止部分である場合、重み付け値ｐは、所定の固定値に設定されるので、その大きさや方向に対応してノイズを低減することができない。また、閾値判定部１３による誤判定により、動き部分が静止部分であると判定された場合、動き部分に対しても、重み付け値ｐによる重み付け加算が行われるので、この場合、尾引き状の画質劣化が生じる。
【００１１】
入力画像が動き部分である場合、重み付け値ｐ＝１に基づく重み付け加算が行われる。すなわち入力画像は、そのまま出力される。すなわち、動き部分については、ノイズは低減されない。また、入力画像が静止部分である場合においても、それに含まれるノイズが大きいとき、動き部分であると誤判定されるときがあり、この場合、この入力画像（静止部分）は、そのまま出力される。すなわち、ノイズは低減されない。
【００１２】
図２は、従来の画像処理装置の他の構成例を示している。この図２に示す画像処理装置２０においては、動きベクトルに対応するタップに基づくクラス分類適応処理が実行されることで、動き部分のノイズが低減される。
【００１３】
ノイズを含む入力画像は、フレームメモリ２１−１に供給される。フレームメモリ２１−１は、入力画像を、１フレーム分遅延させるとともに、それを、フレームメモリ２１−２、動きベクトル検出部２２、領域切出部２４及び領域切出部２７にそれぞれ供給する。
【００１４】
フレームメモリ２１−２は、フレームメモリ２１−１からの画像を、１フレーム分遅延させるとともに、それを、フレームメモリ２１−３、動きベクトル検出部２２、動きベクトル検出部２３、領域切出部２４及び領域切出部２７にそれぞれ供給する。
【００１５】
フレームメモリ２１−３は、フレームメモリ２１−２からの画像を、１フレーム分遅延させるとともに、それを、動きベクトル検出部２３、領域切出部２４及び領域切出部２７にそれぞれ供給する。
【００１６】
動きベクトル検出部２２は、フレームメモリ２１−１及びフレームメモリ２１−２から供給される、時間的に連続する２つのフレームに対してブロックマッチングを行って動きベクトルを検出し、その検出結果を、領域切出部２４に供給する。
【００１７】
動きベクトル検出部２３は、フレームメモリ２１−２及びフレームメモリ２１−３から供給される、時間的に連続する２つのフレームに対してブロックマッチングを行って動きベクトルを検出し、その検出結果を、領域切出部２７に供給する。
【００１８】
領域切出部２４は、動きベクトル検出部２２から供給された動きベクトルを参照して、フレームメモリ２１−１乃至フレームメモリ２１−３から供給されるフレームから、所定の画像領域をクラスタップとして切り出す。
【００１９】
図３Ａは、クラスタップとして切り出された画像領域を示している。フレームメモリ２１−２からのフレームＦｎ上の注目画素（図中、黒色の丸印）、注目画素と、動きベクトル検出部２２からの動きベクトルに対応する位置にある、フレームメモリ２１−１からのフレームＦｎ−１（フレームＦｎの１つ前のフレーム）上の画素（図中、斜線を付した丸印）及び注目画素と、動きベクトル検出部２２からの動きベクトルに対応する位置にある、フレームメモリ２１−３からのフレームＦｎ＋１（フレームＦｎの１つ後のフレーム）上の画素（図中、斜線を付した丸印）の合計３つの画素が、クラスタップとして切り出される。
【００２０】
例えばフレームＦｎと各フレームが図３Ｂに示すような場合、すなわち、フレームＦｎ−１とフレームＦｎとの間の動きベクトルが、（−１，−１）であり、フレームＦｎとフレームＦｎ＋１との間の動きベクトルが、（１，１）である場合（フレームＦｎとフレームＦｎとの間の動きベクトルは、当然（０，０）となる）、図３Ｃに示すように、フレームＦｎの注目画素、注目画素と動きベクトル（−１，−１）に対応する位置にあるフレームＦｎ−１の画素及び注目画素と動きベクトル（１，１）に対応する位置にあるフレームＦｎ＋１の画素が、クラスタップとして切り出される。
【００２１】
領域切出部２４は、切り出したクラスタップを、クラスコード発生部２５に供給する。
【００２２】
クラスコード発生部２５は、領域切出部２４から供給されたクラスタップに対して、例えばＡＤＲＣ処理等を施し、そのクラスタップの時空間内のパターンを抽出するとともに、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。クラスコード発生部２５は、生成したクラスコードをＲＯＭテーブル２６に供給する。
【００２３】
ＲＯＭテーブル２６は、ノイズを含む画像を生徒画像とし、ノイズを含まない画像を教師画像とした場合に算出された予測係数セットを、クラス毎に記憶しており、その予測係数セットのうちから、クラスコード発生部２５からのクラスコードに対応するものを推定演算部２８に出力する。
【００２４】
領域切出部２７は、動きベクトル検出部２３から供給された動きベクトルを参照して、フレームメモリ２１−１乃至２１−３から供給されるフレームの画像データから、所定の画像領域を予測タップとして切り出す。
【００２５】
図４Ａは、予測タップの構造を示している。フレームＦｎ上の注目画素（図中、黒色の丸印）と、注目画素の周囲に位置する画素（図中、薄墨を付した丸印）の合計１３個の画素、フレームＦｎ−１の、注目画素と動きベクトル検出部２２からの動きベクトルに対応する位置にある画素と、その画素の周囲に位置する合計１３個の画素（図中、斜線を付した丸印）、及びフレームＦｎ＋１の、注目画素と動きベクトル検出部２２からの動きベクトルに対応する位置にある画素と、その画素の周囲に位置する合計１３個の画素（図中、斜線を付した丸印）のそれぞれが予測タップとして切り出される。
【００２６】
例えば、図４Ｂに示すように、フレームＦｎ−１とフレームＦｎとの間の動きベクトルが、（−１，−１）であり、フレームＦｎとフレームＦｎ＋１との間の動きベクトルが、（１，１）である場合（フレームＦｎとフレームＦｎとの間の動きベクトルは、当然（０，０）となる）、図４Ｃに示すように、フレームＦｎの注目画素、注目画素と動きベクトル（−１，−１）に対応する位置にあるフレームＦｎ−１の画素、及び注目画素と動きベクトル（１，１）に対応する位置にあるフレームＦｎ＋１の画素と、それらの周囲の合計１３個ずつの画素が、予測タップとして切り出される。
【００２７】
領域切出部２７は、切り出した予測タップを、推定演算部２８に供給する。
【００２８】
推定演算部２８は、領域切出部２７から供給された予測タップと、ＲＯＭメモリ２６から供給される予測係数セットとに基づいて所定の演算を行い、その結果として、ノイズが低減された画像を生成する。
【００２９】
しかしながら、この例の場合、ブロックマッチングを行って動きベクトルを検出するため、莫大な数の計算が行われ、例えば、処理に時間がかかる。
【００３０】
図５は、従来の画像処理装置の他の構成例を示している。この図５に示す画像処理装置３０においても、動きベクトルに対応するタップに基づくクラス分類適応処理が実行されることで、動き部分のノイズが低減される。しかしながら、この場合、ブロックマッチングよりも、処理負荷が小さい方法で、動きベクトルが検出される。
【００３１】
この画像処理装置３０には、図２の画像処理装置２０の動きベクトル検出部２２，２３に代えて、タップ配置決定部３１が設けられている。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００３２】
ノイズを含む入力画像は、フレームメモリ２１−１に供給される。フレームメモリ２１−１は、入力画像を、１フレーム分遅延させるとともに、それを、フレームメモリ２１−２、領域切出部２４、領域切出部２７及びタップ配置決定部３１に供給する。
【００３３】
フレームメモリ２１−２は、フレームメモリ２１−１からの画像を、１フレーム分遅延させるとともに、それを、フレームメモリ２１−３、領域切出部２４、領域切出部２７及びタップ配置決定部３１に供給する。
【００３４】
フレームメモリ２１−３は、フレームメモリ２１−２からの画像を、１フレーム分遅延させるとともに、それを、フレームメモリ２１−４、領域切出部２４、領域切出部２７及びタップ配置決定部３１に供給する。
【００３５】
フレームメモリ２１−４は、フレームメモリ２１−３からの画像を、１フレーム分遅延させるとともに、それを、フレームメモリ２１−５、領域切出部２４、領域切出部２７及びタップ配置決定部３１に供給する。
【００３６】
フレームメモリ２１−５は、フレームメモリ２１−４からの画像を、１フレーム分遅延させるとともに、それを、領域切出部２４、領域切出部２７及びタップ配置決定部３１に供給する。
【００３７】
タップ配置決定部３１は、フレームメモリ２１−１乃至２１−５から供給されるデータから動きベクトルを検出するとともに、検出した動きベクトルに基づいて、クラスタップ又は予測タップの配置位置を決定し、その決定結果を、領域切出部２４及び領域切出部２７に供給する。
【００３８】
タップ配置決定部３１での動きベクトル検出は、以下に示すことが前提として行われる。
【００３９】
・連続する５フレームにおいては、最初のフレーム（１番目のフレーム）と最後のフレーム（５番目のフレーム）との間隔が短いと仮定し、５フレーム上の画像の動きは等速直線運動である。
【００４０】
・連続する５フレームのそれぞれにノイズが含まれていない場合、画像上の同じ場所に位置する各フレームの画素の分散は、０であるが又は極めて０に近い。
【００４１】
すなわち、これらの前提によれば、図６に示すように、画像上のＸ軸及びＹ軸、並びに時間からなる３次元空間において、フレームＦｎ（フレームメモリ２１−３からのフレーム）上の注目画素、並びに注目画素に対応する（画像上同じ場所に位置する）、フレームＦｎ−１（フレームメモリ２１−２からのフレーム）、フレームＦｎ−２（フレームメモリ２１−１からのフレーム）、フレームメモリＦｎ＋１（フレームメモリ２１−４からのフレーム）及びフレームメモリＦｎ＋２（フレームメモリ２１−５からのフレーム）上の画素を通る１本の直線を描くことができる。つまり、タップ配置決定部３１は、この直線を動きベクトルとして検出する。
【００４２】
次に、タップ配置決定処理を実行する場合のタップ配置決定部３１の動作を、図７のフローチャートを参照して説明する。
【００４３】
ステップＳ１において、タップ配置決定部３１は、フレームメモリ２１−３からのフレームＦｎ上の注目画素を中心とする例えば、５×５画素の領域を、フレームＦｎ上に設定する。
【００４４】
次に、ステップＳ２において、タップ配置決定部３１は、ステップＳ１で設定した、フレームＦｎ上の５×５画素の領域から、１つの画素を中心画素として選択するとともに、その中心画素に対応する位置にある、例えば、フレームメモリ２１−２からのフレームＦｎ−１上の画素を中心に探索範囲を設定する。
【００４５】
ステップＳ３において、タップ配置決定部３１は、図８に示すように、探索範囲内の画素を特定する座標（ａ，ｂ）を、（０，０）に初期設定する。
【００４６】
次に、ステップＳ４において、タップ配置決定部３１は、座標（ａ，ｂ）で特定される探索範囲内の画素（フレームＦｎ−１上の画素）と、フレームＦｎ上の注目画素とを通る直線を生成する。
【００４７】
ステップＳ５において、タップ配置決定部３１は、ステップＳ４で生成した直線上に位置する、フレームＦｎ−２乃至Ｆｎ＋２の画素の間の分散を算出し、ステップＳ６において、算出した分散が、後述するステップＳ７で保持された分散値よりも小さいか否かを判定し、すなわち、それ以前の座標（ａ，ｂ）の画素と注目画素を通る直線の場合において算出された分散のうち、最小であるか否かを判定し、最小であると判定し場合、ステップＳ７に進む。ステップＳ７において、タップ配置決定部３１は、ステップＳ５で算出した分散値及びそのときの座標（ａ，ｂ）を保持する。
【００４８】
ステップＳ６で最小でないと判定されたとき、又はステップＳ７で分散値及び座標（ａ，ｂ）が保持されたとき、ステップＳ８に進み、タップ配置決定部３１は、座標（ａ，ｂ）を更新する。座標（ａ，ｂ）の更新は、ラスタスキャン上に行うことができる。
【００４９】
次に、ステップＳ９において、タップ配置決定部３１は、ステップＳ８で更新された座標（ａ，ｂ）が、ステップＳ２で設定された探索範囲（図８）を超えているか否かを判定し、超えていないと判定した場合、ステップＳ４に戻り、それ以降の処理を実行する。一方、探索範囲を超えていると判定された場合、その探索範囲内の探索は終了したものとして、ステップＳ１０に進み、タップ配置決定部３１は、ステップＳ７で保持した座標（ａ，ｂ）を投票する。
【００５０】
次に、ステップＳ１１において、タップ配置決定部３１は、ステップＳ１で設定された領域の全ての画素を、中心画素として取り出したか否かを判定し、全ての画素を中心画素として取り出したわけではないと判定した場合、ステップＳ２に戻り、他の画素を中心画素として取り出し、それ以降の処理を実行する。一方、全ての画素を、中心画素として取り出したと判定された場合、ステップＳ１２に進む。
【００５１】
ステップＳ１２において、タップ配置決定部３１は、ステップＳ１０で投票された数が最も多い座標（ａ，ｂ）を検出する。すなわち、その座標（ａ，ｂ）により特定されるフレームＦｎ−１上の画素と、フレームＦｎ上の注目画素を通る直線が検出される。このようにして、動きベクトルとしての直線が検出される。タップ配置決定部３１は、検出した直線上に位置するフレームＦｎ−２乃至Ｆｎ＋２の画素の位置情報を、領域切出部２４及び領域切出部２７に供給する。
【００５２】
その後、処理は終了する。
【００５３】
以上のように、連続する５フレームを通過する所定の直線を、動きベクトルとして検出するようにしたので、ブロックマッチングの場合のように、莫大な数の計算を行う必要がない。
【００５４】
図９は、従来の画像処理装置の他の構成例を示している。この図９に示す画像処理装置５０において、ノイズを含む入力画像は、静止部分ノイズ低減フィルタ５１、動き部分ノイズ低減フィルタ５２及び動き検出部５３のそれぞれに供給される。
【００５５】
静止部分ノイズ低減フィルタ５１は、図１の画像処理装置１０の増幅器１４乃至フレームメモリ１７で構成されており、入力画像と、それに対して１フレーム分遅延された画像とに対して、重み付け値ｐに基づく重み付け加算を行う。すなわち、入力画像が静止部分である場合、それに含まれるノイズは低減される。
【００５６】
動き部分ノイズ低減フィルタ５２は、図２に示した画像処理装置２０又は図５に示した画像処理装置３０により構成されており、動きベクトルに対応するタップに基づくクラス分類適応処理を実行する。すなわち、入力画像が動き部分である場合、それに含まれるノイズは低減される。
【００５７】
動き検出部５３は、入力画像から、画素単位で動きを検出し、検出結果を出力切り替え部５４に出力する。
【００５８】
出力切り替え部５４は、動き検出部５３からの検出結果が、入力画像が静止部分であることを示している場合、静止部分ノイズ低減フィルタ５１からの出力を選択し、それを、外部に出力する。一方、動き検出部５３からの検出結果が、入力画像が動き部分であることを示している場合、出力切り替え部５４は、動き部分ノイズ低減フィルタ５２からの出力を選択し、それを外部に出力する。
【００５９】
このようにすることで、静止部分及び動き部分の両方に含まれるノイズを低減することができる。
【００６０】
しかしながら、この画像処理装置５０の場合、入力画像が静止部分である場合においては、動き部分ノイズ低減フィルタ５２の処理が、また入力画像が動き部分である場合においては、静止部分ノイズ低減フィルタ５１の処理が、それぞれ無駄になる。
【００６１】
上述のように、従来の画像処理装置５０においては、入力画像に含まれるノイズを効果的に低減することができないという問題点があった。
【００６２】
また、入力画像に例えば線形補間処理を施すことにより、入力画像から例えば４倍密度の画像信号を生成することが行われているが、線形補間処理を行うことにより画像信号の波形が鈍ってしまい、上記線形処理の影響により全体的にぼやけた画像となってしまうといった問題点があった。
【００６３】
ところで、例えばクラス分類適応処理を採用することよって、特徴領域のエッジがぼけていない画像を生成することができる。
【００６４】
ここで、特徴領域のエッジがぼけていない画像を生成する画像処理について図１０乃至図１２を参照して説明する。
【００６５】
図１０は、特徴領域のエッジがぼけていない画像を生成する画像処理装置の構成例を示している。この図１０に示す画像処理装置６０において、特徴領域（他の画像に対して相対的に動いている画像領域）のエッジがぼけている入力画像は、特徴領域抽出部６１及びクラス分類適応処理部６２に供給される。
【００６６】
特徴領域抽出部６１は、入力画像に含まれる特徴領域を抽出し、合成部６３に供給する。なお、特徴領域抽出部６１は、特徴領域の画素密度を、入力画像と同じ密度又はそれよりも高い密度となるようにして、特徴領域を抽出する。
【００６７】
クラス分類適応処理部６２は、入力画像に対して、例えば、ノイズを除去するため、輝度を補正するための又は高精細な画像を生成するためのクラス分類適応処理を施し、その結果得られた画像を、合成部６３に出力する。
【００６８】
合成部６３は、特徴領域抽出部６１からの特徴領域と、クラス分類適応処理部６２からの画像を合成する。このように、特徴領域を一度取り出した後、他の画像部分と合成することにより、特徴領域のエッジがぼけていない画像を生成することができる。
【００６９】
図１１は、特徴領域抽出部６１の構成例を示している。入力画像は、ディレイ回路７１及び動きベクトル検出回路７５に供給される。ディレイ回路７１は、供給された入力画像を、後述する合成回路７２乃至位相シフト回路７６での処理に要する時間分だけ遅延させて、合成回路７２に供給する。これにより、後述する合成回路７２において、入力画像と、それに対応する画像が合成されるようになる。
【００７０】
合成回路７２は、ディレイ回路７１から供給される入力画像と、位相シフト回路７６から供給される、位相がシフトされた、蓄積メモリ７３に蓄積されている蓄積画像とを合成するとともに、合成した画像を、蓄積メモリ７３に供給する。
【００７１】
蓄積メモリ７３は、合成回路７２から供給された画像を蓄積して、蓄積画像を生成するとともに、それを、抽出回路７４及び位相シフト回路７６に供給する。
【００７２】
図１２Ａは、蓄積画像上の特徴領域を構成する画素の画素値のレベル分布例を示している。このように、この例の場合、蓄積画像上の特徴領域のレベル分布は、入力画像と同じであるが、特徴領域以外の画像を構成する画素の画素値のレベル分布は、例えば、図１２Ｂに示すように、平坦化されている。
【００７３】
抽出回路７４は、蓄積メモリ７３から供給される蓄積画像上から、特徴領域を抽出して、合成部６３に供給するが、蓄積画像上の特徴領域は、図１２を参照して説明したような特徴を有することから、抽出回路７４は、精度良く特徴領域を抽出することができる。
【００７４】
動きベクトル検出回路７５には、入力画像と、抽出回路７４からの特徴領域の画像データと表示位置が入力される。動きベクトル検出回路７５は、抽出回路７４からの特徴領域と、入力画像内における特徴領域との間の動きベクトルを検出し、その検出結果を位相シフト回路７６に供給する。
【００７５】
位相シフト回路７６は、動きベクトル回路７５からの動きベクトルに基づいて、蓄積メモリ７３からの蓄積画像の位相をシフトさせ、合成回路７２に供給する。
【００７６】
このようにして、特徴領域のエッジがぼけていない画像が生成されるが、特徴領域と、それ以外の画像を合成する場合、合成される境の部分に特別な処理が必要となる。すなわち、合成部６３の処理が複雑になってしまう。
【００７７】
このような構成の画像処理装置６０では、入力画像から、より高画質の画像、例えば、ノイズが低減された画像又は特徴領域のエッジがぼけていない画像を適切に生成することができないという問題があった。
【００７８】
【発明が解決しようとする課題】
本発明はこのような状況に鑑みてなされたものであり、入力画像から、より高画質の画像を適切に生成することができるようにするものである。
【００７９】
【課題を解決するための手段】
本発明は、第１の画像から、上記第１の画像より高画質な第２の画像を生成する画像処理装置において、上記第１の画像を取得する取得手段と、上記取得手段により取得された上記第１の画像を記憶する記憶手段と、上記記憶手段により記憶された上記第１の画像に対応した位置に、上記取得手段により取得された新たな上記第１の画像を記憶することで、上記記憶手段に、上記第１の画像の蓄積画像が記憶されるようにする蓄積処理手段と、上記第２の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得手段により取得された上記第１の画像の両方から、第１の画素情報を切り出す第１の切り出し手段と、上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出手段と、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類手段と、上記注目画素の位置に基づいて、上記蓄積画像と、上記取得手段により取得された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出し手段と、上記第２の画素情報を利用して、上記クラス分類手段により分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成手段とを備え、上記蓄積処理手段は、上記第１の画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を、上記記憶手段に記憶させ、上記第１の画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定することを特徴とする。
【００８０】
また、本発明は、第１の画像から、上記第１の画像より高画質な第２の画像を生成する画像処理装置の画像処理方法において、上記第１の画像を取得する取得ステップと、上記取得ステップの処理で取得された上記第１の画像を記憶する記憶ステップと、上記記憶ステップの処理で記憶された上記第１の画像に対応した位置に、上記取得ステップの処理で取得された新たな上記第１の画像を記憶することで、上記第１の画像の蓄積画像が記憶されるようにする蓄積処理ステップと、上記第２の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第１の画像の両方から、第１の画素情報を切り出す第１の切り出しステップと、上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、上記注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出しステップと、上記第２の画素情報を利用して、上記クラス分類ステップの処理で分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成ステップとを含み、上記蓄積処理ステップでは、上記第１の画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を記憶させ、上記第１の画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定することを特徴とする。
【００８１】
さらに、本発明は、第１の画像から、上記第１の画像より高画質な第２の画像を生成する画像処理装置のプログラムであって、上記第１の画像を取得する取得ステップと、上記取得ステップの処理で取得された上記第１の画像を記憶する記憶ステップと、上記記憶ステップの処理で記憶された上記第１の画像に対応した位置に、上記取得ステップの処理で取得された新たな上記第１の画像を記憶することで、上記第１の画像の蓄積画像が記憶されるようにする蓄積処理ステップと、上記第２の画像の注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第１の画像の両方から、第１の画素情報を切り出す第１の切り出しステップと、上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、上記注目画素の位置に基づいて、上記蓄積画像と、上記取得ステップの処理で取得された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出しステップと、上記第２の画素情報を利用して、上記クラス分類ステップの処理で分類されたクラスに対応して予め設定された生成方式に従い、上記注目画素を生成する生成ステップとを含み、上記蓄積処理ステップでは、上記第１の画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を記憶させ、上記第１の画像の動きを検出するとともに、検出した上記動きに基づいて、上記重み付け値を設定するコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【００８２】
本発明は、第１の画像から、上記第１の画像より高画質な第２の画像を生成するのに用いる所定のデータを学習する画像処理装置において、上記第１の画像に相当する生徒画像を生成する生成手段と、上記生徒画像を記憶する記憶手段と、上記記憶手段により記憶された上記生徒画像に対応した位置に、上記生成手段により生成された新たな上記生徒画像を記憶することで、上記記憶手段に、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理手段と、上記第２の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成手段により生成された上記生徒画像の両方から、第１の画素情報を切り出す第１の切り出し手段と、上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出手段と、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類手段と、上記注目画素の位置に基づいて、上記蓄積画像と、上記生成手段により生成された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出し手段と、上記第２の画素情報及び上記教師画像を利用して、上記クラス分類手段により分類されたクラス毎に、上記所定のデータを求める演算手段とを備え、上記蓄積処理手段は、上記生徒画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を、上記記憶手段に記憶させ、上記蓄積手段は、上記生徒画像と蓄積画像の値又は差分の大きさに基づいて、上記重み付け値を設定することを特徴とする。
【００８３】
また、本発明は、第１の画像から、上記第１の画像より高画質な第２の画像を生成するのに用いる所定のデータを学習する画像処理装置の画像処理方法において、上記第１の画像に相当する生徒画像を生成する生成ステップと、上記生徒画像を記憶する記憶ステップと、上記記憶ステップの処理で記憶された上記生徒画像に対応した位置に、上記生成ステップの処理で生成された新たな上記生徒画像を記憶することで、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理ステップと、上記第２の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記生徒画像の両方から、第１の画素情報を切り出す第１の切り出しステップと、上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、上記注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出しステップと、上記第２の画素情報及び上記教師画像を利用して、上記クラス分類ステップの処理で分類されたクラス毎に、上記所定のデータを求める演算ステップとを含み、上記蓄積処理ステップでは、上記生徒画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を記憶させ、上記生徒画像と蓄積画像の値又は差分の大きさに基づいて、上記重み付け値を設定することを特徴とする。
【００８４】
さらに、本発明は、第１の画像から、上記第１の画像より高画質な第２の画像を生成するのに用いる所定のデータを学習する画像処理装置のプログラムであって、上記第１の画像に相当する生徒画像を生成する生成ステップと、上記生徒画像を記憶する記憶ステップと、上記記憶ステップの処理で記憶された上記生徒画像に対応した位置に、上記生成ステップの処理で生成された新たな上記生徒画像を記憶することで、上記生徒画像の蓄積画像が記憶されるようにする蓄積処理ステップと、上記第２の画像に相当する教師画像の注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記生徒画像の両方から、第１の画素情報を切り出す第１の切り出しステップと、上記第１の画素情報から、所定の特徴量を抽出する特徴量抽出ステップと、上記特徴量に基づいて、上記注目画素を、複数のクラスのうちのいずれかに分類するクラス分類ステップと、上記注目画素の位置に基づいて、上記蓄積画像と、上記生成ステップの処理で生成された上記第１の画像の両方から、第２の画素情報を切り出す第２の切り出しステップと、上記第２の画素情報及び上記教師画像を利用して、上記クラス分類ステップの処理で分類されたクラス毎に、上記所定のデータを求める演算ステップとを含み、上記蓄積処理ステップでは、上記生徒画像と上記蓄積画像を、所定の重み付け値に従って重み付け加算し、その結果得られた画像を記憶させ、上記生徒画像と蓄積画像の値又は差分の大きさに基づいて、上記重み付け値を設定するコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【００８５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００８６】
図１３は、本発明を適用した画像処理装置１００の構成例を示している。この画像処理装置１００は、ノイズを低減するためのクラス分類適応処理を実行する。そのクラス分類適応処理においては、後述する学習処理により算出された予測係数が利用される。
【００８７】
この画像処理装置１００は、ノイズを含む入力画像が供給される蓄積画像生成部１０２、領域切出部１０４及び領域切出部１０７を備える。
【００８８】
蓄積画像生成部１０２は、入力画像の静止部分に含まれるノイズを効果的に低減する処理を実行したり、又は特徴領域を抽出する処理を実行する。
【００８９】
図１４乃至図１９は、蓄積画像生成部１０２の構成例を示している。
【００９０】
図１４は、静止部分のノイズを低減する場合の蓄積画像生成部１０２の構成例を示している。ノイズを含んだ生徒画像は、増幅器１３１に供給される。増幅器１３１は、値１から、重み付け値ｑ（０＜ｑ＜１）を減算した値を増幅率として、供給される生徒画像の信号を増幅し、加算器１３２に供給する。
【００９１】
後述する蓄積画像用メモリ１０３からは、１つ前に蓄積画像生成部１０２により生成された蓄積画像（供給された生徒画像に対して、１フレーム分前の蓄積画像）が、増幅器１３３に供給される。増幅器１３３は、重み付け値ｑを増幅率として、蓄積画像の信号を増幅し、加算部１３２に供給する。
【００９２】
加算部１３２は、増幅器１３１からの出力と増幅器１３３の出力を加算し、蓄積画像用メモリ１０３に供給する。
【００９３】
すなわち、この蓄積画像生成部１０２においては、入力画像と、１フレーム分前の蓄積画像に対して、重み付け値ｑに基づく重み付け加算が行われる。例えば、値ｑ＝０．８である場合、入力画像を２０％、蓄積画像を８０％で足し合わせた蓄積画像が生成される。このように、入力画像と、１フレーム分前の蓄積画像が所定の割合で足し合わされるので、静止部分のノイズが効果的に低減される。また蓄積画像には、複数の画像が、ある割合で蓄積され足し合わされるので、上述の図１に示した従来の画像処理装置１０に比べ、静止部分のノイズがより効果的に低減される。
【００９４】
なお、入力画像と最初に重み付け加算される蓄積画像は、蓄積画像用メモリ１０３に最初に蓄積された入力画像そのものとすることもできるし、複数の入力画像を平均することで得られた画像とすることもできる。
【００９５】
図１５は、静止部分のノイズを低減する場合の蓄積画像生成部１０２の他の構成例を示している。この蓄積画像生成部１０２には、図１４の蓄積画像生成部１０２に、動き検出部１４１がさらに設けられている。この動き検出部１４１は、上述の図１に示した画像処理装置１０を構成する減算器１１乃至閾値判定部１３と同様の機能を有する減算器１４２乃至閾値判定部１４４から構成されている。すなわち、この蓄積画像生成部１０２においては、入力画像と蓄積画像が、入力画像の動きに対応する重み付け値ｑに基づいて重み付け加算される。なお、画像の動きに代えて、入力画像と蓄積画像との輝度の差分値に基づいて、重み付け値ｑを設定することもできる。
【００９６】
図１６は、特徴領域を抽出する場合の蓄積画像生成部１０２の構成例を示している。
【００９７】
この蓄積画像生成部１０２において、入力画像は、ディレイ回路１５１及び動きベクトル検出回路１５５に供給される。ディレイ回路１５１は、供給された入力画像を、後述する合成回路１５２乃至位相シフト回路１５６での処理に要する時間分だけ遅延させて、合成回路１５２に供給する。これにより、合成回路１５２において、入力画像と、それに対応する画像が合成されるようになる。
【００９８】
合成回路１５２は、ディレイ回路１５１から供給される入力画像と、位相シフト回路１５６から供給される、位相がシフトされた、蓄積メモリ１５３に蓄積されている蓄積画像とを合成するとともに、合成した画像を、蓄積メモリ１５３に供給する。
【００９９】
蓄積メモリ１５３は、合成回路１５２から供給された画像を蓄積して、蓄積画像を生成するとともに、それを、抽出回路１５４及び位相シフト回路１５６に供給する。
【０１００】
抽出回路１５４は、蓄積メモリ１５３から供給される蓄積画像上から、特徴領域を抽出して、動きベクトル検出回路１５５に供給する。なお、蓄積画像上の特徴領域のレベル分布は入力画像と同じであるが、特徴領域以外の画像を構成する画素の画素値のレベル分布は平坦化されるので、抽出回路１５４は、精度良く特徴領域を抽出することができる。
【０１０１】
動きベクトル検出回路１５５には、入力画像と、抽出回路１５４からの特徴領域の画像データと表示位置が入力される。動きベクトル検出回路１５５は、抽出回路１５４からの特徴領域と、入力画像内における特徴領域との間の動きベクトルを検出し、その検出結果を位相シフト回路１５６に供給する。
【０１０２】
位相シフト回路１５６は、動きベクトル回路１５５からの動きベクトルに基づいて、蓄積メモリ１５３からの蓄積画像の位相をシフトさせ、合成回路１５２に供給する。
【０１０３】
すなわち、この蓄積画像生成部１０２では、蓄積画像の特徴領域と入力画像の特徴領域が、所定の位相関係を保持するように、入力画像を蓄積画像に蓄積するようにして、特徴領域が抽出される。
【０１０４】
なお、ここで生成される特徴領域の画素密度は、入力画像のそれよりも高密度にすることもできるし、同じ密度にすることができる。ただし、特徴領域の画素密度に応じた蓄積メモリ１５３の容量を確保する必要がある。
【０１０５】
以上のような構成を有する蓄積画像生成部１０２は、生成（抽出）した、ノイズが低減された画像と特徴領域を、蓄積画像として、蓄積画像用メモリ１０３に供給する。
【０１０６】
蓄積画像生成部１９１は、入力画像と蓄積画像に対して、重み付け値ｑに基づく重み付け加算を行って、静止部分のノイズを低減したり、特徴領域を抽出する。静止部分のノイズが低減された画像や特徴領域は、蓄積画像として、蓄積画像用メモリ１９２に供給される。
【０１０７】
蓄積画像用メモリ１９２は、蓄積画像生成部１９１からの蓄積画像を記憶するとともに、適宜、領域切出部１９３及び領域切出部１９７に供給する。
【０１０８】
領域切出部１０４は、入力画像からクラスタップを切り出すとともに、入力画像と蓄積画像のそれぞれからブロックを切り出し、切り出したクラスタップ及びブロックを画素情報として特徴量抽出部１０５に供給する。
【０１０９】
図１７は、領域切出部１０４の構成例を示している。
【０１１０】
この領域切出部１０４において、入力画像は、フレームメモリ１６−１に供給され、蓄積画像用メモリ１０３からの蓄積画像は、ブロック切出部１６６に供給される。
【０１１１】
フレームメモリ１６−１は、生徒画像を、１フレーム分遅延させるとともに、それを、フレームメモリ１６−２、タップ配置決定部１６２及びクラスタップ切出部１６３に供給する。
【０１１２】
フレームメモリ１６−２は、フレームメモリ１６−１からの画像を、１フレーム分遅延させるとともに、それを、フレームメモリ１６−３、タップ配置決定部１６２及びクラスタップ切出部１６３に供給する。
【０１１３】
フレームメモリ１６−３は、フレームメモリ１６−２からの画像を、１フレーム分遅延させるとともに、それを、フレームメモリ１６−４、タップ配置決定部１６２及びクラスタップ切出部１６３に供給する。
【０１１４】
フレームメモリ１６−４は、フレームメモリ１６−３からの画像を、１フレーム分遅延させるとともに、それを、フレームメモリ１６−５、タップ配置決定部１６２及びクラスタップ切出部１６３に供給する。
【０１１５】
フレームメモリ１６−５は、フレームメモリ１６−４からの画像を、１フレーム分遅延させるとともに、それを、タップ配置決定部１６２及びクラスタップ切出部１６３に供給する。
【０１１６】
タップ配置決定部１６２は、フレームメモリ１６−１乃至１６−５から供給されるフレームの画像データに基づいて、クラスタップの配置位置を決定し、その決定結果をクラスタップ切出部１６３に供給する。なお、このタップ配置決定部１６２が行うタップ配置決定処理は、上述の図５に示したタップ配置決定部３１の場合と同様であるので、その説明は省略する。
【０１１７】
また、蓄積画像用メモリ１０３からの蓄積画像がクラスタップ切出部１６３に供給されている。
【０１１８】
クラスタップ切出部１６３では、図１８Ａに示すように、フレームＦｎ上の注目画素（図中、黒色の丸印）及びその注目画素とタップ配置決定部１６２からの位置情報に基づく位置関係にあるフレームＦｎ−１乃至Ｆｎ＋２の画素（図中、斜線を付した丸印）の画素がクラスタップとして切り出される。またフレームＦｎ上の注目画素と同位置にある蓄積画像上の画素が注目画素とされ、その注目画素も、クラスタップとして切り出される。図１８Ｂは、蓄積画像用メモリ１０３からクラスタップ切出部１６３に供給されている蓄積画像を示している。
【０１１９】
このクラスタップ切出部１６３は、入力画像から切り出したクラスタップを特徴量抽出部１０５に出力する。
【０１２０】
特徴量抽出部１０５は、図１９に示すように構成されている。この特徴量抽出部１０５において、領域切出部１０４により入力画像から切り出されたクラスタップは、ＤＲ解析部１７１及び波形解析部１７２に供給される。また、領域切出部１０４により蓄積画像から切り出されたクラスタップは、波形解析部１７２に供給される。
【０１２１】
ＤＲ解析部１７１は、供給されたクラスタップを構成する画素の画素値のダイナミックレンジを算出し、その値を２進数に変換してクラスコード発生部１０６に供給する。
【０１２２】
波形解析部１７２は、入力画像から切り出されたクラスタップと蓄積画像から切り出されたクラスタップについて、同時に波形の解析を行う。
【０１２３】
例えば、ノイズのない静止画の場合、同じ画素であればフレーム間での画素値の変動はあり得ない。また動画の場合においても、速い動きではぼけ等の劣化は見られるが基本的に同一画素では時間的な変動はない。つまり、同一画素の値に変動がある場合、その変動をノイズとすることができる。すなわち、生徒画像からのクラスタップと蓄積画像からのクラスタップについて波形解析を行うことで、そこに含まれるノイズを検出することができる。
【０１２４】
さらに、具体的には、注目画素が動きである場合、蓄積画像と入力画像の輝度差があるので、ＡＤＲＣ処理の結果、両方の画素の値は異なる。例えば、１ビットＡＤＲＣの場合、２つの画素の値は、（０，１）又は（１，０）となる。一方、注目画素が静止部分である場合、輝度差が少ないので、ＡＤＲＣ処理の結果、両方の画素値は、同じになる可能性が高い、例えば、１ビットＡＤＲＣの場合、２つの画素の値は、（０，０）又は（１，１）となる。
【０１２５】
特徴量抽出部１０５では、このような原理を利用して、波形解析による静動判定を行い、領域切出部１０４からのクラスタップからダイナミックレンジ及び波形解析結果を、また領域切出部１０７からのブロックから、注目画素が静止であるか又は動きであるかを示す情報を、クラス分類をするために必要な特徴量として抽出し、クラスコード発生部１０６に供給する。
【０１２６】
クラスコード発生部１０６は、特徴量抽出部１０５から供給された特徴量に基づくクラスコードを生成し、ＲＯＭテーブル１０８に供給する。
【０１２７】
ＲＯＭテーブル１０８は、後述する学習処理により算出された予測係数セットをクラス毎に記憶しており、記憶している予測係数セットのうちから、クラスコード発生部１０６からのクラスコードに対応するものを推定演算１０９に出力する。
【０１２８】
領域切出部１０７は、入力画像と蓄積画像から予測タップを切り出し、推定演算部１０９に供給する。
【０１２９】
図２０は、領域切出部１０７の構成例を示している。
【０１３０】
この領域切出部１０７において、入力画像は、フレームメモリ１８−１に供給され、蓄積画像用メモリ１０３からの蓄積画像は、予測タップ切出部１８３に供給される。
【０１３１】
フレームメモリ１８−１乃至１８−５は、図１７のフレームメモリ１６−１乃至１６−５と基本的に同様に動作するので、その説明は省略する。
【０１３２】
タップ配置決定部１８２は、フレームメモリ１８−１乃至１８−５から供給されるフレームの画像データに基づいて、予測タップの配置位置を決定し、その決定結果を予測タップ切出部１８３に供給する。なお、このタップ配置決定部１８２が行うタップ配置決定処理は、図５のタップ配置決定部３１の場合と同様であるので、その説明は省略する。
【０１３３】
予測タップ切出部１８３は、フレームメモリ１８−３から供給されるフレーム上の画素を注目画素とし、その注目画素とタップ配置決定部１８２からの位置情報に基づく位置関係にあるフレーム１８−１からのフレームＦｎ−２、フレーム１８−２からのフレームＦｎ−１、フレーム１８−４からのフレームＦｎ＋１及びフレーム１８−５からのフレームＦｎ＋２上の画素を、予測タップとして切り出し、正規方程式加算部１０８に出力する。予測タップ切出部１８３は、フレームＦｎ上の注目画素と同位置の蓄積画像上の画素も注目画素とし、その注目画素と所定の位置関係にある蓄積画像上の画素も予測タップとして切り出す。
【０１３４】
推定演算部１０９は、ＲＯＭテーブル１０８からの予測係数セットと領域切出部１０７からの画素情報に基づく画素データを用いて、例えば、式（１）を演算して、その演算結果として出力画像の画素値ｙを順次生成する。
【０１３５】
すなわち、推定演算部１０９では、切り出された画素の画素値ｘ１，・・・，ｘｎと、予測係数ｗ１，・・・，ｗｎとの、例えば、線形結合により規定される線形１次結合モデルである式（１）が演算されて、出力画像の画素値が算出される。
【０１３６】
ｙ＝ｗ１×ｘ１＋ｗ３×ｘ２＋・・・＋ｗｎ×ｘｎ・・・（１）
なお、式（１）のような線形１次式の他、高次式や線形でない式を演算して、出力画像の画素値を算出することもできる。
【０１３７】
次に、図２１は、本発明を適用した画像処理装置１９０の構成例を示している。この画像処理装置１９０は、ノイズの低減処理と特徴領域のエッジの補正処理をクラス分類適応処理により行う。そのクラス分類適応処理においては、後述する学習処理により算出された予測係数が用いられる。
【０１３８】
この画像処理装置１９０において、ノイズを含む入力画像又は特徴領域のエッジがぼけている入力画像は、蓄積画像生成部１９１、領域切出部１９３及び領域切出部１９７にそれぞれ供給される。
【０１３９】
蓄積画像生成部１９１は、図１３に示した画像処理装置１００の蓄積画像生成部１０２と同様の構成を有しており、入力画像と蓄積画像に対して、重み付け値ｑに基づく重み付け加算を行って、静止部分のノイズを低減したり、特徴領域を抽出する。静止部分のノイズが低減された画像や特徴領域は、蓄積画像として蓄積画像用メモリ１９２に供給される。
【０１４０】
蓄積画像用メモリ１９２は、蓄積画像生成部１９１からの蓄積画像を記憶するとともに、適宜、領域切出部１９３及び領域切出部１９７に供給する。
【０１４１】
領域切出部１９３は、入力画像からクラスタップを切り出すとともに、入力画像と蓄積画像のそれぞれからブロックを切り出し、切り出したクラスタップ及びブロックを画素情報として特徴量抽出部１９４に供給する。
【０１４２】
図２２は、領域切出部１９３の構成例を示している。
【０１４３】
この領域切出部１９３において、入力画像は、フレームメモリ１６１−１及びディレイ回路１６４に供給され、蓄積画像用メモリ１９２からの蓄積画像は、ブロック切出部１６６に供給される。
【０１４４】
フレームメモリ１６１−１は、生徒画像を、１フレーム分遅延させるとともに、それを、フレームメモリ１６１−２、タップ配置決定部１６２及びクラスタップ切出部１６３に供給する。
【０１４５】
フレームメモリ１６１−２は、フレームメモリ１６１−１からの画像を、１フレーム分遅延させるとともに、それを、フレームメモリ１６１−３、タップ配置決定部１６２及びクラスタップ切出部１６３に供給する。
【０１４６】
フレームメモリ１６１−３は、フレームメモリ１６１−２からの画像を、１フレーム分遅延させるとともに、それを、フレームメモリ１６１−４、タップ配置決定部１６２及びクラスタップ切出部１６３に供給する。
【０１４７】
フレームメモリ１６１−４は、フレームメモリ１６１−３からの画像を、１フレーム分遅延させるとともに、それを、フレームメモリ１６１−５、タップ配置決定部１６２及びクラスタップ切出部１６３に供給する。
【０１４８】
フレームメモリ１６１−５は、フレームメモリ１６１−４からの画像を、１フレーム分遅延させるとともに、それを、タップ配置決定部１６２及びクラスタップ切出部１６３に供給する。
【０１４９】
タップ配置決定部１６２は、フレームメモリ１６１−１乃至１６１−５から供給されるフレームの画像データに基づいて、クラスタップの配置位置を決定し、その決定結果を、クラスタップ切出部１６３に供給する。なお、このタップ配置決定部１６２が行うタップ配置決定処理は、上述の図５に示したタップ配置決定部３１の場合と同様であるので、その説明は省略する。
【０１５０】
クラスタップ切出部１６３は、フレームメモリ１６１−３から供給されるフレームＦｎ上の画素を注目画素とし、その注目画素とタップ配置決定部１６２からの位置情報に基づく位置関係にある、フレーム１６１−１からのフレームＦｎ−２（フレームＦｎから２フレーム分前のフレーム）、フレーム１６１−２からのフレームＦｎ−１（フレームＦｎから１フレーム分前のフレーム）、フレーム１６１−４からのフレームＦｎ＋１（フレームＦｎから１フレーム分後のフレーム）及びフレーム１６１−５からのフレームＦｎ＋２（フレームＦｎから２フレーム分後のフレーム）上の画素を、クラスタップとして切り出し、特徴量抽出部１０５に出力する。
【０１５１】
このように、各画素毎に各タップの配置を切り換えることができ、また動きベクトルに応じてタップの位置を変化させることができるので、動きに対しても各フレーム間で対応する画素を切り出すことができる。
【０１５２】
ディレイ回路１６４は、フレームメモリ１６１−３から、そこに保持されていた画像がクラスタップ切出部１６３に供給されるタイミングに対応して、フレームメモリ１６５から、そこに保持されていた画像がブロック切出部１６６に供給されるように、供給された生徒画像を遅延させる。
【０１５３】
ブロック切出部１６６には、フレームメモリ１６５からの画像とともに、蓄積画像用メモリ１９２から蓄積画像が入力される。
【０１５４】
ブロック切出部１６６は、入力画像と蓄積画像から、それぞれ同じ位置にある例えば８×８画素からなるブロックを切り出し、特徴量抽出部１９４に供給する。
【０１５５】
このように、領域切出部１９３は、入力画像からクラスタップを切り出し、そして入力画像と蓄積画像のそれぞれからブロックを切り出し、切り出したクラスタップ及びブロックを画素情報として特徴量抽出部１９４に供給する。
【０１５６】
そして、特徴量抽出部１９４は、領域切出部１９３から供給された画素情報（クラスタップ及びブロック）から、所定の特徴量を抽出し、クラスコード発生部１９５に供給する。
【０１５７】
図２３は、特徴量抽出部１９４の構成例を示している。この特徴量抽出部１９４において、領域切出部１９３のクラスタップ切出部１６３により切り出されたクラスタップは、ＤＲ解析部１７１及び波形解析部１７２に供給される。領域切出部１９７のブロック切出部１６６により切り出されたブロックは、静動判定部１７３に供給される。
【０１５８】
ＤＲ解析部１７１は、供給されたクラスタップを構成する画素の画素値のダイナミックレンジを算出し、その値を２進数に変換してクラスコード発生部１９５に供給する。
【０１５９】
波形解析部１７２は、供給されたクラスタップを構成する画素の画素値に基づいて、例えば、１ビットＡＤＲＣ処理を行って、波形を解析し、その解析結果のビット列を、クラスコード発生部１９５に供給する。
【０１６０】
静動判定部１７３は、供給されたブロック毎に、下記の式（２）を演算し、ブロックを構成する画素の輝度の差分値を算出する。
【０１６１】
式（２）におい、Ｙ［ｉｎ（ｘ，ｙ）］は、座標（ｘ、ｙ）で特定される生徒画像のブロック上の画素の輝度値を示し、Ｙ［ｔｍｐ（ｘ，ｙ）］は、座標（ｘ、ｙ）で特定される蓄積画像のブロックの画素の輝度値を示している。
【０１６２】
また、静動判定部１７３は、算出した差分値が、所定の閾値より大きいか否かを判定し、その判定結果に基づいて、注目画素が、静止であるか又は動きであるかを判定する。算出した差分値が所定の閾値より大きいと判定した場合、注目画素は動きであるとして、静動判定部１７３は、その旨を示す情報、例えば、値０をクラスコード発生部１９５に出力する。一方、算出した差分値が、その閾値より小さいと判定した場合、注目画素は静止であるとして、静動判定部１７３は、その旨を示す情報、例えば、値１をクラスコード発生部１９５に出力する。
【０１６３】
このように、特徴量抽出部１９４は、領域切出部１９３からのクラスタップからダイナミックレンジ及び波形解析結果を、また、領域切出部１９７からのブロックから注目画素が静止であるか又は動きであるかを示す情報を、生成する画素をクラス分類するために必要な特徴量として抽出し、クラスコード発生部１９５に供給する。
【０１６４】
この例の場合、注目画素の動きが特徴量とされたが、それに代えて、生徒画像のブロックと蓄積画像のブロック間の輝度差分を特徴量とすることもできる（１画素間の輝度差分でもよい）。また、注目画素の動きと輝度差分の両方を特徴量とすることもできる。
【０１６５】
クラスコード発生部１９５は、特徴量抽出部１９４から供給された特徴量に基づくクラスコードを生成し、ＲＯＭテーブル１９６に供給する。
【０１６６】
ＲＯＭテーブル１９６は、上述した学習処理により算出された予測係数セットをクラス毎に記憶しており、記憶している予測係数セットのうちから、クラスコード発生部１９５からのクラスコードに対応するものを推定演算部１９８に出力する。
【０１６７】
領域切出部１９７は、図１３に示した画像処理装置１００の領域切出部１０７と同様の構成すなわち図２０に示した構成を有しており、入力画像と蓄積画像から、予測タップを切り出し、推定演算部１９８に供給する。
【０１６８】
推定演算部１９８は、ＲＯＭテーブル１９６からの予測係数セットと領域切出部１９７からの画素情報に基づく画素データを用いて、例えば、上述の式（１）を演算して、その演算結果として出力画像の画素値ｙを順次生成する。
【０１６９】
次に、このような構成の画像処理装置１９０において、ノイズが低減された画像を生成する場合の動作を説明する。
【０１７０】
ノイズを含む入力画像は、蓄積画像生成部１９１、領域切出部１９３及び領域切出部１９７に供給される。
【０１７１】
蓄積画像生成部１９１は、この場合、上記画像処理装置１００の蓄積画像生成部１０２と同様の構成すなわち図１４又は図１５で示した構成を有している。すなわち、蓄積画像生成部１９１は、静止部分のノイズを効果的に低減して、蓄積画像を生成する。生成した蓄積画像は、蓄積画像用メモリ１９２に供給され、そこに記憶される。
【０１７２】
領域切出部１９３は、入力画像からクラスタップを切り出すとともに、入力画像及び蓄積画像からブロックを切り出し、それらを特徴量抽出部１９４に供給する。
【０１７３】
この例の場合、図２４に示すように、フレームＦｎ上の注目画素（図中、黒色の丸印）、その注目画素と、タップ配置決定部からの位置情報に基づく位置関係にあるフレームＦｎ−２、フレームＦｎ−１、フレームＦｎ＋１及びフレームＦｎ＋２の画素（図中、斜線を付した丸印）の合計５つの画素が、クラスタップとして切り出される。
【０１７４】
特徴量抽出部１９４は、領域切出部１９３からのクラスタップに基づいて、クラスタップを構成する画素の画素値のダイナミックレンジの算出し、また１ビットＡＤＲＣ処理による波形解析を行うとともに、領域切出部１９３からのブロックに基づいて、注目画素の静動判定を行う。
【０１７５】
特徴量抽出部１９４は、そのダイナミックレンジ、波形解析結果及び静動判定結果をクラスコード発生部１９５に供給する。
【０１７６】
クラスコード発生部１９５は、特徴量抽出部１９４からのデータに基づくクラスコードを生成し、ＲＯＭテーブル１９６に供給する。
【０１７７】
ＲＯＭテーブル１９６は、クラス毎に記憶しているノイズを低減するための予測係数セットのうちから、クラスコード発生部１９５からのクラスコードに対応するものを推定演算部１９８に出力する。
【０１７８】
領域切出部１９７は、入力画像と蓄積画像から予測タップを切り出し、推定演算部１９８に供給する。
【０１７９】
この例の場合、図２５Ａに示すように、フレームＦｎ上の注目画素（図中、黒色の丸印）、その注目画素とタップ配置決定部からの位置情報に基づく位置関係にあるフレームＦｎ−１乃至Ｆｎ＋２の画素（図中、斜線が付されている丸印）の、それぞれ１３個ずつの画素が、予測タップとして切り出される。また、図２５Ｂに示すように、フレームＦｎ上の注目画素と同位置にある蓄積画像上の画素が注目画素（図中、黒丸の丸印）とされ、その注目画素と所定の位置関係にある蓄積画像上の画素（図中、斜線を付した丸印）も予測タップとして切り出される。
【０１８０】
推定演算部１９８は、ＲＯＭテーブル１９６からの予測係数セットと領域切出部１９７からの画素情報に基づく予測タップの画素データを用いて、例えば、上述の式（１）を演算し、出力画像の画素値ｙを順次生成する。
【０１８１】
次に、この画像処理装置１９０において、特徴領域のエッジがぼけていない画像を生成する場合の動作を説明する。
【０１８２】
この例の場合、入力画像から高精細の画像を生成することで、特徴領域のエッジが補正される。すなわち、蓄積画像生成部１９１においては、図２６Ａに示すように、入力画像及び蓄積画像が、その特徴領域の画素の位相を所定の位相だけずれにようにして合成されることにより、蓄積画像としての特徴領域が抽出される。これにより、蓄積画像は、図２６Ｂに示すように、最終的に生成される画像の同じ画素密度を有する高精細な画像となる。
【０１８３】
領域切出部１９３の動作は、基本的に、ノイズを低減する場合と同様であるので、その詳細な説明は省略するが、この例の場合のクラスタップは、図２７に示すような構成を有するものとする。
【０１８４】
最終的に生成される画像（フレームＦｎ及び蓄積画像と同時刻の画像）上の注目画素（図中、黒色の丸印）に対して所定の位置関係にあるフレームＦｎの８個の画素、フレームＦｎ−２，Ｆｎ−１，Ｆｎ＋１，Ｆｎ＋２のそれぞれ５個の画素（図２７Ａ）及び蓄積画像の１１個の画素から構成される。
【０１８５】
なお、図２８に示すように、入力画像の画素間に位置する生成される画像の画素が注目画素とされている場合、その中のいずれの画素が注目画素となっても、クラスタップとして切り出されるフレームＦｎ−２乃至Ｆｎ＋２上の画素は同じである。蓄積画像から切り出される画素は、注目画素の位置により異なる。
【０１８６】
なお、以上においては、クラスタップと予測タップの構造が異なる場合を例として説明したが、同一の構造にすることもできる。
【０１８７】
このような構成の画像処理装置１９０では、図２９に示すフローチャートの手順に従って画像処理を行う。
【０１８８】
すなわち、この画像処理装置１９０は、先ず、ステップＳ１１１において入力画像を取得する。
【０１８９】
次のステップＳ１１２では、蓄積画像生成部１９１により、入力画像から静止部分のノイズを低減した特徴領域を抽出し、蓄積画像用メモリ１９２に蓄積画像として記憶する。
【０１９０】
次のステップＳ１１３では、領域切出部１９３により、入力画像からクラスタップを切り出すとともに、入力画像と蓄積画像のそれぞれからブロックを切り出す。
【０１９１】
次のステップＳ１１４では、領域切出部１９３により切り出されたクラスタップ及びブロックに基づいて、特徴量抽出部１９４により入力画像とから所定の特徴量を抽出する。
【０１９２】
次のステップＳ１１５では、特徴量抽出部１９４により抽出された特徴量に基づいて、クラスコード発生部１９５によりクラスコードを生成する。
【０１９３】
次のステップＳ１１６では、クラスコード発生部１９５により生成されたクラスコードに対応する予測係数セットをＲＯＭテーブル１９６から出力する。
【０１９４】
次のステップＳ１１７では、ＲＯＭテーブル１９６からの予測係数セットと領域切出部１９７からの画素情報に基づく予測タップの画素データを用いて、推定演算部１９８により予測演算を行う。
【０１９５】
次のステップＳ１１８では、推定演算部１９８により予測演算した出力画像の画素値を順次出力する。
【０１９６】
そして、この画像処理装置１９０は、次のステップＳ１１８において、出力画像の全ての画素値を出力したか否かを判定し、出力していない画素値があるときには、上記ステップＳ１１１に戻り、ステップＳ１１１からステップＳ１１８の処理を繰り返し行い、出力画像の全ての画素値を出力して画像処理を終了する。
【０１９７】
次に、図３０は、本発明を適用した画像処理装置３００の構成例を示している。この画像処理装置３００は、上述の各画像処理装置１００，１９０における画像生成処理に使用する予測係数を求める学習処理を行う。
【０１９８】
この画像処理装置３００において、学習における教師画像となるべき画像、例えば、ノイズが含まれていない画像又は特徴領域のエッジがぼけていない画像が、生徒画像生成部３０１及び正規方程式加算部３０８に供給される。
【０１９９】
生徒画像生成部３０１は、教師画像に対し所定の処理を施すことにより、画像生成処理における入力画像に相当する生徒画像を生成する。例えば、教師画像にノイズを付加することにより、ノイズが低減された画像を生成する処理における予測係数を算出するための生徒画像を生成し、又は教師画像の解像度を落とすことにより、例えば、その画素数を間引くことより、特徴領域のエッジがぼけていない画像を生成する処理における予測係数を算出するための生徒画像を生成することができる。
【０２００】
例えば、ノイズを付加する場合、生徒画像生成部３０１は、ランダムノイズを発生し、それを教師画像に付加することもできるし、図３１乃至図３３に示すような構成を有することで、ノイズを教師画像に付加することもできる。
【０２０１】
図３１に示す生徒画像生成部３０１の場合、ＲＦ変調器３２１は、教師画像にＲＦ変調を施し、アッテネータ３２２に供給する。アッテネータ３２２は、ＲＦ変調器３２１の出力に減衰処理を施し、ＲＦ復調器３２３に出力する。ＲＦ復調器３２３は、アッテネータ３２２の出力をＲＦ復調することにより、教師画像にノイズが付加された画像を生成する。
【０２０２】
図３２に示す生徒画像生成部３０１の場合、背景が一様な画像がＲＦ変調器３２１と減算器３２４に供給される。ＲＦ変調器３２１乃至ＲＦ復調器３２３の処理は、図３２の場合と同様であるので、その詳細な説明は省略する。なお、ＲＦ復調器３２３の出力は、減算器３２４に供給される。減算器３２４は、背景が一様な画像とＲＦ復調器３２３の出力との差分を算出し、加算器３２５に出力する。加算器３２５は、減算器３２４の出力を教師画像に加算して、教師画像にノイズが付加された画像を生成する。
【０２０３】
図３３に示す生徒画像生成部３０１では、背景が一様な画像が、ＲＦ変調器３２１に供給される。ＲＦ変調器３２１乃至ＲＦ復調器３２３の処理は、図３１の場合と同様であるので、その詳細な説明は省略するが、ＲＦ復調器３２３の出力は、減算器３２４とフレーム加算回路３２６に供給される。フレーム加算回路３２６は、ＲＦ復調器３２３から供給されるフレームを加算することによってＲＦ復調器３２３の出力からノイズが除去された画像を生成し、減算器３２４に供給する。減算器３２４及び加算器３２５の処理は、図３２の場合と同様であるので、その説明は省略する。
【０２０４】
そして、この画像処理装置３００において、蓄積画像生成部３０２は、上述の図１３に示した画像処理装置１００や図２１に示した画像処理装置１９０の蓄積画像生成部１０２，１９１と同様な構成すなわち図１４乃至図１６に示した構成のものが用いられる。そして、この蓄積画像生成部３０２においては、生徒画像と、１フレーム分前の蓄積画像に対して、重み付け値ｑに基づく重み付け加算が行われる。例えば、値ｑ＝０．８である場合、生徒画像を２０％、蓄積画像を８０％で足し合わせた蓄積画像が生成される。このように、生徒画像と、１フレーム分前の蓄積画像が所定の割合で足し合わされるので、静止部分のノイズが効果的に低減される。また蓄積画像には、複数の画像が、ある割合で蓄積されて足し合わされるので、静止部分のノイズがより効果的に低減される。
【０２０５】
そして、蓄積画像生成部３０２は、生成（抽出）した、ノイズが低減された画像と特徴領域を蓄積画像として蓄積画像用メモリ３０３に供給する。
【０２０６】
蓄積画像用メモリ３０３は、蓄積画像生成部３０２からの画像を記憶するとともに、適宜、蓄積画像を領域切出部３０４及び領域切出部３０７に供給する。
【０２０７】
領域切出部３０４は、生徒画像生成部３０１からの生徒画像及び蓄積画像用メモリ３０３からの蓄積画像からクラス分類に必要な画素情報を切り出し、特徴量抽出部３０５に供給する。領域切出部３０４には、上述の画像処理装置１９０における領域切出部１９３と同様な構成すなわち図２２に示した構成のものが用いられる。この領域切出部３０４は、生徒画像からクラスタップを切り出し、また、図３４Ａ，図３４Ｂに示すように、生徒画像と蓄積画像から、それぞれ同じ位置にある例えば８×８画素からなるブロックを切り出し、切り出したクラスタップ及びブロックを、画素情報として、特徴量抽出部３０５に供給する。
【０２０８】
特徴量抽出部３０５は、領域切出部３０４からのクラスタップからダイナミックレンジ及び波形解析結果を、また領域切出部３０４からのブロックから注目画素が静止であるか又は動きであるかを示す情報を、生成する画素をクラス分類するために必要な特徴量として抽出し、クラスコード発生部３０６に供給する。この特徴量抽出部３０５には、上述の画像処理装置１００における特徴量抽出部１０５と同様な構成すなわち図２３に示した構成のものが用いられる。
【０２０９】
この例の場合、注目画素の動きが特徴量とされたが、それに代えて、生徒画像のブロックと蓄積画像のブロック間の輝度差分を特徴量とすることもできる（１画素間の輝度差分でもよい）。また、注目画素の動きと輝度差分の両方を特徴量とすることもできる。
【０２１０】
また、クラスコード発生部３０６は、特徴量抽出部３０５からの特徴量に基づくクラスコードを生成し、正規方程式加算部３０８に供給する。
【０２１１】
領域切出部３０７は、生徒画像生成部３０１からの生徒画像及び蓄積画像用メモリ３０３からの蓄積画像から予測に必要な画素情報をそれぞれ切り出し、正規方程式加算部３０８に供給する。この領域切出部３０７には、上述の画像処理装置１００における領域切出部１０７と同様な構成すなわち図２０に示した構成のものが用いられる。
【０２１２】
正規方程式加算部３０８は、クラスコード発生部３０６からのクラスコード、教師画像及び領域切出部３０７からの予測タップに基づいて、予測係数を解とする正規方程式を解くために必要なデータを算出し、その算出結果を予測係数決定部３０９に出力する。
【０２１３】
予測係数決定部３０９は、正規方程式加算部３０８からの算出結果を利用して、所定の演算を行うことにより、クラス毎の予測係数を決定し、それをメモリ３１０に供給する。メモリ３１０は、それを記憶する。
【０２１４】
ここで、正規方程式加算部３０８及び予測係数決定部３０９において行われる演算について説明する。
【０２１５】
上述の画像生成処理においては、例えば、入力画像（ノイズを含む入力画像又は特徴領域のエッジがぼけている入力画像）と蓄積画像（静止部分のノイズが低減された蓄積画像又は抽出された特徴領域としての蓄積画像）から、注目画素と所定の位置関係にある画素が切り出される。そして、切り出されたこれらの画素の画素値（生徒データ）ｘ１，・・・，ｘｎと、学習処理で算出された予測係数ｗ１，・・・，ｗｎとの、例えば、線形結合により規定される線形１次結合モデルである上記式（１）が演算されて、出力画像の画素値が算出される。
【０２１６】
なお、式（１）のような、線形１次式の他、高次式や線形でない式を演算して、出力画像の画素値を算出することもできる。
【０２１７】
式（１）は、式（３）のように示すことができるが、式（３）において、ｋ＝１，２，３，・・・，ｍ（＞ｎ）である場合、予測係数ｗは、一意に決まらないので、予測係数ｗは、所謂最小２乗法によって求められる。
【０２１８】
ｙｋ＝ｗ１×ｘｋ１＋ｗ２×ｘｋ２＋・・・＋ｗｎ×ｘｋｎ・・・（３）
すなわち、誤差ベクトルｅの要素ｅｋを式（４）で定義した場合の、式（５）
の値が最小となるように予測係数が求められる。
【０２１９】
ｅｋ＝ｙｋ−（ｗ１×ｘｋ１＋ｗ２×ｘｋ２＋・・・＋ｗｎ×ｘｋｎ）・・・（４）
ｅ２＝Σｅｋ２・・・（５）
最小２乗法について、具体的に説明すると、ｅ２が式（６）に示すように、予測係数ｗｉ（ｉ＝１，２，・・・）で偏微分される。
【０２２０】
そこで、切り出された入力画像又は蓄積画像の画素値からなる生徒データｘｊｉを式（７）に示すように、そして教師画像の画素値（教師データ）ｙｉを式（８）に示すように定義すると、式（６）を式（９）に示すように、一般的に正規方程式と呼ばれる行列式に表すことができる。なお、生徒データｘｊｉは、ｉ件目の生徒データの集合（ｉ件目の教師データｙｉの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味する。
【０２２１】
すなわち、正規方程式加算部３０８は、供給される生徒画像、蓄積画像及び教師画像に基づいて式（７）及び式（８）を演算し、生徒画像又は蓄積画像の画素の画素値からなる生徒データｘｉｊ及び教師画像の画素値の教師データｙｉをそれぞれ計算する。予測係数決定部３０９は、掃き出し法等の一般的な行列解法に従って、式（９）の正規方程式を解き、予測係数ｗを算出する。
【０２２２】
このような構成の画像処理装置３００では、図３５に示すフローチャートの手順に従って画像処理を行う。
【０２２３】
すなわち、この画像処理装置３００は、先ず、ステップＳ１２１において教師画像を取得する。
【０２２４】
次のステップＳ１２２では、生徒画像生成部３０１において、ステップＳ１２１で取得した教師画像に対し所定の処理を施すことにより、画像生成処理における入力画像に相当する生徒画像を生成する。
【０２２５】
次のステップＳ１２３では、蓄積画像生成部３０２において、生徒画像と１フレーム分前の蓄積画像を重み付け加算することにより、生徒画像から静止部分のノイズを低減した特徴領域を抽出し、蓄積画像用メモリ３０３に蓄積画像として記憶する。
【０２２６】
次のステップＳ１２４では、領域切出部３０４により、クラス分類に必要な画素情報として、生徒画像生成部３０１により生成された生徒画像からクラスタップを切り出すとともに、上記生徒画像と蓄積画像からそれぞれ同じ位置にある複数画素からなるブロックを切り出す。
【０２２７】
次のステップＳ１２５では、特徴量抽出部３０５は、生成する画素をクラス分類するために必要な特徴量として、領域切出部３０４により切り出されたクラスタップからダイナミックレンジ及び波形解析結果を得るとともに、領域切出部３０４により切り出されたブロックから注目画素が静止であるか又は動きであるかを示す情報を抽出する。
【０２２８】
次のステップＳ１２６では、特徴量抽出部３０５により抽出された特徴量に基づいて、クラスコード発生部３０６によりクラスコードを生成する。
【０２２９】
次のステップＳ１２７では、正規方程式加算部３０８において、クラスコード発生部３０６からのクラスコード、教師画像及び領域切出部３０７からの予測タップに基づいて、予測係数を解とする正規方程式を解くために必要なデータを算出する。
【０２３０】
次のステップＳ１２８では、予測係数決定部３０９において、正規方程式加算部３０８からの算出結果を利用して、所定の演算を行うことにより、クラス毎の予測係数を決定する。
【０２３１】
次のステップＳ１２９では、予測係数決定部３０９により算出されたクラス毎の予測係数をメモリ３１０に格納する。
【０２３２】
そして、この画像処理装置３００は、次のステップＳ１３０において、全ての画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップＳ１２１に戻り、ステップＳ１２１からステップＳ１３０の処理を繰り返し行い、全ての画像データを処理して学習処理を終了する。
【０２３３】
ここで、生徒画像生成部３０１として上述の図３１の構成を採用した場合、上記ステップＳ１２２における生徒画像の生成処理は、図３６に示すフローチャートの手順に従って行われる。
【０２３４】
すなわち、この生徒画像生成部３０１は、ステップＳ１３１において、アッテネータ３２２により教師画像にノイズを直接付加する。
【０２３５】
次のステップＳ１３２では、ステップＳ１３１の処理でノイズが付加された教師画像を生徒画像として出力する。
【０２３６】
次のステップＳ１３３では、１フィールド分の全ての画像データ画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップＳ１３１に戻り、ステップＳ１３１からステップＳ１３３の処理を繰り返し行い、全ての画像データを処理して生徒画像の生成処理を終了する。
【０２３７】
また、生徒画像生成部３０１として上述の図３２の構成を採用した場合、上記ステップＳ１２２における生徒画像の生成処理は、図３７に示すフローチャートの手順に従って行われる。
【０２３８】
すなわち、この生徒画像生成部３０１は、ステップＳ１４１において、アッテネータ３２２により背景が一様な画像に対してノイズを付加する。
【０２３９】
次のステップＳ１４２では、上記ステップＳ１４１の処理でノイズが付加された背景が一様な画像から、減算器３２４により元の背景が一様な画像を引くことで、上記アッテネータ３２２によるノイズ成分のみを抽出する。
【０２４０】
次のステップＳ１４３では、上記ステップＳ１４２の処理で抽出されたノイズを加算器３２５により教師画像に付加する。
【０２４１】
次のステップＳ１４４では、上記ステップＳ１４３の処理でノイズが付加された教師画像を生徒画像として出力する。
【０２４２】
次のステップＳ１４５では、１フィールド分の全ての画像データ画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップＳ１４１に戻り、ステップＳ１４１からステップＳ１４５の処理を繰り返し行い、全ての画像データを処理して生徒画像の生成処理を終了する。
【０２４３】
また、生徒画像生成部３０１として上述の図３３の構成を採用した場合、上記ステップＳ１２２における生徒画像の生成処理は、図３８に示すフローチャートの手順に従って行われる。
【０２４４】
すなわち、この生徒画像生成部３０１は、ステップＳ１５１において、アッテネータ３２２により背景が一様な画像に対してノイズを付加する。
【０２４５】
次のステップＳ１５２では、上記ステップＳ１４１の処理でノイズが付加された背景が一様な画像をフレーム加算回路３２６でフレーム加算することによってノイズが除去された画像を生成する。
【０２４６】
次のステップＳ１５３では、上記ステップＳ１５１の処理でノイズが付加された背景が一様な画像から、減算器３２４により、上記ステップＳ１５１の処理でノイズが除去された画像を引くことで、上記アッテネータ３２２によるノイズ成分のみを抽出する。
【０２４７】
次のステップＳ１５４では、上記ステップＳ１５３の処理で抽出されたノイズを加算器３２５により教師画像に付加する。
【０２４８】
次のステップＳ１５５では、上記ステップＳ１５３の処理でノイズが付加された教師画像を生徒画像として出力する。
【０２４９】
次のステップＳ１５６では、１フィールド分の全ての画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップＳ１５１に戻り、ステップＳ１５１からステップＳ１５６の処理を繰り返し行い、全ての画像データを処理して生徒画像の生成処理を終了する。
【０２５０】
さらに、上記ステップＳ１２２における生徒画像の生成処理において、生成する生徒画像よりも教師画像の解像度が高い場合には、図３９に示すフローチャートの手順に従って生徒画像の生成処理を行う。
【０２５１】
すなわち、生徒画像生成部３０１では、ステップＳ１６１において、教師画像に対し、間引き若しくはフィルタ処理により、解像度を落とす処理を施す。
【０２５２】
次のステップＳ１６２では、上記ステップＳ１６１の処理で解像度を落とした教師画像を生徒画像として出力する。
【０２５３】
次のステップＳ１６３では、１フィールド分の全ての画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップＳ１６１に戻り、ステップＳ１６１からステップＳ１６３の処理を繰り返し行い、全ての画像データを処理して生徒画像の生成処理を終了する。
【０２５４】
また、蓄積画像生成部３０２として上述の図１４の構成を採用した場合、上記ステップＳ１２３における蓄積画像の生成処理は、図４０に示すフローチャートの手順に従って行われる。
【０２５５】
すなわち、この蓄積画像生成部３０２は、ステップＳ１７１において、前フィールド時の蓄積画像を蓄積画像用メモリ３０３から取得する。
【０２５６】
次のステップＳ１７２では、前フィールド時の蓄積画像に重み付け値ｑを乗算し、生徒画像に重み付け値１−ｑを乗算する。
【０２５７】
次のステップＳ１７３では、上記ステップＳ１７２で重み付け値（ｑ，１−ｑ）を乗算した前フィールド時の蓄積画像と生徒画像を加算合成して新たな蓄積画像とする。
【０２５８】
次のステップＳ１７４では、上記ステップＳ１７３で合成した新たな蓄積画像を出力する。
【０２５９】
次のステップＳ１７５では、１フィールド分の全ての画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップＳ１７１に戻り、ステップＳ１７１からステップＳ１７５の処理を繰り返し行い、全ての画像データを処理して蓄積画像の生成処理を終了する。
【０２６０】
また、蓄積画像生成部３０２として上述の図１５の構成を採用した場合、上記ステップＳ１２３における蓄積画像の生成処理は、図４１に示すフローチャートの手順に従って行われる。
【０２６１】
すなわち、この蓄積画像生成部３０２は、ステップＳ１８１において、前フィールド時の蓄積画像を蓄積画像用メモリ３０３から取得する。
【０２６２】
次のステップＳ１８２では、動き検出部１４１において、同位置の画素の差分をとり静動判定を行う。
【０２６３】
次のステップＳ１８３では、ステップＳ１８２で算出した同位置の画素の差分値に基づいて重み付け値ｑを決定する。
【０２６４】
次のステップＳ１８４では、前フィールド時の蓄積画像に重み付け値ｑを乗算し、生徒画像に重み付け値１−ｑを乗算する。
【０２６５】
次のステップＳ１８５では、上記ステップＳ１８４で重み付け値（ｑ，１−ｑ）を乗算した前フィールド時の蓄積画像と生徒画像を加算合成して新たな蓄積画像とする。
【０２６６】
次のステップＳ１８６では、上記ステップＳ１８５で合成した新たな蓄積画像を出力する。
【０２６７】
次のステップＳ１８７では、１フィールド分の全ての画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップＳ１８１に戻り、ステップＳ１８１からステップＳ１８７の処理を繰り返し行い、全ての画像データを処理して蓄積画像の生成処理を終了する。
【０２６８】
また、蓄積画像生成部３０２として上述の図１６の構成を採用した場合、上記ステップＳ１２３における蓄積画像の生成処理は、図４２に示すフローチャートの手順に従って行われる。
【０２６９】
すなわち、この蓄積画像生成部３０２は、ステップＳ１９１において、前フィールド時の蓄積画像を蓄積画像用メモリ３０３から取得する。
【０２７０】
次のステップＳ１９２では、蓄積メモリ１５３から供給される蓄積画像上から、抽出回路１５４により特徴領域を抽出する。
【０２７１】
次のステップＳ１９３では、ステップＳ１９２で抽出した特徴領域に基づいて同密度動きベクトルの検出を行う。すなわち、動きベクトル検出回路１５５により、抽出回路１５４からの特徴領域と、生徒画像内における特徴領域との間の動きベクトル動きベクトルを検出する。
【０２７２】
次のステップＳ１９４では、ステップＳ１９３で検出した動きベクトルに基づいて、位相シフト回路１５により蓄積メモリ１５３からの蓄積画像の位相をシフトさせ、生徒画像と位置を合わせる。
【０２７３】
次のステップＳ１９５では、ステップＳ１９４で位置を合わせた蓄積画像と生徒画像を加算合成して新たな蓄積画像とする。
【０２７４】
次のステップＳ１９６では、上記ステップＳ１９５で合成した新たな蓄積画像を出力する。
【０２７５】
次のステップＳ１９７では、１フィールド分の全ての画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップＳ１８１に戻り、ステップＳ１９１からステップＳ１９７の処理を繰り返し行い、全ての画像データを処理して蓄積画像の生成処理を終了する。
【０２７６】
さらに、上記ステップＳ１２３における蓄積画像の生成処理において、生成する生徒画像よりも蓄積画像の解像度が高い場合には、図４３に示すフローチャートの手順に従って蓄積画像の生成処理を行う。
【０２７７】
すなわち、この蓄積画像生成部３０２は、ステップＳ２０１において、前フィールド時の蓄積画像を蓄積画像用メモリ３０３から取得する。
【０２７８】
次のステップＳ２０２では、蓄積メモリ１５３から供給されるＮ倍密度の蓄積画像上から、抽出回路１５４により特徴領域を抽出する。
【０２７９】
次のステップＳ２０３では、ステップＳ１９２で抽出した特徴領域に基づいて、生徒画像について１：Ｎ密度動きベクトルの検出を行う。
【０２８０】
次のステップＳ１９４では、ステップＳ１９３で検出した動きベクトルに基づいて、位相シフト回路１５６により蓄積メモリ１５３からの蓄積画像の位相をシフトさせ、生徒画像と位置を合わせる。
【０２８１】
次のステップＳ１９５では、ステップＳ１９４で位置を合わせた蓄積画像と生徒画像を加算合成して新たな蓄積画像とする。
【０２８２】
次のステップＳ１９６では、上記ステップＳ１９５で合成した新たな蓄積画像を出力する。
【０２８３】
次のステップＳ１９７では、１フィールド分の全ての画像データについて処理を行った否かを判定し、処理すべき画像データがあるときには、上記ステップＳ１８１に戻り、ステップＳ１９１からステップＳ１９７の処理を繰り返し行い、全ての画像データを処理して蓄積画像の生成処理を終了する。
【０２８４】
ここで、入力画像（生徒画像）より高画質な画像（蓄積画像）を生成する場合の動きベクトル検出処理について説明する。
【０２８５】
例を図４４Ａに示す。図４４Ａは、１枚の画像（基準画像）Ｐｓと、この画像Ｐｓに対して垂直方向で４倍の密度の画像Ｐｈとの間の動きベクトル検出について示した図である。図４４Ａにおいて、破線のラインは、ラインの位置を表し、実際には、画素が存在しないラインである。４倍密画像Ｐｈは、基準画像Ｐｓと空間的に一致し、ライン位置が基準画像Ｐｓと一致するものと、ライン位置を１ラインずつずらした３枚の画像との合計４枚の１倍密画像Ｐｈ１，Ｐｈ２，Ｐｈ３，Ｐｈ４と扱うことができる。
【０２８６】
すなわち、図４４Ａにおいて、Ｐｈ１は、高密度画像Ｐｈの連続する４ラインの組で最も上に位置するラインを選択することで得られるものである。Ｐｈ２は、この４ラインの組の上から２番目に位置するラインを選択することで得られるものである。Ｐｈ３は、この４ラインの組の上から３番目に位置するラインを選択することで得られるものである。Ｐｈ４は、この４ラインの組の最も下に位置するラインを選択することで得られるものである。これらの画像Ｐｈ１〜Ｐｈ４を合わせることで４倍密画像が構成される。
【０２８７】
最初に、図４４Ｂに示すように、同一の大きさで同一の形の基準ブロックＢｓ及び参照ブロックＢｈ１（図４４Ｂでは、５×５のブロックが示されている）を画像Ｐｓ及びＰｈ１〜Ｐｈ４の中の１枚の画像例えばＰｈ１の空間的に対応する位置に設定する。そして、図４５に示すように、基準ブロックＢｓと同一の位置に存在する画素の画素値同士の差分の絶対値を求め、この絶対値を１ブロックにわたって集計し、絶対値和を求める。次に、図４５において破線で示すように、参照ブロックＢｈ１を１倍密画像の画素単位で種々の位置に移動し、移動後の位置で絶対値和をそれぞれ求める。求めた絶対値和を絶対値和のテーブルに格納する。
【０２８８】
移動範囲は、探索範囲として規定される。例えば水平方向に１画素ずつずれた５個の参照ブロックと、垂直方向に１画素ずつずれた３個の参照ブロックとの合計５×３個の参照ブロックに関して絶対値和が計算される。その場合には、図４６Ａに示すように、５×３個の絶対値和テーブルＴ１が得られる。５×３の範囲の中央位置が原点Ｏである。原点Ｏは、基準ブロックＢｓ及び参照ブロックＢｈ１の空間的な中心と一致する。もし、後述するように得られた最終的な絶対値和テーブルＴ０の中で、最小値を与える参照ブロックの位置が原点にある時は、動きベクトルが０である。
【０２８９】
次に、参照ブロックＢｈ１と同様の大きさで同一の形の参照ブロックＢｈ２を間引かれた画像Ｐｈ２の空間的に同一の位置に設定する。参照ブロックＢｈ１の場合と同様に、基準ブロックＢｓと参照ブロックＢｈ２の間の差分の絶対値和を求め、絶対値和のテーブルＴ２を得る。このテーブルＴ２は、空間的には、テーブルＴ１より４倍密画像の１ライン下側の位置のものである。さらに、参照ブロックＢｈ３、Ｂｈ４についても、参照ブロックＢｈ１、Ｂｈ２と同様に基準ブロックＢｓとのブロックマッチングを行い、求めた絶対値和のテーブルＴ３及びＴ４を得る。テーブルＴ３は、空間的には、テーブルＴ２より４倍密画像の１ライン下側の位置であり、テーブルＴ４は、空間的には、テーブルＴ３より４倍密画像の１ライン下側の位置である。
【０２９０】
そして、図４６Ｂに示すように、４個のテーブルを４倍密画像から４枚の１倍密画像を得る時と逆の関係でもって合成し、最終的な絶対値和のテーブルＴ０を作成する。テーブルＴ０は、５×３×４種類の毎の絶対値和の分布を示すものである。このテーブルＴ０の中で、最小値を検出する。原点Ｏから最小値を与える参照ブロックの位置へのベクトルが動きベクトルとして検出される。このように、動きベクトル検出を４倍密度の画像の精度で行うことができる。
【０２９１】
なお、基準画像と垂直方向に４倍密画像との間で動きベクトルを検出する例について説明したが、垂直方向のみならず、水平方向又は垂直及び水平方向にＮ倍密画像と基準画像との間で動きベクトルを検出することもできる。Ｎは、好ましくは２以上の整数である。
【０２９２】
図４７は、基準画像と垂直方向に４倍密画像との間で動きベクトルを検出する動きベクトル検出装置４００の構成を示す。この動きベクトル検出装置４００は、基準画像（図４４Ａにおける画像Ｐｓ）をブロックに分解するブロック化回路４０１と、４倍密画像を基準画像と同じ密度で、且つ空間的に同じ関係のＮ枚例えば４枚の画像（図４４Ａにおける画像Ｐｈ１，Ｐｈ２，Ｐｈ３，Ｐｈ４）に分離する位相分離回路４０２を備える。位相分離回路４０２は、基準画像Ｐｓが入力され、４ラインの組の第１番目のラインのデータから第４番目のラインのデータまで、ライン毎に分離したデータを出力する。
【０２９３】
位相分離回路４０２の画像Ｐｈ１の出力がブロック化回路４０３に供給され、ブロックに分解され、画像Ｐｈ２の出力がブロック化回路４０４に供給され、ブロックに分解され、画像Ｐｈ３の出力がブロック化回路４０５に供給され、ブロックに分解され、画像Ｐｈ１の出力がブロック化回路４０６に供給され、ブロックに分解される。ブロック化回路４０６は、ブロック化回路４０１によるブロックと同一形状で同一サイズのブロック（例えば５×５画素）に画像Ｐｈ１〜Ｐｈ４をそれぞれ細分化するものである。
【０２９４】
ブロック化回路４０１の出力が誤差検出回路４０７，４０８，４０９，４１０に共通に供給される。誤差検出回路４０７の他方の入力として、ブロック化回路３の出力が供給される。誤差検出回路４０７は、基準画像のブロックＢｓとブロック化回路４０３からの画像Ｐｈ１のブロックとの間で、ブロック内の対応する位置の画素同士の画素値の差分絶対値和を集計する。そして、参照ブロックの位置毎に絶対値和を記憶するテーブルＴ１を作成する。
【０２９５】
誤差検出回路４０８の他方の入力として、ブロック化回路４０４の出力が供給される。誤差検出回路４０８は、基準画像のブロックとブロック化回路４０４からの画像Ｐｈ２のブロックとの間で、ブロック内の対応する位置の画素同士の画素値の差分絶対値和を集計する。そして、参照ブロックの位置毎に絶対値和を記憶するテーブルＴ２を作成する。同様に、誤差検出回路４０９が基準画像のブロックと画像Ｐｈ３のブロックとの間の差分の絶対値和のテーブルＴ３を作成し、誤差検出回路４１０が基準画像のブロックと画像Ｐｈ４のブロックとの間の差分の絶対値和のテーブルＴ４を作成する。
【０２９６】
誤差検出回路４０７〜４１０のそれぞれにより作成されたテーブルＴ１〜Ｔ４が位相合成回路４１１に供給される。位相合成回路４１１は、位相分離回路２における位相分離と逆に絶対値和を合成し、位相合成回路４１１によって最終的なテーブルＴ０が作成される。位相合成回路４１１により作成されたテーブルＴ０を参照して動きベクトル検出回路４１２が動きベクトルを検出する。すなわち、動きベクトル検出回路４１２は、絶対値和の中の最小値を検出し、動きベクトルを出力する。図４７のブロック図の下側には、位相分離回路４０２、誤差検出回路４０７〜４１０、動きベクトル検出回路４１２のそれぞれの処理における２つの画像の画素及び差分の絶対値和の空間的関係を概略的に表す。
【０２９７】
以上のように、この画像処理装置３００による学習処理においては、教師画像及び生徒画像の他、蓄積画像が参照されて予測係数が算出される。また予測係数の算出にあたり、注目画素の動きも、特徴量の１つとされて、注目画素のクラス分類が行われる。その結果、注目画素が静止であると判定された場合、すなわち、静止というクラスに分類された場合、静止部分のノイズが効果的に低減されている蓄積画像の画素情報をより多く学習し、また注目画素が動きであると判定された場合、すなわち、動きというクラスに分類された場合、動き部分のノイズが効果的に行われる生徒画像の画素情報をより多く学習することができる。
【０２９８】
上述の各画像処理装置１００，１９０は、この画像処理装置３００による学習処理で算出した予測係数を利用した画像生成処理を実行することで、入力画像に含まれるノイズを低減したり、特徴領域のエッジを補正することができる。
【０２９９】
なお、以上においては、画像処理装置３００による学習処理により算出された予測係数が、上述の画像生成処理を行う画像処理装置１００，１９０のＲＯＭテーブル１０８，１９６に記憶される場合を例として説明したが、出力画像を生成するのに必要な、画素値、他の係数又は所定の式を示すデータを生成し、それをＲＯＭテーブル１０８，１９６に記憶させるようにすることもできる。
【０３００】
また、以上においては、ノイズが低減された画像又は特徴領域のエッジがぼけていない画像を生成する場合を例として説明したが、階調度、画素、データのビット数において、入力画像より高画質な画像を生成する場合においても、本発明を適用することができる。
【０３０１】
また、以上においては、入力画像がプログレッシブ画像である場合を例として説明したが、インタレース画像である場合においても、本発明を適用することができる。
【０３０２】
さらに、上述のような画像処理装置１００，１９０，３００における一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した画像処理装置１００が機能的に実現される。
【０３０３】
図４８は、上述のような画像処理装置１００、１９０，３００として機能するコンピュータ５０１の一実施の形態の構成を示すブロック図である。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５１１にはバス５１５を介して入出力インタフェース５１６が接続されており、ＣＰＵ５１１は、入出力インタフェース５１６を介して、ユーザから、キーボード、マウスなどよりなる入力部５１８から指令が入力されると、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５１２、ハードディスク５１４、又はドライブ５２０に装着される磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、若しくは半導体メモリ５３４などの記録媒体に格納されているプログラムを、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５１３にロードして実行する。これにより、上述した各種の処理が行われる。さらに、ＣＰＵ５１１は、その処理結果を、例えば、入出力インタフェース５１６を介して、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などよりなる表示部５１７に必要に応じて出力する。なお、プログラムは、ハードディスク５１４やＲＯＭ５１２に予め記憶しておき、コンピュータ５０１と一体的にユーザに提供したり、磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、半導体メモリ５３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部５１９を介してハードディスク５１４に提供することができる。
【０３０４】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３０５】
【発明の効果】
以上のように、本発明に係る画像処理装置及び方法、並びに記録媒体のプログラムによれば、第１の画像を取得し、取得された第１の画像を記憶し、記憶された第１の画像に対応した位置に、取得された新たな第１の画像を記憶することで、第１の画像の蓄積画像を記憶し、第２の画像の注目画素の位置に基づいて、蓄積画像と、取得された第１の画像の両方から、第１の画素情報を切り出し、第１の画素情報から、所定の特徴量を抽出し、特徴量に基づいて、注目画素を、複数のクラスのうちのいずれかに分類し、注目画素の位置に基づいて、蓄積画像と、取得された第１の画像の両方から、第２の画素情報を切り出し、第２の画素情報を利用して、分類されたクラスに対応して予め設定された生成方式に従い、注目画素を生成するようにしたので、第１の画像より高画質な第２の画像を適切に生成することができる。
【０３０６】
また、本発明に係る画像処理装置及び方法、並びに記録媒体のプログラムによれば、記憶された生徒画像に対応した位置に、生成された新たな生徒画像を記憶して、生徒画像の蓄積画像を記憶し、第２の画像に相当する教師画像の注目画素の位置に基づいて、蓄積画像と、生成された生徒画像の両方から、第１の画素情報を切り出し、第１の画素情報から、所定の特徴量を抽出し、特徴量に基づいて、注目画素を、複数のクラスのうちのいずれかに分類し、注目画素の位置に基づいて、蓄積画像と、生成された第１の画像の両方から、第２の画素情報を切り出し、第２の画素情報及び教師画像を利用して、分類されたクラス毎に、所定のデータを求めるようにしたので、第１の画像より高画質な第２の画像を生成することができる。
【図面の簡単な説明】
【図１】  従来の画像処理装置の構成例を示すブロック図である。
【図２】  従来の画像処理装置の他の構成例を示すブロック図である。
【図３】  図２の画像処理装置におけるクラスタップの構造を示す図である。
【図４】  図２の画像処理装置における予測タップの構造を示す図である。
【図５】  従来の画像処理装置の他の構成例を示すブロック図である。
【図６】  図５の画像処理装置における動きベクトル検出方法を説明する図である。
【図７】  図５の画像処理装置におけるタップ配置決定処理を説明するフローチャートである。
【図８】  探索範囲を説明する図である。
【図９】  従来の画像処理装置の他の構成例を示すブロック図である。
【図１０】  特徴領域のエッジがぼけていない画像を生成する画像処理装置の構成例を示すブロック図である。
【図１１】  図１０の画像処理装置における特徴領域抽出部の構成例を示すブロック図である。
【図１２】  特徴領域及びそれ以外の画素のレベル分布を示す図である。
【図１３】  本発明を適用した画像処理装置の構成例を示すブロック図である。
【図１４】  図１３の画像処理装置における蓄積画像生成部の構成例を示すブロック図である。
【図１５】  図１３の画像処理装置における蓄積画像生成部の他の構成例を示すブロック図である。
【図１６】  図１３の画像処理装置における蓄積画像生成部の他の構成例を示すブロック図である。
【図１７】  図１３の画像処理装置における領域切出部の構成例を示すブロック図である。
【図１８】  図１３の画像処理装置におけるクラスタップの構造を示す図である。
【図１９】  図１３の画像処理装置における特徴量抽出部の構成例を示すブロック図である。
【図２０】  図１３の画像処理装置における領域切出部の構成例を示すブロック図である。
【図２１】  本発明を適用した画像処理装置の他の構成例を示すブロック図である。
【図２２】  図２１の画像処理装置における領域切出部の構成例を示すブロック図である。
【図２３】  図２１の画像処理装置における特徴量抽出部の構成例を示すブロック図である。
【図２４】  図２１の画像処理装置におけるクラスタップの構造を示す図である。
【図２５】  図２１の画像処理装置における予測タップの構造を示す図である。
【図２６】  特徴領域の画素の位相を所定の位相だけずれにようにして合成することにより入力画像から高精細の画像を生成する場合の特徴領域及びそれ以外の画素の他のレベル分布を示す図である。
【図２７】  図２１の画像処理装置におけるクラスタップの他の構造を示す図である。
【図２８】  図２１の画像処理装置における予測タップの他の構造を示す図である。
【図２９】  図２１の画像処理装置において実行される画像処理の手順を示すフローチャートである。
【図３０】  本発明を適用した学習処理を実行する画像処理装置の構成例を示すブロック図である。
【図３１】  図３０の画像処理装置における生徒画像生成部の構成例を示すブロック図である。
【図３２】  図３０の画像処理装置における生徒画像生成部の他の構成例を示すブロック図である。
【図３３】  図３０の画像処理装置における生徒画像生成部の他の構成例を示すブロック図である。
【図３４】  図３０の画像処理装置における領域切出部により切り出されるブロックを説明する図である。
【図３５】  図３０の画像処理装置において実行される学習処理の手順を示すフローチャートである。
【図３６】  図３０の画像処理装置における生徒画像生成部として上述の図３１の構成を採用した場合に実行される生徒画像の生成処理の手順を示すフローチャートである。
【図３７】  図３０の画像処理装置における生徒画像生成部として上述の図３２の構成を採用した場合に実行される生徒画像の生成処理の手順を示すフローチャートである。
【図３８】  図３０の画像処理装置における生徒画像生成部として上述の図３３の構成を採用した場合に実行される生徒画像の生成処理の手順を示すフローチャートである。
【図３９】  図３０の画像処理装置における生徒画像生成部において生成する生徒画像よりも教師画像の解像度が高い場合に実行される生徒画像の生成処理の手順を示すフローチャートである。
【図４０】  図３０の画像処理装置における蓄積画像生成部として図１４の構成を採用した場合に実行される蓄積画像の生成処理の手順を示すフローチャートである。
【図４１】  図３０の画像処理装置における蓄積画像生成部として図１５の構成を採用した場合に実行される蓄積画像の生成処理の手順を示すフローチャートである。
【図４２】  図３０の画像処理装置における蓄積画像生成部として図１６の構成を採用した場合に実行される蓄積画像の生成処理の手順を示すフローチャートである。
【図４３】  図３０の画像処理装置における蓄積画像生成部において生成する生徒画像よりも蓄積画像の解像度が高い場合に実行される蓄積画像の生成処理の手順を示すフローチャートである。
【図４４】  入力画像（生徒画像）より高画質な画像（蓄積画像）を生成する場合の動きベクトル検出処理における基準画像及び４倍密画像を説明する図である。
【図４５】  基準ブロックと参照ブロックの関係を示す図である。
【図４６】  絶対値和テーブルを説明する図である。
【図４７】  基準画像と垂直方向に４倍密画像との間で動きベクトルを検出する動きベクトル検出装置の構成を示すブロック図である。
【図４８】  上述のような画像処理装置として機能するコンピュータの構成例を示すブロック図である。
【符号の説明】
１９０  画像処理装置、１９１  蓄積画像生成部、１９２  蓄積画像用メモリ、１９３、１９７  領域切出部、１９４  特徴量抽出部、１９５  クラスコード発生部、１９６  ＲＯＭテーブル、１９８  推定演算部
【図１】
0004725001.tif 000002
【図２】
0004725001.tif 000003
【図３Ａ】
0004725001.tif 000004
【図３Ｂ】
0004725001.tif 000005
【図３Ｃ】
0004725001.tif 000006
【図４Ａ】
0004725001.tif 000007
【図４Ｂ】
0004725001.tif 000008
【図４Ｃ】
0004725001.tif 000009
【図５】
0004725001.tif 000010
【図６】
0004725001.tif 000011
【図７】
0004725001.tif 000012
【図８】
0004725001.tif 000013
【図９】
0004725001.tif 000014
【図１０】
0004725001.tif 000015
【図１１】
0004725001.tif 000016
【図１２Ａ】
0004725001.tif 000017
【図１２Ｂ】
0004725001.tif 000018
【図１３】
0004725001.tif 000019
【図１４】
0004725001.tif 000020
【図１５】
0004725001.tif 000021
【図１６】
0004725001.tif 000022
【図１７】
0004725001.tif 000023
【図１８Ａ】
0004725001.tif 000024
【図１８Ｂ】
0004725001.tif 000025
【図１９】
0004725001.tif 000026
【図２０】
0004725001.tif 000027
【図２１】
0004725001.tif 000028
【図２２】
0004725001.tif 000029
【図２３】
0004725001.tif 000030
【図２４】
0004725001.tif 000031
【図２５Ａ】
0004725001.tif 000032
【図２５Ｂ】
0004725001.tif 000033
【図２６Ａ】
0004725001.tif 000034
【図２６Ｂ】
0004725001.tif 000035
【図２７Ａ】
0004725001.tif 000036
【図２７Ｂ】
0004725001.tif 000037
【図２８】
0004725001.tif 000038
【図２９】
0004725001.tif 000039
【図３０】
0004725001.tif 000040
【図３１】
0004725001.tif 000041
【図３２】
0004725001.tif 000042
【図３３】
0004725001.tif 000043
【図３４Ａ】
0004725001.tif 000044
【図３４Ｂ】
0004725001.tif 000045
【図３５】
0004725001.tif 000046
【図３６】
0004725001.tif 000047
【図３７】
0004725001.tif 000048
【図３８】
0004725001.tif 000049
【図３９】
0004725001.tif 000050
【図４０】
0004725001.tif 000051
【図４１】
0004725001.tif 000052
【図４２】
0004725001.tif 000053
【図４３】
0004725001.tif 000054
【図４４Ａ】
0004725001.tif 000055
【図４４Ｂ】
0004725001.tif 000056
【図４５】
0004725001.tif 000057
【図４６Ａ】
0004725001.tif 000058
【図４６Ｂ】
0004725001.tif 000059
【図４７】
0004725001.tif 000060
【図４８】
0004725001.tif 000061