(57)【特許請求の範囲】
【請求項１】
入力データを処理し、その処理結果としての出力データを出力するデータ処理装置であって、
現在の前記入力データの信頼度である現在の入力信頼度を計算し、１サンプル前の前記出力データの信頼度である１サンプル前の出力信頼度を、前記１サンプル前の出力信頼度と前記現在の入力信頼度の和で除算することで、現在の前記出力データを求めるのに用いる重みを計算するとともに、前記現在の入力信頼度と前記１サンプル前の出力信頼度を加算して現在の出力信頼度を演算する実時間学習手段と、
前記実時間学習手段により計算された前記重みと１サンプル前の前記出力データの乗算結果と、１から前記重みを引いた差と現在の前記入力データの乗算結果の和を、現在の前記入力データに対する出力データとして出力するデータ処理手段と
を備えることを特徴とするデータ処理装置。
【請求項２】
前記入力データおよび前記出力データの信頼度は、前記入力データおよび前記出力データの分散の逆数で求められる
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
入力データを処理し、その処理結果としての出力データを出力するデータ処理方法であって、
現在の前記入力データの信頼度である現在の入力信頼度を計算し、１サンプル前の前記出力データの信頼度である１サンプル前の出力信頼度を、前記１サンプル前の出力信頼度と前記現在の入力信頼度の和で除算することで、現在の前記出力データを求めるのに用いる重みを計算するとともに、前記現在の入力信頼度と前記１サンプル前の出力信頼度を加算して現在の出力信頼度を演算する実時間学習ステップと、
前記実時間学習ステップにおいて計算された前記重みと１サンプル前の前記出力データの乗算結果と、１から前記重みを引いた差と現在の前記入力データの乗算結果の和を、現在の前記入力データに対する出力データとして出力するデータ処理ステップと
を備えることを特徴とするデータ処理方法。
【請求項４】
入力画像データを処理し、その処理結果としての出力画像データを出力するデータ処理装置であって、
前記入力画像データと所定の予測係数との線形結合により前記入力画像データを処理するとともに、その処理された前記出力画像データを出力するデータ処理手段と、
前記入力画像データに対応して順次取得される、前記入力画像データに対応する教師データおよび前記教師データに対応する学習データを用いて、前記出力画像データに対応する前記学習データの位置の周辺にある前記学習データを予測タップとして抽出し、抽出された予測タップと前記予測係数との積和演算で得られる前記教師データの予測値の予測誤差が最小となるように前記予測係数を学習するとともに、その学習された前記予測係数を前記データ処理手段に転送する実時間学習手段と
を備えることを特徴とするデータ処理装置。
【請求項５】
前記実時間学習手段では、前記入力画像データに対応する教師データが学習用のデータとして順次供給されることにより、前記入力画像データに対応する教師データが取得される
ことを特徴とする請求項４に記載のデータ処理装置。
【請求項６】
前記実時間学習手段は、過去の前記学習用のデータを、所定の割合で忘却しながら前記予測係数を学習する
ことを特徴とする請求項５に記載のデータ処理装置。
【請求項７】
前記実時間学習手段では、前記入力画像データから教師データを順次生成することにより、前記入力画像データに対応する教師データが取得される
ことを特徴とする請求項４に記載のデータ処理装置。
【請求項８】
前記実時間学習手段は、
前記教師データに対応する学習データの特徴量を抽出する特徴量抽出手段と、
抽出された前記学習データの特徴量に応じて複数の前記予測タップのタップ構造を生成するタップ生成手段と、
前記教師データの予測値の予測誤差が最小となるように前記予測係数を学習する学習手段であって、前記学習手段で用いられる前記予測タップの構造が前記タップ生成手段により生成された複数の前記予測タップのタップ構造と１対１に対応する複数の学習手段と、
前記複数の学習手段によりそれぞれ学習された複数の前記予測係数のうち、前記入力画像データに対応する教師データとの予測誤差が最小の前記予測係数を、前記データ処理手段に転送する判定手段と
を備える
ことを特徴とする請求項４に記載のデータ処理装置。
【請求項９】
入力画像データを処理し、その処理結果としての出力画像データを出力するデータ処理方法であって、
前記入力画像データと所定の予測係数との線形結合により前記入力画像データを処理するとともに、その処理された前記出力画像データを出力するデータ処理ステップと、
前記入力画像データに対応して順次取得される、前記入力画像データに対応する教師データおよび前記教師データに対応する学習データを用いて、前記出力画像データに対応する前記学習データの位置の周辺にある前記学習データを予測タップとして抽出し、抽出された予測タップと前記予測係数との積和演算で得られる前記教師データの予測値の予測誤差が最小となるように、前記データ処理ステップで用いられる前記予測係数を学習する実時間学習ステップと
を備えることを特徴とするデータ処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法に関し、特に、入力データを処理する処理方式を、実時間で学習することにより、入力データが適応的に処理され、その結果得られる出力データが、時間の経過とともに改善されるようにするデータ処理装置およびデータ処理方法に関する。
【０００２】
【従来の技術】
図１８は、従来のデータ処理装置の一例の構成を示している。
【０００３】
処理すべき入力データは、判定部９１、および処理部９２1乃至９２Mに供給される。処理部９２1乃至９２Mでは、入力データが、それぞれ異なった処理方式で処理され、選択部９３に供給される。
【０００４】
一方、判定部９１では、例えば、入力データの特徴量が抽出され、その特徴量に基づいて、処理部９２1乃至９２Mの出力のうちのいずれかを選択するように、選択部９３が制御される。選択部９３では、判定部９１の制御にしたがい、処理部９２1乃至９２Mの出力のうちのいずれかが選択され、出力データとして出力される。
【０００５】
即ち、処理部９２1乃至９２Mでは、それぞれ異なった処理方式で入力データが処理されるようになされており、判定部９１は、入力データの特徴量に基づき、それらの処理方式から最も適したものを選択し、その処理方式による入力データの処理結果を、選択部９３に選択させるようになされている。
【０００６】
従って、図１８のデータ処理装置では、例えば、入力データが画像データであり、処理部９２1乃至９２Mそれぞれが、画像データをフィルタリングする、タップ係数の異なるフィルタであるとすると、判定部９１においては、処理部９２1乃至９２Mのうち、データ処理装置の設計者が最も適切であると考えるタップ係数を有するフィルタとして機能するものが、入力データの特徴量に基づいて決定され、選択部９３において、そのフィルタリング結果が、出力データとして選択される。
【０００７】
【発明が解決しようとする課題】
以上のように、従来のデータ処理装置では、処理部９２1乃至９２Mのうち、データ処理装置の設計者が最も適切であると考えるタップ係数を有するフィルタとして機能するものの処理結果が選択されるが、そのようなタップ係数によって入力データを処理することが、真に、入力データにとって適切であるとは限らない。
【０００８】
即ち、処理部９２1乃至９２Mそれぞれが有するタップ係数のいずれでもないタップ係数によってフィルタリングを行った方が、入力データに適しており、その結果、出力データも、より改善されたものが得られることがある。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、入力データを処理する処理方式を、実時間で学習することにより、入力データが適応的に処理され、その結果得られる出力データが、時間の経過とともに改善されるようにするものである。
【００１０】
【課題を解決するための手段】
本発明の第１のデータ処理装置は、現在の入力データの信頼度である現在の入力信頼度を計算し、１サンプル前の出力データの信頼度である１サンプル前の出力信頼度を、１サンプル前の出力信頼度と現在の入力信頼度の和で除算することで、現在の出力データを求めるのに用いる重みを計算するとともに、現在の入力信頼度と１サンプル前の出力信頼度を加算して現在の出力信頼度を演算する実時間学習手段と、実時間学習手段により計算された重みと１サンプル前の出力データの乗算結果と、１から重みを引いた差と現在の入力データの乗算結果の和を、現在の入力データに対する出力データとして出力するデータ処理手段とを備えることを特徴とする。
【００１１】
本発明の第１のデータ処理方法は、現在の入力データの信頼度である現在の入力信頼度を計算し、１サンプル前の出力データの信頼度である１サンプル前の出力信頼度を、１サンプル前の出力信頼度と現在の入力信頼度の和で除算することで、現在の出力データを求めるのに用いる重みを計算するとともに、現在の入力信頼度と１サンプル前の出力信頼度を加算して現在の出力信頼度を演算する実時間学習ステップと、実時間学習ステップにおいて計算された重みと１サンプル前の出力データの乗算結果と、１から重みを引いた差と現在の入力データの乗算結果の和を、現在の入力データに対する出力データとして出力するデータ処理ステップとを備えることを特徴とする。
本発明の第２のデータ処理装置は、入力画像データと所定の予測係数との線形結合により入力画像データを処理するとともに、その処理された出力画像データを出力するデータ処理手段と、入力画像データに対応して順次取得される、入力画像データに対応する教師データおよび教師データに対応する学習データを用いて、出力画像データに対応する学習データの位置の周辺にある学習データを予測タップとして抽出し、抽出された予測タップと予測係数との積和演算で得られる教師データの予測値の予測誤差が最小となるように予測係数を学習するとともに、その学習された予測係数をデータ処理手段に転送する実時間学習手段とを備えることを特徴とする。
本発明の第２のデータ処理方法は、入力画像データと所定の予測係数との線形結合により入力画像データを処理するとともに、その処理された出力画像データを出力するデータ処理ステップと、入力画像データに対応して順次取得される、入力画像データに対応する教師データおよび教師データに対応する学習データを用いて、出力画像データに対応する学習データの位置の周辺にある学習データを予測タップとして抽出し、抽出された予測タップと予測係数との積和演算で得られる教師データの予測値の予測誤差が最小となるように、データ処理ステップで用いられる予測係数を学習する実時間学習ステップとを備えることを特徴とする。
【００１２】
本発明の第１のデータ処理装置およびデータ処理方法においては、現在の入力データの信頼度である現在の入力信頼度が計算され、１サンプル前の出力データの信頼度である１サンプル前の出力信頼度が、１サンプル前の出力信頼度と現在の入力信頼度の和で除算されることで、現在の出力データを求めるのに用いる重みが計算されるとともに、現在の入力信頼度と１サンプル前の出力信頼度が加算されて現在の出力信頼度が演算される。そして、計算された重みと１サンプル前の出力データの乗算結果と、１から重みを引いた差と現在の入力データの乗算結果の和が、現在の入力データに対する出力データとして出力される。
【００１３】
本発明の第２のデータ処理装置およびデータ処理方法においては、入力画像データと所定の予測係数との線形結合により入力画像データが処理され、その処理された出力画像データが出力される。また、入力画像データに対応して順次取得される、入力画像データに対応する教師データおよび教師データに対応する学習データを用いて、出力画像データに対応する学習データの位置の周辺にある学習データが予測タップとして抽出され、抽出された予測タップと予測係数との積和演算で得られる教師データの予測値の予測誤差が最小となるように予測係数が学習され、学習された予測係数が線形結合に用いられる。
【００１４】
【発明の実施の形態】
図１は、本発明を適用した自己適応処理回路の一実施の形態の構成例を示している。
【００１５】
この自己適応処理回路においては、処理対象の入力データ（ここでは、例えば、ディジタルデータとする）である処理用入力データに対して最適な処理方式による処理が施され、その結果得られる出力データが出力されるようになされている。
【００１６】
即ち、自己適応処理回路は、実時間学習部１（実時間学習手段）と、データ処理部２（データ処理手段）とから構成されている。
【００１７】
実時間学習部１には、処理用入力データを処理する処理方式の学習に用いられる学習用入力データが供給されるようになされており、実時間学習部１は、その学習用入力データに基づき、処理用入力データが適応的に処理されることにより、出力データが時間の経過とともに改善されるように、処理方式を、実時間で学習し、その学習の結果得られた処理方式で処理を行うように、データ処理部２を制御する。
【００１８】
データ処理部２では、実時間学習部１から指示された処理方式によって、処理用入力データが適応的に処理され、その処理の結果得られる出力データが出力される。
【００１９】
従って、データ処理部２では、上述したような実時間学習された処理方式で、処理用入力データが処理されるので、その処理用入力データに対して、適応的に処理が施され、これにより、その出力データは時間の経過とともに改善される。
【００２０】
即ち、データ処理部２が、処理用入力データを処理する処理方式は、実時間学習部１における実時間学習によって改善されていく。データ処理部２は、実時間学習部１から指示される処理方式によって、処理用入力データが適応的に処理され、時間の経過（処理用入力データの処理量）に伴い、いわば学習の効果が徐々に現れ、データ処理部２が出力する出力データは、時間の経過とともに改善されていく（これは、データ処理部２の処理方式が、時間の経過とともに、処理用入力データを処理するのに適したものに改善されていっているということもできる）。
【００２１】
以上のように、自己適応処理回路では、処理用入力データが適応的に処理されることにより、出力データが時間の経過とともに改善されるように、処理方式が、実時間で学習され、その学習の結果得られた処理方式で処理が行われる結果、処理用入力データには、それ自身（自己）に適した処理が施される。このことから、図１の自己適応処理回路が行う処理は、自己適応処理ということができる。
【００２２】
ここで、出力データの改善とは、例えば、処理用入力データが画像であれば、その画質が向上すること等、具体的には、例えば、Ｓ／Ｎや解像度が向上することなどを意味する。また、データ処理部２における処理の目的が、スムージングやエッジ強調であれば、その効果が顕著に現れることを意味する。従って、出力データの改善とは、ユーザが希望する状態の出力データとすることを意味する。
【００２３】
なお、実時間学習部１においては、そこに入力される学習用入力データに基づいて、処理用入力データを処理する処理方式の実時間学習が行われるが、学習用入力データとしては、図１において点線で示すように、データ処理部２に入力される処理用入力データや、データ処理部２から出力される出力データ（例えば、その周波数特性など）、さらには、自己適応処理回路に対して、処理用入力データの処理方式の学習を行うために供給される補助入力データなどを用いることが可能である。また、学習用入力データとしては、上述のデータのうちの２以上を用いることもできる。
【００２４】
次に、自己適応処理回路において、データ処理部２の処理方式は、実時間学習部１が実時間学習することで時々刻々改善されることになるが（従って、自己適応処理回路は、いわば時変システムである）、処理方式の改善は、大きく、処理のアルゴリズムが変更される場合と、一連の処理を構成する処理ステップ（処理の構成要素）の内容が変更される場合とに分けることができる。
【００２５】
即ち、例えば、いま、処理用入力データをｘと、出力データをｙと表すと、データ処理部２における処理は、関数ｆ（）を用いて、式ｙ＝ｆ（ｘ）と表すことができる。
【００２６】
例えば、ｆ（ｘ）＝ａ0ｘ2＋ｂ0ｘ＋ｃ0とした場合、データ処理部２の処理は、例えば、図２（Ａ）に示すようなフローチャートで表すことができる。
【００２７】
即ち、ステップＳ１において、ａ0ｘ2が計算され、ステップＳ２に進み、ｂ0ｘが計算される。そして、ステップＳ３において、ａ0ｘ2＋ｂ0ｘ＋ｃ0が計算され、これにより、出力データｙが求められる。
【００２８】
この場合において、関数ｆ（ｘ）の、いわば形を変更するのが、処理のアルゴリズムの変更に相当する。即ち、例えば、関数ｆ（ｘ）＝ａ0ｘ2＋ｂ0ｘ＋ｃ0を、ｆ（ｘ）＝（ａ0ｘ2＋ｂ0ｘ＋ｃ0）2などに変更するのが、処理のアルゴリズムの変更に相当する。
【００２９】
この場合、データ処理部２の処理は、例えば、図２（Ｂ）に示すようなフローチャートで表すことができる。
【００３０】
即ち、ステップＳ１乃至Ｓ３それぞれにおいて、図２（Ａ）における場合と同様の処理が行われ、ステップＳ４に進み、（ａ0ｘ2＋ｂ0ｘ＋ｃ0）2が計算され、これにより、出力データｙが求められる。
【００３１】
図２（Ａ）のフローチャートと、図２（Ｂ）のフローチャートとを比較して分かるように、処理のアルゴリズムが変更された場合には、その処理を表現するフローチャートも変更されることになる。
【００３２】
また、関数ｆ（ｘ）における係数を変更するのが、処理を構成する構成要素の内容の変更に相当する。即ち、例えば、関数ｆ（ｘ）＝ａ0ｘ2＋ｂ0ｘ＋ｃ0を、ｆ（ｘ）＝ａ1ｘ2＋ｂ1ｘ＋ｃ1に変更するのが、処理の構成要素の内容の変更に相当する。
【００３３】
この場合、データ処理部２の処理は、図２（Ａ）と同様の図３（Ａ）のフローチャートで表されるものから、例えば、図３（Ｂ）のフローチャートで表されるものに変更される。
【００３４】
即ち、この場合、ステップＳ１において、ａ1ｘ2が計算され、ステップＳ２に進み、ｂ1ｘが計算される。そして、ステップＳ３において、ａ1ｘ2＋ｂ1ｘ＋ｃ1が計算され、これにより、出力データｙが求められる。
【００３５】
図３（Ａ）のフローチャートと、図３（Ｂ）のフローチャートとを比較して分かるように、関数ｆ（ｘ）における係数が変更された場合には、処理を構成する処理ステップの内容が変更される（図３では、ステップＳ１は、ａ0ｘ2の計算からａ1ｘ2の計算に、ステップＳ２は、ｂ0ｘの計算からｂ1ｘの計算に、ステップＳ３は、ａ0ｘ2＋ｂ0ｘ＋ｃ0の計算からａ1ｘ2＋ｂ1ｘ＋ｃ1の計算に、それぞれ変更されている）。
【００３６】
なお、処理方式の改善は、処理のアルゴリズムの変更と、処理の構成要素の内容の変更との両方により行われる場合もある。
【００３７】
また、図２および図３の説明に用いた関数は、処理方式の改善を説明するためだけに用いた例であり、データ処理部２における処理を表す関数が、図２や図３で説明したように変更された場合に、実際に、出力データが改善されるかどうかといった問題とは無関係である。
【００３８】
ここで、自己適応処理回路では、関数ｆ（ｘ）における係数の変更が、実時間学習により、いわば新たに生成された適応的な係数に基づいて行われる点で、従来における、例えば、ディジタルフィルタなどとは異なる。即ち、従来のディジタルフィルタでは、そのタップ係数を、入力データなどに基づいて変更する場合があるが、変更されるタップ係数は、あらかじめ用意されたものであり、実時間学習により生成されたものではない。言い換えれば、従来のディジタルフィルタでは、あらかじめ用意されたタップ係数の中で、入力データに適しているとシステムの設計者が考えたものが選択されるだけであり、入力データに対して、適応的なタップ係数が求められるわけではない。その結果、入力データに対してより適したタップ係数があっても、あらかじめ用意されていなければ用いることができない。従って、上述のような従来のディジタルフィルタ等は、「適応的」にタップ係数を変更するシステム等と呼ばれることがあるが、正確には、「適応的」でははく、「選択的」なだけである。即ち、入力データに対して適応的なタップ係数が生成されるのではなく、入力データに対して一意的に選択されるタップ係数が用いられるシステムである。
【００３９】
これに対して、自己適応処理回路では、入力データが適応的に処理されるようなタップ係数が、実時間学習により生成される結果、入力データに対して真に最適なタップ係数を用いることができる。より具体的には、例えば、従来のディジタルフィルタでは、例えば、２セットのタップ係数が、あらかじめ用意されている場合には、その２セットのタップ係数のうちの、入力データに対して適しているとシステムの設計者が考えるものが一意的に選択されて用いられることになるが、自己適応処理回路では、入力データを処理するためのタップ係数が、実時間学習により時々刻々と改善されていくことで、入力データに対してより適したタップ係数が求められ、そのようなタップ係数を用いて、処理（従って、入力データに対して適応的な処理）が行われることになる。
【００４０】
さらに、自己適応処理回路では、出力データが時々刻々と改善されていく点で、入力データに対して適応的な処理を施すが、出力データが改善されることがない従来の、例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理などとは異なる。即ち、ＡＤＲＣ処理においては、例えば、画像のあるブロックについて、そのブロックを構成する画素の画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。具体的には、ブロック内の各画素値から、最小値ＭＩＮが減算され、その減算値がＤＲ／２Kで除算（量子化）される。従って、画素値の量子化ステップＤＲ／２Kが、ブロックのダイナミックレンジＤＲに基づいて求められ、その量子化ステップＤＲ／２Kで、画素値が量子化される点では、入力データに対して適応的な処理が施されているが、その量子化結果としての出力データは時々刻々と改善されていくといった性質のものではない。
【００４１】
次に、実時間学習部１では、例えば、現在時刻をｔとするとき、その現在時刻ｔにおける実時間学習において、出力データを時間の経過とともに改善するために、基本的に、いままでの学習用入力データのサンプル値すべてを考慮するが、現在時刻ｔと時間的に近い位置のサンプル値に重みをおき、遠い位置のサンプル値はあまり考慮しない方が、出力データが効果的に改善されることがある。従って、実時間学習部１では、学習用入力データに対して、そのような重み付けをして、即ち、現在時刻ｔから時間的に離れた学習用入力データのサンプル値を、その離れ具合に対応した割合で忘却するようにして、実時間学習を行うことが可能である。極端には、現在時刻ｔから、所定の時間的範囲内にある学習用入力データのみを用いるようにすることが可能である。即ち、例えば、図４に示すように、現在時刻ｔから±４サンプルの範囲にある学習用入力データのみを、現在時刻ｔにおける実時間学習において用いるようにすることが可能である。これは、現在時刻ｔから５サンプル以上離れている学習用入力データに対する重みを０とすることで行うことが可能である。
【００４２】
また、現在時刻ｔにおける実時間学習では、その現在時刻ｔにおける学習用入力データのサンプル値から所定の範囲内にあるサンプル値だけを用いるようにすることも可能である。即ち、例えば、図４において、時刻ｔ−２における学習用データのサンプル値は、現在時刻ｔにおける学習用入力データのサンプル値とは大きく異なっているが、このようなサンプル値は、学習に悪影響を与えることがある。そこで、現在時刻ｔにおける学習用入力データのサンプル値とは大きく異なっているサンプル値は、その現在時刻ｔにおける実時間学習においては用いないようにすること（重みを０とすること）が可能である。
【００４３】
次に、図５は、図１の自己適応処理回路を適用したＮＲ（Noise Reduction）処理回路の一実施の形態の構成例を示している。
【００４４】
このＮＲ処理回路においては、そこにノイズを有する入力データが入力されると、入力データに対して自己適応処理が施されることにより、入力データからノイズを効果的に除去した出力データが出力されるようになされている。
【００４５】
即ち、例えば、いま、説明を簡単にするために、図６（Ａ）に示すような、真値が一定で、かつ時間的に変動するノイズが重畳された入力データについて、その平均をとることで、時間的に変動するノイズを除去することを考えると、ノイズの度合いとしての、例えば、ノイズのレベルが大きい入力データ（従って、Ｓ／Ｎの悪いデータ）については、その重みを小さくし（あまり考慮しないようにする）、ノイズのレベルの小さい入力データ（従って、Ｓ／Ｎの良いデータ）については、その重みを大きくすることにより、ノイズを効果的に除去することができる。
【００４６】
そこで、図５のＮＲ処理回路では、入力データの評価値として、例えば、図６（Ｂ）に示すような、入力データの、真値に対する近さ、即ち、入力データが真値であることの信頼性を表す信頼度を実時間学習により求め、その信頼度に対応した重み付けを入力データに対して行いながら、その平均を計算することで、ノイズを効果的に除去するようになっている。
【００４７】
従って、図５のＮＲ処理回路では、入力データについて、その信頼度に対応した重みを用いた重み付け平均が求められ、出力データとして出力されるから、いま、時刻ｔにおける入力データ、出力データ、入力データの信頼度を、それぞれｘ（ｔ），ｙ（ｔ），αx(t)と表すと、次式にしたがって、出力データｙ（ｔ）が求められることになる。
【００４８】
【数１】
0004517409.tif 000002
・・・（１）
なお、ここでは、入力データの信頼度αx(t)が大きいほど、大きな重みを与えることとしている。
【００４９】
式（１）から、現在時刻ｔから１サンプル前の出力データｙ（ｔ−１）は、次式で求められる。
【００５０】
【数２】
0004517409.tif 000003
・・・（２）
【００５１】
また、出力データｙ（ｔ）についても、その出力データｙ（ｔ）の評価値として、真値に対する近さ、即ち、出力データｙ（ｔ）が真値であることの信頼性を表す信頼度αy(t)を導入し、現在時刻ｔから１サンプル前の出力データｙ（ｔ−１）の信頼度αy(t-1)を、次式で定義する。
【００５２】
【数３】
0004517409.tif 000004
・・・（３）
【００５３】
この場合、式（１）乃至（３）から、出力データｙ（ｔ）およびその信頼度αy(t)は、次のように表すことができる。
【００５４】
【数４】
0004517409.tif 000005
・・・（４）
【００５５】
また、時刻ｔにおいて、出力データｙ（ｔ）を求めるのに用いる重みを、ｗ（ｔ）と表し、これを、次式で定義する。
【００５６】
ｗ（ｔ）＝αy(t-1)／（αy(t-1)＋αx(t)）・・・（５）
【００５７】
式（５）から、次式が成り立つ。
【００５８】
１−ｗ（ｔ）＝αx(t)／（αy(t-1)＋αx(t)）・・・（６）
【００５９】
式（５）および（６）を用いると、式（４）における出力データｙ（ｔ）は、次のような乗算と加算による重み付け平均によって表すことができる。
【００６０】
ｙ（ｔ）＝ｗ（ｔ）ｙ（ｔ−１）＋（１−ｗ（ｔ））ｘ（ｔ）・・・（７）
【００６１】
なお、式（７）で用いる重みｗ（ｔ）（および１−ｗ（ｔ））は、式（５）から、１サンプル前の出力データｙ（ｔ−１）の信頼度αy(t-1)と、現在の入力データｘ（ｔ）の信頼度αx(t)とから求めることができる。また、式（４）における現在の出力データｙ（ｔ）の信頼度αy(t)も、その１サンプル前の出力データｙ（ｔ−１）の信頼度αy(t-1)と、現在の入力データｘ（ｔ）の信頼度αx(t)とから求めることができる。
【００６２】
ここで、入力データｘ（ｔ）の信頼度αx(t)、または出力データｙ（ｔ）の信頼度αy(t)として、それぞれの分散σx(t)2、またはσy(t)2の逆数を用いることとすると、即ち、信頼度αx(t)，信頼度αy(t)を、式
αx(t)＝１／σx(t)2
αy(t)＝１／σy(t)2・・・（８）
とおくと、式（５）で定義される重みｗ（ｔ）は、次式で表される。
【００６３】
ｗ（ｔ）＝σx(t)2／（σy(t-1)2＋σx(t)2）・・・（９）
【００６４】
また、式（６）で定義される１−ｗ（ｔ）は、次式で表される。
【００６５】
１−ｗ（ｔ）＝σy(t-1)2／（σy(t-1)2＋σx(t)2）・・・（１０）
【００６６】
なお、σy(t)2は、式（４），（８），（９）から、次式で表される。
【００６７】
σy(t)2＝ｗ（ｔ）2σy(t-1)2＋（１−ｗ（ｔ））2σx(t)2・・・（１１）
【００６８】
図５のＮＲ処理回路は、入力データｘ（ｔ）および出力データｙ（ｔ）を学習用入力データとして、式（５）にしたがい、重みｗ（ｔ）を実時間学習（および式（６）にしたがって１−ｗ（ｔ）を実時間学習）し、その結果得られる重みｗ（ｔ）を用いて、式（７）にしたがい、１サンプル前の出力データｙ（ｔ−１）と、現在の入力データｘ（ｔ）との重み付け平均を計算することで、入力データｘ（ｔ）を適応的に処理し、その入力データｘ（ｔ）に含まれるノイズを効果的に除去するようになされている。即ち、これにより、ＮＲ処理回路が出力する出力データｙ（ｔ）のＳ／Ｎは、時間の経過とともに改善されていくようになされている。
【００６９】
ラッチ回路１１1には、入力データが供給されるようになされており、ラッチ回路１１1は、そこに供給される入力データを、例えば、その入力データが供給されるタイミングに同期してラッチ（記憶）し、その後段のラッチ回路１１2および入力信頼度計算部１２に供給するようになされている。ラッチ回路１１2またはラッチ回路１１3それぞれは、ラッチ回路１１1と同様に、その前段のラッチ回路１１1または１１2が出力する入力データをラッチし、その後段のラッチ回路１１3または１１4と、入力信頼度計算部１２に供給するようになされている。ラッチ回路１１4は、その前段のラッチ回路１１3が出力する入力データをラッチし、入力信頼度計算部１２に供給するようになされている。
【００７０】
入力信頼度計算部１２には、ラッチ回路１１1乃至１１4でラッチされた入力データが供給される他、ラッチ回路１１1に供給されるのと同一の入力データが供給されるようになされている。従って、いま、ラッチ回路１１1および入力信頼度計算部１２に、入力データｘ（ｔ）が供給されたとすると、入力信頼度計算部１２には、さらに、ラッチ回路１１1乃至１１4それぞれでラッチされた入力データｘ（ｔ−１）乃至ｘ（ｔ−４）も供給されるようになされている。そして、入力信頼度計算部１２は、入力データｘ（ｔ）乃至ｘ（ｔ−４）から、例えば、その分散を計算し、その分散の逆数を、入力データｘ（ｔ）の信頼度（以下、適宜、入力信頼度という）αx(t)として、出力信頼度計算部１３および重み計算部１５に供給するようになされている。
【００７１】
出力信頼度計算部１３は、入力信頼度計算部１２からの入力信頼度αx(t)と、ラッチ回路１４の出力とから、式（４）にしたがって、出力データｙ（ｔ）の信頼度（以下、適宜、出力信頼度という）αy(t)を求め、ラッチ回路１４に出力するようになされている。
【００７２】
ラッチ回路１４は、出力信頼度計算部１３からの出力信頼度αy(t)を、例えば、入力データｘ（ｔ）に同期してラッチし、出力信頼度計算部１３および重み計算部１５に供給するようになされている。従って、ラッチ回路１４から、出力信頼度計算部１３および重み計算部１５には、１サンプル前の出力信頼度αy(t-1)が供給されるようになされている。
【００７３】
重み計算部１５は、入力信頼度計算部１２からの入力信頼度αx(t)、およびラッチ回路１４からの出力信頼度αy(t-1)を用い、式（５）にしたがって、重みｗ（ｔ）を求め、重み付け部１６および演算器１７に出力するようになされている。
【００７４】
ここで、以上のラッチ回路１１1乃至１１4、入力信頼度計算部１２、出力信頼度計算部１３、ラッチ回路１４、および重み計算部１５が、図１の実時間学習部１に相当する。
【００７５】
重み付け部１６は、重み計算部１５からの重みｗ（ｔ）を、ラッチ回路２０の出力に乗算し、その乗算結果を、演算器１９に供給するようになされている。演算器１７は、重み計算部１５からの重みｗ（ｔ）を１から減算し、その減算値１−ｗ（ｔ）を、重み付け部１８に供給するようになされている。重み付け部１８には、演算器１７の出力の他、入力データｘ（ｔ）が供給されるようになされており、重み付け部１８は、演算器１７の出力と、入力データｘ（ｔ）とを乗算し、その乗算結果を、演算器１９に供給するようになされている。演算器１９は、重み付け部１６と１８の出力どうしを加算し、その加算結果を、出力データｙ（ｔ）として出力するとともに、ラッチ回路２０に供給するようになされている。ラッチ回路２０は、演算器１９からの出力データを、例えば、入力データｘ（ｔ）に同期してラッチし、重み付け部１６に供給するようになされている。
【００７６】
ここで、以上の重み付け部１６、演算器１７、重み付け部１８、演算器１９、およびラッチ回路２０が、図１のデータ処理部２に相当し、式（７）にしたがった重み付け平均を計算して、出力データｙ（ｔ）として出力するようになされている。
【００７７】
次に、図７のフローチャートを参照して、図５のＮＲ処理回路の動作について説明する。
【００７８】
まず最初に、ステップＳ１１において、入力データｘ（ｔ）が、ラッチ回路１１1、入力信頼度計算部１２、および重み付け部１８に入力される。
【００７９】
そして、ステップＳ１２に進み、入力信頼度計算部１２において、入力信頼度αx(t)が求められる。
【００８０】
即ち、ラッチ回路１１1は、そこに供給される入力データを、その入力データが供給されるタイミングに同期してラッチし、その後段のラッチ回路１１2および入力信頼度計算部１２に供給する。ラッチ回路１１2またはラッチ回路１１3それぞれは、ラッチ回路１１1と同様に、その前段のラッチ回路１１1または１１2が出力する入力データをラッチし、その後段のラッチ回路１１3または１１4と、入力信頼度計算部１２に供給する。そして、ラッチ回路１１4は、その前段のラッチ回路１１3が出力する入力データをラッチし、入力信頼度計算部１２に供給する。従って、入力信頼度計算部１２には、入力データｘ（ｔ）が供給されるのと同時に、ラッチ回路１１1乃至１１4それぞれから入力データｘ（ｔ−１）乃至ｘ（ｔ−４）が供給される。入力信頼度計算部１２は、上述したように、入力データｘ（ｔ）乃至ｘ（ｔ−４）を用いて、入力信頼度αx(t)を求め、出力信頼度計算部１３および重み計算部１５に供給する。
【００８１】
入力信頼度計算部１２から重み計算部１５に対して、入力信頼度αx(t)が供給されるタイミングにおいては、ラッチ回路１４において、出力信頼度計算部１３が１サンプル前に出力した出力信頼度αy(t-1)がラッチされており、重み計算部１５では、ステップＳ１３において、入力信頼度計算部１２からの入力信頼度αx(t)と、ラッチ回路１４にラッチされている出力信頼度αy(t-1)とを用い、式（５）にしたがって、重みｗ（ｔ）が求められる。この重みｗ（ｔ）は、重み付け部１６および演算器１７に供給される。
【００８２】
そして、重み付け部１６、演算器１７、重み付け部１８、演算器１９、およびラッチ回路２０では、ステップＳ１４において、重み計算部１５が出力する重み（ｔ）を用い、式（７）にしたがって、入力データｘ（ｔ）と、１サンプル前の出力データｙ（ｔ−１）との重み付け平均値が計算される。
【００８３】
即ち、重み付け部１６では、重み計算部１５からの重みｗ（ｔ）が、ラッチ回路２０の出力に乗算され、その乗算結果が、演算器１９に供給される。ここで、ラッチ回路２０は、重み計算部１５が重みｗ（ｔ）を出力するタイミングにおいて、演算器１９が前回出力した出力データｙ（ｔ−１）をラッチしており、従って、重み付け部１６では、出力データｙ（ｔ−１）と重みｗ（ｔ）との積ｗ（ｔ）ｙ（ｔ−１）が求められ、演算器１９に供給される。
【００８４】
また、演算器１７では、重み計算部１５からの重みｗ（ｔ）が１から減算され、その減算値１−ｗ（ｔ）が、重み付け部１８に供給される。重み付け部１８は、演算器１７の出力１−ｗ（ｔ）と、入力データｘ（ｔ）とを乗算し、その乗算結果（１−ｗ（ｔ））ｘ（ｔ）を、演算器１９に供給する。
【００８５】
演算器１９では、重み付け部１６の出力ｗ（ｔ）ｙ（ｔ−１）と、重み付け部１８の出力（１−ｗ（ｔ））ｘ（ｔ）とが加算される。即ち、重み計算部１５が出力する重み（ｔ）を用い、式（７）にしたがって、入力データｘ（ｔ）と、１サンプル前の出力データｙ（ｔ−１）との重み付け平均値が計算される。
【００８６】
この重み付け平均値は、ステップＳ１５において、出力データｙ（ｔ）として出力される。さらに、出力データｙ（ｔ）は、ラッチ回路２０に供給されてラッチされる。
【００８７】
そして、ステップＳ１６に進み、まだ、処理すべき入力データが存在するかどうかが判定され、まだ存在すると判定された場合、ステップＳ１７に進み、出力信頼度計算部１３において、出力信頼度が更新される。即ち、出力信頼度計算部１３は、ステップＳ１２で入力信頼度計算部１２が計算した入力信頼度αx(t)と、ラッチ回路１４がラッチしている１サンプル前の出力信頼度αy(t-1)とを、式（４）にしたがって加算することで、現在の出力信頼度αy(t)を求め、ラッチ回路１４に出力する。そして、ステップＳ１１に戻り、次の入力データを対象に、同様の処理が繰り返される。
【００８８】
一方、ステップＳ１６において、処理すべき入力データが存在しないと判定された場合、処理を終了する。
【００８９】
以上のように、現在の入力データｘ（ｔ）の信頼度（入力信頼度）αx(t)を求め、それと、１サンプル前の出力信頼度αy(t-1)とを加味して、重みｗ（ｔ）を計算する。さらに、この重みｗ（ｔ）を用いて、現在の入力データｘ（ｔ）と、１サンプル前の出力データｙ（ｔ−１）との重み付け平均値を計算し、その平均値を、入力データｘ（ｔ）の処理結果としての出力データｙ（ｔ）とする。そして、その出力データｙ（ｔ）の信頼度（出力信頼度）αy(t)を、現在の入力信頼度αx(t)と、１サンプル前の出力信頼度αy(t-1)とを加算することで求め、次の入力データｘ（ｔ＋１）を処理することを繰り返す。従って、重みｗ（ｔ）は、過去の入力データにおいて、ノイズの多い部分はあまり加味せずに、かつノイズの少ない部分は十分に加味するようにして学習されていき、即ち、入力データに対して適応的な重みｗ（ｔ）が求められていき、その結果、出力データは、重みｗ（ｔ）の学習が進むにつれて時々刻々と改善されていき、入力データから効果的にノイズを除去したものが得られるようになる。
【００９０】
なお、上述の場合においては、入力信頼度αx(t)として、入力データの分散の逆数を用いるようにしたが、入力信頼度αx(t)としては、その他、例えば、入力データの平均値に対する、現在の入力データの自乗誤差の逆数や、分散の逆数と自乗誤差の逆数とを加算したものなどを用いることが可能である。
【００９１】
さらに、図５のＮＲ処理回路は、例えば、画像データや音声データなどからのノイズの除去に適用可能である。
【００９２】
また、以上においては、図５のＮＲ処理回路について、ノイズの除去という観点から説明を行ったが、入力データが適応的に処理されることにより、出力データが時間の経過とともに改善されるように、処理方式（ここでは重み係数ｗ（ｔ））が、実時間で学習され、その学習の結果得られた処理方式で処理が行われる結果、入力データには、それ自身に適した処理が施されるという自己適応処理の性質上、図５のＮＲ処理回路では、例えば、入力データの波形整形（波形等化）などを行うことも可能である。
【００９３】
さらに、上述の場合には、式（７）において、出力データｙ（ｔ−１）に対して重みｗ（ｔ）を乗算するとともに、入力データｘ（ｔ）に対して重み１−ｗ（ｔ）を乗算して、出力データｙ（ｔ）を求めるようにしたが、出力データｙ（ｔ−１）または入力データｘ（ｔ）のいずれか一方にのみ重みを乗算して、出力データｙ（ｔ）を求めるようにすることも可能である。
【００９４】
次に、図８は、図１の自己適応処理回路を適用した画像処理装置の一実施の形態の構成例を示している。
【００９５】
この画像処理装置においては、クラス分類適応処理が行われ、これにより、ＳＤ（Standard Density）画像がＨＤ（High Density）画像に変換されるようになされている。
【００９６】
ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その構造（性質）に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００９７】
即ち、適応処理では、例えば、ＳＤ画像と、所定の予測係数との線形結合により、ＨＤ画像の画素の予測値を求めることで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【００９８】
具体的には、例えば、いま、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００９９】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・・・・（１２）
【０１００】
式（１２）を一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数５】
0004517409.tif 000006
で定義すると、次のような観測方程式が成立する。
【０１０１】
ＸＷ＝Ｙ’・・・（１３）
【０１０２】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数６】
0004517409.tif 000007
で定義すると、式（１３）から、次のような残差方程式が成立する。
【０１０３】
ＸＷ＝Ｙ＋Ｅ・・・（１４）
【０１０４】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数７】
0004517409.tif 000008
を最小にすることで求めることができる。
【０１０５】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１０６】
【数８】
0004517409.tif 000009
・・・（１５）
【０１０７】
そこで、まず、式（１４）を、予測係数ｗiで微分することにより、次式が成立する。
【０１０８】
【数９】
0004517409.tif 000010
・・・（１６）
【０１０９】
式（１５）および（１６）より、式（１７）が得られる。
【０１１０】
【数１０】
0004517409.tif 000011
・・・（１７）
【０１１１】
さらに、式（１４）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（１７）から、次のような正規方程式を得ることができる。
【０１１２】
【数１１】
0004517409.tif 000012
・・・（１８）
【０１１３】
式（１８）の正規方程式は、学習データｘおよび教師データｙを、ある程度の数だけ用意することで、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（１８）を解くことで（但し、式（１８）を解くには、式（１８）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（１８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０１１４】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１２）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０１１５】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１２）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【０１１６】
図８の画像処理装置は、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換するようになされている。
【０１１７】
即ち、この画像処理装置には、ＳＤ画像が処理用入力データとして、ＨＤ画像が学習用入力データとして、それぞれ入力されるようになされている。ここで、処理用入力データとしてのＳＤ画像は、例えば、テレビジョン放送として放送されてきたものを利用することができる。また、学習用入力データとしてのＨＤ画像は、例えば、テレビジョン放送として、ＳＤ画像とともに放送するようにし、そのようにして放送されてきたものを利用することができる。さらに、学習用入力データとしてのＨＤ画像は、ＳＤ画像をクラス分類適応処理する等して、ＨＤ画像にしたものを利用することも可能である。なお、ＳＤ画像とＨＤ画像の内容は、同一であることが望ましい。
【０１１８】
図８において、フレームメモリ２１、間引き回路２２、フレームメモリ２３、クラスタップ生成回路２４、予測タップ生成回路２５、クラス分類回路２６、加算回路２７、予測タップメモリ２８、加算回路２９、教師データメモリ３０、および演算回路３１は、図１の実時間学習部１に相当し、フレームメモリ４１、クラスタップ生成回路４２、予測タップ生成回路４３、クラス分類回路４４、係数ＲＡＭ（Random Access Memory）４５、および予測演算回路４６は、図１のデータ処理部２に相当している。そして、学習用入力データとしてのＨＤ画像は、実時間学習部１のフレームメモリ２１に、処理用入力データとしてのＳＤ画像は、データ処理部２のフレームメモリ４１に、それぞれ供給されるようになされている。
【０１１９】
データ処理部２において、フレームメモリ４１は、そこに供給される処理用入力データとしてのＳＤ画像を、例えば、フレーム単位で一時記憶するようになされている。
【０１２０】
クラスタップ生成回路４２は、適応処理により予測値を求めようとするＨＤ画素（以下、適宜、注目画素という）の周辺にあるＳＤ画素として、例えば、注目画素からの距離が所定値以下のＳＤ画素でなるブロック（以下、適宜、処理ブロックという）を、ＳＤ画像から抽出し、これを、クラス分類処理に用いるクラスタップとして、クラス分類回路４４に出力するようになされている。
【０１２１】
即ち、クラスタップ生成回路４２は、例えば、図９に示すように、注目画素を中心とする４×４のＳＤ画素（同図において○印で示す）でなるクラスタップを、ＳＤ画像から抽出し、これを、注目画素についてのクラスタップとして、クラス分類回路４４に出力するようになされている。なお、図９の実施の形態では、ＳＤ画像は、ＨＤ画像の横または縦の画素数を、それぞれ１／２にしたものとなっている。
【０１２２】
予測タップ生成回路４３は、予測演算回路４６において注目画素の予測値を求めるのに用いるＳＤ画素を抽出し、これを予測タップとして、予測演算回路４６に供給するようになされている。即ち、予測タップ生成回路４３は、ＳＤ画像から、例えば、図９に示したように、クラスタップ生成回路４２で抽出されたクラスタップと同一のＳＤ画素を予測タップとして抽出し、予測演算回路４６に供給するようになされている。
【０１２３】
なお、ここでは、クラスタップと予測タップとを、同一のＳＤ画素から構成するようにしたが、クラスタップと予測タップとは、必ずしも、同一のＳＤ画素から構成する必要はない。
【０１２４】
クラス分類回路４４は、クラスタップ生成回路４２からのクラスタップに基づいて、注目画素をクラス分類し、その結果得られるクラスを、係数ＲＡＭ４５に対し、アドレスとして与えるようになされている。即ち、クラス分類回路４４は、クラスタップを構成する、例えば、すべてのＳＤ画素の画素値のパターンにあらかじめ割り当てられた値を、注目画素のクラスとし、そのクラスを、係数ＲＡＭ４５のアドレスとして出力するようになされている。
【０１２５】
具体的には、ここでは、クラス分類回路４４は、例えば、図９に示した、クラスタップとしての、注目画素を中心とする４×４の１６のＳＤ画素の画素値のパターンに対応する値を、注目画素のクラスとして出力するようになされている。
【０１２６】
ここで、各ＳＤ画素の画素値を表すのに、例えば、８ビットなどの多くのビット数が割り当てられている場合、１６のＳＤ画素の画素値のパターン数は、（２8）16通りという莫大な数となり、その後の処理の迅速化が困難となる。
【０１２７】
そこで、クラス分類を行う前の前処理として、クラスタップには、それを構成するＳＤ画素のビット数を低減するための処理である、例えば、上述したＡＤＲＣ処理などを施すことができる。
【０１２８】
ＡＤＲＣ処理によって、クラスタップを構成する各画素値を１ビットで表現することとした場合、１６のＳＤ画素の画素値のパターン数は、（２1）16通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【０１２９】
係数ＲＡＭ４５は、実時間学習部１が実時間学習を行うことにより得られるクラスごとの予測係数を記憶するようになされており、クラス分類回路４４からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路４６に供給するようになされている。なお、係数ＲＡＭ４５は、実時間学習部１からクラスごとの予測係数が供給されるごとに、その予測係数に、記憶内容を更新するようになされている。また、係数ＲＡＭ４５に対して、実時間学習部１から、最初の予測係数が供給される前においては、係数ＲＡＭ４５には、クラスごとの予測係数の、所定の初期値が記憶されている。
【０１３０】
予測演算回路４６は、係数ＲＡＭ４５から供給される、注目画素のクラスについての予測係数ｗ，ｗ2，・・・と、予測タップ生成回路４３からの予測タップｘ1，ｘ2，・・・とを用いて、式（１２）に示した演算を行うことにより、注目画素ｙの予測値Ｅ［ｙ］を求め、ＨＤ画素の画素値として出力するようになされている。
【０１３１】
一方、実時間学習部１においては、フレームメモリ２１は、そこに供給される学習用入力データとしてのＨＤ画像を、例えば、フレーム単位で一時記憶するようになされている。間引き回路２２は、フレームメモリ２１に記憶された、予測係数の実時間学習において教師データｙとなるべきＨＤ画像を読み出し、その画素数を間引くことで、ＳＤ画像とし、フレームメモリ２３に供給するようになされている。フレームメモリ２３は、間引き回路２２からのＳＤ画像を一時記憶するようになされている。
【０１３２】
クラスタップ生成回路２４または予測タップ生成回路２５は、フレームメモリ２３に記憶されたＳＤ画像を構成するＳＤ画素を用い、クラスタップ生成回路４２または予測タップ生成回路４３と同様にして、注目画素のクラスタップまたは予測タップを構成し、クラス分類回路２６または加算回路２７にそれぞれ供給するようになされている。
【０１３３】
クラス分類回路２６は、クラス分類回路４４と同様にして、クラスタップ生成回路２４からのクラスタップを用いてクラス分類を行うことにより、注目画素についてのクラスを求め、そのクラスを、予測タップメモリ２８および教師データメモリ３０に対して、アドレスとして与えるようになされている。
【０１３４】
加算回路２７は、クラス分類回路２６が出力するクラスに対応するアドレスの記憶値を、予測タップメモリ２８から読み出し、その記憶値と、予測タップ生成回路２５からの予測タップを構成するＳＤ画素とを加算することで、式（１８）の正規方程式の左辺における、予測係数ｗの乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路２７は、その演算結果を、クラス分類回路２６が出力するクラスに対応するアドレスに、上書きする形で記憶させるようになされている。
【０１３５】
予測タップメモリ２８は、クラス分類回路２６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路２７に供給するとともに、そのアドレスに、加算回路２７の出力値を記憶するようになされている。
【０１３６】
加算回路２９は、フレームメモリ２１に記憶されたＨＤ画像を構成するＨＤ画素のうちの注目画素を、教師データとして読み出すとともに、クラス分類回路２６が出力するクラスに対応するアドレスの記憶値を、教師データメモリ３０から読み出し、その記憶値と、フレームメモリ２１から読み出した注目画素とを加算することで、式（１８）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路２９は、その演算結果を、クラス分類回路２６が出力するクラスに対応するアドレスに、上書きする形で記憶させるようになされている。
【０１３７】
なお、正確には、加算回路２７および２９では、式（１８）における乗算も行われる。また、式（１８）の右辺には、教師データｙと、ＳＤ画素ｘとの乗算が含まれ、従って、加算回路２９で行われる乗算には、教師データｙの他に、ＳＤ画素ｘが必要となるが、これは、加算回路２９において、フレームメモリ２１に記憶されたＨＤ画素から求められる。
【０１３８】
教師データメモリ３０は、クラス分類回路２６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路２９に供給するとともに、そのアドレスに、加算回路２９の出力値を記憶するようになされている。
【０１３９】
演算回路３１は、予測タップメモリ２８または教師データメモリ３０それぞれから、各クラスに対応するアドレスに記憶されている記憶値を順次読み出し、式（１８）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求めるようになされている。即ち、演算回路３１は、予測タップメモリ２８または教師データメモリ３０それぞれの、各クラスに対応するアドレスに記憶されている記憶値から、式（１８）の正規方程式をたて、これを解くことにより、クラスごとの予測係数を求め、係数ＲＡＭ４５に供給するようになされている。
【０１４０】
次に、図１０のフローチャートを参照して、図８のデータ処理部２の処理について説明する。
【０１４１】
データ処理部２には、処理用入力データとしてのＳＤ画像が供給され、フレームメモリ４１は、その処理用入力データとしてのＳＤ画像を、例えば、フレーム単位で順次記憶していく。
【０１４２】
そして、データ処理部２では、ステップＳ２１において、クラスタップ生成回路４２または予測タップ生成回路４３が、適応処理により予測値を求めようとするＨＤ画素を注目画素として、その周辺にあるＳＤ画素を、フレームメモリ４１から読み出し、クラスタップまたは予測タップを構成する。このクラスタップまたは予測タップは、クラス分類回路４４または予測演算回路４６にそれぞれ供給される。
【０１４３】
クラス分類回路４４は、クラスタップ生成回路４２からクラスタップを受信すると、ステップＳ２２において、そのクラスタップに基づき、注目画素のクラスを求め、係数ＲＡＭ４５に対し、アドレスとして与える。係数ＲＡＭ４５は、ステップＳ２３において、クラス分類回路４４からのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路４６に供給する。
【０１４４】
予測演算回路４６では、ステップＳ２４において、予測タップ生成回路４３からの予測タップと、係数ＲＡＭ４５からの予測係数とを用いて、式（１２）に示した演算が行われることにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、ステップＳ２５に進む。ステップＳ２５では、予測係数演算回路４６が、ステップＳ２４で求めた注目画素ｙの予測値Ｅ［ｙ］を、ＨＤ画素の画素値として出力し、ステップＳ２６に進む。
【０１４５】
ステップＳ２６では、フレームメモリ４１に記憶された１フレームのＳＤ画像に対応する１フレームのＨＤ画像を構成するＨＤ画素すべてを、注目画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ２１に戻り、まだ注目画素としていないＨＤ画素を、新たに注目画素として、以下、同様の処理が繰り返される。
【０１４６】
一方、ステップＳ２６において、１フレームのＨＤ画像を構成するＨＤ画素すべてを、注目画素として処理を行ったと判定された場合、処理を終了する。
【０１４７】
なお、図１０のフローチャートに示した処理は、例えば、フレームメモリ４１に、新たなＳＤ画像が記憶されるごとに行われる。
【０１４８】
次に、図１１のフローチャートを参照して、図８の実時間学習部１の処理について説明する。
【０１４９】
実時間学習部１には、学習用入力データとしてのＨＤ画像が供給され、フレームメモリ２１は、その学習用入力データとしてのＨＤ画像を、例えば、フレーム単位で順次記憶していく。
【０１５０】
そして、ステップＳ３１において、間引き回路２２は、フレームメモリ２１に記憶されたＨＤ画像を読み出し、その画素数を間引くことで、ＳＤ画像とする。このＳＤ画像は、フレームメモリ２３に供給されて記憶される。
【０１５１】
フレームメモリ２３にＳＤ画像が記憶されると、ステップＳ３２において、クラスタップ生成回路２４または予測タップ生成回路２５は、フレームメモリ２３に記憶されたＳＤ画像を構成するＳＤ画素を用い、フレームメモリ２１に記憶されたＨＤ画像を構成するＨＤ画素のうちの所定のものを注目画素として、クラスタップまたは予測タップを構成し、クラス分類回路２６または加算回路２７にそれぞれ供給する。
【０１５２】
クラス分類回路２６は、ステップＳ３３において、クラスタップ生成回路２４からのクラスタップを用いてクラス分類を行うことにより、注目画素についてのクラスを求め、そのクラスを、予測タップメモリ２８および教師データメモリ３０に対して、アドレスとして与える。
【０１５３】
そして、ステップＳ３４に進み、予測タップまたは教師データそれぞれの足し込みが行われる。
【０１５４】
即ち、ステップＳ３４において、予測タップメモリ２８は、クラス分類回路２６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路２７に供給する。加算回路２７は、予測タップメモリ２８から供給される記憶値と、予測タップ生成回路２５から供給される予測タップを構成するＳＤ画素とを用いて、式（１８）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路２７は、その演算結果を、クラス分類回路２６が出力するクラスに対応する、予測タップメモリ２８のアドレスに、上書きする形で記憶させる。
【０１５５】
さらに、ステップＳ３４では、教師データメモリ３０は、クラス分類回路２６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路２９に供給する。加算回路２９は、フレームメモリ２１に記憶されたＨＤ画像を構成するＨＤ画素のうちの注目画素を、教師データとして読み出し（正確には、さらに、上述したような必要なデータも読み出し）、その教師データと、教師データメモリ３０から供給された記憶値とを用いて、式（１８）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路２９は、その演算結果を、クラス分類回路２６が出力するクラスに対応する、教師データメモリ３０のアドレスに、上書きする形で記憶させる。
【０１５６】
その後、ステップＳ３５に進み、フレームメモリ２１に記憶された１フレームのＨＤ画像を構成するＨＤ画素すべてを、注目画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ３１に戻り、まだ注目画素としていないＨＤ画素を、新たに注目画素として、以下、同様の処理が繰り返される。
【０１５７】
一方、ステップＳ３５において、１フレームのＨＤ画像を構成するＨＤ画素すべてを、注目画素として処理を行ったと判定された場合、ステップＳ３６に進み、演算回路３１は、予測タップメモリ２８または教師データメモリ３０それぞれから、各クラスに対応するアドレスに記憶されている記憶値を順次読み出し、式（１８）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求める。さらに、演算回路３１は、ステップＳ３７において、その求めたクラスごとの予測係数を、係数ＲＡＭ４５に転送して記憶させ、処理を終了する。
【０１５８】
これにより、係数ＲＡＭ４５に記憶されたクラスごとの予測係数は、図１１のフローチャートに示した処理が行われるごとに更新されていく。
【０１５９】
なお、図１１のフローチャートに示した処理は、例えば、フレームメモリ２１に、新たなＨＤ画像が記憶されるごとに行われる。
【０１６０】
また、実時間学習部１で行われる、以上のような予測係数の学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、係数ＲＡＭ４５に記憶された予測係数が更新されずに、そのまま、データ処理部２の処理において用いられる。
【０１６１】
さらに、図１０および図１１のフローチャートに示した処理は、並列的に行われるようになされている。
【０１６２】
以上のように、実時間学習部１において、予測タップメモリ２８および教師データメモリ３０の記憶内容をリセットせずに、予測タップまたは教師データそれぞれの足し込みが行われていき、その足し込み結果を用いて、式（１８）の正規方程式がたてられ、クラスごとの予測係数が実時間で求められていく結果、そのクラスごとの予測係数は、学習用入力データとしてのＨＤ画像を用いての学習処理が行われるごとに、処理用入力データとしてのＳＤ画像に適したものとなっていき、これにより、データ処理部２において、ＳＤ画像は適応的に処理され、その処理結果として得られるＨＤ画像は、学習が進むにつれて時々刻々と改善されていく。即ち、データ処理部２が出力するＨＤ画像の解像度等は、時々刻々と向上していく。
【０１６３】
なお、実時間学習部１において、加算回路２７における予測タップの足し込みは、予測タップメモリ２８から供給される記憶値、または予測タップ生成回路２５から供給される予測タップを構成するＳＤ画素の少なくとも一方に、所定の重みを乗算してから行うことが可能である。例えば、予測タップメモリ２８から供給される記憶値に、予測タップ生成回路２５から供給される予測タップを構成するＳＤ画素よりも小さい重みを乗算する場合には、過去の学習用入力データとしてのＨＤ画像を、所定の割合で忘却しながら、予測係数の学習を行うことができる。ここで、加算回路２７において上述のような重み付けを行う場合には、加算回路２９における足し込みにおいても、同様の重み付けが必要となる。
【０１６４】
さらに、上述のように重み（忘却）を採用する場合においては、例えば、テレビジョン放送におけるブランキング区間の信号から、そのＳ／Ｎを判定し、Ｓ／Ｎが高い場合に得られた予測タップについての重みは大きくし、Ｓ／Ｎが低い場合に得られた予測タップについての重みは小さくするようにすることなどが可能である。この場合、ノイズの影響を低減した学習を行うことができる。
【０１６５】
また、シーンチェンジを検出するようにし、シーンチェンジがあった場合には、予測タップメモリ２８から供給される記憶値に対する重みを０とするようにすることができる。この場合、シーンチェンジがあると、過去の学習をすべて忘却し、いわば一から学習をやり直すことになるため、シーンチェンジ直後に、データ処理部２が出力するＨＤ画像の画質は劣化するが、その後に学習が進むにつれて、データ処理部２が出力するＨＤ画像の画質は、時々刻々と改善されていく。
【０１６６】
また、上述の場合においては、処理用入力データとしてのＳＤ画像とともに、それと同一内容の学習用入力データとしてのＨＤ画像が放送されてくるものとしたが、処理用入力データとしてのＳＤ画像と、学習用入力データとしてのＨＤ画像とは、異なるタイミングで放送するようにすることも可能である。但し、この場合、図８の画像処理装置において、処理用入力データとしてのＳＤ画像を受信した場合には、そのＳＤ画像を、データ処理部２に供給し、学習用入力データとしてのＨＤ画像を受信した場合には、そのＨＤ画像を、実時間学習部１に供給するようにする必要がある。
【０１６７】
次に、図１２は、図１の自己適応処理回路を適用した画像処理装置の他の実施の形態の構成例を示している。なお、図中、図８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１６８】
この画像処理装置においても、図８の画像処理装置における場合と同様にクラス分類適応処理が行われ、これにより、ＳＤ画像がＨＤ画像に変換されるようになされている。但し、図８の画像処理装置では、クラスタップおよび予測タップの構造については、図９に示したように、注目画素を中心とする４×４のＳＤ画素のまま固定とし、クラスごとの予測係数についてのみ、実時間学習が行われるようになされていたが、図１２の画像処理装置では、クラスごとの予測係数の他、クラスタップおよび予測タップの構造についても、実時間学習が行われるようになされている。
【０１６９】
即ち、図１２の実時間学習部１は、フレームメモリ２１、間引き回路２２、特徴量抽出回路５１、タップ候補生成回路５２、Ｎ個の学習処理部５３1乃至５３N、および判定回路５４で構成されている。
【０１７０】
そして、特徴量抽出回路５１は、フレームメモリ２３に記憶された、学習用入力データとしてのＨＤ画像を間引いて得られたＳＤ画像を読み出し、その特徴量を抽出して、タップ候補生成回路５２に供給するようになされている。
【０１７１】
即ち、特徴量抽出回路５１は、例えば、フレームメモリ２３に記憶されたＳＤ画像を構成するＳＤ画素を、順次、処理対象画素として、その処理対象画素の近傍（空間的または時間的に近傍）にあるＳＤ画素との相関を演算する。そして、特徴量抽出回路５１は、フレームメモリ２３に記憶されたＳＤ画像を構成するＳＤ画素すべてについての相関の平均値などを、ＳＤ画像の特徴量として求め、タップ候補生成回路５２に供給する。
【０１７２】
タップ候補生成回路５２は、特徴量抽出回路５１からの特徴量に基づいて、複数のクラスタップおよび予測タップの構造を、クラスタップおよび予測タップの候補として生成するようになされている。
【０１７３】
即ち、タップ候補生成回路５２は、ＳＤ画像の特徴量としての相関が高い場合には、注目画素の近傍にあるＳＤ画素を多く使用するクラスタップおよび予測タップ（以下、適宜、両方含めて、タップという）の候補を生成する。また、タップ候補生成回路５２は、ＳＤ画像の特徴量としての相関が低い場合には、注目画素から比較的遠い位置にあるＳＤ画素をも使用するタップの候補を生成する。具体的には、例えば、ＳＤ画像の特徴量としての相関が高い場合には、互いに隣接するＳＤ画素を用いたタップの候補が生成され、ＳＤ画像の特徴量としての相関が低い場合には、数画素（例えば、１画素や２画素など）おきのＳＤ画素を用いたタップの候補が生成される。
【０１７４】
なお、複数のタップの候補は、例えば、ＳＤ画像の特徴量に対して基準のタップの構造を用意しておき、その水平方向、垂直方向、または時間方向のうちの１以上の方向のＳＤ画素の間隔を、広くしたり、あるいは狭くしたりすることで生成することができる。ここで、例えば、図９の実施の形態等では、注目画素に対して空間方向に位置するＳＤ画素でタップを構成するようにしたが、タップは、注目画素に対して時間方向に位置するＳＤ画素を用いて構成することも可能である。
【０１７５】
図１２の実施の形態では、タップ候補生成回路５２において、Ｎ個のタップの候補が生成されるようになされており、そのＮ個のタップの候補それぞれは、学習処理部５３1乃至５３Nのうちの対応するものに供給されるようになされている。即ち、例えば、Ｎ個のタップの候補のうち、ｎ番目（ｎ＝１，２，・・・，Ｎ）のものの構造を表す情報を、タップ構造情報＃ｎというものとすると、そのタップ構造情報＃ｎは、学習処理部５３nに供給されるようになされている。
【０１７６】
学習処理部５３nには、タップ構造情報＃ｎの他、フレームメモリ２１または２３にそれぞれ記憶されたＨＤ画像またはＳＤ画像も供給されるようになされている。学習処理部５３nは、タップ構造情報＃ｎに対応する構造のクラスタップおよび予測タップを構成し、図８の実時間学習部１と同様にして、クラスごとの予測係数を学習により求める。さらに、学習処理部５３nは、そのクラスごとの予測係数を用いて、フレームメモリ２３からのＳＤ画像に対して、クラス分類適応処理を施すことで、そのＳＤ画像をＨＤ画像に変換する。そして、学習処理部５３nは、その変換後のＨＤ画像の、フレームメモリ２１に記憶されたＨＤ画像に対する誤差（予測誤差）を求め、学習により求めたクラスごとの予測係数、およびタップ候補生成回路５２からのタップ構造情報＃ｎとともに、判定回路５４に出力するようになされている。
【０１７７】
判定回路５４は、学習処理部５３1乃至５３Nからの予測誤差のうちの最小値を検出し、学習処理部５３1乃至５３Nのうち、最小の予測誤差が得られているもの（以下、適宜、最適学習処理部という）が出力したクラスごとの予測係数を、係数ＲＡＭ４５に供給するとともに、その最適学習処理部が出力したタップ構造情報を、クラスタップ生成回路４２および予測タップ生成回路４３に供給するようになされている。
【０１７８】
次に、図１３は、図１２の学習処理部５３nの構成例を示している。
【０１７９】
学習処理部５３nは、予測係数学習部６１、クラス分類適応処理部６２、および予測誤差算出部６３から構成されており、予測係数学習部６１には、フレームメモリ２１からのＨＤ画像、フレームメモリ２３からのＳＤ画像、およびタップ候補生成回路５２からのタップ構造情報＃ｎが、クラス分類適応処理部６２には、フレームメモリ２３からのＳＤ画像、およびタップ候補生成回路５２からのタップ構造情報＃ｎが、予測誤差算出部６３には、フレームメモリ２１からのＨＤ画像が、それぞれ供給されるようになされている。
【０１８０】
予測係数学習部６１は、ＨＤ画像およびＳＤ画像に基づき、タップ構造情報＃ｎに対応する構造のクラスタップおよび予測タップを用いて、図８の実時間学習部１における場合と同様にして、クラスごとの予測係数を学習により求め、クラス分類適応処理部６２に供給する。なお、予測係数学習部６１において求められたクラスごとの予測係数は、判定回路５４にも供給される。
【０１８１】
クラス分類適応処理部６２は、予測係数学習部６１からのクラスごとの予測係数を用いて、図８のデータ処理部２における場合と同様のクラス分類適応処理が行われることにより、ＳＤ画像を構成するＳＤ画素から、ＨＤ画素の予測値が求められ、その予測値でなるＨＤ画像が、予測誤差算出部６３に供給される。
【０１８２】
予測誤差算出部６３では、フレームメモリ２１に記憶されたＨＤ画像を構成するＨＤ画素と、そのＨＤ画素に対応する、クラス分類適応処理部６２からのＨＤ画素の予測値との差分の自乗和などが、予測誤差として求められ、判定回路５４に供給される。
【０１８３】
なお、学習処理部５３nでは、そこで求められたクラスごとの予測係数および予測誤差の他、タップ候補生成回路５２から供給されたタップ構造情報＃ｎも、判定回路５４に供給される。
【０１８４】
次に、図１４は、図１３の予測係数学習部６１の構成例を示している。
【０１８５】
予測係数学習部６１は、図８のクラスタップ生成回路２４、予測タップ生成回路２５、クラス分類回路２６、加算回路２７、予測タップメモリ２８、加算回路２９、教師データメモリ３０、または演算回路３１とそれぞれ同様に構成されるクラスタップ生成回路７１、予測タップ生成回路７２、クラス分類回路７３、加算回路７４、予測タップメモリ７５、加算回路７６、教師データメモリ７７、または演算回路７８から構成されている。
【０１８６】
そして、クラスタップ生成回路７１および予測タップ生成回路７２には、フレームメモリ２３に記憶されたＳＤ画像が、加算回路７６には、フレームメモリ２１に記憶されたＨＤ画像が、それぞれ供給されるようになされており、図８の実時間学習処理部１における場合と同様にして、クラスごとの予測係数が求められる。
【０１８７】
但し、クラスタップ生成回路７１および予測タップ生成回路７２には、タップ候補生成回路５２が出力するタップ構造情報＃ｎも供給されるようになされており、クラスタップ生成回路７１または予測タップ生成回路７２それぞれでは、そのタップ構造情報＃ｎに対応した構造のクラスタップまたは予測タップが構成されるようになされている。
【０１８８】
なお、ここでも、クラスタップおよび予測タップは同一構造にしているが、クラスタップと予測タップの構造は異なるものにすることも可能である。
【０１８９】
次に、図１５は、図１３のクラス分類適応処理部６２の構成例を示している。
【０１９０】
クラス分類適応処理部６２は、図８のクラスタップ生成回路４２、予測タップ生成回路４３、クラス分類回路４４、係数ＲＡＭ４５、または予測演算回路４６とそれぞれ同様に構成されるクラスタップ生成回路８１、予測タップ生成回路８２、クラス分類回路８３、係数ＲＡＭ８４、または予測演算回路８５から構成されている。
【０１９１】
そして、クラスタップ生成回路８１および予測タップ生成回路８２には、フレームメモリ２３に記憶されたＳＤ画像が、係数ＲＡＭ８４には、図１４の予測係数学習部６１（演算回路７８）で求められたクラスごとの予測係数が、それぞれ供給されるようになされており、図８のデータ処理部２における場合と同様にして、係数ＲＡＭ８４に記憶されたクラスごとの予測係数を用いて、ＳＤ画像がＨＤ画像に変換される。
【０１９２】
但し、クラスタップ生成回路８１および予測タップ生成回路８２には、タップ候補生成回路５２が出力するタップ構造情報＃ｎも供給されるようになされており、クラスタップ生成回路８１または予測タップ生成回路８２それぞれでは、そのタップ構造情報＃ｎに対応した構造のクラスタップまたは予測タップ（従って、図１４のクラスタップ生成回路７１または予測タップ生成回路７２でそれぞれ構成されるクラスタップまたは予測タップと同一構造のもの）が構成されるようになされている。
【０１９３】
次に、図１６のフローチャートを参照して、図１２の実時間学習部１の処理について説明する。
【０１９４】
実時間学習部１には、学習用入力データとしてのＨＤ画像が供給され、フレームメモリ２１は、その学習用入力データとしてのＨＤ画像を、例えば、フレーム単位で順次記憶していく。
【０１９５】
そして、ステップＳ４１において、間引き回路２２は、フレームメモリ２１に記憶されたＨＤ画像を読み出し、その画素数を間引くことで、ＳＤ画像とする。このＳＤ画像は、フレームメモリ２３に供給されて記憶される。
【０１９６】
フレームメモリ２３にＳＤ画像が記憶されると、ステップＳ４２において、特徴量抽出回路５１は、そのＳＤ画像の特徴量を抽出し、タップ候補生成回路５２に供給する。タップ候補生成回路５２では、ステップＳ４３において、特徴量抽出回路５１からの特徴量に基づいて、Ｎ個のタップの候補が生成され、その構造を表すタップ構造情報＃１乃至＃Ｎが、学習処理部５３1乃至５３Nにそれぞれ供給される。
【０１９７】
学習処理部５３n（図１３）を構成する予測係数学習部６１（図１４）のクラスタップ生成回路７１または予測タップ生成回路７２では、ステップＳ４４において、タップ構造情報＃ｎに対応する構造のクラスタップまたは予測タップ（であって、フレームメモリ２１に記憶されたＨＤ画像を構成するＨＤ画素のうちの所定のものを注目画素としたもの）が、フレームメモリ２１に記憶されたＳＤ画素から構成され、クラス分類回路７３または加算回路７４にそれぞれ供給される。
【０１９８】
クラス分類回路７３では、ステップＳ４５において、クラスタップ生成回路７１からのクラスタップを用いてクラス分類を行うことにより、注目画素についてのクラスが求められ、そのクラスが、予測タップメモリ２８および教師データメモリ３０に対して、アドレスとして与えられる。
【０１９９】
一方、加算回路７６には、注目画素としてのＨＤ画素が、フレームメモリ２１から読み出されて供給される。
【０２００】
そして、ステップＳ４６に進み、加算回路７４または７６において、図１１のステップＳ３４における場合と同様に、予測タップまたは教師データそれぞれの足し込みが行われ、その足し込み結果が、予測タップメモリ７５または教師データメモリ７７に供給され、クラス分類回路７３が出力するクラスに対応するアドレスに記憶される。
【０２０１】
その後、ステップＳ４７において、フレームメモリ２１に記憶された１フレームのＨＤ画像を構成するＨＤ画素すべてを、注目画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ４４に戻り、まだ注目画素としていないＨＤ画素を、新たに注目画素として、以下、同様の処理が繰り返される。
【０２０２】
一方、ステップＳ４７において、１フレームのＨＤ画像を構成するＨＤ画素すべてを、注目画素として処理を行ったと判定された場合、ステップＳ４８に進み、演算回路７８は、予測タップメモリ２８または教師データメモリ３０それぞれから、各クラスに対応するアドレスに記憶されている記憶値を順次読み出し、式（１８）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求める。さらに、演算回路７８は、その求めたクラスごとの予測係数を、クラス分類適応処理部６２（図１５）の係数ＲＡＭ８４に転送して記憶させる（係数ＲＡＭ８４の記憶内容を更新する）。
【０２０３】
クラス分類適応処理部６２では、ステップＳ４９において、係数ＲＡＭ８４に記憶されたクラスごとの予測係数を用いて、クラス分類適応処理が行われることにより、フレームメモリ２３に記憶されたＳＤ画像が、ＨＤ画像（フレームメモリ２１に記憶されたＨＤ画像の予測値）に変換される。
【０２０４】
即ち、クラス分類適応処理部６２（図１５）では、クラスタップ生成回路８１または予測タップ生成回路８２において、フレームメモリ２３からのＳＤ画素を用いて、タップ構造情報＃ｎに対応する構造のクラスタップまたは予測タップが構成され、クラス分類回路８３または予測演算回路８５にそれぞれ供給される。
【０２０５】
クラス分類回路８３では、クラスタップ生成回路８１からのクラスタップに基づき、注目画素のクラスが求められ、係数ＲＡＭ８４に対し、アドレスとして与えられる。係数ＲＡＭ８４は、クラス分類回路８３からのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路８５に供給する。
【０２０６】
予測演算回路８５では、予測タップ生成回路８２からの予測タップと、係数ＲＡＭ８４からの予測係数とを用いて、式（１２）に示した演算を行うことにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、予測誤差算出部６３（図１３）に供給される。
【０２０７】
予測誤差算出部６３では、ステップＳ５０において、クラス分類適応処理部６２が出力するＨＤ画像の、フレームメモリ２１に記憶されたＨＤ画像に対する予測誤差が求められ、予測係数学習部６１が出力するクラスごとの予測係数、およびタップ構造情報＃ｎとともに、判定回路５４（図１２）に供給される。
【０２０８】
判定回路５４は、ステップＳ５１において、学習処理部５３1乃至５３Nからの予測誤差のうちの最小値を検出し、ステップＳ５２に進み、学習処理部５３1乃至５３Nのうち、最小の予測誤差が得られている最適学習処理部が出力したクラスごとの予測係数を、データ処理部２の係数ＲＡＭ４５に供給するとともに、その最適学習処理部が出力したタップ構造情報を、データ処理部２のクラスタップ生成回路４２および予測タップ生成回路４３に供給して、処理を終了する。
【０２０９】
なお、図１６のフローチャートに示した処理は、例えば、フレームメモリ２１に、新たなＨＤ画像が記憶されるごとに行われる。
【０２１０】
そして、データ処理部２（図１２）では、係数ＲＡＭ４５において、実時間学習部１（判定回路５４）からのクラスごとの予測係数に、その記憶内容が更新される。さらに、データ処理部２のクラスタップ生成回路４２または予測タップ生成回路４３では、実時間学習部１からのタップ構造情報に対応する構造のクラスタップまたは予測タップが構成され、図８における場合と同様にして、ＳＤ画像がＨＤ画像に変換される。
【０２１１】
以上のように、クラスごとの予測係数の他、クラスタップおよび予測タップの構造についても実時間で学習を行うようにした場合には、画質がさらに向上したＨＤ画像を得ることができる。
【０２１２】
ここで、クラスタップ等の構造を実時間で学習する場合にも、図１６のステップＳ４６において、クラスごとの予測タップまたは教師データそれぞれの足し込み時に、上述したような重みを導入することで、過去の学習用入力データとしてのＨＤ画像を、所定の割合で忘却しながら、クラスタップ等の構造についての学習を行うことができる。
【０２１３】
なお、クラスタップの構造の実時間学習を行う場合においては、注目画素について構成されるクラスタップの構造が変わるので、クラスタップに基づいて行うクラス分類結果としての注目画素のクラスも変わることになる。
【０２１４】
即ち、例えば、いま説明を簡単にするために、クラスタップを構成するＳＤ画素が１ビットで表現されているとし、さらに、クラスタップの構造が、例えば、図９に示したように、注目画素を中心とする４×４の隣接するＳＤ画素で構成される場合と、注目画素を中心とする４×４の１画素ごとのＳＤ画素で構成される場合との２つの場合のいずれかに変化するものとすると、クラス数は、２16＋２16個だけ必要となる。
【０２１５】
つまり、クラスタップが、注目画素を中心とする４×４の隣接するＳＤ画素で構成される場合、または注目画素を中心とする４×４の１画素ごとのＳＤ画素で構成される場合のいずれかの場合しか存在しなければ、必要なクラス数は、いずれの場合も、２16個である。これに対して、クラスタップの構造が、注目画素を中心とする４×４の隣接するＳＤ画素で構成される場合と、注目画素を中心とする４×４の１画素ごとのＳＤ画素で構成される場合との両方ありうる場合には、注目画素を中心とする４×４の隣接するＳＤ画素でクラスタップを構成するときに必要となる２16個のクラスの他に、注目画素を中心とする４×４の１画素ごとのＳＤ画素でクラスタップを構成するときに必要となる２16個のクラスが、さらに必要となる。
【０２１６】
そして、注目画素を中心とする４×４の隣接するＳＤ画素でクラスタップを構成するときに必要となる２16個のクラスと、注目画素を中心とする４×４の１画素ごとのＳＤ画素でクラスタップを構成するときに必要となる２16個のクラスとは、異なるクラスであるから、クラスタップの構造が変わった場合に、例えば、図１６のステップＳ４６において、クラスごとの予測タップの足し込み（教師データの足し込みについても同様）などを、どのように行うかが問題となるが、これは、例えば、次のようにして行うことができる。
【０２１７】
即ち、実時間学習により採用されうるクラスタップの構造それぞれについて必要となるクラス数の総和に一致するだけ数のクラスをあらかじめ用意しておき、ある構造のクラスタップを採用する場合には、その構造のクラスタップに割り当てられたクラス以外のクラスは用いない（無視する）ようにすれば良い。
【０２１８】
具体的には、実時間学習により採用されうるクラスタップが、例えば、図１７に示すように、注目画素を中心とする１０×１０のＳＤ画素からなる第１のクラスタップと、注目画素を中心とする４×４のＳＤ画素からなる第２のクラスタップとである場合には、第１または第２のクラスタップについて、それぞれ２100個または２16個のクラスが必要となるから（但し、ＳＤ画素は１ビットとする）、２100＋２16個のクラスを用意しておく。そして、２100＋２16個のクラスのうちの２100個または２16個のクラスを、第１または第２のクラスタップにそれぞれ割り当て、第１のクラスタップが採用された場合には、それに割り当てられた２100個のクラスのみを対象として処理を行い、第２のクラスタップが採用された場合には、それに割り当てられた２16個のクラスのみを対象として処理を行うようにすれば良い。
【０２１９】
また、予測タップの構造が変わる場合には、式（１２）において、予測タップを構成するＳＤ画素ｘと乗算される予測係数ｗも変わるが（式（１８）における予測係数についても同様）、これについては、例えば、注目画素に対して予測タップとなりうるＳＤ画素すべてについて予測係数を用意しておき、その予測係数に対する、式（１２）における乗数としてのＳＤ画素の画素値のうち、予測タップとして採用されなかったＳＤ画素の画素値は０として演算を行うことで対処可能である。
【０２２０】
なお、クラスタップの構造は固定にしておき、その固定のクラスタップにおいて必要となるクラスの統廃合を、実時間学習部１に行わせるようにすることも可能である。即ち、例えば、クラスタップが、Ａ個のＳＤ画素で構成され、そのクラスタップを構成する各ＳＤ画素がＢビットで表現されている場合には、単純には、（２A）B個のクラスが必要となるが、あるクラスを廃止したり（なくしたり）、また、ある１のクラスと他の１のクラスとを１のクラスに統合したりした方が、データ処理部２が出力するＨＤ画像の画質が向上することがある。即ち、クラスの統廃合を行うことで、クラスタップの構造を変えた場合と同様の効果が得られる場合がある。そこで、実時間学習部１には、例えば、上述した予測誤差が小さくなるように、クラスの統廃合についての実時間学習を行わせるようにすることも可能である。
【０２２１】
また、上述の場合においては、データ処理部２において、線形処理を行うようにしたが、データ処理部２において非線形な処理を行う場合にも、本発明は適用可能である。
【０２２２】
さらに、図１２の実施の形態では、学習処理部５３nにおいて、タップ候補生成回路５２からのタップ構造情報＃ｎに対応する構造のクラスタップおよび予測タップを、新たなタップ構造情報＃ｎが供給されるまでは、そのまま用いて、予測係数を求めるようにしたが、学習処理部５３nでは、例えば、注目画素の周辺にあるＳＤ画素どうしの相関などを、その注目画素の特徴量として求め、タップ構造情報＃ｎに対応する構造のクラスタップおよび予測タップを、注目画素ごとに、その特徴量に基づいた構造に変形して、予測係数を求めるようにすることが可能である。
【０２２３】
但し、この場合、例えば、タップ構造情報＃ｎに対応する構造のクラスタップおよび予測タップを変形するバリエーションの数に対応するだけ、クラス数を多く用意する必要がある。また、データ処理部２では、上述した場合と同様にして注目画素の特徴量を求め、クラスタップ生成回路４２または予測タップ生成回路４３では、その特徴量に基づいて、判定回路５４から供給されるタップ構造情報＃ｎに対応する構造を変形したクラスタップまたは予測タップをそれぞれ構成する必要がある。
【０２２４】
【発明の効果】
以上の如く、本発明によれば、時間の経過とともに改善された出力データを得ることができる。
【図面の簡単な説明】
【図１】本発明を適用した自己適応処理回路の一実施の形態の構成例を示すブロック図である。
【図２】処理方式の改善について説明するための図である。
【図３】処理方式の改善について説明するための図である。
【図４】学習に用いる学習用入力データを説明するための図である。
【図５】本発明を適用したＮＲ処理回路の一実施の形態の構成例を示すブロック図である。
【図６】図５のＮＲ処理回路の処理対象となる入力データと、その信頼度を示す図である。
【図７】図５のＮＲ処理回路の処理を説明するためのフローチャートである。
【図８】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図９】クラスタップおよび予測タップを示す図である。
【図１０】図８のデータ処理部２の処理を説明するためのフローチャートである。
【図１１】図８の実時間学習部１の処理を説明するためのフローチャートである。
【図１２】本発明を適用した画像処理装置の他の実施の形態の構成例を示すブロック図である。
【図１３】図１２の学習処理部５３nの構成例を示すブロック図である。
【図１４】図１３の予測係数学習部６１の構成例を示すブロック図である。
【図１５】図１３のクラス分類適応処理部６２の構成例を示すブロック図である。
【図１６】図１２の実時間学習部１の処理を説明するためのフローチャートである。
【図１７】クラスタップを示す図である。
【図１８】従来のデータ処理装置の一例の構成を示すブロック図である。
【符号の説明】
１  実時間学習部（実時間学習手段），  ２  データ処理部（データ処理手段），  １１1乃至１１4  ラッチ回路，  １２  入力信頼度計算部，  １３  出力信頼度計算部，  １４  ラッチ回路，  １５  重み計算部，  １６  重み付け部，  １７  演算器，  １８  重み付け部，  １９  演算器，  ２０  ラッチ回路，  ２１  フレームメモリ，  ２２  間引き回路，  ２３  フレームメモリ，  ２４  クラスタップ生成回路，  ２５  予測タップ生成回路，  ２６  クラス分類回路，  ２７  加算回路，  ２８  予測タップメモリ，  ２９  加算回路，  ３０  教師データメモリ，  ３１  演算回路，  ４１  フレームメモリ，  ４２クラスタップ生成回路，  ４３  予測タップ生成回路，  ４４  クラス分類回路，  ４５  係数ＲＡＭ，  ４６  予測演算回路，  ５１  特徴量抽出回路，  ５２  タップ候補生成回路，  ５３1乃至５３N  学習処理部，  ５４  判定回路，  ６１  予測係数学習部，  ６２  クラス分類適応処理部，  ６３  予測誤差算出部，  ７１  クラスタップ生成回路，  ７２  予測タップ生成回路，  ７３クラス分類回路，  ７４  加算回路，  ７５  予測タップメモリ，  ７６  加算回路，  ７７  教師データメモリ，  ７８  演算回路，  ８１  クラスタップ生成回路，  ８２  予測タップ生成回路，  ８３  クラス分類回路，  ８４  係数ＲＡＭ，  ８５  予測演算回路
【図１】
0004517409.tif 000013
【図２】
0004517409.tif 000014
【図３】
0004517409.tif 000015
【図４】
0004517409.tif 000016
【図５】
0004517409.tif 000017
【図６】
0004517409.tif 000018
【図７】
0004517409.tif 000019
【図８】
0004517409.tif 000020
【図９】
0004517409.tif 000021
【図１０】
0004517409.tif 000022
【図１１】
0004517409.tif 000023
【図１２】
0004517409.tif 000024
【図１３】
0004517409.tif 000025
【図１４】
0004517409.tif 000026
【図１５】
0004517409.tif 000027
【図１６】
0004517409.tif 000028
【図１７】
0004517409.tif 000029
【図１８】
0004517409.tif 000030