(57)【要約】【課題】入力画像信号の解像度、ＳＮ比、圧縮歪みおよび輝度値などをさらに改善するために、係数を学習し、その係数を用いて最適なデータを生成する。【解決手段】処理回路３では、入力画像信号に対して低画質化処理、例えばＬＰＦ、圧縮伸長、ゲイン、オフセット等の処理ｆ（ｘ）が施される。処理ｆ（ｘ）が施された画像信号からクラスコード（インデックス）を生成し、生成されたクラスコードは、学習回路７へ供給される。スイッチ４および６が切り換えられることによって、処理ｆ（ｘ）が施された画像信号と教師信号、処理ｆ（ｘ）が施された画像信号と入力画像信号、入力画像信号と教師信号が学習回路７へ供給される。学習回路７では、これらの信号から線形１次結合式の係数を獲得するために、最小自乗法誤差規範により学習がなされる。【選択図】図１
2008086021.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号を、上記入力映像信号の画質よりも高画質な画質の出力映像信号に変換するために用いる係数を生成する学習装置において、
上記入力映像信号よりも高画質で、且つ上記出力映像信号よりも低画質な第１の画質の映像信号に対して、低画質化処理を施し上記第１の画質の映像信号よりも低画質な画質の第２の画質の映像信号を生成する画質処理手段と、
上記第２の画質の映像信号からクラス情報を生成するクラス生成手段と、
上記第１の画質の映像信号と上記第２の画質の映像信号との間で学習処理されて得られた係数が、上記クラス情報毎に格納される記憶手段とを有し、
上記係数は、上記第１の画質の映像信号と上記第２の画質の映像信号との間での最小自乗誤差規範に基づく学習処理によって求められることを特徴とする学習装置。
【請求項２】
請求項１に記載の学習装置において、
上記低画質化処理は、上記第１の映像信号に対してランダムノイズを付加するものであり、
上記学習処理は、ＳＮ比を改善するための係数を学習するようにしたことを特徴とするクラス分類適応処理用の学習装置。
【請求項３】
請求項１に記載の学習装置において、
上記低画質化処理は、上記第１の映像信号に対して圧縮伸長処理による歪みを付加するものであり、
上記学習処理は、圧縮による歪みを改善するための係数を学習するようにしたことを特徴とするクラス分類適応処理用の学習装置。
【請求項４】
請求項１に記載の学習装置において、
上記低画質化処理は、上記第１の映像信号に対するゲインおよび／またはオフセット処理であり、
上記学習処理は、輝度分布を改善するための係数を学習することを特徴とするクラス分類適応処理用の学習装置。
【請求項５】
入力映像信号を、上記入力映像信号の画質よりも高画質な画質の出力映像信号に変換するために用いる係数を生成する学習方法において、
上記入力映像信号よりも高画質で、且つ上記出力映像信号よりも低画質な第１の画質の映像信号に対して、低画質化処理を施し上記第１の画質の映像信号よりも低画質な画質の第２の画質の映像信号を生成する画質処理ステップと、
上記第２の画質の映像信号からクラス情報を生成するクラス生成ステップと、
上記第１の画質の映像信号と上記第２の画質の映像信号との間で学習処理されて得られた係数を記憶手段に上記クラス情報毎に格納されるステップとを有し、
上記係数は、上記第１の画質の映像信号と上記第２の画質の映像信号との間での最小自乗誤差規範に基づく学習処理によって求められることを特徴とする学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、クラス分類適応処理を用いて、画像信号および／または音声信号の、例えば解像度、ＳＮ比、圧縮歪みおよび輝度値のさらなる改善を行うことができる学習装置および学習方法に関する。
【背景技術】
【０００２】
従来、クラス分類適応処理を応用したものとして、ＳＤ（Standerd Definition）からＨＤ（High Deginittion）への画像情報変換装置、時空間モデル符号化、ＭＵＳＥの画質改善、コンポジット信号のＹ／Ｃ分離等さまざまなアプリケーションのアイデアが提案されている。すなわち、ある大きさの時空間の画素をブロック化し、これを何らかの手法、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）によりクラス分類し、このクラス毎に線形１次結合でモデル化、つまり予測式を立て、クラス毎に記憶された係数と画素との演算により最適なデータを求めることができる。このとき、クラス毎に記憶された係数は、予め最小自乗法等を用いて学習することにより、得られたものである。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように、クラス分類適応処理を用いて解像度補償等の処理を行う場合、ある程度の効果が得られる。この発明は、上述のクラス分類適応処理の改良に関するものである。
【０００４】
すなわち、この発明の目的は、クラス分類適応処理に使用される係数を獲得するために、学習時に何らかの処理を施し、その係数を使用することによって、さらなる解像度、ＳＮ比、圧縮歪みおよび輝度値の改善を可能とする学習装置および学習方法を提供することにある。
【課題を解決するための手段】
【０００５】
上述した課題を達成するために、この発明は、入力映像信号を、入力映像信号の画質よりも高画質な画質の出力映像信号に変換するために用いる係数を生成する学習装置において、
入力映像信号よりも高画質で、且つ出力映像信号よりも低画質な第１の画質の映像信号に対して、低画質化処理を施し第１の画質の映像信号よりも低画質な画質の第２の画質の映像信号を生成する画質処理手段と、
第２の画質の映像信号からクラス情報を生成するクラス生成手段と、
第１の画質の映像信号と第２の画質の映像信号との間で学習処理されて得られた係数が、クラス情報毎に格納される記憶手段とを有し、
係数は、第１の画質の映像信号と第２の画質の映像信号との間での最小自乗誤差規範に基づく学習処理によって求められることを特徴とする学習装置である。
【０００６】
また、この発明は、入力映像信号を、入力映像信号の画質よりも高画質な画質の出力映像信号に変換するために用いる係数を生成する学習方法において、
入力映像信号よりも高画質で、且つ出力映像信号よりも低画質な第１の画質の映像信号に対して、低画質化処理を施し第１の画質の映像信号よりも低画質な画質の第２の画質の映像信号を生成する画質処理ステップと、
第２の画質の映像信号からクラス情報を生成するクラス生成ステップと、
第１の画質の映像信号と第２の画質の映像信号との間で学習処理されて得られた係数を記憶手段にクラス情報毎に格納されるステップとを有し、
係数は、第１の画質の映像信号と第２の画質の映像信号との間での最小自乗誤差規範に基づく学習処理によって求められることを特徴とする学習方法である。
【０００７】
この発明では、入力画像信号に対して低画質化処理として、例えばＬＰＦ（ローパスフィルタ）処理、圧縮伸長、ゲインおよび／またはオフセット等の処理ｆ（ｘ）が施される。処理ｆ（ｘ）、例えばＬＰＦの場合、ＬＰＦが施された入力画像信号は、例えばサンプリングレートが１／２に落とされ、教師信号との最小自乗法誤差規範により係数が求められる。求められた係数を使用したクラス分類適応処理では、入力信号の解像度が４倍に改善された信号へ変換され、出力される。
【発明の効果】
【０００８】
この発明に依れば、入力信号に対して低画質化処理として、例えばＬＰＦ、圧縮伸長、ゲインおよび／またはオフセット等の処理を施すことによって生成される信号と、教師信号とを用いて学習を行い、それによって係数を獲得する。この係数を用いたクラス分類適応処理により、さらなる解像度、ＳＮ比、圧縮歪みおよび輝度値の改善を可能とすることができる。
【０００９】
また、この発明に依れば、高画質な教師信号を使用して学習することによって獲得した係数を用いて入力信号に対する処理を行った場合、当該教師信号を超えるような高画質となる情報信号へ変換することができ、さらに、例えば画質が特定されていない教師信号を使用して学習することによって獲得した係数を用いて入力信号に対する処理を行った場合であっても、入力信号をより高画質な情報信号へ変換することができる。
【発明を実施するための最良の形態】
【００１０】
以下、この発明について図面を参照して説明する。図１に、この発明のクラス分類適応処理用の学習装置の一般的な構成のブロック図を示す。１で示す入力端子から供給される入力信号が処理回路３、スイッチ４の入力端子Ｂおよびスイッチ６の入力端子Ｄに供給される。入力端子２から供給される教師信号は、スイッチ４の入力端子Ａに供給される。このとき、図中点線で接続されるように、入力信号と教師信号とが同じ信号であっても良く、または、教師信号をダウンサンプリングする等の処理をしたものでも良い。
【００１１】
処理回路３では、入力信号に対して施す処理ｆ（ｘ）として、後述するように、例えばＬＰＦ処理、圧縮伸長、ゲインおよび／またはオフセット等の低画質化処理が施される。また、圧縮伸長の一例は、ＭＰＥＧ２のエンコーダおよびデコーダである。処理ｆ（ｘ）が施された補正対象用の信号は、クラス生成回路５およびスイッチ６の入力端子Ｃへ供給される。クラス生成回路５では、処理ｆ（ｘ）が施された信号からクラス情報（以下、インデックスと称する）を生成し、このインデックスは、学習回路７へ供給される。
【００１２】
上述の構成において、スイッチ４が入力端子Ａを選択し、スイッチ６が入力端子Ｃを選択している場合、学習回路７では、入力端子２からの教師信号と、処理ｆ（ｘ）が施された入力信号とから最小自乗法誤差規範による学習が行われ、線形一次結合式の係数が獲得される。教師信号と処理ｆ（ｘ）が施された入力信号との誤差の自乗の最小値を求めることによって、係数が獲得される。また、スイッチ４が入力端子Ａを選択し、スイッチ６が入力端子Ｄを選択している場合、学習回路７では、入力端子２からの教師信号と、入力端子１からの入力信号とから学習が行われ、スイッチ４が入力端子Ｂを選択し、スイッチ６が入力端子Ｃを選択している場合、教師信号として入力端子１からの入力信号と、処理ｆ（ｘ）が施された入力信号とから学習が行われる。
【００１３】
学習回路７によって、獲得された係数は、出力端子８から出力され、図示しないがメモリ等の記憶媒体に記憶される。この図１は、入力信号に対して何らかの処理ｆ（ｘ）を行った信号からクラス生成を行い、且つその入力信号と教師信号とから最小自乗法誤差規範による学習を行うための一般的な構成を示したものである。上述したように、このブロック図では、スイッチ４の入力端子Ａおよびスイッチ６の入力端子Ｄがそれぞれ選択されているとき、従来と同様に教師信号と入力信号を使用して学習するための経路も確保される。
【００１４】
このように、得られた係数を用いたクラス分類適応処理の一般的な構成を図２に示す。入力端子１１から供給される入力信号がクラス生成回路１２および遅延（ＤＬ）回路１４へ供給される。クラス生成回路１２では、供給された入力信号のクラスが生成され、生成されたクラスは、学習により得られた係数が格納されている係数メモリ１３へ供給される。係数メモリ１３では、クラス生成回路１２からのクラスに応答して係数が読み出され、読み出された係数は、予測演算回路１５へ供給される。予測演算回路１５では、遅延回路１４によって、所定時間遅延された入力信号と係数との演算により、最適なデータが獲得される。
【００１５】
上述した、この発明の一般的な構成において、処理回路３がＬＰＦ処理を行うものであり、それによって、解像度を上げるようにした第１の実施例を図３を用いて説明する。まず、同一の被写体に対して、２種類の解像度の異なる撮像系で撮像された映像信号を使用する。このとき、解像度の低いほうの撮像系で得られた入力信号は、例えば１３．５ＭHzのサンプリング周波数のＡ／Ｄ変換器によって、アナログ信号からディジタル信号へ変換され、この映像信号をＬＳと表す。解像度の高いほうの撮像系で得られた教師信号は、例えば２７．０ＭHzのサンプリング周波数のＡ／Ｄ変換器によって、アナログ信号からディジタル信号へ変換され、この映像信号をＨＳと表す。
【００１６】
このように、入力信号（映像信号ＬＳ）と教師信号（映像信号ＨＳ）とを用いて、例えば上述の図１では、スイッチ４の入力端子Ａとスイッチ６の入力端子Ｄが接続された状態で学習することによって、低いサンプリングレートの信号から２倍の高いサンプリングレートの信号を生成するための係数が算出される。
【００１７】
また、図１中のスイッチ４の入力端子Ａとスイッチ６の入力端子Ｃが接続された状態で学習することによって、低いサンプリングレートの信号から４倍の高いサンプリングレートの信号を生成するための係数が算出される。これは、学習によって生成される係数が入力信号に対して、処理ｆ（ｘ）として、例えばＬＰＦ処理が行われ、供給された入力信号の画素数は、落とさず、入力信号の帯域のみが落とされ、さらにサンプリングレートを図３Ａに示すように、例えば１／２に落とした信号（ＬＰＦ−ＬＳ）と教師信号とを使用しているためである。
【００１８】
より具体的には、入力信号ＬＳ（１３．５ＭHz）に対してＬＰＦが施された信号ＬＰＦ−ＬＳ（６．７５ＭHz）と教師信号ＨＳ（２７．０ＭHz）との学習によって、得られた係数を使用して、図３Ｂに示すように、低いサンプリングレートの入力信号ＬＳ（１３．５ＭHz）から４倍の高いサンプリングレートの信号（５４．０ＭHz）を生成することができる。
【００１９】
従来の学習方法では、入力された信号から、その信号の２倍の解像度を得ることしかできなかったが、この実施例を適用する学習方法により獲得された係数を使用して解像度を上げる処理を行うとき、通常のサンプリングレートの入力信号に対して、４倍の解像度の信号を作りだすことが可能となる。
【００２０】
次に、第２の実施例として、ＳＮ比の改善を行う場合の学習を説明する。一般に、カメラで撮影された映像信号は、伝送系や記録再生系を通ると何らかの雑音が付加され、ＳＮ比が劣化する。通常は、カメラ出力を教師信号とし、伝送系や記録再生系を通ってきた信号を入力信号として、ＳＮ比を改善するための係数を学習する。この係数を使用してＳＮ改善を行う場合、入力信号に予期できない大きさの雑音が加わった場合には、大幅な改善を望むことはできない。
【００２１】
そこで、この第２の実施例では、カメラ出力である入力信号に、処理ｆ（ｘ）として、大きさや発生頻度等の特性をコントロールできる乱数を、例えば計算機で発生させ、これを加えることで人工的な雑音で汚れた信号を作り、教師信号と学習することでＳＮ比の改善のための係数を算出する。こうすることで、想定した雑音特性に対する係数の学習を容易に制御することが可能となり、改善効果を上げることができる。なお、従来の伝送系や記録再生系を通ってきた信号とあわせて学習することでＳＮ比の改善効果が大幅に向上することが期待される。
【００２２】
さらに次に、第３の実施例として、圧縮歪みの改善を行う場合の学習を説明する。インターネット等を通じた画像の伝送の場合、通常、画像は、圧縮されて伝送されるため、コンピュータのモニタに再現される画像は、独特な歪みをもったものが多い。また、ＴＶ放送においても、非圧縮の画像信号ばかりでなく、ＭＰＥＧ等で圧縮された画像も扱われるようになってきており、圧縮による画像歪みが問題となっている。
【００２３】
この圧縮による画像の歪みは、一般には圧縮方式によって異なる。そこで、この第３の実施例では、入力画像信号に対して、処理ｆ（ｘ）として、想定される種々の圧縮方式の圧縮伸長処理を行ったものと、教師信号である非圧縮の画像信号とを用いて、圧縮歪みの改善のための係数を学習することで、どのような未知の入力信号に対しても、獲得した係数を用いたクラス分類適応処理を行うことで、圧縮の歪みの改善を行うことが可能となる。
【００２４】
また次に、第４の実施例として、輝度補正を行う場合の学習を説明する。図１に示したクラス分類適応処理用の学習装置を輝度補正用に、より具体化したブロック図を図４に示す。２１で示す入力端子から供給される画像信号の内、輝度信号ＹがＡ／Ｄ変換器２２によって、アナログ信号からディジタル信号へ変換される。このＡ／Ｄ変換器２２では、例えば１３．５ＭHzのクロックでサンプリングが行われた場合、画像のサイズは、１フレームあたり、横７２０画素×縦４８０ライン程度となる。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２２から学習回路２３およびゲイン／オフセット回路２４へ供給される。
【００２５】
ゲイン／オフセット回路２４では、供給された輝度信号のゲインおよび／またはオフセットを変化させる処理が処理ｆ（ｘ）として、実行される。ゲインは、照明の明るさ（コントラスト）に関連し、オフセットは、照明の平均的な明るさに関連したものである。このとき、ゲインは、常に１とならなくても良く、０．９、１．２等の値でも良い。ゲインおよび／またはオフセットの処理がなされた輝度信号は、平均値／標準偏差回路２５および遅延回路２７へ供給される。
【００２６】
平均値／標準偏差回路２５では、後述するように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が求められる。平均値／標準偏差回路２５において、輝度値毎の度数分布を求めるためのテーブルを持ち、１フィールド期間または１フレーム期間に乗算した度数分布から、図５に示すように輝度の平均値が算出されると共に、標準偏差も算出される。算出された平均値および標準偏差は、平均値／標準偏差回路２５から量子化（Ｑ）回路２６へ供給される。輝度の平均値を算出する計算式を式（１）に示し、標準偏差を算出する計算式を式（２）に示す。
【００２７】
平均値＝Σ（輝度値×度数）／全度数                      （１）
標準偏差＝√（Σ（（輝度値−平均値）2×度数）／全度数）  （２）
ただし、√（  ）は、（  ）内の演算結果の平方根とする。
【００２８】
量子化回路２６では、算出された平均値および標準偏差がそれぞれａビットおよびｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生される。このｎビットのコードが量子化回路２６から縮退ＲＯＭ３２へ供給される。さらに、ｎビットのコードは、いわゆる輝度分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうか、また、輝度分布が平坦か急峻かを判定することができる。
【００２９】
一方、遅延回路２７では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路２８および３０さらに遅延回路３３へ供給される。ブロック化回路２８では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路２９へ供給される。ＡＤＲＣ回路２９では、後述するようにブロック化された画素から最大値および最小値が選択され、各画素が再量子化されｍビットのコードが発生され、縮退ＲＯＭ３２へ供給される。このコードは、いわゆる空間の輝度の変化の様子をパターン化したものである。ｍビットのコードによるクラス分類は、輝度補正そのものより、Ｓ／Ｎ比の改善、解像度の改善等に効果をもたらす。
【００３０】
ブロック化回路３０において、補正しようとする注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。このブロック化回路３０において実行されるブロック化と、上述したブロック化回路２８において実行されるブロック化とは、異なっても良い。すなわち、ブロック化回路２８において選択される画素と、ブロック化回路３０において選択される画素とは異なっても何ら問題はない。ブロック化された画素は、ブロック化回路３０から平均化回路３１へ供給される。平均化回路３１では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ３２へ供給される。
【００３１】
このように、ブロック化された各画素の輝度の平均値が算出され、すなわち輝度レベルをクラス分類の１つとすることで、レベル方向での補正の仕方に変化を持たせることができる。例えば、明るい部分や暗い部分のみを補正したり、γ特性を考慮した補正を行うことが可能となる。また、輝度レベルの平均化による作用は、輝度補正が過敏に利くのを防止する役割も果たす。
【００３２】
以上の説明で、３種類のクラス分類コードが生成されたが、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで、量子化回路２６からのｎビット、ＡＤＲＣ回路２９からのｍビットおよび平均化回路３１からのｐビットは、縮退ＲＯＭ３２において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ３２では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ３２から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路２３へ供給される。
【００３３】
なお、縮退の方法について、ここでは詳細を述べないが、（ｎ＋ｍ＋ｐ）ビットで学習した全クラスに対応する係数組から、ベクトル量子化的手法として、係数間ノルムの小さいものをまとめて縮退させる方法等を使用するものとする。すなわち、２つの係数組の間で、対応する係数の距離（係数間ノルム）を求め、これに基づいて、係数の組をまとめる。
【００３４】
遅延合わせが行われる遅延回路３３の出力がブロック化回路３４へ供給され、そのブロック化回路３４では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、学習回路２３へ供給される。
【００３５】
そして、上述したように、Ａ／Ｄ変換器２２からの教師用の画像信号が学習回路２３に供給される。学習回路２３では、ｎタップの線形一時結合モデルを形成し、その各係数を学習回路２３で算出する。算出された各係数は、出力端子３５から取り出され、係数ＲＯＭへ格納される。また、学習回路２３は、後述する最小自乗法誤差規範にてクラス毎に係数を学習するものである。学習により得られた係数は、出力端子３５を介して出力され、メモリ等の記憶媒体にクラス毎に格納される。
【００３６】
ここで、平均値／標準偏差回路２５の一例を図６に示し説明する。入力端子４１から輝度値が供給される。供給された輝度値は、輝度度数分布テーブル４２へ供給され、輝度度数分布テーブル４２において、例えば１フィールドまたは１フレーム内の輝度レベルの度数分布のテーブルが生成される。生成されたテーブルに基づいて、平均値算出回路４３では、平均値が式（１）により算出され、算出された平均値は、標準偏差算出回路４４へ供給されると共に、出力端子４５から取り出される。標準偏差算出回路４４では、度数分布のテーブルと平均値から標準偏差が式（２）により算出され、算出された標準偏差は、出力端子４６から取り出される。取り出された標準偏差が小さいときは、度数分布の幅は狭く、標準偏差が大きいときは、度数分布の幅は広くなる。
【００３７】
ここで、ＡＤＲＣ回路２９の構成の一例を図７に示し説明する。入力端子５１からブロック化されたデータが供給される。供給されたデータは、最大値検出回路５２、最小値検出回路５３および遅延回路５４へ供給される。最大値検出回路５２において、ブロック内の画素値の最大となる値が検出され、最小値検出回路５３において、ブロック内の画素値の最小となる値が検出される。減算器５５では、最大値から最小値が減算され、そのブロックのダイナミックレンジＤＲが算出される。算出されたダイナミックレンジＤＲは、適応再量子化回路５７へ供給される。
【００３８】
遅延回路５４では、最大値検出回路５２および最小値検出回路５３がそれぞれ検出にかかる時間遅延が行われ、１画素ずつ出力される。減算器５６では、ブロック化された各画素から最小値が減算され、その減算値は、適応再量子化回路５７へ供給される。適応再量子化回路５７では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値の量子化を画素毎に行う。並列化回路５８では、量子化された画素がブロック単位で並列化され、出力端子５９からコード化データとして出力される。
【００３９】
学習の方法として、多数の補正対象用の入力信号の画素の値と教師用の画像信号の画素の値との関係を求める最小自乗法を採用する。まず、上述した値の間に線形１次結合の関係があると仮定し、以下に線形一次結合モデルを示す。
【００４０】
線形一次結合モデル：（観測方程式）
ＸＷ＝Ｙ                                  （３）
【数１】
2008086021.tif 000003
【００４１】
最小自乗法による解法：（残差方程式）
【数２】
2008086021.tif 000004
【００４２】
式（５）から、各ｗiの最確値を見いだすには、
【数３】
2008086021.tif 000005
を最小にする条件、すなわち
【００４３】
【数４】
2008086021.tif 000006
なる、Ｎ個の条件を入れてこれを満足するｗ1、ｗ2、・・・、ｗNを見いだせばよい。式（５）より、
【００４４】
【数５】
2008086021.tif 000007
となり、式（６）条件をｉ＝１，２，・・・，Ｎについて立てればそれぞれ、
【００４５】
【数６】
2008086021.tif 000008
が得られる。ここで、式（５）および式（８）から次式の正規方程式が得られる。
【００４６】
【数７】
2008086021.tif 000009
これは、ちょうど未知数の数Ｎ個だけある連立方程式であるから、これより最確値たる各ｗiを求めることができる。
【００４７】
正確には、式（９）でｗiにかかる
【数８】
2008086021.tif 000010
のマトリクスが正則であれば解くことができる。（ただし、ｋ＝１，２，・・・，Ｎ、ｌ＝１，２，・・・，Ｎ）実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解くことになる。
【００４８】
次に、最小自乗法の演算を行うハードウェアのブロック図を図８に示す。図４の学習のブロック図において、補正対象の画素を中心とするブロックの画素値ｘ1〜ｘNと、その画素に対応する教師用の画素値ｙが入力されると共に、クラスコード（インデックス）が入力される。最小自乗法の回路は、大きく分けて正規方程式生成回路６１とＣＰＵ６２からなり、その正規方程式生成回路６１は、乗算器アレイ６３、加算メモリ６４およびデコード部６５からなる。ＣＰＵ６２は、係数を求めるため、例えば掃き出し法の演算を行うＣＰＵからなる。乗算器アレイ６３には、注目画素位置に対して１組のメモリ（またはレジスタ）が存在し、加算メモリ６４には、クラスの数だけ組のメモリ（またはレジスタ）が存在する。また、デコード部６５では、供給されるクラスコード（インデックス）がデコードされる。
【００４９】
ここで、乗算器アレイ６３について、図９を用いて説明する。補正対象の画素を中心としてブロックの画素値と対応する教師用の画素値ｙは、正規方程式生成回路６１の乗算器アレイ６３において、図中に示すように各要素どうしの乗算が行われ、その結果が加算メモリ６４へ供給される。
【００５０】
そして、加算メモリ６４は、図１０に示すように加算器アレイ７１およびメモリ（またはレジスタ）アレイ７２1〜７２Nから構成される。加算器アレイ７１には、乗算器アレイ６３からの結果とメモリ（またはレジスタ）アレイ７２1〜７２Nからの出力が供給される。その加算結果は、加算器アレイ７１からメモリ（またはレジスタ）アレイ７２1〜７２Nに出力される。このとき、どのメモリ（またはレジスタ）アレイ７２1〜７２Nが選択されるかは、デコード部６５に供給されたクラスコード（インデックス）がデコードされることで一意に決定される。つまり、インデックスによって決定されるクラス毎にメモリ（またはレジスタ）アレイ７２が選択される。この選択されたメモリ（またはレジスタ）アレイ７２には、積和演算の結果が更新され、記憶される。
【００５１】
なお、各々のアレイの位置は、正規方程式（９）のｗiにかかる
【数９】
2008086021.tif 000011
の位置に対応する。正規方程式（９）を見てわかるように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【００５２】
以上のようにして、ある一定期間の間にクラス毎に積和演算が行われて画素位置毎のさらにクラス毎の正規方程式が生成される。クラス毎の正規方程式の各項の結果は、それぞれのクラスに対応するメモリ（またはレジスタ）アレイに記憶されており、次にそれらのクラス毎の正規方程式の各項が掃き出し法の計算回路に供給される。この計算はＣＰＵ６２によって行われる。計算された係数の組は、係数ＲＯＭで構成される係数テーブルに書き込まれて使用される。
【００５３】
次に、上述した学習により獲得された係数を用いて、画像信号の解像度の向上も可能な輝度補正回路を図１１を用いて説明する。なお、この一例を説明するにあたり、上述の第４の実施例と同一の部分には同一符号を付し、その説明は、省略する。
【００５４】
入力端子８１から供給された輝度信号Ｙは、Ａ／Ｄ変換器８２へ供給され、Ａ／Ｄ変換器８２では、例えば１３．５ＭHzでサンプリングされ、ディジタル化された信号は、平均値／標準偏差回路２５および遅延回路２７へ出力される。縮退ＲＯＭ３２では、量子化回路２６からのｎビットのコードと、ＡＤＲＣ回路２９からのｍビットのコードと、平均化回路３１からのｐビットのコードに対して縮退させ、ｑビットのクラスコード（インデックス）が係数ＲＯＭ８３へ供給される。係数ＲＯＭ８３1〜８３Nでは、供給されたクラスコードでアドレッシングされ、係数ｗ1〜ｗNが読み出される。読み出された係数ｗ1〜ｗNは、それぞれ乗算器８４1〜８４Nへ供給される。
【００５５】
ブロック化回路３４では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、乗算器８４1〜８４Nへ供給される。乗算器８４1〜８４Nでは、係数ＲＯＭ８３1〜８３Nからの係数ｗ1〜ｗNと、ブロック化された各画素値が乗算され、その乗算値は、加算器８５へ供給される。加算器８５では、乗算器８４1〜８４Nからの乗算値が加算される。すなわち、乗算器８４1〜８４Nおよび加算器８５において、積和演算することで、輝度補正値の予測が行われる。その予測値は、Ｄ／Ａ変換器８６において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として出力端子８７から取り出される。
【００５６】
係数ＲＯＭ８３1〜８３Nから読み出される係数ｗ1〜ｗNは、上述した学習時にサンプリングレートが６．７５ＭHzの信号ＬＰＦ−ＬＳと２７．０ＦＭHzの映像信号とによって、得られた係数である。予測値を生成するときに、この係数を使用することによって、１３．５ＭHzのサンプリングレートの輝度信号Ｙは、４倍の高い５４．０ＭHzのサンプリングレートの輝度信号Ｙ´を生成することができる。
【００５７】
この実施例では、すべてハードウェアで実現する方法を記載したが、ディジタル化されたデータを計算機に取り込むことでソフトウェアで計算しても良い。
【００５８】
また、この実施例では、解像度、Ｓ／Ｎ比、圧縮歪みおよび輝度値の改善のための係数を求める学習を行うときに、入力信号に対して施す処理ｆ（ｘ）を別々に行っているが、これらの処理の２つ以上を組み合わせても良い。例えば、ゲインおよび／またはオフセットの後、ＬＰＦ処理を入力信号に対して施すことで、得られた係数は、解像度および輝度値のさらなる改善に使用できるものとなる。
【００５９】
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【図面の簡単な説明】
【００６０】
【図１】この発明のクラス分類適応処理の学習装置の一般的な構成例を示すブロック図である。
【図２】この発明のクラス分類適応処理の一実施例の一般的な構成例を示すブロック図である。
【図３】この発明の解像度の説明に用いる一例の略線図である。
【図４】この発明が適用できる輝度補正装置に対応する学習回路の実施例である。
【図５】この発明が適用できる実施例の説明に用いる度数分布表である。
【図６】この発明が適用された輝度補正装置に用いられている平均値／標準偏差回路の一例である。
【図７】この発明が適用された輝度補正装置に用いられているＡＤＲＣ回路の一例である。
【図８】この発明に係る学習回路に適用される最小自乗法の一例を説明するためのブロック図である。
【図９】この発明に係る乗算器アレイの説明に用いる一例の略線図である。
【図１０】この発明に係る加算メモリの説明に用いる一例の略線図である。
【図１１】この発明が適用できる輝度補正装置の実施例を示すブロック図である。
【符号の説明】
【００６１】
３・・・処理回路
４、６・・・スイッチ
５・・・クラス生成回路
７・・・学習回路
【図１】
2008086021.tif 000012
【図２】
2008086021.tif 000013
【図３】
2008086021.tif 000014
【図４】
2008086021.tif 000015
【図５】
2008086021.tif 000016
【図６】
2008086021.tif 000017
【図７】
2008086021.tif 000018
【図８】
2008086021.tif 000019
【図９】
2008086021.tif 000020
【図１０】
2008086021.tif 000021
【図１１】
2008086021.tif 000022