(57)【特許請求の範囲】
【請求項１】
入力信号の注目サンプル周辺におけるサンプル値の特徴を表すクラス情報を生成し、当該クラスに対応した係数と、上記注目サンプル周辺におけるサンプル値との予測演算によって出力信号を生成する際に用いられる上記係数を予め学習によりクラス毎に求めるようにした信号処理装置において、
上記入力信号の注目サンプル周辺におけるサンプル値から上記クラス情報を生成するクラス情報生成手段と、
上記予測演算に用いられる上記入力信号の注目サンプル周辺に対応する複数のサンプル値を選択する選択手段と、
選択された上記複数のサンプル値と、上記出力信号に対応する信号である教師信号とからなる学習データを代入することにより、上記クラス情報毎の上記係数を求めるための連立方程式を構成する所定の数以上の正規方程式をクラス情報毎に生成する正規方程式生成手段と、
上記クラス情報毎に入力される上記学習データの度数をカウントするカウント手段と、
上記クラス情報毎の上記度数と上記所定の数であるしきい値とを比較する比較手段と、
上記比較手段から上記度数が上記しきい値以下となる第１のクラス情報と、上記第１のクラス情報とクラス情報間の距離が最も小さい第２のクラス情報とを記憶する手段と、
上記第２のクラス情報の学習データを第１のクラス情報の学習データに加算し、且つ上記度数も加算する加算手段と、
クラス情報毎の複数の正規方程式を連立させた連立方程式から該クラス情報に対応する上記係数を求める連立方程式演算手段とを有し、
上記加算手段は、上記度数が上記しきい値より大きくなるまで、加算処理を繰り返し実行する
ことを特徴とする信号処理装置。
【請求項２】
入力信号の注目サンプル周辺におけるサンプル値の特徴を表すクラス情報を生成し、当該クラスに対応した係数と、上記注目サンプル周辺におけるサンプル値との予測演算によって出力信号を生成する際に用いられる上記係数を予め学習によりクラス毎に求めるようにした信号処理方法において、
上記入力信号の注目サンプル周辺におけるサンプル値から上記クラス情報を生成するステップと、
上記予測演算に用いられる上記入力信号の注目サンプル周辺に対応する複数のサンプル値を選択するステップと、
選択された上記複数のサンプル値と、上記出力信号に対応する信号である教師信号とからなる学習データを代入することにより、上記クラス情報毎の上記係数を求めるための連立方程式を構成する所定の数以上の正規方程式をクラス情報毎に生成するステップと、
上記クラス情報毎に入力される上記学習データの度数をカウントするステップと、
上記クラス情報毎の上記度数と上記所定の数であるしきい値とを比較するステップと、
上記比較するステップから上記度数が上記しきい値以下となる第１のクラス情報と、上記第１のクラス情報とクラス情報間の距離が最も小さい第２のクラス情報とを記憶するステップと、
上記第２のクラス情報の学習データを第１のクラス情報の学習データに加算し、且つ上記度数も加算するステップと、
クラス情報毎の複数の正規方程式を連立させた連立方程式から該クラス情報に対応する上記係数を求めるステップとを有し、
上記加算するステップは、上記度数が上記しきい値より大きくなるまで、加算処理を繰り返し実行する
ことを特徴とする信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば標準ＴＶ信号をＨＤＴＶ信号へ変換するのに適用することができる信号処理装置および方法に関する。
【０００２】
【従来の技術】
例えば、標準ＴＶ信号からＨＤＴＶ信号へのアップコンバージョンを行う場合や、サブサンプル補間を行う場合、従来の線形補間による手法よりも、クラス分類適応処理を用いた手法の方が性能の良い結果を得られる。クラス分類適応処理で使用される線形一次式の係数は、予めクラス毎に最小自乗法などの学習によって決定される。
【０００３】
このとき学習素材によっては、充分な学習データ数を満たすことができないクラスが生じることがある。このような場合、そのまま学習を行って係数を求めると、学習数が充分となるクラスでは、良い性能を得ることができるが、学習数が少ないまたは学習に含まれないクラスでは、充分な性能を上げることができない場合がある。このような場合、偏った性格のクラス分類適応処理となり、十分な性能を上げることができなかった。
【０００４】
【発明が解決しようとする課題】
そこで、これを回避する手段として、クラス分けをしない場合の平均的な係数を代用することが多かった。しかしながら、これも無難ではあるが、本来の性能を引き出すまでには至らなかった。
【０００５】
従って、この発明の目的は、学習データ数の少ないクラスであっても最適な係数を求めることができる信号処理装置および方法を提案することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、入力信号の注目サンプル周辺におけるサンプル値の特徴を表すクラス情報を生成し、当該クラスに対応した係数と、注目サンプル周辺におけるサンプル値との予測演算によって出力信号を生成する際に用いられる係数を予め学習によりクラス毎に求めるようにした信号処理装置において、入力信号の注目サンプル周辺におけるサンプル値からクラス情報を生成するクラス情報生成手段と、予測演算に用いられる入力信号の注目サンプル周辺に対応する複数のサンプル値を選択する選択手段と、選択された複数のサンプル値と、出力信号に対応する信号である教師信号とからなる学習データを代入することにより、クラス情報毎の係数を求めるための連立方程式を構成する所定の数以上の正規方程式をクラス情報毎に生成する正規方程式生成手段と、クラス情報毎に入力される学習データの度数をカウントするカウント手段と、クラス情報毎の度数と所定の数であるしきい値とを比較する比較手段と、比較手段から度数がしきい値以下となる第１のクラス情報と、第１のクラス情報とクラス情報間の距離が最も小さい第２のクラス情報を記憶する手段と、第２のクラス情報の学習データを第１のクラス情報の学習データに加算し、且つ度数も加算する加算手段と、クラス情報毎の複数の正規方程式を連立させた連立方程式から該クラス情報に対応する係数を求める連立方程式演算手段とを有し、加算手段は、度数がしきい値より大きくなるまで、加算処理を繰り返し実行することを特徴とする信号処理装置である。
【０００７】
請求項２に記載の発明は、入力信号の注目サンプル周辺におけるサンプル値の特徴を表すクラス情報を生成し、当該クラスに対応した係数と、注目サンプル周辺におけるサンプル値との予測演算によって出力信号を生成する際に用いられる係数を予め学習によりクラス毎に求めるようにした信号処理方法において、入力信号の注目サンプル周辺におけるサンプル値からクラス情報を生成するステップと、予測演算に用いられる入力信号の注目サンプル周辺に対応する複数のサンプル値を選択するステップと、選択された複数のサンプル値と、出力信号に対応する信号である教師信号とからなる学習データを代入することにより、クラス情報毎の係数を求めるための連立方程式を構成する所定の数以上の正規方程式をクラス情報毎に生成するステップと、クラス情報毎に入力される学習データの度数をカウントするステップと、クラス情報毎の度数と所定の数であるしきい値とを比較するステップと、比較するステップから度数がしきい値以下となる第１のクラス情報と、第１のクラス情報とクラス情報間の距離が最も小さい第２のクラス情報を記憶するステップと、第２のクラス情報の学習データを第１のクラス情報の学習データに加算し、且つ度数も加算するステップと、クラス情報毎の複数の正規方程式を連立させた連立方程式から該クラス情報に対応する係数を求めるステップとを有し、加算するステップは、度数がしきい値より大きくなるまで、加算処理を繰り返し実行することを特徴とする信号処理方法である。
【０００８】
所定のしきい値ｔｈより少ない学習データ数となるインデックスの第１フラグがセットされ、第１フラグがセットされたインデックスと良く似たインデックスが第２フラグとして記憶され、第１フラグがセットされたインデックスの学習データと、第２フラグに記憶されているインデックスの学習データとを加算し、学習データ数が所定のしきい値ｔｈより大きくなるまで繰り返され、得られた充分な学習データ数から係数が求められる。
【０００９】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明が適用された一実施形態を示す。１で示す入力端子から入力信号が供給される。供給された入力信号は、クラス生成回路２および遅延タップ生成回路６へ供給される。クラス生成回路２では、供給された入力信号から所定の注目画素周辺の複数の画素に対して、例えばＡＤＲＣ（適応的ダイナミックレンジ符号化）が施され、クラスコードが生成される。生成されたクラスコードは、スイッチ回路３を介してインデックスデコード回路４へ供給される。インデックスデコード回路４では、供給されたクラスコードに対応するインデックスコードが正規方程式回路８へ供給される。このインデックスコードは、インデックス毎の正規方程式を生成する正規方程式回路８1 〜８n へのアドレッシングとして使用される。
【００１０】
所定の注目画素に対応する教師信号は、入力端子５から供給される。その教師信号は、遅延タップ生成回路６へ供給される。遅延タップ生成回路６では、正規方程式を生成するために、教師信号に対応する入力信号のタップが生成される。その教師信号と入力信号のタップは、スイッチ回路７を介してインデックスデコード回路４からのインデックスコードに従ってインデックス毎の正規方程式を生成するために、正規方程式回路８へ振り分けられる。このとき、教師信号と入力信号のタップは、正規方程式回路８へ供給されるインデックスコードとのタイミング合わせのために所定の時間遅延され、正規方程式回路８へ出力される。
【００１１】
正規方程式回路８では、インデックス毎に正規方程式回路８1 〜８n が用意される。インデックスコードに従って正規方程式回路８1 〜８n に教師信号と入力信号のタップとが振り分けられ、正規方程式を生成する演算に使用される。この正規方程式回路８1 〜８n には、そのインデックスの学習データ（正規方程式の各項）の度数をカウントするための度数カウンタが結合され、正規方程式回路８に学習データが供給される度に、対応する度数カウンタがインクリメントされる。正規方程式回路８1 〜８n では、インデックス毎に正規方程式が生成される。学習素材の入力が終了すると、インデックス毎の正規方程式ならびに度数がメモリに蓄えられる。また、正規方程式は、正規方程式回路８から連立方程式回路１２へ供給される。このように第１の学習処理が行われる。
【００１２】
第１の学習処理が終了したとき、しきい値判定、フラグ生成回路９では、しきい値部１０から供給されるしきい値ｔｈと度数とが比較され、度数がしきい値ｔｈより小さいときは、学習データ数が不足していると判断し、例えば１ビットの第１フラグがセットされる。次に、第１フラグがセットされたインデックスと性質の良く似たインデックスがテーブル１１から読み出され、読み出されたインデックスは、例えば複数ビットの第２フラグとして記憶される。このテーブル１１には、例えば事前にインデックス毎に求められたノルムが記憶されるので、第１フラグがセットされたインデックスと、ノルムの小さいインデックスが第２フラグとして記憶される。この第１フラグおよびその第１フラグに関連付けられた第２フラグは、しきい値、フラグ生成回路９にインデックスを記憶する。
【００１３】
そして、第２の学習処理に切り換えられる。しきい値判定、フラグ生成回路９では、第１および第２フラグに基づいて、スイッチ回路３および１４の動作が制御される。しきい値判定、フラグ生成回路９からスイッチ回路３を介してインデックスデコード回路４へクラスコードが供給される。また、しきい値判定、フラグ生成回路９から終了判定回路１３へ第１および第２フラグが供給される。
【００１４】
第１フラグがセットされているインデックスの学習データに、第２フラグとして記憶されているインデックスの学習データを加算するために、スイッチ回路１４を介して正規方程式回路８から出力される第２フラグとして記憶されているインデックスの学習データが正規方程式回路８へ供給される。このように、学習データ数が不足していると判断され、第１フラグがセットされているインデックスに、第２フラグとして記憶されているインデックスの学習データ（正規方程式の各項）が足し合わされ、且つ度数が足し合わされる。
【００１５】
そして、度数がしきい値ｔｈを超えるまで同様な操作が繰り返され、充分な学習データ数が確保される。３回目以降に足し合わされる学習データは、２回目と同じインデックスの学習データであっても良いし、異なる別の良く似たインデックスの学習データであっても良い。
【００１６】
そして、インデックス毎に、学習データ数の度数がしきい値ｔｈを超えると、第１および第２フラグがリセットされる。全インデックスの第１および第２フラグがリセットされたときに、第２の学習処理が終了する。終了判定回路１３では、しきい値判定、フラグ生成回路９から供給される第１および第２フラグから第２の学習処理が終了したことが判定され、終了判定信号が連立方程式回路１２へ供給される。連立方程式回路１２では、終了判定回路１３からの終了判定信号に従って、正規方程式回路８から最終的な正規方程式が供給される。正規方程式回路１３では、最終的な正規方程式から連立方程式が解かれ、係数が求められる。求められた係数は、出力端子１５から出力され、記憶媒体に記憶される。
【００１７】
ここで、上述のスイッチ回路３、７および１４の動作を説明する。スイッチ回路３は、第１の学習処理のときに、クラス生成回路２とインデックスデコード回路４とが接続され、第２の学習処理で、且つ第１フラグがセットされ、第２フラグとしてインデックスが記憶されているときに、しきい値判定、フラグ生成回路９とインデックスデコード回路４とが接続される。かかる状態以外では、スイッチ回路３は、オフ状態となる。スイッチ回路７は、第１の学習処理のときに、オン状態となり、第２の学習処理のときに、オフ状態となる。スイッチ回路１４は、第１の学習処理のときに、オフ状態となり、第２の学習処理、且つ第１フラグがセットされ、第２フラグとしてインデックスが記憶されているときに、オン状態となる。
【００１８】
この一実施形態のフローチャートを図２に示す。上述したように、この一実施形態では、第１および第２の学習処理があり、ステップＳ１〜Ｓ５において、第１の学習処理が行われ、ステップＳ６〜Ｓ１５において、第２の学習処理が行われる。
【００１９】
ステップＳ１では、学習素材が入力される。ステップＳ２では、入力された学習データの所定の注目画素周辺の画素値に対して、例えばＡＤＲＣを施してクラスコードが生成され、生成されたクラスコードからインデックスコードが生成される。ステップＳ３では、学習データが入力される度に、対応するインデックスの度数がカウントされる。ステップＳ４では、学習データが入力されたインデックス毎に正規方程式が生成される。ステップＳ５では、入力された全学習データの処理が終了したか否かが判断され、全学習データの処理が終了したと判断されると、ステップＳ６へ制御が移り、まだ終了していないと判断されると、ステップＳ１へ制御が移る。
【００２０】
ステップＳ６では、インデックス毎の度数としきい値ｔｈとが比較され、度数がしきい値ｔｈより小さい（度数＜ｔｈ）場合、ステップＳ７へ制御が移り、度数がしきい値ｔｈより大きい（度数≧ｔｈ）場合、ステップＳ８へ制御が移る。ステップＳ７では、しきい値ｔｈよりあるインデックスの度数が小さい場合、学習データ数が少ないので、そのインデックスに対応する、例えば１ビットの第１フラグ（flag１）がセットされ、第１フラグがセットされたインデックスと良く似たインデックスが、例えば複数ビットの第２フラグ（flag２）として記憶される。ステップＳ８では、全インデックスの度数としきい値ｔｈとの比較が終了したか否かが判断され、全インデックスの比較が終了した場合、ステップＳ９へ制御が移り、まだ全インデックスの比較が終了していない場合、ステップＳ６へ制御が移る。
【００２１】
ステップＳ９では、第１フラグがセットされているインデックスがあるか否かが判断され、セットされているインデックスがあると判断されると、ステップＳ１０へ制御が移り、セットされているインデックスがないと判断されると、ステップＳ１４へ制御が移る。ステップＳ１０では、第１フラグがセットされているインデックスの学習データ（正規方程式の各項）に、第２フラグとして記憶されているインデックスの学習データが加算される。ステップＳ１１では、加算された学習データの度数がカウントされる。ステップＳ１２では、度数としきい値ｔｈとが比較され、度数がしきい値ｔｈより大きい（度数＞ｔｈ）場合、ステップＳ１３へ制御が移り、度数がしきい値ｔｈより小さい（度数≦ｔｈ）場合、ステップＳ９へ制御が移る。
【００２２】
ステップＳ１３では、第１および第２フラグがリセットされる。すなわち、第１フラグがセットされているインデックスに、第２フラグとして記憶されているインデックスの学習データを、加算することにより、第１フラグがセットされているインデックスの度数がしきい値ｔｈより大きくなったので、第１および第２フラグがリセットされる。ステップＳ１４では、第１フラグがセットされているインデックスがあるか否かが判断され、第１フラグが全てリセットされている場合、ステップＳ１５へ制御が移り、まだ第１フラグがセットされているインデックスが残っている場合、ステップＳ９へ制御が移る。ステップＳ１５では、全インデックスの学習データ（正規方程式の各項）から連立方程式が解かれ、その結果充分な学習データから係数が求められる。
【００２３】
上述した一実施形態では、インデックスに１ビットの第１フラグがセットされ、そのインデックスに良く似たインデックスが複数ビットの第２フラグとして記憶されるようにしているが、複数ビットの第１フラグとしてインデックスを記憶し、そのそのインデックスに良く似たインデックスが複数ビットの第２フラグとして記憶されるようにしても良い。また、あるインデックスの度数としきい値ｔｈとを比較して、しきい値ｔｈより小さい場合、インデックスに１ビットの第１フラグをセットし、そのインデックスに良く似たインデックスに１ビットの第２フラグをセットし、第１フラグがセットされているインデックスの学習データと、第２フラグがセットされているインデックスの学習データとを加算し、しきい値ｔｈを超えた後、次のインデックスの度数としきい値ｔｈとの比較を行うようにしても良い。
【００２４】
ここで、学習の方法として、多数の入力画素値と出力画素値との関係を求める方法として、最小自乗法を採用した。まず、上述の値の間に線形１次結合の関係があると仮定し、モデルを立てる。ここでは、オフセット項を加味しない場合の説明を行うが、オフセット項が入る場合は、線形１次結合式に低数項が加わり、その低数項を含めて係数を求める。
【００２５】
入力値Ｘに対してある未知量Ｗが作用して観測値Ｙが得られたとすると、
ＸＷ＝Ｙ                                          （１）
【００２６】
【数１】
0004038875.tif 000002
【００２７】
なる観測方程式（線形１次結合モデル）が得られる。（ただし、ｎ＜ｍである。）しかしながら、実際には観測値に誤差が含まれることからあらためて式（１）を書き直すと、
【００２８】
【数２】
0004038875.tif 000003
【００２９】
なる残差方程式（最小自乗法による解法）が得られる。式（３）から各ｗj （ｊ＝１，２，・・・，ｎ）の最確値を見いだすには、
【００３０】
【数３】
0004038875.tif 000004
【００３１】
を最小にする条件、すなわち
【００３２】
【数４】
0004038875.tif 000005
【００３３】
なるｎ個の条件を入れてこれを満足するｗ1 ，ｗ2 ，・・・，ｗn を見いだせば良い。式（３）より、
【００３４】
【数５】
0004038875.tif 000006
【００３５】
となり、式（４）の条件をｊ＝１，２，・・・，ｎについて立てればそれぞれ、
【００３６】
【数６】
0004038875.tif 000007
【００３７】
が得られる。ここで、式（３）および式（６）から次式の正規方程式が得られる。
【００３８】
【数７】
0004038875.tif 000008
【００３９】
これは、ちょうど未知数の数ｎ個だけある連立方程式であるから、これより最確値たる各ｗj （ｊ＝１，２，・・・，ｎ）を求めることができる。正確には、式（７）でｗj （ｊ＝１，２，・・・，ｎ）にかかる
【００４０】
【数８】
0004038875.tif 000009
【００４１】
（ただし、ｋ＝１，２，・・・，ｎ、ｌ＝１，２，・・・，ｎ）のマトリクスが正則であれば解くことができる。実際には、Gauss-Jordanの消去法（掃き出し法）などの解法を用いて連立方程式を解く。
【００４２】
次に、最小自乗法の演算を行うハードウェアのブロック図を図３に示す。注目画素を中心とするブロックの画素値ｘ1 〜ｘn と、その注目画素に対応する教師信号の画素値ｙが入力されると共に、クラスコード（インデックスコード）が入力される。画素値ｘ1 〜ｘn とｙとは、乗算器アレイ２１へ供給される。乗算器アレイ２１には、注目画素位置に対して１組のメモリ（またはレジスタ）が存在し、加算メモリ２３には、クラスの数だけ組のメモリ（またはレジスタ）が存在する。乗算器アレイ２１では、供給された画素値ｘ1 〜ｘn とｙとが演算される。乗算器アレイ２１によって求められた学習データが加算器アレイ２２へ供給される。
【００４３】
インデックスデコード回路２４では、入力されたクラスコードがデコードされ、デコードされたインデックスに従って加算メモリ２３1 〜２３n の中から記憶された学習データが読み出される。読み出された学習データは、加算器アレイ２２へ供給される。加算器アレイ２２では、乗算器アレイ２１からの学習データと、加算メモリ２３からの学習データとが加算される。その加算結果は、読み出された加算メモリ２３で記憶される。
【００４４】
ここで、乗算器アレイ２２について、図４を用いて説明する。注目画素を中心としてブロックの画素値と対応する教師信号の画素値ｙは、乗算器アレイ２１において、図中に示すように各要素どうしの乗算が行われ、その結果が加算器アレイ２２へ供給される。そして、加算器アレイ２２には、乗算器アレイ２１からの結果と、加算メモリ２３1 〜２３n からの出力とが供給される。その加算結果は、加算器アレイ２２から加算メモリ２３1 〜２３n に出力される。このとき、どの加算メモリ２３が選択されるかは、インデックスデコード回路２４に供給されたクラスコードがデコードされることで一意に決定される。つまり、インデックスによって決定されるクラス毎に加算メモリ２３が選択される。この選択された加算メモリ２３には、積和演算の結果が更新され、記憶される。
【００４５】
この一実施形態では、入力信号の複数の画素値からクラスコードを求めるために、一例としてＡＤＲＣを用いたが、これに限らず、量子化、ＤＣＴ（離散的コサイン変換）および標準偏差などのように複数の画素値から対応する１つのコードを発生するものであればどのようなものでも良い。
【００４６】
【発明の効果】
この発明に依れば、クラス分類適応処理の学習過程において、学習データ数の少ないクラス（インデックス）に良く似たクラス（インデックス）の学習データを加えて、学習データ数を増やすことによって、クラス毎に最適な係数を求めることができるため、従来の方法より性能を改善することができる。
【図面の簡単な説明】
【図１】この発明の信号処理装置の一実施形態を示すブロック図である。
【図２】この発明の信号処理方法の一実施形態を示すフローチャートである。
【図３】この発明に適用される正規方程式のブロック図である。
【図４】この発明に適用される正規方程式のブロック図である。
【符号の説明】
２・・・クラス生成回路、３、７、１４・・・スイッチ回路、４・・・インデックスデコード回路、６・・・遅延タップ生成回路、８・・・正規方程式回路、９・・・しきい値判定、フラグ生成回路、１０・・・しきい値部、１１・・・テーブル、１２・・・連立方程式回路、１３・・・終了判定回路
【図１】
0004038875.tif 000010
【図２】
0004038875.tif 000011
【図３】
0004038875.tif 000012
【図４】
0004038875.tif 000013