(57)【特許請求の範囲】
【請求項１】
入力画像信号に基づいて、その画像信号が属するクラスを決定してクラス情報を出力するクラス検出手段と、
上記入力画像信号を第１の画像信号処理方法にて処理する第１の画像処理手段と、
上記入力画像信号を上記第１の画像信号処理方法と異なる第２の画像信号処理方法にて処理する第２の画像処理手段と、
上記クラス検出手段からのクラス情報に応じて、予め学習によって求められた重み係数を出力する重み係数記憶手段と、
上記重み係数記憶手段から供給された係数を用いて、上記第１及び第２の画像処理手段の出力信号をそれぞれ重み付け加算して出力する手段とを有し、
上記重み係数は、
既知の画像信号を上記第１の画像信号処理方法に対応した信号処理方法で信号処理し、第１の学習画像信号を出力する第１の学習画像生成手段と、
上記既知の画像信号を上記第２の画像信号処理方法に対応した信号処理方法で信号処理し、第２の学習画像信号を出力する第２の学習画像生成手段と、
上記既知の画像信号と上記第１及び第２の学習画像信号とを用いて最適な重み係数を導出する導出手段と、
を備える重み係数学習手段によって生成された係数であることを特徴とする画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において、
上記クラス検出手段は、
上記入力画像信号を所定範囲のブロックに分割し、分割された上記ブロックの範囲に含まれる画像信号のレベル分布のパターンを示す情報を圧縮処理してパターン圧縮情報を出力する情報圧縮手段と、
上記情報圧縮手段から供給されるパターン圧縮情報に応じて、上記クラス検出情報を出力する出力手段と、
を有することを特徴とする画像信号処理装置。
【請求項３】
所望の画像信号を、上記所望の画像信号より高質の出力画像信号に変換する際に使用する重み係数を導出する重み係数導出装置において、
入力画像信号に基づいて、その画像信号が属するクラスを決定してクラス情報を出力するクラス検出手段と、
上記高質の出力画像信号に変換する際に用いられる第１の画像信号処理方法に対応した信号処理方法で、上記入力画像信号を処理し、第１の学習画像信号を出力する第１の学習画像生成手段と、
上記高質の出力画像信号に変換する際に用いられる第２の画像信号処理方法に対応した信号処理方法で、上記入力画像信号を処理し、第２の学習画像信号を出力する第２の学習画像生成手段と、
上記クラス情報に応じて、上記第１及び第２の学習画像生成手段からの出力信号と上記入力画像信号とに基づき、上記重み係数を導出する導出手段と、
を有することを特徴とする重み係数導出装置。
【請求項４】
入力画像信号に基づいて、その画像信号が属するクラスを決定してクラス情報を出力する工程と、
上記入力画像信号を第１の画像信号処理方法にて信号処理する第１の画像処理工程と、
上記入力画像信号を上記第１の画像信号処理方法と異なる第２の画像信号処理方法にて信号処理する第２の画像処理工程と、
上記クラス検出工程からのクラス情報に応じて、予め学習によって求められた重み係数を出力する重み係数出力工程と、
上記重み係数出力工程から供給された係数を用いて、上記第１及び上記第２の画像処理工程の出力信号をそれぞれ重み付け加算して出力する出力工程とを有し、
上記重み係数は、
既知の画像信号を上記第１の画像信号処理方法に対応した信号処理方法で処理し、第１の学習画像信号を出力する第１の学習画像生成工程と、
上記既知の画像信号を上記第２の画像信号処理方法に対応した信号処理方法で処理し、第２の学習画像信号を出力する第２の学習画像生成工程と、
上記既知の画像信号と上記第１及び第２の学習画像信号とを用いて最適な重み係数を導出する導出算出工程と、
によって生成された係数であることを特徴とする画像信号処理方法。
【請求項５】
所望の画像信号を、上記所望の画像信号より高質の出力画像信号に変換する際に使用する重み係数を導出する重み係数導出方法において、
入力画像信号に基づいて、その画像信号が属するクラスを決定してクラス情報を出力するクラス検出工程と、
上記高質の出力画像信号に変換する際に用いられる第１の画像信号処理方法に対応した信号処理方法で、上記入力画像信号を処理し、第１の学習画像信号を出力する第１の学習画像生成工程と、
上記高質の出力画像信号に変換する際に用いられる第２の画像信号処理方法に対応した信号処理方法で、上記入力画像信号を処理し、第２の学習画像信号を出力する第２の学習画像生成工程と、
上記クラス情報に応じて、上記第１及び第２の学習画像生成工程で得られた出力信号と上記入力画像信号とに基づき、上記重み係数を導出する導出工程と、
を有することを特徴とする重み係数導出方法。
【発明の詳細な説明】
【０００１】
この発明は、特に、走査線補間等において使用される適応的な混合処理を行なう画像信号処理装置および方法並びに重み係数導出装置および方法に関する。
【０００２】
【従来の技術】
図５に示す従来の画像信号処理装置は、５１の入力端子から入力された入力信号を複数の異なる処理手段、処理回路５２、５３および特徴量検出回路５４へ夫々供給する。処理回路５２は、フィールド内処理によって、補間画素を形成する。一方、処理回路５３は、フィールド間処理によって、補間画素を形成する。
【０００３】
特徴量検出回路５４は、画像の相関値や動き量等の特徴量から、理論的に想定される画像信号のモデルに基づいた計算式により求められる重み係数ｋおよび（１−ｋ）を乗算器５５および５６へ夫々供給する。乗算器５５は、処理回路５２の出力データと特徴量検出回路５４からの重み係数ｋを掛け合わせる。乗算器５６は、処理回路５３の出力データと特徴量検出回路５４からの重み係数（１−ｋ）を掛け合わせる。加算器５７は、乗算器５５および５６の夫々の出力を混合し、出力端子５８へ出力する。この出力信号は、入力画像信号の走査線が２倍とされたものである。
【０００４】
【発明が解決しようとする課題】
上述のような動き適応の信号混合方法では、想定されたモデルと、実際の画像信号の性質が異なっている場合、適切な混合ができず、出力信号に劣化が生じたようになり、走査線補間のような信号処理の効果が低減してしまうおそれがある。
【０００５】
従って、この発明の目的は、単に信号を混合するのではなく、既知の画像信号から学習を行なうことによって、重み付け係数を求め、この重み付け係数を用いて信号を混合する画像信号処理装置および方法並びに重み係数導出装置および方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、入力画像信号に基づいて、その画像信号が属するクラスを決定してクラス情報を出力するクラス検出手段と、入力画像信号を第１の画像信号処理方法にて処理する第１の画像処理手段と、入力画像信号を第１の画像信号処理方法と異なる第２の画像信号処理方法にて処理する第２の画像処理手段と、クラス検出手段からのクラス情報に応じて、予め学習によって求められた重み係数を出力する重み係数記憶手段と、重み係数記憶手段から供給された係数を用いて、第１及び第２の画像処理手段の出力信号をそれぞれ重み付け加算して出力する手段とを有し、重み係数は、既知の画像信号を第１の画像信号処理方法に対応した信号処理方法で信号処理し、第１の学習画像信号を出力する第１の学習画像生成手段と、既知の画像信号を第２の画像信号処理方法に対応した信号処理方法で信号処理し、第２の学習画像信号を出力する第２の学習画像生成手段と、既知の画像信号と第１及び第２の学習画像信号とを用いて最適な重み係数を導出する導出手段と、を備える重み係数学習手段によって生成された係数であることを特徴とする画像信号処理装置である。
また、請求項３の発明は、所望の画像信号を、所望の画像信号より高質の出力画像信号に変換する際に使用する重み係数を導出する重み係数導出装置において、入力画像信号に基づいて、その画像信号が属するクラスを決定してクラス情報を出力するクラス検出手段と、高質の出力画像信号に変換する際に用いられる第１の画像信号処理方法に対応した信号処理方法で、入力画像信号を処理し、第１の学習画像信号を出力する第１の学習画像生成手段と、高質の出力画像信号に変換する際に用いられる第２の画像信号処理方法に対応した信号処理方法で、入力画像信号を処理し、第２の学習画像信号を出力する第２の学習画像生成手段と、クラス情報に応じて、第１及び第２の学習画像生成手段からの出力信号と入力画像信号とに基づき、重み係数を導出する導出手段と、を有することを特徴とする重み係数導出装置である。
さらに、請求項４の発明は、入力画像信号に基づいて、その画像信号が属するクラスを決定してクラス情報を出力する工程と、入力画像信号を第１の画像信号処理方法にて信号処理する第１の画像処理工程と、入力画像信号を第１の画像信号処理方法と異なる第２の画像信号処理方法にて信号処理する第２の画像処理工程と、クラス検出工程からのクラス情報に応じて、予め学習によって求められた重み係数を出力する重み係数出力工程と、重み係数出力工程から供給された係数を用いて、第１及び第２の画像処理工程の出力信号をそれぞれ重み付け加算して出力する出力工程とを有し、重み係数は、既知の画像信号を第１の画像信号処理方法に対応した信号処理方法で処理し、第１の学習画像信号を出力する第１の学習画像生成工程と、既知の画像信号を第２の画像信号処理方法に対応した信号処理方法で処理し、第２の学習画像信号を出力する第２の学習画像生成工程と、既知の画像信号と第１及び第２の学習画像信号とを用いて最適な重み係数を導出する導出算出工程と、によって生成された係数であることを特徴とする画像信号処理方法である。
また、請求項５の発明は、所望の画像信号を、所望の画像信号より高質の出力画像信号に変換する際に使用する重み係数を導出する重み係数導出方法において、入力画像信号に基づいて、その画像信号が属するクラスを決定してクラス情報を出力するクラス検出工程と、高質の出力画像信号に変換する際に用いられる第１の画像信号処理方法に対応した信号処理方法で、入力画像信号を処理し、第１の学習画像信号を出力する第１の学習画像生成工程と、高質の出力画像信号に変換する際に用いられる第２の画像信号処理方法に対応した信号処理方法で、入力画像信号を処理し、第２の学習画像信号を出力する第２の学習画像生成工程と、クラス情報に応じて、第１及び第２の学習画像生成工程で得られた出力信号と入力画像信号とに基づき、重み係数を導出する導出工程と、を有することを特徴とする重み係数導出方法である
【０００７】
【作用】
学習により混合時の重み付け係数を予め決定しているので、実際の画像の性質に基づいた信号混合ができる。
【０００８】
【実施例】
以下、この発明を走査線補間に対して適用した一実施例を図面を用いて説明する。図１はこの発明の一実施例の学習時の構成を示すブロック図である。１１は入力端子で、ノンインタレースの標準的な静止画像信号を多数枚入力され、垂直間引きフィルタ１２と最小自乗法の演算回路１６へ供給する。静止画像信号が入力端子１１から供給された垂直間引きフィルタ１２は、ノンインタレースの静止画像信号を垂直方向に１／２に間引きし、通常のインタレースの画像と同等の静止画像を処理回路１３、１４および、ＡＤＲＣ回路１５へ夫々供給する。
【０００９】
ここで処理回路１３および１４の夫々の処理を説明する。処理回路１３は、補間走査線の上側走査線の画素データと下側走査線の画素データの平均値を補間走査線の補間画素として取り出す。処理回路１４の処理は、現フィールドの補間走査線の補間画素と同一位置の前フィールドの画素データを現フィールドの補間走査線の補間画素として出力する。
【００１０】
上述のように、処理回路１３は、インタレース信号をフィールド内処理することによって補間データｘ１  を出力する。出力データｘ１  が最小自乗法の演算回路１６へ供給される。処理回路１４は、インタレース信号をフィールド間処理することによって補間データｘ２  を出力する。フィールド間処理を行なった後、出力データｘ２  は最小自乗法の演算回路１６へ供給される。
【００１１】
最小自乗法の演算回路１６では、入力端子１１から供給された静止画像信号と処理回路１３および１４から供給された夫々の出力データｘ１  およびｘ２  すなわち、入力されたノンインタレース信号とインタレース信号に重み付け処理を加えた画像の誤差を最小自乗法により計算し、その計算結果から重み係数ｗ１  およびｗ２  を同定する。すなわち、
ｙ´＝ｗ１  ｘ１  ＋ｗ２  ｘ２                                        （１）
で重み付け混合された出力の値ｙ′が求められ、この値ｙ′と実際の値ｙとの誤差の自乗が最小となる重み付け係数ｗ１  およびｗ２  が最小自乗法の演算回路１６により求められる。
【００１２】
ＡＤＲＣ回路１５は、垂直間引きフィルタ２から供給された、インタレース信号を後述する、適応ダイナミックレンジ符号化（以下、ＡＤＲＣと称する。）によって、圧縮する。ＡＤＲＣ回路１５の出力をクラスコード発生回路１７に供給し、クラスコードｃを発生する。重み係数メモリ１８では、供給されたそのクラスコードｃをアドレスとして、最小自乗法の演算回路１６から供給された重み付け係数ｗ１  およびｗ２  を保持する。
【００１３】
ここで１ビットＡＤＲＣを例にとって、ＡＤＲＣを説明する。また、インタレースの画像上で注目画素を中心として、（３×３）ブロックの画素データを一例として１ビットＡＤＲＣを説明する。ＡＤＲＣ回路１５のブロックの一例を図２に示す。図２において、入力端子２１からのブロックの順序に変換されたデータに関して、検出回路２２がブロック毎に最大値ＭＡＸ、最小値ＭＩＮを検出する。減算回路２３に対してＭＡＸおよびＭＩＮが供給され、その出力にダイナミックレンジＤＲが発生する。入力データおよびＭＩＮが減算回路２４に供給され、減算回路２４から最小値が除去されることで、正規化された画素データが発生する。
【００１４】
ダイナミックレンジＤＲが割算回路２５に供給され、正規化された画素データがダイナミックレンジＤＲで割算され、割算回路２５の出力データが比較回路２６に供給される。比較回路２６では、注目画素以外の８個の画素の割算出力が０．５  を基準として、より大きいか、より小さいかが判断される。この結果に応じて、｀０’  または｀１’  のデータＤＴが発生する。この比較出力ＤＴが出力端子２７に取り出される。この１ビットＡＤＲＣを用いてクラス分割を行なえば（３×３）ブロックのクラスコードが９ビットで表現される。なお、クラス分割に使用する画素としては、（３×３）のブロックの画素に限らず、前フィールドの画素を含むブロック等、種々のものを使用できる。
【００１５】
以上のように学習部が実データである画像信号を用いて重み係数ｗｉ  を獲得することができ、これをメモリに格納しておく。次に、適応的混合を行なう場合、任意の入力画像に対して走査線補間がなされた出力画像を生成することができる。このための構成を図３のブロック図に示す。
【００１６】
３１は入力端子で標準的なインタレースの画像信号が入力される。入力端子３１から入力された信号は処理回路１３、１４および、ＡＤＲＣ回路１５へ夫々供給される。処理回路１３は、入力された画像信号に対してフィールド内処理を施し、出力データｘ１  を乗算器３２に供給する。処理回路１４は、入力された画像信号に対してフィールド間処理を施し、出力データｘ２  を乗算器３３に供給する。
【００１７】
ＡＤＲＣ回路１５に供給された入力画像信号は、ＡＤＲＣによって圧縮され、その出力がクラスコード発生回路１７に供給される。クラスコード発生回路１７は、圧縮処理が施された入力画像信号に対応したクラスコードｃを発生する。発生したクラスコードｃは重み係数メモリ１８に供給され、そのクラスコードに対応した、重み付け係数ｗ１（ｃ）およびｗ２（ｃ）を夫々読み出す。
【００１８】
読み出された重み付け係数ｗ１（ｃ）およびｗ２（ｃ）は、乗算器３２および３３へ夫々供給される。乗算器３２では、処理回路１３の出力データｘ１  と重み付け係数ｗ１（ｃ）が掛け合わされ、乗算器３３では、処理回路１４の出力データｘ２  と重み付け係数ｗ２（ｃ）が掛け合わされる。乗算器３２および３３は、加算器３４に夫々供給され、加算される。その加算結果は出力端子３５から出力される。ここで、重み付け混合された出力データｙ´を計算式にて示す。この、ｙ′によって、走査線補間が構成され、出力端子３５には、ノンインタレースの画像信号が得られる。
ｙ´＝ｗ１（ｃ）ｘ１  ＋ｗ２（ｃ）ｘ２                                    （２）
【００１９】
図４は、上述の走査線補間の処理のフローチャートである。ステップ４１から走査線補間の制御が開始され、ステップ４２のデータブロック化では、入力画像を処理ブロック単位に取り出す処理を行なう。ステップ４３のデータ終了では、入力された全データの処理が終了していれば、ステップ４７の終了へ、処理が終了していなければ、ステップ４４のクラス決定へ制御が移る。
【００２０】
ステップ４４のクラス決定では、入力画像の信号パターンからクラスを決定する。この制御では、学習時と同様に例えばビット数削減のため１ビットＡＤＲＣが用いられる。ステップ４５の重み係数リストアでは、クラスコードに対応する重み付け係数をメモリからリストアする。ステップ４６の重み演算では、フィールド内処理で得られた補間値とフィールド間処理で得られた補間値とを重み付け加算し、補間データを出力する。この一連の制御が全データに対し繰り返され、全データの処理が終了すればステップ４３のデータ終了からステップ４７の終了に制御が移り、走査線補間の処理が終了する。
【００２１】
また、情報圧縮手段として、ＡＤＲＣ回路１５を設けることとしたが、これは単なる一例で、ＡＤＲＣ回路１５の代わりに例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ  ）回路、ＶＱ（ベクトル量子化）回路、ＤＰＣＭ（予測符号化）回路、あるいはＢＴＣ（Ｂｌｏｃｋ  Ｔｒａｎｃａｔｉｏｎ    符号化）回路を設ける等のように、データ圧縮を行なえることができる手段であれば何を設けるかは適宜選択可能である。
【００２２】
【発明の効果】
この発明は、実際の画像の性質に基づいてクラスとそのクラスに対応した重み付け係数を学習するので、出力信号に劣化が生じることなく、異なる信号処理の結果を良好に重み付け混合できる。
【図面の簡単な説明】
【図１】この発明に係る画像信号変換装置における重み付け係数を獲得するための構成の一例のブロック図である。
【図２】ＡＤＲＣ回路の説明に用いるブロック図である。
【図３】この発明に係る走査線補間の一実施例のブロック図である。
【図４】この発明の走査線補間の一例のフローチャートである。
【図５】従来の信号混合方法の説明に用いるブロック図である。
【符号の説明】
１３，１４  処理回路
１５  ＡＤＲＣ回路
１７  クラスコード発生回路
１８  重み係数メモリ
３２，３３  乗算器
３４  加算器
【図１】
0003622209.tif 000002
【図２】
0003622209.tif 000003
【図３】
0003622209.tif 000004
【図４】
0003622209.tif 000005
【図５】
0003622209.tif 000006