(57)【特許請求の範囲】
【請求項１】
インターレース走査方式の入力ディジタル画像信号のフィールド間に新たなフィールドを生成することによって上記入力ディジタル画像信号のフィールド数より多いフィールド数のインターレース走査方式の出力ディジタル画像信号を形成する画像情報変換装置において、
上記入力ディジタル画像信号から処理対象の注目画素の周辺の複数の画像データを切り出す第１の画像切り出し手段と、
上記第１の画像切り出し手段によって切り出される上記複数の画像データの各々のレベル分布を検出し、検出したレベル分布から上記注目画素が属するクラスを決定し、決定したクラスを表現するクラス検出情報を出力するクラス検出手段と、
上記入力ディジタル画像信号から上記注目画素の周辺の複数の画像データを切り出す第２の画像切り出し手段と、
上記クラスのそれぞれに対応して予め決定され、上記出力ディジタル画像信号を推定するための予測係数を記憶し、記憶した予測係数の内から、上記クラス検出手段からの上記クラス検出情報に対応する予測係数を出力する係数記憶手段と、
上記第２の画像切り出し手段によって切り出される上記複数の画像データと、上記係数記憶手段から供給される予測係数との積和演算を行い、上記出力ディジタル画像信号の画像データの予測値を生成する演算処理手段とを有し、
上記予測係数は、上記クラス毎に予め学習によって求められて上記係数記憶手段に記憶され、
上記学習は、
上記入力ディジタル画像信号の画素位置に対して、上記入力ディジタル画像信号のフィールドと時間方向に一致するフィールドを含み、且つ上記入力ディジタル画像信号と垂直方向の画素位置が一致する第１の位置関係の出力ディジタル画像信号と、上記入力ディジタル画像信号のフィールドと時間方向に一致するフィールドを含み、且つ上記入力ディジタル画像信号の画素位置を中心として画素位置が垂直方向に対称となる第２の位置関係の出力ディジタル画像信号と、上記入力ディジタル画像信号のフィールドを中心としてフィールドが時間方向に対称となり、且つ上記入力ディジタル画像信号と垂直方向の画素位置が一致する第３の位置関係の出力ディジタル画像信号と、上記入力ディジタル画像信号のフィールドを中心としてフィールドが時間方向に対称となり、且つ上記入力ディジタル画像信号の画素位置を中心として画素位置が垂直方向に対称となる第４の位置関係の出力ディジタル画像信号とからなり、
上記第１、第２、第３、および第４の位置関係の出力ディジタル画像信号の内から１つの位置関係の出力ディジタル画像信号を選択し、上記選択された出力ディジタル画像信号と同一の信号形式の教師画像信号の画素を、上記入力ディジタル画像信号の画素位置へ変換し、
上記変換された出力ディジタル画像信号の単位時間当たりのフィールド数を、上記入力ディジタル画像信号と同一となるように変換したディジタル画像信号を生成し、
上記積和演算によって、上記生成されたディジタル画像信号から上記選択された出力ディジタル画像信号の画素値を生成する時に、生成される画素値と上記教師画像信号の対応する位置の画素の真値との誤差を最小にするように、上記予測係数を求める処理である画像情報変換装置。
【請求項２】
上記演算処理手段は、
単位時間当たりのフィールド数が上記入力ディジタル画像信号の２倍となるような上記出力ディジタル画像信号を生成する請求項１に記載の画像情報変換装置。
【請求項３】
上記学習では、
上記出力ディジタル画像信号の画素に対して垂直位相のずれを生じさせ、上記入力ディジタル画像信号の画素位置へ変換する垂直位相シフト手段を有する請求項１に記載の画像情報変換装置。
【請求項４】
インターレース走査方式の入力ディジタル画像信号のフィールド間に新たなフィールドを生成することによって上記入力ディジタル画像信号のフィールド数より多いフィールド数のインターレース走査方式の出力ディジタル画像信号を形成する画像情報変換方法において、
上記入力ディジタル画像信号から処理対象の注目画素の周辺の複数の画像データを切り出す第１の画像切り出しステップと、
上記第１の画像切り出しステップによって切り出される上記複数の画像データの各々のレベル分布を検出し、検出したレベル分布から上記注目画素が属するクラスを決定し、決定したクラスを表現するクラス検出情報を出力するクラス検出ステップと、
上記入力ディジタル画像信号から上記注目画素の周辺の複数の画像データを切り出す第２の画像切り出しステップと、
上記クラスのそれぞれに対応して予め決定され、上記出力ディジタル画像信号を推定するための予測係数を記憶し、記憶した予測係数の内から、上記クラス検出ステップからの上記クラス検出情報に対応する予測係数を出力する係数記憶ステップと、
上記第２の画像切り出しステップによって切り出される上記複数の画像データと、上記係数記憶ステップから供給される予測係数との積和演算を行い、上記出力ディジタル画像信号の画像データの予測値を生成する演算処理ステップとを有し、
上記予測係数は、上記クラス毎に予め学習によって求められて記憶され、
上記学習は、
上記入力ディジタル画像信号の画素位置に対して、上記入力ディジタル画像信号のフィールドと時間方向に一致するフィールドを含み、且つ上記入力ディジタル画像信号と垂直方向の画素位置が一致する第１の位置関係の出力ディジタル画像信号と、上記入力ディジタル画像信号のフィールドと時間方向に一致するフィールドを含み、且つ上記入力ディジタル画像信号の画素位置を中心として画素位置が垂直方向に対称となる第２の位置関係の出力ディジタル画像信号と、上記入力ディジタル画像信号のフィールドを中心としてフィールドが時間方向に対称となり、且つ上記入力ディジタル画像信号と垂直方向の画素位置が一致する第３の位置関係の出力ディジタル画像信号と、上記入力ディジタル画像信号のフィールドを中心としてフィールドが時間方向に対称となり、且つ上記入力ディジタル画像信号の画素位置を中心として画素位置が垂直方向に対称となる第４の位置関係の出力ディジタル画像信号とからなり、
上記第１、第２、第３、および第４の位置関係の出力ディジタル画像信号の内から１つの位置関係の出力ディジタル画像信号を選択し、上記選択された出力ディジタル画像信号と同一の信号形式の教師画像信号の画素を、上記入力ディジタル画像信号の画素位置へ変換し、
上記変換された出力ディジタル画像信号の単位時間当たりのフィールド数を、上記入力ディジタル画像信号と同一となるように変換したディジタル画像信号を生成し、
上記積和演算によって、上記生成されたディジタル画像信号から上記選択された出力ディジタル画像信号の画素値を生成する時に、生成される画素値と上記教師画像信号の対応する位置の画素の真値との誤差を最小にするように、上記予測係数を求める処理である画像情報変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力するディジタル画像信号を、より画素数の大きいディジタル画像信号に変換する画像情報変換装置および変換方法に関する。
【０００２】
【従来の技術】
テレビジョン受像器の走査方式としては、従来から、水平走査線（ライン）を１本おきに飛び越して走査するインターレース走査方式が最も広く採用されている。インターレース走査方式では、奇数番目のラインを走査してなる奇数フィールドと偶数番目のラインを走査してなる偶数フィールドとの２枚のフィールドによって１枚のフレームが形成される。
【０００３】
インターレース走査方式は、世界各国のテレビジョン標準方式として採用されている。例えば欧州のテレビジョン放送では、フィールド周波数が５０Ｈｚのインターレース走査方式が用いられている。
【０００４】
【発明が解決しようとする課題】
フィールド周波数が５０Ｈｚのインターレース走査方式を用いたテレビジョン受像機では、面フリッカと称されるちらつきが表示画面の広い範囲に渡って発生するという問題があった。面フリッカは、インターレース走査方式において奇数フィールドから偶数フィールドに切り替わるまでに所定の時間を要するため、各ラインが所定時間間隔毎に表示されることに起因して生じる。
【０００５】
このような問題に対処する方法として、入力する例えば５０ＨｚのＳＤ(Standard Definition) 画像に基づいて、メディアンフィルタによって補間フィールドを生成することにより、例えば１００Ｈｚの画像信号を生成するフィールド倍速処理が知られている。この方法は、補間画素を含むフィールド内、および補間画素を含むフィールドの１フィールド前のフィールド内で当該補間画素に近接する例えば３個の画素の内で、中間の画素値を補間画素の画素値とするものである。
【０００６】
しかしながら、このような方法では、補間処理の対象とされるＳＤ画像が静止画像の場合に、垂直解像度の高い画像領域において不自然な歪みが発生する。また、補間処理の対象とされるＳＤ画像が動画像の場合に、１フィールド前の画素の画素値が補間画素の画素値として選択されることがあり、このような選択がなされる場合には不自然な動きが発生するという問題があった。
【０００７】
このような問題点を解消すべく、本願出願人は、クラス分類適応処理を行うことによって入力画像をフィールド倍速画像に変換する方法を提案している。但し、かかる方法では、生成すべき画像内の画素とＳＤ画像内の画素との位置関係によって変換性能に部分的なばらつきが生じ、その結果としてフィールド倍速画像全体における画質の向上が妨げられるおそれがあった。
【０００８】
従って、この発明の目的は、生成すべき画像内の画素とＳＤ画像内の画素との間で複数種類の画素位置関係を前提とする処理を行うことにより、例えばフィールド倍速画像等の画像情報変換の結果として生成される画像における画質を向上させることが可能な、画像情報変換装置および変換方法を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１の発明は、インターレース走査方式の入力ディジタル画像信号のフィールド間に新たなフィールドを生成することによって入力ディジタル画像信号のフィールド数より多いフィールド数のインターレース走査方式の出力ディジタル画像信号を形成する画像情報変換装置において、入力ディジタル画像信号から処理対象の注目画素の周辺の複数の画像データを切り出す第１の画像切り出し手段と、第１の画像切り出し手段によって切り出される複数の画像データの各々のレベル分布を検出し、検出したレベル分布から注目画素が属するクラスを決定し、決定したクラスを表現するクラス検出情報を出力するクラス検出手段と、入力ディジタル画像信号から注目画素の周辺の複数の画像データを切り出す第２の画像切り出し手段と、クラスのそれぞれに対応して予め決定され、出力ディジタル画像信号を推定するための予測係数を記憶し、記憶した予測係数の内から、クラス検出手段からのクラス検出情報に対応する予測係数を出力する係数記憶手段と、第２の画像切り出し手段によって切り出される複数の画像データと、係数記憶手段から供給される予測係数との積和演算を行い、出力ディジタル画像信号の画像データの予測値を生成する演算処理手段とを有し、予測係数は、クラス毎に予め学習によって求められて係数記憶手段に記憶され、学習は、入力ディジタル画像信号の画素位置に対して、入力ディジタル画像信号のフィールドと時間方向に一致するフィールドを含み、且つ入力ディジタル画像信号と垂直方向の画素位置が一致する第１の位置関係の出力ディジタル画像信号と、入力ディジタル画像信号のフィールドと時間方向に一致するフィールドを含み、且つ入力ディジタル画像信号の画素位置を中心として画素位置が垂直方向に対称となる第２の位置関係の出力ディジタル画像信号と、入力ディジタル画像信号のフィールドを中心としてフィールドが時間方向に対称となり、且つ入力ディジタル画像信号と垂直方向の画素位置が一致する第３の位置関係の出力ディジタル画像信号と、入力ディジタル画像信号のフィールドを中心としてフィールドが時間方向に対称となり、且つ入力ディジタル画像信号の画素位置を中心として画素位置が垂直方向に対称となる第４の位置関係の出力ディジタル画像信号とからなり、第１、第２、第３、および第４の位置関係の出力ディジタル画像信号の内から１つの位置関係の出力ディジタル画像信号を選択し、選択された出力ディジタル画像信号と同一の信号形式の教師画像信号の画素を、入力ディジタル画像信号の画素位置へ変換し、変換された出力ディジタル画像信号の単位時間当たりのフィールド数を、入力ディジタル画像信号と同一となるように変換したディジタル画像信号を生成し、積和演算によって、生成されたディジタル画像信号から選択された出力ディジタル画像信号の画素値を生成する時に、生成される画素値と教師画像信号の対応する位置の画素の真値との誤差を最小にするように、予測係数を求める処理である画像情報変換装置である。
【００１０】
請求項４の発明は、インターレース走査方式の入力ディジタル画像信号のフィールド間に新たなフィールドを生成することによって入力ディジタル画像信号のフィールド数より多いフィールド数のインターレース走査方式の出力ディジタル画像信号を形成する画像情報変換方法において、入力ディジタル画像信号から処理対象の注目画素の周辺の複数の画像データを切り出す第１の画像切り出しステップと、第１の画像切り出しステップによって切り出される複数の画像データの各々のレベル分布を検出し、検出したレベル分布から注目画素が属するクラスを決定し、決定したクラスを表現するクラス検出情報を出力するクラス検出ステップと、入力ディジタル画像信号から注目画素の周辺の複数の画像データを切り出す第２の画像切り出しステップと、クラスのそれぞれに対応して予め決定され、出力ディジタル画像信号を推定するための予測係数を記憶し、記憶した予測係数の内から、クラス検出ステップからのクラス検出情報に対応する予測係数を出力する係数記憶ステップと、第２の画像切り出しステップによって切り出される複数の画像データと、係数記憶ステップから供給される予測係数との積和演算を行い、出力ディジタル画像信号の画像データの予測値を生成する演算処理ステップとを有し、予測係数は、クラス毎に予め学習によって求められて記憶され、学習は、入力ディジタル画像信号の画素位置に対して、入力ディジタル画像信号のフィールドと時間方向に一致するフィールドを含み、且つ入力ディジタル画像信号と垂直方向の画素位置が一致する第１の位置関係の出力ディジタル画像信号と、入力ディジタル画像信号のフィールドと時間方向に一致するフィールドを含み、且つ入力ディジタル画像信号の画素位置を中心として画素位置が垂直方向に対称となる第２の位置関係の出力ディジタル画像信号と、入力ディジタル画像信号のフィールドを中心としてフィールドが時間方向に対称となり、且つ入力ディジタル画像信号と垂直方向の画素位置が一致する第３の位置関係の出力ディジタル画像信号と、入力ディジタル画像信号のフィールドを中心としてフィールドが時間方向に対称となり、且つ入力ディジタル画像信号の画素位置を中心として画素位置が垂直方向に対称となる第４の位置関係の出力ディジタル画像信号とからなり、第１、第２、第３、および第４の位置関係の出力ディジタル画像信号の内から１つの位置関係の出力ディジタル画像信号を選択し、選択された出力ディジタル画像信号と同一の信号形式の教師画像信号の画素を、入力ディジタル画像信号の画素位置へ変換し、変換された出力ディジタル画像信号の単位時間当たりのフィールド数を、入力ディジタル画像信号と同一となるように変換したディジタル画像信号を生成し、積和演算によって、生成されたディジタル画像信号から選択された出力ディジタル画像信号の画素値を生成する時に、生成される画素値と教師画像信号の対応する位置の画素の真値との誤差を最小にするように、予測係数を求める処理である画像情報変換方法である。
【００１１】
以上のような発明によれば、生徒画像信号と教師画像信号との複数種類の組合わせの内、所望の画像情報変換に対してより好適な組合わせを用いて予測係数を生成することができる。
【００１２】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１に、この発明の一実施形態における画像情報変換に係る構成の一例を示す。入力端子１を介して、ＰＡＬ方式における５０Ｈｚインターレース画像がディジタル化されてなる画像信号がＳＤ画像データとして領域切り出し回路２および６に供給される。領域切り出し回路２は、供給されるＳＤ画像データから所定の画素領域をクラスタップとして切り出し、切り出したクラスタップのデータをＡＤＲＣ(Adaptive Dynamic Range Coding) 回路３に供給する。ＡＤＲＣ回路３は供給されるデータにＡＤＲＣ処理を施し、これによって生成したコード値をクラスコード発生回路４に供給する。
【００１３】
クラスコード発生回路４は、供給されるコード値に基づいて、時空間におけるパターンに応じたクラスを示すクラスコードを発生する。発生したクラスコードは係数メモリ５に供給される。係数メモリ５には、後述するようにして予め決定された、予測係数セットがクラスコードに対応して記憶されている。
【００１４】
一方、領域切り出し回路６は、供給される５０Ｈｚインターレース画像から所定の画素領域を予測タップとして切り出し、切り出した予測タップのデータを遅延回路７に供給する。遅延回路７は、供給されるデータを一旦保持し、保持したデータを適切なタイミングで推定演算回路８に供給する。これにより、予測タップのデータが推定演算回路８に供給されるタイミングと、予測係数が係数メモリ５から推定演算回路８に供給されるタイミングとが合わされる。推定演算回路８は、遅延回路７の出力と、係数メモリ５の出力とに基づく演算を行うことにより、フィールド倍速画像としての１００Ｈｚ画像を生成する。生成される１００Ｈｚ画像は、出力端子９を介して図示しないテレビジョン受像機等の表示装置等に供給される。
【００１５】
以下、各構成要素による処理について詳細に説明する。領域切り出し回路２が切り出すクラスタップのタップ構造の一般的な例を図２に示す。ここで、水平方向は時間の推移を示す。すなわち、＃（ｋ−２），＃（ｋ−１），‥‥，＃（ｋ＋２）は、それぞれ、時点ｋ−２，ｋ−１，‥‥，ｋ＋２におけるフィールドを示している。また、垂直方向は各フィールドにおける垂直方向を示す。５０Ｈｚインターレース画像では隣接するフィールド間で走査線位相がずれている。この例では、ｋ1 〜ｋ7 の７個の画素がクラスタップとされる。
【００１６】
ＡＤＲＣ回路３は、１画素当たり例えば８ビットからなるクラスタップの画素データを、例えば２ビットの再量子化コード値に変換する。このようにして生成される再量子化コード値により、クラスタップのデータにおけるレベル分布のパターンがより少ない情報量によって表現される。すなわち、ＡＤＲＣ回路３の出力は、パターン圧縮データとして用いられる。ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンに使用することができる。ＡＤＲＣ回路３では、以下の式（１）により、クラスタップとして切り出される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット数で均等に分割して、クラスタップとして切り出されたデータを再量子化する。
【００１７】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２n ／ＤＲ〕          （１）
ここで、ＤＲは領域内のダイナミックレンジである。また、ｎはビット割り当て数であり、例えばｎ＝２とすることができる。また、Ｌは領域内画素のデータレベルであり、Ｑが再量子化コードである。但し、大かっこ（〔‥‥〕）は切り捨て処理を意味する。
【００１８】
図２に示すようなｋ1 〜ｋ7 の７画素からなるクラスタップのタップ構造を用いる場合、上述したような処理により、各画素に対応する７個の再量子化コードｑ1 〜ｑ7 がＡＤＲＣ回路３の出力とされる。かかる出力に基づいてクラスコード発生回路４が発生するクラスコードclass は、次の式（２）のようなものである。
【００１９】
【数１】
0004310847.tif 000002
【００２０】
ここで、ｎはクラスタップ中の画素数であり、図２に示すようなクラスタップのタップ構造においてはｎ＝７である。また、ｐの値としては、例えばｐ＝２とすることができる。
【００２１】
また、領域切り出し回路６が切り出す予測タップのタップ構造の一般的な例を図３に示す。ここで、水平方向は時間の推移を示す。すなわち、＃（ｋ−２），＃（ｋ−１），‥‥，＃（ｋ＋２）は、それぞれ、時点ｋ−２，ｋ−１，‥‥，ｋ＋２におけるフィールドを示している。また、垂直方向は各フィールドにおける垂直方向を示す。この例では、ｋ1 〜ｋ7 の７個の画素が予測タップとされる。
【００２２】
ｈｄ'＝ｗ1×ｘ1＋ｗ2×ｘ2＋‥‥＋ｗn×ｘn      （３）
ここで、ｘ1，‥‥，ｘnが各予測タップの画素データであり、ｗ1，‥‥，ｗnが各予測係数セットである。
【００２３】
ｈｄ’＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn       （３）
ここで、ｘ1 ，‥‥，ｘn が各予測タップの画素データであり、ｗ1 ，‥‥，ｗn が各予測係数である。
【００２４】
上述したようにしてクラス分類適応処理によってフィールド倍速画像を生成する場合には、ＳＤ画像データを単に補間処理する場合に比べ、より精度良くフィールド倍速画像を生成することができる。なお、予測係数は、ＳＤ画像データ内の画素位置と、生成されるべきフィールド倍速画像内の画素位置との関係に応じて、後述するような処理によって決定される。
【００２５】
次に、ＳＤ画像としての５０Ｈｚ画像内の画素位置とフィールド倍速画像としての１００Ｈｚ画像内の画素位置との位置関係に応じた変換性能について説明する。まず、本願出願人によるフィールド倍速処理に係る先の提案（９８００２３７５０６参照）における、創造すべきフィールドの画素位置と予測タップの画素位置との関係の例を図４に示す。この場合、創造される１００Ｈｚ画素ｍ1 ，ｍ2 ，ｍ3 ，ｍ4 の内、ｍ1 は時間的空間的に５０Ｈｚ画素と一致した位置にあるため、ｍ1 の創造に係る変換性能は極めて良好となる。
【００２６】
これに対し、ｍ2 およびｍ4 は、５０Ｈｚ画素との時間的な隔たりが大きいので、ｍ2 およびｍ4 の創造に係る変換性能は特に動画像においてｍ1 の創造に係る変換性能に比べて劣るという問題があった。一般に、画像全体についての画質の良否は、当該画像全体の中で最も劣化した部分に強く影響される傾向がある。このため、画像全体についての画質の向上を図る上で、画素の位置関係によって変換性能が大きく異なることは好ましくない。
【００２７】
また、１００Ｈｚ画素ｍ2 およびｍ4 は、時間的な対称性を利用すると互いに同一の予測係数を使用することによって創造することができる。これに対して、１００Ｈｚ画素ｍ1 およびｍ3 を創造するためにはそれぞれ別個の予測係数を使用する必要がある。すなわち、図４に示した例においては３種類の予測係数が必要となる。このため、ハードウエアの規模が大きくなるので、特にハードウエアの規模が制約される場合において問題となることがある。
【００２８】
そこで、この発明は、ＳＤ画像内の画素とフィールド倍速画像内の画素との画素位置関係としてより適切なものを選択できるようにしたものである。以下、図４に示した例と共に、図５、図６、図７にそれぞれ示す、この発明の一実施形態において用いることが可能な画素位置関係の一例、他の例、さらに他の例について順次説明する。
【００２９】
図４に示した画素位置関係の例を用いてフィールド倍速変換を行う場合には、ｍ1 の予測精度が最も高く、ｍ3 の予測精度がそれに次いで高く、ｍ2 およびｍ4 の予測精度が最も低い。そして、変換によって得られる画像全体の画質は、ｍ2 およびｍ4 の予測精度に大きく影響される。また、上述したように、全部で３種類の予測係数が必要とされる。また、この画素位置関係においては、ラインフリッカが強調されることは無い。
【００３０】
図６に示す画素位置関係の他の例を用いてフィールド倍速変換を行う場合には、ｍ1，ｍ2，ｍ3，ｍ4の４種類の画素の各々について予測精度が異なる。但し、図４に示した例と比較するとばらつきは小さく、ばらつきの程度は図５に示した一例と略同等となる。また、ｍ1およびｍ3を創造するに際しては、時間方向の対称性を利用することによって予測係数の共通化を行うことができる。さらに、ｍ2およびｍ4を創造するに際しては、空間（垂直）方向の対称性を利用することによって予測係数の共通化を行うことができる。従って、創造すべき４種類の画素について全部で２種類の予測係数が必要となる。また、この場合にはラインフリッカが強調されることは無い。
【００３１】
図６に示す画素位置関係の他の例を用いてフィールド倍速変換を行う場合には、ｍ1 ，ｍ2 ，ｍ3 ，ｍ4 の４種類の画素の各々について予測精度が異なる。但し、図４に示した例と比較するとばらつきは小さく、ばらつきの程度は図５に示した一例と略同等となる。また、ｍ1 およびｍ3 を創造するに際しては、時間方向の対称性を利用することによって予測係数の共通化を行うことができる。さらに、ｍ2 およびｍ4 を創造するに際しては、空間（垂直）方向の対称性を利用することによって予測数の共通化を行うことができる。従って、創造すべき４種類の画素について全部で２種類の予測係数が必要となる。また、この場合にはラインフリッカが強調されることは無い。
【００３２】
図７に示す画素位置関係のさらに他の例を用いてフィールド倍速変換を行う場合には、ｍ1 ，ｍ2 ，ｍ3 ，ｍ4 の４種類の画素の各々について予測精度が同一となり、予測精度の画素位置によるばらつきは無い。また、時間方向の対称性／空間（垂直）方向の対称性を利用することによってｍ1 〜ｍ4 の全ての予測係数の共通化を行うことができる。従って、で創造すべき４種類の画素の全てを、１種類の予測係数の下で創造することができる。また、この場合にはラインフリッカが強調されるおそれがある。
【００３３】
上述したような画素位置関係の各例についての特徴を考慮して、予測係数を保持するためのメモリ容量等のハードウエア的な制約、ラインフリッカが許容されるか否か等の用途等に係る条件等に応じて最も好適な画素位置関係を選ぶことにより、総合的な変換性能を向上させることができる。
【００３４】
次に、この発明の一実施形態における学習、すなわち予測係数を決定する処理について図８を参照して説明する。入力端子２０を介して、画像情報変換の結果として生成されるべき画像と同一の信号形式を有する画像（教師画像と称される）内の画素を全て含む画像が供給される。この発明の一実施形態は、５０Ｈｚ画像を１００Ｈｚ画像に変換するものなので、１００Ｈｚプログレッシブ画像が入力端子２０を介して垂直位相シフトフィルタ２１および遅延回路２８に供給される。垂直位相シフトフィルタ２１は、図４〜図７を参照して上述したような画素位置関係の何れを前提として学習を行うかに応じた処理を行う（これについては後述する）。
【００３５】
垂直位相シフトフィルタ２１の出力が時間間引きフィルタ２２に供給される。時間間引きフィルタ２２は、垂直位相シフトフィルタ２１の出力に対して、時間方向に平滑化する処理を施すことにより、５０Ｈｚインターレース画素位置に画素を生成する。このようにして、ＳＤ画像と同一の信号形式（すなわち５０Ｈｚインターレース画像）を生成することができる。かかる画像は生徒画像と称される。生徒画像が領域切り出し回路２３、２６に供給される。
【００３６】
領域切り出し回路２３は、図１中の領域切り出し回路２と同一の処理を行う。すなわち、領域切り出し回路２３は、供給される生徒画像から、領域切り出し回路２によって切り出されるものと同一の画素領域をクラスタップとして切り出し、切り出したクラスタップのデータをＡＤＲＣ回路２４に供給する。ＡＤＲＣ回路２４は、供給されるデータに図１中のＡＤＲＣ回路３と同一の処理を施す。すなわち、上述の式（１）に示したような演算を行うことにより、例えば８ビットを単位とするデータから２ビットを単位とする再量子化コードを形成する。形成された再量子化コードがパターン圧縮データとしてクラスコード発生回路２５に供給する。
【００３７】
クラスコード発生回路２５は、図１中のクラスコード発生回路３と同一の処理を行う。すなわち、クラスコード発生回路２５は、ＡＤＲＣ回路２４の出力に基づいて上述の式（２）に示したような演算を行うことにより、クラスコードを発生する。クラスコード発生回路２５の出力は、正規方程式加算回路２９に供給される。一方、領域切り出し回路２６は、図１中の領域切り出し回路６と同一の処理を行う。すなわち、領域切り出し回路２６は、供給される画像信号から、領域切り出し回路６によって切り出されるものと同一の画素領域を予測タップとして切り出し、切り出した予測タップのデータを遅延回路２７に供給する。遅延回路２７は、供給されるデータを一旦保持し、その後、正規方程式加算回路２９に供給する。
【００３８】
また、遅延回路２８は、供給される１００Ｈｚプログレッシブ画像を一旦保持し、その後、正規方程式加算回路２９に供給する。遅延回路２８および２９により、算処理を行ために好適なタイミングで、正規方程式加算回路２９が領域切り出し回路２６の出力および１００Ｈｚプログレッシブ画像を供給されることが担保される。
【００３９】
正規方程式加算回路２９は、遅延回路２７から供給されるクラスタップのデータ、遅延回路２５から供給されるクラスコード、および遅延回路２８から供給される１００Ｈｚプログレッシブ画像に基づいて、後述するような正規方程式のデータを算出する。ここで、正規方程式加算回路２９は、１００Ｈｚプログレッシブ画像から教師画像を構成するデータを抽出し、抽出したデータに基づく演算処理を行う。算出されるデータは、予測係数決定回路３０に供給される。予測係数決定回路３０は、供給されるデータに基づいて正規方程式を解くための演算を行う。かかる演算の結果として算出された予測係数はメモリ３１に供給される。図１を参照して上述した構成による処理を行うに先立ち、メモリ３１の記憶内容が係数メモリ５にロードされる。
【００４０】
予測係数を算出するための演算処理について説明する。以下の説明では、予測タップとして切り出される画素数を一般化してｎとする。すなわち、ｘ1 ，ｘ2 ，‥‥，ｘn を予測タップとする場合、フィールド倍速画像中の画素レベルｙが次の式（４）に従って計算されるとする。
【００４１】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn       （４）
学習前は、予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の画像データについて行う。画像データの種類数をｍと表記する場合、式（４）から、以下の式（５）が設定される。
【００４２】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn      （５）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合には、ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（６）で定義して、式（７）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００４３】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝  （６）
（ｋ＝１，２，‥‥ｍ）
【００４４】
【数２】
0004310847.tif 000003
【００４５】
式（７）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（８））、ｉの各値について偏微分値が０となるように各予測係数ｗi を決定すれば良い。
【００４６】
【数３】
0004310847.tif 000004
【００４７】
式（８）から各予測係数ｗi を決定する具体的な手順について説明する。式（９）、（１０）のようにＸji，Ｙi を定義すると、式（８）は、式（１１）の行列式の形に書くことができる。
【００４８】
【数４】
0004310847.tif 000005
【００４９】
【数５】
0004310847.tif 000006
【００５０】
【数６】
0004310847.tif 000007
【００５１】
式（１１）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２９は、供給されるデータに基づいて式（９）、（１０）に示すような演算を行うことにより、Ｘji，Ｙi （ｉ＝１，２，‥‥，ｎ）をそれぞれ計算する。予測係数決定回路３０は、掃き出し法等の一般的な行列解法に従って正規方程式（１１）を解くことにより、予測係数ｗi （ｉ＝１，２，‥‥，ｎ）を算出する。以上のような処理の結果として、統計的に最も真値に近い推定値を各クラス毎のフィールド倍速データｙとして推定するための予測係数が算出される。
【００５２】
この発明は、上述したような学習を、複数の画素位置関係の各々について選択的に行うようにしたものである。この発明の一実施形態では、図４〜図７を参照して上述した４種類の画素位置関係の何れに対しても、対応する予測係数を計算できるように構成されている。まず、図５および図７を参照して上述したような画素位置関係においては、入力する５０Ｈｚ画像内の画素と、創造すべき１００Ｈｚ画像内の画素との垂直方向の画素位置がずれている。かかる位置関係に対応した学習を行う際には、垂直間位相シフトフィルタ２１は、供給される１００Ｈｚプログレッシブ画像に対して垂直方向の位相シフトを行う。
【００５３】
一方、図４および図６を参照して上述したような画素位置関係においては、入力する５０Ｈｚ画像内の画素と、創造すべき１００Ｈｚ画像内の画素との垂直方向の画素位置が一致している。かかる位置関係に対応した学習を行う際には、垂直間引きフィルタ２１は、位相シフトは行わず、供給される１００Ｈｚプログレッシブ画像をそのまま出力する。
【００５４】
上述したようにして、画像情報変換の対象および結果である、５０Ｈｚ画像および１００Ｈｚ画像の間の複数種類の画素位置関係の内で、画像情報変換の結果として生成されるべき１００Ｈｚ画像のとしてより高品質の画像が生成されるような学習を行うことが可能となる。
【００５５】
また、予測係数を保持するためのメモリ容量等のハードウエア的な制約、ラインフリッカが許容されるか否か等の用途等に係る条件等に関連して最も好適な画素位置関係に対応する学習を選択的に行うことができる。これにより、より好適な画素位置関係を前提とするクラス分類適応処理を適用してフィールド倍速変換等の画像情報変換を行うことが可能となるので、総合的な変換性能を向上させることができる。
【００５６】
上述したこの発明の一実施形態は、５０Ｈｚ画像を１００Ｈｚ画像に変換するフィールド倍速変換を行うものである。これに対して、学習時に、例えば垂直方向の位相シフト等を必要に応じて行うことによって教師画像、或いは生徒画像を生成することにより、インターレース画像をプログレッシブ画像に変換する、或いはＳＤ画像をＨＤ(High Definition) 画像に変換する等の画像情報変換を行う場合等においても、この発明を適用することができる。すなわち、この発明は、ディジタル画像を、より画素数の多いディジタル画像に変換する画像情報変換全般において有効である。
【００５７】
また、この発明の一実施形態は、１００Ｈｚのプログレッシブ画像と５０Ｈｚのインターレース画像との間で学習を行うものであるが、学習に係る画像の組み合わせはこれに限定されるものではない。例えば、５０Ｈｚのプログレッシブ画像と２５Ｈｚのインターレース画像との間で学習を行うようにしても良いし、６０Ｈｚのプログレッシブ画像と３０Ｈｚのインターレース画像との間で学習を行うようにしても良い。
【００５８】
また、上述したこの発明の一実施形態では、５０Ｈｚ画像等の入力画像の空間波形を少ないビット数でパターン化するためにＡＤＲＣを行うようにしている。これに対して、時空間内における画像パターンを少ないクラスで表現することに資するような情報圧縮方法であれば、ＡＤＲＣ以外の方法を用いるようにしても良い。例えば、ＤＰＣＭ(Differential Pulse Code Modulation)や、ＶＱ（Vector Quantization ）等の方法を用いるようにしても良い。
【００５９】
この発明は、上述したこの発明の一実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６０】
【発明の効果】
この発明によれば、生徒画像と教師画像との複数種類の組合わせの内から何れかの組合わせを選択し、選択した組合わせの下で学習を行うことによって決定される予測係数を使用して予測演算を行うことができる。
【００６１】
このため、画像情報変換の結果としてより高品質の画像が生成されるような学習を行うことが可能となる。
【００６２】
また、予測係数を保持するためのメモリ容量等のハードウエア的な制約、ラインフリッカが許容されるか否か等の用途等に係る条件等に関連して最も好適な画素位置関係に対応する学習を行うことが可能となる。
【００６３】
また、生徒画像と教師画像との組合わせによって時間方向或いは空間方向の対称性が異なることに起因して、予測係数の種類数も異なるので、予測係数として記憶されるべきデータ量は、選択される生徒画像と教師画像との組合わせによって異なる。このため、この発明を適用することにより、装置の仕様等において許容される予測係数用のメモリの容量等の条件により適合する画像情報変換を行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施形態における画像情報変換に係る構成の一例を示すブロック図である。
【図２】クラスタップのタップ構造の一例を示す略線図である。
【図３】予測タップのタップ構造の一例を示す略線図である。
【図４】本願出願人の先の提案に係る画像情報変換における画素位置関係について説明するための略線図である。
【図５】この発明の一実施形態において用いることができる画素位置関係の一例について説明するための略線図である。
【図６】この発明の一実施形態において用いることができる画素位置関係の他の例について説明するための略線図である。
【図７】この発明の一実施形態において用いることができる画素位置関係のさらに他の一例について説明するための略線図である。
【図８】この発明の一実施形態における学習について説明するためのブロック図である。
【符号の説明】
２１・・・垂直位相シフトフィルタ
【図１】
0004310847.tif 000008
【図２】
0004310847.tif 000009
【図３】
0004310847.tif 000010
【図４】
0004310847.tif 000011
【図５】
0004310847.tif 000012
【図６】
0004310847.tif 000013
【図７】
0004310847.tif 000014
【図８】
0004310847.tif 000015