(57)【特許請求の範囲】
【請求項１】
入力画像のフィールド間に新たなフィールドを生成することによって上記入力画像のフィールド数より多いフィールド数の出力画像を形成するフィールド周波数変換装置において、
入力画像の処理の対象である注目画素の動きベクトルを検出する動き量推定手段と、
上記動きベクトルによって、上記入力画像に対する動き補償処理を行う動き補償手段と、
上記動きベクトルの値の大きさによって、動きクラスを決定する動きクラス決定手段と、
上記動き補償手段の出力から、上記注目画素の周辺の複数の画像データを切り出す第１の画像切り出し手段と、
上記第１の画像切り出し手段によって切り出される複数の画像データのレベル分布を検出し、検出したレベル分布に基づいて空間クラスを決定する空間クラス決定手段と、
上記動きクラス決定手段からの上記動きクラスと、上記空間クラス決定手段からの上記空間クラスとを合成してクラスを決定するクラス決定手段と、
上記動き補償手段の出力から、上記注目画素の周辺の複数の画像データを切り出す第２の画像切り出し手段と、
上記クラスのそれぞれに対応して予め決定され、出力画像信号を推定するための予測係数を記憶し、記憶している予測係数の内から、上記クラス決定手段からのクラスに対応するものを出力する係数記憶手段と、
上記第２の画像切り出し手段によって切り出される複数の画像データと、上記係数記憶手段から供給される予測係数との積和演算を行い、上記出力画像の画像データの予測値を生成する演算処理手段とを有し、
上記予測係数は、上記積和演算によって、上記出力画像信号の画素を生成した時に、生成された値と上記画素の真値との誤差を最小にするように、上記クラス毎に予め学習によって求められて上記係数記憶手段に記憶される
ことを特徴とするフィールド周波数変換装置。
【請求項２】
請求項１において、
上記第１の画像切り出し手段は、
上記動きクラスに応じて切り出す複数の画像データを設定することを特徴とするフィールド周波数変換装置。
【請求項３】
請求項１において、
上記第２の画像切り出し手段は、
上記動きクラスに応じて切り出す複数の画像データを設定することを特徴とするフィールド周波数変換装置。
【請求項４】
請求項１において、
上記動き量推定手段が上記動きベクトルと共に、検出された動きベクトルの信頼性の情報を出力することを特徴とするフィールド周波数変換装置。
【請求項５】
入力画像のフィールド間に新たなフィールドを生成することによって上記入力画像のフィールド数より多いフィールド数の出力画像を形成するフィールド周波数変換方法において、
入力画像の処理の対象である注目画素の動きベクトルを検出する動き量推定ステップと、
上記動きベクトルによって、上記入力画像に対する動き補償処理を行う動き補償ステップと、
上記動きベクトルの値の大きさによって、動きクラスを決定する動きクラス決定ステップと、
上記動き補償ステップの出力から、上記注目画素の周辺の複数の画像データを切り出す第１の画像切り出しステップと、
上記第１の画像切り出しステップによって切り出される複数の画像データのレベル分布を検出し、検出したレベル分布に基づいて空間クラスを決定する空間クラス決定ステップと、
上記動きクラス決定ステップからの上記動きクラスと、上記空間クラス決定ステップからの上記空間クラスとを合成してクラスを決定するクラス決定ステップと、
上記動き補償ステップの出力から、上記注目画素の周辺の複数の画像データを切り出す第２の画像切り出しステップと、
上記クラスのそれぞれに対応して予め決定され、出力画像信号を推定するための予測係数を記憶し、記憶している予測係数の内から、上記クラス決定ステップからのクラスに対応するものを出力する係数記憶ステップと、
上記第２の画像切り出しステップによって切り出される複数の画像データと、上記係数記憶ステップから供給される予測係数との積和演算を行い、上記出力画像の画像データの予測値を生成する演算処理ステップとを有し、
上記予測係数は、上記積和演算によって、上記出力画像信号の画素を生成した時に、生成された値と上記画素の真値との誤差を最小にするように、上記クラス毎に予め学習によって求められて上記係数記憶ステップに記憶される
ことを特徴とするフィールド周波数変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力画像に対して例えば解像度の向上等を目的とする画像情報変換を施すフィールド周波数変換装置および変換方法に関する。
【０００２】
【従来の技術】
フィールド周波数を例えば５０Ｈｚから６０Ｈｚに変換するフィールド周波数変換の方法として、フィールド間の動きを推定し、推定した動き量を用いてフィールド間に新しいフィールドを生成する処理が知られている。しかし、かかる方法においては、動き推定に失敗すると、処理結果に直接影響するという問題があった。また、かかる方法は、単なる補間処理であり、時間的または空間的な解像度を向上させることはできない。
【０００３】
また、本願出願人は、元の画像中の複数個のフィールドから抽出した画像データを使用して、クラス分類適応処理によって新たなフィールドを生成することにより、フィールド周波数を例えば５０Ｈｚから１００Ｈｚに変換する変換する方法を先に提案している。ここで、クラス分類適応処理は以下のような処理である。すなわち、入力画像から所定の範囲の画像データを切り出し、切り出した画像データのレベル分布を検出し、検出結果に基づいてクラス分類を行う。そして、分類されたクラス毎に予め決定されている予測係数と、入力画像から別途を切り出した所定範囲の画像データとに基づく演算の結果として例えばフィールド倍速化画像等の出力画像を得る。ここで、予測係数は、出力画像と同一の信号形式を有する画像（教師画像と称される）と、入力画像と同一の信号形式を有する画像（生徒画像と称される）とに基づく演算処理によって決定される。
【０００４】
【発明が解決しようとする課題】
しかし、このような方法では、入力画像の動き量が抽出される画像データの範囲より大きい場合には、的確なクラス分類適応処理を行うことができないので、正しいフィールドを生成することができない。
【０００５】
従って、この発明の目的は、特に入力画像の動き量が大きい場合等において、フィールド周波数変換をより的確に行うことが可能なフィールド周波数変換装置および変換方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、入力画像のフィールド間に新たなフィールドを生成することによって
入力画像のフィールド数より多いフィールド数の出力画像を形成するフィールド周波
数変換装置において、
入力画像の処理の対象である注目画素の動きベクトルを検出する動き量推定手段と、
動きベクトルによって、入力画像に対する動き補償処理を行う動き補償手段と、
動きベクトルの値の大きさによって、動きクラスを決定する動きクラス決定手段と、
動き補償手段の出力から、注目画素の周辺の複数の画像データを切り出す第１の画像切り出し手段と、
第１の画像切り出し手段によって切り出される複数の画像データのレベル分布を検出し、検出したレベル分布に基づいて空間クラスを決定する空間クラス決定手段と、
動きクラス決定手段からの動きクラスと、空間クラス決定手段からの空間クラスとを合成してクラスを決定するクラス決定手段と、
動き補償手段の出力から、注目画素の周辺の複数の画像データを切り出す第２の画像切り出し手段と、
クラスのそれぞれに対応して予め決定され、出力画像信号を推定するための予測係数を記憶し、記憶している予測係数の内から、クラス決定手段からのクラスに対応するものを出力する係数記憶手段と、
第２の画像切り出し手段によって切り出される複数の画像データと、係数記憶手段から供給される予測係数との積和演算を行い、上記出力画像の画像データの予測値を生成する演算処理手段とを有し、
予測係数は、積和演算によって、出力画像信号の画素を生成した時に、生成された値と画素の真値との誤差を最小にするように、クラス毎に予め学習によって求められて係数記憶手段に記憶される
ことを特徴とするフィールド周波数変換装置である。
【０００７】
請求項５の発明は、入力画像のフィールド間に新たなフィールドを生成することによって入力画像のフィールド数より多いフィールド数の出力画像を形成するフィールド周波数変換方法において、
入力画像の処理の対象である注目画素の動きベクトルを検出する動き量推定ステップと、
動きベクトルによって、入力画像に対する動き補償処理を行う動き補償ステップと、
動きベクトルの値の大きさによって、動きクラスを決定する動きクラス決定ステップと、
動き補償ステップの出力から、注目画素の周辺の複数の画像データを切り出す第１の画像切り出しステップと、
第１の画像切り出しステップによって切り出される複数の画像データのレベル分布を検出し、検出したレベル分布に基づいて空間クラスを決定する空間クラス決定ステップと、
動きクラス決定ステップからの動きクラスと、空間クラス決定ステップからの空間クラスとを合成してクラスを決定するクラス決定ステップと、
動き補償ステップの出力から、注目画素の周辺の複数の画像データを切り出す第２の画像切り出しステップと、
クラスのそれぞれに対応して予め決定され、出力画像信号を推定するための予測係数を記憶し、記憶している予測係数の内から、クラス決定ステップからのクラスに対応するものを出力する係数記憶ステップと、
第２の画像切り出しステップによって切り出される複数の画像データと、係数記憶ステップから供給される予測係数との積和演算を行い、上記出力画像の画像データの予測値を生成する演算処理ステップとを有し、
予測係数は、積和演算によって、出力画像信号の画素を生成した時に、生成された値と画素の真値との誤差を最小にするように、クラス毎に予め学習によって求められて係数記憶ステップに記憶される
ことを特徴とするフィールド周波数変換方法である。
【０００８】
以上のような発明によれば、クラス分類適応処理を行うに際して、入力画像の動き量を反映させることができる。
【０００９】
【発明の実施の形態】
以下、適宜図面を参照してこの発明の一実施形態について説明する。この発明の一実施形態におけるマッピング、すなわちフィールド周波数を変換する処理に係る構成の一例を図１に示す。かかる構成は、例えば、５０Ｈｚの入力画像を１００Ｈｚの出力画像に変換する処理を行うものである。入力画像が動き推定部１１に供給される。動き推定部１１は、例えばブロックマッチング等の方法によって、入力画像内の処理の対象である注目画素の動きベクトルを推定し、推定した動きベクトルを動き補償部１２および動きクラス決定部１３に供給する。動き補償部１２は、供給される動きベクトルに基づいて入力画像のフィールドをずらす動き補償処理を行う。動き補償処理の結果として生成される画像がクラスタップ選択部１４と予測タップ選択部１５とに供給される。
【００１０】
一方、動きクラス決定部１３には、動きベクトルと共に、その信頼性を示す情報が動き推定部１１から供給される。動きクラス決定部１３は、供給される動きベクトルと信頼性を示す情報とに基づいて動きクラスを決定し、決定した動きクラスを示す情報をクラスタップ選択部１４、予測タップ選択部１５およびクラス決定部１７に供給する。クラスタップ選択部１４は、動きクラスを参照して空間クラスの分類に用いる所定位置の画素（クラスタップと称される）を選択的に抽出し、抽出したクラスタップのデータを空間クラス決定部１６に供給する。空間クラス決定部１６は、供給されるデータに基づいてＡＤＲＣ(Adaptive Dynamic Range Coding) 等を含む処理を行うことによって空間クラスを決定し、決定した空間クラスを示す情報をクラス決定部１７に供給する。
【００１１】
クラス決定部１７は、空間クラス決定部１６から供給される空間クラスを示す情報と、上述したように動きクラス決定部１３から供給される動きクラスを示す情報とに基づいて最終的なクラスを決定する。クラス決定部１７は、決定した最終的なクラスを示す情報を予測係数選択部１８に供給する。予測係数選択部１８は、クラス決定部１７の出力を参照して、最終的なクラスに対応する予測係数を出力する。この予測係数が積和演算部１９に供給される。なお、予測係数選択部１８は、クラスに対応して後述するようにして予め決定された予測係数を供給され、供給される予測係数を保持するメモリを有している。
【００１２】
一方、予測タップ選択部１５は、動きクラス決定部１３から供給される動きクラスを参照して、動き補償部１２の出力から所定の画素領域（予測タップと称される）を選択的に抽出する。抽出された予測タップのデータが積和演算部１９に供給される。積和演算部１９は、予測タップのデータと、予測係数選択部１８から供給される予測係数とに基づいて、以下の式（１）に従う積和演算を行うことにより、フィールド周波数が変換された出力画像を生成する。
【００１３】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn       （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップの画素データであり、ｗ1 ，‥‥，ｗn が各予測係数である。
【００１４】
次に、動き推定部１１の動作について詳細に説明する。動き推定部１１は、例えばブロックマッチング等の方法によってフレーム間の動きベクトルを推定する。ブロックマッチングの概要について図２を参照して説明する。現在フレームＦ１内のｍ×ｎ画素からなる参照ブロックＢ１内の画像と、過去フレームＦ２内に設定したｓ×ｔ画素からなる探索範囲Ｓ１中のブロックＢ１と同形の候補ブロックＢ２との間でマッチング演算を行う。すなわち、参照ブロックＢ１と候補ブロックＢ２との間で対応する位置の画素値の差分をとり、差分の絶対値をブロックＢ２の全体に渡って累積する等の処理によって候補ブロックＢ２についての評価値を作成する。
【００１５】
このような評価値を探索範囲Ｓ１中の全候補ブロックについて作成し、評価値が最小となる候補ブロックの位置を最もマッチングの良い候補ブロックの位置として決定することにより、参照ブロックＢ１に対応する動きベクトルを検出する。探索範囲Ｓ１内の候補ブロックとして１画素ずつずれたブロックを用いる場合には、全部でｓ×ｔ個の候補ブロックを取扱うことになる。なお、参照ブロックを過去フレーム内にとり、探索範囲を現在フレーム内に設定するようにしても良い。ブロックマッチングについては、本願出願人の先の提案（例えば特開昭５４−１２４９２７号公報参照）に詳細に開示されている。参照ブロック、探索範囲の大きさ等は動き推定の対象とされる画像の性質等の条件に応じて適切に設定すれば良い。この発明の一実施形態では、例えば、参照ブロックのブロックサイズが横６画素×縦３画素とされ、また、探索範囲が水平方向のみに±１６画素とされる。
【００１６】
また、この発明の一実施形態では、上述したようにして推定される動きベクトルの信頼性を以下のようにして判定する。すなわち、評価値の最小値が例えば１８０等の所定値以上となる場合に信頼性が低いと判定し、動きベクトルを無効とする。動きベクトルが無効とされる場合には、動きベクトルとして０が出力される。
【００１７】
動き補償部１２、クラスタップ選択部１４および予測タップ選択部１５においては、入力画像内の画素と出力画像内の画素との位置関係によって決まるモードに応じた処理がなされる。まず、モードについて、図３および図４を参照して説明する。入力画像内の画素と出力画像内の画素との位置関係の一例を図３に説明する。図３において、水平方向は時間方向を示し、垂直方向は画像内での垂直方向を示す。従って、垂直方向の画素の並びがフィールドを表している。また、黒丸は入力画像内の画素を示し、白丸は出力画像内の画素を示す。図４から、入力画像内の画素と出力画像内の画素との間に複数種類の位置関係があることがわかる。
【００１８】
このような位置関係について図４により詳細に示す。ここで、各モード毎に１個の出力画素を、代表例として、薄墨を付して示した。出力画像内の画素が入力画像内のフィールド上にある場合に、出力画像内の画素が入力画像内の画素とが同一位置となるようなモード（モード０）と、出力画像内の画素が入力画像内の画素の間にあるようなモード（モード３）とがある。また、出力画像内の画素が入力画像内のフィールドの間に生成されるフィールド上にある場合に、当該フィールドに対して時間的に直前に位置する入力画像内のフィールド上に出力画像内の画素と垂直方向の位置が一致する画素があるようなモード（モード１）と、当該フィールドに対して時間的に直後に位置する入力画像内のフィールド上に出力画像内の画素と垂直方向の位置が一致する画素があるようなモード（モード２）とがある。
【００１９】
動き補償部１２は、出力画像内の画素が入力画像内のフィールド上にある場合（モード０およびモード３）と、出力画像内の画素が入力画像内のフィールドの間に生成されるフィールド上にある場合（モード１およびモード２）とで異なる処理を行う。このような処理について図５および図６を参照して説明する。図５にモード０およびモード３における処理の一例を示す。ここで、縦方向が時間を示し、横方向が各フィールド内の水平方向の位置を示す。また、生成すべきフィールドが時点Ｎにおけるフィールドであるｆｉｅｌｄ（Ｎ）と同一の時間位置にある場合を例として説明する。この場合、正方形で示す入力画像内の画素の位置と、注目画素（互いに交差する２本の斜線で示す）の位置とが一致している。
【００２０】
また、図５では、ｆｉｅｌｄ（Ｎ）と、時点Ｎ＋２におけるフィールドであるｆｉｅｌｄ（Ｎ＋２）との間で推定された動きベクトルをｍｅ＿ｘと表記する。この場合に、動き補償としてフィールド（Ｎ−１）およびフィールド（Ｎ＋１）を水平方向にそれぞれｍｅ＿ｘ／２、−ｍｅ＿ｘ／２だけ引き寄せる処理が行われる。これにより、フィールド（Ｎ−１）およびフィールド（Ｎ＋１）において、水平方向の動きが見かけ上ほぼ打ち消された画像を得ることができる。
【００２１】
一方、図６にモード１およびモード２における処理の一例を示す。ここで、縦方向が時間を示し、横方向が各フィールド内の水平方向の位置を示す。また、生成すべきフィールドが時点Ｎにおけるフィールドであるｆｉｅｌｄ（Ｎ）と時点Ｎ＋１におけるフィールドであるｆｉｅｌｄ（Ｎ＋１）との間に位置する場合を例として説明する。この場合、正方形で示す入力画像内の画素と、注目画素の位置（互いに交差する２本の斜線で示す）の位置とは異なる。
【００２２】
図６においても、図５と同様に、ｆｉｅｌｄ（Ｎ）と、時点Ｎ＋２におけるフィールドであるｆｉｅｌｄ（Ｎ＋２）との間で推定された動きベクトルをｍｅ＿ｘと表記する。この場合に、動き補償として、フィールド（Ｎ−１）、ｆｉｅｌｄ（Ｎ）およびフィールド（Ｎ＋１）を水平方向にそれぞれ、３×ｍｅ＿ｘ／４、ｍｅ＿ｘ／４、および−ｍｅ＿ｘ／４、だけ引き寄せる処理が行われる。このような処理によって、フィールド（Ｎ−１）およびフィールド（Ｎ＋１）において水平方向の動きが見かけ上ほぼ打ち消された画像を得ることができる。
【００２３】
次に、動きクラス決定部１３による処理について説明する。動きクラス決定部１３は、上述したように動き推定部１１から、動きベクトルと動きベクトルの信頼性を示す情報とを供給される。これらに基づいて、動きクラスを以下のように決定する。
【００２４】
動きクラス０：動きベクトルが有効で動きベクトル値が０
動きクラス１：動きベクトルが有効で動きベクトル値の絶対値が６以下
動きクラス２：動きベクトルが有効で動きベクトル値の絶対値が７以上
動きクラス３：動きベクトルが無効（この時は動きベクトル値は０とされる）ここで、動きベクトルの信頼性が低いと判定される場合（上述したようにブロックマッチングにおける評価値の最小値が所定値以上となる場合）に動きベクトルが無効とされ、それ以外の場合は動きベクトルが有効とされる。また、動きクラス１と動きクラス２を判定する際の参照値とされている６、７等の値は一例であり、これに限定されるものではない。一般的には探索範囲の大きさ（例えば水平方向に±１６画素等）、入力画像の性質等を考慮して適切な値を参照するようにすれば良い。なお、動きクラス３は、信頼性の低い動きベクトルに基づいて不適切な動き補償が行われることを回避するためのものである。
【００２５】
次に、クラスタップ選択部１４および予測タップ選択部１５の動作について説明する。クラスタップ選択部１４および予測タップ選択部１５は、モードと動きクラスとに応じて所定位置の画素をクラスタップおよび予測タップとして抽出する。モード０、１、２、３に対応するタップ構造の一例を図７、図８、図９および図１０に示す。図７〜図１０において、動きクラス０、１の時にクラスタップまたは予測タップとして抽出される画素を黒丸で示し、動きクラス２、３の時にクラスタップまたは予測タップとして抽出される画素を白丸で示した。また、クラスタップまたは予測タップとして抽出される画素以外の画素は、全て点線の丸で示した。
【００２６】
モード０におけるタップ構造の一例を図７に示す。図７Ａに示すように、動きクラス０、１と動きクラス２、３とでクラスタップ構造が一致する。すなわち、何れの動きクラスにおいても、現在フィールドから５個、現在フィールドの１フィールド後のフィールドから２個の計７個の画素がクラスタップとして抽出される。また、図７Ｂに示すように、予測タップ構造が動きクラス０、１と動きクラス２、３とで一致する。すなわち、現在フィールドから９個、現在フィールドの１フィールド前および１フィールド後の各フィールドからそれぞれ２個の計１３個の画素が予測タップとして抽出される。
【００２７】
モード１におけるタップ構造の一例を図８に示す。動きクラス０、１の場合には、図８Ａにて黒丸で示す位置の画素（すなわち、現在フィールドから４個、現在フィールドの１フィールド前および１フィールド後の各フィールドからそれぞれ１個および３個の計８個）がクラスタップとして抽出される。また、動きクラス２、３の場合には、図８Ａにて白丸で示す位置の画素（現在フィールドから４個、現在フィールドの１フィールド後の各フィールドから５個の計８個）がクラスタップとして抽出される。一方、動きクラス０、１の場合、図８Ｂにて黒丸で示す位置の画素（現在フィールドから８個、現在フィールドの１フィールド前および１フィールド後の各フィールドからそれぞれ３個の計１４個）が予測タップとして抽出される。また、動きクラス２、３の場合には、図８Ｂにて白丸で示す位置の画素（現在フィールドから８個、現在フィールドの１フィールド後の各フィールドから５個の計１３個）が予測タップとして抽出される。
【００２８】
モード２におけるタップ構造の一例を図９に示す。図９Ａに示すように、動きクラス０、１と動きクラス２、３とでクラスタップ構造が一致する。すなわち、何れの動きクラスにおいても、現在フィールドから５個、現在フィールドの１フィールド後のフィールドから２個の計７個の画素がクラスタップとして抽出される。一方、動きクラス０、１の場合、図９Ｂにて黒丸で示す位置の画素（現在フィールドから９個、現在フィールドの１フィールド前および１フィールド後の各フィールドからそれぞれ２個の計１３個）が予測タップとして抽出される。また、動きクラス２、３の場合には、図８Ｂにて白丸で示す位置の画素（現在フィールドから９個、現在フィールドの１フィールド後のフィールドから６個の計１５個）が予測タップとして抽出される。
【００２９】
モード３におけるタップ構造の一例を図１０に示す。動きクラス０、１の場合には、図１０Ａにて黒丸で示す位置の画素（すなわち、現在フィールドから２個、現在フィールドの１フィールド前および１フィールド後の各フィールドからそれぞれ３個の計８個）がクラスタップとして抽出される。また、動きクラス２、３の場合には、図８Ａにて白丸で示す位置の画素（現在フィールドから６個、現在フィールドの１フィールド前および１フィールド後の各フィールドから１個の計８個）がクラスタップとして抽出される。一方、図１０Ｂに示すように、動きクラス０、１と動きクラス２、３とで予測タップ構造が一致する。すなわち、何れの動きクラスにおいても、現在フィールドから８個、現在フィールドの１フィールド前および１フィールド後の各フィールドからそれぞれ３個の計１４個の画素がクラスタップとして抽出される。
【００３０】
次に、学習、すなわち上述したマッピングを行うに際して使用される予測係数の算出について説明する。図１における入力画像と同一の信号形式を有する画像が生徒画像として動き推定部２１および動き補償部２２に供給される。動き推定部２１は、図１中の動き推定部１１と同様な処理を行う。すなわち、動き推定部２１は、生徒画像内の注目画素の動きベクトルを推定し、推定した動きベクトルを動き補償部２２に供給する。また、動き推定部２１は、動きベクトルと共に、その信頼性を示す情報を動きクラス決定部２３に供給する。一方、動き補償部２２は、図１中の動き補償部１２と同様な動き補償処理を行う。この動き補償処理の結果として生成される画像がクラスタップ選択部２４と予測タップ選択部２５とに供給される。
【００３１】
動きクラス決定部２３は、図１中の動きクラス決定部１３と同様な処理を行って動きクラスを決定し、決定した動きクラスを示す情報をクラスタップ選択部２４、予測タップ選択部２５およびクラス決定部２７に供給する。クラスタップ選択部２４は、図１中のクラスタップ選択部１４と同一位置の画素をクラスタップとして抽出し、抽出したクラスタップのデータを空間クラス決定部２６に供給する。空間クラス決定部２６は、供給されるデータに基づいて図１中の空間クラス決定部１６と同様な処理を行うことによって空間クラスを決定し、決定した空間クラスを示す情報をクラス決定部２７に供給する。
【００３２】
クラス決定部２７は、図１中のクラス決定部１７と同様な処理を行うことにより、最終的なクラスを決定し、最終的なクラスを示す情報をマトリクス選択部２８に供給する。マトリクス選択部２８は、最終的なクラスに対応するマトリクスを選択し、選択したマトリクスに係るデータをマトリクス加算部２９に供給する。
【００３３】
一方、予測タップ選択部２５は、図１中の予測タップ選択部１５と同一位置の画素を予測タップとして抽出し、抽出した予測タップのデータをマトリクス加算部２９に供給する。マトリクス加算部２９には、さらに、図１における出力画像と同一の信号形式の画像が教師画像として供給される。マトリクス加算部２９には、マトリクス選択部２８から供給されるデータに、予測タップのデータおよび教師画像に基づく演算結果を足し込む処理を行うことにより、正規方程式のデータを生成する。正規方程式のデータは、マトリクス加算部２９から係数決定部３０に供給される。係数決定部３０は、正規方程式を解く演算を行うことにより、予測係数を算出する。算出された予測係数は、例えば図示しないメモリに一旦記憶され、図１中の予測係数選択部内のメモリにロードされる等の方法により、図１を参照して上述した演算処理において使用されることが可能となる。
【００３４】
次に、予測係数を算出するための演算について説明する。上述の式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の教師画像を入力することによって行う。教師画像の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００３５】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn      （２）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００３６】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝  （３）
（ｋ＝１，２，‥‥ｍ）
【００３７】
【数１】
0004250806.tif 000002
【００３８】
式（４）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００３９】
【数２】
0004250806.tif 000003
【００４０】
式（５）から各予測係数ｗi を定める具体的な手順について説明する。式（６）、（７）のようにＸji，Ｙi を定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００４１】
【数３】
0004250806.tif 000004
【００４２】
【数４】
0004250806.tif 000005
【００４３】
【数５】
0004250806.tif 000006
【００４４】
式（８）が一般に正規方程式と呼ばれるものである。マトリクス加算部２９は、正規方程式（８）中のパラメータを算出する。係数決定部３０は、算出されたパラメータに基づいて掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くことにより、予測係数ｗi （ｉ＝１，２，‥‥，ｎ）を算出する。
【００４５】
上述したこの発明の一実施形態では、動き推定部１１による処理結果として得られる動きベクトルがクラスタップ選択、予測タップ選択およびクラス決定回路１７におけるクラス分類にも反映するようになされているが、フィールド周波数変換処理に対する動きベクトルの反映のさせ方はこれに限定されるものではない。例えば、動きベクトルを動き補償にのみ使用する構成、動きベクトルを動き補償とクラスタップおよび／または予測タップの選択に使用する構成、動きベクトルを動き補償とクラス分類に使用する構成等によっても、入力画像の動きが大きい場合にフィールド周波数変換に変換性能をある程度向上させることが可能である。
【００４６】
一般的に、より多くの構成要素の動作に動きベクトルが反映されるように構成する程、入力画像の動きが大きい場合の変換性能は良くなるが、回路構成は大型化すると考えられる。従って、この発明の適用に際しては、装置に要求される、変換性能、回路規模、コスト等の条件により適合する構成用いるようにすれば良い。
【００４７】
この発明は、上述したこの発明の一実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００４８】
【発明の効果】
この発明によれば、入力画像における動き量に基づいて動き補償された画像に対してクラス分類適応処理を適用することにより、フィールド周波数変換がなされる。このため、動き量が大きい場合等においても、変換処理の精度を向上させることができる。
【００４９】
特に、クラス分類適応処理における演算に使用される画像データを切り出す際に、動き量に応じた処理を行うようにすれば、変換処理の精度をより向上させることができる。
【００５０】
また、注目画素の周辺における画像データのレベル分布による空間クラスに加えて、動き量による動きクラスを合成したクラスを形成すれば、変換処理の精度をより向上させることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態における、フィールド周波数変換処理に係る構成について説明するためのブロック図である。
【図２】ブロックマッチングについて説明するための略線図である。
【図３】入力画像内の画素と出力画像内の画素との位置関係について説明するための略線図である。
【図４】モードについて説明するための略線図である。
【図５】モード０およびモード３における動き補償処理について説明するための略線図である。
【図６】モード１およびモード２における動き補償処理について説明するための略線図である。
【図７】モード０におけるタップ構造について説明するための略線図である。
【図８】モード１におけるタップ構造について説明するための略線図である。
【図９】モード２におけるタップ構造について説明するための略線図である。
【図１０】モード３におけるタップ構造について説明するための略線図である。
【図１１】この発明の一実施形態における、学習に係る処理について説明するためのブロック図である。
【符号の説明】
１１・・・動き推定部、１２・・・動き補償部、２１・・・動き推定部、２２・・・動き補償部
【図１】
0004250806.tif 000007
【図２】
0004250806.tif 000008
【図３】
0004250806.tif 000009
【図４】
0004250806.tif 000010
【図５】
0004250806.tif 000011
【図６】
0004250806.tif 000012
【図７】
0004250806.tif 000013
【図８】
0004250806.tif 000014
【図９】
0004250806.tif 000015
【図１０】
0004250806.tif 000016
【図１１】
0004250806.tif 000017