(57)【特許請求の範囲】
【請求項１】
入力画像信号のフィールド周波数をＭ対Ｎ（Ｍ≠Ｎで、Ｍ，Ｎは、自然数）の関係で変換する画像信号変換装置において、
出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドに含まれる画素を少なくとも含み、上記出力画像信号の上記注目フィールド内の注目画素に基づいて決定される上記入力画像信号の複数の画素に基づいて、上記注目画素に対するクラスを決定するクラス決定部と、
予め取得された予測情報を上記クラス毎に記憶するメモリ部と、
出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドに含まれる画素を少なくとも含み、上記出力画像信号の上記注目フィールド内の注目画素に基づいて決定される上記入力画像信号の複数の画素を選択する予測画素選択部と、
上記クラス決定部で決定されたクラスに対応する予測情報と、上記予測画素選択部で選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成する画素生成部とを有することを特徴とする画像信号変換装置。
【請求項２】
請求の範囲１において、
上記クラス決定部と、上記予測画素選択部と、上記画素生成部は、上記出力画像信号の全てのフィールドのうち、少なくとも上記入力画像信号のフィールドと位相が一致しない全てのフィールドについて動作し、上記出力画像信号の各注目画素を生成することを特徴とする画像信号変換装置。
【請求項３】
請求の範囲１において、
上記クラス決定部は、上記出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドを中心とした前後の所定数のフィールドから選択した複数の画素に基づいて、上記注目画素に対するクラスを決定することを特徴とする画像信号変換装置。
【請求項４】
請求の範囲１において、
上記予測画素選択部は、上記出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドを中心とした前後の所定数のフィールドから、複数の画素を選択することを特徴とする画像信号変換装置。
【請求項５】
請求の範囲１において、
上記画素生成部は、上記クラス決定部で決定されたクラスに対応する上記予測情報と、上記予測画素選択部で選択された複数の画素との線形推定式を演算することで、上記出力画像信号の各注目画素を生成することを特徴とする画像信号変換装置。
【請求項６】
請求の範囲１において、
上記入力画像信号及び出力画像信号がインターレース信号であることを特徴とする画像信号変換装置。
【請求項７】
請求の範囲１において、
Ｍ＝５、Ｎ＝６であることを特徴とする画像信号変換装置。
【請求項８】
入力画像信号のフィールド周波数をＭ対Ｎ（Ｍ≠Ｎで、Ｍ，Ｎは、自然数）の関係で変換する画像信号変換方法において、
出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドに含まれる画素を少なくとも含み、上記出力画像信号の上記注目フィールド内の注目画素に基づいて決定される上記入力画像信号の複数の画素に基づいて、上記注目画素に対するクラスを決定するクラス決定ステップと、
出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドに含まれる画素を少なくとも含み、上記出力画像信号の上記注目フィールド内の注目画素に基づいて決定される上記入力画像信号の複数の画素を選択する予測画素選択スッテプと、
上記クラス決定ステップで決定されたクラスに対応する予測情報と、上記予測画素選択ステップで選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成する画素生成ステップとを有することを特徴とする画像信号変換方法。
【請求項９】
請求の範囲８において、
上記クラス決定ステップと、上記予測画素選択ステップと、上記画素生成ステップは、上記出力画像信号の全てのフィールドのうち、少なくとも上記入力画像信号のフィールドと位相が一致しない全てのフィールドについて行われることを特徴とする画像信号変換方法。
【請求項１０】
請求の範囲８において、
上記クラス決定ステップでは、上記出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドを中心とした前後の所定数のフィールドから選択した複数の画素に基づいて、上記注目画素に対するクラスが決定されることを特徴とする画像信号変換方法。
【請求項１１】
請求の範囲８において、
上記予測画素選択ステップは、上記出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドを中心とした前後の所定数のフィールドから、複数の画素を選択することを特徴とする画像信号変換方法。
【請求項１２】
請求の範囲８において、
上記画素生成ステップは、上記クラス決定ステップで決定されたクラスに対応する上記予測情報と、上記予測画素選択ステップで選択された複数の画素との線形推定式を演算することで、上記出力画像信号の各注目画素を生成することを特徴とする画像信号変換方法。
【請求項１３】
請求の範囲８において、
上記入力画像信号及び出力画像信号がインターレース信号であることを特徴とする画像信号変換方法。
【請求項１４】
請求の範囲８において、
Ｍ＝５、Ｎ＝６であることを特徴とする画像信号変換方法。
【発明の詳細な説明】
技術分野
この発明は、テレビジョン受像機、ＶＴＲ等に用いて好適な画像信号変換装置および方法に関する。
背景技術
従来、テレビジョン走査方式のフィールド周波数としては、５０Ｈｚ（ＰＡＬ方式、ＳＥＣＡＭ方式等）または６０Ｈｚ（ＮＴＳＣ方式）が広く採用されている。これらのフィールド周波数の一方を他方に変換するフィールド周波数変換技術が知られている。例えばフィールド周波数を５０Ｈｚを６０Ｈｚに変換する時には、入力フィールドの５フィールドを出力フィールドの６フィールドに変換することが必要とされる。動きのスムーズな出力画像を得るために、入力画像の動きベクトルを検出し、動きベクトルに基づいて適切な時間情報を有する出力フィールドを形成するようにしていた。
従来のフィールド周波数変換技術は、動きベクトルを検出する必要があり、ハードウエアが大規模になる欠点があった。また、動きベクトル検出の精度は、それほど高くないので、誤検出による画質劣化が生じるおそれがあった。特に、物体の動きに関しては、出力画像中に不自然な動き（ジャーキネスと称される）が発生したり、動画像のエッジのボケが目立つ等の欠点があった。動きベクトルを検出しないで、線形補間によりフィールド数変換を行う方法もあるが、この方法は、動画領域のボケが目立つ欠点がある。
従って、この発明は、従来のフィールド周波数変換技術の欠点を解消することができる画像信号変換装置および方法を提供することにある。
発明の開示
上述した課題を達成するために、請求の範囲１の発明は、入力画像信号のフィールド周波数をＭ対Ｎ（Ｍ≠Ｎで、Ｍ，Ｎは、自然数）の関係で変換する画像信号変換装置において、
出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドに含まれる画素を少なくとも含み、出力画像信号の注目フィールド内の注目画素に基づいて決定される入力画像信号の複数の画素に基づいて、注目画素に対するクラスを決定するクラス決定部と、
予め取得された予測情報をクラス毎に記憶するメモリ部と、
出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドに含まれる画素を少なくとも含み、出力画像信号の注目フィールド内の注目画素に基づいて決定される入力画像信号の複数の画素を選択する予測画素選択部と、
クラス決定部で決定されたクラスに対応する予測情報と、予測画素選択部で選択された複数の画素とに基づいて、出力画像信号の各注目画素を生成する画素生成部とを有することを特徴とする画像信号変換装置である。
請求の範囲８の発明は、入力画像信号のフィールド周波数をＭ対Ｎ（Ｍ≠Ｎで、Ｍ，Ｎは、自然数）の関係で変換する画像信号変換方法において、
出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドに含まれる画素を少なくとも含み、出力画像信号の注目フィールド内の注目画素に基づいて決定される入力画像信号の複数の画素に基づいて、注目画素に対するクラスを決定するクラス決定ステップと、
出力画像信号の注目フィールドの時間的に最も近傍に位置する入力画像信号のフィールドに含まれる画素を少なくとも含み、出力画像信号の注目フィールド内の注目画素に基づいて決定される入力画像信号の複数の画素を選択する予測画素選択スッテプと、
クラス決定ステップで決定されたクラスに対応する予測情報と、予測画素選択ステップで選択された複数の画素とに基づいて、出力画像信号の各注目画素を生成する画素生成ステップとを有することを特徴とする画像信号変換方法である。
この発明によれば、フィールド周波数を変換するのに、クラス分類適応処理を使用している。クラス分類適応処理は、教師画像（フィールド周波数変換処理の時では、出力画像に相当する）と生徒画像（フィールド周波数変換処理の時では、入力画像に相当する）とを使用して、真値と予測値の誤差の自乗和を最小とするような予測係数を定めるものである。従って、動きベクトルを検出しないでも、時間的に変換後のフィールドに相当する画像を生成することができ、動きベクトル検出用の大規模なハードウエアを必要としない利点がある。また、動きベクトル検出の精度が低いことによる画質の劣化を生じない利点がある。さらに、クラス分類適応処理によるフィールド周波数変換処理を行うことにより、フィールド周波数が比較的低いことによる大面積のフリッカーが生じることを防止でき、良好な画像を提示できる。
発明を実施するための最良の形態
以下、この発明の一実施形態について説明する。一実施形態は、フィールド周波数を５０Ｈｚから６０Ｈｚへ変換するフィールド周波数変換に対してこの発明を適用したものである。この発明では、６０Ｈｚの出力画像信号の画素をクラス分類適応処理によって生成する。
クラス分類適応処理は、入力信号である画像信号の時間的および／または空間的特徴に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方式であり、クラス分類適応処理によって、従来のフィールド周波数変換で問題となっていた動きの不自然さを解消できる。
この画素生成装置の一例では、第１図に示すように、入力画像信号（フィールド周波数５０Ｈｚのインターレス信号）が領域切り出し部１に供給され、クラス分類および予測演算に必要とされる複数の画素が含まれる領域が切り出される。領域切り出し部１の出力がクラス検出回路２および１２、予測タップ選択回路３および１３に供給される。クラス検出回路２および１２は、作成すべき出力画素の近傍の入力画素のレベル分布のパターンに対応するクラスを検出する。並列に画素生成のための二つの構成を設けるのは、入力画像信号中の１ラインの時間で、出力画像の２ラインを作成するためである。作成される一方のライン情報をＭと表記し、その他方のライン情報をＳとして表記する。なお、破線で囲んで示す構成は、ＬＳＩの構成とされる。
クラス検出回路２および１２のそれぞれにより検出されたクラスが予測タップ選択回路３、１３と予測係数メモリ４、１４とに供給される。予測係数メモリ４、１４からは、クラスに対応する予測係数セットが読出され、積和演算回路５、１５に読出された予測係数セットが供給される。予測タップ選択回路３、１３は、クラスに応じて使用する予測タップを選択する構成とされている。予め各クラスの予測係数を学習によって得る時に、予測係数と使用する予測タップ位置情報との両者を得るようにしている。予測タップ選択回路３、１３には、予測タップ位置情報がクラス毎に記憶されたメモリ（図示せず）が設けられている。このメモリからクラスに対応して読出された予測タップ位置情報がタップ切り替え用のセレクタに供給され、セレクタ（図示せず）が選択的に予測タップを出力する。予測タップ選択回路３、１３からの予測タップが積和演算回路５、１５に供給される。
積和演算回路５、１５では、予測タップ（入力画像信号の画素）と予測係数セットとの線形推定式を用いて出力画像信号の画素値を算出する。積和演算回路５、１５がそれぞれフィールド周波数が入力画像信号と等しい５０Ｈｚの出力画像信号の第１の画素値Ｍおよび第２の画素値Ｓを出力する。積和演算回路５からの第１の画素値がフィールドメモリ６に供給され、積和演算回路１５からの第２の画素値がフィールドメモリ１６に供給される。
フィールドメモリ６、１６は、クラス分類適応処理で生成された第１および第２の画素値のフィールド周波数を５０Ｈｚから６０Ｈｚへ変換する処理（速度変換処理）を行う。フィールドメモリ６、１６の出力が６０Ｈｚのフィールド毎に切り替えられるセレクタ７に入力される。セレクタ７は、フィールドメモリ６、１６のそれぞれの出力を交互に選択し、出力画像信号（フィールド周波数６０Ｈｚ）を発生する。
図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、フィールド周波数６０Ｈｚの出力画像信号を表示することが可能なように、その同期系が構成されている。入力画像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一例をテレビジョン受像機に内蔵することができる。
なお、入力画像信号と出力画像信号とは、フィールド周波数のみならず、水平ライン周波数（ライン数）も相違する場合がある。従って、その場合には、フィールド数の変換と共に、ライン数の変換も必要とされる。ライン数変換も、クラス分類適応処理によって行うことができる。さらに、クラス分類適応処理によって、水平方向の画素数を入力画像信号の２倍とすることもできる。これらの処理を組み合わせることによって、所望の出力画像信号を形成することができる。但し、この発明は、フィールド数の変換に要旨があるので、ライン数、水平方向の画素数についての説明については、省略する。
第２図は、この発明の一実施形態のフィールド変換動作を横軸に時間、縦軸に垂直方向をとって示すものである。但し、垂直方向の画素数（ライン数）は、実際の画素数よりはるかに少ないものに簡略化されている。第２図Ａが５０Ｈｚのタイムスケールで表された入力画像信号であり、第２図Ｂが６０Ｈｚのタイムスケールで表された出力画像信号である。
第２図Ａの入力フィールドｆ１〜ｆ５の５フィールドが第２図Ｂの出力フィールドＦ１〜Ｆ６の６フィールドへ変換される。出力フィールドＦ１は、入力フィールドｆ１から第１の出力画素Ｍとして生成される。出力フィールドＦ２は、入力フィールドｆ１から第２の出力画素Ｓとして生成される。出力フィールドＦ３は、入力フィールドｆ２から第１の出力画素Ｍとして生成される。出力フィールドＦ４は、入力フィールドｆ３から第２の出力画素Ｓとして生成される。出力フィールドＦ５は、入力フィールドｆ４から第１の出力画素Ｍとして生成される。出力フィールドＦ６は、入力フィールドｆ５から第２の出力画素Ｓとして生成される。このように、クラス分類適応処理で生成される出力フィールドの基になる入力フィールドは、時間的になるべく近いものである。
第３図は、フィールドメモリ６および１６の動作を横軸に時間、縦軸にフィールドメモリ６および１６のアドレスをとって示すものであり、また、フィールドメモリ６および１６の書き込みアドレスの変化が細線、それらの読み出しアドレスの変化が太線で示されている。第３図Ａは、積和演算回路５およびフィールドメモリ６による出力生成動作を示し、第３図Ｂは、積和演算回路１５およびフィールドメモリ１６による出力生成動作を示す。第３図中で各フィールドに対して付された参照符号は、第２図中で使用したものと対応している。
第３図Ａに示すように、入力フィールドｆ１から積和演算回路５から出力されるフィールドｆ１Ｍがフィールドメモリ６に書き込まれる。若し、後述する例のように、入力フィールドｆ１と出力フィールドＦ１の位相とが時間的に全く重なる場合には、積和演算回路５からのフィールドｆ１Ｍは、入力フィールドｆ１と同一の画像とされる。また、第３図Ｂに示すように、入力フィールドｆ１から積和演算回路１５から出力されるフィールドｆ１Ｓがフィールドメモリ１６に書き込まれる。これらのフィールドｆ１Ｍおよびｆ１Ｓは、入力フィールド周波数（５０Ｈｚ）のタイムスケールで、同一フィールド期間において生成される。フィールドメモリ６からは、出力フィールド周波数（６０Ｈｚ）のタイムスケールでもって、出力フィールドＦ１（書き込まれたフィールドｆ１Ｍ）が読み出される。同様に、フィールドメモリ１６から出力フィールド周波数のタイムスケールでもって、出力フィールドＦ２（書き込まれたフィールドｆ１Ｓ）が読み出される。出力フィールドＦ２は、出力フィールドＦ１の次のフィールドを構成する。
入力フィールドｆ２からクラス分類適応処理によりフィールドｆ２Ｍが生成され、積和演算回路５からのフィールドｆ２Ｍがフィールドメモリ６に書き込まれる。フィールドｆ２Ｍが６０Ｈｚのタイムスケールで読み出され、出力フィールドＦ３として出力される。入力フィールドｆ２の期間では、第３図Ｂにおいて破線で示すように、フィールドｆ１Ｓは、出力フィールドとして使用されないので、フィールドメモリ１６に対する書き込みが休止される。次の入力フィールドｆ３から生成されたフィールドｆ３Ｓがフィールドメモリ１６に対して書き込まれる。入力フィールドｆ３の期間では、第３図Ａにおいて破線で示すように、フィールドｆ３Ｍは、出力フィールドとして使用されないので、フィールドメモリ６に対する書き込みが休止される。フィールドメモリ１６から出力フィールドＦ４が読み出される。
次の入力フィールドｆ４から生成されたフィールドｆ４Ｍがフィールドメモリ６に対して書き込まれる。入力フィールドｆ４の期間では、第３図Ｂにおいて破線で示すように、フィールドメモリ１６に対する書き込みが休止される。フィールドメモリ６から出力フィールドＦ５が読み出される。さらに次の入力フィールドｆ５から生成されたフィールドｆ５Ｓがフィールドメモリ１６に対して書き込まれる。入力フィールドｆ５の期間では、第３図Ａにおいて破線で示すように、フィールドメモリ６に対する書き込みが休止される。フィールドメモリ１６から出力フィールドＦ６が読み出される。
以上の入力フィールドｆ１〜ｆ５から出力フィールドＦ１〜Ｆ６をクラス分類適応処理で生成する処理が繰り返される。第３図Ａおよび第３図Ｂから分かるように、フィールドメモリ６および１６においては、書き込みアドレスが読み出しアドレスを追い越すことがなく、正常な読み出し出力が発生する。セレクタ７は、出力フィールド毎に交互にフィールドメモリ６の読み出し出力（第３図Ａの太線部分）とフィールドメモリ１６の読み出し出力（第３図Ｂの太線部分）の一方を順次選択して出力する。セレクタ７の出力に、５０Ｈｚから６０Ｈｚへフィールド周波数が変換された出力映像信号が発生する。
なお、第１図に示されるクラス分類適応処理の構成は、コンポーネントカラー画像信号の一つのコンポーネントに対応したものであり、輝度信号、二つの色差信号の計３個のコンポーネントに対して、第１図に示される構成をそれぞれ設けても良い。さらに、コンポーネントカラー画像信号に限らず、コンポジットカラー画像信号に対してもこの発明を適用することができる。
以下、この発明の一実施形態におけるクラス分類適応処理について、より詳細に説明する。クラス分類適応処理の際に設定されるクラスタップおよび予測タップの一例を説明する。最初に、第４図を参照して、クラス分類適応処理のモードの定義を説明する。第４図では、１０フィールドでインターレスを考慮したパターンが一巡している。一方、第２図では、５フィールドでパターンが一巡している。インターレス（画素位置）を考慮しないで時間的関係のみに着目する場合には、第２図に示したように、５フィールドでパターンが一巡することになる。
第４図には、５０Ｈｚのフィールド周波数の入力画像と６０Ｈｚのフィールド周波数の出力画像とが示されている。入力フィールドｆ１の位相と時間的に重なる出力フィールドＦ１は、入力フィールドｆ１と同一の画像が出力される。但し、出力フィールドＦ１との画像をクラス分類適応処理で生成しても良い。入力フィールドと出力フィールドの時間的関係と、これらの間の垂直方向の画素位置に応じて次のようにモードを定義する。
出力フィールドＦ１、Ｆ２およびＦ３のように、時間的にもっとも近接する（時間的に重なる場合も含む）入力フィールドと垂直方向の画素位置が同一の場合をモードＡと定義する。出力フィールドＦ５およびＦ６のように、時間的にもっとも近接する入力フィールドと垂直方向の画素位置が１／２ラインずれた位置の場合をモードＢと定義する。出力フィールドＦ４のように、入力フィールドｆ３およびｆ４の時間的中間位置の場合をモードＣと定義する。これらのモードを定義するのは、モード毎に予測係数セットを学習により定めるためであり、それによって、予測の精度が向上できる。なお、最も近接する入力フィールドまでの距離の大きさによって、モードを細分化しても良い。但し、この場合では、ハードウエアの規模が増大するので、実施形態では、モードを細分化していない。
第５図は、モードＡにおけるタップ構造を示す。第５図は、縦軸を垂直方向、横軸を時間方向とし、出力フィールド例えばＦ３のある画素（黒い丸印で示す）を生成する場合の画素位置を概略的に示す。モードＡでは、入力フィールドｆ２、ｆ３、ｆ４に含まれる画素を使用して、出力フィールドＦ３の画素がクラス分類適応処理によって生成される。すなわち、入力フィールドｆ２に含まれ、予測しようとする画素と垂直方向で１／２ラインずれた位置の上下の２画素と、入力フィールドｆ３に含まれ、予測しようとする画素と同一位置の画素と、入力フィールドｆ４に含まれ、予測しようとする画素と垂直方向で１／２ラインずれた位置の上下の２画素とが使用される。例えば、クラス検出回路２、予測タップ選択回路３、予測係数メモリ４、積和演算回路５によってフィールドＦ３内の画素が生成される。
第６図は、モードＢにおけるタップ構造を示す。第６図は、縦軸を垂直方向、横軸を時間方向とし、出力フィールド例えばＦ５のある画素（黒い丸印で示す）を生成する場合の画素位置を概略的に示す。モードＢでは、入力フィールドｆ３、ｆ４、ｆ５に含まれる画素を使用して、出力フィールドＦ５の画素がクラス分類適応処理によって生成される。すなわち、入力フィールドｆ３に含まれ、予測しようとする画素と同一位置の画素と、入力フィールドｆ４に含まれ、予測しようとする画素と垂直方向で１／２ラインずれた位置の上下の２画素と、入力フィールドｆ５に含まれ、予測しようとする画素と同一位置の画素とが使用される。例えば、クラス検出回路２、予測タップ選択回路３、予測係数メモリ４、積和演算回路５によってフィールドＦ５内の画素が生成される。
第７図は、モードＣにおけるタップ構造を示す。第７図は、縦軸を垂直方向、横軸を時間方向とし、出力フィールド例えばＦ４のある画素（黒い丸印で示す）を生成する場合の画素位置を概略的に示す。モードＣでは、入力フィールドｆ３、ｆ４に含まれる画素を使用して、出力フィールドＦ４の画素がクラス分類適応処理によって生成される。すなわち、入力フィールドｆ３に含まれ、予測しようとする画素と垂直方向で１／２ラインずれた位置の上下の２画素と、入力フィールドｆ４に含まれ、予測しようとする画素と同一位置の画素とが使用される。例えば、クラス検出回路１２、予測タップ選択回路１３、予測係数メモリ１４、積和演算回路１５によってフィールドＦ４内の画素が生成される。
第５図、第６図および第７図のタップ構造は、クラスタップおよび予測タップとして使用する入力画素と、それらが含まれるフィールドとを示している。クラスタップおよび予測タップは、時間方向および垂直方向のみならず、同一フィールド内の水平方向に広がりを持つことも可能である。また、クラスタップと予測タップとを同一のタップ構造とせずに、両者を異ならせることも可能である。クラスタップおよび予測タップのモードに応じた切り替えは、クラス検出回路２，１２および予測タップ選択回路３，１３のそれぞれにおいてなされる。領域切り出し回路１は、クラスタップおよび予測タップとして使用される可能性のある全ての入力画素を同時に出力するものである。
クラスタップおよび予測タップを空間的な配置例について説明する。例えば第８図に示すように空間的にも複数の入力画素によって予測タップを構成し、第８図Ｂに示すように、複数の入力画素によってクラスタップを構成しても良い。第８図Ａおよび第８図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第８図Ａに示すように、−１フィールドに含まれ、生成しようとする画素（黒い丸印）と垂直方向で上下の位置の６個の入力画素と、０フィールドに含まれ、生成しようとする画素と上下左右の位置に隣接する４個の入力画素との合計１０個の入力画素により予測タップが構成される。
第８図Ｂに示すように、−１フィールドに含まれ、生成しようとする画素と垂直方向で上下の位置の２画素と、０フィールドに含まれ、生成しようとする画素に対して垂直方向で上下の位置の２画素によってクラスタップが構成される。
クラス検出回路２、１２は、クラスタップのレベル分布のパターンを検出する。この場合、クラス数が膨大となることを防ぐために、各画素８ビットの入力データをより少ないビット数のデータへ圧縮するような処理を行う。一例として、ＡＤＲＣ（Ａｄａｐｔｉｖｅ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｃｏｄｉｎｇ）によって、クラスタップの入力画素のデータが圧縮される。なお、情報圧縮方式としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮方式を用いても良い。
本来、ＡＤＲＣは、ＶＴＲ（Ｖｉｄｅｏ  Ｔａｐｅ  Ｒｅｃｏｄｅｒ）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一例では、ＡＤＲＣをクラス分類のコード発生に使用している。ＡＤＲＣは、クラスタップのダイナミックレンジをＤＲ、ビット割当をｎ、クラスタップの画素のデータレベルをＬ、再量子化コードをＱとして、以下の式（１）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝        （１）
ただし、｛  ｝は切り捨て処理を意味する。
なお、動きクラスを併用して、クラスと動きクラスとを統合してクラスを検出するようにしても良い。この場合、動きクラスに応じて、クラスタップを切り替えるようにしても良い。動きクラスは、例えばフレーム間差分の大きさに応じて生成されるので、動きベクトルを検出する場合と比較してハードウエアの規模が小さくて良い。
そして、積和演算回路５，１５は、予測タップ選択回路３，１３でそれぞれ選択された各予測タップ（画素値）と、予測係数メモリ４，１４からそれぞれ読み出された各係数との線形１次結合によって、画素値を生成する。線形１次結合に限らず、高次の推定式によって画素値を生成しても良い。この場合、第３図のタイミングチャートに示されるように、予測係数メモリ４には、出力フィールドＦ３およびＦ５を生成するために使用する予測係数テーブルが格納され、また、予測係数メモリ１４には、出力フィールドＦ２、Ｆ４およびＦ６を生成するために使用する予測係数テーブルが格納されている。各テーブルは、予測係数セットを、モードとクラス検出回路２，１２で決定されたクラスとに対応する個数有する。各テーブル（予測係数）は、予め後述する学習処理によって取得されている。
積和演算回路５は、予測タップ選択回路３、または１３からの予測タップ（画素値）ｘ１，ｘ２，・・・ｘｉと、予測係数セットｗ１，ｗ２，・・・ｗｉとの線形１次結合式（式（２））の演算を行うことにより、画素値を算出する。積和演算回路１５は、同様にして画素値を算出する。
Ｌ１＝ｗ１ｘ１＋ｗ２ｘ２＋・・・・＋ｗｉｘｉ        （２）
このように、予測係数セットが各クラス毎に予め学習により求められた上で、予測係数メモリ４、１４に記憶しておき、入力される予測タップおよび読出された予測係数セットに基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力する。従って、動きベクトル検出を行わずに、フィールド数変換を行うことができる。
予測係数の作成（学習）処理について第９図を用いて説明する。予測係数を学習によって得るためには、フィールド周波数３００Ｈｚのプログレッシブの高速動作のビデオカメラにより撮影した画像を使用する。この画像が間引き部３１によって、垂直方向で画素数が１／２とされ、フィールド周波数が６０Ｈｚのインターレス画像信号（生徒画像）が形成される。また、間引き部４１によって、垂直方向で画素数が１／２とされ、フィールド周波数５０Ｈｚの画像信号（教師画像）が形成される。間引き部４１からの教師画像と間引き部３１からの生徒画像とを学習用の対とする。第１図に示す入力画像が生徒画像に対応し、出力画像が教師画像に対応する。学習は、教師画像（真値）と生徒画像との間で、両者の対応する画素の誤差の自乗和を最小とする予測係数を最小自乗法によって求める処理である。
第１０図は、予測係数を学習する時の画素構造を示す。縦軸が垂直方向であり、横軸が時間方向である。間引き部３１は、フィールド周波数３００Ｈｚのプログレッシブ画像を時間方向に１／６に間引くと共に、ライン数を１／２に間引き、フィールド周波数５０Ｈｚ、インターレス走査の生徒画像を生成する。間引き部４１は、フィールド周波数３００Ｈｚのプログレッシブ画像を時間方向に１／５に間引くと共に、ライン数を１／２に間引き、フィールド周波数６０Ｈｚ、インターレス走査の教師画像を生成する。
間引き部３１からの生徒画像信号が予測タップ領域切り出し部３２およびクラスタップ領域切り出し部３３に供給される。クラスタップ領域切り出し部３３からのクラスタップがクラス検出回路３４および３５に供給される。予測タップ領域切り出し部３２は、各モードで画素を作成するための予測タップを出力する。クラス検出回路３４、３５は、モード毎に設定されたクラスタップのデータをＡＤＲＣにより圧縮し、クラス情報を発生する。これらのクラスタップおよび予測タップは、前述した構造のもの（第４図〜第７図参照）である。
予測タップ領域切り出し部３２からの予測タップが正規方程式加算回路３６、３７に供給される。正規方程式加算回路３６、３７の説明のために、複数個の入力画素から出力画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために、より一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択される入力画素の信号レベルをそれぞれｘ１、‥‥、ｘｎとし、教師画像中の出力画素の信号レベルをｙとしたとき、クラス毎に予測係数セットｗ１、‥‥、ｗｎによるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗｉが未定係数である。
ｙ＝ｗ１ｘ１＋ｗ２ｘ２＋‥‥＋ｗｎｘｎ          （３）
学習は、クラス毎に複数の画像信号に対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
ｙｋ＝ｗ１ｘｋ１＋ｗ２ｘｋ２＋‥‥＋ｗｎｘｋｎ            （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数セットｗｉ、‥‥ｗｎは、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数セットを求める。いわゆる、最小自乗法による解決である。
ｅｋ＝ｙｋ−｛ｗ１ｘｋ１＋ｗ２ｘｋ２＋‥‥＋ｗｎｘｋｎ｝  （５）
（ｋ＝１，２，‥‥ｍ）
0004470324.tif 000002
ここで、式（６）のｗｉによる偏微分係数を求める。それは以下の式（７）を‘０’にするように、各係数ｗｉを求めればよい。
0004470324.tif 000003
以下、式（８）、（９）のようにＸｉｊ、Ｙｉを定義すると、式（７）は、行列を用いて式（１０）へ書き換えられる。
0004470324.tif 000004
この方程式は、一般に正規方程式と呼ばれている。第９図中の正規方程式加算回路３６、３７のそれぞれは、クラス検出回路３４、３５から供給されたクラス情報と、予測タップ領域切り出し部３２から供給された予測タップと、教師画像の画素を用いて、この正規方程式の加算を行う。
学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路３６、３７は、予測係数決定部３８に正規方程式データを出力する。予測係数決定部３８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗｉについて解き、予測係数セットを算出する。予測係数決定部３８は、算出された予測係数セットを予測係数メモリ３９、４０に書込む。
以上のように学習を行った結果、予測係数メモリ３９、４０のそれぞれには、クラス毎に、出力画像信号の注目画素ｙを推定するための、もっとも真値に近い推定ができる予測係数セットが格納される。予測係数メモリ３９、４０に格納された予測係数セットは、上述の画像情報変換装置において、予測係数メモリ４、１４にロードされる。
また、予測タップ領域切り出し部３２が出力する予測タップの個数は、画素生成装置において使用される予測タップの個数より大きいものとされる。従って、予測係数決定部３８は、クラス毎により多くの予測係数が求まる。この求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数セットが選択される。選択された予測係数がメモリ３９、４０のクラスに対応するアドレスにそれぞれ格納される。従って、クラス毎に予測タップが選択されることになり、この予測タップの選択位置情報がクラス毎にメモリ（図示しない）に格納される。このような予測タップ選択処理によって、各クラスに適合した予測タップを選択することが可能となる。
以上の処理により、線形推定式により、フィールド周波数が５０Ｈｚのデータからフィールド周波数が６０Ｈｚの画像のデータを作成するための予測係数の学習が終了する。
なお、フィールド周波数５０Ｈｚから６０Ｈｚへのフィールド周波数の変換処理について説明したが、この逆の６０Ｈｚから５０Ｈｚへのフィールド周波数の変換処理に対しても同様にこの発明を適用できる。また、入力画像信号および出力画像信号のフィールド周波数は、５０Ｈｚ、６０Ｈｚには限定されず、フィールド周波数をＭ対Ｎ（Ｍ≠Ｎで、Ｍ，Ｎは、１でない整数）に変換する場合に対して同様にこの発明を適用できる。例えば４８Ｈｚのフィールド周波数の入力画像信号を６０Ｈｚのフィールド周波数の画像信号へ変換できる。また、ＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ，６４０ｘ４８０画素）、ＸＧＡ（ｅＸｔｅｎｄｅｄ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ，１０２４ｘ７６８画素）等のコンピュータ画像のフィールド周波数を変換する処理に対してもこの発明を適用することができる。さらに、フィールド周波数の変換に加えて水平方向および／または垂直方向の画素数を２倍とする処理を同時に行うようにしても良い。
第１１図は、一実施形態とは逆にフィールド周波数を６０Ｈｚから５０Ｈｚへ変換する場合の処理を説明するものである。第１１図も、第３図と同様に、二つのフィールドメモリの各フィールドメモリの動作を横軸に時間、縦軸にフィールドメモリのアドレスをとって示すものであり、また、フィールドメモリの書き込みアドレスの変化が細線、それらの読み出しアドレスの変化が太線で示されている。
第１１図Ａに示すように、入力フィールドｆ１と同一画像のフィールドＦ１’が一方のフィールドメモリに書き込まれ、５０Ｈｚのタイムスケールで出力フィールドＦ１として読み出される。また、第１１図Ｂに示すように、入力フィールドｆ２からクラス分類適応処理により生成されたフィールドＦ２’が他方のフィールドメモリに書き込まれ、フィールドＦ２として読み出される。フィールドｆ２の期間では、一方のフィールドメモリに対する書き込みが休止される。
入力フィールドｆ３からクラス分類適応処理によりフィールドＦ３’が生成され、フィールドＦ３’が一方のフィールドメモリに書き込まれる。フィールドＦ３’が５０Ｈｚのタイムスケールで読み出され、出力フィールドＦ３として出力される。次の入力フィールドｆ４から生成されたフィールドＦ４’が他方のフィールドメモリに対して書き込まれる。さらに、入力フィールドｆ５から生成された出力フィールドＦ５’が一方のフィールドメモリに書き込まれ、出力フィールドＦ５として出力される。入力フィールドｆ５の期間では、第１１図Ａにおいて破線で示すように、一方のフィールドメモリに対する書き込みが休止される。他方のフィールドメモリにおいては、書き込み動作の休止期間が存在しない。これは、他方のフィールドメモリにおいては、クラス分類に不要な入力フィールドが書き込まれても、その後にクラス分類に使用する入力フィールドによって上書きれるからである。
以上の入力フィールドｆ１〜ｆ６から出力フィールドＦ１〜Ｆ５をクラス分類適応処理で生成する処理が繰り返される。第１１図Ａおよび第１１図Ｂから分かるように、各フィールドメモリにおいては、書き込みアドレスが読み出しアドレスを追い越すことがなく、正常な読み出し出力が発生する。そして、一実施形態と同様に、出力フィールド毎に交互に各フィールドメモリの読み出し出力（第１１図中の太線部分）を選択することによって、６０Ｈｚから５０Ｈｚへフィールド周波数が変換された出力映像信号が発生する。
上述したこの発明による画像情報変換装置を例えばＣＲＴディスプレイのような表示装置と入力信号源との間に設けることによって、表示装置のフィールド周波数と入力画像信号のフィールド周波数の不一致の問題を解決することができる。
この発明は、フィールド周波数（フィールド数）の変換をクラス分類適応処理によって行うので、動きベクトルの検出が不要であり、動きベクトル検出のためにハードウエアが大規模となる問題が生じない。また、動きベクトル検出の精度が低いことに起因する画質劣化を生じない。さらに、線形変換でフィールド数変換を行う方法と比して、動画像のボケを生じない利点がある。また、５０Ｈｚから６０Ｈｚへ入力画像信号のフィールド周波数を変換するように、低いフィールド周波数をより高いフィールド周波数へ変換することによって、大面積フリッカーを取り除くことができる。
【図面の簡単な説明】
第１図は、この発明の一実施形態のブロック図である。
第２図は、一実施形態におけるフィールド周波数変換処理を説明するための略線図である。
第３図は、一実施形態におけるフィールド周波数変換処理におけるフィールドメモリの動作を説明するためのタイミングチャートである。
第４図は、フィールド周波数変換をクラス分類適応処理で行う時のモードの定義を説明するための略線図である。
第５図は、モードＡにおけるタップ構造を説明するための略線図である。
第６図は、モードＢにおけるタップ構造を説明するための略線図である。
第７図は、モードＣにおけるタップ構造を説明するための略線図である。
第８図は、予測タップおよびクラスタップの空間的配置の一例う示す略線図である。
第９図は、予測係数を学習する時の構成を示すブロック図である。
第１０図は、予測係数を学習する時に使用する生徒画像と教師画像との関係を示す略線図である。
第１１図は、この発明の他の実施形態におけるフィールド周波数変換処理におけるフィールドメモリの動作を説明するためのタイミングチャートである。
【図１】
0004470324.tif 000005
【図２Ａ】
0004470324.tif 000006
【図２Ｂ】
0004470324.tif 000007
【図３Ａ】
0004470324.tif 000008
【図３Ｂ】
0004470324.tif 000009
【図４】
0004470324.tif 000010
【図５】
0004470324.tif 000011
【図６】
0004470324.tif 000012
【図７】
0004470324.tif 000013
【図８Ａ】
0004470324.tif 000014
【図８Ｂ】
0004470324.tif 000015
【図９】
0004470324.tif 000016
【図１０】
0004470324.tif 000017
【図１１Ａ】
0004470324.tif 000018
【図１１Ｂ】
0004470324.tif 000019
0004470324.tif 000020