(57)【特許請求の範囲】
【請求項１】
第１の画像データに対してクラス分類適応処理を施すことによって当該第１の画像データとは異なる第２の画像データに変換する画像データ変換手段と、
上記第１の画像データを複数のラインメモリに入力することによって１ライン遅延した複数の遅延第１の画像データを生成する遅延手段と、
上記複数のラインメモリから出力される上記複数の遅延第１の画像データからクラス分類適応処理に用いるために必要なクラスタップ及び予測タップを含む所定数のラインを選択するライン選択手段と、
上記選択された上記所定数のラインを時分割多重化することによって多重化データを生成する多重化データ供給手段と、
上記多重化データを外部に出力する出力手段と、
上記出力手段から出力された上記多重化データを分離する分離手段と、
当該分離手段によって分離された複数の画素データに対して上記予測タップを選択する予測タップ選択手段と、
上記選択された上記予測タップの画素値及びクラス分類されたクラスコードに応じた予測係数を用い、当該予測タップの画素値と当該予測係数の積を予測タップの数だけ加算する積和演算処理を施すことにより上記第２の画像データを生成する画素データ演算手段と、
上記積和演算処理の予測タップ構造に応じて複数の第１フィールド又は複数の第２フィールドを選択する制御信号を生成し、当該制御信号を上記多重化データ供給手段及び上記分離手段に供給することにより、上記制御信号に応じて選択された上記複数の第１フィールド又は上記複数の第２フィールドの上記時分割多重化及び上記分離処理を上記多重化データ供給手段及び上記分離手段に実行させる制御手段と
を具える画像データ変換装置。
【請求項２】
上記画素データ演算手段は、
上記複数の画素データから生成対象画素である注目画素を含む上記クラスタップを選択し、当該クラスタップの信号レベル分布に基づいて上記注目画素をクラス分類することによりクラスコードを生成するクラスコード生成手段と、
各上記クラスコードに対応した予測データを記憶する記憶部と、
上記クラスコードに応じた予測データを上記記憶部から読み出す予測データ発生手段と、
上記予測データ及び上記予測タップとの積和演算により上記第２の画像データを予測演算する予測演算手段と
を具える請求項１に記載の画像データ変換装置。
【請求項３】
第１の画像データに対してクラス分類適応処理を施すことによって当該第１の画像データとは異なる第２の画像データに変換する画像データ変換ステップと、
上記第１の画像データを複数のラインメモリに入力することによって１ライン遅延した複数の遅延第１の画像データを生成する遅延ステップと、
上記複数のラインメモリから出力される上記複数の遅延第１の画像データからクラス分類適応処理に用いるために必要なクラスタップ及び予測タップを含む所定数のラインを選択するライン選択ステップと、
上記選択された上記所定数のラインを時分割多重化することによって多重化データを生成する多重化データ供給ステップと、
上記多重化データを外部に出力する出力ステップと、
上記出力ステップから出力された上記多重化データを分離する分離ステップと、
当該分離ステップによって分離された複数の画素データに対して上記予測タップを選択する予測タップ選択ステップと、
上記選択された上記予測タップの画素値及びクラス分類されたクラスコードに応じた予測係数を用い、当該予測タップの画素値と当該予測係数の積を予測タップの数だけ加算する積和演算処理を施すことにより上記第２の画像データを生成する画素データ演算ステップと、
上記積和演算処理の予測タップ構造に応じて複数の第１フィールド又は複数の第２フィールドを選択する制御信号を生成し、当該制御信号を上記多重化データ供給手段及び上記分離手段に供給することにより、上記制御信号に応じて選択された上記複数の第１フィールド又は上記複数の第２フィールドの上記時分割多重化及び上記分離処理を上記多重化データ供給手段及び上記分離ステップに実行させる制御ステップと
を具える画像データ変換方法。
【請求項４】
上記画素データ演算ステップは、
上記複数の画素データから生成対象画素である注目画素を含むクラスタップを選択し、当該クラスタップの信号レベル分布に基づいて上記注目画素をクラス分類することによりクラスコードを生成するクラスコード生成ステップと、
各上記クラスコードに対応した予測データを記憶する記憶部と、
上記クラスコードに応じた予測データを上記記憶部から読み出す予測データ発生手段と、
上記予測データ及び上記予測タップとの積和演算により上記第２の画像データを予測演算する予測演算ステップと
を具える請求項３に記載の画像データ変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像データ変換装置及び画像データ変換方法に関し、例えば現行テレビ放送の解像度に相当する標準解像度の画像データ（以下、これをＳＤ（Standard Definition ）画像データと呼ぶ）を高精細テレビ（ＨＤＴＶ）の解像度に相当する高解像度の画像データ（以下、これをＨＤ（High Definition ）画像データと呼ぶ）に変換するアップコンバータに適用して好適なものである。
【０００２】
【従来の技術】
従来、アップコンバータは、現行のテレビジョン信号をディジタル化してなるＳＤ画像データをＨＤＴＶの解像度に相当するＨＤ画像データに変換することにより、標準解像度のＳＤ画像データをＨＤＴＶ用のモニタに表示することを実現している。
【０００３】
【発明が解決しようとする課題】
ところでこのようなアップコンバータは、入力されたＳＤ画像データをその各画素の信号レベル分布に応じたクラスに分類し、クラス毎に所定のデータ処理を施すことによりＨＤ画像データを生成するいわゆるクラス分類適応処理を採用している。
【０００４】
図８に示すように、アップコンバータ１は、上述のクラス分類適応処理を施すクラス分類適応処理回路２と、当該クラス分類適応処理回路２に必要なＳＤ画像データを供給するラインメモリアレイ回路３とを有し、これらクラス分類適応処理回路２及びラインメモリアレイ回路３をそれぞれ別の集積回路によって形成している。
【０００５】
このクラス分類適応処理回路２は、ラインメモリアレイ回路３から供給されるＳＤ画像データのうち注目画素及び当該注目画素を中心とした複数の周辺画素を選定し、当該選定した複数の画素（タップ）を使ってＨＤ画像データを生成するようになされている。その際、クラス分類適応処理回路２は、ＳＤ画像データから選定する複数のタップをフィールド毎に切り換える場合があり、以下、このフィールド毎のタップ選定の切り換えについて図９を用いて説明する。
【０００６】
図９は、垂直方向の所定数の画素列に着目した場合における当該画素列の時間変化を示す。図９（Ａ）は、注目画素が第１のフィールドに存在する場合に選択されるタップＣ１〜Ｃ７を示し、図９（Ｂ）は、注目画素が第２フィールドに存在する場合に選択されるタップＰ１、Ｐ２、Ｃ３〜Ｃ５、Ｎ１、Ｎ２を示す。
【０００７】
図８に戻って、アップコンバータ１は、外部から順次供給されるＳＤ画像データＳ１をラインメモリアレイ回路３に入力すると共に、フィールドディレイ４Ａに入力する。ラインメモリアレイ回路３は、このＳＤ画像データＳ１を出力端子Ｔ１を介して後段のクラス分類適応処理回路２に出力すると共に、ラインメモリ５Ａに入力する。ラインメモリ５Ａは、ＳＤ画像データＳ１を１ライン遅延させ、これをＳＤ画像データＳ２として出力端子Ｔ２を介してクラス分類適応処理回路２に出力する。
【０００８】
フィールドディレイ４Ａは、ＳＤ画像データＳ１を１フィールド遅延させ、これをＳＤ画像データＳ３としてフィールドディレイ４Ｂ及びラインメモリアレイ回路３に出力する。ラインメモリアレイ回路３は、このＳＤ画像データＳ３を出力端子Ｔ３を介して後段のクラス分類適応処理回路２に出力すると共に、ラインメモリ５Ｂに入力する。ラインメモリ５Ｂは、ＳＤ画像データＳ３を１ライン遅延させ、これをＳＤ画像データＳ４としてラインメモリ５Ｃに出力する共に出力端子Ｔ４を介してクラス分類適応処理回路２に出力する。
【０００９】
ラインメモリ５Ｃは、ＳＤ画像データＳ４を１ライン遅延させ、これをＳＤ画像データＳ５としてラインメモリ５Ｄに出力すると共に出力端子Ｔ５を介してクラス分類適応処理回路２に出力する。ラインメモリ５Ｄは、ＳＤ画像データＳ５を１ライン遅延させ、これをＳＤ画像データＳ６としてラインメモリ５Ｅに出力すると共に出力端子Ｔ６を介してクラス分類適応処理回路２に出力する。ラインメモリ５Ｅは、ＳＤ画像データＳ６を１ライン遅延させ、これをＳＤ画像データＳ７としてラインメモリ５Ｆに出力すると共に出力端子Ｔ７を介してクラス分類適応処理回路２に出力する。
【００１０】
ラインメモリ５Ｆは、ＳＤ画像データＳ７を１ライン遅延させ、これをＳＤ画像データＳ８としてラインメモリ５Ｇに出力すると共に出力端子Ｔ８を介してクラス分類適応処理回路２に出力する。ラインメモリ５Ｇは、ＳＤ画像データＳ８を１ライン遅延させ、これをＳＤ画像データＳ９として出力端子Ｔ９を介してクラス分類適応処理回路２に出力する。
フィールドディレイ４Ｂは、ＳＤ画像データＳ３を１フィールド遅延させ、これをＳＤ画像データＳ１０としてラインメモリアレイ回路３に出力する。ラインメモリアレイ回路３は、このＳＤ画像データＳ１０を出力端子Ｔ１０を介して後段のクラス分類適応処理回路２に出力すると共に、ラインメモリ５Ｈに入力する。ラインメモリ５Ｈは、ＳＤ画像データＳ１０を１ライン遅延させ、これをＳＤ画像データＳ１１として出力端子Ｔ１１を介してクラス分類適応処理回路２に出力する。
【００１１】
クラス分類適応処理回路２は、ＳＤ画像データＳ１を入力端子Ｔ１′を介してタップ構造選択部１０に入力すると共に、ＳＤ画像データＳ２を入力端子Ｔ２′を介してタップ構造選択部１０に入力する。以下、同様にしてクラス分類適応処理回路２は、ＳＤ画像データＳ３〜Ｓ１１をそれぞれ入力端子Ｔ３′〜Ｔ１１′を介してタップ構造選択部１０に入力する。タップ構造選択部１０は、ＳＤ画像データＳ１〜Ｓ１１を基にクラス分類適応処理を施すことによりＨＤ画像データＳ２０を生成し、これを外部に出力する。
【００１２】
従ってアップコンバータ１では、ＳＤ画像データＳ１として例えば図９に示すＳＤ画素Ｎ２が供給されると、これをラインメモリアレイ回路３及びフィールドディレイ４Ａに入力する。ラインメモリアレイ回路３は、このＳＤ画素Ｎ２を出力端子Ｔ１から外部に出力すると共に、当該ＳＤ画素Ｎ２をラインメモリ５Ａによって遅延させた１ライン前のＳＤ画素Ｎ１を出力端子Ｔ２から外部に出力する。
【００１３】
フィールドディレイ４Ａは、ＳＤ画素Ｎ２を１フィールド遅延させ、その１フィールド前のＳＤ画素Ｃ７をフィールドディレイ４Ｂ及びラインメモリアレイ回路３に出力する。ラインメモリアレイ回路３は、このＳＤ画素Ｃ７を出力端子Ｔ３から外部に出力すると共に、当該ＳＤ画素Ｃ７をラインメモリ５Ｂによって遅延させた１ライン前のＳＤ画素Ｃ６を出力端子Ｔ４から外部に出力する。
【００１４】
ラインメモリアレイ回路３は、ＳＤ画素Ｃ６をラインメモリ５Ｃによって遅延させた１ライン前のＳＤ画素Ｃ５を出力端子Ｔ５から外部に出力し、当該ＳＤ画素Ｃ５をラインメモリ５Ｄによって遅延させた１ライン前のＳＤ画素Ｃ４を出力端子Ｔ６から外部に出力する。またラインメモリアレイ回路３は、このＳＤ画素Ｃ４をラインメモリ５Ｅによって遅延させた１ライン前のＳＤ画素Ｃ３を出力端子Ｔ７から外部に出力し、当該ＳＤ画素Ｃ３をラインメモリ５Ｆによって遅延させた１ライン前のＳＤ画素Ｃ２を出力端子Ｔ８から外部に出力し、当該ＳＤ画素Ｃ２をラインメモリ５Ｇによって遅延させた１ライン前のＳＤ画素Ｃ１を出力端子Ｔ９から外部に出力する。
【００１５】
フィールドディレイ４Ｂは、ＳＤ画素Ｃ７を１フィールド遅延させ、その１フィールド前のＳＤ画素Ｐ２をラインメモリアレイ回路３に出力する。ラインメモリアレイ回路３は、ＳＤ画素Ｐ２を出力端子Ｔ１０から外部に出力すると共に、当該ＳＤ画素Ｐ２をラインメモリ５Ｈによって遅延させた１ライン前のＳＤ画素Ｐ１を出力端子Ｔ１１から外部に出力する。
【００１６】
クラス分類適応処理回路２は、ＳＤ画素Ｎ２を入力端子Ｔ１′を介してタップ構造選択部１０に入力し、ＳＤ画素Ｎ１を入力端子Ｔ２′を介してタップ構造選択部１０に入力し、ＳＤ画素Ｃ７を入力端子Ｔ３′を介してタップ構造選択部１０に入力する。以下、同様にして、クラス分類適応処理回路２は、ＳＤ画素Ｃ６、……、Ｃ１、Ｐ２、Ｐ１をそれぞれ順次入力端子Ｔ４′、……、Ｔ１１′を介してタップ構造選択部１０に入力する。
【００１７】
タップ構造選択部１０は、注目画素が第１フィールドに存在する場合には、図９（Ａ）に示すように、注目画素Ｃ４が存在する第１フィールドからタップＣ１〜Ｃ７を選定する。これに対してタップ構造選択部１０は、注目画素が第２のフィールドに存在する場合には、図９（Ｂ）に示すように、注目画素Ｃ２が存在する第２フィールドからタップＣ１〜Ｃ３を選定し、さらに当該第２フィールドに対して時間的に前の第１フィールドからタップＰ１及びＰ２を選定すると共に、時間的に後の第１フィールドからタップＮ１及びＮ２を選定する。そしてタップ構造選択部１０は、これら選定したタップに基づいてクラス分類適応処理を行うことによりＨＤ画像データＳ２０の注目画素を生成するようになされている。
【００１８】
このように上述のラインメモリアレイ回路３では、後段のクラス分類適応処理回路２に必要なＳＤ画像データＳ１〜Ｓ１１を全て当該クラス分類適応処理回路２に供給しなければならない。しかしながらこのラインメモリアレイ回路３を実現する実際の集積回路では、使用し得る出力端子の数（すなわちピン数）が限られていることから、クラス分類適応処理回路２に必要なＳＤ画像データＳ１〜Ｓ１１を全て供給し得ない場合が生じる。その際、クラス分類適応処理回路２では、供給されたＳＤ画像データＳ１〜Ｓ１１から所望のタップを選定し得ない場合が発生し、所望のクラス分類適応処理を実行し得ない問題があった。
【００１９】
本発明は以上の点を考慮してなされたもので、従来に比して一段と演算処理の汎用性を向上し得る画像データ変換装置及び画像データ変換方法を提案しようとするものである。
【００２０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１の画像データに対してクラス分類適応処理を施すことによって当該第１の画像データとは異なる第２の画像データに変換する画像データ変換手段と、第１の画像データを複数のラインメモリに入力することによって１ライン遅延した複数の遅延第１の画像データを生成する遅延手段と、複数のラインメモリから出力される複数の遅延第１の画像データからクラス分類適応処理に用いるために必要なクラスタップ及び予測タップを含む所定数のラインを選択するライン選択手段と、選択された上記所定数のラインを時分割多重化することによって多重化データを生成する多重化データ供給手段と、多重化データを外部に出力する出力手段と、出力手段から出力された多重化データを分離する分離手段と、当該分離手段によって分離された複数の画素データに対して予測タップを選択する予測タップ選択手段と、選択された予測タップの画素値及びクラス分類されたクラスコードに応じた予測係数を用い、当該予測タップの画素値と当該予測係数の積を予測タップの数だけ加算する積和演算処理を施すことにより上記第２の画像データを生成する画素データ演算手段と、積和演算処理の予測タップ構造に応じて複数の第１フィールド又は複数の第２フィールドを選択する制御信号を生成し、当該制御信号を多重化データ供給手段及び分離手段に供給することにより、制御信号に応じて選択された複数の第１フィールド又は複数の第２フィールドの時分割多重化及び分離処理を多重化データ供給手段及び分離手段に実行させるようにした。
【００２１】
この結果、第１の画素データのうちクラス分類適応処理に必要な画像データのみを抽出して多重化することができる。
【００２２】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００２３】
（１）クラス分類適応処理の原理
ここで図１は、クラス分類適応処理を実現するアップコンバータ５１の回路構成を示す。アップコンバータ５１は、外部から供給される例えば８ビットのパルス符号変調（ＰＣＭ：Pulse Code Modulation ）データでなるＳＤ画像データＳ５１をクラス分類部５２及び予測演算部５３に入力する。クラス分類部５２は、例えば図２に示すように、ＳＤ画像データＳ５１のうち注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計７画素（タップ）をクラス分類用の画素（以下、これをクラスタップと呼ぶ）として設定し、それらの信号レベル分布に基づいてクラスコードＳ５２を生成する。因みに、図中実線は第１フィールドを示し、点線は第２フィールドを示す。
【００２４】
このクラス分類部５２によってクラスコードＳ５２を生成する方法としては、ＰＣＭデータを直接使用する（すなわちＰＣＭデータをそのままクラスデータＳ５２とする）方法や、ＡＤＲＣ（Adaptive Dynamic Range Coding ）等のデータ圧縮方法を用いてクラス数を削減するような方法が考えられる。このうちＰＣＭデータをそのままクラスコードＳ５２とする方法では、クラスタップとして８ビットのＰＣＭデータを７タップ用いることから、クラス数が２56という膨大な数のクラス数に分類されることになり、実用上問題がある。
【００２５】
そこで実際には、クラス分類部５２は、ＡＤＲＣのようなデータ圧縮処理（すなわち再量子化処理）を施すことによりクラス数を削減するようになされている。このＡＤＲＣによる分類法は、注目画素を中心とする近傍領域内の数タップからＡＤＲＣコードを、次式
【００２６】
【数１】
0004126628.tif 000002
【００２７】
によって求め、当該ＡＤＲＣコードに基づいてクラスコードＳ５２を生成する手法を用いている。ここで、ｃi はＡＤＲＣコード、ｘi は各クラスタップの入力画素値、ＭＩＮは領域内にある各クラスタップの入力画素値のうちの最小画素値、ＤＲは領域内のダイナミックレンジ（最大画素値と最小画素値との差分）、ｋは再量子化ビット数である。
【００２８】
すなわちＡＤＲＣによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば領域内の７タップにおいて各クラスタップを１ビットに再量子化する１ビットＡＤＲＣを行う場合では、領域内のダイナミックレンジに基づいて７タップの各入力画素値を適応的に１ビット量子化し、その結果、７タップの入力画素値を７ビットのデータに削減することができるので、全体としてクラス数を１２８クラスにまで削減することができる。
【００２９】
図１に戻って、予測係数ＲＯＭ（Read Only Memory）５４は、後述する学習回路６０によって予め生成された各クラス毎に対応する予測係数データＳ５３を格納しており、クラス分類部５２から供給されるクラスコードＳ５２に応じた予測係数データＳ５３を読み出し、これを予測演算部５３に送出する。予測演算部５３は、例えば図３に示すように、外部から入力されるＳＤ画像データＳ５１のうち、注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計１３タップを予測演算用の画素（以下、これを予測タップと呼ぶ）として選定し、当該予測タップの各画素値と予測係数データＳ５３とを用いて、線形一次結合でなる次式
【００３０】
【数２】
0004126628.tif 000003
【００３１】
によって表される積和演算を行うことにより、予測タップには存在しないＨＤ画素の集まりであるＨＤ画像データＳ５４を生成し、これを外部に出力する。ここで、ｘi ′は各ＨＤ画素値、ｘi は各予測タップの画素値、ｗi は予測係数、ｎは予測タップ数であり、この場合ｎは１３である。
【００３２】
ところで図４は、予測係数ＲＯＭ５４に格納されている予測係数データを生成する学習回路６０の回路構成を示し、当該学習回路６０は、予測係数データを予め生成して、これを予測係数ＲＯＭ５４に格納するようになされている。学習回路６０は、いわゆる教師信号としてのＨＤ画像データＳ６０を垂直間引きフィルタ６１及び予測係数算出回路６２に入力する。学習回路６０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１及び水平間引きフィルタ６２によって間引くことにより、生徒信号としてのＳＤ画像データＳ６１を生成し、これをクラス分類部６４及び予測係数算出回路６２に入力するようになされている。
【００３３】
クラス分類部６４は、図１に示すアップコンバータのクラス分類部５２と同様の構成でなり、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラスコードＳ６２を生成した後、これを予測係数算出回路６２に送出する。予測係数算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像データＳ６１を基に、クラスコードＳ６２が示すクラスに応じた予測係数をクラス毎に算出し、その結果得た予測係数データＳ６３を予測係数ＲＯＭ５４に格納する。
【００３４】
この場合、予測係数算出回路６２は、上述の（２）式における予測係数ｗを最小自乗法によって求めるようになされている。具体的には予測係数算出回路６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素値として、いわゆる観測方程式と呼ばれる次式
【００３５】
【数３】
0004126628.tif 000004
【００３６】
を生成するように各データを収集する。ここでｍは予測するＨＤ画素の画素数を示す学習データ数、ｎは予測タップ数である。
【００３７】
次に予測係数算出回路６２は、この（３）式を基に、次式
【００３８】
【数４】
0004126628.tif 000005
【００３９】
に示す残差方程式を立てる。従って各予測係数ｗi は、この（４）式から、次式
【００４０】
【数５】
0004126628.tif 000006
【００４１】
が最小のときに最適な値となることがわかる。すなわち次式
【００４２】
【数６】
0004126628.tif 000007
【００４３】
を満たすように予測係数ｗi が算出される。
【００４４】
そこで予測係数算出回路６２は、このｎ個ある（６）式を満たすようなｗ1 、ｗ2 、……、ｗn を算出すればよいことになり、上述の（４）式から、次式
【００４５】
【数７】
0004126628.tif 000008
【００４６】
を得、これら（６）及び（７）式から、次式
【００４７】
【数８】
0004126628.tif 000009
【００４８】
を求める。そして予測係数算出回路６２は、上述の（４）及び（８）式から、次式
【００４９】
【数９】
0004126628.tif 000010
【００５０】
によって表される正規方程式を生成する。このようにして予測係数算出回路６２は、予測タップ数ｎと同一次数の連立方程式でなる正規方程式を生成し、掃き出し法（Gauss Jordanの消去法）を用いてこの正規方程式を解くことにより、各予測係数ｗi を算出する。
【００５１】
以下、学習回路６０による予測係数生成手順について図５に示すフローチャートを用いて説明する。ステップＳＰ６１から入ったステップＳＰ６２において、学習回路６０は、教師信号としてのＨＤ画像データＳ６０から生徒信号としてのＳＤ画像データＳ６１を生成することにより、予測係数を生成するのに必要な学習データを生成する。ステップＳＰ６３において、学習回路６０は、予測係数を生成するのに必要十分な学習データが得られたか否か判定し、その結果、未だ必要十分な学習データが得られていないと判断された場合にはステップＳＰ６３において否定結果を得ることによりステップＳＰ６４に移行する。
【００５２】
ステップＳＰ６４において、学習回路６０は、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラス分類を行う。ステップＳＰ６５において、学習回路６０は、各クラス毎に上述の（９）式でなる正規方程式を生成し、ステップＳＰ６２に戻って同様の処理手順を繰り返すことにより、予測係数を生成するのに必要十分な正規方程式を生成する。
【００５３】
これに対してステップＳＰ６３において肯定結果が得られると、このことは必要十分な学習データが得られたことを表しており、このとき学習回路６０はステップＳＰ６６に移って、上述の（９）式でなる正規方程式を掃き出し法によって解くことにより、予測係数ｗ1 、ｗ2 、……、ｗn を各クラス毎に生成する。そしてステップＳＰ６７において、学習回路６０は、生成した各クラス毎の予測係数ｗ1 、ｗ2 、……、ｗn を予測係数ＲＯＭ５４に格納し、ステップＳＰ６８に移って処理を終了する。
【００５４】
（２）実施の形態によるアップコンバータの構成
図８との対応部分に同一符号を付して示す図６において、１０１は全体として本実施の形態によるアップコンバータの構成を示し、上述のクラス分類適応処理を施すクラス分類適応処理回路１０２と、当該クラス分類適応処理回路１０２に必要なＳＤ画像データを供給するラインメモリアレイ回路１０３とを有し、これらクラス分類適応処理回路１０２及びラインメモリアレイ回路１０３をそれぞれ別の集積回路によって構成している。
【００５５】
アップコンバータ１０１は、外部から順次供給されるＳＤ画像データＳ１０１をラインメモリアレイ回路１０３に入力すると共に、フィールドディレイ４Ａに入力する。ラインメモリアレイ回路１０３は、このＳＤ画像データＳ１０１をライン選択部１０４に入力すると共に、ラインメモリ５Ａに入力する。ラインメモリ５Ａは、ＳＤ画像データＳ１０１を１ライン遅延させ、これをＳＤ画像データＳ１０２としてライン選択部１０４に出力する。
【００５６】
フィールドディレイ４Ａは、ＳＤ画像データＳ１０１を１フィールド遅延させ、これをＳＤ画像データＳ１０３としてフィールドディレイ４Ｂ及びラインメモリアレイ回路１０３に出力する。ラインメモリアレイ回路１０３は、このＳＤ画像データＳ１０３をライン選択部１０４に入力すると共に、ラインメモリ５Ｂに入力する。ラインメモリ５Ｂは、ＳＤ画像データＳ１０３を１ライン遅延させ、これをＳＤ画像データＳ１０４としてラインメモリ５Ｃに出力すると共にライン選択部１０４に出力する。
【００５７】
ラインメモリ５Ｃは、ＳＤ画像データＳ１０４を１ライン遅延させ、これをＳＤ画像データＳ１０５としてラインメモリ５Ｄに出力すると共にライン選択部１０４に出力する。ラインメモリ５Ｄは、ＳＤ画像データＳ１０５を１ライン遅延させ、これをＳＤ画像データＳ１０６としてラインメモリ５Ｅに出力すると共にライン選択部１０４に出力する。ラインメモリ５Ｅは、ＳＤ画像データＳ１０６を１ライン遅延させ、これをＳＤ画像データＳ１０７としてラインメモリ５Ｆに出力すると共にライン選択部１０４に出力する。
【００５８】
ラインメモリ５Ｆは、ＳＤ画像データＳ１０７を１ライン遅延させ、これをＳＤ画像データＳ１０８としてラインメモリ５Ｇに出力すると共にライン選択部１０４に出力する。ラインメモリ５Ｇは、ＳＤ画像データＳ１０８を１ライン遅延させ、これをＳＤ画像データＳ１０９としてライン選択部１０４に出力する。
【００５９】
フィールドディレイ４Ｂは、ＳＤ画像データＳ１０３を１フィールド遅延させ、これをＳＤ画像データＳ１１０としてラインメモリアレイ回路１０３に出力する。ラインメモリアレイ回路１０３は、このＳＤ画像データＳ１１０をライン選択部１０４に入力すると共に、ラインメモリ５Ｈに入力する。ラインメモリ５Ｈは、ＳＤ画像データＳ１１０を１ライン遅延させ、これをＳＤ画像データＳ１１１としてライン選択部１０４に出力する。
【００６０】
従ってアップコンバータ１０１では、ＳＤ画像データＳ１０１として例えば図９に示すＳＤ画素Ｎ２が供給されると、これをラインメモリアレイ回路１０３及びフィールドディレイ４Ａに入力する。ラインメモリアレイ回路１０３は、このＳＤ画素Ｎ２をライン選択部１０４に入力すると共に、当該ＳＤ画素Ｎ２をラインメモリ５Ａによって遅延させた１ライン前のＳＤ画素Ｎ１をライン選択部１０４に入力する。
【００６１】
フィールドディレイ４Ａは、ＳＤ画素Ｎ２を１フィールド遅延させ、その１フィールド前のＳＤ画素Ｃ７をフィールドディレイ４Ｂ及びラインメモリアレイ回路１０３に出力する。ラインメモリアレイ回路１０３は、このＳＤ画素Ｃ７をライン選択部１０４に入力すると共に、当該ＳＤ画素Ｃ７をラインメモリ５Ｂによって遅延させた１ライン前のＳＤ画素Ｃ６をライン選択部１０４に入力する。
【００６２】
ラインメモリアレイ回路１０３は、ＳＤ画素Ｃ６をラインメモリ５Ｃによって遅延させた１ライン前のＳＤ画素Ｃ５をライン選択部１０４に入力し、当該ＳＤ画素Ｃ５をラインメモリ５Ｄによって遅延させた１ライン前のＳＤ画素Ｃ４をライン選択部１０４に入力する。またラインメモリアレイ回路１０３は、このＳＤ画素Ｃ４をラインメモリ５Ｅによって遅延させた１ライン前のＳＤ画素Ｃ３をライン選択部１０４に入力し、当該ＳＤ画素Ｃ３をラインメモリ５Ｆによって遅延させた１ライン前のＳＤ画素Ｃ２をライン選択部１０４に入力し、当該ＳＤ画素Ｃ２をラインメモリ５Ｇによって遅延させた１ライン前のＳＤ画素Ｃ１をライン選択部１０４に入力する。
【００６３】
フィールドディレイ４Ｂは、ＳＤ画素Ｃ７を１フィールド遅延させ、その１フィールド前のＳＤ画素Ｐ２をラインメモリアレイ回路１０３に出力する。ラインメモリアレイ回路１０３は、ＳＤ画素Ｐ２をライン選択部１０４に入力すると共に、当該ＳＤ画素Ｐ２をラインメモリ５Ｈによって遅延させた１ライン前のＳＤ画素Ｐ１をライン選択部１０４に入力する。
【００６４】
ライン選択部１０４は、制御部１０５から供給される制御信号Ｓ１１２に基づいて、複数のＳＤ画像データＳ１０１〜Ｓ１１１のうち所望のものをフィールド毎に切り換えて選択し、これらをＳＤ画像選択データＳ１２１〜Ｓ１２７としてマルチプレクサ１０６に出力する。従って、図９に示すように、ライン選択部１０４は、注目画素が第１フィールドに存在する場合には、ＳＤ画素Ｐ１、Ｐ２、Ｃ１〜Ｃ７、Ｎ１、Ｎ２のうちＳＤ画素Ｃ１〜Ｃ７を選定して、これらをマルチプレクサ１０６に出力する一方、注目画素が第２フィールドに存在する場合には、ＳＤ画素Ｐ１、Ｐ２、Ｃ３〜Ｃ５、Ｎ１、Ｎ２を選定して、これらをマルチプレクサ１０６に出力する。
【００６５】
ところでアップコンバータ１０１には、クロック発生器１１０が設けられており、当該クロック発生器１１０は、クロック信号ＣＫ１を発生して、これをクラス分類適応処理回路１０２及びラインメモリアレイ回路１０３に供給するようになされている。ラインメモリアレイ回路１０３は、この外部のクロック発生器１１０から供給されるクロック信号ＣＫ１を分周器１１１及びマルチプレクサ１０６に入力する。分周器１１１は、クロック信号ＣＫ１から当該クロック信号ＣＫ１の１／２倍の周波数でなるクロック信号ＣＫ２を生成し、これを各ラインメモリ５Ａ〜５Ｈに供給すると共に、マルチプレクサ１０６に供給する。
【００６６】
マルチプレクサ１０６は、制御部１０５から供給される制御信号Ｓ１１２に基づいて、ＳＤ画像選択データＳ１２１〜Ｓ１２７をクロック信号ＣＫ１及びＣＫ２を基準とするタイミングで時分割多重化処理することにより多重化データＳ１３１〜Ｓ１３４を生成し、これらをそれぞれ出力端子Ｔ２１〜Ｔ２４を介して外部のクラス分類適応処理回路１０２に出力する。
【００６７】
例えば図７に示すように、マルチプレクサ１０６には、ＳＤ画像選択データＳ１２１を形成するＳＤ画像単位データＡ１、Ａ２、……、ＡＮが、クロック信号ＣＫ１に基づくタイミングで順次入力されると共に、ＳＤ画像選択データＳ１２２を形成するＳＤ画像単位データＢ１、Ｂ２、……、ＢＮが、クロック信号ＣＫ１に基づくタイミングで順次入力されている。マルチプレクサ１０６は、これらＳＤ画像単位データＡ１、Ａ２、……、ＡＮと、ＳＤ画像単位データＢ１、Ｂ２、……、ＢＮとをクロック信号ＣＫ２に基づくタイミングで順次交互に出力することにより、ＳＤ画像選択データＳ１２１及びＳ１２２を多重化し、その結果得られる多重化データＳ１３１を出力端子Ｔ２１を介して外部に出力する。
【００６８】
クラス分類適応処理回路１０２は、ラインメモリアレイ回路１０３から供給される多重化データＳ１３１〜Ｓ１３４をそれぞれ入力端子Ｔ２１′〜Ｔ２４′を介してデマルチプレクサ１２０に入力する。またクラス分類適応処理回路１０２は、外部のクロック発生器１１０から供給されるクロック信号ＣＫ１をデマルチプレクサ１２０及び分周器１２１に入力するようになされている。分周器１２１は、クロック信号ＣＫ１から当該クロック信号ＣＫ１の１／２倍の周波数でなるクロック信号ＣＫ３を生成し、これをデマルチプレクサ１２０に出力する。
【００６９】
デマルチプレクサ１２０は、ラインメモリアレイ回路１０３の制御部１０５から供給される制御信号Ｓ１１２に基づいて、多重化データＳ１３１〜Ｓ１３４をそれぞれクロック信号ＣＫ１及びＣＫ３に基づくタイミングで分離し、その結果得られるＳＤ画像データＳ１４１〜Ｓ１４７をタップ構造構築部１２２に出力する。
【００７０】
タップ構造構築部１２２は、ＳＤ画像データＳ１４１〜Ｓ１４７から上述のクラスタップ及び予測タップを選定するものであり、選定したクラスタップデータＳ１５０をクラス分類部１２３に出力すると共に、選定した予測タップデータＳ１５１を予測演算部１２４に出力する。
【００７１】
タップ構造構築部Ｉ２２は、タップ構造を構築するものであり、例えば予測タップを選定する際、図９（Ａ）に示すように、注目画素が第１フィールドに存在する場合には、注目画素Ｃ４が存在する第１フィールドから予測タップＣ１〜Ｃ７を選定し、これらを予測タップデータＳ１５１として予測演算部１２４に出力する。これに対してタップ構造構築部１２２は、図９（Ｂ）に示すように、注目画素が第２のフィールドに存在する場合には、注目画素Ｃ４が存在する第２フィールドからタップＣ３〜Ｃ５を選定し、さらに当該第２フィールドに対して時間的に前の第１フィールドからタップＰ１及びＰ２を選定すると共に、時間的に後の第１フィールドからタップＮ１及びＮ２を選定し、これらを予測タップデータＳ１５１として予測演算部１２４に出力する。
【００７２】
クラス分類部１２３は、クラスタップデータＳ１５０をクラス分類することによりクラスコードＳ１５２を生成し、これを予測係数ＲＯＭ１２５に出力する。予測係数ＲＯＭ１２５は、クラスコードＳ１５２及び制御信号Ｓ１１２に応じた予測係数を読み出し、これを予測係数データＳ１５３として予測演算部１２４に出力する。予測演算部１２４は、予測係数データＳ１５３と予測タップデータＳ１５１との積和演算を行うことによりＨＤ画像データＳ１５４を生成し、これを外部に出力する。
【００７３】
ところで制御部１０５は、ＲＡＭ（Random Access Memory）１３０Ａ〜１３０Ｎ及びスイッチ１３１からなり、それぞれ所望のクラス分類適応処理を施すのに必要なプログラムでなる複数のプログラムデータＳ１６０Ａ及びＳ１６０Ｎが外部から供給されると、これらをそれぞれ対応するＲＡＭ１０３Ａ〜１０３Ｎにロードする。この状態において、制御部１０５は、上位のシステムコントローラ１３２から例えばオペレータの指示に応じた切換信号Ｓ１６１が供給されると、この切換信号Ｓ１６１に基づいて、スイッチ１３１の接続状態をＲＡＭ１３０Ａ〜１３０Ｎのうち所望のＲＡＭ１３０側に切り換える。そして制御部１０５は、切り換えられたＲＡＭ１３０にロードされているプログラムデータＳ１６０を読み出し、これを制御信号Ｓ１１２としてライン選択部１０４、マルチプレクサ１０６及びデマルチプレクサ１２０及び予測係数ＲＯＭ１２５に供給するようになされている。
【００７４】
以上の構成において、ラインメモリアレイ回路１０３のライン選択部１０４は、制御部１０５の制御に応じてフィールド毎に、複数のＳＤ画像データＳ１０１〜Ｓ１１１のうち、クラス分類適応処理を行うのに必要なものだけを選択し、これら選択されたＳＤ画像選択データＳ１２１〜Ｓ１２７をマルチプレクサ１０６に送出する。マルチプレクサ１０６は、制御部１０５の制御に基づいて、これらＳＤ画像選択データＳ１２１〜Ｓ１２７を多重化することにより多重化データＳ１３１〜Ｓ１３４を生成し、これらをそれぞれ出力端子Ｔ２１〜Ｔ２４を介して外部のクラス分類適応処理回路１０２に出力する。
【００７５】
クラス分類適応処理回路１０２は、ラインメモリアレイ回路１０３から供給される多重化データＳ１３１〜Ｓ１３４をそれぞれ入力端子Ｔ２１′〜Ｔ２４′を介してデマルチプレクサ１２０に入力する。デマルチプレクサ１２０は、制御部１０５の制御に基づいて、多重化データＳ１３１〜Ｓ１３４をそれぞれ分離し、その結果得られるＳＤ画像データＳ１４１〜Ｓ１４７をタップ構造構築部１２２に出力する。
【００７６】
タップ構造構築部１２２は、ＳＤ画像データＳ１４１〜Ｓ１４７からクラスタップ及び予測タップを選定し、選定したクラスタップデータＳ１５０をクラス分類部１２３に出力すると共に、選定した予測タップデータＳ１５１を予測演算部１２４に出力する。従ってアップコンバータ１０１は、ＳＤ画像データＳ１０１に対してオペレータの指示に応じた所望のクラス分類適応処理を施し、その結果得たＨＤ画像データＳ１５４を外部に出力する。
【００７７】
このようにラインメモリアレイ回路１０３では、後段のクラス分類適応処理回路１０２の処理の種類に応じて、複数のＳＤ画素データのうち必要なＳＤ画素データのみを選択し、当該選択したＳＤ画素データを多重化してクラス分類適応処理回路１０２に供給することにより、従来のように全てのＳＤ画素を供給する場合に比して、ラインメモリアレイ回路１０３及びクラス分類適応処理回路１０２間に必要な信号線の数を削減することができ、従ってそれぞれの集積回路のピン数にかかわらず所望の画素を選定してクラス分類適応処理を行い得る。
【００７８】
以上の構成によれば、クラス分類適応処理の種類に応じて、複数のＳＤ画素データのうち必要なものだけを選択し、当該選択したＳＤ画素データを多重化してラインメモリアレイ回路１０３からクラス分類適応処理回路１０２に供給することにより、ラインメモリアレイ回路１０３及びクラス分類適応処理回路１０２それぞれの集積回路のピン数の範囲内で必要なＳＤ画素データをクラス分類適応処理回路１０２に供給することができ、従ってクラス分類適応処理の種類に応じた所望の画素を適応的に選定し得、アップコンバータ１０１の汎用性を向上し得る。
【００７９】
なお上述の実施の形態においては、ライン選択部１０４によって、複数のＳＤ画素から選定されるＳＤ画素をフィールド毎に切り換えた場合について述べたが、本発明はこれに限らず、例えばフレーム毎、又はライン毎に切り換えても良い。
【００８０】
また上述の実施の形態においては、外部からの切換信号Ｓ１６１に基づくタイミングで、複数のプログラムデータＳ１６０Ａ〜Ｓ１６０Ｎのうち所望のものを選択して切り換えた場合について述べたが、本発明はこれに限らず、例えばフレーム毎、フィールド毎、又はライン毎に切り換えても良い。
【００８１】
さらに上述の実施の形態においては、本発明を、クラス分類適応処理を行うアップコンバータ１０１に適用した場合について述べたが、本発明はこれに限らず、フィルタタップを供給する集積回路とフィルタリングを行う集積回路でなる画像データ変換装置に本発明を広く適用し得る。
【００８２】
【発明の効果】
上述のように本発明によれば、第１の画像データに対してクラス分類適応処理を施すことによって当該第１の画像データとは異なる第２の画像データに変換する画像データ変換手段と、第１の画像データを複数のラインメモリに入力することによって１ライン遅延した複数の遅延第１の画像データを生成する遅延手段と、複数のラインメモリから出力される複数の遅延第１の画像データからクラス分類適応処理に用いるために必要なクラスタップ及び予測タップを含む所定数のラインを選択するライン選択手段と、選択された所定数のラインを時分割多重化することによって多重化データを生成する多重化データ供給手段と、上記多重化データを外部に出力する出力手段と、出力手段から出力された多重化データを分離する分離手段と、当該分離手段によって分離された複数の画素データに対して予測タップを選択する予測タップ選択手段と、選択された予測タップの画素値及びクラス分類されたクラスコードに応じた予測係数を用い、当該予測タップの画素値と当該予測係数の積を予測タップの数だけ加算する積和演算処理を施すことにより上記第２の画像データを生成する画素データ演算手段と、積和演算処理の予測タップ構造に応じて複数の第１フィールド又は複数の第２フィールドを選択する制御信号を生成し、当該制御信号を多重化データ供給手段及び分離手段に供給することにより、制御信号に応じて選択された複数の第１フィールド又は複数の第２フィールドの時分割多重化及び分離処理を多重化データ供給手段及び分離手段に実行させることにより、第１の画像データを第２の画像データに変換する場合において複数の第１の画素データのうちクラス分類適応処理に必要な画像データのみを抽出して多重化することができるので、伝送信号線をクラス分類適応処理に必要な画像データのみ伝送する信号線に削減でき、伝送する信号線の数を削減し得る画像データ変換装置及び画像データ変換方法を実現できる。
【図面の簡単な説明】
【図１】アップコンバータの構成を示すブロック図である。
【図２】クラスタップ配置例を示す略線図である。
【図３】予測タップ配置例を示す略線図である。
【図４】学習回路の構成を示すブロック図である。
【図５】予測係数生成手順を示すフローチャートである。
【図６】本発明によるアップコンバータの一実施の形態を示すブロック図である。
【図７】マルチプレクサの多重化処理の説明に供する略線図である。
【図８】アップコンバータの構成を示すブロック図である。
【図９】タップ構造例を示す略線図である。
【符号の説明】
４……フィールドディレイ、５……ラインメモリ、１０１……アップコンバータ、１０２……クラス分類適応処理回路、１０３……ラインメモリアレイ回路、１０４……ライン選択部、１０５……制御部、１０６……マルチプレクサ、１２０……デマルチプレクサ、１２２……タップ構造構築部、１２３……クラス分類部、１２４……予測演算部、１２５……予測係数ＲＯＭ。
【図１】
0004126628.tif 000011
【図２】
0004126628.tif 000012
【図３】
0004126628.tif 000013
【図４】
0004126628.tif 000014
【図５】
0004126628.tif 000015
【図６】
0004126628.tif 000016
【図７】
0004126628.tif 000017
【図８】
0004126628.tif 000018
【図９】
0004126628.tif 000019