(57)【特許請求の範囲】
【請求項１】
入力画像信号中に存在するラインと同一位置のライン上に画素を生成する第１の変換と、入力画像信号中に存在するラインとは異なる位置のライン上に画素を生成する第２の変換とを行う第１の変換モードと、入力画像信号中に存在するラインとは異なる位置の複数のライン上に画素を生成し、入力画像信号中に存在するラインよりもライン数を増加させる第２の変換モードとを選択的に行うことが可能とされている画像情報変換装置において、
所定の注目点に対して時間的および空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に対して時間的および空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
上記空間クラス毎に予め決定された、出力画像信号を推定するための予測係数データを記憶し、記憶した上記予測係数データを上記空間クラス検出手段によって決定された上記空間クラスコードに従って出力する、同一の記憶容量を有する複数個のメモリモジュールと、
選択されている上記第１の変換モードおよび上記第２の変換モードのいずれか一方のモードと、上記空間クラスコードとに従って、上記メモリモジュールから出力される上記予測係数を選択的に出力するデータ供給先選択手段と、
上記データ供給先選択手段から出力される予測係数データと、上記第２の画像データ選択手段によって得られる画像データとの積和演算によって、上記注目点に対する画素を予測生成するための演算処理を行う演算処理手段とを有し、
上記予測係数データは、上記複数個のメモリモジュールに分割して記憶され、
上記複数個のメモリモジュールは、上記第１の変換モードおよび上記第２の変換モードのそれぞれにおいて、上記予測係数データを記憶するために必要とされる記憶容量の最大値を総記憶容量として備え、
上記複数個のメモリモジュールのそれぞれは、上記第１の変換モードおよび上記第２の変換モードのそれぞれにおいて、上記複数個のメモリモジュール内で使用される記憶容量の公約数、またはその付近の値を記憶容量として備え、
予測係数と上記第２の画像データ選択手段によって選択された画像データとの線型一次結合の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記予測係数が定められることを特徴とする画像情報変換装置。
【請求項２】
入力画像信号中に存在するラインと同一位置のライン上に画素を生成する第１の変換と、入力画像信号中に存在するラインとは異なる位置のライン上に画素を生成する第２の変換とを行う第１の変換モードと、入力画像信号中に存在するラインとは異なる位置の複数のライン上に画素を生成し、入力画像信号中に存在するラインよりもライン数を増加させる第２の変換モードとを選択的に行うことが可能とされている画像情報変換装置において、
所定の注目点に対して時間的および空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点と時間的および空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
上記第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出手段と、
上記空間クラスコードと上記動きクラスコードとを合成してクラスコードを生成するクラス合成手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に対して時間的および空間的に近傍に位置する複数の画素を選択する第３の画像データ選択手段と、
上記クラス毎に予め決定された、出力画像信号を推定するための予測係数データを記憶し、記憶した上記予測係数データを上記クラス合成手段によって生成された上記クラスコードに従って出力する、同一の記憶容量を有する複数個のメモリモジュールと、
選択されている上記第１の変換モードおよび上記第２の変換モードのいずれか一方のモードと、上記クラスコードとに従って、上記メモリモジュールから出力される上記予測係数を選択的に出力するデータ供給先選択手段と、
上記データ供給先選択手段から出力される予測係数データと、上記第３の画像データ選択手段によって得られる画像データとの積和演算によって、上記注目点に対する画素を予測生成するための演算処理を行う演算処理手段とを有し、
上記予測係数データは、上記複数個のメモリモジュールに分割して記憶され、
上記複数個のメモリモジュールは、上記第１の変換モードおよび上記第２の変換モードのそれぞれにおいて、上記予測係数データを記憶するために必要とされる記憶容量の最大値を総記憶容量として備え、
上記複数個のメモリモジュールのそれぞれは、上記第１の変換モードおよび上記第２の変換モードのそれぞれにおいて、上記複数個のメモリモジュール内で使用される記憶容量の公約数、またはその付近の値を記憶容量として備え、
予測係数と上記第３の画像データ選択手段によって選択された画像データとの線型一次結合の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記予測係数が定められることを特徴とする画像情報変換装置。
【請求項３】
請求項２において、
上記複数個のメモリモジュールのそれぞれは、
上記上記第１の変換モードおよび上記第２の変換モードのそれぞれにおいて上記複数個のメモリモジュール内で使用される記憶容量の最大公約数、またはその付近の値を記憶容量として備えるものであることを特徴とする画像情報変換装置。
【請求項４】
請求項２において、
上記第１の変換モードは、
入力画像信号としての走査線数が５２５本のインターレス画像信号を、出力画像信号としての走査線数が５２５本のプログレッシブ画像信号に変換する処理に係るモードであることを特徴とする画像情報変換装置。
【請求項５】
請求項２において、
上記第２の変換モードは、
入力画像信号としての走査線数が５２５本のインターレス画像信号を、出力画像信号としての走査線数が１０５０本のインターレス画像信号に変換する処理に係るモードであることを特徴とする画像情報変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する画像信号を生成する機能を有する画像情報変換装置に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して画素の予測生成を行う、クラス分類適応処理が提案されている。
【０００３】
クラス分類適応処理において、予測生成に係る演算処理は、クラス毎に所定の演算によって決定される予測係数を用いてなされる。従って、予測係数を表現する予測係数データを装置内のメモリに記憶しておく必要がある。
【０００４】
予測生成されるべき画素の集合体であるラインデータは、入力画像信号内の走査線との位置関係の違い等によって一般に２種類以上がある。ラインデータの種類は、入力画像信号の信号形式と出力画像信号の信号形式との組合わせによって決まる。そして、ラインデータの種類によって、予測生成のために使用される係数の種類が異なる。従って、予測係数データを記憶するメモリには、ラインデータの種類毎に、２種類またはそれ以上の種類の予測係数データを記憶する必要がある。
【０００５】
一般に、各々の種類のラインデータに対応する予測係数データのデータ量は、それぞれ異なる。このため、予測係数データを記憶するメモリ内で、複数種類のラインデータに対応する予測係数データに対応して、複数個の異なる記憶容量を有する領域を割り当てる必要がある。さらに、上述したように、ラインデータの種類は、入力画像信号の信号形式と出力画像信号の信号形式との組合わせによって決まる。このため、入力画像信号の信号形式と出力画像信号の信号形式との２個以上の組合わせに係る画像情報変換処理を行うためには、各組合わせにおいて予測生成する必要があるラインデータの各々に係る予測係数データを記憶する必要がある。従って、メモリ内に、各予測係数データに対応して記憶容量が可変となる記憶領域を設定する必要がある。
【０００６】
【発明が解決しようとする課題】
このような記憶領域を設定するために、メモリ内に、同等の記憶容量を有する、ラインデータの種類数に等しい個数の記憶領域を予め設ける構成が従来から用いられている。この場合、各記憶領域は、想定される全ての画像情報変換処理において予測生成すべきラインデータに対応する予測係数データの内、最大のデータ量となるものを記憶するために充分な記憶容量を有する必要がある。
【０００７】
このため、最大のデータ量となる予測係数データ以外の予測係数データを記憶する場合には、割り当てられている領域の一部のみが予測係数データを記憶するために使用されることになり、使用されない部分に相当する記憶容量が無駄となる。従って、無駄となる記憶容量の分だけ、メモリの記憶容量を大きく設定する必要があった。このことがコストの削減を妨げる要因となっていた。
【０００８】
従って、この発明の目的は、特に入力画像信号の信号形式と出力画像信号の信号形式との複数種類の組合わせに係る画像情報変換処理を行うに際して、予測係数データを記憶するメモリの総記憶容量を削減することができる画像情報変換装置を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１の発明は、入力画像信号中に存在するラインと同一位置のライン上に画素を生成する第１の変換と、入力画像信号中に存在するラインとは異なる位置のライン上に画素を生成する第２の変換とを行う第１の変換モードと、入力画像信号中に存在するラインとは異なる位置の複数のライン上に画素を生成し、入力画像信号中に存在するラインよりもライン数を増加させる第２の変換モードとを選択的に行うことが可能とされている画像情報変換装置において、
所定の注目点に対して時間的および空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
入力画像信号から、注目点を含み、注目点に対して時間的および空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
空間クラス毎に予め決定された、出力画像信号を推定するための予測係数データを記憶し、記憶した予測係数データを空間クラス検出手段によって決定された空間クラスコードに従って出力する、同一の記憶容量を有する複数個のメモリモジュールと、
選択されている第１の変換モードおよび第２の変換モードのいずれか一方のモードと、空間クラスコードとに従って、メモリモジュールから出力される予測係数を選択的に出力するデータ供給先選択手段と、
データ供給先選択手段から出力される予測係数データと、第２の画像データ選択手段によって得られる画像データとの積和演算によって、注目点に対する画素を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数データは、複数個のメモリモジュールに分割して記憶され、
複数個のメモリモジュールは、第１の変換モードおよび第２の変換モードのそれぞれにおいて、予測係数データを記憶するために必要とされる記憶容量の最大値を総記憶容量として備え、
複数個のメモリモジュールのそれぞれは、第１の変換モードおよび上記第２の変換モードのそれぞれにおいて、複数個のメモリモジュール内で使用される記憶容量の公約数、またはその付近の値を記憶容量として備え、
予測係数と第２の画像データ選択手段によって選択された画像データとの線型一次結合の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が定められることを特徴とする画像情報変換装置である。
【００１０】
請求項２の発明は、入力画像信号中に存在するラインと同一位置のライン上に画素を生成する第１の変換と、入力画像信号中に存在するラインとは異なる位置のライン上に画素を生成する第２の変換とを行う第１の変換モードと、入力画像信号中に存在するラインとは異なる位置の複数のライン上に画素を生成し、入力画像信号中に存在するラインよりもライン数を増加させる第２の変換モードとを選択的に行うことが可能とされている画像情報変換装置において、
所定の注目点に対して時間的および空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点と時間的および空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出手段と、
空間クラスコードと動きクラスコードとを合成してクラスコードを生成するクラス合成手段と、
入力画像信号から、注目点を含み、注目点に対して時間的および空間的に近傍に位置する複数の画素を選択する第３の画像データ選択手段と、
クラス毎に予め決定された、出力画像信号を推定するための予測係数データを記憶し、記憶した予測係数データをクラス合成手段によって生成されたクラスコードに従って出力する、同一の記憶容量を有する複数個のメモリモジュールと、
選択されている第１の変換モードおよび第２の変換モードのいずれか一方のモードと、クラスコードとに従って、メモリモジュールから出力される予測係数を選択的に出力するデータ供給先選択手段と、
データ供給先選択手段から出力される予測係数データと、第３の画像データ選択手段によって得られる画像データとの積和演算によって、注目点に対する画素を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数データは、複数個のメモリモジュールに分割して記憶され、
複数個のメモリモジュールは、第１の変換モードおよび上記第２の変換モードのそれぞれにおいて、予測係数データを記憶するために必要とされる記憶容量の最大値を総記憶容量として備え、
複数個のメモリモジュールのそれぞれは、第１の変換モードおよび第２の変換モードのそれぞれにおいて、複数個のメモリモジュール内で使用される記憶容量の公約数、またはその付近の値を記憶容量として備え、
予測係数と第３の画像データ選択手段によって選択された画像データとの線型一次結合の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が定められることを特徴とする画像情報変換装置である。
【００１１】
以上のような発明によれば、予測係数を記憶するメモリ上で無駄となる記憶容量を削減することができる。
【００１２】
【発明の実施の形態】
この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について以下に説明する。かかる処理は、入力画像信号である、標準解像度のディジタル画像信号（以下、入力ＳＤ信号と表記する）を高解像度の出力画像信号（ＨＤ信号と称されることがある）に変換するものである。この際の入力ＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、出力画像信号としては、ライン数が５２５本でプログレッシブ方式の画像信号（以下、５２５ｐ信号と表記する）、ライン数が１０５０本でインターレス方式の画像信号（以下、１０５０ｉ信号と表記する）等が用いられる。
【００１３】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００１４】
上述したような画像情報変換処理を行うための一般的な構成の一例を図１に示す。入力ＳＤ信号がタップ選択回路１、６、７に供給される。タップ選択回路１は、入力ＳＤ信号から複数の画素が含まれる領域を切り出し、切り出した領域から推定予測演算回路４によってなされる演算処理に使用されるＳＤ画素（以下、予測タップと表記する）を選択する。そして、選択した予測タップを推定予測演算回路４に供給する。なお、予測精度を向上させるために、予測タップの選択は、クラスに対応する予測タップ位置情報を参照してなされる。
【００１５】
また、推定予測演算回路４は、後述する係数メモリ１１から演算処理に使用される予測係数データを供給される。供給される予測係数データには、ｙ１，ｙ２の予測生成に使用される２種類がある。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ１１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００１６】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn       （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、出力画像信号内の２種類のラインデータｙ１、ｙ２（これらについては後述する）が予測生成される。
【００１７】
推定予測演算回路４は、ラインデータｙ１、ｙ２を線順序変換回路５に供給する。線順序変換回路５は、供給されるラインデータｙ１、ｙ２にライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、例えば５２５ｐ信号等の出力画像信号を表示することが可能であるように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この画像情報変換処理系の一例をテレビジョン受像機等に内蔵することができる。
【００１８】
一方、タップ選択回路６は、入力ＳＤ信号から空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）を選択する。タップ選択回路６の出力が空間クラス検出回路８に供給される。また、タップ選択回路７は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）を選択する。タップ選択回路７の出力が動きクラス検出回路９に供給される。空間クラス検出回路８は、供給される空間クラスタップに基づいて空間クラスコードを検出し、検出した空間クラスコードをクラス合成回路１０に供給する。また、動きクラス検出回路９は、供給される動きクラスタップに基づいて動きクラスコードを検出し、検出した空間クラスコードをクラス合成回路１０に供給する。
【００１９】
クラス合成回路１０は、空間クラスコードと動きクラスコードとを合成し、合成されたクラスコードを係数メモリ１１に供給する。係数メモリ１１は、後述する学習によって予め決められた予測係数を記憶している。そして、クラス合成回路１０から供給される、合成されたクラスコードによって指定される予測係数データを、推定予測演算回路４に対して出力する。このような出力を行うためには、合成されたクラス情報によって指定されるアドレスに沿って、係数メモリ１１に予測係数データを記憶しておく等の方法を用いれば良い。
【００２０】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラスコードを生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００２１】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２２】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝      （２）
但し、｛  ｝は切り捨て処理を意味する。
【００２３】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラスコードを検出する。
【００２４】
【数１】
0004099555.tif 000002
【００２５】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラスコードが決定される。例えば、ｐａｒａｍ≦２の場合には動きクラスコード０、２＜ｐａｒａｍ≦４の場合には動きクラスコード１、４＜ｐａｒａｍ≦８の場合には動きクラスコード２、ｐａｒａｍ＞８の場合には動きクラスコード３というように動きクラスコードが生成される。動きクラスコード０が動きが最小（静止）であり、動きクラスコード１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００２６】
次に、予測係数の生成に係る処理について説明する。図２に、予測係数生成処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２０、および正規方程式加算回路２７に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００２７】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１が生成するＳＤ信号がタップ選択回路２１、２２、２３に供給される。間引きフィルタ２０の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００２８】
タップ選択回路２１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２７に供給する。また、タップ選択回路２２は、予測タップを選択し、選択した予測タップを空間クラス検出回路２４に供給する。一方、タップ選択回路２３は、予測タップを選択し、選択した予測タップを動きクラス検出回路２５に供給する。空間クラス検出回路２４は、供給される空間クラスタップに基づいて空間クラスコードを検出し、検出した空間クラスコードをクラス合成回路２６に供給する。また、動きクラス検出回路２４は、供給される動きクラスタップに基づいて動きクラスコードを検出し、検出した動きクラスコードをクラス合成回路２６に供給する。クラス合成回路２６は、供給される空間クラスコードおよび動きクラスコードを合成し、合成したクラスコードを正規方程式加算回路２７に供給する。
【００２９】
正規方程式加算回路２７は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２７は、入力ＳＤ信号、タップ選択回路２１の出力、およびクラス合成回路２６の出力に基づいて加算処理を行うことにより、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を解とする正規方程式を解くために必要なデータを算出する。正規方程式加算回路２７の出力は、予測係数決定回路２８に供給される。予測係数決定回路２８は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を算出する。算出される予測係数が係数メモリ２９に供給され、記憶される。
【００３０】
ここで、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素は、上述の式（１）によって順次予測生成される。式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の入力データ（上述したように出力画像信号と同じ信号形式を有する既知の信号）を入力することによって行う。かかる入力データの総数をｍと表記する場合、式（１）に従って、以下の式（４）が設定される。
【００３１】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn      （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００３２】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝  （５）
（ｋ＝１，２，‥‥ｍ）
【００３３】
【数２】
0004099555.tif 000003
【００３４】
式（６）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００３５】
【数３】
0004099555.tif 000004
【００３６】
式（７）から各予測係数ｗi を定める具体的な手順について説明する。式（８）、（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００３７】
【数４】
0004099555.tif 000005
【００３８】
【数５】
0004099555.tif 000006
【００３９】
【数６】
0004099555.tif 000007
【００４０】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラス合成回路２６から供給されたクラス情報、予測タップ選択回路２１から供給される予測タップ、および入力データに基づいて、正規方程式データ、すなわち、式（８）、（９）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを予測係数決定部２８に供給する。予測係数決定部２８は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００４１】
このような処理によって得られる画像信号についてより詳細に説明する。まず、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を図３に示す。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。
【００４２】
なお、図３は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号および５２５ｐ信号の各ラインが空間的に０．５ラインずれることになる。図３から分かるように、５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。
【００４３】
ここで、ｙ１は５２５ｉ信号のラインに対応する位置にあるラインデータであるのに対し、ｙ２は５２５ｉ信号のラインに対応しない位置にあるので、新たに予測することによって生成されるポイントである。従って、ｙ２を予測生成する方がｙ１を予測生成するよりも困難である。このため、ｙ２を予測生成する場合には、ｙ１を予測生成する場合よりも多くのクラス数を割り当て、それによってよりきめ細かな予測係数が使用できるようにする必要がある。従って、係数メモリ１１においても、ｙ１の予測生成に係る予測係数を記憶する記憶領域よりも、ｙ２の予測生成に係る予測係数を記憶する記憶領域の方が大きくなるように設定される必要がある。
【００４４】
一方、図４は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての１０５０ｉ信号に変換する画像情報変換処理における画素の配置の一例を示す略線図である。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが１０５０ｉ信号の画素を示す。ここで、実線で示したラインデータｙ１，ｙ２は、あるフレームの奇数フィールドの画素配置である。他のフィールド（偶数フィールド）のラインは、点線で示すように空間的に０．５ラインずれたものであり、ラインデータｙ１’，ｙ２’の画素が形成される。
【００４５】
図４においては、ラインデータｙ１、ｙ２の各々について、それらを予測生成する際の困難さは同等である。このため、ｙ１、ｙ２をそれぞれ予測生成する場合に割り当てるべきクラス数は両者について同等とすれば良い。従って、係数メモリ１１においても、ｙ１、ｙ２の予測生成にそれぞれ係る予測係数を記憶する記憶領域も、互いに同等な大きさを有するように設定される必要がある。
【００４６】
図３、図４を参照して上述したことから、入力ＳＤ信号の信号形式と出力画像信号の信号形式との２種類以上の組合わせに対して画像情報変換を行うためには、係数メモリ１１において、ｙ１、ｙ２の予測生成にそれぞれ係る予測係数を記憶する記憶領域の大きさの配分を切換える必要があることがわかる。入力ＳＤ信号の信号形式と出力画像信号の信号形式との２種類以上の組合わせに応じた、記憶領域の大きさの配分等に係る設定を、以下の説明においては画像情報変換のモードと称する。
【００４７】
また、以下の説明においては、画像情報変換のモードの例として、入力ＳＤ信号としての５２５ｉ信号を出力画像信としての５２５ｐ信号に変換する画像情報変換のモード（以下、モードＡと表記する）、および入力ＳＤ信号としての５２５ｉ信号を出力画像信としての１０５０ｉ信号に変換する画像情報変換のモード（以下、モードＢと表記する）を用いる。
【００４８】
まず、図１を参照して上述した一般的な画像情報変換処理系中の係数メモリ１１について、図５を参照して説明する。係数メモリ１１は、ｙ１、ｙ２の予測生成にそれぞれ係る予測係数を記憶するための２つの同等な記憶容量を有するメモリモジュール１１ａ，１１ｂを含み、メモリモジュール１１ａ，１１ｂがそれぞれラインデータｙ１、ｙ２の予測生成に係る予測係数を記憶するために割り当てられる。このような構成において、予測係数データの記憶のために、各メモリモジュールが以下のように使用される。
【００４９】
以下の説明において参照する図面中で、ｙ１の予測生成に係る係数データを記憶する領域には斜線を付して示し、また、ｙ２の予測生成に係る係数データを記憶する領域には網かけを付して示すことにする。図５Ａには、モードＡにおける各メモリモジュールの使用状況の一例を示す。ここでは、ｙ１の予測生成に係る係数データを記憶する領域が６４バイトであるのに対し、ｙ２の予測生成に係る係数データを記憶する領域が５１２バイトである。一方、図５Ｂには、モードＢにおける各メモリモジュールの使用状況の一例を示す。ここでは、ｙ１，ｙ２の予測生成に係る係数データが共に２５６バイトである。
【００５０】
従って、モードＡ，Ｂにおいてｙ１またはｙ２の予測生成に係る予測係数データのデータ量は最大で５１２バイトとなる。かかる状況に対応できるように、メモリモジュール１１ａ，１１ｂの記憶容量が５１２バイトに設定される。この場合、係数メモリ１１の総記憶容量は、５１２×２＝１０２４バイトとなる。
【００５１】
以上のような構成を有する係数メモリ１１において、モードＡを行う場合には、メモリモジュール１１ａにおいて５１２−６４＝４４８バイトが無駄となる。また、モードＢにおいては、図５Ｂに示すように、メモリモジュール１１ａにおいて５１２−２５６＝２５６バイトが無駄となり、全体として５１２バイトが無駄となる。
【００５２】
このように、一般的な画像情報変換処理系においては、特に複数個の画像情報変換のモードを行う場合において、係数メモリ内に無駄となる記憶領域が生じる。このため、無駄な記憶領域の分だけ、係数メモリの総記憶容量を、各モードにおいて記憶する必要がある予測係数データの総データ量に比して大きく設定する必要がある。このことが装置のコスト低減を妨げる要因となっていた。
【００５３】
そこで、この発明は、係数メモリ内で無駄となる記憶領域を削減することにより、係数メモリの総記憶容量を削減するようにしたものである。以下、この発明の一実施形態について説明する。
【００５４】
図６に、この発明の一実施形態における予測係数生成処理系の構成の一例を示す。ここで、図１等を参照して上述した一般的な予測係数生成処理系中の構成要素と同様な構成要素には、同一の符号を付した。図１中の係数メモリ１１の代わりに係数メモリ１１０が使用される。なお、予測係数生成処理系としては、例えば、図２等を参照して上述した一般的な予測係数生成処理系と同様な構成を用いることができる。
【００５５】
係数メモリ１１０について、図７を参照して説明する。係数メモリ１１０は、同等の記憶容量を有する複数個のメモリモジュールを有する。説明の都合上、これらのメモリモジュールをメモリモジュール１１１1 ，１１１2 ，・・・，１１１n と表記する。メモリモジュール１１１1 ，１１１2 ，・・・，１１１n には、それぞれ、上述したようにしてクラス合成回路１０からクラスコードが供給される。そして、供給されるクラスコードに応じて、メモリモジュール１１１1 〜１１１n が記憶している予測係数データをデコーダ・セレクタ１１２に供給する。デコーダ・セレクタ１１２には、さらに、クラスコードと、モード信号とが供給される。
【００５６】
ここで、モード信号は、画像情報変換のモードを示す信号である。デコーダ・セレクタ１１２は、メモリモジュール１１１1 〜１１１n から出力される予測係数データを、クラスコードとモード信号とに従って選択的に出力する。かかる選択的な出力について以下に説明する。この発明の一実施形態では、メモリモジュール１１１1 〜１１１n におけるアドレッシングは、ｙ１、ｙ２に関して共通とされる。このようなアドレッシングを用いる場合には、供給されるクラスコードに対応してメモリモジュール１１１1 〜１１１n の何れかからクラスコードに従って出力される予測係数データは、ラインデータｙ１，ｙ２の何れを予測生成する演算においても使用されるものである。
【００５７】
このような予測係数データを供給されるデコーダ・セレクタ１１２は、クラスコードとモード信号とに従って、各時点において予測生成されるべきラインデータｙ１，ｙ２に的確に対応づけられるように、予測係数データａまたは予測係数データｂとして選択的に出力する。すなわち、予測係数データａ、予測係数データｂは、それぞれ、推定予測演算回路４におけるラインデータｙ１，ｙ２の各々についての予測係数データの入力部に供給される。
【００５８】
モードＡにおいてラインデータｙ１，ｙ２のそれぞれを予測生成するための予測係数データのデータ量の割り当て方の一例を図８Ａに示す。ここでは、ｙ１の予測生成に係る係数データを記憶する領域が６４バイトであるのに対し、ｙ２の予測生成に係る係数データを記憶する領域が５１２バイトである。一方、モードＢにおいて、ラインデータｙ１，ｙ２のそれぞれを予測生成するための予測係数データのデータ量の割り当て方の一例を図８Ｂに示す。ここでは、ｙ１，ｙ２の予測生成に係る係数データが共に２５６バイトである。
【００５９】
モードＡ，モードＢの両方を行うことができる、係数メモリ１１０内のメモリモジュールの設置の仕方の一例を図９に示す。ここでは、６４バイトの記憶容量を有するメモリモジュールを９個有する場合（すなわち、図７においてｎ＝９である場合）を示す。この場合、総記憶容量は、６４×９＝５７６バイトとなる。モードＡにおける記憶容量の割り当て方（図８Ａ参照）においては、１個のメモリモジュール（従って６４×１＝６４バイト）がｙ１の予測生成に係る係数データの記憶に割り当てられ、また、８個のメモリモジュール（従って６４×８＝５１２バイト）がｙ２の予測生成に係る係数データの記憶に割り当てられる（図９Ａ参照）。一方、モードＢにおける記憶容量の割り当て方（図８Ｂ参照）においては、４個のメモリモジュール（従って６４×４＝２５６バイト）がｙ１，ｙ２の予測生成に係る係数データの記憶に割り当てられる（図９Ｂ参照）。
【００６０】
ここで、メモリモジュールの記憶容量６４バイトは、上述した各モードにおいて必要とされる記憶容量（モードＡでは６４＋５１２＝５７６バイト、モードＢでは２５６＋２５６＝５１２バイト）の最大公約数として得られる。より一般的には、使用され得る全ての画像情報変換のモードにおいて予測係数データを記憶するために必要とされる総記憶容量の公約数またはその付近となるように、メモリモジュールの記憶容量を設定すれば良い。また、メモリモジュールの記憶容量は、総記憶容量の公約数に厳密に等しい容量に限定されるものでは無く、総記憶容量の公約数付近の記憶容量をメモリモジュールの記憶容量として設定しても良い。
【００６１】
また、メモリモジュールの個数は、予測係数データを記憶するために必要とされる最大の記憶容量をメモリモジュールの記憶容量で割ることによって得られる商またはその付近の値とすれば良い。特に、メモリモジュールの記憶容量を、各ラインデータの予測生成に係る予測データを記憶するために使用される記憶容量の最大公約数とすれば、メモリモジュールの個数を最小とすることができる。
【００６２】
図９に示すように、この発明の一実施形態においては、モードＡにおいては、記憶容量が無駄となることが無い（図９Ａ参照）。また、モードＢにおいても、メモリモジュールの１個分、すなわち６４バイトのみが無駄となるに過ぎない（図９Ｂ参照）。このように、図５を参照して一般的な画像情報圧縮処理系の場合に比較して、無駄となる記憶容量を削減することができる。また、総記憶容量は、一般的な画像情報圧縮処理系中の係数メモリにおいて１０２４バイトであるのに対し、この発明の一実施形態においては、５７６バイトである。このように、この発明の一実施形態においては、一般的な係数メモリに比して、無駄となる記憶容量、および総記憶容量を削減することができる。
【００６３】
なお、上述したこの発明の一実施形態では、メモリモジュール１１１1 〜１１１n におけるアドレッシングがｙ１、ｙ２について共通とされるが、メモリモジュール１１１1 〜１１１n におけるアドレッシングをｙ１、ｙ２についてそれぞれ独立としても良い。
【００６４】
また、この発明の一実施形態は、画像情報変換のモードとして、上述したモードＡ，モードＢの計２種類を行うものであるが、画像情報変換のモードとして３種類以上を行う場合にも、この発明を適用することができる。
【００６５】
さらに、この発明の一実施形態においては、予測生成されるべき出力画像信号中のラインデータがｙ１，ｙ２の２種類である場合について説明したが、ラインデータの種類は、２種類に限定されるものではない。入力ＳＤ信号と、出力画像信号の組合わせによっては予測生成されるべきラインデータの種類が２種類以外となる場合もあり、そのような場合にもこの発明を適用することができる。
【００６６】
【発明の効果】
上述したように、この発明は、クラス分類適応処理を用いる画像情報変換を行うに際して、予測係数データを記憶するメモリ内に、同一の記憶容量を有し、記憶している予測係数データをクラスコードに応じて出力する機能を有する複数個のメモリモジュールと、これら複数個のメモリモジュールの出力の供給先を、画像情報変換のモードを示す信号に従って選択するデータ供給先選択回路とを備えるようにしたものである。
【００６７】
このため、予測係数を記憶するメモリ内で無駄となる記憶容量を削減することができ、無駄となる記憶容量の削減分に相当する、メモリの総記憶容量の削減を実現することができる。
【００６８】
これにより、メモリについてのコストを低減することができ、装置全体のコスト削減に寄与することができる。
【図面の簡単な説明】
【図１】一般的な画像情報変換処理系の構成の一例を示すブロック図である。
【図２】一般的な予測係数算出処理系の構成の一例を示すブロック図である。
【図３】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図４】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の他の例を示す略線図である。
【図５】一般的な画像情報変換処理系の構成の一例における係数メモリの使用状況の一例を示す略線図である。
【図６】この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【図７】この発明の一実施形態における画像情報変換処理系の一部の構成の一例を示すブロック図である。
【図８】この発明の一実施形態における画像情報変換処理系の構成の一例における係数メモリの使用状況の一例を示す略線図である。
【図９】この発明の一実施形態における画像情報変換処理系の構成の一例における係数メモリの使用状況の他の例を示す略線図である。
【符号の説明】
１１０・・・係数メモリ、１１１1 〜１１１n ・・・メモリモジュール、１１２・・・デコーダ・セレクタ
【図１】
0004099555.tif 000008
【図２】
0004099555.tif 000009
【図３】
0004099555.tif 000010
【図４】
0004099555.tif 000011
【図５】
0004099555.tif 000012
【図６】
0004099555.tif 000013
【図７】
0004099555.tif 000014
【図８】
0004099555.tif 000015
【図９】
0004099555.tif 000016