(57)【特許請求の範囲】
【請求項１】
複数の画素で構成される画像データをオフセツトサンプリングして画素数を低減させた画素数低減画像データ中の、オフセツトサンプリングされた位置を注目位置とし、上記注目位置の画素値を算出する画像信号処理方法であつて、
空間的及び又は時間的に上記注目位置の周辺にある複数の周辺画素に基づいて、上記注目位置をクラスに分類するクラス分類工程と、
上記注目位置の周辺にある複数の上記周辺画素から上記注目位置の画素値を算出するためのパラメータを、上記注目位置が分類される上記クラス毎に記憶した記憶手段から、上記クラス分類工程により分類された上記注目位置の上記クラスに対応する上記パラメータを取得するパラメータ取得工程と、
上記パラメータ取得工程により取得した上記パラメータを用いて上記注目位置の周辺にある複数の上記周辺画素から上記注目位置の画素値を算出する画素値算出工程と
を有し、
上記クラス分類工程では、
上記注目位置近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、上記各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の上記参照画素それぞれについて施すことにより複数の上記論理値を求め、当該論理値のパターンに基づいて上記注目位置をクラスに分類する
ことを特徴とする画像信号処理方法。
【請求項２】
複数の画素で構成される画像データをオフセツトサンプリングして画素数を低減させた画素数低減画像データ中の、オフセツトサンプリングされた位置を注目位置とし、上記注目位置の画素を補間する画像信号処理方法であつて、
空間的及び又は時間的に上記注目位置の周辺にある複数の周辺画素に基づいて、上記注目位置をクラスに分類するクラス分類工程と、
上記注目位置について予測された予測画素値を上記注目位置が分類される上記クラス毎に記憶した記憶手段から、上記クラス分類工程により分類された上記注目位置の上記クラスに対応する上記予測画素値を取得することにより、上記注目位置の画素を補間する画素補間工程と
を有し、
上記クラス分類工程では、
上記注目位置近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、上記各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の上記参照画素それぞれについて施すことにより複数の上記論理値を求め、当該論理値のパターンに基づいて上記注目位置をクラスに分類する
ことを特徴とする画像信号処理方法。
【請求項３】
複数の画素で構成される画像データをオフセツトサンプリングすることにより画素数を低減させた画素数低減画像データを生成するサンプリング手段と、
上記オフセツトサンプリングされる位置を注目位置とし、空間的及び又は時間的に上記注目位置の周辺にある複数の周辺画素に基づいて、上記注目位置をクラスに分類するクラス分類手段と、
上記注目位置の画素と上記注目位置の周辺にある複数の上記周辺画素とに基づいて、当該複数の上記周辺画素から上記注目位置の画素値を算出するためのパラメータを、上記注目位置が分類される上記クラス毎に生成して記憶するパラメータ生成手段とを具え、
上記画素数低減画像データ及び上記パラメータ生成手段により記憶された上記パラメータを伝送する画像信号伝送装置であつて、
上記クラス分類手段は、
上記注目位置近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、上記各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の上記参照画素それぞれについて施すことにより複数の上記論理値を求め、当該論理値のパターンに基づいて上記注目位置をクラスに分類する
ことを特徴とする画像信号伝送装置。
【請求項４】
上記パラメータ生成手段は、
上記クラス分類手段により分類されるクラス毎に、上記注目位置の画素と空間的及び又は時間的に上記注目位置の周辺にある複数の上記周辺画素とから線形一次結合モデルを立て、最小二乗法の演算により解いた当該線形一次結合モデルの係数を上記パラメータとする
ことを特徴とする請求項３に記載の画像信号伝送装置。
【請求項５】
複数の画素で構成される画像データをオフセツトサンプリングすることにより画素数を低減させた画素数低減画像データを受信する画素数低減画像データ受信手段と、
上記オフセツトサンプリングされる位置を注目位置としたとき、空間的及び又は時間的に上記注目位置の周辺にある複数の周辺画素に基づいてクラスに分類される上記注目位置の画素と、上記注目位置の周辺にある複数の上記周辺画素とに基づいて、上記注目位置が分類される上記クラス毎に生成された、当該複数の上記周辺画素から上記注目位置の画素値を算出するためのパラメータを受信するパラメータ受信手段と
を有し、上記受信した画素数低減画像データにおける上記注目位置の画素値を算出する画像信号伝送装置であつて、
上記注目位置の周辺にある複数の上記周辺画素に基づいて、上記注目位置をクラスに分類するクラス分類手段と、
上記受信したパラメータのうち上記クラス分類手段により分類された上記注目位置の上記クラスに対応する上記パラメータを用いて、上記注目位置の周辺にある複数の上記周辺画素から上記注目位置の画素値を算出する画素値算出手段と
を有し、
上記クラス分類手段は、
上記注目位置近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、上記各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の上記参照画素それぞれについて施すことにより複数の上記論理値を求め、当該論理値のパターンに基づいて上記注目位置をクラスに分類する
ことを特徴とする画像信号伝送装置。
【請求項６】
受信する上記パラメータは、
予め上記クラス毎に、上記注目位置の画素と空間的及び又は時間的に上記注目位置の周辺にある複数の上記周辺画素とから線形一次結合モデルを立て、最小二乗法の演算によつて解くことにより求められた当該線形一次結合モデルの係数であり、
上記画素値算出手段は、
上記クラス分類手段により分類された上記注目位置の上記クラスに対応する上記係数と、上記注目位置の周辺にある複数の上記周辺画素とを用いて線形一次結合による演算を施すことにより、上記注目位置の画素値を算出する
ことを特徴とする請求項５に記載の画像信号伝送装置。
【請求項７】
複数の画素で構成される画像データをオフセツトサンプリングして画素数を低減させた画素数低減画像データを受信すると共に、当該受信した画素数低減画像データ中のオフセツトサンプリングされた位置を注目位置としたとき、上記注目位置の画素値を算出する画像信号伝送装置であつて、
空間的及び又は時間的に上記注目位置の周辺にある複数の周辺画素に基づいて、上記注目位置をクラスに分類するクラス分類手段と、
上記注目位置の周辺にある複数の上記周辺画素から上記注目位置の画素値を算出するためのパラメータを、上記注目位置が分類される上記クラス毎に記憶した記憶手段と、
上記記憶手段から、上記クラス分類手段により分類された上記注目位置の上記クラスに対応する上記パラメータを取得するパラメータ取得手段と、
上記パラメータ取得手段により取得した上記パラメータを用いて、上記注目位置の周辺にある複数の上記周辺画素から上記注目位置の画素値を算出する画素値算出手段と
を有し、
上記クラス分類手段は、
上記注目位置近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、上記各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の上記参照画素それぞれについて施すことにより複数の上記論理値を求め、当該論理値のパターンに基づいて上記注目位置をクラスに分類する
ことを特徴とする画像信号伝送装置。
【請求項８】
上記記憶手段により記憶された上記パラメータは、
予め上記クラス毎に、上記注目位置の画素と空間的及び又は時間的に上記注目位置の周辺にある複数の上記周辺画素とから線形一次結合モデルを立て、最小二乗法の演算によつて解くことにより求められた当該線形一次結合モデルの係数である
ことを特徴とする請求項７に記載の画像信号伝送装置。
【請求項９】
複数の画素で構成される画像データをオフセツトサンプリングして画素数を低減させた画素数低減画像データを受信すると共に、当該受信した画素数低減画像データ中のオフセツトサンプリングされた位置を注目位置としたとき、上記注目位置の画素を補間する画像信号伝送装置であつて、
空間的及び又は時間的に上記注目位置の周辺にある複数の周辺画素に基づいて、上記注目位置をクラスに分類するクラス分類手段と、
上記注目位置について予測された予測画素値を上記注目位置が分類される上記クラス毎に記憶した記憶手段と、
上記記憶手段から、上記クラス分類手段により分類された上記注目位置の上記クラスに対応する上記予測画素値を取得することにより、上記注目位置の画素を補間する画素補間手段と
を有し、
上記クラス分類手段は、
上記注目位置近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、上記各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の上記参照画素それぞれについて施すことにより複数の上記論理値を求め、当該論理値のパターンに基づいて上記注目位置をクラスに分類する
ことを特徴とする画像信号伝送装置。
【請求項１０】
上記記憶手段に記憶された上記予測画素値は、
予め上記画像データと上記画素数低減画像データとを用いて加重平均演算による学習によつて、上記クラス毎に求められたものである
ことを特徴とする請求項９に記載の画像信号伝送装置。
【請求項１１】
上記記憶手段に記憶された上記予測画素値は、
予め上記画像データと上記画素数低減画像データとを用いて正規化による学習によつて、上記クラス毎に求められたものである
ことを特徴とする請求項９に記載の画像信号伝送装置。
【発明の詳細な説明】
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１０及び図１１）
発明が解決しようとする課題（図１０〜図１２）
課題を解決するための手段（図１〜図５及び図１１）
作用（図１〜図３及び図１１）
実施例
（１）全体構成（図１及び図２）
（２）クラス分類処理（図３及び図４）
（３）詳細構成（図５〜図９）
（４）実施例の動作（図１〜図３）
（５）実施例の効果（図１〜図３）
（６）他の実施例（図１１）
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像信号処理方法及び画像信号伝送装置に関し、特に原画像データの情報量を間引き処理によつて削減して伝送する画像信号伝送装置に適用して好適なものである。
【０００３】
【従来の技術】
従来、例えばテレビ会議システムなどのように画像信号を遠隔地に伝送するいわゆる画像信号伝送システムや、画像信号をデイジタル化してビデオテープレコーダやビデオデイスクレコーダに記録し再生する装置においては、伝送路や記録媒体を効率良く利用するため、デイジタル化した画像信号の相関を利用して有意情報を効率的に符号化することにより伝送情報量や記録情報量を削減し、伝送効率や記録効率を高めるようになされている。
【０００４】
具体的には、画像データを高能率圧縮符号化することにより、伝送するデータ量を削減する手法が広く用いられている。この高能率符号化では、一般に、予め原画像データに対して空間的あるいは時空間でのサブサンプリング（間引き）を行うことにより画素数を減らした後、圧縮符号化処理を施すことにより、伝送する情報量を一段と削減している。時空間サブサンプリングの例としては、ＭＵＳＥ（Multiple Sampling Encode）方式がある。
【０００５】
一方、受信側では、伝送されてこない画素すなわち間引かれた画素を補間によつて求めることにより解像度を上げる。一般には、固定タツプ、固定係数のフイルタによつて補間を行う。
ところが、このような補間方法では、補間画素値を当該補間画素に隣接する複数の画素の画素値の平均により求めるため、画像の種類によつては、画像ぼけ、時空間での変動（すなわちジヤーキネス、エツジビジネス等）が発生し、この結果復元画像に画質劣化が生じる問題がある。
【０００６】
かかる課題を解決する一つの方法として、特願平5-201913号に記載されているようなデイジタルデータ変換装置が提案されている。図１０（Ａ）に示すように、このデイジタルデータ変換装置における送信器１は入力画像データＤ１をサブサンプリング回路２及びエンコーダ３を通すことにより圧縮符号化データＤ２を生成し、これを出力端子４に与える。
【０００７】
また送信器１は、圧縮符号化データＤ２をローカルデコーダ５により復号した後、最小二乗法演算回路６に供給する。最小二乗法演算回路６は、復号データＤ３及び入力画像データＤ１を入力し、サブサンプリングにより間引かれた画素（取り除かれた画素）を注目画素とし、入力画像データＤ１に含まれる当該注目画素の画素値と復号データＤ３に含まれるその周辺の画素の画素値とで線形一次結合モデルを立て、この線形一次結合モデルの係数を最小二乗法の演算を行うことにより求める。この結果最小二乗法演算回路６からは、サブサンプリング回路２によつて間引かれた画素に対応した係数データＤ４が出力され、当該係数データＤ４が出力端子７に与えられる。
【０００８】
このように送信器１においては、サブサンプリング後の画像データを圧縮符号化して得た圧縮符号化データＤ２と共に、間引かれた画素とその周辺の伝送画素との相関関係を表わす係数データＤ４を伝送するようになされている。。
【０００９】
デイジタルデータ変換装置の受信器１０は、図１０（Ｂ）に示すように構成されており、圧縮符号化データＤ２を入力端子１１を介してデコーダ１２に入力する。デコーダ１２によつて復号された復号データＤ５は時系列変換回路１３及び補間演算回路１４に供給される。また受信器１０は係数データＤ４を入力端子１５を介して補間演算回路１４に入力する。
【００１０】
補間演算回路１４は復号データＤ５及び係数データＤ４を用いて、線形一次結合式から補間データＤ６を求め、これを時系列変換回路１３に送出する。時系列変換回路１３は、復号データＤ５と補間データＤ６を原画像（すなわち入力画像データＤ１）と同一に配列し、復元画像データＤ７を得る。
【００１１】
かくして、送信器１及び受信器１０で構成されたデイジタルデータ変換装置においては、送信器１側において、高能率符号化して得た圧縮符号化データＤ２のみを伝送するのではなく、間引かれた画素とその周辺の伝送画素との相関関係を表わす係数データＤ４を共に伝送し、受信器１０側において、その係数データＤ４を用いて実際には伝送されない間引かれた画素を生成するようにしたことにより、間引きにより伝送情報量を削減した場合でも、受信器１０側での画質劣化を低減し得るようになされている。
【００１２】
また特願平5-201913号では、これに加えて、送信器１側で、補間対象画素（注目画素）の周辺の伝送画素の分布状態に応じて当該補間対象画素をクラス分類し、各クラス毎に最小二乗法演算回路６によつて上述した係数データＤ４を求める方法が提案されている。この方法によれば、係数データＤ４の精度を向上し得ることにより受信器１０での復元画像の画質を向上することができる。なおこの場合には、受信器側でも送信器側と同様のクラス分類を行い、そのクラスについての係数データを選択して補間画素値を得るようになされている。
【００１３】
また別の方法として、特開平5-328185号公報に開示されているように、受信側に予め学習によつて求めた予測係数又は予測値を格納するメモリを設け、間引き処理が施された伝送画像データに応じて当該メモリから読み出される予測係数に基づき補間画素値を生成し、又は伝送画像データに応じて当該メモリから読み出される予測値を補間画素値とすることにより、間引きに基づく画質劣化を低減するデイジタルデータ変換装置が提案されている。
【００１４】
このデイジタルデータ変換装置は、図１１に示すように、送信器２０において、サブサンプリング回路２１、エンコーダ２２及び送信処理回路２３を通して得た圧縮符号化データＤ１０を出力端子２４を介して伝送路２５に送出する。
受信器３０は入力端子３１を介して入力した圧縮符号化データＤ１０を受信処理回路３２及びデコーダ３３を通すことにより復号データＤ１１を得、これを同時化回路３４に送出する。同時化回路３４は間引かれた画素を注目画素とし、各注目画素毎に周辺の複数の伝送画素を同時化してクラスタリング回路３５に送出する。
【００１５】
クラスタリング回路３５は入力した伝送画像データを階調やパターンに応じてクラス分類し、このクラス分類結果を各注目画素のクラスを表わすクラス情報Ｄ１２としてメモリ３６に送出する。
メモリ３６はクラス情報Ｄ１２をアドレスとして、予め学習により各クラス毎に求められて格納されている予測係数のうち、入力したクラス情報Ｄ１２に対応した予測係数Ｄ１３を出力する。
【００１６】
補間データ作成回路３７は予測係数Ｄ１３と同時化された周辺画素値とを使つて線形一次結合による演算を施すことにより、補間画素データＤ１４を作成する。この補間画素データＤ１４と復号データＤ１１が続く合成回路３８によつて合成されることにより、復元画像データＤ１５が生成される。
【００１７】
かくして、受信器３０によれば、伝送画像データＤ１０に存在しないような高周波成分をも復元することができ、この結果間引き処理に基づく画質劣化を抑制し得、高解像度の復元画像を得ることができる。
【００１８】
【発明が解決しようとする課題】
ところで、上述したように補間対象画素の周辺の伝送画素を用いて当該補間対象画素をクラス分類し、各クラス毎に予測係数又は予測値を求めこれを伝送する装置（特願平5-201913号）や、予測係数又は予測値を予め学習により求めて受信側のメモリに記憶しておき、受信側で、補間対象画素をクラス分類し、そのクラスに対応した予測係数又は予測値を出力することにより補間対象画素値を求める装置（特開平5-328185号公報）においては、クラス分類の仕方によつてはあまり画質の向上が望めなくなる場合や、予測係数又は予測値を求める際の演算量が増大することにより実現が困難になる場合がある。
【００１９】
例えばクラス分類としては、補間対象画素の周辺の伝送画素を参照し、時空間での相関の強い方向に応じてパターン分類する方法が考えられる。例えば図１２に示すように、＋印で示す補間対象画素の周辺の１２画素を用いて水平方向、垂直方向及び斜め２方向の合成４方向のうちから最も相関の強い方向を検出し、その方向を２ビツトでコード化すれば、補間対象画素を４通りのクラスに分類することができる。ここで相関の強さを検出するためには、各方向に配列した画素間の差分絶対値を算出すればよい。
しかしながらこのようなクラス分類手法では、クラス数が少ないのと、最も相関の強い方向でしかクラスを表現できないため、補間対象画素の特徴をクラスによつて十分に表現しているとは言えず、画質改善の点で不十分であると考えられる。
【００２０】
またクラス数を多くすればする程、より真値に近い補間画素を得ることができると考えられるが、不用意にクラス数を多くすると、予測係数又は予測値を求める際の演算量が増大し、また上述した受信器３０（図１１）ではメモリ３６に格納しなければならないデータ量が増大する問題がある。
【００２１】
本発明は以上の点を考慮してなされたもので、補間対象画素をクラス分類する場合に、一段と画像の特徴に適応したクラス分類処理を施すことにより、復元画像の解像度を向上し得る画像信号処理方法及び画像信号伝送装置を提案しようとするものである。
【００２２】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、複数の画素で構成される画像データをオフセツトサンプリングして画素数を低減させた画素数低減画像データ中の、オフセツトサンプリングされた位置を注目位置とし、注目位置の画素値を算出する画像信号処理方法であつて、空間的及び又は時間的に注目位置の周辺にある複数の周辺画素に基づいて、注目位置をクラスに分類するクラス分類工程と、注目位置の周辺にある複数の周辺画素から注目位置の画素値を算出するためのパラメータを、注目位置が分類されるクラス毎に記憶した記憶手段から、クラス分類工程により分類された注目位置のクラスに対応するパラメータを取得するパラメータ取得工程と、パラメータ取得工程により取得したパラメータを用いて注目位置の周辺にある複数の周辺画素から注目位置の画素値を算出する画素値算出工程とを設け、クラス分類工程では、注目位置近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の参照画素それぞれについて施すことにより複数の論理値を求め、当該論理値のパターンに基づいて注目位置をクラスに分類するようにした。
【００２３】
また本発明においては、複数の画素で構成される画像データをオフセツトサンプリングして画素数を低減させた画素数低減画像データ中の、オフセツトサンプリングされた位置を注目位置とし、注目位置の画素を補間する画像信号処理方法であつて、空間的及び又は時間的に注目位置の周辺にある複数の周辺画素に基づいて、注目位置をクラスに分類するクラス分類工程と、注目位置について予測された予測画素値を注目位置が分類されるクラス毎に記憶した記憶手段から、クラス分類工程により分類された注目位置のクラスに対応する予測画素値を取得することにより、注目位置の画素を補間する画素補間工程とを設け、クラス分類工程では、注目位置近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の参照画素それぞれについて施すことにより複数の論理値を求め、当該論理値のパターンに基づいて注目位置をクラスに分類するようにした。
【００２４】
また本発明においては、複数の画素で構成される画像データをオフセツトサンプリングすることにより画素数を低減させた画素数低減画像データを生成するサンプリング手段４１と、オフセツトサンプリングされる位置を注目位置（図３の＋印）とし、空間的及び又は時間的に注目位置の周辺にある複数の周辺画素に基づいて、注目位置をクラスに分類するクラス分類手段４５と、注目位置の画素と注目位置の周辺にある複数の周辺画素とに基づいて、当該複数の周辺画素から注目位置の画素値を算出するためのパラメータを、注目位置が分類されるクラス毎に生成して記憶するパラメータ生成手段４４とを備え、画素数低減画像データ及びパラメータ生成手段により記憶されたパラメータを伝送する画像信号伝送装置４０であつて、クラス分類手段４５は、注目位置近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の参照画素それぞれについて施すことにより複数の論理値を求め、当該論理値のパターンに基づいて注目位置をクラスに分類するようにした。
【００２５】
また本発明においては、複数の画素で構成される画像データをオフセツトサンプリングすることにより画素数を低減させた画素数低減画像データを受信する画素数低減画像データ受信手段６１と、オフセツトサンプリングされる位置を注目位置（図３の＋印）としたとき、空間的及び又は時間的に注目位置の周辺にある複数の周辺画素に基づいてクラスに分類される注目位置の画素と、注目位置の周辺にある複数の周辺画素とに基づいて、注目位置が分類されるクラス毎に生成された、当該複数の周辺画素から注目位置の画素値を算出するためのパラメータを受信するパラメータ受信手段６３とを有し、受信した画素数低減画像データにおける注目位置の画素値を算出する画像信号伝送装置６０であつて、注目位置の周辺にある複数の周辺画素に基づいて、注目位置をクラスに分類するクラス分類手段６２と、受信したパラメータのうちクラス分類手段６２により分類された注目位置のクラスに対応するパラメータを用いて、注目位置の周辺にある複数の周辺画素から注目位置の画素値を算出する画素値算出手段６３とを設け、クラス分類手段６２は、注目位置近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の参照画素それぞれについて施すことにより複数の論理値を求め、当該論理値のパターンに基づいて注目位置をクラスに分類するようにした。
【００２６】
【作用】
このようにクラス分類手段４５、６２、３５が、注目位置（図３の＋印）近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、各参照画素の画素値が当該平均値以上か否かで論理値を決定する処理を、複数の参照画素それぞれについて施すことにより複数の論理値を求め、当該論理値のパターンに基づいて注目位置をクラス分類するようにした。これにより、クラスの数を抑えつつ、注目位置を周辺の画素に基づいて的確にクラスによつて表現することができるので、クラスに対する演算量やデータ量等を増大させることなく、画像の特徴に適応した的確なクラス分類処理を行うことができる。
【００２７】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２８】
（１）全体構成
図１において、４０は全体として本発明を適用した画像符号化装置を示し、入力画像データＤ１をサブサンプリング回路４１に入力し、ここで入力画像データＤ１の所定画素を間引くことにより情報量を削減した後、続く圧縮エンコーダ４２に送出する。圧縮エンコーダ４２は間引き後に残つた画素を圧縮符号化することにより圧縮符号化データＤ２を生成し、これを伝送画像データとして出力する。
【００２９】
また圧縮符号化データＤ２はローカルデコーダ４３によつて復号され、当該復号データＤ２０が係数選定回路４４及びクラス分類回路４５に与えられる。
クラス分類回路４５は補間対象画素（すなわち間引かれた画素）を注目画素とし、当該注目画素の空間的及び又は時間的に周辺の伝送画素の分布状態に応じて各注目画素をクラス分類し、当該分類結果をその補間対象画素のクラス情報（以下これをインデツクスデータと呼ぶ）Ｄ２１として係数選定回路４４に送出する。
【００３０】
係数選定回路４４は遅延回路４６を介して入力した入力画像データＤ１及び復号データＤ２０に基づき、各クラス毎に、入力画像データＤ１に含まれる注目画素の画素値とその周辺の復号データＤ２０の画素値との相関関係を１フレーム毎に学習により求め、この学習結果を係数データＤ４として出力する。
因に遅延回路４６はサブサンプリング回路４１、圧縮エンコーダ４２及びローカルデコーダ４３で要する処理時間分だけ入力画像データＤ１を遅延させるものである。
【００３１】
画像符号化装置４０から送出された伝送データは、図２に示すような構成でなる画像復号化装置６０により受信されて復号される。画像復号化装置６０は、圧縮符号化データＤ２を圧縮デコーダ６１によつて復号し、これにより得た復号データＤ３０をクラス分類回路６２に与える。
クラス分類回路６２は図１について上述したクラス分類回路４５と同様の構成でなり、実際には伝送されてこない補間対象画素を注目画素とし、当該注目画素の空間的及び又は時間的に周辺の伝送画素の状態に応じて当該注目画素をクラス分類することにより、各注目画素のインデツクスデータＤ３１を発生し、これを補間データ作成回路６３に送出する。
【００３２】
補間データ作成回路６３は、各補間対象画素のインデツクスデータＤ３１、復号データＤ３０及び係数データＤ４に基づいて補間データＤ３２を求める。実際上、補間データ作成回路６３はインデツクスデータＤ３１に対応した係数データＤ４を選択し、選択した係数データＤ４と補間対象画素の周辺の復号データＤ３０とを用いて線形一次結合式を立てることにより補間データＤ３２を求める。
【００３３】
このようにして得られた補間データＤ３２は時系列変換回路６４に送出される。時系列変換回路６４は、復号データＤ３０と補間データＤ３２を原画像（すなわち入力画像データＤ１）と同一に配列することにより復元画像データＤ３３を生成する。
かくして画像復号化装置６０は、真値に近い補間画素を得ることができることにより画質劣化のほとんど無い復元画像を得ることができる。
【００３４】
（２）クラス分類処理
クラス分類回路４５及び６２では、注目画素（補間対象画素）の周辺の伝送画素を用いてあるパターン分けを行うことにより、注目画素をクラス分類する。
パターン分けは、注目画素と周辺画素との相関の強さに応じて行う。相関の強さを表わす指標としては、注目画素の周辺の伝送画素による平均補間値と真値（実際の注目画素の画素値）との差があり、その差の絶対値が小さい程相関が強いということができる。
【００３５】
実施例では、その差分の極性が正極性か負極性かで差分絶対値が等しくても異なる意味を持たせることができることに着目し、この極性を注目画素の周辺で複数集めることにより、注目画素をパターン分類する。これにより単に相関の最も強い方向を、その注目画素のクラスとする場合に比して、格段に画像の特徴に応じたクラス分類ができる。
【００３６】
但し、実際には注目画素の真値を、画像復号化装置６０側のクラス分類回路６２では用いることができないため、注目画素の真値の代わりに、注目画素に隣接する画素の画素値を用いて周辺画素の平均補間値との差を求め、その極性を求めるようにする。また実施例の場合、複数の差分値（極性込み）を複数ビツトで表現するとあまりにもクラス数が多くなり過ぎるため、その極性のみを１／０で符号化しパターン化する。
【００３７】
実際上、クラス分類回路４５及び６２は、まず図３の＋印で示す注目画素の周辺の伝送画素（◎印で示す）を用いて、水平及び垂直方向に関して、それぞれ次式、
【数１】
0003703034.tif 000002
【数２】
0003703034.tif 000003
【数３】
0003703034.tif 000004
【数４】
0003703034.tif 000005
を計算する。ここでｓｇｎ（  ）は括弧内の値の極性を調べる関数で、正極性のとき１、負極性のとき０を論理値として出力するものとする。つまり、１ビツト出力であり、Ｐ１〜Ｐ４を順番に並べることで４ビツトすなわち１６通りのクラス分類を行うことができる。
【００３８】
このようにクラス分類回路４５及び６２は、補間対象画素（注目画素）に隣接する伝送画素ｄ、ｉ、ｆ、ｇを参照画素とし、当該参照画素ｄ、ｉ、ｆ、ｇを挟んで当該参照画素ｄ、ｉ、ｆ、ｇの両側の伝送画素ｃ及びｅ、ｈ及びｊ、ａ及びｋ、ｂ及びｌの平均値を求め、参照画素ｄ、ｉ、ｆ、ｇの値がそれぞれｃ及びｅ、ｈ及びｊ、ａ及びｋ、ｂ及びｌの平均値以上か否かで１／０を決定し、この結果をパターンとして４ビツトで表現することで注目画素をクラス分類する。
【００３９】
この結果クラス分類回路４５及び６２においては、例えば注目画素の周辺の画素を用いて最も相関の強い方向によつて注目画素をクラス分類するような場合に比して、クラス数を余り増加させずに、注目画素の特徴をクラスによつて的確に表現することができる。
かくして、クラス数が余り増加しないことにより、係数選定回路４４での演算量の増加を低く抑えることができると共に、注目画素の特徴をクラスによつて的確に表現できることにより、画像復号化装置６０においてより真値に近い補間画素値を得ることができる。
【００４０】
実際上、クラス分類回路４５及び６２は、図４に示すように構成されており、時系列変換回路７０によつて、クラス分類に用いる注目画素の周辺の画素を同時化して第１〜第４の相関度計算回路７１Ａ〜７１Ｄに送出する。
第１の相関度計算回路７１Ａは、図３に示すように、注目画素の１ライン上での横方向の相関を（１）式に基づいて計算し、当該計算結果を１／０で出力する。第２の相関度計算回路７１Ｂは注目画素の１ライン下での横方向の相関を（２）式に基づいて計算し、当該計算結果を１／０で出力する。第３の相関度計算回路７１Ｃは注目画素の１画素左側での縦方向の相関を（３）式に基づいて計算し、当該計算結果を１／０で出力する。第４の相関度計算回路７１Ｄは注目画素の１画素右側での縦方向の相関を（４）式に基づいて計算し、当該計算結果を１／０で出力する。
【００４１】
レジスタ７２は第１の相関度計算回路７１Ａの論理出力、第２の相関度計算回路７１Ｂの論理出力、第３の相関度計算回路７１Ｃの論理出力及び第４の相関度計算回路７１Ｄの論理出力をこの順序で配列し、これをインデツクスデータＤ２１（又はＤ３１）として続く係数選定回路４４（又は補間データ作成回路６３）に送出する。
【００４２】
（３）詳細構成
次にサブサンプリング回路４１、圧縮エンコーダ４２、係数選定回路４４及び補間データ作成回路６３の詳細な構成について説明する。
この実施例の場合、サブサンプリング回路４１は、図５に示すように、各時点Ｔ０、Ｔ１、Ｔ２、……でのフレーム画像に対して伝送画素数が1/2 になるような間引き処理を施す。このときサブサンプリング回路４１は、連続する時点間で、前の時点でサンプリングした位置と同様の位置の画素を次の時点ではサンプリングしないというように交互に間引く画素位置を選択する所謂1/2 時空間オフセツトサブサンプリングを行うことにより、画像の特徴量をできるだけ残しながら伝送情報量を1/2 に削減する。
因に、図５における○印は間引き後に残つた画素（すなわち伝送画素）を表し、＋印は補間対象画素（注目画素）を表わす。また下段のｗ1 〜ｗ38は、後述する係数選定回路４４によつて求められる線形一次結合モデルの係数を表わす。
【００４３】
圧縮エンコーダ４２は、ＡＤＲＣ（Adaptive Dynamic Range Coding ）回路により構成されており、例えば１画素当り８ビツトの情報量でなる画素データを、所定ブロツク内での最大画素値と最小画素値との差分を表わすダイナミツクレンジ情報と、最小画素情報と、各画素値と最小画素値との差分を例えば１ビツト量子化した際の量子化情報とで表わすことにより、伝送情報量を有効に削減する。
【００４４】
係数選定回路４４は、補間対象画素を、当該補間対象画素の周辺の伝送画素と係数との線形一次結合モデルによつて表し、このとき用いた係数を各クラス毎に最小二乗法の演算によつて求める。
この係数選定の原理について説明する。図５に示すように、補間対象画素ｙm の存在するフレームをＴ１とすると、そのフレームＴ１から補間対象画素ｙm を中心としてその周囲の領域を切り出すと共に、一つ前の時点のフレームＴ０及び一つ後の時点のフレームＴ２からフレームＴ１で切り出した領域と空間的に同じ位置の領域を切り出す。また補間対象画素ｙm の画素値は入力画像データＤ１から抽出する。
【００４５】
ここで先ずフレームＴ０〜Ｔ２から切り出した領域内の伝送画素それぞれに係数ｗi を掛けることにより、補間対象画素ｙm を空間的及び時間的に周辺の伝送画素による線形一次結合によつて表わす。この結果補間対象画素ｙm の行列式Ｙと周辺の伝送画素ｘmiの行列式Ｘは、係数ｗi の行列式Ｗを用いて、次式、
【数５】
0003703034.tif 000006
でなる観測方程式の形で表わすことができる。但し、（５）式において、ｎは１つの補間対象画素ｙm を線形一次結合式によつて表わす際の空間的及び時間的に周辺の伝送画素数を表し（実施例の場合、１つの補間対象画素ｙm を３８タツプの線形一次結合モデルによつて表わすため、ｎ＝３８である）、ｍは１フレーム内に存在する補間対象画素数を表わす。
【００４６】
ここで（５）式に基づき、１フレームに対して１個の係数組を求めようとすると、（５）式から１フレームの補間対象画素数分の連立方程式を作ることになる。基本的には、この連立方程式を解いて係数を求めればよい。実施例では最小二乗法を用いてこの連立方程式を解く。
すなわち先ず、（５）式を残差行列Ｅを用いて次式、
【数６】
0003703034.tif 000007
のように残差方程式の形に表現し直す。
【００４７】
ここで（６）式から各係数値ｗi の最確値を求めるためには、ｅ12＋ｅ22＋……＋ｅi-12＋ｅi 2 を最小にする条件、すなわち次式、
【数７】
0003703034.tif 000008
となるｎ個の条件を入れてこれを満足するｗ1 、ｗ2 、……、ｗn を見つければよい。
ここで（６）式より、次式、
【数８】
0003703034.tif 000009
を得、（７）式の条件をｉ＝１、２、……、ｎについて立てればそれぞれ、次式
【数９】
0003703034.tif 000010
が得られる。ここで（６）式及び（９）式から次式の正規方程式が得られる。
【数１０】
0003703034.tif 000011
【００４８】
ここで（１０）式で表わされる正規方程式は未知数の数がｎ個の連立方程式であるから、これにより最確値である各係数ｗi を求めることができる。正確には（１０）式でｗi に掛かる（Σｘjnｘjn）（但し、ｊ＝１……ｍ）のマトリクスが正則であれば解くことができる。実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解く。
【００４９】
実施例の場合には、クラス分類回路４５によつて求めた各クラス毎に上述した最小二乗法を用いて係数値ｗi を求める。この結果各クラス毎に１フレームにつき１組の係数を伝送すればよいことになり、全ての補間対象画素についての係数値ｗi を求めて伝送する場合に比して、格段に伝送情報量及び演算量を低減し得る。実際に、係数の情報量はフレーム当りの画素情報量に比べて無視できるくらいのオーダーである。
【００５０】
具体的には、係数選定回路４４は、図６に示すように構成されている。すなわち係数選定回路４４は復号データＤ２０（ｘi ）及び入力画像データＤ１に含まれる補間対象画素データｙm を時系列変換メモリ９０に入力する。時系列変換メモリ９０は、図５について上述したように線形一次結合モデルを形成するための画素（ｘ1 〜ｘn 、ｙm ）を同時化して出力する。
時系列変換メモリ９０から出力されたデータは、正規化方程式生成回路９１に与えられ、当該正規化方程式生成回路９１によつて各クラス毎に（１０）式で表わされるような正規化方程式が生成され、続くＣＰＵ演算回路９２によつて掃き出し法によつて各クラス毎の係数組が求められる。
【００５１】
正規化方程式生成回路９１は、先ず乗算器アレイ９３によつて各画素同士の乗算を行う。乗算器アレイ９３は、図７に示すように構成されており、四角で表わす各セル毎に画素同士の乗算を行い、これにより得た各乗算結果を続く加算器メモリ９４に与える。
【００５２】
加算器メモリ９４は、図８に示すように、乗算器アレイ９３と同様に配列されたセルでなる加算器アレイ９５とメモリ（またはレジスタ）アレイ９６Ａ1 〜９６Ａ16とにより構成されている。メモリアレイ９６Ａ1 〜９６Ａ16はクラス数分（実施例の場合、クラス分類回路４５により分類される１６クラス分）設けられており、インデツクスデータＤ２１をデコードするインデツクスデコーダ９７の出力（クラス）に応答して一つのメモリアレイ９６Ａ1 〜９６Ａ15又は９６Ａ16が選択され、選択されたメモリアレイ９６Ａ1 〜９６Ａ15又は９６Ａ16の格納値が加算器アレイ９５に帰還される。このとき加算器アレイ９５によつて得られる加算結果が、再び対応するメモリアレイ９６Ａ1 〜９６Ａ15又は９６Ａ16に格納される。
【００５３】
このようにして乗算器アレイ９３、加算器アレイ９５及びメモリアレイ９６Ａ1 〜９６Ａ16によつて積和演算が行われ、インデツクスによつて決定されるクラス毎にメモリアレイ９６Ａ1 〜９６Ａ15又は９６Ａ16が選択されて、積和演算の結果によつてメモリアレイ９６Ａ1 〜９６Ａ16の内容が更新される。
【００５４】
なお、各々のアレイの位置は、（１０）式で表わされる正規化方程式のｗi にかかる（Σｘjnｘjn）（但し、ｊ＝１……ｍ）の位置に対応する。（１０）式の正規化方程式を見れば明らかなように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【００５５】
このようにして、１フレームの間にクラス毎に積和演算が行われて各クラス毎の正規化方程式が生成される。クラス毎の正規化方程式の各項の結果は、それぞれのクラスに対応するメモリアレイ９６Ａ1 〜９６Ａ16に記憶されており、次にそれらのクラス毎の正規化方程式の各項が掃き出し法演算を実現するＣＰＵ演算回路９２によつて計算される。この結果各クラス毎の係数ｗi の組が求められ、これが係数データＤ４として送出される。
【００５６】
補間データ作成回路６３は、図９に示すように、１フレーム毎に各クラスの係数組を記憶する係数メモリ１００を有し、この係数メモリ１００は各クラス毎の係数組ｗ1 〜ｗn を格納すると共に、インデツクスデコーダ１０１の出力（クラス）に応答してクラスに応じた係数組ｗ1 〜ｗn を出力する。この係数組ｗ1 〜ｗn がそれぞれレジスタ１０２Ａ1 〜１０２Ａn を介して乗算器１０３Ａ1 〜１０３Ａn に与えられる。また乗算器１０３Ａ1 〜１０３Ａn には、時系列変換回路１０４により選択された復号データｘ1 〜ｘn が与えられる。従つて乗算器１０３Ａ1 〜１０３Ａn の出力が加算回路１０５により加算されることにより、補間対象画素の画素値ｙ（＝ｘ1 ｗ1 ＋ｘ2 ｗ2 ＋……＋ｘn ｗn ）が得られる。
【００５７】
（４）実施例の動作
以上の構成において、画像符号化装置４０は入力画像データＤ１に対して間引き処理を施すことによりデータ量を削減した後、圧縮符号化データＤ２を生成する。また画像符号化装置４０は、間引かれた画素を注目画素とし、当該注目画素の周辺の伝送画素ａ〜ｌの状態に応じて各注目画素をクラス分類し、次にこのクラス毎の係数組ｗ1 〜ｗn を求め、これを係数データＤ４として出力する。
【００５８】
ここでクラス分類回路４５は、注目画素の周辺の伝送画素間で、単に相関の最も強い方向を検出して注目画素をクラス分類するのではなく、注目画素の周辺の伝送画素ａ〜ｌを用いて、注目画素に隣接する伝送画素ｄ、ｉ、ｆ、ｇに対応する平均補間値を算出する。そして、この平均補間値が注目画素に隣接する上記伝送画素ｄ、ｉ、ｆ、ｇの画素値よりも大きいか小さいかでパターン化したものを４ビツトで表現することにより、注目画素をクラス分類する。この結果注目画素を周辺の伝送画素ａ〜ｌの状態に応じたより的確なクラスによつて表現することができる。
【００５９】
画像復号化装置６０では、圧縮符号化データＤ２を復号した復号データＤ３０及び係数データＤ４に基づいて復元画像データＤ３３を生成する。
このときクラス分類回路６２において、画像符号化装置４０のクラス分類回路４５でしたのと同様のクラス分類処理を施すことにより各注目画素（補間対象画素）をクラス分類する。次に補間データ作成回路６３において、クラス分類結果Ｄ３１に応じて係数データＤ４から選択した係数組ｗ1 〜ｗn と復号データＤ３０とを線形一次結合させることにより補間データＤ３２を作成する。
【００６０】
かくして補間対象画素をその周辺の画像の特徴に応じて的確にクラス分類したことにより、一段と真値に近い補間データＤ３２を得ることができ、間引きに基づく画質劣化の少ない復元画像を得ることができる。
【００６１】
（５）実施例の効果
以上の構成によれば、補間対象画素ｙm の周辺の伝送画素ａ〜ｌから補間対象画素ｙm に隣接する伝送画素ｄ、ｉ、ｆ、ｇに対応する平均補間値を算出し、当該平均補間値が上記伝送画素ｄ、ｉ、ｆ、ｇの画素値よりも大きいか小さいかでパターン化したものを複数ビツトで表現するようにしたことにより、補間対象画素ｙm を周辺の伝送画素の状態に応じて一段と的確にクラス分類し得る。この結果一段と真値に近い補間データＤ３２を得ることができることにより、高解像度の復元画像を得ることができる。
【００６２】
（６）他の実施例
なお上述の実施例においては、注目画素（図３の＋印）の周辺の伝送画素ａ〜ｌから注目画素に隣接する伝送画素ｄ、ｉ、ｆ、ｇに対応する平均補間値を算出し、当該平均補間値が隣接伝送画素ｄ、ｉ、ｆ、ｇの画素値よりも大きいか小さいかでその極性のみを論理値１／０でパターン化した場合について述べたが、極性に加えて、平均補間値と隣接伝送画素ｄ、ｉ、ｆ、ｇとの差分値（極性込み）を複数ビツトで表現するようにしてもよい。このようにすると、注目画素を周辺の伝送画素の状態に応じて一段と厳密にクラス分類することができ、より真値に近い補間データＤ３２を得ることができる。
【００６３】
また上述の実施例においては、図３に示すように、注目画素の存在するフレーム内の伝送画素ａ〜ｌを用いて上述したクラス分類を行つた場合について述べたが、本発明はこれに限らず、注目画素の近傍の伝送画素ｄ、ｉ、ｆ、ｇに対して時間的に前後の伝送画素を用いて平均補間値を算出し、この値と近傍伝送画素ｄ、ｉ、ｆ、ｇの画素値との差分の極性によりクラス分類を行うようにしてもよい。また空間方向をさらに細分化することより、クラス数を増やすようにしてもよい。
【００６４】
また上述の実施例においては、間引き後に残つた伝送画素を圧縮エンコーダ４２により圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、圧縮符号化せずに間引き後に残つた間引きデータをそのまま伝送する場合にも適用することができる。この場合には、画像符号化装置４０側で圧縮エンコーダ４２及びローカルデコーダ４３を省略すると共に、画像復号化装置６０側で圧縮デコーダ６１を省略すればよい。
【００６５】
また上述の実施例においては、圧縮エンコーダ４２としてＡＤＲＣ回路を用いた場合について述べたが、本発明はこれに限らず、圧縮エンコーダ４２として例えばＤＣＴ（Discrete Cosine Transform ）変換符号化、ＤＰＣＭ、ベクトル量子化、サブバンド符号化、ウエーブレツト変換等の圧縮手法を用いた場合にも上述の実施例と同様の効果を得ることができる。
【００６６】
また上述の実施例においては、サブサンプリング回路４１によつて入力画像データＤ１に対して１／２の間引き処理を行う場合について述べたが、本発明はこれに限らず、例えば１／４の間引き処理等、他の間引き処理を行つた場合でも実施例と同様の効果を得ることができる。
【００６７】
また上述の実施例においては、注目画素とこの注目画素の空間的及び又は時間的に周辺の伝送画素との相関関係を表すパラメータとして、線形一次結合モデルを最小二乗法により解いて得た係数データＤ４を伝送する場合について述べたが、本発明はこれに限らず、パラメータとしては例えば各クラス毎に求めた注目画素周辺の伝送画素値の平均値を代表値として伝送するようにしても良い。この場合平均演算に重心法を用いるようにすれば、クラス毎に誤差の少ない代表値を容易に求めることができる。またこれに限らず、要は伝送されない注目画素と伝送画素との相関関係を表すような種々のパラメータを用いることができる。
【００６８】
また上述の実施例においては、圧縮符号化データＤ２と共に係数データＤ４を伝送する画像符号化装置４０のクラス分類回路４５及びその画像復号化装置６０のクラス分類回路６２に本発明を適用した場合について述べたが、本発明はこれに限らず、例えば図１１に示すように、各クラス毎の予測係数Ｄ１３を発生するメモリ３６を有する画像復号化装置（受信器）３０のクラス分類手段（クラスタリング回路）３５にも本発明を適用できる。
【００６９】
この場合のメモリ３６には、予め学習によつて各クラス毎に獲得した予測係数を格納するようにすれば良い。一例としては、各クラス毎に立てた線形一次結合モデルの係数を、最小二乗法により求めるといつた処理を様々な画像に対して行うことにより予測係数を求める手法がある。
【００７０】
さらには画像符号化装置（送信器）２０側にも実施例のような係数データを発生する係数選定回路４４（図１）を設け、予め学習により獲得したメモリ３６の内容を、新たに画像符号化装置から伝送されてくる係数データによつて更新するようにした画像信号伝送装置のクラス分類手段にも本発明を適用できる。
【００７１】
さらに図１１に示すメモリ３６に予測係数に代えて各クラス毎の予測値を予め格納するようにした画像復号化装置（受信器）３０のクラス分類手段（クラスタリング回路）３５にも本発明を適用できる。
【００７２】
この場合のメモリ３６に格納する予測値を求める第１の方法としては、加重平均を用いた学習方法がある。詳述すれば、補間対象画素の周辺の伝送画素を用いて、補間対象画素に対してクラス分類を行い、クラス毎に積算した補間対象画素の画素値を補間対象画素の個数によつてインクリメントされた度数によつて割ると言つた処理を様々な画像に対して行うことにより予測値を求めることができる。
【００７３】
またメモリ３６に格納する予測値を求める第２の方法としては、正規化による学習方法がある。詳述すれば、補間対象画素を含む複数の画素からなるブロツクを形成し、このブロツク内のダイナミツクレンジによつて、補間対象画素の画素値からそのブロツクの基準値を減算した値を正規化し、この正規化された値の累積値を累積度数で除した値を予測値とする処理を様々な画像に対して行うことにより予測値を求めることができる。
【００７４】
このように本発明によるクラス分類手法は、クラス分類を施し各クラス毎に求めた予測係数又は予測値を使つて補間画素値を生成する場合に広く適用することができる。
【００７５】
【発明の効果】
上述のように本発明によれば、補間対象画素の位置である注目位置の近傍の複数の画素を参照画素とし、当該各参照画素の周囲の複数の画素の画素値の平均値を求め、各参照画素の画素値が当該平均値以上か否かで論理値を求め、当該論理値のパターンに基づいて注目位置をクラス分類するようにしたことにより、クラスの数を抑えつつ、注目位置を周辺の画素に基づいて的確にクラスによつて表現することができるので、クラスに対する演算量やデータ量等を増大させることなく、画像の特徴に適応した的確なクラス分類処理を行うことができ、かくして一段と注目位置に存在する画素値の真値に近い補間データを得ることができ、結果として解像度の向上した復元画像を得ることができる。
【図面の簡単な説明】
【図１】実施例の画像符号化装置の全体構成を示すブロツク図である。
【図２】実施例の画像復号化装置の全体構成を示すブロツク図である。
【図３】本発明によるクラス分類手法の一実施例の説明に供する略線図である。
【図４】実施例のクラス分類回路の構成を示すブロツク図である。
【図５】サブサンプリング回路による間引き処理の説明、並びに線形一次結合モデルに用いる画素及び係数の説明に供する略線図である。
【図６】係数選定回路の構成を示すブロツク図である。
【図７】乗算器アレイの構成を示す略線図である。
【図８】加算器メモリの構成を示す略線図である。
【図９】補間データ作成回路の構成を示すブロツク図である。
【図１０】従来のデイジタルデータ変換装置の構成を示すブロツク図である。
【図１１】受信器側に予測係数又は予測値を格納したメモリを有するデイジタルデータ変換装置の構成を示すブロツク図である。
【図１２】従来のクラス分類手法の説明に供する略線図である。
【符号の説明】
１、２０……送信器、１０、３０……受信器、３５……クラスタリング回路、３６……メモリ、３７……補間データ作成回路、４０……画像符号化装置、４１……サブサンプリング回路、４２……圧縮エンコーダ、４３……ローカルデコーダ、４５、６２……クラス分類回路、４４……係数選定回路、６３……補間データ推定回路、６０……画像復号化装置、Ｄ１……入力画像データ、Ｄ２……圧縮符号化データ、Ｄ４……係数データ、Ｄ２１、Ｄ３１……インデツクスデータ、Ｄ３２……補間データ、Ｄ３３……復元画像データ、Ｗ1 〜Ｗ38……係数。
【図１】
0003703034.tif 000012
【図２】
0003703034.tif 000013
【図３】
0003703034.tif 000014
【図４】
0003703034.tif 000015
【図５】
0003703034.tif 000016
【図６】
0003703034.tif 000017
【図７】
0003703034.tif 000018
【図８】
0003703034.tif 000019
【図９】
0003703034.tif 000020
【図１０】
0003703034.tif 000021
【図１１】
0003703034.tif 000022
【図１２】
0003703034.tif 000023