(57)【要約】【課題】本発明は真値に近い補間画素値を求めることができる簡易な構成の画像処理装置を実現する。【解決手段】補間対象とすべき位置を中心としてその周辺における複数の画素をブロツクとして形成された当該ブロツクのうち、上記中心の近傍における平坦度を検出し、その平坦度が大きいほど、選択対象とすべき中心における周辺画素の選択数が多くなるように、周辺画素を選択し、周辺画素のレベル分布のパターンに応じて、生成対象とされる画素のクラスを分類し、クラスに対応する予測係数を発生し、予測係数と、周辺画素とに基づく積和演算により補間対象とすべき位置での画素を算出するようにした。【選択図】図１
2006141046.tif 000002
【特許請求の範囲】
【請求項１】
入力される画像データを構成する複数の画素のうち、補間対象とすべき位置を中心として、当該中心の近傍における平坦度を検出する平坦度検出手段と、
上記平坦度検出手段により検出される平坦度が大きいほど、上記中心の周辺に分布する周辺画素の選択数が多くなるように、上記周辺画素を選択する周辺画素選択手段と、
上記周辺画素選択手段により選択された周辺画素のレベル分布のパターンに応じて、上記補間対象とすべき位置での画素のクラスを分類するクラス分類手段と、
上記クラス分類手段により分類されたクラスに対応する予測係数を発生する予測係数発生手段と、
上記予測係数発生手段により発生された予測係数と、上記周辺画素とに基づく積和演算により上記補間対象とすべき位置での画素を算出する画素算出手段と
を具えることを特徴とする画像処理装置。
【請求項２】
上記平坦度検出手段は、
上記中心の近傍における画素値の最大値と最小値との差が所定の値を超えている場合には平坦度が大きいものとして検出し、当該差が上記値以下である場合には平坦度が小さいものとして検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画素選択手段は、
上記平坦度検出手段により検出される平坦度の大きさが所定の基準以下であつた場合には、上記中心から第１の範囲内に分布する周辺画素を選択すると共に、上記基準を超えていた場合には、上記中心から上記第１の範囲よりも広い第２の範囲内に分布する周辺画素を選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記第２の範囲内に分布する画素の一部は平均化された
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記クラス分類手段は、
上記画素選択手段により選択された周辺画素の情報量を減らし、当該減らされた周辺画素のレベル分布のパターンに応じて、上記補間対象とすべき位置での画素のクラスを分類する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記クラス分類手段は、
上記画素選択手段により選択された周辺画素の情報量を適応ダイナミツクレンジ符号化（ＡＤＲＣ）により減らす
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記クラス分類手段は、
上記平坦度検出手段により検出された平坦度の大きさが所定の基準以下であつた場合には、上記画素選択手段により選択された周辺画素を第１の情報量となるように減らすと共に、上記基準を超えていた場合には、上記画素選択手段により選択された周辺画素を第１の情報量よりも小さい第２の情報量となるように減らす
ことを特徴とする請求項５又は請求項６に記載の画像処理装置。
【請求項８】
上記画素選択手段は、
上記平坦度検出手段により検出された平坦度の大きさが所定の基準以下であつた場合には、上記中心から第１の範囲内に分布する周辺画素を選択すると共に、上記基準を超えていた場合には、上記中心から上記第１の範囲よりも広い第２の範囲内に分布する周辺画素を選択し、
上記クラス分類手段は、
上記画素選択手段で上記第１の範囲内に分布する周辺画素が選択された場合には、当該周辺画素を第１の情報量となるように減らすと共に、上記画素選択手段で上記第２の範囲内に分布する周辺画素が選択された場合には、当該周辺画素を第１の情報量よりも小さい情報量となるように減らし、当該減らされた周辺画素のレベル分布のパターンに応じて、上記補間対象とすべき位置での画素のクラスを分類する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
上記予測係数発生手段は、
予め学習により求められたクラス毎の予測係数を格納するメモリを有し、上記クラス分類手段により分類されたクラスに対応する予測係数を発生する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
入力される画像データを構成する複数の画素のうち、補間対象とすべき位置を中心として、当該中心の近傍における平坦度を検出する平坦度検出手段と、
上記平坦度検出手段により検出される平坦度が大きいほど、上記中心の周辺に分布する周辺画素の選択数が多くなるように、上記周辺画素を選択する周辺画素選択手段と、
上記周辺画素選択手段により選択された周辺画素のレベル分布のパターンに応じて、上記補間対象とすべき位置での画素のクラスを分類するクラス分類手段と、
上記クラス分類手段により分類されたクラスに対応する代表値を発生する代表値発生手段と
を具え、
上記代表値発生手段により発生された代表値を上記補間対象とすべき位置での画素に対応するデータとする
ことを特徴とする画像処理装置。
【請求項１１】
上記平坦度検出手段は、
上記中心の近傍における画素値の最大値と最小値との差が所定の値を超えている場合には平坦度が大きいものとして検出し、当該差が上記値以下である場合には平坦度が小さいものとして検出する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
上記画素選択手段は、
上記平坦度検出手段により検出される平坦度の大きさが所定の基準以下であつた場合には、上記中心から第１の範囲内に分布する周辺画素を選択すると共に、上記基準を超えていた場合には、上記中心から上記第１の範囲よりも広い第２の範囲内に分布する周辺画素を選択する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
上記第２の範囲内に分布する画素の一部は平均化された
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
上記クラス分類手段は、
上記画素選択手段により選択された周辺画素の情報量を減らし、当該減らされた周辺画素のレベル分布のパターンに応じて、上記補間対象とすべき位置での画素のクラスを分類する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１５】
上記クラス分類手段は、
上記画素選択手段により選択された周辺画素の情報量を適応ダイナミツクレンジ符号化（ＡＤＲＣ）により減らす
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
上記クラス分類手段は、
上記平坦度検出手段により検出された平坦度の大きさが所定の基準以下であつた場合には、上記画素選択手段により選択された周辺画素を第１の情報量となるように減らすと共に、上記基準を超えていた場合には、上記画素選択手段により選択された周辺画素を第１の情報量よりも小さい第２の情報量となるように減らす
ことを特徴とする請求項１４又は請求項１５に記載の画像処理装置。
【請求項１７】
上記画素選択手段は、
上記平坦度検出手段により検出された平坦度の大きさが所定の基準以下であつた場合には、上記中心から第１の範囲内に分布する周辺画素を選択すると共に、上記基準を超えていた場合には、上記中心から上記第１の範囲よりも広い第２の範囲内に分布する周辺画素を選択し、
上記クラス分類手段は、
上記画素選択手段で上記第１の範囲内に分布する周辺画素が選択された場合には、当該周辺画素を第１の情報量となるように減らすと共に、上記画素選択手段で上記第２の範囲内に分布する周辺画素が選択された場合には、当該周辺画素を第１の情報量よりも小さい情報量となるように減らし、当該減らされた周辺画素のレベル分布のパターンに応じて、上記補間対象とすべき位置での画素のクラスを分類する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１８】
上記代表値発生手段は、
予め学習により求められたクラス毎の予測係数を格納するメモリを有し、上記クラス分類手段により分類されたクラスに対応する予測係数を発生する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１９】
入力される画像データを構成する複数の画素のうち、補間対象とすべき位置を中心として、当該中心の近傍における平坦度を検出する第１のステツプと、
上記第１のステツプで検出される平坦度が大きいほど、上記中心の周辺に分布する周辺画素の選択数が多くなるように、上記周辺画素を選択する第２のステツプと、
上記第２のステツプで選択された周辺画素のレベル分布のパターンに応じて、上記補間対象とすべき位置での画素のクラスを分類する第３のステツプと、
上記第３のステツプで分類されたクラスに対応する予測係数を発生する第４のステツプと、
上記第４のステツプで発生された予測係数と、上記周辺画素とに基づく積和演算により上記補間対象とすべき位置での画素を算出する第５のステツプと
を具えることを特徴とする画像処理方法。
【請求項２０】
入力される画像データを構成する複数の画素のうち、補間対象とすべき位置を中心として、当該中心の近傍における平坦度を検出する第１のステツプと、
上記第１のステツプで検出される平坦度が大きいほど、上記中心の周辺に分布する周辺画素の選択数が多くなるように、上記周辺画素を選択する第２のステツプと、
上記第２のステツプで選択された周辺画素のレベル分布のパターンに応じて、上記補間対象とすべき位置での画素のクラスを分類する第３のステツプと、
上記第３のステツプで分類されたクラスに対応する代表値を発生する第４のステツプと
を具え、
上記第４のステツプで発生された代表値を上記補間対象とすべき位置での画素に対応するデータとする
ことを特徴とする画像処理方法。
【請求項２１】
既知の画像に対応した学習データを構成する複数の画素のうち、補間対象とすべき位置を中心として、当該中心の近傍における平坦度を検出する平坦度検出手段と、
上記平坦度検出手段により検出される平坦度が大きいほど、上記中心の周辺に分布する周辺画素の選択数が多くなるように、上記周辺画素を選択する周辺画素選択手段と、
上記周辺画素選択手段により選択された周辺画素のレベル分布のパターンに応じて、上記補間対象とすべき位置での画素のクラスを分類するクラス分類手段と、
上記クラス分類手段により分類されたクラスに対応する予測係数を生成し、当該予測係数をメモリに格納する予測係数格納手段と
を具えることを特徴とする学習装置。
【請求項２２】
既知の画像に対応した学習データを構成する複数の画素のうち、補間対象とすべき位置を中心として、当該中心の近傍における平坦度を検出する第１のステツプと、
上記第１のステツプで検出される平坦度が大きいほど、上記中心の周辺に分布する周辺画素の選択数が多くなるように、上記周辺画素を選択する第２のステツプと、
上記第２のステツプで選択された周辺画素のレベル分布のパターンに応じて、上記補間対象とすべき位置での画素のクラスを分類する第３のステツプと、
上記第３のステツプで分類されたクラスに対応する予測係数を生成し、当該予測係数をメモリに格納する第４のステツプと
を具えることを特徴とする学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、例えば、サブサンプリングにより間引かれた画素を補間することにより画像の解像度を向上させる場合に適用して好適なものである。
【背景技術】
【０００２】
従来、画像信号を記録、伝送する際の帯域圧縮あるいは情報量削減のための方法としてサブサンプリングによつて原画像の画素を所定間隔おきに間引く方法が広く用いられている。その一例としては、ＭＵＳＥ（MUltiple Sub-nyquist Sampling Encoding）方式における多重サブナイキストサンプリングエンコーデイング方式がある。
【０００３】
またサブサンプリングの一例としてオフセツトサブサンプリングが広く用いられている。このオフセツトサブサンプリングにおいては、２次元の場合には図６に示すように水平方向（ｘ方向）及び垂直方向（ｙ方向）のサンプリング間隔（Ｔｘ、Ｔｙ）をそれぞれ原信号における画素間隔（Ｈｘ、Ｈｙ）の２倍に設定することにより、１画素おきにサブサンプル（×）する。またオフセツトサブサンプリングでは、垂直方向に隣合うサンプリング点（○）を互いにサンプリング間隔の半分（Ｔｘ／２）だけオフセツトする。この結果オフセツトサブサンプリング後の画像信号の伝送帯域は、図７に示すように斜め方向の空間周波数に対して水平あるいは垂直方向の空間周波数成分を広帯域化することができ、この結果視覚上画質劣化の目立たない間引き処理を行うことができる。
【０００４】
ここでオフセツトサブサンプリングされた画像信号をモニタに表示したりプリントアウトする場合には、図８に示すように各サンプリング点間の画素を隣接画素を用いて補間する必要がある。このような補間処理は、図７に示す斜線領域の周波数成分を通過させると共に、折り返し点Ａを含む領域の周波数成分の通過を阻止する空間フイルタとして機能するものであり、この補間処理はサンプリング理論上では後置フイルタとして位置付けられる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、オフセツトサブサンプリングは、サブサンプリング前の前置フイルタが正しくかけられている場合には非常に有効な手法であるが、例えばハードウエア上の制約によつて前置フイルタを十分にかけられない場合や伝送帯域の広帯域化をはかるために前置フイルタを十分にかけない場合等には折り返し歪みに基づく画像劣化が発生する問題がある。
【０００６】
この折り返し歪みの発生を軽減する一つの方法として、適応型補間方法が提案されている。この方法は、サブサンプリングされた画像信号に対して補間処理を行う際に、補間画素の周辺で相関の強い方向を検出し、当該検出結果に応じて複数の異なつた補間手段を選択的に用いて補間処理を行うものである。
【０００７】
ところで、適応型補間方法においては、補間精度が相関の強い方向を検出する際の検出精度と個々の補間手段の能力とに大きく依存する。そのため、個々の補間手段の能力が十分でなく適切な補間ができない場合や、相関の強い方向を誤判定した場合には、本来の信号成分を減少させるばかりでなく、逆に折り返し歪みを増大させてしまう問題点があつた。
【０００８】
本発明は以上の点を考慮してなされたもので、真値に近い補間画素値を求めることができる簡易な構成の画像処理装置、画像処理方法、学習装置及び学習方法を提案しようとするものである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため本発明は、補間対象とすべき位置を中心としてその周辺における複数の画素をブロツクとして形成された当該ブロツクのうち、上記中心の近傍における平坦度を検出し、その平坦度が大きいほど、選択対象とすべき中心における周辺画素の選択数が多くなるように、周辺画素を選択し、周辺画素のレベル分布のパターンに応じて、生成対象とされる画素のクラスを分類し、クラスに対応する予測係数を発生し、予測係数と、周辺画素とに基づく積和演算により補間対象とすべき位置での画素を算出するようにした。
【００１０】
また本発明は、補間対象とすべき位置を中心としてその周辺における複数の画素をブロツクとして形成された当該ブロツクのうち、上記中心の近傍における平坦度を検出し、その平坦度が大きいほど、選択対象とすべき中心における周辺画素の選択数が多くなるように、周辺画素を選択し、周辺画素のレベル分布のパターンに応じて、生成対象とされる画素のクラスを分類し、クラスに対応する代表値を発生し、当該代表値を補間対象とすべき位置での画素に対応するデータとするようにした。
【００１１】
さらに本発明は、既知の画像に対応した学習データを構成する複数の画素のうち、補間対象とすべき位置を中心として、当該中心の近傍における平坦度を検出し、この平坦度が大きいほど、当該中心の周辺に分布する周辺画素の選択数が多くなるように、周辺画素を選択し、この周辺画素のレベル分布のパターンに応じて、生成対象とされる画素のクラスを分類し、このクラスに対応する予測係数を生成し、当該予測係数をメモリに格納するようにした。
【発明の効果】
【００１２】
本発明によれば、クラスに対応した予測係数または代表値を使つて補間対象とすべき位置での画素を求めるようにしたことにより、真値に近い補間画素値を得ることができる。加えて、補間対象とすべき位置近傍の平坦度を検出し、当該検出結果に応じてクラス分類に用いる周辺画素を選択するようにしたことにより、当該補間対象とすべき位置での画素を少ないクラス数で的確にクラス分類できるようになる。かくして真値に近い補間画素値を求めることができる簡易な構成の画像処理装置、画像処理方法、学習装置及び学習方法を実現できる。
【発明を実施するための最良の形態】
【００１３】
以下図面について、本発明の一実施例を詳述する。
【００１４】
（１）全体構成
図１において、１は全体として画像信号補間装置を示し、オフセツトサブサンプリングによつて情報量が削減された入力画像データＤ１に対してクラス分類による適応補間処理を施すことにより真値に近い補間データＤ２を生成するようになされている。
【００１５】
具体的には、画像信号補間装置１は、補間対象画素の周辺のサンプリング画素（すなわち入力画像データＤ１に含まれている画素）のレベル分布のパターンに応じて補間対象画素（すなわち間引かれた画素）をクラス分類し、予め各クラス毎に学習により求められている予測係数を読み出し、この予測係数を使つて補間画素値を求める。
これにより画像信号補間装置１においては、補間対象画素を単にその周辺のサンプリング画素を用いた平均補間によつて求める場合と比較して、格段に真値に近い補間画素値を求めることができる。
【００１６】
画像信号補間装置１は入力画像データＤ１をブロツク化回路２に入力し、当該ブロツク化回路２において入力画像データＤ１を所定の大きさのブロツクに分割する。実際上ブロツク化回路２は、図２に示すように、補間対象画素（×印）を中心としてその周辺の１２個の周辺画素ａ〜ｌによつて各ブロツクを形成するようになされている。
【００１７】
平坦度検出回路３はブロツク化画像データＤ３を入力し、そのブロツク内の補間対象画素を含む領域での局所的な平坦度を検出する。具体的には、平坦度検出回路３は、補間対象画素（×印）に隣接する４個の周辺画素ａ〜ｄを用いて平坦度を検出する。
【００１８】
そして周辺画素ａ〜ｄの平坦度が小さかつた場合には、補間対象画素（×印）のクラスをこの４画素ａ〜ｄのみで十分に推定し得ると判断し、続く画素選択回路４にこのことを表わす平坦度検出信号Ｄ４を送出する。これに対して、周辺画素ａ〜ｄの平坦度が大きかつた場合には、補間対象画素のクラスをこの４画素ａ〜ｄのみでは推定し得ないと判断し、続く画素選択回路４にこのことを表わす平坦度検出信号Ｄ４を送出する。因に、実施例の平坦度検出回路３では、４画素ａ〜ｄの画素値の最大値と最小値の差が２０を越えていた場合に平坦度が小さいとし、２０以下であつた場合に平坦度が大きいするようになされている。
【００１９】
画素選択回路４は平坦度検出信号Ｄ４に基づいて、平坦度が小さかつた場合には選択画素データＤ５としてブロツク内画素ａ〜ｌのうち４画素ａ〜ｄの画素データのみを適応ダイナミツクレンジ符号化（ＡＤＲＣ（Adaptive Dynamic Range Coding ））回路５に送出する。これに対して画素選択回路４は平坦度が大きかつた場合には選択画素データＤ５として、４画素ａ〜ｄの平均値Ｍと共に周辺画素ｅ〜ｌの合計９個の画素データをＡＤＲＣ回路５に送出する。
【００２０】
ＡＤＲＣ回路４は画素選択回路４からの選択画素データＤ５を受け、当該選択画素データＤ５に対して適応ダイナミツクレンジ符号化処理を施すことにより各画素値をビツト圧縮することによりパターン圧縮データＤ６を形成する。
【００２１】
このように画像信号補間装置１においては、常にブロツク化回路２により切り出された周辺画素ａ〜ｌ全てを用いてクラス分類するのではなく、局所的な周辺画素ａ〜ｄの平坦度に応じてクラス分類に用いる画素数を適応的に選択するようにしたことにより、クラス数を有効に削減することができる。
【００２２】
この結果、続くＡＤＲＣ回路５を例えば１ビツトの適応量子化を行うもので構成すると、平坦度が小さいときには補間対象画素の周辺の状態を２４個のパターンで表現し得、平坦度が大きいときには２９個のパターンで表現し得る。従つて周辺の１２画素全てを用いたときのパターンが２12個であることを考えると、補間対象画素を非常に少ないパターンで表現できることが分かる。
【００２３】
これに加えて、ＡＤＲＣ回路５は平坦度検出回路３からの平坦度検出信号Ｄ４に基づいてビツト圧縮率を切り換えるようになされている。具体的には、平坦度が小さいことを表わす平坦度検出結果信号Ｄ４を受けると４画素ａ〜ｄに対して１画素当り８ビツトの各画素値を２ビツトに圧縮する。これに対して平坦度が大きいことを示す平坦度検出信号Ｄ４を受けると平均画素値Ｍ及び周辺８画素ｅ〜ｌの合計９画素をそれぞれ１ビツトに圧縮する。
【００２４】
従つて周辺画素の状態は、平坦度が小さい場合には４４個のパターンで表され、平坦度が大きい場合には２９個のパターンで表わされる。これによりＡＤＲＣ回路５は、周辺画素の特徴量を残しながら効率の良い圧縮処理を施すことができる。
【００２５】
パターン圧縮データＤ６はクラスコード発生回路６に与えられる。クラスコード発生回路６はパターン圧縮データＤ６に基づいたクラスコードＤ６を発生し、これを予測係数メモリ７に与える。予測係数メモリ７はクラスコードＤ６を読み出しアドレスとして、予めクラス毎に後述する学習によつて求められて記憶されている予測係数Ｄ８を出力する。
【００２６】
予測演算回路８はブロツク化画像データＤ３に含まれる各画素値ａ〜ｌと予測係数Ｄ８とを用いて線形一次結合式に基づく演算を行うことにより、補間対象画素の画素値を算出し、これを補間データＤ２として出力する。
【００２７】
かくして画像信号補間装置１においては、予め学習により求めた予測係数を用いて補間画素を形成するようにしたことにより真値に近い補間画素値を得ることができる。また平坦度に応じてクラス分類に用いる画素を選択すると共にクラス分類の際の圧縮率を変化させるようにしたことによりクラス分類の効率を格段に改善し得る。この結果クラス数が減ることにより、予測係数メモリ７の構成を簡易化し得る。
【００２８】
（２）クラス分類処理
次にＡＤＲＣ回路５及びクラスコード発生回路６によるクラス分類処理について説明する。ＡＤＲＣ回路５は画像のもつ局所的特徴としてブロツク内ダイナミツクレンジを定義し、主としてレベル方向の冗長度を適応的に除去する。例えば図３に示すように、１画素当り８ビツトの画素データの持つ０〜255のダイナミツクレンジの中で、各ブロツク毎に再量子化するために必要なブロツク内ダイナミツクレンジＡ、Ｂは大幅に小さくなることが分かる。従つてこの小さなダイナミツクレンジＡ、Ｂ内で再量子化を行えば、必要なビツト数を大幅に低減することができるのである。
【００２９】
具体的には、ＡＤＲＣ回路５は先ずブロツク内ダイナミツクレンジをＤＲ、ビツト割当をｐ、ブロツク内の各画素レベルをｘ、再量子化コードをＱとして、次式
【００３０】
【数１】
2006141046.tif 000003
【００３１】
により、図４（Ａ）に示すようにブロツク内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビツト長で均等に分割して再量子化を行う。因に、図４は３ビツトで再量子化した場合（すなわちｐ＝３の場合）を表わす。
【００３２】
次に、図４（Ａ）の最上位の階調レベル（２ｐ−１）に相当するデータレベル内に存在するブロツク内画素の平均値をとり、これを図４（Ｂ）に示すように最大値ＭＡＸ′とする。また図４（Ａ）の最下位の階調レベル０に相当するデータレベル内に存在するブロツク内画素の平均値をとり、これを図４（Ｂ）に示すように最小値ＭＩＮ′とする。
【００３３】
次に新しく求めた最大値ＭＡＸ′及び最小値ＭＩＮ′によりブロツク内ダイナミツクレンジＤＲ′を新たに定義し直して、再量子化コードをｑとして、新しく求めたブロツク内の最大値ＭＡＸ′及び最小値ＭＩＮ′に基づいて、次式
【００３４】
【数２】
2006141046.tif 000004
【００３５】
により図４（Ｂ）に示すような再量子化を行う。
【００３６】
このようにＡＤＲＣ回路５は二重の再量子化を行うことにより、ノイズによる悪影響を低減して効率の良い情報量圧縮を行いパターン圧縮データＤ６を形成する。但し実施例のＡＤＲＣ回路５は３ビツトで再量子化を行うのではなく、上述したように平坦度検出信号Ｄ４に応じて１ビツト又は２ビツトで再量子化を行う。
【００３７】
クラス分類回路６は、このようにＡＤＲＣ回路５によつてｐビツトにデータ圧縮された結果の再量子化データをｑ１〜ｑｎとして、次式
【００３８】
【数３】
2006141046.tif 000005
【００３９】
を実行することにより、そのブロツクの属するクラスすなわち補間対象画素のクラスを表わすクラスコードｃ（Ｄ７）を決定する。
【００４０】
（３）予測係数メモリの作成
次に予測係数メモリ７に記憶させる予測係数の求め方を、図５に従つて説明する。先ずステツプＳＰ１において予測係数を学習するために、既に知られている画像に対応した学習データを形成する。具体的には、図２におけるサンプリング画素ａ〜ｌと、補間対象画素（×印）のサブサンプル以前の画素値を一組の学習データとする。
【００４１】
なお、このように学習データを形成する際に、１つの画像のみを用いるのではなく複数の画像を用いることで非常に多数の学習データを形成すれば、より正確な予測係数を得ることができる。
【００４２】
ステツプＳＰ２では必要上十分な学習データが形成されたか否か判定する。そして更に学習データが必要であると判定した場合にはステツプＳＰ３に進み、十分な学習データが得られた判定した場合にはステツプＳＰ４に移る。
【００４３】
ステツプＳＰ３では学習データをクラス分類する。このとき上述した画像信号補間装置１でしたのと同様のクラス分類を行うようにする。具体的には、先ず学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択し、選択した画素をＡＤＲＣ符号化により圧縮した後にクラスコードを形成することにより各学習データをクラス分類する。
【００４４】
次にステツプＳＰ５において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。ステツプＳＰ５での処理を具体的に説明する。ここでは一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。先ず各サンプリング画素の画素レベルｘ１、……、ｘｎと注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス（ｃ）毎に予測係数ｗ１、……、ｗｎによるｎタツプの線型一次予測式で表現することにより、次式
【００４５】
【数４】
2006141046.tif 000006
【００４６】
を形成する。
【００４７】
この（４）式における予測係数ｗ１、……、ｗｎを求めれば良い。そこで実際の補間対象画素と補間処理結果の誤差が最小になるような予測係数ｗ１、……、ｗｎを求める。ここで学習はクラス毎に複数の学習データに対して行うので、学習データ数がｍとすると一般的なｍ＞ｎである場合には予測係数ｗ１、……、ｗｎは一意に決定できない。そこで誤差ベクトルｅの要素を、それぞれの学習データｘｋ１、……、ｘｋｎ、ｙｋ（ｋ＝１、２、……、ｍ）における予測誤差をｅｋとして、次式
【００４８】
【数５】
2006141046.tif 000007
【００４９】
のように定義して、次式
【００５０】
【数６】
2006141046.tif 000008
【００５１】
を最小にする予測係数ｗ１、……、ｗｎを求める。いわゆる最小二乗法による解法である。
【００５２】
ここで（６）式のｗｉによる偏微分係数を求めると、次式
【００５３】
【数７】
2006141046.tif 000009
【００５４】
となる。（７）式が０になるような各ｗｉを決めればよい。そこで次式
【００５５】
【数８】
2006141046.tif 000010
【００５６】
及び
【００５７】
【数９】
2006141046.tif 000011
【００５８】
のように、Ｘｉｊ、Ｙｉを定義すると、上述した（７）式は行列を用いて、次式
【００５９】
【数１０】
2006141046.tif 000012
【００６０】
の正規化方程式に書き換えることができる。
【００６１】
ここで（１０）式の正規化方程式は未知数がｎ個の連立方程式であるから、これにより最確値である各未定係数ｗ１、……、ｗｎを求めることができる。すなわちこの予測係数算出処理手順では、ステツプＳＰ５において各クラス毎に未定係数ｗ１、……、ｗｎを求めることができるような正規化方程式を形成できるまでステツプＳＰ１−ＳＰ２−ＳＰ３−ＳＰ５−ＳＰ１のループを繰り返す。
【００６２】
やがてステツプＳＰ５において各クラス毎に（１０）式で表わされる正規化方程式が形成され、ステツプＳＰ２において肯定結果が得られると、ステツプＳＰ４に進んで、ここで（１０）式の正規化方程式を解いて各クラス毎の予測係数ｗ１、……、ｗｎを決定する。具体的には、一般に（１０）式の左辺の行列は正定値対称なので、コレスキー法により解くことができる。
【００６３】
次にステツプＳＰ６において、各クラス毎に決定された予測係数ｗ１、……、ｗｎを予測係数メモリ７の対応するクラスのアドレスに格納し、続くステツプＳＰ７において当該予測係数算出処理手順を終了する。
【００６４】
（４）実施例の動作
以上の構成において、画像信号補間装置１は間引かれた画素を補間対象画素として、当該補間対象画素をその周辺のブロツク化データＤ３の状態に応じてクラス分類する。このとき画像信号補間装置１はクラス分類の前処理として、補間対象画素近傍の画素ａ〜ｄの平坦度を検出し、この平坦度の大きさによつてクラス分類に用いる周辺画素を選択する。この結果画像の特徴量をできるだけ残しながら必要最小限の画素を用いてクラス分類できるようになり、不必要なクラス数の増加を抑制し得、効率の良いクラス分類ができるようになる。
【００６５】
次に、画像信号補間装置１は選択された画素を圧縮することによりパターン圧縮データＤ６を形成し、当該パターン圧縮データＤ６に基づいてクラスコードＤ７を形成する。このとき画像信号補間装置１は平坦度の大きさにより圧縮率を変化させる。この結果画像の特徴量を残しながら十分な圧縮処理を施すことができるようになり、ここでも不必要なクラス数の増加を抑制し得る。
【００６６】
次に、画像信号補間装置１はクラスコードＤ７を読み出しアドレスとして、予測係数メモリ７に記憶された予測係数Ｄ８を読み出す。そして予測演算回路８によつてこのクラスｃに対応した予測係数ｗ１（ｃ）〜ｗ12（ｃ）とブロツク化データＤ３に含まれるサンプリング画素ａ〜ｌの画素データｘ１〜ｘ12とを、次式
【００６７】
【数１１】
2006141046.tif 000013
【００６８】
このようにして画像補間装置１においては、原画に含まれる画素データとほとんど変わらない補間データＤ２を形成することができる。この補間データＤ２は図示しない合成回路により入力画像データＤ１と合成された後、例えばテレビジヨン受像装置やビデオテープレコーダ装置等に供給される。
【００６９】
（５）実施例の効果
以上の構成によれば、補間対象画素を含む周辺画素の局所的な平坦度を検出し、当該平坦度検出結果に応じて、クラス分類に用いる画素を選択すると共にクラス分類の際の圧縮率を変化させるようにしたことにより、補間対象画素を少ないクラス数で的確にクラス分類できる。これにより真値に近い補間データを形成し得る簡易な構成の画像信号補間装置１を実現できる。
【００７０】
（６）他の実施例
なお上述の実施例においては、補間対象画素の近傍４画素ａ〜ｄにより平坦度を検出し、平坦度が小さかつた場合にはこの４画素ａ〜ｄのみをクラス分類に用い、平坦度が大きかつた場合には４画素ａ〜ｄの平均値Ｍとさらに広い範囲に分布する周辺画素ｅ〜ｌを用いてクラス分類する場合について述べたが、平坦度検出に用いる画素数及び平坦度検出結果に応じて選択する画素数はこれに限らず、要は補間対象画素の近傍画素を用いて平坦度を検出し、平坦度が大きかつた場合には、平坦度が小さかつた場合に用いた画素よりも多くの画素を用いてクラス分類するようにすれば良い。
【００７１】
また上述の実施例においては、平坦度検出結果に応じて、クラス分類に用いる画素数を変えると共にＡＤＲＣ回路５の圧縮率も変化させる場合について述べたが、クラス分類に用いる画素数のみを変えるようにしても良い。また圧縮率を変化させる場合には、上述のように１ビツトと２ビツトで切り換える場合に限らない。
【００７２】
また上述の実施例においては、画像選択回路４によつて選択された選択画素データＤ５をＡＤＲＣ回路５及びクラスコード発生回路６を用いてビツト圧縮することによりクラス分類する場合について述べたが、クラス分類手段はＡＤＲＣ回路５及びクラスコード発生回路６に限らず、例えば離散コサイン変換（ＤＣＴ）、差分量子化（ＤＰＣＭ）、サブバンド符号化やウエーブレツト変換等の種々の圧縮手段を用いることができる。さらにクラス分類の方法はビツト圧縮によるものに限らず、例えば補間対象画素の周辺画像において相関性の強い方向を検出し、当該検出結果に基づいてクラス分類するようにしても良い。
【００７３】
また上述の実施例においては、クラス毎の予測係数を最小二乗法による学習により求めた場合について述べたが、予測係数の求め方はこれに限らず、種々の学習方法を用いることができる。
【００７４】
また上述の実施例においては、予測係数メモリ７及び予測演算回路８を設け、予め学習により予測係数メモリ７に記憶された予測係数Ｄ８をクラスコードＤ７に応じて読出し、読出した予測係数Ｄ８とブロツク化データＤ３を線形一次結合することにより補間データを求めるようにした場合について述べたが、本発明はこれに限らず、予測係数メモリ７及び予測演算回路８に代えて、予め学習により求めたクラス毎の代表値を格納するメモリを設け、クラスに応じた代表値を読み出して、読み出した代表値を補間データとするようにしても良い。
【００７５】
この場合、メモリに格納するを求める第１の方法としては、加重平均による学習がある。詳述すれば、補間対象画素に対応する真の画素値をクラス毎に積算し、この積算結果を積算した画素値の個数によつて割るといた処理を様々な画像に対して行うことによりクラス毎の代表値を得るといつた学習である。
【００７６】
また代表値を求める第２の方法としては、正規化による学習がある。詳述すれば、補間対象画素を含む複数の画素からなるブロツクを形成し、当該ブロツク内のダイナミツクレンジによつて、補間対象画素に対応する真の画素値からブロツクの基準値を減算した値を正規化し、この正規化された値の累積値を累積度数で割るといつた処理を様々な画像に対して行うことによりクラス毎の代表値を得るといつた学習である。
【産業上の利用可能性】
【００７７】
本発明は、例えば画像の解像度を向上させる画像処理分野で利用可能である。
【図面の簡単な説明】
【００７８】
【図１】本発明による画像信号補間装置の一実施例の構成を示すブロツク図である。
【図２】実施例のクラス分類処理に用いる周辺画素の説明に供する略線図である。
【図３】ＡＤＲＣ回路によるビツト圧縮の説明に供する略線図である。
【図４】ＡＤＲＣ回路によるビツト圧縮の説明に供する略線図である。
【図５】学習による予測係数算出処理手順を示すフローチヤートである。
【図６】オフセツトサブサンプリングの説明に供する略線図である。
【図７】２次元のオフセツトサブサンプリングにより伝送可能な帯域の空間周波数スペクトラムを示す略線図である。
【図８】補間処理の説明に供する略線図である。
【符号の説明】
【００７９】
１……画像信号補間装置、３……平坦度検出回路、４……画素選択回路、５……ＡＤＲＣ回路、６……クラスコード発生回路、７……予測係数メモリ、８……予測演算回路、Ｄ１……入力画像データ、Ｄ２……補間データ、Ｄ３……ブロツク化データ、Ｄ４……平坦度検出信号、Ｄ５……選択画素データ、Ｄ６……パターン圧縮データ、Ｄ７……クラスコード、Ｄ８……予測係数、ａ〜ｌ……周辺画素。
【図１】
2006141046.tif 000014
【図２】
2006141046.tif 000015
【図３】
2006141046.tif 000016
【図４】
2006141046.tif 000017
【図５】
2006141046.tif 000018
【図６】
2006141046.tif 000019
【図７】
2006141046.tif 000020
【図８】
2006141046.tif 000021