【手続補正書】
【提出日】平成17年3月14日(2005.3.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】  画像信号処理装置及び方法、並びに予測係数学習装置及び方法


【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理装置において、
上記第１の画像から、注目画素及びその周辺の複数の画素を予測タップとして切り出す領域切出手段と、
上記予測タップのうち所定の位置関係を有する画素間の画素値の差分値を算出する差分値算出手段と、
上記予測タップの差分値に基づき、上記注目画素を複数のクラスのうち何れかのクラスに分類するクラス分類手段と、
上記注目画素が分類されたクラスに対応する予測係数を読み出す読出手段と、
読み出された上記予測係数と上記予測タップとから上記所定の推定演算により上記注目画素の画素値を第２の画像の画素値に変換する推定演算手段と
を有することを特徴とする画像信号処理装置。
【請求項２】
上記クラス分類手段は、上記差分値が第１の閾値以上である場合に、該画素間にはエッジが存在するものと判定し、このエッジ判定結果に基づいてクラス分類することを特徴とする請求項１記載の画像信号処理装置。
【請求項３】
上記領域切出手段は、上記第１の画像における上記注目画素を含むラインデータを上記予測タップとして切り出すことを特徴とする請求項２記載の画像信号処理装置。
【請求項４】
上記クラス分類手段は、上記ラインデータから構成される予測タップの上記差分値が所定の閾値以上である場合に、上記注目画素を複数の空間クラスのいずれかに分類することを特徴とする請求項３記載の画像信号処理装置。
【請求項５】
上記ラインデータは、上記注目画素を含む水平方向の水平ラインデータ及び上記注目画素を含む垂直方向の垂直ラインデータであることを特徴とする請求項３記載の画像信号処理装置。
【請求項６】
上記差分値算出手段は、上記水平ラインデータの水平方向に隣接する２つの画素間及び上記垂直ラインデータの垂直方向に隣接する２つの画素間の差分値を算出することを特徴とする請求項５記載の画像信号処理装置。
【請求項７】
上記差分値算出手段は、上記第１の画像の輝度信号又は上記第１の画像の色差信号を基に上記差分値を算出することを特徴とする請求項１記載の画像信号処理装置。
【請求項８】
上記差分値算出手段で算出された上記ラインデータにおける上記差分値の統計から上記ラインデータの特徴を抽出する統計量算出手段を有することを特徴とする請求項３記載の画像信号処理装置。
【請求項９】
上記差分値算出手段で算出された上記ラインデータにおける上記差分値の統計から、上記差分値の最大値と最小値との差であるダイナミックレンジを算出する統計量算出手段を有することを特徴とする請求項３記載の画像信号処理装置。
【請求項１０】
上記統計量算出手段は、上記差分値の上記最大値、最小値、及びダイナミックレンジから上記画素間エッジ判定における上記第１の閾値を算出することを特徴とする請求項９記載の画像信号処理装置。
【請求項１１】
上記第１の画像のブロック毎のブロックデータが入力され、上記注目画素が属する注目ブロックにおいて水平方向及び垂直方向に隣接する各画素間の画素値の差分値をブロック画素間差分値として算出するブロック画素間差分値算出手段を有することを特徴とする請求項２記載の画像信号処理装置。
【請求項１２】
上記注目ブロックにおける上記ブロック画素間差分値が第２の閾値未満である場合に、上記注目ブロックは平坦であると判定し、このブロック凹凸判定結果を記憶するブロック特徴量記憶手段を有することを特徴とする請求項１１記載の画像信号処理装置。
【請求項１３】
上記注目ブロックがフィールドＤＣＴ構造であるか、又はフレームＤＣＴ構造であるかを判定し、このブロックタイプ判定結果を記憶するブロック特徴量記憶手段を有することを特徴とする請求項１１記載の画像信号処理装置。
【請求項１４】
上記ブロック画素間差分値算出手段で算出された上記注目ブロックにおける上記ブロック画素間差分値の統計から、上記注目ブロックの特徴を抽出するブロック統計量算出手段を有することを特徴とする請求項１１記載の画像信号処理装置。
【請求項１５】
上記ブロック画素間差分値算出手段で算出された上記注目ブロックにおける上記ブロック画素間差分値の統計から、上記ブロック画素間差分値の最大値と最小値との差であるダイナミックレンジを算出するブロック統計量算出手段を有することを特徴とする請求項１１記載の画像信号処理装置。
【請求項１６】
上記ブロック統計量算出手段は、上記ブロック画素間差分値の上記最大値、最小値、及びダイナミックレンジから上記ブロック凹凸判定における上記第２の閾値を算出することを特徴とする請求項１５記載の画像信号処理装置。
【請求項１７】
上記領域切出手段は、上記第１の画像のブロック毎のデータが入力され、上記注目画素が属する注目ブロックにおける該注目画素を含む水平方向及び垂直方向の夫々水平ラインデータ及び垂直ラインデータを上記予測タップとして切り出すことを特徴とする請求項１記載の画像信号処理装置。
【請求項１８】
上記領域切出手段は、上記第１の画像のブロック毎のデータが入力され、上記注目画素が属する注目ブロックにおける該注目画素を含む水平方向及び垂直方向の夫々水平ラインデータ及び垂直ラインデータと、上記注目ブロックに隣接する隣接ブロックにて上記注目画素と水平又は垂直位置が同一で上記注目ブロックに最も近接する隣接ブロック画素とを上記予測タップとして切り出すことを特徴とする請求項１記載の画像信号処理装置。
【請求項１９】
上記クラス分類手段は、上記水平ラインデータ及び上記垂直ラインデータで隣りあう画素間の各差分値が所定の閾値以上である場合に、この画素間にはエッジが存在するものと判定し、このエッジ判定結果に基づき上記注目画素を複数の空間クラスのいずれかに分類することを特徴とする請求項１８記載の画像信号処理装置。
【請求項２０】
上記クラス分類手段は、上記隣接ブロック画素と該隣接ブロック画素に最も近接する画素との差分値が所定値以上である場合に、上記注目ブロックと上記隣接ブロック画素が属する隣接ブロックとの間にはエッジが存在するものと判定し、このエッジ判定結果に基づき上記注目画素を複数の空間クラスのいずれかに分類することを特徴とする請求項１８記載の画像信号処理装置。
【請求項２１】
上記ブロック画素間差分値が所定の閾値未満の場合、上記注目画素が属する注目ブロック全体は、平坦ブロッククラスに分類されることを特徴とする請求項１１記載の画像信号処理装置。
【請求項２２】
上記注目画素とこの注目画素の一方の側にて隣接する画素との間と、上記注目画素とこの注目画素の他方の側にて隣接する画素との間とに共にエッジが存在し、且つ、上記画素間の差分値が共に同一符号である場合、上記注目画素は、エッジ上クラスに分類されることを特徴とする請求項４記載の画像信号処理装置。
【請求項２３】
上記注目画素とこの注目画素の一方の側にて隣接する画素との間と、上記注目画素とこの注目画素の他方の側にて隣接する画素との間とに共にエッジが存在し、且つ、上記画素間の差分値が互いに異符号である場合、上記注目画素は、細線上クラスに分類されることを特徴とする請求項４記載の画像信号処理装置。
【請求項２４】
上記注目画素より一方の側に配置されている各画素間と、上記注目画素から他方の側に配置されている各画素間とのうち、両方向にエッジが存在する場合、上記注目画素は、複雑クラスに分類されることを特徴とする請求項４記載の画像信号処理装置。
【請求項２５】
上記注目画素より一方の側に配置されている各画素間と、上記注目画素から他方の側に配置されている各画素間とのうち、何れか一方の側にエッジが存在する場合、上記注目画素は、単純エッジクラスに分類されることを特徴とする請求項４記載の画像信号処理装置。
【請求項２６】
上記単純エッジクラスは、エッジの位置に基づいて更に異なるクラスに分類されることを特徴とする請求項２５記載の画像信号処理装置。
【請求項２７】
上記第１の画像をフレーム毎に記憶する複数のフレームメモリを有し、
上記領域切出手段は、上記注目画素を含む注目フレーム及びこの注目フレームの前後の複数のフレームが入力され、これら全てのフレームにおいて上記注目画素と同一の位置の画素を上記予測タップとして切り出すことを特徴とする請求項１記載の画像信号処理装置。
【請求項２８】
上記クラス分類手段は、上記全てのフレームにおいて上記注目画素と同一の位置の画素から構成される上記予測タップの上記差分値に基づき、上記注目画素を複数の時間クラスのうち何れかのクラスに分類することを特徴とする請求項２７記載の画像信号処理装置。
【請求項２９】
上記フレーム毎のブロックデータが入力され、上記注目画素が属する注目ブロックにおいて水平方向及び垂直方向に隣接する各画素間の画素値の差分値をブロック画素間差分値として算出するブロック画素間差分値算出手段と、
上記ブロック画素間差分値算出手段で算出された上記注目ブロックにおける上記ブロック画素間差分値の統計に基づきブロック閾値を算出するブロック特徴量算出手段とを有し、
上記クラス分類手段は、上記予測タップにおける隣接フレームの画素間差分値と上記フレーム毎の上記ブロック閾値の最大値とに基づき上記注目画素の時間クラスを分類することを特徴とする請求項２８記載の画像信号処理装置。
【請求項３０】
上記予測タップにおける隣接フレームの画素間差分値が上記フレーム毎の上記ブロック閾値の最大値より大きい場合は、上記画素間差分値を算出したフレームから上記注目フレームとは離隔する方向のフレームの画素を使用不可タップとし、
この使用不可タップ以外の画素を使用可能タップとし、上記クラス分類手段は、上記使用可能タップ数及び使用不可タップ数に基づき上記時間クラスを分類することを特徴とする請求項２９記載の画像信号処理装置。
【請求項３１】
上記予測係数を予め学習する学習手段を有し、
上記学習手段は、教師画像に歪みを付加した生徒画像となる上記第１の画像を生成する画像生成手段と、上記第１の画像から注目画素及びその周辺の複数の第１の画素を予測タップとして切り出す領域切出手段と、上記予測タップのうち所定の位置関係を有する画素間の差分値を算出する差分値算出手段と、上記差分値に基づき、上記予測タップを複数のクラスのうち何れかのクラスに分類するクラス分類手段と、上記教師画像及び上記予測タップから上記第２の画像を予測演算するための予測係数を算出する予測係数算出手段と、予測係数を上記クラス毎に記憶する記憶手段とを有することを特徴とする請求項３０記載の画像信号処理装置。
【請求項３２】
上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、上記未来方向に１以上の上記使用可能タップが存在し、且つ、上記過去方向に１以上の上記使用可能タップが存在する場合、上記注目画素は、第１の時間クラスに分類されることを特徴とする請求項３１記載の画像信号処理装置。
【請求項３３】
上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、未来方向における全てのタップが上記使用不可タップである場合、上記注目画素は、第２の時間クラスに分類されることを特徴とする請求項３０記載の画像信号処理装置。
【請求項３４】
上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、過去方向における全てのタップが上記使用不可タップである場合、上記注目画素は、第３の時間クラスに分類されることを特徴とする請求項３０記載の画像信号処理装置。
【請求項３５】
上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、全てのタップが上記使用不可タップである場合、上記注目画素は、第４の時間クラスに分類されることを特徴とする請求項３０記載の画像信号処理装置。
【請求項３６】
上記学習手段における上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、全ての上記予測タップが上記使用可能タップである場合、上記注目画素は、上記第１の時間クラスに分類されることを特徴とする請求項３２記載の画像信号処理装置。
【請求項３７】
上記推定演算時に上記第１の時間クラスに分類される上記予測タップにおける上記使用不可タップに相当する上記第１の時間クラスに分類され学習された上記学習手段における上記予測タップの予測係数を、上記推定演算時の上記予測タップにおける全ての上記使用可能タップに分配すると共に、該使用不可タップの予測係数を０にすることを特徴とする請求項３６記載の画像信号処理装置。
【請求項３８】
上記学習手段における上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、未来方向における全てのタップのうち１つでも上記使用不可タップがある場合、上記注目画素は、第２の時間クラスに分類されることを特徴とする請求項３３記載の画像信号処理装置。
【請求項３９】
上記推定演算時に上記第２の時間クラスに分類される上記予測タップにおける上記使用不可タップに相当する上記第２の時間クラスに分類され学習された上記学習手段における上記予測タップの予測係数を、上記推定演算時の上記予測タップにおける全ての上記使用可能タップに分配すると共に、該使用不可タップの予測係数を０にすることを特徴とする請求項３８記載の画像信号処理装置。
【請求項４０】
上記学習手段における上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、過去方向における全てのタップのうち１つので上記使用不可タップがある場合、上記注目画素は、第３の時間クラスに分類されることを特徴とする請求項３４記載の画像信号処理装置。
【請求項４１】
上記推定演算時に上記第３の時間クラスに分類される上記予測タップにおける上記使用不可タップに相当する上記第３の時間クラスに分類され使用された上記学習手段における上記予測タップの予測係数を、上記推定演算時の上記予測タップにおける全ての上記使用可能タップに分配すると共に、該使用不可タップの予測係数を０にすることを特徴とする請求項４０記載の画像信号処理装置。
【請求項４２】
上記学習手段における上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、未来方向における全てのタップのうち１つでも上記使用不可タップがあり、且つ過去方向における全てのタップのうち１つでも上記使用不可タップがある場合、上記注目画素は、第４の時間クラスに分類されることを特徴とする請求項３４記載の画像信号処理装置。
【請求項４３】
上記クラス分類手段は、上記ブロックデータにおける上記注目画素の位置に基づきクラス分類することを特徴とする請求項１１記載の画像信号処理装置。
【請求項４４】
上記第１の画像は、ＤＣＴ変換及びＤＣＴ係数の量子化により符号化された画像データが復号されたもの又はＭＰＥＧ復号画像であることを特徴とする請求項１記載の画像信号処理装置。
【請求項４５】
上記第１の画像は、輝度信号及び色差信号を有し、上記クラス分類手段は、上記色差信号に対応する上記輝度信号から上記色差信号の注目画素のクラスを分類することを特徴とする請求項１記載の画像信号処理装置。
【請求項４６】
上記第１の画像がインターレス方式か、プログレッシブ方式かを判定し、この判定結果を記録する特徴量記憶手段を有することを特徴とする請求項４５記載の画像信号処理装置。
【請求項４７】
上記領域切出手段は、クラス分類手段にてクラス分類に使用されるクラスタップを切り出す第１の領域切出手段と、上記推定演算手段にて使用される予測タップを切り出す第２の領域切出手段とを有することを特徴とする請求項１記載の画像処理装置。
【請求項４８】
第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する予測係数を学習する予測係数学習装置において、
原画像に歪みを付加して第１の画像を生成する画像生成手段と、
上記第１の画像から注目画素及びその周辺の複数の第１の画素を予測タップとして切り出す領域切出手段と、
上記予測タップのうち所定の位置関係を有する画素間の差分値を算出する差分値算出手段と、
上記差分値に基づき、上記予測タップを複数のクラスのうち何れかのクラスに分類するクラス分類手段と、
上記予測タップから上記第２の画像を予測演算するための予測係数を算出する予測係数算出手段と、
予測係数を上記クラス毎に記憶する記憶手段と
を有することを特徴とする予測係数学習装置。
【請求項４９】
入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理方法において、
上記第１の画像から、注目画素及びその周辺の複数の画素を予測タップとして切り出す領域切出工程と、
上記予測タップのうち所定の位置関係を有する画素間の差分値を算出する差分値算出工程と、
上記予測タップの差分値に基づき、上記注目画素を複数のクラスのうち何れかのクラスに分類するクラス分類工程と、
上記注目画素が分類されたクラスに対応する予測係数を読み出す読出工程と、
読み出された上記予測係数と上記予測タップとから上記所定の推定演算により上記注目画素の画素値を第２の画像の画素値に変換する推定演算工程とを有することを特徴とする画像信号処理方法。
【請求項５０】
第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する予測係数を学習する予測係数学習方法において、
原画像に歪みを付加して第１の画像を生成する画像生成工程と、
上記第１の画像から注目画素及びその周辺の複数の第１の画素を予測タップとして切り出す領域切出工程と、
上記予測タップのうち所定の位置関係を有する画素間の差分値を算出する差分値算出工程と、
上記差分値に基づき、上記予測タップを複数のクラスのうち何れかのクラスに分類するクラス分類工程と、
上記予測タップから上記第２の画像を予測演算するための予測係数を算出する予測係数算出工程と、
予測係数を上記クラス毎に記憶する記憶工程とを有することを特徴とする予測係数学習方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
【発明の属する技術分野】
本発明は、ＤＣＴ変換及びＤＣＴ変換後に得られるＤＣＴ係数の量子化により生じた歪み等の除去を図った画像信号処理装置及びその方法、並びにＤＣＴ係数を学習するための予測係数学習装置及び予測係数学習方法。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明は、このような従来の実情に鑑みて提案されたものであり、画像データの圧縮／伸長処理を行ったときに生じた歪みを効率的に除去する画像信号処理装置及びその方法、並びに画像信号処理の係数を学習する予測係数学習装置及びその方法を提供することを目的とする。