【手続補正書】
【提出日】平成19年3月2日(2007.3.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理装置および画像処理方法、並びに、学習装置および学習方法
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】  ブロック単位で符号化され、ブロックに対応付けられたインデックスに基づいて復号処理を実行する画像処理装置において、
前記ブロックの近傍の近傍ブロックに対応付けられた前記インデックスを検出するインデックス検出手段と、
前記インデックス検出手段により検出された前記インデックスに対応する代表ベクトルを検出する代表ベクトル検出手段と、
前記代表ベクトル検出手段により検出された前記代表ベクトルのユークリッド空間距離を検出する距離検出手段と、
前記距離検出手段により検出された前記ユークリッド空間距離に基づいて、前記ブロックの代表ベクトルの種類を判定する距離判定手段と、
前記距離判定手段による判定結果に基づいて、前記ブロックを復号するコードブックを選択するコードブック選択手段と
を備えることを特徴とする画像処理装置。
【請求項２】  前記距離判定手段は、
前記コードブックのうち、前記ブロックが静止画ブロックである場合における前記代表ベクトルと前記インデックスとの関係を記憶する静止画コードブロックに基づいて、前記ブロックの代表ベクトルを選択し、その選択された前記代表ベクトルの第１のユークリッド空間距離を演算する第１の演算手段と、
前記コードブックのうち、前記ブロックが動画ブロックである場合における前記代表ベクトルと前記インデックスとの関係を記憶する動画コードブロックに基づいて、前記ブロックの代表ベクトルを選択し、その選択された前記代表ベクトルの第２のユークリッド空間距離を演算する第２の演算手段とを備え、
前記第１のユークリッド空間距離と第２のユークリッド空間距離の大きさに基づいて、前記ブロックの代表ベクトルの種類を判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】  前記距離判定手段は、前記第１のユークリッド空間距離と第２のユークリッド空間距離の差に基づいて、前記ブロックの代表ベクトルの種類を判定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】  前記距離判定手段は、前記ユークリッド空間分布距を、第１のフレームとそれに続く第２フレームの注目ブロックの代表ベクトルと近傍ブロックの代表ベクトルとの差の絶対値の積和値に基づいて演算する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】  前記近傍ブロックに対応付けられた前記インデックスのパターンに基づいて、前記ブロックの代表ベクトルの種類を判定するパターン距離判定手段と、
前記距離判定手段による判定結果、または前記パターン距離判定手段による判定結果のいずれかを選択する判定選択手段と
をさらに備え、
前記判定選択手段は、
前記コードブックのうち、前記ブロックが静止画ブロックである場合における前記代表ベクトルと前記インデックスとの関係を記憶する静止画コードブロックに基づいて、前記ブロックの代表ベクトルを選択し、その選択された前記代表ベクトルの第１のユークリッド空間距離を演算する第１の演算手段と、
前記コードブックのうち、前記ブロックが動画ブロックである場合における前記代表ベクトルと前記インデックスとの関係を記憶する動画コードブロックに基づいて、前記ブロックの代表ベクトルを選択し、その選択された前記代表ベクトルの第２のユークリッド空間距離を演算する第２の演算手段とを備え、
前記第１のユークリッド空間距離と第２のユークリッド空間距離の大きさに基づいて、前記判定結果を選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】  ブロック単位で符号化され、ブロックに対応付けられたインデックスに基づいて復号処理を実行する画像処理装置の画像処理方法において、
前記ブロックの近傍の近傍ブロックに対応付けられた前記インデックスを検出するインデックス検出ステップと、
前記インデックス検出ステップの処理により検出された前記インデックスに対応する代表ベクトルを検出する代表ベクトル検出ステップと、
前記代表ベクトル検出ステップの処理により検出された前記代表ベクトルのユークリッド空間距離を検出する距離検出ステップと、
前記距離検出ステップの処理により検出された前記ユークリッド空間距離に基づいて、前記ブロックの代表ベクトルの種類を判定する距離判定ステップと、
前記判定ステップの処理による判定結果に基づいて、前記ブロックを復号するコードブックを選択するコードブック選択ステップと
を含むことを特徴とする画像処理方法。
【請求項７】  ブロック単位で符号化され、ブロックに対応付けられたインデックスに基づいて復号処理を実行する画像処理装置において、
エラーが存在する前記ブロックを検出するエラーブロック検出手段と、
前記エラーブロック検出手段により検出されたエラーが存在する前記ブロックの近傍の近傍ブロックに対応付けられた前記インデックスを検出するインデックス検出手段と、
前記インデックス検出手段により検出された前記インデックスに対応する代表ベクトルを検出する代表ベクトル検出手段と、
前記代表ベクトル検出手段により検出された前記代表ベクトルの特徴を検出する特徴検出手段と、
予め学習することにより決定されている係数の中から、所定のものを、前記特徴検出手段により検出された前記特徴に基づいて取得する取得手段と、
前記取得手段により取得された係数と、前記代表ベクトル検出手段により検出された前記代表ベクトルに基づいて、前記エラーブロック検出手段により検出されたエラーが存在する前記ブロックのデータを復元する復元手段と
を備えることを特徴とする画像処理装置。
【請求項８】  前記復元手段は、前記取得手段により取得された係数と、前記代表ベクトル検出手段により検出された前記代表ベクトルを構成するデータを用いて、線形１次予測演算を行う
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】  前記係数を記憶する記憶手段をさらに備え、
前記取得手段は、前記記憶手段に記憶されている前記係数の中から、前記特徴検出手段により検出された前記特徴に対応するものを取得する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】  前記特徴検出手段は、前記代表ベクトルの特徴として、ユークリッド空間距離を検出する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１１】  前記特徴検出手段は、
前記近傍ブロックの代表ベクトルの平均値を演算する平均値演算手段と、
前記近傍ブロックの代表ベクトルと、前記近傍ブロックの代表ベクトルの前記平均値との差の最大値を演算する最大値演算手段と、
前記近傍ブロックの代表ベクトルと、前記近傍ブロックの代表ベクトルの前記平均値との差の最小値を演算する最小値演算手段と、
前記最大値と最小値との差を、前記ユークリッド空間距離として演算するユークリッド空間距離演算手段と
を含むことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】  前記特徴検出手段は、前記代表ベクトルの特徴として、前記ユークリッド空間距離の最大値を検出する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】  前記特徴検出手段は、前記代表ベクトルの特徴として、前記ユークリッド空間距離の分散を検出する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】  前記インデックス検出手段により検出された前記近傍インデックスの数を削減する削減手段をさらに備え、
前記取得手段は、前記特徴検出手段により検出された前記特徴と、前記削減手段により削減された前記近傍インデックスに基づいて、前記係数を取得する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１５】  ブロック単位で符号化され、ブロックに対応付けられたインデックスに基づいて復号処理を実行する画像処理装置の画像処理方法において、
エラーが存在する前記ブロックを検出するエラーブロック検出ステップと、
前記エラーブロック検出ステップの処理により検出されたエラーが存在する前記ブロックの近傍のブロックに対応付けられた前記インデックスを検出するインデックス検出ステップと、
前記インデックス検出ステップの処理により検出された前記インデックスに対応する代表ベクトルを検出する代表ベクトル検出ステップと、
前記代表ベクトル検出ステップの処理により検出された前記代表ベクトルの特徴を検出する特徴検出ステップと、
予め学習することにより決定されている係数の中から、所定のものを、前記特徴検出ステップにより検出された前記特徴に基づいて取得する取得ステップと、
前記取得ステップの処理により取得された係数と、前記代表ベクトル検出ステップの処理により検出された前記代表ベクトルに基づいて、前記エラーブロック検出ステップの処理により検出されたエラーが存在する前記ブロックのデータを復元する復元ステップと
を含むことを特徴とする画像処理方法。
【請求項１６】  ブロック単位で符号化され、ブロックに対応付けられたインデックスに基づいて復号処理を行うための予測演算に用いられる係数を学習する学習装置において、
前記インデックスの中から対象インデックスを検出する対象インデックス検出手段と、
前記対象インデックス検出手段により検出された前記対象インデックスに対応する代表ベクトルを教師データとして検出する教師データ検出手段と、
前記対象インデックスの近傍のインデックスを近傍インデックスとして検出する近傍インデックス検出手段と、
前記近傍インデックス検出手段により検出された前記近傍インデックスに対応する代表ベクトルを生徒データとして検出する生徒データ検出手段と、
前記係数と前記生徒データを用いて予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行うことで前記係数を演算する学習手段と
を備えることを特徴とする学習装置。
【請求項１７】  前記学習手段は、前記係数と前記生徒データを用いて線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行う
ことを特徴とする請求項１６に記載の学習装置。
【請求項１８】  前記教師データのうちの、注目している注目教師データを予測するのに前記係数とともに用いる前記生徒データを、予測タップとして抽出する予測タップ抽出手段をさらに備え、
前記学習手段は、前記予測タップと係数を用いて予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行う
ことを特徴とする請求項１６に記載の学習装置。
【請求項１９】  前記注目教師データを、いくつかのクラスのうちのいずれかにクラス分類するのに用いられる生徒データを、クラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップに基づいて、前記注目教師データのクラスを決定するクラス分類手段と  をさらに備え、
前記学習手段は、前記予測タップと前記注目教師データのクラスに対応する係数を用いて予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、クラス毎の前記係数を演算する
ことを特徴とする請求項１８に記載の学習装置。
【請求項２０】  前記クラスタップ抽出手段は、前記生徒データを構成する前記代表ベクトルの特徴に基づいて、前記クラスタップを抽出する
ことを特徴とする請求項１９に記載の学習装置。
【請求項２１】  前記クラスタップ抽出手段は、前記代表ベクトルの特徴として、ユークリッド空間距離を検出する
ことを特徴とする請求項２０に記載の学習装置。
【請求項２２】  前記クラスタップ抽出手段は、前記代表ベクトルの特徴として、前記ユークリッド空間距離の最大値を検出する
ことを特徴とする請求項２１に記載の学習装置。
【請求項２３】  前記クラスタップ抽出手段は、前記代表ベクトルの特徴として、前記ユークリッド空間距離の分散を検出する
ことを特徴とする請求項２１に記載の学習装置。
【請求項２４】  前記クラスタップ抽出手段は、前記近傍インデックス検出手段により検出された前記近傍インデックスの数を削減して、前記クラスタップを抽出する
ことを特徴とする請求項１９に記載の学習装置。
【請求項２５】  前記近傍インデックス検出手段により検出された前記近傍インデックスの数を削減する削減手段をさらに備え、
前記クラスタップ抽出手段は、前記特徴検出手段により検出された前記特徴と、前記削減手段により削減された前記近傍インデックスに基づいて、前記クラスタップを抽出する
ことを特徴とする請求項１９に記載の学習装置。
【請求項２６】  ブロック単位で符号化され、ブロックに対応付けられたインデックスに基づいて復号処理を行うための予測演算に用いられる係数を学習する学習装置の学習方法において、
前記インデックスの中から対象インデックスを検出する対象インデックス検出ステップと、
前記対象インデックス検出ステップの処理により検出された前記対象インデックスに対応する代表ベクトルを教師データとして検出する教師データ検出ステップと、
前記対象インデックスの近傍の近傍インデックスを検出する近傍インデックス検出ステップと、
前記近傍インデックス検出ステップの処理により検出された前記近傍インデックスに対応する代表ベクトルを生徒データとして検出する生徒データ検出ステップと、
前記係数と前記生徒データを用いて予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行うことで前記係数を演算する学習ステップと
を含むことを特徴とする学習方法。
【請求項２７】  ブロック単位で符号化され、ブロックに対応付けられたインデックスに基づいて復号処理を実行する画像処理装置において、
エラーが存在する前記ブロックを検出するエラーブロック検出手段と、
前記エラーブロック検出手段により検出されたエラーが存在する前記ブロックの近傍の近傍ブロックに対応付けられた前記インデックスを検出するインデックス検出手段と、
前記インデックス検出手段により検出された前記インデックスに対応する代表ベクトルを検出する代表ベクトル検出手段と、
前記インデックス検出手段により検出された前記インデックスを削減する削減手段と、
予め学習することにより決定されている係数の中から、所定のものを、前記削減手段により削減された前記インデックスに基づいて取得する取得手段と、
前記取得手段により取得された係数と、前記代表ベクトル検出手段により検出された前記代表ベクトルに基づいて、前記エラーブロック検出手段により検出されたエラーが存在する前記ブロックのデータを復元する復元手段と
を備えることを特徴とする画像処理装置。
【請求項２８】  前記復元手段は、前記取得手段により取得された係数と、前記代表ベクトル検出手段により検出された前記代表ベクトルを構成するデータを用いて、線形１次予測演算を行う
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項２９】  前記係数を記憶する記憶手段をさらに備え、
前記取得手段は、前記記憶手段に記憶されている前記係数の中から、前記特徴検出手段により検出された前記特徴に対応するものを取得する
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項３０】  前記削減手段は、LBG法に基づいて生成されたテーブルに基づいて、前記インデックスを削減する
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項３１】  ブロック単位で符号化され、ブロックに対応付けられたインデックスに基づいて復号処理を実行する画像処理装置の画像処理方法において、
エラーが存在する前記ブロックを検出するエラーブロック検出ステップと、
前記エラーブロック検出ステップの処理により検出されたエラーが存在する前記ブロックの近傍の近傍ブロックに対応付けられた前記インデックスを検出するインデックス検出ステップと、
前記インデックス検出ステップの処理により検出された前記インデックスに対応する代表ベクトルを検出する代表ベクトル検出ステップと、
前記インデックス検出ステップの処理により検出された前記インデックスを削
減する削減ステップと、
予め学習することにより決定されている係数の中から、所定のものを、前記削減ステップにより削減された前記インデックスに基づいて取得する取得ステップと、
前記取得ステップの処理により取得された係数と、前記代表ベクトル検出ステップの処理により検出された前記代表ベクトルに基づいて、前記エラーブロック検出ステップの処理により検出されたエラーが存在する前記ブロックのデータを復元する復元ステップと
を含むことを特徴とする画像処理方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに、学習装置および学習方法に関し、特に、静止画ブロックと動画ブロックとで異なるコードブックを使用して、各部ブロックのデータがベクトル量子化により符号化されている場合において、いずれのコードブックを用いて符号化が行われているのかが、復号時に、簡単かつ確実に、判定できるようにした画像処理装置および画像処理方法、並びに、学習装置および学習方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】削除
【補正の内容】
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】削除
【補正の内容】
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】削除
【補正の内容】
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】削除
【補正の内容】
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】削除
【補正の内容】
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】削除
【補正の内容】
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】削除
【補正の内容】
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】削除
【補正の内容】
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】削除
【補正の内容】
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
本発明の第１の画像処理装置および方法においては、近傍ブロックに対応付けられたインデックスに対応する代表ベクトルが検出され、検出された代表ベクトルのユークリッド空間距離が検出される。そして、ユークリッド空間距離に基づいて、ブロックの代表ベクトルの種類が判定される。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
本発明の第２の画像処理装置および方法においては、エラーが存在するブロックの近傍の近傍ブロックに対応付けられたインデックスが検出され、そのインデックスに対応する代表ベクトルが検出され、その代表ベクトルの特徴が検出される。特徴に対応する係数と代表ベクトルに基づいて、エラーが存在するブロックのデータが復元される。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
本発明の学習装置および方法においては、対象インデックスに対応する代表ベクトルが教師データとして検出され、対象インデックスの近傍のインデックスが近傍インデックスとして検出される。近傍インデックスに対応する代表ベクトルが生徒データとして検出され、係数と生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行うことで係数が演算される。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
本発明の第３の画像処理装置および方法においては、エラーが存在するブロックの近傍の近傍ブロックに対応付けられたインデックスが検出され、そのインデックスに対応する代表ベクトルが検出される。検出されたインデックスは削減され、削減されたインデックスに基づいて係数が取得される。取得された係数と代表ベクトルに基づいて、エラーが存在するブロックのデータが復元される。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】０２９６
【補正方法】変更
【補正の内容】
【０２９６】
【発明の効果】
以上のように、本発明の第１の画像処理装置および方法によれば、近傍ブロックに対応付けられたインデックスに対応する代表ベクトルを検出し、検出した代表ベクトルのユークリッド空間距離を検出し、そのユークリッド空間距離に基づいて、ブロックの代表ベクトルの種類を判定するようにしたので、量子化ベクトル符号化を適用した各ブロックについての静動判定を行なうための動きフラグを受信することなく、ベクトル量子化インデックスのみを受信し、受信したベクトル量子化インデックスに基づいて静動判定テーブルを参照して受信インデックスが動画コードブックのインデックスであるのか、静止画コードブックのインデックスであるのかを判定することが可能となり、各ブロック毎の動きフラグの受信が不要となるので送信データ量の削減が可能となる。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】０２９７
【補正方法】変更
【補正の内容】
【０２９７】
本発明の第２の画像処理装置および方法によれば、エラーが存在するブロックの近傍の近傍ブロックに対応付けられたインデックスを検出し、そのインデックスに対応する代表ベクトルを検出し、その代表ベクトルの特徴をさらに検出する。そして、特徴に対応する係数と代表ベクトルに基づいて、エラーが存在するブロックのデータを復元する。従って、インデックスにエラーが存在する場合においても、復号処理が可能になる。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】０２９８
【補正方法】変更
【補正の内容】
【０２９８】
本発明の学習装置および方法によれば、対象インデックスに対応する代表ベクトルを教師データとして検出し、対象インデックスの近傍のインデックスを近傍インデックスとして検出する。また、近傍インデックスに対応する代表ベクトルを生徒データとして検出し、係数と生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行うことで係数を演算する。従って、インデックスにエラーが存在する場合においても、復号処理を可能にする係数を、確実に得ることができる。そして、正しいインデックスを求め、高精度のデータ復号処理が実現される。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】０２９９
【補正方法】変更
【補正の内容】
【０２９９】
本発明の第３の画像処理装置および方法によれば、エラーが存在するブロックの近傍の近傍ブロックに対応付けられたインデックスを検出し、そのインデックスに対応する代表ベクトルを検出する。さらに検出したインデックスを削減し、削減したインデックスに基づいて係数を取得し、取得した係数と代表ベクトルに基づいて、エラーが存在するブロックのデータを復元する。従って、上述した場合と同様に、インデックスにエラーが存在する場合においても、復号処理を可能にする係数を、確実に得ることができる。そして、正しいインデックスを求め、高精度のデータ復号処理が実現される。