【手続補正書】
【提出日】平成18年6月1日(2006.6.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】  明細書
【発明の名称】  マルティプル分類に基づく適応分類タップ選択方法及び装置
【特許請求の範囲】
【請求項１】 劣化した入力信号（２０１）を復元する信号復元方法において、
上記劣化した入力信号のデータ点を検出するステップと、
上記データ点を含む領域の特性に基づいて、適応クラスタップ構造及び１以上の分類法を使用するステップと、
上記データ点を含む領域を複数のクラスの種類に関して分類するステップ（２１７）と、
上記複数のクラスの種類に基づき、マルティプル分類結果を生成するステップ（２１９）と、
上記マルティプル分類結果に基づき、フィルタ係数を選択するステップ（２２４）と、
上記マルティプル分類結果に対応するフィルタ係数によりデータをフィルタリングして、劣化のないデータを生成するステップ（２２５）と、
上記入力信号（２０１）に対応する劣化のない信号を出力するステップ（２１３）とを有する信号復元方法。
【請求項２】 上記マルティプル分類結果を生成するステップは、上記複数のクラスの種類の複数のクラス識別子に基づいてマルティプル分類結果を生成するステップ（２１９）を有することを特徴とする請求項１記載の信号復元方法。
【請求項３】 クラス識別子に基づいて、上記複数の分類のクラスタップを適応的に選択するステップ（２２１）を有する請求項１記載の信号復元方法。
【請求項４】 動きクラスに基づいて、上記複数の分類のクラスタップを適応的に選択するステップ（１８０９）を有する請求項１記載の信号復元方法。
【請求項５】 エラークラスに基づいて、上記複数の分類のクラスタップを適応的に選択するステップ（１８１１）を有する請求項１記載の信号復元方法。
【請求項６】 動きクラス及びエラークラスに基づいて、上記複数の分類のクラスタップを適応的に選択するステップ（１８１３）を有する請求項１記載の信号復元方法。
【請求項７】 空間的クラスを生成するステップ（１８０７）を有する請求項１記載の信号復元方法。
【請求項８】 適応型ダイナミックレンジコーディング（ＡＤＲＣ）クラスを生成するステップ（１８０７）を有する請求項１記載の信号復元方法。
【請求項９】 差分パルス符号変調（ＤＰＣＭ）クラスを生成するステップを有する請求項１記載の信号復元方法。
【請求項１０】 ベクトル量子化（ＶＱ）クラスを生成するステップを有する請求項１記載の信号復元方法。
【請求項１１】 離散コサイン変換（ＤＣＴ）クラスを生成するステップを有する請求項１記載の信号復元方法。
【請求項１２】 動きクラスを生成するステップ（１８０９）を有する請求項１記載の信号復元方法。
【請求項１３】 エラークラスを生成するステップ（１８１１）を有する請求項１記載の信号復元方法。
【請求項１４】 空間的アクティビティクラスを生成するステップを有する請求項１記載の信号復元方法。
【請求項１５】 ダイナミックレンジクラスを生成するステップを有する請求項１記載の信号復元方法。
【請求項１６】 標準偏差クラスを生成するステップを有する請求項１記載の信号復元方法。
【請求項１７】 ラプラス値クラスを生成するステップを有する請求項１記載の信号復元方法。
【請求項１８】 空間傾斜クラスを生成するステップを有する請求項１記載の信号復元方法。
【請求項１９】 劣化した入力信号（２０１）を復元するためにコンピュータシステムによって使用され、コンピュータにより読取可能なプログラムコードを格納した媒体において、
上記プログラムコードは、
上記コンピュータに、上記劣化した入力信号のデータ点を検出させるプログラムコードと、
上記コンピュータに、上記データ点を含む領域の特性に基づいて、適応クラスタップ構造及び１以上の分類法を使用させるプログラムコードと、
上記コンピュータに、複数のクラスの種類に関して、データ点を含む領域を分類させる（２１７）プログラムコードと、
上記コンピュータに、上記複数のクラスの種類に基づき、マルティプル分類結果を生成させる（２１９）プログラムコードと、
上記コンピュータに、上記マルティプル分類結果に基づき、フィルタ係数を選択させる（２２４）プログラムコードと、
上記コンピュータに、上記マルティプル分類結果に対応するフィルタ係数によりデータをフィルタリングして、劣化のないデータを生成させる（２２５）プログラムコードと、
上記コンピュータに、上記入力信号（２０１）に対応する劣化のない信号を出力させる（２１３）プログラムコードとを含むことを特徴とする媒体。
【請求項２０】 上記プログラムコードは、上記コンピュータに、上記複数のクラスの種類のクラス識別子に基づき、マルティプル分類結果を生成させる（２１９）プログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項２１】 上記プログラムコードは、上記コンピュータに、クラス識別子に基づいて、上記複数の分類のクラスタップを適応的に選択させる（２２１）プログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項２２】 上記プログラムコードは、上記コンピュータに、動きクラスに基づいて、上記複数の分類のクラスタップを適応的に選択させる（１８０９）プログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項２３】 上記プログラムコードは、上記コンピュータに、エラークラスに基づいて、上記複数の分類のクラスタップを適応的に選択させる（１８１１）プログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項２４】 上記プログラムコードは、上記コンピュータに、動きクラス及びエラークラスに基づいて、上記複数の分類のクラスタップを適応的に選択させる（１８１３）プログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項２５】 上記プログラムコードは、上記コンピュータに、空間クラスを生成させる（１８０７）プログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項２６】 上記プログラムコードは、上記コンピュータに、適応型ダイナミックレンジコーディング（ＡＤＲＣ）クラスを生成させる（１８０７）プログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項２７】 上記プログラムコードは、上記コンピュータに、差分パルス符号変調（ＤＰＣＭ）クラスを生成させるプログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項２８】 上記プログラムコードは、上記コンピュータに、ベクトル量子化（ＶＱ）クラスを生成させるプログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項２９】 上記プログラムコードは、上記コンピュータに、離散コサイン変換（ＤＣＴ）クラスを生成させるプログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項３０】 上記プログラムコードは、上記コンピュータに、動きクラスを生成させる（１８０９）プログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項３１】 上記プログラムコードは、上記コンピュータに、エラークラスを生成させる（１８１１）プログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項３２】 上記プログラムコードは、上記コンピュータに、空間的アクティビティクラスを生成させるプログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項３３】 上記プログラムコードは、上記コンピュータに、ダイナミックレンジクラスを生成させるプログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項３４】 上記プログラムコードは、上記コンピュータに、標準偏差クラスを生成させるプログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項３５】 上記プログラムコードは、上記コンピュータに、ラプラス値クラスを生成させるプログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項３６】 上記プログラムコードは、上記コンピュータに、空間傾斜クラスを生成させるプログラムコードを含むことを特徴とする請求項１９記載の媒体。
【請求項３７】 劣化した入力信号を復元する信号復元装置（１８０１）において、
上記劣化した入力信号のデータ点を検出する検出器と、
上記検出器に論理的に接続され、複数のクラスの種類と適応クラス構造とに関して、データを分類する分類器（１８０７，１８０９，１８１１）と、
上記分類器に論理的に接続され、上記複数のクラスの種類についてマルティプル分類結果を生成する結果生成器と、
上記結果生成器に論理的に接続され、上記マルティプル分類結果に基づいてフィルタ係数を選択する選択器（１８１５）と、
上記選択器（１８１５）に論理的に接続され、上記マルティプル分類結果に基づいて選択されたフィルタ係数によりデータをフィルタリングして劣化のない信号を生成するデータ復元器（１８１７）と、
上記データ復元器に接続され、上記入力信号（１８０１）に対応する劣化のない信号（１８２３）を出力する出力器（１８２１）とを備える信号復元装置。
【請求項３８】 上記結果生成器は、上記複数のクラスの種類のクラス識別子に基づいて、マルティプル分類結果を生成することを特徴とする請求項３７記載の信号復元装置。
【請求項３９】 クラス識別子に基づいて、上記複数の分類のクラスタップを適応的に選択する第２の選択器（１８１３）を備える請求項３７記載の信号復元装置。
【請求項４０】 動きクラス（１８０９）に基づいて、上記複数の分類のクラスタップを適応的に選択する第２の選択器（１８１３）を備える請求項３７記載の信号復元装置。
【請求項４１】 エラークラス（１８１１）に基づいて、上記複数の分類のクラスタップを適応的に選択する第２の選択器（１８１３）を備える請求項３７記載の信号復元装置。
【請求項４２】 動きクラス及びエラークラス（１８０９，１８１１）に基づいて、上記複数の分類のクラスタップを適応的に選択する第２の選択器（１８１３）を備える請求項３７記載の信号復元装置。
【請求項４３】 空間クラスを生成する空間クラス生成器（１８０７）を備える請求項３７記載の信号復元装置。
【請求項４４】 適応型ダイナミックレンジコーディング（ＡＤＲＣ）クラスを生成する適応ダイナミックレンジコーディングクラス生成器（１８０７）を備える請求項３７記載の信号復元装置。
【請求項４５】 差分パルス符号変調（ＤＰＣＭ）クラスを生成する差分パルス符号変調クラス生成器を備える請求項３７記載の信号復元装置。
【請求項４６】 ベクトル量子化（ＶＱ）クラスを生成するベクトル量子化クラス生成器を備える請求項３７記載の信号復元装置。
【請求項４７】 離散コサイン変換（ＤＣＴ）クラスを生成する離散コサイン変換クラス生成器を備える請求項３７記載の信号復元装置。
【請求項４８】 動きクラスを生成する動きクラス生成器（１８０９）を備える請求項３７記載の信号復元装置。
【請求項４９】 エラークラスを生成するエラークラス生成器（１８１１）を備える請求項３７記載の信号復元装置。
【請求項５０】 空間的アクティビティクラスを生成する空間的アクティビティクラス生成器を備える請求項３７記載の信号復元装置。
【請求項５１】 ダイナミックレンジクラスを生成するダイナミックレンジクラス生成器を備える請求項３７記載の信号復元装置。
【請求項５２】 標準偏差クラスを生成する標準偏差クラス生成器を備える請求項３７記載の信号復元装置。
【請求項５３】 ラプラス値クラスを生成するラプラス値クラス生成器を備える請求項３７記載の信号復元装置。
【請求項５４】 空間傾斜クラスを生成する空間傾斜クラス生成器を備える請求項３７記載の信号復元装置。
【請求項５５】 劣化した入力信号（１８０１）を復元する信号復元装置において、
上記劣化した入力信号のデータ点を検出する検出手段と、
上記データ点を含む領域の特性に基づいて、適応クラスタップ構造及び１以上の分類法を使用する使用手段と、
複数のクラスの種類に関して、上記データ点を含む領域を分類する分類手段（１８０７，１８０９，１８１１）と、
上記複数のクラスの種類に基づき、マルティプル分類結果を生成するマルティプル分類結果生成手段と、
上記マルティプル分類結果に基づき、フィルタ係数を選択する選択手段（１８１５）と、
上記マルティプル分類結果に対応するフィルタ係数によりデータをフィルタリングして、劣化のないデータを生成するデータ生成手段（１８１７）と、
上記入力信号（１８０１）に対応する劣化のない信号（１８２３）を出力する出力手段（１８２１）とを備える信号復元装置。
【発明の詳細な説明】
【０００１】
本発明の技術分野
本発明は、画像信号、音声信号又はその他の関連付けられた信号の処理に関し、詳しくは、劣化した信号を元の状態に復元するための方法、装置及び製品に関する。
【０００２】
本発明の背景技術
従来、画質が劣化した画像を復元するためには、劣化の原因を分析し、劣化モデル関数（deterioration model function）を決定し、この関数の逆関数を劣化した画像に適用する必要があった。劣化の原因としては、例えばカメラ（ビデオカメラ等の撮像装置）の一定の動き及びカメラの光学素子の汚れ等の原因がある。したがって、画像を復元するために、劣化の原因に応じて異なるモデル関数が使用される。ここで、劣化の原因が解明されないと、モデル関数を決定することができないため、劣化した画像を復元することは困難である。
【０００３】
さらに、劣化に関するモデル関数を確立しても、復元に必要なそのモデル関数に対応する逆関数が存在しない場合もある。このような場合、最適なモデルを決定するための評価を行うことは困難である。
【０００４】
従来より、相関推定（correlation evaluation）による誤り回復が行われている。例えば、従来のエラー画素回復法（error pixel recovery method）を用いた復元選択（recovery choices）が行われている。従来の誤り回復装置のブロック図をＦＩＧ．１Ａに示す。ここでは、ＦＩＧ．１Ｂに示す隣接するデータを用いて、ターゲットデータの空間的傾斜（spatial inclinations）が検出される。この例では、ＦＩＧ．１Ｃに示す式に基づいて、４つの方向に関する傾斜が評価される。ここで、傾斜値（inclination value）Ｅｉの４つの値のうち、最小の値に対応する補間フィルタが選択される。さらに、誤り回復のために、空間的傾斜に加えて、動き係数も評価される。動きのある領域については、選択された空間フィルタが誤り回復に使用される。一方、動きのない領域については、ターゲットデータと同じ位置の前フレーム内のデータが誤り回復に使用される。評価は、ＦＩＧ．１Ａに示す評価回路１１１により実行される。
【０００５】
ＦＩＧ．１Ａ〜ＦＩＧ．１Ｃに示す従来の誤り回復処理は、特にオブジェクトの端部において、データの置換に関する重大な劣化を生じさせることがある。実際の信号分布は、通常、広範囲に変化するため、このような問題は生じやすい。したがって、劣化した信号を劣化のない元の信号に復元する手法であって、データの置換に関する劣化を最小化する手法が望まれている。
【０００６】
発明の開示
本発明は、劣化した信号を劣化のない元の信号に復元するための方法、装置及び製品（article of manufacture）を提供する。劣化した信号は、複数の劣化したデータ点及び劣化のないデータ点を含む。各劣化したデータ点に対して、その劣化したデータ点を含む領域の特性に基づいて、複数のクラスの種類が生成される。データ点は、複数のクラスの種類のうちの１つに関して分類され、対応する入力信号クラスに割り当てられる。入力信号の分類結果に基づき、入力信号を適応的にフィルタリングすることにより、劣化のない信号が生成される。複数のクラスの種類を生成するために、２以上の分類法を使用してもよい。生成されるクラスには、例えば動きクラス、エラークラス、空間クラス、空間的アクティビティクラス等が含まれる。適応クラスタップ構造を用いて、複数のクラスの種類を生成してもよい。適応フィルタタップ構造は、対応する複数のクラスの種類に基づいて使用してもよい。フィルタ係数の数を削減するために、フィルタタップ拡張を用いてもよい。劣化した入力信号は、周辺のエラーを含むデータを前処理することにより変形してもよい。空間クラスは、空間的対称性に基づいて変形してもよい。
【０００７】
実施の形態の詳細な説明
以下の本発明の具体例の説明においては、本出願の一部として添付され、本発明を実現する特定の実施の形態を例示的に示した図面を参照する。ここで、本発明の範囲を逸脱することなく、他の実施の形態を用いてもよく、説明する具体例の構造を変更してもよいことは明らかである。
【０００８】
本発明は、分類適応誤り回復（classified adaptive error recovery）により、劣化した信号を劣化のない元の信号に復元するための方法、装置及び製品（article of manufacture）を提供する。ターゲットデータとは、劣化した信号において、値が決定又は推定される特定のデータを意味する。
【０００９】
分類適応誤り回復とは、分類適応フィルタリング処理を用いた技術である。入力信号の特性に基づいて、劣化した入力信号に関する適切な分類が行われる。誤り回復処理に先行して、各クラス用の適応フィルタが準備される。
【００１０】
複数のクラスを生成するために、２以上の分類法を用いてもよい。生成されるクラスは、例えば動きクラス、エラークラス、空間的アクティビティクラス、空間クラス等である。複数のクラスを生成するために、適応クラスタップ構造を用いてもよい。適応フィルタタップ構造は、例えば、各劣化した入力信号において検出されたクラスに基づいて使用してもよい。適応フィルタタップ構造は、複数のタップ（multiple taps）に基づいて拡張してもよい。複数のタップに同じ係数を割り当てることにより、記憶すべきフィルタ係数の数を削減することができる。この処理をフィルタタップ拡張（filter tap expansion）と呼ぶ。劣化した入力信号は、周辺のエラーを含むデータを前処理することにより変更してもよい。空間クラス削減式（spatial class elimination formula）により、空間クラスを削減することもできる。
【００１１】
本発明は、他の形式の関連付けられたデータ、例えば、これらに限定されるものではないが、写真（photographs）又はその他の２次元静止画像、ホログラム又はその他の３次元静止画像、ビデオ又はその他の２次元動画像、３次元動画像、モノラル音声ストリーム、又はステレオ方式等の複数の空間的に関連するストリームに分割された音声ストリーム等に適用することができる。この説明において、値という用語は、具体例によっては、受信又は生成されたデータ内の成分（component）を指すこともある。さらに、データ点とは、ポジション（position）、場所（place）、時点、位置（location）又はデータ内の範囲を指すものとする。
【００１２】
説明を明瞭にするために、ここでは、画素ストリームを含むビデオデータを中心として本発明を説明する。しかしながら、本発明は、ビデオデータ以外の種類のデータに適用してもよく、ここで本発明を説明するために用いる語句は、広範囲に亘るアプリケーション及びデータの種類を包含するものとする。例えば、適応クラスタップ構造は、マルティプル分類（multiple classification）において使用されているクラスタップ定義の適応構造である。空間クラス、動きクラス、エラークラスは、構造を定義するために使用される。フィルタタップ構造は、対応するクラスに基づくフィルタタップ定義の適応構造である。
【００１３】
クラスは、ターゲットデータの１以上の特性に基づいて定義してもよい。さらに、例えば、クラスは、ターゲットデータを含むグループの１以上の特性に基づいて定義してもよい。クラスＩＤは、特定の特性についてターゲットデータを記述し、他のデータから区別するために使用されるクラス内の特定の値である。クラスＩＤは、数値、シンボル、定義された範囲内のコードのいずれにより表現してもよい。データを評価、推定又は分類するために、所定の又は可変の量としてパラメータを使用してもよい。例えば、特定の動きクラスＩＤは、ターゲットデータを含むブロックの動き量のレベルと、例えば所定の閾値であるパラメータとを比較することにより決定してもよい。
【００１４】
マルティプル分類
一具体例において、マルティプルクラスとは、ターゲットデータの少なくとも２つの異なる特性を記述するために使用される特定の値又は値の組の集合である。例えば、マルティプルクラスは、少なくとも２つの異なるクラスの組合せとして定義してもよい。例えば、マルティプルクラスは、エラークラスと、動きクラスと、例えばＡＤＲＣクラス等の空間クラスとの組合せとして定義できる。
【００１５】
一具体例においては、マルティプルクラスＩＤを用いて、ターゲットデータの値を決定又は推定するための適切なフィルタ係数及び他の情報のアドレスの位置を示すメモリアドレスを指定するようにしてもよい。一具体例では、マルティプルクラスＩＤ内の異なるクラスＩＤの単純な結合をメモリアドレスとして使用する。
【００１６】
すなわち、マルティプル分類法とは、ターゲットデータの値をより正確に決定又は推定するために、ターゲットデータの２以上の特性に関してターゲットデータを分類する手法である。
【００１７】
エラークラスは、ターゲットデータに隣接するエラーを含むデータの様々な分布パターンを記述するために使用される特定の値の集合である。一具体例においては、ターゲットデータに隣接するデータにエラーが含まれているか否かを示すことにより定義される。エラークラスＩＤは、ターゲットデータに隣接するエラーを含むデータの特定の分布パターンを記述するために使用されるエラークラス内の特定の値としてもよい。例えば、エラークラスＩＤ「０」は、ターゲットデータの左右には、エラーを含むデータがないことを示し、エラークラスＩＤ「１」は、ターゲットデータの左に隣接するデータがエラーを含んでいることを示す。フィルタは、データのグループを選択するための数学的処理、関数又はマスクである。
【００１８】
動きクラスは、ターゲットデータの動き特性を記述するための特定の値の集合である。一具体例において、動きクラスは、ターゲットデータを含むブロックに関する、例えば、動きなし、小さな動き、大きな動き等、異なる動きレベルに基づいて定義される。動きクラスＩＤは、ターゲットデータの動き量の特定のレベルを示すために使用される動きクラス内の特定の値である。例えば、動きクラスＩＤ「０」は、動きがないことを示し、動きクラスＩＤ「３」は大きな動きがあることを示す。
【００１９】
空間クラスは、ターゲットデータの空間的特性を記述するための特定の値の集合であってもよい。データの空間的な分類は、例えば、適応ダイナミックレンジコーディング（Adaptive Dynamic Range Coding：ＡＤＲＣ）、差分ＰＣＭ（Differential PCM：ＤＰＣＭ）、ベクトル量子化（Vector Quantization：ＶＱ）、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等により決定することができる。さらに、空間クラスＩＤは、グループ内のターゲットデータ又はターゲットデータを含むブロックの空間的パターンを記述するために使用される空間クラス内の特定の値である。
【００２０】
例えば、ＡＤＲＣクラスは適応型ダイナミックレンジコーディング法によって定義された空間クラスである。さらに、ＡＤＲＣクラスＩＤは、グループ内のターゲットデータ又はターゲットデータを含むブロックのＡＤＲＣパターンを記述するために使用される空間クラス内の特定の値である。クラスは、ターゲットデータの所定の特性を記述するために使用される特定の値の集合である。例えば、動きクラス、空間クラス、エラークラス、空間的活動クラス等、様々な異なる種類のクラスを設けてもよい。
【００２１】
本発明は、１以上のデータクラスの組に対応するデータを生成する適応処理を実現する方法及び装置を提供する。この処理は「分類（classification）」として知られている。分類は、信号分布（signal distribution）の様々な属性に基づいて実現できる。例えば、ＡＤＲＣを用いて各クラスを空間クラスとして生成することができるが、本発明の普遍性を失うことなく、動きクラス、エラークラス、空間的アクティビティクラス等のこの他のクラスを用いてもよいことは、当業者にとって明らかである。空間クラスは、ターゲットデータの空間的特性を記述するための特定の値の集合であってもよい。例えば、データの空間的活動の分類は、ダイナミックレンジ、標準偏差、ラプラス値又は空間的傾斜値等を用いて決定してもよい。劣化した信号の復元を行う前にいくつかの分類を行うことにより、好ましい効果が得られる。例えば、ＡＤＲＣは、各信号波形を自動的に正規化することにより分類を行うことができる。
【００２２】
各クラスに対して、信号復元のための適切なフィルタが適応処理用に準備される。一具体例において、各フィルタは、データに適用されるフィルタ係数の行列により表現される。フィルタ係数は、フィルタリング処理より先に準備処理として実行される、後に具体例を説明するトレーニング処理により生成することができる。本発明の一具体例において、フィルタ係数は、ＦＩＧ．２Ａに示すランダムアクセスメモリ（ＲＡＭ）からなる係数メモリ２０７に格納される。
【００２３】
ＦＩＧ．２Ａは、本発明の信号処理の流れの具体例を示している。ターゲット入力データ２０１とともに、エラーフラグデータ２０３を供給してもよい。エラーフラグデータ２０３は、エラーを有する画素を含むデータ内のエラーの位置を示すことができる。本発明の一具体例においては、分類回路２０５は、各入力ターゲットデータに対してＡＤＲＣクラスＩＤを生成し、係数メモリ２０７は各クラスＩＤに対応するフィルタ係数を出力し、フィルタ２０９はこのフィルタ係数を用いて入力データ２０１をフィルタリングする。フィルタリングされたデータは、誤り回復された結果に対応する。選択器２１１は、エラーフラグデータ２０３に基づいて、誤り回復されたデータとエラーを含まないデータを切り換えて出力する。
【００２４】
ＦＩＧ．２Ｂは、クラスタップが４つの具体例を示す図である。１ビットＡＤＲＣを用いる一具体例においては、式３によって得られる１６個のＡＤＲＣクラスＩＤを使用することができる。ＡＤＲＣは以下に示す式２によって実現される。ローカルのダイナミックレンジ（ＤＲ）は、以下の式１により求められる。
【００２５】
【数１】
2002536935.tif 000001
【００２６】
【数２】
2002536935.tif 000002
【００２７】
【数３】
2002536935.tif 000003
【００２８】
ここで、ｃはＡＤＲＣクラスＩＤに対応し、ＤＲは４つのデータ領域のダイナミックレンジを表し、ＭＡＸは４つのデータの最大レベルを表し、ＭＩＮは４つのデータの最小レベルを表し、ｑｉはＱコードとも呼ばれるＡＤＲＣ符号化されたデータを表し、Ｑは量子化ビット数を表す。演算子［・］は、丸め処理を表す。
【００２９】
例えば、１ビットＡＤＲＣ方式において、ｃはＱ＝１とともに０〜１５の値をとる。この処理は、空間分類の一種であるが、本発明の普遍性を失うことなく、例えば、差分ＰＣＭ（ＤＰＣＭ）、ベクトル量子化（ＶＱ）、離散コサイン変換（ＤＣＴ）等を含む他の空間分類を用いてもよいことは、当業者にとって明らかである。ターゲットデータの分布を分類できるものであれば、いかなる手法を用いてもよい。
【００３０】
ＦＩＧ．２Ｃに示す具体例では、各適応フィルタは１２個のタップを有している。出力データは、次の式４に示す線形結合処理により生成される。
【００３１】
【数４】
2002536935.tif 000004
【００３２】
ここで、ｘｉは入力データであり、ｗｉは各フィルタ係数を表し、ｙは誤り回復処理の後の出力データを表す。誤り回復処理に先立って実行されるトレーニング処理により、各クラスＩＤに対応するフィルタ係数を生成してもよい。
【００３３】
トレーニング処理は、例えば次のような基準に基づいて実行できる。
【００３４】
【数５】
2002536935.tif 000005
【００３５】
ここで、Ｘ、Ｗ及びＹは、次のような行列を表す。すなわち、Ｘは式６により定義される入力データ行列を表し、Ｗは式７により定義される係数行列を表し、Ｙは式８により定義されるターゲットデータ行列を表す。
【００３６】
【数６】
2002536935.tif 000006
【００３７】
【数７】
2002536935.tif 000007
【００３８】
【数８】
2002536935.tif 000008
【００３９】
係数ｗｉは式５に基づいて得ることができ、これにより、ターゲットデータに関する推定誤差が最小限に抑えられる。
【００４０】
ＦＩＧ．２Ｃに示す具体例では、各ＡＤＲＣクラスＩＤに関する１２個の係数が上述のトレーニング処理により決定される。
【００４１】
ＦＩＧ．２Ｄは、本発明に基づく処理を示すフローチャートである。ＦＩＧ．２Ｄに示すフローチャートは、劣化した入力信号から劣化のない元の信号を復元するための基本的な処理の流れを示すものである。ステップ２１５において、周辺のエラーを含む画素に対する前処理が行われる。ステップ２１７において、劣化した入力信号に関する各分類が行われ、クラスＩＤが生成される。他のクラスＩＤに基づいて、いくつかのクラスタップが選択される。ここで、動き分類、エラー分類、空間的アクティビティ分類及び空間分類等のマルティプル分類を行ってもよい。
【００４２】
分類法は、システム設計の段階で定義され、ここで分類法、クラスの数及び他の仕様は、ターゲットデータに基づいて決定される。設計段階には、この他、システム性能及びハードウェアの複雑性に関する検討を含んでもよい。
【００４３】
ステップ２１９において、ステップ２１７における様々な分類処理により生成された複数のクラスＩＤによりマルティプル分類を行い、マルティプルクラスＩＤを生成する。ステップ２２１においては、ステップ２１９において生成されたマルティプルクラスＩＤに基づき、フィルタタップが適応的に選択される。ステップ２２３においては、ステップ２１９において生成されたマルティプルクラスＩＤに基づいて、フィルタタップ構造が適応的に拡張される。複数のタップに同じ係数を割り当てることにより、記憶すべきフィルタ係数の数を削減することができる。この処理をフィルタタップ拡張（filter tap expansion）と呼ぶ。ステップ２２４においては、ステップ２１９において生成されたマルティプルクラスＩＤに基づき、フィルタ係数が選択される。ステップ２２５においては、劣化した入力信号に対するフィルタリング処理が実行され、劣化のない信号が生成される。フィルタ係数は、ステップ２１９のいて生成されたマルティプルクラスＩＤに基づいて、適応的に選択される。
【００４４】
ここで、例えば２次元ＡＤＲＣ処理等の単純な波形分類では、ＦＩＧ．２Ｂに示すような一般的な動画の分離を構造的に実現することができないため、本発明の一具体例においては、３次元ＡＤＲＣ処理を用いて空間−時間分類を行ってもよい。静止領域（stationary area）と動き領域（motion area）の両方を同じクラスＩＤで処理した場合、２つの領域の特性が異なるために、誤り回復の品質が劣化する。
【００４５】
本発明の他の具体例においては、空間分類に加えて、動き分類を用いて時間的特性を簡潔に定義してもよい。さらに、分類適応誤り回復法にマルティプル分類を加えてもよい。例えば、動きクラス、エラークラス、空間的アクティビティクラス及び上述の空間クラス等、様々な種類のクラスが存在する。これらの異なる分類法を２つ以上組み合わせることにより、分類の精度を向上させることができる。
【００４６】
ＦＩＧ．３は、動きクラスタップ構造の具体例を示す図である。この具体例は、エラーを含むターゲットデータに隣接する８つのタップを示す。この具体例においては、８つのタップの時間的差分の総和は、以下に示す式９により評価することができ、また、以下に示す式１０に基づく閾値により、４種類の動きクラスに分類される。本発明の一具体例では、閾値ｔｈ０を３とし、閾値ｔｈ１を８とし、閾値ｔｈ２を２４とする。
【００４７】
【数９】
2002536935.tif 000009
【００４８】
【数１０】
2002536935.tif 000010
【００４９】
この式において、ｆｄは時間的差分の累算値を表し、ｘｉは現フレームの動きクラスタップデータを表し、ｘ’ｉは現フレームに対応する前フレームのタップデータを表し、ｍｃは動きクラスＩＤを表す。この動き分類のために、３つの閾値ｔｈ０、ｔｈ１、ｔｈ２を用いることができる。
【００５０】
本発明の一具体例においては、エラークラスを分類適応誤り回復法とともに使用することができる。この分類は、例えばＦＩＧ．４に例示的に示すようなターゲットデータに隣接するエラーを含むデータの分布パターンに基づいて行われる。この具体例では、単独エラー状態（independent error case）、左エラー状態（left error case）、右エラー状態（right error case）、３連続エラー状態（three consecutive error case）の４つのエラークラスを定義している。
【００５１】
包括的にいえば、ターゲットデータに隣接する画素のフィルタ係数は、誤り回復処理においてより大きな重みを有する。エラーを含むデータに隣接するデータは、誤り回復の結果に大きな影響を与える。エラークラスは、隣接するエラーを含むデータの分布に基づいて、異なる特性を有する領域を他のクラスから分離することにより、この影響を低減することができる。例えば、ＦＩＧ．２Ｂに示す具体例では、ＡＤＲＣ分類は、１６種類のＡＤＲＣクラスＩＤを生成し、動き分類及びエラー分類は、それぞれ４種類のクラスＩＤを生成する。したがって、クラスＩＤの数は、１６×４×４、すなわち２５６個となる。分類は、各信号の特性を表現することにより実現してもよい。マルティプル分類では、異なる分類特性を組み合わせることにより、エラーを含むターゲットデータに関して、適切なクラス及びクラスＩＤを定義することができる。
【００５２】
適応クラスタップ構造
本発明の一具体例においては、適応クラスタップ構造を分類適応誤り回復法とともに使用することができる。ＦＩＧ．５は動きクラスを適応した空間クラスタップ構造の具体例を示す図である。フレーム間タップ（Intra-frame taps）は、静止領域又は動きの小さい動き領域で選択することができる。フィールド間タップ（Intra-field taps）は、通常、動きの大きな動き領域で使用される。この適応処理により適切な適応分類が実現される。
【００５３】
例えば、フレーム間タップは、動きの大きな動き領域の分類に使用され、これにより生成された動き分布は、相関性が低いために、大きく変化し、したがって、ターゲットデータの特性を正しく表現することは困難である。したがって、ＦＩＧ．５に示すような適応クラスタップ構造は有効である。
【００５４】
さらなる具体例をＦＩＧ．６、ＦＩＧ．７、ＦＩＧ．８及びＦＩＧ．９に示す。空間クラスタップは、通常、動きクラス及びエラークラスに基づいて選択される。動き係数に加えて、エラーを含むデータの分布は、空間クラスタップの定義を考慮して選択される。隣接するエラーを含むデータは、通常、空間分類においては使用されない。この定義により、有効なデータのみが使用され、分類の精度が向上する。
【００５５】
適応フィルタタップ構造
本発明の一具体例においては、分類適応誤り回復法に関連して、対応するクラスに基づく適応フィルタタップ構造を用いることができる。ＦＩＧ．１０は、エラークラスに基づく適応フィルタタップ構造の具体例を示す図である。ターゲットデータに関するフィルタタップ構造は、通常、好ましくは隣接する破損したデータを避けて、適応的に定義される。破損したデータは、フィルタリング処理においては選択されない。
【００５６】
適応フィルタタップ構造は、例えばＦＩＧ．１１に示すような動きクラスに基づいて定義してもよい。ＦＩＧ．１０に示す動きクラスの例においては、動きクラス０は、静止領域に対応し、動きクラス３は、動きの大きな動き領域に対応する。動きクラス１及び動きクラス２は、中間的な動き領域に対応する。
【００５７】
静止クラス領域又は疑似静止クラス領域（quasi-stationary class areas）には、ＦＩＧ．１１に示すように、フレーム間タップが使用される。同時に、ターゲットデータの位置における前フレームデータを誤り回復フィルタリングに用いてもよい。これらの領域は、動きクラス０及び動きクラス１に対応する。大きな又は中間の動きを有する動き領域においては、各フィルタは、通常、ＦＩＧ．１１に示すようなフィールドかタップ構造を有する。ＦＩＧ．１１に示すように、前フレームのデータは導入されず、したがって、相関性が低いデータは無視される。このような場合、フィールド間タップによりフィルタリングの性能が向上する。
【００５８】
ＦＩＧ．１２は、動き及びエラークラス適応フィルタタップ構造の具体例を示す図である。ＦＩＧ．１０及びＦＩＧ．１１は、それぞれエラー適応フィルタタップ及び動き適応フィルタタップを示している。ＦＩＧ．１２に示す具体例は、単独エラー状態であるエラークラス０における両方の適応構造を示している。この具体例においては、上位の適応特性（Upper adaptive characteristics）も示している。ＦＩＧ．１２に準じて、ＦＩＧ．１３はエラークラス１に対応し、ＦＩＧ．１４はエラークラス２に対応し、ＦＩＧ．１５はエラークラス３に対応する。
【００５９】
フィルタタップ拡張
本発明の一具体例においては、分類適応誤り回復法に関連して、複数のタップに同じ係数を割り当てることにより、フィルタタップ拡張を行うことができる。ＦＩＧ．１２〜ＦＩＧ．１５の構造には、フィルタタップ拡張も示されている。例えば、ＦＩＧ．１２に示す動きクラス３のフィルタタップ構造は、４つの同じ係数タップを有する。評価の結果に基づき、いくつかのタップ係数を同じ係数に置換することができる。ＦＩＧ．１２に示す具体例は、水平方向及び垂直方向に対称的に配置された４つの係数Ｗ３を有する。この拡張により、１４個の計数は、１８個のタップ領域をカバーする。このような手法により係数メモリ及び例えば加算器や乗算器等のフィルタリングハードウェアを削減することができる。本発明の一具体例では、係数の分布及び視覚的結果を評価することにより、タップの拡張に関する定義（expansion tap definition）を実現することができる。
【００６０】
周辺のエラーを含むデータに対する処理
本発明の一具体例においては、周辺のエラーを含むデータに対する処理を分類適応誤り回復法とともに使用することができる。誤り回復フィルタリングを実現するためには、フィルタタップの周辺のエラーを含む位置に適切なデータが必要である。
【００６１】
この処理の具体例をＦＩＧ．１６のフローチャートに示す。ステップ１６０１，１６０５，１６０９において、ターゲットデータの周辺にエラーを含むデータが存在すると決定された場合、ステップ１６０３，１６０７，１６１１において、エラーを含むデータは、水平方向にエラーがない場合、水平方向の処理されたデータに置換される。ステップ１６１３，１６１７，１６２１において、水平方向に３つ連続するエラーがあると決定された場合、ステップ１６１５，１６１９，１６２３において、垂直処理が適用され、処理されたデータが生成される。この具体例のフレーム間データの周辺の全てにエラーが含まれている場合、ステップ１６２５において、前フレームデータが誤り回復処理に導入される。
【００６２】
ＦＩＧ．１７は、前処理に動き適応処理を用いた他の具体例を示す図である。動き検出ステップであるステップ１７０１において、エラーのないデータを用いて、動き量が検出される。包括的にいえば、次のステップにおいて動き量の総和をエラーのないデータの数で割って平均化することにより、平均動き量が算出される。ステップ１７０３においては、上述の平均動き量と所定の閾値とを比較して、これに基づいて動きタップ又は静止タップのいずれかが選択される。これらのステップの後、ステップ１７０５〜ステップ１７２９は、ＦＩＧ．１６に示すステップ１６０１〜ステップ１６２５と同様の手法により実行される。処理されたデータは、これらの優先順位が付けられた処理（prioritized processes）に基づいて生成され、誤り回復フィルタリング処理に導入される。
【００６３】
空間クラス削減
本発明の一具体例においては、分類適応回復処理において、空間クラスの削減を行うこともできる。上述のように、ＡＤＲＣクラスは、式３により与えられる空間分類に使用することができる。これは、４タップＡＤＲＣの定義において、１６種類のクラスＩＤを有する。これら１６個のクラスＩＤは、以下の式１１に基づいて、８種類のクラスＩＤに削減することができる。
【００６４】
【数１１】
2002536935.tif 000011
【００６５】
ここで、ｃはＡＤＲＣクラスＩＤを表し、ｑｉは量子化データを表し、Ｑは式１及び式２に基づく量子化ビット数を表す。
【００６６】
本発明の一具体例では、式１１は、ＡＤＲＣコードの２進データにおける１の相補処理（1's complement operation）に相当する。これは、各信号波形の対称的特性に関連している。ＡＤＲＣ分類は、ターゲット信号波形の正規化であるため、各ＡＤＲＣコードにおいて１の補数関係を有する２つの波形は、同一のクラスＩＤに分類することができる。ＡＤＲＣクラスの数は、この削減処理により、通常、半分にすることができる。４タップ１ビットＡＤＲＣに基づくＡＤＲＣクラスの削減処理をＦＩＧ．２０に示す。この具体例に式１１を適用することにより、８つのＡＤＲＣクラスの対が生成される。各対は、空間的対称パターンを有し、したがって、これらの対称パターンを利用することにより、ＡＤＲＣクラスＩＤの数を半分にすることができる。空間クラス削減技術は、例えばＤＰＣＭ及びブロック省略コーディング（Block Truncation Coding：ＢＴＣ）を含む他の空間分類技術に適用することもできる。
【００６７】
システム構造
上述の全ての処理実行する本発明の一具体例である、システム全体の構造をＦＩＧ．１８に示す。システムには、入力データ１８０１及びエラーフラグ１８０３が入力される。前処理回路１８０５は、エラーフラグ１８０３を検査して、入力データ１８０１に対する前処理を行う。ＡＤＲＣクラス生成器１８０７は、ＡＤＲＣ分類処理を行い、動きクラス生成器１８０９は、動き分類処理を行い、エラークラス生成器１８１１は、エラー分類処理を行う。
【００６８】
この具体例においては、ＡＤＲＣクラスタップは、例えばＦＩＧ．６〜ＦＩＧ．９に示すようなエラークラス及び動きクラスに基づいて適応的に選択される。フィルタタップ選択器１８１３は、例えばＦＩＧ．１２〜ＦＩＧ．１５に示すようなエラークラス及び動きクラスに基づいて選択される。フィルタ１８１７は、タップデータと、ＡＤＲＣクラス生成器１８０７が生成したＡＤＲＣクラスＩＤ、動きクラス生成器１８０９が生成した動きクラスＩＤ及びエラークラス生成器１８１１が生成したエラークラスＩＤに対応して係数メモリ１８１５から供給されたフィルタ係数とに基づいて、誤り回復フィルタリング処理を実行する。選択器１８２１は、エラーフラグ１８０３に基づいて、誤り回復されたデータと、元よりエラーを含んでいないデータとを切り換え、これにより、このシステムの出力データ１８２３を出力する。
【００６９】
係数メモリのコンテンツの具体例をＦＩＧ．１９に示す。この具体例は、マルティプル分類法に基づき、４×４×８、すなわち１２８個のクラスＩＤを有する。エラークラスは４つのカテゴリを有し、動きクラスは４つのカテゴリを有し、ＡＤＲＣクラスは８つのカテゴリを有し、このカテゴリは、通常、式１１に基づいて半減される。各クラスは、ＦＩＧ．１９に示す各メモリアドレスに対応する。この具体例においては、例えばＦＩＧ．１２〜ＦＩＧ．１５に示すフィルタ定義に応じて、１４個の係数が各クラスＩＤアドレスに格納されている。
【００７０】
本発明は、他の形式の関連付けられたデータ、例えば、これらに限定されるものではないが、写真（photographs）又はその他の２次元静止画像、ホログラム又はその他の３次元静止画像、ビデオ又はその他の２次元動画像、３次元動画像、モノラル音声ストリーム、又はステレオ方式等の複数の空間的に関連するストリームに分割された音声ストリーム等に適用することができる。ＦＩＧ．２１は、本発明に基づき、オーディオ信号に適応される分類の具体例を示す図である。例示的に示されるオーディオ信号２１０１は、１以上の時点ｔ０〜ｔ８においてモニタ（monitor）される。時点ｔ０〜ｔ８におけるオーディオ信号２１０１のレベルは、タップ点Ｘ０〜Ｘ８により与えられる。オーディオ信号２１０１のダイナミックレンジは、最低レベルであるタップ点Ｘ０のレベルと、最高レベルであるタップ点Ｘ４のレベルとの間の差分により求められる。例えば、時点ｔ４においてエラーを含むデータを回復する場合、ＡＤＲＣ分類等の空間分類と、ダイナミックレンジ分類等の空間的アクティビティ分類とによるマルティプル分類を適用することができる。ダイナミックレンジ分類は、式１０に示す動き分類処理と類似する手法でダイナミックレンジを閾値と比較することにより実現される。上述のように、動き分類、エラー分類及び空間分類等を含む分類をマルティプル分類と呼ぶ。例えばビデオデータ等の汎用アプリケーションのために、マルティプル分類に空間的アクティビティ分類を導入してもよい。ダイナミックレンジに加えて、標準偏差、ラプラス値、空間傾斜値等を空間的アクティビティ分類に導入することもできる。
【００７１】
本発明では、上述の技術を適用した分類適応誤り回復法を用いることにより、エラーを含むデータに対する誤り回復処理の質が向上する。本発明は、データの置換に対する劣化を最小化して、劣化したデータを劣化のないデータに復元する手法を提供する。
【００７２】
本発明を特定のシステム環境における具体例により説明したが、特許請求の範囲に基づく本発明の思想及び範囲から逸脱することなく、変形された、この他の又は異なるハードウェア及びソフトウェア環境により本発明を実現できることは、当業者にとって明らかである。
【図面の簡単な説明】
【図１】
ＦＩＧ．１Ａ〜ＦＩＧ．１Ｃは、従来の誤り回復法、フィルタタップ及び傾斜値と補間フィルタ間の対応関係を示す図である。
【図２】
ＦＩＧ．２Ａ〜ＦＩＧ．２Ｃは、本発明を適応した分類適応誤り回復法を説明する図である。
【図３】
ＦＩＧ．２Ｄは、本発明を適応した分類適応誤り回復法のフローチャートである。
【図４】
ＦＩＧ．３は、本発明に基づく動きクラスタップを示す図である。
【図５】
ＦＩＧ．４は、本発明に基づくエラークラスタップを示す図である。
【図６】
ＦＩＧ．５は、本発明に基づく空間クラスタップを示す図である。
【図７】
ＦＩＧ．６は、エラークラス０に対応する空間クラスタップを示す図である。
【図８】
ＦＩＧ．７は、エラークラス１に対応する空間クラスタップを示す図である。
【図９】
ＦＩＧ．８は、エラークラス２に対応する空間クラスタップを示す図である。
【図１０】
ＦＩＧ．９は、エラークラス３に対応する空間クラスタップを示す図である。
【図１１】
ＦＩＧ．１０は、本発明に基づく適応フィルタタップを示す図である。
【図１２】
ＦＩＧ．１１は、本発明に基づく動きクラス適応フィルタタップを示す図である。
【図１３】
ＦＩＧ．１２は、エラークラス０に対応する動きクラス適応フィルタタップを示す図である。
【図１４】
ＦＩＧ．１３は、エラークラス１に対応する動きクラス適応フィルタタップを示す図である。
【図１５】
ＦＩＧ．１４は、エラークラス２に対応する動きクラス適応フィルタタップを示す図である。
【図１６】
ＦＩＧ．１５は、エラークラス３に対応する動きクラス適応フィルタタップを示す図である。
【図１７】
ＦＩＧ．１６は、本発明に基づく前処理のアルゴリズムを示す図である。
【図１８】
ＦＩＧ．１７は、本発明に基づく、動きタップ及び静止タップに対する前処理のアルゴリズムを示す図である。
【図１９】
ＦＩＧ．１８は、本発明に基づくシステムのブロック図である。
【図２０】
ＦＩＧ．１９は、本発明に基づく係数メモリのコンテンツを示す図である。
【図２１】
ＦＩＧ．２０は、本発明に基づく４タップ１ビットＡＤＲＣにおけるＡＤＲＣクラス削減を説明する図である。
【図２２】
ＦＩＧ．２１は、オーディオ信号に対する本発明に基づく適応分類の具体例を示す図である。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2002536935.tif 000012
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2002536935.tif 000013
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2002536935.tif 000014
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2002536935.tif 000015
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2002536935.tif 000016
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2002536935.tif 000017