(57)【特許請求の範囲】
【請求項１】
非静止データを含む劣化した入力信号を復元する信号復元方法において、    上記劣化した入力信号の動きベクトルを検出するステップと、
上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするステップと、
上記劣化した入力信号の劣化したデータ点を検出するステップと、
そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類するステップと、
異なるクラスの組合せを表すマルティプル分類ＩＤを生成するステップと、
上記マルティプル分類ＩＤに従ってフィルタ係数を選択するステップであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するステップと、
を有する信号復元方法。
【請求項２】
上記動きベクトルを検出するステップは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項１記載の信号復元方法。
【請求項３】
上記フィルタリングのためのデータ点は、劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項１記載の信号復元方法。
【請求項４】
上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項１記載の信号復元方法。
【請求項５】
上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項１記載の信号復元方法。
【請求項６】
２以上の分類法を用いて、劣化したデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを更に有する請求項１記載の信号復元方法。
【請求項７】
上記マルティプル分類ＩＤは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスから生成されることを特徴とする請求項２記載の信号復元方法。
【請求項８】
上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項６記載の信号復元方法。
【請求項９】
上記劣化した入力信号は、２次元静止画像、ホログラム画像、３次元静止画像、映像、２次元動画像、３次元動画像、モノラル音声、Ｎチャンネル音声からなるグループから選択されるデータを含むことを特徴とする請求項１記載の信号復元方法。
【請求項１０】
上記劣化のないデータ点及び上記劣化した入力信号に対応する劣化のない信号を出力するステップを更に有する請求項１記載の信号復元方法。
【請求項１１】
劣化したデータ点を復元するデータ点復元方法において、
空間−時間相関を有する劣化したデータ点及び劣化のないデータ点のストリームとして劣化した入力信号を受信するステップと、
上記ストリームのデータ点を動き補償されたストリームに前処理するステップと、
上記ストリームから復元すべきターゲット点を選択するステップと、
そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに従って上記ターゲットデータ点を分類するステップと、
異なるクラスの組合せを表すマルティプル分類ＩＤを生成するステップと、
上記マルティプル分類ＩＤと上記動き補償されたストリームとに基づいて、上記ターゲットデータ点の値を推定するステップとを有し、
上記推定するステップは、
上記マルティプル分類ＩＤに従ってフィルタ係数を選択するステップであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
上記マルティプル分類ＩＤに基づいて上記ターゲットデータ点に対する空間−時間関係を有する少なくとも１つのタップデータ点を選択するステップと、
上記選択されたフィルタ係数に従って上記少なくとも１つのタップデータ点をフィルタリングするステップとを有するデータ点復元方法。
【請求項１２】
上記ストリームは、２次元静止画像、ホログラム画像、３次元静止画像、映像、２次元動画像、３次元動画像、モノラル音声、Ｎチャンネル音声からなるグループから選択される情報を表すことを特徴とする請求項１１記載のデータ点復元方法。
【請求項１３】
上記前処理するステップは、
上記ターゲットデータ点に対応する動きベクトルを検出するステップと、
上記動きベクトルに基づいて上記ストリームのデータ点をシフトするステップとを有することを特徴とする請求項１１記載のデータ点復元方法。
【請求項１４】
上記動きベクトルを検出するステップは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項１３記載のデータ点復元方法。
【請求項１５】
上記少なくとも１つのタップデータ点は、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項１１記載のデータ点復元方法。
【請求項１６】
上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項１３記載のデータ点復元方法。
【請求項１７】
上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項１３記載のデータ点復元方法。
【請求項１８】
２以上の分類法を用いて、上記ターゲットデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを更に有することを特徴とする請求項１１記載のデータ点復元方法。
【請求項１９】
上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項１８記載のデータ点復元方法。
【請求項２０】
上記空間−時間関係は、近接するフィールド、近接するフレーム、及び同じフィールド内の空間的な近接からなるグループから選択されることを特徴とする請求項１１記載のデータ点復元方法。
【請求項２１】
上記マルティプル分類ＩＤは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスから生成されることを特徴とする請求項１１記載のデータ点復元方法。
【請求項２２】
非静止データを含む劣化した入力信号を復元する信号復元装置において、
上記劣化した入力信号の動きベクトルを検出するように構成された動きベクトル検出器と、
上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするように構成されたシフトロジックと、
上記劣化した入力信号の劣化したデータ点を検出し、そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類し、異なるクラスの組合せを表すマルティプル分類ＩＤを生成し、上記マルティプル分類ＩＤに従ってフィルタ係数を選択するように構成されたクラス生成器であって、該フィルタ係数を、単一のフィルタ係数を上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることにより選択するように構成されたクラス生成器と、
上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するように構成されたフィルタとを備える信号復元装置。
【請求項２３】
上記劣化のないデータ点及び上記劣化した入力信号に対応する劣化のない信号を出力するように構成された選択器を更に備える請求項２２記載の信号復元装置。
【請求項２４】
劣化したデータ点を復元するデータ点復元装置において、
空間−時間相関を有する劣化したデータ点及び劣化のないデータ点のストリームとして劣化した入力信号を受信する手段と、
上記ストリームを動き補償されたストリームに前処理するように構成された前処理手段と、
上記ストリームから復元すべきターゲットデータ点を選択し、そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類し、異なるクラスの組合せを表すマルティプル分類ＩＤを生成し、上記マルティプル分類ＩＤに従ってフィルタ係数を選択するように構成されたクラス生成器であって、該フィルタ係数を、単一のフィルタ係数を上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることにより選択するように構成されたクラス生成器と、
上記マルティプル分類ＩＤと動き補償されたストリームとに基づいて、上記ターゲットデータ点の値を推定するように構成されたフィルタと、
を備え、
上記フィルタは、上記マルティプル分類ＩＤに基づいて上記ターゲットデータ点に対する空間−時間関係を有する少なくとも１つのタップデータ点を選択することにより、且つ上記選択されたフィルタ係数に従って上記少なくとも１つのタップデータ点をフィルタリングすることにより上記値を推定するように構成されたことを特徴とするデータ点復元装置。
【請求項２５】
処理システムにより実行されて、非静止データを含む劣化した入力信号を復元する信号復元方法を実行する命令を有するコンピュータにより読取可能な媒体において、該信号復元方法は、
上記劣化した入力信号の動きベクトルを検出するステップと、
上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするステップと、
上記劣化した入力信号の劣化したデータ点を検出するステップと、
そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類するステップと、
異なるクラスの組合せを表すマルティプル分類ＩＤを生成するステップと、
上記マルティプル分類ＩＤに従ってフィルタ係数を選択するステップであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するステップと、
を有することを特徴とするコンピュータにより読取可能な媒体。
【請求項２６】
上記動きベクトルを検出するステップは、劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
【請求項２７】
上記フィルタリングのためのデータ点は、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
【請求項２８】
上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
【請求項２９】
上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
【請求項３０】
上記処理システムにより実行されて、２以上の分類法を用いて、劣化したデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを実行する命令を更に有する請求項２５記載のコンピュータにより読取可能な媒体。
【請求項３１】
上記マルティプル分類ＩＤは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスから生成されることを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
【請求項３２】
上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項３０記載のコンピュータにより読取可能な媒体。
【請求項３３】
上記劣化した入力信号は、２次元静止画像、ホログラム画像、３次元静止画像、映像、２次元動画像、３次元動画像、モノラル音声、Ｎチャンネル音声からなるグループから選択されるデータを含むことを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
【請求項３４】
処理システムにより実行されて、劣化した入力信号を復元する信号復元方法を実行する命令を有するコンピュータにより読取可能な媒体において、該信号復元方法は、
上記劣化のないデータ点及び上記劣化した入力信号に対応する劣化のない信号を出力するステップとを有する請求項２５記載のコンピュータにより読取可能な媒体。
【請求項３５】
処理システムにより実行されて、劣化したデータ点を復元するデータ点復元方法を実行する命令を有するコンピュータにより読取可能な媒体において、該データ点復元方法は、
空間−時間相関を有する劣化したデータ点及び劣化のないデータ点のストリームして劣化した入力信号を受信するステップと、
上記ストリームのデータ点を動き補償されたストリームに前処理するステップと、
上記ストリームから復元すべきターゲット点を選択するステップと、
そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに従って上記ターゲットデータ点を分類するステップと、
異なるクラスの組合せを表すマルティプル分類ＩＤを生成するステップと、
上記マルティプル分類ＩＤと上記動き補償されたストリームとに基づいて、上記ターゲットデータ点の値を推定するステップとを有し、
上記推定するステップは、
上記マルティプル分類ＩＤに従ってフィルタ係数を選択するステップであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
上記マルティプル分類ＩＤに基づいて上記ターゲットデータ点に対する空間−時間関係を有する少なくとも１つのタップデータ点を選択するステップと、
上記選択されたフィルタ係数に従って上記少なくとも１つのタップデータ点をフィルタリングするステップとを有するコンピュータにより読取可能な媒体。
【請求項３６】
上記ストリームは、２次元静止画像、ホログラム画像、３次元静止画像、映像、２次元動画像、３次元動画像、モノラル音声、Ｎチャンネル音声からなるグループから選択される情報を表すことを特徴とする請求項３５記載のコンピュータにより読取可能な媒体。
【請求項３７】
上記前処理するステップは、
上記ターゲットデータ点に対応する動きベクトルを検出するステップと、
上記動きベクトルに基づいて上記ストリームのデータ点をシフトするステップとを有することを特徴とする請求項３５記載のコンピュータにより読取可能な媒体。
【請求項３８】
上記動きベクトルを検出するステップは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項３７記載のコンピュータにより読取可能な媒体。
【請求項３９】
上記少なくとも１つのタップデータ点は、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項３５記載のコンピュータにより読取可能な媒体。
【請求項４０】
上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項３７記載のコンピュータにより読取可能な媒体。
【請求項４１】
上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項３７記載のコンピュータにより読取可能な媒体。
【請求項４２】
２以上の分類法を用いて、上記ターゲットデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを実行する命令を更に有する請求項３５記載のコンピュータにより読取可能な媒体。
【請求項４３】
上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項４２記載のコンピュータにより読取可能な媒体。
【請求項４４】
上記空間−時間関係は、近接するフィールド、近接するフレーム、及び同じフィールド内の空間的な近接からなるグループから選択されることを特徴とする請求項３５記載のコンピュータにより読取可能な媒体。
【請求項４５】
上記マルティプル分類ＩＤは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択される複数のクラスから生成されることを特徴とする請求項３５記載のコンピュータにより読取可能な媒体。
【請求項４６】
非静止データを含む劣化した入力信号を復元する信号復元装置において、
上記劣化した入力信号の動きベクトルを検出するように構成された動きベクトル検出ロジックと、
上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするように構成されたシフトロジックと、
上記劣化した入力信号の劣化したデータ点を検出するように構成されたデータ点検出ロジックと、
そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類するように構成された分類ロジックと、
異なるクラスの組合せを表すマルティプル分類ＩＤを生成するように構成された生成ロジックと、
上記マルティプル分類ＩＤに従ってフィルタ係数を選択するように構成された選択ロジックであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てるように構成された選択ロジックと、
上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するように構成された生成ロジックと、
を備える信号復元装置。
【請求項４７】
上記動きベクトル検出ロジックは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定することを特徴とする請求項４６記載の信号復元装置。
【請求項４８】
上記フィルタリングのためのデータは、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項４６記載の信号復元装置。
【請求項４９】
上記動きベクトル検出ロジックは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより動きベクトルを検出することを特徴とする請求項４６記載の信号復元装置。
【請求項５０】
上記シフトロジックは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するように更に構成されたことを特徴とする請求項４６記載の信号復元装置。
【請求項５１】
上記生成ロジックは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスからマルティプル分類ＩＤを生成するように構成されたことを特徴とする請求項４６記載の信号復元装置。
【請求項５２】
劣化した入力信号を復元する信号復元装置において、
上記劣化のないデータ点及び劣化した入力信号に対応する劣化のない信号を出力する出力ロジックを更に備える請求項４６記載の信号復元装置。
【発明の詳細な説明】
【０００１】
本発明の技術分野
本発明は、画像信号、音声信号又はその他の関連付けられた信号の処理に関し、特に、劣化した信号を劣化のない信号に復元する方法、装置及び製品に関する。
【０００２】
本発明の背景技術
従来、画質が劣化した画像を復元するためには、劣化の原因を分析し、劣化モデル関数（deterioration model function）を決定し、この関数の逆関数を劣化した画像に適用する必要があった。劣化の原因としては、例えばカメラ（ビデオカメラ等の撮像装置）の一定の動き及びカメラの光学素子の汚れ等の原因がある。したがって、画像を復元するために、劣化の原因に応じて異なるモデル関数が使用される。ここで、劣化の原因が解明されないと、モデル関数を決定することができないため、劣化した画像を復元することは困難である。
【０００３】
さらに、劣化に関するモデル関数を確立しても、復元に必要なそのモデル関数に対応する逆関数が存在しない場合もある。このような場合、最適なモデルを決定するための評価を行うことは困難である。
【０００４】
従来、相関推定（correlation evaluation）による誤り回復（error recovery）が行われている。例えば、従来のエラー画素回復法（error pixel recovery method）を用いた回復選択（recovery choices）が行われている。従来の誤り回復装置のブロック図をＦＩＧ．１Ａに示す。ここでは、ＦＩＧ．１Ｂに示す隣接するデータを用いて、ターゲットデータの空間的傾斜（spatial inclinations）が検出される。この例では、ＦＩＧ．１Ｃに示す式に基づいて、４つの方向に関する傾斜が評価される。ここで、傾斜値（inclination value）Ｅｉの４つの値のうち、最小の値に対応する補間フィルタが選択される。さらに、誤り回復のために、空間的傾斜に加えて、動き係数も評価される。動きのある領域については、選択された空間フィルタが誤り回復に使用される。一方、動きのない領域については、ターゲットデータと同じ位置の前フレーム内のデータが誤り回復に使用される。評価は、ＦＩＧ．１Ａに示す評価回路１１１により実行される。
【０００５】
ＦＩＧ．１Ａ〜ＦＩＧ．１Ｃに示す従来の誤り回復処理は、特にオブジェクトの端部において、データの置換（changing data）に関する重大な劣化を生じさせることがある。実際の信号分布は、通常、広範囲に変化するため、このような問題は生じやすい。したがって、劣化した信号を劣化のない信号に復元する手法において、データの置換に関する劣化を最小化する手法が望まれている。
発明の開示
本発明は、劣化した信号を劣化のない信号に復元するための方法、装置及び製品（article of manufacture）を提供する。劣化した信号は、複数の劣化したデータ点及び劣化していないデータ点を含む。各劣化したデータ点に対して、その劣化したデータ点を含む領域の特性に基づいて、複数のクラスの種類が生成される。データ点は、複数のクラスの種類のうちの１つに関して分類され、対応する入力信号クラスに割り当てられる。入力信号の分類結果に基づき、入力信号を適応的にフィルタリングすることにより、劣化のない信号が生成される。複数のクラスの種類を生成するために、２以上の分類法を使用してもよい。生成されるクラスには、例えば動きクラス、エラークラス、空間クラス、空間的アクティビティクラス等が含まれる。適応クラスタップ構造を用いて、複数のクラスの種類を生成してもよい。適応フィルタタップ構造は、対応する複数のクラスの種類基づいて使用してもよい。フィルタ係数の数を削減するために、フィルタタップ拡張を用いてもよい。劣化した入力信号は、周辺のエラーを含むデータを前処理することにより変形してもよい。空間クラスは、空間的対称性に基づいて、変形してもよい。
【０００６】
実施の形態の詳細な説明
以下の本発明の具体例の説明においては、本出願の一部として添付され、本発明を実現する特定の実施の形態を例示的に示した図面を参照する。ここで、本発明の範囲を逸脱することなく、他の実施の形態を用いてもよく、説明する具体例の構造を変更してもよいことは明らかである。
【０００７】
本発明は、分類適応誤り回復（classified adaptive error recovery）により、劣化した信号を劣化のない信号に復元するための方法、装置及び製品（article of manufacture）を提供する。ターゲットデータとは、劣化した信号において、値が決定又は推定される特定のデータを意味する。
【０００８】
分類適応誤り回復とは、分類適応フィルタリング処理を用いた技術である。入力信号の特性に基づいて、劣化した入力信号に関する適切な分類が行われる。誤り回復処理に先行して、各クラス用の適応フィルタが準備される。
【０００９】
複数のクラスを生成するために、２つ以上の分類法を用いてもよい。生成されるクラスは、例えば動きクラス、エラークラス、空間的アクティビティクラス、空間クラス等である。複数のクラスを生成するために、適応クラスタップ構造を用いてもよい。適応フィルタタップ構造は、例えば、各劣化した入力信号において検出されたクラスに基づいて使用してもよい。適応フィルタタップ構造は、マルティプルタップ（multiple taps）に基づいて拡張してもよい。マルティプルタップに同じ係数を割り当てることにより、記憶すべきフィルタ係数の数を削減することができる。この処理をフィルタタップ拡張（filter tap expansion）と呼ぶ。劣化した入力信号は、周辺のエラーを含むデータを前処理することにより変更してもよい。空間クラス削減式（spatial class elimination formula）により、空間クラスを削減することもできる。
【００１０】
本発明は、他の形式の関連付けられたデータ、例えば、これらに限定されるものではないが、写真（photographs）又はその他の２次元静止画像、ホログラム又はその他の３次元静止画像、ビデオ又はその他の２次元動画像、３次元動画像、モノラル音声ストリーム、又はステレオ方式等の複数の空間的に関連するストリームに分割された音声ストリーム等に適用することができる。この説明において、値という用語は、具体例によっては、受信又は生成されたデータ内の成分（component）を指すこともある。さらに、データ点とは、ポジション（position）、場所（place）、時点（instance）、位置（location）又はデータ内の範囲を指すものとする。
【００１１】
説明を明瞭にするために、ここでは、画素ストリームを含むビデオデータを中心として本発明を説明する。しかしながら、本発明は、ビデオデータ以外の種類のデータに適用してもよく、ここで本発明を説明するために用いる語句は、広範囲に亘るアプリケーション及びデータ種類を包含するものとする。例えば、適応クラスタップ構造は、マルティプル分類（multiple classification）において使用されているクラスタップ定義の適応構造である。空間クラス、動きクラス、エラークラスは、構造を定義するために使用される。フィルタタップ構造は、対応するクラスに基づくフィルタタップ定義の適応構造である。
【００１２】
クラスは、ターゲットデータの１つ以上の特性に基づいて定義してもよい。さらに、例えば、クラスは、ターゲットデータを含むグループの１つ以上の特性に基づいて定義してもよい。クラスＩＤは、特定の特性についてターゲットデータを記述し、他のデータから区別するために使用されるクラス内の特定の値である。クラスＩＤは、数値、シンボル、定義された範囲内のコードのいずれにより表現してもよい。データを評価、推定又は分類するために、所定の又は可変の量としてパラメータを使用してもよい。例えば、特定の動きクラスＩＤは、ターゲットデータを含むブロックの動き量のレベルと、例えば所定の閾値であるパラメータとを比較することにより決定してもよい。
【００１３】
元のデータは、データを分類及びフィルタリングする分類適応誤り回復（classified adaptive error recovery）を用いて、隣接するデータに基づいて推定することができる。包括的には、エラーを含むデータに空間的に近接するデータは、空間的な相関性が高いために、正しい値の推定に貢献する。動き領域における分類及びフィルタリングに時間的タップデータが導入された場合、動きにより空間的相関性が低下するため、推定の精度が劣化する。
【００１４】
一具体例においては、適応誤り回復を分類する前に、前処理により動き補償を導入する。すなわち、分類適応誤り回復処理の回復性能を向上させるために、分類適応誤り回復処理を実行する前に、エラーを含むデータに対する動き補償前処理を実行するとよい。
【００１５】
一具体例においては、動き補償前処理は２つの段階を有する。第１の段階は、動きベクトル検出である。第２の段階は、動きベクトルに基づいて、動きが施されるデータ（以下、「記憶されたデータ（memorized data）」と呼ぶ。）のシフトである。前処理の基本的構造をＦＩＧ．２Ａに示す。動き補償構造は、２つの処理要素、すなわち動きベクトル検出器２８０とメモリ２９０とを備える。動きベクトル検出器２８０は、時間的相関を調べることにより、動きベクトルを検出する。ここでは、様々な周知の手法を用いることができる。ここで検出された動きベクトルに基づき、使用される隣接する画像データ、例えばメモリ２９０に記憶されている前フィールド又は前フレームの画像がシフトされる。隣接するデータは、時間的に先行又は後続するデータであってもよく、空間的に隣接するデータであってもよく、隣接しない例えばデータのフレームであってもよい。一具体例においては、このシフト処理は、アクセスするメモリアドレスをシフトし、動き補償されたデータを形成することにより実行される。動き補償されたデータは、後段の分類適応誤り回復処理に供給される。
【００１６】
動き補償前処理により、動き領域のデータの相関性が高まるため、分類適応誤り回復処理の精度が著しく向上する。したがって、これにより、誤り回復の精度が向上した画像を再生することができる。
【００１７】
変形例においては、ＦＩＧ．２Ｂに示すように、動きベクトルクラスタイプを生成する。この装置には、入力データ及び対応するエラーフラグが入力される。動きベクトル検出器２８０は、入力データから動きベクトルを検出する。クラス発生器２０５は、動きベクトルの分類を行う。フィルタタップ選択器２１３は、動きベクトルのクラスに基づいて、フィルタタップを選択する。フィルタ２０９は、タップデータ及び係数メモリ２０７から選択されたフィルタ係数により誤り回復フィルタリングを実行する。選択器２１１は、エラーフラグに基づき、誤り回復されたデータ及びエラーを含まない入力データを選択し、この装置の出力信号を生成する。
【００１８】
ＦＩＧ．２Ａに示す動きベクトル検出器２８０は、画像内の動きベクトルを検出する。動きの具体例をＦＩＧ．２Ｆ及びＦＩＧ．２Ｇに示す。ＦＩＧ．２Ｆにおいて、時刻ｔ＝０における点（ｉ，ｊ）は、第１の位置（ｉ０，ｊ０）に示されている。第２の時刻ｔ＝ａにおける点（ｉ，ｊ）は、第２の位置（ｉａ，ｊａ）に示されている。ＦＩＧ．２Ｆに示す動きベクトルは、点（ｉ０，ｊ０）を始点とし、点（ｉａ，ｊａ）を終点とする線分である。すなわち、画像内に動きがある場合、画像内の動き部分は、その新たな位置にコピーされる。一具体例において、メモリ２９０に格納されている記憶されたデータは、先の時刻ｔ＝０におけるデータである。他の具体例においては、メモリ２９０に格納されている記憶されたデータは、将来の時刻のデータである。動きベクトルは、シフトロジック（shifting logic）により、記憶された画像データの位置を第２の位置、すなわち現在の時刻ｔ＝ａに対応する位置にシフトするために使用される。
【００１９】
ＦＩＧ．２Ｇに示す具体例では、画像データ２５０は、先の時刻ｔ＝Ｔ−１においては、第１の位置にある。一方、現在のフレームにおいて、画像データ２５０は、現在の時刻ｔ＝Ｔ０において、第２の位置に移動している。メモリ２９０は、画像データ２５０が第１の位置に存在する先のフレームデータを記憶している。そして、動きベクトルＭＶが検出されると、メモリ２９０内の画像２５０が第２の位置にシフトされる。
【００２０】
動きベクトルは、様々な手法で検出することができる。動きベクトルを検出するための手法としては、例えば、位相相関法（phase correlation）、こう配降下法（gradient descent）及びブロックマッチング法（block matching）等がある。
【００２１】
以下、位相相関法の具体例を説明する。画像点ｆ（ｘ１，ｘ２）のフーリエ変換をＦ（ω１，ω２）と定義する。フーリエ変換のシフト特性を適用すると、ｆ（ｘ１＋α１，ｘ２＋α２）は、ｅｊ２π（α１ω１＋α２ω２）で表すことができる。したがって、α１及びα２により表される動きベクトル量は、ｆ（ｘ１，ｘ２）及びｆ（ｘ１＋α１，ｘ２＋α２）の両方に対するフーリエ変換を行い、この２つを関係付ける倍数因子（multiplicative factor）を推定することにより推定できる。
【００２２】
次に、こう配降下法の具体例を説明する。画像ｅ（α）の誤差関数は、ｖを実際の動きベクトルとし、αをｖの推定値として、ｆ（ｘ＋ｖ−α）−ｆ（ｘ）として表すことができる。こう配降下法は、ｅ（α）を最小化するために使用される。すなわち、ｅ（α）の最小値が動きベクトルを表す。
【００２３】
ブロックマッチング法の一具体例では、パターンマッチング（pattern matching）を用いて動きベクトルを検出する。例えば、各探索点（例えば、画像内の点）において、時間的相関性が測定される。例えば、各点における現在のブロックデータと対応する過去のブロックデータ間の時間的差分の絶対値の総和に対応する相関値が生成される。全ての又は一部の点における相関値を生成した後、最も小さい値を有する動きベクトルが選択される。これは、動きベクトルを表す最も相関性の高い点を表している。
【００２４】
ＦＩＧ．２Ｈは、ブロックマッチング処理を説明する図である。元のブロックデータは、ＦＩＧ．２Ｈに示すように定義されている。ブロックデータは、ｆ（ｉ０＋Ｘ，ｊ０＋Ｙ）として定義されている。そして、探索点ｆ（ｉ，ｊ）が検出される。時間差の総和は、次の式により表される。
【００２５】
【数１】
0004222753.tif 000002
動きベクトルは、ｍｉｎ｛Ｅ（ｉ，ｊ）｝；−Ｉ≦ｉ≦Ｉ；−Ｊ≦ｊ≦Ｊ｝として決定される。
【００２６】
フレーム間の動きを補償する動き補償前処理により、ことにより、フレーム内のデータ生成を分類適応誤り回復処理に使用することができる。この処理をＦＩＧ．２Ｉを用いて説明する。動き補償導入後は、空間的動的データ（spatial temporal data）を空間的静止データ（spatite stationary data）として取り扱うことができる。ＦＩＧ．２Ｉは、複数の期間に亘る１フレーム内の２つのフィールドを示している。期間Ｔ３におけるフィールド２６０は、エラーを含んでいる。このエラーデータは、期間Ｔ２からのフィールド２６４内の画素２６２に対して高い相関性を有している。このように、動き補償を用いることにより、非静的データを空間及び時間領域で強く相関させることができる。
【００２７】
フィルタリング性能は、動き補償処理とともに先のフィールドデータを用いることにより向上させることができる。後述するように、分類適応誤り回復処理では、エラー分布（error distribution）を分類する。しかしながら、データが非静止データの場合、誤り回復は困難になる。したがって、動き補償により、誤り回復の性能が著しく向上する。また、分類適応誤り回復処理において、動き補償を行うことにより、時間的データの相関性が高まるため、分類の性能も向上する。さらに、空間的（パターン）分類及び空間的アクティビティの分類の性能も向上する。さらに、動き補償処理により時間的なデータの相関性が高まるため、適応フィルタリングの性能も向上する。
【００２８】
マルティプル分類
一具体例において、マルティプルクラスとは、ターゲットデータの少なくとも２つの異なる特性を記述するために使用される特定の値又は値の組の集合である。例えば、マルティプルクラスは、少なくとも２つの異なるクラスの組合せとして定義してもよい。例えば、マルティプルクラスは、エラークラスと、動きクラスと、例えばＡＤＲＣクラス等の空間クラスとの組合せとして定義することができる。
【００２９】
一具体例においては、マルティプルクラスＩＤを用いて、ターゲットデータの値を決定又は推定するための適切なフィルタ係数及び他の情報のアドレスの位置を示すメモリアドレスを指定するようにしてもよい。一具体例では、マルティプルクラスＩＤ内の異なるクラスＩＤの単純な連結をメモリアドレスとして使用する。
【００３０】
すなわち、マルティプル分類法とは、ターゲットデータの値をより正確に決定又は推定するために、ターゲットデータの２つ以上の特性に関してターゲットデータを分類する方法である。
【００３１】
エラークラスは、ターゲットデータに隣接するエラーを含むデータの様々な分布パターンを記述するために使用される特定の値の集合である。一具体例においては、ターゲットデータに隣接するデータにエラーが含まれているか否かを示すことにより定義される。エラークラスＩＤは、ターゲットデータに隣接するエラーを含むデータの特定の分布パターンを記述するために使用されるエラークラス内の特定の値としてもよい。例えば、エラークラスＩＤ「０」は、ターゲットデータの左右のデータがエラーを含まないことを示し、エラークラスＩＤ「１」は、ターゲットデータの左に隣接するデータがエラーを含んでいることを示す。フィルタは、データのグループを選択するための数学的処理、関数又はマスクである。
【００３２】
動きクラスは、ターゲットデータの動き特性を記述するための特定の値の集合である。一具体例において、動きクラスは、ターゲットデータを含むブロックに関する、例えば、動きなし、小さな動き、大きな動き等、異なる動きレベルに基づいて定義される。動きクラスＩＤは、ターゲットデータの動き量の特定のレベルを示すために使用される動きクラス内の特定の値である。例えば、動きクラスＩＤ「０」は、動きがないことを示し、動きクラスＩＤ「３」は大きな動きがあることを示す。
【００３３】
動きベクトルクラスは、ターゲットデータの動きの方向的特性を記述するために使用される特別な値の集合である。一具体例においては、動きベクトルクラスは、ターゲットデータを含むブロックの異なる方向、例えば垂直方向、水平方向又は対角線方向への動きに基づいて定義される。動きベクトルＩＤは、ターゲットデータの動きの特定の方向を指示するために使用される動きベクトルクラス内の特定の値である。ＦＩＧ．２Ｊは、動きベクトルＩＤの具体例を示す図である。例えば、動きベクトルクラスＩＤ「１」は、水平方向の小さな動きを指示するよう定義され、動きベクトルクラス「４」は、垂直方向の大きな動きを指示するよう定義される。動きベクトルクラスＩＤ「０」は、非常に小さな動き又は動きが全くないことを意味する。動きベクトルクラスＩＤ「７」は、方向を特定することなく、非常に速い動きを指示する。非常に速い動きの低下（degradation）は検出することができないため、動きベクトルクラスＩＤ「７」のような単純な動きクラスが使用される。
【００３４】
ＦＩＧ．２Ｊは、動きベクトルの分類の可能な一具体例を示しているにすぎない。動きベクトルの分類は、特定の値及び／又は可能な分類項目数に対応して、サイズ及び領域の形状を様々に変化させることができる。
【００３５】
この具体例においては、対称的構造を用いて、動きベクトル分類の数を削減している。これにより、フィルタの数を削減することができる。他の具体例においては、非対称的な動きベクトル分類を用いてもよい。垂直方向の動きは、オブジェクトのチルト又はピクチャのチルトに対応することもある。この種のピクチャは、特にインタレース画像においては、ピクチャの水平方向の動きから区別される。このように、動き補償分類により、画像の動き方向を特定し、チルトされる画像とパンされる画像とを区別し及び水平方向に移動するオブジェクトと垂直方向に移動するオブジェクトとを区別することができる。ここで、相対的に静止しているオブジェクトを撮像するビデオカメラがあるとする。このビデオカメラは上下にチルトすることもでき、或いは左右にパンすることもできる。これは、カメラが静止しており、オブジェクトが上下（逆）又は左右に移動していることと同じである。動きベクトル分類は、動きベクトルに基づく適応フィルタタップ構造においても利用され、これにより動き分類のみに比べて、推定精度を向上させることができる。
【００３６】
空間クラスは、ターゲットデータの空間的特性を記述するための特定の値の集合であってもよい。データの空間的な分類は、例えば、適応ダイナミックレンジコーディング（Adaptive Dynamic Range Coding：ＡＤＲＣ）、差分ＰＣＭ（Differential PCM：ＤＰＣＭ）、ベクトル量子化（Vector Quantization：ＶＱ）、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等により決定することができる。さらに、空間クラスＩＤは、グループ内のターゲットデータ又はターゲットデータを含むブロックの空間的パターンを記述するために使用される空間クラス内の特定の値である。
【００３７】
例えば、ＡＤＲＣクラスは適応型ダイナミックレンジコーディング法によって定義された空間クラスである。さらに、ＡＤＲＣクラスＩＤは、グループ内のターゲットデータ又はターゲットデータを含むブロックのＡＤＲＣパターンを記述するために使用される空間クラス内の特定の値である。クラスは、ターゲットデータの所定の特性を記述するために使用される特定の値の集合である。例えば、動きクラス、空間クラス、エラークラス、空間的アクティビティクラス等、様々な異なる種類のクラスを設けてもよい。
【００３８】
本発明は、１つ以上のデータクラスの組に対応するデータを生成する適応処理を実現する方法及び装置を提供する。この処理は「分類（classification）」として知られている。分類は、信号分布（signal distribution）の様々な属性に基づいて実現することができる。例えば、ＡＤＲＣを用いて各クラスを空間クラスとして生成することができるが、本発明の普遍性を失うことなく、動きクラス、エラークラス、空間的アクティビティクラス等のこの他のクラスを用いてもよいことは、当業者にとって明らかである。空間クラスは、ターゲットデータの空間的特性を記述するための特定の値の集合であってもよい。例えば、データの空間的アクティビティの分類は、ダイナミックレンジ、標準偏差、ラプラス値又は空間的傾斜値等を用いて決定してもよい。劣化した信号の復元を行う前に幾つかの分類を行うことにより、好ましい効果が得られる。例えば、ＡＤＲＣは、各信号波形を自動的に正規化することにより分類を行うことができる。
【００３９】
各クラスに対して、信号復元のための適切なフィルタが適応処理用に準備される。一具体例において、各フィルタは、データに適用されるフィルタ係数の行列により表現される。フィルタ係数は、フィルタリング処理より先に準備処理として実行される、後に具体例を説明するトレーニング処理により生成することができる。本発明の一具体例において、フィルタ係数は、ＦＩＧ．２Ａに示すランダムアクセスメモリ（ＲＡＭ）からなる係数メモリ２０７に格納される。
【００４０】
ＦＩＧ．２Ａは、本発明の信号処理の流れの具体例を示している。ターゲット入力データ２０１とともに、エラーフラグデータ２０３を供給してもよい。エラーフラグデータ２０３は、エラーを有する画素を含むデータ内のエラーの位置を示すことができる。本発明の一具体例においては、分類回路２０５は、各入力ターゲットデータに対してＡＤＲＣクラスＩＤを生成し、係数メモリ２０７は各クラスＩＤに対応するフィルタ係数を出力し、フィルタ２０９は、これらのフィルタ係数を用いて入力データ２０１をフィルタリングする。フィルタリングされたデータは、誤り回復された結果に対応する。選択器２１１は、エラーフラグデータ２０３に基づいて、誤り回復されたデータとエラーを含まないデータを切り換えて出力する。
【００４１】
ＦＩＧ．２Ｃは、クラスタップが４つの具体例を示す図である。１ビットＡＤＲＣを用いる一具体例においては、式３によって得られる１６個のＡＤＲＣクラスＩＤを使用することができる。ＡＤＲＣは以下に示す式２によって実現される。ローカルのダイナミックレンジ（ＤＲ）は、以下の式１により求められる。
【００４２】
【数２】
0004222753.tif 000003
【００４３】
【数３】
0004222753.tif 000004
【００４４】
【数４】
0004222753.tif 000005
ここで、ｃはＡＤＲＣクラスＩＤに対応し、ＤＲは４つのデータ領域のダイナミックレンジを表し、ＭＡＸは４つのデータの最大レベルを表し、ＭＩＮは４つのデータの最小レベルを表し、ｑｉはＱコードとも呼ばれるＡＤＲＣ符号化されたデータを表し、Ｑは量子化ビット数を表す。演算子［・］は、丸め処理を表す。
【００４５】
例えば、１ビットＡＤＲＣ方式において、ｃはＱ＝１に対して０〜１５の値をとる。この処理は、空間分類の一種であるが、本発明の普遍性を失うことなく、例えば、差分ＰＣＭ（ＤＰＣＭ）、ベクトル量子化（ＶＱ）、離散コサイン変換（ＤＣＴ）等を含む他の空間分類を用いてもよいことは、当業者にとって明らかである。ターゲットデータの分布を分類できるものであれば、いかなる方法を用いてもよい。
【００４６】
ＦＩＧ．２Ｄに示す具体例では、各適応フィルタは１２個のタップを有している。出力データは、次の式４に示す線形組合せ処理により生成される。
【００４７】
【数５】
0004222753.tif 000006
ここで、ｘｉは入力データであり、ｗｉは各フィルタ係数を表し、ｙは誤り回復処理の後の出力データを表す。誤り回復処理に先立って実行されるトレーニング処理により、各クラスＩＤに対応するフィルタ係数を生成してもよい。
【００４８】
トレーニング処理は、例えば次のような基準に基づいて実行することができる。
【００４９】
【数６】
0004222753.tif 000007
ここで、Ｘ、Ｗ及びＹは、次のような行列を表す。すなわち、Ｘは式６により定義される入力データ行列を表し、Ｗは式７により定義される係数行列を表し、Ｙは式８により定義されるターゲットデータ行列を表す。
【００５０】
【数７】
0004222753.tif 000008
【００５１】
【数８】
0004222753.tif 000009
【００５２】
【数９】
0004222753.tif 000010
係数ｗｉは式５に基づいて得ることができ、これにより、ターゲットデータに関する推定誤差が最小限に抑えられる。
【００５３】
ＦＩＧ．２Ｄに示す具体例では、各ＡＤＲＣクラスＩＤに関する１２個の係数が上述のトレーニング処理により決定される。
【００５４】
ＦＩＧ．２Ｅは、本発明に基づく処理を示すフローチャートである。ＦＩＧ．２Ｅに示すフローチャートは、劣化した入力信号から劣化のない信号を復元するための基本的な処理の流れを示すものである。ステップ２１５において、周辺のエラーを含む画素に対する前処理が行われる。ステップ２１７において、劣化した入力信号に関する各分類が行われ、クラスＩＤが生成される。他のクラスＩＤに基づいて、幾つかのクラスタップが選択される。ここで、動き分類、エラー分類、空間的アクティビティ分類及び空間分類等のマルティプル分類を行ってもよい。
【００５５】
分類法は、装置設計の段階で決定され、ここで分類法、クラスの数及び他の仕様は、ターゲットデータに基づいて決定される。設計段階では、この他、装置性能及びハードウェアの複雑性に関する検討を含んでもよい。
【００５６】
ステップ２１９において、ステップ２１７における様々な分類処理により生成された複数のクラスＩＤによりマルティプル分類を行い、マルティプルクラスＩＤを生成する。ステップ２２１においては、ステップ２１９において生成されたマルティプルクラスＩＤに基づき、フィルタタップが適応的に選択される。ステップ２２３においては、ステップ２１９において生成されたマルティプルクラスＩＤに基づいて、フィルタタップ構造が適応的に拡張される。マルティプルタップに同じ係数を割り当てることにより、記憶すべきフィルタ係数の数を削減することができる。この処理をフィルタタップ拡張（filter tap expansion）と呼ぶ。ステップ２２４においては、ステップ２１９において生成されたマルティプルクラスＩＤに基づき、フィルタ係数が選択される。ステップ２２５においては、劣化した入力信号に対するフィルタリング処理が実行され、劣化のない信号が生成される。フィルタ係数は、ステップ２１９において生成されたマルティプルクラスＩＤに基づいて、適応的に選択される。
【００５７】
ここで、例えば２次元ＡＤＲＣ処理等の単純な波形分類では、ＦＩＧ．２Ｃに示すような一般的な動画の分離を構造的に実現することができないため、本発明の一具体例においては、３次元ＡＤＲＣ処理を用いて空間−時間分類を行ってもよい。静止領域（stationary area）と動き領域（motion area）の両方を同じクラスＩＤで処理した場合、２つの領域の特性が異なるために、誤り回復の品質が劣化する。
【００５８】
本発明の他の具体例においては、空間分類に加えて、動き分類を用いて時間的特性を簡潔に定義してもよい。さらに、分類適応誤り回復法にマルティプル分類を加えてもよい。例えば、動きクラス、エラークラス、空間的アクティビティクラス及び上述の空間クラス等、様々な種類のクラスが存在する。これらの異なる分類法を２つ以上組み合わせることにより、分類の精度を向上させることができる。
【００５９】
ＦＩＧ．３は、動きクラスタップ構造の具体例を示す図である。この具体例は、エラーを含むターゲットデータに隣接する８つのタップを示す。この具体例においては、８つのタップの時間的差分の総和は、以下に示す式９により評価することができ、また、以下に示す式１０に基づく閾値により、４種類の動きクラスに分類される。本発明の一具体例では、閾値ｔｈ０を３とし、閾値ｔｈ１を８とし、閾値ｔｈ２を２４とする。
【００６０】
【数１０】
0004222753.tif 000011
【００６１】
【数１１】
0004222753.tif 000012
この式において、ｆｄは時間的差分の累算値を表し、ｘｉは現フレームの動きクラスタップデータを表し、ｘ’ｉは現フレームに対応する前フレームのタップデータを表し、ｍｃは動きクラスＩＤを表す。この動き分類のために、３つの閾値ｔｈ０、ｔｈ１、ｔｈ２を用いることができる。
【００６２】
本発明の一具体例においては、エラークラスを分類適応誤り回復法とともに使用することができる。この分類は、例えばＦＩＧ．４に例示的に示すようなターゲットデータに隣接するエラーを含むデータの分布パターンに基づいて行われる。この具体例では、単独エラー状態（independent error case）、左エラー状態（left error case）、右エラー状態（right error case）、３連続エラー状態（three consecutive error case）の４つのエラークラスを定義している。
【００６３】
包括的にいえば、ターゲットデータに隣接する画素のフィルタ係数は、誤り回復処理においてより大きな重みを有する。エラーを含むデータに隣接するデータは、誤り回復の結果に大きな影響を与える。エラークラスは、隣接するエラーを含むデータの分布に基づいて、異なる特性を有する領域を他のクラスから分離することにより、この影響を低減することができる。例えば、ＦＩＧ．２Ｃに示す具体例では、ＡＤＲＣ分類は、１６種類のＡＤＲＣクラスＩＤを生成し、動き分類及びエラー分類は、それぞれ４種類のクラスＩＤを生成する。したがって、クラスＩＤの数は、１６×４×４、すなわち２５６個となる。分類は、各信号の特性を表現することにより実現してもよい。マルティプル分類では、異なる分類特性を組み合せることにより、エラーを含むターゲットデータに関して、適切なクラス及びクラスＩＤを定義することができる。
【００６４】
適応クラスタップ構造
本発明の一具体例においては、適応クラスタップ構造を分類適応誤り回復法とともに使用することができる。ＦＩＧ．５は動きクラスを適応した空間クラスタップ構造の具体例を示す図である。フレーム間タップ（Intra-frame taps）は、静止領域又は動きの小さい動き領域で選択することができる。フィールド間タップ（Intra-field taps）は、通常、動きの大きな動き領域で使用される。この適応処理により適切な適応分類が実現される。
【００６５】
例えば、フレーム間タップは、動きの大きな動き領域の分類に使用され、これにより生成された動き分布は、相関性が低いために、大きく変化し、したがって、ターゲットデータの特性を正しく表現することは困難である。したがって、ＦＩＧ．５に示すような適応クラスタップ構造は有効である。
【００６６】
さらなる具体例をＦＩＧ．６、ＦＩＧ．７、ＦＩＧ．８及びＦＩＧ．９に示す。空間クラスタップは、通常、動きクラス及びエラークラスに基づいて選択される。動き係数に加えて、エラーを含むデータの分布は、空間クラスタップの定義を考慮して選択される。隣接するエラーを含むデータは、通常、空間分類においては使用されない。この定義により、有効なデータのみが使用され、分類の精度が向上する。
【００６７】
適応フィルタタップ構造
本発明の一具体例においては、分類適応誤り回復法に関連して、対応するクラスに基づく適応フィルタタップ構造を用いることができる。ＦＩＧ．１０は、エラークラスに基づく適応フィルタタップ構造の具体例を示す図である。ターゲットデータに関するフィルタタップ構造は、通常、好ましくは隣接する破損したデータを避けて、適応的に定義される。破損したデータは、フィルタリング処理においては選択されない。
【００６８】
適応フィルタタップ構造は、例えばＦＩＧ．１１に示すような動きクラスに基づいて定義してもよい。ＦＩＧ．１０に示す動きクラスの例においては、動きクラス０は、静止領域に対応し、動きクラス３は、動きの大きな動き領域に対応する。動きクラス１及び動きクラス２は、中間的な動き領域に対応する。
【００６９】
静止クラス領域又は疑似静止クラス領域（quasi-stationary class areas）には、ＦＩＧ．１１に示すように、フレーム間タップが使用される。同時に、ターゲットデータの位置における前フレームデータを誤り回復フィルタリングに用いてもよい。これらの領域は、動きクラス０及び動きクラス１に対応する。速い又は中間の動きを有する動き領域においては、各フィルタは、通常、ＦＩＧ．１１に示すようなフィールド間タップ構造を有する。ＦＩＧ．１１に示すように、前フレームのデータは導入されず、したがって、相関性が低いデータは無視される。このような場合、フィールド間タップによりフィルタリングの性能が向上する。
【００７０】
ＦＩＧ．１２は、動き及びエラークラス適応フィルタタップ構造の具体例を示す図である。ＦＩＧ．１０及びＦＩＧ．１１は、それぞれエラー適応フィルタタップ及び動き適応フィルタタップを示している。ＦＩＧ．１２に示す具体例は、単独エラー状態であるエラークラス０における両方の適応構造を示している。この具体例においては、上位の適応特性（Upper adaptive characteristics）も示している。ＦＩＧ．１２に準じて、ＦＩＧ．１３はエラークラス１に対応し、ＦＩＧ．１４はエラークラス２に対応し、ＦＩＧ．１５はエラークラス３に対応する。
【００７１】
フィルタタップ拡張
本発明の一具体例においては、分類適応誤り回復法に関連して、複数のタップに同じ係数を割り当てることにより、フィルタタップ拡張を行うことができる。ＦＩＧ．１２〜ＦＩＧ．１５の構造には、フィルタタップ拡張も示されている。例えば、ＦＩＧ．１２に示す動きクラス３のフィルタタップ構造は、４つの同じ係数タップを有する。評価の結果に基づき、幾つかのタップ係数を同じ係数に置換することができる。ＦＩＧ．１２に示す具体例は、水平方向及び垂直方向に対称的に配置された４つの係数Ｗ３を有する。この拡張により、１４個の係数は、１８個のタップ領域をカバーする。このような方法により係数メモリ及び例えば加算器や乗算器等のフィルタのハードウェアを削減することができる。本発明の一具体例では、係数の分布及び視覚的結果を評価することにより、タップの拡張に関する定義（expansion tap definition）を実現することができる。
【００７２】
周辺のエラーを含むデータに対する処理
本発明の一具体例においては、周辺のエラーを含むデータに対する処理を分類適応誤り回復法とともに使用することができる。誤り回復フィルタリングを実現するためには、フィルタタップの周辺のエラーを含む位置に適切なデータが必要である。
【００７３】
この処理の具体例をＦＩＧ．１６のフローチャートに示す。ステップ１６０１，１６０５，１６０９において、ターゲットデータの周辺にエラーを含むデータが存在すると判定された場合、ステップ１６０３，１６０７，１６１１において、エラーを含むデータは、水平方向にエラーがない場合、水平方向の処理されたデータに置換される。ステップ１６１３，１６１７，１６２１において、水平方向に３つ連続するエラーがあると判定された場合、ステップ１６１５，１６１９，１６２３において、垂直処理が適用され、処理されたデータが生成される。この具体例のフレーム間データの周辺の全てにエラーが含まれている場合、ステップ１６２５において、前フレームデータが誤り回復処理に導入される。
【００７４】
ＦＩＧ．１７は、前処理に動き適応処理を用いた他の具体例を示す図である。動き検出ステップであるステップ１７０１において、エラーのないデータを用いて、動き量が検出される。包括的にいえば、次のステップにおいて動き量の総和をエラーのないデータの数で割って平均化することにより、平均動き量が算出される。ステップ１７０３においては、上述の平均動き量と所定の閾値とを比較して、これに基づいて動きタップ又は静止タップのいずれかが選択される。これらのステップの後、ステップ１７０５〜ステップ１７２９は、ＦＩＧ．１６に示すステップ１６０１〜ステップ１６２５と同様の方法により実行される。処理されたデータは、これらの優先順位が付けられた処理（prioritized processes）に基づいて生成され、誤り回復フィルタリング処理に導入される。
【００７５】
空間クラス削減
本発明の一具体例においては、分類適応回復処理において、空間クラスの削減を行うこともできる。上述のように、ＡＤＲＣクラスは、式３により与えられる空間分類に使用することができる。これは、４タップＡＤＲＣの定義において、１６種類のクラスＩＤを有する。これら１６個のクラスＩＤは、以下の式１１に基づいて、８種類のクラスＩＤに削減することができる。
【００７６】
【数１２】
0004222753.tif 000013
ここで、ｃはＡＤＲＣクラスＩＤを表し、ｑｉは量子化データを表し、Ｑは式１及び式２に基づく量子化ビット数を表す。
【００７７】
本発明の一具体例では、式１１は、ＡＤＲＣコードの２進データにおける１の補数処理（1 's complement operation）に相当する。これは、各信号波形の対称的特性に関連している。ＡＤＲＣ分類は、ターゲット信号波形の正規化であるため、各ＡＤＲＣコードにおいて１の補数関係を有する２つの波形は、同一のクラスＩＤに分類することができる。ＡＤＲＣクラスの数は、この削減処理により、通常、半分にすることができる。４タップ１ビットＡＤＲＣに基づくＡＤＲＣクラスの削減処理をＦＩＧ．２０に示す。この具体例に式１１を適用することにより、８つのＡＤＲＣクラスの対が生成される。各対は、空間的対称パターンを有し、したがって、これらの対称パターンを利用することにより、ＡＤＲＣクラスＩＤの数を半分にすることができる。空間クラス削減技術は、例えばＤＰＣＭ及びブロック打切りコーディング（Block Truncation Coding：ＢＴＣ）を含む他の空間分類技術にも適用することもできる。
【００７８】
装置構造
上述の全ての処理実行する本発明の一具体例である、装置全体の構造をＦＩＧ．１８Ａに示す。装置には、入力データ１８０１及びエラーフラグ１８０３が入力される。前処理回路１８０５は、エラーフラグ１８０３を検査して、入力データ１８０１に対する前処理を行う。ＡＤＲＣクラス生成器１８０７は、ＡＤＲＣ分類処理を行い、動きクラス生成器１８０９は、動き分類処理を行い、エラークラス生成器１８１１は、エラー分類処理を行う。
【００７９】
この具体例においては、ＡＤＲＣクラスタップは、エラークラス及び動きクラスに基づいて適応的に選択される。フィルタタップ選択器１８１３は、エラークラス及び動きクラスに基づいてフィルタタップを選択する。フィルタ１８１７は、タップデータと、ＡＤＲＣクラス生成器１８０７が生成したＡＤＲＣクラスＩＤ、動きクラス生成器１８０９が生成した動きクラスＩＤ及びエラークラス生成器１８１１が生成したエラークラスＩＤに対応して係数メモリ１８１５から供給されたフィルタ係数とに基づいて、誤り回復フィルタリング処理を実行する。選択器１８２１は、エラーフラグ１８０３に基づいて、誤り回復されたデータと、元よりエラーを含んでいないデータとを切り換え、これにより、この装置の出力データ１８２３を出力する。
【００８０】
動きベクトルクラス生成器１８０９の構成の具体例をＦＩＧ．１８Ｂに示す。動きベクトル検出器１８３９は、例えば上述したブロックマッチング法等の手法を用いて動きベクトルを検出する。動きベクトルは、ターゲットデータについて検出される。動きクラス生成器１８４１は、生成された動きベクトルを用いて、例えばＦＩＧ．２Ｊに示すような３ビット量子化されたデータとして、動きベクトルの特徴を識別する。すなわち、量子化されたデータは、係数メモリ１８１５にアクセスするために使用される動きベクトルクラスを表す。動きベクトル分類を用いることにより、誤り回復処理の推定性能は著しく向上する。
【００８１】
係数メモリの内容の具体例をＦＩＧ．１９に示す。この具体例は、マルティプル分類法に基づき、４×４×８、すなわち１２８個のクラスＩＤを有する。エラークラスは４つのカテゴリを有し、動きクラスは４つのカテゴリを有し、ＡＤＲＣクラスは８つのカテゴリを有し、このカテゴリは、通常、式１１に基づいて半減される。各クラスは、ＦＩＧ．１９に示す各メモリアドレスに対応する。この具体例においては、例えばＦＩＧ．１２〜ＦＩＧ．１５に示すフィルタ定義に応じて、１４個の係数が各クラスＩＤアドレスに格納されている。
【００８２】
本発明は、他の形式の関連付けられたデータ、例えば、これらに限定されるものではないが、写真（photographs）又はその他の２次元静止画像、ホログラム又はその他の３次元静止画像、ビデオ又はその他の２次元動画像、３次元動画像、モノラル音声ストリーム、又はステレオ方式等の複数の空間的に関連するストリームに分割された音声ストリーム等に適用することができる。ＦＩＧ．２１は、本発明に基づき、オーディオ信号に適応される分類の具体例を示す図である。例示的に示されるオーディオ信号２１０１は、１つ以上の時点ｔ０〜ｔ８においてモニタ（monitor）される。時点ｔ０〜ｔ８におけるオーディオ信号２１０１のレベルは、タップ点Ｘ０〜Ｘ８により与えられる。オーディオ信号２１０１のダイナミックレンジは、最低レベルであるタップ点Ｘ０のレベルと、最高レベルであるタップ点Ｘ４のレベルとの間の差分により求められる。例えば、時点ｔ４においてエラーを含むデータを回復する場合、ＡＤＲＣ分類等の空間分類と、ダイナミックレンジ分類等の空間的アクティビティ分類とによるマルティプル分類を適用することができる。ダイナミックレンジ分類は、式１０に示す動き分類処理と類似する方法でダイナミックレンジを閾値と比較することにより実現される。上述のように、動き分類、エラー分類及び空間分類等を含む分類をマルティプル分類と呼ぶ。例えばビデオデータ等の汎用アプリケーションのために、マルティプル分類に空間的アクティビティ分類を導入してもよい。ダイナミックレンジに加えて、標準偏差、ラプラス値、空間傾斜値等を空間的アクティビティ分類に導入することもできる。
【００８３】
本発明では、上述の技術を適用した分類適応誤り回復法を用いることにより、エラーを含むデータに対する誤り回復処理の質が向上する。本発明は、データの置換に対する劣化を最小化して、劣化したデータを劣化のないデータに復元する方法を提供する。
【００８４】
本発明を特定の装置環境における具体例により説明したが、添付した請求の範囲に基づく本発明の思想及び範囲から逸脱することなく、変形された、この他の又は異なるハードウェア及びソフトウェア環境により本発明を実現できることは、当業者にとって明らかである。
【図面の簡単な説明】
【図１】  ＦＩＧ．１Ａ〜ＦＩＧ．１Ｃは、従来の誤り回復法、フィルタタップ及び傾斜値と補間フィルタ間の対応関係を示す図である。
【図２】  ＦＩＧ．２Ａは、本発明を適応したクラスに対応する分類適応誤り回復法を説明する図である。
【図３】  ＦＩＧ．２Ｂは、本発明を適応したクラスに対応する分類適応誤り回復法を説明する図である。
【図４】  ＦＩＧ．２Ｃ及びＦＩＧ．２Ｄは、本発明を適応したクラスに対応する分類適応誤り回復法を説明する図である。
【図５】  ＦＩＧ．２Ｅは、本発明を適応した分類適応誤り回復法のフローチャートである。
【図６】  ＦＩＧ．２Ｆ及びＦＩＧ．２Ｇは、本発明を適用した動き補償処理を説明する図である。
【図７】  ＦＩＧ．２Ｈは、本発明を適用した動き補償処理を説明する図である。
【図８】  ＦＩＧ．２Ｉは、本発明を適用した動き補償処理を説明する図である。
【図９】  ＦＩＧ．２Ｊは、本発明に基づく動きベクトルフィールドを説明する図である。
【図１０】  ＦＩＧ．３は、本発明に基づく動きクラスタップを示す図である。
【図１１】  ＦＩＧ．４は、本発明に基づくエラークラスタップを示す図である。
【図１２】  ＦＩＧ．５は、本発明に基づく空間クラスタップを示す図であり、ＦＩＧ．６は、エラークラス０に対応する空間クラスタップを示す図である。
【図１３】  ＦＩＧ．７は、エラークラス１に対応する空間クラスタップを示す図であり、ＦＩＧ．８は、エラークラス２に対応する空間クラスタップを示す図である。
【図１４】  ＦＩＧ．９は、エラークラス３に対応する空間クラスタップを示す図である。
【図１５】  ＦＩＧ．１０は、本発明に基づく適応フィルタタップを示す図である。
【図１６】  ＦＩＧ．１１は、本発明に基づく動きクラス適応フィルタタップを示す図である。
【図１７】  ＦＩＧ．１２は、エラークラス０に対応する動きクラス適応フィルタタップを示す図である。
【図１８】  ＦＩＧ．１３は、エラークラス１に対応する動きクラス適応フィルタタップを示す図である。
【図１９】  ＦＩＧ．１４は、エラークラス２に対応する動きクラス適応フィルタタップを示す図である。
【図２０】  ＦＩＧ．１５は、エラークラス３に対応する動きクラス適応フィルタタップを示す図である。
【図２１】  ＦＩＧ．１６は、本発明に基づく前処理のアルゴリズムを示す図である。
【図２２】  ＦＩＧ．１７は、本発明に基づく、動きタップ及び静止タップに対する前処理のアルゴリズムを示す図である。
【図２３】  ＦＩＧ．１８Ａは、本発明に基づく装置のブロック図である。
【図２４】  ＦＩＧ．１８Ｂは、本発明に基づく装置のブロック図である。
【図２５】  ＦＩＧ．１９は、本発明に基づく係数メモリの内容を示す図である。
【図２６】  ＦＩＧ．２０は、本発明に基づく４タップ１ビットＡＤＲＣにおけるＡＤＲＣクラス削減を説明する図である。
【図２７】  ＦＩＧ．２１は、オーディオ信号に対する本発明に基づく適応分類の具体例を示す図である。
【図１】
0004222753.tif 000014
【図２】
0004222753.tif 000015
【図３】
0004222753.tif 000016
【図４】
0004222753.tif 000017
【図５】
0004222753.tif 000018
【図６】
0004222753.tif 000019
【図７】
0004222753.tif 000020
【図８】
0004222753.tif 000021
【図９】
0004222753.tif 000022
【図１０】
0004222753.tif 000023
【図１１】
0004222753.tif 000024
【図１２】
0004222753.tif 000025
【図１３】
0004222753.tif 000026
【図１４】
0004222753.tif 000027
【図１５】
0004222753.tif 000028
【図１６】
0004222753.tif 000029
【図１７】
0004222753.tif 000030
【図１８】
0004222753.tif 000031
【図１９】
0004222753.tif 000032
【図２０】
0004222753.tif 000033
【図２１】
0004222753.tif 000034
【図２２】
0004222753.tif 000035
【図２３】
0004222753.tif 000036
【図２４】
0004222753.tif 000037
【図２５】
0004222753.tif 000038
【図２６】
0004222753.tif 000039
【図２７】
0004222753.tif 000040