(57)【特許請求の範囲】
【請求項１】
画像に関する情報を表す画像信号を変換規則に従って変換して符号化する符号化方法であって、
その画像信号と相関のある信号を参照信号として取得する第一の処理ステップと、
変換規則の基礎となる変換基底をその取得された参照信号の輝度情報に基づいて導出する第二の処理ステップと、
その導出された変換基底に基づいた変換規則に従って上記画像信号を変換して符号化する第三の処理ステップとを有し、
上記参照信号は、入力原画像信号から動き補償予測の手法により得られる予測画像信号となることを特徴とする信号符号化方法。
【請求項２】
請求項１記載の信号符号化方法において、
上記参照信号は、当該信号符号化方法にて符号化された信号を復号する際に得られる信号と同一と見なし得る信号となる信号符号化方法。
【請求項３】
請求項１記載の信号符号化方法において、
上記画像信号は、入力原画像信号から動き補償予測の手法により得られる予測残差信号となる信号符号化方法。
【請求項４】
請求項１または３記載の信号符号化方法において、
上記第二の処理ステップでは、上記参照信号の輝度情報に基づいて変換基底を生成する信号符号化方法。
【請求項５】
請求項４記載の信号符号化方法において、
上記第二の処理ステップでは、上記参照信号の信号値分布特性に基づいて予め定められた基準の変換基底を変形することにより新たな変換基底を生成する信号符号化方法。
【請求項６】
請求項１記載の信号符号化方法において、
上記第二の処理ステップでは、その画像信号と相関のある参照信号の輝度分布特性に基づいて、DCT変換基底を変形することにより新たな変換基底を生成する信号符号化方法。
【請求項７】
請求項６記載の信号符号化方法において、
上記第二の処理ステップでは、上記参照信号の輝度分布特性とDCT変換基底との関係を求め、
その関係に基づいてDCT変換基底を変形して新たな変換基底を生成する信号符号化方法。
【請求項８】
請求項７記載の信号符号化方法において、
上記第二の処理ステップでは、参照信号の輝度分布特性として現れ得る複数の波形パターンを予め定め、
上記参照信号の輝度分布特性との類似関係に従って波形パターンを上記複数の波形パターンから選択し、
その選択された波形パターンとDCT変換基底との関係に基づいてDCT変換基底を変形して新たな変換基底を生成する信号符号化方法。
【請求項９】
請求項１または３記載の信号符号化方法において、
上記第二の処理ステップでは、予め定めた複数の変換基底から上記参照信号の輝度情報に基づいて第三の処理ステップで使用すべき変換基底を選択する信号符号化方法。
【請求項１０】
請求項９記載の信号符号化方法において、
上記第二の処理ステップでは、予め定めた複数の変換基底のそれぞれと、上記参照信号の信号値分布特性との関係を求め、
上記参照信号の信号値分布特性との関係が所定の基準を満たす変換基底を選択する信号符号化方法。
【請求項１１】
請求項１記載の信号符号化方法において、
上記第二の処理ステップでは、予め定めた複数の変換基底のそれぞれについて、その特徴を表す基底ベクトルと、その画像信号と相関のある参照信号の輝度分布特性との類似関係を求め、
その参照信号の輝度分布特性との類似関係が所定の基準を満たす上記基底ベクトルを有する変換基底を第三の処理ステップで使用すべき変換基底として上記複数の変換基底から選択する信号符号化方法。
【請求項１２】
請求項１１記載の信号符号化方法において、
上記複数の変換基底はDCT基底を含み、
上記第二の処理ステップでは、DCT基底以外の複数の変換基底から上記類似関係に基づいて選択された変換基底とDCT基底のうち符号化効率の良いほうを選択する信号符号化方法。
【請求項１３】
請求項９乃至１２いずれか記載の信号符号化方法において、
上記第二の処理ステップにて選択された変換基底を特定する情報を、上記画像信号の符号化と共に符号化する信号符号化方法。
【請求項１４】
請求項１２記載の信号符号化方法において、
DCT基底が選択されたか否かを表すフラグ情報を上記画像信号と共に符号化する信号符号化方法。
【請求項１５】
請求項１乃至１１いずれか記載の信号符号化方法において、
上記第二の処理ステップで導出された変換基底を上記画像信号と共に符号化する信号符号化方法。
【請求項１６】
請求項１または３いずれか記載の信号符号化方法において、
上記第二の処理ステップでは、上記参照信号の輝度情報に基づいて変換基底を生成し、
予め定められた複数の変換基底及び上記生成された変換基底の中から上記参照信号の輝度情報に基づいて第三の処理ステップで使用すべき変換基底を選択する信号符号化方法。
【請求項１７】
請求項１６記載の信号符号化方法において、
上記生成された変換基底が第三の処理ステップで使用すべき変換基底として選択された場合に、その生成された変換基底を上記複数の変換基底に追加する信号符号化方法。
【請求項１８】
請求項１７記載の信号符号化方法において、
上記参照信号の輝度情報と上記複数の変換基底のそれぞれのとの関係から決められる一の変換基底をその複数の変換基底から削除する信号符号化方法。
【請求項１９】
請求項１記載の信号符号化方法において、
上記第二の処理ステップでは、上記画像信号と相関のある参照信号の輝度分布特性に基づいて、DCT変換基底を変形することにより新たな変換基底を生成し、
予め定められた複数の変換基底及びその生成された変換基底のそれぞれについて、その特徴を表す基底ベクトルと、その参照信号の輝度分布特性との類似関係を求め、
その参照信号の輝度分布特性との類似関係が第一の基準を満たす上記基底ベクトルを有する変換基底を第三の処理ステップで使用すべき変換基底として上記複数の変換基底及び上記生成された変換基底の中から選択する信号符号化方法。
【請求項２０】
請求項１９記載の信号符号化方法において、
上記生成された変換基底が第三の処理ステップで使用すべき変換基底として選択された場合に、その生成された変換基底を上記複数の変換基底に追加し、
上記参照信号の輝度分布特性との類似関係が第二の基準を満たす上記基底ベクトルを有する変換基底を上記複数の変換基底から削除する信号符号化方法。
【請求項２１】
請求項１６乃至２０いずれか記載の信号符号化方法において、
上記参照信号の輝度情報に基づいて上記複数の変換基底から一の変換基底を選択し、
その選択された一の変換基底と上記生成された変換基底とを用いて画像信号を符号化し、その符号化結果に基づいてその一の変換基底と上記生成された変換基底のいずれかを選択する信号符号化方法。
【請求項２２】
請求項１６乃至２０いずれか記載の信号符号化方法において、
上記複数の変換基底と上記生成された変換基底から第三の処理ステップで使用すべき変換基底を選択するに際し、上記複数の変換基底に属する変換基底を優先的に選択する信号符号化方法。
【請求項２３】
請求項１６乃至２２いずれか記載の信号符号化方法において、
上記生成された変換基底が選択された場合に、その変換基底を上記画像信号と共に符号化する信号符号化方法。
【請求項２４】
請求項１７または２０記載の信号符号化方法において、
上記生成された変換基底及び上記複数の変換基底から削除された変換基底を特定する情報を上記画像信号と共に符号化する信号符号化方法。
【請求項２５】
請求項１記載の信号符号化方法において、
上記参照信号は、入力される原画信号から動き補償予測の手法により得られる予測画像信号となり、
上記画像信号は、上記入力される原画信号となる信号符号化方法。
【請求項２６】
請求項２５記載の信号符号化方法において、
上記第二の処理ステップでは、参照信号となる予測画像をソースとするカーネン・ルーべ変換基底を第三の処理ステップにて使用すべき変換基底として生成する信号符号化方法。
【請求項２７】
請求項１または３記載の信号符号化方法において、
画像信号の部分信号波形を特定し、その部分信号波形を、変換基底となる波形ベクトルとの類似の度合いを表す類似度情報に変換し、その波形ベクトルを特定する情報、上記類似度情報及び上記部分信号波形の画像信号内位置を符号化する信号符号化方法であって、
上記第二の処理ステップでは、上記画像信号の上記部分信号波形に対応した参照信号の部分信号の輝度情報に基づいて上記変換基底となる波形ベクトルを生成する信号符号化方法。
【請求項２８】
請求項２７記載の信号符号化方法において、
予め定められた波形ベクトル群に含まれる各波形ベクトル及び上記生成された波形ベクトルのそれぞれと上記部分信号波形との類似関係に基づいて変換基底として用いられる一の波形ベクトルを選択する信号符号化方法。
【請求項２９】
請求項２８記載の信号符号化方法において、
上記類似度情報は、上記部分信号波形と波形ベクトルとの内積値に基づいた情報となる信号符号化方法。
【請求項３０】
請求項２７乃至２９いずれか記載の信号符号化方法において、
上記符号化すべき波形ベクトルを特定する情報は、上記波形ベクトル群に含まれる波形ベクトルと上記生成された波形ベクトルのいずれが選択されたかを表すフラグ情報を含む信号符号化方法。
【請求項３１】
画像に関する情報を表す画像信号を変換規則に従って変換して符号化する符号化装置において、
その画像信号と相関のある信号を参照信号として取得する第一の処理手段と、
変換規則の基礎となる変換基底をその取得された参照信号の輝度情報に基づいて導出する第二の処理手段と、
その導出された変換基底に基づいた変換規則に従って上記画像信号を変換して符号化する第三の処理手段とを有し、
上記参照信号は、入力原画像信号から動き補償予測の手法により得られる予測画像信号であることを特徴とする信号符号化装置。
【請求項３２】
請求項３１記載の信号符号化装置において、
上記参照信号は、当該信号符号化装置にて符号化された信号を復号する信号復号装置にて得られる信号と同一と見なし得る信号となる信号符号化装置。
【請求項３３】
請求項３１記載の信号符号化装置において、
上記画像信号は、入力原画像信号から動き補償予測の手法により得られる予測残差信号となる信号符号化装置。
【請求項３４】
請求項３１乃至３３いずれか記載の信号符号化装置において、
上記第二の処理手段は、上記参照信号の輝度情報に基づいて変換基底を生成する基底生成手段を有する信号符号化装置。
【請求項３５】
請求項３４記載の信号符号化装置において、
上記変換基底生成手段は、上記参照信号の信号値分布特性に基づいて予め定められた基準の変換基底を変形することにより新たな変換基底を生成するようにした信号符号化装置。
【請求項３６】
請求項３１乃至３３いずれか記載の信号符号化装置において、
上記第二の処理手段は、その画像信号と相関のある参照信号の輝度分布特性に基づいて、DCT変換基底を変形することにより新たな変換基底を生成する手段を有する信号符号化装置。
【請求項３７】
請求項３１乃至３３いずれか記載の信号符号化装置において、
上記第二の処理手段は、予め定めた複数の変換基底から上記参照信号の輝度情報に基づいて第三の処理手段で使用すべき変換基底を選択する基底選択手段を有する信号符号化装置。
【請求項３８】
請求項３７記載の信号符号化装置において、
上記基底選択手段は、予め定めた複数の変換基底のそれぞれと、上記参照信号の信号値分布特性との関係を求め、
上記参照信号の信号値分布特性との関係が所定の基準を満たす変換基底を選択するようにした信号符号化装置。
【請求項３９】
請求項３１乃至３３いずれか記載の信号符号化装置において、
上記第二の処理手段は、予め定めた複数の変換基底のそれぞれについて、その特徴を表す基底ベクトルと、その画像信号と相関のある参照信号の輝度分布特性との類似関係を求め、
その参照信号の輝度分布特性との類似関係が所定の基準を満たす上記基底ベクトルを有する変換基底を第三の処理手段で使用すべき変換基底として上記複数の変換基底から選択する基底選択手段を有する信号符号化装置。
【請求項４０】
請求項３９記載の信号符号化装置において、
上記複数の変換基底はDCT基底を含み、
上記基底選択手段は、DCT基底以外の複数の変換基底から上記類似関係に基づいて選択された変換基底とDCT基底のうち符号化効率の良いほうを選択するようにした信号符号化装置。
【請求項４１】
請求項３７乃至４０いずれか記載の信号符号化装置において、
上記第二の処理手段にて選択された変換基底を特定する情報を、上記画像信号の符号化と共に符号化するようにした信号符号化装置。
【請求項４２】
請求項４０記載の信号符号化装置において、
DCT基底が選択されたか否かを表すフラグ情報を上記画像信号と共に符号化するようにした信号符号化装置。
【請求項４３】
請求項３１乃至４０いずれか記載の信号符号化装置において、
上記第二の処理手段で導出された変換基底を上記画像信号と共に符号化するようにした信号符号化装置。
【請求項４４】
請求項３１乃至３３いずれか記載の信号符号化装置において、
上記第二の処理手段は、上記参照信号の輝度情報に基づいて変換基底を生成する基底生成手段と、
予め定められた複数の変換基底及び上記生成された変換基底の中から上記参照信号の輝度情報に基づいて第三の処理手段で使用すべき変換基底を選択する基底選択手段とを有する信号符号化装置。
【請求項４５】
請求項４４記載の信号符号化装置において、
上記生成された変換基底が第三の処理手段で使用すべき変換基底として選択された場合に、その生成された変換基底を上記複数の変換基底に追加するようにした信号符号化装置。
【請求項４６】
請求項４５記載の信号符号化装置において、
上記参照信号の輝度情報と上記複数の変換基底のそれぞれのとの関係から決められる一の変換基底をその複数の変換基底から削除するようにした信号符号化装置。
【請求項４７】
請求項３１乃至３３いずれか記載の信号符号化装置において、
上記第二の処理手段は、上記画像信号と相関のある参照信号の輝度分布特性に基づいて、DCT変換基底を変形することにより新たな変換基底を生成する基底生成手段と、
予め定められた複数の変換基底及びその生成された変換基底のそれぞれについて、その特徴を表す基底ベクトルと、その参照信号の輝度分布特性との類似関係を求め、
その参照信号の輝度分布特性との類似関係が第一の基準を満たす上記基底ベクトルを有する変換基底を第三の処理手段で使用すべき変換基底として上記複数の変換基底及び上記生成された変換基底の中から選択する基底選択手段とを有する信号符号化装置。
【請求項４８】
請求項４４乃至４７いずれか記載の信号符号化装置において、
上記基底選択手段は、上記参照信号の輝度情報に基づいて上記複数の変換基底から一の変換基底を選択する第一の手段と、
その選択された一の変換基底と上記生成された変換基底とを用いて画像信号を符号化し、その符号化結果に基づいてその一の変換基底と上記生成された変換基底のいずれかを選択する第二の手段とを有する信号符号化装置。
【請求項４９】
請求項４４乃至４７いずれか記載の信号符号化装置において、
上記基底選択手段は、上記複数の変換基底と上記生成された変換基底から第三の処理手段で使用すべき変換基底を選択するに際し、上記複数の変換基底に属する変換基底を優先的に選択するようにした信号符号化装置。
【請求項５０】
請求項４４乃至４９いずれか記載の信号符号化装置において、
上記生成された変換基底が選択された場合に、その変換基底を上記画像信号と共に符号化するようにした信号符号化装置。
【請求項５１】
請求項４５記載の信号符号化装置において、
上記生成された変換基底及び上記複数の変換基底から削除された変換基底を特定する情報を上記画像信号と共に符号化する信号符号化方法。
【請求項５２】
請求項３１記載の信号符号化装置において、
上記参照信号は、入力される原画信号から動き補償予測の手法により得られる予測画像信号となり、
上記画像信号は、上記入力される原画信号となる信号符号化装置。
【請求項５３】
請求項５２記載の信号符号化装置において、
上記第二の処理手段は、参照信号となる予想画像をソースとするカーネン・ルーべ変換基底を第三の処理手段にて使用すべき変換基底として生成するようにした信号符号化装置。
【請求項５４】
請求項３１乃至３３いずれか記載の信号符号化装置において、
画像信号の部分信号波形を特定し、その部分信号波形を、変換基底となる波形ベクトルとの類似の度合いを表す類似度情報に変換し、その波形ベクトルを特定する情報、上記類似度情報及び上記部分信号波形の波形対象信号内位置を符号化する信号符号化装置であって、
上記第二の処理手段は、上記画像信号の上記部分信号波形に対応した参照信号の部分信号の輝度情報に基づいて上記変換基底となる波形ベクトルを生成する基底生成手段を有する信号符号化装置。
【請求項５５】
請求項５４記載の信号符号化装置において、
予め定められた波形ベクトル群に含まれる各波形ベクトル及び上記生成された波形ベクトルのそれぞれと上記部分信号波形との類似関係に基づいて変換基底として用いられる一の波形ベクトルを選択するようにした信号符号化装置。
【請求項５６】
請求項５４記載の信号符号化装置において、
上記類似度情報は、上記部分信号波形と波形ベクトルとの内積値に基づいた情報となる信号符号化装置。
【請求項５７】
請求項５４乃至５６いずれか記載の信号符号化装置において、
上記符号化すべき波形ベクトルを特定する情報は、上記波形ベクトル群に含まれる波形ベクトルと上記生成された波形ベクトルのいずれが選択されたかを表すフラグ情報を含む信号符号化装置。
【請求項５８】
画像に関する情報を符号化した符号化画像信号を復号し、その復号により得られた信号を変換規則に従って変換して信号の再生を行う信号復号方法において、
上記符号化画像信号を復号して得られた信号に基づいて変換規則の基礎となる変換基底を導出する第一の処理ステップと、
その導出された変換基底に基づいた変換規則に従って上記復号により得られた信号を変換して信号の再生を行う第二の処理ステップとを有し、
上記第一の処理ステップでは、上記符号化画像信号を復号して得られた信号と相関のある信号を参照信号として取得し、
上記変換基底をその取得された参照信号の輝度情報に基づいて生成し、
上記参照信号は、符号化画像信号を復号して得られた画像信号から動き補償予測の手法により得られる予測画像信号であることを特徴とする信号復号方法。
【請求項５９】
請求項５８記載の信号復号方法において、
上記参照信号は、上記符号化画像信号が符号化される前の画像信号と相関のある信号と同一と見なし得る信号となる信号復号方法。
【請求項６０】
請求項５８記載の信号復号方法において、
上記符号化画像信号となる符号化画像信号は、画像信号から動き補償予測の手法により得られた予測残差信号を符号化した符号化予測残差信号となる信号復号方法。
【請求項６１】
請求項５８記載の信号復号方法において、
上記第一の処理ステップでは、上記参照信号の信号値分布特性に基づいて予め定められた基準の変換基底を変形することにより新たな変換基底を生成する信号復号方法。
【請求項６２】
請求項６１記載の信号復号方法において、
上記符号化画像信号は、画像に関する符号化画像信号となり、
上記第一の処理ステップでは、上記参照信号の信号値分布特性となる輝度分布特性に基づいて、DCT変換基底を変形することにより新たな変換基底を生成する信号復号方法。
【請求項６３】
請求項６２記載の信号復号方法において、
上記第一の処理ステップでは、上記参照信号の輝度分布特性とDCT変換基底との関係を求め、
その関係に基づいてDCT変換規定を変形して新たな変換基底を生成する信号復号方法。
【請求項６４】
請求項６３記載の信号復号方法において、
上記第一の処理ステップでは、参照信号の輝度分布特性として現れ得る複数の波形パターンを予め定め、
上記参照信号の輝度分布特性との類似関係に従って波形パターンを上記複数の波形パターンから選択し、
その選択された波形パターンとDCT変換基底との関係に基づいてDCT変換基底を変形して新たな変換基底を生成する信号復号方法。
【請求項６５】
請求項５８記載の信号復号方法において、
上記第一の処理ステップでは、符号化画像信号に基づいて予め定めた複数の変換基底から上記第二の処理ステップにて使用されるべき変換基底を選択する信号復号方法。
【請求項６６】
請求項６５記載の信号復号方法において、
符号化画像信号を復号して得られる変換基底を特定する情報にて特定される当該変換基底を上記複数の変換基底から選択する信号復号方法。
【請求項６７】
請求項６５記載の信号復号方法において、
上記第一の処理ステップでは、上記複数の変換基底のそれぞれと、上記参照信号の信号値分布特性との関係を求め、
上記参照信号の信号分布特性との関係が所定の基準を満たす変換基底を選択する信号復号方法。
【請求項６８】
請求項６７記載の信号復号方法において、
上記符号化画像信号が画像に関する符号化画像信号であり、
上記第一の処理ステップでは、上記複数の変換基底のそれぞれについて、その特徴を表す基底ベクトルと、上記参照信号の信号値分布特性となる輝度分布特性との類似関係を求め、
その参照信号の輝度分布特性との類似関係が所定の基準を満たす上記基底ベクトルを有する変換基底を上記複数の変換基底から選択する信号復号方法。
【請求項６９】
請求項６８記載の信号復号方法において、
上記複数の変換基底はDCT基底を含み、
上記第一の処理ステップでは、符号化画像信号を復号して得られるDCT基底及びそれ以外の複数の変換基底のいずれかを表すフラグ情報に基づいて第二の処理ステップにて使用すべき変換基底を選択する信号復号方法。
【請求項７０】
請求項６９記載の信号復号方法において、
上記フラグ情報がDCT基底以外の複数の変換基底を表す場合、
上記参照信号の輝度分布特性との類似関係に基づいて上記DCT基底以外の複数の変換基底から一の変換基底を選択する信号復号方法。
【請求項７１】
請求項５８記載の信号復号方法において、
上記第一の処理ステップでは、符号化画像信号を復号して得られる変換基底を上記第二の処理ステップに使用すべき変換基底として取得する信号復号方法。
【請求項７２】
請求項６５または６６記載の信号復号方法において、
上記第一の処理ステップでは、符号化画像信号を復号して得られる信号に上記複数の変換基底に含まれない第一の変換基底が含まれている場合、その第一の変換基底を第二の処理ステップにて使用すべき変換基底として取得すると共に、上記複数の変換基底にその第二の変換基底を追加する信号復号方法。
【請求項７３】
請求項７２記載の信号復号方法において、
上記符号化画像信号を復号して得られる信号に上記複数の変換基底のうちの第二の変換基底を特定する情報が含まれている場合、上記第二の変換基底を上記複数の変換基底から削除する信号復号方法。
【請求項７４】
請求項７３記載の信号復号方法において、
上記第一の変換基底は、上記複数の変換基底において上記第二の変換基底を特定していた情報にて特定されるようにする信号復号方法。
【請求項７５】
請求項５８記載の信号復号方法において、
上記符号化画像信号は、原画像を符号化して得られる符号化原画像信号となると共に、
上記参照信号は、その符号化原画信号から動き補償予測の手法にて得られる予測画像信号となり、
上記第一の処理ステップでは、参照信号となる予測画像信号をソースとするカーネル・ルーべ変換基底を第二の処理ステップにて使用すべき変換基底として生成する信号復号方法。
【請求項７６】
請求項５８記載の信号復号方法において、
符号化画像信号を復号して得られる信号に、画像信号の符号化に際して所定の参照信号の部分信号の輝度情報に基づいて生成された変換基底となる波形ベクトルを用いたことを表す情報、その波形ベクトルと画像信号の部分信号波形との類似度合いを表す類似度情報及びその部分信号波形の画像信号内位置が含まれている場合、
上記第一の処理ステップでは、上記符号化画像信号から得られる上記信号の符号化に際して用いられた所定の参照信号に対応した参照信号の部分信号の輝度情報に基づいて変換基底となる波形ベクトルを生成し、
上記第二の処理ステップでは、その生成された波形ベクトルに基づいた変換規則に従って上記類似度情報を変換して、上記画像信号内位置における部分信号波形を再生する信号復号方法。
【請求項７７】
請求項７６記載の信号復号方法において、
上記符号化画像信号を復号して得られる信号に、画像信号の符号化に際して所定の参照信号の部分信号の輝度情報に基づいて生成された変換基底となる波形ベクトル及び予め定められた波形ベクトル群のいずれかを用いたことを表すフラグ情報と共に、そのフラグ情報が波形ベクトル群を用いたことを表す場合に、その波形ベクトル群のうちの使用された波形ベクトルを特定する情報を含み、
上記第一の処理ステップでは、上記フラグ情報が上記波形ベクトル群を用いたことを表す場合、その使用された波形ベクトルを特定する情報にて特定される波形ベクトルを上記複数の波形ベクトル群から選択し、
上記第二の処理ステップでは、その選択された波形ベクトルに基づいた変換規則に従って上記類似度情報を変換して、上記画像信号内位置における部分信号波形を再生する信号復号方法。
【請求項７８】
画像に関する情報を符号化した符号化画像信号を復号し、その復号により得られた信号を変換規則に従って変換して信号の再生を行う信号復号装置において、
上記符号化画像信号を復号して得られた信号に基づいて変換規則の基礎となる変換基底を導出する第一の処理手段と、
その導出された変換基底に基づいた変換規則に従って上記復号により得られた信号を変換して信号の再生を行う第二の処理手段とを有し、
上記第一の処理手段は、上記符号化画像信号を復号して得られた信号と相関のある信号を参照信号として取得する手段と、
上記変換基底をその取得された参照信号の輝度情報に基づいて生成する基底生成手段とを有し、
上記参照信号は、符号化画像信号を復号して得られた画像信号から動き補償予測の手法により得られる予測画像信号であることを特徴とする信号復号装置。
【請求項７９】
請求項７８記載の信号復号装置において、
上記参照信号は、上記符号化画像信号が符号化される前の画像信号と相関のある信号と同一と見なし得る信号となる信号復号装置。
【請求項８０】
請求項７８記載の信号復号装置において、
上記符号化画像信号となる符号化画像信号は、画像信号から動き補償予測の手法により得られた予測残差信号を符号化した符号化予測残差信号となる信号復号装置。
【請求項８１】
請求項７８記載の信号復号装置において、
上記基底生成手段は、上記参照信号の信号値分布特性に基づいて予め定められた基準の変換基底を変形することにより新たな変換基底を生成するようにした信号復号装置。
【請求項８２】
請求項８１記載の信号復号装置において、
上記符号化画像信号は、画像に関する符号化画像信号となり、
上記基底生成手段は、上記参照信号の信号値分布特性となる輝度分布特性に基づいて、DCT変換基底を変形することにより新たな変換基底を生成するようにした信号復号装置。
【請求項８３】
請求項８２記載の信号復号装置において、
上記基底生成手段は、上記参照信号の輝度分布特性とDCT変換基底との関係を求める手段を有し、
その関係に基づいてDCT変換規定を変形して新たな変換基底を生成するようにした信号復号装置。
【請求項８４】
請求項８３記載の信号復号装置において、
上記基底生成手段は、参照信号の輝度分布特性として現れ得る複数の波形パターンを予め定めてあり、
上記参照信号の輝度分布特性との類似関係に従って波形パターンを上記複数の波形パターンから選択する手段を有し、
その選択された波形パターンとDCT変換基底との関係に基づいてDCT変換基底を変形して新たな変換基底を生成するようにした信号復号装置。
【請求項８５】
請求項７８記載の信号復号装置において、
上記第一の処理手段は、符号化画像信号に基づいて予め定めた複数の変換基底から上記第二の処理手段にて使用されるべき変換基底を選択する基底選択手段を有する信号復号装置。
【請求項８６】
請求項８５記載の信号復号装置において、
上記基底選択手段は、符号化画像信号を復号して得られる変換基底を特定する情報にて特定される当該変換基底を上記複数の変換基底から選択するようにした信号復号装置。
【請求項８７】
請求項８５記載の信号復号装置において、
上記基底選択手段は、上記複数の変換基底のそれぞれと、上記参照信号の信号値分布特性との関係を求める手段を有し、
上記参照信号の信号分布特性との関係が所定の基準を満たす変換基底を選択するようにした信号復号装置。
【請求項８８】
請求項８７記載の信号復号装置において、
上記符号化画像信号が画像に関する符号化画像信号であり、
上記基底選択手段は、上記複数の変換基底のそれぞれについて、その特徴を表す基底ベクトルと、上記参照信号の信号値分布特性となる輝度分布特性との類似関係を求める手段を有し、
その参照信号の輝度分布特性との類似関係が所定の基準を満たす上記基底ベクトルを有する変換基底を上記複数の変換基底から選択するようにした信号復号装置。
【請求項８９】
請求項８８記載の信号復号装置において、
上記複数の変換基底はDCT基底を含み、
上記基底選択手段は、符号化画像信号を復号して得られるDCT基底及びそれ以外の複数の変換基底のいずれかを表すフラグ情報に基づいて第二の処理手段にて使用すべき変換基底を選択するようにした信号復号装置。
【請求項９０】
請求項８９記載の信号復号装置において、
上記フラグ情報がDCT基底以外の複数の変換基底を表す場合、
上記基底選択手段は、上記参照信号の輝度分布特性との類似関係に基づいて上記DCT基底以外の複数の変換基底から一の変換基底を選択するようにした信号復号装置。
【請求項９１】
請求項７８記載の信号復号装置において、
上記第一の処理手段は、符号化画像信号を復号して得られる変換基底を上記第二の処理ステップに使用すべき変換基底として取得する基底取得手段を有する信号復号装置。
【請求項９２】
請求項８５または８６記載の信号復号装置において、
上記第一の処理手段は、符号化画像信号を復号して得られる信号に上記複数の変換基底に含まれない第一の変換基底が含まれている場合、その第一の変換基底を第二の処理ステップにて使用すべき変換基底として取得する手段と、
上記複数の変換基底にその第二の変換基底を追加する手段を有する信号復号装置。
【請求項９３】
請求項９２記載の信号復号装置において、
上記符号化画像信号を復号して得られる信号に上記複数の変換基底のうちの第二の変換基底を特定する情報が含まれている場合、上記第二の変換基底を上記複数の変換基底から削除する手段を有する信号復号装置。
【請求項９４】
請求項９３記載の信号復号装置において、
上記第一の変換基底は、上記複数の変換基底において上記第二の変換基底を特定していた情報にて特定されるようにした信号復号装置。
【請求項９５】
請求項７８記載の信号復号装置において、
上記符号化画像信号は、原画像を符号化して得られる符号化原画像信号となると共に、
上記参照信号は、その符号化原画信号から動き補償予測の手法にて得られる予測画像信号となり、
上記第一の処理手段は、参照信号となる予測画像信号をソースとするカーネル・ルーべ変換基底を第二の処理ステップにて使用すべき変換基底として生成する基底生成手段を有する信号復号装置。
【請求項９６】
請求項７８記載の信号復号装置において、
符号化画像信号を復号して得られる信号に、画像信号の符号化に際して所定の参照信号の部分信号の輝度情報に基づいて生成された変換基底となる波形ベクトルを用いたことを表す情報、その波形ベクトルと画像信号の部分信号波形との類似度合いを表す類似度情報及びその部分信号波形の画像信号内位置が含まれている場合、
上記第一の処理手段は、上記符号化画像信号から得られる上記信号の符号化に際して用いられた所定の参照信号に対応した参照信号の部分信号の輝度情報に基づいて変換基底となる波形ベクトルを生成する波形ベクトル生成手段を有し、
上記第二の処理手段は、その生成された波形ベクトルに基づいた変換規則に従って上記類似度情報を変換して、上記画像信号内位置における部分信号波形を再生するようにした信号復号装置。
【請求項９７】
請求項９６記載の信号復号装置において、
上記符号化画像信号を復号して得られる信号に、画像信号の符号化に際して所定の参照信号の部分信号の輝度情報に基づいて生成された変換基底となる波形ベクトル及び予め定められた波形ベクトル群のいずれかを用いたことを表すフラグ情報と共に、そのフラグ情報が波形ベクトル群を用いたことを表す場合に、その波形ベクトル群のうちの使用された波形ベクトルを特定する情報を含み、
上記第一の処理手段は、上記フラグ情報が上記波形ベクトル群を用いたことを表す場合、その使用された波形ベクトルを特定する情報にて特定される波形ベクトルを上記複数の波形ベクトル群から選択する波形ベクトル選択手段を有し、
上記第二の処理手段は、その選択された波形ベクトルに基づいた変換規則に従って上記類似度情報を変換して、上記画像信号内位置における部分信号波形を再生するようにした信号復号装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号などの信号系列を符号化及び復号を行う方法及び装置に係り、詳しくは、ＤＣＴ等の変換基底を用いて信号系列の符号化及び復号を行う方法及び装置に関する。
【０００２】
【従来の技術】
従来、例えば、“MPEG:A Video Compression Standard for Multimedia Applications”（Le Gall, D.： Trans. ACM, 1991,April）に、MPEG-1符号化方式に基づく画像符号化装置及び画像復号装置が開示される。この画像符号化装置は、図１に示しように構成され、また、その画像復号装置は、図２に示すように構成される。
【０００３】
図1に示す画像符号化装置では、動き補償フレーム間予測により時間方向に存在する冗長度を削減し、DCT（Discrete Cosine Transform：離散コサイン変換）によりさらに空間方向に残る冗長度を削減することで映像信号の情報圧縮を行う。動き補償フレーム間予測の仕組みを図３に、その動きベクトル検出によく用いられるブロックマッチング処理の概要を図４に、DCTの概念を図５に、DCT係数の符号化の原理を図６にそれぞれ示す。以下、これらの図を参照しながら、図１および図２のそれぞれに示す画像符号化装置及び画像復号装置の動作を説明する。
【０００４】
入力映像信号１はフレーム画像の時間系列であり、以下、フレーム画像単位の信号を表すものとする。また、符号化の対象となるフレーム画像を、図３に示す現フレームと呼ぶ。現フレームは、例えば、１６画素×１６ラインに固定された正方矩形領域(マクロブロックと呼ぶ)に分割され、その単位で以下の処理が行われる。
【０００５】
現フレームのマクロブロックデータ（現マクロブロック）はまず動き検出部２に送られ、ここで、動きベクトル５の検出が行われる。動きベクトル５は、フレームメモリ３に格納されている過去の符号化済みフレーム画像４（以下、局所復号画像と呼ぶ）の所定の探索領域を参照して、現マクロブロックと類似するパターンを見つけ出し、該パターンと現マクロブロックとの間の空間的移動量に基づいて生成される。
【０００６】
上記局所復号画像は、過去のフレームだけに限定されるものではなく、未来のフレームを先に符号化しておきフレームメモリに格納して使用することもできる。未来のフレームを使用すると、符号化順序の入れ替えが生じて処理遅延が増えるものの、過去と未来の間に生じた映像内容の変動を予測しやすくなり、時間冗長度をさらに効果的に削減できるメリットがある。一般にMPEG-1では、この過去、未来の両フレームを用いた両方向予測（Bフレーム予測)と、前フレームのみを使用する前方向予測(Pフレーム予測)と、フレーム間予測を行わずにフレーム内だけで符号化を行うIフレームの3つの符号化タイプを選択的に使用することができる。図３では、Pフレーム予測だけに限り、局所復号画像を前フレームと記している。
【０００７】
動きベクトル５は２次元の平行移動量で表現される。動きベクトル５の検出方法としては一般に図４に示すブロックマッチングの手法が用いられる。現マクロブロックの空間位置を中心とした動き探索範囲を設け、前フレームの動き探索範囲内の画像データから、差分二乗和もしくは差分絶対値和を最小とするブロックを動き予測データとして求め、現マクロブロックと動き予測データの位置変移量を動きベクトル５とする。現フレーム内の全マクロブロックに対して動き予測データを求め、それをフレーム画像として表したものが図３における動き予測フレームに該当する。動き補償フレーム間予測では、図３のように動き予測フレームと現フレームとの間の差分をとり、その残差信号(以下、予測残差信号８と呼ぶ)をDCT符号化の対象とする。
【０００８】
具体的に各マクロブロックごとの動き予測データ(以下、予測画像６)を取り出す処理は動き補償部７が行う。即ち、この動き補償部７は、動きベクトル５を用いてフレームメモリ３内の局所復号画像４から予測画像６を生成する。
【０００９】
予測残差信号８は、DCT部９によってDCT係数データに変換される。DCTは図５に示すように、空間画素ベクトルを固定の周波数成分を表現する正規直交基底の組に変換する。空間画素ベクトルとして、通常８×８画素のブロック（以下、DCTブロック）が採用される。DCTそのものは分離型変換処理であるため、実際上はDCTブロックの水平、垂直の８次元行ベクトル、列ベクトルごとに変換が行われる。DCTは、空間領域に存在する画素間相関を利用して、DCTブロック内の電力集中度を局在化させる。電力集中度が高いほど変換効率がよく、自然画像信号に対しては、最適変換であるKL変換に比べて遜色のない性能が得られる。特に自然画像ではDC成分を主軸として低域に電力が集中して高域には電力がほとんどなくなる。このため、図６に示すように、その量子化係数をDCTブロック内で低域から高域にむけてスキャンし、ゼロランを多く含むようにすることで、エントロピー符号化の効果も含めて全体の符号化効率を高めている。
【００１０】
DCT係数１０の量子化は量子化部１１で行われ、量子化係数１２は可変長符号化部１３でスキャン、ランレングス符号化されて圧縮ストリーム１４に多重され伝送される。なお、動き検出部２で検出された動きベクトル５は、画像復号装置において画像符号化装置と同じ予測画像を生成するために必要となるため、各マクロブロックごとに圧縮ストリーム１４に多重され、伝送される。
【００１１】
また、量子化係数１２は、逆量子化部１５、逆DCT部１６を経て局所復号され、その結果が予測画像６と加算されて、画像復号装置側と同一の復号画像１７が生成される。復号画像１７は、次フレームの予測に用いるため、上記局所復号画像としてフレームメモリ３に格納される。
【００１２】
次に、図２に示す画像復号装置の動作を説明する。
【００１３】
この画像復号装置では、圧縮ストリーム１４を受信したのち、可変長復号部１８で各フレームの先頭を表す同期ワードを検出し、以後、マクロブロック単位に動きベクトル５、量子化DCT係数１２が復元される。動きベクトル５は動き補償部７に送られ、動き補償部７は画像符号化装置の動作と同様、フレームメモリ１９（フレームメモリ３と同じように使用される）から動きベクトル５の分だけ動いた画像部分を予測画像６として取り出す。量子化DCT係数１２は逆量子化部１５、逆DCT部１６を経て復号された後、予測画像６と加算されて最終的な復号画像１７となる。復号画像１７は所定の表示タイミングで表示デバイスへ出力され、映像が再生される。
【００１４】
【発明が解決しようとする課題】
前述したような従来例のように、先に復号の終わった信号（以下、適宜参照画像または予測画像という）を参照して、その相関を利用する符号化アルゴリズムがMPEG動画像符号化をはじめ、ひろく一般に利用されている。従来例にて説明した理由により、多くの場合変換基底としてDCTが用いられている。このDCTは、事前確率分布が知られていない信号波形の符号化に有効である。しかし、一般に、音声、画像等のメディア信号は非定常で、時空間的に局所的な信号の偏りを持っている。したがって、前述した従来例のように固定された変換基底では、信号を表現するための基底の数（係数の数）が効果的に削減できず、圧縮に限界があった。
【００１５】
そこで、本発明の課題は、変換基底を用いて更に効率的な符号化及び復号を行いうる方法及び装置を提供することである。
【００１６】
【課題を解決するための手段】
上記課題を解決するため、本発明は、請求項１に記載されるように、符号化対象信号を変換規則に従って変換して符号化する符号化方法において、その符号化対象信号と相関のある信号を参照信号として取得する第一の処理ステップと、変換規則の基礎となる変換基底をその取得された参照信号の特性に基づいて導出する第二の処理ステップと、その導出された変換基底に基づいた変換規則に従って上記符号化対象信号を変換して符号化する第三の処理ステップとを有するように構成される。
【００１７】
このような信号符号化方法では、参照信号の特性に基づいて導出される変換基底にに基づいた変換規則に従って符号化対象信号が変換される。この参照信号は、符号化対象信号と相関があるので、その導出される変換基底は、符号化対象信号の性質にマッチしたものとすることが可能となる。
【００１８】
上記符号化対象信号は、画像に関する情報を表す画像信号のほか、音声信号などのメディア信号や、他の任意の信号とすることができる。
【００１９】
符号化対象信号として画像信号を用いる場合、入力原画像信号から動き補償予測の手法により得られる予測残差信号をその符号化対象信号とすることができる。また、符号化対象信号として画像信号を用いる場合、入力画像信号から動き補償予測の手法により得られる予測画像信号を参照信号とすることができる。
【００２０】
符号化側から変換基底に関する情報を復号側に送らなくても、復号側において符号化に利用された変換基底を再現できるという観点から本発明は、請求項２に記載されるように、上記信号符号化方法において、上記参照信号は、当該信号符号化方法にて符号化された信号を復号する際に得られる信号と同一と見なし得る信号となるように構成することができる。
【００２１】
上記変換基底は、請求項６に記載されるように、上記参照信号の特性に基づいて生成することができる。また、請求項１１に記載されるように、その変換基底は、予め定めた複数の変換基底から上記参照信号の特性に基づいて選択することができる。
【００２２】
使用すべき変換基底を予め定めた複数の変換基底から選択する場合、復号側が同じ複数の変換基底そなえることで、復号側での処理が容易となる。この場合、請求項１５に記載されるように、その選択された変換基底を特定する情報を、上記符号化対象信号の符号化と共に符号化するように構成することができる。この符号化された変換基底を特定する情報を復号側に送ることで、その変換基底を特定する情報に基づいて複数の変換基底から符号化側で使用した変換基底を復号側で特定することができる。
【００２３】
復号側で、符号化側で使用した変換基底を容易に取得できるという観点から、本発明は、請求項１７に記載されるように、上記のように導出された変換基底を上記符号化対象信号と共に符号化することができる。この変換基底そのものが符号化されて復号側に送られることにより、復号側では、符号化側で使用した変換基底を容易に取得することができる。
【００２４】
予め定めた複数の変換基底だけでは適正な変換ができない場合に有効となるという観点から、本発明は、請求項１８に記載されるように、上記参照信号の特性に基づいて変換基底を生成し、予め定められた複数の変換基底及び上記生成された変換基底の中から上記参照信号の特性に基づいて使用すべき変換基底を選択するように構成することができる。
【００２５】
適正な変換基底が複数の変換基底に含まれていないという状況を極力低減するという観点から、本発明は、請求項１９に記載されるように、上記生成された変換基底が使用すべき変換基底として選択された場合に、その生成された変換基底を上記複数の変換基底に追加するように構成することができる。
【００２６】
上記複数の変換基底に含まれる無用な変換基底の数の増加を抑えるという観点から、本発明は、請求項２０に記載されるように、上記参照信号の特性と上記複数の変換基底のそれぞれのとの関係から決められる一の変換基底をその複数の変換基底から削除するように構成することができる。
【００２７】
より適正な変換基底を使用することができるようになるという観点から、本発明は、請求項２３に記載されるように、上記参照信号の特性に基づいて上記複数の変換基底から一の変換基底を選択し、その選択された一の変換基底と上記生成された変換基底とを用いて符号化対象信号を符号化し、その符号化結果に基づいてその一の変換基底と上記生成された変換基底のいずれかを選択するように構成することができる。
【００２８】
所謂「Matching Pursuits」のようなパターンマッチングの手法により符号化対象信号を変換することができるようにするため、本発明は、請求項２９に記載されるように、符号化対象信号の部分信号波形を特定し、その部分信号波形を、変換基底となる波形ベクトルとの類似の度合いを表す類似度情報に変換し、その波形ベクトルを特定する情報、上記類似度情報及び上記部分信号波形の符号化対象信号内位置を符号化する信号符号化方法であって、上記第二の処理ステップでは、上記符号化対象信号の上記部分信号波形に対応した参照信号の部分信号の特性に基づいて上記変換基底となる波形ベクトルを生成するように構成することができる。
【００２９】
上記課題を解決するため、本発明は、請求項３３に記載されるように、符号化対象信号を変換規則に従って変換して符号化する符号化装置において、その符号化対象信号と相関のある信号を参照信号として取得する第一の処理手段と、変換規則の基礎となる変換基底をその取得された参照信号の特性に基づいて導出する第二の処理手段と、その導出された変換基底に基づいた変換規則に従って上記符号化対象信号を変換して符号化する第三の処理手段とを有するように構成される。
【００３０】
また、更に、上記課題を解決するため、本発明は、請求項６２に記載されるように、符号化信号を復号し、その復号により得られた信号を変換規則に従って変換して信号の再生を行う信号復号方法において、上記符号化信号を復号して得られた信号に基づいて変換規則の基礎となる変換基底を導出する第一の処理ステップと、その導出された変換基底に基づいた変換規則に従って上記復号により得られた信号を変換して信号の再生を行う第二の処理ステップとを有するように構成される。
【００３１】
復号側で変換基底を生成するという観点から、本発明は、請求項６３に記載されるように、上記信号復号方法において、上記第一の処理ステップでは、上記符号化信号を復号して得られた信号と相関のある信号を参照信号として取得し、上記変換基底をその取得された参照信号の特性に基づいて生成するように構成することができる。
【００３２】
復号側での変換基底を得るための処理が容易になるという観点から、本発明は、請求項７２に記載されるように、上記信号復号方法において、上記第一の処理ステップでは、符号化信号に基づいて予め定めた複数の変換基底から上記第二の処理ステップにて使用されるべき変換基底を選択するように構成することができる。
【００３３】
復号側での処理が更に容易になるという観点から、本発明は、請求項７８に記載されるように、上記信号復号方法において、上記第一の処理ステップでは、符号化信号を復号して得られる変換基底を上記第二の処理ステップに使用すべき変換基底として取得するように構成することができる。
【００３４】
また、本発明は、請求項７９に記載されるように、上記信号復号方法において、上記第一の処理ステップでは、符号化信号を復号して得られる信号に上記複数の変換基底に含まれない第一の変換基底が含まれている場合、その第一の変換基底を第二の処理ステップにて使用すべき変換基底として取得すると共に、上記複数の変換基底にその第二の変換基底を追加するように構成することができる。
【００３５】
このような信号復号方法において、複数の変換基底に含まれる無用な変換基底の数の増加を防ぐという観点から本発明は、請求項８０に記載されるように、上記信号復号方法において、上記符号化信号を復号して得られる信号に上記複数の変換基底のうちの第二の変換基底を特定する情報が含まれている場合、上記第二の変換基底を上記複数の変換基底から削除するように構成することができる。
【００３６】
上記第二の変換基底を完全に上記第一の変換基底に更新するという観点から、本発明は、請求項８１に記載されるように、上記信号復号方法において、上記第一の変換基底は、上記複数の変換基底において上記第二の変換基底を特定していた情報にて特定されるように構成することができる。
【００３７】
所謂、「Matching Pursuits」などのパターンマッチングの手法を用いて符号化された信号を適性に復号できるという観点から、本発明は、請求項８３に記載されるように、上記信号復号方法において、符号化信号を復号して得られる信号に、符号化対象信号の符号化に際して所定の参照信号の部分信号の特性に基づいて生成された変換基底となる波形ベクトルを用いたことを表す情報、その波形ベクトルと符号化対象信号の部分信号波形との類似度合いを表す類似度情報及びその部分信号波形の符号化対象信号内位置が含まれている場合、上記第一の処理ステップでは、上記符号化信号から得られる上記信号の符号化に際して用いられた所定の参照信号に対応した参照信号の部分信号の特性に基づいて変換基底となる波形ベクトルを生成し、上記第二の処理ステップでは、その生成された波形ベクトルに基づいた変換規則に従って上記類似度情報を変換して、上記符号化対象信号内位置における部分信号波形を再生するように構成することができる。
【００３８】
更に、上記課題を解決するため、本発明は、請求項８５に記載されるように、符号化信号を復号し、その復号により得られた信号を変換規則に従って変換して信号の再生を行う信号復号装置において、上記符号化信号を復号して得られた信号に基づいて変換規則の基礎となる変換基底を導出する第一の処理手段と、
その導出された変換基底に基づいた変換規則に従って上記復号により得られた信号を変換して信号の再生を行う第二の処理手段とを有するように構成される。
【００３９】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００４０】
変換基底を画像のパターンに応じて変形し、画像の局所的な信号分布に適応した基底を使用できるようにすれば、符号化すべき係数を効率的に削減でき、符号化効率の改善が期待できる。基底の変形に使用できる情報としては、付加情報として復号側に伝送する必要がなく、かつ符号化対象信号のパターンを反映する情報となる参照画像を考えることができる（図７）。
【００４１】
図７に示すように、通常、動き補償フレーム間予測による予測残差信号には、動きモデルが適合しない物体境界などにおいて、元の画像もしくは参照画像の波形パターンが残留する。特にエッジ部分（図７では車の輪郭など）に電力集中することが多く、DCTの固定の基底ではこういったパターンを表現するために多くの基底係数が必要になる。したがって、図７に示したように、参照画像のパターンからDCTの固定変換基底を変形させ、新しい変換基底を生成する。すなわち、参照パターンが強いステップエッジを持つ場合に、DC成分の代わりにステップエッジをもっともよく表現する基底が主軸として設定されるよう変換基底の生成を行う。この新たに生成された変換基底をDCTの固定変換基底の代わりに用いることにより、主軸がDCTのようにDC成分ではなく、信号の局所的な周波数分布にしたがって設定され、電力集中度が増すことになる。
【００４２】
このように、本発明に係る実施の形態では、符号化対象信号（予測残差信号）のパターンをよく反映する参照信号の相関を利用して、個々の符号化対象信号の電力集中度を高める方向に基底の変形を行う手段を備えるように画像符号化装置及び画像復号装置を構成する。これにより、より少ない基底係数で信号を表現できるため、さらに圧縮率をあげることができる。
【００４３】
次に、本発明の第一の実施の形態について説明する。
【００４４】
本実施の形態に係る画像符号化装置は、例えば、図８に示すように構成され、また、画像復号装置は、例えば、図９に示すように構成される。本実施の形態では、動き補償フレーム間予測により時間方向に存在する冗長度を削減し、動き補償予測の結果得られた該マクロブロックの予測画像の波形パターンを、主成分に該当する基底でうまく捉えられるようにDCT基底を変形させ、該変形基底を用いた変換符号化による情報圧縮を行う。予測画像のパターンに応じて逐一基底変形演算を行うため、演算量の負荷はかかるが、画像復号装置と共有できる予測画像のデータを用いてその演算が行われるため、画像符号化装置は、画像復号装置に変換基底の変形に関する付加情報を伝送する必要がない。
【００４５】
図８に示す画像符号化装置において、動き補償フレーム間予測の手順は従来例に述べた方法と同一であり、その手順の概要は図３に、動きベクトル検出に用いられるブロックマッチング処理の概要を図４にある通りである。また、変形された基底で直交変換を行った後、その係数の量子化、エントロピー符号化を行う手順（図６参照）も従来例の通りとする。以下、これらの図を参照しながら、画像符号化装置及び画像復号装置の動作を説明する。
【００４６】
図８において、入力映像信号１０１はフレーム画像の時間系列であり、以下、フレーム画像単位の信号を表すものとする（符号化対象となるフレーム画像は、図３における現フレームに該当）。現フレームは、マクロブロック単位で以下の手順で符号化される。現マクロブロックはまず動き検出部１０２に送られ、ここで、動きベクトル１０５の検出が行われる。動き補償部１０７は、動きベクトル１０５を用いてフレームメモリ１０３中の局所復号画像１１７を参照して、各マクロブロックの予測画像１０６を取り出す。
【００４７】
現マクロブロックと予測画像１０６との差分として予測残差信号１０８が得られ、これが適応変換部１０９によって直交変換係数データ１１０に変換される。適応変換部１０９で用いられる変換基底１１９は、変換基底演算部１１８において、使用される予測画像１０６のパターンに応じて生成される。生成された変換基底１１９は適応変換部１０９に送られ、直交変換に使用される。変換基底演算部１１８の処理は後述する。
【００４８】
適応変換部１０９によって得られた直交変換係数データ１１０は、量子化部１１１を経て、可変長符号化部１１３でスキャン、ランレングス符号化されて圧縮ストリーム１１４に多重され伝送される。動きベクトル１０５もマクロブロックごとに圧縮ストリーム１１４に多重され、伝送される。また、量子化係数１１２は、逆量子化部１１５、逆適応変換部１１６を経て局所復号され、その結果が予測画像１０６と加算されて、復号装置側と同一の復号画像１１７が生成される。復号画像１１７は次フレームの予測に用いるため、フレームメモリ１０３に局所復号画像として格納される。
【００４９】
上記変換基底演算部１１８は、次のような処理を行う。
【００５０】
変換基底演算部１１８は、入力される予測画像１０６を直交変換適用領域（Ｎ×Ｎ画素ブロック、Ｎ＝４、８など）に分割し、その単位で変換基底１１９を求め、適応変換部１０９に対して出力する。まず、図１０に示すように、予測画像１０６の各直交変換適用領域に対し、水平・垂直方向の平均輝度分布ｘH、ｘVが求められる。これにより各領域の水平・垂直方向の主成分が反映された波形パターンが得られる。図１０では、Ｎ＝４の例を示しており、該ブロックの水平方向には鋭いエッジが存在し、垂直方向は平坦な画像パターンであると言うことができる。基底変形は、変換係数が主軸（変換行列の第1行ベクトル、DCTの場合は直流成分）周辺に集中するように、各平均輝度分布ベクトルｘH、ｘVが主軸の基底にマッチするよう、DCTの基底を変形する。具体的には、水平・垂直のDCT変換基底に対し、主軸の基底を重み付きの正規化平均輝度分布ベクトルで置き換え、相関行列ＣH、ＣVを求め、その固有ベクトルφH,0〜φH,N-1、φV,0〜φV,N-1を新しい変換基底１１９とする。変換基底１１９は正規直交基底となる。
【００５１】
これにより、予測画像１０６の水平・垂直の各平均輝度分布のパターンが直交変換の主軸に反映され、図７で示したような予測画像と符号化対象画像（予測残差信号）との間にパターンの類似性がある場合、符号化対象画像の直交変換係数の集中度を高めることができる。その他の実現方法として、あらかじめ平均輝度分布ベクトルとして現れ得る波形パターンのテンプレートをいくつか用意しておき、平均輝度分布ベクトルとの内積が最大となるパターンを選択して使用するようにしてもよい。
【００５２】
なお、逆適応変換部１１６では、変換基底１１９の転置行列を用いて変換係数を逆変換して画像空間上の信号に戻す。
【００５３】
図９に示す画像復号装置では、圧縮ストリーム１１４を受信したのち、可変長復号部１２０で各フレームの先頭を表す同期ワードを検出し、以後、マクロブロック単位に動きベクトル１０５、量子化直交変換係数１２１が復元される。動きベクトル１０５は動き補償部１０７に送られ、動き補償部１０７は画像符号化装置の動作と同様、フレームメモリ１２２（フレームメモリ１０３と同じように使用される）から動きベクトル１０５だけ動いた画像部分を予測画像１０６として取り出す。量子化直交変換係数１２１は逆量子化部１１５、逆適応変換部１１６を経て復号された後、予測画像１０６と加算されて最終的な復号画像１１７となる。変換基底演算部１１８は上で述べた手順で符号化側と同じ変換基底１１９を算出、出力する。逆適応変換部１１６は、その転置行列を用いて変換係数を逆変換して画像空間上の信号に戻す。復号画像１１７は所定の表示タイミングで表示デバイスへ出力され、映像が再生される。
【００５４】
次に、本発明の第二の実施の形態について説明する。
【００５５】
本実施の形態に係る画像符号化装置は、例えば、図１１に示すように構成され、また、画像復号装置は、例えば、図１２に示すように構成される。本実施の形態では、動き補償フレーム間予測により時間方向に存在する冗長度を削減し、動き補償予測の結果得られた該マクロブロックの予測画像の波形パターンを、主成分に該当する基底でうまく捉えられるようにDCT基底を変形させ、該変形基底を用いた変換符号化による情報圧縮を行う。あらかじめ画像の局所的な性質を考慮した変換基底を数種類用意しておき、予測画像のパターンに応じてそれらを切り替えて使用する。画像符号化装置側と画像復号装置側に同一の基底セットを設けておき、基底の切替情報としてID情報のみを送受信する。画像復号装置側ではID情報に基づいて基底を選択するだけであり、画像復号装置側での基底演算を必要としない。
【００５６】
図１１に示す画像符号化装置において、動き補償フレーム間予測の手順は従来例に述べた方法と同一であり、その手順の概要は図３に、動きベクトル検出に用いられるブロックマッチング処理の概要を図４にある通りである。また、変形された基底で直交変換を行った後、その係数の量子化、エントロピー符号化を行う手順（図６）も従来例の通りとする。以下、これらの図を参照しながら、画像符号化装置及び画像号装置の動作を説明する。
【００５７】
図１１において、入力映像信号２０１はフレーム画像の時間系列であり、以下、フレーム画像単位の信号を表すものとする（符号化対象となるフレーム画像は、図３における現フレームに該当）。現フレームは、マクロブロック単位で以下の手順で符号化される。現マクロブロックはまず動き検出部２０２に送られ、ここで、動きベクトル２０５の検出が行われる。動き補償部２０７は、動きベクトル２０５を用いてフレームメモリ２０３中の局所復号画像２１７を参照して、各マクロブロックの予測画像２０６を取り出す。
【００５８】
現マクロブロックと予測画像２０６との差分として予測残差信号２０８が得られ、これが適応変換部２０９によって直交変換係数データ２１０に変換される。適応変換部２０９で用いられる変換基底２１９は、変換基底演算部２１８において、使用される予測画像２０６のパターンに応じて選択される。選択された変換基底２１９は適応変換部２０９に送られ、直交変換に使用される。また、直交変換処理単位ごとに変換基底２１９のID情報２５０が圧縮ストリーム２１４に多重され、画像復号装置側に伝送される。変換基底演算部２１８の処理は後述する。
【００５９】
適応変換部２０９によって得られた直交変換係数データ２１０は、量子化部２１１を経て、可変長符号化部２１３でスキャン、ランレングス符号化されて圧縮ストリーム２１４に多重され伝送される。動きベクトル２０５もマクロブロックごとに圧縮ストリーム２１４に多重され、伝送される。また、量子化係数２１２は、逆量子化部２１５、逆適応変換部２１６を経て局所復号され、その結果が予測画像２０６と加算されて、復号装置側と同一の復号画像２１７が生成される。復号画像２１７は次フレームの予測に用いるため、フレームメモリ２０３に局所復号画像として格納される。
【００６０】
上記変換基底演算部２１８は、次のような処理を行う。
【００６１】
変換基底演算部２１８は、入力される予測画像２０６を直交変換適用領域（Ｎ×Ｎ画素ブロック、Ｎ＝４、８など）に分割し、その単位で変形基底２１９を求め、適応変換部２０９に対して出力する。まず、図１０に示すように、予測画像２０６の各直交変換適用領域に対し、水平・垂直方向の平均輝度分布ｘH、ｘVが求められる。これにより各領域の水平・垂直方向の主成分が反映された波形パターンが得られる（図１０参照）。変換基底演算部２１８には、典型的な平均輝度分布ベクトルｘH、ｘVのパターンを主軸に反映させたK種類の正規直交基底Ａi（ｉ＝0,1,…,K-1）が用意され、ｘH、ｘVに対応していずれかの基底Ａiが選択される。Ａiとして用意される基底（Ｎ＝４）の例を図１３乃至図１９に示す。
【００６２】
なお、図１３乃至図１９では、変換基底演算部２１８に備えられた正規直交基底（順変換マトリクス）と共に、後述する画像復号装置の逆適用変換部２１６で使用されるその変換基底の転置行列に対応した逆変換マトリクスが示されている。
【００６３】
図１３に示される基本となるDCT基底は主軸基底が直流成分となっている。このDCT基底となる順変換マトリクスと、逆変換マトリクスによって、次式で表されるDCT変換及びその逆変換が行われる。
【００６４】
【数１】
0003887178.tif 000002
上記のようなDCT基底に対し、図１４に示すパターン1-1及び図１５に示すパターン1-2は、なだらかに輝度が変化するパターンとなる。また、図１６に示すパターン2-1及び図１７に示すパターン2-2は、Ｎ×Ｎ画素ブロック内で山や谷の形の画素値の起伏があるパターンである。更に、図１８に示すパターン3-1及び図１９に示すパターン3-2では、急峻なエッジがあるパターンが主軸に反映されている。上記変換基底演算部２１８における基底選択の規範としては、平均輝度分布ベクトルｘH、ｘVと主軸基底ベクトルの内積が最大になるＡiを選択する、などがある。
【００６５】
予測画像と符号化対象画像（予測残差信号）との間にパターンの類似性がある場合、上記の手順によって予測画像のパターンに対する電力集中度の高い基底を選択的に用いることにより、符号化対象画像の直交変換係数の集中度を高めることができる。さらに、ID情報２５０自体は、画像の性質によって選択頻度に偏りが生じるため、可変長符号化部２１３において適切なハフマン符号割当や、算術符号などのエントロピー符号化を用いることでID情報の伝送ビットを削減することが可能である。
【００６６】
図１２に示す画像復号装置は次のように動作する。
【００６７】
この画像復号装置では、圧縮ストリーム２１４が受信されると、可変長復号部２２０で各フレームの先頭を表す同期ワードが検出され、以後、マクロブロック単位に、個々の直交変換単位に使用した変換基底ID情報２５０、動きベクトル２０５、量子化直交変換係数２２１が復元される。動きベクトル２０５は動き補償部２０７に送られ、動き補償部２０７は画像符号化装置の動作と同様、フレームメモリ２２２（フレームメモリ２０３と同じように使用される）から動きベクトル２０５の分だけ動いた画像部分を予測画像２０６として取り出す。量子化直交変換係数２２１は逆量子化部２１５、逆適応変換部２１６を経て復号された後、予測画像２０６と加算されて最終的な復号画像２１７となる。
【００６８】
変換基底蓄積部２５１には、画像符号化装置側と同じ基底セットＡi（図１３乃至図１９参照）が格納されており、変換基底ID情報２５０に基づいて変換基底２１９が選択され、その選択された変換基底２１９が逆適応変換部２１６に送られる。逆適応変換部２１６は、選択された変換基底Ａiの転置行列を用いて変換係数を逆変換して画像空間上の信号に戻す。復号画像２１７は所定の表示タイミングで表示デバイスへ出力され、映像が再生される。
【００６９】
上記第二の実施の形態の変形例として、変換基底Ａi（ｉ＝０,1,…、K-1）のいずれを使ったかを識別するID情報２５０そのものを伝送せず、変換基底の基準となるDCT基底を使うか、変換基底Ａiのうちのいずれかを使うかの選択を示すフラグ情報のみを伝送するように構成してもよい。この場合、画像符号化装置は、例えば、図２０に示すように構成され、また、画像復号装置は、例えば、図２１に示すように構成される。
【００７０】
図２０に示す画像符号化装置では、基底演算部２１８Aは、図１３乃至図１９に示すような典型的な画像パターンを反映したK種類の正規直交基底Ａi（ｉ＝０,1,…、K-1）を備える。そして、この基底演算部２１８Ａは、入力される予測画像２０６を直交変換適用領域（Ｎ×Ｎ画素ブロック、Ｎ＝４、８など）に分割し、各直交変換適用領域ごとに変換基底Ａiの中からもっとも適した適応変換基底を選択する。基底Ａiの選択の方法は、たとえば上述のように、予測画像２０６の各直交変換適用領域に対し、水平・垂直方向の平均輝度分布ベクトルｘH、ｘVを求め、これらの平均輝度分布ベクトルと主軸基底ベクトルとの内積が最大となるＡiを選択する、などの方法がある。
【００７１】
次いで、DCT基底と、予測画像２０６に適応して得られた上記適応変換基底のうち符号化効率のよいほうを選択して変換基底２１９として出力する。符号化効率の比較としては、両変換基底のうち、符号化歪みと符号量の線形和であらわされるレート歪みコストを最小とするほうを選択する、などの規範が考えられる。変換基底演算部２１８Aは、DCT基底を選択したか、変換基底演算部２１８Aで決定された基底を選択したかを示すフラグ情報２５０Aを圧縮ストリームに多重して復号装置へ伝送する。
【００７２】
こうして得られた変換基底２１９は適応変換部２０９Aに送られ、変換符号化に用いられる。
【００７３】
図２１に示す画像復号装置では、圧縮ストリームから上記フラグ情報２５０Aが取り出され、変換基底演算部２１８Bに入力される。変換基底演算部２１８Bは、DCT以外の基底が使われたことを認識した場合は、画像符号化装置と全く同じ判断基準で変換基底Ａiを特定し、DCT基底が使われたことを認識した場合は、DCT基底を、変換基底２１９として出力する。
【００７４】
画像復号装置は、画像符号化装置とまったく同じ予測画像２０６を使用できる。変換基底Ａiの特定については、上記画像符号化装置の説明で述べたものと同じ判断基準を使うとすれば、予測画像２０６の各直交変換適用領域に対し水平・垂直方向の平均輝度分布ベクトルｘH、ｘVを求め、これらの平均輝度分布ベクトルと主軸基底ベクトルとの内積が最大となる変換基底Ａiを選択すればよい。こうして得られた変換基底２１９が逆適応変換部２１６で使用され、変換係数が逆変換されて画像空間上の信号に戻される。
【００７５】
一般に画像信号は非定常な信号であるため、基底セットＡiの種類が豊富になるほど適応直交変換の効率を向上させることができる。上述したような画像符号化装置及び画像復号装置によれば、画像のパターンに適応した基底セットＡiの種類を豊富にしても、その特定に必要な付加情報を増やすことなく効率的な符号化を行うことができる。
【００７６】
更に、上述した第二の実施の形態の他の変形例として、変換基底の基準となるDCT基底を使うか、変換基底ＡIを使うかを表すフラグ情報を送るのではなく、それらを、参照画像の領域の活性度（例えば、輝度分散値や輝度最大値と最小値の差分絶対値）に応じて、受信側で自動判別させる形態も考えられる。活性度が高ければ、符号化側では変換基底ＩＤ情報を送信し、それが低ければ、変換基底ＩＤ情報を送らず、デフォルトのDCT基底を使うものとする。受信側では、参照画像領域の活性度が所定の値より高ければ、変換基底が指定されるものとして、その変換基底ＩＤ情報を受け取って復号する。
【００７７】
次に、本発明の第三の実施の形態を説明する。
【００７８】
本実施の形態に係る画像符号化装置は、例えば、図２２に示すように構成され、また、画像復号装置は、例えば、図２３に示すように構成される。本実施の形態では、画像符号化装置側で求めた変換基底そのものを符号化データとして画像復号装置側に伝送し、画像復号装置側では基底演算を行わなくて済むように構成したものである。
【００７９】
図２２に示す画像符号化装置において、入力映像信号３０１はフレーム画像の時間系列であり、以下、フレーム画像単位の信号を表すものとする（符号化対象となるフレーム画像は、図３における現フレームに該当）。現フレームは、マクロブロック単位で以下の手順で符号化される。現マクロブロックはまず動き検出部３０２に送られ、ここで、動きベクトル３０５の検出が行われる。動き補償部３０７は、動きベクトル３０５を用いてフレームメモリ３０３中の局所復号画像３１７を参照して、各マクロブロックの予測画像３０６を取り出す。
【００８０】
現マクロブロックと予測画像３０６との差分として予測残差信号３０８が得られ、これが適応変換部３０９によって直交変換係数データ３１０に変換される。適応変換部３０９で用いられる変換基底３１９は、変換基底演算部３１８において、使用される予測画像３０６のパターンに応じて生成される。また、同じ変換基底を復号側で用いるため、変換基底３１９の各基底ベクトルは符号化されて圧縮ストリーム３１４に多重される。また、変換基底３１９は適応変換部３０９に送られ、直交変換に使用される。変換基底演算部３１８の処理は、前述した第一の実施の形態における変換基底演算部１１８と全く同一である。
【００８１】
適応変換部３０９によって得られた直交変換係数データ３１０は、量子化部３１１を経て、可変長符号化部３１３でスキャン、ランレングス符号化されて圧縮ストリーム３１４に多重され伝送される。動きベクトル３０５もマクロブロックごとに圧縮ストリーム３１４に多重され、伝送される。また、量子化係数３１２は、逆量子化部３１５、逆適応変換部３１６を経て局所復号され、その結果が予測画像３０６と加算されて、画像復号装置側と同一の復号画像３１７が生成される。復号画像３１７は次フレームの予測に用いるため、フレームメモリ３０３に局所復号画像として格納される。
【００８２】
図２３に示す画像復号装置では、圧縮ストリーム３１４が受信されると、可変長復号部３２０で各フレームの先頭を表す同期ワードを検出し、以後、マクロブロック単位に、個々の直交変換単位に使用した変換基底３１９、動きベクトル３０５、量子化直交変換係数３２１が復元される。動きベクトル３０５は動き補償部３０７に送られ、動き補償部３０７は、符号化装置の動作と同様、フレームメモリ３２２（フレームメモリ３０３と同じように使用される）から動きベクトル３０５の分だけ動いた画像部分を予測画像３０６として取り出す。量子化直交変換係数３２１は逆量子化部３１５、逆適応変換部３１６を経て復号された後、予測画像３０６と加算されて最終的な復号画像３１７となる。逆適応変換部３１６は、変換基底３１９の転置行列を用いて変換係数を逆変換して画像空間上の信号に戻す。復号画像３１７は所定の表示タイミングで表示デバイスへ出力され、映像が再生される。
【００８３】
更に、本発明の第四の実施の形態について説明する。
【００８４】
本実施の形態に係る画像符号化装置は、例えば、図２４に示すように構成され、また、画像復号装置は、例えば、図２５に示すように構成される。
【００８５】
本実施の形態では、前述した第二の実施の形態と同様に、基底セットＡi（ｉ＝0,1,…,K-1）を用いて変換基底を適応的に選択することによる変換符号化を行うのに加えて、その変換基底Ａiを動的に更新する仕組みを備える。これにより、固定の基底セットで十分に対応できない画像パターンが現れた際に、さらに符号化効率を改善することができる。
【００８６】
図２４に示す画像符号化装置において、入力映像信号４０１はフレーム画像の時間系列であり、以下、フレーム画像単位の信号を表すものとする（符号化対象となるフレーム画像は、図３における現フレームに該当）。現フレームは、マクロブロック単位で以下の手順で符号化される。現マクロブロックはまず動き検出部４０２に送られ、ここで、動きベクトル４０５の検出が行われる。動き補償部４０７は、動きベクトル４０５を用いてフレームメモリ４０３中の局所復号画像４１７を参照して、各マクロブロックの予測画像４０６を取り出す。
【００８７】
現マクロブロックと予測画像４０６との差分として予測残差信号４０８が得られ、これが適応変換部４０９によって直交変換係数データ４１０に変換される。適応変換部４０９で用いられる変換基底４１９は、変換基底演算部４１８において、使用される予測画像４０６のパターンに応じて選択される。選択された変換基底４１９は適応変換部４０９に送られ、直交変換に使用される。また、直交変換処理単位ごとに変換基底４１９のID情報４５０が圧縮ストリーム４１４に多重され、画像復号装置側に伝送される。
【００８８】
さらに、変換基底演算部４１８において、その時点での基底セットＡiに含まれない別の変換基底が生成された場合、その変換基底そのものもID情報４５０とともに可変長符号化部４１３を経て圧縮ストリーム４１４に多重され、伝送される。この際、伝送されるID情報４５０とは、同時に伝送される変換基底で置き換えられる基底のID情報を意味する。変換基底演算部４１８の処理は後述する。
【００８９】
適応変換部４０９によって得られた直交変換係数データ４１０は、量子化部４１１を経て、可変長符号化部４１３でスキャン、ランレングス符号化されて圧縮ストリーム４１４に多重され伝送される。動きベクトル４０５もマクロブロックごとに圧縮ストリーム４１４に多重され、伝送される。また、量子化係数４１２は、逆量子化部４１５、逆適応変換部４１６を経て局所復号され、その結果が予測画像４０６と加算されて、復号装置側と同一の復号画像４１７が生成される。復号画像４１７は次フレームの予測に用いるため、フレームメモリ４０３に局所復号画像として格納される。
【００９０】
変換基底演算部４１８は、次のような処理を行う。
【００９１】
変換基底演算部４１８は、入力される予測画像４０６を直交変換適用領域（Ｎ×Ｎ画素ブロック、Ｎ＝４、８など）に分割し、その単位で変形基底４１９を求め、適応変換部４０９に対して出力する。まず、予測画像４０６の各直交変換適用領域に対し、水平・垂直方向の平均輝度分布ｘH、ｘVを求める。これにより各領域の水平・垂直方向の主成分が反映された波形パターンが得られる（図１０参照）。変換基底演算部４１８には、典型的な平均輝度分布ベクトルｘH、ｘVのパターンを主軸に反映させたK種類の正規直交基底Ａi（ｉ＝0,1,…,K-1）が用意され、ｘH、ｘVに対応していずれかの基底Ａiが選択される。Ａiとして用意される基底（N=4）の例は、図１３乃至図１９に示すようなものがある。個々の例の説明は実施例２に詳しいので省略する。
【００９２】
また、第一の実施の形態で述べたようなｘH、ｘVに基づく基底演算が実施され、その結果得られる基底をＡ’とする。変換基底演算部４１８では、Ａi（ｉ＝0,1,…,K-1）およびＡ’の中から平均輝度分布ベクトルｘH、ｘVと主軸基底ベクトルの内積が最大になる基底を選択する。Ａ’が選択される場合、最も内積値（類似度情報）の小さかった基底がＡ’で置き換えられる。ただし、Ａ’が選択される場合は基底そのものを伝送するため符号量のオーバヘッドが生じることから、それを配慮するために、Ａiの中だけで選択した基底とＡ’の両方で変換符号化を行い、レート・歪みのバランスがよいほうを選択したり、あらかじめＡiの中だけで選択が行われやすい様に内積値（類似度情報）にオフセットをかけるなどの操作を行う。
【００９３】
予測画像と符号化対象画像（予測残差信号）との間にパターンの類似性がある場合、上記の手順によって予測画像のパターンに対する電力集中度の高い基底を選択的に用いることにより、符号化対象画像の直交変換係数の集中度を高めることができる。ID情報４５０自体は、画像の性質によって選択頻度に偏りが生じるため、可変長符号化部４１３において適切なハフマン符号割当や、算術符号などのエントロピー符号化を用いることでID情報の伝送ビットを削減することが可能である。また、Ａ’で置き換えられる基底は、ID情報４５０により画像復号装置側で一意に決定されるので、Ａ’と置き換えられる基底との間で差異のある基底ベクトルだけを伝送するなどの工夫により、基底伝送のオーバヘッドを少なくすることもできる。
【００９４】
図２５に示す画像復号装置は次のように動作する。
【００９５】
この画像復号装置では、圧縮ストリーム４１４が受信されると、可変長復号部４２０で各フレームの先頭を表す同期ワードを検出し、以後、マクロブロック単位に、個々の直交変換単位に使用した変換基底ID情報４５０、基底を更新する場合の変換基底４１９、動きベクトル４０５、量子化直交変換係数４２１が復元される。動きベクトル４０５は動き補償部４０７に送られ、動き補償部４０７は符号化装置の動作と同様、フレームメモリ４２２（フレームメモリ４０３と同じように使用される）から動きベクトル４０５だけ動いた画像部分を予測画像４０６として取り出す。量子化直交変換係数４２１は逆量子化部４１５、逆適応変換部４１６を経て復号された後、予測画像４０６と加算されて最終的な復号画像４１７となる。
【００９６】
変換基底蓄積部４１８では、変換基底ID情報４５０に基づいて画像符号化装置側と同じ基底セットＡiの中から対応する基底４１９が選択され、その選択された基底４１９が逆適応変換部４１６に送られる。ただし、変換基底４１９が符号化データとして送られてきた場合は、基底セットＡiの中のID情報４５０で示される基底と置きかえられ、それがそのまま逆適応変換部４１６に送られる。また、逆適応変換部４１６は、選択された基底の転置行列を用いて変換係数を逆変換して画像空間上の信号に戻す。復号画像４１７は所定の表示タイミングで表示デバイスへ出力され、映像が再生される。
【００９７】
次に、本発明の第五の実施の形態について説明する。
【００９８】
本実施の形態に係る画像符号化装置は、例えば、図２６に示すように構成され、また、画像復号装置は、例えば、図２７に示すように構成される。本実施の形態では、動き補償フレーム間予測による予測画像と符号化対象画像（現マクロブロック）との相関が高いことを利用し、予測画像に対して最適な直交変換基底を求め、それを直接、符号化対象信号に適用する。すなわち、予測残差信号ではなく、フレーム内信号を直接直交変換する。これにより、現マクロブロックの信号に対する変換係数は、主軸近辺に集中的に分布するため、フレーム内信号であっても効率よく係数の符号化を行うことができる。また、予測画像は画像符号化装置と画像復号装置で共通の信号であるので、双方で同じ手順で直交変換基底を生成することができるため、基底のデータを伝送する必要がない。
【００９９】
図２６に示す画像符号化装置において、入力映像信号５０１はフレーム画像の時間系列であり、以下、フレーム画像単位の信号を表すものとする（符号化対象となるフレーム画像は、図３における現フレームに該当）。現フレームは、マクロブロック単位で以下の手順で符号化される。現マクロブロックはまず動き検出部５０２に送られ、ここで、動きベクトル５０５の検出が行われる。動き補償部５０７は、動きベクトル５０５を用いてフレームメモリ５０３中の局所復号画像５１７を参照して、各マクロブロックの予測画像５０６を取り出す。
【０１００】
ここで、これまでの各実施の形態と異なり、現マクロブロックから予測画像５０６を差し引く処理は実施せず、予測画像５０６は変換基底演算部５１８に送られ、現マクロブロックの変換符号化に用いられる変換基底５１９の生成に用いられる。
【０１０１】
変換基底演算部５１８では、予測画像５０６をソースとするKL（カルーネン・レーベ）変換基底の生成処理を行う。KL変換は、定常確率過程に従う信号に対し、電力集中度の観点で最適な正規直交変換を与える。従って、画像信号のように非定常な信号に対しては個々の変換単位についてそれぞれKL変換基底を求め、画像復号装置で同じ基底が使用できるように伝送する必要がある。本実施の形態では、予測画像に対してKL変換を求めることにより、画像復号装置側に変換基底を伝送しなくて済む構成としている。一般に、予測画像５０６は、動き補償フレーム間予測アルゴリズムに基づいて、現マクロブロックと類似するパターンとして抽出される。つまり、予測画像５０６の信号分布は現マクロブロックと極めてよく似ている確率が高い。この観点から、予測画像のKL変換により、現マクロブロックの変換係数もDCTを用いるよりも電力集中度を高められる、すなわち少ない基底係数で信号を表現できると考えられる。
【０１０２】
現マクロブロックは、適応変換部５０９において、予測画像５０６のKL変換基底を用いて直交変換係数データ５１０に変換される。直交変換係数データ５１０は、量子化部５１１を経て、可変長符号化部５１３でスキャン、ランレングス符号化されて圧縮ストリーム５１４に多重され伝送される。動きベクトル５０５もマクロブロックごとに圧縮ストリーム５１４に多重され、伝送される。また、量子化係数５１２は、逆量子化部５１５、逆適応変換部５１６を経て局所復号され、復号装置側と同一の復号画像５１７が生成される。復号画像５１７は次フレームの予測に用いるため、フレームメモリ５０３に格納される。
【０１０３】
図２７に示す画像復号装置は次のように動作する。
【０１０４】
この画像復号装置では、圧縮ストリーム５１４が受信されると、可変長復号部５２０で各フレームの先頭を表す同期ワードを検出し、以後、マクロブロック単位に、動きベクトル５０５、量子化直交変換係数５２１が復元される。動きベクトル５０５は動き補償部５０７に送られ、動き補償部５０７は符号化装置の動作と同様、フレームメモリ５２２（フレームメモリ５０３と同じように使用される）から動きベクトル５０５だけ動いた画像部分を予測画像５０６として取り出す。
【０１０５】
量子化直交変換係数５２１は逆量子化部５１５、逆適応変換部５１６を経て復号され、復号画像５１７となる。変換基底演算部５１８では、符号化装置側と同様、予測画像５０６をソースとするKL変換基底を求め、変換基底５１９として出力する。逆適応変換部５１６は、変換基底５１９に基づいて変換係数を逆変換して画像空間上の信号に戻す。復号画像５１７は所定の表示タイミングで表示デバイスへ出力され、映像が再生される。
【０１０６】
更に、本発明の第六の実施の形態を説明する。
【０１０７】
本実施の形態に係る画像符号化装置は、例えば、図２８に示すように構成され、また、画像復号装置は、例えば、図２９に示すように構成される。本実施の形態は、「Matching Pursuits」（パターンマッチング）と呼ばれる技術を応用した圧縮符号化方式による映像符号化・復号を行い、前述の各実施の形態で述べてきたような、予測画像の信号パターンを反映させた適応基底を導入する装置に関するものである。「Matching Pursuits」に基づけば、符号化対象の画像信号fは、あらかじめ用意される過完備（over-complete）な基底セットｇkを用いて、下式数２のよう表現できる。
【０１０８】
【数２】
0003887178.tif 000003
ここで、ｎは基底探索ステップ数、Ｒnｆは第ｎ探索ステップ目において基底探索対象になる信号（以下、第ｎ段の部分信号波形と呼ぶ）、ｇknはＲnｆとの内積を最大とする基底である。Ｒmｆは第ｍ探索ステップ目で探索対象となる残差成分である。すなわち、ステップｎを増やすほど、信号ｆの表現精度が向上する。第ｎ＋１探索ステップ目の基底探索対象信号は、
【０１０９】
【数３】
0003887178.tif 000004
となる。これは、信号ｆの表現に使用する基底の数が増えるほど信号をよく表現できることを意味する。Ｒnｆは、画像内の任意の位置を中心とする所定の窓範囲内で定義される信号波形である。符号化される情報は、各探索ステップについて、ｇを示すインデックス（ｇkは符号化側、復号側で共通にしてあり、そのインデックス情報だけを交換することで基底を特定できる）、内積値（類似度情報）
【０１１０】
【数４】
0003887178.tif 000005
部分信号波形Ｒnｆの画面内位置情報ｐ＝（ｘk，ｙk）である。
【０１１１】
この画像信号表現および符号化方法によれば、符号化する基底の数を増やす、すなわち探索ステップ数を増やすほど符号量が増加し、ひずみが小さくなる。
【０１１２】
図２８に示す画像符号化装置において、入力映像信号はフレーム画像の時間系列であり、以下、フレーム画像単位の信号を表すものとする（符号化対象となるフレーム画像は、図３における現フレームに該当）。現フレームは、以下の手順で符号化される。まず、現フレームは動き検出部６０２に送られ前記の実施例におけるマクロブロックの単位で、動きベクトル６０５の検出が行われる。動き補償部６０７は、動きベクトル６０５を用いてフレームメモリ６０３中の局所復号画像６０４を参照して、現フレームの予測画像６０６を取り出す。予測画像６０６と現フレーム（入力映像信号６０１）との差分として、予測残差信号６０８が得られる。
【０１１３】
続いて、基底探索部６０９において、予測残差信号６０８に対して上述の「Matching Pursuits」のアルゴリズムに基づいて基底パラメータ（以下、アトムという)６１０が生成される。基底セットｇkは基底コードブック６１９に格納される。「Matching Pursuits」アルゴリズムの性質上、初期の探索ステップで部分信号波形をできるだけ正確に表現できる基底を見つけることができれば、より少ないアトム、すなわち少ない符号量で部分信号波形を表現できる。また、はじめから過完備の基底ｇkを使用するため、ｇkに含まれるベクトルに対して１次独立の条件を満たす波形パターンであれば任意のノルム１のベクトルを新しい基底として使用できる。
【０１１４】
したがって、本実施例では、予測画像６０６に含まれる画像信号の波形パターンを新しい基底として用いることができるように構成した。上述のように、物体の輪郭領域で動き補償予測がはずれるような場合に、予測残差信号に予測画像と似たエッジパターンが現れることが考えられるなど、予測画像信号のパターンは予測残差信号と相関が高いことがある。そこで、予測画像自体から基底を生成しておくことにより、使用できる基底の候補が増え、予測残差信号を効率よく表現できる。
【０１１５】
具体的には、基底演算部６１８において、予測画像６０６を入力として以下のように新しい基底候補ｈj６５２を生成する。
【０１１６】
【数５】
0003887178.tif 000006
ここで、Ｐjは部分予測画像から生成される波形ベクトル、｜Ｐj｜はＰjのノルムである。ただし、ここで部分予測画像とは、予測画像６０６内で、基底探索対象の部分信号波形と、同一空間位置にある部分信号波形を意味する。部分予測画像の画面内位置は、符号化されるアトムの位置情報と同じであるため、画像復号装置側では部分予測画像の位置を特定するための付加情報を必要としない。Ｐjとしてはたとえば、以下のようなものが考えられる。
【０１１７】
１）部分予測画像からDC成分を差し引いた波形パターン
２）部分予測画像からエッジ成分を抽出した波形パターン(水平方向、または垂直方向にSobelオペレータを施すなどによって抽出)
３）部分予測画像自身と、そこから1/4画素だけ水平にずらしたパターンとの差分波形パターン
４）部分予測画像自身と、そこから1/4 画素だけ垂直にずらしたパターンとの差分波形パターン
５）部分予測画像自身と、そこから1/2画素だけ水平にずらしたパターンとの差分波形パターン
６）部分予測画像自身と、そこから1/2 画素だけ垂直にずらしたパターンとの差分波形パターン
７）部分予測画像に平滑化をかけた波形パターン
これらの部分予測画像をベースとするＰjを使って、［数５］の式により新しい基底セットｈjを生成する。ｈjは、予測画像６０６に含まれる信号のみを用いて生成されるため、基底ベクトルそのものを伝送する必要はなく、ｇkのかわりにｈjのインデックスを伝送するだけでよい。つまり、伝送する符号量をふやすことなく基底の候補を増加させることが可能となる。
【０１１８】
ただし、ｇkを使用するか、ｈjを使用するかを識別するためのフラグ情報６５０が符号化されることがある。
【０１１９】
また、図には示していないが、ある部分信号波形に対して定まるｈjを、他の任意の部分信号波形に対して共通的に使用したい場合には、その基底をｇkの中であまり使用されていない基底と置き換えるように構成することもできる。 以上の手順によって、基底探索部６０９において、フラグ情報６５０に加え、ｇkまたはｈjのインデックス、部分信号波形と基底の内積値、部分信号波形の位置からなるアトムパラメータ６１０が基底符号化部６１１へ出力される。基底符号化部６１１はこれらのアトムパラメータの量子化などの処理を行い、その符号化データを可変長符号化部６１３へ渡すとともに、基底復号部６１６へ入力する。基底復号部６１６は、フラグ情報６５０とスイッチ６５１とによって切り替えられたｇkまたはｈjの中から符号化された基底パターンを用いて画像信号を復元する。次いで予測画像６０６と加算され、局所復号画像６１７が生成され、次のフレームの動き補償予測に用いられるため、フレームメモリ６０３に格納される。
【０１２０】
次に図２９に示す画像復号装置は、次のように動作する。
【０１２１】
この画像復号装置では、圧縮ストリーム６１４が受信されると、可変長復号部６２０で各フレームの先頭を表す同期ワードを検出し、以後、マクロブロック単位に、動きベクトル６０５、アトムパラメータ６２１が復元される。動きベクトル６０５は動き補償部６０７に送られ、動き補償部６０７は符号化装置の動作と同様、フレームメモリ６２２（フレームメモリ６０３と同じように使用される）から動きベクトル６０５だけ動いた画像部分を予測画像６０６として取り出す。
【０１２２】
アトムパラメータ６２１は基底復号部６１６で復号される。この際、フラグ情報６５０に基づいて、もとから用意されている基底コードブックｇk６１９を使用するか、予測画像６０６から生成した基底ｈjを使用するかをスイッチ６５１で切り替えて、復号に使用する基底を決定する。ｈjを使用する場合は、基底演算部６１８において符号化側と同じルールで予測画像６０６からｈjを生成する。
【０１２３】
基底復号部６１６の出力は予測画像６０６と加算され、復号画像６１７となり、これは以降のフレームの動き補償に用いられるため、フレームメモリ６２２に格納される。復号画像６１７は所定の表示タイミングで表示デバイスへ出力され、映像が再生される。
【０１２４】
【発明の効果】
以上、説明したように、請求項に係る本発明によれば、請求項１乃至１０７記載の本願発明によれば、符号化対象信号の性質にマッチした変換基底を用いて変換及び符号化ができると共に、その符号化信号を復号した後に同様の変換基底を用いて変換できるようになる。その結果、変換基底を用いて信号の符号化及び復号する際に、更に効率的な符号化及び復号を行うことができるようになる。
【図面の簡単な説明】
【図１】  DCTの技術を用いて符号化を行う従来の画像符号化装置の一例を示すブロック図である。
【図２】  DCTの技術を用いて復号を行う画像復号装置の一例を示すブロック図である。
【図３】動き補償フレーム間予測の仕組みを説明するための図である。
【図４】動きベクトル検出に用いられるブロックマッチング処理の概要を説明するための図である。
【図５】  DCTの概念を説明するためのずである。
【図６】  DCT係数の符号化の原理を説明する図である。
【図７】本発明の実施の形態における符号化の原理を説明する図である。
【図８】本発明の第一の実施の形態に係る画像符号化装置を示す図である。
【図９】本発明の第一の実施の形態に係る画像復号装置を示す図である。
【図１０】予測画像の直交変換適用領域における輝度分布の一例を示す図である。
【図１１】本発明の第二の実施の形態に係る画像符号化装置を示す図である。
【図１２】本発明の第二の実施の形態に係る画像復号装置を示す図である。
【図１３】  DTC変換基底及びその処理式を表す図である。
【図１４】変換基底の一例を示す図である（その１）。
【図１５】変換基底の一例を示す図である（その２）。
【図１６】変換基底の一例を示す図である（その３）。
【図１７】変換基底の一例を示す図である（その４）。
【図１８】変換基底の一例を示す図である（その５）。
【図１９】変換基底の一例を示す図である（その６）。
【図２０】本発明の第二の実施の形態に係る画像符号化装置の変形例を示す図である。
【図２１】本発明の第二の実施の形態に係る画像復号装置の変形例を示す図である。
【図２２】本発明の第三の実施の形態に係る画像符号化装置を示す図である。
【図２３】本発明の第三の実施の形態に係る画像復号装置を示す図である。
【図２４】本発明の第四の実施の形態に係る画像符号化装置を示す図である。
【図２５】本発明の第四の実施の形態に係る画像復号装置を示す図である。
【図２６】本発明の第五の実施の形態に係る画像符号化装置を示す図である。
【図２７】本発明の第五の実施の形態に係る画像復号装置を示す図である。
【図２８】本発明の第六の実施の形態に係る画像符号化装置を示す図である。
【図２９】本発明の第六の実施の形態に係る画像復号装置を示す図である。
【符号の説明】
１０２，２０２，３０２，４０２，５０２，６０２  動き検出部
１０３，２０３，３０３，４０３，５０３，６０３  フレームメモリ
１０７，２０７，３０７，４０７，５０７，６０７  動き補償部
１０９，２０９，２０９Ａ，３０９，４０９，５０９，６０９  適応変換部
１１１，２１１，３１１，４１１，５１１，６１１  量子化部
１１３，２１３，３１３，４１３，５１３，６１３  可変長符号化部
１１５，２１５，３１５，４１５，５１５  逆量子化部
１１６，２１６，３１６，４１６，５１６  逆適応変換部
１１８，２１８，２１８Ａ，２１８Ｂ，３１８，４１８，５１８変換基底演算部
１２０，２２０，３２０，４２０，５２０，６２０  可変長復号部
１２２，２２２，３２２，４２２，５２２，６２２  フレームメモリ
２５１  変換基底蓄積部
６１６  基底復号部
６１８  基底演算部
６１９  基底コードブック
【図１】
0003887178.tif 000007
【図２】
0003887178.tif 000008
【図３】
0003887178.tif 000009
【図４】
0003887178.tif 000010
【図５】
0003887178.tif 000011
【図６】
0003887178.tif 000012
【図７】
0003887178.tif 000013
【図８】
0003887178.tif 000014
【図９】
0003887178.tif 000015
【図１０】
0003887178.tif 000016
【図１１】
0003887178.tif 000017
【図１２】
0003887178.tif 000018
【図１３】
0003887178.tif 000019
【図１４】
0003887178.tif 000020
【図１５】
0003887178.tif 000021
【図１６】
0003887178.tif 000022
【図１７】
0003887178.tif 000023
【図１８】
0003887178.tif 000024
【図１９】
0003887178.tif 000025
【図２０】
0003887178.tif 000026
【図２１】
0003887178.tif 000027
【図２２】
0003887178.tif 000028
【図２３】
0003887178.tif 000029
【図２４】
0003887178.tif 000030
【図２５】
0003887178.tif 000031
【図２６】
0003887178.tif 000032
【図２７】
0003887178.tif 000033
【図２８】
0003887178.tif 000034
【図２９】
0003887178.tif 000035