(57)【要約】【課題】効率的に、画質の良い復号画像を得る。【解決手段】直交変換器８２は、符号化対象の画像データを、少なくとも、符号化に用いる直交変換の基底である符号化用基底ＡLPF+GSOを用いて直交変換することにより得られた変換係数の復号に用いる直交変換の基底である復号用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた符号化用基底ＡLPF+GSOを用いて、符号化対象の画像データを直交変換する。本発明は、例えば、画像データを、少なくとも、直交変換により符号化する符号化装置等に適用することが可能である。【選択図】図３
2009147843.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて、直交変換することにより得られる変換データを復号する復号装置において、
前記符号化用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた直交変換の基底である復号用基底を用いて、前記変換データを逆直交変換する逆直交変換手段
を備える復号装置。
【請求項２】
前記逆直交変換手段は、複数の前記復号用基底それぞれを用いて、前記変換データを逆直交変換し、
前記逆直交変換手段による複数の逆直交変換結果の中から、１の逆直交変換結果を、最終的な逆直交変換結果として選択する選択手段をさらに備える
請求項１に記載の復号装置。
【請求項３】
前記所定のフィルタは、低域通過フィルタ、又は低域制限フィルタである
請求項１に記載の復号装置。
【請求項４】
前記符号化用基底は、アダマール変換の基底、又はDCT(Discrete Cosine Transform)の基底である
請求項１に記載の復号装置。
【請求項５】
符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて、直交変換することにより得られる変換データを復号する復号装置の復号方法において、
前記復号装置が、前記符号化用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた直交変換の基底である復号用基底を用いて、前記変換データを逆直交変換する
ステップを含む復号方法。
【請求項６】
符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて、直交変換することにより得られる変換データを復号する復号装置として、コンピュータを機能させるプログラムにおいて、
前記符号化用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた直交変換の基底である復号用基底を用いて、前記変換データを逆直交変換する逆直交変換手段
として、コンピュータを機能させるプログラム。
【請求項７】
符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて直交変換することにより、変換データに符号化する符号化装置において、
前記変換データの復号に用いる直交変換の基底である復号用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた前記符号化用基底を用いて、前記データを直交変換する直交変換手段
を備える符号化装置。
【請求項８】
複数の前記符号化用基底の中から、１の符号化用基底を選択する選択手段をさらに備え、
前記直交変換手段は、前記選択手段により選択された前記１の符号化用基底を用いて、前記データを直交変換する
請求項７に記載の符号化装置。
【請求項９】
前記所定のフィルタは、低域通過フィルタ、又は低域制限フィルタである
請求項７に記載の符号化装置。
【請求項１０】
前記復号用基底は、アダマール変換の基底、又はDCTの基底である
請求項７に記載の符号化装置。
【請求項１１】
符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて直交変換することにより、変換データに符号化する符号化装置の符号化方法において、
前記符号化装置が、前記変換データの復号に用いる直交変換の基底である復号用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた前記符号化用基底を用いて、前記データを直交変換する
ステップを含む符号化方法。
【請求項１２】
符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて直交変換することにより、変換データに符号化する符号化装置として、コンピュータを機能させるプログラムにおいて、
前記変換データの復号に用いる直交変換の基底である復号用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた前記符号化用基底を用いて、前記データを直交変換する直交変換手段
として、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置及び方法、復号装置及び方法、並びにプログラムに関し、特に、例えば、符号化された画像等から、効率的に、画質の良い復号画像を得ることができるようにした符号化装置及び方法、復号装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、デジタル画像データは、そのデータ量が多いため、そのまま記録や伝送を行うには、大容量の記録媒体や伝送媒体が必要となる。そこで、一般には、図１に示すように、画像データを圧縮符号化することにより、そのデータ量を削減してから、記録や伝送が行われる。
【０００３】
図１は、従来の画像伝送システムを説明する図である。
【０００４】
図１の画像伝送システム１は、符号化装置２１及び復号装置２２により構成される。
【０００５】
符号化装置２１には、符号化対象の画像（元画像）が供給される。符号化装置２１は、そこに供給された元画像を、直交変換の基底を用いて直交変換し、その直交変換により得られた変換係数を、所定の量子化テーブルにしたがって量子化する。さらに、符号化装置２１は、変換係数の量子化結果をエントロピー符号化し、そのエントロピー符号化の結果である符号化データを、復号装置２２に出力する。
【０００６】
復号装置２２は、符号化装置２１からの符号化データを受信し、エントロピー復号し、所定の量子化テーブルにしたがって逆量子化する。さらに、復号装置２２は、逆量子化の結果得られた変換係数を、符号化装置２１で用いたものと同一の直交変換の基底を用いて逆直交変換し、その逆直交変換により得られた復号画像データを、図示せぬモニタ等に出力する。
【０００７】
なお、特許文献１には、量子化幅が所定の閾値を超えた場合、補正係数テーブルから読み出した補正係数を符号化時と同一のDCTの基底ベクトルに乗算してDCTの基底ベクトルを補正し、補正した基底ベクトルを用いて逆DCT（離散コサイン変換）を行う技術が開示されている（特に、特許文献１の[００１９]段落を参照）。
【特許文献１】特開２００４−３２２９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
図１の符号化装置２１では、量子化に用いる量子化テーブルの量子化ステップを大きくすることにより、符号化データのデータ量を削減することができる。即ち、高圧縮を実現することができる。
【０００９】
しかしながら、量子化ステップを大きくすると、いわゆる量子化誤差も大きくなることから、図１の復号装置２２で得られる復号画像の画質が劣化する。即ち、復号画像には、ブロック歪み、モスキートノイズ等が顕著に現れる。
【００１０】
従って、符号化データのデータ量を削減しながら、復号画像の画質を劣化させないようにするには、あるいは、符号化データのデータ量を維持して、復号画像の画質を向上させるには、復号した後に、何らかの画質向上の処理を行う必要がある。
【００１１】
しかしながら、復号した後に、画質向上のための処理を行うことは、処理が煩雑になり、最終的に復号画像が得られるまでの時間も長くなる。
【００１２】
なお、特許文献１に記載のように、補正係数を用いて補正された基底ベクトルを用いて、逆DCTを行うことで、ブロック歪等を低減した画質の良い復号画像を得ることができるが、画質の良い復号画像を得る他の手法の提案が要請されている。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、符号化された画像等から、効率的に、画質の良い復号画像を得ること等ができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の第１の側面の復号装置、又はプログラムは、符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて、直交変換することにより得られる変換データを復号する復号装置、又は符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて、直交変換することにより得られる変換データを復号する復号装置として、コンピュータを機能させるプログラムであって、前記符号化用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた直交変換の基底である復号用基底を用いて、前記変換データを逆直交変換する逆直交変換手段を備える復号装置、又は復号装置として、コンピュータを機能させるプログラムである。
【００１５】
前記逆直交変換手段では、複数の前記復号用基底それぞれを用いて、前記変換データを逆直交変換することができ、前記逆直交変換手段による複数の逆直交変換結果の中から、１の逆直交変換結果を、最終的な逆直交変換結果として選択する選択手段をさらに設けることができる。
【００１６】
前記所定のフィルタは、低域通過フィルタ、又は低域制限フィルタとすることができる。
【００１７】
前記符号化用基底は、アダマール変換の基底、又はDCT(Discrete Cosine Transform)の基底とすることができる。
【００１８】
本発明の第１の側面の復号方法は、符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて、直交変換することにより得られる変換データを復号する復号装置の復号方法であって、前記復号装置が、前記符号化用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた直交変換の基底である復号用基底を用いて、前記変換データを逆直交変換するステップを含む。
【００１９】
本発明の第１の側面においては、符号化に用いる直交変換の基底である符号化用基底を用いて直交変換することにより得られた変換データが、前記符号化用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた直交変換の基底である復号用基底を用いて、逆直交変換される。
【００２０】
本発明の第２の側面の符号化装置、又はプログラムは、符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて直交変換することにより、変換データに符号化する符号化装置、又は符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて直交変換することにより、変換データに符号化する符号化装置として、コンピュータを機能させるプログラムであって、前記変換データの復号に用いる直交変換の基底である復号用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた前記符号化用基底を用いて、前記データを直交変換する直交変換手段を備える符号化装置、又は符号化装置として、コンピュータを機能させるプログラムである。
【００２１】
複数の前記符号化用基底の中から、１の符号化用基底を選択する選択手段をさらに設けることができ、前記直交変換手段では、前記選択手段により選択された前記１の符号化用基底を用いて、前記データを直交変換することができる。
【００２２】
前記所定のフィルタは、低域通過フィルタ、又は低域制限フィルタとすることができる。
【００２３】
前記復号用基底は、アダマール変換の基底、又はDCTの基底とすることができる。
【００２４】
本発明の第２の側面の符号化方法は、符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて直交変換することにより、変換データに符号化する符号化装置の符号化方法であって、前記符号化装置が、前記変換データの復号に用いる直交変換の基底である復号用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた前記符号化用基底を用いて、前記データを直交変換するステップを含む。
【００２５】
本発明の第２の側面においては、符号化対象のデータを、少なくとも、符号化に用いる直交変換の基底である符号化用基底を用いて直交変換することにより得られた変換データの復号に用いる直交変換の基底である復号用基底を、所定のフィルタによりフィルタリングし、正規直交化することにより得られた前記符号化用基底を用いて、前記データが直交変換される。
【発明の効果】
【００２６】
本発明によれば、符号化された画像等から、効率的に、画質の良い復号画像を得ることができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２８】
図２は、本発明を適用した画像伝送システムの一実施の形態の構成例を示している。
【００２９】
図２の画像伝送システム４１は、符号化装置６１、及び復号装置６２により構成される。
【００３０】
符号化装置６１には、符号化対象の画像データが供給される。符号化装置６１は、そこに供給された画像データを、直交変換の基底を用いて直交変換すること等により符号化する。
【００３１】
符号化装置６１が画像データを符号化することにより得られる符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスク等でなる記録媒体６３に記録されるか、又は、例えば、地上波、衛星回線、CATV（Cable Television）網、インターネット、公衆回線等でなる伝送媒体６４を介して伝送される。
【００３２】
復号装置６２は、記録媒体６３又は伝送媒体６４を介して提供される符号化データを受信し、符号化装置６１で用いた基底とは異なる直交変換の基底を用いて逆直交変換すること等により復号する。この復号により得られた復号画像データは、例えば、図示せぬモニタ等に出力される。
【００３３】
図３は、図２の符号化装置６１の構成例を示すブロック図である。
【００３４】
図３の符号化装置６１は、ブロック化部８１、直交変換器８２、量子化器８３、及びエントロピー符号化器８４により構成される。
【００３５】
ブロック化部８１には、符号化対象の画像データが、例えば、１フレーム（又はフィールド）単位で供給される。ブロック化部８１は、そこに供給された１フレーム（の画像データ）を注目フレームとして、注目フレームを、所定の画素数で構成される複数のブロックに分割するブロック化を行い、そのブロック化により得られた注目フレームを構成する各ブロックを、直交変換器８２に供給する。
【００３６】
直交変換器８２は、ブロック化部８１からの、注目フレームを構成する各ブロックを、直交変換の基底ＡLPF+GSOを用いて直交変換し、その基底ＡLPF+GSOによるブロック（基底ＡLPF+GSOを用いて直交変換されたブロック）の変換係数（変換データ）を、量子化器８３に供給する。
【００３７】
ここで、基底ＡLPF+GSOは、復号装置６２で行われる、例えば、アダマール変換等の直交変換の基底Ａの高域の空間周波数成分（以下、高域周波数成分という）を減衰させた基底ＡLPFを正規直交化したものである。なお、直交変換の基底ＡLPF+GSOの生成方法は、図７ないし図９を参照して後述する。
【００３８】
量子化器８３は、所定の量子化テーブルにしたがって、直交変換器８２からの基底ＡLPF+GSOによるブロックの変換係数を量子化し、その量子化により得られた量子化変換係数を、エントロピー符号化器８４に供給する。
【００３９】
エントロピー符号化器８４は、量子化器８３からの注目フレームを構成する各ブロックの量子化変換係数に対して、例えば、ハフマン符号化等のエントロピー符号化を施し、その結果得られる、注目フレームの符号化結果である符号化データを出力する。
【００４０】
次に、図４のフローチャートを参照して、図３の符号化装置６１が行う符号化処理を説明する。
【００４１】
ステップＳ１１において、ブロック化部８１は、そこに供給された１フレーム（の画像データ）を注目フレームとして、注目フレームを、複数のブロックにブロック化し、直交変換器８２に供給して、処理は、ステップＳ１２に進む。
【００４２】
ステップＳ１２において、直交変換器８２は、ブロック化部８１からの、注目フレームを構成する各ブロックを、直交変換の基底ＡLPF+GSOを用いて直交変換し、その結果得られる、基底ＡLPF+GSOによるブロックの変換係数を、量子化器８３に供給して、処理は、ステップＳ１３に進む。
【００４３】
ステップＳ１３において、量子化器８３は、所定の量子化テーブルにしたがって、直交変換器８２からの基底ＡLPF+GSOによるブロックの変換係数を量子化し、その量子化により得られた量子化変換係数を、エントロピー符号化器８４に供給して、処理は、ステップＳ１４に進む。
【００４４】
ステップＳ１４において、エントロピー符号化器８４は、量子化器８３からの注目フレームを構成する各ブロックの量子化変換係数に対して、例えば、ハフマン符号化等のエントロピー符号化を施し、処理は、ステップＳ１５に進み、エントロピー符号化により得られた注目フレームの符号化データを出力して、処理は、ステップＳ１６に進む。
【００４５】
ステップＳ１６において、ブロック化部８１は、符号化対象の画像データすべてに対する処理が終了したか否かを判定する。
【００４６】
ステップＳ１６において、符号化対象の画像データすべてに対する処理が終了していないと判定された場合、処理は、ステップＳ１１に戻り、ブロック化部８１は、そこに供給される次の１フレームを、新たに、注目フレームとして、以下、同様の処理を繰り返す。
【００４７】
一方、ステップＳ１６において、符号化対象の画像データすべてに対する処理が終了したと判定された場合、処理は終了される。
【００４８】
図５は、図２の復号装置６２の構成例を示すブロック図である。
【００４９】
図５の復号装置６２は、エントロピー復号器１０１、逆量子化器１０２、逆変換器１０３、及びタイリング部１０４により構成される。
【００５０】
エントロピー復号器１０１には、復号対象の符号化データが、例えば、１フレーム（又はフィールド）単位で、図２の符号化装置６１から記録媒体６３又は伝送媒体６４を介して供給される。
【００５１】
エントロピー復号器１０１は、そこに供給された１フレームの符号化データを注目フレームの符号化データとして、注目フレームの符号化データをエントロピー復号し、そのエントロピー復号により得られる注目フレームの各ブロックの量子化変換係数を、逆量子化器１０２に供給する。
【００５２】
逆量子化器１０２は、エントロピー復号器１０１からの、注目フレームの各ブロックの量子化変換係数を、量子化器８３（図３）で用いられるのと同一の量子化テーブルにしたがって逆量子化し、その逆量子化により得られた基底ＡLPF+GSOによるブロックの変換係数を、逆変換器１０３に供給する。
【００５３】
逆変換器１０３は、逆量子化器１０２からの基底ＡLPF+GSOによるブロックの変換係数を、アダマール変換等の、規格化、又は汎用されている符号化/復号方式で採用されている直交変換の基底Ａを用いて逆直交変換し、その逆直交変換により得られる復号結果としての復号ブロックを、タイリング部１０４に供給する。
【００５４】
タイリング部１０４は、逆変換器１０３からの復号ブロックをタイリングすることにより、注目フレームの復号画像データを生成し、図示せぬモニタに出力する。
【００５５】
次に、図６のフローチャートを参照して、図５の復号装置６２が行う復号処理を説明する。
【００５６】
ステップＳ３１において、エントロピー復号器１０１は、そこに供給された１フレームの符号化データを注目フレームの符号化データとして、注目フレームの符号化データをエントロピー復号し、そのエントロピー復号により得られる注目フレームの各ブロックの量子化変換係数を、逆量子化器１０２に供給して、処理は、ステップＳ３２に進む。
【００５７】
ステップＳ３２において、逆量子化器１０２は、エントロピー復号器１０１からの注目フレームの各ブロックの量子化変換係数を逆量子化し、その逆量子化により得られる基底ＡLPF+GSOによるブロックの変換係数を、逆変換器１０３に供給して、処理は、ステップＳ３３に進む。
【００５８】
ステップＳ３３において、逆変換器１０３は、逆量子化器１０２からの基底ＡLPF+GSOによるブロックの変換係数を、アダマール変換等の直交変換の基底Ａを用いて逆直交変換し、その逆直交変換により得られる復号結果としての復号ブロックを、タイリング部１０４に供給して、処理は、ステップＳ３４に進む。
【００５９】
ステップＳ３４において、タイリング部１０４は、逆変換器１０３からの復号ブロックをタイリングすることにより、注目フレームの復号画像データを生成し、図示せぬモニタに出力して、処理は、ステップＳ３５に進む。
【００６０】
ステップＳ３５において、エントロピー復号器１０１は、復号対象とすべき符号化データすべてに対する処理が終了したか否かを判定する。
【００６１】
ステップＳ３５において、復号対象とすべき符号化データすべてに対する処理が終了していないと判定された場合、処理は、ステップＳ３１に戻り、エントロピー復号器１０１は、そこに供給される次の１フレームの符号化データを、新たに、注目フレームの符号化データとして、以下、同様の処理を繰り返す。
【００６２】
一方、ステップＳ３５において、復号対象とすべき符号化データすべてに対する処理が終了したと判定された場合、処理は終了される。
【００６３】
以上のように、図４の符号化処理において、直交変換の対象の各ブロックが、直交変換の基底ＡLPF+GSOを用いて直交変換され、その直交変換により得られた基底ＡLPF+GSOによるブロックの変換係数が、図６の復号処理において、直交変換の基底Ａを用いて逆直交変換される。
【００６４】
即ち、直交変換の基底ＡLPF+GSOは、直交変換の基底Ａの高域周波数成分が減衰されたものであるから、図６の復号処理で用いられる直交変換の基底Ａは、図４の符号化処理で用いられる直交変換の基底ＡLPF+GSOと比較して、高域周波数成分が強調されたものとなっている。従って、図６の復号処理では、図４の符号化処理で、図６の復号処理で用いられる基底Ａと同一の基底を用いて直交変換される場合と比較して、高域周波数成分が強調された復号画像を得ることができる。
【００６５】
このため、例えば、符号化された画像が、動きボケやピンボケ等のボケが現れたボケ画像であるとき、図６の復号処理では、復号結果として、ボケ画像が先鋭化されてボケが低減された復号画像を得ることができる。
【００６６】
また、図４の符号化処理、及び図６の復号処理においては、符号化処理と復号処理とで用いられる直交変換の基底が異なるだけで、従来の画像伝送システム１（図１）と同様の処理が行われるため、計算量を増加させることなく、効率的に、画質の良い復号画像を得ることが可能となる。
【００６７】
図７は、復号時に用いる直交変換の基底Ａから、符号化時に用いる直交変換の基底ＡLPF+GSOを生成する生成装置の一実施の形態の構成例を示すブロック図である。
【００６８】
図７の生成装置１２１は、フィルタ畳み込み演算部１４１、及び正規直交化演算部１４２により構成される。
【００６９】
フィルタ畳み込み演算部１４１には、例えば、図５の復号装置６２で用いられる直交変換の基底Ａが供給される。
【００７０】
フィルタ畳み込み演算部１４１は、そこに供給された直交変換の基底Ａに対して、低域通過フィルタ（ローパスフィルタ）Ｌによりフィルタリングするローパスフィルタ処理を行うことにより、直交変換の基底Ａの高域周波数成分が減衰された基底ＡLPFを得て、正規直交化演算部１４２に供給する。なお、フィルタ畳み込み演算部１４１が行うローパスフィルタ処理の詳細は、図８を参照して後述する。
【００７１】
正規直交化演算部１４２は、フィルタ畳み込み演算部１４１からの基底ＡLPFに対して、例えばグラム・シュミットの直交化法（Gram-Schmidt orthonormalization）等を用いることにより、基底ＡLPFを正規直交化し、その正規直交化により得られた直交変換の基底ＡLPF+GSOを、例えば、図３の符号化装置６１で用いられる直交変換の基底として出力する。これにより、フィルタ畳み込み演算部１４１からの基底ＡLPFが、正規直交性（正規性及び直交性）を満たしていなくても、図３の符号化装置６１で用いられる直交変換の基底ＡLPF+GSOは、必ず正規直交性を満たす。
【００７２】
図８は、フィルタ畳み込み演算部１４１が行うローパスフィルタ処理を説明する図である。
【００７３】
図８左側には、行列としての直交変換の基底Ａを構成するコンポーネントのうちの、コンポーネントA(x,y)を中心とする横×縦が３×３個の合計９個のコンポーネントA(x+i,y+j)が示されている。
【００７４】
また、図８中央には、低域通過フィルタＬの、横×縦が３×３個の合計９個のフィルタ係数L(i,j)が示されており、図８右側には、図８左側の９個のコンポーネントA(x+i,y+j)と、図８中央の９個のフィルタ係数L(i,j)それぞれとの積和演算により得られる、コンポーネントＡ(x,y)に対するローパスフィルタ処理の処理結果であるコンポーネントALPF(x,y)が示されている。
【００７５】
フィルタ畳み込み演算部１４１（図７）において、直交変換の基底Ａを構成するコンポーネントは、順次、注目コンポーネントＡ(x,y)とされ、例えば、式（１）の積和演算により、注目コンポーネントＡ(x,y)が、対応するローパスフィルタ処理の処理結果であるコンポーネントALPF(x,y)に変換される。
【００７６】
【数１】
2009147843.tif 000003
・・・（１）
【００７７】
但し、式（１）において、A(x+i,y+j)は、注目コンポーネントＡ(x,y)を中心とする横×縦が３×３個の合計９個のコンポーネントのうちの、左からi+2番目で、上からj+2番目に位置するコンポーネントであり、L(i,j)は、低域通過フィルタＬのフィルタ係数のうちの、コンポーネントA(x+i,y+j)と乗算されるフィルタ係数を示している。また、式（１）において、添え字i及びjは、それぞれ、値-1,0,1をとる。
【００７８】
なお、注目コンポーネントの上下、左右、及び斜め方向に隣接する合計８個のコンポーネントのうちのいずれかが存在しない場合、ローパスフィルタ処理に用いる、注目コンポーネントを中心とする横×縦が３×３個の合計９個のコンポーネントがすべて存在しないため、上述のローパスフィルタ処理を行うことができない。
【００７９】
この場合、注目コンポーネントを中心とする横×縦が３×３個の合計９個のコンポーネントのうちの存在しないコンポーネントを、実際に存在する、注目コンポーネントの上下、左右、又は斜め方向に隣接するコンポーネントとみなすミラー処理が行われて、上述のローパスフィルタ処理が行われる。
【００８０】
次に、図９のフローチャートを参照して、図７の生成装置１２１が行う生成処理を説明する。
【００８１】
ステップＳ５１において、フィルタ畳み込み演算部１４１は、そこに供給された直交変換の基底Ａに対して、低域通過フィルタＬによりフィルタリングするローパスフィルタ処理（図８）を行うことにより、直交変換の基底Ａの高域周波数成分が減衰された基底ＡLPFを得て、正規直交化演算部１４２に供給して、処理は、ステップＳ５２に進む。
【００８２】
ステップＳ５２において、正規直交化演算部１４２は、フィルタ畳み込み演算部１４１からの基底ＡLPFに対して、例えばグラム・シュミットの直交化法等を用いることにより、基底ＡLPFを正規直交化し、その正規直交化により得られた直交変換の基底ＡLPF+GSOを出力して、処理は終了される。
【００８３】
図１０は、符号化時と復号時とで同一の直交変換の基底を用いることにより得られた復号画像と、その画素値を示す図である。また、図１１は、符号化時と復号時とで異なる直交変換の基底を用いることにより得られた復号画像と、その画素値を示す図である。
【００８４】
図１０には、逆直交変換時と同一の基底ＡLPF+GSOを用いて直交変換し、基底ＡLPF+GSOを用いて逆直交変換することにより得られた復号画像が示されており、図１１には、逆直交変換時と異なる基底ＡLPF+GSOを用いて直交変換し、基底Ａを用いて逆直交変換することにより得られた復号画像が示されている。
【００８５】
また、図１０及び図１１において、復号画像内の右側に示されるグラフの横軸は、その左側のバツ（×）印で示される画素を中心として、左右方向に連続して並ぶ各画素の位置を示しており、縦軸は、各画素の画素値を示している。なお、復号画像内のバツ印で示される画素の位置、及び画素の画素値は、グラフ内の座標Ｙにより示される。
【００８６】
図１０と図１１とを比較すると、図１０のグラフにおいて、復号画像のエッジ部分を表す、画素の位置１０４付近の画素の画素値の変化が緩やかであるのに対して、図１１のグラフにおいては、対応する画素の位置１０４付近の画素の画素値の変化が急峻になっており、図１１の復号画像が先鋭化されていることがわかる。
【００８７】
上述した図３の符号化装置６１においては、直交変換の基底ＡLPF+GSOを用いて直交変換することとしたが、その他、直交変換の基底ＡLPF+GSOの代わりに、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底を用いて、直交変換することが可能である。図５の復号装置６２においては、図３の符号化装置６１で用いられる直交変換の基底の高域周波数成分の減衰が大であるほど、図３の符号化装置６１で用いられる直交変換の基底と比較して、図５の復号装置６２で用いられる直交変換の基底Ａの高域周波数成分が強調されたものとなるため、より高域周波数成分が強調された復号画像データが出力される。
【００８８】
なお、図７の生成装置１２１（フィルタ畳み込み演算部１４１）において、ローパスフィルタ処理に用いる低域通過フィルタを変更することにより、直交変換の基底Ａの高域周波数成分の減衰の程度を調節し、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底を生成することができる。
【００８９】
次に、図１２は、直交変換の対象の各ブロックに応じて、直交変換の基底ＡLPF+GSOや、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底の、複数の直交変換の基底の中から、直交変換に用いる１の基底を選択し、選択した１の基底を用いて直交変換する符号化装置６１の構成例を示している。
【００９０】
即ち、図１２は、図２の符号化装置６１の他の構成例を示すブロック図である。
【００９１】
なお、図中、図３の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【００９２】
即ち、図１２の符号化装置６１は、直交変換器８２に代えて、セレクタ１６１及び直交変換器１６２が設けられている他は、図３の場合と同様に構成されている。
【００９３】
セレクタ１６１には、ブロック化部８１から、注目フレームとしての画像データを構成する各ブロックが供給される。
【００９４】
セレクタ１６１は、図示せぬメモリを内蔵しており、そのメモリには、それぞれ異なる複数の直交変換の基底が記憶されている。なお、複数の直交変換の基底は、例えば、図７の生成装置１２１（フィルタ畳み込み演算部１４１）において、ローパスフィルタ処理に用いる低域通過フィルタを変更することにより、復号時に用いられる直交変換の基底の高域周波数成分の減衰の程度を調節して生成される。
【００９５】
セレクタ１６１は、ブロック化部８１からの注目フレームを構成する各ブロック毎に、内蔵するメモリに記憶された複数の直交変換の基底の中から、そのブロックの直交変換に用いる適切な基底を選択する。
【００９６】
即ち、例えば、セレクタ１６１は、図１２の符号化装置６１から出力される符号化データを復号する復号装置６２において、ユーザが所望する復号ブロック（復号画像データ）が得られるように、ブロック化部８１からのブロックに含まれるエッジやボケの程度に応じて、複数の直交変換の基底の中から、ブロックの直交変換に用いる適切な基底を選択する。
【００９７】
セレクタ１６１は、複数の直交変換の基底の中から選択された直交変換の基底を、その基底を用いて直交変換されるブロックとともに、直交変換器１６２に供給する。
【００９８】
直交変換器１６２は、セレクタ１６１からの直交変換の対象のブロックを、セレクタ１６１からの直交変換の基底を用いて直交変換し、その直交変換により得られた変換係数を、量子化器８３に供給する。
【００９９】
次に、図１３のフローチャートを参照して、図１２の符号化装置６１が行う符号化処理を説明する。
【０１００】
ステップＳ７１において、図４のステップＳ１１と同様の処理を行い、処理は、ステップＳ７２に進み、セレクタ１６１は、ブロック化部８１からの注目フレームを構成する各ブロック毎に、内蔵するメモリに記憶された複数の直交変換の基底の中から、そのブロックの直交変換に用いる適切な基底を選択し、その基底を用いて直交変換されるブロックとともに、直交変換器１６２に供給して、処理は、ステップＳ７３に進む。
【０１０１】
ステップＳ７３において、直交変換器１６２は、セレクタ１６１からの直交変換の対象のブロックを、セレクタ１６１からの直交変換の基底を用いて直交変換し、その直交変換により得られた変換係数を、量子化器８３に供給して、処理は、ステップＳ７４に進み、以下、ステップＳ７４ないしＳ７７において、図４のステップＳ１３ないしＳ１６それぞれと同様の処理が行われる。
【０１０２】
図１３の符号化処理では、直交変換の対象の各ブロックに応じて、複数の直交変換の基底の中から、直交変換に用いる適切な基底が選択されるため、復号時に、より画質の良い復号画像を得ることができる。
【０１０３】
上述した図３ないし図６では、図３の符号化装置６１において、直交変換の基底ＡLPF+GSOを用いて直交変換し、図５の復号装置６２において、直交変換の基底Ａを用いて逆直交変換することとしたが、例えば、符号化装置６１（図２）において、直交変換の基底Ａを用いて直交変換し、復号装置６２（図２）において、直交変換の基底ＡLPF+GSOを用いて逆直交変換するようにしてもよい。
【０１０４】
この場合、符号化装置６１において、直交変換の対象の各ブロックが、直交変換の基底Ａを用いて直交変換され、その直交変換により得られた基底Ａによるブロックの変換係数が、復号装置６２において、直交変換の基底ＡLPF+GSOを用いて逆直交変換される。
【０１０５】
即ち、直交変換の基底ＡLPF+GSOは、直交変換の基底Ａの高域周波数成分が減衰されたものであるから、復号装置６２で用いられる直交変換の基底ＡLPF+GSOは、符号化装置６１で用いられる直交変換の基底Ａと比較して、高域周波数成分が減衰されたものとなっている。従って、復号装置６２では、符号化装置６１で用いられる基底Ａと同一の基底を用いて逆直交変換される場合と比較して、高域周波数成分が平均化された復号画像、即ち、例えば、ノイズ部分がボケて、ノイズが低減された復号画像や、エッジが目立つ部分がボケて、エッジが目立たない復号画像を得ることができる。
【０１０６】
また、復号装置６２では、直交変換の基底ＡLPF+GSOの他、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底を用いて逆直交変換することが可能である。復号装置６２においては、符号化装置６１で用いられる直交変換の基底Ａと比較して、復号装置６２で用いられる直交変換の基底の高域周波数成分の減衰が大であるほど、より高域周波数成分が平均化された復号画像が出力される。
【０１０７】
次に、図１４は、符号化装置が直交変換の基底Ａを用いて直交変換して得られた符号化データを、複数の復号装置が、直交変換の基底ＡLPF+GSOや、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底の、複数の直交変換の基底それぞれを用いて逆直交変換することにより復号する画像伝送システムを示している。
【０１０８】
図１４の画像伝送システム４１は、符号化装置６１、及び復号装置６２1ないし６２Mにより構成される。なお、図面が煩雑になるのを避けるため、復号装置６２3ないし６２Mについては、図示を省略している。
【０１０９】
符号化装置６１では、そこに供給された符号化対象の画像データを、直交変換の基底Ａを用いて直交変換し、その直交変換により得られた基底Ａによるブロックの変換係数を量子化する。さらに、符号化装置６１は、基底Ａによるブロックの変換係数の量子化結果をエントロピー符号化し、そのエントロピー符号化の結果である符号化データを、復号装置６２1ないし６２Mに出力する。
【０１１０】
復号装置６２1ないし６２Mは、それぞれ、符号化装置６１からの符号化データをエントロピー復号し、逆量子化する。
【０１１１】
さらに、復号装置６２1ないし６２Mは、逆量子化の結果得られた基底Ａによるブロックの変換係数を、直交変換の基底ＡLPF+GSOや、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底の、複数の直交変換の基底それぞれを用いて逆直交変換し、その逆直交変換により得られる、画質が改善された復号画像を、図示せぬモニタ等に出力する。
【０１１２】
具体的には、例えば、逆直交変換に用いた直交変換の基底に応じて、復号装置６２1では、ノイズを低減させることにより画質を改善する画像改善効果Ｘが現れた復号画像が出力されるとともに、復号装置６２2では、エッジが目立つ部分をボケさせることにより画質を改善する画像改善効果Ｙが現れた復号画像が出力される。
【０１１３】
次に、図１５は、直交変換の基底ＡLPF+GSOや、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底の、複数の直交変換の基底それぞれを用いて、逆直交変換の対象の、基底Ａによるブロックの変換係数を逆直交変換し、その逆直交変換により得られる複数の逆直交変換結果の中から、ユーザが所望する１の逆直交変換結果を、最終的な逆直交変換結果として選択する復号装置６２を示している。
【０１１４】
即ち、図１５は、図２の復号装置６２の他の構成例を示すブロック図である。
【０１１５】
なお、図中、図５の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０１１６】
即ち、図１５の復号装置６２は、逆変換器１０３に代えて、逆変換器１８１1ないし１８１N、及びセレクタ１８２が設けられている他は、図５の場合と同様に構成されている。
【０１１７】
逆変換器１８１1ないし１８１Nそれぞれには、逆量子化器１０２から、基底Ａによるブロックの変換係数が供給される。
【０１１８】
逆変換器１８１1ないし１８１Nは、逆量子化器１０２からの、基底Ａによるブロックの変換係数を、直交変換の基底ＡLPF+GSOや、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底の、複数の直交変換の基底B1ないしBNそれぞれを用いて逆直交変換し、その逆直交変換により得られた復号ブロックを、セレクタ１８２に供給する。
【０１１９】
セレクタ１８２は、逆変換器１８１1ないし１８１Nそれぞれから供給された複数の復号ブロックの中から、ユーザが所望する１個の復号ブロックを選択し、タイリング部１０４に供給する。
【０１２０】
即ち、例えば、セレクタ１８２は、逆変換器１８１1ないし１８１Nそれぞれから供給された複数の復号ブロックに含まれるエッジやボケの程度に応じて、複数の復号ブロックの中から、ユーザが所望する１個の復号ブロックを、最終的な復号結果（逆直交変換結果）として選択し、タイリング部１０４に供給する。
【０１２１】
次に、図１６のフローチャートを参照して、図１５の復号装置６２が行う復号処理を説明する。
【０１２２】
ステップＳ９１及びＳ９２において、図６のステップＳ３１及びＳ３２と同様の処理が行われ、処理は、ステップＳ９３に進み、逆変換器１８１1ないし１８１Nは、逆量子化器１０２からの、基底Ａによるブロックの変換係数を、複数の直交変換の基底B1ないしBNそれぞれを用いて逆直交変換し、その逆直交変換により得られた復号ブロックを、セレクタ１８２に供給して、処理は、ステップＳ９４に進む。
【０１２３】
ステップＳ９４において、セレクタ１８２は、逆変換器１８１1ないし１８１Nそれぞれから供給された複数の復号ブロックの中から、ユーザが所望する１個の復号ブロックを選択し、タイリング部１０４に供給して、処理は、ステップＳ９５に進み、以下、ステップＳ９５及びＳ９６において、図６のステップＳ３４及びＳ３５と同様の処理が行われる。
【０１２４】
図１６の復号処理では、複数の直交変換の基底それぞれを用いて、変換係数が逆直交変換され、その逆直交変換により得られた複数の復号ブロックの中から、ユーザが所望する復号ブロックが、最終的な復号ブロックとして選択されるため、より画質の良い復号ブロック（復号画像）を得ることができる。
【０１２５】
上述した符号化装置６１が行う符号化処理（図４及び図１３）、復号装置６２が行う復号処理（図６及び図１６）、及び生成装置１２１が行う生成処理（図９）は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。上述した符号化処理、復号処理、及び生成処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータ等に、プログラム格納媒体からインストールされる。
【０１２６】
図１７は、上述した符号化処理、復号処理、及び生成処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
【０１２７】
CPU(Central Processing Unit)２０１は、ROM(Read Only Memory)２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。
【０１２８】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、モニタ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１２９】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１３０】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１３１】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１３２】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３４】
上記実施の形態では、例えば、図３の符号化装置６１において、直交変換の基底ＡLPF+GSOや、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底を用いて直交変換することとしたが、直交変換の基底Ａの高域周波数成分が強調された直交変換の基底ＡHPF+GSOを用いて直交変換することが可能である。
【０１３５】
この場合、符号化装置６１において、直交変換の対象の各ブロックが、直交変換の基底ＡHPF+GSOを用いて直交変換され、その直交変換により得られた基底ＡHPF+GSOによるブロックの変換係数が、復号装置６２において、直交変換の基底Ａを用いて逆直交変換される。
【０１３６】
即ち、直交変換の基底ＡHPF+GSOは、直交変換の基底Ａの高域周波数成分を強調したものであるから、復号装置６２で用いられる直交変換の基底Ａは、符号化装置６１で用いられる直交変換の基底ＡHPF+GSOと比較して、高域周波数成分が減衰されたものとなっている。従って、復号装置６２では、符号化装置６１で、復号装置６２で用いられる基底Ａと同一の基底を用いて直交変換される場合と比較して、高域周波数成分が平均化された復号画像、即ち、例えば、ノイズ部分がボケて、ノイズが低減された復号画像や、エッジが目立つ部分がボケて、エッジが目立たない復号画像を得ることができる。
【０１３７】
また、符号化装置６１では、直交変換の基底ＡHPF+GSOの他、高域周波数成分の強調の程度が、直交変換の基底ＡHPF+GSOよりも大又は小である直交変換の基底を用いて直交変換することが可能である。復号装置６２においては、符号化装置６１で用いられる直交変換の基底の高域周波数成分の強調が大であるほど、符号化装置６１で用いられる直交変換の基底と比較して、復号装置６２で用いられる直交変換の基底Ａの高域周波数成分が減衰されたものとなるため、より高域周波数成分が平均化された復号画像が出力される。
【０１３８】
なお、図７の生成装置１２１（フィルタ畳み込み演算部１４１）において、ローパスフィルタ処理に代えて、直交変換の基底Ａに対して、それぞれ異なる低域制限フィルタ（ハイパスフィルタ）を用いてフィルタリングするハイパスフィルタ処理を行うことにより、直交変換の基底Ａの高域周波数成分の強調の程度を調節し、直交変換の基底ＡHPF+GSOや、高域周波数成分の強調の程度が、直交変換の基底ＡHPF+GSOよりも大又は小である直交変換の基底を、生成することができる。
【０１３９】
また、図１２の符号化装置６１において、セレクタ１６１は、複数の直交変換の基底としての、直交変換の基底ＡLPF+GSOや、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底の中から、直交変換に用いる１の基底を選択することとしたが、複数の直交変換の基底としては、例えば、直交変換の基底ＡHPF+GSOや、高域周波数成分の強調の程度が、直交変換の基底ＡHPF+GSOよりも大又は小である直交変換の基底を採用することができる。
【０１４０】
さらに、複数の直交変換の基底としては、直交変換の基底ＡLPF+GSO等の高域周波数成分が減衰された直交変換の基底と、直交変換の基底ＡHPF+GSO等の高域周波数成分が強調された直交変換の基底との両方を含むものを採用することが可能である。
【０１４１】
なお、符号化装置６１において、直交変換の基底ＡHPF+GSOを用いて直交変換し、復号装置６２において、直交変換の基底Ａを用いて逆直交変換する他、符号化装置６１において、直交変換の基底Ａを用いて直交変換し、復号装置６２において、直交変換の基底ＡHPF+GSOを用いて逆直交変換するようにしてもよい。
【０１４２】
この場合、符号化装置６１において、直交変換の対象の各ブロックが、直交変換の基底Ａを用いて直交変換され、その直交変換により得られた基底Ａによるブロックの変換係数が、復号装置６２において、直交変換の基底ＡHPF+GSOを用いて逆直交変換される。
【０１４３】
即ち、直交変換の基底ＡHPF+GSOは、直交変換の基底Ａの高域周波数成分が強調されたものであるため、復号装置６２で用いられる直交変換の基底ＡHPF+GSOは、符号化装置６１で用いられる直交変換の基底Ａと比較して、高域周波数成分が強調されたものとなっている。従って、復号装置６２では、符号化装置６１で用いられる基底Ａと同一の基底を用いて逆直交変換する場合と比較して、高域周波数成分が強調された復号画像を得ることができる。
【０１４４】
また、復号装置６２では、直交変換の基底ＡHPF+GSOの他、高域周波数成分の強調の程度が、直交変換の基底ＡHPF+GSOよりも大又は小である直交変換の基底を用いて直交変換することが可能である。復号装置６２においては、符号化装置６１で用いられる直交変換の基底Ａと比較して、復号装置６２で用いられる直交変換の基底の高域周波数成分の強調が大であるほど、より高域周波数成分が強調された復号画像が出力される。
【０１４５】
図１５の復号装置６２では、逆変換器１８１1ないし１８１Nが用いる複数の直交変換の基底Ｂ1ないしＢNとして、直交変換の基底ＡLPF+GSOや、高域周波数成分の減衰の程度が、直交変換の基底ＡLPF+GSOよりも大又は小である直交変換の基底を用いることとしたが、複数の逆変換器１８１1ないし１８１Nが用いる複数の直交変換の基底Ｂ1ないしＢNとしては、例えば、直交変換の基底ＡHPF+GSOや、高域周波数成分の強調の程度が、直交変換の基底ＡHPF+GSOよりも大又は小である直交変換の基底を採用することが可能である。
【０１４６】
また、その他、逆変換器１８１1ないし１８１Nが用いる複数の直交変換の基底Ｂ1ないしＢNとしては、直交変換の基底ＡLPF+GSO等の高域周波数成分が減衰された直交変換の基底と、直交変換の基底ＡHPF+GSO等の高域周波数成分が強調された直交変換の基底との両方を含むものを採用するようにしてもよい。
【０１４７】
ところで、図１２の符号化装置６１において、セレクタ１６１は、ブロック化部８１からの各ブロック毎に、そのブロックの直交変換に用いる基底を選択することとしたが、例えば、１フレームを構成する２以上のブロック毎や、１フレーム毎、複数フレーム毎に、直交変換に用いる基底を選択することが可能である。
【０１４８】
また、図１５の復号装置６２において、セレクタ１８２は、逆変換器１８１1ないし１８１Nそれぞれが出力する複数の復号結果の中から、復号ブロック毎に、ユーザが所望する復号結果を選択することとしたが、例えば、復号画像データの１フレームを構成する２以上の復号ブロック毎や、１フレーム毎、複数フレーム毎に、ユーザが所望する復号結果を選択するようにしてもよい。
【０１４９】
さらに、図１５の復号装置６２において、セレクタ１８２では、ユーザが所望する復号ブロックや復号画像データ等の復号結果を自動的に選択することとしたが、例えば、複数の復号結果をモニタ等に出力し、複数の復号結果の中から、ユーザにより選択された１の復号結果を、最終的な復号結果として選択することも可能である。
【０１５０】
また、上記実施の形態においては、直交変換の基底Ａとして、例えば、アダマール変換に用いるアダマール変換の基底を用いることとしたが、その他、DCT(Discrete Cosine Transform)に用いるDCTの基底等の、任意の直交変換の基底を採用することが可能である。
【０１５１】
さらに、上記実施の形態においては、画像データを符号化及び復号の対象としたが、例えば、音声データ等を符号化及び復号の対象とすることが可能である。
【０１５２】
なお、本実施の形態は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５３】
ところで、例えば、復号装置６２において、符号化装置６１で用いられる直交変換の基底Ａから生成された直交変換の基底ＡLPF+GSOやＡHPF+GSO等の、直交性を満たす基底を用いている。この場合、復号装置６２では、直交性を満たす基底を用いて、符号化装置６１からの変換係数を復号画像に逆直交変換する他、その逆直交変換により得られた復号画像を、符号化装置６１からの変換係数と同一の変換係数に直交変換することが可能である。
【０１５４】
従って、例えば、復号装置６２において、符号化装置６１からの変換係数を破棄したとしても、符号化装置６１による量子化、及び復号装置６２による逆量子化を考慮しなければ、符号化装置６１からの変換係数を逆直交変換することにより得られた復号画像から、符号化装置６１からの変換係数と同一の変換係数を生成することができる。
【０１５５】
そして、復号装置６２が、復号画像から生成した変換係数を、復号装置６２とは異なる他の復号装置に送信することとすれば、他の復号装置では、符号化装置６１において直交変換することにより得られた変換係数と同一の、復号装置６２からの変換係数を逆直交変換することにより、他の復号装置のユーザが所望する画質の復号画像を得ることができる。
【０１５６】
即ち、例えば、符号化装置６１において、符号化対象の画像データが、直交変換の基底Ａを用いて直交変換される場合、符号化装置６１からの符号化データを復号対象とする復号装置６２や他の復号装置では、それぞれ、基底Ａによるブロックの変換係数を逆直交変換することを前提として、復号装置６２や他の復号装置を用いる各ユーザが所望する画質の復号画像が得られるように、復号装置６２や他の復号装置毎に異なる直交変換の基底が設定される。従って、他の復号装置では、符号化装置６１において直交変換することにより得られた変換係数と同一の、復号装置６２からの変換係数を逆直交変換することにより、符号化装置６１からの変換係数を逆直交変換するときと同様に、他の復号装置のユーザが所望する画質の復号画像を得ることができる。
【０１５７】
一方、復号画像に対して、基底ＡLPFやＡHPF等の、直交性を満たさない基底を用いて変換する（直交変換に相当する変換をする）場合には、直交変換の基底ＡLPF+GSOやＡHPF+GSO等の、直交性を満たす基底を用いて直交変換する場合と比較して、復号画像が、直交成分が不足した変換係数に変換されてしまう。
【０１５８】
従って、復号画像に対して、直交性を満たさない基底を用いて変換する場合には、その直交変換により得られた変換係数に対して、直交変換の対象とされた復号画像に関する全ての情報を反映させることはできないため、復号画像を、符号化装置６１において、符号化対象の画像データを直交変換することにより得られた変換係数と同一の変換係数に変換することができず、その結果、他の復号装置では、他の復号装置のユーザが所望する画質の復号画像を得ることはできない。
【０１５９】
この点に関し、例えば、特許文献１には、補正係数テーブルから読み出した補正係数を符号化時と同一のDCTの基底ベクトルに乗算してDCTの基底ベクトルを補正し、補正した基底ベクトルを用いて逆DCTを行う技術が開示されている。
【０１６０】
しかしながら、特許文献１において、逆DCTに用いる、補正した基底ベクトルは、直交化されていない基底ベクトルであり、復号装置６２で用いられる直交性を満たす基底とは異なる。
【０１６１】
また、例えば、符号化装置６１において、復号装置６２で用いられる直交変換の基底Ａから生成された直交変換の基底ＡLPF+GSOやＡHPF+GSO等の、直交性を満たす基底を用いている。従って、符号化装置６１では、符号化対象の画像データに対して、直交性を満たす基底を用いて直交変換するため、その直交変換により得られる変換係数に対して、符号化対象の画像データに関する全ての情報を反映させることができる。
【０１６２】
この点に関し、特許文献１には、符号化装置６１において、復号装置６２で用いられる直交変換の基底から生成された、直交性を満たす基底が用いられることは記載も示唆もされていない。
【図面の簡単な説明】
【０１６３】
【図１】従来の画像伝送システムを示す図である。
【図２】本発明を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。
【図３】図２の符号化装置の構成例を示すブロック図である。
【図４】図３の符号化装置が行う符号化処理を説明するフローチャートである。
【図５】図２の復号装置の構成例を示すブロック図である。
【図６】図５の復号装置が行う復号処理を説明するフローチャートである。
【図７】生成装置の一実施の形態の構成例を示すブロック図である。
【図８】ローパスフィルタ処理を説明する図である。
【図９】図７の生成装置が行う生成処理を説明するフローチャートである。
【図１０】同一の直交変換の基底を用いたときに得られた復号画像と、その画素値を示す図である。
【図１１】異なる直交変換の基底を用いたときに得られた復号画像と、その画素値を示す図である。
【図１２】図２の符号化装置の他の構成例を示すブロック図である。
【図１３】図１２の符号化装置が行う符号化処理を説明するフローチャートである。
【図１４】本発明を適用した画像伝送システムの他の構成例を示す図である。
【図１５】図２の復号装置の他の構成例を示すブロック図である。
【図１６】図１５の復号装置が行う復号処理を説明するフローチャートである。
【図１７】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１６４】
４１  画像伝送システム，  ６１  符号化装置，  ６２  復号装置，  ８１  ブロック化部，  ８２  直交変換器，  ８３  量子化器，  ８４  エントロピー符号化器，  １０１  エントロピー復号器，  １０２  逆量子化器，  １０３  逆変換器，  １０４  タイリング部，  １４１  フィルタ畳み込み演算部，  １４２  正規直交化演算部，  １６１  セレクタ，  １６２  直交変換器，  １８１1ないし１８１N  逆変換器，  １８２  セレクタ
【図１】
2009147843.tif 000004
【図２】
2009147843.tif 000005
【図３】
2009147843.tif 000006
【図４】
2009147843.tif 000007
【図５】
2009147843.tif 000008
【図６】
2009147843.tif 000009
【図７】
2009147843.tif 000010
【図８】
2009147843.tif 000011
【図９】
2009147843.tif 000012
【図１０】
2009147843.tif 000013
【図１１】
2009147843.tif 000014
【図１２】
2009147843.tif 000015
【図１３】
2009147843.tif 000016
【図１４】
2009147843.tif 000017
【図１５】
2009147843.tif 000018
【図１６】
2009147843.tif 000019
【図１７】
2009147843.tif 000020