(57)【要約】【課題】  ロスレス符号化したブロックの画素に対してインループフィルタリングを行うと、フィルタリング処理により結果として画質劣化を生じる可能性がある。一方、ロスレス符号化ブロックの画素に対し無条件にフィルタリング処理を無効化してしまうと、ロッシー符号化ブロックとロスレス符号化ブロックが混在した場合に不自然な画質の劣化が生じる可能性があるといった問題が生じていた。【解決手段】  ロスレス符号化したブロックに属する画素に対してインループフィルタリングを行うか否かを示す情報を符号化することで、符号化装置側の意図に応じたフィルタリング処理を行うことができる。【選択図】  図１
2013219607.tif 000002
【特許請求の範囲】
【請求項１】
画像を符号化して画像ビットストリームを生成する符号化方法であって、
量子化を行う第１の符号化モードで画像をブロック単位で符号化する第１の符号化工程と、
量子化を行わない第２の符号化モードで画像をブロック単位で符号化する第２の符号化工程と、
前記第１の符号化工程において生成された第１の再生画像および前記第２の符号化工程において生成された第２の再生画像に対してフィルタリングを行うフィルタ工程と、
前記フィルタ工程は前記第２の再生画像に対してフィルタリング処理を行うか否かを示すフィルタ制御情報に基づいて前記第２の再生画像に対してのフィルタリングを行うことを特徴とする画像符号化方法。
【請求項１】
画像を符号化して画像ビットストリームを生成する符号化方法であって、
量子化を行う第１の符号化モードで画像をブロック単位で符号化する第１の符号化工程と、
量子化を行わない第２の符号化モードで画像をブロック単位で符号化する第２の符号化工程と、
前記第１の符号化工程において生成された第１の再生画像および前記第２の符号化工程において生成された第２の再生画像に対してフィルタリングを行うフィルタ工程と、
前記フィルタ工程は前記第２の再生画像に対してフィルタリング処理を行うか否かを示すフィルタ制御情報に基づいて前記第２の再生画像に対してのフィルタリングを行うことを特徴とする画像符号化方法。
【請求項２】
符号化に必要な情報を符号化してビットストリームを生成する統合符号化工程とを有し、
前記統合符号化工程は前記フィルタ制御情報を符号化することを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記第１の符号化工程は、
ブロック単位に分割された画像に対し予測を行って予測誤差を生成する第１予測工程と、
前記予測誤差を直交変換して変換係数を生成し、さらに前記変換係数を量子化して量子化係数を生成する変換・量子化工程と、
前記量子化係数を逆量子化して変換係数を再生し、さらに前記再生された変換係数を逆直交変換して第１の予測誤差を再生する逆量子化・逆変換工程と、
前記再生された第１の予測誤差と符号化済みの画素からの予測から第１再生画像を生成する第１再構成工程と、
前記量子化係数を符号化する第１量子化係数符号化工程を有することを特徴とする請求項１又は請求項２に記載の画像符号化方法。
【請求項４】
前記第２の符号化工程は、
ブロック単位に分割された画像に対して予測を行って第２の予測誤差を生成する第２予測工程と、
前記第２の予測誤差と符号化済みの画素からの予測から第２再生画像を生成する第２再構成工程と、
前記第２の予測誤差を符号化する第２予測誤差符号化工程を有することを特徴とする請求項１乃至請求項３に記載の画像符号化方法。
【請求項５】
前記フィルタ制御情報は、非圧縮多重化モードで符号化されて再生された画像に対してフィルタリング処理を行うか否かをさらに示すことを特徴とする請求項１に記載の画像符号化方法。
【請求項６】
画像ビットストリームを復号して画像を再生する復号方法であって、
逆量子化を行う第１の符号化モードで符号化されているブロックを復号する第１の復号工程と、
逆量子化を行わない第２の符号化モードで符号化されているブロックを復号する第２の復号工程と、
前記第１の復号工程において生成された第１の再生画像および前記第２の復号工程において生成された第２の再生画像に対してフィルタリングを行うフィルタ工程とを有し、
前記フィルタ工程は前記第２の再生画像に対してフィルタリング処理を行うか否かを示すフィルタ制御情報に基づいて前記第２の再生画像に対してのフィルタリングを行うことを特徴とする画像復号方法。
【請求項７】
画像を符号化して画像ビットストリームを生成する符号化装置であって、
量子化を行う第１の符号化モードで画像をブロック単位で符号化する第１の符号化手段と、
量子化を行わない第２の符号化モードで画像をブロック単位で符号化する第２の符号化手段と、
前記第１の符号化手段において生成された第１の再生画像および前記第２の符号化手段において生成された第２の再生画像に対してフィルタリングを行うフィルタ手段と、
前記フィルタ手段は前記第２の再生画像に対してフィルタリング処理を行うか否かを示すフィルタ制御情報に基づいて前記第２の再生画像に対してのフィルタリングを行うことを特徴とする画像符号化装置。
【請求項８】
符号化に必要な情報を符号化してビットストリームを生成する統合符号化手段とを有し、
前記統合符号化手段は前記フィルタ制御情報を符号化することを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
前記第１の符号化手段は、
ブロック単位に分割された画像に対し予測を行って予測誤差を生成する第１予測手段と、
前記予測誤差を直交変換して変換係数を生成し、さらに前記変換係数を量子化して量子化係数を生成する変換・量子化手段と、
前記量子化係数を逆量子化して変換係数を再生し、さらに前記再生された変換係数を逆直交変換して第１の予測誤差を再生する逆量子化・逆変換手段と、
前記再生された第１の予測誤差と符号化済みの画素からの予測から第１再生画像を生成する第１再構成手段と、
前記量子化係数を符号化する第１量子化係数符号化手段を有することを特徴とする請求項７又は請求項８に記載の画像符号化装置。
【請求項１０】
前記第２の符号化手段は、
ブロック単位に分割された画像に対して予測を行って第２の予測誤差を生成する第２予測手段と、
前記第２の予測誤差と符号化済みの画素からの予測から第２再生画像を生成する第２再構成手段と、
前記第２の予測誤差を符号化する第２予測誤差符号化手段を有することを特徴とする請求項７乃至請求項９に画像符号化装置。
【請求項１１】
前記フィルタ制御情報は、非圧縮多重化モードで符号化されて再生された画像に対してフィルタリング処理を行うか否かをさらに示すことを特徴とする請求項７に記載の画像符号化装置。
【請求項１２】
画像ビットストリームを復号して画像を再生する復号装置であって、
逆量子化を行う第１の符号化モードで符号化されているブロックを復号する第１の復号手段と、
逆量子化を行わない第２の符号化モードで符号化されているブロックを復号する第２の復号手段と、
前記第１の復号手段において生成された第１の再生画像および前記第２の復号手段において生成された第２の再生画像に対してフィルタリングを行うフィルタ手段とを有し、
前記フィルタ手段は前記第２の再生画像に対してフィルタリング処理を行うか否かを示すフィルタ制御情報に基づいて前記第２の再生画像に対してのフィルタリングを行うことを特徴とする画像復号装置。
【請求項１３】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項７に記載の画像符号化装置として機能させることを特徴とするプログラム。
【請求項１４】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１２に記載の画像復号装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特にロスレス符号化ブロックに対するフィルタリング処理に関する。
【背景技術】
【０００２】
動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下Ｈ．２６４）が知られている。（非特許文献１）Ｈ．２６４においては、直交変換および量子化処理をバイパスする変換バイパス処理を実行することでロスレス符号化を行うことができる。
近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＣＴ−ＶＣ（Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立され、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣ）として標準化が進められている。
符号化効率向上のため、従来のデブロッキングフィルタに加え、アダプティブループフィルタやサンプルアダプティブオフセットといったインループフィルタ処理も検討の対象となっている。また、Ｈ．２６４同様、直交変換および量子化処理をバイパスするロスレス符号化についても検討されており、１枚のピクチャ内でロスレス符号化と通常のロッシー符号化が混在できることが特徴となっている。（非特許文献２）
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＩＴＵ−Ｔ  Ｈ．２６４  （０３／２０１０）  Ａｄｖａｎｃｅｄｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ
【非特許文献２】ＪＣＴ−ＶＣ  寄書  ＪＣＴＶＣ−Ｈ１００３  インターネット＜  ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／８＿Ｓａｎ％２０Ｊｏｓｅ／ｗｇ１１／  ＞
【非特許文献３】ＪＣＴ−ＶＣ  寄書  ＪＣＴＶＣ−Ｅ１９２  インターネット＜  ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／５＿Ｇｅｎｅｖａ／ｗｇ１１／  ＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述のデブロッキングフィルタやアダプティブループフィルタに代表されるインループフィルタを用いることは符号化効率の観点から有効であると考えられている。しかしながら、ＨＥＶＣのようにロスレス符号化されたブロックとロッシー符号化されたブロックが混在する場合、以下の課題を生じる。
すなわち、ロスレス符号化ブロックとロッシー符号化ブロックの境界に対し一意にインループフィルタによるフィルタ処理を行えば、ロスレス符号化ブロックの画素がフィルタ処理により誤差が生じ、ロスレスではなくなってしまう。一方、ロスレス符号化ブロックとロッシー符号化ブロックの境界に対し一意にインループフィルタによるフィルタ処理を禁止すれば、ロッシー符号化ブロックの画素の劣化が顕著となってしまう。
したがって、本発明は上述した課題を解決するためになされたものであり、ロスレス符号化ブロックのロスを発生させずに隣接するロッシーブロックの画素の劣化を防止することを目的としている。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明の画像符号化方法は、画像を符号化して画像ビットストリームを生成する符号化方法であって、量子化を行う第１の符号化モードで画像をブロック単位で符号化する第１の符号化工程と、量子化を行わない第２の符号化モードで画像をブロック単位で符号化する第２の符号化工程と、前記第１の符号化工程において生成された第１の再生画像および前記第２の符号化工程において生成された第２の再生画像に対してフィルタリングを行うフィルタ工程と、前記フィルタ工程は前記第２の再生画像に対してフィルタリング処理を行うか否かを示すフィルタ制御情報に基づいて前記第２の再生画像に対してのフィルタリングを行うことを特徴とする。
【発明の効果】
【０００６】
本発明により、ロスレス符号化とロッシー符号化が混在している場合でも、ロスレス符号化ブロックのロスを発生させずに、隣接するロッシーブロックの画素の劣化を防止することが可能になり、符号化効率をさらに向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】実施形態１における画像符号化装置の構成を示すブロック図
【図２】実施形態２における画像復号装置の構成を示すブロック図
【図３】（ａ）〜（ｃ）  ロスレス符号化とインループフィルタ処理の対象画素の関係の一例を示す図
【図４】実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャート
【図５】実施形態１に係る画像符号化装置および実施形態２に係る画像復号装置におけるインループフィルタ処理を示すフローチャート
【図６】（ａ）〜（ｃ）  実施形態１によって生成され、実施形態２によって復号されるビットストリーム構造の一例を示す図
【図７】実施形態２に係る画像復号装置における画像復号処理を示すフローチャート
【図８】本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【０００９】
＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０１は画像データを入力する端子である。１０２はロスレス符号化判定部であり、入力された画像データを複数のブロックに切り出し、ブロック単位でロスレス符号化を行うかロッシー符号化を行うかを決定する。１０３はフィルタ制御情報生成部であり、ロスレス符号化ブロックの画素に対してインループフィルタ処理を行うか否かについての情報である、フィルタ制御情報を生成し、出力する。１０４は第１予測部であり、ロッシー符号化が選択された際に、ブロック単位の画像データに対し、フレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測画像データを生成する。さらに、入力された画像データと前記予測画像データから予測誤差を算出し、出力する。また、予測に必要な情報、例えば予測モード等の情報も予測誤差と併せて出力される。以下ではこの予測に必要な情報を第１予測情報と呼称する。
【００１０】
１０５は前記予測誤差をブロック単位で直交変換して変換係数を得、さらに量子化を行い、量子化係数を得る変換・量子化部である。１０６は変換・量子化部１０５から出力された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化・逆変換部である。１０８は再生された画像データを格納しておくフレームメモリである。１０７は第１画像再生部である。第１予測部１０４から出力された第１予測情報に基づいて、フレームメモリ１０８を適宜参照して予測画像データを生成し、これと入力された予測誤差から再生画像データを生成し、出力する。
【００１１】
１０９はインループフィルタ部である。再生画像に対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理された画像を出力する。１１０は第２予測部であり、ロスレス符号化が選択された際に、ブロック単位の画像データに対し、イントラ予測やインター予測などを行い、予測画像データを生成する。第１予測部１０４と同様に、入力された画像データと前記予測画像データから予測誤差を算出し、予測に必要な情報、例えば予測モード等の情報も予測誤差と併せて出力される。以下ではこの予測に必要な情報を第２予測情報と呼称する。
【００１２】
１１１は第２画像再生部である。第２予測部１１０から出力された第２予測情報に基づいて、フレームメモリ１０８を適宜参照して予測画像データを生成し、これと入力された予測誤差から再生画像データを生成し、出力する。また同時に予測に必要な情報も併せて出力する。１１２は第１符号化部である。変換・量子化部１０５から出力された量子化係数および第１予測部１０４から出力された第１予測情報を符号化して、第１符号データを生成し出力する。１１３は第２符号化部である。第２予測部１１０からの出力である第２予測情報および予測誤差を符号化して、第２符号データを生成し出力する。１１４は統合符号化部である。ロスレス符号化判定部１０２からの出力を符号化して、ヘッダ符号データを生成する。さらに第１符号化部１１２および第２符号化部１１３から出力された符号データと合わせて、ビットストリームを形成して出力する。１１５は端子であり、統合符号化部１１４で生成されたビットストリームを外部に出力する端子である。
【００１３】
上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。
【００１４】
端子１０１から入力された１フレーム分の画像データはロスレス符号化判定部１０２に入力される。符号化処理に先駆けて、フィルタ制御情報生成部１０３では、ロスレス符号化ブロックの画素に対してインループフィルタ処理を行うか否かを決定し、その情報をフィルタ制御情報として、インループフィルタ部１０９および統合符号化部１１４に出力する。フィルタ制御情報の決定方法は特に限定されず、入力された画像の特性を用いても良いし、ユーザからの入力によって決定しても良い。統合符号化部１１４では、このフィルタ制御情報を符号化し、フィルタ制御情報符号を生成する。符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。
【００１５】
また、ロスレス符号化判定部１０２は本フレームまたはシーケンスにロスレス符号化されるブロックが含まれるか否かの情報であるロスレス符号化情報を生成する。統合符号化部１１４では、このロスレス符号化情報を符号化し、ロスレス符号化情報符号を生成する。符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。
【００１６】
ロスレス符号化判定部１０２では、入力された画像データを複数のブロックに切り出し、ブロック単位でロスレス符号化を行うかロッシー符号化を行うかを決定する。決定方法は特に限定されず、入力された画像の特性を用いても良いし、ユーザからの入力によって決定しても良い。符号化対象ブロックに対しロスレス符号化を行うか否かの情報はロスレス符号化ブロック情報としてインループフィルタ部１０９と統合符号化部１１４に出力される。さらに、入力された画像データをそのまま第１予測部１０３および第２予測部１０９に出力する。
【００１７】
以降の符号化動作はロスレス符号化判定部１０２にて、ロスレス符号化が選択されたかロッシー符号化が選択されたかによって処理が分かれる。まず、ロスレス符号化判定部１０２にて、ロッシー符号化が選択された場合の画像データの符号化動作について説明する。
【００１８】
ロスレス符号化判定部１０２は符号化対象のブロックの画像データを第１予測部１０４に入力する。第１予測部１０４では、ブロック単位の予測が行われ、予測誤差が生成され、変換・量子化部１０５に入力される。また、第１予測部１０４は第１予測情報を生成し、第１符号化部１１２および第１画像再生部１０７に出力する。変換・量子化部１０５では、入力された予測誤差に直交変換・量子化を行い、量子化係数を生成する。生成された量子化係数は第１符号化部１１２および逆量子化・逆変換部１０６に入力される。逆量子化・逆変換部１０６では、入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数を逆直交変換して予測誤差を再生し、第１画像再生部１０７に出力する。
【００１９】
第１画像再生部１０７では、第１予測部１０４から入力される第１予測情報に基づいて、フレームメモリ１０８を適宜参照し、予測画像を再生する。そして再生された予測画像と逆量子化・逆変換部１０６から入力された再生された予測誤差から画像データを再生し、フレームメモリ１０８に入力し、格納する。インループフィルタ部１０９では、フレームメモリ１０８から再生画像を読み出し、ロスレス符号化判定部１０２のロスレス符号化ブロック情報に基づいて、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、フィルタ処理された画像を再びフレームメモリ１０８に入力し、再格納する。
【００２０】
第１符号化部１１２では、ブロック単位で、変換・量子化部１０５で生成された量子化係数、第１予測部１０４から入力された第１予測情報をエントロピー符号化し、第１符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された第１符号データは統合符号化部１１４に出力される。
【００２１】
次に、ロスレス符号化判定部１０２にてロスレス符号化が選択された場合の画像データの符号化動作について説明する。
【００２２】
ロスレス符号化判定部１０２は符号化対象のブロックの画像データを第２予測部１１０に入力する。第２予測部１１０では、ブロック単位の予測が行われ、予測誤差が生成され、第２画像再生部１１１および第２符号化部１１３に入力される。また、第２予測情報も第２画像再生部１１１および第２符号化部１１３に入力される。第２画像再生部１１１では、第２予測部１１０から入力される第２予測情報に基づいて、フレームメモリ１０８を適宜参照し、予測画像を再生する。そして再生された予測画像と第２予測部１１０から入力された予測誤差から画像データを再生し、フレームメモリ１０８に入力し、格納する。
【００２３】
インループフィルタ部１０９では、フレームメモリ１０８から再生画像を読み出す。次に、ロスレス符号化判定部１０２から入力されたロスレス符号化ブロック情報およびフィルタ制御情報生成部１０３から入力されたフィルタ制御情報に基づいて、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、フィルタ処理された画像は再びフレームメモリ１０８に入力される。
【００２４】
本実施形態でのインループフィルタ処理について、図３を用いて説明する。フィルタ制御情報に基づいて、下記のいずれかのフィルタ処理を行う。各ブロックがロスレス符号化を行うかロッシー符号化を行うかはロスレス符号化ブロック情報に基づいて判別される。ここでは説明を容易にするため、ブロックサイズを４×４ブロックとするが、これに限定されない。
【００２５】
図３（ａ）は２つの４×４ブロックの境界をまたいでデブロッキングフィルタ処理を行う場合の一例である。左右に存在する太枠３００は４×４画素のブロックに対応し、その中の角丸長方形３０１に囲われた各ブロック３画素、合計６画素に対してフィルタ処理を行うものとする。また、左右の両ブロックともロッシー符号化されているものとする。この場合、○の記号で示された６画素全てがフィルタ処理の対象となるため、６画素全てに対し、フィルタ処理が行われる。
【００２６】
一方、図３（ｂ）は左側のブロックがロスレス符号化されており、またフィルタ制御情報によって、ロスレス符号化されたブロックの画素にはインループフィルタ処理を行わないように制御されている場合の例である。この場合、○の記号で示された右側の３画素がフィルタ処理の対象となるが、×の記号で示された左側の３画素はフィルタ処理の対象とならない。そのため、○の記号で示された右側の３画素のみに対してフィルタ処理を行う。
【００２７】
さらに、図３（ｃ）は図３（ｂ）同様左側のブロックがロスレス符号化されているが、フィルタ制御情報によって、ロスレス符号化されたブロックの画素にもインループフィルタ処理を行うように制御されている場合の例である。この場合、対象の画素がロスレス符号化されているか否かに関わらず、フィルタ処理の対象となるため、○の記号で示された６画素全てに対しフィルタ処理が行われる。
【００２８】
また、左右の両ブロックともロスレス符号化されている場合は、本実施形態では、図３（ｂ）、（ｃ）のロスレス符号化ブロック同様、フィルタ制御情報によってフィルタ処理の有無が決定されるものとする。ただし、これに限定されず、フィルタ制御情報に関わらず、フィルタ処理は行わないとしても良い。
【００２９】
本実施形態ではデブロッキングフィルタのみについて言及したが、アダプティブループフィルタやサンプルアダプティブオフセットといったほかのインループフィルタ処理についても同様の制御を行っても構わない。また、本実施形では左右のブロック間のフィルタ処理について説明したが、上下のブロック間においても同様の処理が行われる。
【００３０】
図１に戻り、第２符号化部１１３では、第２予測部１１０から入力された第２予測情報および予測誤差をエントロピー符号化し、第２符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された第２符号データは統合符号化部１１４に出力される。
【００３１】
統合符号化部１１４では、符号化処理に先駆けて生成されたフィルタ制御情報符号やロスレス符号化情報符号、第１符号化部で生成された第１符号データや第２符号化部で生成された第２符号データなどを多重化してビットストリームが形成される。最終的に、端子１１５から外部に出力される。
【００３２】
図６（ａ）に符号化されたロスレス符号化情報およびフィルタ制御情報を含んだビットストリームの例を示す。フィルタ制御情報はフィルタ制御情報符号として、シーケンス、ピクチャ等のヘッダのいずれかに含まれる。具体的にはロスレス符号化情報符号は１ビットのフラグであり、符号が１の時にはビットストリームにロスレス符号化ブロックが含まれる可能性があり、符号が０の時にはビットストリームにはロスレス符号化ブロックが含まれる可能性がないことを示すものとする。また、フィルタ制御情報は少なくとも１ビットの情報であり、符号が１の時にはロスレス符号化ブロックの画素に対してインループフィルタ処理を行うものとする。また、符号が０の時にはロスレス符号化ブロックの画素に対してインループフィルタ処理を行なわないことを示すものとする。
【００３３】
一方、ロスレス符号化ブロック情報については、本実施形態では量子化パラメータ情報符号との組み合わせとして、ビットストリームに含まれるものとする。また、ロスレス符号化情報符号が１であり、量子化パラメータ情報符号により算出されるブロック単位の量子化パラメータが特定の値を示す場合に当該ブロックはロスレス符号化され、それ以外の場合には当該ブロックはロッシー符号化されるものとする。例えば、Ｈ．２６４を例にとれば、ロスレス符号化情報符号が１であり、量子化パラメータが０の場合はロスレス符号化ブロックであることを示している。
【００３４】
図４は、実施形態１に係る画像符号化装置における符号化処理を示すフローチャートである。まず、ステップＳ４０１にて、フィルタ制御情報生成部１０３はロスレス符号化ブロックの画素に対して、後述のインループフィルタ処理を行うか否かを決定し、その情報をフィルタ制御情報とする。また、ロスレス符号化判定部１０２はロスレス符号化を行うか否かを決定し、その情報をロスレス符号化情報とする。これらは統合符号化部１１４によって符号化される。
【００３５】
ステップＳ４０２にて、ロスレス符号化判定部１０２は入力された画像データを複数のブロックに切り出し、ブロック単位でロスレス符号化を行うかロッシー符号化を行うかを決定し、その情報をロスレス符号化ブロック情報とする。ステップＳ４０３にて、符号化装置は符号化対象のブロックがロスレス符号化を行うか否かの判定を行う。ロスレス符号化を行う場合はステップＳ４０９に進み、ロッシー符号化を行う場合はステップＳ４０４に進む。
【００３６】
ステップＳ４０４にて、第１予測部１０４はイントラ予測ないしはインター予測を行い、第１予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ステップＳ４０５にて、変換・量子化部１０５はステップＳ４０４で算出された予測誤差を直交変換して変換係数を生成し、さらに量子化を行い、量子化係数を生成する。
【００３７】
ステップＳ４０６にて、逆量子化・逆変換部１０６はステップＳ４０５で生成された量子化係数を逆量子化・逆直交変換し、予測誤差を再生する。ステップＳ４０７にて、第１画像再生部１０７はステップＳ４０４で生成された第１予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップＳ４０６で生成された予測誤差から画像データを再生する。
【００３８】
ステップＳ４０８にて、第１符号化部１１２は、ステップＳ４０４で生成された第１予測情報およびステップＳ４０５で生成された量子化係数を符号化し、第１符号データを生成する。また、他の符号データも含め、ビットストリームを生成する。
【００３９】
一方、ステップＳ４０９にて、第２予測部１１０はブロック単位で予測を行い、第２予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ステップＳ４１０にて、第２画像再生部１１１はステップＳ４０９で生成された第２予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップＳ４０９で生成された予測誤差から画像データを再生する。
【００４０】
ステップＳ４１１にて、第２符号化部１１２はステップＳ４０９で生成された第２予測情報および予測誤差を符号化し、第２符号データを生成する。また、他の符号データも含め、ビットストリームを生成する。ステップＳ４１２にて、画像符号化装置は、全てのブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ４１３に進み、そうでなければ次のブロックを対象として、ステップＳ４０２に戻る。
【００４１】
ステップＳ４１３にて、インループフィルタ部１０９はステップＳ４０７およびステップＳ４１０で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。
【００４２】
図５はステップＳ４１３におけるインループフィルタ処理の詳細を示すフローチャートである。まず、ステップＳ５０１にて、インループフィルタの対象の画素がステップＳ４０２で生成されたロスレス符号化ブロック情報に基づき、ロスレス符号化ブロックに属しているか否かが判定される。対象の画素がロスレス符号化ブロックに属していればステップＳ５０２に進み、ロッシー符号化ブロックに属していればステップＳ５０３に進む。
ステップＳ５０２にて、ステップＳ４０１で生成されたフィルタ制御情報に基づき、ロスレス符号化ブロックに属する画素もフィルタリングするか否かが判定される。フィルタリングをする場合にはステップＳ５０３へ進み、しない場合にはステップＳ５０４に進む。
【００４３】
ステップＳ５０３にて、対象画素に対してインループフィルタ処理を行う。図３（ａ）、図３（ｂ）、図３（ｃ）に示された例において、○の記号で示された画素に対してインループフィルタ処理を行う。ステップＳ５０４にて、インループフィルタ部１０９は、全ての画素のインループフィルタ処理が終了したか否かの判定を行い、終了していればステップＳ５０５に進み、そうでなければ次の画素を対象として、ステップＳ５０１に戻る。
【００４４】
ステップＳ５０５にて、インループフィルタ部１０９は全ての種類のインループフィルタ処理が終了したか否かの判定を行う。終了していればインループフィルタ処理を終了し、そうでなければ次の種類のインループフィルタ処理を対象としてステップＳ５０１に戻る。例えば、ＨＥＶＣにおいては、デブロッキングフィルタ、サンプルアダプティブオフセット、アダプティブループフィルタの３種類が定義されているが、それらの切り替えを本ステップで実行する。
【００４５】
以上の構成と動作により、特にステップＳ４１３において、ロスレス符号化ブロックに属する画素へのインループフィルタ処理を制御可能としたことで、ロスレス性を維持したままロッシー符号化ブロックの画質を向上させることができる。また、ロスレス符号化ブロックにもインループフィルタ処理を適用する場合には、ロスレス符号化ブロックとロッシー符号化ブロックの境界にもインループフィルタ処理を行えるため、必要に応じてピクチャ全体の画質を向上させることもできる。
【００４６】
なお、本実施形態ではロスレス符号化とロッシー符号化でそれぞれ独立した第１予測部・第１画像再生部および第２予測部・第２画像再生部を有したが、同一の予測部・画像再生部がロスレス・ロッシー符号化処理を行っても構わない。また、それぞれ独立した第１符号化部および第２符号化部を有したが同一の符号化部がロスレス・ロッシー符号化処理を行っても構わない。
【００４７】
また、ロスレス符号化情報の符号化方法について、本実施形態ではシーケンスヘッダのフラグとブロックレベルでの量子化パラメータの組み合わせとしたが、符号化方法についてはこれに限定されない。ブロックレベルでロスレス符号化を示すフラグを符号化しても良いし、シーケンスレベルでロスレス符号化を示すフラグをヘッダに含めても良い。
【００４８】
なお、非特許文献３によれば、非圧縮多重化モードに属する画素に対してインループフィルタ処理を制御する技術が示されている。本実施形態では、非圧縮多重化モードよりも高い圧縮率が期待できるロスレス符号化モードにおいても、同様に目的に応じたインループフィルタ処理を適用することを目的としている。また、非特許文献３によれば、非圧縮多重化モードに属する画素に対するインループフィルタ処理を示す情報が符号化されているが、それと本実施形態のフィルタ制御情報を共通化することも可能である。
【００４９】
なお、フィルタ制御情報は複数の値を持つことも可能であり、フィルタ処理の種類をロスレス符号化ブロックとロッシー符号化ブロックで設定することも可能である。例えば、ロッシー符号化ブロックのみにフィルタ処理を行う場合を０とする。片方のブロックがロッシーの場合、ロスレス符号化ブロックまでフィルタ処理を行う場合を１とする。さらに両方のブロックがロスレス符号化ブロックである場合までフィルタ処理を行う場合を２とすることも可能である。
【００５０】
なお、ビットストリームの構成はこれに限定されない。例えば、図６（ｂ）のように符号化しても良い。図６（ｂ）はシーケンスヘッダにロスレス情報符号が含まれ、ロスレス符号化情報符号が１の時にはブロック単位で量子化パラメータ情報符号とは別にロスレス符号化されているか否かを示すロスレス符号化ブロック情報符号が含まれている例を示している。このように構成することで、ロッシー符号化ブロックのみで構成されているビットストリームの符号量を抑える効果がある。
【００５１】
また、図６（ｃ）のように符号化しても良い。図６（ｃ）はシーケンス単位でのロスレス符号化情報符号は含まれない。全てのブロックにブロック単位でロスレス符号化されているか否かを示すロスレス符号化ブロック情報符号が全てのブロックに含まれている例を示している。このような構成により、ロスレス符号化ブロックとロッシー符号化ブロックの区別が容易になる効果がある。
【００５２】
＜実施形態２＞
図２は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成された符号化データの復号を例にとって説明する。
【００５３】
２０１は符号化されたビットストリームを入力する端子である。２０２は分離復号部であり、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。本実施形態では、フィルタ制御情報、ロスレス符号化ブロック情報を再生し、後段に出力する。分離復号部２０２は図１の統合符号化部１１４と逆の動作を行う。
【００５４】
２０３は第１復号部であり、分離復号部２０２から出力された第１符号データを復号し、量子化係数および第１予測情報を再生する。２０４は逆量子化・逆変換部であり、図１の１０６同様、ブロック単位で量子化係数を入力し、逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。２０７フレームメモリである。再生されたピクチャの画像データを格納しておく。
【００５５】
２０５は第１画像再生部である。図１の１０７同様、入力された第１予測情報に基づいてフレームメモリ２０７を適宜参照して予測画像データを生成する。そして、この予測画像データと逆量子化・逆変換部２０４で再生された予測誤差から再生画像データを生成し、出力する。２０６はインループフィルタ部である。図１の１０９同様、再生画像に対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理された画像を出力する。
【００５６】
２０８は第２復号部であり、分離復号部２０２から出力された第２符号データを復号し、予測誤差および第２予測情報を再生する。２０９は第２画像再生部である。ロスレス符号化されたブロックに対し、図１の１１１同様、入力された第２予測情報に基づいてフレームメモリ２０７を適宜参照して予測画像データを生成し、これと入力された予測誤差から再生画像データを生成し、出力する。２１０は端子であり、端子２１０は画像データを外部に出力する。
【００５７】
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態１で生成されたビットストリームを復号する。
【００５８】
図２において、端子２０１から入力されたビットストリームは分離復号部２０２に入力される。復号部２０２では、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。具体的には、フィルタ制御情報、ロスレス符号化情報を再生する。本実施形態では、まず、図６（ａ）に示されるビットストリームのシーケンスヘッダからロスレス符号化情報符号を抽出して復号する。それとピクチャデータ内に含まれる量子化パラメータ情報符号から再生された量子化パラメータとの組み合わせによって、ブロック単位でのロスレス符号化されているかロッシー符号化されているかを判定する。すなわち、ロスレス符号化情報符号が１であり、量子化パラメータが特定の値を持っている場合、そのブロックはロスレス符号化ブロックとされる。そうでなければロッシー符号化ブロックとされる。この情報がロスレス符号化ブロック情報となる。そしてシーケンスヘッダからフィルタ制御情報符号を抽出して復号し、フィルタ制御情報を再生する。続いて、ピクチャデータのブロック単位の符号データを後段に出力する。ロスレス符号化ブロック情報に基づき、ロッシー符号化ブロックでは第１符号データを再生し、第１復号部２０３に出力する。また、ロスレス符号化ブロックでは第２符号データを再生し、第２復号部２０８に出力する。また、フィルタ制御情報およびロスレス符号化ブロック情報をインループフィルタ部２０６に出力する。
【００５９】
第１復号部２０３では、第１符号データを復号し、量子化係数および第１予測情報を再生する。再生された量子化係数は逆量子化・逆変換部２０４に出力され、再生された第１予測情報は第１画像再生部２０５に出力される。逆量子化・逆変換部２０４では、ロッシー符号化されているブロックに関して、入力された量子化係数に対し逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。再生された予測情報は第１画像再生部２０５に入力される。
【００６０】
第１画像再生部２０５では、第１復号部２０３から入力された第１予測情報に基づいて、フレームメモリ２０７を適宜参照し、予測画像を再生する。この予測画像と逆量子化・逆変換部２０４から入力された予測誤差から画像データを再生し、フレームメモリ２０７に入力し、格納する。格納された画像データは予測の際の参照に用いられる。一方、第２復号部２０８では、第２符号データを復号し、予測誤差および第２予測情報を再生する。再生された予測誤差および第２予測情報は第２画像再生部２０９に出力される。
【００６１】
第２画像再生部２０９では、第２復号部２０８から入力された第２予測情報に基づいて、フレームメモリ２０７を適宜参照し、予測画像を再生する。この予測画像と第２復号部２０８から入力された予測誤差から画像データを再生し、フレームメモリ２０７に入力し、格納する。インループフィルタ部２０６では、図１の１０９同様、フレームメモリ２０７から再生画像を読み出し、分離復号部２０２から入力されたフィルタ制御情報およびロスレスブロック符号化情報に基づき、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、フィルタ処理された画像は再びフレームメモリ２０７に入力される。本実施形態でのインループフィルタ処理は、実施形態１におけるインループフィルタ処理と同一であるため、詳しい説明は省略する。
【００６２】
インループフィルタ部２０６にてフィルタ処理された画像は再びフレームメモリ２０７に格納され、最終的には端子２０８から外部に出力される。
【００６３】
図７は、実施形態２に係る画像復号装置における画像の復号処理を示すフローチャートである。
【００６４】
まず、ステップＳ７０１にて、分離復号部２０２はビットストリームから復号処理に関する情報や係数に関する符号データに分離して、ヘッダ部分の符号データを復号し、フィルタ制御情報、ロスレス符号化ブロック情報を再生する。ステップＳ７０２にて、復号装置はステップＳ７０１で再生されたロスレス符号化ブロック情報に基づき、復号対象のブロックがロスレス符号化されているか否かの判定を行う。ロスレス符号化されている場合はＳ７０６に進み、ロッシー符号化されている場合はＳ７０３に進む。
【００６５】
ステップＳ７０３にて、第１復号部２０３はステップＳ７０１で分離された第１符号データを復号し、量子化係数および第１予測情報を再生する。ステップＳ７０４にて、逆量子化・逆変換部２０４はブロック単位で量子化係数に対し逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。ステップＳ７０５にて、第１画像再生部２０５はステップＳ７０３で生成された第１予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップＳ７０４で生成された予測誤差から画像データを再生する。
【００６６】
一方、ステップＳ７０６にて、第２復号部２０８はステップＳ７０２で分離された第２符号データを復号し、予測誤差および第２予測情報を再生する。ステップＳ７０７にて、第２画像再生部２０９はステップＳ７０６で生成された予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップＳ７０６で生成された予測誤差から画像データを再生する。
【００６７】
ステップＳ７０８にて、画像復号装置は全てのブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ７０９に進み、そうでなければ次のブロックを対象として、ステップＳ７０２に戻る。ステップＳ７０９にて、インループフィルタ部２０６はステップＳ７０５およびステップＳ７０７で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。
【００６８】
インループフィルタ処理の詳細を示すフローチャートは実施形態１の図５と同一であるため、説明を省略する。
【００６９】
以上の構成と動作により、実施形態１で生成された、ロスレス符号化ブロックに対するインループフィルタ処理が制御可能となったビットストリームを復号することができる。
【００７０】
なお、本実施形態ではロスレス符号化ブロックの復号とロッシー符号化ブロックの復号でそれぞれ独立した第１画像再生部、第２画像再生部を有したが、同一の画像再生部がロスレス・ロッシー符号化ブロックの復号処理を行っても構わない。また、同様に独立した第１復号部、第２復号部を有したが、同一の復号部がロスレス・ロッシー符号化ブロックの復号処理を行っても構わない。
【００７１】
本実施形態では、図６（ａ）に示されるビットストリームの復号について示したが、復号するビットストリームの構成はこれに限定されない。例えば、図６（ｂ）のようなビットストリームを復号しても良い。図６（ｂ）はシーケンスヘッダにロスレス情報符号が含まれ、ロスレス符号化情報符号が１の時にはブロック単位で量子化パラメータ情報符号とは別にロスレス符号化されているか否かを示すロスレス符号化ブロック情報符号が含まれている例を示している。このような構成により、ロッシー符号化ブロックのみで構成されているビットストリームの符号量を抑えたビットストリームを復号することができる。
【００７２】
また、図６（ｃ）のようなビットストリームを復号しても良い。図６（ｃ）はシーケンス単位でのロスレス符号化情報符号は含まれない。全てのブロックにブロック単位でロスレス符号化されているか否かを示すロスレス符号化ブロック情報符号が全てのブロックに含まれている例を示している。このような構成により、ロスレス符号化ブロックとロッシー符号化ブロックの区別が容易となる効果を持ったビットストリームを復号することができる。
【００７３】
＜実施形態３＞
図１、図２に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。
【００７４】
図８は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【００７５】
ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ８０１は、図１、図２に示した各処理部として機能することになる。
【００７６】
ＲＡＭ８０２は、外部記憶装置８０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）８０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ８０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
【００７７】
ＲＯＭ８０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部８０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。表示部８０５は、ＣＰＵ８０１による処理結果を表示する。また表示部８０５は例えば液晶ディスプレイで構成される。
【００７８】
外部記憶装置８０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置８０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ８０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置８０６には、処理対象としての各画像データが保存されていても良い。
【００７９】
外部記憶装置８０６に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜、ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。Ｉ／Ｆ８０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ８０７を介して様々な情報を取得したり、送出したりすることができる。８０８は上述の各部を繋ぐバスである。
【００８０】
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ８０１が中心となってその制御を行う。
【００８１】
＜その他の実施例＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００８２】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００８３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図１】
2013219607.tif 000003
【図２】
2013219607.tif 000004
【図３】
2013219607.tif 000005
【図４】
2013219607.tif 000006
【図５】
2013219607.tif 000007
【図６】
2013219607.tif 000008
【図７】
2013219607.tif 000009
【図８】
2013219607.tif 000010
【手続補正書】
【提出日】平成24年4月13日(2012.4.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を符号化して画像ビットストリームを生成する符号化方法であって、
量子化を行う第１の符号化モードで画像をブロック単位で符号化する第１の符号化工程と、
量子化を行わない第２の符号化モードで画像をブロック単位で符号化する第２の符号化工程と、
前記第１の符号化工程において生成された第１の再生画像および前記第２の符号化工程において生成された第２の再生画像に対してフィルタリングを行うフィルタ工程と、
前記フィルタ工程は前記第２の再生画像に対してフィルタリング処理を行うか否かを示すフィルタ制御情報に基づいて前記第２の再生画像に対してのフィルタリングを行うことを特徴とする画像符号化方法。
【請求項２】
符号化に必要な情報を符号化してビットストリームを生成する統合符号化工程とを有し、
前記統合符号化工程は前記フィルタ制御情報を符号化することを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記第１の符号化工程は、
ブロック単位に分割された画像に対し予測を行って予測誤差を生成する第１予測工程と、
前記予測誤差を直交変換して変換係数を生成し、さらに前記変換係数を量子化して量子化係数を生成する変換・量子化工程と、
前記量子化係数を逆量子化して変換係数を再生し、さらに前記再生された変換係数を逆直交変換して第１の予測誤差を再生する逆量子化・逆変換工程と、
前記再生された第１の予測誤差と符号化済みの画素からの予測から第１再生画像を生成する第１再構成工程と、
前記量子化係数を符号化する第１量子化係数符号化工程を有することを特徴とする請求項１又は請求項２に記載の画像符号化方法。
【請求項４】
前記第２の符号化工程は、
ブロック単位に分割された画像に対して予測を行って第２の予測誤差を生成する第２予測工程と、
前記第２の予測誤差と符号化済みの画素からの予測から第２再生画像を生成する第２再構成工程と、
前記第２の予測誤差を符号化する第２予測誤差符号化工程を有することを特徴とする請求項１乃至請求項３に記載の画像符号化方法。
【請求項５】
前記フィルタ制御情報は、非圧縮多重化モードで符号化されて再生された画像に対してフィルタリング処理を行うか否かをさらに示すことを特徴とする請求項１に記載の画像符号化方法。
【請求項６】
画像ビットストリームを復号して画像を再生する復号方法であって、
逆量子化を行う第１の符号化モードで符号化されているブロックを復号する第１の復号工程と、
逆量子化を行わない第２の符号化モードで符号化されているブロックを復号する第２の復号工程と、
前記第１の復号工程において生成された第１の再生画像および前記第２の復号工程において生成された第２の再生画像に対してフィルタリングを行うフィルタ工程とを有し、
前記フィルタ工程は前記第２の再生画像に対してフィルタリング処理を行うか否かを示すフィルタ制御情報に基づいて前記第２の再生画像に対してのフィルタリングを行うことを特徴とする画像復号方法。
【請求項７】
画像を符号化して画像ビットストリームを生成する符号化装置であって、
量子化を行う第１の符号化モードで画像をブロック単位で符号化する第１の符号化手段と、
量子化を行わない第２の符号化モードで画像をブロック単位で符号化する第２の符号化手段と、
前記第１の符号化手段において生成された第１の再生画像および前記第２の符号化手段において生成された第２の再生画像に対してフィルタリングを行うフィルタ手段と、
前記フィルタ手段は前記第２の再生画像に対してフィルタリング処理を行うか否かを示すフィルタ制御情報に基づいて前記第２の再生画像に対してのフィルタリングを行うことを特徴とする画像符号化装置。
【請求項８】
符号化に必要な情報を符号化してビットストリームを生成する統合符号化手段とを有し、
前記統合符号化手段は前記フィルタ制御情報を符号化することを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
前記第１の符号化手段は、
ブロック単位に分割された画像に対し予測を行って予測誤差を生成する第１予測手段と、
前記予測誤差を直交変換して変換係数を生成し、さらに前記変換係数を量子化して量子化係数を生成する変換・量子化手段と、
前記量子化係数を逆量子化して変換係数を再生し、さらに前記再生された変換係数を逆直交変換して第１の予測誤差を再生する逆量子化・逆変換手段と、
前記再生された第１の予測誤差と符号化済みの画素からの予測から第１再生画像を生成する第１再構成手段と、
前記量子化係数を符号化する第１量子化係数符号化手段を有することを特徴とする請求項７又は請求項８に記載の画像符号化装置。
【請求項１０】
前記第２の符号化手段は、
ブロック単位に分割された画像に対して予測を行って第２の予測誤差を生成する第２予測手段と、
前記第２の予測誤差と符号化済みの画素からの予測から第２再生画像を生成する第２再構成手段と、
前記第２の予測誤差を符号化する第２予測誤差符号化手段を有することを特徴とする請求項７乃至請求項９に画像符号化装置。
【請求項１１】
前記フィルタ制御情報は、非圧縮多重化モードで符号化されて再生された画像に対してフィルタリング処理を行うか否かをさらに示すことを特徴とする請求項７に記載の画像符号化装置。
【請求項１２】
画像ビットストリームを復号して画像を再生する復号装置であって、
逆量子化を行う第１の符号化モードで符号化されているブロックを復号する第１の復号手段と、
逆量子化を行わない第２の符号化モードで符号化されているブロックを復号する第２の復号手段と、
前記第１の復号手段において生成された第１の再生画像および前記第２の復号手段において生成された第２の再生画像に対してフィルタリングを行うフィルタ手段とを有し、
前記フィルタ手段は前記第２の再生画像に対してフィルタリング処理を行うか否かを示すフィルタ制御情報に基づいて前記第２の再生画像に対してのフィルタリングを行うことを特徴とする画像復号装置。
【請求項１３】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項７に記載の画像符号化装置として機能させることを特徴とするプログラム。
【請求項１４】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１２に記載の画像復号装置として機能させることを特徴とするプログラム。