(57)【要約】  【課題】  任意スライス順序の符号化画像データを復号する画像復号装置を提供する。  【解決手段】  画像復号装置１００は、復号部３０、フレームメモリ４０、デブロッキングフィルタ５０、ＭＢ（マクロブロック）メモリ６０、及び、制御部７０を備える。ＭＢメモリ６０は、スライス境界のＭＢのデブロックフィルタリング処理前の画像を格納する。スライスの入力順に各スライスのＭＢについて、復号処理とデブロックフィルタリング処理をパイプライン処理し、フレームメモリ４０に格納する。全ＭＢのパイプライン処理が終了した後、スライス境界のＭＢに対して、再度デブロックフィルタリング処理して、フレームメモリ４０の当該ＭＢの画素値を置換する。これにより、任意スライス順序の符号化画像データを復号することができる。【選択図】  図５
2006197521.tif 000002
【特許請求の範囲】
【請求項１】
任意スライス順序（ＡＳＯ：Ａｒｂｉｔｒａｒｙ  Ｓｌｉｃｅ  Ｏｒｄｅｒ）の符号化画像データを復号する画像復号装置であって、
前記符号化画像データに所定の変換処理を施すことによって復号を行い複数のスライスを生成する復号部と、
前記複数のスライスにフィルタ処理を施し、復号画像を生成するデブロッキングフィルタと、
前記複数のスライスのマクロブロックの内、スライス境界に接するマクロブロックのフィルタ処理前画像を格納するマクロブロックメモリとを備え、
前記デブロッキングフィルタは、前記マクロブロックメモリに格納されている前記フィルタ処理前画像を用いて、スライス境界に接するマクロブロックのフィルタ処理を行う画像復号装置。
【請求項２】
任意スライス順序の符号化画像データを復号する画像復号装置であって、
前記符号化画像データに所定の変換処理を施すことによって復号を行い複数のスライスを生成する復号部と、
前記複数のスライスにフィルタ処理を施し、復号画像を生成するデブロッキングフィルタと、
前記復号画像を格納するフレームメモリと、
前記複数のスライスのマクロブロックの内、スライス境界に接するマクロブロックのフィルタ処理前画像を格納するマクロブロックメモリとを備え、
前記デブロッキングフィルタは、前記マクロブロックメモリに格納されている前記フィルタ処理前画像を用いて、スライス境界に接するマクロブロックのフィルタ処理を行い、前記フレームメモリに格納されている復号画像を一部置換する画像復号装置。
【請求項３】
前記復号部は、前記符号化画像データを、入力される順序に復号して前記複数のスライスを生成し、
前記デブロッキングフィルタは、前記複数のスライスのマクロブロックに対して、それぞれのスライスが生成された順にフィルタ処理を施して、復号画像を生成し、生成した復号画像を前記フレームメモリに格納し、
前記複数のスライスの内、先に復号される第１のスライスと前記第１のスライスよりも後に復号される第２のスライスとがスライス境界を挟んで位置する場合、
前記マクロブロックメモリは、前記第１のスライスのマクロブロックの内、前記スライス境界に接するマクロブロックのフィルタ処理前画像を格納し、
前記デブロッキングフィルタは、前記第２のスライスのマクロブロックの内、前記スライス境界に接するマクロブロックに対して、前記マクロブロックメモリに格納されている前記フィルタ処理前画像を用いてフィルタ処理を行い、
前記デブロッキングフィルタは、前記第１のスライスのマクロブロックの内、前記スライス境界に接するマクロブロックに対して、前記マクロブロックメモリに格納されている前記フィルタ処理前画像を用いて再フィルタ処理を行い、再フィルタ処理された画像を用いて、前記フレームメモリにすでに格納されている前記第１のスライスのマクロブロックの内の前記スライス境界に接するマクロブロックの復号画像を少なくとも部分的に置換する、請求項１から２記載の画像復号装置。
【請求項４】
前記第１のスライスのマクロブロックの内の前記スライス境界に接するマクロブロックが、１６画素×１６画素（２５６画素）で構成される時、前記デブロッキングフィルタは、前記スライス境界に近い１２８画素の画像を、再フィルタ処理された画像を用いて置換する、請求項３記載の画像復号装置。
【請求項５】
前記画像復号装置は、制御部をさらに備え、
前記制御部は、前記デブロッキングフィルタと、前記フレームメモリと、前記マクロブロックメモリとを制御して、スライス境界のフィルタ処理を制御する、請求項２から３記載の画像復号装置。
【請求項６】
前記復号部は、圧縮された任意スライス順序の符号化画像データを可変長復号して復号データを生成する可変長復号部と、
前記復号データを逆量子化して変換係数を生成する逆量子化部と、
前記変換係数を逆直交変換して差分画像データを生成する逆直交変換部と、
前記復号データがフレーム間符号化されたデータである場合、既に復号され前記フレームメモリに格納されている復号画像データから、前記可変長復号部により生成された動きベクトルに基づいて予測画像データを生成する動き補償部と、
前記差分画像データと前記復号画像データを加算して再構成画像データを生成する加算部とを有する、請求項１から３記載の画像復号装置。
【請求項７】
前記復号部における復号処理と、前記デブロッキングフィルタにおけるフィルタ処理とは、パイプライン構成により処理される、請求項１から３記載の画像復号装置。
【請求項８】
任意スライス順序の複数のスライスからなる符号化画像データを復号する画像復号方法であって、
スライス境界より右下に位置し、先に入力されるマクロブロックに対して、フレームの最も左上に位置するマクロブロックよりも先に、デブロックフィルタリング処理を行う画像復号方法。
【請求項９】
任意スライス順序の符号化画像データを復号する画像復号方法であって、
前記符号化画像データに所定の変換処理を施すことによって復号を行い複数のスライスを生成する復号ステップと、
前記複数のスライスにデブロッキングのためのフィルタ処理を施すフィルタリングステップと、
フィルタ処理が施された前記複数のスライスを格納する第１格納ステップと、
前記複数のスライスのマクロブロックの内、スライス境界に接するマクロブロックのフィルタ処理前画像を格納する第２格納ステップとを含み、
前記フィルタリングステップでは、前記第２格納ステップにおいて格納されている、前記フィルタ処理前画像を用いて、スライス境界に接するマクロブロックのフィルタ処理を行い、前記第１格納ステップにおいて格納されたスライスの一部を置換する画像復号方法。
【請求項１０】
前記復号ステップでは、前記符号化画像データを、入力される順序に復号して前記複数のスライスを生成し、
前記フィルタリングステップでは、前記複数のスライスのマクロブロックに対して、それぞれのスライスが生成された順にフィルタ処理を施し、
前記複数のスライスの内、先に復号された第１のスライスと前記第１のスライスよりも後に復号された第２のスライスとがスライス境界を挟んで位置する場合、
前記第２格納ステップでは、前記第１のスライスのマクロブロックの内、前記スライス境界に接するマクロブロックのフィルタ処理前画像を格納し、
前記フィルタリングステップでは、前記第２のスライスのマクロブロックの内、前記スライス境界に接するマクロブロックに対して、前記第２格納ステップにおいて格納されている前記フィルタ処理前画像を用いてフィルタ処理を行い、
前記フィルタリングステップでは、前記第１のスライスのマクロブロックの内、前記スライス境界に接するマクロブロックに対して、前記第２格納ステップにおいて格納されている前記フィルタ処理前画像を用いて再フィルタ処理を行い、再フィルタ処理された画像を用いて、前記第１格納ステップにおいてすでに格納されている前記第１のスライスのマクロブロックの内の前記スライス境界に接するマクロブロックの画像を少なくとも部分的に置換する、請求項９記載の画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意スライス順序（ＡＳＯ：Ａｒｂｉｔｒａｒｙ  Ｓｌｉｃｅ  Ｏｒｄｅｒ）の符号化画像データを復号する画像復号装置とその関連技術に関するものである。
【背景技術】
【０００２】
動画像データを符号化したり、符号化された符号化画像データを復号したりする最新の標準技術として、ＩＳＯ／ＩＥＣ  ＪＴＣ１のＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が策定した、ＭＰＥＧ−４  Ｐａｒｔ  １０：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（略してＭＰＥＧ−４  ＡＶＣと言う）がある。このＭＰＥＧ−４  ＡＶＣでは、低ビットレートでの画質を改善するため、復号画像からブロック歪を除去するループ内フィルタ（デブロッキングフィルタとも言う）が採用されている。これにより、画像のブロック歪が参照画像に含まれて復号画像に伝播するといった、好ましからざる事態の発生を防ぎ、良好な画質の復号画像を得ることを可能にしている。
【０００３】
また、ＭＰＥＧ−４  ＡＶＣでは、符号化／復号の基本単位として「スライス」が採用されており、複数のスライスが一つのピクチャを構成する。ピクチャ内のスライスの配置に関して、任意スライス順序（ＡＳＯ：Ａｒｂｉｔｒａｒｙ  Ｓｌｉｃｅ  Ｏｒｄｅｒｉｎｇ）という機能がある。ＡＳＯ機能を使えば、ピクチャ内の複数のスライスを任意の順序で送信することが可能になる。
【０００４】
例えば、ピクチャを複数のスライスに分割して符号化する場合、通常は、ピクチャの左上のスライスからラスタスキャン順に、符号化して送信する。しかし、ＡＳＯ機能を使うと、ピクチャの途中の重要なスライスから符号化して送信することも可能になる。
【０００５】
ＡＳＯ機能の利用方法として次のようなものが挙げられる。すなわち、復号器の処理能力が足りない場合に、符号化器側でピクチャを複数のスライスに分割して、ピクチャ内の重要な部分のスライスを、同じピクチャ内の他のスライスより先に符号化して、その符号化画像データを送信する。すると、復号器では先に受信した重要なスライスの符号化画像データのみ復号し、その後に受信した、他のスライスの符号化画像データは復号せずにスキップ処理を行う。こうすることで、復号器の処理能力が足りない場合でも、重要な画像は復号し閲覧に供することができる。
【０００６】
図１３は、上述したＭＰＥＧ−４  ＡＶＣで開示されている従来の画像復号装置１のブロック図である。同図に示す従来の画像復号装置１は、復号部２とフレームメモリ８とループ内フィルタ９とを備え、復号部２は、可変長復号部３、動き補償部４、逆量子化部５、逆直交変換部６、及び、加算部７を有する。
【０００７】
従来の画像復号装置１の動作の概略を説明する。可変長復号部３は、入力された可変長符号の符号化画像データを可変長復号し、量子化画像データと動きベクトルを出力する。逆量子化部５は、量子化画像データを逆量子化し、逆直交変換部６は、逆直交変換して、差分画像を出力する。動き補償部４は、可変長復号部３が出力した動きベクトルと、フレームメモリ８に保存されている、すでに復号された復号画像とを用いて動き補償画像（予測画像）を生成する。加算部７は、逆直交変換部６が出力した差分画像と動き補償部４が出力した予測画像とを加算して、再構成画像を生成する。ループ内フィルタ９は、再構成画像にデブロッキング処理して復号画像を得て、フレームメモリ８に格納するとともに出力端子に出力する。
【０００８】
ループ内フィルタ９は、再構成画像をデブロッキング処理する。ＭＰＥＧ−４  ＡＶＣに従ったデブロッキング処理を、図１４を参照して、説明する。図１４は、マクロブロック境界とマクロブロック配置図である。マクロブロック境界に上が接するマクロブロックＡのデブロッキング処理では、マクロブロック境界に下が接するマクロブロックＢの画素値を利用してフィルタを掛ける。また、マクロブロック境界に左が接するマクロブロックＣのデブロッキング処理では、マクロブロック境界に右が接するマクロブロックＤの画素値を利用してフィルタを掛ける。従って、マクロブロックにループ内フィルタをかける時点では、そのマクロブロックの上に位置するブロックと左に位置するブロックは、すでに復号されていなければならない。
【０００９】
しかし、図１３に示す従来の画像復号装置１で、ＡＳＯ機能を採用すると、スライスが任意の順序で送信されてくる場合、最初のスライスが画像の途中から始まることもあり、最初のスライスの境界にあるマクロブロックが復号される時点では、上に位置するマクロブロックや左に位置するマクロブロックは、異なるスライスに含まれているためにまだ復号されていない。そのため、従来の画像復号装置１で、ＡＳＯ機能を採用することはできない。
【特許文献１】特開平１１−１３６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
そこで本発明は、任意スライス順序の符号化画像データを復号できる画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１記載の画像復号装置は、任意スライス順序の符号化画像データを復号する画像復号装置であって、符号化画像データに所定の変換処理を施すことによって復号を行い複数のスライスを生成する復号部と、複数のスライスにフィルタ処理を施し、復号画像を生成するデブロッキングフィルタと、複数のスライスのマクロブロックの内、スライス境界に接するマクロブロックのフィルタ処理前画像を格納するマクロブロックメモリとを備え、デブロッキングフィルタは、マクロブロックメモリに格納されているフィルタ処理前画像を用いて、スライス境界に接するマクロブロックのフィルタ処理を行う。
【００１２】
この構成によれば、フレームメモリよりもはるかに小規模なマクロブロックメモリを設けるだけで、任意スライス順序の符号化画像データを復号する画像復号装置を実現できる。
【００１３】
請求項２記載の画像復号装置は、任意スライス順序の符号化画像データを復号する画像復号装置であって、符号化画像データに所定の変換処理を施すことによって復号を行い複数のスライスを生成する復号部と、複数のスライスにフィルタ処理を施し、復号画像を生成するデブロッキングフィルタと、復号画像を格納するフレームメモリと、複数のスライスのマクロブロックの内、スライス境界に接するマクロブロックのフィルタ処理前画像を格納するマクロブロックメモリとを備え、デブロッキングフィルタは、マクロブロックメモリに格納されているフィルタ処理前画像を用いて、スライス境界に接するマクロブロックのフィルタ処理を行い、フレームメモリに格納されている復号画像を一部置換する。
【００１４】
この構成によれば、任意スライス順序の符号化画像データを復号し、フレームメモリよりもはるかに小規模なマクロブロックメモリを使って、デブロックフィルタリング処理を施した復号画像を、フレームメモリにおいて合成することができる。
【００１５】
請求項３記載の画像復号装置では、復号部は、符号化画像データを、入力される順序に復号して複数のスライスを生成し、デブロッキングフィルタは、複数のスライスのマクロブロックに対して、それぞれのスライスが生成された順にフィルタ処理を施して、復号画像を生成し、生成した復号画像をフレームメモリに格納し、複数のスライスの内、先に復号される第１のスライスと第１のスライスよりも後に復号される第２のスライスとがスライス境界を挟んで位置する場合、マクロブロックメモリは、第１のスライスのマクロブロックの内、スライス境界に接するマクロブロックのフィルタ処理前画像を格納し、デブロッキングフィルタは、第２のスライスのマクロブロックの内、スライス境界に接するマクロブロックに対して、マクロブロックメモリに格納されているフィルタ処理前画像を用いてフィルタ処理を行い、デブロッキングフィルタは、第１のスライスのマクロブロックの内、スライス境界に接するマクロブロックに対して、マクロブロックメモリに格納されているフィルタ処理前画像を用いて再フィルタ処理を行い、再フィルタ処理された画像を用いて、フレームメモリにすでに格納されている第１のスライスのマクロブロックの内のスライス境界に接するマクロブロックの復号画像を少なくとも部分的に置換する。
【００１６】
この構成によれば、スライスをピクチャ内の位置に関係なく、入力された順序に復号し、デブロックフィルタリング処理を効率よく実行できる。
【００１７】
請求項５記載の画像復号装置では、画像復号装置は、制御部をさらに備え、制御部は、デブロッキングフィルタと、フレームメモリと、マクロブロックメモリとを制御して、スライス境界のフィルタ処理を制御する。
【００１８】
この構成によれば、画像復号装置は、デブロッキングフィルタとマクロブロックメモリを制御して、デブロックフィルタリング処理を行い、フレームメモリを制御して、デブロックフィルタリング処理後の復号画像を効率よく格納できる。
【００１９】
請求項６記載の画像復号装置では、復号部は、圧縮された任意スライス順序の符号化画像データを可変長復号して復号データを生成する可変長復号部と、復号データを逆量子化して変換係数を生成する逆量子化部と、変換係数を逆直交変換して差分画像データを生成する逆直交変換部と、復号データがフレーム間符号化されたデータである場合、既に復号されフレームメモリに格納されている復号画像データから、可変長復号部により生成された動きベクトルに基づいて予測画像データを生成する動き補償部と、差分画像データと復号画像データを加算して再構成画像データを生成する加算部とを有する。
【００２０】
この構成によれば、復号部は、圧縮された任意スライス順序の符号化画像データを効率よく復号できる。
【００２１】
請求項７記載の画像復号装置では、復号部における復号処理と、デブロッキングフィルタにおけるフィルタ処理とは、パイプライン構成により処理される。
【００２２】
この構成によれば、任意スライス順序の符号化画像データの復号において、復号部の処理と、デブロッキングフィルタにおけるフィルタ処理とをパイプライン処理し、高速に復号処理を実行できる。その結果、任意スライス順序の符号化画像データを高速処理する画像復号装置を実現できる。
【発明の効果】
【００２３】
本発明によれば、任意スライス順序の符号化画像データを復号する画像復号装置を提供できる。
【発明を実施するための最良の形態】
【００２４】
以下図面を参照しながら、本発明の実施の形態を説明する。
【００２５】
本発明の実施の形態の説明に先立ち、本発明の発明者が従来技術の延長線上で行った、検討例について説明する。
【００２６】
図１は、２つのスライスからなるピクチャの構成図である。図１に示す構成図では、ピクチャは、２５個のマクロブロックからなると仮定している。ピクチャは、第１スライスと第２スライスで構成され、第１スライスは、マクロブロックＭＢ１２からマクロブロックＭＢ２４で構成され、第２スライスは、マクロブロックＭＢ０からマクロブロックＭＢ１１で構成され、それらは、スライス境界２０で分割されている。さらに、第１スライスは、第２スライスより前に画像復号装置に入力されると仮定している。
【００２７】
ＭＰＥＧ−４  ＡＶＣによれば、マクロブロック境界のデブロッキング処理では、ピクチャの最も左上のマクロブロックから、ラスタスキャン順に、各マクロブロックをフィルタ処理する。図２は、デブロックフィルタリング処理の処理順序を示す図であり、マクロブロックＭＢ０からマクロブロックＭＢ２４まで、矢印２１が示す順序で、フィルタ処理が行われる。このため、デブロックフィルタリング処理を実行する前に、ピクチャを構成する全スライスを復号しておく必要がある。
【００２８】
図３は、任意スライス順序対応の改良画像復号装置１Ａのブロック図である。図３に示す改良画像復号装置１Ａは、図１に示した従来の画像復号装置１を改良して、第２フレームメモリ１０を新たに設け、任意スライス順序の符号化画像データの復号処理と、デブロックフィルタリング処理ができるようにしたものである。この構成によれば、復号部２は、入力された順序にスライスを復号して、第２フレームメモリ１０に出力する。すべてのスライスの復号が終わると、第２フレームメモリ１０には、１フレーム分の再構成画像が生成される。ループ内フィルタ９は、第２フレームメモリ１０に格納されている再構成画像に対して、図２に示した順序でデブロックフィルタリング処理を行うことができる。
【００２９】
通常、ＭＰＥＧ−４  ＡＶＣの画像復号装置では、復号処理は、マクロブロック単位にパイプライン処理を行う。
【００３０】
図４は、図３に示した改良画像復号装置１Ａのパイプライン処理過程の例示図である。以下の説明では、図３に示した改良画像復号装置１Ａが、図１に示した第１スライス（マクロブロックＭＢ１２〜ＭＢ２４）と第２スライス（マクロブロックＭＢ０〜ＭＢ１１）で構成されるピクチャを処理するものと仮定している。
【００３１】
図４において、縦方向は、パイプライン処理の各ステージを表す。すなわち、同図において、パイプライン処理は、ステージＳＴ１（例えば、可変長復号処理）、ステージＳＴ２（例えば、動き補償処理）、及び、ステージＳＴ３（例えば、逆量子化処理と逆直交変換処理と加算処理）から構成される。
【００３２】
図４において、横方向は、時間を表す。時刻ＴＭ０では、先に入力された第１スライスの先頭であるマクロブロックＭＢ１２に対するステージＳＴ１の処理が実行され、時刻ＴＭ１では、マクロブロックＭＢ１３に対するステージＳＴ１の処理と、マクロブロックＭＢ１２に対するステージＳＴ２の処理とが並列に実行され、時刻ＴＭ２では、マクロブロックＭＢ１４に対するステージＳＴ１の処理と、マクロブロックＭＢ１３に対するステージＳＴ２の処理と、マクロブロックＭＢ１２に対するステージＳＴ３の処理とが並列に実行される。マクロブロックＭＢ１２は、ステージＳＴ３の処理が終わると、第２フレームメモリ１０に格納される。
【００３３】
以下入力される順序に、第１スライスから第２スライスのすべてのマクロブロックが、パイプライン処理され、第２フレームメモリ１０に格納される。時刻ＴＭ２６で、すべてのマクロブロックは、パイプライン処理が終わり、第２フレームメモリ１０に再構成画像として格納される。
【００３４】
時刻ＴＭ２７から時刻ＴＭ５０において、マクロブロックＭＢ０からマクロブロックＭＢ２４に対するデブロックフィルタリング処理が、図２に示した順序で実行される。
【００３５】
以上説明したように、改良画像復号装置１Ａでは、デブロックフィルタリング処理をパイプライン処理のステージに組み込めないために、ステージＳＴ１〜ＳＴ３のパイプライン処理がすべて終了した後に、デブロックフィルタリング処理を実行することになり、処理時間が大幅に伸びる。さらに、フレームメモリ８と同規模の第２フレームメモリ１０を新たに設けなければならず、回路規模が大きくなるという問題がある。
【００３６】
本発明者は、以上の考察を基に、新たな視点から本発明を完成した。以下に本発明の実施の形態を説明する。
【００３７】
（実施の形態１）
図５は、本発明の実施の形態１における画像復号装置１００のブロック図である。本形態の画像復号装置１００は、復号部３０、フレームメモリ４０、デブロッキングフィルタ５０、マクロブロックメモリ６０、及び、制御部７０を備える。復号部３０は、可変長復号部３１、動き補償部３２、逆量子化部３３、逆直交変換部３４、及び、加算部３５を有する。復号部３０の構成と動作は、従来の画像復号装置１と同様であり、詳細な説明は割愛する。
【００３８】
マクロブロックメモリ６０は、スライス境界に上方あるいは左方が接するマクロブロックのデブロックフィルタリング処理前の画像を格納する。
【００３９】
制御部７０は、フレームメモリ４０とデブロッキングフィルタ５０とマクロブロックメモリ６０とを制御して、スライス境界に接するマクロブロックのデブロックフィルタリング処理を制御する。
【００４０】
以下に、本形態の画像復号装置１００におけるデブロックフィルタリング処理について説明する。
【００４１】
図６は、第１スライス（マクロブロックＭＢ１０〜ＭＢ２４）と第２スライス（マクロブロックＭＢ０〜ＭＢ９）からなるピクチャの構成図である。２つのスライスは、スライス境界を挟んで上下に位置していて、第１スライスが最初に入力され、続いて第２スライスが入力されると仮定する。マクロブロックＭＢ１０〜ＭＢ１４が、スライス境界に上端を接している。
【００４２】
図７は、１６画素×１６画素からなるマクロブロックの詳細図である。このマクロブロックは、図６のマクロブロックＭＢ１０のように、その上端をスライス境界に接している。
【００４３】
ＭＰＥＧ−４  ＡＶＣのデブロックフィルタリング処理では、図７に示すマクロブロックに対して水平方向のフィルタ処理を行うと、スライス境界においては、境界に最も近い上から３層の画素は、もっとも大きい影響を受け、続く３層の画素は、僅かながらも影響を受け、その他の下層の画素は、全く影響を受けない。
【００４４】
スライス境界が左方にある場合は、境界に最も近い左から３層の画素は、もっとも大きい影響を受け、続く３層の画素は、僅かながらも影響を受け、その他の層の画素は、全く影響を受けない。
【００４５】
本形態の画像復号装置１００は、上述したデブロックフィルタリング処理の特性を利用している。その詳細を以下に説明する。
【００４６】
図８は、本発明の実施の形態１におけるデブロックフィルタリング処理の第１説明図である。図８に従って、順番に説明する。
【００４７】
（１）第１、第２スライスの配置
図８に示すピクチャは、第１スライス（マクロブロックＭＢ１０〜ＭＢ２４）と第２スライス（マクロブロックＭＢ０〜ＭＢ９）がスライス境界を挟んで上下に位置している。
【００４８】
（２）スライス境界マクロブロックの退避
図５の復号部３０は、入力された順番に、マクロブロックＭＢ１０、ＭＢ１１、ＭＢ１２・・・ＭＢ２４を復号し、デブロッキングフィルタ５０に送る。同時に、復号部３０は、スライス境界に上が接するマクロブロックＭＢ１０〜ＭＢ１４をマクロブロックメモリ６０に格納する。
【００４９】
（３）第１スライスのフィルタ処理
デブロッキングフィルタ５０は、第１スライスのマクロブロックＭＢ１０〜ＭＢ２４に対して、矢印で示すように復号部３０から出力された順番に、デブロックフィルタリング処理を行い、フレームメモリ４０に格納する。
【００５０】
（４）スライス境界マクロブロックの置き換え
第２スライスのデブロックフィルタリング処理に先立ち、スライス境界のマクロブロックについて、（２）でマクロブロックメモリ６０に格納したデブロックフィルタリング処理前の画像と置き換える。
【００５１】
（５）第２スライスのフィルタ処理
デブロッキングフィルタ５０は、第２スライスのマクロブロックＭＢ０〜ＭＢ９に対して、矢印で示すように復号部３０から出力された順番に、デブロックフィルタリング処理を行い、フレームメモリ４０に格納する。この時、第１スライスのスライス境界に接するマクロブロックＭＢ１０〜ＭＢ１４についても再デブロックフィルタリング処理を行う。
【００５２】
（６）合成
図７で説明したように、第１スライスのスライス境界に接するマクロブロックＭＢ１０〜ＭＢ１４において、スライス境界に近い上部６層の画素は、（５）における再デブロックフィルタリング処理によって影響を受ける。従って、（３）においてすでにデブロックフィルタリング処理され、フレームメモリ４０に格納されているマクロブロックＭＢ１０〜ＭＢ１４のそれぞれの上部８層の画素については、（５）において再デブロックフィルタリング処理された対応する画素の画素値と置換する。
【００５３】
以上で、図８の第１説明図のデブロックフィルタリング処理が完了する。
【００５４】
図９は、本発明の実施の形態１におけるデブロックフィルタリング処理の第２説明図である。図９に従って、順番に説明する。
【００５５】
（１）第１、第２スライスの配置
図９に示すピクチャは、第１スライス（マクロブロックＭＢ２〜ＭＢ４、ＭＢ７〜ＭＢ９、ＭＢ１２〜ＭＢ１４、ＭＢ１７〜ＭＢ１９、ＭＢ２２〜ＭＢ２４）と第２スライス（マクロブロックＭＢ０、ＭＢ１、ＭＢ５、ＭＢ６、ＭＢ１０、ＭＢ１１、ＭＢ１５、ＭＢ１６、ＭＢ２０、ＭＢ２１）がスライス境界を挟んで左右に位置している。
【００５６】
（２）スライス境界マクロブロックの退避
図５の復号部３０は、入力された順番に、第１スライスのマクロブロックＭＢ２〜ＭＢ４、ＭＢ７〜ＭＢ９、ＭＢ１２〜ＭＢ１４、ＭＢ１７〜ＭＢ１９、ＭＢ２２〜ＭＢ２４を復号し、デブロッキングフィルタ５０に送る。同時に、復号部３０は、スライス境界に左が接するマクロブロックＭＢ２、ＭＢ７、ＭＢ１２、ＭＢ１７、ＭＢ２２をマクロブロックメモリ６０に格納する。
【００５７】
（３）第１スライスのフィルタ処理
デブロッキングフィルタ５０は、第１スライスのマクロブロックＭＢ２〜ＭＢ４、ＭＢ７〜ＭＢ９、ＭＢ１２〜ＭＢ１４、ＭＢ１７〜ＭＢ１９、ＭＢ２２〜ＭＢ２４に対して、矢印で示すように復号部３０から出力された順番に、デブロックフィルタリング処理を行い、フレームメモリ４０に格納する。
【００５８】
（４）スライス境界マクロブロックの置き換え
第２スライスのデブロックフィルタリング処理に先立ち、スライス境界のマクロブロックについて、（２）でマクロブロックメモリ６０に格納したデブロックフィルタリング処理前の画像と置き換える。
【００５９】
（５）第２スライスのフィルタ処理
デブロッキングフィルタ５０は、第２スライスのマクロブロックＭＢ０、ＭＢ１、ＭＢ５、ＭＢ６、ＭＢ１０、ＭＢ１１、ＭＢ１５、ＭＢ１６、ＭＢ２０、ＭＢ２１に対して、矢印で示すように復号部３０から出力された順番に、デブロックフィルタリング処理を行い、フレームメモリ４０に格納する。この時、第１スライスのスライス境界に接するマクロブロックＭＢ２、ＭＢ７、ＭＢ１２、ＭＢ１７、ＭＢ２２についても再デブロックフィルタリング処理を行う。
【００６０】
（６）合成
図７で説明したように、第１スライスのスライス境界に接するマクロブロックＭＢ２、ＭＢ７、ＭＢ１２、ＭＢ１７、ＭＢ２２において、スライス境界に近い左方６層の画素は、（５）における再デブロックフィルタリング処理によって影響を受ける。従って、（３）においてすでにデブロックフィルタリング処理され、フレームメモリ４０に格納されているマクロブロックＭＢ２、ＭＢ７、ＭＢ１２、ＭＢ１７、ＭＢ２２のそれぞれの左方８層の画素については、（５）において再デブロックフィルタリング処理された対応する画素の画素値と置換する。
【００６１】
以上で、図９の第２説明図のデブロックフィルタリング処理が完了する。
【００６２】
図１０は、本発明の実施の形態１におけるデブロックフィルタリング処理の第３説明図である。図１０に従って、順番に説明する。
【００６３】
（１）第１、第２スライスの配置
図１０に示すピクチャは、第１スライス（マクロブロックＭＢ１２〜ＭＢ２４）と第２スライス（マクロブロックＭＢ０〜ＭＢ１１）が折れ曲がったスライス境界を挟んで上下に位置している。
【００６４】
（２）スライス境界マクロブロックの退避
図５の復号部３０は、入力された順番に、第１スライスのマクロブロックＭＢ１２、ＭＢ１３、ＭＢ１４・・・ＭＢ２４を復号し、デブロッキングフィルタ５０に送る。同時に、復号部３０は、スライス境界に上が接するマクロブロックＭＢ１２、ＭＢ１３、ＭＢ１４、ＭＢ１５、ＭＢ１６と、スライス境界に角が接するＭＢ１７をマクロブロックメモリ６０に格納する。
【００６５】
（３）第１スライスのフィルタ処理
デブロッキングフィルタ５０は、第１スライスのマクロブロックＭＢ１２〜ＭＢ２４に対して、矢印で示すように復号部３０から出力された順番に、デブロックフィルタリング処理を行い、フレームメモリ４０に格納する。
【００６６】
（４）スライス境界マクロブロックの置き換え
第２スライスのデブロックフィルタリング処理に先立ち、スライス境界のマクロブロックについて、（２）でマクロブロックメモリ６０に格納したデブロックフィルタリング処理前の画像と置き換える。
【００６７】
（５）第２スライスのフィルタ処理
デブロッキングフィルタ５０は、第２スライスのマクロブロックＭＢ０〜ＭＢ１１に対して、矢印で示すように復号部３０から出力された順番に、デブロックフィルタリング処理を行い、フレームメモリ４０に格納する。この時、第１スライスのスライス境界に接するマクロブロックＭＢ１２、ＭＢ１３、ＭＢ１４、ＭＢ１５、ＭＢ１６、ＭＢ１７についても再デブロックフィルタリング処理を行う。マクロブロックＭＢ１７は、上に位置するマクロブロックＭＢ１２と左に位置するＭＢ１６とが再デブロックフィルタリング処理されたために、その影響を受けて、再デブロックフィルタリング処理される。
【００６８】
（６）合成
第１スライスのスライス境界に接するマクロブロックＭＢ１２、ＭＢ１３、ＭＢ１４、ＭＢ１５、ＭＢ１６において、スライス境界に近い上方６層の画素は、（５）における再デブロックフィルタリング処理によって影響を受ける。従って、（３）においてすでにデブロックフィルタリング処理され、フレームメモリ４０に格納されているマクロブロックＭＢ１２、ＭＢ１３、ＭＢ１４、ＭＢ１５、ＭＢ１６のそれぞれの上方８層の画素については、（５）において再デブロックフィルタリング処理された対応する画素の画素値と置換する。
【００６９】
さらに、マクロブロックＭＢ１２において、スライス境界に近い左方６層の画素は、（５）における再デブロックフィルタリング処理によって影響を受ける。従って、マクロブロックＭＢ１２の左方８層の画素についても、（５）において再デブロックフィルタリング処理された対応する画素の画素値と置換する。結局、マクロブロックＭＢ１２は、４分の３の画素が置換されることになる。
【００７０】
また、同様な理由により、マクロブロックＭＢ１７は、左上の４分の１の画素が再デブロックフィルタリング処理された対応する画素の画素値と置換されることになる。
【００７１】
以上で、図１０の第３説明図のデブロックフィルタリング処理が完了する。
【００７２】
以上説明したように、本形態の画像復号装置１００では、各スライスの復号処理とデブロックフィルタリング処理とを、スライスの入力順に実行し、スライス境界と上方または左方で接するスライスのマクロブロックについて、再度、デブロックフィルタリング処理を施し、影響を受ける画素のみ、その画素値を、再デブロックフィルタリング処理後の画素値と置換する。この処理方法により、画像復号装置１００では、復号処理と最初のデブロックフィルタリング処理とをパイプライン処理することが可能となる。
【００７３】
図１１は、本発明の実施の形態１の画像復号装置１００におけるパイプライン処理過程の例示図である。
【００７４】
以下の説明では、先に説明した改良画像復号装置１Ａと対比するために、本形態の画像復号装置１００が、図１に示した第１スライス（マクロブロックＭＢ１２〜ＭＢ２４）と第２スライス（マクロブロックＭＢ０〜ＭＢ１１）で構成されるピクチャを処理するものと仮定する。
【００７５】
図１１において、縦方向は、パイプライン処理の各ステージを表す。すなわち、同図においてパイプライン処理は、ステージＳＴ１（例えば、可変長復号処理）、ステージＳＴ２（例えば、動き補償処理）、ステージＳＴ３（例えば、逆量子化処理と逆直交変換処理と加算処理）、及び、ステージＳＴ４（最初のデブロックフィルタリング処理）から構成される。
【００７６】
図１１において、横方向は、時間を表す。時刻ＴＭ０では、先に入力された第１スライスの先頭であるマクロブロックＭＢ１２に対するステージＳＴ１の処理が実行され、時刻ＴＭ１では、マクロブロックＭＢ１３に対するステージＳＴ１の処理と、マクロブロックＭＢ１２に対するステージＳＴ２の処理とが並列に実行され、時刻ＴＭ２では、マクロブロックＭＢ１４に対するステージＳＴ１の処理と、マクロブロックＭＢ１３に対するステージＳＴ２の処理と、マクロブロックＭＢ１２に対するステージＳＴ３の処理とが並列に実行され、時刻ＴＭ３では、マクロブロックＭＢ１５に対するステージＳＴ１の処理と、マクロブロックＭＢ１４に対するステージＳＴ２の処理と、マクロブロックＭＢ１３に対するステージＳＴ３の処理と、マクロブロックＭＢ１２に対するステージＳＴ４の処理が並列に実行される。マクロブロックＭＢ１２は、ステージＳＴ４の処理が終わると、フレームメモリ４０に格納される。
【００７７】
以下入力される順序に、第１スライスから第２スライスのすべてのマクロブロックが、パイプライン処理され、フレームメモリ４０に格納される。時刻ＴＭ２７で、すべてのマクロブロックは、パイプライン処理が終わり、ｚ４０に再構成画像として格納される。
【００７８】
なお、ステージＳＴ３の処理が終わった段階で、スライス境界のマクロブロック（この例では、マクロブロックＭＢ１２〜ＭＢ１７）は、次のステージＳＴ４に送られるとともに、マクロブロックメモリ６０に格納される。
【００７９】
以上述べた一連のパイプライン処理が終了すると、図８〜１０で説明したスライス境界のマクロブロックに対する再デブロックフィルタリング処理と一部置換が行われ、フレームメモリ４０上に、完全な復号画像が生成される。
【００８０】
このように、本形態の画像復号装置１００では、復号処理と最初のデブロックフィルタリング処理とをパイプライン処理することができる。
【００８１】
図１１に示す本形態の画像復号装置１００のパイプライン処理を、図４に示す改良画像復号装置１Ａのパイプライン処理と比較すると、改良画像復号装置１Ａが、デブロックフィルタリング処理をパイプライン処理できない（その結果、フィルタ処理完了までに時刻ＴＭ５０を要していた）のに比べ、本形態の画像復号装置１００は、最初のデブロックフィルタリング処理までをパイプライン処理できる（その結果、フィルタ処理完了までに時刻ＴＭ２７で済む）ので、大幅な処理時間の短縮が実現できる。本形態の画像復号装置１００では、パイプライン処理の後に、スライス境界のマクロブロックについて、再デブロックフィルタリング処理を行うが、その処理量は、最初のデブロックフィルタリング処理に比べれば、僅少である。従って、デブロックフィルタリング処理をパイプライン処理に組入れることの効果は、甚大である。
【００８２】
図１２は、本発明の実施の形態１における画像復号装置１００のフローチャートである。図１２に従って、本形態の画像復号装置１００の処理の流れを説明する。
【００８３】
ステップＳ０において、処理が開始されると、ステップＳ１において、復号部３０は、入力されたスライス順に、各スライスの先頭のマクロブロックから可変長復号処理を行う。
【００８４】
ステップＳ２において、復号されたマクロブロックは、スライス境界マクロブロックかどうかの判定が行われ、判定結果が「Ｙｅｓ」（当該マクロブロックは、スライス境界マクロブロックである）の時は、制御は、ステップＳ３に進み、判定結果が「Ｎｏ」（当該マクロブロックは、スライス境界マクロブロックでない）の時は、制御は、ステップＳ４に進む。
【００８５】
ステップＳ３において、復号部３０は、スライス境界マクロブロックの復号された画素値を、マクロブロックメモリ６０に格納する。
【００８６】
ステップＳ４において、デブロッキングフィルタ５０は、マクロブロックの復号された画素値に対して、デブロックフィルタリング処理を行い、ステップＳ５において、フレームメモリ４０に格納する。
【００８７】
ステップＳ６において、デブロッキングフィルタ５０は、スライス境界のマクロブロックに対して、ステップＳ３においてマクロブロックメモリ６０に格納されたデブロックフィルタリング処理前の画素値を用いて、再デブロックフィルタリング処理を行う。
【００８８】
ステップＳ７において、デブロッキングフィルタ５０は、フレームメモリ４０に格納されているスライス境界マクロブロックの画素値を、再デブロックフィルタリング処理した画素値で置換する。そして、制御は、ステップＳ８に進み、処理を終了する。
【００８９】
なお、ステップＳ１からステップＳ５までの処理は、パイプライン処理される。  以上、本発明の実施の形態を、ピクチャが任意スライス順序の２つのスライスから構成される場合について説明したが、本形態の画像復号装置１００は、ピクチャが任意スライス順序の３つ以上のスライスから構成される場合にも、同様に適用できる。
【００９０】
以上説明したように、本発明の趣旨は、任意スライス順序の符号化画像データを復号することの出来る画像復号装置を提供することにあるのであって、本発明の趣旨を逸脱しない限り、種々の変更が可能である。
【産業上の利用可能性】
【００９１】
本発明に係わる画像復号装置は、例えば、カメラつき携帯電話、インターネット接続の画像装置等、圧縮動画像を扱う映像機器とその応用分野において利用できる。
【図面の簡単な説明】
【００９２】
【図１】２つのスライスからなるピクチャの構成図
【図２】デブロックフィルタリング処理の処理順序を示す図
【図３】任意スライス順序対応の改良画像復号装置のブロック図
【図４】改良画像復号装置のパイプライン処理過程の例示図
【図５】本発明の実施の形態１における画像復号装置のブロック図
【図６】第１スライスと第２スライスからなるピクチャの構成図
【図７】１６画素×１６画素からなるマクロブロックの詳細図
【図８】本発明の実施の形態１におけるデブロックフィルタリング処理の第１説明図
【図９】本発明の実施の形態１におけるデブロックフィルタリング処理の第２説明図
【図１０】本発明の実施の形態１におけるデブロックフィルタリング処理の第３説明図
【図１１】本発明の実施の形態１における画像復号装置のパイプライン処理過程の例示図
【図１２】本発明の実施の形態１における画像復号装置のフローチャート
【図１３】ＭＰＥＧ−４  ＡＶＣで開示されている従来の画像復号装置のブロック図
【図１４】マクロブロック境界とマクロブロックの配置図
【符号の説明】
【００９３】
１  画像復号装置
１Ａ  改良画像復号装置
２、３０  復号部
３、３１  可変長復号部
４、３２  動き補償部
５、３３  逆量子化部
６、３４  逆直交変換部
７、３５  加算部
８、４０  フレームメモリ
９  ループ内フィルタ
１０  第２フレームメモリ
５０  デブロッキングフィルタ
６０  マクロブロックメモリ
７０  制御部
１００  画像復号装置
【図１】
2006197521.tif 000003
【図２】
2006197521.tif 000004
【図３】
2006197521.tif 000005
【図４】
2006197521.tif 000006
【図５】
2006197521.tif 000007
【図６】
2006197521.tif 000008
【図７】
2006197521.tif 000009
【図８】
2006197521.tif 000010
【図９】
2006197521.tif 000011
【図１０】
2006197521.tif 000012
【図１１】
2006197521.tif 000013
【図１２】
2006197521.tif 000014
【図１３】
2006197521.tif 000015
【図１４】
2006197521.tif 000016