(57)【要約】【課題】動画像復号装置側で、他のタイルが正常に復号されているか否かに関わらず、特定のタイルを独立して復号することが可能な符号化データを生成することができるようにする。【解決手段】分離されたタイルのうち、独立タイルフラグが他のタイルに関する情報を参照しないで符号化処理を行う旨を示しているタイルが与えられた場合、そのタイルの符号化処理を他のタイルに関する情報を参照せずに独立に実行し、その独立タイルフラグが他のタイルに関する情報を参照しながら符号化処理を行う旨を示しているタイルが与えられた場合、そのタイルの符号化処理を他のタイルに関する情報を参照しながら実行する。【選択図】図１
2014197795.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の画像が分割される矩形の領域であるタイル毎に、他のタイルに関する情報を参照しながら符号化処理を行うか否かを示すフラグを設定するフラグ設定手段と、
分離されたタイルのうち、上記フラグ設定手段により設定されたフラグが他のタイルに関する情報を参照しないで符号化処理を行う旨を示しているタイルが与えられた場合、上記タイルの符号化処理を他のタイルに関する情報を参照せずに独立に実行し、上記フラグが他のタイルに関する情報を参照しながら符号化処理を行う旨を示しているタイルが与えられた場合、上記タイルの符号化処理を他のタイルに関する情報を参照しながら実行するタイル符号化手段と、
上記タイル符号化手段により符号化された各タイルの符号化データ及び上記フラグ設定手段により設定された各タイルのフラグを多重化してビットストリームを生成する多重化手段と
を備えた動画像符号化装置。
【請求項２】
複数のタイル符号化手段を実装するとともに、
符号化対象の画像を複数のタイルに分割し、分割後のタイルを上記複数のタイル符号化手段に分配する画像分割手段を備え、
上記複数のタイル符号化手段は、フラグ設定手段により設定されたフラグにしたがって、上記画像分割手段により分配されたタイルの符号化処理を並列に実行する
ことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
タイル符号化手段は、フラグ設定手段により設定されたフラグが他のタイルに関する情報を参照しないで符号化処理を行う旨を示しているタイルが与えられた場合、他のタイル内に存在している画素を参照しないで上記タイルの予測画像を生成し、上記タイルと上記予測画像の差分画像を量子化して符号化することを特徴とする請求項１または請求項２記載の動画像符号化装置。
【請求項４】
タイル符号化手段は、量子化後の差分画像を逆量子化して、逆量子化後の差分画像と予測画像からタイルの局所復号画像を生成し、上記局所復号画像の歪みを低減するループフィルタ処理を実施する際、他のタイルの局所復号画像を参照しないでループフィルタ処理を実施することを特徴とする請求項３記載の動画像符号化装置。
【請求項５】
ビットストリームに多重化された各タイルの符号化データ及びフラグを分離する分離手段と、
上記分離手段により分離された各タイルの符号化データのうち、上記フラグが他のタイルに関する情報を参照しないで符号化処理を行う旨を示しているタイルの符号化データが与えられた場合、上記符号化データから上記タイルを復号する処理を他のタイルに関する情報を参照せずに独立に実行し、上記フラグが他のタイルに関する情報を参照しながら符号化処理を行う旨を示しているタイルの符号化データが与えられた場合、上記符号化データから上記タイルを復号する処理を他のタイルに関する情報を参照しながら実行するタイル復号手段と
を備えた動画像復号装置。
【請求項６】
タイル復号手段は、復号対象のタイルを指定する復号タイル指定情報を受けると、上記復号タイル指定情報が指定するタイルであって、上記タイルのフラグが他のタイルに関する情報を参照しないで符号化処理を行う旨を示している場合に限り、上記タイルの復号処理を実施することを特徴とする請求項５記載の動画像復号装置。
【請求項７】
複数のタイル復号手段を実装するとともに、
分離手段により分離された各タイルの符号化データ及びフラグを上記複数のタイル復号手段に分配するデータ分配手段を備え、
上記複数のタイル復号手段は、上記データ分配手段により分配されたフラグにしたがって、上記データ分配手段により分配された符号化データからタイルを復号する処理を並列に実行する
ことを特徴とする請求項５または請求項６記載の動画像復号装置。
【請求項８】
タイル復号手段は、分離手段により分離されたフラグが他のタイルに関する情報を参照しないで符号化処理を行う旨を示しているタイルの符号化データが与えられた場合、他のタイル内に存在している画素を参照しないで上記タイルの予測画像を生成し、上記符号化データと上記予測画像からタイルを復号する
ことを特徴とする請求項５から請求項７のうちのいずれか１項記載の動画像復号装置。
【請求項９】
タイル復号手段は、分離手段により分離された符号化データを復号して逆量子化することで差分画像を生成するとともに、上記差分画像と予測画像からタイルの復号画像を生成し、上記復号画像の歪みを低減するループフィルタ処理を実施する際、他のタイルの復号画像を参照しないでループフィルタ処理を実施することを特徴とする請求項８記載の動画像復号装置。
【請求項１０】
フラグ設定手段が、符号化対象の画像が分割される矩形の領域であるタイル毎に、他のタイルに関する情報を参照しながら符号化処理を行うか否かを示すフラグを設定するフラグ設定処理ステップと、
タイル符号化手段が、分離されたタイルのうち、上記フラグ設定処理ステップで設定されたフラグが他のタイルに関する情報を参照しないで符号化処理を行う旨を示しているタイルが与えられた場合、上記タイルの符号化処理を他のタイルに関する情報を参照せずに独立に実行し、上記フラグが他のタイルに関する情報を参照しながら符号化処理を行う旨を示しているタイルが与えられた場合、上記タイルの符号化処理を他のタイルに関する情報を参照しながら実行するタイル符号化処理ステップと、
多重化手段が、上記タイル符号化処理ステップで符号化された各タイルの符号化データ及び上記フラグ設定処理ステップで設定された各タイルのフラグを多重化してビットストリームを生成する多重化処理ステップと
を備えた動画像符号化方法。
【請求項１１】
分離手段が、ビットストリームに多重化された各タイルの符号化データ及びフラグを分離する分離処理ステップと、
タイル復号手段が、上記分離処理ステップで分離された各タイルの符号化データのうち、上記フラグが他のタイルに関する情報を参照しないで符号化処理を行う旨を示しているタイルの符号化データが与えられた場合、上記符号化データから上記タイルを復号する処理を他のタイルに関する情報を参照せずに独立に実行し、上記フラグが他のタイルに関する情報を参照しながら符号化処理を行う旨を示しているタイルの符号化データが与えられた場合、上記符号化データから上記タイルを復号する処理を他のタイルに関する情報を参照しながら実行するタイル復号処理ステップと
を備えた動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を圧縮符号化して伝送する画像符号化装置及び画像符号化方法と、画像符号化装置により伝送された符号化データから画像を復号する画像復号装置及び画像復号方法とに関するものである。
【背景技術】
【０００２】
ＭＰＥＧやＩＴＵ−Ｔ  Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、マクロブロック（ＭＢ）、コーディングツリーユニット（ＣＴＵ）などの名称で呼ばれる正方ブロックに分割し、各ブロックにおいて、フレーム内予測処理、フレーム間予測処理、予測誤差信号の直交変換処理、量子化処理、エントロピー符号化処理などを実施する。
また、全てのマクロブロックに対する処理が完了して、画面一枚分の局所復号画像が作成された後に、ループフィルタのパラメータの導出・エントロピー符号化処理や、そのパラメータに基づく局所復号画像へのフィルタ処理を実施する。
符号化対象の動画像データの空間解像度が増加するほど、上記処理を実施するＣＴＵの数が増加するため、符号化処理や復号処理の処理量が増加する。
【０００３】
ここで、符号化対象の動画像コンテンツが非常に高い空間解像度を持っている場合において、多くの処理量をかけてでも、その動画像コンテンツの画面全体を必要とするユーザＡと、動画像コンテンツの一部領域だけが必要であるため、あまり多くの処理量をかけたくないユーザＢとが存在する状況を考える。
例えば、符号化対象の動画像コンテンツが監視映像であるとき、映像全体の閲覧を希望するユーザＡと、映像の重要領域（例えば、人物・出入り口など）だけの閲覧を希望するユーザＢとが存在する状況を考える。
【０００４】
このような状況下では、最も単純には、ユーザＡが必要とする画面全体の動画像コンテンツを符号化したデータと、ユーザＢが必要とする部分領域のみを切り出した動画像コンテンツを符号化したデータとの２種類を作成する手法を採用すればよい。
ただし、このような手法では、符号化を個別に行う必要があり、ユーザＡとユーザＢに対して、異なる符号化データを伝送する必要がある。
また、ユーザＢが必要とする領域を符号化時に特定することができない場合には、このような手法を採用することができない。よって、１つの符号化データから、任意の一部領域のみを低処理量で復号する手法が望ましい。
【０００５】
しかし、上記のような動画像符号化処理において、コンテキスト適応型エントロピー符号化やフレーム内予測／フレーム間予測を行うには、あるフレームのある一部領域を正しく復号するために、その領域が予測のために参照している領域も、正常に復号されている必要がある。
予測のための参照に制約を設けない限りは、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ：ＩＤＲピクチャから復号順で後のピクチャが復号可能）や、ＣＲＡ（Ｃｌｅａｎ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ：ＣＲＡピクチャから表示順で後のピクチャが復号可能）などのランダムアクセスポイント以降のフレームすべてが正常に復号されない限り、ある任意の一部領域の正常な復号は保証されない。よって、復号したい領域が一部領域であったとしても、画面全体を復号する必要がある。
【０００６】
以下の非特許文献１では、上記の問題のうち、コンテキスト適応型エントロピー符号化や、フレーム内予測／フレーム間予測などによる画像領域間の依存関係を解決するために、タイルと呼ばれる構造体を用いている。タイルは、図９に示されるように、複数のＣＴＵからなる矩形領域である。
タイルは以下に示すような特徴を有している。
【０００７】
（１）画像のタイルによる分割は、ＣＴＵ単位で行われる。
（２）画像のタイルによる分割は、各行・各列の幅が非均一な格子状となる。即ち、縦方
向に隣接するタイルは、左右両端の座標が等しくなり、横方向に隣接するタイルは、
上下両端の座標が等しくなる。
（３）各ＣＴＵは、タイル内で閉じたラスタスキャン順に処理される。また、タイル内で
スライス分割を行うことが可能である。
（４）タイル内で最初に処理されるＣＴＵでは、エントロピー符号化を初期状態から開始
することができる。
（５）フレーム内予測処理、フレーム間予測処理、エントロピー符号化・復号の処理にお
いて、同一フレーム内の隣接ＣＴＵの局所復号画像及び符号化モードの参照を行う際
、隣接ＣＴＵが異なるタイルに属していた場合、隣接ＣＴＵの参照を行わずに、画面
端の処理を実施することができる。
（６）各タイルにおいて、ループフィルタ処理を独立に実施することができる。
（７）フレーム間予測処理において、符号化（復号）済みフレームの画素を参照する際、
タイル外のＣＴＵ位置の画素を参照することは制限されない。
【０００８】
以上より、あるタイルに属するＣＴＵの符号化・復号処理を実行する際、フレーム内予測処理や、予測誤差信号の直交変換・量子化・エントロピー符号化処理において、同じタイル内に属するＣＴＵの結果のみを必要とするように構成することができる。よって、あるフレーム内に閉じた処理を考えると、フレーム内／フレーム間予測処理、予測誤差信号の直交変換・量子化処理、エントロピー符号化処理、ループフィルタ処理を単独のタイル、または、特定のタイル群で独立して処理することが可能となる。
ただし、フレーム間予測処理において、タイル外位置への画素アクセスが制限されていないため、復号処理の際に、全てのフレームにおいて、特定の位置の領域のタイルのみを復号することはできない。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Benjamin Bross，Woo-Jin Han，Jens-Rainer Ohm，Gary J. Sullivan，Thomas Wiegand，“JCTVC-K1003：High Efficiency Video Coding（HEVC）text specification draft 9”，Joint Collaborative Team on Video Coding（JCT-VC）of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting：Shanghai，CN，10-19 October 2012
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の動画像符号化装置は以上のように構成されているので、コンテキスト適応型エントロピー符号化や、フレーム内予測／フレーム間予測などで画像領域間の依存関係があり、動画像の一部分だけを復号することができない課題があった。
また、動画像をタイルに分割し、あるフレーム内で閉じた処理を考えると、フレーム内／フレーム間予測、予測誤差信号の直交変換・量子化、エントロピー符号化、ループフィルタなどの処理を単独のタイル、または、特定のタイル群で独立して処理することが可能になるが、フレーム間予測において、他のタイル内に存在している画素の参照を制限していない。このため、動画像復号装置において、他のタイルが正常に復号されていなければ、特定のタイルを復号することができない課題があった。
【００１１】
この発明は上記のような課題を解決するためになされたもので、動画像復号装置側で、他のタイルが正常に復号されているか否かに関わらず、特定のタイルを独立して復号することが可能な符号化データを生成することができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、他のタイルが正常に復号されているか否かに関わらず、特定のタイルを独立して復号することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１２】
この発明に係る動画像符号化装置は、符号化対象の画像が分割される矩形の領域であるタイル毎に、他のタイルに関する情報を参照しながら符号化処理を行うか否かを示すフラグを設定するフラグ設定手段と、分離されたタイルのうち、フラグ設定手段により設定されたフラグが他のタイルに関する情報を参照しないで符号化処理を行う旨を示しているタイルが与えられた場合、そのタイルの符号化処理を他のタイルに関する情報を参照せずに独立に実行し、そのフラグが他のタイルに関する情報を参照しながら符号化処理を行う旨を示しているタイルが与えられた場合、そのタイルの符号化処理を他のタイルに関する情報を参照しながら実行するタイル符号化手段とを設け、多重化手段が、タイル符号化手段により符号化された各タイルの符号化データ及びフラグ設定手段により設定された各タイルのフラグを多重化してビットストリームを生成するようにしたものである。
【発明の効果】
【００１３】
この発明によれば、分離されたタイルのうち、フラグ設定手段により設定されたフラグが他のタイルに関する情報を参照しないで符号化処理を行う旨を示しているタイルが与えられた場合、そのタイルの符号化処理を他のタイルに関する情報を参照せずに独立に実行し、そのフラグが他のタイルに関する情報を参照しながら符号化処理を行う旨を示しているタイルが与えられた場合、そのタイルの符号化処理を他のタイルに関する情報を参照しながら実行するように構成したので、動画像復号装置側で、他のタイルが正常に復号されているか否かに関わらず、特定のタイルを独立して復号することが可能な符号化データを生成することができる効果がある。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置のタイル符号化部５−ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。
【図３】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図４】この発明の実施の形態１による動画像復号装置のタイル復号部４５−ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。
【図５】この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
【図６】この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
【図７】タイル符号化部５−ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容をフローチャートである。
【図８】タイル復号部４５−ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容をフローチャートである。
【図９】入力画像のＣＴＵ分割及びタイル分割の一例を示す説明図である。
【図１０】最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
【図１１】（ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。
【図１２】タイル境界を跨いだフレーム間参照を禁止する状況を示す説明図である。
【図１３】（ａ）は実施の形態１のタイル間参照の状況を示し、（ｂ）は実施の形態２のタイル間参照の状況を示し、（ｃ）は実施の形態３のタイル間参照の状況を示す説明図である。
【図１４】実施の形態３における動画像復号装置側での部分領域復号の処理を示す説明図である。
【発明を実施するための形態】
【００１５】
実施の形態１．
この実施の形態１では、映像の各々のフレーム画像を入力して、近接のフレーム間で動き補償予測又はフレーム内予測を実施し、その予測処理で得られた予測差分信号に対して直交変換・量子化による圧縮処理を実施した後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、当該動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。
また、この実施の形態１で説明する動画像符号化装置が生成するビットストリームは、特定の連続するフレームにおける特定の空間的位置のタイル群を独立して復号できるように構成されており、動画像復号装置は、画像全体の復号のほかに、任意の空間的位置のタイル群を独立に復号することができる。
【００１６】
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１は入力画像（符号化対象画像）のタイル分割状態を制御するタイル分割制御情報を出力するとともに、入力画像から分割されるタイル毎に、他のタイルに関する情報を参照しながら符号化処理を行うか否かを示す独立タイルフラグを設定して、その独立タイルフラグを出力する処理を実施する。なお、符号化制御部１はフラグ設定手段を構成している。
ここで、他のタイルは、同一フレーム内のカレントタイル以外のタイルのほか、他のフレームのカレントタイルとは異なる位置のタイルを指している。
この実施の形態１では、説明の便宜上、他のタイルに関する情報を参照しないで符号化処理を行う場合、独立タイルフラグ＝ＯＮ、他のタイルに関する情報を参照しながら符号化処理を行う場合、独立タイルフラグ＝ＯＦＦに設定されるものとする。
【００１７】
タイル分割部２は符号化制御部１から出力されたタイル分割制御情報にしたがって入力画像のタイル分割状態を定め、入力画像のタイル分割をタイル符号化開始部３に指示する処理を実施する。
タイル符号化開始部３はタイル分割部２の指示の下、入力画像を複数のタイルに分割し、分割後のタイル（タイル部分画像）を複数のタイル符号化部５に分配する処理を実施する。
なお、タイル分割部２及びタイル符号化開始部３から画像分割手段が構成されている。
【００１８】
タイル符号化装置４はＮ個のタイル符号化部５−１〜５−Ｎとフレーム内参照メモリ６から構成されており、タイル符号化開始部３により分配された複数のタイルを符号化する装置である。
タイル符号化部５−１〜５−Ｎは符号化制御部１から出力された独立タイルフラグにしたがって、タイル符号化開始部３により分配されたタイルの符号化処理を並列に実行し、各タイルの符号化データであるタイルビットデータ及びタイル局所復号画像をタイル符号化終了部７に出力する処理を実施する。
即ち、タイル符号化部５−１〜５−Ｎはタイル符号化開始部３により分割されたタイルのうち、符号化制御部１により設定された独立タイルフラグがＯＮであるタイルがタイル符号化開始部３から分配された場合、当該タイルの符号化処理を他のタイルに関する情報を参照せずに独立に実行し、その独立タイルフラグがＯＦＦであるタイルがタイル符号化開始部３から分配された場合、当該タイルの符号化処理を他のタイルに関する情報を参照しながら実行する。なお、タイル符号化部５−１〜５−Ｎはタイル符号化手段を構成している。
フレーム内参照メモリ６はタイル符号化部５−１〜５−Ｎから出力されたカレントフレームの局所復号画像（ループフィルタ処理前の局所復号画像）、符号化パラメータや動きベクトルの情報などを格納する。これらの情報はカレントフレームのタイル符号化処理を行うタイル符号化部５により適宜参照される。
【００１９】
この実施の形態１では、タイル符号化部５−１〜５−Ｎが、タイルの予測画像を生成する際に、イントラ予測処理（フレーム内予測処理）又はインター予測処理（フレーム間予測処理）を実施することを想定しており、どちらの予測処理を実施する場合でも、独立タイルフラグがＯＮであれば、当該タイルの予測画像を生成する際に、他のタイルに関する情報を参照せずに独立に実行するものとする。
ただし、イントラ予測処理は、他のタイルに関する情報を参照しないで行うことが一般的であり、他のタイルに関する情報を参照しながら行うことはむしろ特殊である。
このため、イントラ予測処理を実施する場合には、独立タイルフラグのＯＮ／ＯＦＦに関わらず同様の予測処理を実施し、インター予測処理を実施する場合に限り、独立タイルフラグのＯＮ／ＯＦＦに対応する予測処理を実施するようにしてもよい。
【００２０】
タイル符号化終了部７はタイル符号化部５−１〜５−Ｎから全てのタイルのタイルビットデータ及びタイル局所復号画像が出力されるまで待機し、フレーム一枚分の局所復号画像をフレーム間参照メモリ９に出力するとともに、各タイルのタイルビットデータを特定の順序で多重化して、多重化後のタイルビットデータであるフレームビットデータを可変長符号多重化部８に出力する処理を実施する。
可変長符号多重化部８はタイル符号化終了部７から出力されたフレームビットデータと、符号化制御部１から出力されたタイル分割制御情報及び各タイルの独立タイルフラグとを多重化してビットストリームを生成し、そのビットストリームを出力する処理を実施する。
なお、タイル符号化終了部７及び可変長符号多重化部８から多重化手段が構成されている。
【００２１】
フレーム間参照メモリ９はタイル符号化終了部７から出力されたフレーム一枚分の局所復号画像を格納するとともに、タイル符号化部５−１〜５−Ｎから出力された符号化パラメータや動きベクトルの情報を格納する。この局所復号画像、符号化パラメータや動きベクトルの情報は、タイル符号化部５−１〜５−Ｎが参照する必要がなくなるまで保持される。
【００２２】
図１の例では、動画像符号化装置の構成要素である符号化制御部１、タイル分割部２、タイル符号化開始部３、タイル符号化装置４、タイル符号化終了部７及び可変長符号多重化部８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成されていてもよい。
動画像符号化装置がコンピュータで構成される場合、フレーム間参照メモリ９をコンピュータのメモリ上に構成するとともに、符号化制御部１、タイル分割部２、タイル符号化開始部３、タイル符号化装置４、タイル符号化終了部７及び可変長符号多重化部８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図５はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
【００２３】
図２はこの発明の実施の形態１による動画像符号化装置のタイル符号化部５−ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。
図２において、タイル符号化制御部２１は符号化対象ブロックのサイズである符号化ブロックサイズを決定するとともに、選択可能な１以上のイントラ符号化モード及びインター符号化モードの中から、ブロック分割部２２から出力される符号化対象ブロックに対する符号化効率が最も高い符号化モードを決定する処理を実施する。
また、タイル符号化制御部２１は、例えば符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。
【００２４】
また、タイル符号化制御部２１は、図１の符号化制御部１から独立タイルフラグを取得して、その独立タイルフラグをイントラ予測部２４、動き補償予測部２５及びループフィルタ部３１に出力する処理を実施する。
さらに、タイル符号化制御部２１は変換・量子化部２７、逆量子化・逆変換部２８及び可変長符号化部３０に与える予測差分符号化パラメータを決定する処理を実施する。
また、決定した符号化モード、予測差分信号パラメータ、イントラ予測パラメータ、インター予測パラメータ、ループフィルタパラメータ（以降、これらをまとめて「符号化パラメータ」と称する）を可変長符号化部３０に出力する処理を実施する。
【００２５】
ブロック分割部２２は図３のタイル符号化開始部３により分配されたタイル（タイル部分画像データ）を入力すると、その部分画像をタイル符号化制御部２１により決定された符号化ブロックサイズのブロックに分割して、予測処理単位のブロックである符号化対象ブロックを出力する処理を実施する。
切換スイッチ２３はタイル符号化制御部２１により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部２２から出力された符号化対象ブロックをイントラ予測部２４に出力し、タイル符号化制御部２１により決定された符号化モードがインター符号化モードであれば、ブロック分割部２２から出力された符号化対象ブロックを動き補償予測部２５に出力する処理を実施する。
【００２６】
イントラ予測部２４はフレーム内参照メモリ６に格納されている局所復号画像を参照しながら、タイル符号化制御部２１により決定されたイントラ予測パラメータを用いて、切換スイッチ２３から出力された符号化対象ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
ただし、イントラ予測部２４は参照先の画素が他のタイルに属する画素である場合、タイル符号化制御部２１から出力された独立タイルフラグに応じて予測処理を切り替える。
即ち、イントラ予測部２４は独立タイルフラグがＯＦＦである場合、参照先となる他のタイルの局所復号画像が生成されて、その局所復号画像がフレーム内参照メモリ６に格納されるまで待機し、その局所復号画像がフレーム内参照メモリ６に格納されると、その局所復号画像における参照先の画素を用いてイントラ予測処理を実施する。一方、独立タイルフラグがＯＮである場合、他のタイルの局所復号画像における画素の参照が不要なイントラ予測処理を実施する。
【００２７】
動き補償予測部２５は切換スイッチ２３から出力された符号化対象ブロックとフレーム間参照メモリ９に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルとタイル符号化制御部２１により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理を実施してインター予測画像を生成する処理を実施する。
ただし、動き補償予測部２５はタイル符号化制御部２１から出力された独立タイルフラグに応じて予測処理を切り替える。
即ち、動き補償予測部２５は独立タイルフラグがＯＦＦである場合、カレントタイル外の画素を用いて予測画像を生成する（カレントタイルの外側を指す動きベクトルによるインター予測処理は、カレントタイルの内側を指す動きベクトルによるインター予測処理と同様の処理となる）。
一方、独立タイルフラグがＯＮである場合、カレントタイル外の画素を用いる予測画像の生成を禁止する。予測画像の生成において、カレントタイル外の画素を参照する必要がある場合、例えば、その位置の画素を、参照しているピクチャのカレントタイル内の画素を用いて補間することで生成する。
【００２８】
減算部２６はブロック分割部２２より出力された符号化対象ブロックから、イントラ予測部２４により生成されたイントラ予測画像、または、動き補償予測部２５により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部２７に出力する処理を実施する。
変換・量子化部２７はタイル符号化制御部２１により決定された予測差分符号化パラメータを参照して、減算部２６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数（以下、「量子化後係数」と称する）を逆量子化・逆変換部２８及び可変長符号化部３０に出力する処理を実施する。
【００２９】
逆量子化・逆変換部２８はタイル符号化制御部２１により決定された予測差分符号化パラメータを参照して、変換・量子化部２７から出力された量子化後係数を逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の変換係数に対する逆直交変換処理を実施して、減算部２６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部２９は逆量子化・逆変換部２８により算出された局所復号予測差分信号が示す差分画像と、イントラ予測部２４により生成されたイントラ予測画像、または、動き補償予測部２５により生成されたインター予測画像とを加算して、ブロック分割部２２から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。
【００３０】
可変長符号化部３０は変換・量子化部２７から出力された量子化後係数と、タイル符号化制御部２１から出力された符号化パラメータ（符号化モード、イントラ予測パラメータ、インター予測パラメータ、予測差分符号化パラメータ及びループフィルタパラメータ）と、動き補償予測部２５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、ビットストリームであるタイルビットデータを生成する処理を実施する。
【００３１】
ループフィルタ部３１はタイル符号化制御部２１から出力されたフィルタパラメータに基づいて、０種以上のフィルタリング処理を順次実施する。
ただし、ループフィルタ部３１はタイル符号化制御部２１から出力された独立タイルフラグに応じてフィルタリング処理を切り替える。
即ち、ループフィルタ部３１は独立タイルフラグがＯＦＦである場合、カレントタイル外の画素を参照してフィルタリング処理を実施する。一方、独立タイルフラグがＯＮである場合、カレントタイル外の画素の参照を禁止し、カレントタイル内の画素だけを参照してフィルタリング処理を実施する。
ここで、タイル境界におけるカレントタイル内の画素だけを参照するフィルタリング処理としては、境界の画素をパディングする手法や、フィルタ形状を変更する手法などが考えられる。この独立タイルフラグがＯＮである場合のタイル端の特別な処理は、動画像符号化装置と動画像復号装置で一致させる必要がある。
【００３２】
図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長符号分離部４１は図１の画像符号化装置の可変長符号多重化部８から出力されたビットストリームデータを受け取ると、そのビットストリームに多重化されている情報を分離することで、そのビットストリームに多重化されていたタイル分割制御情報をタイル分割部４２に出力するとともに、そのビットストリームに多重化されていたフレームビットデータ及び各タイルの独立タイルフラグをタイル復号開始部４３に出力する処理を実施する。また、各タイルの独立タイルフラグをタイル復号終了部４７に出力する処理を実施する。なお、可変長符号分離部４１は分離手段を構成している。
【００３３】
タイル分割部４２は可変長符号分離部４１から出力されたタイル分割制御情報にしたがって入力画像（符号化対象画像）のタイル分割状態を定め、分割されている各タイルの結合をタイル復号終了部４７に指示する処理を実施する。
タイル復号開始部４３は可変長符号分離部４１から出力されたフレームビットデータを各タイルのタイルビットデータに分離して、各タイルのタイルビットデータと可変長符号分離部４１から出力された各タイルの独立タイルフラグをタイル復号部４５−１〜４５−Ｎに分配する処理を実施する。
また、タイル復号開始部４３は、各タイルのタイルビットデータと独立タイルフラグをタイル復号部４５−１〜４５−Ｎに分配する際、外部から復号対象のタイルを示す復号タイル指定情報が入力された場合、その復号タイル指定情報が示す復号対象のタイルが全てのタイルであれば、独立タイルフラグのＯＮ／ＯＦＦに関わらず、全てのタイルのタイルビットデータをタイル復号開始部４５−１〜４５−Ｎに分配する。
一方、復号タイル指定情報が示す復号対象のタイルとして、一部のタイルを指定している場合、復号タイル指定情報が指定しているタイルの中で、独立タイルフラグがＯＮであるタイルのタイルビットデータだけをいずれかのタイル復号部４５に出力して、独立タイルフラグがＯＦＦであるタイルのタイルビットデータをタイル復号部４５に出力しないようにする。
なお、タイル復号開始部４３はデータ分配手段を構成している。
【００３４】
タイル復号装置４４はＮ個のタイル復号部４５−１〜４５−Ｎとフレーム内参照メモリ４６から構成されており、タイル復号開始部４３により分配された複数のタイルを復号する装置である。
タイル復号部４５−１〜４５−Ｎはタイル復号開始部４３により分配された独立タイルフラグにしたがって、タイル復号開始部４３により分配されたタイルビットデータからタイルを復号する処理を並列に実行し、各タイルの復号画像をタイル復号終了部４７に出力する処理を実施する。
即ち、タイル復号部４５−１〜４５−Ｎは可変長符号分離部４１により分離された各タイルのタイルビットデータのうち、タイル復号開始部４３により分配された独立タイルフラグがＯＮであるタイルのタイルビットデータがタイル復号開始部４３から分配された場合、そのタイルビットデータから当該タイルを復号する処理を他のタイルに関する情報を参照せずに独立に実行し、その独立タイルフラグがＯＦＦであるタイルのタイルビットデータがタイル復号開始部４３から分配された場合、そのタイルビットデータから当該タイルを復号する処理を他のタイルに関する情報を参照しながら実行する。なお、タイル復号部４５−１〜４５−Ｎはタイル復号手段を構成している。
フレーム内参照メモリ４６はタイル復号部４５−１〜４５−Ｎから出力されたカレントフレームの復号画像（ループフィルタ処理前の復号画像）、符号化パラメータや動きベクトルの情報などを格納する。これらの情報はカレントフレームのタイル復号処理を行うタイル復号部４５により適宜参照される。
【００３５】
この実施の形態１では、タイル復号部４５−１〜４５−Ｎが、タイルの予測画像を生成する際に、イントラ予測処理又はインター予測処理を実施することを想定しており、どちらの予測処理を実施する場合でも、独立タイルフラグがＯＮであれば、当該タイルの予測画像を生成する際に、他のタイルに関する情報を参照せずに独立に実行するものとする。
ただし、イントラ予測処理は、他のタイルに関する情報を参照しないで行うことが一般的であり、他のタイルに関する情報を参照しながら行うことはむしろ特殊である。
このため、イントラ予測処理を実施する場合には、独立タイルフラグのＯＮ／ＯＦＦに関わらず同様の予測処理を実施し、インター予測処理を実施する場合に限り、独立タイルフラグのＯＮ／ＯＦＦに対応する予測処理を実施するようにしてもよい。
【００３６】
タイル復号終了部４７はタイル復号部４５−１〜４５−Ｎから全てのタイルの復号画像が出力されるまで待機し、全てのタイルの復号画像が出力されると、タイル分割部４２の指示の下、全てのタイルの復号画像を結合してフレーム一枚分の復号画像を生成し、その復号画像を外部出力するとともに、その復号画像をフレーム間参照メモリ４８に出力する処理を実施する。
フレーム間参照メモリ４８はタイル復号終了部４７から出力されたフレーム一枚分の復号画像を格納する。この復号画像は、タイル復号部４５−１〜４５−Ｎが参照する必要がなくなるまで保持される。
【００３７】
図３の例では、動画像復号装置の構成要素である可変長符号分離部４１、タイル分割部４２、タイル復号開始部４３、タイル復号装置４４及びタイル復号終了部４７のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成されていてもよい。
動画像復号装置がコンピュータで構成される場合、フレーム間参照メモリ４８をコンピュータのメモリ上に構成するとともに、可変長符号分離部４１、タイル分割部４２、タイル復号開始部４３、タイル復号装置４４及びタイル復号終了部４７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図６はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
【００３８】
図４はこの発明の実施の形態１による動画像復号装置のタイル復号部４５−ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。
図４において、可変長符号復号部６１は図３のタイル復号開始部４３により分配されたタイルビットデータから、予測処理単位のブロックである復号対象ブロック（符号化対象ブロック）に係る量子化後係数、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ、動きベクトル（符号化モードがインター符号化モードである場合）及びループフィルタパラメータを可変長復号して出力する処理を実施する。
また、可変長符号復号部６１はタイル復号開始部４３により分配された独立タイルフラグを出力する処理を実施する。
【００３９】
切換スイッチ６２は可変長符号復号部６１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長符号復号部６１から出力されたイントラ予測パラメータ及び独立タイルフラグをイントラ予測部６３に出力し、可変長符号復号部６１により可変長復号された符号化モードがインター符号化モードであれば、可変長符号復号部６１から出力されたインター予測パラメータ、動きベクトル及び独立タイルフラグを動き補償部６４に出力する処理を実施する。
【００４０】
イントラ予測部６３はフレーム内参照メモリ４６に格納されている復号画像を参照しながら、切換スイッチ６２から出力されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
ただし、イントラ予測部６３は参照先の画素が他のタイルに属する画素である場合、切換スイッチ６２から出力された独立タイルフラグに応じて予測処理を切り替える。
即ち、イントラ予測部６３は独立タイルフラグがＯＦＦである場合、参照先となる他のタイルの復号画像が生成されて、その復号画像がフレーム内参照メモリ４６に格納されるまで待機し、その復号画像がフレーム内参照メモリ４６に格納されると、その復号画像における参照先の画素を用いてイントラ予測処理を実施する。一方、独立タイルフラグがＯＮである場合、他のタイルの復号画像における画素の参照が不要なイントラ予測処理を実施する。
【００４１】
動き補償部６４はフレーム間参照メモリ４８に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ６２から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理を実施してインター予測画像を生成する処理を実施する。
ただし、動き補償部６４は切換スイッチ６２から出力された独立タイルフラグに応じて予測処理を切り替える。
即ち、動き補償部６４は独立タイルフラグがＯＦＦである場合、カレントタイル外の画素を用いて予測画像を生成する（カレントタイルの外側を指す動きベクトルによるインター予測処理は、カレントタイルの内側を指す動きベクトルによるインター予測処理と同様の処理となる）。
一方、独立タイルフラグがＯＮである場合、カレントタイル外の画素を用いる予測画像の生成を禁止する。予測画像の生成において、カレントタイル外の画素を参照する必要がある場合、例えば、その位置の画素を、参照しているピクチャのカレントタイル内の画素を用いて補間することで生成する。画素の補間手法は、図２の動き補償予測部２５が用いている手法と同一の手法を用いる必要がある。
【００４２】
逆量子化・逆変換部６５は可変長符号復号部６１から出力された予測差分符号化パラメータを参照して、可変長符号復号部６１から出力された量子化後係数を逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の直交変換係数に対する逆直交変換処理を実施して、復号予測差分信号を算出する処理を実施する。
加算部６６は逆量子化・逆変換部６５により算出された復号予測差分信号が示す差分画像と、イントラ予測部６３により生成されたイントラ予測画像、または、動き補償部６４により生成されたインター予測画像とを加算して、復号画像を生成する処理を実施する。
【００４３】
ループフィルタ部６７は可変長符号復号部６１から出力されたフィルタパラメータに基づいて、０種以上のフィルタリング処理を順次実施する。
ただし、ループフィルタ部６７は可変長符号復号部６１から出力された独立タイルフラグに応じてフィルタリング処理を切り替える。
即ち、ループフィルタ部６７は独立タイルフラグがＯＦＦである場合、カレントタイル外の画素を参照してフィルタリング処理を実施する。一方、独立タイルフラグがＯＮである場合、カレントタイル外の画素の参照を禁止し、カレントタイル内の画素だけを参照してフィルタリング処理を実施する。
タイル境界におけるカレントタイル内の画素だけを参照するフィルタリング処理は、図２のループフィルタ部３１が用いている手法と同一の手法を用いる必要がある。
【００４４】
次に動作について説明する。
図１の動画像符号化装置は、入力画像をタイルと呼ばれる矩形領域に分割し、かつ、指定のタイルと他のタイルとの依存関係を完全に断ち切ることで、動画像復号装置で指定のタイルを独立に復号することができるような符号化データを作成することを特徴としている。
同時に、復号処理において、ユーザが指定しているタイルだけを復号することが可能であることを特徴としている。
【００４５】
映像信号の復号処理は、一般に入力映像の空間・時間・輝度レベル解像度に比例して処理量が増加する。
例えば、撮像装置、記憶装置及び伝送装置などの進化に伴って、映像信号の時間・空間・輝度レベル解像度が増加する傾向にある。このため、動画像復号装置に求められる演算リソースも比例関係的に増加していくことが考えられる。
一方で、動画像コンテンツを復号する装置も多様化しており、高い演算性能を持つ専用機やハイエンドＰＣの他に、演算性能が低い携帯端末などが存在している。映像の高解像度化に伴う必要な演算リソースの増大は、特に、演算性能が低い携帯端末などでの復号処理において問題になる。
【００４６】
ここで、高解像度の撮像機器により撮影されたコンテンツのうち、ユーザが必要とする情報が画面内の一部の領域（例えば、領域Ａ）に限られ、多量の演算リソースを用いて、画面全体を復号する必要がない状況が生まれることがある。
このような状況に対応する解の一つとして、動画像を符号化する際に、入力画像の領域Ａを、それ以外の領域に依存しないように符号化する（他の領域を参照しないで符号化する）ことで、動画像を復号する際に、領域Ａだけを独立に復号できるような符号化データを構成する手法が考えられる。この手法を採用すれば、動画像を復号する際、領域Ａに対応する符号化データのみを処理することで、領域Ａだけを正常に復号することができるとともに、画面全体を復号するよりも高速に復号することができる。
【００４７】
ここで、画像符号化処理では、一般的な画像は、近接する領域と画像特徴に高い相関があることを利用して圧縮効率を高めている。よって、独立に復号したい領域が特定の限られた領域であれば、その他の領域は、通常通り、他の領域を参照しながら符号化することが望ましい。
上記の例で言えば、領域Ａの符号化では他の領域に依存しないが、その他の領域の符号化では領域Ａを参照できるように構成することが望ましい。このように構成することで、領域Ａと、その他の領域を個別に符号化するよりも全体の情報量を削減することができる。
この実施の形態１では、このような画像の一部領域のみの復号処理に求められる機能を実現するために、画像をタイルと呼ばれる矩形領域に分割し、タイル毎に、他のタイルに依存するかを示すフラグを追加し、そのフラグに基づいて符号化・復号処理において、他のタイルを参照するか否かを切り替えられる構成をとっている。
【００４８】
図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の諧調は、８ビットでもよいし、１０ビットや１２ビットなどの諧調でもよい。
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００４９】
最初に、動画像符号化装置の処理内容を説明する。
符号化制御部１は、入力画像のタイル分割状態を制御するタイル分割制御情報をタイル分割部２及び可変長符号多重化部８に出力する。タイル分割状態は、入力画像シーケンスの全てのフレームで同じ分割であるか、または、特定の範囲の連続するフレームにおいて同じでなければならない。この実施の形態１では、少なくとも、あるランダムアクセスポイントのフレームから、次のランダムアクセスポイントのフレームの直前までは同じタイル分割状態である必要がある。
また、符号化制御部１は、入力画像から分割されるタイル毎に、他のタイルに関する情報を参照しながら符号化処理を行うか否かを示す独立タイルフラグを設定して、その独立タイルフラグをタイル符号化装置４及び可変長符号多重化部８に出力する（図５のステップＳＴ１）。なお、各タイルの独立タイルフラグの値は、少なくとも、あるランダムアクセスポイントのフレームから、次のランダムアクセスポイントのフレームの直前までは、連続するフレームで同じ値でなければならない。
この実施の形態１では、説明の便宜上、他のタイルに関する情報を参照しないで符号化処理を行う場合、独立タイルフラグ＝ＯＮ、他のタイルに関する情報を参照しながら符号化処理を行う場合、独立タイルフラグ＝ＯＦＦに設定されるものとする。
【００５０】
タイル分割部２は、符号化制御部１からタイル分割制御情報を受けると、そのタイル分割制御情報にしたがって入力画像のタイル分割状態を定め、入力画像のタイル分割をタイル符号化開始部３に指示する。
タイル符号化開始部３は、タイル分割部２の指示の下、入力画像を複数のタイルに分割し、分割後のタイルを複数のタイル符号化部５に分配する。
ここで、タイル分割を制御する情報（タイル分割制御情報）は、様々な表現が考えられるが、ここでは、例えば、タイルを最大サイズのＣＵ（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ：ＣＴＵ）を最小単位として、ＣＴＵをいくつ含むかという情報によってタイル分割を指定することを考える。
【００５１】
図９は入力画像のＣＴＵ分割及びタイル分割の一例を示す説明図である。
入力画像は、図９に示すように、画像の左上を始点として格子状に並ぶＣＴＵに分割される。入力画像の高さ及び幅と、ＣＴＵの一辺の長さとを指定すると、この分割は一意に定まる。
ここで、タイル分割は、ＣＴＵを最小単位として行われるため、各タイルの幅及び高さは、横及び縦の辺に含まれるＣＴＵの数で表すことができる。
よって、タイル分割制御情報として、２つの整数の系列であるColumnWidthArray[]，RowHeightArray[]を用いることができる。
ColumnWidthArray[]は、横方向に並ぶタイルの幅をＣＴＵの数で表現した値を、右から順に並べたものである。
一方、RowHeightArray[]は、上下方向に並ぶタイルの高さをＣＴＵの数で表現した値を、上から順に並べたものである。
これにより、例えば、ColumnWidthArray[]=｛4，3，6，4，6｝、RowHeightArray[]=｛3，3，4，5｝のように指定した場合には、図９のようにタイル分割される。
【００５２】
また、入力画像のＣＴＵ分割は、画像サイズとＣＴＵの一辺の長さから一意に決定されるため、最も右の列の幅や、最も下の行の高さは指定しなくとも、その他の行や列の情報から一意に定めることが可能となる。
よって、最も右の列の幅や、最も下の行の高さを示す情報は省略が可能であり、その場合、ColumnWidthArray[]=｛4，3，6，4｝、RowHeightArray[]=｛3，3，4｝のように指定すればよい。
【００５３】
タイル符号化部５−１〜５−Ｎは、タイル符号化開始部３から分割後のタイル（タイル部分画像）を受けると、符号化制御部１から出力された当該タイルの独立タイルフラグにしたがって、そのタイルの符号化処理を並列に実行し、各タイルの符号化データであるタイルビットデータ及びタイル局所復号画像をタイル符号化終了部７に出力する（ステップＳＴ２）。
ここでは、タイル符号化部５−１〜５−Ｎが各タイルの符号化処理を並列に実行するものとしているが、各タイルの符号化処理をシリアルに実行するようにしてもよい。
タイル符号化部５−１〜５−Ｎは、全てのタイルの符号化が完了するまで、符号化処理を繰り返し実施する（ステップＳＴ３，ＳＴ４）。
タイル符号化部５−１〜５−Ｎの処理内容の詳細は後述する。
【００５４】
タイル符号化終了部７は、タイル符号化部５−１〜５−Ｎから全てのタイルのタイルビットデータ及びタイル局所復号画像が出力されるまで待機し、フレーム一枚分の局所復号画像をフレーム間参照メモリ９に出力する。
また、タイル符号化終了部７は、各タイルのタイルビットデータを特定の順序で多重化して、多重化後のタイルビットデータであるフレームビットデータを可変長符号多重化部９に格納する。
可変長符号多重化部８は、タイル符号化終了部７からフレームビットデータを受けると、そのフレームビットデータと、符号化制御部１から出力されたタイル分割制御情報及び各タイルの独立タイルフラグとを多重化してビットストリームを生成し、そのビットストリームを出力する（ステップＳＴ５）。なお、タイル分割状態や各タイルの独立タイルフラグの値は、前述の通り、次のランダムアクセスポイントが来るまで値が変わらないため、それぞれランダムアクセスポイントにおいてのみ多重化すればよい。もちろん、より高い頻度で多重化してもよいし、値が変わらない限り、より低い頻度で多重化してもよい。
【００５５】
ここで、タイル符号化部５−ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容を具体的に説明する。
図７はタイル符号化部５−ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容をフローチャートである。
タイル符号化部５−ｎのタイル符号化制御部２１は、図１の符号化制御部１から独立タイルフラグを取得して、その独立タイルフラグをイントラ予測部２４、動き補償予測部２５及びループフィルタ部３１に出力する。
【００５６】
タイル符号化制御部２１は、所定の最大符号化ブロック（ＣＴＵ）サイズの画像領域毎に、所定の分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化対象ブロックに分割して、各符号化対象ブロックに対する符号化モードを決定する（ステップＳＴ３１）。
ここで、図１０は最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
図１０において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ０，Ｍ０）のサイズを有する符号化対象ブロックである。
ＣＴＵサイズのブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
深さｎにおいては、符号化対象ブロックはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは、同じであってもよいし、異なっていてもよいが、図１０では、Ｌｎ＝Ｍｎのケースを示している。
【００５７】
以降、タイル符号化制御部２１により決定される符号化ブロックサイズは、符号化対象ブロックの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
４分木分割を行うため、常に、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌｎ／２，Ｍｎ／２）になる。
以降、第ｎ階層の符号化対象ブロックをＢｎで表し、符号化対象ブロックＢｎで選択可能な符号化モードをｍ（Ｂｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、すべての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
【００５８】
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、タイル符号化制御部２１は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、符号化対象ブロックＢｎに対する符号化効率が最も高い符号化モードを選択する。
さらに、符号化対象ブロックＢｎは、図１１に示すように、ブロック分割部２２によって、１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化対象ブロックＢｎに属するパーティションをＰｉｎ（ｉは、第ｎ階層におけるパーティション番号）と表記する。
符号化対象ブロックＢｎのパーティション分割が、どのようになされているかは、符号化モードｍ（Ｂｎ）の中に情報として含まれる。
【００５９】
パーティションＰｉｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、符号化対象ブロックＢｎないしパーティションＰｉｎ毎に、予測パラメータが選択される。
タイル符号化制御部２１は、最大符号化ブロックに対して、例えば、図１１に示すようなブロック分割状態を生成して、符号化対象ブロックを特定する。
図１１（ａ）の斜線部分は、分割後のパーティションの分布を示しており、図１１（ｂ）は階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図１１（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化対象ブロック）である。
【００６０】
切換スイッチ２３は、タイル符号化制御部２１により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、ブロック分割部２２から出力された符号化対象ブロックＢｎをイントラ予測部２４に出力する（ステップＳＴ３２）。
一方、タイル符号化制御部２１により決定された符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、ブロック分割部２２から出力された符号化対象ブロックＢｎを動き補償予測部２５に出力する（ステップＳＴ３２）。
【００６１】
イントラ予測部２４は、タイル符号化制御部２１により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化対象ブロックＢｎを受けると、フレーム内参照メモリ６に格納されているイントラ参照画像（ループフィルタ処理を実施する前のカレントフレームの局所復号画像）を参照しながら、タイル符号化制御部２１により決定されたイントラ予測パラメータを用いて、その符号化対象ブロックＢｎ内の各パーティションＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ３３）。
ただし、イントラ予測部２４は、参照先の画素が他のタイルに属する画素である場合、タイル符号化制御部２１から出力された独立タイルフラグに応じて予測処理を切り替えるようにする。
【００６２】
即ち、イントラ予測部２４は、独立タイルフラグがＯＦＦである場合、予測画像を生成する上で、参照画像の制限がないので、参照先となる他のタイルの局所復号画像が生成されて、その局所復号画像がフレーム内参照メモリ６に格納されるまで待機し、その局所復号画像がフレーム内参照メモリ６に格納されると、その局所復号画像における参照先の画素を用いてイントラ予測処理を実施する。
一方、独立タイルフラグがＯＮである場合、他のタイルの局所復号画像における画素の参照が不要なイントラ予測処理を実施する。
例えば、タイル端におけるイントラ予測処理では、参照したい隣接の画素が、隣のタイル（他のタイル）の局所復号画像内の画素である場合があるが、独立タイルフラグがＯＮであれば、当該画素を参照することができないので、イントラ予測処理を別のイントラ予測処理に切り替えるようにすればよい。別のイントラ予測処理としては、例えば、隣接画素の参照が不要な画面端でのイントラ予測処理や、その他の隣接画素の参照が不要なイントラ予測処理などが考えられる。
なお、図４のタイル復号部４５−ｎが、イントラ予測画像ＰＩＮＴＲＡｉｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰＩＮＴＲＡｉｎの生成に用いられたイントラ予測パラメータは、タイル符号化制御部２１から可変長符号化部３０に出力されて、タイルビットデータに多重化される。
【００６３】
動き補償予測部２５は、タイル符号化制御部２１により決定された符号化モードｍ（Ｂｎ）がインター符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、切換スイッチ２３から符号化対象ブロックＢｎを受けると、その符号化対象ブロックＢｎ内の各パーティションＰｉｎと、フレーム間参照メモリ９に格納されている動き補償予測参照画像（ループフィルタ処理を実施した後の他のフレームの局所復号画像）とを比較して動きベクトルを探索し、その動きベクトルとタイル符号化制御部２１により決定されたインター予測パラメータを用いて、その符号化対象ブロックＢｎ内の各パーティションＰｉｎに対するインター予測処理を実施して、インター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ３４）。
ただし、動き補償予測部２５は、タイル符号化制御部２１から出力された独立タイルフラグに応じて予測処理を切り替えるようにする。
【００６４】
即ち、動き補償予測部２５は、独立タイルフラグがＯＦＦである場合、予測画像を生成する上で、参照画像の制限がないので、動きベクトルが指し示す画素がカレントタイル外の画素であっても、その画素を用いて予測画像を生成する。
一方、独立タイルフラグがＯＮである場合、予測画像を生成する上で、参照画像の制限があるため（カレントタイル外の画素を用いる予測画像の生成が禁止されている）、図１２に示すように、動きベクトルがカレントタイル外の画素を指し示していても、その画素を参照しないようにする。
そこで、動き補償予測部２５は、動きベクトルがカレントタイル外の画素を指し示している場合、カレントタイル内の画素を用いて、画素の補間処理を実施することで、動きベクトルが指し示している画素の値を算出するようにする。
画素補間処理としては、例えば、カレントタイル境界の画素を引き伸ばすパディング処理などが考えられる。動画像符号化装置と動画像復号装置では、同等の画素補間処理を実子する必要がある。
なお、図４のタイル復号部４５−ｎが、インター予測画像ＰＩＮＴＥＲｉｎと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰＩＮＴＥＲｉｎの生成に用いられたインター予測パラメータは、タイル符号化制御部２１から可変長符号化部３０に出力されて、タイルビットデータに多重化される。
【００６５】
減算部２６は、ブロック分割部２２から符号化対象ブロックＢｎを受けると、その符号化対象ブロックＢｎ内のパーティションＰｉｎから、イントラ予測部２４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部２５により生成されたインター予測画像ＰＩＮＴＥＲｉｎを減算して、その減算結果である予測差分信号を変換・量子化部２７に出力する（ステップＳＴ３５）。
【００６６】
変換・量子化部２７は、減算部２６から予測差分信号を受けると、タイル符号化制御部２１により決定された予測差分符号化パラメータを参照して、その予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、その変換係数を算出する。
また、変換・量子化部２７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である量子化後係数を逆量子化・逆変換部２８及び可変長符号化部３０に出力する（ステップＳＴ３６）。
【００６７】
逆量子化・逆変換部２８は、変換・量子化部２７から量子化後係数を受けると、タイル符号化制御部２１により決定された予測差分符号化パラメータを参照して、その量子化後係数を逆量子化する。
また、逆量子化・逆変換部２８は、その予測差分符号化パラメータを参照して、逆量子化後の変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部２６から出力された予測差分信号に相当する局所復号予測差分信号を算出する（ステップＳＴ３７）。
【００６８】
加算部２９は、逆量子化・逆変換部２８から局所復号予測差分信号を受けると、その局所復号予測差分信号が示す差分画像と、イントラ予測部２４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部２５により生成されたインター予測画像ＰＩＮＴＥＲｉｎとを加算して、局所復号パーティション画像、あるいは、その局所復号パーティション画像の集まりとして、ブロック分割部２２から出力された符号化対象ブロックＢｎに相当する局所復号画像を算出する（ステップＳＴ３８）。
なお、加算部２９は、その局所復号画像をフレーム内参照メモリ６に格納する。この局所復号画像が、カレントタイル及びカレントタイルと隣接するタイルにおけるイントラ予測処理や、ループフィルタ処理の参照画像信号になる。
【００６９】
ループフィルタ部３１は、全ての符号化対象ブロックＢｎに対するステップＳＴ３２〜ＳＴ３８の処理が完了すると（ステップＳＴ３９，ＳＴ４０）、フレーム内参照メモリ６に格納されているカレントタイルの局所復号画像（ループフィルタ処理前の局所復号画像）及び他タイルの局所復号画像（ループフィルタ処理前の局所復号画像）を用いて、タイル符号化制御部２１から出力されたループフィルタパラメータに基づき、カレントタイルに対して、０種以上のループフィルタ処理を実施し、ループフィルタ処理後の局所復号画像をタイル符号化終了部７に出力する（ステップＳＴ４１）。
ただし、ループフィルタ部３１は、タイル符号化制御部２１から出力された独立タイルフラグに応じてフィルタリング処理を切り替えるようにする。
【００７０】
即ち、ループフィルタ部３１は、独立タイルフラグがＯＦＦである場合、ループフィルタ処理を実施する上で、参照画像の制限がないので、カレントタイル外の画素についても参照してフィルタリング処理を実施する。
一方、独立タイルフラグがＯＮである場合、ループフィルタ処理を実施する上で、参照画像の制限があるため（カレントタイル外の画素の参照が禁止されている）、カレントタイル内の画素だけを参照してフィルタリング処理を実施する。
例えば、タイル端のフィルタリング処理などにおいて、カレントタイル外の画素の参照が必要な場合には、カレントタイル境界の画素（カレントタイル内の画素）を引き伸ばすパディング処理などの画素補間処理を実施して、参照したいカレントタイル外の画素の値を算出するようにすれば、カレントタイル内の画素だけを参照してフィルタリング処理を実施することができる。
あるいは、ループフィルタ部３１のフィルタ形状を変更することで、カレントタイル外の画素の参照を不要にすれば、カレントタイル内の画素だけを参照してフィルタリング処理を実施することができる。
独立タイルフラグがＯＮである場合のタイル端の特別な処理は、動画像符号化装置と動画像復号装置で一致させる必要がある。
【００７１】
可変長符号化部３０は、ループフィルタ処理が完了すると、変換・量子化部２７から出力された量子化後係数と、タイル符号化制御部２１から出力された符号化モードｍ（Ｂｎ）、予測差分符号化パラメータ及びループフィルタパラメータと、タイル符号化制御部２１から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部２５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すタイルビットデータを生成する（ステップＳＴ４２）。
【００７２】
可変長符号化の手法として、例えば、コンテキスト適応型算術符号化などを用いる場合、可変長符号化部３０の内部の状態を符号化の進行に合わせて更新していくが、独立タイルフラグがＯＮである場合、この内部状態の初期値は、所定の固定値、もしくは、図１のタイル符号化開始部３から出力される値を使用し、タイル間での状態の引継ぎを行わないようにする。
また、符号化パラメータ（符号化モードｍ（Ｂｎ）、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、ループフィルタパラメータ）を符号化する際には、フレーム内参照メモリ６に格納されている隣接ブロックの符号化パラメータや動きベクトルの情報及びフレーム間参照メモリ９に格納されている時間的に近接しているフレームの同位置ブロックの符号化パラメータや動きベクトルの情報を参照して、パラメータ値を予測する処理を実施する。
この予測処理の際、独立タイルフラグがＯＮである場合、カレントタイルと異なる位置のタイルに属するブロックの符号化パラメータ・動きベクトルの参照は行わず、参照が不要な特定の予測処理を実施する。
【００７３】
タイル符号化部５−ｎの符号化処理において、独立タイルフラグがＯＮである場合、上記のイントラ予測処理、動き補償予測処理及び可変長符号処理を含む如何なる処理においても、カレントタイルと異なるタイルに属するブロックの符号化パラメータ、局所復号画像及び動き補償予測参照画像の参照を行わないようにする。
タイル端での参照処理は、何らかの参照が不要な処理に置き換えられるようにする。どのような処理に置き換えられるかは、動画像符号化装置と動画像復号装置で一致させる必要があるが、動画像符号化装置と動画像復号装置で固定的に同じ処理を行ってもよいし、処理内容を示す信号をシグナリングするようにしてもよい。
以上より、独立タイルフラグがＯＮになっているタイル符号化部５−ｎの処理は、そのタイルで独立しており、独立に符号化処理が可能である。
【００７４】
次に、動画像復号装置の処理内容を説明する。
可変長符号分離部４１は、図１の画像符号化装置の可変長符号多重化部８から出力されたビットストリームデータを受け取ると、そのビットストリームに多重化されている情報を分離することで、そのビットストリームに多重化されていたタイル分割制御情報をタイル分割部４２に出力するとともに、そのビットストリームに多重化されていたフレームビットデータ及び各タイルの独立タイルフラグをタイル復号開始部４３に出力する。また、各タイルの独立タイルフラグをタイル復号終了部４７に出力する（図６のステップＳＴ２１）。
タイル分割部４２は、可変長符号分離部４１からタイル分割制御情報を受けると、図１のタイル分割部２と同様の方法で、そのタイル分割制御情報にしたがって入力画像のタイル分割状態を定め、分割されている各タイルの結合をタイル復号終了部４７に指示する（ステップＳＴ２２）。
【００７５】
タイル復号開始部４３は、可変長符号分離部４１からフレームビットデータと各タイルの独立タイルフラグを受けると、そのフレームビットデータを各タイルのタイルビットデータに分離して、各タイルのタイルビットデータと独立タイルフラグをタイル復号部４５−１〜４５−Ｎに分配する。
タイル復号開始部４３は、各タイルのタイルビットデータと独立タイルフラグをタイル復号部４５−１〜４５−Ｎに分配する際、外部から復号対象のタイルを示す復号タイル指定情報が入力された場合、その復号タイル指定情報が示す復号対象のタイルが全てのタイルであれば、独立タイルフラグのＯＮ／ＯＦＦに関わらず、全てのタイルのタイルビットデータを４５−１〜４５−Ｎに分配する（ステップＳＴ２３）。
一方、復号タイル指定情報が示す復号対象のタイルとして、一部のタイルを指定している場合、復号タイル指定情報が指定しているタイルの中で、独立タイルフラグがＯＮであるタイルのタイルビットデータだけをいずれかのタイル復号部４５に出力する（ステップＳＴ２３）。
復号タイル指定情報が指定しているタイルの中で、独立タイルフラグがＯＦＦであるタイルが含まれている場合、そのタイルのタイルビットデータをタイル復号部４５に出力せずに、そのタイルの復号処理をスキップするようにする。あるいは、所定のエラー処理を実施するようにする（ステップＳＴ２３）。
【００７６】
タイル復号部４５−１〜４５−Ｎは、タイル復号開始部４３からタイルビットデータと独立タイルフラグを受けると、その独立タイルフラグにしたがって、そのタイルビットデータからタイルを復号する処理を並列に実行し、各タイルの復号画像をタイル復号終了部４７に出力する（ステップＳＴ２４）。
タイル復号部４５−１〜４５−Ｎの処理内容の詳細は後述するが、可変長符号分離部４１により分離された各タイルのタイルビットデータのうち、独立タイルフラグがＯＮであるタイルのタイルビットデータがタイル復号開始部４３から分配された場合、そのタイルビットデータから当該タイルを復号する処理を他のタイルに関する情報を参照せずに独立に実行する。
一方、その独立タイルフラグがＯＦＦであるタイルのタイルビットデータがタイル復号開始部４３から分配された場合、そのタイルビットデータから当該タイルを復号する処理を他のタイルに関する情報を参照しながら実行する。
【００７７】
図３の動画像復号装置では、フレーム間参照メモリ４８やフレーム内参照メモリ４６のサイズは、復号タイルに指定されている画像領域の分のみ用意すればよく、復号指定タイルの面積が画像全体の面積に対して小さい場合、復号に要するメモリリソースを低減することができる。
ここでは、タイル復号部４５−１〜４５−Ｎが各タイルの復号処理を並列に実行するものとしているが、各タイルの復号処理をシリアルに実行するようにしてもよい。
タイル復号部４５−１〜４５−Ｎは、復号対象である全てのタイルの復号が完了するまで、復号処理を繰り返し実施する（ステップＳＴ２５，ＳＴ２６）。
【００７８】
タイル復号終了部４７は、復号タイル指定情報が示す復号対象のタイルが全てのタイルであれば、タイル復号部４５−１〜４５−Ｎから全てのタイルの復号画像が出力されるまで待機し、全てのタイルの復号画像が出力されると、タイル分割部４２の指示の下、全てのタイルの復号画像を結合してフレーム一枚分の復号画像を生成し、その復号画像を外部出力するとともに、その復号画像をフレーム間参照メモリ４８に格納する。
一方、復号タイル指定情報が示す復号対象のタイルが一部のタイルである場合、復号タイル指定情報が指定しているタイルであって、かつ、独立タイルフラグがＯＮであるタイルの復号画像の全てが出力されるまで待機し、それらのタイルの復号画像が出力されると、タイル分割部４２の指示の下、それらのタイルの復号画像を結合して指定領域復号画像を生成し、その指定領域復号画像を外部出力するとともに、その指定領域復号画像をフレーム間参照メモリ４８に格納する。
【００７９】
ここで、タイル復号部４５−ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容を具体的に説明する。
図８はタイル復号部４５−ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容をフローチャートである。
可変長符号復号部６１は、図３のタイル復号開始部４３からタイルビットデータを受けると、図２のタイル符号化制御部２１と同様の方法で、最大符号化ブロックサイズ及び分割階層数の上限を決定する。タイルビットデータの中に、最大符号化ブロックサイズ及び分割階層数の上限を示す情報が多重化されている場合には、その情報を復号することで、最大符号化ブロックサイズ及び分割階層数の上限を決定するようにしてもよい。
次に、可変長符号復号部６１は、タイルビットデータに多重化されている最大符号化ブロックに割り当てられている符号化モードを復号し、その符号化モードに含まれている最大符号化ブロックの分割状態を示す情報（タイル分割制御情報）を復号する。
【００８０】
可変長符号復号部６１は、最大符号化ブロックの分割状態を示す情報を復号すると、最大符号化ブロックの分割状態に基づいて、階層的に分割されている復号対象ブロック（図２のタイル符号化部５−ｎの「符号化対象ブロック」に相当するブロック）を特定する（ステップＳＴ５１）。
また、可変長符号復号部６１は、復号対象ブロックの分割状態に基づいて、その復号対象ブロックを更に１つないし複数の予測処理単位に分割し、符号化対象ブロック単位又は予測処理単位に割り当てられている符号化パラメータを復号する（ステップＳＴ５１）。
可変長符号復号部６１は、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モード（符号化モードは符号化パラメータに含まれている）がイントラ符号化モードである場合、その復号対象ブロックに含まれている１つ以上のパーティション毎にイントラ予測パラメータを復号する。
一方、復号対象ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号対象ブロック毎、あるいは、その復号対象ブロックに含まれている１つ以上のパーティション毎にインター予測パラメータを復号する（ステップＳＴ５１）。
【００８１】
さらに、可変長符号復号部６１は、符号化パラメータに含まれている予測差分符号化パラメータ内の変換ブロックサイズの情報に基づいて、予測処理単位となるパーティションを変換処理単位となる１つないし複数のパーティションに分割し、変換処理単位となるパーティション毎に量子化後係数を復号する（ステップＳＴ５１）。
可変長符号復号部６１は、タイルビットデータに多重化されているフィルタパラメータを復号して、そのフィルタパラメータをループフィルタ部６７に出力する（ステップＳＴ５１）。
また、可変長符号復号部６１は、タイル復号開始部４３により分配された独立タイルフラグを切換スイッチ６２及びループフィルタ部６７に出力する。
【００８２】
なお、タイル復号開始部４３から出力されたタイルビットデータがコンテキスト適応型算術符号など、過去のブロックの符号化結果によって内部状態が変化する符号化方式を用いて符号化されている場合、可変長符号復号部６１の内部状態の初期値は、図２の可変長符号化部３０と同様の値を使用する。よって、カレントタイルの独立タイルフラグがＯＮである場合には、他のタイルからの状態の引継ぎが行われない。
また、符号化パラメータを復号する際に、隣接ブロックや、時間的に近接しているフレームの同位置ブロックの符号化パラメータを参照して、パラメータ値を予測する処理を実施するが、独立タイルフラグがＯＮである場合、図１２に示すように、カレントタイルと異なる位置のタイルに属するブロックのパラメータ参照を行わず、パラメータ参照が不要な特定の予測処理を実施する（図２の可変長符号化部３０と同様の予測処理を実施する）。
【００８３】
切換スイッチ６２は、可変長符号復号部６１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、可変長符号復号部６１により可変長復号されたイントラ予測パラメータ及び独立タイルフラグをイントラ予測部６３に出力する（ステップＳＴ５２）。
一方、可変長符号復号部６１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、可変長符号復号部６１により可変長復号されたインター予測パラメータ、動きベクトル及び独立タイルフラグを動き補償部６４に出力する（ステップＳＴ５２）。
【００８４】
イントラ予測部６３は、可変長符号復号部６４により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、切換スイッチ６２からイントラ予測パラメータ及び独立タイルフラグを受けると、図２のイントラ予測部２４と同様の手順で、フレーム内参照メモリ４６に格納されているイントラ参照画像（ループフィルタ処理を実施する前のカレントフレームの復号画像）を参照しながら、そのイントラ予測パラメータを用いて、復号対象ブロックＢｎ内の各パーティションＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ５３）。
ただし、イントラ予測部６３は、参照先の画素が他のタイルに属する画素である場合、切換スイッチ６２から出力された独立タイルフラグに応じて予測処理を切り替えるようにする。
【００８５】
即ち、イントラ予測部６３は、独立タイルフラグがＯＦＦである場合、図２のイントラ予測部２４と同様に、参照先となる他のタイルの復号画像が生成されて、その復号画像がフレーム内参照メモリ４６に格納されるまで待機し、その復号画像がフレーム内参照メモリ４６に格納されると、その復号画像における参照先の画素を用いてイントラ予測処理を実施する。
一方、独立タイルフラグがＯＮである場合、図２のイントラ予測部２４と同様に、他のタイルの復号画像における画素の参照が不要なイントラ予測処理を実施する。
例えば、タイル端におけるイントラ予測処理では、参照したい隣接の画素が、隣のタイル（他のタイル）の復号画像内の画素である場合があるが、独立タイルフラグがＯＮであれば、当該画素を参照することができないので、イントラ予測処理を別のイントラ予測処理に切り替えるようにすればよい。別のイントラ予測処理としては、例えば、隣接画素の参照が不要な画面端でのイントラ予測処理や、その他の隣接画素の参照が不要なイントラ予測処理などが考えられる。
【００８６】
動き補償部６４は、可変長符号復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、切換スイッチ６２からインター予測パラメータ、動きベクトル及び独立タイルフラグを受けると、フレーム間参照メモリ４８に格納されているフィルタリング処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いて、復号対象ブロックＢｎ又はパーティションＰｉｎに対するインター予測処理を実施してインター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ５４）。
ただし、動き補償部６４は、復号対象ブロックＢｎ内の全てのパーティションＰｉｎに対して、共通のインター予測モードと共通の参照画像指示インデックスが決定されている場合、その参照画像指示インデックスが示す全てのパーティションＰｉｎで共通の参照画像と、パーティションＰｉｎ毎の動きベクトルとを用いて、当該パーティションＰｉｎに対するイントラ予測処理を実施してイントラ予測画像ＰＩＮＴＥＲｉｎを生成する。
【００８７】
なお、動き補償部６４は、上記のインター予測処理を実施する際、図２の動き補償予測部２５と同様に、切換スイッチ６２から出力された独立タイルフラグに応じて予測処理を切り替えるようにする。
即ち、動き補償部６４は、独立タイルフラグがＯＦＦである場合、予測画像を生成する上で、参照画像の制限がないので、動きベクトルが指し示す画素がカレントタイル外の画素であっても、その画素を用いて予測画像を生成するようにする。
一方、独立タイルフラグがＯＮである場合、予測画像を生成する上で、参照画像の制限があるため（カレントタイル外の画素を用いる予測画像の生成が禁止されている）、図１２に示すように、動きベクトルがカレントタイル外の画素を指し示していても、その画素を参照しないようにする。
そこで、動き補償部６４は、動きベクトルがカレントタイル外の画素を指し示している場合、カレントタイル内の画素を用いて、画素の補間処理を実施することで、動きベクトルが指し示している画素の値を算出するようにする。
画素補間処理としては、例えば、カレントタイル境界の画素を引き伸ばすパディング処理などが考えられる。
【００８８】
逆量子化・逆変換部６５は、可変長符号復号部６１から量子化後係数及び予測差分符号化パラメータを受けると、図２の逆量子化・逆変換部２８と同様の手順で、その予測差分符号化パラメータを参照して、その量子化後係数を逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の変換係数に対する逆直交変換処理を実施して、図２の減算部２６から出力された予測差分信号に相当する復号予測差分信号を算出する（ステップＳＴ５５）。
【００８９】
加算部６６は、逆量子化・逆変換部６５により算出された復号予測差分信号が示す差分画像と、イントラ予測部６３により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償部６４により生成されたインター予測画像ＰＩＮＴＥＲｉｎとを加算して、復号対象ブロック内に含まれる１つないし複数の復号パーティション画像の集まりとして、復号画像をフレーム内参照メモリ４６に格納する（ステップＳＴ５６）。
この復号画像が、イントラ予測処理及びループフィルタ処理の参照元画像信号になる。
【００９０】
ループフィルタ部６７は、全ての符号化対象ブロックＢｎに対するステップＳＴ５１〜ＳＴ５６の処理が完了すると（ステップＳＴ５７，ＳＴ５８）、フレーム内参照メモリ４６に格納されているカレントタイル及び他のタイルの復号画像（ループフィルタ処理前の復号画像）を用いて、可変長符号復号部６１から出力されたフィルタパラメータに基づき、カレントタイルに対して、０種以上のループフィルタ処理を実施し、ループフィルタ処理後の復号画像をフレーム間参照メモリ４８及びタイル復号終了部４７に出力する（ステップＳＴ５９）。
ただし、ループフィルタ部３１は、図２のループフィルタ部３１と同様に、可変長符号復号部６１から出力された独立タイルフラグに応じてフィルタリング処理を切り替えるようにする。
【００９１】
即ち、ループフィルタ部６７は、独立タイルフラグがＯＦＦである場合、ループフィルタ処理を実施する上で、参照画像の制限がないので、カレントタイル外の画素についても参照してフィルタリング処理を実施する。
一方、独立タイルフラグがＯＮである場合、ループフィルタ処理を実施する上で、参照画像の制限があるため（カレントタイル外の画素の参照が禁止されている）、カレントタイル内の画素だけを参照してフィルタリング処理を実施する。
例えば、タイル端のフィルタリング処理などにおいて、カレントタイル外の画素の参照が必要な場合には、カレントタイル境界の画素（カレントタイル内の画素）を引き伸ばすパディング処理などの画素補間処理を実施して、参照したいカレントタイル外の画素の値を算出するようにすれば、カレントタイル内の画素だけを参照してフィルタリング処理を実施することができる。
あるいは、ループフィルタ部６７のフィルタ形状を変更することで、カレントタイル外の画素の参照を不要にすれば、カレントタイル内の画素だけを参照してフィルタリング処理を実施することができる。
独立タイルフラグがＯＮである場合のタイル端の特別な処理は、動画像符号化装置と動画像復号装置で一致させる必要がある。
【００９２】
タイル復号部４５−ｎの復号処理において、独立タイルフラグがＯＮである場合、上記のイントラ予測処理、インター予測処理及び可変長復号処理を含む如何なる処理においても、カレントタイルと異なるタイルに属するブロックの符号化パラメータ、復号画像及び動き補償予測参照画像の参照を行わないようにする。
タイル端での参照処理は、図２のタイル符号化部５−ｎと同様に参照が不要な処理に置き換えられるようにする。どのような処理に置き換えられるかは、動画像符号化装置と動画像復号装置で一致させる必要があるが、動画像符号化装置と動画像復号装置で固定的に同じ処理を行ってもよいし、処理内容を示す信号をシグナリングするようにしてもよい。
以上より、独立タイルフラグがＯＮになっているタイル復号部４５−ｎの処理は、そのタイルで独立しており、独立に復号処理が可能である。
【００９３】
以上で明らかなように、この実施の形態１によれば、動画像符号化装置では、分離されたタイルのうち、符号化制御部１により設定された独立タイルフラグが他のタイルに関する情報をフレーム内／フレーム間で参照しないで符号化処理を行う旨を示しているタイルが与えられた場合、そのタイルの符号化処理を他のタイルに関する情報をフレーム内／フレーム間で参照せずに独立に実行し、その独立タイルフラグが他のタイルに関する情報をフレーム内／フレーム間で参照しながら符号化処理を行う旨を示しているタイルが与えられた場合、そのタイルの符号化処理を他のタイルに関する情報をフレーム内／フレーム間で参照しながら実行するように構成したので、動画像復号装置側では、ランダムアクセスポイント以降の連続したフレームにおいて、特定の位置のタイルを、他のタイルが正常に復号されているか否かに関わらず独立して復号することが可能な符号化データを生成することができる効果を奏する。
【００９４】
一方、動画像復号装置では、可変長符号分離部４１により分離された各タイルのタイルビットデータのうち、独立タイルフラグが他のタイルに関する情報をフレーム内／フレーム間で参照しないで符号化処理を行う旨を示しているタイルのタイルビットデータが与えられた場合、そのタイルビットデータから上記タイルを復号する処理を他のタイルに関する情報をフレーム内／フレーム間で参照せずに独立に実行し、独立タイルフラグが他のタイルに関する情報をフレーム内／フレーム間で参照しながら符号化処理を行う旨を示しているタイルのタイルビットデータが与えられた場合、そのタイルビットデータから上記タイルを復号する処理を他のタイルに関する情報をフレーム内／フレーム間で参照しながら実行するように構成したので、ランダムアクセスポイント以降の連続したフレームにおいて、特定の位置のタイルを、他のタイルが正常に復号されているか否かに関わらず独立して復号することができる効果を奏する。
【００９５】
即ち、この実施の形態１によれば、動画像符号化装置により生成されたビットストリームが動画像復号装置に与えられた場合、動画像復号装置において、画面全体を復号することができる一方で、独立タイルフラグがＯＮであるタイルだけを独立して復号することも可能である。
常に一部のタイルだけを独立に復号し、画面全体を復号することがなければ、動画像復号装置において、画面全体を復号する際に必要となるメモリやＣＰＵ等のリソースを低減することも可能である。
【００９６】
実施の形態２．
上記実施の形態１の動画像符号化装置では、独立タイルフラグ＝ＯＦＦのタイル、独立タイルフラグ＝ＯＮのタイルの２種類のタイルが存在し、独立タイルフラグ＝ＯＦＦのタイルはフレーム間参照において制約がなく、独立タイルフラグ＝ＯＮのタイルは、フレーム間参照において、カレントタイル外の画素及び符号化パラメータの参照が禁止されるように構成されている。このように符号化装置を構成することで、動画像復号装置では、ランダムアクセスポイント間の連続するフレームにおいて、独立タイルフラグ＝ＯＮのタイルのみを、他のタイルに依存せずに復号することを可能とするストリームを作成することができる。
ただし、独立タイルフラグ＝ＯＮのタイルは、フレーム間参照における制約が大きいため、符号化効率に対する影響が大きいという問題がある。
この実施の形態２では、タイル分割して、タイルによってフレーム間参照における参照位置に制約を設ける点は上記実施の形態１に準ずるが、参照位置の制約を緩和した動画像符号化装置及び動画像復号装置について説明する。
【００９７】
図１３（ｂ）は実施の形態２における、フレーム間参照における参照先制約の概要を示している。
まず、この実施の形態２においては、タイル毎に、独立タイルフラグに替わり「タイル階層インデックス」を設定する。「タイル階層インデックス」は、タイルの復号優先度を示す情報であり、図１３（ｂ）では、インデックスの値が小さいほど、優先度が高い例を示している。
ここで、図１３（ｂ）の下部に示すように、各タイルにおいて、フレーム間参照の際に、カレントタイルのタイル階層インデックスよりも大きなインデックスを持つタイル位置の画素及び符号化パラメータの参照を禁止し、自身と同じインデックス、または、小さいインデックスを持つタイル位置の画素及び符号化パラメータは自由に参照できるように構成する。また各タイルのタイル階層インデックスは、ランダムアクセスポイント間の連続するフレームにおいて同じ値を設定するとともに、独立タイルフラグに替わってビットストリームに多重化するように構成する。
【００９８】
このように構成された動画像符号化装置により作成されたビットストリームを復号する際には、各タイルのタイル階層インデックス情報に基づき、ランダムアクセスポイント以降の連続したフレームにおいて、画像の特定の位置のタイルのみを、その他のタイルを復号せずとも正常に復号することが可能となる。
その他の構成は、上記実施の形態１の図１，図２に示す動画像符号化装置、及び図３，図４に示す動画像復号装置に準ずる。
【００９９】
この実施の形態２における発明の効果について説明する。
図１３（ｂ）の例では、最も復号優先度の高いタイル階層インデックス＝０のタイルは、タイル階層インデックス＝０のタイルのみを復号することで正しく復号することが可能となる。
タイル階層インデックス＝３のタイルは、タイル階層インデックス＝０，１，２，３のタイルのみを復号することで正しく復号することが可能となる。
よって、図１３（ｂ）の例に示すように、例えば、画面中央に重要な情報が存在しており、画面周辺部の情報は、プラットフォームに合わせて表示・非表示を切り替えたい場合などに、重要度の高い領域ほど段階的にタイル階層インデックスを小さくするようにビットストリームを構成することで、特定タイルのみの復号をいくつかのバリエーションで実施することが可能となる。
また、タイル間参照の制約が上記実施の形態１で示す動画像符号化装置よりも少ないため、独立に復号したいタイル位置がある程度決まっている用途などにおいては、符号化効率の低下を抑えたまま特定タイルのみを復号することが可能なビットストリームを生成することができる効果を奏する。
【０１００】
実施の形態３．
上記実施の形態１の動画像符号化装置では、前述の通り、符号化効率が低下するという問題があり、上記実施の形態２の動画像符号化装置では、符号化効率の低下はある程度抑えられるものの、独立に復号できるタイルの位置の自由度が低いという問題がある。
この実施の形態３では、符号化効率の低下をある程度抑制し、かつ、高い自由度で独立に復号できるタイルを選択することが可能な動画像符号化装置について説明する。
図１３（ｃ）は実施の形態３における、フレーム間参照における参照先制約の概要を示している。
【０１０１】
まず、この実施の形態３においては、タイル毎に、上記実施の形態１の独立タイルフラグに替わり「タイル間参照タイプ情報」を設定する。「タイル間参照タイプ情報」は、符号化処理及び復号処理において、タイル境界を跨る参照の制約を定める情報である。この実施の形態３においては、以下の３種のタイル間参照タイプが存在する。
（１）非独立タイル（図１３（ｃ）のＤ）：タイル間の参照に制約がないタイル
フレーム内／フレーム間参照において、どのタイル位置の情報でも参照可能。
ただし、別のフラグにおいて、フレーム内／フレーム間参照が禁止されている場合は
その限りではない。上記実施の形態１における独立タイルフラグ＝ＯＦＦのタイルに等
しい。
（２）独立タイル（図１３（ｃ）のＩ）：タイル境界を跨る参照が全て禁止されるタイル
上記実施の形態１における独立タイルフラグ＝ＯＮのタイルに等しい。
（３）準独立タイル（図１３（ｃ）のＳ）：隣接する独立タイルのみが参照可能なタイル
独立タイルであっても、カレントタイルに隣接していない場合は参照が禁止される。
【０１０２】
各タイルのタイル間参照タイプ情報は、ランダムアクセスポイント間の連続するフレームにおいて同じ値を設定するとともに、上記実施の形態１の独立タイルフラグに替わってビットストリームに多重化するように構成する。
なお、非独立タイルは、特定のタイルを独立に復号するという機能を使用しない場合の為に用意されたタイル間参照タイプである。以下、独立タイルおよび準独立タイルの効果について説明する。
【０１０３】
図１４（ａ）は、独立タイルと準独立タイルの配置例を示している。
市松模様状であったり、タイル列毎に独立タイルと準独立タイルを切り替えるような配置であったりしているが、このように準独立タイルが独立タイルと隣接するように配置することが望ましい。
このように配置した場合、全ての準独立タイルは隣接する独立タイルをフレーム内／フレーム間で参照できるため、符号化効率の低下を抑えることが可能である。
【０１０４】
上記のように構成された動画像符号化装置により、図１４（ａ）のように、タイル間参照タイプ情報として独立タイル及び準独立タイルのみが指定されて符号化されたビットストリームを復号する際、図１４（ｂ）のように、表示対象領域が指定された場合、その表示対象領域に隣接したタイルまでを含んだ領域を復号対象領域として復号すれば、復号対象領域外のタイルを復号せずとも、表示対象領域は独立に正しく復号される。なぜならば、独立タイルは他のタイルが復号されなくとも正常に復号が可能であり、かつ、準独立タイルは隣接する（正常な復号が保証された）独立タイルのみを参照するためである。なお、復号対象領域に含まれるが、表示対象領域には含まれない準独立タイルは正しい復号が保証されない。
【０１０５】
以上より、この実施の形態３の動画像符号化装置は、独立タイルと準独立タイルを用いて符号化することで、独立タイルのみを用いて符号化した場合よりも高い符号化効率で符号化することを可能とする効果を奏する。この実施の形態３の動画像復号装置は、前記動画像符号化装置が作成したビットストリームを復号する際、ランダムアクセスポイント以降の連続したフレームにおいて、任意のタイルを、それら及びそれらに隣接するタイルのみを復号することで正常に復号することを可能とする効果を奏する。
【０１０６】
その他、本願発明における動画像符号化装置は、上記実施の形態１，２，３に記述した構成以外にも、符号化制御手段が各タイルに対して、タイル間参照の制約条件を示す「タイル間参照制約情報」を独立または共通に決定し、タイル符号化手段が、カレントタイルのタイル間参照制約情報が指定するタイルに対するフレーム内／フレーム間参照を禁止しながら符号化を実施し、可変長符号多重化手段が、タイル毎に決定されたタイル間参照制約情報をビットストリームに多重化して動画像復号装置に伝達する機能を有するように構成することができる。また、動画像復号装置における、特定のタイルの復号という処理に有効なヒント情報を、必要に応じてビットストリームに多重化するように構成することができる。
また、本願発明における動画像復号装置は、上記実施の形態１，２，３に記述した構成以外にも、ビットストリームに多重化された「タイル間参照制約情報」、および必要に応じてユーザが指定した復号タイル指定情報に基づいて、連続するフレームで特定のタイルのみを、その他のタイルが復号されていなくとも独立かつ正常に復号するように構成することができる。その際に、必要に応じてストリームに多重化されたヒント情報を使用するように構成することができる。
【０１０７】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１０８】
１  符号化制御部（フラグ設定手段）、２  タイル分割部（画像分割手段）、３  タイル符号化開始部（画像分割手段）、４  タイル符号化装置、５−１〜５−Ｎ  タイル符号化部（タイル符号化手段）、６  フレーム内参照メモリ、７  タイル符号化終了部（多重化手段）、８  可変長符号多重化部（多重化手段）、９  フレーム間参照メモリ、２１  タイル符号化制御部、２２  ブロック分割部、２３  切換スイッチ、２４  イントラ予測部、２５  動き補償予測部、２６  減算部、２７  変換・量子化部、２８  逆量子化・逆変換部、２９  加算部、３０  可変長符号化部、３１  ループフィルタ部、４１  可変長符号分離部（分離手段）、４２  タイル分割部、４３  タイル復号開始部（データ分配手段）、４４  タイル復号装置、４５−１〜４５−Ｎ  タイル復号部（タイル復号手段）、４６  フレーム内参照メモリ、４７  タイル復号終了部、４８  フレーム間参照メモリ、６１  可変長符号復号部、６２  切換スイッチ、６３  イントラ予測部、６４  動き補償部、６５  逆量子化・逆変換部、６６  加算部、６７  ループフィルタ部。
【図１】
2014197795.tif 000003
【図２】
2014197795.tif 000004
【図３】
2014197795.tif 000005
【図４】
2014197795.tif 000006
【図５】
2014197795.tif 000007
【図６】
2014197795.tif 000008
【図７】
2014197795.tif 000009
【図８】
2014197795.tif 000010
【図９】
2014197795.tif 000011
【図１０】
2014197795.tif 000012
【図１１】
2014197795.tif 000013
【図１２】
2014197795.tif 000014
【図１３】
2014197795.tif 000015
【図１４】
2014197795.tif 000016