(57)【要約】  本発明は、最初にデブロッキングフィルタ、次に適応的ループフィルタを用いて画像データをフィルタリングすることに関し、映像符号化および復号に適している。フィルタリングに必要なバッファ画像ラインに用いられるオンチップメモリの必要量を削減する目的で、適応的ループフィルタのための入力信号が、デブロッキング済み画素、デブロッキングされていない画素、および部分的（水平方向のみまたは垂直方向のみ）にデブロッキングされた画素の中から決定される。デブロッキング済み画素の適応的ループフィルタ処理において、入力信号の決定に応じて、デブロッキング済み画素および／またはデブロッキングされていない画素および／または部分的にデブロッキングされた画素に、フィルタタップを適用してもよい。本発明の効果は、両方のフィルタ処理に用いられる、特にデコーダにおいて必要なラインメモリを削減することである。
2014512732.tif 000002
【特許請求の範囲】
【請求項１】
第１のフィルタを最初に適用し、前記第１のフィルタの出力を第２のフィルタが処理する、前記第１のフィルタと前記第２のフィルタと用いて画像の対象ブロックをフィルタリングする方法であって、
前記第１のフィルタを前記対象ブロックの予め定められた複数の画素に適用することによって、および／または前記第１のフィルタを前記予め定められた複数の画素に適用するか否かを判定することによって、前記第１のフィルタで前記予め定められた複数の画素を処理するステップと、
前記第１のフィルタによって処理済みの、前記対象ブロックの少なくとも１つの画素を、前記第２のフィルタでフィルタリングするステップと
を含み、
前記第２のフィルタの少なくとも１つのタップは、前記第２のフィルタによるフィルタリングのために、前記対象ブロック内の異なるラインであって、メモリに保存されている、ラインの画素と置き換えられた、前記予め定められた複数の画素のうちの少なくとも１つの画素に適用される
方法。
【請求項２】
前記少なくとも１つの予め定められた画素は、前記第１のフィルタの水平成分および垂直成分の一方のみによって処理された画素であり、前記第１のフィルタの水平成分および垂直成分の他方によって処理される対象の画素である
請求項１に記載の方法。
【請求項３】
前記少なくとも１つの予め定められた画素は、前記第１のフィルタが適用されなかった画素である
請求項１に記載の方法。
【請求項４】
前記予め定められた複数の画素のうちの前記１つの画素は、前記第１のフィルタで処理済みの画素と置き換えられる
請求項１に記載の方法。
【請求項５】
さらに、前記第２のフィルタが前記予め定められた複数の画素に適用されるか否かを判断し、判断ステップの結果を示す指標を提供する前記判断ステップを含む
請求項１に記載の方法。
【請求項６】
さらに、適応的ループフィルタの前記少なくとも１つのタップを、前記対象ブロック内の同一の画素位置または異なる画素位置のデブロッキング済み画素、デブロッキングされていない画素、または部分的にデブロッキングされた画素のうち少なくとも１つに対して適用することを決定する判断ステップを含む
請求項１に記載の方法。
【請求項７】
前記複数の画素は、前記画像の輝度および／または色差サンプルである
請求項１に記載の方法。
【請求項８】
前記予め定められた複数の画素は、前記対象ブロックの下側境界に最も近い３ラインの画素であり、前記予め定められた複数の画素に前記第１のフィルタが適用され、前記第１のフィルタによって用いられる画素に適応的ループフィルタである前記第２のフィルタが適用され、前記置き換えられた予め定められた複数の画素に、前記第１のフィルタによって処理される前に、前記適応的ループフィルタの前記タップが適用される
請求項１に記載の方法。
【請求項９】
映像信号を符号化または復号する方法であって、
復号部を用いて符号化画像信号を再構築するステップと、
請求項１に記載の方法にしたがって前記再構築画像信号をフィルタリングするステップと
を含む方法。
【請求項１０】
請求項１に記載の方法を実行するように構成された、コンピュータ読み取り可能プログラムコードを実装したコンピュータ読み取り可能媒体を備えるコンピュータプログラム製品。
【請求項１１】
第１のフィルタを最初に適用し、前記第１のフィルタの出力を第２のフィルタが処理するようにして、前記第１のフィルタと前記第２のフィルタとを適用することによって画像の対象ブロックをフィルタリングする装置であって、
前記第１のフィルタを前記対象ブロックの予め定められた複数の画素に適用することによって、および／または前記第１のフィルタを前記予め定められた複数の画素に適用するか否かを決定することによって、前記予め定められた複数の画素を処理する第１のフィルタリング部と、
前記第１のフィルタによって処理済みの、前記対象ブロックの少なくとも１つの画素をフィルタリングする第２のフィルタリング部と
を備え、
前記第２のフィルタの少なくとも１つのタップは、前記第２のフィルタによるフィルタリングのために、前記対象ブロック内の異なるラインであって、メモリに保存されている、ラインの画素と置き換えられた、前記予め定められた複数の画素のうちの少なくとも１つの画素に適用される
装置。
【請求項１２】
前記少なくとも１つの予め定められた画素は、前記第１のフィルタの水平成分および垂直成分の一方のみによって処理された画素であり、前記第１のフィルタの水平成分および垂直成分の他方によって処理される対象の画素である
請求項１１に記載の装置。
【請求項１３】
前記少なくとも１つの予め定められた画素は、前記第１のフィルタが適用されなかった画素である
請求項１１に記載の装置。
【請求項１４】
前記予め定められた画素のうちの前記１つの画素は、前記第１のフィルタで処理済みの画素と置き換えられる
請求項１１に記載の装置。
【請求項１５】
さらに、前記第２のフィルタが前記予め定められた複数の画素に適用されるか否かを判断し、判断部の結果を示す指標を提供する前記判断部を含む
請求項１１に記載の装置。
【請求項１６】
さらに、適応的ループフィルタの前記少なくとも１つのタップを、前記対象ブロック内の同一の画素位置または異なる画素位置のデブロッキング済み画素、デブロッキングされていない画素、または部分的にデブロッキングされた画素のうち少なくとも１つに対して適用することを決定する判断部を含む
請求項１１に記載の装置。
【請求項１７】
前記複数の画素は、前記画像の輝度および／または色差サンプルである
請求項１１に記載の装置。
【請求項１８】
前記予め定められた複数の画素は、前記対象ブロックの下側境界に最も近い３ラインの画素であり、前記予め定められた複数の画素に前記第１のフィルタが適用され、前記第１のフィルタによって用いられる画素に適応的ループフィルタである前記第２のフィルタが適用され、前記置き換えられた予め定められた複数の画素に、前記第１のフィルタによって処理される前に、前記適応的ループフィルタの前記タップが適用される
請求項１１に記載の装置。
【請求項１９】
映像信号を符号化または復号する装置であって、
符号化画像信号を再構築する復号部と、
前記再構築画像信号をフィルタリングする、請求項１１に記載のフィルタリング部と
を備える装置。
【請求項２０】
請求項１１に記載の装置を具現化する集積回路であって、さらに、フィルタリング対象の画素を格納する垂直および／または水平ラインメモリであるメモリを備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像のフィルタリングに関する。特に、本発明は、画像の符号化および／または復号中のフィルタリングに必要なラインメモリのサイズを削減することに関する。
【背景技術】
【０００２】
現在、標準的な映像符号化アルゴリズムの大多数はハイブリッド映像符号化に基づくものである。通常、ハイブリッド映像符号化方法は、所望の圧縮ゲインを達成するために、いくつかの異なる可逆圧縮方式と不可逆圧縮方式とを組み合わせたものである。ハイブリッド映像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ‐１、ＭＰＥＧ‐２、ＭＰＥＧ‐４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ‐Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の映像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ−４  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）と称される標準規格であり、これは、ＩＴＵ−ＴとＩＳＯ／ＩＥＣ  ＭＰＥＧグループとの共同チームであるジョイントビデオチーム（ＪＶＴ）による標準化活動の成果である。このコーデックは、特に高解像度の映像符号化の効率改善を目的として、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）により、ＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）という名称でさらなる発展の途中である。
【０００３】
エンコーダへ入力される映像信号は、フレームと呼ばれる画像のシーケンスであり、各フレームは２次元マトリクス状の複数の画素からなる。ハイブリッド映像符号化に基づく上述の標準規格は全て、個々の映像フレームをそれぞれ、複数の画素からなるより小さなブロックに再分割することを含む。ブロックのサイズは、たとえば、画像の内容によって異なる。符号化方法は、通常、ブロックごとに異なってもよい。例えばＨＥＶＣにおいて、そのようなブロックに想定される最大サイズは６４×６４画素である。そしてそれは最大符号化単位（ＬＣＵ）と称される。Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣにおいては、（通常は１６×１６画素のブロックを指す）マクロブロックは、さらにいくつかの符号化／復号ステップが適用されるより小さなサブブロックに分割される可能性がある画像要素であった。
【０００４】
典型的には、ハイブリッド映像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、空間的に隣接したブロックか時間的に隣接したブロックか、つまり符号化済み映像フレームを用いて予測される。符号化対象ブロックと、予測残差ブロックとも呼ばれる予測結果との差分ブロックが、次に求められる。次の符号化ステップでは、残差ブロックが空間（画素）ドメインから周波数ドメインへ変換される。変換の目的は、入力ブロックの冗長性を削減することである。次の符号化ステップにおいて、変換係数が量子化される。このステップにおいて、実質的にロスが生じる（不可逆的な）圧縮がおこなわれる。通常、圧縮変換係数値は、エントロピー符号化によって（可逆的に）さらに圧縮される。さらに、符号化映像信号を再構築するために必要な補助情報が符号化され、符号化映像信号とともに提供される。この情報は、例えば、空間的および／または時間的予測や量子化量等に関するものである。
【０００５】
図１は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣおよび／またはＨＥＶＣに準拠した、典型的な映像エンコーダ１００の一例を示す。減算器１０５がまず、入力映像（入力信号ｓ）の符号化対象ブロックと、対応する予測ブロックＳ＾との差分ｅを求める。その差分は、符号化対象ブロックの予測として用いられる。当該予測信号は、時間的予測または空間的予測１８０によって得られる。予測のタイプは、フレーム毎、またはブロック毎に異なる可能性がある。時間的予測を用いて予測されたブロックおよび／またはフレームは「インター」符号化されたと称され、空間的予測を用いて予測されたブロックおよび／またはフレームは、「イントラ」符号化されたと称される。時間的予測を用いる予測信号は、メモリに格納されている、符号化済みの画像から得る。空間的予測を用いる予測信号は、符号化・復号済みの、メモリに格納された近隣ブロックの境界画素値から得る。入力信号と予測信号の差分ｅは、予測誤差または残差と呼ばれ、変換されて（１１０）係数となり、量子化される（１２０）。格納するデータ量さらに削減し、かつ／または可逆的に送信するために、量子化係数にエントロピー符号化を適用する（１９０）。これは主に、可変長の符号語を有する符号を適用することによって達成される。この符号語の長さは、発生確率に基づいて選択される。
【０００６】
映像エンコーダ１００に、復号（再構築）映像信号ｓ’を得るために復号部が組み入れられる。上記符号化ステップに合わせて、復号ステップは、逆量子化および逆変換（１３０）を含む。そのようにして得た予測誤差信号ｅ’は、量子化ノイズとも称される量子化誤差が原因で、元の予測誤差信号とは異なる。その後、復号済み予測誤差信号ｅ’を予測信号Ｓ＾に加える（１４０）ことで、再構築信号ｓ’を得る。エンコーダ側とデコーダ側の互換性を維持するため、エンコーダ側とデコーダ側の両方で、符号化および復号済みの同じ映像信号に基づいて、予測信号Ｓ＾が得られる。
【０００７】
量子化の結果、再構築映像信号に量子化ノイズが重畳される。ブロック単位での符号化により、重畳されたノイズはしばしば、ブロッキング特性を有し、特に強い量子化がおこなわれた場合は、復号画像のブロック境界が目立つ結果になる。ブロッキングアーチファクトは、人間の視覚的認識上マイナスの効果がある。これらのアーチファクトを減らすために、デブロッキングフィルタ１５０を全ての再構築画像ブロックに適用する。デブロッキングフィルタを再構築信号ｓ’に適用する。たとえば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣにおけるデブロッキングフィルタは、局所的適応能力を有する。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが適用され、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが適用される。ローパスフィルタの強度は、予測信号Ｓ＾および量子化予測誤差信号ｅ’によって決定される。デブロッキングフィルタは、概して、ブロックのエッジを平滑化して復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差も削減され、符号化効率を改善することができる。
【０００８】
デブロッキングフィルタの後に、デブロッキング信号ｓ’’を含む画像に適応的ループフィルタ１６０を適用してもよい。デブロッキングフィルタは主観的品質を改善するが、ＡＬＦは画素単位の信頼性（「客観的」品質）の改善を目的とする。具体的には、適応的ループフィルタ（ＡＬＦ）は、圧縮によって起こる画像の歪みを補償するために用いられる。通常、適応的ループフィルタは、再構築済み画像ｓ’とソース画像ｓとの平均二乗誤差（ＭＳＥ）が最小化されるように決定されたフィルタ係数を有するウィーナフィルタである。ＡＬＦの係数は、フレーム単位で算出および送信されてもよい。ＡＬＦはフレーム全体（映像シーケンスの画像）または局所領域（ブロック）に適用されてもよい。どの領域にフィルタリングを行うかを示す追加的補助情報が、（ブロック単位、フレーム単位、または四分木単位で）送信されてもよい。
【０００９】
インター符号化ブロックを復号するには、画像の符号化および復号済み部分も参照フレームバッファ１７０に格納する必要がある。インター符号化ブロックは、動き補償予測を用いることにより予測される（１８０）。まず、動き検出器により、符号化および復号済み映像フレーム内で対象ブロックに最も適合するブロックを見つける。この最適ブロックは予測信号となり、対象ブロックと最適ブロック間の相対的なずれ（動き）が、符号化映像信号とともに提供される補助情報内に含められる３次元の動きベクトルの形で動きデータとして信号で伝えられる。当該３次元は、空間２次元と時間１次元を含む。予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの空間的小数画素解像度で動きベクトルを求めてもよい。空間的小数画素解像度の動きベクトルは、復号済みフレーム内の、実存する画素値がない空間的位置、つまり小数画素位置を指してもよい。よって、動き補償予測を行うために、そのような画素値の空間的補間が必要である。これは、補間フィルタ（図１において予測ブロック１８０と統合されている）によって達成されてもよい。
【００１０】
イントラ符号化およびインター符号化モードの両方において、対象入力信号と予測信号との差分ｅが変換（１１０）および量子化（１２０）され、量子化係数となる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数版のような直交変換が使用される。なぜなら、これにより自然映像の相関を効率的に削減できるからである。変換後に、高周波成分よりも低周波成分に多くのビットが費やされるように符号化が実行される。これは、低周波成分は高周波成分よりも、通常、画質にとって重要であるためである。エントロピーコーダにおいて、２次元配列の量子化係数が１次元配列に変換される。典型的には、いわゆるジグザグ走査によって変換される。ジグザグ走査においては、２次元マトリクスの左上隅にあるＤＣ係数から右下隅にあるＡＣ係数まで予め定められた順序で走査される。通常、エネルギーは低周波に相当する２次元マトリクスの係数の左上部分に集中するため、ジグザク走査をおこなうと、最後にゼロ値が続く配列になる。これにより、実際のエントロピー符号化の一部として、またはその前処理として、ランレングス符号を用いる効率的な符号化が可能になる。
【００１１】
Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣおよびＨＥＶＣは、ビデオ符号化層（ＶＣＬ）とネットワーク抽象化層（ＮＡＬ）の２つの層を有する。ビデオ符号化層は、簡潔に上述したように、符号化の機能性を提供する。ネットワーク抽象化層は、チャネルを越える送信や記憶装置への格納といったさらなる用途に合わせて、情報要素を、ＮＡＬユニットと称される標準単位にカプセル化する。情報要素は、例えば、符号化予測誤差信号や、または、予測タイプ、量子化パラメータ、動きベクトル等といった映像信号の復号に必要な他の情報である。圧縮された映像データと関連情報を含むＶＣＬ  ＮＡＬユニットがあり、映像シーケンス全体に関連するパラメータセットのような追加データをカプセル化しているｎｏｎ−ＶＣＬユニットもあり、また、復号精度の改善に用いられる追加情報を提供する補足的な付加情報（ＳＥＩ）もある。
【００１２】
図２は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣまたはＨＥＶＣ映像符号化規格に準拠した例示的なデコーダ２００を示す。符号化映像信号（デコーダへの入力信号）は、まず、量子化係数と、動きデータや予測モード等といった復号に必要な情報要素とを復号するエントロピーデコーダ２９０に送られる。量子化係数は、２次元マトリクスを得る目的で逆走査され、その後、逆量子化・逆変換２３０に入力される。逆量子化および逆変換（２３０）の後に、復号（量子化）予測誤差信号ｅ’が得られる。復号（量子化）予測誤差信号ｅ’は、量子化ノイズがなく、誤差が生じなかった場合にエンコーダに入力された信号から予測信号を減算して、得られた差分に対応する。
【００１３】
予測信号は、時間的または空間的予測の何れかによって得られる（２８０）。復号済み情報要素は、通常さらに、イントラ予測の場合には予測タイプなど、動き補償予測の場合には動きデータなどの予測に必要な情報を含む。空間ドメインにおける量子化予測誤差信号は、その後、加算器２４０により、動き補償予測またはフレーム内予測の何れかから取得（２８０）された予測信号に加算される。再構築画像ｓ’は、デブロッキングフィルタ２５０および適応的ループフィルタ２６０を介して送られてもよく、その結果得られる復号信号は、メモリ２７０に格納され、後続ブロック／画像の時間的または空間的予測に使用される。
【００１４】
上述のように、適応的ループフィルタ２６０をデブロッキングフィルタ２５０の後に適用する。画像ブロックを符号化または復号する処理順序は、通常、順次走査（左上のブロックから始めて第１行目のブロックを走査し、その後第２行目の最も左のブロックから始めて、右下のブロックまで走査する）である。デブロッキングフィルタ処理は、ブロック境界の可視性を減らすことを目的としているので、ブロック境界付近のブロックの画素に適用される。特に、対象ブロックの画素をフィルタリングするために、デブロッキングフィルタのタップを対象（フィルタリング済み）ブロックの信号および近隣ブロックの画素に適用する。順次走査を行うとすると、画像内の対象ブロックに対して、通常は左および上のブロックのみが利用できる。したがって、右または下のブロック境界近傍の対象ブロックの画素をフィルタリングするためには、当該右および下の近隣ブロックが復号されるまで待つ必要があり、また、いわゆるラインメモリにおけるフィルタリングに用いられる画素を格納する必要もある。さらに、適応的ループフィルタはデブロッキング信号に適用されるため、この遅延により適応的ループフィルタも遅延する。適応的ループフィルタを適用するためには、そのようなフィルタリングに必要な画素も一時的にラインメモリに格納する必要がある。ラインメモリは、通常、メモリアクセスの帯域幅の問題を避けるため、オンチップ（内部）メモリとして実装される。オンチップメモリは通常、サイズが非常に限られているので、そこに一時的に格納されるデータ量をできる限り低く保つことが欠かせない。
【発明の概要】
【００１５】
既存の技術におけるこれらの問題を踏まえ、オンチップメモリの必要量を削減しつつ、デブロッキングフィルタや適応的ループフィルタといったフィルタリングに用いられ、かつ／またはフィルタリング対象サンプルの格納を要する２つのカスケードフィルタを採用する効率的なフィルタリングを提供すると有益であろう。
【００１６】
本発明に特有の手法は、第１のフィルタによって処理済みの画素に少なくとも一つのフィルタタップを適用し、第１のフィルタによる処理対象であるが、第１のフィルタによって処理されていない画素に残りのフィルタタップを適用するようにして、第１のフィルタが処理する対象の画素に、第２のフィルタを適用することである。
【００１７】
本発明の一態様によると、第１のフィルタを最初に適用し、前記第１のフィルタの出力を第２のフィルタが処理する（タップを適用する）、前記第１のフィルタと前記第２のフィルタと用いて画像の対象ブロックをフィルタリングする方法であって、前記第１のフィルタを適用するか否かを判断することによって、および／または前記第１のフィルタを予め定められた複数の画素に適用することによって、前記第１のフィルタで対象ブロックの前記予め定められた複数の画素を処理するステップと、前記第１のフィルタによって処理済みの、前記対象ブロックの少なくとも１つの画素を、前記第２のフィルタで処理するステップとを含み、前記第２のフィルタの少なくとも１つのタップは、前記第１のフィルタの適用前に、前記予め定められた複数の画素のうちの少なくとも１つの画素に適用される方法が提供される。
【００１８】
本発明の別の態様によると、第１のフィルタを最初に適用し、前記第１のフィルタの出力を第２のフィルタが処理するようにして、前記第１のフィルタと前記第２のフィルタとを適用することによって画像の対象ブロックをフィルタリングする装置であって、前記第１のフィルタを適用するか否かを判断することによって、および／または前記第１のフィルタを予め定められた複数の画素に適用することによって、前記第１のフィルタで対象ブロックの前記予め定められた複数の画素を処理する第１のフィルタリング部と、前記第１のフィルタによって処理済みの、前記対象ブロックの少なくとも１つの画素をフィルタリングする第２のフィルタリング部とを備え、前記第２のフィルタの少なくとも１つのタップは、前記第１のフィルタの適用前に、前記予め定められた複数の画素のうちの少なくとも１つの画素に適用される装置が提供される。
【図面の簡単な説明】
【００１９】
付属図面は本発明のいくつかの実施の形態を説明する明細書に組み込まれ、かつ当該明細書の一部をなす。当該図面は実施の形態の説明と共に、本発明の原理を説明するものである。当該図面の目的は、本発明がどのようになされ、用いられるかを示す好適かつ代替可能な例を例示することだけであり、本発明を例示および説明された実施の形態のみに限定するものとして解釈されるべきではない。本発明のさらなる特徴および効果は、付属図面が示すような、下記のような本発明の様々な実施形態の詳細な説明から明らかになる。当該図面において、同じ参照符号は同じ要素を示す。当該図面において、
【図１】図１は、従来の映像エンコーダの一例を示すブロック図である。
【図２】図２は、従来の映像デコーダの一例を示すブロック図である。
【図３Ａ】図３Ａは、水平デブロッキングフィルタの適用例を示す概略図である。
【図３Ｂ】図３Ｂは、垂直デブロッキングフィルタの適用例を示す概略図である。
【図４】図４は、デブロッキングフィルタ処理の適用例に用いられるラインメモリの内容を示す概略図である。
【図５】図５は、デブロッキングフィルタ処理および適応的ループフィルタ処理の適用例に用いられるラインメモリの内容を示す概略図である。
【図６】図６は、デブロッキングフィルタ処理および適応的ループフィルタ処理の適用例に用いられるラインメモリに格納されるべきラインの必要数を示す概略図である。
【図７】図７は、本発明にしたがって変更された映像エンコーダの一例を示すブロック図である。
【図８】図８は、本発明にしたがって変更された映像デコーダの一例を示すブロック図である。
【図９】図９は、デブロッキングされていない画素を用いる適応的ループフィルタ処理を示す概略図である。
【図１０】図１０は、水平方向にのみデブロッキングされた画素を用いる適応的ループフィルタ処理を示す概略図である。
【図１１】図１１は、垂直方向にのみデブロッキングされた画素を用いる適応的ループフィルタ処理を示す概略図である。
【図１２】図１２は、垂直方向にのみデブロッキングされた画素および水平方向にのみデブロッキングされた画素を用いる適応的ループフィルタ処理を示す概略図である。
【図１３】図１３は、デブロッキングされていない画素および水平方向のみにデブロッキングされた画素を用いる適応的ループフィルタ処理を示す概略図である。
【図１４】図１４は、適応的に部分的にデブロッキングされた画素を示す概略図である。
【図１５】図１５は、本発明の実施の形態に係る、デブロッキングフィルタ処理および適応的ループフィルタ処理の適用例に用いられるラインメモリに格納されるべきラインの必要数を示す概略図である。
【図１６】図１６は、パディングが適用された場合の、デブロッキングフィルタ処理および適応的ループフィルタ処理の適用例に用いられるラインメモリに格納されるべきラインの必要数を示す概略図である。
【図１７】図１７は、本発明の実施の形態に係るフィルタリング方法を示すフロー図である。
【図１８】図１８は、コンテンツ配信サービスを実現するコンテンツ供給システムを示す全体構成概略図である。
【図１９】図１９は、デジタル放送用システムを示す全体構成概略図である。
【図２０】図２０は、テレビの構成例を示すブロック図である。
【図２１】図２１は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。
【図２２】図２２は、光ディスクである記録メディアの構造例を示す概略図である。
【図２３Ａ】図２３Ａは、携帯電話の一例を示す概略図である。
【図２３Ｂ】図２３Ｂは、携帯電話の構成例を示すブロック図である。
【図２４】図２４は、多重化データの構成を示す概略図である。
【図２５】図２５は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。
【図２６】図２６は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した概略図である。
【図２７】図２７は、多重化データにおけるＴＳパケットとソースパケットの構造を示す概略図である。
【図２８】図２８は、ＰＭＴのデータ構成を示す概略図である。
【図２９】図２９は、多重化データ情報の内部構成を示す概略図である。
【図３０】図３０は、ストリーム属性情報の内部構成を示す概略図である。
【図３１】図３１は、映像データを識別するステップを示す概略図である。
【図３２】図３２は、各実施の形態の映像符号化方法および映像復号化方法を実現する集積回路の構成例を示す概略ブロック図である。
【図３３】図３３は、駆動周波数を切り替える構成を示す概略図である。
【図３４】図３４は、映像データを識別し、駆動周波数を切り替えるステップを示す概略図である。
【図３５】図３５は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す概略図である。
【図３６Ａ】図３６Ａは、信号処理部のモジュールを共有化する構成の一例を示す概略図である。
【図３６Ｂ】図３６Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す概略図である。
【図３７Ａ】図３７Ａは、本発明に係る方法を適用した一例を示す。
【図３７Ｂ】図３７Ｂは、本発明に係る方法を適用した別の例を示す。
【発明を実施するための形態】
【００２０】
本発明の基となる課題は、デブロッキングフィルタおよび適応的ループフィルタを適用すると、オンチップラインメモリの必要量が増加するという観察に基づく。
【００２１】
映像エンコーダの新たな特徴により、高レベルの拡張性を実現し、画質を改善する様々な特徴を提供することができる。そのような特徴はたとえば、デブロッキングフィルタ処理と適応的ループフィルタ処理を交互に適用することである。そのようなフィルタは、対象データおよび符号化および／または復号済みデータの一部のフィルタリングに用いられる。よって、符号化および／または復号済みデータは、以後の使用に備えて一時的にメモリに格納される必要がある。通常、エンコーダおよびデコーダのハードウェア実装においては、外部メモリに必要な帯域幅削減のため、オンチップメモリを採用している。よって、通常、符号化／復号処理中に複数回使用されるデータは、オンチップメモリに格納される。その結果、外部メモリの採用を避け、外部メモリアクセスの必要量を減らすことができる。インループデブロッキングフィルタおよび適応的ループフィルタの採用に関し、後で使用される画素を一時的に格納するために用いられる、ラインメモリと呼ばれる特定の種類のオンチップメモリがある。「ラインメモリ」という名は、そこに通常、画素のラインが格納されることから選択された。具体的には、通常、水平ラインメモリと垂直ラインメモリがある。水平ラインメモリは通常、画像（映像フレーム）からの１行または複数行を格納する。垂直メモリは通常、たとえば最大符号化単位（ＬＣＵ）であるブロックからの１列または複数列を格納する。
【００２２】
本発明は、エンコーダ１００および／またはデコーダ２００側に適用できる。エンコーダにおいて、本発明は、エンコーダ内の復号部の一部であるループに適用できる。なぜなら復号部は再構築信号ｓ’を処理するからである。本発明はまた、図１および２のエンコーダおよび／またはデコーダに類似しているがデブロッキングフィルタ処理と適応的ループフィルタ処理を適用する順序が逆、つまり適応的ループフィルタがまず適用され、適応的ループフィルタの出力にデブロッキングフィルタが適用されるエンコーダおよび／またはデコーダにも適用できる。
【００２３】
次に、デブロッキングフィルタを第１のフィルタ、適応的ループフィルタを第２のフィルタとして本願を適用した一例を示す。しかしながら、当業者には明らかなとおり、本発明は逆の順序にも、異なる種類のフィルタにも適用できる。たとえば、フィルタは必ずしもループフィルタでなくてもよい。本発明により、デコーダ側のメモリの必要量の削減が達成できるので、フィルタリング用に画素を格納、具体的にはオンチップメモリに画素のライン（行または列）を格納することを必要とするいかなるカスケードフィルタに適用されてもよい。
【００２４】
図３は、図１および２の説明でそれぞれ言及した１５０および２５０のようなデブロッキングフィルタの適用例を示す。そのようなデブロッキングフィルタは、ブロック境界における各サンプルに対して、フィルタリングを行うか否かを決定してもよい。フィルタリングが行われる場合は、ローパスフィルタが適用される。この決定の目的は、上記背景技術の項に記載の、ブロック単位の処理に適用される量子化の結果としてブロック境界において大きな信号変化が起こるサンプルにのみ、フィルタリングを行うことである。このフィルタリングの結果、ブロック境界に平滑化信号が得られる。平滑化信号は、ブロッキングアーチファクトよりも視覚的不快感が少ない。符号化対象の原信号に属する、ブロック境界において大きな信号変化が起こるそれらのサンプルは、高周波およびそれによる視覚的鋭さを維持するために、フィルタリングされるべきではない。間違った決定がされた場合、画像は不必要に平滑化されるか、またはブロック境界が歪んだままになる。図３Ａは、垂直境界に対する決定（水平デブロッキングフィルタでフィルタリングを行うか否か）を示し、図３Ｂは、水平境界に対する決定（垂直デブロッキングフィルタでフィルタリングを行うか否か）を示す。具体的には、図３Ａは復号対象ブロック３４０とその復号済み近隣ブロック３１０、３２０、および３３０を示す。ライン内の画素３６０に対して決定がなされる。同様に、図３Ｂは同じ対象ブロック３４０を示し、列内の画素３７０に対して決定がなされる。デブロッキングフィルタを適用するか否かの判断は、以下のように実行されてもよい。
【００２５】
６個の画素３６０のラインを例に取ると、そのうち最初の３個の画素ｐ２、ｐ１、ｐ０は左の近隣ブロック３３０に属し、続く３個の画素ｑ０、ｑ１、ｑ２は対象ブロック３４０に属する。画素ｐ０およびｑ０は、それぞれ左の近隣ブロックと対象ブロックの画素であり、互いに隣接している。画素ｐ０およびｑ０は、例えば以下の条件が満たされた場合に、デブロッキングフィルタによってフィルタリングされる。
【００２６】
【数１】
2014512732.tif 000003
【００２７】
ここで、例えばβ＜αである。これらの条件は、ｐ０とｑ０の差分がブロッキングアーチファクトに由来するものか否かを検出することを目的としている。画素ｐ１は、例えば上記３つの条件に加えて以下の条件も満たした場合にフィルタリングされる。
【００２８】
【数２】
2014512732.tif 000004
【００２９】
画素ｑ１は、例えば上記３つの条件に加えて以下の条件も満たした場合にフィルタリングされる。
【００３０】
【数３】
2014512732.tif 000005
【００３１】
上記条件において、ＱＰは適用される量子化の量を示す量子化パラメータを表し、β、αはスカラー定数を表し、ＯｆｆｓｅｔＡ、ＯｆｆｓｅｔＢはスライスレベルのオフセットを表す。スライスレベルのオフセットは、デフォルトのゼロオフセットを用いたフィルタリングと比較して、実行するフィルタリングの量を増加または減少させるために用いることができる、エンコーダで選択可能なオフセットである。当該決定は、ブロック内の選択された１ラインまたは複数のラインのみに対して実行されてもよいが、それにしたがう画素のフィルタリングは全てのライン３６０に対して行われる。
【００３２】
ＨＥＶＣにおけるデブロッキングフィルタ処理の他の例は、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３およびＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪＴＣ−ＶＣのＪＣＴＶＣ−Ｄ５０３ドキュメント、セクション８．６．１に記載されており、ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／２０１１＿０１＿Ｄ＿Ｄａｅｇｕ／で自由に利用できる。
【００３３】
しかしながら、本発明はデブロッキングフィルタの詳細にかかわらず機能してもよい。デブロッキングフィルタはまた、決定の必要がないように、ブロック境界においてライン（行または列）内の予め定義された数の画素に固定的に適用されてもよい。デブロッキングフィルタは、例えば、３、４、５といった予め定義された数のタップを用いたフィルタであってもよいが、５、６、７、８等といった他のサイズも適用できる。タップの数は、デブロッキング対象の画素の位置にしたがってもよい。デブロッキングフィルタの実際の長さは、本発明にとって重要ではなく、そのようないかなるサイズでも機能できる。
【００３４】
デブロッキングフィルタ処理に必要な、そのようなラインメモリの内容の一例が、図４に概略的に示される。図４は、９つのブロックを含むフレーム幅４９０の画像フレーム４００を示す。中央のブロックは、現在符号化および／または復号中の対象ブロック４５０である。この符号化および／または復号は、ラスター（順次）走査順序で行われると仮定する。つまり、左上のブロック４１０は符号化および／または復号済みである。残りのブロック４２０は、対象ブロック４５０の符号化および／または復号中にはまだ復号されておらず、よってまだフィルタリングに利用できない。右下のブロック４２０がまだ利用できないため、対象ブロックの上および右境界にはデブロッキングを実行できない。現在復号中のブロック４５０に隣接するブロックがまだ利用できないため、それらの画素を用いたフィルタリング処理は遅延されなければならない。遅延されたフィルタリングに後で必要なサンプル（画素）４８０は、よって、ラインメモリに一時的に格納される。サンプル４８０ａおよび４８０ｃは、デブロッキングフィルタによって垂直にフィルタリング可能になるまで水平ラインメモリに格納される。サンプル４８０ｂは、デブロッキングフィルタによって水平にフィルタリング可能になるまで垂直ラインメモリに格納される。
【００３５】
特に、図４は、デブロッキングフィルタが４ラインの画素４７０を格納する必要がある例を示す。具体的には、対象ブロック境界に最も近い（白点で示される）３つの画素が、デブロッキングフィルタによって修正されてもよい（修正されてもよい）。第４番目のラインに対し、他の画素のフィルタリング中にデブロッキングフィルタのタップを適用してもよいが、それはフィルタリングによっては修正されない。
【００３６】
適応的ループフィルタは、例えば、５、７、または９つのタップを有するダイヤモンド形状のフィルタであってもよい。しかしながら、本発明はそのような種類のフィルタに限定されるものではなく、適応的ループフィルタの形状および／またはサイズは、本発明の目的に応じて様々に選択されてもよい。タップは、フィルタリング済み信号に適用されるフィルタ係数の位置に対応する。ＡＬＦは、フレーム単位で実行されてもよく、このようにすると、デブロッキングされた画像全体がフレームバッファメモリ１７０、２７０に格納される必要がある。これはしかし、追加的な外部メモリの帯域幅を必要とする。または、ＡＬＦをブロック単位、例えばＬＣＵ毎に適用してもよい。そのような場合は、ＡＬＦのサイズに応じて、ＡＬＦフィルタリングに用いられる画素のラインをラインバッファに格納しなければならない。
【００３７】
図５は、デブロッキングフィルタおよび適応的ループフィルタの両方が適用される場合のラインメモリの必要量を示す。フレーム幅５９０を有するフレーム５００は９つのブロックを含み、そのうちの４つ５１０は復号済みであり、１つの対象ブロック５５０は、復号中である。残りのブロック５２０はまだ復号されていない。この例において、適応的ループフィルタは、デブロッキングフィルタに加えて７タップの垂直サイズを有する。結果として、図４に示される状況に加え、さらに６ラインがラインバッファに格納される必要がある。具体的には、画素５７０のうち下から４画素（対象ブロックの下部境界に最も近い画素）が、図４と同様に、デブロッキングフィルタに必要である。これら４画素のうち下から３画素（図５に白点で示される）も、デブロッキングフィルタで修正されてもよい。ＡＬＦのサイズが７タップであるとすると、１つのラインがデブロッキングフィルタに必要なラインと共有される場合に、さらに６ラインが格納される必要がある。ラインメモリの対応する内容が斜線領域５８０によって示される。具体的には、水平ラインメモリ４８０ａおよび４８０ｃ、ならびに垂直メモリ４８０ｂである。性能改善のために、水平メモリのサイズ削減が特に有益である。これは、水平メモリが垂直ラインメモリよりも大きいからである。
【００３８】
ＨＥＶＣにおける適応的ループフィルタの一例が、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３およびＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪＴＣ−ＶＣのＪＣＴＶＣ−Ｄ５０３ドキュメント、セクション８．６．２に記載されており、ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／２０１１＿０１＿Ｄ＿Ｄａｅｇｕ／で自由に利用できる。図６は、デブロッキングフィルタ処理および適応的ループフィルタ処理のためのラインメモリの必要量を示す。適応的ループフィルタ６００は、ダイヤモンド形状であり、サイズは９タップである。フィルタタップは図６に黒点で示され、中央タップ６１０が実際にフィルタリングされる（修正される）画素に適用されている。適応的ループフィルタは、デブロッキングの後に、つまりデブロッキング済み信号に適用されなければならない。上述の例において想定されたデブロッキングフィルタは、ラインメモリに４ライン６２４を格納する必要がある。そのうちの３つ、つまり下から３ライン６２３はデブロッキングフィルタによって修正されるので、ＡＬＦによって直ちに使われることはできず、下のブロック（境界６５０の下）が利用できるときに初めて使われる。よって、適応的ループフィルタはフィルタリングのために、さらに８ラインを必要とする。デブロッキングフィルタによって使われるがそれによって修正されない、最も高い位置にある１つのラインが両方のフィルタに共有される。その結果、合計１１ライン６２０がオンチップメモリに格納される必要がある。
【００３９】
概して、復号に必要な水平ラインメモリの量は、画素内のフレーム幅と、画素内部のビット深さと、必要ライン（行）数との積として推定されてもよい。同様に、復号に必要な垂直ラインメモリの量は、ＬＣＵの高さと、画素内部のビット深さと、必要ライン（列）数との積として推定されてもよい。
【００４０】
必要ライン数は、採用されたデブロッキングフィルタ処理および適応的ループフィルタ処理次第であり、特に、それぞれの垂直サイズおよび水平サイズによる。ライン数は、デブロッキングフィルタ処理に必要なライン数＋垂直適応的ループフィルタのライン数−２である。適応的ループフィルタがデブロッキング済みフレームに適用されるため、追加的な水平ラインメモリが、フィルタの垂直サイズに正比例する適応的ループフィルタには必要である。図５に示される例について、必要な水平ラインメモリＭ（ビット）は次式によって得られる。
【００４１】
Ｍ＝ｆｒａｍｅ＿ｗｉｄｔｈ・ｐｉｘｅｌ＿ｂｉｔ＿ｄｅｐｔｈ・（４＋ＡＬＦ＿ｓｉｚｅ−２）
【００４２】
ここでｐｉｘｅｌ  ｂｉｔ−ｄｅｐｔｈは画素毎のビット数である。具体的には、エンコーダおよび／またはデコーダの実装に用いられる画素毎のビット数である。ＡＬＦ＿ｓｉｚｅは、ＡＬＦ６００の垂直方向のサイズであり、この例では９である。４はデブロッキングフィルタによって修正された３画素と、デブロッキングフィルタに使われたが修正されなかった１画素に対応する。
【００４３】
ラインメモリはチップ製造コストの増加を意味するので、オンチップメモリの帯域幅を削減できるラインメモリサイズの削減が重要である。
【００４４】
デブロッキングフィルタによって考慮されているがその値が修正されていない画素が依然として存在してもよい。図３を参照して説明したように、フレーム内には、デブロッキング処理の特定の定義を考慮して決して修正されない画素も存在する。しかしながら、本発明はそれに限定されず、特定のデブロッキングフィルタのサイズに関わらず採用されてもよい。以下、「デブロッキングされた信号」という用語は、デブロッキングフィルタによって考慮済み（アクセス済み、および、場合によると修正済み）の信号を指す。一方、「デブロッキングされていない信号」という用語は、デブロッキングフィルタによってまだ考慮されていない信号を指す。
【００４５】
本発明によれば、ラインメモリ内のライン数を削減するために、第２のフィルタリングが、そのようなフィルタリングに用いられる入力信号に関して柔軟性を有している。第２のフィルタリングを遅延させる代わりに、以下の例において説明するように、（第１のフィルタリングによって処理されるべき）利用不可能な画素を、第１のフィルタによってまだ処理されていないかまたは部分的にしか処理されていない画素と、第２のフィルタリングのために入れ替える。なお、本発明は水平ラインメモリおよび垂直ラインメモリの両方、または何れかに適用できる。
【００４６】
したがって、第１のフィルタを最初に適用し、前記第１のフィルタの出力を第２のフィルタが処理する、前記第１のフィルタと前記第２のフィルタと用いて画像の対象ブロックをフィルタリングする方法であって、前記第１のフィルタを前記対象ブロックの予め定められた複数の画素に適用することによって、および／または前記第１のフィルタを前記予め定められた複数の画素に適用するか否かを判断することによって、前記第１のフィルタで前記予め定められた複数の画素を処理するステップと、前記第１のフィルタによって処理済みの、前記対象ブロックの少なくとも１つの画素を、前記第２のフィルタで処理するステップとを含み、前記第２のフィルタの少なくとも１つのタップは、前記第１のフィルタの適用前に、前記予め定められた複数の画素のうちの少なくとも１つの画素に適用される方法が提供される。当該判断は、例えば、予め定められた画素がそれらの位置によって、そもそもデブロッキングされるか否かを判定することでもよい。よって、画素がブロック境界から遠く離れていれば、デブロッキングフィルタは必要ない。また、ブロック境界に位置する画素を判断してデブロッキングが必要か否かを決定してもよい。
【００４７】
部分的にデブロッキングされた画素とは、前記少なくとも１つの予め定められた画素が、前記第１のフィルタの水平成分および垂直成分の一方のみによって処理された画素であり、前記第１のフィルタの水平成分および垂直成分の他方によって処理される対象の画素であってもよい。前記少なくとも１つの予め定められた画素は、第１のフィルタが適用されなかった画素であってもよい。その代わりに、またはそれに加えて、前記少なくとも１つの予め定められた画素は、第２のフィルタによるフィルタリングのために、メモリに保存された対象ブロック内の違うラインの画素と置き換えられる。
【００４８】
さらに、当該方法は、前記第２のフィルタが前記予め定められた複数の画素に適用されるか否かを判断し、判断ステップの結果を示す指標を提供する前記判断ステップを含んでもよい。さらに、当該方法は、適応的ループフィルタの前記少なくとも１つのタップを、前記対象ブロック内の同一の画素位置または異なる画素位置のデブロッキング済み画素、デブロッキングされていない画素、または部分的にデブロッキングされた画素のうち少なくとも１つに対して適用することを決定する判断ステップを含んでもよい。
【００４９】
上述の方法は、映像の符号化または復号に用いられてもよい。復号部を用いて符号化画像信号を再構築するステップと、上記方法によって再構築画像信号をフィルタリングするステップとを含む映像信号符号化方法が提供されてもよい。
【００５０】
本発明の別の態様によれば、上記方法を実行するように構成された、コンピュータ読み取り可能なプログラムコードを実装したコンピュータ読み取り可能媒体を備えるコンピュータプログラム製品が提供される。本発明の別の態様によると、第１のフィルタを最初に適用し、前記第１のフィルタの出力を第２のフィルタが処理するようにして、前記第１のフィルタと前記第２のフィルタとを適用することによって画像の対象ブロックをフィルタリングする装置であって、前記第１のフィルタを適用するか否かを判断することによって、および／または前記第１のフィルタを予め定められた複数の画素に適用することによって、前記第１のフィルタで対象ブロックの前記予め定められた複数の画素を処理する第１のフィルタリング部と、前記第１のフィルタによって処理済みの、前記対象ブロックの少なくとも１つの画素をフィルタリングする第２のフィルタリング部とを備え、前記第２のフィルタの少なくとも１つのタップは、前記第１のフィルタの適用前に、前記予め定められた複数の画素のうちの少なくとも１つの画素に適用される装置が提供されてもよい。
【００５１】
そのような装置は、さらに符号化画像信号を再構築する復号部を備えてもよいエンコーダまたはデコーダの一部であってもよい。その装置は、さらに、フィルタリング対象の画素を格納する垂直および／または水平ラインメモリであるメモリを備えるチップに具現化されてもよい。
【００５２】
本発明の実施の形態によれば、ラインメモリ内のライン数を削減するために、適応的ループフィルタ処理が、フィルタリングに用いられる入力信号に関して柔軟性を有している。適応的ループフィルタ処理を遅延させる代わりに、利用不可能なデブロッキング済み画素を、以下の例において説明するように、デブロッキングされていないかまたは部分的にデブロッキングされた画素と、適応的ループフィルタ処理のために入れ替える。なお、本発明は水平ラインメモリおよび垂直ラインメモリの両方、または何れかに適用できる。
【００５３】
部分的にデブロッキングされた画素（半デブロック済み画素）とは、水平方向または垂直方向にのみデブロッキングされた画素であり、デブロッキングフィルタの垂直成分または水平成分のみによって処理されたことを意味する。これは、例えば、分割可能な２次元の２次元に分割可能なデブロッキングフィルタの場合であってもよい。
【００５４】
上記例において、個々の画素は、適応的ループフィルタのフィルタ６００の中央タップ６１０を適用し、かつ、残りのフィルタタップを、適用される２次元フィルタのサイズに応じて、対象ブロック内または近隣ブロック内の他の画素位置に適用することによってフィルタリングされる。本発明の実施の形態によれば、フィルタの中央タップは、デブロッキングフィルタによって処理済みの画素に対する使用に制限される。これにより、デブロッキングフィルタ処理を第１のフィルタリング、適応的ループフィルタ処理を第２のフィルタリングとして維持することが保証される。しかしながら、ラインメモリの必要量を削減する目的で、中央タップを囲むフィルタタップを、デブロッキング済み信号、デブロッキングされていない信号、または部分的にデブロッキングされた信号に適用することができる。フィルタ適用順序を、最初にデブロッキングフィルタを適用するように維持する要件は、適応的ループフィルタの中央タップをデブロッキング済みに適用することによって満たされる。しかしながら、これは、そのような中央タップを有する左右対称な２次元フィルタを用いる上記例の場合のみ該当する。概して、当該要件は、フィルタリング済み対象画素（適応的ループフィルタによって修正される画素）が既に復号済みである場合に満たされる。対象画素のフィルタリングに用いられる他の画素（他のタップが適用された画素）は、デブロッキング済みでも、デブロッキングされていなくても、部分的にデブロッキングされていてもよい。
【００５５】
図７は、本発明にしたがって変更された映像エンコーダ７００を示す。具体的には、図１を参照して説明したエンコーダに加え、再構築信号ｓ’がデブロッキングなしで直接、適応的ループフィルタ７６０に入力される。その代わり、またはそれに加えて、部分的にデブロッキングされた信号ｓ’’’が、部分的（例えば垂直のみまたは水平のみの）デブロッキングの後に、適応的ループフィルタに入力される。よって、中央タップを囲むフィルタタップは、デブロッキングされていない入力信号か、または部分的にのみデブロッキングされた入力信号に適用できる。
【００５６】
図８は、本発明にしたがって変更された映像デコーダ８００を示す。具体的には、図２を参照して説明したデコーダに加え、再構築信号ｓ’がデブロッキングなしで直接、適応的ループフィルタ８６０に入力される。その代わり、またはそれに加えて、部分的にデブロッキングされた信号ｓ’’’が、部分的（例えば垂直のみまたは水平のみの）デブロッキングの後に、適応的ループフィルタに入力される。よって、中央タップを囲むフィルタタップは、デブロッキングされていない入力信号か、または部分的にのみデブロッキングされた入力信号に適用できる。
【００５７】
図９は、デブロッキングされていない画素を用いる、そのような適応的ループフィルタを示す。デブロッキングされていない画素とは、再構築済みだが、（まだ）デブロッキング済みでない画素である。図９から分かる通り、２次元のダイヤモンド形状のフィルタがデブロッキング済み信号９２０およびデブロッキングされていない信号９１０に適用される。中央フィルタタップ９３０は、デブロッキングフィルタによって処理済みの画素に適用されると制限されているため、別に示される。よって、最初にデブロッキングフィルタ、次に適応的ループフィルタというフィルタリング順序は変更されない。図９に示されるデブロッキングされていない画素９１０は、単なる一例である。これらの画素にカバーされる領域は、デブロッキング済み画素の利用可否に依存するが、これは概して画像内で適用される中央フィルタタップの位置、特にブロック境界の近傍に依存する。デブロッキングされていない画素を用いることにより、ラインメモリのライン数が削減される。
【００５８】
図１０は、利用できないデブロッキング済み信号を用いる代わりに、部分的にデブロッキングされた信号、特に水平方向にデブロッキングされた信号１０１０を用いる適応的ループフィルタ処理を示す。上記の場合（図９参照）と同様に、中央フィルタタップ１０３０は常にデブロッキング済みデータに適用される必要があり、残りのタップは、水平方向にデブロッキングされた信号１０１０か、または利用できる場合は、完全にデブロッキングされた信号１０２０に適用される。
【００５９】
別の例を１１に示す。この適応的ループフィルタ処理は、フィルタ９００が垂直方向にのみデブロッキングされた信号１１１０および完全にデブロッキングされた信号１１２０を含む入力信号に適用される点で、図１０を参照して説明した適応的フィルタ処理と異なる。ここで信号とは、１つの画素または複数の画素を指す。
【００６０】
図１２は、図１０および１１に示される手法の組み合わせを示す。つまり、中央フィルタタップ１２４０によってフィルタリングされた画素もデブロッキング済みである場合に、水平方向にのみデブロッキングされた信号１２２０、垂直方向にのみデブロッキングされた信号１２１０、および完全にデブロッキングされた信号１２３０に適応的ループフィルタを適用する手法である。
【００６１】
図１３は、本発明を採用した別の例を示す。具体的には、中央フィルタタップをデブロッキング済み信号１３４０に適用するようにして、適応的ループフィルタが適用される。また、当該フィルタはデブロッキング済み信号ポイント１３３０、水平方向にのみデブロッキングされた信号ポイント１３２０、およびデブロッキングされていない信号１３１０に適用される。
【００６２】
当業者には明らかなとおり、デブロッキング済み、デブロッキングされていない、および／または部分的にデブロッキングされた（水平方向にのみデブロッキングされたか、垂直方向にのみデブロッキングされた）信号が、本発明に適用できる。
【００６３】
概して、デコーダ側の方がより重要であるため、デコーダ側でメモリの必要量を削減すると有益であろう。これは、特に放送において、ストリーミングまたは保存された映像コンテンツは、場合によってはリアルタイムの要件を必要としないシステムにおいて一旦符号化され、その後で端末に提供されるが、その端末の出力および／または計算能力が限られている可能性があるからである。
【００６４】
本願の効果は、オンチップラインメモリの必要量を削減することにより、デコーダの複雑性を削減することである。
【００６５】
エンコーダに関しては、デコーダ側のラインメモリの削減を達成するためにはその複雑性が少し増す可能性もある。その理由は、デブロッキング済み信号に加えて、追加的信号（デブロッキングされていないか、または部分的にデブロッキングされた信号）を、エンコーダが格納する必要があるかも知れないからである。より正確には、エンコーダにデブロッキング済み信号を格納する必要性は、実装方式の選択に大きく依存する。通常、適応的ループフィルタの設計手順はいくつかの調整ステップを必要とし、各調整ステップにおいてデブロッキング済みフレームにアクセスする必要がある可能性があるので、デブロッキング済み信号は、エンコーダ側に格納する必要がある可能性がある。
【００６６】
この課題を克服するため、エンコーダの柔軟性を増加させるための２つの追加的な代替解決策を提案する。第１の代替案：  エンコーダは、さらなる信号を格納するという追加的負担を負わないと決定した場合に、デコーダにフラグを送信してもよい。当該フラグは、デブロッキングされていない画素がＡＬＦに必要とされる領域に、ＡＬＦを適用しないことを示してもよい。当該フラグの送信は、スライス／フレーム単位、追加メッセージを介して、またはブロック単位等で実行されてもよい。この解決策により、エンコーダにかかる追加的負担を削減しながら、デコーダの格納量を削減するという利点が得られる。
【００６７】
第２の代替案：  エンコーダは、さらなる信号を格納するという追加的負担を負わないと決定した場合に、デコーダにフラグを送信してもよい。当該フラグは、デブロッキングされていない画素の使用を避けるためにパディング処理が適用されることを示してもよい。所定の位置にあるデブロッキングされていない画素の代わりに、既に利用可能なあらゆる他の信号（例えば、下記により詳細に示されるように、他の位置にあるデブロッキングされていない信号）が用いられる。提案された２つの追加的解決策は、圧縮性能の低下につながる可能性がある。しかしながら、実施の形態では、これらの解決策により、エンコーダが本発明を用いるか否かを柔軟に決定することができる。
【００６８】
部分的にデブロッキングされた信号に関し、図１４は、最大符号化単位（例えば６４画素サイズ）のピクチャフレームを示す。ブロック１４５０は、復号対象ブロックであり、グレーのストライプはデブロッキングフィルタ１４１０によって処理される（考慮される）水平エッジおよび垂直エッジを示す。デブロッキング処理は予め定義された順序で実行される。水平エッジおよび垂直エッジは１つずつフィルタリングされる。部分的にデブロッキングされた信号（フレーム）は、例えば当該図における下から３つのブロックのように、デブロッキング処理が完全には完了していないフレームである。
【００６９】
図１５は、図６と類似の例を示すが、この場合は上記本発明の実施の形態のうちの一つに係るフィルタリングを適用する。同一のフィルタマスク６００が画像信号に適用される。図６の例において、外側のライン６２３は後で修正される。これにより適応的ループフィルタ処理が遅延する。本発明によれば、フィルタリング対象信号の入力タイプが、符号化単位（ブロック）境界近傍において切り替えられる。これは、まだデブロッキングされていないにも関わらず最後の３ラインを適応的ループフィルタ処理が使用することを意味する。適応的ループフィルタが最後の３ライン６２３を修正しないため、デブロッキングフィルタ処理と適応的ループフィルタ処理の順番は変わらない。したがって、４ラインが、デブロッキングフィルタと適応的ループフィルタとで共有される。よって、ラインメモリに合計８ラインを格納する必要がある。それに対して、図６を参照して説明した例は、１１ラインを格納する必要があった。
【００７０】
提案方式におけるラインメモリの必要数を算出するための公式は、以下の通りである。
【００７１】
水平ラインメモリのライン数＝適応的ループフィルタの垂直方向の長さ−１
【００７２】
（垂直ブロック境界における）垂直ラインメモリの場合は以下の通りである。
【００７３】
水平ラインメモリのライン数＝適応的ループフィルタの水平方向の長さ−１
【００７４】
本発明の、別の特有の例が図３７Ａに示され、これは最新のＨＥＶＣコーデックの開発に関連する。ラインメモリに格納する必要がある領域は、９つの水平ラインからなる。最も下に位置する３ラインはデブロッキングフィルタで修正される可能性があることから、ＡＬＦフィルタは追加的に３ライン分保留される。ＡＬＦフィルタは、フィルタリング処理が実行されうる最も下の位置に示される。その点よりも下には、ＡＬＦがデブロッキングフィルタによって後で修正されるラインと重なるフィルタタップを有することになるため、フィルタリング処理を適用できない。図３７Ｂは、水平ＬＣＵ境界における、提案されたフィルタリング処理を示す。ここで、フィルタリング処理の追加的遅延を避けるために、ＬＣＵ境界の部分的にデブロッキングされた画素を、ＡＬＦが用いることを提案する。つまり、ブロック境界の３ラインはデブロッキングフィルタによって修正されるが、ＡＬＦがこれらの画素を入力として用いることができる。したがって、フィルタの順番によって起こる追加的な遅延が無くなり、ラインメモリの必要数を６ラインに削減できる。
【００７５】
提案された方法はデブロッキングフィルタとＡＬＦの順序を変えない。提案された技術によれば、ＡＬＦは、デブロッキングフィルタが遅延されなければならない水平ＬＣＵブロック境界の利用可能な部分的にデブロッキングされた（半デブロッキング済み）画素を用いることができる。本発明の手法はまた、色差成分に適用されてもよい。ここで、ＡＬＦフィルタの垂直方向の最大サイズは５であり、１水平ラインのみがＬＣＵ境界でデブロッキングフィルタによって修正される。
【００７６】
水平ラインメモリは、実装される必要のあるメモリの大部分を占める（ラインメモリのサイズは、フレーム幅に正比例する）。しかしながら、上記技術は、図３７Ａおよび３７Ｂにも示したように、垂直ラインメモリ削減のために適用できる。この手法はまた、垂直ラインメモリ削減を含むように拡張することも可能であり、または垂直ラインメモリのみに対する手法を採用することも可能である。図３７Ｂは、本発明の本実施の形態が、垂直ラインメモリを１１ラインから８ラインに削減できることを示す。
【００７７】
水平方向の場合と同様に、垂直ラインメモリ削減も色差成分に適用してもよい。したがって、色差フィルタリングに必要な垂直ラインメモリも、５から４に削減してもよい。
【００７８】
本発明の他の実施の形態によると、適応的ループフィルタ処理に必要であってもラインメモリ内の予め定義された数のラインを格納せず、かつそれらのラインを他の画素位置のデブロッキング済み、デブロッキングされていない、または部分的にデブロッキングされた画素と置き換えることで、ラインメモリがさらに削減される。これは図１６に示される。２ライン１６１０がフィルタリングに必要であるが、ラインメモリに格納されていないので利用できない。ラインメモリには、４ライン１６２０のみが格納されている。そして２ライン１６１０は、デブロッキングフィルタによって前処理済みの他の位置の画素と置き換えられてもよい。現在のフィルタリング順序は、デブロッキングフィルタが先なので、ラインメモリに格納された画素は既にデブロッキング済みである。そして格納された画素は、欠けている（格納されていない）２ライン１６１０を「パディングする」ために用いられ、かつ適応的ループフィルタへの入力として用いられる。しかしながら、欠けている２ライン１６１０のパディングは、半デブロッキング済み画素またはデブロッキングされていない画素を用いて実行されてもよい。ＡＬＦの前に画素のデブロッキングを待つことで起こる遅延を避けるため、ラインメモリ内のラインは、デブロッキングされていないか、または部分的にデブロッキングされているかの何れかである。したがって、パディングに用いられるデブロッキングされていない画素または部分的にデブロッキングされた画素にアクセスすることができる。デブロッキングされていないラインまたは部分的にデブロッキングされたラインは何れも、欠けているライン１６１０と置き換えるために何れの順番でも利用できる。具体的には、ここでパディング処理は既に利用できる情報の繰り返しであってもよい。これは、フィルタリング処理の連続性の秩序立てに役立つ。したがって、パディング処理は、元の画素の予測改善に役立つ新たな情報を何らもたらさない。しかしながら、デブロッキング済み信号、および部分的にデブロッキングされた信号またはデブロッキングされていない信号は、異なる情報をもつため、本質的に異なる２つの信号である。デブロッキングされていないラインまたは部分的にデブロッキングされたラインを用いてパディングを行うと、フィルタリングの秩序立てに加え、元の画像の予測が改善される。この例において、クロッピングされたダイヤモンド形状のフィルタが用いられた。しかしながら、本発明はそのような形状にも、上記に説明したダイヤモンド形状にも限定されない。本発明は、あらゆる形状のフィルタに適用でき、左右対称のフィルタである必要もない。
【００７９】
本発明の本実施の形態の効果は、ラインメモリをさらに削減できる可能性があることである。図１６に示される例において、必要なラインメモリは４ラインのみであり、このサイズは固定である。当業者には明らかなとおり、ラインの数４は単なる例であり、デブロッキングおよびＡＬＦフィルタ処理のために格納されるラインメモリのサイズはこれよりも多い場合も少ない場合（例えば１、２、３、５、６ライン等）に対応するように構成されてもよい。本実施の形態の処理は、次のように実行されてもよい。
【００８０】
１．ラインメモリを３つ削減するために、デブロッキング済み画素を待つ代わりに、部分的にデブロッキングされた画素またはデブロッキングされていない画素が、ＡＬＦの下側半分のタップによって用いられる。この手法は、上記図６〜１５に例示した。
【００８１】
２．また、図１６に示されるように、ラインメモリをさらに２ライン削減するために、選択された部分的にデブロッキングされたラインまたはデブロッキングされていないラインが位置１６１０にコピーされる。
【００８２】
しかしながら、本発明は上記実施の形態に限定されず、特に１を適用することなく２を適用することもできる。具体的には、異なる位置のデブロッキング済み、デブロッキングされていない、および／または部分的にデブロッキングされた信号は、いくつかのフィルタタップによってフィルタリングに用いられてもよく、残りのタップはデブロッキング済み信号に適用される。上記実施の形態の全てを組み合わせることもまた可能である。
【００８３】
例えば、パディングは、２ライン１６１０の画素をライン３および２からの画素とそれぞれ置き換えることにより実行されてもよい。または、ライン１の内容が両ライン１６１０にパディングされてもよい。または、ブロックの方向的構造を考慮して、ライン１６１０を、格納されている対応して水平方向に移動させられたラインと置き換えてもよい。しかしながら、本発明はこれらの例に限定されず、概して、ライン１〜４（図１６参照）の何れの組み合わせも、ライン１６１０と置き換えることができる。実際、これら４ラインの、部分的にデブロッキングされた（またはデブロッキングされていない）バージョンおよびデブロッキング済みのバージョンがデコーダにおいて利用できる。したがって、この例においては、８つの異なるラインから選択することができる。デブロッキングフィルタ処理は主に主観的品質を向上させるように設計されているため、時に客観的品質を下げる場合がある。一方、ＡＬＦは、信号の客観的品質（画素単位の歪み）を向上させる。したがって、時に、デブロッキングされていない信号をＡＬＦの入力として用いると、客観的品質を改善する場合がある。
【００８４】
本発明は、輝度および／または色差画素に適用してもよい。なお、本発明はいかなる色空間およびそれらの成分にも適用できる。
【００８５】
適応的ループフィルタによって用いられる入力信号はフィルタリング対象の画素位置に依存し、特に、符号化単位（例えばブロック、ＬＣＵ）境界に対する相対位置に依存する。よって、上述のようなデブロッキング済み画素とデブロッキングされていない画素またはデブロッキング済み画素との置き換えは、フィルタリング済み画素の位置に応じて、予め定義された固定の方法で実行されてもよい。これは、エンコーダおよびデコーダによって暗黙のうちに同じように実行されてもよい。
【００８６】
または、入力信号（デブロッキング済み信号）を置き換える特定の手法がデコーダに信号伝達されてもよい。例えば、入力信号がデブロッキングされていない信号と置き換えられるか、または部分的にデブロッキングされた信号と置き換えられるか、および／またはデブロッキングされていない信号または部分的にデブロッキングされた信号が同一の各画素位置（図６〜１５を参照して説明した実施の形態参照）からのものか、異なる位置（パディング、図１６を参照して説明した実施の形態参照）からのものかが示されてもよい。具体的には、パディング対象ラインの数および／または選択されたラインのパディングに用いられるラインの位置を信号で伝達してもよい。
【００８７】
図１７は、エンコーダ側またはデコーダ側で符号化部において採用された本発明にかかる方法をまとめたものである。フィルタリング対象信号は、通常、図７および８に示されるように再構築された符号化および復号済み信号ｓ’である。再構築信号はフィルタリングのために提供される（１７１０）。まず、提供された信号がデブロッキングフィルタによって処理される（１７２０）。デブロッキングフィルタによる処理は、さらに、デブロッキングフィルタが適用されるか否かの決定、およびそれが対象ブロック内のどの画素（画素位置）に適用されるかの決定を含んでもよい。デブロッキングフィルタによって考慮される画素は、通常、ブロック境界の近傍にある予め定められた画素である。よって、当該予め定められた画素がチェックされ、それらの画素がフィルタリングされるか、および／またはフィルタリングに用いられるかが決定される。ここで、フィルタリングされるとは、フィルタリングされた値が修正されることを意味する。フィルタリングに用いられるとは、他の画素のフィルタリングに用いられるフィルタのタップが、フィルタリングに用いられる画素に適用されることを意味する。そして、デブロッキングフィルタ処理が適用されてもよい。適応的ループフィルタは、デブロッキングフィルタによって処理済みの画素をフィルタリングする。依然として、適応的ループフィルタに用いられる全ての画素が利用可能でなくてもよい。したがって、どの入力信号がデブロッキング済み画素のフィルタリングに用いられるかが決定される。
【００８８】
具体的には、この決定は、デコーダにおけるラインメモリの必要量削減を目的として、エンコーダ側でエンコーダの能力および利用できるメモリに応じてなされてもよい。フィルタリング済み画素の位置も、特に符号化単位（対象ブロック）境界に関して考慮される。そのような決定はまた、結果として得られるフィルタリング済み信号の品質を考慮することを含んでもよく、効率−歪み最適化の一部としてもよい。この決定結果は、デコーダに送られる（対象ブロックの符号化画像データを含む）符号化ビットストリーム内に示されてもよい。具体的には、そもそもＡＬＦが適用されるか否かを示すフラグが送信されてもよい。適用される場合は、上述のように、ライン数、フィルタリングに用いられる（デブロッキング済み、デブロッキングされていない、部分的にデブロッキングされた）入力信号のタイプ等を示す指標が送信されてもよい。
【００８９】
デコーダ側において、上述のように、ビットストリームから抽出された、送信済み指標に基づいて決定が実行される。対象ブロック内のフィルタリング済み画素の位置も、特に境界部分に関して考慮される。そのような方法で、デブロッキングされるべき画素が、適応的フィルタ処理の目的で、対応する画素位置のデブロッキングされていない画素または部分的にデブロッキングされた画素と置き換えられてもよい。代替的に、またはそれに加えて、デブロッキングされるべき画素が、他の位置、特に対象ブロックの他のライン（行または列）の画素と置き換えられてもよい。
【００９０】
適応的ループフィルタへの入力信号が決定されると（１７３０）、適応的ループフィルタ処理がそれにしたがって実行される（１７４０）。
【００９１】
図１７を参照する上記説明では、第１のフィルタがデブロッキングフィルタ、第２のフィルタが適応的ループフィルタであると仮定されていた。しかしながら、本発明はこれに限定されない。本発明は、第１のフィルタが適応的ループフィルタ、第２のフィルタがデブロッキングフィルタである場合にも同様の効果を提供する。そのような場合、画素はまず適応的ループフィルタでフィルタリングされ、その後デブロッキングフィルタでフィルタリングされる。この時、デブロッキングフィルタのいくつかのタップが、適応的ループフィルタによって（まだ）処理および／またはフィルタリングされていない画素に適用されてもよく、または適応的ループフィルタによって部分的にのみフィルタリングされた画素、およびデブロッキングフィルタによってフィルタリング済みの画素に適用されてもよい。
【００９２】
第１のフィルタおよび第２のフィルタは、必ずしも適応的ループフィルタおよびデブロッキングフィルタである必要はない。概して、本発明はカスケード接続された２つのフィルタ、つまり第１のフィルタの出力が第２のフィルタの入力となり、第１のフィルタおよび／または第２のフィルタ処理のためにメモリに画素のラインを格納する必要がある、あらゆる２つのフィルタに適用することができる。
【００９３】
上記各実施の形態で示した映像符号化方法または映像復号化方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
【００９４】
さらにここで、上記各実施の形態で示した映像符号化方法や映像復号化方法の応用例とそれを用いたシステムを説明する。
【００９５】
図１８は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。
【００９６】
このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。
【００９７】
しかし、コンテンツ供給システムｅｘ１００は図１８のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
【００９８】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【００９９】
コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。
【０１００】
なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または映像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
【０１０１】
また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、映像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した画像データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
【０１０２】
また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
【０１０３】
以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
【０１０４】
なお、コンテンツ供給システムｅｘ１００の例に限らず、図１９に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも映像符号化装置または映像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した映像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する。
【０１０５】
また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した映像復号化装置または映像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に映像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に映像復号化装置を組み込んでもよい。
【０１０６】
図２０は、上記各実施の形態で説明した映像復号化方法および映像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。
【０１０７】
また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。
【０１０８】
まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
【０１０９】
また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。
【０１１０】
また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。
【０１１１】
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２１に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
【０１１２】
以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
【０１１３】
図２２に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。
【０１１４】
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
【０１１５】
また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２０に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。
【０１１６】
図２３Ａは、上記実施の形態で説明した映像復号化方法および映像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。
【０１１７】
さらに、携帯電話ｅｘ１１４の構成例について、図２３Ｂを用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。
【０１１８】
電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。
【０１１９】
携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５６から出力する。
【０１２０】
さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。
【０１２１】
データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した映像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。
【０１２２】
多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。
【０１２３】
データ通信モード時にホームページ等にリンクされた映像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した映像符号化方法に対応した映像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた映像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。
【０１２４】
また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
【０１２５】
このように、上記各実施の形態で示した映像符号化方法あるいは映像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
【０１２６】
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０１２７】
上記各実施の形態で示した映像符号化方法または装置と、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＶＣ−１など異なる規格に準拠した映像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。
【０１２８】
ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。
【０１２９】
この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す映像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。
【０１３０】
図２４は、多重化データの構成を示す図である。図２４に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した映像符号化方法または装置、従来のＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＶＣ−１などの規格に準拠した映像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ  Ｄｉｇｉｔａｌ  Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。
【０１３１】
多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副映像に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。
【０１３２】
図２５は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。
【０１３３】
図２６は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２６における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２６の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ  Ｐｒｅｓｅｎｔａｔｉｏｎ  ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。
【０１３４】
図２７は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図２７下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。
【０１３５】
また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ  Ｔｉｍｅ  Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。
【０１３６】
図２８はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。
【０１３７】
記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。
【０１３８】
多重化データ情報ファイルは、図２９に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。
【０１３９】
多重化データは図２９に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。
【０１４０】
ストリーム属性情報は図３０に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。
【０１４１】
上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した映像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した映像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した映像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。
【０１４２】
また、映像復号化方法のステップを図３１に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した映像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した映像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した映像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した映像復号方法により復号を行う。
【０１４３】
このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した映像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、映像符号化方法または装置、または、映像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。
【０１４４】
上記各実施の形態で示した映像符号化方法および装置、映像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３２に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
【０１４５】
例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ  Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。
【０１４６】
なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。
【０１４７】
また、上記では、制御部ｅｘ５１０が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５１０の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。
【０１４８】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１４９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１５０】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１５１】
上記各実施の形態で示した映像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。
【０１５２】
この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの映像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図３３は、構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した映像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した映像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した映像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。
【０１５３】
より具体的には、駆動周波数切替え部ｅｘ８０３は、図３２のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した映像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図３０の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、識別情報を利用することが考えられる。識別情報に関しては、上述のものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図３５のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。
【０１５４】
図３４は、方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。
【０１５５】
さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。
【０１５６】
また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、Ｈ．２６４／ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した映像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。
【０１５７】
さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した映像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した映像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した映像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。
【０１５８】
このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。
【０１５９】
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。
【０１６０】
この課題を解決するために、上記各実施の形態で示した映像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図３６Ａのｅｘ９００に示す。例えば、上記各実施の形態で示した映像復号方法と、Ｈ．２６４／ＡＶＣ規格に準拠する映像復号方法とは、エントロピー符号化、逆量子化、デブロッキングフィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、Ｈ．２６４／ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、Ｈ．２６４／ＡＶＣ規格に対応しない、本発明特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成としてもよい。本発明は、デブロッキングフィルタおよび適応的ループフィルタ等のフィルタリングの適用に特徴を有していることから、例えば、そのようなフィルタリングについては専用の復号処理部ｅｘ９０１を用い、それ以外のエントロピー復号、逆量子化、空間的または動き補償予測のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した映像復号化方法を実行するための復号処理部を共有し、Ｈ．２６４／ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。
【０１６１】
また、処理を一部共有化する他の例を図３６Ｂのｅｘ１０００に示す。この例では、本発明に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の映像復号方法と他の従来規格の映像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、構成を、ＬＳＩｅｘ５００で実装することも可能である。
【０１６２】
このように、本発明の映像復号方法と、従来の規格の映像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。
【０１６３】
上記の例の大部分は、Ｈ．２６４／ＡＶＣに基づく映像符号化方式との関連において概要を説明し、用語は主に、Ｈ．２６４／ＡＶＣの用語に関連する。しかしながら、Ｈ．２６４／ＡＶＣに基づく符号化に関する用語および様々な実施例の説明によって、本発明の原理および概念をそのようなシステムに限定することを意図するものではない。また、Ｈ．２６４／ＡＶＣ標準規格に準拠した符号化および復号の詳細な説明は、ここに説明した例示的な実施の形態のよりよい理解を意図したものであり、本発明を、映像符号化におけるプロセスおよび機能に関し説明された特定の実施形態に限定するものと解釈されるべきではない。しかしながら、ここに提案した改良は、説明された映像符号化に容易に適用可能である。さらに、本発明の概念もまた、現在ＪＣＴ−ＶＣが検討しているＨ．２６４／ＡＶＣ符号化および／またはＨＥＶＣの強化に直ちに適用されてもよい。
【０１６４】
要するに、本発明は、最初にデブロッキングフィルタ、次に適応的ループフィルタを用いて画像データをフィルタリングすることに関し、映像符号化および復号に適している。フィルタリングに必要なバッファ画像ラインに用いられるオンチップメモリの必要量を削減する目的で、適応的ループフィルタのための入力信号が、デブロッキング済み画素、デブロッキングされていない画素、および部分的（水平方向のみまたは垂直方向のみ）にデブロッキングされた画素の中から決定される。デブロッキング済み画素の適応的ループフィルタ処理において、入力信号の決定に応じて、デブロッキング済み画素および／またはデブロッキングされていない画素および／または部分的にデブロッキングされた画素に、フィルタタップを適用してもよい。本発明の効果は、両方のフィルタに用いられる、特にデコーダにおいて必要なラインメモリを削減することである。
【図１】
2014512732.tif 000006
【図２】
2014512732.tif 000007
【図３Ａ】
2014512732.tif 000008
【図３Ｂ】
2014512732.tif 000009
【図４】
2014512732.tif 000010
【図５】
2014512732.tif 000011
【図６】
2014512732.tif 000012
【図７】
2014512732.tif 000013
【図８】
2014512732.tif 000014
【図９】
2014512732.tif 000015
【図１０】
2014512732.tif 000016
【図１１】
2014512732.tif 000017
【図１２】
2014512732.tif 000018
【図１３】
2014512732.tif 000019
【図１４】
2014512732.tif 000020
【図１５】
2014512732.tif 000021
【図１６】
2014512732.tif 000022
【図１７】
2014512732.tif 000023
【図１８】
2014512732.tif 000024
【図１９】
2014512732.tif 000025
【図２０】
2014512732.tif 000026
【図２１】
2014512732.tif 000027
【図２２】
2014512732.tif 000028
【図２３Ａ】
2014512732.tif 000029
【図２３Ｂ】
2014512732.tif 000030
【図２４】
2014512732.tif 000031
【図２５】
2014512732.tif 000032
【図２６】
2014512732.tif 000033
【図２７】
2014512732.tif 000034
【図２８】
2014512732.tif 000035
【図２９】
2014512732.tif 000036
【図３０】
2014512732.tif 000037
【図３１】
2014512732.tif 000038
【図３２】
2014512732.tif 000039
【図３３】
2014512732.tif 000040
【図３４】
2014512732.tif 000041
【図３５】
2014512732.tif 000042
【図３６Ａ】
2014512732.tif 000043
【図３６Ｂ】
2014512732.tif 000044
【図３７Ａ】
2014512732.tif 000045
【図３７Ｂ】
2014512732.tif 000046
【国際調査報告】
2014512732.tif 000047
2014512732.tif 000048