(57)【要約】  可変長符号化部２３が、動きベクトルの探索可能な最大範囲を示す動きベクトル制限情報と、ＧＯＰに属するピクチャの数であるＧＯＰサイズの最大値を示すＧＯＰサイズ制限情報と、ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報を全領域ビットストリームに多重化する。これにより、全領域のビットストリームの圧縮効率の低下を招くことなく、低演算量で効率的な部分領域のビットストリームの生成に適している全領域のビットストリームを生成することができる。
2015034061.tif 000002
【特許請求の範囲】
【請求項１】
ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）に属するピクチャ内の符号化対象ブロックに対する符号化パラメータを決定し、前記符号化パラメータを用いて、予測画像を生成する予測画像生成手段と、
前記符号化対象ブロックと前記予測画像生成手段により生成された予測画像の差分画像を圧縮符号化し、その符号化結果である符号化データと前記符号化パラメータを多重化してビットストリームを生成するビットストリーム生成手段とを備え、
前記ビットストリーム生成手段は、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、前記ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、前記ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報を前記ビットストリームに多重化することを特徴とする動画像符号化装置。
【請求項２】
前記予測画像生成手段は、前記符号化対象ブロックに対する符号化モードがインター符号化モードである場合、前記動きベクトル制限情報が示す領域内で動きベクトルを探索し、前記動きベクトルと前記符号化パラメータを用いて、前記符号化対象ブロックに対する予測処理を実施して予測画像を生成することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
請求項１記載の動画像符号化装置により生成されたビットストリームからヒント情報を抽出し、前記ヒント情報に含まれている動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報を参照して、外部から与えられた表示領域情報が示すピクチャの表示領域を復号する際に必要な領域である必須符号化領域を特定する必須符号化領域特定手段と、
前記動画像符号化装置により生成されたビットストリームから、前記必須符号化領域特定手段により特定された必須符号化領域に含まれている符号化対象ブロックの符号化データ及び符号化パラメータを抽出するパラメータ抽出手段と、
前記パラメータ抽出手段により抽出された符号化データ及び符号化パラメータから予め設定されている符号化コーデックに準拠している部分領域ストリームを生成する部分領域ストリーム生成手段と
を備えた動画像トランスコード装置。
【請求項４】
前記パラメータ抽出手段は、
前記必須符号化領域特定手段により特定された必須符号化領域に含まれている符号化対象ブロックが、前記必須符号化領域の外部の画素値を参照してイントラ符号化が行われている外部参照ブロックでない場合、前記動画像符号化装置により生成されたビットストリームから前記符号化対象ブロックの符号化データ及び符号化パラメータを抽出して、前記符号化データ及び符号化パラメータを出力する符号化パラメータ抽出部と、
前記必須符号化領域特定手段により特定された必須符号化領域に含まれている符号化対象ブロックが、前記必須符号化領域の外部の画素値を参照してイントラ符号化が行われている外部参照ブロックである場合、前記必須符号化領域の外部の画素値を予測参照に用いない符号化方式で、前記符号化対象ブロックの復号画像を符号化し、その符号化結果である符号化データと前記復号画像の符号化に用いた符号化パラメータを出力する外部参照ブロック符号化部と、
前記符号化パラメータ抽出部から出力された符号化データ及び符号化パラメータ、または、前記外部参照ブロック符号化部から出力された符号化データ及び符号化パラメータを選択し、その選択した符号化データ及び符号化パラメータを前記部分領域ストリーム生成手段に出力する切換スイッチとを備えたことを特徴とする請求項３記載の動画像トランスコード装置。
【請求項５】
前記外部参照ブロック符号化部は、前記符号化対象ブロックの画面端の画素値を参照するイントラ符号化方式でイントラ予測画像を生成し、前記符号化対象ブロックの復号画像と前記イントラ予測画像の差分画像を圧縮符号化して、その符号化結果である符号化データと前記イントラ予測画像を生成する際に用いた符号化パラメータを出力することを特徴とする請求項４記載の動画像トランスコード装置。
【請求項６】
前記外部参照ブロック符号化部は、前記符号化対象ブロックの復号画像をＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）符号化し、その符号化結果である符号化データとＰＣＭ符号化パラメータを出力することを特徴とする請求項４記載の動画像トランスコード装置。
【請求項７】
前記パラメータ抽出手段は、
前記ＧＯＰに属する各ピクチャにおける必須符号化領域のサイズが異なる場合、前記各ピクチャにおける必須符号化領域の中から、前記サイズに基づいてトランスコード対象領域とする必須符号化領域を指定し、
各々のピクチャにおいて、前記指定した必須符号化領域の外部にあって、前記トランスコード対象領域の内部にある符号化対象ブロックについては、インター符号化方式におけるスキップモードで符号化し、その符号化結果である符号化データと前記符号化対象ブロックの符号化に用いた符号化パラメータを出力する不要ブロック符号化部を備え、
前記切換スイッチは、前記符号化パラメータ抽出部から出力された符号化データ及び符号化パラメータ、前記外部参照ブロック符号化部から出力された符号化データ及び符号化パラメータ、または、前記不要ブロック符号化部から出力された符号化データ及び符号化パラメータを選択し、その選択した符号化データ及び符号化パラメータを前記部分領域ストリーム生成手段に出力することを特徴とする請求項４記載の動画像トランスコード装置。
【請求項８】
予測画像生成手段が、ＧＯＰに属するピクチャ内の符号化対象ブロックに対する符号化パラメータを決定し、前記符号化パラメータを用いて、予測画像を生成し、
ビットストリーム生成手段が、前記符号化対象ブロックと前記予測画像の差分画像を圧縮符号化し、その符号化結果である符号化データと前記符号化パラメータを多重化してビットストリームを生成する動画像符号化方法であって、
前記ビットストリーム生成手段では、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、前記ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、前記ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報を前記ビットストリームに多重化することを特徴とする動画像符号化方法。
【請求項９】
必須符号化領域特定手段が、請求項８記載の動画像符号化方法によって生成されたビットストリームからヒント情報を抽出し、前記ヒント情報に含まれている動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報を参照して、外部から与えられた表示領域情報が示すピクチャの表示領域を復号する際に必要な領域である必須符号化領域を特定し、
パラメータ抽出手段が、前記動画像符号化方法によって生成されたビットストリームから、前記必須符号化領域に含まれている符号化対象ブロックの符号化データ及び符号化パラメータを抽出し、
部分領域ストリーム生成手段が、前記パラメータ抽出手段により抽出された符号化データ及び符号化パラメータから予め設定されている符号化コーデックに準拠している部分領域ストリームを生成する動画像トランスコード方法。
【請求項１０】
前記ビットストリーム生成手段は、前記符号化対象ブロックが、全領域画像がサブピクチャ単位に分割されているブロックに相当する場合、前記ヒント情報を多重化しているサブピクチャ単位のビットストリームを生成したのち、前記サブピクチャ単位のビットストリームを全領域画像分まとめて、全領域画像のビットストリームである全領域ストリームを出力することを特徴とする請求項１記載の動画像符号化装置。
【請求項１１】
請求項１０記載の動画像符号化装置と、
前記動画像符号化装置から出力された全領域ストリームと、前記全領域画像におけるサブピクチャの分割状態及び前記全領域ストリームに含まれているサブピクチャ単位のビットストリームのデータ位置を示すサブピクチャ情報とを予め設定されている伝送フォーマットの多重化信号に多重化して、前記多重化信号を伝送する多重化伝送装置と、
前記多重化伝送装置により伝送された多重化信号を受信して、前記多重化信号に含まれている前記全領域ストリームと前記サブピクチャ情報を分離し、前記サブピクチャ情報と復号対象のサブピクチャを示す表示領域情報とを参照して、前記全領域ストリームから復号対象のサブピクチャのビットストリームを抽出する多重分離装置と
を備えた動画像ストリーム伝送システム。
【請求項１２】
請求項１０記載の動画像符号化装置と、
前記全領域画像におけるサブピクチャの分割状態及び前記全領域ストリームに含まれているサブピクチャ単位のビットストリームのデータ位置を示すサブピクチャ情報とを参照して、前記動画像符号化装置より出力された全領域ストリームから復号対象のサブピクチャのビットストリームを抽出し、前記復号対象のサブピクチャのビットストリームを予め設定されている伝送フォーマットの多重化信号に多重化して、前記多重化信号を伝送する多重化伝送装置と、
前記多重化伝送装置により伝送された多重化信号を受信して、前記多重化信号に含まれている前記復号対象のサブピクチャのビットストリームを分離する多重分離装置と
を備えた動画像ストリーム伝送システム。
【請求項１３】
前記多重化伝送装置は、前記復号対象のサブピクチャのビットストリームを復号する動画像復号装置から前記表示領域情報を取得することを特徴とする請求項１２記載の動画像ストリーム伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を圧縮符号化して符号化データを生成する画像符号化装置及び画像符号化方法と、画像符号化装置により生成された符号化データから、性質の異なる別の符号化データを生成する動画像トランスコード装置及び動画像トランスコード方法と、画像符号化装置により生成された符号化データを送受信する動画像ストリーム伝送システムとに関するものである。
【背景技術】
【０００２】
撮像機器、表示機器、圧縮符号化技術、伝送技術などの進歩に伴って、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）を超える解像度（例えば、４Ｋ、８Ｋなどの解像度）を持つＵＨＤ（Ｕｌｔｒａ−Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）の超高解像度映像の配信サービスが検討されている。
超高解像度映像では、映像の情報量が膨大であるため、映像信号の伝送や蓄積を行う際には映像符号化技術を用いて圧縮することが一般的である。
以下、超高解像度映像を伝送する際には、所定の映像符号化技術によって圧縮されたビットストリーム形式で扱うことを前提とする。【０００３】
超高解像度映像を視聴する際には、映像の画素数と比べて、表示機器の見かけのサイズが小さ過ぎることで、映像中の微細な構造（例えば、文字情報、人物の顔など）が、映像中の情報として存在していても、視聴が困難になる場合が想定される。
このような問題を解決するために、伝送されてきた超高解像度映像の全領域をメイン表示機器（例えば、リビングに設置されている大画面のＴＶなど）に表示するとともに、超高解像度映像の全領域の中から、ユーザにより指定された部分領域の映像を抽出し、その部分領域の映像をサブ表示機器（例えば、ユーザ手元にあるタブレット端末など）に伝送して視聴するシステムが考えられる。【０００４】
上記のシステムでは、メイン表示機器からサブ表示機器に部分領域映像が伝送されるが、その部分領域映像の伝送の際には、その部分領域映像に関する情報だけが含まれているビットストリームの形式で伝送することが望ましい。
超高解像度映像の全領域ビットストリームを部分領域ビットストリーム（部分領域映像に関する情報だけを含むビットストリーム）に圧縮しないで、その超高解像度映像の全領域ビットストリームをそのまま伝送する場合、伝送情報量が非常に多くなってしまうとともに、サブ表示機器が超高解像度映像の全領域を復号する必要があるため、処理負荷が大きくなってしまうからである。
よって、上記のシステムにおけるメイン表示機器は、超高解像度映像の全領域ビットストリームから、任意の部分領域ビットストリームを生成するトランスコード機能を有することが望ましい。【０００５】
全領域ビットストリームから任意の部分領域ビットストリームを生成する方法としては、例えば、以下の方法が考えられる。
［方法１］
メイン表示機器が超高解像度映像の全領域を復号したのち、全領域の復号画像からユーザにより指定された部分領域の復号画像を切り出し、その部分領域の復号画像を再度所定の映像符号化技術によって符号化する。
そして、メイン表示機器が、その符号化結果である部分領域の符号化データと符号化パラメータを含む部分領域ビットストリームを生成する。
ただし、方法１の場合、部分領域の復号画像を再度符号化する必要があるため、メイン表示機器の処理負荷が大きくなるとともに、再符号化に伴って画質が劣化してしまう問題がある。【０００６】
［方法２］
方法２は以下の特許文献１に開示されており、全領域ビットストリームを生成する際、タイル分割を実施して、画像の領域間の参照を断ち切っておく方式である。
即ち、全領域をタイルと呼ばれる矩形領域の画像を分割し、各矩形領域を符号化することで全領域ビットストリームを生成するものであるが、各矩形領域を符号化する際に参照する局所復号画像や符号化パラメータについては、タイル境界を跨ぐ参照（フレーム間参照、エントロピー符号化も含む）を行わないように制限するものである。
このような制限を設けることで、各タイルを完全に独立に復号することが可能になるため、全領域ビットストリームからユーザにより指定された部分領域を含むタイルの符号化データ及び符号化パラメータを抽出すれば、部分領域の符号化データ及び符号化パラメータを含む部分領域ビットストリームを生成することができる。
ただし、方法２では、符号化データ及び符号化パラメータの抽出がタイル単位になるため、ユーザにより指定された部分領域が複数のタイルに跨っている場合や、部分領域よりもタイルサイズが大きい場合などには、表示に不要な領域を多く含む部分領域ビットストリームが生成されてしまって非効率的である。
部分領域ビットストリームの生成効率を上げるためにタイルサイズを小さくすると、参照を断ち切る箇所が多くなるため、全領域ビットストリームの圧縮効率が低下してしまう問題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開２０１２／０６０４５９号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の動画像符号化装置は以上のように構成されているので、全領域を矩形領域（タイル）の画像を分割し、タイル境界を跨ぐ参照を制限した状態で、各矩形領域を符号化するようにすれば、処理負荷の増大や画質の劣化を抑えることができる。しかし、ユーザにより指定された部分領域が複数のタイルに跨っている場合などには、表示に不要な領域を多く含む部分領域ビットストリームが生成されてしまって非効率的になる課題があった。一方、部分領域ビットストリームの生成効率を上げるためにタイルサイズを小さくすると、参照を断ち切る箇所が多くなるため、全領域ビットストリームの圧縮効率が低下してしまう課題があった。【０００９】
この発明は上記のような課題を解決するためになされたもので、全領域ビットストリームの圧縮効率の低下を招くことなく、低演算量で効率的な部分領域ビットストリームの生成に適している全領域ビットストリームを生成することができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、効率的な部分領域ビットストリームを低演算量で生成することができる動画像トランスコード装置及び動画像トランスコード方法を得ることを目的とする。
また、この発明は、画像符号化装置により生成された符号化データを送受信する動画像ストリーム伝送システムを得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る動画像符号化装置は、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）に属するピクチャ内の符号化対象ブロックに対する符号化パラメータを決定し、その符号化パラメータを用いて、予測画像を生成する予測画像生成手段と、符号化対象ブロックと予測画像生成手段により生成された予測画像の差分画像を圧縮符号化し、その符号化結果である符号化データと符号化パラメータを多重化してビットストリームを生成するビットストリーム生成手段とを備え、ビットストリーム生成手段が、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報をビットストリームに多重化するようにしたものである。
【発明の効果】
【００１１】
この発明によれば、ビットストリーム生成手段が、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報をビットストリームに多重化するように構成したので、全領域のビットストリームの圧縮効率の低下を招くことなく、低演算量で効率的な部分領域のビットストリームの生成に適している全領域のビットストリームを生成することができる効果がある。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による動画像符号化装置及び動画像トランスコード装置が適用されるシステムを示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置１を示す構成図である。
【図３】この発明の実施の形態１による動画像トランスコード装置２の全領域ストリーム復号部３を示す構成図である。
【図４】この発明の実施の形態１による動画像トランスコード装置２の部分領域トランスコード部４を示す構成図である。
【図５】この発明の実施の形態１による動画像符号化装置１の処理内容（動画像符号化方法）を示すフローチャートである。
【図６】この発明の実施の形態１による動画像トランスコード装置２の全領域ストリーム復号部３の処理内容を示すフローチャートである。
【図７】この発明の実施の形態１による動画像トランスコード装置２の部分領域トランスコード部４の処理内容を示すフローチャートである。
【図８】最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
【図９】（ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。
【図１０】ＧＯＰサイズ制限情報と参照構造指定情報が指す情報の意味を示す説明図である。
【図１１】この発明の実施の形態２による動画像符号化装置及び動画像トランスコード装置が適用されるシステムを示す構成図である。
【図１２】全領域画像が６個のサブピクチャに分割されている例を示す説明図である。
【図１３】この発明の実施の形態３による動画像ストリーム伝送システムを示す構成図である。
【図１４】この発明の実施の形態３による動画像ストリーム伝送システムを示す構成図である。
【図１５】この発明の実施の形態４による動画像ストリーム伝送システムを示す構成図である。
【発明を実施するための形態】
【００１３】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
この実施の形態１では、フレーム間予測を行う際の動きベクトルの最大値や、ランダムアクセスポイント間のフレーム数に制限を設けることで、ランダムアクセスポイント間における画素値情報の伝播範囲が一定以内に収まるように符号化を実施して全領域ビットストリームを生成するとともに、動きベクトルの最大値の制限値や、ランダムアクセスポイント間のフレーム数の制限値などを示す情報を、ヒント情報として、全領域のビットストリームに多重化する動画像符号化装置について説明する。
また、上記の動画像符号化装置により生成された全領域のビットストリームから全領域の符号化データを復号するとともに、全領域のビットストリームに多重化されているヒント情報を参照して、全領域の符号化データ及び符号化パラメータの中から、ユーザにより指定された表示領域を正しく復号する際に必要な符号化データ及び符号化パラメータを特定し、その符号化データ及び符号化パラメータを流用することで、低演算量で部分領域のビットストリームを生成する動画像トランスコード装置について説明する。
【００１４】
図１はこの発明の実施の形態１による動画像符号化装置及び動画像トランスコード装置が適用されるシステムを示す構成図である。
図１において、動画像符号化装置１は入力された動画像の全領域（フレーム全体を含む領域）のピクチャに対して、後段の動画像トランスコード装置２が処理できる形式で符号化処理を実施することで全領域ビットストリームを生成するとともに、トランスコード用のヒント情報（詳細は後述する）を全領域ビットストリームに多重化して、ヒント情報多重化後の全領域ビットストリームを動画像トランスコード装置２に出力する装置である。
【００１５】
即ち、動画像符号化装置１はＧＯＰ（Ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅｓ）に属するピクチャ内の符号化対象ブロックに対する符号化パラメータを決定し、その符号化パラメータを用いて、予測画像を生成するとともに、符号化対象ブロックと当該予測画像の差分画像を圧縮符号化し、その符号化結果である符号化データと当該符号化パラメータを多重化して全領域ビットストリームを生成する処理を実施し、また、動きベクトルの探索可能な最大範囲を示す動きベクトル制限情報と、ＧＯＰに属するピクチャの数であるＧＯＰサイズの最大値を示すＧＯＰサイズ制限情報と、ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報を全領域ビットストリームに多重化して、その全領域ビットストリームを動画像トランスコード装置２に出力する処理を実施する。
なお、ＧＯＰは、あるランダムアクセスポイントピクチャと、当該ランダムアクセスポイントピクチャより復号順で後に連続するランダムアクセスポイントでないピクチャの集合を意味する。
【００１６】
図１０はＧＯＰサイズ制限情報と参照構造指定情報が指す情報の意味を示す説明図である。
ＧＯＰサイズ制限情報は、上記定義のＧＯＰのサイズを示すものである。従来の動画像符号化装置が作成するビットストリームの中には、ＧＯＰというデータ構造は存在するが、ＧＯＰのサイズを示す情報は存在しない。即ち、ランダムアクセスポイントピクチャを復号してから、次のランダムアクセスポイントピクチャを復号するまでのピクチャ数がＧＯＰサイズであり、復号装置側では、ＧＯＰを全て復号するまでＧＯＰサイズを知ることができなかった。ＧＯＰサイズ制限情報は、例えばＧＯＰの先頭のフレームの符号化データに多重化されることで、ＧＯＰを全て復号する前に、復号装置側にＧＯＰサイズを伝達する効果を有する。
参照構造指定情報は、ピクチャ間の参照構造を記述している。従来の動画像符号化装置では、各フレーム個別に、当該フレームの参照先フレーム情報が多重化されているのみである。即ち、あるＧＯＰがどのような参照構造で符号化されているかを復号装置側で知るためには、ＧＯＰを全て復号する必要があった。参照構造指定情報は、例えば、ＧＯＰの先頭のフレームの符号化データに多重化されることで、ＧＯＰを全て復号する前に、参照構造を復号側に伝送する効果を有する。
【００１７】
動画像トランスコード装置２は全領域ストリーム復号部３及び部分領域トランスコード部４から構成されており、動画像符号化装置１により生成された全領域ビットストリームから全領域の画像を復号して、全領域の画像（以下、「全領域復号画像」と称する）を全領域表示装置５に出力する処理を実施する。
また、動画像トランスコード装置２は動画像符号化装置１により生成された全領域ビットストリームからヒント情報を抽出し、そのヒント情報に含まれている動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報を参照して、外部から与えられた表示領域情報が示すピクチャの表示領域を復号する際に必要な領域である必須符号化領域を特定する処理を実施する。
さらに、動画像トランスコード装置２は動画像符号化装置１により生成された全領域ビットストリームから必須符号化領域に含まれている符号化対象ブロックの符号化データ及び符号化パラメータを抽出し、その符号化データ及び符号化パラメータから予め設定されている符号化コーデックに準拠している部分領域ビットストリームを生成する処理を実施する。
【００１８】
全領域ストリーム復号部３は動画像符号化装置１により生成された全領域ビットストリームに含まれている全領域の符号化データ及び符号化パラメータとヒント情報を抽出し、全領域の符号化データ及び符号化パラメータから全領域復号画像を復号して、全領域復号画像を部分領域トランスコード部４及び全領域表示装置５に出力するとともに、全領域の符号化データ及び符号化パラメータとヒント情報を部分領域トランスコード部４に出力する処理を実施する。
部分領域トランスコード部４は全領域ストリーム復号部３から出力されたヒント情報に含まれている動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報を参照して、外部から与えられた表示領域情報が示すピクチャの表示領域を復号する際に必要な領域である必須符号化領域を特定する処理を実施する。
なお、全領域ストリーム復号部３及び部分領域トランスコード部４から必須符号化領域特定手段が構成されている。
【００１９】
また、部分領域トランスコード部４は全領域ストリーム復号部３から出力された全領域の符号化データ及び符号化パラメータの中から、上記の必須符号化領域に含まれている符号化対象ブロックの符号化データ及び符号化パラメータを抽出し、符号化対象ブロックの符号化データ及び符号化パラメータから予め設定されている符号化コーデックに準拠している部分領域ビットストリームを生成する処理を実施する。
なお、部分領域トランスコード部４はパラメータ抽出手段及び部分領域ストリーム生成手段を構成している。
【００２０】
全領域表示装置５は全領域ストリーム復号部３から出力された全領域復号画像を表示する表示機器である。
動画像復号装置６は部分領域トランスコード部４から出力された部分領域ビットストリームから部分領域の画像を復号して、部分領域の画像（以下、「部分領域復号画像」と称する）を部分領域表示装置７に出力する装置である。
部分領域表示装置７は動画像復号装置６から出力された部分領域復号画像を表示する表示機器である。
【００２１】
具体的な運用例として、動画像トランスコード装置２が、超高解像度映像の受信再生が可能な据え置き型ＴＶに内蔵されている場合を説明する。
この場合、動画像符号化装置１は、超高解像度映像を配信するシステム側に存在し、配信対象の全領域ビットストリームを生成するエンコーダ装置である。
したがって、エンコーダ装置である動画像符号化装置１により生成された全領域ビットストリームが、所定の伝送システムを介して、据え置き型ＴＶに配信される。
据え置き型ＴＶに内蔵されている動画像トランスコード装置２が、動画像符号化装置１から配信された全領域ビットストリームを受信し、全領域ビットストリームから全領域復号画像を復号することで、全領域復号画像を全領域表示装置５に表示する。
【００２２】
ここでの据え置き型ＴＶは、視聴者のタブレット端末に対して、データを送受信することが可能であり、ユーザがタブレット端末を操作して、任意の表示領域を指定すると、その表示領域を示す表示領域情報が据え置き型ＴＶ内の動画像トランスコード装置２に入力され、動画像トランスコード装置２がユーザ指定の表示領域の再生に必要な符号化パラメータ等を含む部分領域ビットストリームを生成して、その部分領域ビットストリームをタブレット端末に送信する。
タブレット端末には動画像復号装置６が内蔵されており、動画像復号装置６が動画像トランスコード装置２から送信された部分領域ビットストリームを受信し、その部分領域ビットストリームから部分領域復号画像を復号することで、部分領域復号画像を部分領域表示装置７に表示する。
なお、タブレット端末では、部分領域復号画像を適宜拡大して表示することも可能である。
以上より、図１に示すシステムを用いることで、ユーザは超高解像度のＴＶ映像を視聴しながら、手元のタブレット端末で任意の部分領域を適宜拡大して表示することが可能となる。
【００２３】
図２はこの発明の実施の形態１による動画像符号化装置１を示す構成図である。
図２において、符号化制御部１１は動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報などの情報を入力し、ＧＯＰに属するピクチャ（入力画像）内の符号化対象ブロックのサイズである符号化ブロックサイズを決定し、その符号化ブロックサイズをブロック分割部１２に出力する処理を実施する。
また、符号化制御部１１はＧＯＰサイズ制限情報、参照構造指定情報などに基づいて、符号化パラメータを決定する処理を実施する。
即ち、符号化制御部１１は符号化パラメータとして、各符号化対象ブロックの符号化モード（イントラ符号化モード、インター符号化モード、ＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）符号化モード）や、予測パラメータ（イントラ予測パラメータ、インター予測パラメータ）、ＰＣＭ符号化パラメータを決定する処理を実施する。
また、符号化制御部１１は符号化パラメータとして、直交変換処理や量子化処理等を実施する際に参照する予測差分符号化パラメータを決定して、その予測差分符号化パラメータを変換・量子化部１８、逆量子化・逆変換部１９及び可変長符号化部２３に出力するとともに、符号化パラメータとして、フィルタリング処理を実施する際に参照するループフィルタパラメータを決定して、そのループフィルタパラメータをループフィルタ部２１及び可変長符号化部２３に出力する処理を実施する。
さらに、符号化制御部１１は動きベクトル制限情報を動き補償予測部１５に出力し、ヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報）を可変長符号化部２３に出力する処理を実施する。
【００２４】
ブロック分割部１２はＧＯＰに属するピクチャ（入力画像）を入力する毎に、ピクチャを符号化制御部１１により決定された符号化ブロックサイズのブロックに分割して、予測処理単位のブロックである符号化対象ブロックを切換スイッチ１３及び減算部１７に出力する処理を実施する。
切換スイッチ１３は符号化制御部１１により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１２から出力された符号化対象ブロックをイントラ予測部１４に出力し、符号化制御部１１により決定された符号化モードがインター符号化モードであれば、ブロック分割部１２から出力された符号化対象ブロックを動き補償予測部１５に出力し、符号化制御部１１により決定された符号化モードがＰＣＭ符号化モードであれば、ブロック分割部１２から出力された符号化対象ブロックをＰＣＭ符号化部１６に出力する処理を実施する。
【００２５】
イントラ予測部１４は符号化制御部１１により決定されたイントラ予測パラメータを用いて、切換スイッチ１３から出力された符号化対象ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
動き補償予測部１５は切換スイッチ１３から出力された符号化対象ブロックとフレームメモリ２２に格納されているループフィルタ処理後の局所復号画像を比較することで、符号化制御部１１から出力された動きベクトル制限情報が示す最大範囲の領域内で動きベクトルを探索し、その動きベクトルと符号化制御部１１により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理を実施してインター予測画像を生成する処理を実施する。
なお、動き補償予測部１５は符号化パラメータとして、探索した動きベクトルを可変長符号化部２３に出力する処理を実施する。
【００２６】
ＰＣＭ符号化部１６は予測処理を実施せずに、符号化制御部１１により決定されたＰＣＭ符号化パラメータを用いて、切換スイッチ１３から出力された符号化対象ブロックに該当するピクチャ（入力画像）内の領域の画素データを所定のビット幅に変換することでＰＣＭ信号（符号化データ）を生成して、そのＰＣＭ信号を可変長符号化部２３に出力するとともに、同じく画素データを所定のビット幅に変換することでＰＣＭ画像を生成して、そのＰＣＭ画像をループフィルタ部２１に出力する処理を実施する。
なお、符号化制御部１１、ブロック分割部１２、切換スイッチ１３、イントラ予測部１４、動き補償予測部１５及びＰＣＭ符号化部１６から予測画像生成手段が構成されている。
【００２７】
減算部１７はブロック分割部１２より出力された符号化対象ブロックから、イントラ予測部１４により生成されたイントラ予測画像、または、動き補償予測部１５により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部１８に出力する処理を実施する。
変換・量子化部１８は符号化制御部１１により決定された予測差分符号化パラメータを参照して、減算部１７から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数（以下、「量子化後係数」と称する）を逆量子化・逆変換部１９及び可変長符号化部２３に出力する処理を実施する。
【００２８】
逆量子化・逆変換部１９は符号化制御部１１により決定された予測差分符号化パラメータを参照して、変換・量子化部１８から出力された量子化後係数を逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の変換係数に対する逆直交変換処理を実施して、減算部１７から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部２０は逆量子化・逆変換部１９により算出された局所復号予測差分信号が示す差分画像と、イントラ予測部１４により生成されたイントラ予測画像、または、動き補償予測部１５により生成されたインター予測画像とを加算して、ブロック分割部１２から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。
【００２９】
ループフィルタ部２１は符号化制御部１１から出力されたフィルタパラメータに基づいて、０種以上のフィルタリング処理を順次実施する。ただし、ＰＣＭ符号化モードの符号化対象ブロックに対してループフィルタ処理を実施しない構成になっている場合、ＰＣＭ符号化モードの符号化対象ブロックに対してはループフィルタ処理を実施しない。
フレームメモリ２２はループフィルタ部２１によるループフィルタ処理後の局所復号画像を格納する記録媒体である。
【００３０】
可変長符号化部２３は変換・量子化部１８から出力された量子化後係数（符号化データ）と、符号化制御部１１から出力された符号化モード（イントラ符号化モード／インター符号化モード／ＰＣＭ符号化モード）、予測パラメータ（イントラ予測パラメータ／インター予測パラメータ）／ＰＣＭ符号化パラメータ、予測差分符号化パラメータ及びフィルタパラメータと、動き補償予測部１５から出力された動きベクトル（符号化モードがインター符号化モードである場合）と、ＰＣＭ符号化部１６から出力されたＰＣＭ信号（符号化データ）と、符号化制御部１１から出力されたヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報）とを可変長符号化して、それらの符号化結果を示す全領域ビットストリームを生成する処理を実施する。
なお、減算部１７、変換・量子化部１８及び可変長符号化部２３からビットストリーム生成手段が構成されている。
【００３１】
図２では、動画像符号化装置１の構成要素である符号化制御部１１、ブロック分割部１２、切換スイッチ１３、イントラ予測部１４、動き補償予測部１５、ＰＣＭ符号化部１６、減算部１７、変換・量子化部１８、逆量子化・逆変換部１９、加算部２０、ループフィルタ部２１及び可変長符号化部２３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置１がコンピュータで構成されていてもよい。
動画像符号化装置１がコンピュータで構成されている場合、フレームメモリ２２をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、符号化制御部１１、ブロック分割部１２、切換スイッチ１３、イントラ予測部１４、動き補償予測部１５、ＰＣＭ符号化部１６、減算部１７、変換・量子化部１８、逆量子化・逆変換部１９、加算部２０、ループフィルタ部２１及び可変長符号化部２３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図５はこの発明の実施の形態１による動画像符号化装置１の処理内容（動画像符号化方法）を示すフローチャートである。
【００３２】
図３はこの発明の実施の形態１による動画像トランスコード装置２の全領域ストリーム復号部３を示す構成図である。
図３において、可変長符号復号部３１は図２の動画像符号化装置１の可変長符号化部２３から出力された全領域ビットストリームを受け取ると、予測処理単位のブロックである復号対象ブロック（符号化対象ブロック）に係る符号化データ（量子化後係数／ＰＣＭ信号）と、符号化モード（イントラ符号化モード／インター符号化モード／ＰＣＭ符号化モード）と、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）と、インター予測パラメータ（符号化モードがインター符号化モードである場合）と、動きベクトル（符号化モードがインター符号化モードである場合）と、ＰＣＭ符号化パラメータ（符号化モードがＰＣＭ符号化モードである場合）と、予測差分符号化パラメータと、ループフィルタパラメータと、ヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報）とを可変長復号して出力する処理を実施する。
【００３３】
切換スイッチ３２は可変長符号復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長符号復号部３１から出力されたイントラ予測パラメータをイントラ予測部３３に出力し、可変長符号復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長符号復号部３１から出力されたインター予測パラメータ及び動きベクトルを動き補償部３４に出力し、可変長符号復号部３１により可変長復号された符号化モードがＰＣＭ符号化モードであれば、可変長符号復号部３１から出力されたＰＣＭ符号化パラメータ及びＰＣＭ信号をＰＣＭ復号部３５に出力する処理を実施する。
【００３４】
イントラ予測部３３は切換スイッチ３２から出力されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
動き補償部３４はフレームメモリ３９に格納されているループフィルタ処理後の復号画像を参照しながら、切換スイッチ３２から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理を実施してインター予測画像を生成する処理を実施する。
ＰＣＭ復号部３５は切換スイッチ３２から出力されたＰＣＭ符号化パラメータ及びＰＣＭ信号を用いてＰＣＭ画像を生成し、そのＰＣＭ画像をループフィルタ部３８に出力する処理を実施する。
【００３５】
逆量子化・逆変換部３６は可変長符号復号部３１から出力された予測差分符号化パラメータを参照して、可変長符号復号部３１から出力された量子化後係数を逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の直交変換係数に対する逆直交変換処理を実施して、復号予測差分信号を算出する処理を実施する。
加算部３７は逆量子化・逆変換部３６により算出された復号予測差分信号が示す差分画像と、イントラ予測部３３により生成されたイントラ予測画像、または、動き補償部３４により生成されたインター予測画像とを加算して、ループフィルタ処理前の復号画像を生成するとともに、ループフィルタ処理前の復号画像をループフィルタ部３８及び全領域ストリーム復号部３の外部に出力する処理を実施する。
【００３６】
ループフィルタ部３８は可変長符号復号部３１から出力されたフィルタパラメータに基づいて、０種以上のフィルタリング処理を順次実施する。ただし、ＰＣＭ符号化モードの復号対象ブロックに対してループフィルタ処理を実施しない構成になっている場合、ＰＣＭ符号化モードの復号対象ブロックに対してはループフィルタ処理を実施しない。
フレームメモリ３９はループフィルタ部３８によるループフィルタ処理後の復号画像を格納する記録媒体である。
【００３７】
図３では、全領域ストリーム復号部３の構成要素である可変長符号復号部３１、切換スイッチ３２、イントラ予測部３３、動き補償部３４、ＰＣＭ復号部３５、逆量子化・逆変換部３６、加算部３７及びループフィルタ部３８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、全領域ストリーム復号部３がコンピュータで構成されていてもよい。
全領域ストリーム復号部３がコンピュータで構成されている場合、フレームメモリ３９をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、可変長符号復号部３１、切換スイッチ３２、イントラ予測部３３、動き補償部３４、ＰＣＭ復号部３５、逆量子化・逆変換部３６、加算部３７及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図６はこの発明の実施の形態１による動画像トランスコード装置２の全領域ストリーム復号部３の処理内容を示すフローチャートである。
【００３８】
図４はこの発明の実施の形態１による動画像トランスコード装置２の部分領域トランスコード部４を示す構成図である。
図４において、トランスコード制御部４１は全領域ストリーム復号部３から出力されたヒント情報に含まれている動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報を参照して、外部から与えられた表示領域情報が示すピクチャの表示領域からトランスコードの対象となる領域（トランスコード対象領域）を特定するとともに、そのトランスコード対象領域を復号する際に必要な領域（トランスコード時に符号化パラメータを流用する必要がある領域）である必須符号化領域を特定し、そのトランスコード対象領域を示すトランスコード対象領域情報及び必須符号化領域を示す必須符号化領域情報を出力する処理を実施する。
なお、トランスコード制御部４１は、ＧＯＰに属する各ピクチャにおける必須符号化領域のサイズが異なる場合（例えば、ＧＯＰサイズ制限情報が示すＧＯＰサイズの最大値がＮで、参照構造指定情報が、各ピクチャ（フレーム）を復号する際には、１つ前のピクチャ（フレーム）を参照する旨を示している場合、Ｎ個のピクチャ（フレーム）の必須符号化領域の中で、Ｎ番目のピクチャ（フレーム）の必須符号化領域のサイズが最も小さくなり、１番目のピクチャ（フレーム）の必須符号化領域のサイズが最も大きくなる）、例えば、サイズが最も大きい必須符号化領域をトランスコード対象領域に決定する。したがって、必須符号化領域⊆トランスコード対象領域の関係になる。
また、トランスコード制御部４１はトランスコード対象領域情報に基づいて部分領域ビットストリームのヘッダ情報を生成して、そのヘッダ情報を可変長符号化部４６に出力する処理を実施する。
【００３９】
符号化パラメータ抽出部４２は全領域ストリーム復号部３から出力された全領域の符号化データ及び符号化パラメータの中から、トランスコード制御部４１から出力された必須符号化領域情報が示す必須符号化領域に含まれている符号化対象ブロックの符号化データ（量子化後計数／ＰＣＭ信号）及び符号化パラメータ（符号化モード（イントラ符号化モード／インター符号化モード／ＰＣＭ符号化モード）、予測パラメータ（イントラ予測パラメータ／インター予測パラメータ）／ＰＣＭ符号化パラメータ、動きベクトル（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ、ループフィルタパラメータ、ヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報））を抽出し、符号化対象ブロックの符号化データ及び符号化パラメータを外部参照ブロック符号化部４３及び切換スイッチ４５に出力する処理を実施する。
【００４０】
外部参照ブロック符号化部４３はトランスコード制御部４１から出力された必須符号化領域情報が示す必須符号化領域に含まれている符号化対象ブロック（必須符号化領域の境界に属している符号化対象ブロック）が、必須符号化領域の外部の画素値を参照してイントラ符号化が行われている外部参照ブロックである場合、その必須符号化領域の外部の画素値を予測参照に用いない符号化方式で、その符号化対象ブロックの復号画像を符号化し、その符号化結果である符号化データと前記復号画像の符号化に用いた符号化パラメータを切換スイッチ４５に出力する処理を実施する。
【００４１】
例えば、必須符号化領域の外部の画素値を予測参照に用いない符号化方式として、符号化対象ブロックの画面端の画素値を参照するイントラ符号化方式のイントラ符号化モードを用いる場合、そのイントラ符号化モードでイントラ予測画像を生成するとともに、全領域ストリーム復号部３から出力されたループフィルタ処理前の全領域復号画像から符号化対象ブロック（外部参照ブロック）の復号画像を抽出する。そして、その符号化対象ブロックの復号画像と前記イントラ予測画像の差分画像を圧縮符号化して、その符号化結果である符号化データ（量子化後係数）と前記イントラ予測画像を生成する際に用いたイントラ予測パラメータ（符号化パラメータ）を切換スイッチ４５に出力する。
また、必須符号化領域の外部の画素値を予測参照に用いない符号化方式として、ＰＣＭ符号化モードを用いる場合、全領域ストリーム復号部３から出力されたループフィルタ処理前の全領域復号画像から符号化対象ブロック（外部参照ブロック）の復号画像を抽出する。そして、その復号画像をＰＣＭ符号化して、その符号化結果であるＰＣＭ信号と、復号画像のＰＣＭ符号化に用いたＰＣＭ符号化パラメータ（符号化パラメータ）を切換スイッチ４５に出力する。
【００４２】
不要ブロック符号化部４４は必須符号化領域の外部にあって、トランスコード対象領域の内部にある符号化対象ブロック（不要ブロック）については、例えば、インター符号化方式におけるスキップモードで符号化し、その符号化結果である符号化データと前記符号化対象ブロックの符号化に用いた符号化パラメータを切換スイッチ４５に出力する処理を実施する。
ここでは、インター符号化方式におけるスキップモードで符号化し、スキップモードでの符号化に用いた符号化パラメータを切換スイッチ４５に出力する例を示しているが、これに限るものではなく、予め設定されているダミーのパラメータを切換スイッチ４５に出力するようにしてもよい。
【００４３】
切換スイッチ４５はトランスコード制御部４１から出力されたトランスコード対象領域情報及び必須符号化領域情報を参照して、必須符号化領域に含まれている符号化対象ブロックが外部参照ブロックでなければ、符号化パラメータ抽出部４２から出力された符号化データ及び符号化パラメータを選択し、必須符号化領域に含まれている符号化対象ブロックが外部参照ブロックであれば、外部参照ブロック符号化部４３から出力された符号化データ及び符号化パラメータを選択し、符号化対象ブロックが不要ブロックであれば、不要ブロック符号化部４４から出力された符号化データ及び符号化パラメータを選択し、その選択した符号化データ及び符号化パラメータを可変長符号化部４６に出力する処理を実施する。
【００４４】
可変長符号化部４６は切換スイッチ４５から出力された符号化データ及び符号化パラメータを可変長符号化して、それらの符号化結果を示す部分領域ビットストリームを生成するとともに、トランスコード制御部４１から出力された部分領域ビットストリームのヘッダ情報を当該部分領域ビットストリームに多重化して、ヘッダ情報多重化後の部分領域ビットストリーム（所定の符号化コーデックに準拠している部分領域ストリーム）を出力する処理を実施する。
【００４５】
図４では、部分領域トランスコード部４の構成要素であるトランスコード制御部４１、符号化パラメータ抽出部４２、外部参照ブロック符号化部４３、不要ブロック符号化部４４、切換スイッチ４５及び可変長符号化部４６のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、部分領域トランスコード部４がコンピュータで構成されていてもよい。
部分領域トランスコード部４がコンピュータで構成されている場合、トランスコード制御部４１、符号化パラメータ抽出部４２、外部参照ブロック符号化部４３、不要ブロック符号化部４４、切換スイッチ４５及び可変長符号化部４６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図７はこの発明の実施の形態１による動画像トランスコード装置２の部分領域トランスコード部４の処理内容を示すフローチャートである。
【００４６】
次に動作について説明する。
図２の動画像符号化装置１は、イントラ予測符号化／インター予測符号化／ＰＣＭ符号化によって、入力画像を圧縮符号化する符号化方式を採用しており、インター予測符号化を行う場合には、外部から与えられる動きベクトル制限情報によって、動きベクトルの最大値を制限（動きベクトルの探索範囲を制限）することを特徴とする。
また、符号化モード（イントラ符号化モード／インター符号化モード／ＰＣＭ符号化モード）や符号化パラメータ（イントラ予測パラメータ／インター予測パラメータ／ＰＣＭ符号化パラメータ）を決定する際にベースとなるＧＯＰサイズや参照構造を特定のパターンに制限し、その制限情報を示すヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報）を全領域ビットストリームに多重化することを特徴とする。
【００４７】
画像符号化処理では、一般的な画像は時空間的に近接する領域と画像特徴に高い相関があることを利用して圧縮効率を高めている。インター符号化（フレーム間参照符号化）では、上記の特徴を利用して、時間的に近傍の符号化済みフレームにおける空間的に近い領域を参照して画像特徴を予測することで圧縮効率を高めている。
この際、フレーム間で画像内のオブジェクトが移動する場合があるため、相関の高い領域を探索し、予測対象領域と相関が高い領域の位相差を動きベクトルという情報で表し、オブジェクトの移動を吸収する処理（動き補償予測処理）を実施する。
よって、符号化されたストリームから、特定のフレームの特定の限られた領域のみを復号したい場合でも、当該フレームが参照しているフレームにおいて、動きベクトルが指す先の領域も復号する必要がある。
【００４８】
フレーム間参照により復号されたフレームが後段のフレームで参照されることもあるため、あるフレームの復号画像のある領域の情報は、フレーム間参照における後段のフレームより広い範囲の領域に伝搬していく場合がある。例えば、動きベクトルの最大値に制限が設けられていない場合には、復号画像情報の伝播範囲は事実上無制限に広がる可能性がある。
この実施の形態１の動画像符号化装置１では、動きベクトル、ＧＯＰサイズや参照構造に一定の制限を設けることで、復号画像情報の伝播を一定範囲に抑え、かつ、これらの制限情報をヒント情報として復号側に伝送することを可能にする構成をとっている。
【００４９】
図１の動画像符号化装置１が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００５０】
以下、動画像符号化装置１の処理内容を説明する。
符号化制御部１１は、所定の最大符号化ブロック（ＣＴＵ、マクロブロック）サイズの画像領域毎に、所定の分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化対象ブロックに分割して、各符号化対象ブロックに対する符号化モードを決定する（図５のステップＳＴ１）。
ここで、図８は最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
図８において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ０，Ｍ０）のサイズを有する符号化対象ブロックである。
ＣＴＵサイズのブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
深さｎにおいては、符号化対象ブロックはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは、同じであってもよいし、異なっていてもよいが、図８では、Ｌｎ＝Ｍｎのケースを示している。
【００５１】
以降、符号化制御部１１により決定される符号化ブロックサイズは、符号化対象ブロックの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
４分木分割を行うため、常に、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌｎ／２，Ｍｎ／２）になる。
以降、第ｎ階層の符号化対象ブロックをＢｎで表し、符号化対象ブロックＢｎで選択可能な符号化モードをｍ（Ｂｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、すべての色成分に対し、共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
【００５２】
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）と、１つないし複数のＰＣＭ符号化モードとがあり、符号化制御部１１は、当該ピクチャのピクチャタイプで利用可能な全ての符号化モード、または、そのサブセットの中から、符号化対象ブロックＢｎに対する符号化モードを選択する。
さらに、符号化対象ブロックＢｎは、図９に示すように、ブロック分割部１２によって、１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化対象ブロックＢｎに属するパーティションをＰｉｎ（ｉは、第ｎ階層におけるパーティション番号）と表記する。
符号化対象ブロックＢｎのパーティション分割が、どのようになされているかは、符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、符号化対象ブロックＢｎないしパーティションＰｉｎ毎に、予測パラメータが選択される。
【００５３】
符号化制御部１１は、最大符号化ブロックに対して、例えば、図９に示すようなブロック分割状態を生成して、符号化対象ブロックを特定する。
図９（ａ）の斜線部分は、分割後のパーティションの分布を示しており、図９（ｂ）は階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図９（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化対象ブロック）である。
【００５４】
また、符号化制御部１１は、外部から与えられた動きベクトル制限情報を動き補償予測部１５に出力する。
動きベクトル制限情報は、動きベクトルの長さの最大値を制限することで、あるフレームの復号画像の一部領域の情報が、参照関係で後段のフレームのどの領域まで伝搬するかを制限する機能を実現するための情報である。この動きベクトル制限情報は、全てのフレームで固定の値としてもよいし、フレーム毎に異なる値としてもよい。
また、符号化制御部１１は、決定した符号化モード、予測差分信号パラメータ、イントラ予測パラメータ、インター予測パラメータ、ＰＣＭ符号化パラメータ、ループフィルタパラメータを可変長符号化部２３に出力する。
また、外部から与えられた動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報を可変長符号化部２３に出力する。
【００５５】
なお、符号化制御部１１の処理は、動画像符号化装置１に入力される各ピクチャに対して実施される。ピクチャのタイプ、ピクチャ間参照の構造などは、外部から与えられる参照構造指定情報、ＧＯＰサイズ制限情報や、その他の符号化制御情報にしたがって符号化制御部１１の内部で制御され、これらピクチャタイプ情報にしたがって上記の通り符号化モード・符号化パラメータの決定が行われる。
ピクチャタイプがＩピクチャである場合、符号化モードがイントラ符号化モード又はＰＣＭ符号化モードに限定される。
また、ピクチャタイプがＢピクチャ又はＰピクチャである場合、符号化モードがイントラ符号化モード、インター符号化モード又はＰＣＭ符号化モードに決定される。
また、ピクチャタイプがＢピクチャ又はＰピクチャである場合、その他の符号化制御情報にしたがって、イントラ符号化モードの使用の制限や、全てのピクチャに対するＰＣＭ符号化モードの使用を制限するように制御することも可能である。
【００５６】
切換スイッチ１３は、符号化制御部１１により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１２から出力された符号化対象ブロックＢｎをイントラ予測部１４に出力する（ステップＳＴ２）。
切換スイッチ１３は、符号化制御部１１により決定された符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１２から出力された符号化対象ブロックＢｎを動き補償予測部１５に出力する（ステップＳＴ３）。
また、切換スイッチ１３は、符号化制御部１１により決定された符号化モードｍ（Ｂｎ）がＰＣＭ符号化モードである場合、ブロック分割部１２から出力された符号化対象ブロックＢｎをＰＣＭ符号化部１６に出力する（ステップＳＴ３）。
【００５７】
イントラ予測部１４は、符号化制御部１１により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、切換スイッチ１３から符号化対象ブロックＢｎを受けると、符号化制御部１１により決定されたイントラ予測パラメータを用いて、その符号化対象ブロックＢｎ内の各パーティションＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ４）。
【００５８】
動き補償予測部１５は、符号化制御部１１により決定された符号化モードｍ（Ｂｎ）がインター符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、切換スイッチ１３から符号化対象ブロックＢｎを受けると、その符号化対象ブロックＢｎ内の各パーティションＰｉｎと、フレームメモリ２２に格納されている動き補償予測参照画像（ループフィルタ処理を実施した後の他のフレームの局所復号画像）とを比較して動きベクトルを探索する。
ただし、動きベクトルを探索する際、動きベクトルの長さが、符号化制御部１１から出力される動きベクトル制限情報が示す最大値を超えないように制限する。（動きベクトル制限情報が示す最大範囲の領域内で動きベクトルを探索する）。
なお、動きベクトル制限情報が示す最大値は、全てのフレームで固定でもよいし、フレーム毎に異なっていてもよい。
また、カレントフレームと参照先フレームの組み合わせ毎に変化させてもよい。例えば、カレントフレームのＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ：時系列順でフレーム毎に１カウントアップするカウンタ値）と参照先フレームのＰＯＣの差分絶対値に比例するように、動きベクトルの最大値を指定してもよい。一般に、フレーム間のＰＯＣの差分が大きくなるほど、フレーム間の動き量も大きくなるため、上記のようなルールで最大値を指定することは合理的である。
このように、どのようなルールで動きベクトルの最大値を指定しているかという情報も併せて動きベクトル制限情報に含めてもよい。
動き補償予測部１５は、動きベクトルを探索すると、その動きベクトルと符号化制御部１１により決定されたインター予測パラメータを用いて、その符号化対象ブロックＢｎ内の各パーティションＰｉｎに対するインター予測処理を実施して、インター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ５）。
【００５９】
ＰＣＭ符号化部１６は、符号化制御部１１により決定された符号化モードｍ（Ｂｎ）がＰＣＭ符号化モードであり、切換スイッチ１３から符号化対象ブロックＢｎを受けると、符号化制御部１１から出力されたＰＣＭ符号化パラメータに基づいて、符号化対象ブロックＢｎに含まれている画素に対して画素階調の低減処理を実施し、階調を低減した画素値をＰＣＭ信号として可変長符号化部２３に出力する（ステップＳＴ６）。
また、ＰＣＭ符号化部１６は、階調を低減した後に、再び元の階調に戻した画素値をＰＣＭ画像（ＰＣＭ符号化モードにおける局所復号画像）としてループフィルタ部２１に出力する。
なお、ＰＣＭ符号化パラメータが階調低減を行わない旨を示している場合には、画素階調の低減処理を実施しないので、符号化対象ブロックＢｎの画素値を無劣化で符号化することができる。
【００６０】
減算部１７は、ブロック分割部１２から符号化対象ブロックＢｎを受けると、その符号化対象ブロックＢｎ内のパーティションＰｉｎから、イントラ予測部１４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部１５により生成されたインター予測画像ＰＩＮＴＥＲｉｎを減算して、その減算結果である予測差分信号を変換・量子化部１８に出力する（ステップＳＴ７）。
【００６１】
変換・量子化部１８は、減算部１７から予測差分信号を受けると、符号化制御部１１により決定された予測差分符号化パラメータを参照して、その予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、その変換係数を算出する。
また、変換・量子化部１８は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である量子化後係数を逆量子化・逆変換部１９及び可変長符号化部２３に出力する（ステップＳＴ８）。
【００６２】
逆量子化・逆変換部１９は、変換・量子化部１８から量子化後係数を受けると、符号化制御部１１により決定された予測差分符号化パラメータを参照して、その量子化後係数を逆量子化する。
また、逆量子化・逆変換部１９は、その予測差分符号化パラメータを参照して、逆量子化後の変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部１７から出力された予測差分信号に相当する局所復号予測差分信号を算出する（ステップＳＴ９）。
【００６３】
加算部２０は、逆量子化・逆変換部１９から局所復号予測差分信号を受けると、その局所復号予測差分信号が示す差分画像と、イントラ予測部１４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部１５により生成されたインター予測画像ＰＩＮＴＥＲｉｎとを加算して、局所復号パーティション画像、あるいは、その局所復号パーティション画像の集まりとして、ブロック分割部１２から出力された符号化対象ブロックＢｎに相当する局所復号画像を算出する（ステップＳＴ１０）。
【００６４】
ループフィルタ部２１は、全ての符号化対象ブロックＢｎに対するステップＳＴ２〜ＳＴ１０の処理が完了すると（ステップＳＴ１１，ＳＴ１２）、加算部２０から出力される局所復号画像（ループフィルタ処理前の局所復号画像）を用いて、符号化制御部１１から出力されたループフィルタパラメータに基づき、０種以上のループフィルタ処理を実施し、ループフィルタ処理後の局所復号画像をフレームメモリ２２に出力する（ステップＳＴ１３）。
なお、ＰＣＭ符号化モードの符号化対象ブロックＢｎに対してループフィルタ処理を実施しない構成になっている場合、ＰＣＭ符号化モードの符号化対象ブロックＢｎに対してはループフィルタ処理を実施しない。
【００６５】
可変長符号化部２３は、変換・量子化部１８から出力された量子化後係数（符号化データ）と、符号化制御部１１から出力された符号化モードｍ（Ｂｎ）と、予測パラメータ（イントラ予測パラメータ／インター予測パラメータ）／ＰＣＭ符号化パラメータと、予測差分符号化パラメータ及びフィルタパラメータと、動き補償予測部１５から出力された動きベクトル（符号化モードがインター符号化モードである場合）と、ＰＣＭ符号化部１６から出力されたＰＣＭ信号（符号化データ）と、符号化制御部１１から出力されたヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報）とを可変長符号化して、それらの符号化結果を示す全領域ビットストリームを生成する（ステップＳＴ１４）。
【００６６】
次に、動画像トランスコード装置２の全領域ストリーム復号部３の処理内容を説明する。
可変長符号復号部３１は、動画像符号化装置１により生成された全領域ビットストリームを入力すると、図２の符号化制御部１１と同様の方法で、最大符号化ブロックサイズ及び分割階層数の上限を決定する。
全領域ビットストリームの中に、最大符号化ブロックサイズ及び分割階層数の上限を示す情報が多重化されている場合には、その情報を復号することで、最大符号化ブロックサイズ及び分割階層数の上限を決定するようにしてもよい。
【００６７】
次に、可変長符号復号部３１は、全領域ビットストリームに多重化されている最大符号化ブロックに割り当てられている符号化モードを復号し、その符号化モードに含まれている最大符号化ブロックの分割状態を示す情報（タイル分割制御情報）を復号する（図６のステップＳＴ２１）。
また、可変長符号復号部３１は、最大符号化ブロックの分割状態を示す情報を復号すると、最大符号化ブロックの分割状態に基づいて、階層的に分割されている復号対象ブロック（符号化対象ブロック）を特定する。
また、可変長符号復号部３１は、復号対象ブロックの分割状態に基づいて、その復号対象ブロックを更に１つないし複数の予測処理単位に分割し、符号化対象ブロック単位又は予測処理単位に割り当てられている符号化パラメータを復号する（ステップＳＴ２１）。
【００６８】
可変長符号復号部３１は、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モードがイントラ符号化モードである場合、その復号対象ブロックに含まれている１つ以上のパーティション毎にイントラ予測パラメータを復号する（ステップＳＴ２１）。
また、復号対象ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号対象ブロック毎、あるいは、その復号対象ブロックに含まれている１つ以上のパーティション毎にインター予測パラメータを復号する（ステップＳＴ２１）。
また、復号対象ブロックに割り当てられている符号化モードがＰＣＭ符号化モードである場合、復号対象ブロックに割り当てられているＰＣＭ信号及びＰＣＭ符号化パラメータを復号する（ステップＳＴ２１）。
【００６９】
また、可変長符号復号部３１は、復号対象ブロックに割り当てられている符号化モードがイントラ符号化モードまたはインター符号化モードである場合、符号化パラメータに含まれている予測差分符号化パラメータ内の変換ブロックサイズの情報に基づいて、予測処理単位となるパーティションを変換処理単位となる１つないし複数のパーティションに分割し、変換処理単位となるパーティション毎に量子化後係数を復号する（ステップＳＴ２１）。
さらに、可変長符号復号部３１は、全領域ビットストリームに多重化されているフィルタパラメータを復号して、そのフィルタパラメータをループフィルタ部３８に出力する（ステップＳＴ２１）。
なお、可変長符号復号部３１は、復号した全ての符号化パラメータ（符号化モード、イントラ予測パラメータ、インター予測パラメータ、ＰＣＭ符号化パラメータ、動きベクトル、予測差分符号化パラメータ、ループフィルタパラメータ）と、ヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報）と、符号化データ（量子化後係数、ＰＣＭ信号）とを図４の部分領域トランスコード部４に出力する。
【００７０】
切換スイッチ３２は、可変長符号復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、可変長符号復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３３に出力する（ステップＳＴ２２）。
切換スイッチ３２は、可変長符号復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、可変長符号復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３４に出力する（ステップＳＴ２３）。
また、切換スイッチ３２は、可変長符号復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がＰＣＭ符号化モードであれば、可変長符号復号部３１により可変長復号されたＰＣＭ信号及びＰＣＭ符号化パラメータをＰＣＭ復号部３５に出力する（ステップＳＴ２３）。
【００７１】
イントラ予測部３３は、可変長符号復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３２からイントラ予測パラメータを受けると、図２のイントラ予測部１４と同様の手順で、そのイントラ予測パラメータを用いて、復号対象ブロックＢｎ内の各パーティションＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成し、そのイントラ予測画像ＰＩＮＴＲＡｉｎを加算部３７に出力する（ステップＳＴ２４）。
【００７２】
動き補償部３４は、可変長符号復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３２からインター予測パラメータ及び動きベクトルを受けると、フレームメモリ３９に格納されているループフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いて、復号対象ブロックＢｎ又はパーティションＰｉｎに対するインター予測処理を実施してインター予測画像ＰＩＮＴＥＲｉｎを生成し、そのインター予測画像ＰＩＮＴＥＲｉｎを加算部３７に出力する（ステップＳＴ２５）。
【００７３】
ＰＣＭ復号部３５は、可変長符号復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がＰＣＭ符号化モードであり、切換スイッチ３２からＰＣＭ信号及びＰＣＭ符号化パラメータを受けると、そのＰＣＭ符号化パラメータに基づいて、復号対象ブロックＢｎの各画素に対応するＰＣＭ信号の階調を復号画像の階調に復元する処理を実施し、復元された復号対象ブロックＢｎのループフィルタ処理前の復号画像をループフィルタ部３８に出力する（ステップＳＴ２６）。また、ループフィルタ処理前の復号画像を図４の部分領域トランスコード部４に出力する。
【００７４】
逆量子化・逆変換部３６は、可変長符号復号部３１から量子化後係数及び予測差分符号化パラメータを受けると、図２の逆量子化・逆変換部１９と同様の手順で、その予測差分符号化パラメータを参照して、その量子化後係数を逆量子化するとともに、逆量子化後の変換係数に対する逆直交変換処理を実施して、図２の減算部１７から出力された予測差分信号に相当する復号予測差分信号を算出し、その復号予測差分信号を加算部３７に出力する（ステップＳＴ２７）。
【００７５】
加算部３７は、逆量子化・逆変換部３６により算出された復号予測差分信号が示す差分画像と、イントラ予測部３３により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償部３４により生成されたインター予測画像ＰＩＮＴＥＲｉｎとを加算して、復号対象ブロック内に含まれる１つないし複数の復号パーティション画像の集まりとして、復号画像をループフィルタ部３８に出力する（ステップＳＴ２８）。また、ループフィルタ処理前の復号画像を図４の部分領域トランスコード部４に出力する。
【００７６】
ループフィルタ部３８は、ピクチャ内の全ての符号化対象ブロックＢｎに対するステップＳＴ２１〜ＳＴ２８の処理が完了すると（ステップＳＴ２９，ＳＴ３０）、可変長符号復号部３１から出力されたフィルタパラメータに基づき、加算部３７又はＰＣＭ復号部３５から出力されたループフィルタ処理前の復号画像に対して、０種以上のループフィルタ処理を実施し、ループフィルタ処理後の復号画像をフレームメモリ３９に格納する（ステップＳＴ３１）。
なお、ループフィルタ処理後の復号画像は、動画像トランスコード装置２の外部に出力するようにしてもよい。
【００７７】
次に、動画像トランスコード装置２の部分領域トランスコード部４の処理内容を説明する。
トランスコード制御部４１は、図３の全領域ストリーム復号部３からヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報）を受けると、そのヒント情報に含まれている動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報を参照して、外部から与えられた表示領域情報が示すピクチャの表示領域からトランスコードの対象となる領域（トランスコード対象領域）を特定するとともに、そのトランスコード対象領域を復号する際に必要な領域（全領域復号画像と同一または近しい復号が保証される領域であって、トランスコード時に符号化パラメータを流用する必要がある領域）である必須符号化領域を特定し、そのトランスコード対象領域を示すトランスコード対象領域情報及び必須符号化領域を示す必須符号化領域情報を出力する（図７のステップＳＴ４１）。
なお、ＧＯＰに属する各ピクチャにおける必須符号化領域のサイズが異なる場合、例えば、サイズが最も大きい必須符号化領域を各ピクチャで共通のトランスコード対象領域に決定する。
以下、トランスコード制御部４１によるトランスコード対象領域情報及び必須符号化領域の特定処理を具体的に説明する。
【００７８】
動画像復号処理においては、動き補償予測処理を実施することで得られる予測画像（復号済みのフレームを参照しながら、動きベクトルに基づいて定まる位置の画像）と予測差分信号を加算することで復号画像を生成する処理を実施する。
ここで、ＧＯＰの先頭のフレームであるランダムアクセスポイントフレームをＦ１とし、フレームＦｎを参照しているフレームをＦｎ＋１とすると、フレームＦｎにおける復号対象の領域が部分領域Ｐｎである場合、フレームＦｎ−１では、フレームＦｎの部分領域Ｐｎが参照しているフレームＦｎ−１の部分領域Ｐｎ−１の全てを復号対象領域とする必要がある。
このとき、動き補償予測処理でのフレーム間参照は、フレームＦｎがフレームＦｎ−１を参照し、フレームＦｎ−１がフレームＦｎ−２を参照し、何も参照しないフレームであるＦ１に到達するまでＧＯＰ内で多段的に実行されるため、フレーム間の依存関係はフレームＦ１からフレームＦｎまで伝搬していくことになる。
このため、ＧＯＰ内の参照構造で、最終段に属するフレームＦＮの部分領域ＰＮを正しく復号するためには、上記依存関係の伝播に基づく、フレームＦ１からフレームＦＮまでの部分領域Ｐ１からＰＮを復号対象領域とする必要がある。
【００７９】
仮に、動画像トランスコード装置２が、図２の動画像符号化装置１から出力された全領域ビットストリームではなく、動きベクトル・ＧＯＰサイズ・参照構造に制限がかかっていないビットストリームを処理する場合には、フレームＦｎの部分領域Ｐｎを求めるために、フレームＦｎ＋１の全ての動きベクトルを解析して、それらの動きベクトルが指している領域を特定しなければならず、解析に要する時間が大きくなる。
また、ＧＯＰサイズ・動きベクトルの最大値や、参照構造がビットストリームによって異なるため、同じ表示領域指定情報に対する各フレームＦｎの部分領域Ｐｎの形状・サイズがビットストリームによって不定となり、トランスコード処理や、トランスコード後のストリームを復号する処理において扱うことが困難になる。
しかし、この実施の形態１では、図２の動画像符号化装置１から出力される全領域ビットストリームは、上述したように、ヒント情報によって動きベクトル・ＧＯＰサイズ・参照構造に制限がかけられているため、以下の処理で各フレームＦｎの部分領域Ｐｎを低演算量で固定的に求めることが可能になる。
【００８０】
ここでは、実装の簡易化のために、各フレームＦｎの部分領域Ｐｎが矩形領域でない場合、部分領域Ｐｎを内包する矩形領域ＰＬｎを復号対象とすることを前提とする。
また、ヒント情報に含まれている動きベクトル制限情報が示す動きベクトルの水平垂直成分絶対値の最大値が、全てのフレームにおいてＶ［画素］で固定である場合を考える。また、フレームＦｎ−１を参照するフレームＦｎの復号対象矩形領域がＰＬｎであるものとする。
この場合、フレームＦｎ−１の復号対象矩形領域ＰＬｎ−１は、動きベクトルの値を解析することなく、固定的に復号対象矩形領域ＰＬｎの周囲にＶ画素追加した矩形領域とすることができる。動きベクトルの最大値がＶであるため、復号対象矩形領域ＰＬｎの外部を指す動きベクトルのはみ出し量は高々Ｖ画素に抑えられるためである。
参照の依存関係は、ランダムアクセスポイントフレームＦ１から伝搬しているため、フレームＦ１の復号対象矩形領域ＰＬ１は、復号対象矩形領域ＰＬｎの周囲にＶ＊（ｎ−１）画素を追加した矩形領域として求めることが可能になる。
【００８１】
また、各フレームにおいて、動きベクトルの最大値が異なる場合でも、同様に各フレームＦｎの復号対象矩形領域ＰＬｎを求めることが可能である。例えば、フレームＦｎの動きベクトル最大値がＶｎで与えられるとき、フレームＦＮの復号対象矩形領域ＰＬＮに対し、フレームＦｎ（ｎ＜Ｎ）の復号対象矩形領域ＰＬｎは、復号対象矩形領域ＰＬＮの周囲に画素Ｖｓｕｍを追加した矩形領域として求められる。
2015034061.tif 000003
【００８２】
また、動画像符号化装置１の説明において述べたように、フレームＦｎと、その参照先フレームＦn−１のＰＯＣの差分絶対値に比例して動きベクトルの最大値が指定されている場合は、復号対象矩形領域は以下のように求められる。
まず、フレームＦｎと参照先フレームＦｎ−１のＰＯＣの差分絶対値をｄ（Ｆｎ−Ｆｎ−１）とおいたとき、ＦｎからＦｎ−１を参照する場合の動きベクトルの最大値がαｄ（Ｆｎ−Ｆｎ−１）と指定されると考える（αは固定の係数）。
この場合、フレームＦＮの復号対象矩形領域ＰＬＮに対し、フレームＦｎ（ｎ＜Ｎ）の復号対象矩形領域ＰＬｎは、復号対象矩形領域ＰＬＮの周囲に画素Ｖｓｕｍを追加した矩形領域として求められる。
2015034061.tif 000004
また、上記の式は以下のように簡略化することができる。
2015034061.tif 000005
即ち、ＦＮとＦｎのＰＯＣの差分絶対値によってＶｓｕｍの値が定まる。
また、フレームＦｎの復号対象矩形領域ＰＬｎに対するフレームＦｍ（ｍ＜ｎ）の復号対象矩形領域ＰＬｍ（復号対象矩形領域ＰＬＮの周囲に画素Ｖｓｕｍ’を追加した矩形領域）を復号対象矩形領域ＰＬｎのフレームＦｍに対する依存矩形領域ＰＤＬｎｍと呼ぶとすると、あるフレームが複数のフレームから参照されているような参照構造の場合、それぞれの参照元フレームから求まる依存矩形領域のうち、最大の依存矩形領域を当該フレームの復号対象矩形領域とする。
2015034061.tif 000006
【００８３】
以上より、ＧＯＰ内で一貫して、特定の部分領域を正しく復号することが可能な部分領域ビットストリームを生成するためには、少なくとも各フレームの復号対象矩形領域の情報をビットストリームに含める必要がある。また、ＧＯＰ内でフレームのサイズ（水平・垂直の画素数）を変更することは不可能または困難であるため、ＧＯＰ内の各フレームのサイズは、ＧＯＰ内の全てのフレームの復号対象矩形領域のうち、最大の復号対象矩形領域（多くの場合、フレームＦ１の復号対象矩形領域が該当する）を含むサイズにする必要がある。
これらを踏まえ、トランスコード制御部４１は、外部から表示領域情報が与えられると、以下の手順で、必須符号化領域及びトランスコード対象領域を求める。
【００８４】
（１）ＧＯＰ内のフレームＦ１以外のフレームの中で、自らが参照されないフレーム（非参照フレーム：Ｉピクチャ）の復号対象矩形領域を、表示領域を内包する領域として設定する。
（２）（１）の処理で設定した各非参照フレームの復号対象矩形領域から、全てのフレームに対する依存矩形領域のサイズを求め、各フレームにおける最大の依存矩形領域を、そのフレームの復号対象矩形領域とする。
（３）ＧＯＰ内の各フレームの復号対象矩形領域を、各フレームの必須符号化領域として設定する。
（４）ＧＯＰ内のフレームで最大の復号対象矩形領域を内包する領域を、ＧＯＰ内の各フレームのトランスコード対象領域として統一的に設定する。
【００８５】
符号化パラメータ抽出部４２は、トランスコード制御部４１から必須符号化領域情報を受けると、全領域ストリーム復号部３から出力された全領域の符号化データ及び符号化パラメータの中から、その必須符号化領域情報が示す必須符号化領域に含まれている符号化対象ブロック（符号化対象ブロックの一部でも、必須符号化領域内にある符号化対象ブロックを含む）の符号化データ（量子化後計数／ＰＣＭ信号）及び符号化パラメータ（符号化モード（イントラ符号化モード／インター符号化モード／ＰＣＭ符号化モード）、予測パラメータ（イントラ予測パラメータ／インター予測パラメータ）／ＰＣＭ符号化パラメータ、動きベクトル（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ、ループフィルタパラメータ、ヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報））を抽出し、その抽出した符号化対象ブロックの符号化データ及び符号化パラメータを外部参照ブロック符号化部４３及び切換スイッチ４５に出力する（ステップＳＴ４２）。
【００８６】
外部参照ブロック符号化部４３は、トランスコード制御部４１から必須符号化領域情報を受けると、その必須符号化領域情報が示す必須符号化領域に含まれている符号化対象ブロック（必須符号化領域の境界に属している符号化対象ブロック）が、必須符号化領域の外部の画素値を参照してイントラ符号化が行われている外部参照ブロックであるか否かを確認する（ステップＳＴ４３）。
必須符号化領域に含まれている符号化対象ブロックが外部参照ブロックであるか否かは、全領域ストリーム復号部３から出力された全領域の符号化データ及び符号化パラメータの中から、当該符号化対象ブロックの符号化パラメータを抽出し、その符号化パラメータに含まれている符号化モード及び予測パラメータを確認すれば、判別することができる。
外部参照ブロック符号化部４３は、必須符号化領域に含まれている符号化対象ブロックが外部参照ブロックである場合、必須符号化領域の外部の画素値を予測参照に用いない符号化方式で、その符号化対象ブロックの復号画像を符号化し、その符号化結果である符号化データと前記復号画像の符号化に用いた符号化パラメータを切換スイッチ４５に出力する（ステップＳＴ４４）。
【００８７】
このように、符号化対象ブロックが外部参照ブロックである場合、全領域の符号化データ及び符号化パラメータの中から、当該符号化対象ブロックの符号化データ及び符号化パラメータを抽出するのではなく、新たに符号化対象ブロックの符号化データと符号化パラメータを再決定する理由は、必須符号化領域の外部領域はトランスコード前の復号画像に近しい復号結果が保証されないため、その領域を参照しているイントラ符号化予測では、予測結果が本来の結果と異なってしまうことによるものである。
符号化データと符号化パラメータの再決定方法として、例えば、以下の方法が挙げられる。
【００８８】
（１）全領域ストリーム復号部３から出力された全領域の復号画像（ループフィルタ処理前）から、外部参照ブロックの復号画像を抽出し、動画像符号化装置１のＰＣＭ符号化部１６と同等の手順で、外部参照ブロックの復号画像をＰＣＭ符号化モードで符号化する。その符号化結果であるＰＣＭ信号（符号化データ）と、その符号化に用いたＰＣＭ符号化パラメータとを切換スイッチ４５に出力する。
この方法の場合、ＰＣＭ符号化の精度によっては、入力された復号画像と全く同一の結果を復号することが可能である。
（２）外部参照ブロックがイントラ予測の際に参照している必須符号化領域外の符号化対象ブロックのうち、参照に用いられる画素部分のみを、入力された復号画像に基づいてＰＣＭ符号化して、その符号化結果であるＰＣＭ信号（符号化データ）を切換スイッチ４５に出力する。ただし、イントラ予測パラメータなどの符号化パラメータについては、全領域の符号化パラメータの中から外部参照ブロックの符号化パラメータを抽出し、その符号化パラメータを切換スイッチ４５に出力する。
この方法の場合、ＰＣＭ符号化の精度によっては、入力された復号画像と全く同一の結果を復号することが可能である。外部参照ブロックのサイズによっては、（１）の方法よりも符号量を削減することが可能である。
【００８９】
（３）必須符号化領域外の復号画像は、後述する不要ブロック符号化部４４の結果に基づき定まるため、その復号画像をそのまま用いて、イントラ符号化予測またはインター符号化予測で、入力された復号画像と近しい結果になるように符号化パラメータを決定する。
（３）の方法における符号化パラメータ決定は、図２の動画像符号化装置１における符号化方式と同等の手法により実施することが可能である。
（４）必須符号化領域を拡大させることで、当該フレームにおける必須符号化領域と復号領域を一致させ、画面外を参照するイントラ符号化予測と同等の手法によって外部参照ブロックの符号化を実施する。
【００９０】
不要ブロック符号化部４４は、必須符号化領域の外部にあって、トランスコード対象領域の内部にある符号化対象ブロック（不要ブロック）については、例えば、インター符号化方式におけるスキップモードで符号化し、その符号化結果である符号化データと前記符号化対象ブロックの符号化に用いた符号化パラメータを切換スイッチ４５に出力する（ステップＳＴ４５）。
ここで、不要ブロックは、ＧＯＰ内でのフレームサイズを統一する上で必要なものであるが、表示や後段のフレームの参照に用いられない画像領域に属する符号化対象ブロックであるため、不要ブロックの復号結果は、どのような結果になっても構わない。よって、不要ブロックについては、符号量が可能な限り小さくなる符号化パラメータを用いることが望ましい。
このため、不要ブロックについては、ブロック分割を可能な限り行わずに、インター符号化予測のスキップモード（ベクトル情報（予測ベクトル情報は除く場合あり）、量子化後係数を符号化しないモード）で符号化する方法などが用いられる。
なお、外部参照ブロック符号化部４３において、外部参照ブロックの符号化パラメータを決定する方法として、上記の（２）の方法を用いる場合、必須符号化領域に含まれていない符号化対象ブロックであっても、外部参照ブロックから参照される符号化対象ブロックである場合は、上記の（２）の方法で符号化パラメータを決定する必要がある。
【００９１】
切換スイッチ４５は、トランスコード制御部４１から出力されたトランスコード対象領域情報及び必須符号化領域情報を参照して、符号化対象ブロックが不要ブロックであるか否かを確認するとともに、符号化対象ブロックが必須符号化領域に含まれていれば、その符号化対象ブロックが外部参照ブロックであるか否かを確認する（ステップＳＴ４６，ＳＴ４７）。
切換スイッチ４５は、符号化対象ブロックが必須符号化領域に含まれており、符号化対象ブロックが外部参照ブロックでなければ、符号化パラメータ抽出部４２から出力された符号化データ及び符号化パラメータを可変長符号化部４６に出力する（ステップＳＴ４８）。
切換スイッチ４５は、符号化対象ブロックが外部参照ブロックであれば、外部参照ブロック符号化部４３から出力された符号化データ及び符号化パラメータを可変長符号化部４６に出力する（ステップＳＴ４９）。
また、切換スイッチ４５は、符号化対象ブロックが不要ブロックであれば、不要ブロック符号化部４４から出力された符号化データ及び符号化パラメータを可変長符号化部４６に出力する（ステップＳＴ５０）。
【００９２】
可変長符号化部４６は、切換スイッチ４５から符号化対象ブロックの符号化データ及び符号化パラメータを受けると、その符号化データ及び符号化パラメータをエントロピー符号化して、それらの符号化結果を示す部分領域ビットストリームを生成する（ステップＳＴ５１）。
符号化対象ブロックは、トランスコード対象領域の内部に含まれているものが切り出されているため、本来のビットストリームでは存在していた隣接の符号化対象ブロックが存在しなくなっている場合がある。このため、動きベクトルやフィルタパラメータなど、隣接の符号化対象ブロックの情報を用いた符号化パラメータの予測処理をやり直す必要がある。このような予測処理も含め、可変長符号化部４６の処理は、動画像符号化装置１の可変長符号化部２３と同等の手法によって実施する。
また、可変長符号化部４６は、部分領域ビットストリームについては、表示領域情報が示す表示領域よりも広い範囲を含むビットストリームになっているため、トランスコード制御部４１から、表示領域がどのエリアであるかを示す部分領域ビットストリームのヘッダ情報を取得し、そのヘッダ情報を当該部分領域ビットストリームに多重化して、ヘッダ情報多重化後の部分領域ビットストリーム（所定の符号化コーデックに準拠している部分領域ストリーム）を動画像復号装置６に出力する。
【００９３】
なお、可変長符号化部４６により生成される部分領域ビットストリームは、動画像復号装置６で復号することが可能なように構成される。
動画像復号装置６は、全領域ストリーム復号部３と同等の機能を有している。ただし、動画像復号装置６は、全領域ストリーム復号部３が有しているヒント情報、符号化パラメータ及びループフィルタ処理前の復号画像を外部に出力する機能を有していなくとも構わない。
また、動画像復号装置６は、全領域ストリーム復号部３とは異なる手段で復号するように構成してもよく、その場合、部分領域トランスコード部４の可変長符号化部４６は、動画像復号装置６の復号手段（部分領域ビットストリーム用符号化コーデック）に対応するように、符号化データ及び符号化パラメータの可変長符号化を実施する。
【００９４】
以上で明らかなように、この実施の形態１によれば、動画像符号化装置１の可変長符号化部２３が、動きベクトルの探索可能な最大範囲を示す動きベクトル制限情報と、ＧＯＰに属するピクチャの数であるＧＯＰサイズの最大値を示すＧＯＰサイズ制限情報と、ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報を全領域ビットストリームに多重化するように構成したので、全領域ビットストリームの圧縮効率の低下を招くことなく、低演算量で効率的な部分領域ビットストリームの生成に適している全領域ビットストリームを生成することができる効果を奏する。
即ち、この実施の形態１によれば、動画像符号化装置１では、入力画像に対して、動きベクトルの最大値、ＧＯＰサイズ及び参照構造が、動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報に沿うように制限して符号化するので、フレーム間参照を用いた動き補償予測処理において、あるフレームの復号画像の特定領域の情報が、フレーム間参照の後段のフレームで伝搬する範囲を特定の範囲に抑えることが可能であり、また、可変長符号化部２３が動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報をヒント情報として全領域ビットストリームに多重化するので、復号画像情報の伝播範囲を動画像トランスコード装置２に明示的に伝達することができる効果を奏する。
【００９５】
一方、動画像トランスコード装置２では、動画像符号化装置１から出力された全領域ビットストリームを受けると、全領域ストリーム復号部３が、全領域の符号化データ、符号化パラメータ、ヒント情報及びループフィルタ処理前の復号画像を復号して部分領域トランスコード部４に出力し、部分領域トランスコード部４では、入力される表示領域情報及びヒント情報に基づいて、各フレームの表示領域情報を復号するために必要となる領域である必須符号化領域及び部分領域ビットストリームの画像サイズを意味するトランスコード対象領域を特定し、必須符号化領域の内部に属しており、かつ、必須符号化領域の外部の情報を参照する必要がない符号化対象ブロックは、全領域ストリーム復号部３から出力された符号化パラメータをそのまま割り当て、必須符号化領域の内部に属しており、かつ、必須符号化領域の外部の情報を参照する必要がある符号化対象ブロックは、符号化データ及び符号化パラメータを再生成し、必須符号化領域の外部であるが、トランスコード対象領域の内部の符号化対象ブロックは、符号量が小さいダミーの符号化パラメータを割り当て、このように割り当てられたトランスコード対象領域内の符号化対象ブロックの符号化データ及び符号化パラメータを、適当な部分領域ビットストリームのヘッダ情報と合わせて部分領域ビットストリームとして多重化するように構成したので、動画像トランスコード装置２に入力された全領域ビットストリームの復号画像のうち、表示領域情報に対応する部分領域と同一または近しい画像を復号することができるとともに、全領域ビットストリームよりも小さいサイズの部分領域ビットストリームを低演算量で取得することができる効果を奏する。
【００９６】
実施の形態２．
この実施の形態２では、上記実施の形態１に示した動画像符号化装置、動画像トランスコード装置を、上記実施の形態１とは異なるシステムに適用した例について説明する。
【００９７】
図１１はこの発明の実施の形態２による動画像符号化装置及び動画像トランスコード装置が適用されるシステムを示す構成図である。
図１１において、動画像符号化装置５１は、図１の動画像符号化装置１と同等の機能を有する。動画像符号化装置５１は、作成した全領域ストリームを動画像配信装置５３またはストレージ５２に出力する。
【００９８】
動画像配信装置５３は、全領域ストリーム復号部５４、部分領域トランスコード部５５及び配信制御部５６から構成されており、動画像符号化装置５１により生成された全領域ビットストリーム及び動画像復号装置５０−１〜５０−Ｎより入力される表示領域指定情報に基づき部分領域ストリームを生成し、動画像復号装置５０−１〜５０−Ｎに対して生成した部分領域ストリームを出力する機能を有する。
全領域ストリーム復号部５４は図１の全領域ストリーム復号部３と同等の機能を有する。また、生成した全領域復号画像を全領域表示装置５７に出力する機能を有する。
部分領域トランスコード部５５は図１の部分領域トランスコード部４と同等の機能を有する。
配信制御部５６は、動画像復号装置５０−１〜５０−Ｎより出力された表示領域情報を受け取り、部分領域トランスコード部５５に出力する機能を有する。また、部分領域トランスコード部５５から出力された部分領域ビットストリームを受け取ると、当該部分領域ビットストリームを生成する際に用いられた表示領域情報を出力した動画像復号装置に対して、当該部分領域ビットストリームを出力する機能を有する。
【００９９】
全領域表示装置５７は全領域ストリーム復号部５４から出力された全領域復号画像を表示する表示機器である。
動画像復号装置５０−１〜５０−Ｎは、動画像配信装置５３に対して表示領域情報を出力すると共に、表示領域情報に基づいて動画像配信装置５３から出力された部分領域ビットストリームから部分領域の画像を復号して、部分領域復号画像を生成する装置である。
部分領域表示装置５１−１〜５１−Ｎは、それぞれ動画像復号装置５０−１〜５０−Ｎに対応する部分領域復号画像を表示する表示装置である。
【０１００】
具体的な運用例として、動画像配信装置５３が、高解像度の監視映像を保管する監視カメラレコーダに内蔵されている例を説明する。
この場合、動画像符号化装置５１は、カメラレコーダに対して監視映像データを供給する高解像度な映像を取得可能な監視カメラ側に存在し、配信対象の全領域ビットストリームを生成するエンコーダ装置である。エンコーダ装置である動画像符号化装置５１により生成された全領域ビットストリームは、カメラレコーダ内蔵のストレージ５２に格納される。
【０１０１】
カメラレコーダは、ストレージ５２に格納された全領域ビットストリームを、全領域ストリーム復号部５４により復号し、生成した全領域復号画像をカメラレコーダに直接接続された全領域表示装置５７に表示することが可能である。
また、ここでのカメラレコーダは、遠隔地に居る複数のユーザの表示端末（タブレット端末、スマートフォン、ＰＣなど）に対して、監視映像データを配信することが可能である。遠隔地のユーザの表示端末には、所定の伝送システムを介して監視映像データが配信されるが、伝送システムの伝送容量によっては、全領域ビットストリームを全て伝送するのが困難である場合が考えられる。ここで、本システムでは、ユーザが表示端末を操作して、任意の表示領域を指定して監視映像データを要求すると、その表示領域を示す表示領域情報が所定の伝送システムを介してカメラレコーダの動画像配信装置５３に入力され、動画像配信装置５３がユーザ指定の表示領域の再生に必要な符号化パラメータ等を含む部分領域ビットストリームを生成して、その部分領域ビットストリームを、所定の伝送システムを介して要求元の表示端末に送信する。
【０１０２】
監視映像の必要な領域のみを指定することで、伝送するデータ量を抑制して遠隔地で監視映像を視聴することが可能となる。また、表示領域はユーザ毎に個別に指定可能であるため、例えば、伝送容量の大きな伝送路を使用可能なユーザは、より大きな表示領域を指定することが可能になる。
動画像復号装置５０−１〜５０−Ｎのそれぞれが、各ユーザの表示端末に内蔵されており、各動画像復号装置５０−１〜５０−Ｎが動画像配信装置５３から送信された部分領域ビットストリームを受信し、その部分領域ビットストリームから部分領域復号画像を復号することで、各表示端末で部分領域復号画像が表示される。
【０１０３】
以上より、図１１に示すシステムを用いることで、ユーザは高解像度な監視映像をカメラレコーダに直結した表示装置で視聴することが可能になるとともに、所定の伝送システムを介した遠隔地においても、必要な領域のみを指定することで、伝送するデータ量を抑制して監視映像を視聴することが可能になる。また、ユーザ毎に個別に、指定する表示領域を変更することも可能になる。
【０１０４】
実施の形態３．
この実施の形態３では、上記実施の形態１，２で示している動画像符号化装置及び動画像トランスコード装置をより効率的に運用するための動画像ストリーム伝送システムについて説明する。
この実施の形態３では、全領域画像がスライスやタイルなどのサブピクチャ単位に分割されている状態を想定する。
図１２は全領域画像が６個のサブピクチャ（Ｓｕｂ−ｐｉｃ）に分割されている例を示す説明図である。
【０１０５】
図１３はこの発明の実施の形態３による動画像ストリーム伝送システムを示す構成図であり、図１３において、図１と同一符号は同一または相当部分を示すので説明を省略する。
動画像符号化装置１は、上記実施の形態１で示している動画像符号化装置１（あるいは、上記実施の形態２で示している動画像符号化装置５１）であり、ヒント情報を多重化しているビットストリーム（サブピクチャ単位のビットストリーム）を生成したのち、サブピクチャ単位のビットストリームを全領域画像分まとめて、全領域画像のビットストリームである全領域ビットストリーム（全領域ストリーム）を出力する。
図１２の例では、全領域画像が６個のサブピクチャに分割されているので、６個のサブピクチャのビットストリームが纏められている全領域ビットストリームが出力される。
【０１０６】
ＭＵＸＥＲ６１は動画像符号化装置１から出力された全領域ビットストリームと、全領域画像におけるサブピクチャの分割状態及び全領域ビットストリームに含まれているサブピクチャ単位のビットストリームのデータ位置を示すサブピクチャ情報とを予め設定されている伝送フォーマットの多重化信号に多重化して、その多重化信号を伝送する多重化伝送装置である。
ＤＥＭＵＸＥＲ６２はＭＵＸＥＲ６１により伝送された多重化信号を受信して、その多重化信号に含まれている全領域ビットストリームとサブピクチャ情報を分離し、そのサブピクチャ情報と復号対象のサブピクチャを示す表示領域情報とを参照して、その全領域ビットストリームから復号対象のサブピクチャのビットストリームを抽出する多重分離装置である。
【０１０７】
次に動作について説明する。
例えば、全領域画像が図１２に示すように６個のサブピクチャ（Ｓｕｂ−ｐｉｃ）に分割されている場合、動画像符号化装置１から６個のサブピクチャのビットストリームが纏められている全領域ビットストリームが出力される。
このとき、動画像復号装置６において、全領域画像の中の一部の領域だけを復号する場合、復号対象のサブピクチャを示す表示領域情報がＤＥＭＵＸＥＲ６２及び動画像トランスコード装置２に入力される。
図１２の例では、点線で囲まれている領域（必須符号化領域）が復号対象の領域であり、表示領域情報は、点線で囲まれている領域が属するサブピクチャが、Ｓｕｂ−ｐｉｃ１，Ｓｕｂ−ｐｉｃ４である旨を示している。
ただし、復号装置側では、各サブピクチャを独立して復号可能な符号化単位（例えば、ＨＥＶＣやＨ．２６４におけるＮＡＬなど）で符号化されている必要があるが、この実施の形態３では、動画像復号装置６がＮＡＬ単位で復号可能であることを想定しているので、動画像トランスコード装置２がＳｕｂ−ｐｉｃ１，Ｓｕｂ−ｐｉｃ４に対応するＮＡＬのみを用いてビットストリームを生成しても、動画像復号装置６が復号対象のサブピクチャを復号することが可能である。
【０１０８】
ＭＵＸＥＲ６１は、外部から全領域画像におけるサブピクチャの分割状態及び全領域ビットストリームに含まれているサブピクチャ単位のビットストリームのデータ位置を示すサブピクチャ情報の入力を受ける。
図１２の例では、サブピクチャ情報は、Ｓｕｂ−ｐｉｃ１〜６が全領域画像のどの位置に存在しているかを示し、また、Ｓｕｂ−ｐｉｃ１〜６に対応するビットストリームが全領域ビットストリームのどの位置に存在しているかを示している。
ここでは、サブピクチャ情報が、分割状態を示す情報とデータ位置情報を含んでいる例を示しているが、他の情報を含んでいてもよい。
【０１０９】
ＭＵＸＥＲ６１は、動画像符号化装置１から全領域ビットストリームを受けると、全領域ビットストリームとサブピクチャ情報を予め設定されている伝送フォーマットの多重化信号に多重化して、その多重化信号を伝送する。
ここでの伝送フォーマットとしては、例えば、ＭＰＥＧ−２  ＴＳや、ＭＭＴ（ＭＰＲＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）などで定義される伝送フォーマットが考えられる。上記のサブピクチャ情報は、これらの伝送システムの記述子として全領域ビットストリームと多重化される。ただし、上記伝送フォーマットは一例であるため、他の伝送フォーマットであってもよい。
【０１１０】
ＤＥＭＵＸＥＲ６２は、ＭＵＸＥＲ６１により伝送された多重化信号を受信すると、その多重化信号に含まれている全領域ビットストリームとサブピクチャ情報を分離する。
また、ＤＥＭＵＸＥＲ６２は、外部から与えられた復号対象のサブピクチャを示す表示領域情報を参照することで、復号対象のサブピクチャを特定する。図１２の例では、Ｓｕｂ−ｐｉｃ１，Ｓｕｂ−ｐｉｃ４が復号対象のサブピクチャであると特定する。
ＤＥＭＵＸＥＲ６２は、復号対象のサブピクチャを特定すると、多重化信号から分離したサブピクチャ情報を参照して、全領域ビットストリームに含まれている復号対象のサブピクチャのビットストリームを特定し、全領域ビットストリームから復号対象のサブピクチャのビットストリームを抽出する。
図１２の例では、Ｓｕｂ−ｐｉｃ１，Ｓｕｂ−ｐｉｃ４に対応するビットストリーム（ＶＣＬ−ＮＡＬ１，ＶＣＬ−ＮＡＬ４）を抽出する。
【０１１１】
動画像トランスコード装置２は、ＤＥＭＵＸＥＲ６２が復号対象のサブピクチャのビットストリームを抽出すると、上記実施の形態１と同様に、それらのビットストリームから部分領域ビットストリームを生成して、その部分領域ビットストリームを動画像復号装置６に出力する。
【０１１２】
以上で明らかなように、この実施の形態３によれば、動画像符号化装置１から出力された全領域ビットストリームと、全領域画像におけるサブピクチャの分割状態及び全領域ビットストリームに含まれているサブピクチャ単位のビットストリームのデータ位置を示すサブピクチャ情報とを予め設定されている伝送フォーマットの多重化信号に多重化して、その多重化信号を伝送するＭＵＸＥＲ６１と、ＭＵＸＥＲ６１により伝送された多重化信号を受信して、その多重化信号に含まれている全領域ビットストリームとサブピクチャ情報を分離し、そのサブピクチャ情報と復号対象のサブピクチャを示す表示領域情報とを参照して、その全領域ビットストリームから復号対象のサブピクチャのビットストリームを抽出するＤＥＭＵＸＥＲ６２とを備えるように構成したので、動画像符号化装置１により生成された全領域ビットストリームのうち、復号に必要なビットストリームだけを伝送すれば足りるようになり、ビットストリームの伝送量を削減することができる効果を奏する。
【０１１３】
この実施の形態３では、ＤＥＭＵＸＥＲ６２が、全領域ビットストリームから抽出したビットストリームを動画像トランスコード装置２に出力する例を示したが、図１４に示すように、動画像トランスコード装置２を省略して、全領域ビットストリームから抽出したビットストリームを動画像復号装置６に出力するようにしてもよい。
この場合、図１３の構成と比べると、動画像復号装置６に入力されるビットストリームのサイズが大きくなるが、動画像トランスコード装置２におけるトランスコード処理が実施されなくなるため、部分領域の復号を高速に実施することが可能になる。
【０１１４】
実施の形態４．
上記実施の形態３では、ＤＥＭＵＸＥＲ６２が、サブピクチャ情報と表示領域情報を参照して、全領域ビットストリームから復号対象のサブピクチャのビットストリームを抽出するものを示したが、図１５に示すように、ＭＵＸＥＲ６１が、サブピクチャ情報と表示領域情報を参照して、全領域ビットストリームから復号対象のサブピクチャのビットストリームを抽出するようにしてもよい。
【０１１５】
この場合、ＭＵＸＥＲ６１は、全領域ビットストリームから抽出した復号対象のサブピクチャのビットストリームを予め設定されている伝送フォーマットの多重化信号に多重化して、その多重化信号をＤＥＭＵＸＥＲ６２に伝送する。
ＤＥＭＵＸＥＲ６２は、ＭＵＸＥＲ６１により伝送された多重化信号を受信して、その多重化信号に含まれている復号対象のサブピクチャのビットストリームを分離し、当該ビットストリームを動画像トランスコード装置２又は動画像復号装置６に出力する。
この実施の形態４によれば、上記実施の形態３よりも更にビットストリームの伝送量を削減することができる効果を奏する。
なお、ＭＵＸＥＲ６１が入手する表示領域情報は、例えば、復号側である動画像復号装置６から取得するようにしてもよいし、送信側である動画像符号化装置１から取得するようにしてもよい。あるいは、ユーザの入力によって取得するようにしてもよい。
【０１１６】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１１７】
この発明に係る動画像符号化装置は、全領域ビットストリームの圧縮効率の低下を招くことなく、低演算量で効率的な部分領域ビットストリームを生成する必要があるものに適している。
【符号の説明】
【０１１８】
１  動画像符号化装置、２  動画像トランスコード装置、３  全領域ストリーム復号部（必須符号化領域特定手段）、４  部分領域トランスコード部（必須符号化領域特定手段、パラメータ抽出手段、部分領域ストリーム生成手段）、５  全領域表示装置、６  動画像復号装置、７  部分領域表示装置、１１  符号化制御部（予測画像生成手段）、１２  ブロック分割部（予測画像生成手段）、１３  切換スイッチ（予測画像生成手段）、１４  イントラ予測部（予測画像生成手段）、１５  動き補償予測部（予測画像生成手段）、１６  ＰＣＭ符号化部、１７  減算部（ビットストリーム生成手段）、１８  変換・量子化部（ビットストリーム生成手段）、１９  逆量子化・逆変換部、２０  加算部、２１  ループフィルタ部、２２  フレームメモリ、２３  可変長符号化部（ビットストリーム生成手段）、３１  可変長符号復号部、３２  切換スイッチ、３３  イントラ予測部、３４  動き補償部、３５  ＰＣＭ復号部、３６  逆量子化・逆変換部、３７  加算部、３８  ループフィルタ部、３９  フレームメモリ、４１  トランスコード制御部、４２  符号化パラメータ抽出部、４３  外部参照ブロック符号化部、４４  不要ブロック符号化部、４５  切換スイッチ、４６  可変長符号化部、５１  動画像符号化装置、５２  ストレージ、５３  動画像配信装置、５４  全領域ストリーム復号部、５５  部分領域トランスコード部、５６  配信制御部、５７  全領域表示装置、５０−１〜５０−Ｎ  動画像復号装置、５１−１〜５１−Ｎ  部分領域表示装置、６１  ＭＵＸＥＲ（多重化伝送装置）、６２  ＤＥＭＵＸＥＲ（多重分離装置）。
【図１】
2015034061.tif 000007
【図２】
2015034061.tif 000008
【図３】
2015034061.tif 000009
【図４】
2015034061.tif 000010
【図５】
2015034061.tif 000011
【図６】
2015034061.tif 000012
【図７】
2015034061.tif 000013
【図８】
2015034061.tif 000014
【図９】
2015034061.tif 000015
【図１０】
2015034061.tif 000016
【図１１】
2015034061.tif 000017
【図１２】
2015034061.tif 000018
【図１３】
2015034061.tif 000019
【図１４】
2015034061.tif 000020
【図１５】
2015034061.tif 000021
【手続補正書】
【提出日】平成28年9月29日(2016.9.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
この発明に係る動画像符号化装置は、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）に属するピクチャ内の符号化対象ブロックに対する符号化パラメータを決定し、その符号化パラメータを用いて、予測画像を生成する予測画像生成手段と、符号化対象ブロックと予測画像生成手段により生成された予測画像の差分画像を圧縮符号化し、その符号化結果である符号化データと符号化パラメータを多重化してビットストリームを生成するビットストリーム生成手段とを備え、予測画像生成手段が、外部から与えられた、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とに従って予測画像を生成し、ビットストリーム生成手段が、動きベクトル制限情報と、ＧＯＰサイズ制限情報と、参照構造指定情報とを含むヒント情報をビットストリームに多重化するようにしたものである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
この発明によれば、予測画像生成手段は、外部から与えられた、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とに従って予測画像を生成し、ビットストリーム生成手段は、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報をビットストリームに多重化するように構成したので、全領域のビットストリームの圧縮効率の低下を招くことなく、低演算量で効率的な部分領域のビットストリームの生成に適している全領域のビットストリームを生成することができる効果がある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
符号化パラメータ抽出部４２は全領域ストリーム復号部３から出力された全領域の符号化データ及び符号化パラメータの中から、トランスコード制御部４１から出力された必須符号化領域情報が示す必須符号化領域に含まれている符号化対象ブロックの符号化データ（量子化後係数／ＰＣＭ信号）及び符号化パラメータ（符号化モード（イントラ符号化モード／インター符号化モード／ＰＣＭ符号化モード）、予測パラメータ（イントラ予測パラメータ／インター予測パラメータ）／ＰＣＭ符号化パラメータ、動きベクトル（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ、ループフィルタパラメータ、ヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報））を抽出し、符号化対象ブロックの符号化データ及び符号化パラメータを外部参照ブロック符号化部４３及び切換スイッチ４５に出力する処理を実施する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
次に、動画像トランスコード装置２の部分領域トランスコード部４の処理内容を説明する。
トランスコード制御部４１は、図３の全領域ストリーム復号部３からヒント情報（動きベクトル制限情報、ＧＯＰサイズ制限情報、参照構造指定情報）を受けると、そのヒント情報に含まれている動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報を参照して、外部から与えられた表示領域情報が示すピクチャの表示領域からトランスコードの対象となる領域（トランスコード対象領域）を特定するとともに、そのトランスコード対象領域を復号する際に必要な領域（全領域復号画像と同一または近しい復号が保証される領域であって、トランスコード時に符号化パラメータを流用する必要がある領域）である必須符号化領域を特定し、そのトランスコード対象領域を示すトランスコード対象領域及び必須符号化領域を示す必須符号化領域情報を出力する（図７のステップＳＴ４１）。
なお、ＧＯＰに属する各ピクチャにおける必須符号化領域のサイズが異なる場合、例えば、サイズが最も大きい必須符号化領域を各ピクチャで共通のトランスコード対象領域に決定する。
以下、トランスコード制御部４１によるトランスコード対象領域情報及び必須符号化領域の特定処理を具体的に説明する。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）に属するピクチャ内の符号化対象ブロックに対する符号化パラメータを決定し、前記符号化パラメータを用いて、予測画像を生成する予測画像生成手段と、
前記符号化対象ブロックと前記予測画像生成手段により生成された予測画像の差分画像を圧縮符号化し、その符号化結果である符号化データと前記符号化パラメータを多重化してビットストリームを生成するビットストリーム生成手段とを備え、
前記予測画像生成手段は、外部から与えられた、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、前記ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、前記ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とに従って前記予測画像を生成し、
前記ビットストリーム生成手段は、前記動きベクトル制限情報と、前記ＧＯＰサイズ制限情報と、前記参照構造指定情報とを含むヒント情報を前記ビットストリームに多重化することを特徴とする動画像符号化装置。
【請求項２】
前記予測画像生成手段は、前記符号化対象ブロックに対する符号化モードがインター符号化モードである場合、前記動きベクトル制限情報が示す領域内で動きベクトルを探索し、前記動きベクトルと前記符号化パラメータを用いて、前記符号化対象ブロックに対する予測処理を実施して予測画像を生成することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
動画像符号化装置により、符号化データと符号化パラメータとともに、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）に属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、前記ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報が多重化されたビットストリームから前記ヒント情報を抽出し、前記ヒント情報に含まれている動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報を参照して、外部から与えられた表示領域情報が示すピクチャの表示領域を復号する際に必要な領域である必須符号化領域を特定する必須符号化領域特定手段と、
前記動画像符号化装置により生成されたビットストリームから、前記必須符号化領域特定手段により特定された必須符号化領域に含まれている符号化対象ブロックの符号化データ及び符号化パラメータを抽出するパラメータ抽出手段と、
前記パラメータ抽出手段により抽出された符号化データ及び符号化パラメータから予め設定されている符号化コーデックに準拠している部分領域ストリームを生成する部分領域ストリーム生成手段と
を備えた動画像トランスコード装置。
【請求項４】
前記パラメータ抽出手段は、
前記必須符号化領域特定手段により特定された必須符号化領域に含まれている符号化対象ブロックが、前記必須符号化領域の外部の画素値を参照してイントラ符号化が行われている外部参照ブロックでない場合、前記動画像符号化装置により生成されたビットストリームから前記符号化対象ブロックの符号化データ及び符号化パラメータを抽出して、前記符号化データ及び符号化パラメータを出力する符号化パラメータ抽出部と、
前記必須符号化領域特定手段により特定された必須符号化領域に含まれている符号化対象ブロックが、前記必須符号化領域の外部の画素値を参照してイントラ符号化が行われている外部参照ブロックである場合、前記必須符号化領域の外部の画素値を予測参照に用いない符号化方式で、前記符号化対象ブロックの復号画像を符号化し、その符号化結果である符号化データと前記復号画像の符号化に用いた符号化パラメータを出力する外部参照ブロック符号化部と、
前記符号化パラメータ抽出部から出力された符号化データ及び符号化パラメータ、または、前記外部参照ブロック符号化部から出力された符号化データ及び符号化パラメータを選択し、その選択した符号化データ及び符号化パラメータを前記部分領域ストリーム生成手段に出力する切換スイッチとを備えたことを特徴とする請求項３記載の動画像トランスコード装置。
【請求項５】
前記外部参照ブロック符号化部は、前記符号化対象ブロックの画面端の画素値を参照するイントラ符号化方式でイントラ予測画像を生成し、前記符号化対象ブロックの復号画像と前記イントラ予測画像の差分画像を圧縮符号化して、その符号化結果である符号化データと前記イントラ予測画像を生成する際に用いた符号化パラメータを出力することを特徴とする請求項４記載の動画像トランスコード装置。
【請求項６】
前記外部参照ブロック符号化部は、前記符号化対象ブロックの復号画像をＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）符号化し、その符号化結果である符号化データとＰＣＭ符号化パラメータを出力することを特徴とする請求項４記載の動画像トランスコード装置。
【請求項７】
前記パラメータ抽出手段は、
前記ＧＯＰに属する各ピクチャにおける必須符号化領域のサイズが異なる場合、前記各ピクチャにおける必須符号化領域の中から、前記サイズに基づいてトランスコード対象領域とする必須符号化領域を指定し、
各々のピクチャにおいて、前記指定した必須符号化領域の外部にあって、前記トランスコード対象領域の内部にある符号化対象ブロックについては、インター符号化方式におけるスキップモードで符号化し、その符号化結果である符号化データと前記符号化対象ブロックの符号化に用いた符号化パラメータを出力する不要ブロック符号化部を備え、
前記切換スイッチは、前記符号化パラメータ抽出部から出力された符号化データ及び符号化パラメータ、前記外部参照ブロック符号化部から出力された符号化データ及び符号化パラメータ、または、前記不要ブロック符号化部から出力された符号化データ及び符号化パラメータを選択し、その選択した符号化データ及び符号化パラメータを前記部分領域ストリーム生成手段に出力することを特徴とする請求項４記載の動画像トランスコード装置。
【請求項８】
予測画像生成手段が、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）に属するピクチャ内の符号化対象ブロックに対する符号化パラメータを決定し、前記符号化パラメータを用いて、予測画像を生成し、
ビットストリーム生成手段が、前記符号化対象ブロックと前記予測画像の差分画像を圧縮符号化し、その符号化結果である符号化データと前記符号化パラメータを多重化してビットストリームを生成する動画像符号化方法であって、
前記予測画像生成手段では、外部から与えられた、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、前記ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、前記ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とに従って前記予測画像を生成し、
前記ビットストリーム生成手段では、前記動きベクトル制限情報と、前記ＧＯＰサイズ制限情報と、前記参照構造指定情報とを含むヒント情報を前記ビットストリームに多重化することを特徴とする動画像符号化方法。
【請求項９】
必須符号化領域特定手段が、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）に属するピクチャ内の符号化対象ブロックに対する符号化パラメータ、前記符号化パラメータを用いて符号化された結果である符号化データ、および、動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、前記ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、前記ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報が多重化されたビットストリームから前記ヒント情報を抽出し、前記ヒント情報に含まれている動きベクトル制限情報、ＧＯＰサイズ制限情報及び参照構造指定情報を参照して、外部から与えられた表示領域情報が示すピクチャの表示領域を復号する際に必要な領域である必須符号化領域を特定し、
パラメータ抽出手段が、前記ビットストリームから、前記必須符号化領域に含まれている符号化対象ブロックの符号化データ及び符号化パラメータを抽出し、
部分領域ストリーム生成手段が、前記パラメータ抽出手段により抽出された符号化データ及び符号化パラメータから予め設定されている符号化コーデックに準拠している部分領域ストリームを生成する動画像トランスコード方法。
【請求項１０】
ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）に属するピクチャ内の符号化対象ブロックに対する符号化パラメータを決定し、前記符号化パラメータを用いて、予測画像を生成する予測画像生成手段と、
前記符号化対象ブロックと前記予測画像生成手段により生成された予測画像の差分画像を圧縮符号化し、その符号化結果である符号化データと前記符号化パラメータを多重化してビットストリームを生成するビットストリーム生成手段とを備え、
前記ビットストリーム生成手段は、前記動きベクトルの探索可能な範囲を示す動きベクトル制限情報と、前記ＧＯＰに属するピクチャの数であるＧＯＰサイズを示すＧＯＰサイズ制限情報と、前記ＧＯＰに属する各ピクチャを復号する際に参照するピクチャを示す参照構造指定情報とを含むヒント情報を前記ビットストリームに多重化し、
前記ビットストリーム生成手段は、前記符号化対象ブロックが、全領域画像がサブピクチャ単位に分割されているブロックに相当する場合、前記ヒント情報を多重化しているサブピクチャ単位のビットストリームを生成したのち、前記サブピクチャ単位のビットストリームを全領域画像分まとめて、全領域画像のビットストリームである全領域ストリームを出力することを特徴とする動画像符号化装置。
【請求項１１】
請求項１０記載の動画像符号化装置と、
前記動画像符号化装置から出力された全領域ストリームと、前記全領域画像におけるサブピクチャの分割状態及び前記全領域ストリームに含まれているサブピクチャ単位のビットストリームのデータ位置を示すサブピクチャ情報とを予め設定されている伝送フォーマットの多重化信号に多重化して、前記多重化信号を伝送する多重化伝送装置と、
前記多重化伝送装置により伝送された多重化信号を受信して、前記多重化信号に含まれている前記全領域ストリームと前記サブピクチャ情報を分離し、前記サブピクチャ情報と復号対象のサブピクチャを示す表示領域情報とを参照して、前記全領域ストリームから復号対象のサブピクチャのビットストリームを抽出する多重分離装置と
を備えた動画像ストリーム伝送システム。
【請求項１２】
請求項１０記載の動画像符号化装置と、
前記全領域画像におけるサブピクチャの分割状態及び前記全領域ストリームに含まれているサブピクチャ単位のビットストリームのデータ位置を示すサブピクチャ情報とを参照して、前記動画像符号化装置より出力された全領域ストリームから復号対象のサブピクチャのビットストリームを抽出し、前記復号対象のサブピクチャのビットストリームを予め設定されている伝送フォーマットの多重化信号に多重化して、前記多重化信号を伝送する多重化伝送装置と、
前記多重化伝送装置により伝送された多重化信号を受信して、前記多重化信号に含まれている前記復号対象のサブピクチャのビットストリームを分離する多重分離装置と
を備えた動画像ストリーム伝送システム。
【請求項１３】
前記多重化伝送装置は、前記復号対象のサブピクチャのビットストリームを復号する動画像復号装置から前記表示領域情報を取得することを特徴とする請求項１２記載の動画像ストリーム伝送システム。
【国際調査報告】
2015034061.tif 000022
2015034061.tif 000023
2015034061.tif 000024
2015034061.tif 000025