(57)【要約】【課題】ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際、合成された画像における画質の低下を防止する。【解決手段】ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際に、以下のような処理が行われる。符号化部は、複数の画像の中で、複数の符号化領域のうち第１の符号化領域と第２の符号化領域とを含む領域が割り当てられた第１の画像内の第１の符号化領域と第２の符号化領域との第１の境界では、境界部のひずみを低減するフィルタを掛けて符号化を行う。符号化部は、第１の符号化領域と複数の画像のうち第２の画像に割り当てられた第３の符号化領域との第２の境界では、フィルタを掛けずに符号化を行う。【選択図】図１
2016165074.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際に、前記複数の画像の中で、前記複数の符号化領域のうち第１の符号化領域と第２の符号化領域とを含む領域が割り当てられた第１の画像内の前記第１の符号化領域と前記第２の符号化領域との第１の境界では、境界部のひずみを低減するフィルタを掛けて符号化を行い、前記第１の符号化領域と前記複数の画像のうち第２の画像に割り当てられた第３の符号化領域との第２の境界では、前記フィルタを掛けずに符号化を行う符号化部、
を有することを特徴とする動画像符号化装置。
【請求項２】
前記符号化部は、前記ピクチャ内の前記符号化領域と符号化順に並んだ複数の符号化ブロックを含むスライスとによる分割を行う分割部
を有し、
前記分割部は、前記ピクチャにおいて、垂直方向には前記符号化領域で分割し、水平方向には前記スライスで分割して得られる複数の画像領域毎に、前記複数の画像のいずれかを割り当てて符号化を行う場合、前記符号化領域の境界では前記フィルタを掛け、前記スライスの境界では前記フィルタを掛けないように、前記フィルタを掛けるか否かを示すパラメータを設定し、前記符号化領域の境界であってスライスの境界である境界では前記フィルタを掛けないようにする
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記分割部は、前記複数の画像のいずれかを、現在の前記画像または他の画像より拡大する指示を受け付けた場合、拡大対象の画像の拡大後の大きさの前記ピクチャに対する縮小率を示す第１の縮小率と、前記拡大対象の画像以外の画像の前記ピクチャに対する縮小率を示す第２の縮小率と、を設定し、
前記拡大対象の画像が割り振られる画像領域の左右の領域を、スライスにより、前記第２の縮小率に対する前記第１の縮小率の比の個数に水平分割する、
ことを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記分割部は、前記複数の画像のいずれかを、現在の前記画像または他の画像より拡大する指示を受け付けた場合、拡大対象の画像の拡大後の大きさの前記ピクチャに対する縮小率を示す第１の縮小率と、前記拡大対象の画像以外の画像の前記ピクチャに対する縮小率を示す第２の縮小率と、を設定し、
前記拡大対象の画像が割り振られる画像領域の上下の領域を、前記第２の縮小率に応じて前記符号化領域により水平及び垂直分割する、
ことを特徴とする請求項２または請求項３に記載の動画像符号化装置。
【請求項５】
さらに、前記ピクチャに対応する前記第１の縮小率、前記第２の縮小率、前記パラメータを記憶する記憶装置、
を有し、
前記分割部は、前記記憶装置から前記第１の縮小率、前記第２の縮小率、前記パラメータを読み出して設定する
ことを特徴とする請求項３または請求項４に記載の動画像符号化装置。
【請求項６】
動画像符号化装置が、
ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際に、前記複数の画像の中で、前記複数の符号化領域のうち第１の符号化領域と第２の符号化領域とを含む領域が割り当てられた第１の画像内の前記第１の符号化領域と前記第２の符号化領域との第１の境界では、境界部のひずみを低減するフィルタを掛けて符号化を行い、前記第１の符号化領域と前記複数の画像のうち第２の画像に割り当てられた第３の符号化領域との第２の境界では、前記フィルタを掛けずに符号化を行う
ことを特徴とする動画像符号化方法。
【請求項７】
ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際に、前記複数の画像の中で、前記複数の符号化領域のうち第１の符号化領域と第２の符号化領域とを含む領域が割り当てられた第１の画像内の前記第１の符号化領域と前記第２の符号化領域との第１の境界では、境界部のひずみを低減するフィルタを掛けて符号化を行い、前記第１の符号化領域と前記複数の画像のうち第２の画像に割り当てられた第３の符号化領域との第２の境界では、前記フィルタを掛けずに符号化を行う
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法及びプログラムに関する。
【背景技術】
【０００２】
例えば監視カメラシステムでは、複数のカメラ画像を一度にチェックできる仕組みが必要とされる。また、状況によっては特定のカメラ画像を拡大して確認したいといった要望が存在する。このような場合、拡大された特定のカメラ画像においても画質を劣化させないようにすることが好ましい。
【０００３】
このため、符号化対象のフレーム画像において、複数の画像の境界に接している画像ブロックに対しては、そのローカルデコード画像においてデブロッキングフィルタ処理がかからなくなるようにする例が知られている。このような例では、複数の画像の境界に接している画像ブロックを特定する情報が入力される。入力された情報に基づいて特定される画像ブロックについては、そのローカルデコード画像においてデブロッキングフィルタ処理がかからなくなるように、符号化処理に対して所定の符号化制御パラメータが設定される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１２００５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、代表的な動画像符号化標準は、International Organization for Standardization/International Electrotechnical Commission(ISO/IEC) によって策定されている。動画像符号化標準は、International Telecommunication Union Telecommunication Standardization Sector(ITU-T)によっても策定されている。その中で、ひとつの動画像符号化方式であるHigh Efficiency Video Coding (HEVC, ITU-T H.265 | ISO/IEC 23008-2)では、タイル符号化と呼ばれる並列符号化手法が追加されている。
【０００６】
このタイル符号化を用いて、画面をタイル分割した各タイルに複数のカメラ画像を対応付けて配置し、一画面の画像として符号化を行う場合、以下のような問題がある。すなわち、例えば、ある特定のカメラ画像のみを拡大したいケースなどでは、複数のタイルを含むカメラ画像内のタイル境界でデブロッキングフィルタがかからず、画質が低下することがある。
【０００７】
ひとつの側面によれば、本発明の目的は、ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際、合成された画像における画質の低下を防止することである。
【課題を解決するための手段】
【０００８】
ひとつの態様である動画像符号化装置は、ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際に、以下のような処理を行う。すなわち、動画像符号化装置の符号化部が以下の処理を行う。符号化部は、複数の画像の中で、複数の符号化領域のうち第１の符号化領域と第２の符号化領域とを含む領域が割り当てられた第１の画像内の第１の符号化領域と第２の符号化領域との第１の境界では、境界部のひずみを低減するフィルタを掛けて符号化を行う。符号化部は、第１の符号化領域と複数の画像のうち第２の画像に割り当てられた第３の符号化領域との第２の境界では、フィルタを掛けずに符号化を行う。
【発明の効果】
【０００９】
ひとつの実施形態によれば、ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際、合成された画像における画質の低下を防止することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】一実施の形態による動画像符号化装置のハードウエア構成の一例を示す図である。
【図２】一実施の形態による分割部の機能的な構成の一例を説明する図である。
【図３】一実施の形態による符号化コアの機能的な構成の一例を示す図である。
【図４】一実施の形態によるスライスの一例を示す図である。
【図５】一実施の形態によるタイルの一例を示す図である。
【図６】一実施の形態によるタイルとスライスとの関係の一例を示す図である。
【図７】比較例による画像拡大の一例を示す図である。
【図８】一実施の形態による画像領域拡大時の画像の一例を示す図である。
【図９】一実施の形態によるシンタックスの遷移の一例を示す図である。
【図１０】一実施の形態によるタイル分割パターンの一例を示す図である。
【図１１】一実施の形態によるタイル分割パターンの別の例を示す図である。
【図１２】一実施の形態による分割パターンテーブルの一例を示す図である。
【図１３Ａ】一実施の形態による分割パターンテーブルにおける入力画像数＝４の分割パターン例を示す図（その１）である。
【図１３Ｂ】一実施の形態による分割パターンテーブルにおける入力画像数＝４の分割パターン例を示す図（その２）である。
【図１３Ｃ】一実施の形態による分割パターンテーブルにおける入力画像数＝４の分割パターン例を示す図（その３）である。
【図１４Ａ】一実施の形態による分割パターンテーブルにおける入力画像数＝９の分割パターン例を示す図（その１）である。
【図１４Ｂ】一実施の形態による分割パターンテーブルにおける入力画像数＝９の分割パターン例を示す図（その２）である。
【図１４Ｃ】一実施の形態による分割パターンテーブルにおける入力画像数＝９の分割パターン例を示す図（その３）である。
【図１５Ａ】一実施の形態による分割パターンテーブルにおける入力画像数＝９の分割パターン例を示す図（その４）である。
【図１５Ｂ】一実施の形態による分割パターンテーブルにおける入力画像数＝９の分割パターン例を示す図（その５）である。
【図１６Ａ】一実施の形態による分割パターンテーブルにおける入力画像数＝９の分割パターン例を示す図（その６）である。
【図１６Ｂ】一実施の形態による分割パターンテーブルにおける入力画像数＝９の分割パターン例を示す図（その７）である。
【図１７】比較例によるピクチャ符号化処理の一例を示すフローチャートである。
【図１８】一実施の形態によるピクチャ符号化処理の一例を示すフローチャートである。
【図１９】一実施の形態によるタイル符号化処理の一例を示すフローチャートである。
【図２０】一実施の形態によるスライス符号化処理の一例を示すフローチャートである。
【図２１】標準的なコンピュータのハードウエア構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、一実施の形態による動画像符号化装置２０について説明する。図１は、一実施の形態による動画像符号化装置２０のハードウエア構成の一例を示す図である。動画像符号化装置２０は、ＨＥＶＣで採用されているタイル符号化を用いて、複数の入力画像を１画面の画像（以下、ピクチャということがある）に合成して符号化する装置である。タイル符号化では、例えば符号化対象画像の1ピクチャを分割し、分割された符号化領域（タイル）において夫々独立して符号化が行われる。このタイル符号化は、複数画像の符号化等にも適用可能な符号化方法である。本実施の形態においては、複数の入力画像の夫々は、１つのタイル内に、または、複数のタイルを含むように割り当てられ、タイル符号化により符号化される。また、タイルは矩形分割が可能である。
【００１２】
図１に示すように、動画像符号化装置２０は、複数のビデオ入力部２２−１〜２２−ｋ（ｋは、１以上の整数）、メモリコントローラ２６、符号化部３０及びCentral Processing Unit(CＰＵ)３８を有している。符号化部３０は、スケーラ３２、符号化コア３４、分割部３６を有している。
【００１３】
ビデオ入力装置２２−１〜２２−ｋは、例えば、複数のビデオカメラなどからの動画像の入力をそれぞれ受け付ける。メモリコントローラ２６は、Synchronous Dynamic Random Access Memory（ＳＤＲＡＭ）２８への情報の書き込み及び読み出しを制御する。ＳＤＲＡＭ２８は、動画像符号化装置２０の動作を制御するプログラム、処理の際に参照する各種情報や、動画像符号化処理により生成される情報等を記憶する。
【００１４】
符号化部３０は、動画像の符号化を行う。符号化部３０は、例えば、それぞれ別の集積回路等の構成であるスケーラ３２、符号化コア３４、分割部３６を含むようにしてもよい。符号化部３０は、スケーラ３２、符号化コア３４、分割部３６としての機能の一部、または全てを有する一つ以上の集積回路等を含むようにしてもよい。あるいは、符号化部３０は、符号化部３０としての処理を行うためのプログラムを読み込んで実行するプロセッサを有し、スケーラ３２、符号化コア３４、分割部３６の機能を実現するようにしてもよい。
【００１５】
スケーラ３２は、入力画像を１画面の画像に割り当てる際に、入力画像の大きさを調整する処理を行う。符号化コア３４は、複数の入力画像を含む符号化対象画像を符号化する処理を行う。分割部３６は、１画面に複数の入力画像を割り当てる際に、１画面をタイルまたはスライスで分割された複数の画像領域に分割する処理を行う。ここでの画像領域とは、１つの入力画像が割り当てられる領域をいう。ＣＰＵ３８は、動画像符号化装置２０における各種処理を制御する。ＣＰＵ３８は、動画像符号化装置２０を動作させる制御プログラムをＳＤＲＡＭ２８から読み出して実行することにより、動画像符号化装置２０における各種処理を行うようにしてもよい。
【００１６】
図２は、一実施の形態による分割部３６の機能的な構成の一例を説明する図である。図２に示すように、分割部３６は、後述する分割パターンテーブル４０をＳＤＲＡＭ２８から読み込む。分割部３６は、例えば、動画像符号化装置２０のユーザにより入力される特定領域拡大モード指示、分割パターンなどを受け付ける。特定領域拡大モード指示とは、１ピクチャに含まれる複数の入力画像のうち、特定の画像を、現在の当該画像、または他の入力画像と比較して拡大するときに入力される指示である。以下、単に拡大モード指示ということがある。分割パターンとは、１ピクチャにおける複数の画像領域の配置状態をいう。分割パターンの詳細は後述される。なお、拡大モード指示は、以下に説明するように、例えば、ユーザにより選択された分割パターンを分割パターンテーブル４０で参照することで取得される。拡大モード指示は、例えば、画像表示装置に備えられたタッチパネル等で拡大したい特定の画像を選択するなどして、直接入力されるようにしてもよい。
【００１７】
分割部３６は、特定領域拡大モード指示、および選択された分割パターンを分割パターンテーブル４０において参照する。分割部３６は、分割パターンに対応する縮小率α、β、タイルサイズ、タイル位置、符号化におけるピクチャパラメータなどを取得する。縮小率αは、１ピクチャのサイズに対する、１ピクチャに割り当てられる、拡大対象でない各入力画像の大きさの割合である。縮小率βは、１ピクチャのサイズに対する、１ピクチャに割り当てられる拡大対象の入力画像の拡大後の画像の大きさの割合である。タイルサイズは、各タイルの大きさ（例えば、垂直方向、水平方向の画素数）である。タイル位置は、分割されたタイルの位置を示す識別情報である。ピクチャパラメータは、例えば、loop_filter_accross_tiles_enabled_flag、pps_loop_filter_across_slices_enabled_flagである。分割部３６は、取得した各種パラメータ等の情報をＳＤＲＡＭ２８に記憶させる。
【００１８】
図３は、一実施の形態による符号化コア３４の機能的な構成の一例を示す図である。図３に示すように、符号化コア３４は、コントローラ４１、モード判定部４２、画面内予測部４４、画面間予測部４６、変換量子化部４８、エントロピ符号化部５０、デブロッキングフィルタ部５２を有している。コントローラ４１は、符号化コア３４の動作を制御する。このときコントローラ４１は、分割部３６から取得したピクチャパラメータ（タイルに関するタイルパラメータを含む）、スライスパラメータ（例えば、スライスヘッダ）等に応じて符号化コア３４の動作を制御する。
【００１９】
モード判定部４２は、符号化の際の画面内予測または画面間予測のいずれを用いるかの判定を行う。画面内予測部４４は、画面内予測を行う。画面間予測部４６は、画面間予測を行う。変換量子化部４８は、周波数変換、量子化、逆変換、逆量子化などを行う。エントロピ符号化部５０は、可変長符号化処理を行う。デブロッキングフィルタ部５２は、画像の境界部におけるひずみを低減するフィルタ処理を行う。
【００２０】
符号化コア３４は、ＳＤＲＡＭ２８に記憶された複数の入力画像から、画面内予測に用いられるオリジナルピクチャ、画面間予測に用いられる参照ピクチャを読み出す。また、符号化コア３４は、デブロッキングフィルタ部５２から出力されるローカルデコードピクチャ、エントロピ符号化部５０から出力される符号化ストリームを、ＳＤＲＡＭ２８に記憶させる。なお、以下、複数の入力画像が１画面中に割り当てられた符号化対象の画像をピクチャということがある。
【００２１】
以下、ＨＥＶＣにおける画面分割の単位として用いられる、スライス、及びタイルについて説明する。図４は、一実施の形態によるスライスの一例を示す図である。図４に示すように、スライスとは、ピクチャ内をラスタスキャン順に走査されたCoding Tree Unit（ＣＴＵ）の集合体であり、符号化の単位とされる。ひとつのピクチャ６０にＩスライス６２、Ｐスライス６４、Ｂスライス６６など、複数の異なるスライスを混在させることが可能となっている。
【００２２】
図５は、一実施の形態によるタイルの一例を示す図である。タイルとは、画面を矩形にＣＴＵ単位で分割した領域である。夫々のタイルは、独立して符号化、復号される。タイルは、タイル境界で分割される。図５に示すように、ピクチャ７０には、タイル７１等、タイル境界７６、７８、８２、８４により分割される複数のタイルが形成されている。水平方向７２は、ピクチャ７０の水平方向を示す。
【００２３】
ピクチャ７０では、ピクチャ７０を水平方向７２に分割するタイル境界８２、８４、及び水平方向７２と直行する垂直方向に分割するタイル境界７６、７８が設けられ、９つのタイルに分割されている。ＨＥＶＣでは、タイル境界は、画面の水平方向、または垂直方向に端から端まで連続して設けられる。以下、水平方向に伸びるタイル境界で１画面の領域を分割することを水平分割といい、垂直方向に伸びるタイル境界で１画面の領域を分割することを、垂直分割という。一つのタイル内には、複数のＣＴＵ７４が含まれている。一つのタイル内では、複数のＣＴＵ７４は、ラスタスキャン順に符号化、復号される。
【００２４】
図6は、一実施の形態によるタイルとスライスとの関係の一例を示す図である。ＨＥＶＣにおいては、一つのタイルに複数のスライスを含めることが可能である。また、ひとつのスライスに複数のタイルを含めることも可能である。図6に示すように、ピクチャ９０がタイル境界９２及びタイル境界９４により、４つのタイル９５〜９８に分割されている。例えばタイル９６には、３つのスライスｂ〜ｄが含まれている。また、スライスｅには、２つのタイル９７、９８が含まれている。
【００２５】
次に、比較例として、１つのピクチャに割り当てられた複数の入力画像の一つを拡大対象とする際に、ＨＥＶＣにおけるタイル符号化をそのまま用いた場合について説明する。図７は、比較例による画像拡大の一例を示す図である。図７に示すように、ピクチャ１００には、タイル境界１０４〜１０７により９つのタイルが形成されている。ピクチャ１００では、各タイルには、夫々１対１に入力画像１０２−１〜１０２−９（まとめて、あるいは代表して入力画像１０２ということがある）が割り当てられている。
【００２６】
ピクチャ１１０は、ピクチャ１００の入力画像１０２−１が割り振られる画像領域を、画像領域１１２に拡大したピクチャである。ピクチャ１１０は、画像領域１１２の内部にタイル境界１０４、１０６を含んでいる。ピクチャ１１０のように、ある特定の入力画像のみを拡大したいケースにおいて、ＨＥＶＣで追加されたタイル符号化をそのまま用いると、拡大対象の入力画像が割り振られる画像領域１１２の画像内のタイル境界にもデブロッキングフィルタがかからない。このため、例えば、注視することを意図してある入力画像を拡大しても、タイル境界部にひずみが生じるなどにより、拡大した画像領域１１２の画質が低下する。
【００２７】
図８は、一実施の形態による画像領域拡大時の画像の一例を示す図である。図８に示すように、分割パターン１２０は、図７のピクチャ１００の状態から入力画像１０２−１を拡大する際の、スライス・タイルの分割例である。本実施の形態において、拡大前の当該画像または他の入力画像の大きさより拡大された画像（拡大の前後を問わず、特定画像ということがある）等、複数のタイルを含む画像を一つのピクチャ内に含ませる場合、以下のような条件でピクチャが分割される。
【００２８】
条件１）特定画像が割り振られる領域（以下、特定領域ということがある。）に対しては、タイル分割は垂直方向のみを使用する（すなわち、特定領域内を通るタイル境界は垂直方向に伸びるタイル境界のみとなる）。
条件２）特定領域の左右の領域に対しては、スライスで分割する。
条件３）デブロッキングフィルタパラメータを以下のように設定して符号化を行う。
loop_filter_accross_tiles_enabled_flag＝１、かつ
pps_loop_filter_across_slices_enabled_flag＝０
【００２９】
例えば、図８の分割パターン１２０において、条件１）については、画像領域１２２−１に、垂直方向に伸びるタイル境界１０４のみが存在していることで、満たされていることがわかる。条件２）については、スライス境界１２６のように、水平方向に伸びるスライス境界１２６により、特定領域の右に隣接する領域がスライスで分割されていることで、満たされていることがわかる。
【００３０】
条件３）については、デブロッキングフィルタパラメータが上記のように設定されると、以下のようにデブロッキングフィルタをかけるか否かが設定される。すなわち、タイル境界においては、デブロッキングフィルタを掛け、タイル境界と重複しているスライス境界を含むスライス境界においては、デブロッキングフィルタを掛けずに符号化が行われる。よって、画像領域１２２−１の内部のタイル境界１０４においては、デブロッキングフィルタが掛かる。このとき、２つのパラメータに関しては、いずれかのパラメータが“０”であればデブロッキングフィルタを掛けない。例えばタイル境界１０５は、スライスｇ、ｈ、ｋの境界でもあるため、デブロッキングフィルタが掛けられる。同様に、タイル境界１０７は、スライスｉ、ｊ、ｋの境界でもあるため、デブロッキングフィルタが掛けられる。
【００３１】
ピクチャ１３０は、以上説明したような分割パターン１２０の夫々の画像領域１２２−１、１２２−３、１２２−６〜１２２−９に、夫々入力画像１０２−１、１０２−３、１０２−６〜１０２−９を割り振った例を示している。画像領域１３２−１、１３２−３、１３２−６〜１３２−９においては、互いの境界ではデブロッキングフィルタを掛けずに符号化される。画像領域１３２−１の内部のタイル境界１０４では、デブロッキングフィルタが掛けられて符号化される。その結果、画質の低下が防止される。なお、入力画像１０２−１は、第1の画像の一例であり、画像領域１２２−１に含まれる２つのタイルが、第１の符号化領域及び第２の符号化領域の一例である。タイル境界１０４は、第１の境界の一例である。画像領域１２２−７〜画像領域１２２−９は、第３の符号化領域の一例である。
【００３２】
図９は、一実施の形態によるシンタックスの遷移の一例を示す図である。図９の例は、ピクチャ１００に示した縮小モードから、ピクチャ１３０のような拡大モードへの変更が行われる場合の、シンタックスの遷移の一例を示している。
【００３３】
図９に示すように、ピクチャ１００、ピクチャ１３０共に、４０９６×２１６０画素の画像であるとする。このとき、例えばＣＴＵは、６４×６４画素であるとする。ピクチャ１００では、ピクチャパラメータが以下のように定められる。
num_tile_columns_minus1=2
num_tile_rows_minus1=2
uniform_spacing_flag=0
column_width_minus[0]=20
column_width_minus[1]=20
column_width_minus[2]=21
row_hight_minus1[0]=10
row_hight_minus1[1]=10
row_hight_minus1[2]=11
loop_filter_accross_tiles_enabled_flag=0
pps_loop_filter_across_slices_enabled_flag=0 or 1
【００３４】
ピクチャ１００では、タイル、スライスと入力画像とが１対１に対応している。このため、タイル境界とスライス境界とが重複しており、スライス境界でのデブロッキングフィルタパラメータは、“０”、“１”のいずれでも、全てのスライス境界でデブロッキングフィルタは掛からない。
【００３５】
ピクチャ１３０は、図８に示した例である。ピクチャ１３０では、ピクチャパラメータは以下のように定められる。
num_tile_columns_minus1=2
num_tile_rows_minus1=1
uniform_spacing_flag=0
column_width_minus[0]=20
column_width_minus[1]=20
column_width_minus[2]=21
row_hight_minus1[0]=21
row_hight_minus1[1]=11
loop_filter_accross_tiles_enabled_flag=1
pps_loop_filter_across_slices_enabled_flag=0
【００３６】
図１０、図１１は、タイル分割パターンの別の例を示す図である。図１０に示すように、分割パターン１５０は、ピクチャにおける画像領域の分割例を示している。分割パターン１５０では、タイル境界１５２〜１５８により、９つのタイルが生成され、それぞれが、入力画像が割り振られる画像領域１〜９となっている。今、画像領域５に割り振られた入力画像を拡大対象の入力画像とすると、拡大後の画像領域５を含む分割パターンは、分割パターン１６０で示される。分割パターン１６０では、タイル境界１６２〜１６５およびスライス境界１６７により、８個の画像領域１〜８が生成され、夫々に、入力画像が割り振られる。このとき、拡大された画像領域５には、垂直方向に伸びるタイル境界１６３、１６４のみが存在している。タイル境界では、上記のように、デブロッキングフィルタが掛けられるように設定されているため、画像領域５の内部では、タイル境界１６３、１６４でデブロッキングフィルタが掛からないことによる画質劣化は生じない。また、その他の境界はスライス境界であり、デブロッキングフィルタは掛からないまま、符号化が行われる。
【００３７】
図１１に示すように、分割パターン１８０では、タイル境界１８２〜１８７によって、１６分割され、１６のタイルが生成されている。タイルの夫々は、画像領域１〜１６となり、夫々入力画像が割り振られる。画像領域９に割り振られた入力画像を拡大対象の入力画像とすると、拡大後の画像領域９を含む分割パターンは、分割パターン１９０で示される。分割パターン１９０では、タイル境界１８２〜１８７およびスライス境界１９２、１９４により、１３個の画像領域１〜１１、１５〜１６が生成され、夫々に入力画像が割り振られる。このとき、拡大された画像領域９には、垂直方向に伸びるタイル境界１８３のみが存在している。タイル境界では、上記のように、デブロッキングフィルタが掛けられるように設定されているため、画像領域９に割り振られる入力画像の内部では、タイル境界１８３でデブロッキングフィルタが掛からないことによる画質劣化は生じない。また、その他の境界はスライス境界であり、デブロッキングフィルタは掛からないまま、符号化が行われる。
【００３８】
図１２は、一実施の形態による分割パターンテーブルの一例を示す図である。分割パターンテーブル４０は、本実施の形態による動画像符号化装置２０において、選択可能な分割パターンと、各パターンに対応する指示内容を示す情報の一例である。
【００３９】
図１２に示すように、分割パターンテーブル４０は、入力画像数、拡大モード指示フラグ、分割パターン番号、及び入力画像の縮小率を有している。入力画像の縮小率は、特定領域に関する縮小率βと、特定領域でない非特定領域に関する縮小率αとを有している。
【００４０】
入力画像数とは、例えば、ビデオ入力装置２２の数など、１ピクチャに含まれる入力画像の最大の数である。拡大モード指示フラグとは、入力画像のいずれかを他の画像よりも拡大して表示するか否かを示す情報であり、図１２の例では、拡大する領域がある場合に“１”、拡大する領域がない場合に“０”となっている。
【００４１】
分割パターン番号とは、入力画像数毎の分割パターンに付された識別番号である。入力画像の縮小率のうち、特定領域の縮小率βとは、１ピクチャの大きさに対する特定領域の水平、垂直夫々の方向の縮小率を示す値である。非特定領域の縮小率αとは、特定領域でない非特定領域の、１ピクチャの大きさに対する水平、垂直夫々の方向の縮小率を示す値である。この例では、縮小率α、β共に、水平方向と垂直方向との縮小率は等しく設定されているが、これに限定されない。
【００４２】
図１３Ａ〜図１３Ｃは、分割パターンテーブル４０における入力画像数＝４の分割パターン例を示す図である。図１３Ａに示すように、分割パターン２００は、分割パターンテーブル４０における入力画像数＝４、拡大モード指示フラグ＝０の場合の分割の一例である。分割パターン２００では、タイル境界２０４、２０６により、タイル２０２−１〜２０２−４が生成され、画像領域１〜４とされて、入力画像が夫々割り振られる。このとき縮小率β（水平）＝１／２、縮小率β（垂直）＝１／２、縮小率α（水平）＝１／２、縮小率α（垂直）＝１／２である。
【００４３】
図１３Ｂに示すように、分割パターン２１０は、分割パターンテーブル４０における入力画像数＝４、拡大モード指示フラグ＝１、分割パターン番号＝０の場合の分割の一例である。分割パターン２１０では、タイル境界２１４、２１６、２１８、及びスライス境界２１９により６つの領域が生成され、そのうちの４つが画像領域１〜４とされ、夫々、例えば、分割パターン２００の画像領域１〜４と同一の入力画像が割り振られる。２つの領域は、未使用領域２１２、２１３となり、入力画像は割り振られない。特定領域は、この場合、画像領域１である。このとき縮小率β（水平）＝２／３、縮小率β（垂直）＝２／３、縮小率α（水平）＝１／３、縮小率α（垂直）＝１／３である。
【００４４】
図１３Ｃに示すように、分割パターン２２０は、分割パターンテーブル４０における入力画像数＝４、拡大モード指示フラグ＝１、分割パターン番号＝１の場合の分割の一例である。分割パターン２２０では、タイル境界２２４、２２６、２２８により５つの領域が生成され、そのうちの４つが画像領域１〜４とされ、夫々、例えば、分割パターン２００の画像領域１〜４と同一の入力画像が割り振られる。１つの領域は、未使用領域２２９となり、入力画像は割り振られない。特定領域は、画像領域１である。このとき縮小率β（水平）＝２／３、縮小率β（垂直）＝２／３、縮小率α（水平）＝１／３、縮小率α（垂直）＝１／３である。
【００４５】
図１４Ａ〜図１４Ｃ、図１５Ａ〜図１５Ｂ、図１６Ａ〜図１６Ｂは、分割パターンテーブル４０における入力画像数＝９の分割パターン例を示す図である。図１４Ａに示すように、分割パターン２３０は、分割パターンテーブル４０における入力画像数＝９、拡大モード指示フラグ＝０の場合の分割の一例である。分割パターン２３０では、タイル境界２３２、２３４、２３６、２３８により、９つの領域が生成され、画像領域１〜９が夫々割り振られる。このとき縮小率β（水平）＝１／３、縮小率β（垂直）＝１／３、縮小率α（水平）＝１／３、縮小率α（垂直）＝１／３である。
【００４６】
図１４Ｂに示すように、分割パターン２４０は、分割パターンテーブル４０における入力画像数＝９、拡大モード指示フラグ＝１、分割パターン番号＝０の場合の分割の一例である。分割パターン２４０では、タイル境界２４４〜２４９、及びスライス境界２５２、２５４により８つの領域が生成され、画像領域１〜８とされて、夫々例えば、分割パターン２３０の画像領域１〜８と同一の入力画像が割り振られる。特定領域は、画像領域１である。このとき縮小率β（水平）＝３／４、縮小率β（垂直）＝３／４、縮小率α（水平）＝１／４、縮小率α（垂直）＝１／４である。
【００４７】
図１４Ｃに示すように、分割パターン２６０は、分割パターンテーブル４０における入力画像数＝９、拡大モード指示フラグ＝１、分割パターン番号＝１の場合の分割の一例である。分割パターン２６０では、タイル境界２４４〜２４６、２６７及びスライス境界２６８、２６９により８つの領域が生成され、画像領域１および画像領域３〜９とされて、例えば、分割パターン２３０のそれぞれの画像領域と同一の入力画像が割り振られる。特定領域は、画像領域１である。このとき縮小率β（水平）＝３／４、縮小率β（垂直）＝３／４、縮小率α（水平）＝１／４、縮小率α（垂直）＝１／４である。
【００４８】
図１５Ａに示すように、分割パターン２８０は、分割パターンテーブル４０における入力画像数＝９、拡大モード指示フラグ＝１、分割パターン番号＝２の場合の分割の一例である。分割パターン２８０では、タイル境界２８４〜２８６、及びスライス境界２８７により６つの領域が生成され、画像領域１〜６とされて、例えば、分割パターン２３０のそれぞれの画像領域と同一の入力画像が夫々割り振られる。特定領域は、画像領域１である。このとき縮小率β（水平）＝２／３、縮小率β（垂直）＝２／３、縮小率α（水平）＝１／３、縮小率α（垂直）＝１／３である。
【００４９】
図１５Ｂに示すように、分割パターン２９０は、分割パターンテーブル４０における入力画像数＝９、拡大モード指示フラグ＝１、分割パターン番号＝３の場合の分割の一例である。分割パターン２９０では、タイル境界２８４〜２８６、及びスライス境界２９４により６つの領域が生成され、画像領域１及び画像領域５〜９とされて、例えば、分割パターン２３０のそれぞれの画像領域と同一の入力画像が夫々割り振られる。特定領域は、画像領域１である。このとき縮小率β（水平）＝２／３、縮小率β（垂直）＝２／３、縮小率α（水平）＝１／３、縮小率α（垂直）＝１／３である。
【００５０】
図１６Ａに示すように、分割パターン３００は、分割パターンテーブル４０における入力画像数＝９、拡大モード指示フラグ＝１、分割パターン番号＝４の場合の分割の一例である。分割パターン３００では、タイル境界３０２〜３０６、及びスライス境界３０７〜３０９により１０個の領域が生成され、そのうちの９つが画像領域１〜９とされて、例えば、分割パターン２３０のそれぞれの画像領域と同一の入力画像が割り振られる。１つの領域は、未使用領域３１３となり、入力画像は割り振られない。特定領域は、画像領域１である。このとき縮小率β（水平）＝４／５、縮小率β（垂直）＝４／５、縮小率α（水平）＝１／５、縮小率α（垂直）＝１／５である。
【００５１】
図１６Ｂに示すように、分割パターン３２０は、分割パターンテーブル４０における入力画像数＝９、拡大モード指示フラグ＝１、分割パターン番号＝５の場合の分割の一例である。分割パターン３２０では、タイル境界３０２〜３０５、３２２及びスライス境界３２４〜３２６により１０個の領域が生成され、そのうちの９つが画像領域１〜９とされて、例えば、分割パターン２３０のそれぞれの画像領域と同一の入力画像が割り振られる。１つの領域は、未使用領域３２９となり、入力画像は割り振られない。なお、スライス境界３２８が存在するが、下が未使用領域３２９のためスライス分割する必要は特にない。特定領域は、画像領域１である。このとき縮小率β（水平）＝４／５、縮小率β（垂直）＝４／５、縮小率α（水平）＝１／５、縮小率α（垂直）＝１／５である。
【００５２】
分割パターンは、上記の例には限定されない。別な分割パターンについても、分割パターンテーブル４０に示したような情報を登録しておき、登録された情報に基づき符号化を行うようにしてもよい。
【００５３】
以下、フローチャートを参照しながら、動画像処理について説明する。まず、比較例として、上記条件１）〜３）に当てはまらない場合について説明する。図１７は、比較例によるピクチャ符号化処理を示すフローチャートである。比較例を実行する画像符号化装置によれば、図１７に示すように、特定領域拡大モード指示があるかが判定される（Ｓ３４１）。拡大モード指示がない場合（Ｓ３４１：ＮＯ）、入力画像縮小率＝αとすると、スケーラにより、入力画像は、夫々縮小率αに応じてサイズ調整される（Ｓ３４２）。また、入力画像縮小率＝αとすると、全てのタイル分割符号化において、タイルの水平方向サイズＴｓｉｚｅＨ=ピクチャの水平方向サイズＰｉｃＳｉｚｅＨ×縮小率αと設定される。また、タイルの垂直方向サイズＴｓｉｚｅＶ=ピクチャの垂直方向サイズＰｉｃＳｉｚｅＶ×縮小率αと設定される（Ｓ３４３）。処理は、Ｓ３４６に進む。
【００５４】
拡大モード指示がある場合（Ｓ３４１：ＹＥＳ）、分割パターンから入力画像縮小率＝α、βが決定される。このとき、拡大対象の入力画像は、縮小率βに応じてサイズ調整され、その他の入力画像は縮小率αに応じてサイズ調整される（Ｓ３４４）。全てのタイルのタイル分割符号化において、タイルの水平方向サイズＴｓｉｚｅＨ=ピクチャの水平方向サイズＰｉｃＳｉｚｅＨ×縮小率αと設定される。また、タイルの垂直方向サイズＴｓｉｚｅＶ=ピクチャの垂直方向サイズＰｉｃＳｉｚｅＶ×縮小率αと設定される（Ｓ３４５）。タイルサイズが決定されると、タイル符号化ループが開始され（Ｓ３４６〜Ｓ３４８）、タイル符号化処理が行われる（Ｓ３４７）。
【００５５】
以上のように、比較例によるピクチャ符号化処理では、タイルのサイズは、特定領域の拡大前後で変更されない。また、タイル境界及びスライス境界におけるデブロッキングフィルタに関する設定も、条件３）のようには設定されない。このため、拡大された画像領域内のタイル境界ではデブロッキングフィルタが掛からないため、画質が劣化することがある。
【００５６】
以下、図１８から図２０を参照しながら、本実施の形態によるピクチャ符号化処理について説明する。図１８は、本実施の形態によるピクチャ符号化処理の一例を示すフローチャートである。図１８に示すように、分割部３６は、特定領域拡大モード指示があるか判定する（Ｓ３６１）。このとき、分割部３６は、例えばユーザによって選択された分割パターンを受け付け、受け付けられた分割パターンの分割パターンテーブル４０における拡大指示モードフラグを参照することで、拡大モード指示の有無を取得する。
【００５７】
拡大モード指示がない場合（Ｓ３６１：ＮＯ）、分割部３６は、分割パターンテーブル４０から入力画像縮小率＝αを取得する。スケーラ３２は、取得された縮小率αに応じて、入力画像のサイズ調整を行う（Ｓ３６２）。分割部３６は、全てのタイル分割符号化におけるタイルサイズとして、タイルの水平方向サイズＴｓｉｚｅＨ=ピクチャの水平方向サイズＰｉｃＳｉｚｅＨ×縮小率αを算出する。また、分割部３６は、タイルの垂直方向サイズＴｓｉｚｅＶ=ピクチャの垂直方向サイズＰｉｃＳｉｚｅＶ×縮小率αを算出する。分割部３６は、算出したタイルサイズをＳＤＲＡＭ２８に記憶させ（Ｓ３６３）、処理を、Ｓ３７０に進める。
【００５８】
拡大モード指示がある場合（Ｓ３６１：ＹＥＳ）、分割部３６は、分割パターンテーブル４０から入力画像縮小率＝α、βを読み出して決定する。スケーラ３２は、決定された縮小率α、βに応じて、各入力画像のサイズを調整する。すなわち、スケーラ３２は、拡大対象の入力画像については、縮小率βに応じてサイズを調整し、その他の入力画像については縮小率αに応じてサイズを調整する（Ｓ３６４）。
【００５９】
分割部３６は、タイル分割符号化において、タイルの水平方向サイズＴｓｉｚｅＨ=ピクチャの水平方向サイズＰｉｃＳｉｚｅＨ×縮小率αと算出する。また、分割部３６は、タイルの垂直方向サイズＴｓｉｚｅＶ=ピクチャの垂直方向サイズＰｉｃＳｉｚｅＶ×縮小率αと算出する（Ｓ３６５）。算出されたタイルサイズは、ＳＤＲＡＭ２８に記憶される。
【００６０】
分割部３６は、拡大対象の画像領域では、画像領域を垂直方向に伸びるタイル境界により垂直分割する。このとき、分割部３６は、拡大対象の画像領域では、タイルの水平方向サイズＴｓｉｚｅＨ=ピクチャの水平方向サイズＰｉｃＳｉｚｅＨ、タイルの垂直方向サイズＴｓｉｚｅＶ=ピクチャの垂直方向サイズＰｉｃＳｉｚｅＶ×ｎを算出する。ここで、ｎ＝β／αである。算出したタイルサイズは、ＳＤＲＡＭ２８に記憶させる（Ｓ３６６）。
【００６１】
分割部３６は、拡大対象の画像領域の左右に存在する領域では、タイルに対応する領域をスライス境界によりｎ個の画像領域に水平分割する。このとき、分割部３６は、当該画像領域では、タイルの水平方向サイズＴｓｉｚｅＨ=ピクチャの水平方向サイズＰｉｃＳｉｚｅＨ×縮小率α、タイルの垂直方向サイズＴｓｉｚｅＶ=ピクチャの垂直方向サイズＰｉｃＳｉｚｅＶ×ｎとする。タイルサイズは、ＳＤＲＡＭ２８に記憶される（Ｓ３６７）。
【００６２】
分割部３６は、拡大対象の画像領域の上下に存在する領域では、領域をタイル境界により垂直分割及び水平分割して画像領域とする。このとき、分割部３６は、当該画像領域では、タイルの水平方向サイズＴｓｉｚｅＨ=ピクチャの水平方向サイズＰｉｃＳｉｚｅＨ×縮小率α、タイルの垂直方向サイズＴｓｉｚｅＶ=ピクチャの垂直方向サイズＰｉｃＳｉｚｅＶ×縮小率αとする。タイルサイズは、ＳＤＲＡＭ２８に記憶させる（Ｓ３６８）。
【００６３】
分割部３６は、デブロッキングフィルタに関するピクチャパラメータを設定する。すなわち、条件３）のようにパラメータが設定され、ＳＤＲＡＭ２８に記憶される（Ｓ３６９）。
【００６４】
分割部３６は、ピクチャ内の全タイルに対するタイル符号化のループ処理を実行する（Ｓ３７０〜３７２）。ループ内では、タイル符号化処理が行われる（Ｓ３７１）。タイル処理の詳細は後述される。
【００６５】
図１９は、一実施の形態によるタイル符号化処理の詳細を示すフローチャートである。図１９に示すように、符号化コア３４は、タイル符号化処理として、タイル内の全スライスに対するスライス符号化のループ処理を行う（Ｓ３８１〜Ｓ３８３）。このループ内では、スライス符号化処理が行われる（Ｓ３８２）。
【００６６】
図２０は、一実施の形態によるスライス符号化処理の一例を示すフローチャートである。図２０に示すように、符号化コア３４は、スライス内の全ＣＴＵに対するＣＴＵ符号化のループ処理を行う（Ｓ３９１〜Ｓ３９３）。このループ内では、ＣＴＵ符号化処理が行われる（Ｓ３９２）。符号化処理では、符号化コア３４は、ＳＤＲＡＭ２８に記憶されたパラメータを読み出して、読み出したパラメータに基づきＨＥＶＣによる符号化処理を行う。
【００６７】
以上説明したように、一実施の形態による動画像符号化装置２０によれば、ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際に、以下のような処理が行われる。符号化部３０は、複数の画像の中で、複数の符号化領域のうち第１の符号化領域と第２の符号化領域とを含む領域が割り当てられた第１の画像内の第１の符号化領域と第２の符号化領域との第１の境界では、境界部のひずみを低減するフィルタを掛けて符号化を行う。符号化部３０は、第１の符号化領域と複数の画像のうち第２の画像に割り当てられた第３の符号化領域との第２の境界では、フィルタを掛けずに符号化を行う。
【００６８】
動画像符号化装置２０は、入力画像同士の境界ではデブロッキングフィルタを掛けずに符号化を行う。動画像符号化装置２０は、複数のタイルを含む入力画像内ではデブロッキングフィルタを掛けて符号化を行う。デブロッキングフィルタをかけるか否かは、ピクチャパラメータで条件3）のように設定される。
【００６９】
このため、動画像符号化装置２０では、分割部３６が、以下のような条件でスライス、タイル分割を行う。すなわち、分割部３６は、複数の入力画像を含む１つのピクチャにおいて、垂直方向にはタイルで分割し、特定領域の水平方向に並ぶ領域（左右の領域）ではスライスで分割した複数の領域毎に、複数の入力画像のいずれかを割り当てて符号化を行う。このとき、分割部３６は、各タイルの境界ではデブロッキングフィルタを掛け、各スライスの境界ではデブロッキングフィルタを掛けないように、デブロッキングフィルタを掛けるか否かを示すパラメータを設定する。このような設定によれば、タイルの境界であってスライスの境界である境界では、デブロッキングフィルタを掛けないで符号化される。
【００７０】
さらに詳しくは、１つのピクチャに含まれる特定画像が割り振られる特定領域の左右に存在する領域は、特定画像の縮小率β、その他の画像の縮小率αとして、水平方向にｎ＝β／α個に分割される。１つのピクチャに含まれる特定画像が割り振られる特定領域の上下に存在する領域は、水平方向、垂直方向共に、タイルで画像領域に分割される。
【００７１】
以上のように、本実施の形態による動画像符号化処理によれば、監視カメラシステム等における複数のカメラ画像など、複数の入力画像を１つの画面内に割り当て、ＨＥＶＣのタイル符号化を用いて１つの符号化ストリームに符号化することができる。このとき、複数の画像のうちの特定の画像を他の画像より拡大して表示したい場合、複数のタイルを含む画像領域が設定される。この画像領域内では、デブロッキングフィルタをかけるか否かを示すピクチャパラメータを、タイル境界においてはデブロッキングフィルタを掛け、タイル境界かつスライス境界である境界を含むスライス境界では掛けないように設定する。これにより、一つの入力画像内にタイル境界が存在する場合には、デブロッキングフィルタを掛けて符号化され、異なる入力画像間ではデブロッキングフィルタを掛けないで符号化される。よって、他の入力画像よりも拡大された画像を含む複数の入力画像の合成画像において、画質の劣化を防止できる。
【００７２】
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、分割パターンテーブル４０に示した分割パターンは一例であり、これに限定されない。また、フローチャートに示した処理順は記載の例に限定されない。
【００７３】
ここで、上記一実施の形態による動画像符号化方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図２１は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図２１に示すように、コンピュータ５００は、ＣＰＵ５０２、メモリ５０４、入力装置５０６、出力装置５０８、外部記憶装置５１２、媒体駆動装置５１４、ネットワーク接続装置５１８等がバス５１０を介して接続されている。
【００７４】
ＣＰＵ５０２は、コンピュータ５００全体の動作を制御する演算処理装置である。メモリ５０４は、コンピュータ５００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ５０４は、例えばＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置５０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ５０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置５０８は、コンピュータ５００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ５０２により送付される表示データに応じてテキストや画像を表示する。
【００７５】
外部記憶装置５１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ５０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置５１４は、可搬型記録媒体５１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ５０２は、可搬型記録媒体５１６に記録されている所定の制御プログラムを、媒体駆動装置５１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬型記録媒体５１６は、例えばＣｏｍｐａｃｔ  Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置５１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス５１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００７６】
上記一実施の形態による動画像符号化方法をコンピュータに実行させるプログラムは、例えば外部記憶装置５１２に記憶させる。ＣＰＵ５０２は、外部記憶装置５１２からプログラムを読み出し、メモリ５０４を利用してプログラムを実行することで、動画像符号化の動作を行なう。このとき、まず、動画像符号化の処理をＣＰＵ５０２に行わせるための制御プログラムを作成して外部記憶装置５１２に記憶させておく。そして、入力装置５０６から所定の指示をＣＰＵ５０２に与えて、この制御プログラムを外部記憶装置５１２から読み出させて実行させるようにする。また、このプログラムは、可搬型記録媒体５１６に記憶するようにしてもよい。
【００７７】
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際に、前記複数の画像の中で、前記複数の符号化領域のうち第１の符号化領域と第２の符号化領域とを含む領域が割り当てられた第１の画像内の前記第１の符号化領域と前記第２の符号化領域との第１の境界では、境界部のひずみを低減するフィルタを掛けて符号化を行い、前記第１の符号化領域と前記複数の画像のうち第２の画像に割り当てられた第３の符号化領域との第２の境界では、前記フィルタを掛けずに符号化を行う符号化部、
を有することを特徴とする動画像符号化装置。
（付記２）
前記符号化部は、前記ピクチャ内の前記符号化領域と符号化順に並んだ複数の符号化ブロックを含むスライスとによる分割を行う分割部
を有し、
前記分割部は、前記ピクチャにおいて、垂直方向には前記符号化領域で分割し、水平方向には前記スライスで分割して得られる複数の画像領域毎に、前記複数の画像のいずれかを割り当てて符号化を行う場合、前記符号化領域の境界では前記フィルタを掛け、前記スライスの境界では前記フィルタを掛けないように、前記フィルタを掛けるか否かを示すパラメータを設定し、前記符号化領域の境界であってスライスの境界である境界では前記フィルタを掛けないようにする
ことを特徴とする付記１に記載の動画像符号化装置。
（付記３）
前記分割部は、前記複数の画像のいずれかを、現在の前記画像または他の画像より拡大する指示を受け付けた場合、拡大対象の画像の拡大後の大きさの前記ピクチャに対する縮小率を示す第１の縮小率と、前記拡大対象の画像以外の画像の前記ピクチャに対する縮小率を示す第２の縮小率と、を設定し、
前記拡大対象の画像が割り振られる画像領域の左右の領域を、スライスにより、前記第２の縮小率に対する前記第１の縮小率の比の個数に水平分割する、
ことを特徴とする付記２に記載の動画像符号化装置。
（付記４）
前記分割部は、前記複数の画像のいずれかを、現在の前記画像または他の画像より拡大する指示を受け付けた場合、拡大対象の画像の拡大後の大きさの前記ピクチャに対する縮小率を示す第１の縮小率と、前記拡大対象の画像以外の画像の前記ピクチャに対する縮小率を示す第２の縮小率と、を設定し、
前記拡大対象の画像が割り振られる画像領域の上下の領域を、前記第２の縮小率に応じて前記符号化領域により水平及び垂直分割する、
ことを特徴とする付記２または付記３に記載の動画像符号化装置。
（付記５）
さらに、前記ピクチャに対応する前記第１の縮小率、前記第２の縮小率、前記パラメータを記憶する記憶装置、
を有し、
前記分割部は、前記記憶装置から前記第１の縮小率、前記第２の縮小率、前記パラメータを読み出して設定する
ことを特徴とする付記３または付記４に記載の動画像符号化装置。
（付記６）
動画像符号化装置が、
ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際に、前記複数の画像の中で、前記複数の符号化領域のうち第１の符号化領域と第２の符号化領域とを含む領域が割り当てられた第１の画像内の前記第１の符号化領域と前記第２の符号化領域との第１の境界では、境界部のひずみを低減するフィルタを掛けて符号化を行い、前記第１の符号化領域と前記複数の画像のうち第２の画像に割り当てられた第３の符号化領域との第２の境界では、前記フィルタを掛けずに符号化を行う
ことを特徴とする動画像符号化方法。
（付記７）
前記ピクチャにおいて、垂直方向には前記符号化領域で分割し、水平方向には前記スライスで分割した複数の画像領域毎に、前記複数の画像のいずれかを割り当てて符号化を行う場合、前記符号化領域の境界では前記フィルタを掛け、前記スライスの境界では前記フィルタを掛けないように、前記フィルタを掛けるか否かを示すパラメータを設定し、前記符号化領域の境界であって前記スライスの境界である境界では前記フィルタを掛けないようにする
ことを特徴とする付記６に記載の動画像符号化方法。
（付記８）
前記複数の画像のいずれかを、現在の前記画像または他の画像より拡大する指示を受け付けた場合、拡大対象の画像の拡大後の大きさの前記ピクチャに対する縮小率を示す第１の縮小率と、前記拡大対象の画像以外の画像の前記ピクチャに対する縮小率を示す第２の縮小率と、を設定し、
前記拡大対象の画像が割り振られる画像領域の左右の領域を、スライスにより、前記第２の縮小率に対する前記第１の縮小率の比の個数に水平分割する、
ことを特徴とする付記７に記載の動画像符号化方法。
（付記９）
前記複数の画像のいずれかを、現在の前記画像または他の画像より拡大する指示を受け付けた場合、拡大対象の画像の拡大後の大きさの前記ピクチャに対する縮小率を示す第１の縮小率と、前記拡大対象の画像以外の画像の前記ピクチャに対する縮小率を示す第２の縮小率と、を設定し、
前記拡大対象の画像が割り振られる画像領域の上下の領域を、前記第２の縮小率に応じて前記符号化領域により水平及び垂直分割する、
ことを特徴とする付記７または付記８に記載の動画像符号化装置。
（付記１０）
さらに、前記ピクチャに対応する前記第１の縮小率、前記第２の縮小率、前記パラメータは、記憶装置から読み出されて設定される、
ことを特徴とする付記８に記載の動画像符号化方法。
（付記１１）
ピクチャを分割した複数の符号化領域それぞれを符号化した後に再構成を行う方法で、複数の画像をピクチャとして合成する動画像符号化を行う際に、前記複数の画像の中で、前記複数の符号化領域のうち第１の符号化領域と第２の符号化領域とを含む領域が割り当てられた第１の画像内の前記第１の符号化領域と前記第２の符号化領域との第１の境界では、境界部のひずみを低減するフィルタを掛けて符号化を行い、前記第１の符号化領域と前記複数の画像のうち第２の画像に割り当てられた第３の符号化領域との第２の境界では、前記フィルタを掛けずに符号化を行う
処理をコンピュータに実行させるプログラム。
（付記１２）
前記処理は、
前記ピクチャにおいて、垂直方向には前記符号化領域で分割し、水平方向には前記スライスで分割した複数の画像領域毎に、前記複数の画像のいずれかを割り当てて符号化を行う場合、前記符号化領域の境界では前記フィルタを掛け、前記スライスの境界では前記フィルタを掛けないように、前記フィルタを掛けるか否かを示すパラメータを設定し、前記符号化領域の境界であって前記スライスの境界である境界では前記フィルタを掛けないようにする
処理を含むことを特徴とする付記１１に記載のプログラム。
（付記１３）
前記処理は、
前記複数の画像のいずれかを、現在の前記画像または他の画像より拡大する指示を受け付けた場合、拡大対象の画像の拡大後の大きさの前記ピクチャに対する縮小率を示す第１の縮小率と、前記拡大対象の画像以外の画像の前記ピクチャに対する縮小率を示す第２の縮小率と、を設定し、
前記拡大対象の画像が割り振られる画像領域の左右の領域を、スライスにより、前記第２の縮小率に対する前記第１の縮小率の比の個数に水平分割する、
処理を含むことを特徴とする付記１２に記載のプログラム。
（付記１４）
前記処理は、さらに、
前記複数の画像のいずれかを、現在の前記画像または他の画像より拡大する指示を受け付けた場合、拡大対象の画像の拡大後の大きさの前記ピクチャに対する縮小率を示す第１の縮小率と、前記拡大対象の画像以外の画像の前記ピクチャに対する縮小率を示す第２の縮小率と、を設定し、
前記拡大対象の画像が割り振られる画像領域の上下の領域を、前記第２の縮小率に応じて前記符号化領域により水平及び垂直分割する、
処理を含むことを特徴とする付記１２または付記１３に記載の動画像符号化装置。
（付記１５）
さらに、前記ピクチャに対応する前記第１の縮小率、前記第２の縮小率、前記パラメータは、記憶装置から読み出されて設定される、
処理を含むことを特徴とする付記１３または付記１４に記載のプログラム。
【符号の説明】
【００７８】
１〜１６、１１２    画像領域
２０        動画像符号化装置
２２        ビデオ入力装置
２４        バス
２６        メモリコントローラ
２８        ＳＤＲＡＭ
３０        符号化部
３２        スケーラ
３４        符号化コア
３６        分割部
３８        ＣＰＵ
４０        分割パターンテーブル
４１        コントローラ
４２        モード判定部
４４        画面内予測部
４６        画面間予測部
４８        変換量子化部
５０        エントロピ符号化部
５２        デブロッキングフィルタ部
６０、７０、９０、１００、１１０、１３０    ピクチャ
６２        Ｉスライス
６４        Ｐスライス
６６        Ｂスライス
７２        水平方向
７４        ＣＴＵ
７６〜８４、９２、９４、１０４〜１０７、１２４、１５２〜１５８、１８２〜１８７、２０４、２０６、２１４〜２１８、２２４〜２２８、２３２〜２３８、２４４〜２４９、２８４〜２８６、３０２〜３０６、３２２    タイル境界
８６        復号順序
９５〜９８、２０２      タイル
１０２−１〜１０２−９    入力画像
１２０、１５０、１６０、１９０、２００、２１０、２２０、２３０、２４０、２５０    分割パターン
１２６、１６７、１６９、１９２、１９４、２１９、２５２、２５４、２６８、２６９、２９４、３０７〜３０９、３２４〜３２８    スライス境界
ａ〜ｅ      スライス
【図１】
2016165074.tif 000003
【図２】
2016165074.tif 000004
【図３】
2016165074.tif 000005
【図４】
2016165074.tif 000006
【図５】
2016165074.tif 000007
【図６】
2016165074.tif 000008
【図７】
2016165074.tif 000009
【図８】
2016165074.tif 000010
【図９】
2016165074.tif 000011
【図１０】
2016165074.tif 000012
【図１１】
2016165074.tif 000013
【図１２】
2016165074.tif 000014
【図１３Ａ】
2016165074.tif 000015
【図１３Ｂ】
2016165074.tif 000016
【図１３Ｃ】
2016165074.tif 000017
【図１４Ａ】
2016165074.tif 000018
【図１４Ｂ】
2016165074.tif 000019
【図１４Ｃ】
2016165074.tif 000020
【図１５Ａ】
2016165074.tif 000021
【図１５Ｂ】
2016165074.tif 000022
【図１６Ａ】
2016165074.tif 000023
【図１６Ｂ】
2016165074.tif 000024
【図１７】
2016165074.tif 000025
【図１８】
2016165074.tif 000026
【図１９】
2016165074.tif 000027
【図２０】
2016165074.tif 000028
【図２１】
2016165074.tif 000029