(57)【要約】      （修正有）【課題】パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する画像を確実に表示させることができる符号化装置および符号化方法を提供する。【解決手段】符号化装置１は、複数の画像がパッキングされたパッキング画像に対してクロッピング領域を特定するクロッピング情報を設定するとともに、パッキング画像に含まれる各画像を特定可能であり、かつ、パッキング画像から表示画像の位置を示す補助情報を設定する設定部と、パッキング画像を符号化してクロッピング情報と補助情報を含むビットストリームを生成する符号化部と、符号化部により生成された前記ビットストリームを伝送する伝送部とを備える。【選択図】図１
2018078620.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像がパッキングされたパッキング画像に対してクロッピング領域を特定するクロッピング情報を設定するとともに、前記パッキング画像に含まれる各画像を特定可能であり、かつ、前記パッキング画像から表示画像の位置を示す補助情報を設定する設定部と、
前記パッキング画像を符号化して前記クロッピング情報と前記補助情報を含むビットストリームを生成する符号化部と、
前記符号化部により生成された前記ビットストリームを伝送する伝送部と
を備える符号化装置。
【請求項２】
前記クロッピング情報は、前記クロッピング領域の左端の位置を示すクロッピング左端情報、右端の位置を示すクロッピング右端情報、上端の位置を示すクロッピング上端情報、および下端の位置を示すクロッピング下端情報である
請求項１に記載の符号化装置。
【請求項３】
前記補助情報は、前記パッキング画像に含まれる前記各画像を特定する位置情報を含む
請求項１に記載の符号化装置。
【請求項４】
前記補助情報は、前記クロッピング情報とは異なる
請求項１に記載の符号化装置。
【請求項５】
前記補助情報は、表示画像を表示させる際に前記クロッピング情報より優先して表示画像を特定する情報である
請求項１に記載の符号化装置。
【請求項６】
前記補助情報は、前記ビットストリームのSEIまたはVUIに格納されている
請求項１に記載の符号化装置。
【請求項７】
符号化装置が、
複数の画像がパッキングされたパッキング画像に対してクロッピング領域を特定するクロッピング情報を設定するとともに、前記パッキング画像に含まれる各画像を特定可能であり、かつ、前記パッキング画像から表示画像の位置を示す補助情報を設定する設定ステップと、
前記パッキング画像を符号化して前記クロッピング情報と前記補助情報を含むビットストリームを生成する符号化ステップと、
生成された前記ビットストリームを伝送する伝送ステップと
を含む符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、符号化装置および符号化方法に関し、特に、複数の画像がパッキングされたパッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する画像を確実に表示させることができるようにした符号化装置および符号化方法に関する。
【背景技術】
【０００２】
従来のAVC（Advanced Video Coding）規格では、符号化対象の画像が、複数の画像が１フレームの画像にパッキングされたパッキング画像であることを示すために、Frame packing arrangement SEI（Supplemental Enhancement Information）が用いられている。しかしながら、AVC規格において、符号化に関する付加情報であるSEIはinformativeな情報であるため、SEIを利用して処理を行うかどうかは復号装置に依存する。
【０００３】
例えば、２つの画像の一方を左半分に配置し、他方を右半分に配置することによりパッキングするサイドバイサイド方式でパッキングされた３Ｄ表示用のパッキング画像の符号化ストリームを復号する場合、SEIを利用する２Ｄ表示用の復号装置は、Frame packing arrangement SEIに基づいて３Ｄ表示用のパッキング画像の画面を分割する。そして、この復号装置は、画面の左半分に配置された、左目用の画像または右目用の画像を表示させることにより、２Ｄ表示を行う。
【０００４】
また、SEIを利用する３Ｄ表示用の復号装置は、Frame packing arrangement SEIに基づいて３Ｄ表示用のパッキング画像の画面を分割する。そして、この復号装置は、画面の左半分に配置された画像を、左目用の画像または右目用の画像のいずれか一方の画像として表示させ、画面の右半分に配置された画像を他方の画像として表示させることにより、３Ｄ表示を行う。
【０００５】
しかしながら、SEIを利用しない２Ｄ表示用の復号装置は、符号化されている画像がパッキング画像であるかどうかを判断することができず、３Ｄ表示用のパッキング画像をそのまま表示させる。その結果、画面の左半分に、左目用の画像または右目用の画像のいずれか一方の画像が配置され、画面の右半分に他方の画像が配置された２Ｄ画像が表示される。
【０００６】
そこで、SEIを利用しない２Ｄ表示用の復号装置において、パッキング画像を構成する左目用の画像または右目用の画像のうちのいずれか一方の画像のみを表示させるために、クロッピングを用いる手法が提案されている。
【０００７】
この手法では、例えば、パッキング画像に対してクロッピングを行うかどうかを示すframe_cropping_flagと、クロッピング位置としての左目用の画像の位置を含むクロッピング情報が、SPS（Sequence Parameter Set）等に含められて復号装置に伝送される。
【０００８】
この場合、SEIの利用の有無によらず、２Ｄ表示用の復号装置は、クロッピング情報に基づいて、パッキング画像から左目用の画像をクロッピングして表示させ、これにより２Ｄ表示を行うことができる。
【０００９】
しかしながら、クロッピング情報はSPSに含まれており、SPSは規格上mandatoryな情報であるため、SEIを利用する３Ｄ表示用の復号装置であっても、クロッピング情報に基づいて、パッキング画像から左目用の画像をクロッピングする必要がある。その結果、SEIを利用する３Ｄ表示用の復号装置でも、左目用の画像しか表示させることができず、３Ｄ表示を行うことができない。
【００１０】
従って、Frame packing arrangement SEIにより符号化対象の画像がパッキング画像であると認識すると、クロッピング情報を無視し、Frame packing arrangement SEIに基づいてパッキング画像を構成する各画像をクロッピングする、SEIを利用する３Ｄ画像用の復号装置が考案されている。この復号装置は、クロッピングされた各画像を、それぞれ、左目用の画像、右目用の画像として表示させることにより、３Ｄ表示を行うことができる。
【００１１】
しかしながら、SPSに含まれているクロッピング情報を無視する処理は、規格違反の処理であるため、３Ｄ表示は保証されない。
【００１２】
一方、現在、H.264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC（Joint Collaboration Team-Video Coding）により、
HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、２０１２年２月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC) text specification draft 6",JCTVC-H1003 ver20,2012.2.17
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上述したように、従来の規格では、規格に違反せずに、SEIを利用する２Ｄ表示用の復号装置とSEIを利用しない２Ｄ表示用の復号装置が、３Ｄ表示用のパッキング画像を用いて２Ｄ表示を行い、SEIを利用する３Ｄ表示用の復号装置が３Ｄ表示用のパッキング画像を用いて３Ｄ表示を行うことはできなかった。即ち、従来の規格では、復号装置が、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることはできなかった。
【００１５】
本技術は、このような状況に鑑みてなされたものであり、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する画像を確実に表示させることができるようにするものである。
【課題を解決するための手段】
【００１６】
本技術の一側面の符号化装置は、複数の画像がパッキングされたパッキング画像に対してクロッピング領域を特定するクロッピング情報を設定するとともに、前記パッキング画像に含まれる各画像を特定可能であり、かつ、前記パッキング画像から表示画像の位置を示す補助情報を設定する設定部と、前記パッキング画像を符号化して前記クロッピング情報と前記補助情報を含むビットストリームを生成する符号化部と、前記符号化部により生成された前記ビットストリームを伝送する伝送部とを備える符号化装置である。
【００１７】
本技術の一側面の符号化方法は、本技術の一側面の符号化装置に対応する。
【００１８】
本技術の一側面においては、複数の画像がパッキングされたパッキング画像に対してクロッピング領域を特定するクロッピング情報が設定されるとともに、前記パッキング画像に含まれる各画像を特定可能であり、かつ、前記パッキング画像から表示画像の位置を示す補助情報が設定される。そして、前記パッキング画像を符号化して前記クロッピング情報と前記補助情報を含むビットストリームが生成され、生成された前記ビットストリームが伝送される。
【００１９】
なお、本技術の一側面の符号化装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００２０】
また、本技術の一側面の符号化装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００２１】
さらに、本技術の一側面の符号化装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２２】
本技術の一側面によれば、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する画像を確実に表示させることができる。
【図面の簡単な説明】
【００２３】
【図１】本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１の符号化部の構成例を示すブロック図である。
【図３】VUIのシンタックスの例を示す図である。
【図４】フレームパッキングSEIのシンタックスの例を示す図である。
【図５】図４のモード情報を説明する図である。
【図６】図４のタイプ情報を説明する図である。
【図７】図４の位置情報を説明する図である。
【図８】クロッピング領域の位置を示す図である。
【図９】位置情報のシンタックスの他の例を示す図である。
【図１０】図９の位置情報の例を説明する図である。
【図１１】位置情報のシンタックスのさらに他の例を示す図である。
【図１２】図１１の位置情報の例を説明する図である。
【図１３】フレームパッキングSEIのシンタックスの他の例を示す図である。
【図１４】SPSのシンタックスの一部の例を示す図である。
【図１５】図１の符号化装置の生成処理を説明するフローチャートである。
【図１６】図１５のステップＳ１の符号化処理の詳細を説明するフローチャートである。
【図１７】図１５の符号化処理の詳細を説明するフローチャートである。
【図１８】本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
【図１９】図１８の復号部の構成例を示すブロック図である。
【図２０】図１８の復号装置による表示処理を説明するフローチャートである。
【図２１】図２０の復号処理の詳細を説明するフローチャートである。
【図２２】本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
【図２３】図２２の符号化部の構成例を示すブロック図である。
【図２４】２Ｄ互換フレームパッキングSEIのシンタックスの例を示す図である。
【図２５】２Ｄ互換フレームパッキングSEIの変更の理由を説明する図である。
【図２６】図２４の位置情報を説明する図である。
【図２７】図２２の符号化装置の生成処理を説明するフローチャートである。
【図２８】図２７の符号化処理の詳細を説明するフローチャートである。
【図２９】図２７の符号化処理の詳細を説明するフローチャートである。
【図３０】本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
【図３１】図３０の復号部の構成例を示すブロック図である。
【図３２】２Ｄ互換フレームパッキングSEIの適用時期を説明する図である。
【図３３】２Ｄ互換フレームパッキングSEIに記述可能な情報を説明する図である。
【図３４】図３０の復号装置による表示処理を説明するフローチャートである。
【図３５】図３４の復号処理の詳細を説明するフローチャートである。
【図３６】コンピュータのハードウエアの構成例を示すブロック図である。
【図３７】本技術を適用したテレビジョン装置の概略構成例を示す図である。
【図３８】本技術を適用した携帯電話機の概略構成例を示す図である。
【図３９】本技術を適用した記録再生装置の概略構成例を示す図である。
【図４０】本技術を適用した撮像装置の概略構成例を示す図である。
【発明を実施するための形態】
【００２４】
＜第１実施の形態＞
（符号化装置の第１実施の形態の構成例）
図１は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
【００２５】
図１の符号化装置１は、符号化部２、設定部３、および伝送部４により構成され、パッキング画像等の画像をHEVC方式で符号化する。
【００２６】
具体的には、符号化装置１の符号化部２には、フレーム単位のパッキング画像等の画像が入力信号として入力される。符号化部２は、入力信号をHEVC方式で符号化し、その結果得られる符号化データを設定部３に供給する。
【００２７】
設定部３は、SPS、PPS（Picture Parameter Set）、符号化データに対応する画像の特性（ユーザビリティ）をシーケンスごとに示すVUI(Video Usability Information)、SEIなどを設定する。設定部３は、設定されたSPS,PPS,VUI、およびSEIと、符号化部２から供給される符号化データとから、符号化ストリームを生成する。設定部３は、符号化ストリームを伝送部４に供給する。
【００２８】
伝送部４は、設定部３から供給される符号化ストリームを、後述する復号装置に伝送する。
【００２９】
（符号化部の構成例）
図２は、図１の符号化部２の構成例を示すブロック図である。
【００３０】
図２の符号化部２は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、動き予測・補償部２５、予測画像選択部２６、およびレート制御部２７により構成される。
【００３１】
具体的には、符号化部２のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。画面並べ替えバッファ１２は、記憶した表示の順番のフレーム単位の画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替え、演算部１３、イントラ予測部２４、および動き予測・補償部２５に出力する。
【００３２】
演算部１３は、予測画像選択部２６から供給される予測画像と、画面並べ替えバッファ１２から出力された符号化対象の画像の差分を演算することにより符号化を行う。具体的には、演算部１３は、画面並べ替えバッファ１２から出力された符号化対象の画像から、予測画像選択部２６から供給される予測画像を減算することにより符号化を行う。演算部１３は、その結果得られる画像を、残差情報として直交変換部１４に出力する。なお、予測画像選択部２６から予測画像が供給されない場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像をそのまま残差情報として直交変換部１４に出力する。
【００３３】
直交変換部１４は、演算部１３からの残差情報に対して直交変換を施し、直交変換の結果得られる係数を量子化部１５に供給する。
【００３４】
量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６に入力される。
【００３５】
可逆符号化部１６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部２４から取得する。また、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定するための情報などを動き予測・補償部２５から取得する。
【００３６】
可逆符号化部１６は、量子化部１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。
【００３７】
また、可逆符号化部１６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報などを、符号化に関する符号化情報として可逆符号化する。可逆符号化部１６は、可逆符号化された符号化情報と係数を、符号化データとして蓄積バッファ１７に供給し、蓄積させる。なお、可逆符号化された符号化情報は、可逆符号化された係数のヘッダ情報とされてもよい。
【００３８】
蓄積バッファ１７は、可逆符号化部１６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ１７は、記憶している符号化データを、図１の設定部３に供給する。
【００３９】
また、量子化部１５より出力された、量子化された係数は、逆量子化部１８にも入力され、逆量子化された後、逆直交変換部１９に供給される。
【００４０】
逆直交変換部１９は、逆量子化部１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。
【００４１】
加算部２０は、逆直交変換部１９から供給される復号対象の画像としての残差情報と、予測画像選択部２６から供給される予測画像を加算して、局部的に復号された画像を得る。なお、予測画像選択部２６から予測画像が供給されない場合、加算部２０は、逆直交変換部１９から供給される残差情報を局部的に復号された画像とする。加算部２０は、局部的に復号された画像をデブロックフィルタ２１に供給するとともに、フレームメモリ２２に供給して蓄積させる。
【００４２】
デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２１は、その結果得られる画像をフレームメモリ２２に供給し、蓄積させる。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２５に出力される。
【００４３】
イントラ予測部２４は、フレームメモリ２２からスイッチ２３を介して読み出されたデブロックフィルタ２１でフィルタリングされていない参照画像を用いて、タイルおよびスライス単位で、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
【００４４】
また、イントラ予測部２４は、画面並べ替えバッファ１２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部２４は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
【００４５】
イントラ予測部２４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２６に供給する。イントラ予測部２４は、予測画像選択部２６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１６に供給する。
【００４６】
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
【００４７】
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。
【００４８】
【数１】
2018078620.tif 000003
【００４９】
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
【００５０】
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。
【００５１】
【数２】
2018078620.tif 000004
【００５２】
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
【００５３】
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。
【００５４】
動き予測・補償部２５は、タイルおよびスライス単位で、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部２５は、タイルおよびスライス単位で、画面並べ替えバッファ１２から供給される画像と、フレームメモリ２２からスイッチ２３を介して読み出されるフィルタリングされた参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部２５は、タイルおよびスライス単位で、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
【００５５】
このとき、動き予測・補償部２５は、画面並べ替えバッファ１２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部２５は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２６に供給する。また、動き予測・補償部２５は、予測画像選択部２６から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１６に出力する。
【００５６】
予測画像選択部２６は、イントラ予測部２４および動き予測・補償部２５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部２６は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。また、予測画像選択部２６は、最適予測モードの予測画像の選択をイントラ予測部２４または動き予測・補償部２５に通知する。
【００５７】
レート制御部２７は、蓄積バッファ１７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。
【００５８】
（VUIのシンタックスの例）
図３は、図１の設定部３により設定されるVUIのシンタックスの例を示す図である。
【００５９】
図３の第６行目に示すように、VUIには、パッキングに関するパッキング情報のSEIであるフレームパッキングSEIの有無を示す有無情報としてのフレームパッキングフラグ（frame_packing_arrangement_flag）が含まれている。フレームパッキングフラグは、フレームパッキングSEIが有ることを示す場合１とされ、フレームパッキングSEIが無いことを示す場合０とされる。
【００６０】
（フレームパッキングSEIのシンタックスの例）
図４は、図１の設定部３により設定されるフレームパッキングSEIのシンタックスの例を示す図である。
【００６１】
図４の第２行目に示すように、フレームパッキングSEI（frame_packing_arrangement）には、パッキング画像を表示する際にフレームパッキングSEIを優先的に用いるかを示す優先情報としてのクロッピング無視フラグ（frame_cropping_override_flag）が含まれる。クロッピング無視フラグは、パッキング画像の表示時にフレームパッキングSEIを優先的に用いることを示す場合１とされ、パッキング画像の表示時にフレームパッキングSEIを優先的に用いないことを示す場合０とされる。
【００６２】
なお、第１実施の形態では、クロッピング無視フラグは、常に１とされる。従って、フレームパッキングフラグ自体が、パッキング画像の表示時にフレームパッキングSEIを優先的に用いるかを示す情報（パッキング優先情報）であるともいえる。
【００６３】
また、図４の第３行目に示すように、フレームパッキングSEIには、パッキング画像のパッキングのモードを示すモード情報（frame_packing_arrangement_id）が含まれる。モード情報の詳細は、後述する図５を参照して説明する。
【００６４】
さらに、図４の第６行目に示すように、フレームパッキングSEIには、パッキング画像を構成する画像の特性を示すタイプ情報（content_interpretation_type）が含まれる。
タイプ情報の詳細は、後述する図６を参照して説明する。
【００６５】
また、図４の第７行目に示すように、フレームパッキングSEIには、パッキング画像を構成する画像の数を示す画像数情報（num_of_picture_minus1）が含まれる。さらに、図４の第８行目乃至第１４行目に示すように、フレームパッキングSEIには、パッキング画像を構成する各画像のパッキング画像における位置を示す位置情報が含まれる。
【００６６】
図４の例では、位置情報は、パッキング画像を構成する画像ごとに記述される、その画像の左端の位置を示す左端情報（picture_left_offset）、右端の位置を示す右端情報（picture_right_offset）、上端の位置を示す上端情報（picture_top_offset）、下端の位置を示す下端情報（picture_bottom_offset）、およびピクチャＩＤである。
【００６７】
左端情報、右端情報、上端情報、および下端情報の詳細は、後述する図７を参照して説明する。ピクチャＩＤは、パッキング画像を構成する各画像に固有のＩＤである。
【００６８】
（モード情報の説明）
図５は、図４のモード情報を説明する図である。
【００６９】
図５に示すように、モード情報（frame_packing_arrangement_id）は、例えば、パッキングのモードが、サイドバイサイド方式でパッキングするサイドバイサイドモードである場合０とされる。また、モード情報は、パッキングのモードが、２つの画像の一方を上半分に配置し、他方を下半分に配置することによりパッキングするトップアンドボトム方式でパッキングするトップアンドボトムモードである場合１とされる。さらに、モード情報は、パッキングのモードがサイドバイサイドモードとトップアンドボトムモードのどちらでもない場合２とされる。
【００７０】
ここでは、パッキングのモードが、サイドバイサイドモード、トップアンドボトムモード、および、その他のモードであるものとするが、パッキングのモードは、これに限定されない。例えば、パッキングのモードとして、３つ以上の画像をパッキングするモードがあってもよい。また、モード情報は、フレームパッキングSEIではなく、他のSEIに含まれるようにしてもよいし、VUIなどの他のNAL(Network Abstraction Layer)ユニットに含まれるようにしてもよい。
【００７１】
（タイプ情報の説明）
図６は、図４のタイプ情報を説明する図である。
【００７２】
図６に示すように、タイプ情報（content_interpretation_type）は、例えば、パッキング画像を構成する各画像の特性として、各画像に特別な関係がないことを示す場合０とされる。また、タイプ情報は、パッキング画像を構成する各画像の特性として、ピクチャＩＤが０である画像は３Ｄ画像のうちの左目用の画像であり、ピクチャＩＤが１である画像は右目用の画像であることを示す場合１とされる。
【００７３】
さらに、タイプ情報は、パッキング画像を構成する各画像の特性として、ピクチャＩＤが０である画像は３Ｄ画像のうちの右目用の画像であり、ピクチャＩＤが１である画像は左目用の画像であることを示す場合１とされる。
【００７４】
（位置情報の説明）
図７は、図４の位置情報を説明する図である。
【００７５】
左端情報（picture_left_offset）は、例えば、パッキング画像を構成する画像の左端の位置を、その左端からパッキング画像の左端までの画素数で表す情報である。右端情報（picture_right_offset）、上端情報（picture_top_offset）、および下端情報（picture_bottom_offset）についても、左端情報と同様である。
【００７６】
図７に示すように、サイドバイサイド方式でパッキングされたパッキング画像の左半分の画像のピクチャＩＤが０であり、右半分の画像のピクチャＩＤが１である場合、パッキング画像の左上の画素単位の位置を(0,0)とすると、ピクチャＩＤが０である画像の左上の画素単位の位置は(0,0)である。また、パッキング画像の水平方向の画素数をwidthとし、垂直方向の画素数をheightとすると、ピクチャＩＤが０である画像の右上、左下、および右下の画素単位の位置は、それぞれ、(width/2,0),(0,height),(width/2,height)である。
【００７７】
よって、ピクチャＩＤとして０を含む位置情報の左端情報、右端情報、上端情報、および下端情報は、それぞれ、0(=0-0),width/2(=width-2/width),0(=0-0),0(=height-height)である。
【００７８】
一方、ピクチャＩＤが１である画像の左上、右上、左下、および右下の画素単位の位置は、それぞれ、(width/2,0),(width,0),(width/2,height),(width,height)である。従って、ピクチャＩＤとして１を含む位置情報の左端情報、右端情報、上端情報、および下端情報は、それぞれ、width/2(=width/2-0),0(=width-width),0(=0-0),0(=height-height)である。
【００７９】
なお、輝度成分と色差成分の画素数が異なる場合、左端情報、右端情報、上端情報、および下端情報が表す画素数は、画像数の小さい方の成分の画素数である。従って、例えば、パッキング画像がYUV420またはYUV422である場合、左端情報、右端情報、上端情報、および下端情報が表す画素数は、色差成分の画素数である。また、パッキング画像がYUV444である場合、左端情報、右端情報、上端情報、および下端情報が表す画素数は、色差成分と輝度成分において同一の画素数である。さらに、パッキング画像がYUV400である場合、左端情報、右端情報、上端情報、および下端情報が表す画素数は、輝度成分の画素数である。
【００８０】
よって、後述する復号装置において、左端情報、右端情報、上端情報、および下端情報に基づいてパッキング画像を構成する所望の画像がクロッピングされる場合、クロッピング領域の位置は、図８に示すようになる。
【００８１】
即ち、パッキング画像の左上の画素単位の位置を(0,0)とすると、図８に示すように、クロッピング領域の左上のパッキング画像上の画素単位の位置は、(CropUnitX*picture_left_offset,CropUnitY*picture_top_offset)であり、右下のパッキング画像上の画素単位の位置は、(Width-CropUnitX*picture_right_offset+1,CropUnitY*picture_bottom_offset+1)である。
【００８２】
ここで、CropUnitXとCropUnitYは、SPSに含まれる符号化対象の画像のフォーマット情報が表すYUV400,YUV420,YUV422,YUV444等に基づいて決定される値である。具体的には、フォーマット情報がYUV400またはYUV444を表している場合、CropUnitXとCropUnitYは、両方とも１であり、フォーマット情報がYUV420を表している場合、CropUnitXとCropUnitYは、両方とも２である。また、フォーマット情報がYUV422を表している場合、CropUnitXは２であり、CropUnitYは１である。
【００８３】
（位置情報の他の例）
図９は、図４のフレームパッキングSEIに含まれる位置情報のシンタックスの他の例を示す図である。
【００８４】
図９の例では、位置情報は、パッキング画像を構成する各画像のパッキング画像上の位置を、HEVC規格における並列符号化処理単位であるタイル単位で示す情報である。具体的には、図９の位置情報は、行ごとに、行方向（水平方向）に並ぶタイルに対応する画像のピクチャＩＤを示す情報である。
【００８５】
例えば、図１０に示すように、パッキング画像が、水平方向と垂直方向に２つずつタイルが並ぶように、４つのタイルに分割され、パッキング画像がサイドバイサイド方式でパッキングされた画像である場合、位置情報は、以下に示すようになる。
【００８６】
即ち、SPSやPPSに設定されるタイルに固有のＩＤであるタイルＩＤは、各タイルに対してラスタスキャン順に付与されるため、タイルＩＤとして０が付与されたタイルは左上のタイルである。従って、タイルＩＤが０であるタイルに対応する画像のピクチャＩＤは、パッキング画像の左半分の画像のピクチャＩＤ（図１０の例では０）となる。また、タイルＩＤとして１が付与されたタイルは右上のタイルであるため、タイルＩＤが１であるタイルに対応する画像のピクチャＩＤは、パッキング画像の右半分の画像のピクチャＩＤ（図１０の例では１）となる。
【００８７】
さらに、タイルＩＤとして２が付与されたタイルは左下のタイルであるため、タイルＩＤが２であるタイルに対応する画像のピクチャＩＤは、パッキング画像の左半分の画像のピクチャＩＤ（図１０の例では０）となる。また、タイルＩＤとして３が付与されたタイルは右下のタイルであるため、タイルＩＤが３であるタイルに対応する画像のピクチャＩＤは、パッキング画像の右半分の画像のピクチャＩＤ（図１０の例では１）となる。
【００８８】
従って、位置情報は、タイルＩＤが０と２であるタイルに対応する画像のピクチャＩＤとして、パッキング画像の左半分の画像のピクチャＩＤを示し、タイルＩＤが１と３であるタイルに対応する画像のピクチャＩＤとして、パッキング画像の右半分の画像のピクチャＩＤを示す情報になる。
【００８９】
（位置情報のさらに他の例）
図１１は、図４のフレームパッキングSEIに含まれる位置情報のシンタックスのさらに他の例を示す図である。
【００９０】
図１１の例では、位置情報は、パッキング画像を構成する各画像のパッキング画像上の位置を、スライス単位で示す情報である。具体的には、図１１の位置情報は、スライスごとに、そのスライスの画像のピクチャＩＤを示す情報である。
【００９１】
例えば、図１２に示すように、パッキング画像が４つのスライスに分割され、パッキング画像がトップアンドボトム方式でパッキングされた画像である場合、位置情報は、以下に示すようになる。
【００９２】
即ち、上から１番目および２番目のスライスの画像のピクチャＩＤは、パッキング画像の上半分の画像のピクチャＩＤ（図１２の例では０）となる。また、上から３番目および４番目のスライスの画像のピクチャＩＤは、パッキング画像の下半分の画像のピクチャＩＤ（図１２の例では１）となる。
【００９３】
従って、位置情報は、上から１番目および２番目のスライスの画像のピクチャＩＤとして、パッキング画像の上半分の画像のピクチャＩＤを示し、上から３番目および４番目のスライスの画像のピクチャＩＤとして、パッキング画像の下半分の画像のピクチャＩＤを示す情報になる。
【００９４】
（フレームパッキングSEIのシンタックスの他の例）
図１３は、図１の設定部３により設定されるフレームパッキングSEIのシンタックスの他の例を示す図である。
【００９５】
図１３の例では、フレームパッキングSEIは、AVC規格のフレームパッキングSEI（frame_packing_arrangement）に、第２行目のクロッピング無視フラグ（frame_cropping_override_flag）が追加されたものとなっている。
【００９６】
（SPSのシンタックスの例）
図１４は、図１の設定部３により設定されるSPSのシンタックスの一部の例を示す図である。
【００９７】
図１４の第１３行目乃至第１８行目に示すように、SPSには、対応する画像の表示時にクロッピングされるクロッピング領域を示すクロッピング情報を含むことができる。クロッピング情報は、クロッピング領域の左端の位置を示すクロッピング左端情報（pic_crop_left_offset）、右端の位置を示すクロッピング右端情報（pic_crop_right_offset）、上端の位置を示すクロッピング上端情報（pic_crop_top_offset）、および下端の位置を示すクロッピング下端情報（pic_crop_bottom_offset）である。
【００９８】
（符号化装置の処理の説明）
図１５は、図１の符号化装置１の生成処理を説明するフローチャートである。
【００９９】
図１５のステップＳ１において、符号化装置１の符号化部２は、外部から入力信号として入力されるフレーム単位のパッキング画像等の画像をHEVC方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図１６および図１７を参照して説明する。
【０１００】
ステップＳ２において、設定部３は、クロッピング情報を含むSPSを設定する。ステップＳ３において、設定部３は、PPSを設定する。ステップＳ４において、設定部３は、ユーザによる図示せぬ入力部の操作等に基づいて、符号化対象の画像がパッキング画像であるかどうかを判定する。
【０１０１】
ステップＳ４で符号化対象の画像がパッキング画像であると判定された場合、ステップＳ５において、設定部３は、フレームパッキングフラグとして１を含むVUIを設定する。
ステップＳ６において、設定部３は、フレームパッキングSEIなどのSEIを設定し、処理をステップＳ８に進める。
【０１０２】
一方、ステップＳ４で符号化対象の画像がパッキング画像ではないと判定された場合、ステップＳ７において、設定部３は、フレームパッキングフラグとして０を含むVUIを設定する。また、設定部３は、必要に応じて、フレームパッキングSEI以外のSEIを設定し、処理をステップＳ８に進める。
【０１０３】
ステップＳ８において、設定部３は、設定されたSPS,PPS,VUI、およびSEIと、符号化部２から供給される符号化データとから、符号化ストリームを生成する。設定部３は、符号化ストリームを伝送部４に供給する。
【０１０４】
ステップＳ９において、伝送部４は、設定部３から供給される符号化ストリームを、後述する復号装置に伝送し、処理を終了する。
【０１０５】
図１６および図１７は、図１５のステップＳ１の符号化処理の詳細を説明するフローチャートである。
【０１０６】
図１６のステップＳ１１において、符号化部２のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。
【０１０７】
ステップＳ１２において、画面並べ替えバッファ１２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２は、並べ替え後のフレーム単位の画像を、演算部１３、イントラ予測部２４、および動き予測・補償部２５に供給する。なお、以下のステップＳ１３乃至Ｓ２８の処理は、例えばCU（Coding Unit）単位で行われる。
【０１０８】
ステップＳ１３において、イントラ予測部２４は、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部２４は、画面並べ替えバッファ１２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部２４は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部２４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２６に供給する。
【０１０９】
また、動き予測・補償部２５は、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部２５は、画面並べ替えバッファ１２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部２５は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２６に供給する。
【０１１０】
ステップＳ１４において、予測画像選択部２６は、ステップＳ１３の処理によりイントラ予測部２４および動き予測・補償部２５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部２６は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。
【０１１１】
ステップＳ１５において、予測画像選択部２６は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部２６は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部２５に通知する。これにより、動き予測・補償部２５は、インター予測モード情報、対応する動きベクトル、および参照画像を特定するための情報を可逆符号化部１６に出力する。
【０１１２】
そして、ステップＳ１６において、可逆符号化部１６は、動き予測・補償部２５から供給されるインター予測モード情報、動きベクトル、および参照画像を特定するための情報を、符号化情報として可逆符号化する。そして、処理はステップＳ１８に進む。
【０１１３】
一方、ステップＳ１５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部２６は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部２４に通知する。これにより、イントラ予測部２４は、イントラ予測モード情報を可逆符号化部１６に供給する。
【０１１４】
そして、ステップＳ１７において、可逆符号化部１６は、イントラ予測部２４から供給されるイントラ予測モード情報を符号化情報として可逆符号化する。そして、処理はステップＳ１８に進む。
【０１１５】
ステップＳ１８において、演算部１３は、画面並べ替えバッファ１２から供給される画像から、予測画像選択部２６から供給される予測画像を減算することにより符号化を行う。演算部１３は、その結果得られる画像を、残差情報として直交変換部１４に出力する。
【０１１６】
ステップＳ１９において、直交変換部１４は、演算部１３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１５に供給する。
【０１１７】
ステップＳ２０において、量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６と逆量子化部１８に入力される。
【０１１８】
ステップＳ２１において、可逆符号化部１６は、量子化部１５から供給される量子化された係数を可逆符号化する。そして、可逆符号化部１６は、ステップＳ１６またはＳ１７の処理で可逆符号化された符号化情報と可逆符号化された係数から、符号化データを生成する。
【０１１９】
図１７のステップＳ２２において、可逆符号化部１６は、符号化データを蓄積バッファ１７に供給し、蓄積させる。
【０１２０】
ステップＳ２３において、蓄積バッファ１７は、蓄積されている符号化データを、図１の設定部３に出力する。
【０１２１】
ステップＳ２４において、逆量子化部１８は、量子化部１５から供給される量子化された係数を逆量子化する。
【０１２２】
ステップＳ２５において、逆直交変換部１９は、逆量子化部１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。
【０１２３】
ステップＳ２６において、加算部２０は、逆直交変換部１９から供給される残差情報と、予測画像選択部２６から供給される予測画像を加算し、局部的に復号された画像を得る。加算部２０は、得られた画像をデブロックフィルタ２１に供給するとともに、フレームメモリ２２に供給する。
【０１２４】
ステップＳ２７において、デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去し、フレームメモリ２２に供給する。
【０１２５】
ステップＳ２８において、フレームメモリ２２は、フィルタリング前後の画像を蓄積する。具体的には、フレームメモリ２２は、加算部２０から供給される画像とデブロックフィルタ２１から供給される画像を蓄積する。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２５に出力される。そして、処理は図１５のステップＳ１に戻り、ステップＳ２に進む。
【０１２６】
なお、図１６および図１７の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。
【０１２７】
以上のように、符号化装置１は、フレームパッキングSEIとフレームパッキングフラグを設定し、パッキング画像を符号化した符号化データとともに伝送する。従って、パッキング画像の符号化ストリームを復号して表示させる復号装置は、フレームパッキングフラグが１である場合、即ちクロッピング無視フラグが１である場合、フレームパッキングSEIを優先的に用いて、パッキング画像を構成する所望の画像を確実に表示させることができる。よって、符号化装置１は、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができるように、パッキング画像の符号化ストリームを生成することができるといえる。
【０１２８】
（復号装置の第１実施の形態の構成例）
図１８は、図１の符号化装置１から伝送される符号化ストリームを復号する、本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
【０１２９】
図１８の復号装置５０は、受け取り部５１、抽出部５２、復号部５３、制御部５４、表示制御部５５、および表示部５６により構成される。
【０１３０】
復号装置５０の受け取り部５１は、図１の符号化装置１から伝送されてくる符号化ストリームを受け取り、抽出部５２に供給する。抽出部５２は、受け取り部５１から供給される符号化ストリームから、SPS,PPS,VUI,SEI、符号化データ等を抽出する。抽出部５２は、符号化データを復号部５３に供給する。また、抽出部５２は、SPS,PPS,VUI,SEI等も、必要に応じて復号部５３と制御部５４に供給する。
【０１３１】
復号部５３は、必要に応じて抽出部５２から供給されるSPS,PPS,VUI,SEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する。復号部５３は、復号の結果得られるパッキング画像等の画像を、出力信号として制御部５４に供給する。
【０１３２】
制御部５４は、必要に応じて抽出部５２から供給されるSPS,PPS,VUI,SEI等に基づいて、復号部５３から出力信号として供給されるパッキング画像を構成する各画像を特定する。そして、制御部５４は、出力信号としてのパッキング画像と、パッキング画像を構成する各画像を特定する情報を表示制御部５５に供給する。また、制御部５４は、出力信号としてのパッキング画像ではない画像とSPSに含まれるクロッピング情報とを表示制御部５５に供給する。
【０１３３】
表示制御部５５は、制御部５４から供給されるパッキング画像を構成する各画像を特定する情報と、表示部５６から通知される表示方法とに基づいて、制御部５４から出力信号として供給されるパッキング画像に対してクロッピング、拡大や縮小等を行い、表示画像を生成する。また、表示制御部５５は、制御部５４から供給されるクロッピング情報に基づいて、制御部５４から出力信号として供給されるパッキングされていない画像に対してクロッピング、拡大や縮小等を行い、表示画像を生成する。表示制御部５５は、生成された表示画像を表示部５６に供給することにより、表示させる。
【０１３４】
表示部５６は、表示制御部５５から供給される表示画像を表示する。また、表示部５６は、予め設定された表示方法、または、予めされた表示方法のうちのユーザにより指定された表示方法を表示制御部５５に通知する。
【０１３５】
（復号部の構成例）
図１９は、図１８の復号部５３の構成例を示すブロック図である。
【０１３６】
図１９の復号部５３は、蓄積バッファ１０１、可逆復号部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、画面並べ替えバッファ１０７、D/A変換部１０８、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、動き補償部１１２、およびスイッチ１１３により構成される。
【０１３７】
復号部５３の蓄積バッファ１０１は、図１８の抽出部５２から符号化データを受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている符号化データを可逆復号部１０２に供給する。
【０１３８】
可逆復号部１０２は、蓄積バッファ１０１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号部１０２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１１１に供給し、動きベクトル、参照画像を特定するための情報、インター予測モード情報などを動き補償部１１２に供給する。さらに、可逆復号部１０２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１１３に供給する。
【０１３９】
逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、および、動き補償部１１２は、図２の逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、および、動き予測・補償部２５とそれぞれ同様の処理を行い、これにより、画像が復号される。
【０１４０】
具体的には、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
【０１４１】
逆直交変換部１０４は、逆量子化部１０３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。
【０１４２】
加算部１０５は、逆直交変換部１０４から供給される復号対象の画像としての残差情報と、スイッチ１１３から供給される予測画像を加算することにより、復号を行う。加算部１０５は、復号の結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。なお、スイッチ１１３から予測画像が供給されない場合、加算部１０５は、逆直交変換部１０４から供給される残差情報である画像を復号の結果得られる画像として、デブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給して蓄積させる。
【０１４３】
デブロックフィルタ１０６は、加算部１０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像をフレームメモリ１０９に供給し、蓄積させるとともに、画面並べ替えバッファ１０７に供給する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して読み出され、動き補償部１１２またはイントラ予測部１１１に供給される。
【０１４４】
画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１０７は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。
【０１４５】
D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として図１８の制御部５４に出力する。
【０１４６】
イントラ予測部１１１は、タイルおよびスライス単位で、フレームメモリ１０９からスイッチ１１０を介して読み出されたデブロックフィルタ１０６でフィルタリングされていない参照画像を用いて、可逆復号部１０２から供給されるイントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１１１は、その結果生成される予測画像をスイッチ１１３に供給する。
【０１４７】
動き補償部１１２は、タイルおよびスライス単位で、可逆復号部１０２から供給される参照画像を特定するための情報に基づいて、フレームメモリ１０９からスイッチ１１０を介して、デブロックフィルタ１０６でフィルタリングされた参照画像を読み出す。動き補償部１１２は、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１１２は、その結果生成される予測画像をスイッチ１１３に供給する。
【０１４８】
スイッチ１１３は、可逆復号部１０２からイントラ予測モード情報が供給された場合、イントラ予測部１１１から供給される予測画像を加算部１０５に供給する。一方、可逆復号部１０２からインター予測モード情報が供給された場合、スイッチ１１３は、動き補償部１１２から供給される予測画像を加算部１０５に供給する。
【０１４９】
（復号装置の処理の説明）
図２０は、図１８の復号装置５０による表示処理を説明するフローチャートである。
【０１５０】
図２０のステップＳ５０において、復号装置５０の受け取り部５１は、図１の符号化装置１から伝送されてくる符号化ストリームを受け取り、抽出部５２に供給する。
【０１５１】
ステップＳ５１において、抽出部５２は、受け取り部５１から供給される符号化ストリームから、SPS,PPS,VUI,SEI、符号化データ等を抽出する。抽出部５２は、符号化データを復号部５３に供給する。また、抽出部５２は、SPS,PPS,VUI,SEI等も、必要に応じて復号部５３と制御部５４に供給する。
【０１５２】
ステップＳ５２において、復号部５３は、必要に応じて抽出部５２から供給されるSPS,PPS,VUI,SEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する復号処理を行う。この復号処理の詳細は、後述する図２１を参照して説明する。
【０１５３】
ステップＳ５３において、制御部５４は、抽出部５２から供給されるVUIに含まれるフレームパッキングフラグが１であるかどうかを判定する。ステップＳ５３でフレームパッキングフラグが１であると判定された場合、制御部５４は、復号部５３から供給される出力信号がパッキング画像であると判定する。
【０１５４】
そして、ステップＳ５４において、制御部５４は、抽出部５２から供給されるフレームパッキングSEIに含まれるクロッピング無視フラグが１であるかどうかを判定する。ステップＳ５４でクロッピング無視フラグが１であると判定された場合、ステップＳ５５において、制御部５４は、フレームパッキングSEIに含まれるタイプ情報と位置情報などに基づいて、パッキング画像を構成する各画像を特定する。そして、制御部５４は、パッキング画像を構成する各画像を特定する情報と出力信号を表示制御部５５に供給する。
【０１５５】
ステップＳ５６において、表示制御部５５は、表示部５６から通知される表示方法を取得する。ステップＳ５７において、表示制御部５５は、表示方法とパッキング画像を構成する各画像を特定する情報とに基づいて、パッキング画像を構成する画像のうちの所望の画像をクロッピングし、必要に応じて拡大や縮小等を行い、表示画像とする。
【０１５６】
例えば、出力信号が３Ｄ表示用のパッキング画像である場合、制御部５４は、フレームパッキングSEIに含まれるタイプ情報と位置情報などに基づいて、パッキング画像を構成する左目用の画像と右目用の画像を特定する。そして、表示方法が２Ｄ表示である場合、表示制御部５５は、パッキング画像から、例えば左目用の画像をクロッピングし、表示画像とする。一方、表示方法が３Ｄ表示である場合、表示制御部５５は、パッキング画像から左目用の画像と右目用の画像をクロッピングし、表示画像とする。そして、処理はステップＳ５９に進む。
【０１５７】
一方、ステップＳ５３でフレームパッキングフラグが１ではないと判定された場合、または、ステップＳ５４でクロッピング無視フラグが１ではないと判定された場合、制御部５４は、出力信号がパッキング画像ではないと判定する。そして、制御部５４は、出力信号とSPSに含まれるクロッピング情報を表示制御部５５に供給し、ステップＳ５８において、表示制御部５５は、そのクロッピング情報に基づいて、出力信号としての画像をクロッピングし、必要に応じて拡大や縮小等を行い、表示画像とする。そして、処理はステップＳ５９に進む。
【０１５８】
ステップＳ５９において、表示制御部５５は、生成された表示画像を表示部５６に供給することにより、表示部５６に表示画像を表示させ、処理を終了する。
【０１５９】
図２１は、図２０のステップＳ５２の復号処理の詳細を説明するフローチャートである。
【０１６０】
図２１のステップＳ１０１において、復号部５３の蓄積バッファ１０１は、図１８の抽出部５２からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている符号化データを可逆復号部１０２に供給する。なお、以下のステップＳ１０２乃至Ｓ１１０の処理は、例えばCU単位で行われる。
【０１６１】
ステップＳ１０２において、可逆復号部１０２は、蓄積バッファ１０１からの符号化データを可逆復号し、量子化された係数と符号化情報を得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号部１０２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１１１に供給し、動きベクトル、インター予測モード情報、参照画像を特定するための情報などを動き補償部１１２に供給する。さらに、可逆復号部１０２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１１３に供給する。
【０１６２】
ステップＳ１０３において、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
【０１６３】
ステップＳ１０４において、動き補償部１１２は、可逆復号部１０２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１０４でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１０５に進む。
【０１６４】
ステップＳ１０５において、動き補償部１１２は、可逆復号部１０２から供給される動きベクトル、インター予測モード情報、および参照画像を特定するための情報に基づいて、デブロックフィルタ１０６でフィルタリングされた参照画像を読み出し、動き補償処理を行う。動き補償部１１２は、その結果生成される予測画像を、スイッチ１１３を介して加算部１０５に供給し、処理をステップＳ１０７に進める。
【０１６５】
一方、ステップＳ１０４でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１１１に供給された場合、処理はステップＳ１０６に進む。
【０１６６】
ステップＳ１０６において、イントラ予測部１１１は、フレームメモリ１０９からスイッチ１１０を介して読み出された、デブロックフィルタ１０６でフィルタリングされていない参照画像を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１１１は、イントラ予測処理の結果生成される予測画像を、スイッチ１１３を介して加算部１０５に供給し、処理をステップＳ１０７に進める。
【０１６７】
ステップＳ１０７において、逆直交変換部１０４は、逆量子化部１０３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。
【０１６８】
ステップＳ１０８において、加算部１０５は、逆直交変換部１０４から供給される残差情報と、スイッチ１１３から供給される予測画像を加算する。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。
【０１６９】
ステップＳ１０９において、デブロックフィルタ１０６は、加算部１０５から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。デブロックフィルタ１０６は、フィルタリング後の画像をフレームメモリ１０９に供給する。
【０１７０】
ステップＳ１１０において、フレームメモリ１０９は、加算部１０５から供給されるフィルタリング前の画像と、デブロックフィルタ１０６から供給されるフィルタリング後の画像を蓄積する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して動き補償部１１２またはイントラ予測部１１１に供給される。
【０１７１】
ステップＳ１１１において、画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。
【０１７２】
ステップＳ１１２において、D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として図１８の制御部５４に供給する。そして、処理は、図２０のステップＳ５２に戻り、ステップＳ５３に進む。
【０１７３】
以上のように、復号装置５０は、符号化データを復号してパッキング画像を生成し、フレームパッキングフラグが１である場合、即ちクロッピング無視フラグが１である場合、フレームパッキングSEIに基づいてパッキング画像を構成する各画像を特定する。従って、復号装置５０は、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
【０１７４】
また、復号装置５０が、パッキング画像を構成する各画像を特定することができるので、復号装置５０側で、表示方法などにしたがって、表示する所望の画像を決定することができる。
【０１７５】
なお、フレームパッキングSEIにクロッピング無視フラグが含まれないようにしてもよい。この場合、復号装置は、フレームパッキングフラグが１である場合、クロッピング情報を無視し、フレームパッキングSEIに基づいてパッキング画像を構成する各画像を特定する。
【０１７６】
また、SEIを利用しない復号装置は、フレームパッキングフラグが１である場合であっても、クロッピング情報に基づいてクロッピングを行う。なお、SEIを利用しない復号装置は、フレームパッキングフラグが１である場合、フレームパッキングSEIを参照するようにしてもよい。この場合、SPSにクロッピング情報を含める必要がない。
【０１７７】
フレームパッキングフラグは、VUIではなく、SPS等の他のNALユニットに含まれるようにしてもよい。また、パッキング画像を構成する画像の数は、３以上であってもよい。例えば、パッキング画像は、テレビ会議システムにおける会議の各参加者の画像がパッキングされた画像などであってもよい。
【０１７８】
さらに、フレームパッキングSEIに含まれる位置情報が、図９や図１１に示した位置情報である場合、画像数情報は設定されなくてもよい。
【０１７９】
＜第２実施の形態＞
（符号化装置の第２実施の形態の構成例）
図２２は、本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
【０１８０】
図２２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８１】
図２２の符号化装置１２０の構成は、符号化部２の代わりに符号化部１２１が設けられ、設定部３の代わりに設定部１２２が設けられる点が図１の構成と異なる。符号化装置１２０は、パッキング画像の符号化ストリームが２Ｄ画像の符号化ストリームとの互換性を有するためのフレームパッキングSEIである２Ｄ互換フレームパッキングSEIを含めるように、パッキング画像の符号化ストリームを生成する。
【０１８２】
この２Ｄ互換フレームパッキングSEIは、復号装置において、パッキング画像を表示する際にクロッピング情報の前に適用されるSEIであり、クロッピング情報を無視することを示すSEIである。即ち、２Ｄ互換フレームパッキングSEIは、パッキング画像を表示する際にクロッピング情報に比べて優先的に用いられるSEIである。
【０１８３】
符号化装置１２０の符号化部１２１には、フレーム単位のパッキング画像等の画像が入力信号として入力される。符号化部１２１は、入力信号をHEVC方式で符号化し、その結果得られる符号化データを設定部１２２に供給する。なお、詳細は後述するが、符号化部２と符号化部１２１は、局部的に復号された画像に対して行われるフィルタリングの種類が異なっている。
【０１８４】
設定部１２２は、図１４に示したSPS、PPS、２Ｄ互換フレームパッキングSEI等のSEIなどを設定する。設定部１２２は、設定されたSPS,PPS,SEIなどと、符号化部１２１から供給される符号化データとから、符号化ストリームを生成する。設定部１２２は、符号化ストリームを伝送部４に供給する。
【０１８５】
（符号化部の構成例）
図２３は、図２２の符号化部１２１の構成例を示すブロック図である。
【０１８６】
図２３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８７】
図２３の符号化部１２１の構成は、適応オフセットフィルタ１４１と適応ループフィルタ１４２が新たに設けられる点、および可逆符号化部１６の代わりに可逆符号化部１４３が設けられる点が図２の構成と異なる。
【０１８８】
符号化部１２１は、局部的に復号された画像に対して、デブロックフィルタ２１によるフィルタリング（以下、適応デブロックフィルタ処理という）だけでなく、適応オフセットフィルタ１４１と適応ループフィルタ１４２によるフィルタリングを行う。
【０１８９】
具体的には、適応オフセットフィルタ１４１は、デブロックフィルタ２１による適応デブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
【０１９０】
より詳細には、適応オフセットフィルタ１４１は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。適応オフセットフィルタ１４１は、求められたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ１４１は、適応オフセットフィルタ処理後の画像を適応ループフィルタ１４２に供給する。
【０１９１】
また、適応オフセットフィルタ１４１は、オフセットを格納するバッファを有している。適応オフセットフィルタ１４１は、LCUごとに、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されているかどうかを判定する。
【０１９２】
適応オフセットフィルタ１４１は、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されていると判定した場合、オフセットがバッファに格納されているかを示す格納フラグを、オフセットがバッファに格納されていることを示す値（ここでは１）に設定する。
【０１９３】
そして、適応オフセットフィルタ１４１は、LCUごとに、１に設定された格納フラグ、バッファにおけるオフセットの格納位置を示すインデックス、および、行われた適応オフセットフィルタ処理の種類を示す種類情報を可逆符号化部１４３に供給する。
【０１９４】
一方、適応オフセットフィルタ１４１は、適応デブロックフィルタ処理に用いられたオフセットがまだバッファに格納されていない場合、そのオフセットを順にバッファに格納する。また、適応オフセットフィルタ１４１は、格納フラグを、オフセットがバッファに格納されていないことを示す値（ここでは０）に設定する。そして、適応オフセットフィルタ１４１は、LCUごとに、０に設定された格納フラグ、オフセット、および種類情報を可逆符号化部１４３に供給する。
【０１９５】
適応ループフィルタ１４２は、適応オフセットフィルタ１４１から供給される適応オフセットフィルタ処理後の画像に対して、例えば、LCUごとに、適応ループフィルタ（ALF:Adaptive Loop Filter)処理を行う。適応ループフィルタ処理としては、例えば、２次元のウィナーフィルタ（Wiener Filter）による処理が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。
【０１９６】
具体的には、適応ループフィルタ１４２は、LCUごとに、画面並べ替えバッファ１２から出力される画像である原画像と適応ループフィルタ処理後の画像の残差が最小となるように、適応ループフィルタ処理で用いられるフィルタ係数を算出する。そして、適応ループフィルタ１４２は、適応オフセットフィルタ処理後の画像に対して、算出されたフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。
【０１９７】
適応ループフィルタ１４２は、適応ループフィルタ処理後の画像をフレームメモリ２２に供給する。また、適応ループフィルタ１４２は、フィルタ係数を可逆符号化部１４３に供給する。
【０１９８】
なお、ここでは、適応ループフィルタ処理は、LCUごとに行われるものとするが、適応ループフィルタ処理の処理単位は、LCUに限定されない。但し、適応オフセットフィルタ１４１と適応ループフィルタ１４２の処理単位を合わせることにより、処理を効率的に行うことができる。
【０１９９】
可逆符号化部１４３は、図２の可逆符号化部１６と同様に、イントラ予測モード情報をイントラ予測部２４から取得し、インター予測モード情報、動きベクトル、参照画像を特定するための情報などを動き予測・補償部２５から取得する。また、可逆符号化部１４３は、適応オフセットフィルタ１４１から格納フラグ、インデックスまたはオフセット、および種類情報をオフセットフィルタ情報として取得し、適応ループフィルタ１４２からフィルタ係数を取得する。
【０２００】
可逆符号化部１４３は、可逆符号化部１６と同様に、量子化部１５から供給される量子化された係数に対して、可逆符号化を行う。また、可逆符号化部１４３は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報など、オフセットフィルタ情報、およびフィルタ係数を、符号化情報として可逆符号化する。可逆符号化部１４３は、可逆符号化された符号化情報と係数を、符号化データとして蓄積バッファ１７に供給し、蓄積させる。なお、可逆符号化された符号化情報は、可逆符号化された係数のヘッダ情報とされてもよい。
【０２０１】
（２Ｄ互換フレームパッキングSEIのシンタックスの例）
図２４は、図２２の設定部１２２により設定される２Ｄ互換フレームパッキングSEIのシンタックスの例を示す図である。
【０２０２】
図２４の第２行目乃至第４行目の記述は、AVC規格のフレームパッキングSEI、即ち、図１３のフレームパッキングSEIにおいて第２行目の記述がないもの、における図１３の第３行目乃至第５行目の記述に対応するものである。
【０２０３】
また、図２４の第５行目の２Ｄcomp_FPA_typeは、AVC規格のフレームパッキングSEIにおけるframe_packing_arrangement_type（図１３の第６行目）に対応するものであり、モード情報である。但し、後述するように、２Ｄcomp_FPA_typeとして記述可能なモード情報は、frame_packing_arrangement_typeとして記述可能なモード情報の一部である。
【０２０４】
図２４の第６行目乃至第１１行目の記述は、AVC規格のフレームパッキングSEIにおける図１３の第８、第９、第１３乃至第２０行目の記述に対応するものである。図２４の第１２行目乃至第１５行目には、位置情報が記述される。
【０２０５】
図２４の例では、位置情報は、パッキング画像を構成する画像ごとに記述される、その画像の上端情報（top_position_frame）、左端情報（left_position_frame）、下端情報（bottom_position_frame）、および右端情報（right_position_frame）により構成される。
【０２０６】
図２４の第１７行目乃至第２１行目の記述は、図１３の第２１行目乃至第２５行目に対応するものである。
【０２０７】
以上のように、図２４の２Ｄ互換フレームパッキングSEIは、frame_packing_arrangement_typeが２Ｄcomp_FPA_typeに代わる点と、quincunx_sampling_flag（図１３の第７行目）,field_pictures_flag(field_view_flag)（図１３の第１１行目）、およびcurrent_frame_is_frame0_flag（図１３の第１２行目）が記述されない点とが、AVC方式におけるフレームパッキングSEIと異なっている。
【０２０８】
（２Ｄ互換フレームパッキングSEIの変更の理由の説明）
図２５は、AVC方式におけるフレームパッキングSEIに対する２Ｄ互換フレームパッキングSEIの変更の理由を説明する図である。
【０２０９】
なお、図２５において、バツ印が付された正方形は左目用の画像の画素を表し、丸印が付された正方形は右目用の画像の画素を表す。また、図２５の例では、パッキング画像および表示画像は、１２×８画素からなるものとする。
【０２１０】
ここで、AVC方式におけるモード情報としては、サイドバイサイドモード、トップアンドボトムモードの他に、チェッカーボートモード、インターリーブモード、フレームシーケンシャルモードなどがある。
【０２１１】
チェッカーボードモードとは、左目用の画素と右目用の画素を行方向および列方向に交互に配置することによりパッキングするチェッカーボード方式でパッキングするモードである。インターリーブモードとは、左目用の画素と右目用の画素を１行おき、または、１列おきに配置することによりパッキングするインターリーブ方式でパッキングするモードである。フレームシーケンシャルモードとは、左目用の画像と右目用の画像を時分割で交互にパッキングするフレームシーケンシャル方式でパッキングするモードである。
【０２１２】
図２５のＡに示すように、パッキングのモードがサイドバイサイドモードである場合、復号装置において、パッキング画像のうちの左半分に位置する左目用の画像をクロッピングし、高解像度化（拡大）することにより、左目用の画像を２Ｄの表示画像として表示することができる。
【０２１３】
また、図示は省略するが、パッキングのモードがトップアンドボトムモードである場合も、サイドバイサイドモードである場合と同様に、クロッピングと高解像度化により２Ｄの表示画像を表示することができる。
【０２１４】
しかしながら、図２５のＢに示すように、パッキングのモードがチェッカーボードモードである場合、復号装置は、クロッピングと高解像度化により２Ｄの表示画像を表示することができない。また、図示は省略するが、パッキングのモードが、インターリーブモードやフレームシーケンシャルモードである場合も、チェッカーボードモードと同様に、クロッピングと高解像度化により２Ｄの表示画像を表示することができない。
【０２１５】
従って、符号化装置１２０は、トップアンドボトムモードまたはサイドバイサイドモードでパッキングされたパッキング画像のみを扱い、復号装置は、クロッピングと高解像度化により２Ｄの表示画像を表示する。よって、モード情報は、サイドバイサイドモードまたはトップアンドボトムモードを示す情報である。
【０２１６】
また、パッキングのモードがトップアンドボトムモードまたはサイドバイサイドモードであるので、チェッカーボードモード用の記述であるquincunx_sampling_flagは、２Ｄ互換フレームパッキングSEIに含まれない。同様に、インターリーブモード用の記述であるfield_pictures_flag(field_view_flag)、フレームシーケンシャル用の記述であるcurrent_frame_is_frame0_flagも２Ｄ互換フレームパッキングSEIに含まれない。
【０２１７】
（位置情報の説明）
図２６は、図２４の位置情報を説明する図である。
【０２１８】
図２６の例では、パッキング画像１５０が、サイドバイサイド方式でパッキングされている。パッキング画像１５０の左半分の画像１５１のピクチャＩＤが０であり、右半分の画像１５２のピクチャＩＤが１であるものとする。
【０２１９】
この場合、図２６に示すように、画像１５１の上端情報（top_position_frame[0]）、左端情報（left_position_frame[0]）、下端情報（bottom_position_frame[0]）、および右端情報（right_position_frame[0]）が位置情報として記述される。
【０２２０】
また、画像１５２の上端情報（top_position_frame[1]）、左端情報（left_position_frame[1]）、下端情報（bottom_position_frame[1]）、および右端情報（right_position_frame[1]）が位置情報として記述される。
【０２２１】
ここで、上端情報（top_position_frame）は、例えば、パッキング画像１５０を構成する画像１５１（１５２）の上端の位置を、その上端からパッキング画像１５０の上端までの画素数で表す情報である。左端情報（left_position_frame）、下端情報（bottom_position_frame）、および右端情報（right_position_frame）についても、上端情報と同様である。
【０２２２】
なお、第１実施の形態と同様に、輝度成分と色差成分の画素数が異なる場合、左端情報、右端情報、上端情報、および下端情報が表す画素数は、例えば、画像数の小さい方の成分の画素数である。
【０２２３】
このような位置情報に基づいて、パッキング画像１５０のうちの、画像１５１と画像１５２を特定することができる。パッキング画像１５０のサイズは、LCUの整数倍のサイズとなっているが、パッキング画像１５０を構成する画像１５１（１５２）のサイズは、必ずしもLCUの整数倍のサイズとならない。従って、図２６に示すように、パッキング画像１５０内には、パッキング画像１５０を構成する画像１５１と画像１５２以外の余白領域１５３が存在することがある。
【０２２４】
なお、位置情報は、各画像１５１（１５２）のパッキング画像１５０上の位置を、図９の場合と同様にタイル単位で示す情報であってもよいし、図１１の場合と同様にスライス単位で示す情報であってもよい。
【０２２５】
また、ここでは、位置情報が、各画像１５１（１５２）の上端情報、左端情報、下端情報、および右端情報により構成されるものとするが、位置情報は、各画像１５１（１５２）のパッキング画像１５０上の位置を示す情報であれば、これに限定されない。
【０２２６】
例えば、各画像１５１（１５２）の水平方向の画素数と垂直方向の画素数が同一である場合、位置情報は、各画像１５１(１５２)の上端情報および左端情報、並びに、各画像１５１（１５２）に共通の水平方向の画素数および垂直方向の画素数により構成することができる。
【０２２７】
この場合、位置情報を構成する情報の数は６になり、情報の数が少なくて済む。これに対して、位置情報が各画像１５１（１５２）の上端情報、左端情報、下端情報、および右端情報により構成される場合、位置情報を構成する情報の数は８になる。
【０２２８】
また、２Ｄ互換フレームパッキングSEIには、パッキング画像１５０を構成する全ての画像１５１と画像１５２の位置情報が含まれなくてもよい。例えば、画像１５１と画像１５２のうちの、SPSに含まれるクロッピング情報で示すクロッピング領域に対応する画像１５１（１５２）以外の画像１５２(１５１)の上端情報、左端情報、下端情報、および右端情報が、位置情報として含まれるようにしてもよい。この場合、復号装置は、位置情報に対応する画像１５２（１５１）以外の画像１５１(１５２)をクロッピング情報に基づいて特定する。また、この場合、位置情報を構成する情報の数は４になり、情報の数が少なくて済む。
【０２２９】
また、各画像１５１（１５２）の水平方向の画素数と垂直方向の画素数が同一である場合、画像１５１と画像１５２のうちの、クロッピング情報で示すクロッピング領域に対応する画像１５１（１５２）以外の画像１５２（１５１）の上端情報および左端情報が、位置情報として含まれるようにしてもよい。この場合、復号装置は、位置情報に対応する画像１５２（１５１）以外の画像１５１(１５２)をクロッピング情報に基づいて特定する。
そして、復号装置は、その画像１５１（１５２）の水平方向の画素数および垂直方向の画素数、並びに、上端情報および左端情報に基づいて、位置情報に対応する画像１５２（１５１）を特定する。この場合、位置情報を構成する情報の数は２になり、情報の数が少なくて済む。
【０２３０】
（符号化装置の処理の説明）
図２７は、図２２の符号化装置１２０の生成処理を説明するフローチャートである。
【０２３１】
図２７のステップＳ１３１において、符号化装置１２０の符号化部１２１は、外部から入力信号として入力されるフレーム単位のパッキング画像等の画像をHEVC方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図２８および図２９を参照して説明する。
【０２３２】
ステップＳ１３２において、設定部１２２は、クロッピング情報を含むSPS（図１４）を設定する。ステップＳ１３３において、設定部１２２は、PPSを設定する。ステップＳ１３４において、設定部１２２は、ユーザによる図示せぬ入力部の操作等に基づいて、符号化対象の画像がパッキング画像であるかどうかを判定する。
【０２３３】
ステップＳ１３４で符号化対象の画像がパッキング画像であると判定された場合、ステップＳ１３５において、設定部１２２は、図２４の２Ｄ互換フレームパッキングSEIなどのSEIを設定し、処理をステップＳ１３６に進める。
【０２３４】
一方、ステップＳ１３４で符号化対象の画像がパッキング画像ではないと判定された場合、設定部１２２は、必要に応じて、２Ｄ互換フレームパッキングSEI以外のSEIを設定し、処理をステップＳ１３６に進める。
【０２３５】
ステップＳ１３６において、設定部１２２は、設定されたSPS,PPS、およびSEIと、符号化部１２１から供給される符号化データとから、符号化ストリームを生成する。設定部１２２は、符号化ストリームを伝送部４に供給する。
【０２３６】
ステップＳ１３７において、伝送部４は、設定部１２２から供給される符号化ストリームを、後述する復号装置に伝送し、処理を終了する。
【０２３７】
図２８および図２９は、図２７のステップＳ１３１の符号化処理の詳細を説明するフローチャートである。
【０２３８】
図２８のステップＳ１５１乃至Ｓ１５５の処理は、図１６のステップＳ１１乃至Ｓ１５の処理と同様であるので説明は省略する。
【０２３９】
ステップＳ１５５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部２６は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部２５に通知する。
【０２４０】
そして、ステップＳ１５６において、動き予測・補償部２５は、インター予測モード情報、対応する動きベクトル、および参照画像を特定するための情報を可逆符号化部１４３に供給する。そして、処理はステップＳ１５８に進む。
【０２４１】
一方、ステップＳ１５５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部２６は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部２４に通知する。
【０２４２】
そして、ステップＳ１５７において、イントラ予測部２４は、イントラ予測モード情報を可逆符号化部１４３に供給する。そして、処理はステップＳ１５８に進む。
【０２４３】
ステップＳ１５８乃至Ｓ１６３の処理は、図１６のステップＳ１８乃至Ｓ２０および図１７のステップＳ２４乃至Ｓ２６の処理と同様であるので、説明は省略する。
【０２４４】
ステップＳ１６４において、デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像に対して、デブロッキングフィルタ処理を行う。デブロックフィルタ２１は、その結果得られる画像を適応オフセットフィルタ１４１に供給する。
【０２４５】
ステップＳ１６５において、適応オフセットフィルタ１４１は、デブロックフィルタ２１から供給される画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ１４１は、その結果得られる画像を適応ループフィルタ１４２に供給する。また、適応オフセットフィルタ１４１は、LCUごとに、格納フラグ、インデックスまたはオフセット、および種類情報を、オフセットフィルタ情報として可逆符号化部１４３に供給する。
【０２４６】
ステップＳ１６６において、適応ループフィルタ１４２は、適応オフセットフィルタ１４１から供給される画像に対して、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１４２は、その結果得られる画像をフレームメモリ２２に供給する。また、適応ループフィルタ１４２は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部１４３に供給する。
【０２４７】
ステップＳ１６７において、フレームメモリ２２は、フィルタリング前後の画像を蓄積する。具体的には、フレームメモリ２２は、加算部２０から供給される画像と適応ループフィルタ１４２から供給される画像を蓄積する。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２５に出力される。
【０２４８】
ステップＳ１６８において、可逆符号化部１４３は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報など、オフセットフィルタ情報、およびフィルタ係数を、符号化情報として可逆符号化する。
【０２４９】
ステップＳ１６９において、可逆符号化部１４３は、量子化部１５から供給される量子化された係数を可逆符号化する。そして、可逆符号化部１４３は、ステップＳ１６８の処理で可逆符号化された符号化情報と可逆符号化された係数から、符号化データを生成する。
【０２５０】
ステップＳ１７０およびＳ１７１の処理は、図１７のステップＳ２２およびＳ２３の処理と同様であるので、説明は省略する。ステップＳ１７１の処理後、処理は図２７のステップＳ１３１に戻り、ステップＳ１３２に進む。
【０２５１】
以上のように、符号化装置１２０は、クロッピング情報の前に適用し、クロッピング情報を無視することを示す２Ｄ互換フレームパッキングSEIを設定し、パッキング画像を符号化した符号化データとともに伝送する。
【０２５２】
従って、パッキング画像の符号化ストリームを復号して表示させる復号装置は、符号化ストリームに２Ｄ互換フレームパッキングSEIが含まれる場合、２Ｄ互換フレームパッキングSEIを優先的に用いて、パッキング画像を構成する各画像を特定することができる。
従って、復号装置は、パッキング画像を構成する所望の画像を確実に表示させることができる。
【０２５３】
よって、符号化装置１２０は、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができるように、パッキング画像の符号化ストリームを生成することができるといえる。
【０２５４】
（復号装置の第２実施の形態の構成例）
図３０は、図２２の符号化装置１２０から伝送される符号化ストリームを復号する、本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
【０２５５】
図３０に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２５６】
図３０の復号装置１６０の構成は、復号部５３、制御部５４、表示制御部１６３の代わりに復号部１６１、制御部１６２、表示制御部１６３が設けられる点が図１８の構成と異なる。復号装置１６０は、符号化ストリームが２Ｄ互換フレームパッキングSEIを含む場合、２Ｄ互換フレームパッキングSEIを優先的に用いて表示画像を生成する。
【０２５７】
具体的には、復号装置１６０の復号部１６１は、必要に応じて抽出部５２から供給されるSPS,PPS,SEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する。復号部１６１は、復号の結果得られるパッキング画像等の画像を、出力信号として制御部１６２に供給する。なお、詳細は後述するが、復号部５３と復号部１６１は、局部的に復号された画像に対して行われるフィルタリングの種類が異なっている。
【０２５８】
制御部１６２は、抽出部５２から２Ｄ互換フレームパッキングSEIが供給される場合、即ち出力信号がパッキング画像である場合、２Ｄ互換フレームパッキングSEIに含まれる位置情報に基づいて、そのパッキング画像を構成する各画像を特定する。そして、制御部１６２は、クロッピング情報を無視し、出力信号としてのパッキング画像と、パッキング画像を構成する各画像を特定する情報とを表示制御部１６３に供給する。
【０２５９】
一方、制御部１６２は、抽出部５２から２Ｄ互換フレームパッキングSEIが供給されない場合、即ち出力信号がパッキング画像ではない画像である場合、制御部１６２は、出力信号としてのパッキング画像ではない画像と、SPSに含まれるクロッピング情報とを表示制御部１６３に供給する。
【０２６０】
表示制御部１６３は、制御部１６２から供給されるパッキング画像を構成する各画像を特定する情報と、表示部５６から通知される表示方法とに基づいて、制御部１６２から出力信号として供給されるパッキング画像に対してクロッピング、高解像度化（拡大）等を行い、表示画像を生成する。また、表示制御部１６３は、制御部１６２から供給されるクロッピング情報に基づいて、制御部１６２から出力信号として供給されるパッキングされていない画像に対してクロッピング、高解像度化（拡大）等を行い、表示画像を生成する。表示制御部１６３は、生成された表示画像を表示部５６に供給することにより、表示させる。
【０２６１】
（復号部の構成例）
図３１は、図３０の復号部１６１の構成例を示すブロック図である。
【０２６２】
図３１に示す構成のうち、図１９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２６３】
図３１の復号部１６１の構成は、可逆復号部１０２の代わりに可逆復号部１８１が設けられる点、および、適応オフセットフィルタ１８２と適応ループフィルタ１８３が新たに設けられる点が図１９の構成と異なる。復号部１６１は、局部的に復号された画像に対して、適応デブロックフィルタ処理だけでなく、適応オフセットフィルタ１８２と適応ループフィルタ１８３によるフィルタリングを行う。
【０２６４】
具体的には、可逆復号部１８１は、図１９の可逆復号部１０２と同様に、蓄積バッファ１０１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部１８１は、可逆復号部１０２と同様に、量子化された係数を逆量子化部１０３に供給する。
【０２６５】
また、可逆復号部１８１は、可逆復号部１０２と同様に、符号化情報としてのイントラ予測モード情報などをイントラ予測部１１１に供給する。可逆復号部１８１は、可逆復号部１０２と同様に、符号化情報としての動きベクトル、参照画像を特定するための情報、インター予測モード情報などを動き補償部１１２に供給する。
【０２６６】
さらに、可逆復号部１８１は、可逆復号部１０２と同様に、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１１３に供給する。可逆復号部１８１は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ１８２に供給し、フィルタ係数を適応ループフィルタ１８３に供給する。
【０２６７】
適応オフセットフィルタ１８２は、可逆復号部１８１から供給されるオフセットを順に格納するバッファを有する。また、適応オフセットフィルタ１８２は、LCUごとに、可逆復号部１８１から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ１０６による適応デブロックフィルタ処理後の画像に対して、適応オフセットフィルタ処理を行う。
【０２６８】
具体的には、オフセットフィルタ情報に含まれる格納フラグが０である場合、適応オフセットフィルタ１８２は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。
【０２６９】
一方、オフセットフィルタ情報に含まれる格納フラグが１である場合、適応オフセットフィルタ１８２は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるインデックスが示す位置に格納されるオフセットを読み出す。
そして、適応オフセットフィルタ１８２は、読み出されたオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。適応オフセットフィルタ１８２は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１８３に供給する。
【０２７０】
適応ループフィルタ１８３は、適応オフセットフィルタ１８２から供給される画像に対して、可逆復号部１８１から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１８３は、その結果得られる画像をフレームメモリ１０９および画面並べ替えバッファ１０７に供給する。
【０２７１】
（２Ｄ互換フレームパッキングSEIの適用時期の説明）
図３２は、２Ｄ互換フレームパッキングSEIの適用時期を説明する図である。
【０２７２】
図３２に示すように、復号装置１６０は、最初に、受信された符号化ストリームに、２Ｄ互換フレームパッキングSEIが含まれているかどうかを判定する。そして、２Ｄ互換フレームパッキングSEIが含まれている場合、復号装置１６０は、２Ｄ互換フレームパッキングSEIを適用し、クロッピング情報は無視する。
【０２７３】
このように、２Ｄ互換フレームパッキングSEIは、クロッピング情報の前に適用され、クロッピング情報を無視することを示すため、２Ｄ互換フレームパッキングSEIが符号化ストリームに含まれる場合、復号装置１６０は、２Ｄ互換フレームパッキングSEIのみを適用する。
【０２７４】
一方、符号化ストリームに２Ｄ互換フレームパッキングSEIが含まれない場合、復号装置１６０は、SPSに含まれるクロッピング情報を適用する。
【０２７５】
これに対して、従来のAVC方式におけるフレームパッキングSEIは、クロッピング情報の後に適用され、クロッピング情報を無視することを示すSEIではない。従って、符号化ストリームに従来のAVC方式におけるフレームパッキングSEIが含まれる場合、クロッピング情報が適用された後、フレームパッキングSEIが適用される。
【０２７６】
従って、クロッピング情報が、左目用の画像と右目用の画像のいずれか一方の画像の領域をクロッピング領域として示す場合、SEIを利用する３Ｄ表示用の復号装置は、他方の画像を表示することができない。
【０２７７】
また、従来のAVC方式におけるフレームパッキングSEIが符号化ストリームに含まれる場合、SEIを利用する３Ｄ表示用の復号装置が、クロッピング情報を無視することにより、フレームパッキングSEIに基づいて３Ｄ画像を表示させることもできる。しかしながら、従来のAVC方式におけるフレームパッキングSEIは、クロッピング情報を無視することを示すSEIではないため、規格上mandatoryな情報であるSPSに含まれるクロッピング情報を無視することは、規格違反である。
【０２７８】
（２Ｄ互換フレームパッキングSEIに記述可能な情報の説明）
図３３は、２Ｄ互換フレームパッキングSEIに記述可能な情報を説明する図である。
【０２７９】
図３３の例では、パッキング画像が、サイドバイサイド方式でパッキングされ、パッキング画像の左半分の画像が、３Ｄ画像を構成する左目用の画像（Left view）であり、右半分の画像が、右目用の画像(Right view)である。
【０２８０】
この場合、２Ｄ互換フレームパッキングSEIは、クロッピング情報の前に適用されるので、パッキング画像を構成する左目用の画像と右目用の画像について記述することができる。
【０２８１】
これに対して、従来のAVC方式におけるフレームパッキングSEIは、クロッピング情報の後に適用されるので、クロッピング情報が、左目用の画像と右目用の画像のいずれか一方（図３３の例では、左目用の画像）の領域を示す場合、その一方の画像（図３３の例では、左目用の画像）についてしか記述することができない。
【０２８２】
（復号装置の処理の説明）
図３４は、図３０の復号装置１６０による表示処理を説明するフローチャートである。
【０２８３】
図３４のステップＳ１９０およびＳ１９１の処理は、図２０のステップＳ５０およびＳ５１の処理と同様であるので、説明は省略する。
【０２８４】
ステップＳ１９２において、復号部１６１は、必要に応じて抽出部５２から供給されるSPS,PPS,SEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する復号処理を行う。この復号処理の詳細は、後述する図３５を参照して説明する。
【０２８５】
ステップＳ１９３において、制御部１６２は、符号化ストリームに２Ｄ互換フレームパッキングSEIが含まれているかどうか、即ち抽出部５２から２Ｄ互換フレームパッキングSEIが供給されたかどうかを判定する。ステップＳ１９３で、２Ｄ互換フレームパッキングSEIが含まれていると判定された場合、制御部１６２は、復号部１６１から供給される出力信号がパッキング画像であると判定する。
【０２８６】
そして、ステップＳ１９４において、制御部１６２は、２Ｄ互換フレームパッキングSEIに含まれる位置情報などに基づいて、パッキング画像を構成する各画像を特定する。そして、制御部１６２は、パッキング画像を構成する各画像を特定する情報と出力信号を表示制御部１６３に供給する。
【０２８７】
ステップＳ１９５において、表示制御部１６３は、表示部５６から通知される表示方法を取得する。ステップＳ１９６において、表示制御部１６３は、表示方法とパッキング画像を構成する各画像を特定する情報とに基づいて、パッキング画像を構成する画像のうちの所望の画像をクロッピングする。
【０２８８】
例えば、出力信号が３Ｄ表示用のパッキング画像である場合、制御部１６２は、２Ｄ互換フレームパッキングSEIに含まれる位置情報などに基づいて、パッキング画像を構成する左目用の画像と右目用の画像を特定する。そして、表示方法が２Ｄ表示である場合、表示制御部１６３は、パッキング画像から、例えば左目用の画像をクロッピングする。一方、表示方法が３Ｄ表示である場合、表示制御部１６３は、パッキング画像から左目用の画像と右目用の画像をクロッピングする。そして、処理はステップＳ１９８に進む。
【０２８９】
一方、ステップＳ１９３で２Ｄ互換フレームパッキングSEIが含まれていないと判定された場合、制御部１６２は、出力信号がパッキング画像ではないと判定する。そして、制御部１６２は、出力信号と、抽出部５２から供給されるSPSに含まれるクロッピング情報とを表示制御部１６３に供給する。
【０２９０】
そして、ステップＳ１９７において、表示制御部１６３は、制御部１６２から供給されるクロッピング情報に基づいて、出力信号としての画像をクロッピングし、処理をステップＳ１９８に進む。
【０２９１】
ステップＳ１９８において、表示制御部１６３は、ステップＳ１９６またはステップＳ１９７でクロッピングされた画像を高解像度化（拡大）し、表示画像とする。ステップＳ１９９において、表示制御部１６３は、表示画像を表示部５６に供給することにより、表示部５６に表示画像を表示させ、処理を終了する。
【０２９２】
図３５は、図３４のステップＳ１９２の復号処理の詳細を説明するフローチャートである。
【０２９３】
図３５のステップＳ２１１乃至Ｓ２１８の処理は、図２１のステップＳ１０１乃至Ｓ１０８の処理と同様である。
【０２９４】
ステップＳ２１９において、デブロックフィルタ１０６は、加算部１０５から供給される画像に対してデブロッキングフィルタ処理を行い、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像を適応オフセットフィルタ１８２に供給する。
【０２９５】
ステップＳ２２０において、適応オフセットフィルタ１８２は、可逆復号部１８１から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ１０６によるデブロックフィルタ処理後の画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ１８２は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１８３に供給する。
【０２９６】
ステップＳ２２１において、適応ループフィルタ１８３は、適応オフセットフィルタ１８２から供給される画像に対して、可逆復号部１８１から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１８３は、その結果得られる画像をフレームメモリ１０９および画面並べ替えバッファ１０７に供給する。
【０２９７】
ステップＳ２２２乃至Ｓ２２４の処理は、図２１のステップＳ１１０乃至Ｓ１１２の処理と同様であるので、説明は省略する。
【０２９８】
以上のように、復号装置１６０は、符号化データを復号してパッキング画像を生成し、符号化ストリームに２Ｄ互換フレームパッキングSEIが含まれる場合、２Ｄ互換フレームパッキングSEIを適用し、クロッピング情報を無視する。具体的には、復号装置１６０は、２Ｄ互換フレームパッキングSEIに基づいてパッキング画像を構成する各画像を特定する。従って、復号装置１６０は、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
【０２９９】
また、復号装置１６０が、パッキング画像を構成する各画像を特定することができるので、復号装置１６０側で、表示方法などにしたがって、表示する所望の画像を決定することができる。
【０３００】
なお、SEIを利用しない復号装置は、クロッピング情報に基づいてクロッピングを行う。これにより、クロッピング情報が、パッキング画像を構成する左目用の画像と右目用の画像のうちのいずれか一方の画像の領域をクロッピング領域として示す場合、SEIを利用しない復号装置は、その一方の画像を２Ｄ画像として表示することができる。
【０３０１】
また、第２実施の形態では、２Ｄ互換フレームパッキングSEIを新しく設定したが、従来のAVC方式におけるフレームパッキングSEIを、２Ｄ互換フレームパッキングSEIの機能を有するように拡張してもよい。
【０３０２】
この場合、例えば、従来のAVC方式におけるフレームパッキングSEIのframe_packing_arrangement_extension_flagを、クロッピング情報を適用するかしないかを示すフラグとして用いる。そして、拡張後のフレームパッキングSEIには、frame_packing_arrangement_extension_flagが、クロッピング情報を適用しないことを示す場合、quincunx_sampling_flag,field_pictures_flag(field_view_flag)、およびcurrent_frame_is_frame0_flagをdisableに設定するための情報と、位置情報とが記述される。
【０３０３】
そして、SEIを利用する復号装置は、クロッピング情報を適用する前に拡張後のフレームパッキングSEIを読み出す。frame_packing_arrangement_extension_flagがクロッピング情報を適用しないことを示す場合、SEIを利用する復号装置は、拡張後のフレームパッキングSEIの位置情報に基づいて画像を特定し、クロッピング情報を無視する。一方、frame_packing_arrangement_extension_flagがクロッピング情報を適用することを示す場合、SEIを利用する復号装置は、クロッピング情報に基づいてクロッピングを行う。
【０３０４】
このように、SEIを利用する復号装置は、frame_packing_arrangement_extension_flagに基づいて、クロッピング情報に比べて拡張後のフレームパッキングSEIを優先的に用いて画像を特定したり、拡張後のフレームパッキングSEIを優先的に用いずにクロッピング情報に基づいてクロッピングを行ったりする。従って、frame_packing_arrangement_extension_flagは、パッキング画像の表示時に拡張後のフレームパッキングSEIを優先的に用いるかを示す情報（パッキング優先情報）であるといえる。
【０３０５】
＜第３実施の形態＞
（本技術を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０３０６】
図３６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０３０７】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０３０８】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０３０９】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０３１０】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０３１１】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３１２】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０３１３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３１４】
＜第４実施の形態＞
（テレビジョン装置の構成例）
図３７は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０３１５】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０３１６】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０３１７】
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０３１８】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０３１９】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０３２０】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０３２１】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０３２２】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０３２３】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
【０３２４】
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０３２５】
このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
【０３２６】
＜第５実施の形態＞
（携帯電話機の構成例）
図３８は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【０３２７】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０３２８】
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０３２９】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０３３０】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０３３１】
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０３３２】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０３３３】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。
画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０３３４】
このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができるように、パッキング画像の符号化ストリームを生成することができる。また、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
【０３３５】
＜第６実施の形態＞
（記録再生装置の構成例）
図３９は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０３３６】
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０３３７】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０３３８】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０３３９】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０３４０】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０３４１】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。
【０３４２】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０３４３】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０３４４】
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０３４５】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０３４６】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
【０３４７】
このように構成された記録再生装置では、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
【０３４８】
＜第７実施の形態＞
（撮像装置の構成例）
図４０は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０３４９】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０３５０】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０３５１】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０３５２】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０３５３】
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０３５４】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０３５５】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０３５６】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０３５７】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
【０３５８】
このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができるように、パッキング画像の符号化ストリームを生成することができる。また、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
【０３５９】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３６０】
例えば、図１８の表示制御部５５と表示部５６は、復号装置５０の外部に設けられるようにしてもよい。
【０３６１】
また、例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３６２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３６３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３６４】
また、本技術は、以下のような構成もとることができる。
【０３６５】
（１）
複数の画像がパッキングされたパッキング画像を符号化した符号化データを復号し、前記パッキング画像を生成する復号部と、
前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報に基づいて、前記復号部により生成された前記パッキング画像を構成する各画像を特定する制御部と
を備える復号装置。
（２）
前記パッキング情報をSEI（Supplemental Enhancement Information）として受け取る受け取り部
をさらに備える
前記（１）に記載の復号装置。
（３）
前記パッキングされた一部の画像に関する画像情報を受け取る受け取り部
をさらに備える
前記（１）に記載の復号装置。
（４）
前記画像情報は、前記パッキングされた一部の画像の位置を示す位置情報を含む
前記（３）に記載の復号装置。
（５）
前記パッキング情報は、前記パッキング画像を表示する際に前記画像情報より優先的に用いられる
前記（４）に記載の復号装置。
（６）
前記パッキング情報は、前記パッキング画像を構成する各画像の前記パッキング画像における位置を示す位置情報を含む
前記（１）乃至（５）のいずれかに記載の復号装置。
（７）
前記パッキング情報は、前記パッキングのモードを含む
前記（１）乃至（６）のいずれかに記載の復号装置。
（８）
前記制御部は、特定した前記画像を、画像を表示する表示部に表示させる
前記（１）乃至（７）のいずれかに記載の復号装置。
（９）
前記復号部は、CU（Coding Unit）単位で、前記符号化データを復号する
前記（１）乃至（８）のいずれかに記載の復号装置。
（１０）
復号装置が、
複数の画像がパッキングされたパッキング画像を符号化した符号化データを復号し、前記パッキング画像を生成する復号ステップと、
前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報に基づいて、前記復号ステップの処理により生成された前記パッキング画像を構成する各画像を特定する制御ステップと
を含む復号方法。
（１１）
複数の画像がパッキングされたパッキング画像を符号化し、符号化データを生成する符号化部と、
前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報を設定する設定部と、
前記符号化部により生成された前記符号化データと、前記設定部により設定された前記パッキング情報とを伝送する伝送部と
を備える符号化装置。
（１２）
前記伝送部は、前記パッキング情報をSEI（Supplemental Enhancement Information）として伝送する
前記（１１）に記載の符号化装置。
（１３）
前記伝送部は、前記パッキングされた一部の画像に関する画像情報を伝送する
前記（１１）または（１２）に記載の符号化装置。
（１４）
前記画像情報は、前記パッキングされた一部の画像の位置を示す位置情報を含む
前記（１３）に記載の符号化装置。
（１５）
前記パッキング情報は、前記パッキング画像を表示する際に前記画像情報より優先的に用いられる
前記（１４）に記載の符号化装置。
（１６）
前記パッキング情報は、前記パッキング画像を構成する各画像の前記パッキング画像における位置を示す位置情報を含む
前記（１１）乃至（１５）のいずれかに記載の符号化装置。
（１７）
前記パッキング情報は、前記パッキングのモードを含む
前記（１１）乃至（１６）のいずれかに記載の符号化装置。
（１８）
前記符号化部は、CU（Coding Unit）単位で、前記パッキング画像を符号化する
前記（１１）乃至（１７）のいずれかに記載の符号化装置。
（１９）
符号化装置が、
複数の画像がパッキングされたパッキング画像を符号化し、符号化データを生成する符号化ステップと、
前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報を設定する設定ステップと、
前記符号化ステップの処理により生成された前記符号化データと、前記設定ステップの処理により設定された前記パッキング情報とを伝送する伝送ステップと
を含む符号化方法。
【符号の説明】
【０３６６】
１  符号化装置，  ２  符号化部，  ３  設定部，  ４  伝送部，  ５０  復号装置，  ５１  受け取り部，  ５３  復号部，  ５４  制御部，  ５５  表示制御部，  ５６  表示部，  １２０  符号化装置，  １２１  符号化部，  １２２  設定部，  １６０  復号装置，  １６１  復号部，  １６２  制御部，  １６３  表示制御部
【図１】
2018078620.tif 000005
【図２】
2018078620.tif 000006
【図３】
2018078620.tif 000007
【図４】
2018078620.tif 000008
【図５】
2018078620.tif 000009
【図６】
2018078620.tif 000010
【図７】
2018078620.tif 000011
【図８】
2018078620.tif 000012
【図９】
2018078620.tif 000013
【図１０】
2018078620.tif 000014
【図１１】
2018078620.tif 000015
【図１２】
2018078620.tif 000016
【図１３】
2018078620.tif 000017
【図１４】
2018078620.tif 000018
【図１５】
2018078620.tif 000019
【図１６】
2018078620.tif 000020
【図１７】
2018078620.tif 000021
【図１８】
2018078620.tif 000022
【図１９】
2018078620.tif 000023
【図２０】
2018078620.tif 000024
【図２１】
2018078620.tif 000025
【図２２】
2018078620.tif 000026
【図２３】
2018078620.tif 000027
【図２４】
2018078620.tif 000028
【図２５】
2018078620.tif 000029
【図２６】
2018078620.tif 000030
【図２７】
2018078620.tif 000031
【図２８】
2018078620.tif 000032
【図２９】
2018078620.tif 000033
【図３０】
2018078620.tif 000034
【図３１】
2018078620.tif 000035
【図３２】
2018078620.tif 000036
【図３３】
2018078620.tif 000037
【図３４】
2018078620.tif 000038
【図３５】
2018078620.tif 000039
【図３６】
2018078620.tif 000040
【図３７】
2018078620.tif 000041
【図３８】
2018078620.tif 000042
【図３９】
2018078620.tif 000043
【図４０】
2018078620.tif 000044