(57)【要約】  本開示は、低負荷で高画質の画像を復号可能な符号化ストリームを生成することができるようにする符号化装置および符号化方法に関する。演算部等は、画像を複数のＡＵに分割して符号化し、複数のＡＵの符号化ストリームを生成する。設定部は、演算部等により生成された複数のＡＵの符号化ストリームのうちの、最後分割ＡＵ以外のＡＵの符号化ストリームを復号することにより得られる復号画像を表示しないことを示す、pic_output_flagとしての０を設定する。本開示は、例えば、符号化装置等に適用することができる。
2017154563.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数のアクセス単位に分割して符号化し、前記複数のアクセス単位の符号化ストリームを生成する符号化部と、
前記符号化部により生成された前記複数のアクセス単位の符号化ストリームのうちの、最後のアクセス単位以外のアクセス単位の符号化ストリームを復号することにより得られる復号画像を表示しないことを示す非表示情報を設定する設定部と
を備える符号化装置。
【請求項２】
前記符号化部は、前記画像と、前記画像より１時刻前の前画像との差分が閾値より大きい場合、前記画像を前記複数のアクセス単位に分割して符号化する
ように構成された
請求項１に記載の符号化装置。
【請求項３】
前記符号化部は、前記画像のピクチャタイプがＩピクチャである場合、前記画像を前記複数のアクセス単位に分割して符号化する
ように構成された
請求項１に記載の符号化装置。
【請求項４】
前記画像を複数の分割領域に分割し、各分割領域を含む複数の分割画像を生成する画像変更部
をさらに備え、
前記符号化部は、前記画像変更部により生成された前記分割画像をアクセス単位として符号化する
ように構成された
請求項１に記載の符号化装置。
【請求項５】
前記符号化部は、前記複数の分割画像のうちの最初の分割画像をイントラ符号化する
ように構成された
請求項４に記載の符号化装置。
【請求項６】
前記画像変更部は、前記最初の分割画像を構成する前記分割領域以外の領域の画素値を固定値にする
ように構成された
請求項５に記載の符号化装置。
【請求項７】
前記符号化部は、前記複数の分割画像のうちの最初以外の分割画像内の前記分割領域以外の領域を、スキップモードで符号化する
ように構成された
請求項６に記載の符号化装置。
【請求項８】
前記符号化部は、前記複数の分割画像のうちの最後の分割画像の前記符号化ストリームを復号することにより得られる前記復号画像を参照して、前記画像を前記最後のアクセス単位として符号化する
ように構成された
請求項７に記載の符号化装置。
【請求項９】
前記画像変更部は、前記最後のアクセス単位以外のアクセス単位に対応する分割画像と他の画像とを合成して合成画像を生成し、
前記符号化部は、前記画像変更部により生成された前記合成画像をアクセス単位として符号化し、
前記非表示情報は、前記最後のアクセス単位以外のアクセス単位の符号化ストリームを復号することにより得られる合成画像のうちの、前記分割画像を表示しないことを示す
ように構成された
請求項４に記載の符号化装置。
【請求項１０】
前記非表示情報は、前記最後のアクセス単位以外のアクセス単位の符号化ストリームを復号することにより得られる合成画像のうちの、前記分割画像の領域以外の領域を表示領域として指定する情報である
ように構成された
請求項９に記載の符号化装置。
【請求項１１】
前記画像変更部は、前記画像と、他の画像の分割画像または所定の画像とを合成して、最後のアクセス単位に対応する合成画像を生成し、
前記符号化部は、前記画像変更部により生成された前記最後のアクセス単位に対応する合成画像を前記最後のアクセス単位として符号化し、
前記設定部は、前記最後のアクセス単位の符号化ストリームを復号することにより得られる合成画像のうちの、前記画像の領域を表示領域として指定する表示情報を設定する
ように構成された
請求項９に記載の符号化装置。
【請求項１２】
前記設定部は、前記最後のアクセス単位の符号化ストリームを復号することにより得られる復号画像を表示することを示す表示情報を設定する
ように構成された
請求項１に記載の符号化装置。
【請求項１３】
符号化装置が、
画像を複数のアクセス単位に分割して符号化し、前記複数のアクセス単位の符号化ストリームを生成する符号化ステップと、
前記符号化ステップの処理により生成された前記複数のアクセス単位の符号化ストリームのうちの、最後のアクセス単位以外のアクセス単位の符号化ストリームを復号することにより得られる復号画像を表示しないことを示す非表示情報を設定する設定ステップと
を含む符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、符号化装置および符号化方法に関し、特に、低負荷で高画質の画像を復号可能な符号化ストリームを生成することができるようにした符号化装置および符号化方法に関する。
【背景技術】
【０００２】
AVC(Advanced Video Coding)方式やHEVC(High Efficiency Video Coding)方式（例えば、非特許文献１参照）などで符号化された動画像を復号する際、デコーダの負荷は様々な要因で変動する。各フレームの解像度が同一である場合、デコーダの負荷に大きな影響を与える要因は、一般的に、１フレームあたりのビット発生量である。例えば、定期的に挿入されるイントラフレームやシーンが切り替わるシーンチェンジフレームなどの、ビット発生量が大きいフレームに対するデコーダの負荷は、他のフレームに比べて大きくなる。【０００３】
また、動画像の復号処理を伴うリアルタイムアプリケーションにおいて、デコーダの負荷が局所的に大きくなると、デコーダの負荷とデコーダ以外の負荷との合計が、リアルタイム処理を実現するための限界負荷を超えることがある。例えば、デコーダ以外の負荷がフレームごとに一定であっても、デコーダの負荷が局所的に大きくなる場合、デコーダの負荷とデコーダ以外の負荷との合計がリアルタイム処理の限界負荷を超えることがある。従って、このような場合、リアルタイム処理を保障することができない。【０００４】
以上により、AVC方式やHEVC方式などの動画像の符号化において、デコーダの負荷を平準化するように符号化することが望まれている。このような符号化の方法としては、例えば、各フレームのビット発生量を平準化させる方法がある。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】BENJAMIN BROSS; WOO-JIN HAN; JENS-RAINER OHM; GARY J. SULLIVAN; YE-KUI WANG; THOMAS WIEGAND: "High Efficiency Video Coding (HEVC) text specification draft 10 (forFDIS&LastCall)", JCTVC-L1003_V34, JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: GENEVA, CH, 14 January 2013 (2013-01-14)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、各フレームのビット発生量を平準化させる場合、符号化に用いられる量子化パラメータを大きくすること等により、イントラフレームやシーンチェンジフレームのビット発生量を抑制する必要がある。従って、復号画像の画質が悪化する。【０００７】
本開示は、このような状況に鑑みてなされたものであり、低負荷で高画質の画像を復号可能な符号化ストリームを生成することができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の符号化装置は、画像を複数のアクセス単位に分割して符号化し、前記複数のアクセス単位の符号化ストリームを生成する符号化部と、前記符号化部により生成された前記複数のアクセス単位の符号化ストリームのうちの、最後のアクセス単位以外のアクセス単位の符号化ストリームを復号することにより得られる復号画像を表示しないことを示す非表示情報を設定する設定部とを備える符号化装置である。【０００９】
本開示の一側面の符号化方法は、本開示の一側面の符号化装置に対応する。【００１０】
本開示の一側面においては、画像が複数のアクセス単位に分割して符号化されて、前記複数のアクセス単位の符号化ストリームが生成され、前記複数のアクセス単位の符号化ストリームのうちの、最後のアクセス単位以外のアクセス単位の符号化ストリームを復号することにより得られる復号画像を表示しないことを示す非表示情報が設定される。【００１１】
なお、本開示の一側面の符号化装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１２】
また、本開示の一側面の符号化装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１３】
本開示の一側面によれば、符号化することができる。また、本開示の一側面によれば、低負荷で高画質の画像を復号可能な符号化ストリームを生成することができる。【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本開示を適用した符号化装置の第１実施の形態における符号化方法の概要を説明する図である。
【図２】本開示を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
【図３】解析テーブルの構成例を示す図である。
【図４】解析テーブルに登録される値の例を示す図である。
【図５】図２の非分割符号化部の構成例を示すブロック図である。
【図６】図２の分割符号化部の構成例を示すブロック図である。
【図７】図２の符号化装置の符号化処理を説明するフローチャートである。
【図８】図７の解析処理を説明するフローチャートである。
【図９】図７のAU決定処理を説明するフローチャートである。
【図１０】図７の非分割符号化処理を説明するフローチャートである。
【図１１】図１０の符号化処理を説明するフローチャートである。
【図１２】図１０の符号化処理を説明する他のフローチャートである。
【図１３】図７の分割符号化処理を説明するフローチャートである。
【図１４】図１３のヘッダ部設定処理を説明するフローチャートである。
【図１５】図１３の画像変更処理を説明するフローチャートである。
【図１６】復号装置の構成例を示す図である。
【図１７】図１６の復号部の構成例を示すブロック図である。
【図１８】図１６の復号装置の表示処理を説明するフローチャートである。
【図１９】図１８の復号処理の詳細を説明するフローチャートである。
【図２０】本開示を適用した符号化装置の第２実施の形態における符号化方法の概要を説明する図である。
【図２１】本開示を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
【図２２】図２１のペア符号化部の構成例を示すブロック図である。
【図２３】図２１の符号化装置の符号化処理を説明するフローチャートである。
【図２４】図２３のペア決定処理を説明するフローチャートである。
【図２５】図２３のペア符号化処理を説明するフローチャートである。
【図２６】図２５の合成処理を説明するフローチャートである。
【図２７】他の第１の合成方法を説明する図である。
【図２８】他の第２の合成方法を説明する図である。
【図２９】他の第３の合成方法を説明する図である。
【図３０】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：符号化装置（図１乃至図１９）
２．第２実施の形態：符号化装置（図２０乃至図２９）
３．第３実施の形態：コンピュータ（図３０）
【００１７】
＜第１実施の形態＞
（符号化方法の概要）
図１は、本開示を適用した符号化装置の第１実施の形態における符号化方法の概要を説明する図である。
【００１８】
第１実施の形態における符号化方法は、HEVC方式に準拠した符号化方法である。
【００１９】
図１のＢは、横軸が符号化時刻を表し、縦軸がＡＵ(Access Unit)単位の符号化ストリームのビット発生量を表す棒グラフである。棒グラフ内の棒には、その棒がビット発生量を表す符号化ストリームに対応するピクチャタイプを示すアルファベット（図１の例では、ＩまたはＰ）が記載されている。これらのことは、後述する図２０のＢにおいても同様である。
【００２０】
また、図１のＡは、図１のＢの横軸上の位置に対して、その横軸の位置が表す符号化時刻に符号化される各フレームの画像を表す四角を並べることにより、各フレームの画像の符号化順序を示す図である。なお、各フレームの画像を表す四角の中のアルファベットは、その画像のピクチャタイプを表し、ピクチャ間の矢印は参照関係を表す。これらのことは、後述する図２０のＡにおいても同様である。
【００２１】
図１のＡおよび図１のＢに示すように、第１実施の形態における符号化方法では、ビット発生量が大きいと予想されるフレームの画像が、複数のＡＵに分割して符号化される。
【００２２】
図１の例では、符号化時刻ｔ14に符号化される予定である、先頭から８フレーム目の画像２４が、ビット発生量が大きいと予想されるフレームの画像である。従って、画像２４が４つのＡＵに分割して符号化されている。
【００２３】
具体的には、画像２４が垂直方向に３つの分割領域に分割される。そして、上部の分割領域を含み、分割領域以外の領域が、画素値が固定値である固定値画像（図１の例では黒画像）である分割画像１１が生成される。分割画像１１は、画像２４の４フレーム前の画像２０の符号化時刻ｔ10と、３フレーム前の画像２１の符号化時刻ｔ11の間の符号化時刻ｔ21に、Ｉピクチャとして符号化される。これにより、画像２４の１つ目のＡＵの符号化ストリームが生成される。このとき、符号化ストリームが復号され、図１のＣに示すように、上部の領域３１以外の領域が固定値画像である分割復号画像４１が得られる。
【００２４】
次に、上部と中央部の分割領域を含み、分割領域以外の領域が固定値画像である分割画像１２が生成される。そして、符号化時刻ｔ11と、画像２１の次のフレームの画像２２の符号化時刻ｔ12の間の符号化時刻ｔ22に、分割画像１２が、分割復号画像４１を参照してＰピクチャとして符号化される。これにより、画像２４の２つ目のＡＵの符号化ストリームが生成される。このとき、中央部の分割領域以外の領域の符号化モードは、参照画像に対する動きベクトルおよび参照画像との残差が符号化ストリームに含められず、参照画像の各画素の画素値が、その画素と同一の位置の復号画像の画素の画素値とされるスキップモードにされる。従って、符号化時に得られる符号化ストリームの復号結果は、図１のＣに示すように、上部の領域３１が分割復号画像４１と同一であり、上部の領域３１と中央部の領域３２以外の領域が固定値画像である分割復号画像４２である。
【００２５】
次に、上部、中央部、下部の分割領域を含む画像２４が分割画像１３として生成される。そして、符号化時刻ｔ12と、画像２２の次のフレームの画像２３の符号化時刻ｔ13の間の符号化時刻ｔ23に、分割画像１３が、分割復号画像４２を参照してＰピクチャとして符号化される。これにより、画像２４の３つ目のＡＵの符号化ストリームが生成される。このとき、下部の分割領域以外の領域の符号化モードは、スキップモードにされる。従って、符号化時に得られる符号化ストリームの復号結果は、図１のＣに示すように、上部の領域３１および中央部の領域３２が分割復号画像４２と同一である分割復号画像４３、即ち画像２４の全領域に対応する画像である。
【００２６】
最後に、符号化時刻ｔ14において、画像２４が、分割復号画像４３を参照してＰピクチャとして符号化される。これにより、画像２４の４つ目のＡＵの符号化ストリームが生成される。このとき、符号化ストリームが復号され、図１のＣに示すように、分割復号画像４３に比べて画質の高い復号画像４４が得られる。
【００２７】
また、分割画像１１乃至１３をＡＵとした符号化ストリームに配置される、復号画像の表示の有無を示すpic_output_flagは、復号画像を表示しないことを示す0に設定される。従って、分割復号画像４１乃至４３は、表示されない。一方、画像２４をＡＵとした符号化ストリームに配置されるpic_output_flagは、復号画像を表示することを示す１に設定される。従って、復号画像４４は表示される。
【００２８】
以上のように、第１実施の形態における符号化方法では、ビット発生量が大きいと予想されるフレームの画像２４が複数の分割画像１１乃至１３に分割され、画像２４より前のフレームの画像２０乃至２３の符号化時刻ｔ10乃至ｔ13の間にそれぞれ符号化される。従って、フレーム単位の符号化時間である単位時間あたりのビット数の局所的な増加を抑制することができる。その結果、局所的な復号負荷の増加を抑制することができる。
【００２９】
また、画像２４の符号化時刻ｔ14に、画像２４をＡＵとして、画像２４の全領域に対応する、画質の低い復号画像４３を参照して、符号化が行われる。従って、少ないビット発生量で高画質の復号画像４４の符号化ストリームを生成することができる。
【００３０】
さらに、分割画像１１の分割領域以外の領域は、画像情報を含まないため、固定値画像にされる。これにより、分割画像１１の符号化ストリームのビット発生量を削減することができる。また、分割画像１２および分割画像１３の分割領域以外の領域の符号化モードがスキップモードにされるので、分割画像１２および分割画像１３の符号化ストリームのビット発生量を削減することができる。
【００３１】
なお、図１の例では、ビット発生量が大きいと予想されるフレームの画像２４が４つのＡＵに分割されて符号化されたが、分割されるＡＵの数は、勿論、４に限定されない。また、分割領域の数は、分割されるＡＵの数から１を減算した数である。
【００３２】
（符号化装置の第１実施の形態の構成例）
図２は、本開示を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
【００３３】
図２の符号化装置５０は、解析部５１、解析バッファ５２、決定部５３、非分割符号化部５４、および分割符号化部５５により構成される。符号化装置５０は、符号化対象の画像として入力されたフレーム単位の画像を、図１で説明した符号化方法で符号化する。
【００３４】
具体的には、符号化装置５０の解析部５１は、入力された画像を解析し、ＡＵ単位で解析テーブルを生成する。解析部５１は、ＡＵ単位の解析テーブルを解析バッファ５２に供給し、記憶させる。
【００３５】
決定部５３は、解析バッファ５２から解析テーブルを読み出し、符号化対象のＡＵを決定する。決定部５３は、解析テーブルに基づいて、符号化対象のＡＵが、１つのＡＵで符号化する画像のＡＵである場合、そのＡＵに対応する画像を非分割符号化部５４に供給する。一方、決定部５３は、符号化対象のＡＵが、複数のＡＵに分割して符号化する画像のＡＵである場合、そのＡＵに対応する画像と解析テーブルを分割符号化部５５に供給する。また、決定部５３は、解析部５１に記憶されている、符号化対象のＡＵの解析テーブルを更新する。
【００３６】
なお、以下では、画像を１つのＡＵで符号化することを非分割符号化といい、複数のＡＵに分割して符号化することを分割符号化という。
【００３７】
非分割符号化部５４は、決定部５３から供給される画像をHEVC方式で非分割符号化し、ＡＵ単位の符号化ストリームを生成する。このとき、非分割符号化部５４は、必要に応じて、分割符号化部５５から供給される復号画像を参照画像として用いる。非分割符号化部５４は、生成されたＡＵ単位の符号化ストリームを出力する。
【００３８】
分割符号化部５５は、決定部５３から供給される解析テーブルに基づいて、画像をHEVC方式で分割符号化する。具体的には、符号化対象のＡＵが、分割符号化のＡＵのうちの最後のＡＵ（以下、最後分割ＡＵという）以外のＡＵである場合、分割符号化部５５は、解析テーブルに基づいて、決定部５３から供給される画像から分割画像を生成する。そして、分割符号化部５５は、分割画像をHEVC方式で符号化し、その結果得られる符号化データとともに、pic_output_flagとして０が配置されたＡＵ単位の符号化ストリームを生成する。
【００３９】
一方、符号化対象のＡＵが最後分割ＡＵである場合、分割符号化部５５は、最後分割ＡＵの１つ前のＡＵに対応する分割復号画像を参照して、決定部５３から供給される画像を符号化する。このとき生成された復号画像は、非分割符号化部５４に供給される。分割符号化部５５は、符号化の結果得られる符号化データとともに、pic_output_flagとして１が配置されたＡＵ単位の符号化ストリームを生成する。分割符号化部５５は、生成されたＡＵ単位の符号化ストリームを出力する。
【００４０】
（解析テーブルの構成例）
図３は、図２の解析バッファ５２に記憶される解析テーブルの構成例を示す図である。
【００４１】
図３の例では、解析バッファ５２には、max_au_idx+1個のＡＵの解析テーブルが記憶されている。図３に示すように、解析テーブルには、au_idx, frame_idx, au_divide_flag, au_divide_idx, au_divide_num、およびcoded_flagが登録される。
【００４２】
au_idxは、この解析テーブルに対応するＡＵを識別するインデックスである。frame_idxは、この解析テーブルに対応する画像のフレームを識別するインデックスである。また、au_divide_flagは、この解析テーブルに対応するＡＵが分割符号化のＡＵであるか、非分割符号化のＡＵであるかを示すフラグである。au_divide_flagは、分割符号化のＡＵであることを示す場合１であり、非分割符号化のＡＵであることを示す場合０である。
【００４３】
au_divide_idxとau_divide_numは、au_divide_flagが１である場合に登録される。au_divide_idxは、この解析テーブルに対応するＡＵが、分割符号化のＡＵのうちの何番目のＡＵであるかを識別するインデックスである。au_divide_numは、この解析テーブルに対応するＡＵを含む分割符号化のＡＵの総数である。coded_flagは、この解析テーブルに対応するＡＵが既に符号化されたかどうかを示すフラグである。
【００４４】
図４は、図１の画像２０乃至２４が符号化対象の画像として入力された場合の解析テーブルに登録される値の例を示す図である。
【００４５】
図４の例では、先頭のフレームから順に、各フレームに対応するＡＵに対して、インデックスが０から付されている。また、先頭のフレームから順に、各フレームに対してインデックスが０から付されている。
【００４６】
図１の例では、先頭から８フレーム目以外のフレームの画像は、非分割符号化される。従って、図４に示すように、先頭から４フレーム目の画像２０に対応する、au_idxおよびframe_idxとして３が登録される解析テーブルには、au_divide_flagとして０が登録される。同様に、先頭から５乃至７フレーム目の画像２１乃至２３に対応する、au_idxおよびframe_idxとして４乃至６がそれぞれ登録される解析テーブルにも、au_divide_flagとして０が登録される。
【００４７】
一方、先頭から８フレーム目の画像２４は、４つのＡＵに分割符号化される。従って、図４に示すように、先頭から８フレーム目の画像２４に対応して、au_idxとして７乃至１０がそれぞれ登録された４つの解析テーブルが生成される。この４つの解析テーブルに対応する画像は、先頭から８フレーム目の画像２４であるため、４つの解析テーブルの全てに、frame_idxとして７が登録される。また、画像２４は４つのＡＵに分割符号化されるので、４つの解析テーブルの全てに、au_divide_flagとして１が登録され、au_divide_numとして４が登録される。さらに、４つの解析テーブルには、順に、au_divide_idxとして０から３が登録される。
【００４８】
また、図４の例では、画像２０乃至２４に対してまだ符号化が行われていない。従って、全ての解析テーブルのcoded_flagには０が登録されている。
【００４９】
（非分割符号化部の構成例）
図５は、図２の非分割符号化部５４の構成例を示すブロック図である。
【００５０】
図５の非分割符号化部５４は、バッファ７１、演算部７２、直交変換部７３、量子化部７４、可逆符号化部７５、蓄積バッファ７６、生成部７７、設定部７８、逆量子化部７９、逆直交変換部８０、および加算部８１を有する。また、非分割符号化部５４は、フィルタ８２、フレームメモリ８５、スイッチ８６、イントラ予測部８７、動き予測・補償部８８、予測画像選択部８９、およびレート制御部９０を有する。
【００５１】
非分割符号化部５４のバッファ７１は、図２の決定部５３から供給される画像を記憶する。バッファ７１は、記憶している画像を、演算部７２、イントラ予測部８７、および動き予測・補償部８８に出力する。
【００５２】
演算部７２は、バッファ７１から供給される画像から、予測画像選択部８９から供給される予測画像を減算することにより符号化を行う。演算部７２は、その結果得られる画像を、残差情報として直交変換部７３に出力する。
【００５３】
直交変換部７３は、演算部７２からの残差情報をＴＵ（transform unit）単位で直交変換する。直交変換部７３は、直交変換の結果得られる直交変換係数を量子化部７４に供給する。
【００５４】
量子化部７４は、直交変換部７３から供給される直交変換係数に対して量子化を行う。量子化部７４は、量子化された直交変換係数を可逆符号化部７５に供給する。
【００５５】
可逆符号化部７５は、最適イントラ予測モードを示すイントラ予測モード情報をイントラ予測部８７から取得する。また、可逆符号化部７５は、最適インター予測モードを示すインター予測モード情報、動きベクトル、参照画像を特定する情報などを動き予測・補償部８８から取得する。さらに、可逆符号化部７５は、フィルタ８２からオフセットフィルタに関するオフセットフィルタ情報を取得する。
【００５６】
可逆符号化部７５は、量子化部７４から供給される量子化された直交変換係数に対して、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。
【００５７】
また、可逆符号化部７５は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報とオフセットフィルタ情報とを、符号化に関する符号化情報として可逆符号化する。可逆符号化部７５は、可逆符号化された符号化情報と直交変換係数を、符号化データとして蓄積バッファ７６に供給し、蓄積させる。
【００５８】
蓄積バッファ７６は、可逆符号化部７５から供給される符号化データを、一時的に記憶する。また、蓄積バッファ７６は、記憶している符号化データを生成部７７に供給する。
【００５９】
生成部７７は、設定部７８から供給されるヘッダ部と蓄積バッファ７６から供給される符号化データから符号化ストリームを生成し、出力する。
【００６０】
設定部７８は、pic_output_flagとして１を含むスライスヘッダをスライス単位で設定する。また、設定部７８は、必要に応じて、SPS（Sequence Parameter Set）,PPS（Picture Parameter Set）などのパラメータセットを設定する。このとき、PPSに配置される、スライスヘッダにpic_output_flagが存在するかどうかを示すoutput_flag_present_flagは１に設定される。設定部７８は、設定されたスライスヘッダやパラメータセットをヘッダ部として符号化し、生成部７７に供給する。
【００６１】
また、量子化部７４より出力された、量子化された直交変換係数は、逆量子化部７９にも入力される。逆量子化部７９は、量子化部７４により量子化された直交変換係数に対して、量子化部７４における量子化方法に対応する方法で逆量子化を行う。逆量子化部７９は、逆量子化の結果得られる直交変換係数を逆直交変換部８０に供給する。
【００６２】
逆直交変換部８０は、ＴＵ単位で、逆量子化部７９から供給される直交変換係数に対して、直交変換部７３における直交変換方法に対応する方法で逆直交変換を行う。逆直交変換部８０は、その結果得られる残差情報を加算部８１に供給する。
【００６３】
加算部８１は、逆直交変換部８０から供給される残差情報と、予測画像選択部８９から供給される予測画像を加算し、局部的に復号を行う。加算部８１は、局部的に復号された画像をフィルタ８２とフレームメモリ８５に供給する。
【００６４】
フィルタ８２は、加算部８１から供給される画像に対して、ブロック歪を除去するデブロックフィルタ処理を行う。そして、フィルタ８２は、デブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO（Sample adaptive offset)）処理を行う。
【００６５】
具体的には、フィルタ８２は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。フィルタ８２は、求められたオフセットを用いて、デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。
【００６６】
フィルタ８２は、適応オフセットフィルタ処理後の画像をフレームメモリ８５に供給する。また、フィルタ８２は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部７５に供給する。
【００６７】
フレームメモリ８５は、フィルタ８２から供給される画像と加算部８１から供給される画像を蓄積する。また、フレームメモリ８５は、図２の分割符号化部５５から復号画像として供給されるフィルタ処理が行われた画像を蓄積する。フレームメモリ８５に蓄積されたフィルタ処理が行われていない画像のうちのＰＵ（Prediction Unit）に隣接する画素は、周辺画素としてスイッチ８６を介してイントラ予測部８７に供給される。一方、フレームメモリ８５に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ８６を介して動き予測・補償部８８に出力される。
【００６８】
イントラ予測部８７は、ＰＵ単位で、フレームメモリ８５からスイッチ８６を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
【００６９】
また、イントラ予測部８７は、バッファ７１から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（RD(Rate Distortion)コスト）を算出する。そして、イントラ予測部８７は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
【００７０】
イントラ予測部８７は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部８９に供給する。イントラ予測部８７は、予測画像選択部８９から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部７５に供給する。
【００７１】
動き予測・補償部８８は、ＰＵ単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部８８は、２次元の線形内挿適応フィルタを有する。また、動き予測・補償部８８は、２次元の線形内挿適応フィルタを用いて、バッファ７１から供給される画像と参照画像に対して内挿フィルタ処理を行うことにより、その画像と参照画像を高解像度化する。
【００７２】
動き予測・補償部８８は、高解像度化された画像と参照画像とに基づいて、候補となる全てのインター予測モードの動きベクトルを分数画素精度で検出する。そして、動き予測・補償部８８は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。なお、インター予測モードとは、ＰＵのサイズ等を表すモード、スキップモード等である。
【００７３】
また、動き予測・補償部８８は、バッファ７１から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部８８は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部８９に供給する。
【００７４】
また、動き予測・補償部８８は、予測画像選択部８９から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部７５に出力する。
【００７５】
予測画像選択部８９は、イントラ予測部８７および動き予測・補償部８８から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部８９は、最適予測モードの予測画像を、演算部７２および加算部８１に供給する。また、予測画像選択部８９は、最適予測モードの予測画像の選択をイントラ予測部８７または動き予測・補償部８８に通知する。
【００７６】
レート制御部９０は、蓄積バッファ７６に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７４の量子化パラメータを制御する。
【００７７】
（分割符号化部の構成例）
図６は、図２の分割符号化部５５の構成例を示すブロック図である。
【００７８】
図６の分割符号化部５５は、画像変更部１１０、バッファ１１１、演算部１１２（符号化部）、直交変換部１１３、量子化部１１４、可逆符号化部１１５、蓄積バッファ１１６、生成部１１７、設定部１１８、逆量子化部１１９、逆直交変換部１２０、および加算部１２１を有する。また、非分割符号化部５４は、フィルタ１２２、フレームメモリ１２５、スイッチ１２６、イントラ予測部１２７、動き予測・補償部１２８、予測画像選択部１２９、およびレート制御部１３０を有する。
【００７９】
分割符号化部５５の画像変更部１１０、設定部１１８、イントラ予測部１２７、動き予測・補償部１２８、予測画像選択部１２９、レート制御部１３０以外の構成は、図５の非分割符号化部５４の設定部７８、イントラ予測部８７、動き予測・補償部８８、予測画像選択部８９、レート制御部９０以外の構成と同様である。従って、ここでは、画像変更部１１０、設定部１１８、イントラ予測部１２７、動き予測・補償部１２８、および予測画像選択部１２９以外の処理については、適宜、説明を省略する。
【００８０】
画像変更部１１０は、図２の決定部５３から供給される解析テーブルのau_divide_idxとau_divide_numに基づいて、符号化対象のＡＵが最後分割ＡＵ以外のＡＵであるかどうかを判定する。
【００８１】
画像変更部１１０は、符号化対象のＡＵが最後分割ＡＵ以外のＡＵである場合、決定部５３から供給される画像を、au_divide_num-1個の分割領域に分割する。そして、画像変更部１１０は、au_divide_idxに基づいて、au_divide_num-1個の分割領域のうちの、上からau_divide_idx+1番目までの分割領域を含み、その分割領域以外の領域が固定値画像である１フレーム分の分割画像を生成し、バッファ１１１に供給する。
【００８２】
一方、符号化対象のＡＵが最後分割ＡＵである場合、画像変更部１１０は、決定部５３から供給される画像をそのままバッファ１１１に供給する。
【００８３】
設定部１１８は、符号化対象のＡＵが最後分割ＡＵ以外のＡＵである場合、pic_output_flagとして０を含むスライスヘッダ（非表示情報）を設定する。一方、符号化対象のＡＵが最後分割ＡＵである場合、設定部１１８は、pic_output_flagとして１を含むスライスヘッダ（表示情報）を設定する。
【００８４】
また、設定部１１８は、必要に応じて、SPSやPPSなどのパラメータセットを設定する。このとき、PPSに配置されるoutput_flag_present_flagは１に設定される。設定部１１８は、設定されたスライスヘッダやパラメータセットをヘッダ部として符号化し、生成部１１７に供給する。
【００８５】
分割符号化部５５では、フィルタ１２２から出力された画像は、復号画像として図５のフレームメモリ８５に供給され、フレームメモリ１２５には、分割符号化部５５の外部から画像が供給されない。
【００８６】
イントラ予測部１２７は、符号化対象のＡＵが分割符号化の最初のＡＵである場合、バッファ１１１から供給される分割画像に対して、図５のイントラ予測部８７と同様に、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
【００８７】
また、イントラ予測部１２７は、バッファ１１１から供給される分割画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部１２７は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
【００８８】
イントラ予測部１２７は、最適イントラ予測モードで生成された予測画像を予測画像選択部１２９に供給する。イントラ予測部１２７は、イントラ予測モード情報を可逆符号化部１１５に供給する。
【００８９】
動き予測・補償部１２８は、符号化対象のＡＵが分割符号化の最初のＡＵ以外のＡＵである場合、バッファ１１１から供給される分割画像の分割領域または画像に対して、図５の動き予測・補償部８８と同様に、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部１２８は、バッファ１１１から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部１２８は、最適インター予測モードで生成された予測画像を予測画像選択部１２９に供給する。また、動き予測・補償部１２８は、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１１５に出力する。
【００９０】
また、動き予測・補償部１２８は、分割画像の分割領域以外の領域に対して、スキップモードを示すインター予測情報と、参照画像を特定する情報とを可逆符号化部１１５に供給することにより、スキップモードのインター符号化を行う。この場合、可逆符号化部１１５には、直交変換係数は入力されず、直交変換係数は０として可逆符号化が行われる。
【００９１】
予測画像選択部１２９は、イントラ予測部１２７または動き予測・補償部１２８から供給される予測画像を、演算部１１２および加算部１２１に供給する。
【００９２】
レート制御部１３０は、蓄積バッファ１１６に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１１４の量子化パラメータを制御する。
【００９３】
以上のように、分割符号化部５５は、分割符号化の最初のＡＵに対応する分割画像をイントラ符号化する。また、分割符号化部５５は、分割符号化の最初以外のＡＵに対応する分割画像および画像をインター符号化する。このとき、分割符号化部５５は、分割画像内の分割領域以外の領域の符号化モードをスキップモードにする。
【００９４】
（符号化装置の処理の説明）
図７は、図２の符号化装置５０の符号化処理を説明するフローチャートである。
【００９５】
図７のステップＳ１１において、符号化装置５０の解析部５１は、max_au_idxとframe_idxを０に設定し、決定部５３は、prev_au_divide_flagを０に設定する。ステップＳ１２において、解析部５１は、入力された画像の解析テーブルを生成する解析処理を行う。この解析処理の詳細は、後述する図８を参照して説明する。
【００９６】
ステップＳ１３において、決定部５３は、frame_idxが遅延枚数以上であるかどうかを判定する。遅延枚数とは、分割符号化時に分割画像の符号化を挿入するために必要な、符号化対象の画像のフレームより前のフレームの数（図１の例では３）、即ち分割符号化におけるＡＵの分割数であるmax_divide_numから１を減算した数以上の数である。
【００９７】
ステップＳ１３で、frame_idxが遅延枚数以上であると判定された場合、ステップＳ１４において、決定部５３は、符号化対象のＡＵを決定するＡＵ決定処理を行う。このＡＵ決定処理の詳細は、後述する図９を参照して説明する。
【００９８】
ステップＳ１５において、決定部５３は、符号化対象のＡＵの解析テーブルに登録されているau_divide_flagが１であるかどうかを判定する。ステップＳ１５でau_divide_flagが１ではないと判定された場合、符号化対象のＡＵに対応する画像を非分割符号化部５４に供給する。
【００９９】
そして、ステップＳ１６において、非分割符号化部５４は、決定部５３から供給される画像を非分割符号化する非分割符号化処理を行う。この非分割符号化処理の詳細は、後述する図１０を参照して説明する。
【０１００】
一方、ステップＳ１５でau_divide_flagが１であると判定された場合、決定部５３は、符号化対象のＡＵの解析テーブルと画像を分割符号化部５５に供給する。そして、ステップＳ１７において、分割符号化部５５は、決定部５３から供給される解析テーブルに基づいて画像を分割符号化する分割符号化処理を行う。この分割符号化処理の詳細は、後述する図１３を参照して説明する。
【０１０１】
ステップＳ１６またはステップＳ１７の処理後、処理はステップＳ１８に進む。ステップＳ１８において、決定部５３は、解析バッファ５２に記憶されている、au_idxがステップＳ１４のＡＵ決定処理で設定されるcoded_au_idxである解析テーブル、即ち符号化対象のＡＵの解析テーブルに登録されているcoded_flagを１に変更する。そして、処理はステップＳ１９に進む。
【０１０２】
一方、ステップＳ１３で、frame_idxが遅延枚数以上ではないと判定された場合、即ち分割画像の符号化の挿入に必要なフレーム数の画像がまだ入力されていない場合、処理はステップＳ１９に進む。
【０１０３】
ステップＳ１９において、符号化装置５０は、処理を終了するかどうか、例えば符号化装置５０に新たな画像が入力されないかどうかを判定する。ステップＳ１９で処理を終了しないと判定された場合、処理はステップＳ２０に進む。
【０１０４】
ステップＳ２０において、解析部５１は、frame_idxを１だけインクリメントする。そして、処理はステップＳ１２に戻り、処理を終了すると判定されるまで、ステップＳ１２乃至Ｓ１９の処理が繰り返される。
【０１０５】
一方、ステップＳ１９で処理を終了すると判定された場合、処理は終了する。
【０１０６】
図８は、図７のステップＳ１２の解析処理を説明するフローチャートである。
【０１０７】
図８のステップＳ３１において、解析部５１は、au_divide_flagとau_divide_idxを０に設定する。ステップＳ３２において、解析部５１は、frame_idxが、max_divide_numから１を減算した値以上であるかどうかを判定する。
【０１０８】
ステップＳ３２でframe_idxがmax_divide_numから１を減算した値以上であると判定された場合、即ち入力されたframe_idxで識別されるフレームの画像を分割符号化することが可能である場合、処理はステップＳ３３に進む。
【０１０９】
ステップＳ３３において、解析部５１は、入力されたframe_idxで識別されるフレームの画像と、そのフレームより１フレーム前のframe_idx-1で識別されるフレームの画像（前画像）の同一の位置の画素どうしの画素値のSAD（Sum of Absolute Difference）を計算する。
【０１１０】
ステップＳ３４において、解析部５１は、ステップＳ３３で計算されたSADが閾値より大きいかどうかを判定する。ステップＳ３４でSADが閾値より大きいと判定された場合、解析部５１は、frame_idxで識別されるフレームが、非分割符号化により生成される符号化ストリームのビット発生量が大きくなると予測されるシーンチェンジフレームであると判断し、処理をステップＳ３５に進める。
【０１１１】
ステップＳ３５において、解析部５１は、frame_idxで識別されるフレームの画像を分割符号化すると判断し、au_divide_flagを１に変更する。
【０１１２】
ステップＳ３６において、解析部５１は、au_divide_idxがmax_divide_numより小さいかどうかを判定する。ステップＳ３６でau_divide_idxがmax_divide_numより小さいと判定された場合、解析バッファ５２は、処理をステップＳ３７に進める。
【０１１３】
ステップＳ３７において、解析部５１は、coded_flagとして０を登録し、au_idxとしてmax_au_idxを登録し、au_divide_numとしてmax_divide_numを登録した解析テーブルを生成する。また、解析部５１は、この解析テーブルに、現在設定されているframe_idx,au_divide_flag、およびau_divide_idxを登録する。そして、解析部５１は、生成された解析テーブルを解析バッファ５２に供給し、記憶させる。
【０１１４】
ステップＳ３８において、解析部５１は、au_divide_idxとmax_au_idxを１だけインクリメントし、処理をステップＳ３６に戻す。これにより、au_divide_idxがmax_divide_num以上になるまで、ステップＳ３６乃至Ｓ３８の処理が繰り返される。その結果、frame_idxで識別されるフレームの画像に対して、max_divide_num個の解析テーブルが生成される。
【０１１５】
一方、ステップＳ３６でau_divide_idxがmax_divide_num以上であると判定された場合、処理は図７のステップＳ１２に戻り、ステップＳ１３に進む。
【０１１６】
また、ステップＳ３２でframe_idxがmax_divide_numから１を減算した値以上ではないと判定された場合、即ち入力されたframe_idxで識別されるフレームの画像をまだ分割符号化することが不可能である場合、処理はステップＳ３９に進む。
【０１１７】
また、ステップＳ３４でSADが閾値以下であると判定された場合、解析部５１は、frame_idxで識別されるフレームの画像を１つのＡＵで符号化すると判断し、処理をステップＳ３９に進める。
【０１１８】
ステップＳ３９において、解析部５１は、coded_flagとして０を登録し、au_idxとしてmax_au_idxを登録した解析テーブルを生成する。また、解析部５１は、この解析テーブルに、現在設定されているframe_idxとau_divide_flagを登録する。そして、解析部５１は、生成された解析テーブルを解析バッファ５２に供給し、記憶させる。
【０１１９】
ステップＳ４０において、解析部５１は、max_au_idxを１だけインクリメントし、処理を図７のステップＳ１２に戻し、ステップＳ１３に進める。
【０１２０】
図９は、図７のステップＳ１４のＡＵ決定処理を説明するフローチャートである。
【０１２１】
図９のステップＳ６１において、決定部５３は、idxとcoded_au_divide_flagを０に設定し、符号化対象のＡＵのau_idxを示すcoded_au_idxを、未定であることを示す−１に設定する。ステップＳ６２において、決定部５３は、idxがmax_au_idxより小さいかどうか、即ちau_idxとしてidxが登録されている解析テーブルが解析バッファ５２に記憶されているかどうかを判定する。
【０１２２】
ステップＳ６２でidxがmax_au_idxより小さいと判定された場合、処理はステップＳ６３に進む。ステップＳ６３において、決定部５３は、idxであるau_idxで識別されるＡＵを処理対象のＡＵに決定し、au_idxとしてidxが登録された解析テーブルを解析バッファ５２から読み出し、取得する。
【０１２３】
ステップＳ６４において、決定部５３は、取得された解析テーブルに登録されているcoded_flagが０であるかどうか、即ち、取得された解析テーブルに対応するＡＵの符号化がまだ行われていないかどうかを判定する。
【０１２４】
ステップＳ６４でcoded_flagが０であると判定された場合、処理はステップＳ６５に進む。ステップＳ６５において、決定部５３は、prev_au_divide_flagが０であり、かつ、取得された解析テーブルに登録されているau_divide_flagが１であり、かつ、au_divide_idxがau_divide_num-1より小さいかどうかを判定する。
【０１２５】
ステップＳ６５で、prev_au_divide_flagが０であり、かつ、au_divide_flagが１であり、かつ、au_divide_idxがau_divide_num-1より小さいと判定された場合、即ち１つ前の符号化対象のＡＵが分割符号化のＡＵではなく、かつ、処理対象のＡＵが、分割符号化の最後分割ＡＵ以外のＡＵではない場合、処理はステップＳ６６に進む。
【０１２６】
ステップＳ６６において、決定部５３は、現在のidxを符号化対象のＡＵのau_idxに決定してcoded_au_idxをidxに変更する。これにより、分割符号化のＡＵが連続して符号化対象のＡＵとされない。また、決定部５３は、coded_au_divide_flagを１に変更する。
【０１２７】
ステップＳ６７において、決定部５３は、prev_au_divide_flagをcoded_au_divide_flagに変更する。そして、処理は図７のステップＳ１４に戻り、ステップＳ１５に進む。
【０１２８】
一方、ステップＳ６５で、prev_au_divide_flagが０ではない、または、au_divide_flagが１ではない、または、au_divide_idxがau_divide_num-1以上であると判定された場合、即ち、１つ前の符号化対象のＡＵが分割符号化のＡＵであった、または、処理対象のＡＵが非分割符号化のＡＵまたは最後分割ＡＵである場合、処理はステップＳ６８に進む。
【０１２９】
ステップＳ６８において、決定部５３は、coded_au_idxが−１であるかどうかを判定する。ステップＳ６８でcoded_au_idxが−１であると判定された場合、即ち、符号化されていない非分割符号化のＡＵまたは最後分割ＡＵがまだ発見されていない場合、処理はステップＳ６９に進む。
【０１３０】
ステップＳ６９において、決定部５３は、au_divide_flagが０であるか、または、au_divide_idxがau_divide_num-1であるかどうかを判定する。
【０１３１】
ステップＳ６９でau_divide_flagが０である、または、au_divide_idxがau_divide_num-1であると判定された場合、即ち処理対象のＡＵが非分割符号化のＡＵまたは最後分割ＡＵである場合、決定部５３は、処理対象のＡＵを、まだ符号化されていない非分割符号化のＡＵまたは最後分割ＡＵとして発見する。
【０１３２】
そして、ステップＳ７０において、決定部５３は、現在のidxを符号化対象のＡＵのau_idxに仮決定してcoded_au_idxをidxに設定し、coded_au_divide_flagを０に設定する。そして、処理はステップＳ７１に進む。
【０１３３】
一方、ステップＳ６４でcoded_flagが０ではないと判定された場合、即ち、処理対象のＡＵが既に符号化されたＡＵである場合、処理はステップＳ７１に進む。
【０１３４】
また、ステップＳ６８でcoded_au_idxが−１ではないと判定された場合、即ち既に符号化されていない非分割符号化のＡＵまたは最後分割ＡＵが発見されている場合、処理はステップＳ７１に進む。
【０１３５】
さらに、ステップＳ６９でau_divide_flagが０ではなく、かつ、au_divide_idxがau_divide_num-1ではないと判定された場合、即ち処理対象のＡＵが、まだ符号化されていない分割符号化の最後分割ＡＵ以外のＡＵである場合、処理はステップＳ７１に進む。
【０１３６】
ステップＳ７１において、決定部５３は、idxを１だけインクリメントして処理をステップＳ６２に戻す。そして、１つ前の符号化対象のＡＵが非分割符号化のＡＵであり、かつ、まだ符号化されていない分割符号化のＡＵが発見されたか、または、１つ前の符号化対象のＡＵが分割符号化のＡＵであり、解析バッファ５２に記憶されている全ての解析テーブルに対応するＡＵを処理対象のＡＵとするまで、ステップＳ６２乃至Ｓ６５およびＳ６８乃至Ｓ７１の処理が繰り返される。
【０１３７】
一方、ステップＳ６２でidxがmax_au_idx以上であると判定された場合、即ち解析バッファ５２に記憶されている全ての解析テーブルに対応するＡＵを処理対象のＡＵとした場合、処理はステップＳ６７に進み、上述したステップＳ６７の処理が行われる。即ち、この場合、ステップＳ７０で設定されたcoded_au_idxで識別される、非分割符号化のＡＵまたは最後分割ＡＵが符号化対象のＡＵに本決定される。
【０１３８】
以上のようなＡＵ決定処理を行うことにより、決定部５３は、解析バッファ５２にまだ符号化されていない分割符号化の最後分割ＡＵ以外のＡＵの解析テーブルが記憶されている場合、そのＡＵを優先的に符号化対象のＡＵに決定する。但し、決定部５３は、分割符号化の最後分割ＡＵ以外のＡＵを連続して符号化対象のＡＵに決定しないようにする。
【０１３９】
図１０は、図７のステップＳ１６の非分割符号化処理を説明するフローチャートである。
【０１４０】
図１０のステップＳ９１において、非分割符号化部５４の設定部７８（図５）は、pic_output_flagとして１を含むスライス単位のスライスヘッダを設定する。また、設定部７８は、必要に応じて、パラメータセットを設定する。
【０１４１】
ステップＳ９２において、設定部７８は、設定されたスライスヘッダやパラメータセットなどのヘッダ部を符号化し、生成部７７に供給する。
【０１４２】
ステップＳ９３において、非分割符号化部５４は、符号化対象のＡＵに対応する画像を符号化する符号化処理を行う。この符号化処理の詳細は、後述する図１１および図１２を参照して説明する。ステップＳ９３の処理後、処理は図７のステップＳ１６に戻り、ステップＳ１８に進む。
【０１４３】
図１１および図１２は、図１０のステップＳ９３の符号化処理を説明するフローチャートである。
【０１４４】
図１１のステップＳ１３１において、非分割符号化部５４のバッファ７１（図５）は、図２の決定部５３から供給される画像を記憶する。ステップＳ１３２において、バッファ７１は、記憶している画像を読み出し、演算部７２、イントラ予測部８７、および動き予測・補償部８８に供給する。
【０１４５】
ステップＳ１３３において、イントラ予測部８７は、ＰＵ単位で候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部８７は、バッファ７１から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部８７は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部８７は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部８９に供給する。
【０１４６】
また、動き予測・補償部８８は、ＰＵ単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部８８は、バッファ７１から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部８８は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部８９に供給する。
【０１４７】
ステップＳ１３４において、予測画像選択部８９は、イントラ予測部８７および動き予測・補償部８８から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部８９は、最適予測モードの予測画像を、演算部７２および加算部８１に供給する。
【０１４８】
ステップＳ１３５において、予測画像選択部８９は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１３５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部８９は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部８８に通知する。
【０１４９】
そして、ステップＳ１３６において、動き予測・補償部８８は、インター予測モード情報、動きベクトル、および参照画像を特定する情報を可逆符号化部７５に供給し、処理をステップＳ１３８に進める。
【０１５０】
一方、ステップＳ１３５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部８９は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部８７に通知する。そして、ステップＳ１３７において、イントラ予測部８７は、イントラ予測モード情報を可逆符号化部７５に供給し、処理をステップＳ１３８に進める。
【０１５１】
ステップＳ１３８において、演算部７２は、バッファ７１から供給される画像から、予測画像選択部８９から供給される予測画像を減算することにより符号化を行う。演算部７２は、その結果得られる画像を、残差情報として直交変換部７３に出力する。
【０１５２】
ステップＳ１３９において、直交変換部７３は、演算部７２からの残差情報に対してＴＵ単位で直交変換を施し、その結果得られる直交変換係数を量子化部７４に供給する。
【０１５３】
ステップＳ１４０において、量子化部７４は、直交変換部７３から供給される直交変換係数を量子化し、量子化された直交変換係数を可逆符号化部７５と逆量子化部７９に供給する。
【０１５４】
図１２のステップＳ１４１において、逆量子化部７９は、量子化部７４から供給される量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部８０に供給する。
【０１５５】
ステップＳ１４２において、逆直交変換部８０は、逆量子化部７９から供給される直交変換係数に対してＴＵ単位で逆直交変換を施し、その結果得られる残差情報を加算部８１に供給する。
【０１５６】
ステップＳ１４３において、加算部８１は、逆直交変換部８０から供給される残差情報と、予測画像選択部８９から供給される予測画像を加算し、局部的に復号を行う。加算部８１は、局部的に復号された画像をフィルタ８２とフレームメモリ８５に供給する。
【０１５７】
ステップＳ１４４において、フィルタ８２は、加算部８１から供給される局部的に復号された画像に対して、デブロックフィルタ処理を行う。
【０１５８】
ステップＳ１４５において、フィルタ８２は、デブロックフィルタ処理後の画像に対して、LCUごとにSAO処理を行う。フィルタ８２は、その結果得られる画像をフレームメモリ８５に供給する。また、フィルタ８２は、LCUごとに、オフセットフィルタ情報を可逆符号化部７５に供給する。
【０１５９】
ステップＳ１４６において、フレームメモリ８５は、フィルタ８２から供給される画像と加算部８１から供給される画像を蓄積する。また、フレームメモリ８５は、分割符号化部５５から復号画像として供給されるフィルタ処理が行われた画像を蓄積する。フレームメモリ８５に蓄積されたフィルタ処理が行われていない画像のうちのＰＵに隣接する画素は、周辺画素としてスイッチ８６を介してイントラ予測部８７に供給される。一方、フレームメモリ８５に蓄積されたフィルタ処理が行われた画像は、参照画像としてスイッチ８６を介して動き予測・補償部８８に出力される。
【０１６０】
ステップＳ１４７において、可逆符号化部７５は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報と、オフセットフィルタ情報とを、符号化情報として可逆符号化する。
【０１６１】
ステップＳ１４８において、可逆符号化部７５は、量子化部７４から供給される量子化された直交変換係数を可逆符号化する。そして、可逆符号化部７５は、ステップＳ１４７の処理で可逆符号化された符号化情報と可逆符号化された直交変換係数から、符号化データを生成し、蓄積バッファ７６に供給する。
【０１６２】
ステップＳ１４９において、蓄積バッファ７６は、可逆符号化部７５から供給される符号化データを、一時的に蓄積する。
【０１６３】
ステップＳ１５０において、レート制御部９０は、蓄積バッファ７６に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７４の量子化動作のレートを制御する。
【０１６４】
ステップＳ１５１において、蓄積バッファ７６は、記憶している符号化データを、生成部７７に出力する。
【０１６５】
ステップＳ１５２において、生成部７７は、設定部７８から供給されるヘッダ部と蓄積バッファ７６から供給される符号化データから符号化ストリームを生成し、出力する。そして、処理は、図１０のステップＳ９３に戻り、図７のステップＳ１６に戻ってステップＳ１８に進む。
【０１６６】
なお、図１１および図１２の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。
【０１６７】
図１３は、図７のステップＳ１７の分割符号化処理を説明するフローチャートである。
【０１６８】
図１３のステップＳ１７１において、分割符号化部５５の設定部１１８（図６）は、ヘッダ部を設定して符号化するヘッダ部設定処理を行う。このヘッダ部設定処理の詳細は、後述する図１４を参照して説明する。
【０１６９】
ステップＳ１７２において、画像変更部１１０は、決定部５３から供給される解析テーブルに基づいて画像を変更する画像変更処理を行う。この画像変更処理の詳細は、後述する図１５を参照して説明する。
【０１７０】
ステップＳ１７３において、分割符号化部５５は、画像変更部１１０により変更された画像を符号化する符号化処理を行う。そして、処理は図７のステップＳ１７に戻り、ステップＳ１８に進む。
【０１７１】
図１４は、図１３のステップＳ１７１のヘッダ部設定処理を説明するフローチャートである。
【０１７２】
図１４のステップＳ１９１において、設定部１１８は、決定部５３から供給される解析テーブルに登録されているau_divide_idxが０であるかどうかを判定する。ステップＳ１９１でau_divide_idxが０ではないと判定された場合、即ち、符号化対象のＡＵが分割符号化の最初のＡＵではない場合、処理はステップＳ１９２に進む。
【０１７３】
ステップＳ１９２において、設定部１１８は、スライスタイプ（slice_type）としてＰスライスを含む符号化対象のＡＵのスライスヘッダを設定する。ステップＳ１９３において、設定部１１８は、符号化対象のＡＵとframe_idxが同一であるが、au_divide_idxが１だけ小さいＡＵに対応する画像のみを参照画像の候補とする参照画像の候補のリストであるリファレンスピクチャセットを含むパラメータセットを設定する。そして、処理はステップＳ１９５に進む。
【０１７４】
一方、ステップＳ１９１で符号化対象のＡＵのau_divide_idxが０であると判定された場合、即ち、符号化対象のＡＵが分割符号化の最初のＡＵである場合、処理はステップＳ１９４に進む。
【０１７５】
ステップＳ１９４において、設定部１１８は、スライスタイプとしてＩスライスを含むスライスヘッダを設定し、処理をステップＳ１９５に進める。
【０１７６】
ステップＳ１９５において、決定部５３から供給される解析テーブルに登録されているau_divide_idxが、au_divide_num-1であるかどうかを判定する。ステップＳ１９５でau_divide_idxがau_divide_num-1ではないと判定された場合、即ち符号化対象のＡＵが最後分割ＡＵではない場合、処理はステップＳ１９６に進む。
【０１７７】
ステップＳ１９６において、設定部１１８は、ステップＳ１９３またはＳ１９４で設定されたスライスヘッダに含まれるpic_output_flagを０に設定し、処理をステップＳ１９８に進める。
【０１７８】
一方、ステップＳ１９５でau_divide_idxがau_divide_num-1であると判定された場合、即ち、符号化対象のＡＵが最後分割ＡＵである場合、処理はステップＳ１９７に進む。
【０１７９】
ステップＳ１９７において、設定部１１８は、ステップＳ１９３またはＳ１９４で設定されたスライスヘッダに含まれるpic_output_flagを１に設定し、処理をステップＳ１９８に進める。
【０１８０】
ステップＳ１９８において、設定部１１８は、設定されたスライスヘッダとパラメータセットをヘッダ部として符号化し、生成部１１７に供給する。そして、処理は、図１３のステップＳ１７１に戻り、ステップＳ１７２に進む。
【０１８１】
図１５は、図１３のステップＳ１７２の画像変更処理を説明するフローチャートである。
【０１８２】
図１５のステップＳ２１１において、画像変更部１１０は、決定部５３から供給される解析テーブルに登録されているau_divide_idxがau_divide_num-2より小さいかどうかを判定する。ステップＳ２１１でau_divide_idxがau_divide_num-2より小さいと判定された場合、即ち、符号化対象のＡＵが最後分割ＡＵおよび最後から２番目のＡＵではない場合、処理はステップＳ２１２に進む。
【０１８３】
ステップＳ２１２において、画像変更部１１０は、決定部５３から供給される画像の垂直方向の画素数heightと、au_divide_idx+1とを乗算し、その乗算値からau_divide_num-1を除算した値を座標ｙに設定する。即ち、画像変更部１１０は、画像の垂直方向の画素をau_divide_num-1個に分割した分割領域のうちの、上からau_divide_idx+2番目の分割領域の先頭の画素のｙ座標を座標ｙに設定する。なお、画素のx座標は、左から何番目の画素であるかを０から表す整数値であり、ｙ座標は、上から何番目の画素であるかを０から表す整数値である。
【０１８４】
ステップＳ２１３において、画像変更部１１０は、座標ｙが符号化対象の画像の垂直方向の画素数heightよりも小さいかどうかを判定する。ステップＳ２１３で座標ｙが画像の垂直方向の画素数heightよりも小さいと判定された場合、即ち座標ｙが画像内の画素のｙ座標を表している場合、処理はステップＳ２１４に進む。
【０１８５】
ステップＳ２１４において、画像変更部１１０は、座標ｘを０に設定する。ステップＳ２１５において、画像変更部１１０は、座標ｘが符号化対象の画像の水平方向の画素数widthより小さいかどうかを判定する。ステップＳ２１５で座標ｘが画像の水平方向の画素数widthより小さいと判定された場合、即ち座標ｘが画像内の画素のｘ座標を表している場合、処理はステップＳ２１６に進む。
【０１８６】
ステップＳ２１６において、画像変更部１１０は、決定部５３から供給される画像の座標（x,y）の画素値を０に変更する。ステップＳ２１７において、画像変更部１１０は、ｘを１だけインクリメントし、処理をステップＳ２１５に戻す。そして、座標ｘが画像の水平方向の画素数width以上になるまで、即ち座標ｘが画像外の画素のｘ座標を表すまで、ステップＳ２１５乃至Ｓ２１７の処理が行われる。これにより、決定部５３から供給される画像内の座標ｙの行の全ての画素が黒画像に変更される。
【０１８７】
一方、ステップＳ２１５で座標ｘが画像の水平方向の画素数width以上であると判定された場合、処理はステップＳ２１８に進む。ステップＳ２１８において、画像変更部１１０は、座標ｙを１だけインクリメントし、処理をステップＳ２１３に戻す。そして、座標ｙが画像の垂直方向の画素数height以上になるまで、即ちステップＳ２１２で設定された座標ｙの行以降の行の全ての画素が黒画像に変更されるまで、ステップＳ２１３乃至Ｓ２１８の処理が繰り返される。
【０１８８】
ステップＳ２１３で座標ｙが画像の垂直方向の画素数height以上であると判定された場合、画像変更部１１０は、変更後の画像を分割画像としてバッファ１１１に供給する。そして、処理は図１３のステップＳ１７２に戻り、ステップＳ１７３に進む。
【０１８９】
一方、ステップＳ２１１でau_divide_idxがau_divide_num-2以上であると判定された場合、即ち、符号化対象のＡＵが最後分割ＡＵまたは分割符号化の最後から２番目のＡＵである場合、画像変更部１１０は、決定部５３から供給される画像をそのままバッファ１１１に供給する。具体的には、符号化対象のＡＵが分割符号化の最後から２番目のＡＵである場合、画像変更部１１０は、決定部５３から供給される画像を分割画像としてバッファ１１１に供給する。一方、符号化対象のＡＵが最後分割ＡＵである場合、画像変更部１１０は、決定部５３から供給される画像をそのままバッファ１１１に供給する。そして、処理は図１３のステップＳ１７２に戻り、ステップＳ１７３に進む。
【０１９０】
（復号装置の構成例）
図１６は、図２の符号化装置５０から出力された符号化ストリームを復号する復号装置の構成例を示す図である。
【０１９１】
図１６の復号装置１５０は、取得部１５１、復号部１５２、および表示部１５３により構成される。
【０１９２】
図１６の取得部１５１は、符号化装置５０から出力された符号化ストリームを取得し、復号部１５２に供給する。
【０１９３】
復号部１５２は、取得部１５１から供給される符号化ストリームから符号化データとヘッダ部を分離する。復号部１５２は、必要に応じてヘッダ部を参照しながら符号化データを復号する。復号部１５２は、復号画像のうちの、pic_output_flagとして１を含むスライスヘッダに対応する復号画像のみを表示部１５３に供給する。
【０１９４】
表示部１５３は、復号部１５２から供給される復号画像を表示する。
【０１９５】
（復号部の構成例）
図１７は、図１６の復号部１５２の構成例を示すブロック図である。
【０１９６】
図１７の復号部１５２は、分離部１７０、蓄積バッファ１７１、可逆復号部１７２、逆量子化部１７３、逆直交変換部１７４、加算部１７５、フィルタ１７６、および画面並べ替えバッファ１７９を有する。また、復号部１５２は、フレームメモリ１８１、スイッチ１８２、イントラ予測部１８３、動き補償部１８４、およびスイッチ１８５を有する。
【０１９７】
復号部１５２の分離部１７０は、図１６の取得部１５１から供給される符号化ストリームから符号化データとヘッダ部を分離する。分離部１７０は、符号化データを蓄積バッファ１７１に供給する。また、分離部１７０は、ヘッダ部のスライスヘッダに含まれるpic_output_flagを画面並べ替えバッファ１７９に供給する。さらに、分離部１７０は、必要に応じて、ヘッダ部に含まれる情報を各部に供給する。
【０１９８】
蓄積バッファ１７１は、分離部１７０から供給される符号化データを蓄積する。蓄積バッファ１７１は、蓄積されている符号化データを可逆復号部１７２に供給する。
【０１９９】
可逆復号部１７２は、蓄積バッファ１７１からの符号化データに対して、図５の可逆符号化部７５の可逆符号化に対応する、算術復号等の可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部１７２は、量子化された直交変換係数を逆量子化部１７３に供給する。また、可逆復号部１７２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１８３に供給する。可逆復号部１７２は、動きベクトル、インター予測モード情報、参照画像を特定する情報などを動き補償部１８４に供給する。
【０２００】
さらに、可逆復号部１７２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１８５に供給する。可逆復号部１７２は、符号化情報としてのオフセットフィルタ情報をフィルタ１７６に供給する。
【０２０１】
逆量子化部１７３、逆直交変換部１７４、加算部１７５、フィルタ１７６、フレームメモリ１８１、スイッチ１８２、イントラ予測部１８３、および動き補償部１８４は、図５の逆量子化部７９、逆直交変換部８０、加算部８１、フィルタ８２、フレームメモリ８５、スイッチ８６、イントラ予測部８７、および動き予測・補償部８８とそれぞれ同様の処理を行い、これにより、画像が復号される。
【０２０２】
具体的には、逆量子化部１７３は、可逆復号部１７２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１７４に供給する。
【０２０３】
逆直交変換部１７４は、逆量子化部１７３からの直交変換係数に対してＴＵ単位で逆直交変換を行う。逆直交変換部１７４は、逆直交変換の結果得られる残差情報を加算部１７５に供給する。
【０２０４】
加算部１７５は、逆直交変換部１７４から供給される残差情報と、スイッチ１８５から供給される予測画像を加算することにより、復号を行う。加算部１７５は、復号の結果得られる画像をフィルタ１７６とフレームメモリ１８１に供給する。
【０２０５】
フィルタ１７６は、加算部１７５から供給される画像に対してデブロックフィルタ処理を行う。フィルタ１７６は、LCUごとに、可逆復号部１７２からのオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の画像に対して、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。フィルタ１７６は、適応オフセットフィルタ処理後の画像を、フレームメモリ１８１および画面並べ替えバッファ１７９に供給する。
【０２０６】
画面並べ替えバッファ１７９は、分離部１７０から供給されるpic_output_flagに基づいて、フィルタ１７６から供給される画像である復号画像のうちの、全てのスライスのpic_output_flagが１である復号画像のみをフレーム単位で記憶する。画面並べ替えバッファ１７９は、記憶した符号化のための順番のフレーム単位の復号画像を、元の表示の順番に並び替え、図１６の表示部１５３に供給する。
【０２０７】
フレームメモリ１８１は、フィルタ１７６から供給される画像と加算部１７５から供給される画像を蓄積する。フレームメモリ１８１に蓄積されたフィルタ処理が行われていない画像のうちのＰＵに隣接する画素は、周辺画素としてスイッチ１８２を介してイントラ予測部１８３に供給される。一方、フレームメモリ１８１に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ１８２を介して動き補償部１８４に供給される。
【０２０８】
イントラ予測部１８３は、ＰＵ単位で、フレームメモリ１８１からスイッチ１８２を介して読み出された周辺画素を用いて、可逆復号部１７２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部１８３は、その結果生成される予測画像をスイッチ１８５に供給する。
【０２０９】
動き補償部１８４は、フレームメモリ１８１からスイッチ１８２を介して、可逆復号部１７２から供給される参照画像を特定する情報により特定される参照画像を読み出す。動き補償部１８４は、２次元の線形内挿適応フィルタを有する。動き補償部１８４は、２次元の線形内挿適応フィルタを用いて、参照画像に対して内挿フィルタ処理を行うことにより、参照画像を高解像度化する。動き補償部１８４は、高解像度化された参照画像と可逆復号部１７２から供給される動きベクトルとを用いて、ＰＵ単位で、可逆復号部１７２から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１８４は、その結果生成される予測画像をスイッチ１８５に供給する。
【０２１０】
スイッチ１８５は、可逆復号部１７２からイントラ予測モード情報が供給された場合、イントラ予測部１８３から供給される予測画像を加算部１７５に供給する。一方、可逆復号部１７２からインター予測モード情報が供給された場合、スイッチ１８５は、動き補償部１８４から供給される予測画像を加算部１７５に供給する。
【０２１１】
（復号装置の処理）
図１８は、図１６の復号装置１５０の表示処理を説明するフローチャートである。
【０２１２】
図１８のステップＳ２３１において、取得部１５１は、符号化装置５０から出力された符号化ストリームを取得し、復号部１５２に供給する。
【０２１３】
ステップＳ２３２において、復号部１５２は、取得部１５１から供給される符号化ストリームに含まれる符号化データを復号する復号処理を行う。この復号処理の詳細は、後述する図１９を参照して説明する。
【０２１４】
ステップＳ２３３において、画面並べ替えバッファ１７９は、ステップＳ２３２の復号処理の結果フィルタ１７６から供給される画像である復号画像の全てのスライスのpic_output_flagが１であるかどうかを判定する。ステップＳ２３３で復号画像の全てのスライスのpic_output_flagが１であると判定された場合、即ち、復号画像が、非分割符号化のＡＵまたは最後分割ＡＵの復号画像である場合、処理はステップＳ２３４に進む。
【０２１５】
ステップＳ２３４において、画面並べ替えバッファ１７９は、復号画像を記憶し、記憶した符号化のための順番の復号画像を、元の表示の順番に並び替え、図１６の表示部１５３に供給する。
【０２１６】
ステップＳ２３５において、表示部１５３は、復号部１５２から供給される復号画像を表示し、処理を終了する。
【０２１７】
一方、ステップＳ２３３で復号画像の少なくとも１つのスライスのpic_output_flagが１ではないと判定された場合、即ち、復号画像が、分割符号化の最後分割ＡＵ以外のＡＵの復号画像である場合、処理は終了する。
【０２１８】
図１９は、図１８のステップＳ２３２の復号処理の詳細を説明するフローチャートである。
【０２１９】
図１９のステップＳ２５０において、復号部１５２の分離部１７０（図１７）は、取得部１５１から供給される符号化ストリームから符号化データとヘッダ部を分離する。分離部１７０は、符号化データを蓄積バッファ１７１に供給する。また、分離部１７０は、ヘッダ部のスライスヘッダに含まれるpic_output_flagを画面並べ替えバッファ１７９に供給する。さらに、分離部１７０は、必要に応じて、ヘッダ部に含まれる情報を各部に供給する。
【０２２０】
ステップＳ２５１において、蓄積バッファ１７１は、分離部１７０から供給される符号化データを蓄積する。蓄積バッファ１７１は、蓄積されている符号化データを可逆復号部１７２に供給する。
【０２２１】
ステップＳ２５２において、可逆復号部１７２は、蓄積バッファ１７１からの符号化データを可逆復号し、量子化された直交変換係数と符号化情報を得る。可逆復号部１７２は、量子化された直交変換係数を逆量子化部１７３に供給する。
【０２２２】
また、可逆復号部１７２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１８３に供給する。可逆復号部１７２は、動きベクトル、インター予測モード情報、参照画像を特定する情報などを動き補償部１８４に供給する。
【０２２３】
さらに、可逆復号部１７２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１８５に供給する。可逆復号部１７２は、符号化情報としてのオフセットフィルタ情報をフィルタ１７６に供給する。
【０２２４】
ステップＳ２５３において、逆量子化部１７３は、可逆復号部１７２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１７４に供給する。
【０２２５】
ステップＳ２５４において、逆直交変換部１７４は、逆量子化部１７３からの直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１７５に供給する。
【０２２６】
ステップＳ２５５において、動き補償部１８４は、可逆復号部１７２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ２５５でインター予測モード情報が供給されたと判定された場合、処理はステップＳ２５６に進む。
【０２２７】
ステップＳ２５６において、動き補償部１８４は、ＰＵ単位で、可逆復号部１７２から供給される参照画像を特定する情報に基づいて参照画像を読み出し、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１８４は、その結果生成される予測画像を、スイッチ１８５を介して加算部１７５に供給し、処理をステップＳ２５８に進める。
【０２２８】
一方、ステップＳ２５５でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１８３に供給された場合、処理はステップＳ２５７に進む。
【０２２９】
ステップＳ２５７において、イントラ予測部１８３は、ＰＵ単位で、フレームメモリ１８１からスイッチ１８２を介して読み出された周辺画素を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１８３は、イントラ予測処理の結果生成される予測画像を、スイッチ１８５を介して加算部１７５に供給し、処理をステップＳ２５８に進める。
【０２３０】
ステップＳ２５８において、加算部１７５は、逆直交変換部１７４から供給される残差情報と、スイッチ１８５から供給される予測画像を加算することにより、局部的に復号を行う。加算部１７５は、復号の結果得られる画像をフィルタ１７６とフレームメモリ１８１に供給する。
【０２３１】
ステップＳ２５９において、フィルタ１７６は、加算部１７５から供給される画像に対してデブロックフィルタ処理を行い、ブロック歪を除去する。
【０２３２】
ステップＳ２６０において、フィルタ１７６は、可逆復号部１７２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ処理後の画像に対して、LCUごとにSAO処理を行う。フィルタ１７６は、SAO処理後の画像を、フレームメモリ１８１および画面並べ替えバッファ１７９に供給する。
【０２３３】
ステップＳ２６１において、フレームメモリ１８１は、加算部１７５から供給される画像と、フィルタ１７６から供給される画像を蓄積する。フレームメモリ１８１に蓄積されたフィルタ処理が行われていない画像のうちのＰＵに隣接する画素は、周辺画素としてスイッチ１８２を介してイントラ予測部１８３に供給される。一方、フレームメモリ１８１に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ１８２を介して動き補償部１８４に供給される。そして、処理は図１８のステップＳ２３２に戻り、ステップＳ２３３に進む。
【０２３４】
以上のように、符号化装置５０は、画像を複数のＡＵに分割して符号化する。従って、単位時間あたりの符号化ストリームのビット発生量を平準化することができる。
【０２３５】
また、符号化装置５０は、量子化パラメータを大きくすることによりビット発生量を抑制する場合に比べて、高画質の符号化ストリームを生成することができる。これに対して、量子化パラメータを大きくすることによりビット発生量を抑制する場合、ビット発生量を抑制した符号化ストリームの復号画像だけでなく、その復号画像を参照する復号画像の画質も劣化する。
【０２３６】
復号装置１５０は、符号化装置５０により生成されたビット発生量が平準化された高画質の符号化ストリームを復号することにより、局所的に大きな負荷を発生させずに、高画質の画像を復号することができる。即ち、低負荷で高画質の画像を復号することができる。
【０２３７】
また、符号化装置５０は、分割符号化の最後分割ＡＵ以外のＡＵの復号画像のpic_output_flagを０に設定する。従って、復号装置１５０は、このpic_output_flagに基づいて、分割符号化の最後分割ＡＵ以外のＡＵの復号画像、即ち、分割符号化された符号化ストリームの復号過程の画像を表示しないようにすることができる。
【０２３８】
＜第２実施の形態＞
（符号化方法の概要）
図２０は、本開示を適用した符号化装置の第２実施の形態における符号化方法の概要を説明する図である。
【０２３９】
図２０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２４０】
第２実施の形態における符号化方法は、分割画像または黒画像と、非分割符号化される画像または最後分割ＡＵに対応する画像とが合成されて同時に符号化される点、および、復号画像のうちの分割画像または黒画像の領域が表示されない点が、第１実施の形態における符号化方法と異なる。
【０２４１】
具体的には、図２０のＡおよび図２０のＢに示すように、分割画像１１が、画像２４の３フレーム前の画像２１の下部に合成され、画像２１の符号化時刻ｔ11に、Ｐピクチャとして符号化される。このとき、画像２１は、画像２１より前のフレームの画像を必要に応じて参照して符号化され、分割画像１１は、第１実施の形態と同様にイントラ符号化される。その結果、符号化時に得られる符号化ストリームの復号結果は、図２０のＣに示すように、画像２１の復号画像１９１の下部に分割復号画像４１が合成された合成画像２０１になる。
【０２４２】
次に、分割画像１２が、画像２１の次のフレームの画像２２の下部に合成され、画像２２の符号化時刻ｔ12に、Ｐピクチャとして符号化される。このとき、画像２２は、合成画像２０１のうちの復号画像１９１または復号画像１９１より前のフレームの復号画像を必要に応じて参照して符号化され、分割画像１２は、分割復号画像４１を参照して第１実施の形態と同様に符号化される。その結果、符号化時に得られる符号化ストリームの復号結果は、図２０のＣに示すように、画像２２の復号画像１９２の下部に分割復号画像４２が合成された合成画像２０２になる。
【０２４３】
次に、分割画像１３が、画像２２の次のフレームの画像２３の下部に合成され、画像２３の符号化時刻ｔ13に、Ｐピクチャとして符号化される。このとき、画像２３は、合成画像２０２のうちの復号画像１９２または復号画像１９２より前のフレームの復号画像を必要に応じて参照して符号化され、分割画像１３は、分割復号画像４２を参照して第１実施の形態と同様に符号化される。その結果、符号化時に得られる符号化ストリームの復号結果は、図２０のＣに示すように、画像２３の復号画像１９３の下部に分割復号画像４３が合成された合成画像２０３になる。
【０２４４】
最後に、画像２４の下部に黒画像２１１が合成され、画像２４の符号化時刻ｔ14に、Ｐピクチャとして符号化される。このとき、画像２４は、合成画像２０３のうちの分割復号画像４３を参照して第１実施の形態と同様に符号化され、黒画像２１１は、復号画像１９３または復号画像１９３より前のフレームの復号画像を必要に応じて参照して符号化を行う。その結果、符号化時に得られる符号化ストリームの復号結果は、図２０のＣに示すように、復号画像４４の下部に黒画像２１１が合成された合成画像２０４である。
【０２４５】
また、合成画像２０１乃至２０３の符号化ストリームには、それぞれ、合成画像２０１乃至２０３の上半分の復号画像１９１乃至１９３の領域を表示領域として指定する情報が設定される。また、画像２０４の符号化ストリームには、合成画像２０４の上半分の復号画像４４の領域を表示領域として指定する情報が指定される。従って、分割復号画像４１乃至４３および黒画像２１１は、表示されない。
【０２４６】
（符号化装置の第２実施の形態の構成例）
図２１は、本開示を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
【０２４７】
図２１に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２４８】
図２１の符号化装置２３０の構成は、決定部５３、非分割符号化部５４、および分割符号化部５５の代わりに、ペア決定部２３１、およびペア符号化部２３２が設けられる点が、図２の符号化装置５０の構成と異なる。
【０２４９】
ペア決定部２３１は、解析テーブルを解析バッファ５２から読み出す。ペア決定部２３１は、解析テーブルに基づいて、非分割符号化のＡＵまたは最後分割ＡＵと、分割符号化の最後分割ＡＵ以外のＡＵとを符号化対象のＡＵのペアとして決定する。
【０２５０】
但し、解析バッファ５２に記憶されている解析テーブルの中に、まだ符号化されていない分割符号化の最後分割ＡＵ以外のＡＵの解析テーブルが存在しない場合には、ペア決定部２３１は、非分割符号化のＡＵまたは最後分割ＡＵのみを符号化対象のＡＵのペアとして決定する。
【０２５１】
ペア決定部２３１は、符号化対象のＡＵのペアの解析テーブルと、そのペアを構成する各ＡＵに対応する画像とをペア符号化部２３２に供給する。また、ペア決定部２３１は、解析部５１に記憶されている、符号化対象のＡＵのペアを構成する各ＡＵの解析テーブルのcoded_flagを１に変更する。
【０２５２】
ペア符号化部２３２は、ペア決定部２３１から供給される符号化対象のＡＵのペアの解析テーブルと画像とに基づいて、合成画像を生成する。ペア符号化部２３２は、合成画像を１つのＡＵとしてHEVC方式で符号化し、ＡＵ単位の符号化ストリームを生成する。ペア符号化部２３２は、生成されたＡＵ単位の符号化ストリームを出力する。
【０２５３】
（ペア符号化部の構成例）
図２２は、図２１のペア符号化部２３２の構成例を示すブロック図である。
【０２５４】
図２２に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２５５】
図２２のペア符号化部２３２の構成は、画像合成部２５１が新たに設けられる点、設定部７８、イントラ予測部８７、動き予測・補償部８８、予測画像選択部８９、レート制御部９０の代わりに、設定部２５３、イントラ予測部２５４、動き予測・補償部２５５、予測画像選択部２５６、レート制御部２５７が設けられる点が、図５の非分割符号化部５４の構成と異なる。
【０２５６】
画像合成部２５１は、図２１のペア決定部２３１から供給される解析テーブルに基づいて、符号化対象のＡＵのペアのうちの一方が、分割符号化の最後分割ＡＵ以外のＡＵであるかどうかを判定する。画像合成部２５１は、符号化対象のＡＵのペアのうちの一方が、分割符号化の最後分割ＡＵ以外のＡＵであると判定した場合、図６の画像変更部１１０と同様に、そのＡＵに対応する画像から分割画像を生成する。そして、画像合成部２５１（画像変更部）は、符号化対象のＡＵのペアのうちの他方に対応する画像の下部に分割画像を合成して合成画像を生成する。
【０２５７】
また、画像合成部２５１は、符号化対象のＡＵのペアが非分割符号化のＡＵまたは最後分割ＡＵのみを含む場合、非分割符号化のＡＵまたは最後分割ＡＵに対応する画像の下部に黒画像（所定の画像）を合成して合成画像を生成する。画像合成部２５１は、合成画像をバッファ７１に供給する。
【０２５８】
設定部２５３は、復号画像の表示領域として上半分の領域を指定する情報を含むVUI（Video usability information）を配置したSPSを設定する。具体的には、設定部２５３は、表示領域を指定するかどうかを示すdefault_display_window_flagを、表示領域を指定することを示す１に設定する。
【０２５９】
また、設定部２５３は、復号画像の下端から表示領域の下端までの画素数を示すdef_disp_win_bottom_offsetを、復号画像の垂直方向の画素数の半分の画素数を示す値に設定する。
【０２６０】
さらに、設定部２５３は、復号画像の上端から表示領域の上端までの画素数を示すdef_disp_win_top_offset、復号画像の左端から表示領域の左端までの画素数を示すdef_disp_win_left_offset、および復号画像の右端から表示領域の右端までの画素数を示すdef_disp_win_right_offsetを０に設定する。
【０２６１】
以上のように設定されたdef_disp_win_bottom_offset, def_disp_win_top_offset, def_disp_win_left_offset、およびdef_disp_win_right_offsetは、復号画像のうちの非分割符号化のＡＵおよび最後分割ＡＵに対応する上半分の画像を表示領域として指定する情報である。即ち、これらの情報は、復号画像のうちの分割符号化の最後分割ＡＵ以外のＡＵに対応する画像を表示しないことを示す非表示情報であり、非分割符号化のＡＵおよび最後分割ＡＵに対応する画像を表示することを示す表示情報である。
【０２６２】
設定部２５３は、default_display_window_flag,def_disp_win_bottom_offset, def_disp_win_top_offset, def_disp_win_left_offset、およびdef_disp_win_right_offsetを含むVUIを配置したSPSを設定する。
【０２６３】
なお、SPSには、VUIが配置されるため、SPSに配置される、VUIが存在するかどうかを示すvui_parameters_present_flagは、VUIが存在することを示す１に設定される。また、設定部２５３は、必要に応じて、PPSなどの他のパラメータセットを設定する。さらに、設定部２５３は、スライスヘッダをスライス単位で設定する。設定部２５３は、設定されたスライスヘッダやSPS,PPSなどのパラメータセットを、ヘッダ部として符号化し、生成部７７に供給する。
【０２６４】
イントラ予測部２５４は、バッファ７１から供給される合成画像のうちの非分割符号化のＡＵに対応する画像および黒画像に対して図５のイントラ予測部８７と同様の処理を行い、分割符号化のＡＵに対して図６のイントラ予測部１２７と同様の処理を行う。
【０２６５】
動き予測・補償部２５５は、バッファ７１から供給される合成画像のうちの非分割符号化のＡＵに対応する画像および黒画像に対して図５の動き予測・補償部８８と同様の処理を行い、分割符号化のＡＵに対して図６の動き予測・補償部１２８と同様の処理を行う。
【０２６６】
予測画像選択部２５６は、合成画像のうちの非分割符号化のＡＵに対応する画像および黒画像に対して図５の予測画像選択部８９と同様の処理を行い、分割符号化のＡＵに対して図６の予測画像選択部１２９と同様の処理を行う。
【０２６７】
（符号化装置の処理の説明）
図２３は、図２１の符号化装置２３０の符号化処理を説明するフローチャートである。
【０２６８】
図２３のステップＳ２８１において、符号化装置２３０の解析部５１は、max_au_idxとframe_idxを０に設定する。ステップＳ２８２において、解析部５１は、図８の解析処理を行う。
【０２６９】
ステップＳ２８３において、決定部５３は、frame_idxが遅延枚数以上であるかどうかを判定する。ステップＳ２８３で、frame_idxが遅延枚数以上であると判定された場合、ステップＳ２８４において、ペア決定部２３１は、符号化対象のＡＵのペアを決定するペア決定処理を行う。このペア決定処理の詳細は、後述する図２４を参照して説明する。
【０２７０】
ステップＳ２８５において、ペア符号化部２３２は、符号化対象のＡＵのペアを符号化するペア符号化処理を行う。このペア符号化処理の詳細は、後述する図２５を参照して説明する。
【０２７１】
ステップＳ２８６において、ペア決定部２３１は、解析バッファ５２に記憶されている、au_idxがステップＳ２８４のペア決定処理で設定されたdisp_au_idxである解析テーブル、即ち符号化対象のＡＵのペアのうちの表示領域に対応するＡＵの解析テーブルに登録されているcoded_flagを１に変更する。そして、処理はステップＳ２８７に進む。
【０２７２】
ステップＳ２８７において、ペア決定部２３１は、ステップＳ２８４のペア決定処理で設定されるnon_disp_au_idxが−１であるかどうかを判定する。ステップＳ２８７でnon_disp_au_idxが−１ではないと判定された場合、即ち符号化対象のＡＵのペアに非表示領域に対応するＡＵが存在する場合、処理はステップＳ２８８に進む。
【０２７３】
ステップＳ２８８において、ペア決定部２３１は、解析バッファ５２に記憶されている、au_idxがnon_disp_au_idxである解析テーブル、即ち符号化対象のＡＵのペアのうちの非表示領域に対応するＡＵの解析テーブルに登録されているcoded_flagを１に変更する。そして、処理はステップＳ２８９に進む。
【０２７４】
一方、ステップＳ２８７でnon_disp_au_idxが−１である場合、即ち符号化対象のＡＵのペアに非表示領域に対応するＡＵが存在しない場合、処理はステップＳ２８９に進む。
【０２７５】
また、ステップＳ２８３でframe_idxが遅延枚数以上ではないと判定された場合、処理はステップＳ２８９に進む。ステップＳ２８９およびＳ２９０の処理は、図７のステップＳ１９およびＳ２０の処理と同様であるので、説明は省略する。
【０２７６】
図２４は、図２３のステップＳ２８４のペア決定処理を説明するフローチャートである。
【０２７７】
図２４のステップＳ３１１において、ペア決定部２３１は、idxを０に設定する。また、ペア決定部２３１は、表示領域に対応するＡＵのau_idxを示すdisp_au_idxと、非表示領域に対応するＡＵのau_idxを示すnon_disp_au_idxを、未定であることを示す−１に設定する。
【０２７８】
ステップＳ３１２乃至Ｓ３１４の処理は、図９のステップＳ６２乃至Ｓ６４の処理と同様であるので、説明は省略する。
【０２７９】
ステップＳ３１５において、ペア決定部２３１は、ステップＳ３１３で取得された解析テーブルに登録されているau_divide_flagが０であるか、または、au_divide_idxがau_divide_num-1であるかどうかを判定する。ステップＳ３１５でau_divide_flagが０であるか、または、au_divide_idxがau_divide_num-1であると判定された場合、即ち、処理対象のＡＵが非分割符号化のＡＵまたは最後分割ＡＵである場合、処理はステップＳ３１６に進む。
【０２８０】
ステップＳ３１６において、ペア決定部２３１は、disp_au_idxが−１であるかどうかを判定する。ステップＳ３１６でdisp_au_idxが−１である場合、即ち符号化されていない非分割符号化のＡＵまたは最後分割ＡＵが初めて発見された場合、処理はステップＳ３１７に進む。
【０２８１】
ステップＳ３１７において、ペア決定部２３１は、処理対象のＡＵを符号化対象のＡＵのペアの１つに決定し、disp_au_idxをidxに設定して、処理をステップＳ３２０に進める。
【０２８２】
一方、ステップＳ３１６でdisp_au_idxが−１であると判定された場合、即ち符号化されていない非分割符号化のＡＵまたは最後分割ＡＵが既に発見されている場合、処理はステップＳ３２０に進む。
【０２８３】
一方、ステップＳ３１５でau_divide_flagが０ではなく、かつ、au_divide_idxがau_divide_num-1ではないと判定された場合、即ち、符号化対象のＡＵが分割符号化の最後分割ＡＵ以外のＡＵである場合、処理はステップＳ３１８に進む。
【０２８４】
ステップＳ３１８において、ペア決定部２３１は、non_disp_au_idxが−１であるかどうかを判定する。ステップＳ３１８でnon_disp_au_idxが−１である場合、即ち符号化されていない分割符号化の最後分割ＡＵ以外のＡＵが初めて発見された場合、処理はステップＳ３１９に進む。
【０２８５】
ステップＳ３１９において、ペア決定部２３１は、処理対象のＡＵを符号化対象のＡＵのペアの１つに決定し、non_disp_au_idxをidxに設定して、処理をステップＳ３２０に進める。
【０２８６】
一方、ステップＳ３１８でnon_disp_au_idxが−１ではないと判定された場合、即ち符号化されていない分割符号化の最後分割ＡＵ以外のＡＵが既に発見されている場合、処理はステップＳ３２０に進む。
【０２８７】
ステップＳ３２０において、ペア決定部２３１は、idxを１だけインクリメントし、処理をステップＳ３１２に戻す。そして、idxがmax_au_idx以上になるまで、即ち解析バッファ５２に記憶されている全ての解析テーブルに対応するＡＵに対して、符号化されていない、非分割符号化のＡＵまたは最後分割ＡＵと分割符号化の最後分割ＡＵ以外のＡＵとのペアの検出が行われるまで、ステップＳ３１２乃至Ｓ３２０の処理が繰り返される。
【０２８８】
これにより、符号化されていない、最もau_idxが小さい非分割符号化のＡＵまたは最後分割ＡＵと分割符号化の最後分割ＡＵ以外のＡＵとのペアが検出される。但し、分割符号化の最後分割ＡＵ以外のＡＵは検出されない場合もある。この場合、non_disp_au_idxは−１のままである。
【０２８９】
一方、ステップＳ３１２でidxがmax_au_idx以上であると判定された場合、ペア決定部２３１は、au_idxがdisp_au_idxおよびnon_disp_au_idxである解析テーブルと、その解析テーブルに対応する画像をペア符号化部２３２に供給する。なお、non_disp_au_idxが−１であり、au_idxがnon_disp_au_idxである解析テーブルがない場合には、au_idxがdisp_au_idxである解析テーブルと、その解析テーブルに対応する画像のみをペア符号化部２３２に供給する。そして、処理は図２３のステップＳ２８４に戻り、ステップＳ２８５に進む。
【０２９０】
図２５は、図２３のステップＳ２８５のペア符号化処理を説明するフローチャートである。
【０２９１】
図２５のステップＳ３４１において、ペア符号化部２３２の設定部２５３（図２２）は、def_disp_win_left_offset, def_disp_win_right_offset、およびdef_disp_win_top_offsetを０に設定し、def_disp_win_bottom_offsetを復号画像の垂直方向の画素数をSubHeightCで除算した値に設定する。SubHeightCは、垂直方向の画素数を1/SubHeightC倍の値で示すために、HEVC方式で定義されるパラメータである。従って、復号時には、def_disp_win_bottom_offsetにSubHeightCが乗算された値が、復号画像の下端から表示領域の下端までの画素数とされる。
【０２９２】
ステップＳ３４２において、設定部２５３は、ステップＳ３４１で設定されたdef_disp_win_bottom_offset, def_disp_win_top_offset, def_disp_win_left_offset、およびdef_disp_win_right_offsetと、default_display_window_flagとしての１を含むVUIが配置されたSPSとスライスヘッダをヘッダ部として設定する。また、設定部２５３は、必要に応じて、PPS等の他のパラメータセットもヘッダ部として設定する。
【０２９３】
ステップＳ３４３において、設定部２５３は、ヘッダ部を符号化する。ステップＳ３４４において、画像合成部２５１は、符号化対象のＡＵのペアに対応する画像を合成する合成処理を行う。この合成処理の詳細は、後述する図２６を参照して説明する。
【０２９４】
ステップＳ３４５において、ペア符号化部２３２は、ステップＳ３４４の合成処理により生成された合成画像を符号化し、処理を図２３のステップＳ２８５に戻り、ステップＳ２８６に進める。
【０２９５】
図２６は、図２５のステップＳ３４４の合成処理を説明するフローチャートである。
【０２９６】
図２６のステップＳ３６１において、画像合成部２５１は、座標ｘおよび座標yを０に設定する。ステップＳ３６２において、画像合成部２５１は、ペア決定部２３１から供給される、au_idxがdisp_au_idxである解析テーブルに登録されているframe_idxで識別される、非分割符号化のＡＵまたは最後分割ＡＵに対応する画像をdisp_frameとする。
【０２９７】
ステップＳ３６３において、画像合成部２５１は、ペア決定部２３１で設定されたnon_disp_au_idxが−１であるかどうかを判定する。ステップＳ３６３でnon_disp_au_idxが−１ではないと判定された場合、即ちdisp_frameに対応するＡＵとペアを構成するＡＵの画像がペア決定部２３１から供給されている場合、処理はステップＳ３６４に進む。
【０２９８】
ステップＳ３６４において、画像合成部２５１は、ペア決定部２３１から供給される、au_idxがnon_disp_au_idxである解析テーブルに登録されているframe_idxで識別される、分割符号化の最後分割ＡＵ以外のＡＵに対応する符号化対象の画像をnon_disp_frameとする。そして、処理はステップＳ３６５に進む。
【０２９９】
一方、ステップＳ３６２でnon_disp_au_idxが−１であると判定された場合、即ちdisp_frameのみがペア決定部２３１から供給される場合、処理はステップＳ３６５に進む。
【０３００】
ステップＳ３６５において、画像合成部２５１は、座標ｘが符号化対象の画像の水平方向の画素数widthより小さいかどうかを判定する。ステップＳ３６５で座標ｘが符号化対象の画像の水平方向の画素数widthより小さいと判定された場合、即ち、座標ｘが、生成する合成画像内の列の画素のｘ座標である場合、処理はステップＳ３６６に進む。
【０３０１】
ステップＳ３６６において、画像合成部２５１は、座標ｙが符号化対象の画像の垂直方向の画素数heightより小さいかどうかを判定する。ステップＳ３６６で座標ｙが符号化対象の画像の垂直方向の画素数heightより小さいと判定された場合、即ち、座標ｙが、生成する合成画像内の上半分の行の画素のｙ座標である場合、処理はステップＳ３６７に進む。
【０３０２】
ステップＳ３６７において、画像合成部２５１は、disp_frameの座標(x,y)の画素値を、生成する合成画像の座標(x,y)の画素値にする。ステップＳ３６８において、画像合成部２５１は、座標ｙを１だけインクリメントし、処理をステップＳ３６６に戻す。そして、座標ｙが符号化対象の画像の垂直方向の画素数height以上になるまで、即ち、座標ｙが、生成する合成画像内の上半分の最も下の行の画素のｙ座標を表すまで、ステップＳ３６６乃至Ｓ３６８の処理を繰り返す。これにより、合成画像の座標xの列の上半分の各画素の画素値が、その画素と同一の位置のdisp_frameの画素値と同一になる。
【０３０３】
一方、ステップＳ３６６で座標ｙが符号化対象の画像の垂直方向の画素数height以上であると判定された場合、即ち、座標ｙが、生成する合成画像内の上半分より下の行の画素のｙ座標である場合、処理はステップＳ３６９に進む。
【０３０４】
ステップＳ３６９において、画像合成部２５１は、座標ｙが符号化対象の画像の垂直方向の画素数heightの２倍より小さいかどうかを判定する。ステップＳ３６９で座標ｙが符号化対象の画像の垂直方向の画素数heightの２倍より小さいと判定された場合、即ち、座標ｙが、生成する合成画像内の下半分の画素のｙ座標である場合、処理はステップＳ３７０に進む。
【０３０５】
ステップＳ３７０において、画像合成部２５１は、non_disp_au_idxが−１であるかどうかを判定する。ステップＳ３７０でnon_disp_au_idxが−１ではないと判定された場合、即ちdisp_frameに対応するＡＵとペアを構成するＡＵの画像がペア決定部２３１から供給されている場合、処理はステップＳ３７１に進む。
【０３０６】
ステップＳ３７１において、画像合成部２５１は、non_disp_frameの座標(x,y-height)の画素値を、生成する合成画像の座標(x,y)の画素値にする。
【０３０７】
一方、ステップＳ３７０でnon_disp_au_idxが−１であると判定された場合、即ちdisp_frameのみがペア決定部２３１から供給される場合、処理はステップＳ３７２に進む。ステップＳ３７２において、画像合成部２５１は、生成する合成画像の座標(x,y)の画素値を０にする。
【０３０８】
ステップＳ３７１またはＳ３７２の処理後、処理はステップＳ３６８に進み、座標ｙが１だけインクリメントされ、処理はステップＳ３６６に戻る。そして、座標ｙが符号化対象の画像の垂直方向の画素数heightの２倍以上であると判定されるまで、即ち、座標ｙが、生成する合成画像内の最も下の行の画素のｙ座標を表すまで、ステップＳ３６６およびＳ３６８乃至Ｓ３７２の処理が繰り返される。これにより、合成画像の座標xの列の下半分の各画素の画素値が、その画素よりheightだけ上の位置のnon_disp_frameの画素の画素値または０となる。
【０３０９】
一方、ステップＳ３６９で座標ｙが符号化対象の画像の垂直方向の画素数heightの２倍以上であると判定された場合、即ち、座標ｙが、生成する合成画像内の最も下の行の画素のｙ座標を表している場合、処理はステップＳ３７３に進む。
【０３１０】
ステップＳ３７３において、画像合成部２５１は、座標xを１だけインクリメントし、座標ｙを０に戻す。そして、処理はステップＳ３６５に戻り、座標ｘが符号化対象の画像の水平方向の画素数width以上になるまで、即ち、座標ｘが、生成する合成画像内の最も右の列の画素のｘ座標を表すまで、ステップＳ３６５乃至Ｓ３７３の処理が繰り返される。これにより、上半分がdisp_frameであり、下半分がnon_disp_frameまたは黒画像である合成画像が生成される。
【０３１１】
ステップＳ３６５で座標ｘが符号化対象の画像の水平方向の画素数width以上であると判定された場合、即ち、座標ｘが、生成する合成画像内の最も右の列の画素のｘ座標を表している場合、処理は図２５のステップＳ３４４に戻り、ステップＳ３４５に進む。
【０３１２】
なお、上述した説明では、非分割符号化のＡＵまたは最後分割ＡＵに対応する画像の下部に、分割符号化の最後分割ＡＵ以外のＡＵに対応する画像または黒画像が合成されるようにしたが、合成位置は、下部に限定されない。
【０３１３】
例えば、図２７に示すように、非分割符号化のＡＵまたは最後分割ＡＵに対応する画像の上部に、分割符号化の最後分割ＡＵ以外のＡＵに対応する画像または黒画像が合成されるようにしてもよい。
【０３１４】
この場合、復号画像の上半分が非表示領域に指定され、下半分が表示領域に指定される。具体的には、def_disp_win_top_offsetが、復号画像の垂直方向の画素数をSubHeightCで除算した値に設定される。また、def_disp_win_bottom_offset，def_disp_win_left_offset、およびdef_disp_win_right_offsetが０に設定される。
【０３１５】
また、図２８に示すように、非分割符号化のＡＵまたは最後分割ＡＵに対応する画像の左側に、分割符号化の最後分割ＡＵ以外のＡＵに対応する画像または黒画像が合成されるようにしてもよい。
【０３１６】
この場合、復号画像の左半分が非表示領域に指定され、右半分が表示領域に指定される。具体的には、def_disp_win_left_offsetが、復号画像の水平方向の画素数をSubWidthCで除算した値に設定される。また、def_disp_win_bottom_offset，def_disp_win_top_offset、およびdef_disp_win_right_offsetが０に設定される。なお、SubWidthCは、水平方向の画素数を1/SubWidthC倍の値で示すために、HEVC方式で定義されるパラメータである。
【０３１７】
さらに、図２９に示すように、非分割符号化のＡＵまたは最後分割ＡＵに対応する画像の右側に、分割符号化の最後分割ＡＵ以外のＡＵに対応する画像または黒画像が合成されるようにしてもよい。
【０３１８】
この場合、復号画像の左半分が表示領域に指定され、右半分が非表示領域に指定される。具体的には、def_disp_win_right_offsetが、復号画像の水平方向の画素数をSubWidthCで除算した値に設定される。また、def_disp_win_bottom_offset，def_disp_win_top_offset、およびdef_disp_win_left_offsetが０に設定される。
【０３１９】
なお、図示は省略するが、第２実施の形態における復号装置の構成は、復号部１５２が、復号画像のうちのdef_disp_win_top_offset ,def_disp_win_bottom_offset，def_disp_win_left_offset、およびdef_disp_win_right_offsetで指定される表示領域のみを表示部１５３に供給する点を除いて、図１６の構成と同一である。
【０３２０】
即ち、第２実施の形態における復号装置では、画面並べ替えバッファ１７９が、フィルタ１７６から供給される画像のうちの、def_disp_win_top_offset ,def_disp_win_bottom_offset，def_disp_win_left_offset、およびdef_disp_win_right_offsetで指定される表示領域のみをフレーム単位で記憶する。
【０３２１】
なお、第２実施の形態では、符号化方式がHEVC方式であったが、AVC方式であるようにすることもできる。この場合、default_display_window_flag,def_disp_win_top_offset ,def_disp_win_bottom_offset，def_disp_win_left_offset,def_disp_win_right_offset, SubWidthC, SubHeightCが、frame_cropping_flag ,frame_crop_top_offset , frame_crop_bottom_offset，frame_crop _left_offset, frame_crop_right_offset, CropUnitX, CropUnitYに代わる。また、可逆符号化としては、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）だけでなく、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）も用いることができる。
【０３２２】
＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０３２３】
図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０３２４】
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０３２５】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
【０３２６】
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
【０３２７】
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０３２８】
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３２９】
コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０３３０】
なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３３１】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３３２】
さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０３３３】
例えば、符号化対象の画像のピクチャタイプが、一般的にビット発生量が大きくなるＩピクチャである場合、分割符号化を行うようにしてもよい。
【０３３４】
また、分割符号化のＡＵの数は、分割領域の数と同一であってもよい。この場合、量子化ビットレートの異なる符号化は行われない。
【０３３５】
なお、本開示は、以下のような構成もとることができる。
【０３３６】
（１）
画像を複数のアクセス単位に分割して符号化し、前記複数のアクセス単位の符号化ストリームを生成する符号化部と、
前記符号化部により生成された前記複数のアクセス単位の符号化ストリームのうちの、最後のアクセス単位以外のアクセス単位の符号化ストリームを復号することにより得られる復号画像を表示しないことを示す非表示情報を設定する設定部と
を備える符号化装置。
（２）
前記符号化部は、前記画像と、前記画像より１時刻前の前画像との差分が閾値より大きい場合、前記画像を前記複数のアクセス単位に分割して符号化する
ように構成された
前記（１）に記載の符号化装置。
（３）
前記符号化部は、前記画像のピクチャタイプがＩピクチャである場合、前記画像を前記複数のアクセス単位に分割して符号化する
ように構成された
前記（１）に記載の符号化装置。
（４）
前記画像を複数の分割領域に分割し、各分割領域を含む複数の分割画像を生成する画像変更部
をさらに備え、
前記符号化部は、前記画像変更部により生成された前記分割画像をアクセス単位として符号化する
ように構成された
前記（１）乃至（３）のいずれかに記載の符号化装置。
（５）
前記符号化部は、前記複数の分割画像のうちの最初の分割画像をイントラ符号化する
ように構成された
前記（４）に記載の符号化装置。
（６）
前記画像変更部は、前記最初の分割画像を構成する前記分割領域以外の領域の画素値を固定値にする
ように構成された
前記（５）に記載の符号化装置。
（７）
前記符号化部は、前記複数の分割画像のうちの最初以外の分割画像内の前記分割領域以外の領域を、スキップモードで符号化する
ように構成された
前記（６）に記載の符号化装置。
（８）
前記符号化部は、前記複数の分割画像のうちの最後の分割画像の前記符号化ストリームを復号することにより得られる前記復号画像を参照して、前記画像を前記最後のアクセス単位として符号化する
ように構成された
前記（７）に記載の符号化装置。
（９）
前記画像変更部は、前記最後のアクセス単位以外のアクセス単位に対応する分割画像と他の画像とを合成して合成画像を生成し、
前記符号化部は、前記画像変更部により生成された前記合成画像をアクセス単位として符号化し、
前記非表示情報は、前記最後のアクセス単位以外のアクセス単位の符号化ストリームを復号することにより得られる合成画像のうちの、前記分割画像を表示しないことを示す
ように構成された
前記（４）乃至（８）のいずれかに記載の符号化装置。
（１０）
前記非表示情報は、前記最後のアクセス単位以外のアクセス単位の符号化ストリームを復号することにより得られる合成画像のうちの、前記分割画像の領域以外の領域を表示領域として指定する情報である
ように構成された
前記（９）に記載の符号化装置。
（１１）
前記画像変更部は、前記画像と、他の画像の分割画像または所定の画像とを合成して、最後のアクセス単位に対応する合成画像を生成し、
前記符号化部は、前記画像変更部により生成された前記最後のアクセス単位に対応する合成画像を前記最後のアクセス単位として符号化し、
前記設定部は、前記最後のアクセス単位の符号化ストリームを復号することにより得られる合成画像のうちの、前記画像の領域を表示領域として指定する表示情報を設定する
ように構成された
前記（９）または（１０）に記載の符号化装置。
（１２）
前記設定部は、前記最後のアクセス単位の符号化ストリームを復号することにより得られる復号画像を表示することを示す表示情報を設定する
ように構成された
前記（１）乃至（８）のいずれかに記載の符号化装置。
（１３）
符号化装置が、
画像を複数のアクセス単位に分割して符号化し、前記複数のアクセス単位の符号化ストリームを生成する符号化ステップと、
前記符号化ステップの処理により生成された前記複数のアクセス単位の符号化ストリームのうちの、最後のアクセス単位以外のアクセス単位の符号化ストリームを復号することにより得られる復号画像を表示しないことを示す非表示情報を設定する設定ステップと
を含む符号化方法。
【符号の説明】
【０３３７】
１１乃至１３  分割画像,  ２４  画像,  ４１乃至４３  分割復号画像,  ４４  復号画像,  ５０  符号化装置,  １１２  演算部,  １１８  設定部，  ２０１乃至２０４  合成画像，  ２３０  符号化装置,  ２５１  画像合成部,  ２５３  設定部
【図１】
2017154563.tif 000003
【図２】
2017154563.tif 000004
【図３】
2017154563.tif 000005
【図４】
2017154563.tif 000006
【図５】
2017154563.tif 000007
【図６】
2017154563.tif 000008
【図７】
2017154563.tif 000009
【図８】
2017154563.tif 000010
【図９】
2017154563.tif 000011
【図１０】
2017154563.tif 000012
【図１１】
2017154563.tif 000013
【図１２】
2017154563.tif 000014
【図１３】
2017154563.tif 000015
【図１４】
2017154563.tif 000016
【図１５】
2017154563.tif 000017
【図１６】
2017154563.tif 000018
【図１７】
2017154563.tif 000019
【図１８】
2017154563.tif 000020
【図１９】
2017154563.tif 000021
【図２０】
2017154563.tif 000022
【図２１】
2017154563.tif 000023
【図２２】
2017154563.tif 000024
【図２３】
2017154563.tif 000025
【図２４】
2017154563.tif 000026
【図２５】
2017154563.tif 000027
【図２６】
2017154563.tif 000028
【図２７】
2017154563.tif 000029
【図２８】
2017154563.tif 000030
【図２９】
2017154563.tif 000031
【図３０】
2017154563.tif 000032
【国際調査報告】
2017154563.tif 000033
2017154563.tif 000034
2017154563.tif 000035
2017154563.tif 000036