(57)【特許請求の範囲】
【請求項１】
画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号装置において、
前記単予測または前記双予測の予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、
前記予測単位が所定のサイズ以下の場合、
前記動き補償パラメータ導出部は、前記予測方式を前記単予測に変換して前記動き補償パラメータを導出することを特徴とする画像復号装置。
【請求項２】
前記動き補償パラメータは、少なくとも第１の参照予測リストを用いるか否かを示す第１の予測リスト利用フラグと第２の参照予測リストを用いるか否かを示す第２の予測リスト利用フラグとを含むことを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記第１の予測リスト利用フラグ及び第２の予測リスト利用フラグの値が、１である場合、
前記動き補償パラメータ導出部は、前記第１の予測リスト利用フラグ又は前記第２の予測リスト利用フラグの値を０に変換することを特徴とする請求項２に記載の画像復号装置。
【請求項４】
前記予測単位のサイズは、該予測単位の幅と高さを用いて算出されることを特徴とする請求項１から請求項３のいずれかに記載の画像復号装置。
【請求項５】
画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号方法において、
前記単予測または前記双予測の予測方式を示す動き補償パラメータを導出する第一のステップと、
前記予測単位のサイズが、所定のサイズ以下か否かを判定する第二のステップとを少なくとも含み、
前記第一のステップは、前記予測単位が前記所定のサイズ以下の場合、前記予測方式を前記単予測に変換して前記動き補償パラメータを導出することを特徴とする画像復号方法。
【請求項６】
画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像
を参照する双予測を用いて予測単位内の画像を符号化する画像符号化装置において、
前記単予測または前記双予測の予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、
前記予測単位が所定のサイズ以下の場合、
前記動き補償パラメータ導出部は、前記予測方式を前記単予測に変換して前記動き補償パラメータを導出することを特徴とする画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表す符号化データを復号する画像復号装置、および画像復号方法、ならびに画像を符号化することによって符号化データを生成する画像符号化装置に関する。
【背景技術】
【０００２】
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。【０００３】
具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式や、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている方式（非特許文献１、４）などが挙げられる。【０００４】
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位（コーディングユニット（Coding Unit）と呼ばれることもある）、及び、符号化単位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、普通、ブロックごとに符号化／復号される。【０００５】
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。【０００６】
イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。【０００７】
一方、インター予測においては、フレーム全体が復号された参照フレーム（復号画像）内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位（例えば、ブロック）毎に生成される。【０００８】
インター予測については、近時開催されたJCT-VCの第６回会合（Torino, IT, 14-22 July, 2011）において、インター予測を用いる場合において、符号化処理の単位となる符号化単位を非対称のパーティション（ＰＵ）に分割する技術が採用されている（AMP; Asymmetric Motion Partition，非特許文献２、３）。【０００９】
また、パーティションのタイプが、非対称パーティションである場合、非正方形の４分木変換（NSQT; Non-Square Quadtree Transform）を行うことが提案されている（非特許文献２）。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】「WD4: Working Draft 4 of High-Efficiency Video Coding (JCTVC-F803_d1)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011（２０１１年９月８日公開）
【非特許文献２】「CE2: Non-Square Quadtree Transform for symmetric and asymmetric motion partition（JCTVC-F412）」, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino, IT, 14-22 July, 2011（２０１１年７月２日公開）
【非特許文献３】「CE2: Test results of asymmetric motion partition (AMP)（JCTVC-F379）」, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino, 14-22 July, 2011（２０１１年７月２日公開）
【非特許文献４】「WD4: Working Draft 4 of High-Efficiency Video Coding (JCTVC-F803_d5)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011（２０１１年１０月２８日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、インター予測において、上述した非対称パーティションが新たに追加されることによりサイド情報の符号量は増加している。また、新たに追加された非対称パーティションは、従来の対称パーティションと性質が異なっているにもかかわらず、その性質が符号化処理において十分に活用されていないという課題がある。【００１２】
本発明は、上記問題を鑑みてなされたものであり、その目的は、非対称パーティションを用いる場合における符号量の削減と、非対称パーティションの性質を活用した効率のよい符号化／復号処理を実現することができる画像復号装置、画像復号方法および画像符号化装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明の一態様に係る画像復号装置は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号装置において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、前記予測単位が所定のサイズ以下の場合、前記動き補償パラメータ導出部は、前記予測方式を切り替えて前記動き補償パラメータを導出することを特徴とする。【００１４】
上記の課題を解決するために、本発明の一態様に係る画像復号方法は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号方法において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出するステップと、前記予測単位のサイズが、所定のサイズ以下か否かを判定するステップとを少なくとも含み、前記動き補償パラメータを導出するステップは、前記予測単位が前記所定のサイズ以下の場合、前記予測方式を切り替えて前記動き補償パラメータを導出することを特徴とする。【００１５】
上記の課題を解決するために、本発明の一態様に係る画像符号化装置は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を符号化する画像符号化装置において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、前記予測単位が所定のサイズ以下の場合、前記動き補償パラメータ導出部は、前記予測方式を切り替えて前記動き補償パラメータを導出することを特徴とする。【００１６】
上記の課題を解決するために、本発明の一態様に係る画像復号装置は、符号化単位毎に、画像符号化データを復号して復号画像を生成する画像復号装置において、前記符号化単位を分割する分割タイプを指定する情報を復号するＣＵ情報復号部と、コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記画像符号化データからバイナリ値を復号する算術復号部とを備え、前記ＣＵ情報復号部が、前記分割タイプとして非対称的分割（ＡＭＰ; Asymmetric Motion Partition）を指定する情報を復号する場合、前記算術復号部は、前記バイナリ値の位置に応じて、前記コンテキストを用いた算術復号と前記コンテキストを用いない算術復号とを切り替えて復号することを特徴とする。
【発明の効果】
【００１７】
本発明の一態様によれば、非対称パーティションを用いる場合における符号量の削減と、非対称パーティションの性質を活用した効率のよい符号化／復号処理を実現することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る動画像復号装置が備えるＣＵ情報復号部および復号モジュールの構成例について示す機能ブロック図である。
【図２】上記動画像復号装置の概略的構成について示した機能ブロック図である。
【図３】本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図であり、（ａ）〜（ｄ）は、それぞれ、ピクチャレイヤ、スライスレイヤ、ツリーブロックレイヤ、およびＣＵレイヤを示す図である。
【図４】ＰＵ分割タイプのパターンを示す図である。（ａ）〜（ｈ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤの場合のパーティション形状について示している。
【図５】ＣＵのサイズおよびＰＵ分割タイプに対応付けて、ＰＵの個数およびサイズが定義されているＰＵサイズテーブルの具体的な構成例を示す図である。
【図６】傾斜を有するエッジが存在する２Ｎ×ＮのＣＵおよび２Ｎ×ｎＵのＣＵを示す図である。
【図７】ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の一例を示すテーブルである。
【図８】８×８サイズのＣＵについて定義する上記二値化情報の一例を示す図である。
【図９】８×８サイズのＣＵについて定義する上記二値化情報の他の例を示す図である。
【図１０】ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の他の例を示すテーブルである。
【図１１】ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の別の例を示すテーブルである。
【図１２】上記動画像復号装置が備えるＰＵ情報復号部および復号モジュールの構成例について示す機能ブロック図である。
【図１３】非対称パーティションが選択されたＣＵを示す図である。
【図１４】対称パーティションが選択されたＣＵにおけるマージ候補の優先順位を示す図である。
【図１５】非対称パーティションが選択されたＣＵにおけるマージ候補の優先順位を示す図である。（ａ）および（ｂ）は、いずれも、ＰＵ分割タイプが２Ｎ×ｎＵである場合のＣＵを示している。（ａ）は、小さい方のパーティションにおけるマージ候補の優先順位について示しており、（ｂ）は、大きい方のパーティションにおけるマージ候補の優先順位について示している。また、（ｃ）および（ｄ）は、いずれも、ＰＵ分割タイプが２Ｎ×ｎＤである場合のＣＵを示している。また、（ｃ）は、大きい方のパーティションにおけるマージ候補の優先順位について示しており、（ｄ）は、小さい方のパーティションにおけるマージ候補の優先順位について示している。
【図１６】上記動画像復号装置が備えるＴＵ情報復号部および復号モジュールの構成例について示す機能ブロック図である。
【図１７】ＣＵのサイズ、ＴＵ分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプに応じて、ＴＵ分割パターンが定義される変換サイズ決定情報の一例を示す図である。
【図１８】正方形のノードを正方形または非正方形に４分木分割する分割方式について示す図である。（ａ）は、正方形の分割、（ｂ）は、横長の長方形の分割、および、（ｃ）は、縦長の長方形の分割を示している。
【図１９】正方形のノードを正方形または非正方形に４分木分割する分割方式について示す図である。（ａ）は、横長のノードの横長の分割、（ｂ）は、横長のノードの正方形の分割、（ｃ）は、縦長のノードの縦長の分割、および（ｄ）は、縦長のノードの正方形の分割を示している。
【図２０】ＰＵ分割タイプ２Ｎ×Ｎの３２×３２ＣＵにおけるＴＵ分割の例を示す図である。
【図２１】ＰＵ分割タイプ２Ｎ×ｎＵの３２×３２ＣＵにおけるＴＵ分割の例を示す図である。
【図２２】図１７に示す変換サイズ決定情報に従って分割を行った場合のＴＵ分割の流れを示す図である。（ａ）は、ＰＵ分割タイプが、２Ｎ×２Ｎの場合を示しており、（ｂ）は、ＰＵ分割タイプが、２Ｎ×ｎＵの場合を示している。
【図２３】ＰＵ分割タイプが２Ｎ×２Ｎの領域の分割を行った場合のＴＵ分割の流れの一例を示す図である。
【図２４】ＣＵ復号処理の流れの一例を示すフローチャートである。
【図２５】本発明の一実施形態に係る動画像符号化装置の概略的構成について示した機能ブロック図である。
【図２６】ＣＵ符号化処理の流れの一例を示すフローチャートである。
【図２７】上記動画像符号化装置を搭載した送信装置、および、上記動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、動画像復号装置を搭載した受信装置を示している。
【図２８】上記動画像符号化装置を搭載した記録装置、および、上記動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、動画像復号装置を搭載した再生装置を示している。
【図２９】上記動画像復号装置が備えるＰＵ情報復号部の動き補償パラメータ導出部の詳細な構成例について示す機能ブロック図である。
【図３０】上記動画像復号装置が備える復号モジュールの動き情報復号部の詳細な構成例について示す機能ブロック図である。
【図３１】従来技術におけるＰＵのシンタックステーブルの例であり、双予測制限を行わない場合の符号化データの構成を示す図である。
【図３２】インター予測フラグの意味について示す図である。（ａ）は、２値フラグである場合のインター予測フラグの意味を示し、（ｂ）は、３値フラグである場合のインター予測フラグの意味を示す。
【図３３】ＰＵのシンタックステーブルの例を示す図であり、（ａ）および（ｂ）は各々双予測制限を行う場合の符号化データの構成の特にインター予測フラグinter_pred_flagの部分を示す。
【図３４】双予測制限に関するシンタックステーブルの例を示す図である。（ａ）は、シーケンスパラメータセットが双予測制限をするか否かを制限するフラグdisable_bipred_in_small_PUを含む場合を示す。（ｂ）は、共通のフラグとして予測制約フラグuse_restricted_predictionを設ける例である。（ｃ）は、双予測を禁止するＰＵのサイズを示すdisable_bipred_sizeを符号化データに含める例である。
【図３５】双予測制限を実施する範囲および双予測制限方法の対応関係を示す図である。
【図３６】双予測制限に関するシンタックステーブルの例を示す図である。
【図３７】双予測制限に関するコンバインドテーブルを説明する図であり、（ａ）、（ｂ）、（ｃ）は、combined_inter_pred_ref_idxの値の例を説明するための図であり、（ｄ）は最大値MaxPredRefの導出方法を示すテーブルおよび擬似コードを示す図である。
【図３８】コンバインドテーブルに対する可変テーブルを説明する図であり、（ａ）は、変換可変テーブルEncTableと逆変換可変テーブルDecTableの例を示す図であり、（ｂ）は、逆変換可変テーブルDecTableを示す図である。
【図３９】双予測制限に関するinter_pred_flagを復号を説明する図である。
【図４０】双予測制限に関する結合結合インター予測参照インデックスフラグcombined_inter_pred_ref_idxの復号を説明する図である。
【図４１】逆変換可変テーブルを用いる場合のcombined_inter_pred_ref_idxの復号処理を示す擬似コード。
【図４２】変換可変テーブルを用いる場合のcombined_inter_pred_ref_idxの符号化処理を示す擬似コード。
【図４３】マージ動き補償パラメータ導出部の構成を示すブロック図である。
【図４４】マージ動き補償パラメータ導出部の動作を示すフローチャートである。
【図４５】隣接マージ候補導出部１２１２Ａの動作を説明する図である。
【図４６】（ａ）〜（ｃ）は、時間的マージ候補導出部１２１２Ｂの動作を説明する図である。
【図４７】ユニーク候補導出部１２１２Ｃの動作を説明する図である。
【図４８】（ａ）〜（ｃ）は、結合双予測マージ候補導出部１２１２Ｄの動作を説明する図である。
【図４９】（ａ）、（ｂ）は、非スケール双予測マージ候補導出部１２１２Ｅの動作を説明する図である。
【図５０】ゼロベクトルマージ候補導出部１２１２Ｆの動作を説明する図である。
【図５１】双単予測変換の動作を説明する図である。
【図５２】双予測制限方法の例を説明する図であり、（ａ）は、４ｘ４、４ｘ８、４ｘ８のサイズのＰＵに対して、一様に、基本インターＰＵの双予測制限、マージＰＵの双予測制限、双予測マージ候補導出のスキップを適用する例を示す図であり、（ｂ）、（ｃ）は、マージＰＵの双予測制限、双予測マージ候補導出のスキップは行わず基本インターＰＵにのみ双予測制限を行う例を示す図であり、（ｄ）は、４ｘ４、４ｘ８、４ｘ８のサイズのＰＵに対して、一様に、基本インターＰＵの双予測制限、８ｘ８のサイズのＰＵに対してマージＰＵの双予測制限、双予測マージ候補導出のスキップを適用する例を示す図である。
【図５３】双予測制限方法の例を説明する図であり、（ａ）は、４ｘ４、４ｘ８、４ｘ８、８ｘ８に対して、基本インターＰＵの双予測制限と双予測マージ候補導出のスキップを適用する例を示す図であり、（ｂ）は、４ｘ４、４ｘ８、４ｘ８、８ｘ８に対して、双予測マージ候補導出のスキップを適用する例を示す図である。
【図５４】基本動き補償パラメータ導出部の構成を示すブロック図である。
【図５５】ＰＵ情報生成部の構成を示すブロック図である。
【図５６】マージ動き補償パラメータ生成部の構成を示すブロック図である。
【図５７】基本動き補償パラメータ生成部の構成を示すブロック図である。
【図５８】Ｈ．２６４／ＡＶＣにおけるレベル規制を定義するテーブルである。
【図５９】Ｈ．２６４／ＡＶＣにおけるレベル規制を定義するテーブルである。
【図６０】適応的なＰＵサイズ制約および双予測制限について示した図である。（ａ）は、１６×１６ＣＵの場合について示しており、（ｂ）は、８×８ＣＵの場合について示している。
【図６１】ＰＵ情報復号部が備えるマージ動き補償パラメータ導出部等の構成例を示すブロック図である。
【図６２】双予測制限に関するシンタックステーブルの一例を示す図である。
【図６３】双予測制限ＰＵ判定部の動作について示した疑似コードの一例を示す図である。
【図６４】双予測制限に関するシンタックステーブルの他の例を示す図である。
【図６５】双予測制限ＰＵ判定部の動作について示した疑似コードの他の例を示す図である。
【図６６】双予測制限に関するシンタックステーブルの別の例を示す図である。
【図６７】双予測制限ＰＵ判定部の動作について示した疑似コードの別の例を示す図である。
【図６８】双予測制限ＰＵ判定部の動作について示した疑似コードの別の例の変形例を示す図である。
【図６９】双予測制限に関するシンタックステーブルのさらに別の例を示す図である。
【図７０】双予測制限ＰＵ判定部の動作について示した疑似コードのさらに別の例を示す図である。
【図７１】マージ動き補償パラメータ導出部および双単予測変換部の処理の流れの一例について示すフローチャートである。
【図７２】ＰＵ情報復号部が備えるマージ動き補償パラメータ導出部等の構成例を示すブロック図である。
【図７３】マージ動き補償パラメータ導出部および双単予測変換部の処理の流れの変形例について示すフローチャートである。
【図７４】マージ候補導出処理と、双単変換処理と、リスト作成処理とからなる一連の処理のタイムチャートである。
【図７５】マージ候補導出処理と、双単変換処理と、リスト作成処理とからなる一連の処理のタイムチャートである。
【図７６】ＰＵ情報復号部が備えるマージ動き補償パラメータ導出部等の構成例を示すブロック図である。
【図７７】Ｘ座標を整数化する整数化処理の具体例について説明する図である。
【図７８】Ｙ座標を整数化する整数化処理の具体例について説明する図である。
【図７９】Ｘ座標およびＹ座標を整数化する整数化処理の具体例について説明する図である。
【図８０】片方のリストのみＸ座標およびＹ座標を整数化する整数化処理の具体例について説明する図である。
【図８１】ＰＵ情報生成部が備えるマージ動き補償パラメータ生成部等の構成例を示すブロック図である。
【図８２】ＰＵ情報生成部が備えるマージ動き補償パラメータ生成部等の構成例を示すブロック図である。
【図８３】ＰＵ情報生成部が備えるマージ動き補償パラメータ生成部等の構成例を示すブロック図である。
【図８４】本発明におけるレベル規制を定義するテーブルである。
【図８５】本発明におけるレベル規制の別の例を定義するテーブルである。
【図８６】双予測制限ＰＵ判定部の動作について示した疑似コードの別の例の変形例を示す図である。
【図８７】動き補償パラメータ制限部の動作について示した疑似コードの例を示す図である。
【図８８】PU情報生成部３０の別の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
本発明の一実施形態について図１〜図２４を参照して説明する。まず、図２を参照しながら、動画像復号装置（画像復号装置）１および動画像符号化装置（画像符号化装置）２の概要について説明する。図２は、動画像復号装置１の概略的構成を示す機能ブロック図である。
【００２０】
図２に示す動画像復号装置１および動画像符号化装置２は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ規格に採用されている技術、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている技術、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている技術、および、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている技術を実装している。
【００２１】
動画像符号化装置２は、これらの動画像符号化方式において、エンコーダからデコーダに伝送されることが規定されているシンタックス（syntax）の値をエントロピー符号化して符号化データ＃１を生成する。
【００２２】
エントロピー符号化方式としては、コンテキスト適応型可変長符号化（CAVLC：Context-based Adaptive Variable Length Coding）、および、コンテキスト適応型２値算術符号化（CABAC：Context-based Adaptive Binary Arithmetic Coding）が知られている。
【００２３】
ＣＡＶＬＣおよびＣＡＢＡＣによる符号化／復号においては、コンテキストに適応した処理が行われる。コンテキストとは、符号化／復号の状況（文脈）のことであり、関連シンタックスの過去の符号化／復号結果により定まるものである。関連シンタックスとしては、例えば、イントラ予測、インター予測に関する各種シンタックス、輝度（Luma）、色差（Chroma）に関する各種シンタックス、およびＣＵ(Coding Unit 符号化単位)サイズに関する各種シンタックスなどがある。また、ＣＡＢＡＣでは、シンタックスに対応する２値データ（バイナリ列）における、符号化／復号対象となるバイナリの位置をコンテキストとして用いる場合もある。
【００２４】
ＣＡＶＬＣでは、符号化に用いるＶＬＣテーブルを適応的に変更して、各種シンタックスが符号化される。一方、ＣＡＢＡＣでは、予測モードおよび変換係数等の多値を取り得るシンタックスに対して２値化処理が施され、この２値化処理によって得られた２値データが発生確率に応じて適応的に算術符号化される。具体的には、バイナリ値（０または１）の発生確率を保持するバッファを複数用意し、コンテキストに応じて一つのバッファを選択し、当該バッファに記録されている発生確率に基づいて算術符号化を行う。また、復号／符号化するバイナリ値に基づいて、当該バッファの発生確率を更新することで、コンテキストに応じて適切な発生確率を維持できる。
【００２５】
動画像復号装置１には、動画像符号化装置２が動画像を符号化した符号化データ＃１が入力される。動画像復号装置１は、入力された符号化データ＃１を復号して動画像＃２を外部に出力する。動画像復号装置１の詳細な説明に先立ち、符号化データ＃１の構成を以下に説明する。
【００２６】
〔符号化データの構成〕
図３を用いて、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成例について説明する。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
【００２７】
符号化データ＃１におけるピクチャレイヤ以下の階層の構造を図３に示す。図３の（ａ）〜（ｄ）は、それぞれ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
【００２８】
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
【００２９】
なお、以下、スライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。
【００３０】
ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた可変長符号化のモードを示す符号化モード情報（entropy_coding_mode_flag）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。
【００３１】
entropy_coding_mode_flagが０の場合、当該ピクチャＰＩＣＴは、ＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）によって符号化されている。また、entropy_coding_mode_flagが１である場合、当該ピクチャＰＩＣＴは、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）によって符号化されている。
【００３２】
なお、ピクチャヘッダＰＨは、ピクチャー・パラメーター・セット（ＰＰＳ：Picture Parameter Set）とも称される。
【００３３】
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｂ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1〜ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）を含んでいる。
【００３４】
スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
【００３５】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単予測、双予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
【００３６】
また、スライスヘッダＳＨには、動画像復号装置１の備えるループフィルタ（不図示）によって参照されるフィルタパラメータが含まれていてもよい。
【００３７】
（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
【００３８】
ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
【００３９】
ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのユニットに分割される。
【００４０】
ツリーブロックＴＢＬＫの上記ユニットは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
【００４１】
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するユニットを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
【００４２】
つまり、符号化単位情報ＣＵ１〜ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
【００４３】
また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
【００４４】
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのユニット）のサイズの縦横とも半分である。
【００４５】
また、各符号化ノードの取り得るサイズは、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、符号化ノードのサイズ指定情報および最大階層深度（maximum hierarchical depth）に依存する。例えば、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、最大階層深度が３である場合には、当該ツリーブロックＴＢＬＫ以下の階層における符号化ノードは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および８×８画素の何れかを取り得る。
【００４６】
（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｃ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
【００４７】
ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
【００４８】
なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
【００４９】
また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
【００５０】
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
【００５１】
ここで、符号化単位情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
【００５２】
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
【００５３】
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
【００５４】
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
【００５５】
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
【００５６】
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、Ｎ×２Ｎ、および、Ｎ×Ｎなどがある。
【００５７】
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
【００５８】
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
【００５９】
（符号化単位情報のデータ構造）
続いて、図３の（ｄ）を参照しながら符号化単位情報ＣＵに含まれるデータの具体的な内容について説明する。図３の（ｄ）に示すように、符号化単位情報ＣＵは、具体的には、スキップモードフラグＳＫＩＰ、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含む。
【００６０】
［スキップフラグ］
スキップフラグＳＫＩＰは、対象ＣＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、その符号化単位情報ＣＵにおけるＰＴ情報ＰＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
【００６１】
［ＣＵ予測タイプ情報］
ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅは、ＣＵ予測方式情報ＰｒｅｄＭｏｄｅおよびＰＵ分割タイプ情報ＰａｒｔＭｏｄｅを含む。
【００６２】
ＣＵ予測方式情報ＰｒｅｄＭｏｄｅは、対象ＣＵに含まれる各ＰＵについての予測画像生成方法として、イントラ予測（イントラＣＵ）、および、インター予測（インターＣＵ）のいずれを用いるのかを指定するものである。なお、以下では、対象ＣＵにおける、スキップ、イントラ予測、および、インター予測の種別を、ＣＵ予測モードと称する。
【００６３】
ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅは、対象符号化単位（ＣＵ）の各ＰＵへの分割のパターンであるＰＵ分割タイプを指定するものである。以下、このように、ＰＵ分割タイプに従って、対象符号化単位（ＣＵ）を各ＰＵへ分割することをＰＵ分割と称する。
【００６４】
ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅは、例示的には、ＰＵ分割パターンの種類を示すインデックスであってもよいし、対象予測ツリーに含まれる各ＰＵの形状、サイズ、および、対象予測ツリー内での位置が指定されていてもよい。
【００６５】
なお、選択可能なＰＵ分割タイプは、ＣＵ予測方式とＣＵサイズに応じて異なる。また、さらにいえば、選択可能できるＰＵ分割タイプは、インター予測およびイントラ予測それぞれの場合において異なる。また、ＰＵ分割タイプの詳細については後述する。
【００６６】
また、Ｉスライスでない場合、ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅの値は、ツリーブロックの分割（partition）、予測方式、およびＣＵの分割（split）の方法の組み合わせを指定するインデックス（cu_split_pred_part_mode）によって特定されるようになっていてもよい。
【００６７】
［ＰＴ情報］
ＰＴ情報ＰＴＩは、対象ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合である。上述のとおり予測画像の生成は、ＰＵを単位として行われるので、ＰＴ情報ＰＴＩは、動画像復号装置１によって予測画像が生成される際に参照される。ＰＴ情報ＰＴＩは、図３の（ｄ）に示すように、各ＰＵにおける予測情報等を含むＰＵ情報ＰＵＩ１〜ＰＵＩＮＰ（ＮＰは、対象ＰＴに含まれるＰＵの総数）を含む。
【００６８】
予測情報ＰＵＩは、予測タイプ情報Ｐｒｅｄ＿ｍｏｄｅが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報を含む。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。
【００６９】
インター予測情報は、動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。
【００７０】
インター予測パラメータとしては、例えば、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、および動きベクトル残差（ｍｖｄ）が挙げられる。
【００７１】
イントラ予測情報は、動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。
【００７２】
イントラ予測パラメータとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。
【００７３】
なお、イントラ予測情報では、ＰＣＭモードを用いるか否かを示すＰＣＭモードフラグが符号化されていてもよい。ＰＣＭモードフラグが符号化されている場合であって、ＰＣＭモードフラグがＰＣＭモードを用いることを示しているときには、予測処理（イントラ）、変換処理、および、エントロピー符号化の各処理が省略される。
【００７４】
［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。
【００７５】
ＴＴ情報ＴＴＩは、図３の（ｄ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＵ、および、ＴＵ情報ＴＵＩ1〜ＴＵＩNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
【００７６】
ＴＴ分割情報ＳＰ＿ＴＵは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＵは、対象となるノードの分割を行うのか否かを示す情報（split_transform_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。
【００７７】
また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズを取り得る。
【００７８】
ＴＵ情報ＴＵＩ1〜ＴＵＩNTは、ＴＴに含まれる１または複数のＴＵそれぞれに関する個別の情報である。例えば、ＴＵ情報ＴＵＩは、量子化予測残差を含んでいる。
【００７９】
各量子化予測残差は、動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
【００８０】
処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
【００８１】
（ＰＵ分割タイプ）
ＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる領域のことをパーティションとも称する。
【００８２】
図４の（ａ）〜（ｈ）に、それぞれの分割タイプについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。
【００８３】
なお、図４の（ａ）は、ＣＵの分割を行わない２Ｎ×２ＮのＰＵ分割タイプを示している。
【００８４】
また、図４の（ｂ）、（ｃ）、および（ｄ）は、それぞれ、ＰＵ分割タイプが、それぞれ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションの形状について示している。以下、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションを、まとめて横長パーティションと称する。
【００８５】
また、図４の（ｅ）、（ｆ）、および（ｇ）は、それぞれ、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。以下、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションを、まとめて縦長パーティションと称する。
【００８６】
また、横長パーティションおよび縦長パーティションをまとめて長方形パーティションと称する。
【００８７】
また、図４の（ｈ）は、ＰＵ分割タイプが、Ｎ×Ｎである場合のパーティションの形状を示している。図４の（ａ）および（ｈ）のＰＵ分割タイプのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図４の（ｂ）〜（ｇ）のＰＵ分割タイプのことは、非正方形分割とも称する。
【００８８】
また、図４の（ａ）〜（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。
【００８９】
また、図４の（ａ）〜（ｈ）において、左上がＣＵの基準点（原点）であるとする。
【００９０】
［インター予測の場合の分割タイプ］
インターＰＵでは、上記８種類の分割タイプのうち、Ｎ×Ｎ（図４の（ｈ））以外の７種類が定義されている。なお、上記４つの非対称的分割は、ＡＭＰ（Asymmetric Motion Partition）と呼ばれることもある。
【００９１】
なお、上述のＮの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、１２８×１２８画素のインターＣＵは、１２８×１２８画素、１２８×６４画素、６４×１２８画素、６４×６４画素、１２８×３２画素、１２８×９６画素、３２×１２８画素、および、９６×１２８画素のインターＰＵへ分割することが可能である。
【００９２】
［イントラ予測の場合の分割タイプ］
イントラＰＵでは、次の２種類の分割パターンが定義されている。すなわち、対象ＣＵを分割しない、すなわち対象ＣＵ自身が１つのＰＵとして取り扱われる分割パターン２Ｎ×２Ｎと、対象ＣＵを、４つのＰＵへと対称的に分割するパターンＮ×Ｎと、である。
【００９３】
したがって、イントラＰＵでは、図４に示した例でいえば、（ａ）および（ｈ）の分割パターンを取ることができる。
【００９４】
例えば、１２８×１２８画素のイントラＣＵは、１２８×１２８画素、および、６４×６４画素のイントラＰＵへ分割することが可能である。
【００９５】
なお、Iスライスの場合、符号化単位情報ＣＵにおいて、ＰＵ分割タイプＰａｒｔＭｏｄｅを特定するためのイントラ分割モード（intra_part_mode）が含まれていてもよい。
【００９６】
（ＴＵ分割およびノード内のＴＵの順序）
次に、図１８〜図２０を用いて、ＴＵ分割およびノード内のＴＵの順序について説明する。ＴＵ分割のパターンは、ＣＵのサイズ、分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプにより定まる。
【００９７】
また、ＴＵ分割のパターンには、正方形の４分木分割と、非正方形の４分木分割とが含まれる。ＴＵ分割のパターンの具体例は、図１８および図１９に示すとおりである。
【００９８】
図１８は、正方形のノードを正方形または非正方形に４分木分割する分割方式について示している。
【００９９】
図１８の（ａ）は、正方形のノードを正方形に４分木分割する分割方式を示している。また、同図の（ｂ）は、正方形のノードを横長の長方形に４分木分割する分割方式を示している。そして、同図の（ｃ）は、正方形のノードを縦長の長方形に４分木分割する分割方式を示している。
【０１００】
また、図１９は、非正方形のノードを正方形または非正方形に４分木分割する分割方式について示している。
【０１０１】
図１９の（ａ）は、横長の長方形のノードを横長の長方形に４分木分割する分割方式を示している。また、同図の（ｂ）は、横長の長方形のノードを正方形に４分木分割する分割方式を示している。また、同図の（ｃ）は、縦長の長方形のノードを縦長の長方形に４分木分割する分割方式を示している。そして、同図の（ｄ）は、縦長の長方形のノードを正方形に４分木分割する分割方式を示している。
【０１０２】
また、図２０に、ＰＵ分割タイプ２Ｎ×Ｎの３２×３２ＣＵのＴＵ分割の例を示している。同図において、“ｄｅｐｔｈ”は、分割の深度（trafoDepth）を示している。また、“ｓｐｌｉｔ”は、当該ｄｅｐｔｈにおけるsplit_transform_flagの値を示している。“ｓｐｌｉｔ”が“１”であれば、当該ｄｅｐｔｈのノードについてＴＵ分割を行い、“０”であれば、ＴＵ分割を行わない。
【０１０３】
ＣＵのサイズ、分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプと、ＴＵ分割パターンとの対応関係の詳細については後述する。
【０１０４】
〔動画像復号装置〕
以下では、本実施形態に係る動画像復号装置１の構成について、図１〜図２４を参照して説明する。
【０１０５】
（動画像復号装置の概要）
動画像復号装置１は、ＰＵ毎に予測画像を生成し、生成された予測画像と、符号化データ＃１から復号された予測残差とを加算することによって復号画像＃２を生成し、生成された復号画像＃２を外部に出力する。
【０１０６】
ここで、予測画像の生成は、符号化データ＃１を復号することによって得られる符号化パラメータを参照して行われる。符号化パラメータとは、予測画像を生成するために参照されるパラメータのことである。符号化パラメータには、画面間予測において参照される動きベクトルや画面内予測において参照される予測モードなどの予測パラメータに加えて、ＰＵのサイズや形状、ブロックのサイズや形状、および、原画像と予測画像との残差データなどが含まれる。以下では、符号化パラメータに含まれる情報のうち、上記残差データを除く全ての情報の集合を、サイド情報と呼ぶ。
【０１０７】
また、以下では、復号の対象となるピクチャ（フレーム）、スライス、ツリーブロック、ブロック、および、ＰＵをそれぞれ、対象ピクチャ、対象スライス、対象ツリーブロック、対象ブロック、および、対象ＰＵと呼ぶことにする。
【０１０８】
なお、ツリーブロックのサイズは、例えば６４×６４画素であり、ＰＵのサイズは、例えば、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素や４×４画素などである。しかしながら、これらのサイズは、単なる例示であり、ツリーブロックおよびＰＵのサイズは以上に示したサイズ以外のサイズであってもよい。
【０１０９】
（動画像復号装置の構成）
再び、図２を参照して、動画像復号装置１の概略的構成について説明すると次のとおりである。図２は、動画像復号装置１の概略的構成について示した機能ブロック図である。
【０１１０】
図２に示すように動画像復号装置１は、復号モジュール１０、ＣＵ情報復号部１１、ＰＵ情報復号部１２、ＴＵ情報復号部１３、予測画像生成部１４、逆量子化・逆変換部１５、フレームメモリ１６および加算器１７を備えている。
【０１１１】
［復号モジュール］
復号モジュール１０は、バイナリからシンタックス値を復号する復号処理を行う。復号モジュール１０は、より具体的には、供給元から供給される符号化データおよびシンタックス種別に基づいて、ＣＡＢＡＣおよびＣＡＶＬＣ等のエントロピー符号化方式により符号化されているシンタックス値を復号し、復号したシンタックス値を供給元に返す。
【０１１２】
以下に示す例では、符号化データおよびシンタックス種別の供給元は、ＣＵ情報復号部１１、ＰＵ情報復号部１２、およびＴＵ情報復号部１３である。
【０１１３】
復号モジュール１０における復号処理の例として、ＣＵ情報復号部１１から、復号モジュール１０に対して、符号化データのバイナリ（ビット列）と、シンタックス種別“split_coding_unit_flag”とが供給された場合について説明すると次のとおりである。すなわち、この場合、復号モジュール１０は、“split_coding_unit_flag”に関するビット列とシンタックス値との対応付けを参照して、バイナリからシンタックス値を導出して、導出したシンタックス値をＣＵ情報復号部１１に返す。
【０１１４】
［ＣＵ情報復号部］
ＣＵ情報復号部１１は、復号モジュール１０を用いて、動画像符号化装置２から入力された１フレーム分の符号化データ＃１について、ツリーブロックおよびＣＵレベルでの復号処理を行う。ＣＵ情報復号部１１は、具体的には、以下の手順により符号化データ＃１を復号する。
【０１１５】
まず、ＣＵ情報復号部１１は、符号化データ＃１に含まれる各種ヘッダを参照して、符号化データ＃１を、スライス、ツリーブロックに順次分離する。
【０１１６】
ここで、各種ヘッダには、（１）対象ピクチャのスライスへの分割方法についての情報、および（２）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報が含まれる。
【０１１７】
そして、ＣＵ情報復号部１１は、ツリーブロックヘッダＴＢＬＫＨに含まれるツリーブロック分割情報ＳＰ＿ＴＢＬＫを参照して、対象ツリーブロックをＣＵに分割する。
【０１１８】
次に、ＣＵ情報復号部１１は、分割により得られたＣＵに対応する符号化単位情報（以下、ＣＵ情報と称する）を取得する。ＣＵ情報復号部１１は、ツリーブロックに含まれる各ＣＵを順に対象ＣＵとして、対象ＣＵに対応するＣＵ情報の復号処理を実行する。
【０１１９】
すなわち、ＣＵ情報復号部１１は、対象ＣＵについて得られる変換ツリーに関するＴＴ情報ＴＴＩ、および、対象ＣＵについて得られる予測ツリーに関するＰＴ情報ＰＴＩを逆多重化する。
【０１２０】
なお、ＴＴ情報ＴＴＩには、上述のとおり、変換ツリーに含まれるＴＵに対応するＴＵ情報ＴＵＩが含まれる。また、ＰＴ情報ＰＴＩには、上述のとおり、対象予測ツリーに含まれるＰＵに対応するＰＵ情報ＰＵＩが含まれる。
【０１２１】
ＣＵ情報復号部１１は、対象ＣＵについて得られたＰＴ情報ＰＴＩをＰＵ情報復号部１２に供給する。また、ＣＵ情報復号部１１は、対象ＣＵについて得られたＴＴ情報ＴＴＩをＴＵ情報復号部１３に供給する。
【０１２２】
［ＰＵ情報復号部］
ＰＵ情報復号部１２は、復号モジュール１０を用いて、ＣＵ情報復号部１１から供給されるＰＴ情報ＰＴＩについて、ＰＵレベルでの復号処理を行う。ＰＵ情報復号部１２は、具体的には、以下の手順によりＰＴ情報ＰＴＩを復号する。
【０１２３】
ＰＵ情報復号部１２は、ＰＵ分割タイプ情報Ｐａｒｔ＿ｔｙｐｅを参照して、対象予測ツリーにおけるＰＵ分割タイプを決定する。続いて、ＰＵ情報復号部１２は、対象予測ツリーに含まれる各ＰＵを順に対象ＰＵとして、対象ＰＵに対応するＰＵ情報の復号処理を実行する。
【０１２４】
すなわち、ＰＵ情報復号部１２は、対象ＰＵに対応するＰＵ情報から、予測画像の生成に用いられる各パラメータの復号処理を行う。
【０１２５】
ＰＵ情報復号部１２は、対象ＰＵについて復号したＰＵ情報を、予測画像生成部１４に供給する。
【０１２６】
［ＴＵ情報復号部］
ＴＵ情報復号部１３は、復号モジュール１０を用いて、ＣＵ情報復号部１１から供給されるＴＴ情報ＴＴＩについて、ＴＵレベルでの復号処理を行う。ＴＵ情報復号部１３は、具体的には、以下の手順によりＴＴ情報ＴＴＩを復号する。
【０１２７】
ＴＵ情報復号部１３は、ＴＴ分割情報ＳＰ＿ＴＵを参照して、対象変換ツリーをノードまたはＴＵに分割する。なお、ＴＵ情報復号部１３は、対象ノードについて、さらに分割を行うことが指定されていれば、再帰的にＴＵの分割処理を行う。
【０１２８】
分割処理が終了すると、ＴＵ情報復号部１３は、対象予測ツリーに含まれる各ＴＵを順に対象ＴＵとして、対象ＴＵに対応するＴＵ情報の復号処理を実行する。
【０１２９】
すなわち、ＴＵ情報復号部１３は、対象ＴＵに対応するＴＵ情報から、変換係数の復元に用いられる各パラメータの復号処理を行う。
【０１３０】
ＴＵ情報復号部１３は、対象ＴＵについて復号したＴＵ情報を、逆量子化・逆変換部１５に供給する。
【０１３１】
［予測画像生成部］
予測画像生成部１４は、対象ＣＵに含まれる各ＰＵについて、ＰＴ情報ＰＴＩに基づいて予測画像を生成する。具体的には、予測画像生成部１４は、対象予測ツリーに含まれる各対象ＰＵについて、対象ＰＵに対応するＰＵ情報ＰＵＩに含まれるパラメータに従ってイントラ予測またはインター予測を行うことにより、復号済み画像である局所復号画像Ｐ’から予測画像Ｐｒｅｄを生成する。予測画像生成部１４は、生成した予測画像Ｐｒｅｄを加算器１７に供給する。
【０１３２】
なお、予測画像生成部１４が、動き補償予測パラメータ（動きベクトル、参照画像インデックス、インター予測フラグ）に基づいて対象ＣＵに含まれるＰＵの予測画像を生成する手法について説明すると以下のとおりである。
【０１３３】
インター予測フラグが単予測を示す場合、予測画像生成部１４は、参照画像インデックスの示す参照画像の動きベクトルが示す場所に位置する復号画像に相当する予測画像を生成する。
【０１３４】
一方、インター予測フラグが双予測を示す場合には、予測画像生成部１４は、２組の参照画像インデックスと動きベクトルとの組み合わせのそれぞれについて動き補償により予測画像を生成し、平均を算出することで、もしくは、各予測画像を対象ピクチャと各参照画像との表示時間間隔に基づいて重み付け加算することで、最終的な予測画像を生成する。
【０１３５】
［逆量子化・逆変換部］
逆量子化・逆変換部１５は、対象ＣＵに含まれる各ＴＵについて、ＴＴ情報ＴＴＩに基づいて逆量子化・逆変換処理を実行する。具体的には、逆量子化・逆変換部１５は、対象変換ツリーに含まれる各対象ＴＵについて、対象ＴＵに対応するＴＵ情報ＴＵＩに含まれる量子化予測残差を逆量子化および逆直交変換することによって、画素毎の予測残差Ｄを復元する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことを指す。したがって、逆直交変換は、周波数領域から画素領域への変換である。また、逆直交変換の例としては、逆ＤＣＴ変換（Inverse Discrete Cosine Transform）、および逆ＤＳＴ変換（Inverse Discrete Sine Transform）等が挙げられる。逆量子化・逆変換部１５は、復元した予測残差Ｄを加算器１７に供給する。
【０１３６】
［フレームメモリ］
フレームメモリ１６には、復号された復号画像Ｐが、当該復号画像Ｐの復号に用いられたパラメータと共に、順次記録される。フレームメモリ１６には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が記録されている。フレームメモリ１６に記録される復号パラメータの例としては、ＣＵ予測方式情報ＰｒｅｄＭｏｄｅなどが挙げられる。
【０１３７】
［加算器］
加算器１７は、予測画像生成部１４より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部１５より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。
【０１３８】
なお、動画像復号装置１において、画像内の全てのツリーブロックに対して、ツリーブロック単位の復号画像生成処理が終わった時点で、動画像復号装置１に入力された１フレーム分の符号化データ＃１に対応する復号画像＃２が外部に出力される。
【０１３９】
以下では、（１）ＣＵ情報復号部１１、（２）ＰＵ情報復号部１２、および（３）ＴＵ情報復号部１３の構成について、それぞれの構成に対応する復号モジュール１０の構成と共に詳細に説明する。
【０１４０】
（１）ＣＵ情報復号部の詳細
次に、図１を用いて、ＣＵ情報復号部１１および復号モジュール１０の構成例について説明する。図１は、動画像復号装置１において、ＣＵ予測情報を復号するための構成、すなわちＣＵ情報復号部１１および復号モジュール１０の構成について例示する機能ブロック図である。
【０１４１】
以下、ＣＵ情報復号部１１および復号モジュール１０の順で、各部の構成について説明する。
【０１４２】
（ＣＵ情報復号部）
図１に示すように、ＣＵ情報復号部１１は、ＣＵ予測モード決定部１１１、ＰＵサイズ決定部１１２、およびＰＵサイズテーブル１１３を備える。
【０１４３】
ＣＵ予測モード決定部１１１は、ＣＵ予測モードの符号化データおよびシンタックス種別と、ＰＵ分割タイプの符号化データおよびシンタックス種別とを、復号モジュール１０に供給する。また、ＣＵ予測モード決定部１１１は、復号モジュール１０から、復号されたＣＵ予測モードのシンタックス値と、ＰＵ分割タイプのシンタックス値とを取得する。
【０１４４】
具体的には、ＣＵ予測モード決定部１１１は、次のようにして、ＣＵ予測モードおよびＰＵ分割タイプを決定する。
【０１４５】
まず、ＣＵ予測モード決定部１１１は、スキップフラグＳＫＩＰを復号モジュール１０により復号して、対象ＣＵがスキップＣＵであるか否かを決定する。
【０１４６】
対象ＣＵがスキップＣＵでない場合、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅを復号モジュール１０により復号する。また、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅに含まれるＣＵ予測方式情報ＰｒｅｄＭｏｄｅに基づいて、対象ＣＵがイントラＣＵか、インターＣＵかを決定するとともに、ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅに基づいてＰＵ分割タイプを決定する。
【０１４７】
ＰＵサイズ決定部１１２は、ＰＵサイズテーブル１１３を参照して、対象ＣＵのサイズと、ＣＵ予測モード決定部１１１において決定されたＣＵ予測タイプおよびＰＵ分割タイプとから、ＰＵの個数およびサイズを決定する。
【０１４８】
ＰＵサイズテーブル１１３は、ＣＵのサイズとＣＵ予測タイプ−ＰＵ分割タイプとの組み合わせにＰＵの個数およびサイズを対応付けるテーブルである。
【０１４９】
ここで、図５を用いて、ＰＵサイズテーブル１１３の具体的な構成例について説明すると次のとおりである。
【０１５０】
図５に示すＰＵサイズテーブル１１３では、ＣＵのサイズと、ＰＵ分割タイプ（イントラＣＵおよびインターＣＵ）に応じて、ＰＵの個数およびサイズが定義されている。なお、表中の“ｄ”は、ＣＵの分割深度を示す。
【０１５１】
ＰＵサイズテーブル１１３では、ＣＵのサイズとして、６４×６４、３２×３２、１６×１６、および８×８の４つが定義されている。
【０１５２】
また、ＰＵサイズテーブル１１３では、ＣＵのサイズに対して、各ＰＵ分割タイプにおけるＰＵの個数およびサイズが定義されている。
【０１５３】
例えば、６４×６４のインターＣＵであって、２Ｎ×Ｎ分割である場合は、ＰＵは２個でサイズは共に６４×３２である。
【０１５４】
また、６４×６４のインターＣＵであって、２Ｎ×ｎＵ分割である場合は、ＰＵは２個でサイズは６４×１６と６４×４８とである。
【０１５５】
また、８×８のイントラＣＵであって、Ｎ×Ｎ分割である場合は、ＰＵは４個でサイズはすべて４×４である。
【０１５６】
なお、スキップＣＵのＰＵ分割タイプは、２Ｎ×２Ｎと推定される。また、表中、“−”で示している箇所は、選択できないＰＵ分割タイプであることを示している。
【０１５７】
すなわち、ＣＵサイズが、８×８の場合、インターＣＵにおいて、非対称パーティション（２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２Ｎ）のＰＵ分割タイプは選択不可である。また、インターＣＵの場合、Ｎ×ＮのＰＵ分割タイプは、選択不可である。
【０１５８】
また、イントラ予測では、ＣＵサイズが、８×８の場合のみ、Ｎ×ＮのＰＵ分割タイプを選択することが可能である。
【０１５９】
（復号モジュール）
図１に示すように、復号モジュール１０は、ＣＵ予測モード復号部（復号手段、変更手段）１０１１、二値化情報記憶部１０１２、コンテキスト記憶部１０１３、および確率設定記憶部１０１４を備える。
【０１６０】
ＣＵ予測モード復号部１０１１は、ＣＵ予測モード決定部１１１から供給される符号化データおよびシンタックス種別に応じて、符号化データに含まれるバイナリからシンタックス値の復号を行う。具体的には、ＣＵ予測モード復号部１０１１は、二値化情報記憶部１０１２に記憶されている二値化情報に従って、ＣＵ予測モードおよびＰＵ分割タイプの復号処理を行う。また、ＣＵ予測モード復号部１０１１は、スキップフラグの復号処理を行う。
【０１６１】
二値化情報記憶部１０１２には、ＣＵ予測モード復号部１０１１が、バイナリから、シンタックス値を復号するための二値化情報が記憶されている。二値化情報は、バイナリ（ｂｉｎ列）と、シンタックス値との対応付けを示す情報である。
【０１６２】
コンテキスト記憶部１０１３には、ＣＵ予測モード復号部１０１１が、復号処理の際に参照するコンテキストが記憶されている。
【０１６３】
確率設定記憶部１０１４には、ＣＵ予測モード復号部１０１１が、符号化データから算術復号処理によりｂｉｎ列を復号する際に参照する確率設定値が記録されている。なお、確率設定値は、各コンテキストに対応する記録設定値と、既定の確率設定値がある。各コンテキストに対応する確率設定値は、算術復号の結果に基づいて更新される。一方、既定の確率設定値は一定であり、算術復号の結果により更新されない。なお、確率設定値は、確率の値自体ではなく、確率の値に対応する整数値で示される状態で表現しても良い。
【０１６４】
［具体的構成例］
［１−１］コンテキストの参照を制限する構成の例
ＣＵ予測モード復号部１０１１は、ＰＵ分割タイプが非対称パーティションであるとき、非対称パーティションの分割の種類を示す情報を、ＣＡＢＡＣのコンテキストを用いないで復号処理を行ってもかまわない。言い換えると、非対称パーティションの分割の種類を示す情報に対応するｂｉｎ列を算術復号により符号化データから復号する際に、確率設定記憶部１０１４にコンテキスト毎に記録された確率設定値を用いず、既定の確率設定値（例えば０，１の発生確率が等確率に対応する確率設定値）を用いて復号処理を行ってもかまわない。
【０１６５】
以下、図７を参照しながら、このようにコンテキストの参照の制限を行う構成について例示する。
【０１６６】
ＣＵ予測モード復号部１０１１は、規定の確率を仮定して非対称パーティションの分割の種類を示す情報を復号する。
【０１６７】
図７を参照しながら、本構成例についてさらに具体的に例示すると次のとおりである。図７に示す対応付けテーブルＢＴ１では、長方形の分割について、プレフィックス部は、分割の方向が横長（水平）および縦長（垂直）のいずれであるかを示しており、サフィックス部は、分割の種類を示している。
【０１６８】
例えば、プレフィックス部が、ＰＵ分割タイプが横長の分割であることを示すとき、サフィックス部は、２Ｎ×Ｎ、２Ｎ×ｎＵ、および２Ｎ×ｎＤの３つの横長の分割のうち、いずれを選択するかを示す。
【０１６９】
ＣＵ予測モード復号部１０１１は、ＰＵ分割タイプが、長方形の分割である場合、確率設定記憶部１０１４に設定されているコンテキスト毎に記録された確率設定値の代わりに、確率設定記憶部１０１４に設定されている既定の確率設定値を参照して、サフィックス部の各ｂｉｎの算術復号を行う。なお、当該確率設定値は、例えば、等確率を仮定して設定しておくことができる。
【０１７０】
ここで、コンテキストを用いたＣＡＢＡＣの算術復号とは、バイナリの位置（コンテキスト）に応じてバイナリ値の発生確率（を示す状態）を記録・更新しておき、その発生確率（状態）に基づき算術復号を行う処理のことを言う。一方、コンテキストを用いないＣＡＢＡＣの算術復号とは、バイナリ値の発生確率（状態）の更新を行わず確率設定値により定まる固定確率に基づき算術復号を行うことを言う。コンテキストを用いない場合には、符号化処理、復号処理における発生確率（状態）の更新が不要である分、処理負荷が低減されスループットが向上する。またコンテキストに応じた発生確率（状態）を蓄積するメモリが不要になる。固定確率として、確率０．５を用いる場合は、ＥＰ符号化（等確率、Equal Probability符号化）もしくはBypass（バイパス）と呼ばれることがある。
【０１７１】
図６を用いて、上記構成による作用・効果を説明する。まず、コンテキストが符号化効率の向上に有効なのは、特定の状況において、同一の符号が連続して発生する場合である。コンテキストを参照してサフィックス部を復号することで符号化効率が向上するのは、具体的には、横長の分割が選択された状況において、２Ｎ×Ｎ、２Ｎ×ｎＵ、または２Ｎ×ｎＤが連続して選択される場合である。例えば、２Ｎ×Ｎが選択された予測単位の次の予測単位において、２Ｎ×Ｎが選択されるような場合である。
【０１７２】
一方、パーティションは、図６に示すようにエッジ境界をまたがないように設定される場合が多い。
【０１７３】
すなわち、図６に示すように、傾斜を有するエッジＥ１が領域内に存在するとき、当該エッジＥ１をまたがないように、ＣＵ１０およびＣ２０のＰＵ分割タイプが決定される。
【０１７４】
より詳細には、ＣＵ１０では、エッジＥ１は、領域の垂直方向中央寄りに存在し、ＣＵ２０では、エッジＥ１が領域上方に存在する。
【０１７５】
このように傾斜を有するエッジＥ１が領域内に存在する場合、ＣＵ１０は、エッジＥ１をまたがないように、２Ｎ×ＮのＰＵ分割タイプにより対称なＰＵ１１およびＰＵ１２分割される。
【０１７６】
また、ＣＵ２０は、エッジＥ１をまたがないように、２Ｎ×ｎＵの分割タイプにより、非対称なＰＵ２１およびＰＵ２２に分割される。
【０１７７】
このように、傾斜を有するエッジＥ１が、領域内に存在する場合、同一の形状のパーティションが連続して出現しないときがある。
【０１７８】
このような場合は、２Ｎ×Ｎ、２Ｎ×ｎＵ、または２Ｎ×ｎＤが連続して選択される場合に該当しない。このような場合には、コンテキストを用いなくても符号化効率が低下しない場合がある。
【０１７９】
上記構成のように、プレフィックス部を規定の確率を仮定して上記情報を復号することで、符号化効率を維持しつつ、ｐｒｅｄ＿ｔｙｐｅの復号処理を簡略化することができる。
【０１８０】
［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、長方形の予測単位への分割を含み、上記長方形が縦長および横長のいずれであるかを示す符号と、上記長方形の種類を示す符号とを含む、上記長方形の予測単位への分割を特定するための符号のうち、上記長方形の種類を示す符号を、コンテキストを用いずに復号する復号手段を備える構成である。
【０１８１】
よって、符号化効率を維持しつつ、コンテキストを参照しないことによる処理の簡略化を図ることができる。
【０１８２】
なお、上記の例は、複数の長方形パーティションを含むＰＵ分割に対応するＰＵ分割タイプの集合であって、対称分割と非対称分割の分割タイプを共に含むＰＵ分割タイプの集合において、何れかのＰＵ分割タイプを選択するための情報を復号する際に、コンテキストを用いずに復号してもよい、と表現することもできる。
【０１８３】
また、上記の例において、非対称パーティションの選択に係る情報に対応するｂｉｎ列のうち、全てのｂｉｎの復号にコンテキストを用いないのではなく、一部のｂｉｎにコンテキストを用いてもよい。例えば、上述した図７の例では、８×８より大きいＣＵで長方形パーティションを含む分割が選択された場合、最大２桁のｂｉｎが複号される。このうち１桁目は対称分割か非対称分割かを示す情報である。２桁目は、１桁目が‘０’すなわち非対称分割であることを示す場合に複号されるｂｉｎであって、非対称分割における小さいＰＵと大きいＰＵの位置関係を表す。１桁目については、前述の図６に基づき説明した理由から同一の符号が連続しない場合もあるため、コンテキストを設定しないことが好ましい。一方、２桁目については、非対称パーティションが利用されるという前提条件が成立した状態において、小さいＰＵは局所的には片側の辺（例えば２桁目が２ＮｘｎＵと２Ｎ×ｎＤの選択情報を表す場合、上方側または下方側の何れか）に寄りやすい傾向があるため、コンテキストを設定することが好ましい。
【０１８４】
［１−２］ＣＵ予測タイプ情報（ｐｒｅｄ＿ｔｙｐｅ）を復号する構成
ＣＵ予測モード復号部１０１１は、以下に示すように、二値化情報記憶部１０１２に記憶される二値化情報を参照してＣＵ予測タイプ情報を復号するよう構成してもよい。
【０１８５】
図７を用いて、二値化情報記憶部１０１２に記憶される二値化情報の構成例について説明する。図７は、ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の一例を示すテーブルである。
【０１８６】
なお、図７では、例示的に、二値化情報を、ｂｉｎ列と、ＣＵ予測タイプ−ＰＵ分割タイプとを対応付けるテーブル形式にて示しているが、これに限られない。二値化情報は、ＰＵ分割タイプと、ＣＵ予測タイプとを導出するための導出式であってもかまわない。後に説明する二値化情報についても同様である。
【０１８７】
また、二値化情報は、データとして記憶されていなければならないわけではなく、復号処理を行うプログラムのロジックとして実現されていてもかまわない。
【０１８８】
図７に例示する対応付けテーブルＢＴ１では、ＣＵ予測タイプおよびＰＵ分割タイプと、ＣＵサイズとに応じて、ｂｉｎ列が対応付けられている。
【０１８９】
まず、ＣＵサイズの定義について説明する。対応付けテーブルＢＴ１では、ＣＵサイズの定義として、ＣＵサイズが８×８より大きい場合（ＣＵ＞８×８）の非８×８ＣＵ１０１２Ｂと、ＣＵサイズが８×８（ＣＵ＝＝８×８）の場合の８×８ＣＵ１０１２Ａの２種類の対応付けが定義されている。
【０１９０】
なお、非８×８ＣＵ１０１２Ｂおよび８×８ＣＵ１０１２Ａそれぞれにおいて対応付けられているｂｉｎ列は、プレフィックス部（ｐｒｅｆｉｘ）とサフィックス部（ｓｕｆｆｉｘ）とから構成される。
【０１９１】
また、対応付けテーブルＢＴ１では、それぞれのＣＵサイズの定義について、ＣＵ予測タイプとして、前述のイントラＣＵ（“Ｉｎｔｒａ”と図示）およびインターＣＵ（“Ｉｎｔｅｒ”と図示）の２系統が定義されている。さらに、それぞれのＣＵ予測タイプに応じて、ＰＵ分割タイプが定義されている。
【０１９２】
具体的には、以下のとおりである。まず、イントラＣＵの場合、２Ｎ×２ＮおよびＮ×Ｎの２種類のＰＵ分割タイプについて定義されている。
【０１９３】
２Ｎ×２Ｎについて説明すると次のとおりである。非８×８ＣＵ１０１２Ｂでは、プレフィックス部のみが定義されており、ｂｉｎ列は、“０００”である。サフィックス部は、符号化されていない。また、８×８ＣＵ１０１２Ａでは、プレフィックス部は、“０００”であり、サフィックス部は、“０”である。
【０１９４】
一方、Ｎ×Ｎについては、非８×８ＣＵ１０１２Ｂにのみ定義されている。この場合、プレフィックス部は、“０００”であり、サフィックス部は、“１”である。
【０１９５】
このように、イントラＣＵの場合は、サフィックス部については、“０００”で共通である。
【０１９６】
次に、インターＣＵの場合、２Ｎ×２Ｎ、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎの７つのＰＵ分割タイプについて定義されている。
【０１９７】
ＰＵ分割タイプが、２Ｎ×２Ｎのときは、非８×８ＣＵ１０１２Ｂおよび８×８ＣＵ１０１２Ａのいずれにおいても、プレフィックス部のみが定義されており、ｂｉｎ列は、“１”である。
【０１９８】
非８×８ＣＵ１０１２Ｂでは、水平方向の分割を行う横長パーティションのＰＵ分割タイプ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤについて、共通のプレフィックス部“０１”が割り当てられている。
【０１９９】
また、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤのサフィックス部は、それぞれ、“１”、“００”、および“０１”である。
【０２００】
また、垂直方向の分割を行う縦長パーティションのＰＵ分割タイプ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎについて、共通のプレフィックス部“００１”が割り当てられている。
【０２０１】
Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎのサフィックス部は、それぞれ、“１”、“００”、および“０１”である。サフィックス部については、上述の水平方向の分割を行うＰＵ分割タイプの場合と同様である。
【０２０２】
つまり、横長パーティションおよび縦長パーティションの定義では、サフィックス部は、分割の種類を表している。すなわち、対称分割である場合、ｂｉｎは、“１”である。また、“００”は、分割の境界が対称分割のときよりも原点側にあることを示し、“０１”は、分割の境界が対称分割のときよりも原点から遠い側にあることを示している。
【０２０３】
続いて、８×８ＣＵ１０１２Ａでは、２Ｎ×２Ｎ、２Ｎ×Ｎ、および、Ｎ×２Ｎについてプレフィックス部のみが定義されている。２Ｎ×２Ｎ、２Ｎ×Ｎ、および、Ｎ×２Ｎのプレフィックス部は、それぞれ、“１”、“０１”、および、“００１”である。
【０２０４】
ＣＵ予測モード復号部１０１１は、上記の二値化情報に従った復号処理において、プレフィックス部およびサフィックス部の各ｂｉｎ位置に対して異なるコンテキストを用いてもよい。
【０２０５】
プレフィックス部およびサフィックス部の各ｂｉｎ位置に対して異なるコンテキストを用いる場合、コンテキストは、以下の合計８個になる。
【０２０６】
まず、プレフィックス部は、最大３ビットのｂｉｎが定義されているため、コンテキストの数は、３個である。
【０２０７】
以下、サフィックス部については、まず、２Ｎ×２ＮおよびＮ×Ｎの場合、１個である。そして、横長パーティション（２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤ）の場合、２個であり、縦長パーティション（Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎ）の場合、２個である。
【０２０８】
［１−３］小サイズのＣＵにおいて、イントラＣＵについて短い符号を復号する構成
ＣＵ予測モード復号部１０１１は、小サイズのＣＵにおいて、イントラＣＵについて短い符号を復号するよう構成してもよい。小サイズのＣＵとは、所定サイズ以下のサイズのＣＵであるが、以下では、例示的に、８×８サイズのＣＵとする。
【０２０９】
［構成例１−３−１］
そこで、図８に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。図８は、二値化情報の定義である８×８ＣＵ１０１２Ａの他の構成例を示している。すなわち、図８に示す８×８ＣＵ１０１２Ａ＿１は、図７に示す対応付けテーブルＢＴ１に含まれる８×８ＣＵ１０１２Ａの他の構成例である。
【０２１０】
図８に示すように、二値化情報の定義である８×８ＣＵ１０１２Ａ＿１では、小サイズのＣＵである８×８サイズのＣＵにおいて、イントラＣＵに短い符号を割り当てる。
【０２１１】
図８に示す８×８ＣＵ１０１２Ａ＿１では、大サイズのＣＵにおいてイントラＣＵに対して割り当てられている符号に比べて短い符号が割り当てられている（図７の非８×８ＣＵ１０１２Ｂを参照）。なお、大サイズのＣＵとは、小サイズのＣＵでないＣＵのことであり、具体的には、サイズが８×８より大きいＣＵのことを意味する。
【０２１２】
また、８×８ＣＵ１０１２Ａ＿１では、イントラＣＵに割り当てられている符号のほうが、インターＣＵに割り当てられている符号よりも短い。言い換えれば、同一サイズのＣＵにおいては、イントラＣＵでない他のＰＵ分割タイプに比べて、イントラＣＵに短い符号が割り当てられる。
【０２１３】
例えば、８×８ＣＵ１０１２Ａ＿１では、イントラＣＵには、１ビットの符号が割り当てられており、インターＣＵには、２ビットまたは３ビットの符号が割り当てられている。
【０２１４】
インター予測が当たりにくい領域では、小さいＣＵのイントラ予測が用いられる傾向がある。そのため、小さいＣＵでは、イントラＣＵの使用率が高い。一方、図７に示す構成例では、イントラＣＵに長い符号が割り当てられている。これに対して、上記データ構成によれば、小さいサイズのイントラＣＵに短い符号が割り当てられるようにする。
【０２１５】
これにより、インター予測が当たりにくい領域では、ＣＵ予測モード復号部１０１１は、小さいサイズのイントラＣＵについて、短い符号を復号する。これにより、符号化効率が向上するという効果を奏する。
【０２１６】
なお、上記構成では、ＣＵ予測モード復号部１０１１は、大サイズのＣＵのプレフィックス部と、小サイズのＣＵのプレフィックス部とで、異なるコンテキストを設定することが好ましい。
【０２１７】
そこで、コンテキスト記憶部１０１３において、大サイズのＣＵのプレフィックス部を復号するためのコンテキストである８×８ＣＵ ｐｒｅｆｉｘ１０１３Ａと、小サイズのＣＵのプレフィックス部を復号するためのコンテキストである非８×８ＣＵ  ｐｒｅｆｉｘ１０１３Ｂとが記憶されていてもよい。ここで、８×８ＣＵ ｐｒｅｆｉｘ１０１３Ａと、非８×８ＣＵ  ｐｒｅｆｉｘ１０１３Ｂとは異なるコンテキストである。
【０２１８】
小サイズのＣＵ（ＣＵ＝＝８×８）と、大サイズのＣＵ（ＣＵ＞８×８）との間で、プレフィックス部の各ｂｉｎの意味が異なる。
【０２１９】
例えば、プレフィックス部の１ビット目は、小サイズのＣＵでは、ＣＵ予測タイプが、イントラＣＵおよびインターＣＵのいずれであるかを示す情報であるのに対して、大サイズのＣＵでは、２Ｎ×２ＮのインターＣＵであるか、それとも、それ以外のインターＣＵであるかを示す情報である。
【０２２０】
また、意味が異なるｂｉｎは、出現傾向が異なる。このため、大サイズのＣＵおよび小サイズのＣＵ、双方のプレフィックス部に、同一のコンテキストを設定した場合、ｂｉｎの出現傾向が異なるため、符号化効率が低下するおそれがある。
【０２２１】
上記構成によれば、出現傾向が異なるｂｉｎに合わせて、異なるコンテキストを設定することができるため、ｂｉｎの符号化効率を向上させることができる。
【０２２２】
［構成例１−３−２］
また、図９に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。図９は、二値化情報の定義である８×８ＣＵ１０１２Ａの別の構成例を示している。すなわち、図９に示す８×８ＣＵ１０１２Ａ＿２は、図７に示す対応付けテーブルＢＴ１に含まれる８×８ＣＵ１０１２Ａの別の構成例である。
【０２２３】
図９に示す８×８ＣＵ１０１２Ａ＿２では、ｂｉｎ列が、フラグ（ｆｌａｇ）、プレフィックス部およびサフィックス部の３つの部分から構成されている。
【０２２４】
イントラＣＵの場合、フラグは、“１”であり、インターＣＵの場合、フラグは、“０”である。
【０２２５】
また、イントラＣＵの場合、サフィックス部のみが定義されている。すなわち、ＰＵ分割タイプが、２Ｎ×２Ｎのときは、サフィックス部が“０”であり、Ｎ×Ｎのときは、サフィックス部が“１”である。
【０２２６】
一方、インターＣＵの場合、プレフィックス部のみが定義されている。すなわち、２Ｎ×２Ｎ、２Ｎ×Ｎ、および、Ｎ×２Ｎのとき、それぞれ、“１”、“０１”、および、“００”である。
【０２２７】
図９に示す８×８ＣＵ１０１２Ａ＿２では、図８に示した８×８ＣＵ１０１２Ａ＿１と同様、大サイズのＣＵにおいてイントラＣＵに対して割り当てられている符号に比べて短い符号が割り当てられているとともに、イントラＣＵに割り当てられている符号のほうが、インターＣＵに割り当てられている符号よりも短い。
【０２２８】
図９に示すように８×８ＣＵ１０１２Ａ＿２を構成することで、インター予測が当たりにくい領域では、ＣＵ予測モード復号部１０１１は、小さいサイズのイントラＣＵについて、短い符号を復号する。これにより、符号化効率が向上するという効果を奏する。
【０２２９】
なお、上記構成では、フラグに、プレフィックス部およびサフィックス部に設定されているコンテキストとは別の独自のコンテキストを設定することが好ましい。また、プレフィックス部には、小サイズのＣＵおよび大サイズのＣＵの間で、同一のコンテキストを設定することが好ましい。
【０２３０】
例えば、コンテキスト記憶部１０１３において、８×８ＣＵ ｐｒｅｆｉｘ１０１３Ａと、非８×８ＣＵ  ｐｒｅｆｉｘ１０１３Ｂとを統合した一つのコンテキストを記憶しておけばよい。
【０２３１】
上記構成では、小サイズのＣＵのプレフィックス部と、大サイズのＣＵのプレフィックス部との間で、各ｂｉｎが、同じ意味となるよう設計されている。このため、両者の間で、同一のコンテキストを設定することで、ｂｉｎの符号化効率を向上させることができる。
【０２３２】
［作用・効果］
本発明は以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位毎に、画像を復元するための情報を画像符号化データから復号して画像を復元する画像復号装置において、予測単位のサイズと符号化単位に適用される予測方式との組み合わせに割り当てられている符号について、所定サイズ以下のサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して、該組み合わせ以外の組み合わせに割り当てられている符号より短い符号を復号する復号手段を備える構成である。
【０２３３】
よって、所定サイズ以下のサイズの符号化単位において発生確率が高い組み合わせに短い符号を割り当てることができ、符号化効率が向上するという効果を奏する。
【０２３４】
［１−４］近傍の予測パラメータに応じてｂｉｎ列の解釈を変更する構成
ＣＵ予測モード復号部１０１１は、隣接領域に割り付けられている予測パラメータを参照して、ｂｉｎ列の解釈を変更するよう構成してもよい。
【０２３５】
［構成例１−４−１］
そこで、図１０に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。
【０２３６】
図１０は、二値化情報記憶部１０１２に記憶される二値化情報のさらに別の構成例を示す図である。
【０２３７】
図１０に示す二値化情報対応付けテーブルＢＴ２０では、図７に示す８×８ＣＵ１０１２Ａを、インターＣＵの定義（１０１２Ｄ）およびイントラＣＵの定義（１０１２Ｃ）に置き換えることで、隣接領域の予測パラメータの値に応じて、ｂｉｎ列の解釈が変わるように構成されている。
【０２３８】
具体的には、対応付けテーブルＢＴ２０では、小サイズのＣＵについての定義において、隣接ＣＵの少なくとも一方がインターＣＵの場合における二値化情報の定義であるインターＣＵ１０１２Ｄと、隣接ＣＵが共にイントラＣＵの場合における二値化情報の定義であるイントラＣＵ１０１２Ｃとの間で、ｂｉｎ列の解釈が変わるように構成されている。
【０２３９】
インターＣＵ１０１２Ｄ（隣接ＣＵの少なくとも一方がインターＣＵの場合）では、プレフィックス部のｂｉｎ列が“０００”のとき、対象ＣＵがイントラＣＵ（２Ｎ×２ＮまたはＮ×Ｎ）であると解釈し、プレフィックス部のｂｉｎ列が“１”のとき、対象ＣＵがインターＣＵの２Ｎ×２Ｎであると解釈する。
【０２４０】
一方、イントラＣＵ１０１２Ｃ（隣接ＣＵが共にイントラＣＵの場合）では、プレフィックス部のｂｉｎ列が“１”であるとき、対象ＣＵがイントラＣＵ（２Ｎ×２ＮまたはＮ×Ｎ）であると解釈し、プレフィックス部のｂｉｎ列が“０００”のとき、対象ＣＵがインターＣＵの２Ｎ×２Ｎであると解釈する。
【０２４１】
近傍のＣＵが、イントラＣＵである場合、空間相関性により、対象ＣＵもイントラＣＵである可能性が高い。よって、近傍のＣＵがイントラＣＵである場合に、イントラＣＵに対して、短い符号に割り当てることで、符号量を削減することができる。
【０２４２】
また、小サイズのＣＵでは、イントラＣＵの発生頻度が高くなる。このため、小さいサイズのＣＵにおいて、イントラＣＵに対して短い符号に割り当てることで、符号化効率のより一層の向上を図ることができる。
【０２４３】
これに対して、小サイズのＣＵでないＣＵ（例えば、大サイズのＣＵ）では、図１０に示すように、“隣接ＣＵが共にイントラの場合、イントラＣＵに対して短い符号に割り当てる”構成でなくてもかまわない。どのサイズのＣＵにおいて、“隣接ＣＵが共にイントラの場合、イントラＣＵに対して短い符号に割り当てる”構成を適用するかは、イントラＣＵの発生頻度に応じて決定することができる。一般には、小さいサイズのＣＵほどイントラＣＵの選択率が高い傾向があるため、最小サイズのＣＵを含め、所定の大きさ（例えば１６×１６）以下のサイズのＣＵでイントラＣＵに対して短い符号を割り当てる構成とすることが好ましい。上記構成によれば、近傍のＣＵがイントラＣＵである場合、ＣＵ予測モード復号部１０１１が、イントラＣＵ１０１２Ｃを参照し、イントラＣＵに対して、短い符号に割り当てる。一方、近傍のＣＵにインターＣＵが含まれている場合、ＣＵ予測モード復号部１０１１が、インターＣＵ１０１２Ｄを参照し、インターＣＵに対して、短い符号に割り当てる。その結果、符号量を削減し、符号化効率の向上を図ることができる。
【０２４４】
［構成例１−４−２］
また、図１１に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。
【０２４５】
図１１は、二値化情報記憶部１０１２に記憶される二値化情報のさらに別の構成例を示す図である。
【０２４６】
図１１に示す二値化情報対応付けテーブルＢＴ３０では、図７に示す非８×８ＣＵ１０１２Ｂを、『上ＣＵのサイズが対象ＣＵ以上』の定義（１０１２Ｂ＿１）および『上ＣＵのサイズが対象ＣＵより小さい』の定義（１０１２Ｂ＿２）に置き換えることで、隣接領域の予測パラメータの値に応じて、ｂｉｎ列の解釈が変わるように構成されている。
【０２４７】
すなわち、対応付けテーブルＢＴ３０では、大サイズのＣＵについての定義において、上隣接ＣＵが対象ＣＵ以上のサイズである場合と、上隣接ＣＵが対象サイズより小さい場合との間で、ｂｉｎ列の解釈が変わるように構成されている。
【０２４８】
『上ＣＵのサイズが対象ＣＵ以上』１０１２Ｂ＿１（上隣接ＣＵが対象ＣＵ以上のサイズである場合）では、プレフィックス部のｂｉｎ列が“００１”のとき、対象ＣＵが縦長パーティションであると解釈し、プレフィックス部のｂｉｎ列が“０１”のとき、対象ＣＵが横長パーティションであると解釈する。
【０２４９】
一方、『上ＣＵのサイズが対象ＣＵより小さい』１０１２Ｂ＿２（上隣接ＣＵが対象ＣＵより小さいサイズである場合）では、プレフィックス部のｂｉｎ列が“０１”のとき、対象ＣＵが縦長パーティションであると解釈し、プレフィックス部のｂｉｎ列が“００１”のとき、対象ＣＵが横長パーティションであると解釈する。
【０２５０】
隣接ＣＵのサイズが対象ＣＵより小さい場合、当該隣接ＣＵ内にエッジが存在する可能性が高い。
【０２５１】
従って、このような場合、対象ＣＵは、隣接ＣＵとの境界にあたる辺と垂直な方向にパーティション分割される可能性が高い。このため、上隣接ＣＵが対象ＣＵより小さいサイズである場合、縦長パーティションが選択される可能性が高い。
【０２５２】
よって、上隣接ＣＵが対象ＣＵより小さいサイズである場合、選択される可能性が高い縦長パーティションに短い符号を割り当てることで符号化効率を向上させることができる。
【０２５３】
上記構成によれば、上隣接ＣＵが対象ＣＵより小さいサイズである場合、ＣＵ予測モード復号部１０１１が、『上ＣＵのサイズが対象ＣＵより小さい』１０１２Ｂ＿２を参照し、縦長パーティションに短い符号を割り当てる。
【０２５４】
一方、上隣接ＣＵが対象ＣＵ以上のサイズである場合、ＣＵ予測モード復号部１０１１が、『上ＣＵのサイズが対象ＣＵ以上』１０１２Ｂ＿１を参照し、横長パーティションに短い符号を割り当てる。その結果、符号量を削減し、符号化効率の向上を図ることができる。
【０２５５】
さらにいえば、隣接ＣＵに基づくプレフィックス部の解釈に依存せず、サフィックス部の解釈が同じであることが好ましい。対応付けテーブルＢＴ３０では、プレフィックス部が、縦長パーティションか、横長パーティションかに依存せず、同一のサフィックス部の解釈は同じである。すなわち、対応付けテーブルＢＴ３０の例では、プレフィックス部が、縦長パーティションか、横長パーティションかに応じて、サフィックス部の復号処理を変更しなくてもかまわない。
【０２５６】
すなわち、対応付けテーブルＢＴ３０では、ＰＵ分割タイプ（分割数）が、参照するパラメータに依存しないように構成されている。
【０２５７】
分割数が、参照するパラメータの値に依存しないため、参照パラメータにエラーが生じている場合でも、以降の可変長復号処理への影響が少ない。具体的には、隣接ＣＵのサイズに誤りがあり、プレフィックス部が縦長と横長何れのパーティションを示すかの解釈が誤った場合でも、サフィックス部を含め、後続のシンタックスの復号を継続できる。
【０２５８】
すなわち、隣接ＣＵのサイズによらずサフィックス部の復号処理が可能となるため、隣接パラメータのエラーに影響されなくなりエラー耐性が向上する。
【０２５９】
なお、左隣接ＣＵが対象ＣＵより小さいサイズである場合、横長パーティションが選択される可能性が高い。よって、左隣接ＣＵが対象ＣＵより小さいサイズである場合、選択されやすい横長パーティションに短い符号を割り当てるようにしてもよい。これにより上記と同様の効果を得る事ができる。
【０２６０】
また、最小サイズのＣＵに対しては、隣接ＣＵのサイズに基づく解釈の切り替え処理を行わないことが好ましい。対象ＣＵが最小サイズのＣＵである場合、常に対象ＣＵは、隣接ＣＵ以下のサイズであるため、解釈の切り替え処理を省略することで、復号処理を簡略化することができる。
【０２６１】
なお、上隣接ＣＵのサイズが対象ＣＵのサイズより小さいとは、対象ＣＵの上辺（頂点を除く）において、当該上辺に対して垂直な位置関係にあるＣＵ境界が存在するとも言える。
【０２６２】
よって、対象ＣＵの上辺（頂点を除く）において、当該上辺に対して垂直な位置関係にあるＣＵ境界またはＰＵ境界が存在する場合、縦長パーティションに短い符号を割り当ててもよい。
【０２６３】
また、以上では、対象ＣＵに隣接する隣接ＣＵについて説明したがこれに限られない。空間相関性が認められる程度に近傍に位置するＣＵについても同様のことがいえる。
【０２６４】
以上の構成を、より一般化して言えば次のとおりである。すなわち、以上の構成は、複数のバイナリ列と、複数の対応する分割数が互いに等しいｐｒｅｄ＿ｔｙｐｅについて、隣接の予測パラメータに応じてｐｒｅｄ＿ｔｙｐｅの発生可能性の優先順位を決定し、優先順位の高いｐｒｅｄ＿ｔｙｐｅほど短いバイナリ列に関連付けるものである。
【０２６５】
なお、上記説明における、上側隣接ＣＵのサイズが対象ＣＵのサイズより小さい、という条件は、次のように表現することもできる。
【０２６６】
（１）対象ＣＵ内の左上画素を(xc,yc)とする。
【０２６７】
（２）上側隣接ＣＵとして、(xc,yc-1)を含むＣＵを導出して、当該上側隣接ＣＵの左上画素を(xu,yu)とする。
【０２６８】
（３）「log2CUSize[xu][yu] < log2CUSize[xc][yc] 」が成り立つならば、上側隣接ＣＵのサイズが対象ＣＵのサイズより小さいと判定する。ここで、log2CUSize[x][y]は、(x,y)の画素を左上画素とするＣＵのサイズの２を底とする対数値である。
【０２６９】
ここで、上記のように対象ＣＵの左上画素の上に位置するＣＵのサイズのみを対象ＣＵのサイズと比較して判定することが好ましい。
【０２７０】
以上では、上側隣接ＣＵの場合について記載したが、左側隣接ＣＵのサイズを判定する場合にも、対象ＣＵの左上画素の左に位置するＣＵのサイズのみを対象ＣＵのサイズと比較して判定することが好ましい。
【０２７１】
なお、上記判定手順の（３）ではＣＵのサイズの値を直接比較する例を挙げたが、ＣＵのサイズと関連付けられた別の値を比較してもよい。例えば、上記（３）の条件は、ツリーブロック（ＬＣＵ）を何回分割するかに対応するＣＵ分割深度（cuDepth[x][y]）の値を用いて、「cuDepth[xu][yu] > cuDepth[xc][yc]」という式により判定してもよい。
【０２７２】
［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、復号対象となる上記符号化単位である対象符号化単位を上記予測単位へ分割するタイプである分割タイプと予測方式との複数の組に対して対応付けられる複数の符号を、復号の対象となる上記予測単位である対象予測単位の近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて変更する変更手段を備える構成である。
【０２７３】
よって、近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて、より発生確率が高い予測方式および分割タイプの組に、より短い符号を割り当てることができ、これにより符号化効率を向上させることができる。
【０２７４】
（２）ＰＵ情報復号部の詳細
次に、図１２を用いて、ＰＵ情報復号部１２および復号モジュール１０の構成例について説明する。図１２は、動画像復号装置１において、動き情報を復号するための構成、すなわちＰＵ情報復号部１２および復号モジュール１０の構成について例示する機能ブロック図である。
【０２７５】
以下、ＰＵ情報復号部１２および復号モジュール１０の順で、各部の構成について説明する。
【０２７６】
（ＰＵ情報復号部）
図１２に示すように、ＰＵ情報復号部１２は、動き補償パラメータ導出部（双予測制限手段、候補決定手段、推定手段）１２１、マージ候補優先順位情報記憶部１２２、および参照フレーム設定情報記憶部１２３を備える。
【０２７７】
動き補償パラメータ導出部１２１は、符号化データから対象ＣＵに含まれる各ＰＵの動き補償パラメータを導出する。
【０２７８】
動き補償パラメータ導出部１２１は、具体的には、以下の手順にて、動き補償パラメータを導出する。ここで、対象ＣＵがスキップＣＵである場合に、マージインデックスの代わりに、スキップインデックスを復号し、その値に基づいてスキップＣＵにおける予測パラメータを導出してもよい。
【０２７９】
まず、動き補償パラメータ導出部１２１は、スキップフラグを判定する。その結果、対象ＣＵが非スキップＣＵであれば、動き情報復号部１０２１を用いて、マージフラグを復号する。
【０２８０】
ここで、対象ＣＵが、スキップＣＵまたはマージＰＵである場合、動き補償パラメータ導出部１２１は、マージインデックスを復号して、復号したマージインデックスの値に基づいて予測パラメータ（動きベクトル、参照画像インデックス、インター予測フラグ）を導出する。なお、動き補償パラメータ導出部１２１は、マージ候補優先順位情報記憶部１２２に記憶されているマージ候補情報に従って、マージインデックスで指定されるマージ候補を決定する。
【０２８１】
一方、対象ＣＵが、スキップＣＵおよびマージＰＵのいずれでもない場合、動き補償パラメータ導出部１２１は、予測パラメータ（インター予測フラグ、参照画像インデックス、動きベクトル差分、推定動きベクトルインデックス）を復号する。
【０２８２】
さらに、動き補償パラメータ導出部１２１は、推定動きベクトルインデックスの値に基づいて、推定動きベクトルを導出するとともに、動きベクトル差分と推定動きベクトルとに基づいて動きベクトルを導出する。
【０２８３】
マージ候補優先順位情報記憶部１２２には、いずれの領域をマージ候補とするかを示す情報およびマージ候補の優先順位を示す情報を含むマージ候補情報が記憶されている。
【０２８４】
参照フレーム設定情報記憶部１２３には、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れの画面間予測の予測方式を用いるかを決定するための参照フレーム設定情報が記憶されている。
【０２８５】
（復号モジュール）
図１２に示すように、復号モジュール１０は、動き情報復号部１０２１を備える。動き情報復号部１０２１は、動き補償パラメータ導出部１２１から供給される符号化データおよびシンタックス種別に応じて、符号化データに含まれるバイナリからシンタックス値の復号を行う。動き情報復号部１０２１が復号する動き補償パラメータは、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、動きベクトル差分（ｍｖｄ）である。
【０２８６】
［マージＰＵにおいて予測パラメータを導出するための構成例］
［２−１］マージ候補の位置および優先順位の例
図１３〜図１５を用いて、マージＰＵにおける予測パラメータ導出について説明する。
【０２８７】
動き補償パラメータ導出部１２１は、ＰＵ分割タイプが非対称である場合、ＰＵ分割タイプが対称である場合と異なる方法でマージ候補の優先順位を決定する構成であってもよい。
【０２８８】
まず、非対称パーティションの特性について説明する。非対称パーティションでは、小さい方のパーティションに、長辺方向のエッジが存在する可能性が高い。また、エッジが存在する領域は、正確な動きベクトルが導出されている可能性が高い。
【０２８９】
図１３を用いて、具体的に説明すると次のとおりである。図１３は、非対称パーティションが選択されたＣＵを示している。図１３に示すように、対象ＣＵ３０では、傾斜を有するエッジＥ１が領域内に存在し、２Ｎ×ｎＵのＰＵ分割タイプが選択されている。
【０２９０】
対象ＣＵには、ＰＵ３１とＰＵ３２とが含まれる。ここで、対象ＰＵをＰＵ３１とする。傾斜を有するエッジＥ１が、対象ＰＵ３１の領域内を横断している。
【０２９１】
図１３に示す例では、対象ＰＵ３１の短辺側付近の領域Ｒ１０にも、対象ＰＵ３１の領域内に存在するエッジと同じエッジが存在する可能性が高い。従って、対象ＰＵ３１と同じ動きベクトル（ｍｖ）が割り付けられている可能性が高い。
【０２９２】
従って、エッジが存在する可能性の高い領域、すなわち小さいパーティションでは、短辺側の領域に割り付けられている動きベクトルを参照し、大きいパーティションでは、小さいパーティションの周辺の領域に割り付けられている動きベクトルを参照することで、動きベクトルの精度を高めることができる。
【０２９３】
そこで、マージ候補優先順位情報記憶部１２２において記憶されているマージ候補優先順位情報を、対称ＰＵ分割タイプ１２２Ａおよび非対称ＰＵ分割タイプ１２２Ｂの２つのマージ候補優先順位情報を含む構成とする。
【０２９４】
図１４を用いて、対称ＰＵ分割タイプ１２２Ａのマージ候補優先順位情報について説明すると次のとおりである。
【０２９５】
図１４は、対称パーティションが選択されたＣＵを示している。図１４に示すように、対称ＣＵでは、２Ｎ×ＮのＰＵ分割タイプが選択されている。また、同図では、対象ＰＵを、“Ｃｕｒｒ  ＰＵ”にて示している。対象ＰＵでは、マージ候補として、左（Ｌ）、上（Ｕ）、右上（ＵＲ）、左下（ＢＬ）、左上（ＵＬ）の順に優先順位が割り当てられている。
【０２９６】
また、図１５を用いて、非対称ＰＵ分割タイプ１２２Ｂのマージ候補優先順位情報について説明すると次のとおりである。図１５の（ａ）および（ｂ）は、それぞれ、２Ｎ×nＵの小さい方のパーティション、および、２Ｎ×ｎＵの大きい方のパーティションにおける優先順位の設定について示している。また、図１５の（ｃ）および（ｄ）は、それぞれ、２Ｎ×ｎＤの大きい方のパーティション、および、２Ｎ×ｎＤの小さい方のパーティションにおける優先順位の設定について示している。
【０２９７】
図１５の（ａ）および（ｄ）に示すように、非対称パーティション内の小さい方のパーティションでは、短辺側のマージ候補に高い優先順位を割り当てる。
【０２９８】
具体的には、２Ｎ×ｎＵおよび２Ｎ×ｎＤの小さい方のＰＵでは、それぞれ（ａ）および（ｄ）に示すように、短辺に、隣接（Ｌ）、頂点に隣接（ＵＲ、ＢＬ、ＵＬ）、長辺に隣接（Ｕ）の順に優先順位が割り当てられている。
【０２９９】
また、図１５の（ｂ）および（ｃ）に示すように、非対称パーティション内の大きい方のパーティションでは、小さい方のパーティションに近い位置のマージ候補に高い優先順位を割り当てる。
【０３００】
具体的には、２Ｎ×ｎＵの大きい方のＰＵでは、図１５の（ｂ）に示すように、小さい方のＰＵ内におけるマージ候補（Ｕ）、小さい方のＰＵに近いマージ候補（ＵＲ、ＵＬ）、それ以外のマージ候補（Ｌ、ＢＬ）の順に優先度が割り当てられている。
【０３０１】
また、２Ｎ×ｎＤの大きい方のＰＵでは、図１５の（ｃ）に示すように、小さい方のＰＵに近いマージ候補（Ｌ、ＢＬ）それ以外のマージ候補（Ｕ、ＢＬ、ＵＬ）の順に優先順位が割り当てられている。
【０３０２】
なお、優先順位の高い候補に対して小さいマージインデックスを割り当て、小さいマージインデックスに短い符号を割り当てる。また、優先順位の高い候補のみを選択可能なマージ候補としてもよい。
【０３０３】
なお、上記の説明は、マージＰＵにおける予測パラメータ導出について記載したが、同様の導出方法をインターＣＵ内の非マージＰＵにおいて動きベクトルの復元に用いる推定動きベクトルの導出に用いても良い。一般的には、非対称ＰＵ内の各ＰＵにおいて、隣接領域に対応する動きパラメータの推定値または予測値を導出する際に、上記方式が適応できる。
【０３０４】
［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、上記分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と異なる推定方法によって、画面間予測の予測パラメータの推定を行う推定手段を備える構成である。
【０３０５】
よって、分割タイプが非対称分割である場合と、上記分割タイプが対称分割である場合とで異なる推定方法を変更することで、分割タイプに応じた好ましい推定方法により画面間予測の予測パラメータの推定を行うことができるという効果を奏する。
【０３０６】
［２−２］ＣＵサイズとスキップ／マージとの組み合わせによるマージ候補の変更
動き補償パラメータ導出部１２１は、ＣＵサイズと、当該ＣＵがスキップ／マージを行うＣＵであるか否かとの組み合わせに応じてマージ候補を変更する構成であってもよい。そこで、マージ候補優先順位情報記憶部１２２に記憶されるマージ候補情報を、小ＰＵサイズ１２２Ｃおよび大ＰＵサイズ１２２Ｄの２つの定義情報を含む構成とする。
【０３０７】
小ＰＵサイズ１２２Ｃのマージ候補情報は、小サイズのＰＵに適用されるマージ候補数を定義する。また、大ＰＵサイズ１２２Ｄのマージ情報は、大サイズのＰＵに適用されるマージ候補数を定義する。
【０３０８】
一例としては、マージ候補情報において、小ＰＵサイズ１２２Ｃに定義されるマージ候補数（小サイズのＰＵのマージ候補数）が、大ＰＵサイズ１２２Ｄに定義されるマージ候補数（大サイズのＰＵのマージ候補数）に比べて少なくなるよう定義する。
【０３０９】
小サイズのＰＵが選択される領域では、動きが複雑な場合が多い。このため、近傍のＰＵに割り付けられる動きベクトルの相関が小さくなる傾向がある。
【０３１０】
このため、マージ候補を増やしても大サイズのＰＵの場合に比べて推定精度の向上が少ない場合がある。
【０３１１】
よって、マージ候補数を少なくすることにより、サイド情報の符号量を削減するほうが好ましい。
【０３１２】
上記例では、マージ候補情報において、動きが複雑な場合が多い小サイズのＰＵのマージ候補数を大サイズのＰＵのマージ候補数に比べて少なくするため、サイド情報の符号量を削減することができる。
【０３１３】
小サイズＰＵと大サイズＰＵの組み合わせの例について列挙すると以下の通りである。
・小サイズＰＵは少なくとも一辺が所定の閾値（例えば８）より小さいＰＵであり、大サイズＰＵはそれ以外のＰＵである。例えば、１６×４、４×１６、８×４、４×８、４×４のサイズのＰＵは小サイズＰＵであり、８×８、１６×１６のサイズのＰＵが大サイズＰＵとなる。
・小サイズＰＵは面積が所定の閾値（例えば６４）より小さいＰＵであり、大サイズＰＵはそれ以外のＰＵである。例えば、８×４、４×８、４×４のサイズのＰＵは小サイズＰＵであり、８×８、１６×４、４×１６、１６×１６等のサイズのＰＵが大サイズＰＵとなる。
・小サイズＰＵは所定のサイズ（例えば８×８）以下のＣＵに含まれるＰＵであり、大サイズＰＵはそれより大きいＣＵに含まれるＰＵである。例えば、８×８ＣＵに含まれる８×８、８×４、４×８、４×４のサイズのＰＵは小サイズＰＵである。
・小サイズＰＵは、非対称分割が適応されるＣＵにおいて、小さい方のＰＵであり、大サイズＰＵは、非対称分割が適応されるＣＵにおいて、大きい方のＰＵである。
【０３１４】
また、他の例としては、マージ候補情報において、小さいＰＵでは、時間予測によるマージ候補の数を、大きいＰＵにおける時間予測によるマージ候補の数に比べて少なくすることが好ましい。小さいＰＵでは、マージ候補情報において時間予測によるマージ候補を含めないように定義してもよい。
【０３１５】
また、小サイズのＰＵが選択されるような、動きが複雑な領域では、時間予測に使用されるｃｏｌｌｏｃａｔｅｄ  ＰＵと、対象ＰＵとの相関が小さいため、時間予測が選択される可能性が低い。よって、時間予測によるマージ候補の数を減らす、または、時間予測によるマージ候補を含めないことが好ましい。
【０３１６】
［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、復号の対象となる上記予測単位である対象予測単位が、該対象予測単位の近傍の領域に割り付けられている予測パラメータから、該対象予測単位の予測パラメータの推定を行う予測単位である場合、該対象予測単位のサイズに応じて、推定に用いる領域の候補を決定する候補決定手段を備える構成である。
【０３１７】
よって、候補数を削減することによりサイド情報を削減することができ、その結果、符号化効率を向上させることができる。
【０３１８】
［２−３］参照フレーム数の決定
動き補償パラメータ導出部１２１を、以下の［２−３−１］〜［２−３−４］に示すように構成してもよく、これによりインター予測において単予測および双予測のいずれの予測方式を適用するかを決定してもよい。
【０３１９】
［２−３−１］小サイズＰＵでの双予測制限
動き補償パラメータ導出部１２１は、参照フレーム設定情報記憶部１２３に記憶される参照フレーム設定情報を参照して、インター予測において単予測および双予測のいずれの予測方式を適用するかを決定してもよい。
【０３２０】
動き補償パラメータ導出部１２１は、小サイズのＰＵでは、双予測を制限する構成であってもよい。そこで、参照フレーム設定情報を、小ＰＵサイズ１２３Ａおよび大ＰＵサイズ１２３Ｂの２つの定義情報を含む構成とする。
【０３２１】
大ＰＵサイズ１２３Ｂは、大きいサイズのＰＵにおいて選択可能な予測方式が定義される。大ＰＵサイズ１２３Ｂでは、大きいサイズのＰＵにおいて双予測および単予測いずれの予測方式も制限なく選択できるよう定義される。
【０３２２】
小ＰＵサイズ１２３Ａは、小さいサイズのＰＵにおいて選択可能な予測方式が定義される。小ＰＵサイズ１２３Ａでは、小さいサイズのＰＵにおいて双予測が制限されるよう定義される。
【０３２３】
小ＰＵサイズ１２３Ａの定義の一例としては、インターＣＵに含まれる、マージを適用しないＰＵであって、サイズが１６×１６未満のＰＵにおいて、インター予測フラグの復号を省略して単予測を適用する旨定義する。
【０３２４】
また、小ＰＵサイズ１２３Ａの定義の他の例としては、インターＣＵに含まれる、マージを適用するＰＵであって、サイズが１６×１６未満のＰＵにおいて、単予測を適用する旨定義する。
【０３２５】
また、小ＰＵサイズ１２３Ａの定義の別の例としては、スキップＣＵに含まれる各ＰＵにおいて単予測を適用する。
【０３２６】
また、小ＰＵサイズ１２３Ａの定義のさらに別の例としては、インターＣＵに含まれる、マージを適用しないＰＵであって、サイズが１６×１６未満のＰＵにおいて、重み付け予測を適用しない。すなわち、重み付け予測に関する情報を省略する。
【０３２７】
以下、参照フレーム設定情報に基づき双予測を制限する場合に関し、シンタックステーブル及びブロック図を用いて、さらに、符号化データの構成、及び、動画像復号装置の構成の詳細を説明する。
【０３２８】
（双予測制限の種類）
ＰＵの種類には、対象ＣＵがスキップであるＰＵ（スキップＰＵ）、対象ＰＵがマージを適応するＰＵ（マージＰＵ）、対象ＰＵがスキップでもマージでもないＰＵ（基本インターＰＵ、または、非動き情報省略ＰＵ）がある。基本インターＰＵでは、双予測であるか単予測であるかを示すインター予測フラグを符号化データから復号し、動き補償パラメータを導出する。それに対して、スキップＰＵ及びマージＰＵでは、インター予測フラグを復号せずに動き補償パラメータを導出する。これらのＰＵでは、スキップ候補、または、マージ候補から、動き補償に用いる候補をスキップインデックスまたはマージインデックスに基づき選択し、当該選択候補における動き補償パラメータに基づいて、対象ＰＵにおける動き補償パラメータを導出する。通常、スキップＰＵの動き補償パラメータの導出方法は、マージＰＵと同様である。なお、シーケンスパラメータセットのフラグなどを用いてマージの利用を制限する場合には、動きベクトル残差（ｍｖｄ）を復号しない点を除き、基本インターＰＵと同一の方法を用いてもよい。この場合、スキップＰＵの双予測制限の動作は、基本インターＰＵと同じ動作を行う。
【０３２９】
図３５の（ａ）は、各ＰＵにおける双予測制限の例を示す。場合としては、基本インターＰＵのみに双予測制限を行う場合と、動き補償予測を適用する全ＰＵに双予測制限を行う場合がある。基本インターＰＵのみに双予測制限を行う場合には、スキップＰＵ及びマージＰＵでは双予測制限を行わず、基本インターＰＵのみに双予測制限を行う。基本インターＰＵのみに双予測制限を行う場合にも、全ＰＵに双予測制限を行う場合にも、動画像符号化装置および動画像復号装置における処理量の低減と回路規模の削減が可能である。
【０３３０】
図３５の（ｂ）は、各ＰＵにおける双予測制限の方法を示す。スキップＰＵ及びマージＰＵの場合には、スキップ候補またはマージ候補に基づく動き補償パラメータ導出において双予測を行わないことを示す情報を導出することによって、双予測制限を行う。具体的には、動き補償パラメータ導出部で後述するように、動き補償パラメータに含まれるインター予測フラグの値を双予測から単予測に変換することで双予測制限を行う。基本インターＰＵに対して双予測制限を行う場合には、ＰＵサイズ情報に応じて双予測制限の適用有無を判定する。双予測制限を適用しない場合にはインター予測フラグの復号を行う。また、双予測制限を適用する場合にはインター予測フラグの復号を省略するとともに、さらにインター予測フラグの値を単予測と推定する処理を行う。
【０３３１】
ここで、ＰＵサイズ情報とは、小さなＰＵであるか否かを判定するための情報であり、対象ＣＵのサイズとＰＵ分割タイプ、もしくは、対象ＣＵのサイズとＰＵ分割数、もしくは、ＰＵの幅もしくは高さ、もしくはＰＵの面積などを用いることができる。
【０３３２】
スキップＰＵ及びマージＰＵと、基本インターＰＵは、動き補償パラメータの復号方法だけでなく用いられる場面も異なる。スキップＰＵとマージＰＵは、選択可能な動き補償パラメータを制限することによって符号量の低減を行う。このようなＰＵでは、動きが一様であるような領域で主に用いられる。動きが一様である場合には、２つの予測画像が近く双予測によるノイズ除去効果が大きいことが多い。そのため、基本インターＰＵの双予測制限に比べると、スキップＰＵ及びマージＰＵでは、基本インターＰＵと比較して双予測制限により符号化効率が低下する場合が生じやすい。そのため、上述のように基本インターＰＵのみで双予測を用いる制限や、後述のように、基本インターＰＵと、スキップＰＵおよびマージＰＵで制限するＰＵサイズを変更する方法も好適である。また、基本インターＰＵでの双予測制限は、符号化データの構造の観点からみると、インター予測フラグを符号化しないことによる符号量低減効果があるためにより有効である。
【０３３３】
（ＰＵの動き補償パラメータ）
ＰＵの動き補償パラメータは、予測リスト利用フラグpredFlagL0およびpredFlagL1と、参照インデックス番号refIdxL0およびrefIdxL1と動きベクトルmvL0およびmvL1と、で表現される。予測リスト利用フラグpredFlagL0、predFlagL1は、参照予測リストが用いられるか否かを示す。以下、利用する場合を１、利用しない場合を０で示す。２つの参照予測リストを用いる場合、predFlagL0=1, predFlagL1=1の場合が双予測に対応し、１つの参照予測リストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、双予測であるか否かは、後述のインター予測フラグで表現することもでき、符号化データから、参照ピクチャの数が１（単予測）か２（双予測）かの情報を復号する場合にはこちらが用いられる。
【０３３４】
予測リスト利用フラグpredFlagL0が１の場合には、参照インデックス番号refIdxL0によってＬ０リストの参照ピクチャを指定し、動きベクトルmvL0によって指定された参照ピクチャに対する動きベクトルを指定する。
【０３３５】
予測リスト利用フラグpredFlagL1が１の場合には、参照インデックス番号refIdxL1によってＬ１リストの参照ピクチャを指定し、動きベクトルmvL1によって指定された参照ピクチャに対する動きベクトルを指定する。
【０３３６】
なお、リストＸを使用しない場合（Ｘは０もしくは１）、すなわち、予測リスト利用フラグpredFlagLXが０の場合には、基本的には参照インデックス番号refIdxLXの値を-1、動きベクトルmvL1の値を(0, 0)とする。
【０３３７】
（インター予測フラグの詳細）
ここでは、インター予測フラグの詳細を説明する。インター予測フラグinter_pred_flagは、単予測であるか双予測であるかを示す２値フラグである場合の他、単予測において参照する参照画像のリスト（参照リスト）を複数の参照リストの中から選択する情報を含む場合がある。例えば、２種類の参照リスト（Ｌ０リストとＬ１リスト）のいずれかを選択するフラグを含む３値フラグとしてインター予測フラグが定義されていてもよい。以下、各々の場合を説明する。
【０３３８】
復号モジュール１０では、スライスヘッダ等から参照フレームリストとしてＬ０、Ｌ１リストを用いるか、コンバインドリスト（LCリスト）を用いるかを選択するコンバインドリストフラグref_pic_list_combination_flagを復号する。単予測の場合の参照フレーム決定方法は、コンバインドリストフラグの値に応じて異なる。コンバインドリストフラグが１の場合には、単予測の参照フレームの指定に用いる参照リストとしてコンバインドリストLCを用い、各ＰＵにおいて参照リストを指定するためのフラグは不要である。そのためインター予測フラグinter_pred_flagは２値フラグで良い。コンバインドリストフラグが０の場合には、各ＰＵにおいて、参照リストをＬ０リストもしくはＬ１リストから選択する必要がある、そのためインター予測フラグinter_pred_flagは３値フラグとなる。
【０３３９】
図３２の（ａ）は、２値フラグである場合のインター予測フラグの意味を示し、図３２の（ｂ）は、３値フラグである場合のインター予測フラグの意味を示す。
【０３４０】
（双予測制限におけるシンタックステーブル例）
図３１は、従来技術におけるＰＵのシンタックステーブルの例であり双予測制限を行わない場合の符号化データの構成を示す。図３３は、ＰＵのシンタックステーブルの例であり、（ａ）および（ｂ）は各々双予測制限を行う場合の符号化データの構成の特にインター予測フラグinter_pred_flagの部分を示す。図３３の（ａ）は、インター予測フラグが常に２値フラグである場合のシンタックステーブルの例である。この場合、inter_pred_flagにより単予測を意味するPred_LCと、双予測を意味するPred_Biの２つを区別する。スライスがＢスライスでかつ双予測が有効である場合（DisableBiPred = false）には、単予測と双予測を区別するために符号化データは、インター予測フラグinter_pred_flagを含み、双予測が有効ではない場合（DisableBiPred = true）には、常に単予測であるからインター予測フラグinter_pred_flagを含まない。
【０３４１】
図３３の（ｂ）は、インター予測フラグが３値フラグである場合のシンタックステーブルの例である。コンバインドリストを利用する場合にはinter_pred_flagによりLCリストの参照フレームを１つ用いる単予測を意味するPred_LCと、双予測を意味するPred_Biの2つを区別するが、そうでない場合には、L1リストの単予測を意味するPred_L1、L1リストの単予測を意味するPred_L2と、双予測を意味するPred_Biの3つを区別する。スライスがＢスライスでかつ双予測が有効である場合（DisableBiPred = false）には、符号化データは単予測と双予測を指定するために第１のインター予測フラグinter_pred_flag0を含み、双予測が有効ではない場合には、コンバインドリストを用いない場合に限り、符号化データは、参照リストを指定するための単予測と双予測を指定するために第２のインター予測フラグinter_pred_flag1を含む。コンバインドリストを用いない場合とは詳細には図３３の（ａ）に示すように!UsePredRefLC && !NoBackPredFlagにより判定する。すなわち、コンバインドリストを使用するか否かを指定するフラグUsePredRefLC（UsePredRefLCの値が真の場合にコンバインドリストを使用することを示す）と、後方向予測を用いるか否かを示すフラグNoBackPredFlag（NoBackPredFlagの値が真の場合に後方向予測を用いないことを示す）により指定される。コンバインドリストを利用する場合には、リスト選択をせずともコンバインドリストであることが分かる。後方向予測を用いない場合にはPred_L1を禁止することであるから、第２のインター予測フラグinter_pred_flag1を符号化しない場合にも使用するリストが、コンバインドリストであるか（Pred_LC）、L0リストであるかPred_L0が分かる。なお、NoBackPredFlagの代わりにL1リストを用いないという意味でNoL1PredFlagという表現を用いることもできる。
【０３４２】
双予測制限を行うか否か、もしくは、双予測制限を行う場合のＰＵサイズの判定に用いる閾値を符号化データに含めても構わない。図３４は、双予測制限に関するシンタックステーブルの例である。図３４の（ａ）は、シーケンスパラメータセットが双予測制限をするか否かを制限するフラグdisable_bipred_in_small_PUを含む場合を示す。図に示すように、双予測制限のフラグは、小サイズのＰＵ（ここでは４ｘ４サイズのＰＵ）を禁止するフラグdisable_inter_4x4と独立に符号化しても良い。なお、小サイズのＰＵを禁止するフラグの目的も、双予測制限と同じく、ＰＵ予測画像を生成する場合における最悪の処理量の低減であるから、小サイズのＰＵを禁止するフラグと小サイズの双予測を禁止するフラグを共通フラグとしても用いても良い。図３４の（ｂ）は、共通のフラグとして予測制約フラグuse_restricted_predictionを設ける例である。この場合には、予測制約フラグがtrueの場合には、小サイズのＰＵの適用と小サイズＰＵにおける双予測を同時に禁止する。図３４の（ｃ）は、双予測を禁止するＰＵのサイズを示すdisable_bipred_sizeを符号化データに含める例である。disable_bipred_sizeとしては双予測制限の判定方法で後述する閾値ＴＨの２を底とする対数の値等を用いることなどができる。なお、これらのフラグは、シーケンスパラメータセット以外のパラメータセットで符号化しても構わないし、スライスヘッダで符号化しても構わない。
【０３４３】
以上において、ＣＡＢＡＣの場合のシンタックスについて説明したが、続いて、ＣＡＶＬＣの場合のシンタックスについて説明する。上述のとおり図３３はＣＡＢＡＣの場合のシンタックステーブルである。それに対し図３６はＣＡＶＬＣの場合を含むシンタックステーブルである。図３６中のcombined_inter_pred_ref_idxは、インター予測フラグinter_pred_flagと参照ピクチャインデックス（ref_idx_l0、ref_idx_lc、ref_idx_l1）を結合したフラグである。図３６に示すように、符号化モード情報（entropy_coding_mode_flag）が0、すなわちＣＡＶＬＣの場合には、インター予測フラグinter_pred_flagと参照ピクチャインデックスを別々に符号化、復号するのではなく、結合フラグであるcombined_inter_pred_ref_idxを符号化する。従って、符号化データはcombined_inter_pred_ref_idxを含む。
【０３４４】
さらに双予測が使用可能な場合（双予測制限を示すフラグDisableBipredがfalseである場合）で、かつcombined_inter_pred_ref_idxが所定の値MaxPredRef（後述）であれば、符号化データはインター予測フラグinter_pred_flagをさらに含む。DisableBipredは、ＰＵサイズが小サイズである場合にtrueとする。図３６のDisableBipredの導出方法は一例であり、この場合、4x4、4x8、8x4のＰＵサイズの場合にDisableBipred=trueとなる。
【０３４５】
（結合インター予      測参照インデックス）
図３７は、結合インター予測参照インデックスcombined_inter_pred_ref_idxを説明するための図である。図３７の（ａ）、（ｂ）、（ｃ）は、combined_inter_pred_ref_idxの値の例を説明するための図である。図３７の（ｄ）は、combined_inter_pred_ref_idxの最大値MaxPredRefの導出方法を示すテーブルＴＢＬ３７および擬似コードＣＯＤＥ３７である。combined_inter_pred_ref_idxは、発生確率の高いインター予測フラグinter_pred_flagと参照ピクチャインデックスの組み合わせを短いビットで符号化するために用いられる。combined_inter_pred_ref_idxは、発生確率の高い参照ピクチャの組み合わせを要素にもつ参照リストＬＣ（ＬＣのＣはcombinedの略）で管理される参照ピクチャを選択するために用いられるインデックスである。
【０３４６】
図３７の（ａ）、（ｃ）の例では、combined_inter_pred_ref_idxの値の範囲は０から８（＝MaxPredRef）である。図３７の（ｃ）に示す通り、０から７に発生しやすい組み合わせ（結合参照ピクチャセット）が割り当てられる。インター予測フラグinter_pred_flagと参照ピクチャインデックスの組み合わせがそれ以外の場合には、８（＝MaxPredRef）が割り当てられる。図３７の（ｄ）に示す最大値MaxPredRefの導出方法については、後に説明する。
【０３４７】
ＣＡＶＬＣでは、combined_inter_pred_ref_idxは、変換可変テーブルEncTableと呼ばれるテーブルでコード番号codeNumに変換され、コード番号codeNumがMaxPredRefを最大値としたtruncated unary codeで符号化される。すなわち、codeNum = EncTable[combined_inter_pred_ref_idx]が符号化される。truncated unary codeでは小さい値ほど短いビット数で符号化される。また最大値を明示的に用いることで無駄なビットなく符号化できる。なお、最大値cMaxの場合のtruncated unary codeによるコード番号（codeNum）の復号は次の擬似コードに規定される処理により実現できる。ここで、read_bits(1)は符号化データから1bitのバイナリを読み出してその値を返す関数である。
leadingZeroBits = -1
for( b = 0; !b && leadingZeroBits < cMax; leadingZeroBits++ )
b = read_bits( 1 )
codeNum = leadingZeroBits
図３８の（ａ）および（ｂ）に、それぞれ、変換可変テーブルEncTableと逆変換可変テーブルDecTableの例を示す。図３８の（ａ）の例に示されるように、変換可変テーブルEncTableを用いることにより、結合参照ピクチャセットの中で、さらに、発生しやすい組み合わせに小さい値が割り振られ、短い符号長で符号化される。変換可変テーブル及び逆変換可変テーブルは、１つのcombined_inter_pred_ref_idxを符号化、復号する度に、発生した値が短いコード番号となるように更新される。これにより固定的な可変テーブルを用いる場合に比べさらに短い符号長で符号化できる。図３８の（ｂ）は、逆変換可変テーブルDecTableを示す。復号されたcodeNumはDecTableによりcombined_inter_pred_ref_idxに直される。すなわち、combined_inter_pred_ref_idx = DecTable[combined_inter_pred_ref_idx]である。復号動作の詳細はインター予測フラグ復号部１０２８の説明で後述する。
【０３４８】
（双予測制限における動き補償パラメータ導出部）
図２９は、動き補償パラメータ導出部１２１の構成を示す。動き補償パラメータ導出部１２１は、スキップ動き補償パラメータ導出部１２１１、マージ動き補償パラメータ導出部１２１２、基本動き補償パラメータ導出部１２１３、双予測制限ＰＵ判定部１２１８、および、双単予測変換部１２１９から構成される。
【０３４９】
動き補償パラメータ導出部１２１では、特に、インター予測フラグを復号しない場合のＰＵであるスキップＰＵとマージＰＵの双予測制限を行う。
【０３５０】
スキップ動き補償パラメータ導出部１２１１は、対象ＣＵがスキップの場合に、スキップＰＵの動き補償パラメータを導出し、双単予測変換部１２１９に入力する。双単予測変換部１２１９は、双予測限定条件に応じて動き補償パラメータを変換し、スキップ動き補償パラメータ導出部１２１１に戻す。双予測限定条件とは、双予測制限を行うか否かを決定するための条件であり、その判定は、後述のとおり、双予測制限ＰＵ判定部１２１８が行う。また、双単予測変換部１２１９が、双予測を単予測へ変換する方法（双予測変換方法）の詳細については後述する。スキップ動き補償パラメータ導出部１２１１は、双予測限定条件に応じて変換された動き補償パラメータを、対象ＰＵの動き補償パラメータとして外部に出力する。なお、スキップインデックスによって、動き補償パラメータが定まる場合には、スキップ候補の各々に対して、双単予測変換部１２１９で変換を行い、変換後のスキップ候補をスキップインデックスで選択する構成でも構わない。なお、スキップＰＵのスキップ候補導出と、マージＰＵのマージ候補導出の導出方法とが同じ場合には、スキップ動き補償パラメータ導出部１２１１をマージ動き補償パラメータ導出部１２１２に置き換えて、マージ候補をスキップ候補に置き換えて導出する。
【０３５１】
マージ動き補償パラメータ導出部１２１２は、対象ＰＵがマージの場合に、対象ＰＵの動き補償パラメータを導出し、双単予測変換部１２１９に入力する。双単予測変換部１２１９は、双予測限定条件に応じて動き補償パラメータを変換し、マージ動き補償パラメータ導出部１２１２に戻す。マージ動き補償パラメータ導出部１２１２は、双予測限定条件に応じて変換された動き補償パラメータを、対象ＰＵの動き補償パラメータとして外部に出力する。なお、マージインデックスによって、動き補償パラメータが定まる場合には、マージ候補の各々に対して、双単予測変換部１２１９で変換を行い、変換後のマージ候補を、マージインデックスで選択する構成でも構わない。
【０３５２】
基本動き補償パラメータ導出部１２１３は、対象ＰＵがスキップでも、マージでもない場合において、対象ＰＵの動き補償パラメータを導出し、外部に出力する。
【０３５３】
双予測制限ＰＵ判定部１２１８は、対象ＰＵのＰＵサイズ情報を参照し、対象ＰＵにおいて双予測を用いない双予測制限を行うか否かを判定する。スキップＣＵ及びマージＰＵの双予測制限を行うか否か、及び、基本インターＰＵの双予測制限を行うか否かを、独立に判定しても良い。例えば、全てのＰＵを同じＰＵサイズを閾値として双予測制限を行って良いし、スキップＰＵ及びマージＰＵの方が大きなＰＵサイズを閾値として双予測制限を行っても良い。またスキップＰＵ及びマージＰＵは双予測制限を行わず、基本インターＰＵにのみ双予測制限を行っても良い。
【０３５４】
なお、マージの利用を制限する場合のように、スキップＰＵでインター予測フラグを復号する場合には、スキップＰＵ、マージＰＵ、基本インターＰＵの各々で双予測制限を行うか否かを、独立に判定することも可能である。
【０３５５】
また、上記の構成では、スキップ動き補償パラメータ導出部１２１１において設定された双予測・単予測の設定を双単予測変換部１２１９において双予測制限ＰＵ判定部１２１８に基づき判定すると説明したが、この構成に限らない。例えば、双予測制限ＰＵ判定部１２１８の判定結果を直接スキップ動き補償パラメータ導出部１２１１に入力し、双予測・単予測の設定を行う構成でも構わない。
【０３５６】
以下では、上記動き補償パラメータ導出部１２１の各構成のうち、マージ動き補償パラメータ導出部１２１２、基本動き補償パラメータ導出部１２１３、双予測制限ＰＵ判定部１２１８、および、双単予測変換部１２１９の詳細について、順に説明する。
【０３５７】
（マージ動き補償パラメータ導出部１２１２の詳細）
図４３は、マージ動き補償パラメータ導出部１２１２の構成を示すブロック図である。なお、スキップＰＵの場合に用いられる場合には、以下のマージ候補をスキップ候補に置き換えて動作させる。
【０３５８】
マージ動き補償パラメータ導出部１２１２は、隣接マージ候補導出部１２１２Ａ、時間的マージ候補導出部１２１２Ｂ、ユニーク候補導出部１２１２Ｃ、結合双予測マージ候補導出部１２１２Ｄ、非スケール双予測マージ候補導出部１２１２Ｅ、ゼロベクトルマージ候補導出部１２１２Ｆ、マージ候補導出制御部１２１２Ｇ、マージ候補格納部１２１２Ｈ、マージ候補選択部１２１２Ｊから構成される。図４３では図示しないが、隣接マージ候補導出部１２１２Ａおよび時間的マージ候補導出部１２１２Ｂには、フレームメモリ１６に格納されている既に復号されたＣＵ及びＰＵの復号パラメータ、特に、ＰＵ単位の動き補償パラメータが供給される。なお、以下では、隣接マージ候補導出部１２１２Ａ、時間的マージ候補導出部１２１２Ｂ、ユニーク候補導出部１２１２Ｃ、結合双予測マージ候補導出部１２１２Ｄ、非スケール双予測マージ候補導出部１２１２Ｅ、ゼロベクトルマージ候補導出部１２１２Ｆのことを、まとめて、マージ候補導出手段と称する。
【０３５９】
マージ動き補償パラメータ導出部１２１２においては、マージ候補導出制御部１２１２Ｇが、各マージ候補導出手段を制御し、所定の数MRG_MAX_NUM_CANDSのマージ候補を導出しマージ候補格納部１２１２Ｈに格納する。ここで、マージ候補は、ＰＵの動き補償パラメータである予測リスト利用フラグpredFlagL0とpredFlagL1、参照インデックス番号refIdxL0とrefIdxL1、動きベクトルmvL0とmvL1から構成される。マージ候補格納部１２１２Ｈには、上記動きパラメータの組がマージ候補として格納される。格納するマージ候補は格納順に順序づけられたリスト（マージ候補リスト）として管理される。マージ候補選択部１２１２Ｊは、マージインデックスで指定されるマージ候補を選択し予測情報ＰＵＩとして出力する。
【０３６０】
結合双予測マージ候補導出部１２１２Ｄ、非スケール双予測マージ候補導出部１２１２Ｅは、特に、双予測のマージ候補を導出するので、双予測マージ候補導出手段と呼ぶ。
【０３６１】
図４４は、マージ動き補償パラメータ導出部１２１２の動作を示すフロー図である。なお、各マージ候補導出手段が、マージ候補を導出する手法については、別の図を用いて後述する。始めに、隣接マージ候補導出部１２１２Ａにおいて、隣接ブロックの動き補償パラメータを用いてマージ候補Ａ０〜マージ候補Ｂ２が求められる（Ｓ１０１）。続いて、時間的マージ候補導出部１２１２Ｂにおいて、既に復号した参照ピクチャの動き補償パラメータを用いてマージ候補Ｔが求められる（Ｓ１０２）。Ｓ１０３では、導出したマージ候補Ａ０〜マージ候補Ｔの中で重複するマージ候補が取り除かれ、マージ候補格納部１２１２Ｈに格納される。ここで重複しないマージ候補数がMRG_MAX_NUM_CANDS個以上であれば、マージ候補の導出を終了する（Ｓ１０４でＹＥＳ）。それ以外であれば（Ｓ１０４でＮＯ）、Ｓ１０５に遷移する。Ｂスライスであれば（Ｓ１０５でＹＥＳ）、Ｓ１０６に遷移し、そうではなければ（Ｓ１０５でＮＯ）、Ｓ１０７、Ｓ１０８をスキップしＳ１０９に遷移する（Ｓ１０５）。双予測制限を行う場合、ここでは、双方向マージ候補導出をスキップする場合に相当する小サイズＰＵの場合も、Ｓ１０７、Ｓ１０８の双予測動き候補導出の処理をスキップし、Ｓ１０９に遷移する（Ｓ１０６）。Ｓ１０７では、結合双予測マージ候補導出部１２１２Ｄにおいて、結合双予測マージ候補が導出されマージ候補格納部１２１２Ｈに格納される。Ｓ１０８では、非スケール双予測マージ候補導出部１２１２Ｅにおいて、非スケール双予測マージ候補が導出されマージ候補格納部１２１２Ｈに格納される。ここでマージ候補数がMRG_MAX_NUM_CANDS個以上であれば（Ｓ１０９でＹＥＳ）、マージ候補の導出を終了する。また、図示しないが、Ｓ１０７及びＳ１０８のステップ中に、マージ候補数がMRG_MAX_NUM_CANDS個に到達した時点で、各処理を停止し、マージ候補の導出を終了する。Ｓ１１０では、ゼロベクトルマージ候補導出部１２１２Ｆにおいて、マージ候補数がMRG_MAX_NUM_CANDS個に到達するまでゼロベクトルのマージ候補が導出され、マージ候補格納部１２１２Ｈに格納される。
【０３６２】
上記処理では、小サイズＰＵにおいて、双予測マージ候補に関わるマージ候補導出処理が省略されるため、マージ候補導出に掛る処理量を低減することができる。双予測マージ候補に関わる結合双予測マージ候補導出処理（Ｓ１０７）および非スケール双予測マージ候補導出処理（Ｓ１０８）は繰り返し複数の判定を行う必要がある重い処理であるため、復号にかけられる時間（処理量）が限られる小サイズＰＵで処理を省略できることは、実時間で復号処理を行う必要がある機器おいて特に有効である。なお、双予測のマージ候補の省略は、結合双予測マージ候補導出部１２１２Ｄ、非スケール双予測マージ候補導出部１２１２Ｅの動作に限らず、双予測のマージ候補を主に生成する他のマージ候補導出処理にも適用可能である。
【０３６３】
以下、各マージ候補導出手段の詳細を説明する。図４５は、隣接マージ候補導出部１２１２Ａの動作を説明するための図である。図４５に示すとおり、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２の位置を含む隣接ブロックの動き補償パラメータを、コピーすることにより、各マージ候補を導出する。導出する順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２であるとする。導出されたマージ候補は、双単予測変換部１２１９で変換後、マージ候補格納部１２１２Ｈに格納する。双単予測変換部１２１９は、双予測制限が行われる場合に、入力されるマージ候補を単予測に変換する。単予測に変換されたマージ候補が複数になる場合（例えばＬ０予測とＬ１予測の２つ）には、その複数のマージ候補を、マージ候補格納部１２１２Ｈに格納する。双単予測変換部１２１９の出力が複数のマージ候補で良いというのは、以後、説明する他のマージ候補導出部でも同様である。
【０３６４】
なお、隣接ブロックが、availableではない場合（unavailable）やイントラブロックの場合には、対応するマージ候補は導出されない。なお、availableではない場合とは、画面外にある場合、スライス外にある場合、ブロックのスキャン順からみて、未復号である場合である。Ａ０〜Ｂ１の位置は、ＰＵの左上座標を(xP,yP)、ＰＵのサイズnPSW、nPSHとして、以下のように表現できる。
Ａ０：(xP - 1,yP + nPSH)
Ａ１：(xP - 1,yP + nPSH - 1)
Ｂ０：(xP + nPSH,yP - 1)
Ｂ１：(xP + nPSH - 1,yP - 1)
Ｂ２：(xP - 1,yP - 1)
なお、Ａ０、Ａ１、Ｂ０、Ｂ１の位置に対応するマージ候補が全て導出された場合には、Ｂ２の位置に対応するマージ候補は導出されない。ＰＵの分割タイプが、２Ｎ×ＮもしくはＮ×２Ｎの場合でＰＵのインデックスが１である場合のマージ候補の導出においては、各マージ候補の動き補償パラメータが、インデックスが０のＰＵの動き補償パラメータと一致しない場合に限り、対応するマージ候補が導出されマージ候補格納部１２１２Ｈに格納される。ブロックＡ、ブロックＢの動き補償パラメータの一致判定を行う関数equalMotion（A、B）の動作は、以下のように規定できる。
【０３６５】
equalMotion(A, B) = (predFlagL0A == predFlagL0B) && (predFlagL1A == predFlagL1B) && mvL0A[0] == mvL0B[0] && mvL0A[1] == mvL0B[1] && mvL1A[0] == mvL1B[0] && mvL1A[1] == mvL1B[1])
ここで、predFlagL0A、predFlagL1Aは、各々、ブロックＡにおいてL0、L1の参照ピクチャが用いられる場合に１、それ以外は０となる。mvL0[0]、mvL0[1]は、L0の水平動きベクトル、垂直動きベクトル、mvL1[0]、mvL1[1]は、L1の水平動きベクトル、垂直動きベクトルである。なお、ブロックＢの場合には、上記AをBに置き換える。
【０３６６】
図４６は、時間的マージ候補導出部１２１２Ｂの動作を説明する図である。図４６の（ａ）を参照すると、時間的マージ候補は、現ピクチャがcurrPicである場合、現ピクチャ内における対象ＰＵの空間的位置とほぼ同じ空間的位置を占める参照インデックス番号refIdxL0で指定される参照ピクチャPU、もしくは、参照ピクチャインデックス番号で指定される参照ピクチャのPUの動き補償パラメータをコピーすることにより、導出される。図４６の（ｂ）を参照して、参照インデックス番号refIdxL0、参照インデックス番号refIdxL1の導出方法を説明する。参照インデックス番号refIdxLX（ここでXは0もしくは1もしくはＣ）は、対象ＰＵの隣接ＰＵ、Ａ、Ｂ、Ｃのブロックの参照ピクチャrefIdxLXA、refIdxLXB、refIdxLXCを用いて以下のように求められる。
（１）refIdxLXA = refIdxLXB = refIdxLXCの場合、
refIdxLXA = -1のとき、refIdxLX = 0
それ以外のとき、refIdxLX = refIdxLXA
（２）refIdxLXA = refIdxLXBの場合、
refIdxLXA = -1のとき、refIdxLX = refIdxLXC    それ以外のとき、refIdxLX = refIdxLXA
（３）refIdxLXB = refIdxLXCの場合、
refIdxLXB = -1のとき、refIdxLX = refIdxLXA
それ以外のとき、refIdxLX = refIdxLXB
（４）refIdxLXA = refIdxLXCの場合、
refIdxLXA = -1のとき、refIdxLX = refIdxLXB
それ以外のとき、refIdxLX = refIdxLXA
（５）refIdxLXA = -1の場合、
refIdxLX = min( refIdxLXB, refIdxLXC)
（６）refIdxLXB = -1の場合、
refIdxLX = min( refIdxLXA, refIdxLXC)
（７）refIdxLXC = -1の場合、
refIdxLX = min( refIdxLXA, refIdxLXB)
（８）その他の場合、
refIdxLX = min( refIdxLXA, refIdxLXB, refIdxLXC)
ここで、minは最小値をとる関数である。
なお、ブロックＡ、Ｂの座標は、以下の通りである。
Ａ：(xP - 1,yP + nPSH - 1)
Ｂ：(xP + nPSW - 1,yP - 1)
ブロックＣの座標は、下記Ｃ０、Ｃ１、Ｃ２の何れかである。Ｃ０からＣ２の順に走査し、各位置に対応するPUが、availableであり、イントラ以外である場合に、その位置のＰＵのrefIdxLXを、refIdxLXCとする。
Ｃ０：(xP + nPSW - 1,yP - 1)
Ｃ１：(xP - 1,yP + nPSH)
Ｃ２：(xP - 1,yP - 1)
上記のようにrefIdxL0、refIdxL1が導出されると、refIdxL0で示される参照ピクチャの位置（xP +nPSW、yP +nPSH）の動き補償パラメータを用いて、L0の動きベクトルを定め、refIdxL1で示される参照ピクチャの位置（xP +nPSW、yP +nPSH）の動き補償パラメータを用いて、L1の動きベクトルを定めることにより、時間的マージ候補を導出する。すなわち、各参照ピクチャリストLX（X=0、X=1もしくはX=C）に対する動きベクトルmvLXCol[0]、mvLXCol[0]を、LXリスト及びrefIdxLXで示される参照ピクチャから算出する。具体的には、refIdxLXで示される参照ピクチャの位置（xP +nPSW、yP +nPSH）のPUがunavailableである、もしくは、イントラ予測モードである場合には、時間的マージ候補のLXの動きベクトルmvLXCol[0]、mvLXCol[1]を０に定める。それ以外、すなわち、該PUのPredFlagL0が0である場合には、該PUのL1の動きベクトルMvL1を、時間的マージ候補のLXの動きベクトルmvLXCol[0]、mvLXCol[1]として用いる。それ以外の場合には、該PUのL0の動きベクトルMvL0を、時間的マージ候補のLXの動きベクトルmvLXCol[0]、mvLXCol[1]として用いる。
【０３６７】
続いて、現フレームのＰＯＣ（Picture Order Count）と参照ピクチャのＰＯＣを用いて、動きベクトルのスケーリングを行う。時間的マージ候補においても隣接マージ候補と同様に、マージ候補をマージ候補格納部１２１２Ｈに格納する前に、双単予測変換部１２１９にマージ候補を入力し変換する。変換後のマージ候補が時間的マージ候補として、マージ候補格納部１２１２Ｈに格納される。
【０３６８】
ユニーク候補導出部１２１２Ｃは、マージ候補リストの各マージ候補が互いにユニークになるように、マージ候補リストを更新する。マージ候補リストに格納されたマージ候補がインデックス０〜インデックスＣＡＮＤＸまでである場合、図４７の擬似コードに示すステップによりユニークなマージ候補リストを得ることができる。なお、マージ候補リストは、マージ候補を格納する配列motion_cand[]を用いて管理する。また、マージ候補数をNumcandとすると、ＣＡＮＤＸ＝Numcand−１である。図４７の擬似コードの各ステップＳについて、以下に説明する。
Ｓ４７０１：インデックス０からインデックスＣＡＮＤＸの有効性フラグを全て有効に初期化する。ここでmotion_valid[]は有効性フラグを格納する配列である。
Ｓ４７０２：ループ変数i（ｉ＝１からＣＡＮＤＸ）に対して、ｉのマージ候補motion_cand[i]と同じ動き補償パラメータが、ｉより小さい番号のインデックスｊ（0<=j<i）のmotion_cand[j]で出現していたら、ｉの有効性フラグmotion_valid[i]を無効にする。Ｓ４７０２−１では、インデックスｉとｊの動き補償パラメータを比較する。動き補償パラメータの比較には、equalMotion関数を用いる。ここでequalMotion(A, B)は、入力された動き補償パラメータAとBとの同一性を判定する関数である（同図においては、“hasEqualMotion”と表記している）。動き補償パラメータが一致していたら、ｉの有効性フラグmotion_valid[i]を無効にする。
Ｓ４７０３：有効性フラグmotion_validがtrueのマージ候補motion_candをマージ候補リストに格納する。このマージ候補リストの再構成は、マージ候補motion_candの配列から構成されるマージ候補リストに番号が小さい順にコピーすることで行う。ここでcopy(Ａ, Ｂ)はＢをＡにコピーする関数である。
Ｓ４７０４：有効性フラグmotion_validを再設定する。
Ｓ４７０５：有効なマージ候補数NumCandを更新する。
【０３６９】
図４８は、結合双予測マージ候補導出部１２１２Ｄの動作を説明する図である。結合双予測マージ候補は、マージ候補リストに格納された２つの参照マージ候補を用いて、一方の参照マージ候補からリストＬ０の動き補償パラメータをコピーし、もう一方の参照マージ候補からリストＬ１の動き補償パラメータをコピーすることで導出される。図４８の（ｃ）は、抽出する２つの参照マージ候補リストを決定するためのテーブルである。導出する結合双予測マージ候補のインデックスをcombCandk で表現する。なお、combCandkは、既に導出されたマージ候補リストの最後のインデックスの値に１を加えた値を用いる。ｋは、０から開始するインデックスであり、結合双予測マージ候補をマージ候補リストに追加する際に１ずつインクリメントする。また、combIdxインデックスは、結合双予測マージ候補の導出の際に用いられる一時的なインデックスで０から１１までの値を持つ。０から１１までのcombIdxインデックスについて、２つのインデックスl0CandIdx及びl1CandIdxで示されるインデックスの参照マージ候補をマージ候補リストから選択する。ここでインデックスlXCandIdx(X=0もしくはX=1)のインデックスの候補を選択するとは、マージ候補リストに格納されたインデックス０〜ＣＡＮＤＸまでのマージ候補の内、インデックスlXCandIdxで示される候補を抽出することを言う。図４８の（ａ）は、結合双予測マージ候補を導出するか否かを判定する判定式を示す。l0CandIdxで選択されたマージ候補のL0の動き補償パラメータpredFlagL0l0Cand、refIdxL0l0Cand、mvL0l0Candと、l1CandIdxで選択されたL1のマージ候補の動き補償パラメータpredFlagL1l1Cand、refIdxL1l1Cand、mvL1l1Candが図４８（ａ）の判定式を全て満たす場合に、結合双予測マージ候補が導出される。図４８の（ｂ）は、インデックスcombCandkで示される結合双予測マージ候補の導出方法を示す図である。結合双予測マージ候補の動き補償パラメータrefIdxL0combCandk、refIdxL1combCandk、predFlagL0combCandk、predFlagL1combCandk、mvL0combCandk[0]、mvL0combCandk[1]、mvL1combCandk[0]、mvL1combCandk[1]を上記L0の動き補償パラメータと上記Ｌ１の動き補償パラメータをコピーすることにより導出する。導出された結合双予測マージ候補がマージ候補格納部１２１２Ｈのマージ候補リストに格納された全てのマージ候補と一致しない場合に、結合双予測マージ候補をマージ候補リストの最後に格納する。一致判定は既に説明した関数equalMotionを用いる。
【０３７０】
マージ候補数が、MRG_MAX_NUM_CANDS個に到達していれば、結合双予測マージ候補導出部１２１２Ｄの動作を終了する。到達していなければcombIdxを１だけインクリメントし、図４８の（ｃ）のテーブルを用いて２つの参照マージ候補を抽出し、マージ候補導出を継続する。全てのテーブルについて抽出した時点で、結合双予測マージ候補導出部１２１２Ｄの動作を終了する。
【０３７１】
図４９は、非スケール双予測マージ候補導出部１２１２Ｅの導出を説明する図である。図４９の（ａ）は、非スケール双予測マージ候補を導出するか否かを判定する判定式を示す。図４９の（ｂ）は、インデックスnscaleCandlで示される非スケール双予測マージ候補の導出方法を示す図である。ここで、インデックスnscaleCandlは、既に導出されたマージ候補リストの最後のインデックスの値に１を加えた値を用いる。ｌは、０から開始するインデックスであり、非スケール双予測マージ候補をマージ候補リストに追加する際に１ずつインクリメントする。非スケール双予測マージ候補導出部１２１２Ｅは、既に導出されマージ候補格納部１２１２Ｈに格納されたマージ候補の動きベクトルを利用して、２つの参照ピクチャに対する動きベクトルが互いに反転する関係になるようなマージ候補を導出する。参照するマージ候補のインデックスをorigCandとして、図４９の（ａ）の判定式を全て満たす場合に、図４９の（ｂ）に従い非スケール双予測マージ候補の導出が行われる。非スケール双予測マージ候補についても、関数equalMotionを用いて、導出された結合双予測マージ候補がマージ候補格納部１２１２Ｈのマージ候補リストに格納された全てのマージ候補と一致しない場合に、結合双予測マージ候補をマージ候補リストの最後に格納する。マージ候補数が、MRG_MAX_NUM_CANDS個に到達していれば動作を終了し、到達していなければ処理を繰り返す。
【０３７２】
図５０は、ゼロベクトルマージ候補導出部１２１２Ｆの動作を示す図である。マージ候補格納部１２１２Ｈのマージ候補数が、MRG_MAX_NUM_CANDS個に到達していれば処理を行わない。到達していなければ、マージ候補数が、MRG_MAX_NUM_CANDS個に到達するまでゼロベクトルを格納する。すなわち、参照するマージ候補のインデックスをmvL0zeroCandmとして、L0の動きベクトル（mvL0zeroCandm[0]、mvL0zeroCandm[1]）、L1の動きベクトル（mvL1zeroCandm[0]、mvL1zeroCandm[1]）が共に０となるような候補を導出する。ここで、インデックスzeroCandmは、既に導出されたマージ候補リストの最後のインデックスの値に１を加えた値を用いる。mは、０から開始するインデックスであり、ゼロベクトル予測マージ候補をマージ候補リストに追加する際に１ずつインクリメントする。なお、ゼロベクトルマージ候補導出部１２１２Ｆにおいても、２つの参照ピクチャを用いるマージ候補、すなわちpredFlagL1=1、predFlagL1=1のマージ候補を導出することが可能であるが、マージＰＵの双予測制限を行う場合には、双予測制限を行う小サイズのＰＵにおいて、単予測のマージ候補のみを導出することとする。
【０３７３】
マージ候補導出制御部１２１２Ｇは、図４４のフローチャートで示した動作を行い、マージ候補を導出する。
【０３７４】
マージ候補格納部１２１２Ｈは、導出したマージ候補を保存する。
【０３７５】
（基本動き補償パラメータ導出部１２１３の詳細）
図５４は、基本動き補償パラメータ導出部１２１３の構成を示すブロック図である。基本動き補償パラメータ導出部１２１３は、隣接動きベクトル候補導出部１２１３Ａ、時間的動きベクトル候補導出部１２１３Ｂ、ゼロベクトルマージ候補導出部１２１３Ｆ、動きベクトル候補導出制御部１２１３Ｇ、動きベクトル候補格納部１２１３Ｈ、動きベクトル候補選択部１２１３Ｉ、動きベクトル復元部１２１３Ｊから構成される。なお、以下では、隣接動きベクトル候補導出部１２１３Ａ、時間的動きベクトル候補導出部１２１３Ｂ、ゼロベクトルマージ候補導出部１２１３Ｆのことを、まとめて、動きベクトル／マージ候補導出手段と称する。
【０３７６】
基本動き補償パラメータ導出部１２１３においては、動きベクトル候補導出制御部１２１３Ｇが、各動きベクトル／マージ候補導出手段を制御し、所定の数PMV_MAX_NUM_CANDSの予測動きベクトル候補を導出し動きベクトル候補格納部１２１３Ｈに格納する。ここで、予測動きベクトル候補は、動きベクトルmvL0とmvL1とから構成される。動きベクトル候補格納部１２１３Ｈには、上記動きパラメータの組が予測動きベクトル候補として格納される。格納する予測動きベクトル候補は格納順に順序づけられたリスト（予測動きベクトル候補リスト）として管理される。
【０３７７】
隣接動きベクトル候補導出部１２１３Ａは、隣接マージ候補導出部１２１２Ａと同様に、隣接ブロックの動き補償パラメータを、コピーすることにより、各予測動きベクトル候補を導出する。
【０３７８】
時間的動きベクトル候補導出部１２１３Ｂは、時間的マージ候補導出部１２１２Ｂと同様に、既に復号済みのピクチャの動き補償パラメータを、コピーすることにより、時間的予測動きベクトル候補を導出する。
【０３７９】
ゼロベクトルマージ候補導出部１２１３Ｆは、ゼロベクトルを予測動きベクトル候補として導出する。
【０３８０】
動きベクトル候補導出制御部１２１３Ｇは、所定の数PMV_MAX_NUM_CANDSの予測動きベクトル候補が導出された時点で導出を終了する。また、内部のユニーク候補判定部１２１３Ｃを用いて、隣接動きベクトル候補導出部１２１３Ａおよび時間的動きベクトル候補導出部１２１３Ｂから導出される予測動きベクトルが互いに一致しない（ユニークになる）ように、動きベクトル候補格納部１２１３Ｈに格納する。具体的には、動きベクトル候補導出制御部１２１３Ｇは、ユニーク候補判定部１２１３Ｃに２つの動きベクトルＡと動きベクトルＢとを入力し、動きベクトルＡと動きベクトルとＢが一致しているか否かを判定させる。ユニーク候補判定部１２１３Ｃは入力された２つの動きベクトルが互いに一致しているが否かを判定する。
【０３８１】
（双予測制限ＰＵ判定部１２１８の詳細：双予測制限の判定方法）
双予測制限ＰＵ判定部１２１８において、双予測制限を行うべき小サイズのＰＵであるか否かを判定する方法の好適な例を以下に説明する。なお、判定方法は以下の例に限定されるものではなく、ＰＵサイズ情報として他のパラメータを用いることも可能である。
【０３８２】
（判定方法の例１）
判定方法の例１では、ＰＵサイズの判定に用いる閾値をＴＨとした場合に、THxTH未満のPUの場合に双予測制限を行う。この時の対象ＣＵサイズ（ここではCU Width）とＰＵ分割タイプを用いた判定式は以下の通りである。
【０３８３】
DisableBiPred = ((CU Width == TH && PU分割タイプ != 2Nx2N) || CU Width < TH) ? true : false
具体的には、
TH = 16の場合には、16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。
TH = 8の場合には、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。
【０３８４】
なお、ＰＵサイズの判定に用いるＣＵサイズとしてCU Widthの代わりに、ＣＵサイズ（CU Width）の底を２とする対数log2CUSizeを用いても良い。この場合、16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4を双予測制限する場合の判定式は、以下になる。
【０３８５】
DisableBiPred = ((log2CUSize == 4 && PU分割タイプ != 2Nx2N) || log2CUSize < 4) ? true : false
また、8x4、4x8、4x4を双予測制限する場合の判定式は、以下になる。
【０３８６】
DisableBiPred = (log2CUSize == 3 && PU分割タイプ != 2Nx2N)
なお、対象ＣＵサイズとＰＵ分割タイプ以外のパラメータを用いて判定を行うことも可能である。例えば、ＰＵ分割数NumPartを用いて以下のような判定も可能である。
【０３８７】
DisableBiPred = ((CU Width == TH && NumPart > 1) && CU Width < TH) ? true : false
（判定方法の例２）
判定方法の例２では、THxTH以下のPUにおいて双予測制限を行う。この時の判定式は以下の通りである。
【０３８８】
DisableBiPred = ((CU Width == 2*TH && PU分割タイプ == NxN) || CU Width < 2*TH) ? true : false
具体的には、
TH = 16の場合には、16x16、16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。
TH = 8の場合には、8x8、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。
TH = 4の場合には、4x4のPUにおいて双予測制限が行われる。
【０３８９】
なお、ＰＵサイズの判定にlog2CUSize を用いる場合、8x8、8x4、4x8、4x4を双予測制限する場合の判定式は、以下になる。
【０３９０】
DisableBiPred = ((log2CUSize == 4 && PU分割タイプ == NxN) || log2CUSize < 4) ? true : false
4x4の判定式は、以下になる。
【０３９１】
DisableBiPred = ((log2CUSize == 3 && PU分割タイプ == NxN)) ? true : false
なお、PUの分割数NumPartを用いて以下のような判定も可能である。
【０３９２】
DisableBiPred = ((CU Width == 2*TH && NumPart != 4) || CU Width < 2*TH) ?  true : false
なお、上述の例においてスキップＰＵ及びマージＰＵと、基本インターＰＵとで異なるＰＵサイズ（閾値ＴＨ）を用いても構わない。また、図３４の（ｃ）で既に示したように、判定に用いるＰＵサイズ（閾値ＴＨ）を符号化しても良い。
【０３９３】
（双単予測変換部１２１９の詳細）
双単予測変換部１２１９は、入力された動き補償パラメータが双予測を示しており、さらに、双予測制限ＰＵ判定部においてスキップＰＵ及びマージＰＵの双予測制限を行うと判定された場合において、双単予測変換部１２１９に入力される動き補償パラメータを単予測に変換する。
【０３９４】
なお、双単予測変換部１２１９は複数の双予測変換方法を切り替えることが可能であり、マージ候補導出部の指定する双予測変換方法を用いて双単予測変換を行っても構わない。また、双単予測変換部１２１９に、双単予測変換を行うか否かを入力し、それに合わせて切り替えを行っても構わない。
【０３９５】
また、後述するように、双単予測変換部１２１９は、入力された動き補償パラメータが双予測の場合には、２つの動き補償パラメータを順次、出力しても良い。
【０３９６】
動き補償パラメータは、時間的及び空間的に近接するＰＵの動き補償パラメータのコピー、もしくは、時間的及び空間的に近接するＰＵの動き補償パラメータの組み合わせから導出される動き補償パラメータのインター予測フラグinter_pred_flagが双予測を示す２である場合には、単予測を示す１に変換する。また、内部の処理に用いるインター予測フラグ（内部インター予測フラグ）がＬ０予測を示す１、Ｌ１予測を示す２、双予測を示す３からなるフラグである場合には、以下の動作を行う。内部インター予測フラグが３である場合には、内部インター予測フラグの値がＬ０予測を意味する１、もしくは、Ｌ１予測を意味する２に変換する。また、Ｌ０予測に変換する場合にはＬ１予測に関する動き補償パラメータを例えばゼロにリフレッシュすることも可能である。Ｌ１予測に変換する場合には、Ｌ０予測に関する動き補償パラメータを例えばゼロにリフレッシュすることも可能である。なお、内部インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。
【０３９７】
内部インター予測フラグ  ＝  (predFlagL1<<1) + predFlagL0
predFlagL0  ＝内部インター予測フラグ & 1
predFlagL1  ＝内部インター予測フラグ >> 1
単予測に変換する方法としては、インター予測フラグ（及び内部インター予測フラグ）を変更する方法の他、予測リスト利用フラグpredFlagL0、predFlagL1の両者が利用するを示す値である１の場合に、予測リスト利用フラグの一方を使用しないことを示す値の０に変換すること、で行うこともできる。
【０３９８】
図５１は、単予測への変換の方法（双予測変換方法）の例を説明する図である。Ｌ０選択は、予測リスト利用フラグpredFlagL1を０に変更する。Ｌ１選択は、予測リスト利用フラグpredFlagL0を０に変更する。参照インデックス番号選択は、参照インデックス番号refIdxL0、参照インデックス番号refIdxL1の内、値が大きい方のリストの予測リスト利用フラグを０に変更する。式としては、X = (ref_idx_L1 < ref_idx_L0) ? 0 : 1、predFlagLX = 0。これにより、参照インデックス番号が小さい方のリストが使用される。POC選択は、現ピクチャのＰＯＣ（POC_curr）と、参照インデックス番号refIdxL0で示される参照ピクチャのＰＯＣ（POC_L0）の差分と、現ピクチャのＰＯＣと、参照インデックス番号refIdxL1で示される参照ピクチャのＰＯＣ（POC_L1）の絶対値差分との内、値が大きい方のリストの予測リスト利用フラグを０に変更する。X = (|POC_L1 ‐ POC_curr| < |POC_L0 ‐ POC_curr| ) ? 0 : 1、predFlagLX = 0。これにより現ピクチャに対してＰＯＣが近い参照ピクチャが用いられる。
【０３９９】
両選択は、L0の動き補償パラメータを用いる場合とL1の動き補償パラメータを用いる場合の両方を候補として用いる。すなわち、入力されたマージ候補が双予測の場合には、predFlagL1 = 0のようにL0を用いるように変更されたマージ候補と、predFlagL0 = 0のように変更されたマージ候補の２つを、入力元であるマージ候補導出部に出力する。
【０４００】
発明者による実験では、ＰＵサイズが８×４、４×８の場合に双予測を制限する場合で、双単予測変換にＬ１選択を行う方法において、符号化効率の低下がほぼゼロであることを確認している。この場合、双単予測変換は、以下のように表現できる。ＣＵサイズlog2CUSizeが３、かつ、ＰＵ分割タイプPartModeが２Ｎ×２Ｎ以外の場合において、予測リスト利用フラグpredFlagL0と予測リスト利用フラグpredFlagL1の両者が１である場合には、予測リスト利用フラグpredFlagL0を０に設定する。
【０４０１】
一般に、動き補償パラメータの導出では、Ｌ０リストの参照ピクチャを優先することが多い。逆に、Ｌ０リストの参照ピクチャの代わりにＬ１リストの参照ピクチャを使用することによれば、これらのＬ０リストを優先する導出処理と差別化することができる。ある符号化パラメータにより複数の導出処理が選択可能な場合において、あるグループの導出処理をＬ０リスト優先、他のグループの導出処理をＬ１リスト優先とすると、各々の導出処理は互いに相補的に用いることができるため、より多くの動きの性質のシーケンスや領域において有効に作用する。そのため、双単予測変換においては、Ｌ１リストを用いることによって高い符号化効率を得ることができる。
【０４０２】
図５１の例以外の単予測への変換の方法の例をさらに説明する。双予測マージ候補毎に、双予測である（predFlagL0とpredFlagL1が共に1）である場合に、predFlagL1を0にする（Ｌ0リストを用いる）かを切り替えても良い。例えば、隣接マージ候補導出部１２１２Ａでは、Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２の順にマージ候補を導出するが、Ａ１、Ｂ０、Ｂ２でpredFlagL1=0、Ｂ１、Ａ０でpredFlagL1=1とする方法がある。この例では、マージ候補を導出する毎に、L0リストを用いる場合とL1リストを用いる場合を交互に選択する。また、この例では、左方向に隣接するブロックから算出されるマージ候補Ａ０、Ａ１および上方向に隣接するブロックから算出されるマージ候補Ｂ０、Ｂ１の各々に対して、一方についてL0リストを用いる場合とし、もう一方についてL1リストを用いる場合とする。このように、隣接マージ候補の一部をpredFlagL1=0、一部をpredFlagL0=0により、単予測に変換する場合には、各々の参照リストの動き補償パラメータをバランスよく使用することができるため、高い符号化効率が得られる。また、隣接方向が右方向（Ａ０、Ａ１）、上方向（Ｂ０、Ｂ１、Ｂ２）であるマージ候補は互いに異なる参照リストを選択するようにすることが好ましい。なお、どのマージ候補をpredFlagL1=0として、どのマージ候補をpredFlagL0=0とするかについては上記以外の方法でも良い。例えば、Ａ１、Ｂ０、Ｂ２でpredFlagL1=1、Ｂ１、Ａ０でpredFlagL1=0としても良い。また、導出する順番もしくはマージ候補リストに格納する場合のインデックス毎に、反対の参照リストを用いるようにしても良い。
【０４０３】
また、参照リストＸの予測リスト利用フラグpredFlagLXを０にすることで、双単予測変換を行う場合に、参照インデックス番号refIdxLXの値を-1、動きベクトルmvL1の値を(0, 0)などの初期値にリフレッシュしないこととするが、リフレッシュすることも可能である。発明者による実験では、これらの値はリフレッシュを行わない方が高い符号化効率が得られることを確認している。リフレッシュしない場合においては、参照ピクチャリストの使用を制限した場合においても、後続の処理において、制限した方の、参照インデックス番号および動きベクトルの値を使用することができる。そのため、高い符号化効率が得られる。
【０４０４】
なお、双単予測変換部１２１９は、スキップ動き補償パラメータ導出部１２１１及びマージ動き補償パラメータ導出部１２１２の内部に備える手段として構成しても構わない。また、基本インターＰＵのみに双予測制限を行う場合には、双単予測変換部１２１９を備えない構成でも良い。
【０４０５】
（双予測制限における動き情報復号部１０２１）
図３０は、動き情報復号部１０２１の構成を示すブロック図である。動き情報復号部１０２１は少なくともインター予測フラグ復号部１０２８を備える。動き情報復号部１０２１では、特に、インター予測フラグを復号する場合のＰＵである基本インターＰＵの双予測制限を行う。インター予測フラグ復号部１０２８は、上述の双予測制限ＰＵ判定部１２１８で、基本インターＰＵの双予測制限を行うか否かに応じて、インター予測フラグの復号を行うか否かを変更する。
【０４０６】
なお、マージの利用を制限する場合のように、スキップＰＵでインター予測フラグを復号する場合には、スキップＰＵの双予測制限を行う。
【０４０７】
（インター予測フラグ復号部１０２８）
図３９は、ＣＡＢＡＣの場合のインター予測フラグ復号部１０２８の動作を示すフロー図である。インター予測フラグ復号部１０２８は、スライスがＢスライスの場合（Ｓ１３１でＹＥＳ）には、Ｓ１３２に遷移する。それ以外では（Ｓ１３１でＮＯ）、インター予測フラグinter_pred_flagを復号せずに終了する。ＰＵサイズが小ＰＵサイズの場合（DisableBiPred = trueの場合）には（Ｓ１３２でＹＥＳ）、インター予測フラグinter_pred_flagを復号せずに終了する。それ以外の場合には（Ｓ１３２でＮＯ）、インター予測フラグinter_pred_flagを復号する（Ｓ１３３）。
【０４０８】
図４０は、ＣＡＶＬＣの場合のインター予測フラグ復号部１０２８の動作を示すフロー図である。インター予測フラグ復号部１０２８は、スライスがＢスライスの場合（Ｓ１４１でＹＥＳ）には、Ｓ１４２に遷移する。それ以外では（Ｓ１４１でＮＯ）、インター予測フラグinter_pred_flagを復号せずに終了する。ＰＵサイズが小ＰＵサイズ以外の場合（DisableBiPred != trueの場合）には（Ｓ１４２でＮＯ）、Ｓ１４３、Ｓ１４４、１４５により、結合インター予測参照インデックスcombined_inter_pred_ref_idxを復号する。ＰＵサイズが小ＰＵサイズの場合には（Ｓ１４２でＹＥＳ）、Ｓ１４６、Ｓ１４７、Ｓ１４８により、結合インター予測参照インデックスcombined_inter_pred_ref_idxを復号する。
【０４０９】
Ｓ１４３およびＳ１４６では、最大値MaxPredRefを算出する。最大値MaxPredRefは、図３７の（ｄ）のテーブルＴＢＬ３７および擬似コードＣＯＤＥ３７に示す通りである。具体的には、小サイズＰＵ以外の場合、すなわち、双予測制限なしの場合（DisableBiPred != true）の最大値MaxPredRefは、NumPredRefLC＋NumPredRefL0*NumPredRefL1もしくは、NumPredRefL0＋NumPredRefL0*NumPredRefL1、すなわち、単予測の結合参照ピクチャセットの数（NumPredRefLC、もしくはNumPredRefL0）と双予測の結合参照ピクチャセットの数（NumPredRefL0*NumPredRefL1）の和で算出する（Ｓ１４３）。双予測制限ありの場合（DisableBiPred = true）の最大値MaxPredRefは、NumPredRefLCもしくは、NumPredRefL0、すなわち、単予測の結合参照ピクチャセットの数（NumPredRefLC、もしくはNumPredRefL0）で算出し、双予測の結合参照ピクチャセットを含まない（Ｓ１４６）。これにより、無駄な符号を排除することができる。なお、num_ref_idx_lc_active_minus1は、参照リストＬＣで管理される参照リスト番号の数（参照リストＬＣのサイズ）から１を引いた数である。num_ref_idx_lc_active_minus1が０より大きいことは、参照リストＬＣが用いられることを示す。同様に、num_ref_idx_l0_active_minus1は参照リストＬ０で管理される参照リスト番号の数（参照リストＬ０のサイズ）から１を引いた数であり、参照リストＬ０が用いられることを示す。同様に、num_ref_idx_l1_active_minus1は参照リストＬ１で管理される参照リスト番号の数（参照リストＬ１のサイズ）から１を引いた数である。なお、単予測の結合参照ピクチャセットの数は、以下の式のように、参照リストのサイズを最大値（参照リストＬＣは４、それ以外の参照リストは２）でクリップした数として定められる。
NumPredRefLC = Min(°4,°num_ref_idx_lc_active_minus1°+°1°)
NumPredRefL0 = Min(°2,°num_ref_idx_l0_active_minus1°+°1°)
NumPredRefL1 = Min(°2,°num_ref_idx_l1_active_minus1°+°1°)
Ｓ１４４、Ｓ１４７における、combined_inter_pred_ref_idxの復号では、最大値をMaxPredRefとするunary codeで符号化されたcodeNumを復号する。Ｓ１４５、Ｓ１４８において、codeNumはcombined_inter_pred_ref_idxに変換される。小サイズＰＵ以外の場合には、逆変換可変テーブルDecTableによってcombined_inter_pred_ref_idxに変換する。すなわち、combined_inter_pred_ref_idx = DecTable[codeNum]である（Ｓ１４５）。小サイズＰＵの場合には、codeNumをcombined_inter_pred_ref_idxの値としてそのまま用いる。すなわち、combined_inter_pred_ref_idx = codeNumである（Ｓ１４８）。そして、combined_inter_pred_ref_idxが最大値MaxPredRefに一致するか否かを判定する（Ｓ１４９）。一致する場合で（Ｓ１４９でＹＥＳ）、さらに、小サイズＰＵ以外の場合には、inter_pred_flagを復号する（Ｓ１５０）。この動作は、図３６に示すシンタックステーブルの復号に対応する。
【０４１０】
上記の例では、小サイズＰＵでは逆変換可変テーブルを用いないことで簡易な復号を行っているが、上記Ｓ１４８のステップを図４１の擬似コードで示す処理に置き換えることにより、逆変換可変テーブルを用いたcombined_inter_pred_ref_idxの復号も可能である。逆変換可変テーブル及び変換可変テーブルは、双予測制限を用いる場合と用いない場合とで同一のテーブルを用いる。双予測テーブルを用いない場合には、テーブルのエントリの内、双予測に対応するエントリは無効である。そのため、無効なエントリをスキップする処理が必要になる。具体的には復号部では、コード番号を復号した後、逆変換可変テーブルDecTableのエントリを発生確率の高い順、すなわち、番号が小さい方から大きい方にむけて順にスキャンする。エントリの内容が双予測である、すなわち、２つの予測リストを用いる場合には無効であるのでスキップし、有効である場合のみをカウントする。このカウント値が復号したコード番号に一致する場合に、このカウント値のエントリのパラメータを復号すべきcombined_inter_pred_ref_idxの値とする。また、逆変換可変テーブルDecTableの更新は、無効なカウントを含めたカウント値をコード番号とみなして行われる。具体的には図４１の動作を行う。図４１は、逆変換可変テーブルを用いる場合のcombined_inter_pred_ref_idxの復号処理を示す擬似コードである。以下に、図４１に示す擬似コードの各ステップＳについて説明する。なお、図４１では、コーディングスタイルの都合により、最大値MaxPredRefを、uiMaxValと表記している。また、NumPredRefLC、NumPredRefL0、および、NumPredRefL1は、それぞれ、uiValNumRefIdx0fLC、uiValNumRefIdx0fL0、および、uiValNumRefIdx0fL1と表記している。
Ｓ５０１：最大値MaxPredRefを得る。
Ｓ５０２：双予測制限を行う場合の最大値MaxPredRefとuiBipredValを得る。
Ｓ５０３：最大値MaxPredRefを引数としてunary復号処理xReadUnaryMaxSymbolを呼び出すことにより、コード番号tmpを得る。
Ｓ５０４：逆変換可変テーブルm_uiMITableDを用いてコード番号tmpからcombined_inter_pred_ref_idxを得る。双予測制限を行わない場合はこの値が最終的なcombined_inter_pred_ref_idxの値である。
Ｓ５０５：双予測制限を行う場合においてコード番号からcombined_inter_pred_ref_idxを得る処理に入る分岐である。
Ｓ５０６：後に、Ｓ５０９での判定に用いるため、双予測制限を行わない場合の最大値MaxPredRefを得る。
Ｓ５０７：仮のコード番号tmp2をループ変数として０から最大値MaxPredRefまで処理を行う。第２の仮のコード番号cxは０に処理化しておく。
Ｓ５０８：仮のコード番号tmp2を逆変換可変テーブルで変換して得られる仮のcombined_inter_pred_ref_idxの値xを得る。
Ｓ５０９：仮のcombined_inter_pred_ref_idxの値xが、有効範囲であるか否かを判定する。有効であるのは、双予測制限を行う場合の最大値uiBipredValを超えない場合と、双予測制限を行わない場合の最大値MaxPredRefである場合である。
Ｓ５１０：第２の仮のコード番号cxが、復号したコード番号tmpに一致する場合にループを終了する。ループを終了する時点の仮のコード番号tmp2は、双予測制限を行わない場合のコード番号に対応する。よって、コード番号tmpに代入する。
Ｓ５１１：第２の仮のコード番号cxをインクリメントする。
Ｓ５１２：ループを終了した時点の仮のcombined_inter_pred_ref_idxの値xをcombined_inter_pred_ref_idxの復号値として得る。
Ｓ５１３：双予測制限を行わない場合のコード番号tmpを用いて、逆変換可変テーブルを更新する処理adaptCodewordを呼び出す。
【０４１１】
なお、図４２は、可変テーブルを用いる場合のcombined_inter_pred_ref_idxの符号化処理を示す擬似コードである。
【０４１２】
以上、小ＰＵサイズの処理量削減方法として、基本インターＰＵの双予測制限（インター予測フラグ、結合インター予測参照インデックスの復号方法の変更）、マージＰＵの双予測制限（マージ候補導出における双単予測変換）、双予測マージ候補算出のスキップ を説明したが、これら制限を単独で用いる、もしくは、これら制限を行うＰＵサイズを各々異なる値としても良い。図５２、図５３は、双予測の処理量低減の例を示すものである。なお、図中の○はその処理を行うことを示し、図中の×はその処理を行わないことを示す。
【０４１３】
図５２の（ａ）は、４ｘ４、４ｘ８、４ｘ８のサイズのＰＵに対して、一様に、基本インターＰＵの双予測制限、マージＰＵの双予測制限、双予測マージ候補導出のスキップを適用する例である。図５２の（ｂ）、（ｃ）は、マージＰＵの双予測制限、双予測マージ候補導出のスキップは行わず基本インターＰＵにのみ双予測制限を行う例である。一般にマージＰＵの双予測制限を行うと符号化効率の低下が生じる場合があるため、基本インターＰＵにのみ双予測制限を行う例は適当である。
【０４１４】
図５２の（ｄ）は、４ｘ４、４ｘ８、４ｘ８のサイズのＰＵに対して、一様に、基本インターＰＵの双予測制限、８ｘ８のサイズのＰＵに対してマージＰＵの双予測制限、双予測マージ候補導出のスキップを適用する例である。基本インターＰＵの双予測制限に比べ、マージＰＵの双予測制限を緩くすることは符号化効率上適当である。
【０４１５】
図５３の（ａ）は、４ｘ４、４ｘ８、４ｘ８、８ｘ８に対して、基本インターＰＵの双予測制限と双予測マージ候補導出のスキップを適用する例である。マージＰＵの双予測制限は行わないが、マージＰＵの動き補償パラメータとして用いられるマージ候補導出を簡略化することにより、マージＰＵにおける双予測関連の処理量を低下させることができる。図５３の（ｂ）は、４ｘ４、４ｘ８、４ｘ８、８ｘ８に対して、双予測マージ候補導出のスキップを適用する例である。このように、双予測マージ候補導出のスキップを単独で用いることもできる。
【０４１６】
このような場合の実現には、判定方法を別のフラグで管理すればよい。例えば、各用予測制限を行うことを示すフラグDisableBiPredFlag、DisableBiPredMerge、DisableBiPredMergeDeriveを設け、以下に示す動作によりこれらが可能である。
【０４１７】
例えば、双予測制限PU判定部１２１８では、３つのフラグDisableBiPredFlag、DisableBiPredMerge、DisableBiPredMergeDeriveを各々導出する。図５２の（ｄ）に示す例であれば、以下で導出できる。
【０４１８】
DisableBiPredFlag = (log2CUSize == 3 && PU分割タイプ != 2Nx2N) ? true : false
DisableBiPredMerge、DisableBiPredMergeDerive  ＝((log2CUSize == 4 && PU分割タイプ == NxN) || log2CUSize < 4) ? true : false
インター予測フラグ復号部１０２８では、DisableBiPredFlagが真の場合に、インター予測フラグ、結合インター予測参照インデックスの復号方法の変更を行う。
【０４１９】
マージ動き補償パラメータ導出部１２１２では、DisableBiPredMergeが真の場合に、マージ候補導出において、双単予測変換部 １２１９を用いて双単予測変換を行う。
【０４２０】
マージ動き補償パラメータ導出部１２１２では、DisableBiPredMergeDeriveが真の場合に、マージ候補導出において、双予測マージ候補導出のスキップを行う。
【０４２１】
動き補償パラメータ導出部１２１が、小ＰＵサイズ１２３Ａを参照して双予測制限を行うことによる作用・効果は以下のとおりである。双予測は、単予測よりも処理量が大きく、また小サイズのＰＵは、大サイズのＰＵに比べて単位面積あたりの処理量が大きい。従って、小サイズのＰＵにおける双予測は、処理のボトルネックとなりかねない。このため、小サイズのＰＵでは、双予測を抑制することで、処理量が過度に増大することを抑えることができる。とくに、最も小さいサイズのＰＵを処理するような最悪ケースの処理量を抑制することができる。
【０４２２】
なお、インター予測フラグについて補足しておくと次のとおりである。非特許文献１では、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）は、基本的には、双予測か単予測かを選択するフラグとなっている。しかし、コンバインドリストを使用せず、後方予測禁止フラグが禁止でない場合には、単予測に用いる参照フレームリストとしてＬ０、Ｌ１のいずれかを選択するためのフラグをｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇにより送信する場合もある。
【０４２３】
［作用・効果］
本発明は以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、上記画面間予測が適用される、所定サイズ以下のサイズの予測単位である対象予測単位について、双予測を行うことを制限する双予測制限手段を備える構成である。
【０４２４】
上記制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができるという効果を奏する。
【０４２５】
［２−３−２］双予測の制限を行うサイズの決定
以下では、図５８〜図７０を用いて、双予測の制限を行うサイズを決定するための構成について開示する。
【０４２６】
（レベル規制）
まず、図５８および図５９を用いて、Ｈ．２６４／ＡＶＣにおけるレベル規制（level limit）について説明する。図５８および図５９は、Ｈ．２６４／ＡＶＣにおけるレベル規制を定義するテーブルである。
【０４２７】
図５８を参照しながら、レベル規制について説明する。レベル規制におけるレベルとは、デコーダの性能や、ビット・ストリームの複雑さを規定するものである。
【０４２８】
レベルは、整数部と、非整数部とにより指定される。整数部のレベルは、主として、取り扱う画像の解像度に応じた大まかな区分を表している。図５８に示すように、整数には、１〜５までの数が指定される。レベル１、レベル２、およびレベル３は、それぞれＱＩＣＦ、ＣＩＦ、ＳＤＴＶ（標準テレビ）の解像度に対応している。
【０４２９】
また、レベル４は、ＨＤＴＶ（高精細テレビ）の解像度に対応している。そして、レベル５は、スーパーＨＤＴＶの解像度への対応している。
【０４３０】
また、図５８に示すように、各整数レベルでは、さらに、非整数部によって、中間レベルが指定される場合がある（ＣＯＬ５８１で示す“Ｌｅｖｅｌ ｎｕｍｂｅｒ”の項目を参照）。
【０４３１】
これらのレベル指定に対し、デコーダの性能や、ビット・ストリームの複雑さを表すパラメータが定義される。
【０４３２】
図５８に示す表に規定されるパラメータは、Ｌｅｖｅｌ ｎｕｍｂｅｒ（ＣＯＬ５８１）から、表中、右側に向けて順に、ＭａｘＭＢＰＳ、ＭａｘＦＳ、ＭａｘＤＰＢ、ＭａｘＢＲ、ＭａｘＣＰＢ、ＭａｘＶｍｖＲ、ＭｉｎＣＲ、ＭａｘＭｖｓＰｅｒ２Ｍｂである。
【０４３３】
ここで、参照番号ＣＯＬ５８２で示すＭａｘＦＳについて、説明すると次のとおりである。ＭａｘＦＳは、最大のフレーム・サイズを、マクロブロックの数（ＭＢｓ）で規定するものである。
【０４３４】
例えば、レベル２．２および３では、ＭａｘＦＳ＝１６２０である。また、レベル３．１では、ＭａｘＦＳ＝３６００であり、レベル３．２では、ＭａｘＦＳ＝５１２０である。
【０４３５】
画面サイズには、４８０ｐ、７２０ｐ、１０８０ｐ、４ｋなどがあるが、これらの画面サイズが、どのレベルで処理可能かは、ＭａｘＦＳにより定まる。
【０４３６】
１つのマクロブロックは、１６×１６＝２５６画素から構成される。よって、例えば、４８０ｐ（７２０×４８０）に含まれるマクロブロックの数は、７２０×４８０／２５６＝１３５０（ＭＢｓ）である。上述のとおりレベル２．２では、ＭａｘＦＳ＝１６２０であるので、４８０ｐを処理することが可能である。
【０４３７】
また、例えば、７２０ｐ（１２８０×７２０）については、１フレームあたり１２８０×７２０／２５６＝３６００（ＭＢｓ）のマクロブロックを処理できればよい。よって、レベル３．１および３．２では、７２０ｐを処理することが可能である。なお、画像サイズの処理能力の計算において、１６で割り切れない画像サイズが対象となる場合、画像サイズを１６で割り切れる値に切り上げて計算が行われる。例えば、「１０８０ｐ」は１９２０ｘ１０８８に相当する画面としてマクロブロック分割されてから計算が行われる。
【０４３８】
以下、図５８において、４〜５．１の各レベルにおいて処理可能な画面サイズを、表の右側に示している。
【０４３９】
レベル４〜４．２では、１０８０ｐを処理可能である。また、レベル５では、ＰＣディスプレイで使用されるサイズである２５６０ｘ１６００が処理可能である。また、レベル５．１では、４ｋが処理可能である。
【０４４０】
なお、図５９において参照番号ＣＯＬ５９１に示すように、レベル３．１以上（７２０ｐ以上の画面サイズ）においては、輝度の双予測が許容される最小のブロックサイズは、８×８である（ＭｉｎＬｕｍａＢｉＰｒｅｄＳｉｚｅ）。つまり、レベル３．１以上では、サブマクロブロック単位（８×４、４×８、および４×４）での双予測は禁止される。
【０４４１】
Ｈ．２６４／ＡＶＣにおけるマクロブロックは、ＨＥＶＣでは、ＣＵ、ＴＵおよびＰＵに相当する単位である。
【０４４２】
ところで、Ｈ．２６４／ＡＶＣでは双予測のみが制限されているが、小サイズのＰＵでは単予測においても、動き補償のためのフィルタ処理に必要な処理量および参照画素の転送量が大きくなる。従って、小ＰＵサイズの双予測制限と同時に、小ＰＵサイズの制限が適当である。なお、レベルが大きくなるにつれて、基本的に使用される解像度（画像サイズ）が大きくなるが、解像度が大きくなるほど処理量および転送量が厳しくなる。同時に解像度が大きい場合は、オブジェクトサイズもそれに応じて大きくなるため（動きの空間相関が大きくなるため）、比較的大きなＰＵだけでも高い符号化効率が実現できる。逆に符号化効率の大きな低下なく、小ＰＵサイズの使用、および、小ＰＵサイズでの双予測を制限できるようになる。解像度は基本的にレベルに対応するため、レベルに応じて、制約を設けたいＰＵサイズおよび双予測の制限を行いたい予測単位（ＰＵ）は異なる。例えば、ｌｅｖｅｌ  ３．１（７２０Ｐ）では、４×４ＰＵに制約を設けるとともに、８×４ＰＵ、および４×８ＰＵにおいて双予測の制限を行うことが好ましい。また、ｌｅｖｅｌ  ５（２５６０×１６００相当および４ｋ相当）では、８×４ＰＵおよび４×８ＰＵに制約を設けるとともに、８×８ＰＵにおいて双予測の制限を行うことが好ましい。
【０４４３】
また、ＨＥＶＣでは、後述する符号化データ中の値log2_min_coding_block_size_minus3により、最小のＣＵサイズを制御できるが、最小のＣＵサイズを小さくする目的は、処理量および転送量の削減であるから、処理量および転送量に大きな影響を与える双予測も同時に制限することが適当である。また、制限したい処理量および転送量の度合いは、最小のＣＵサイズ毎に代わることから、最小のＣＵサイズに応じて、双予測の制限を適応的に変更することが好ましい。図６０を用いて、適応的な制約・制限の例について説明する。図６０の（ａ）は、１６×１６ＣＵの場合の双予測の制限を例示している。また、図６０の（ｂ）は、８×８ＣＵの場合の双予測の制限を例示している。図６０の（ａ）に例示するように、１６×１６ＣＵについては、１６×１６ＰＵ、１６×８ＰＵ、８×１６ＰＵ、および８×８ＰＵ等を取り得る。ここで、１６×１６ＰＵ、１６×８ＰＵ、８×１６ＰＵには双予測制限を行わない一方で、８×８ＰＵには双予測制限を行う。
【０４４４】
また、図６０の（ｂ）に例示するように、８×８ＣＵについては、８×８ＰＵ、８×４ＰＵ、および４×８ＰＵを取り得る。ここで、８×８ＰＵには双予測制限を行わない一方で、８×４ＰＵ、および４×８ＰＵには双予測制限を行う。
【０４４５】
（レベル規制による符号化データの制限）
図６０に示したような適応的な制約・制限は、動画像復号装置１に特別な構成を施さずとも、レベルに応じて、符号化データを復号する際に導出される動き補償パラメータの値を制限するレベル規制によっても実現することができる。図８４は、本発明のレベル規制の一例である。図８４のテーブル中の、MaxLog2MinCUSize、MinPUSize、およびMinBipredPUSizeは、各々、最小ＣＵサイズの対数値、最小ＰＵサイズ、および最小双予測ＰＵサイズであり、特定レベルにおいて使用可能なＣＵサイズおよびＰＵサイズの最小値を示す。図８４のように、レベルlevel_idcが所定の閾値ＴＨ１未満である場合には、最小ＣＵサイズの対数値、最小ＰＵサイズは各々３、４×４であり特に制限しない。最小双予測ＰＵサイズは８×４、４×８であり、４×４ＰＵの双予測を使用不可とする。続いて、レベルlevel_idcが所定の閾値ＴＨ１以上、所定の閾値ＴＨ２未満の場合には、最小ＣＵサイズの対数値（最小ＰＵサイズの対数値）は、３であり特に制限しないが、最小ＰＵサイズは８×４、４×８とする。すなわち４×４ＰＵを使用不可とする。さらに、最小双予測ＰＵサイズは８×４、４×８であり、４×４ＰＵの双予測を使用不可とする。続いて、所定の閾値ＴＨ２以上の場合には、最小ＣＵサイズの対数値は４であり最小ＰＵサイズは８×８に制限する。すなわち、８×４ＰＵ、４×８ＰＵ、４×４ＰＵを使用不可とする。さらに、最小双予測ＰＵサイズは１６×８であり、８×８ＰＵの双予測を使用不可とする。なお、８×４ＰＵ、４×８ＰＵ、４×４ＰＵの双予測も最小ＰＵサイズ制限により使用不可である。なお、閾値ＴＨ１は７２０Ｐのラインであるレベル２．１、閾値ＴＨ２は、２５６０×１６００相当のラインであるレベル５とすることが適当であるが、他の閾値を用いても良い。
【０４４６】
図８５は、本発明のレベル規制の別の例である。本例では、図８４の例とほぼ同一であるが、レベルlevel_idcが所定の閾値ＴＨ０未満である場合には、最小ＣＵサイズの対数値、最小ＰＵサイズ、最小双予測ＰＵサイズは各々３、４×４、４×４であり全て制限を加えない。このように、制限を加えないレベルを設けても良い。なお、レベル規制は、符号化データの制限を行うだけ、すなわち、小ＰＵサイズにおける、インター予測フラグの復号のスキップ、マージ候補の双単変換、マージ候補導出における双予測マージ候補導出のスキップの一部、もしくは、全部を行わなくても良い。また逆に、小ＰＵサイズにおける、インター予測フラグの復号のスキップ、マージ候補の双単変換、マージ候補導出における双予測マージ候補導出のスキップの一部もしくは全部を併用しても良い。
【０４４７】
［作用・効果］
本レベル規制によれば、使用可能なＰＵサイズと使用可能な双予測ＰＵサイズの両者をレベルに応じて制限するため、動き補償のためのフィルタ処理に必要な処理量および参照画素の転送量を適切に制限することができる。Ｈ．２６４／ＡＶＣにおけるレベル規制のように、使用可能な双予測ＰＵサイズだけを制限する場合には、使用可能なＰＵサイズの制限を行わないため、小ＰＵの場合に、単予測においても双予測の場合と同様に大きな処理量および転送量が必要となるという課題がある。すなわち、本レベル規制によれば、双予測に伴う処理量および転送量は制限されるが、単予測の処理量および転送量は制限されないというアンバランスがなくなる。
【０４４８】
さらに、本レベル規制によれば、同じ閾値を用いて、使用可能なＰＵサイズと使用可能な双予測ＰＵサイズの両者をレベルに応じて切り替える。例えば、閾値ＴＨ１の前後で、最小ＰＵサイズMinPUSizeを変更する場合には、同じ閾値ＴＨ１を用いて最小双予測ＰＵサイズMinBipredPUSizeを変更する。このように、使用可能なＰＵサイズと使用可能な双予測ＰＵサイズの閾値を同じ値を用いることで、特定のレベル以下の復号をサポートする動画像復号手段において、処理量および転送量を適切に制限することができる。また、どのレベルで必要な制限が変化するかが簡明となる。
【０４４９】
さらに、本レベル規制によれば、以下の使用可能なＰＵサイズと使用可能な双予測ＰＵサイズとして以下の組み合わせを用いる。
【０４５０】
４×４ＰＵ制限と８×４ＰＵ双予測制限
８×４ＰＵ制限と８×８ＰＵ双予測制限
本組み合わせのＰＵ制限および双予測制限は互いに同程度の処理量および転送量の制限を行うことになるので、バランスが良い。
【０４５１】
（構成の説明）
まず、図６１に加えて、図６２〜図７０を参照しながら、双予測の制限を行うサイズを決定するための構成について説明する。図６１に示す構成は、図４３に示した構成において、双予測制限ＰＵ判定部１２１８を双予測制限ＰＵ判定部１２１８Ａに変更したものである。
【０４５２】
双予測制限ＰＵ判定部１２１８Ａは、双予測限定条件を判定し、対象ＰＵにおいて双予測を用いない双予測制限を行うか否かを判定する。双予測制限ＰＵ判定部１２１８Ａは、スキップＣＵ及びマージＰＵの双予測制限を行うか否か、及び、基本インターＰＵの双予測制限を行うか否かを、独立に判定しても良い。
【０４５３】
なお、マージの利用を制限する場合のように、スキップＰＵでインター予測フラグを復号する場合には、スキップＰＵ、マージＰＵ、基本インターＰＵの各々で双予測制限を行うか否かを、独立に判定することも可能である。
【０４５４】
また、図４３に示した構成と同様、上記の構成では、スキップ動き補償パラメータ導出部１２１１において設定された双予測・単予測の設定を双単予測変換部１２１９Ａにおいて双予測制限ＰＵ判定部１２１８Ａに基づき判定する構成でもよい。また、これに限られず、例えば、双予測制限ＰＵ判定部１２１８Ａの判定結果を直接スキップ動き補償パラメータ導出部１２１１に入力し、双予測・単予測の設定を行う構成でも構わない。
【０４５５】
双予測制限ＰＵ判定部１２１８Ａが行う双予測限定条件の判定は、エンコーダ側から設定された各種のフラグ・パラメータに基づいて行われる。双予測制限ＰＵ判定部１２１８Ａは、具体的には、以下の（１Ａ）〜（１Ｅ）に例示するように構成することが可能である。以下において、（１Ａ）〜（１Ｅ）の各構成例について、シンタックステーブルと、疑似コードとを示しながら説明する。なお、レベル規制と各構成例は対立するものではなく、併用することも可能である。
【０４５６】
（１Ａ）双予測制限を行うか否かを示すフラグを設けて、双予測制限のサイズを直接指定する
［シンタックステーブル］
図６２を用いて、双予測制限に関するシンタックステーブルの一例について説明する。図６２は、双予測制限に関するシンタックステーブルの一例を示す図である。図６２に示すように、符号化データのシーケンスパラメータセットのＲＢＳＰ（Raw Byte Sequence Payload）では、log2_min_coding_block_size_minus3（ＳＹＮ６２１）、inter_4x4_enabled_flag（ＳＹＮ６２２）、restrict_bipred_flag（ＳＹＮ６２３）、および、log2_min_bipred_coding_block_size_minus3（ＳＹＮ６２５）が符号化される。
【０４５７】
log2_min_coding_block_size_minus3は、最小ＣＵサイズを決定するフラグである。log2_min_coding_block_size_minus3には、指定したい最小ＣＵサイズの対数値から３を差し引いた値が格納される。例えば、最小ＣＵサイズが８×８の場合、log2_min_coding_block_size_minus3 = 0であり、最小ＣＵサイズが１６×１６の場合、log2_min_coding_block_size_minus3 = 1である。
【０４５８】
inter_4x4_enabled_flagは、その名称のとおり、インター４×４ＰＵを禁止するフラグである。
【０４５９】
log2_min_coding_block_size_minus3およびinter_4x4_enabled_flagは、各々、最小ＣＵサイズの対数値Log2MinCUSizeと４×４ＰＵ使用可能性を示し、使用可能なＰＵのサイズを制約する。最小ＣＵサイズの対数値Log2MinCUSizeは、log2_min_coding_block_size_minus3＋３により導出される。例えば、Log2MinCUSize=3の場合には最小ＣＵサイズは８×８であり、Log2MinCUSize=4の場合には最小ＣＵサイズは１６×１６になる。最小ＣＵサイズが８×８の場合には、最小ＣＵを分割して得られるＰＵである、８×４ＰＵ、４×８ＰＵ、４×４ＰＵが使用可能である。但し、inter_4x4_enabled_flagが０の場合には４×４ＰＵは使用不可となる。
【０４６０】
また、例えば、Log2MinCUSize=4（log2_min_coding_block_size_minus3=1）のとき、すなわち、最小ＣＵサイズが１６×１６ＣＵであるときには、８×８のＣＵサイズは使用できない。よって、８×８ＰＵは、使用可能であるが、８×８を分割してのみ得られるＰＵである８×４ＰＵ、４×８ＰＵ、４×４ＰＵは、使用不可となる。
【０４６１】
restrict_bipred_flagおよびlog2_min_bipred_coding_block_size_minus3は、双予測制限に関する情報である。
【０４６２】
restrict_bipred_flagは、双予測を制限すべきか否かを示すフラグである。このフラグの値は、動画像符号化装置２において、レベルに応じて決定される。restrict_bipred_flagが、“１”である場合、双予測の制限をすることを示す。また、restrict_bipred_flagが、“０”である場合、双予測の制限をしないことを示す。
【０４６３】
log2_min_bipred_coding_block_size_minus3は、双予測制限を行う最小のＣＵサイズ（以下、最小双予測制限ＣＵサイズと称する）を直接指定するものである。log2_min_bipred_coding_block_size_minus3におけるサイズの指定の仕方は、log2_min_coding_block_size_minus3と同様である。また、log2_min_bipred_coding_block_size_minus3は、restrict_bipred_flagが符号化されている場合に復号される（ＳＹＮ６２５）。
【０４６４】
［疑似コード］
続いて、図６３に示す疑似コードを用いて、双予測制限ＰＵ判定部１２１８Ａの動作について説明する。以下に、図６３に示す擬似コードの各ステップＳについて説明する。
【０４６５】
Ｓ６３１：双予測制限ＰＵ判定部１２１８Ａは、restrict_bipred_flagが“０”か否かを判定する。
【０４６６】
Ｓ６３２：restrict_bipred_flagが“０”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数に、“０”を設定する。DisableBipred変数は、双予測の制限を行うか否かを示す変数である。DisableBipred変数に、“０”が設定されている場合、双予測の制限は行れない。DisableBipred変数に、“１”が設定されている場合、双予測の制限が行れる。
【０４６７】
Ｓ６３３：一方、restrict_bipred_flagが“０”でない場合、双予測制限ＰＵ判定部１２１８Ａは、さらにLog2MinBipredCUSizeが“３”であるか否かを判定する。なお、ここで、Log2MinBipredCUSize = log2_min_bipred_coding_block_size_minus3 + 3である。すなわち、Ｓ６３３では、双予測制限を行う最小ＣＵサイズが８×８ＣＵであるか否かを判定している。
【０４６８】
Ｓ６３４：Log2MinBipredCUSizeが“３”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０４６９】
ＣＵサイズの対数値（log2CUSize）が、Log2MinBipredCUSize（=3）と一致しており、かつ、ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
【０４７０】
すなわち、Ｓ６３４では、最小双予測制限ＣＵサイズが８×８ＣＵの場合、８×８ＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
【０４７１】
なお、Ｓ６３４において、“＆＆”の演算子は、論理積を示している。すなわち、“＆＆”の左項においては、対象ブロックのＣＵサイズの対数値（log2CUSize）が、Log2MinBipredCUSize（ここでは、“3”）と一致するか否かを判定している。また、“＆＆”の右項においては、ＰＵのモード（ＰａｒｔＭｏｄｅ）が、２Ｎ×２Ｎでないことを判定している。なお、“！＝”は、「等しくない」関係を示す関係演算子である。
【０４７２】
Ｓ６３５：一方、Log2MinBipredCUSizeが“３”でない場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０４７３】
ＣＵサイズの対数値（log2CUSize）が、Log2MinBipredCUSizeと一致しており、かつ、ＰＵのモードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
【０４７４】
すなわち、Ｓ６３５では、最小双予測制限ＣＵサイズが８×８以外（例えば、１６×１６）の場合には、最小双予測制限ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。図中、“Ｂを制限する”と記載しているのは、“双予測（Bi-predictive prediction）を制限する”の意味である。
【０４７５】
なお、Ｓ６３５は、次のＳ６３５’のように変形しても構わない。
【０４７６】
Ｓ６３５’：Log2MinBipredCUSizeが“３”でない場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBiPred変数を次のように設定する。
【０４７７】
「ＣＵサイズの対数値（log2CUSize）が、Log2MinBipredCUSizeと一致しており、かつ、ＰＵのモードが、Ｎ×Ｎである場合」または、「ＣＵサイズの対数値（log2CUSize）が、Log2MinBipredCUSizeよりも小さい場合」に、双予測を制限する。
【０４７８】
Ｓ６３５’では、Ｓ６３５における制限に加えて、最小双予測制限ＣＵサイズよりも小さいＣＵサイズの場合、すべてのモードについて双予測を制限する。
【０４７９】
［作用・効果］
本構成例では、動画像符号化装置２の意図（符号化データに含まれる情報）に合わせて適応的に双予測制限を行うことができる。
【０４８０】
動画像符号化装置２は、例えば、動画像の解像度や動画像復号装置１の性能に合わせて、双予測制限に関する情報を符号化すればよい。
【０４８１】
これにより、動画像復号装置１において、動画像の解像度や動画像復号装置１の性能に合わせて、双予測制限に関する細かい調整が可能となる。
【０４８２】
（１Ｂ）双予測制限に関する追加のフラグを設けないで、最小ＣＵサイズに連動して双予測制限のサイズを決定する
［シンタックステーブル］
図６４を用いて、双予測制限に関するシンタックステーブルの他の例について説明する。図６４は、双予測制限に関するシンタックステーブルの他の例を示す図である。図６４に示すように、符号化データのシーケンスパラメータセットのＲＢＳＰでは、log2_min_coding_block_size_minus3が符号化されていればよい（ＳＹＮ６４１）。
【０４８３】
［疑似コード］
続いて、図６５に示す疑似コードを用いて、双予測制限ＰＵ判定部１２１８Ａの動作について説明する。以下に、図６５に示す擬似コードの各ステップＳについて説明する。
【０４８４】
Ｓ６５１：双予測制限ＰＵ判定部１２１８Ａは、Log2MinCUSizeが“３”であるか否かを判定する。ここで、Log2MinCUSize = log2_min_coding_block_size_minus3 + 3である。すなわち、Ｓ６５１では、最小ＣＵサイズが８×８ＣＵであるか否かを判定している。
【０４８５】
Ｓ６５２：Log2MinCUSizeが“３”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０４８６】
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=3）と一致しており、かつ、ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
【０４８７】
すなわち、Ｓ６５２では、ＣＵサイズが８×８ＣＵの場合、最小ＣＵサイズと一致するサイズのＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
【０４８８】
Ｓ６５３：一方、Log2MinCUSizeが“３”でない場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０４８９】
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeと一致しており、かつ、ＰＵのモードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
【０４９０】
すなわち、Ｓ６５３では、最小ＣＵサイズが、８×８以外（例えば、１６×１６）の場合、最小ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。
【０４９１】
［作用・効果］
本構成例では、最小ＣＵサイズに合わせて、双予測の制限を行う。よって、双予測制限に関する情報を追加で符号化することなく双予測の制限が可能となる。
【０４９２】
（１Ｃ）双予測制限を行うか否かを示すフラグを設けて、最小ＣＵサイズに連動して双予測制限のサイズを決定する
［シンタックステーブル］
図６６を用いて、双予測制限に関するシンタックステーブルの別の例について説明する。図６６は、双予測制限に関するシンタックステーブルの別の例を示す図である。図６６に示すように、符号化データのシーケンスパラメータセットのＲＢＳＰでは、log2_min_coding_block_size_minus3（ＳＹＮ６６１）、restrict_bipred_flag（ＳＹＮ６６３）を符号化する。なお、符号化データのシーケンスパラメータセットのＲＢＳＰにおいて、inter_4x4_enabled_flagが符号化されていてもよい（ＳＹＮ６６２）。
【０４９３】
［疑似コード］
続いて、図６７に示す疑似コードを用いて、双予測制限ＰＵ判定部１２１８Ａの動作について説明する。以下に、図６７に示す擬似コードの各ステップＳについて説明する。
【０４９４】
Ｓ６７１：双予測制限ＰＵ判定部１２１８Ａは、restrict_bipred_flagが“０”か否かを判定する。
【０４９５】
Ｓ６７２：restrict_bipred_flagが“０”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数に、“０”を設定する。
【０４９６】
Ｓ６７３：一方、restrict_bipred_flagが“０”でない場合、双予測制限ＰＵ判定部１２１８Ａは、さらにLog2MinCUSizeが“３”であるか否かを判定する。
【０４９７】
Ｓ６７４：Log2CUMinSizeが“３”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０４９８】
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=3）と一致しており、かつ、ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
【０４９９】
すなわち、Ｓ６７４では、Ｓ６５２と同様、ＣＵサイズが８×８ＣＵの場合、最小ＣＵサイズと一致するサイズのＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
【０５００】
Ｓ６７５：Log2MinCUSizeが“３”でない場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０５０１】
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeと一致しており、かつ、ＰＵのモードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
【０５０２】
すなわち、Ｓ６７５では、Ｓ６５３と同様、最小ＣＵサイズが、８×８以外（例えば、１６×１６）の場合、最小ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。
【０５０３】
［作用・効果］
本構成例では、双予測制限を行うか否かを示すフラグの判定に応じて、最小ＣＵサイズに合わせて、双予測の制限を行う。よって、最小双予測制限ＣＵサイズを直接指定する双予測制限に関する情報については、追加で符号化することなく双予測の制限が可能となる。本構成例では、使用可能なＰＵサイズと使用可能な双予測ＰＵサイズの両者を同じLog2MinCUSizeフラグによって制御するため、双予測に伴う処理量および転送量と、単予測に伴う処理量および転送量をバランスよく制限することができる。
【０５０４】
なお、本構成例は、以下に示す（１Ｃ’）のように変形してもよい。
【０５０５】
（１Ｃ’）１Ｃにおいて、双予測制限を行うか否かを示すフラグを３値のフラグに変更する
以下では、図６８に示す疑似コードを用いて、１Ｃにおいて、restrict_bipred_flagを３値フラグとする変形例について説明する。本変形例では、restrict_bipred_flagは、０、１、および、これら以外の値（例えば、２）を取り得るものとする。以下に、図６７に示す擬似コードの各ステップＳについて説明する。
【０５０６】
Ｓ６８１：restrict_bipred_flagが“０”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数に、“０”を設定する。
【０５０７】
Ｓ６８２：restrict_bipred_flagが“１”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０５０８】
「ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeと一致しており、かつ、ＰＵのモードが、２Ｎ×２Ｎ以外である場合」または、「ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeよりも小さい場合」に、双予測を制限する。
【０５０９】
Ｓ６８２：restrict_bipred_flagが、上記以外の値である場合（例えば、“２”の場合）、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０５１０】
「ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeと一致しており、かつ、ＰＵのモードが、Ｎ×Ｎである場合」または、「ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeよりも小さい場合」に、双予測を制限する。
【０５１１】
［作用・効果］
本変形例によれば、restrict_bipred_flagを３値フラグとして構成しているので、双予測制限に関するより細かい調整を実現することができる。
【０５１２】
例えば、１６×１６ＣＵにおいて、８×８ＰＵにおける双予測制限のみを行うことや、８×８ＰＵ、１６×８ＰＵ、および８×１６ＰＵにおける双予測制限を行うことができる。このように、本変形例によれば、双予測制限に関し、幅広い選択肢を提供することができる。
【０５１３】
（１Ｄ）双予測制限を行うか否かを示すフラグが、インター４×４ＰＵを禁止することを示すフラグを兼ねる
［シンタックステーブル］
図６９を用いて、双予測制限に関するシンタックステーブルのさらに別の例について説明する。図６９は、双予測制限に関するシンタックステーブルのさらに別の例を示す図である。図６９に示すように、符号化データのシーケンスパラメータセットのＲＢＳＰでは、log2_min_coding_block_size_minus3（ＳＹＮ６９１）およびrestrict_motion_compensation_flag（ＳＹＮ６９２）が符号化される。
【０５１４】
ここで、図６６に示した（１Ｃ）のシンタックステーブルと、図６９に示す（１Ｄ）のシンタックステーブルとの比較を行うと次のとおりである。
【０５１５】
すなわち、本構成例に係る符号化データのシーケンスパラメータセットのＲＢＳＰでは、図６６に示すinter_4x4_enabled_flag（ＳＹＮ６６２）およびrestrict_bipred_flag（ＳＹＮ６６３）に替えて、restrict_motion_compensation_flag（ＳＹＮ６９２）が符号化される。
【０５１６】
restrict_motion_compensation_flagは、!inter_4x4_enabled_flag（“！”は、論理否定の論理演算子を表す）およびrestrict_motion_compensation_flagを共通化したものである。すなわち、restrict_motion_compensation_flagは、インター４×４を禁止するか否かを示すフラグでもあり、双予測を制限すべきか否かを示すフラグでもある。
【０５１７】
［疑似コード］
続いて、図７０に示す疑似コードを用いて、双予測制限ＰＵ判定部１２１８Ａの動作について説明する。以下に、図７０に示す擬似コードの各ステップＳについて説明する。
【０５１８】
Ｓ７０１：双予測制限ＰＵ判定部１２１８Ａは、restrict_motion_compensation_flagが“０”か否かを判定する。
【０５１９】
Ｓ７０２：restrict_motion_compensation_flagが“０”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数に、“０”を設定する。
【０５２０】
Ｓ７０３：一方、restrict_motion_compensation_flagが“０”でない場合、双予測制限ＰＵ判定部１２１８Ａは、さらにLog2MinCUSizeが“３”であるか否かを判定する。
【０５２１】
Ｓ７０４：Log2CUSizeが“３”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０５２２】
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=3）と一致しており、かつ、ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
【０５２３】
すなわち、Ｓ７０４では、Ｓ６７４と同様、ＣＵサイズが８×８ＣＵの場合、最小ＣＵサイズと一致するサイズのＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
【０５２４】
Ｓ７０５：Log2CUSizeが“３”でない場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０５２５】
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeと一致しており、かつ、ＰＵのモードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
【０５２６】
すなわち、Ｓ７０５では、Ｓ６７５と同様、最小ＣＵサイズが、８×８以外（例えば、１６×１６）の場合、最小ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。
【０５２７】
［作用・効果］
本構成例では、双予測制限を行うか否かを示すフラグが、インター４×４ＰＵを禁止することを示すフラグを兼ねる。本構成例によれば、フラグの数を削減することができ、比較的簡易に双予測の制限を実現することができる。
【０５２８】
（１Ｅ）レベルの値に基づいて双予測制限のサイズを決定する
［シンタックステーブル］
図６４のシンタックステーブルを用いる。図６４に示すように、符号化データのシーケンスパラメータセットのＲＢＳＰでは、level_idcが符号化されていればよい（ＳＹＮ６４２）。
【０５２９】
［疑似コード］
続いて、図８６に示す疑似コードを用いて、双予測制限ＰＵ判定部１２１８Ａの動作について説明する。以下に、図８６に示す擬似コードの各ステップＳについて説明する。
【０５３０】
Ｓ８６１：双予測制限ＰＵ判定部１２１８Ａは、レベルlevel_idcの値が所定の閾値ＴＨ１未満であるか否かを判定する。
【０５３１】
Ｓ８６２：レベルlevel_idcの値がＴＨ１未満である場合、双予測制限ＰＵ判定部１２１８Ａは、特に処理は行わない。
【０５３２】
Ｓ８６３：一方、レベルlevel_idcの値がＴＨ１未満でない場合、双予測制限ＰＵ判定部１２１８Ａは、さらにレベルlevel_idcの値が所定の閾値ＴＨ２未満か否かを判定する。
【０５３３】
Ｓ８６４：レベルlevel_idcの値がＴＨ２未満である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０５３４】
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=3）と一致しており、かつ、ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
【０５３５】
すなわち、Ｓ８６４では、最小ＣＵサイズである８×８のＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
【０５３６】
Ｓ８６５：レベルlevel_idcの値がＴＨ２未満でない場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
【０５３７】
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=4）と一致しており、かつ、ＰＵのモードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
【０５３８】
すなわち、Ｓ８６５では、最小ＣＵサイズが、８×８以外（例えば、１６×１６）の場合、最小ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。なお、Ｓ８６４およびＳ８６５において、双予測制限ＰＵ判定部１２１８Ａは、レベルlevel_idcの値に応じて、図８４のテーブルのMaxLog2MinCUSizeを参照して、Log2MinCUSizeを決定してもよい。例えば、図８４に示すように、レベルlevel_idcの値がＴＨ１以上、ＴＨ２未満である場合、MaxLog2MinCuSize=3であるので、Ｓ８６４において、双予測制限ＰＵ判定部１２１８Ａは、Log2MinCUSizeの値として、MaxLog2MinCuSize=3を用いることができる。Ｓ８６５においても同様に、双予測制限ＰＵ判定部１２１８Ａは、Log2MinCUSizeの値として、MaxLog2MinCuSize=4を用いることができる。
【０５３９】
［作用・効果］
本構成例では、レベルの値に応じて、双予測制限を行うサイズを変更する。本構成例によれば、双予測制限を行うフラグを用いることなく、レベルで示される目的の環境に合わせて双予測の制限を実現することができる。
【０５４０】
以上の（１Ａ）〜（１Ｅ）に示したように構成することで、図６０に示したような、適応的な制約・制限を実現することができる。なお、図８４、図８５で示すように、符号化データの制限するレベル規制によっても、図６０に示したような、適応的な制約・制限を実現することができる。
【０５４１】
［２−３−３］  部分的な双予測制限を行うための構成
以下では、再び図６１を参照しながら、部分的な双予測制限を行うための構成について説明する。図６１に示す構成は、図４３に示した構成において、双単予測変換部１２１９を、双単予測変換部１２１９Ａに変更したものである。
【０５４２】
双単予測変換部１２１９Ａは、導出されたマージ候補に対して、部分的な双予測制限を行う。より具体的には、以下に示すとおりである。
【０５４３】
まず、双単予測変換部１２１９Ａは、隣接マージ候補導出部１２１２Ａ、時間的マージ候補導出部１２１２Ｂが導出したマージ候補を、それぞれ取得する。
【０５４４】
そして、取得したマージ候補の動き補償パラメータが双予測を示しており、さらに、双予測制限ＰＵ判定部１２１８Ａにおいて双予測制限を行うと判定されている場合、双単予測変換部１２１９Ａは、取得したマージ候補の少なくとも一部について双予測を制限する。
【０５４５】
ここで、取得したマージ候補から双予測を制限するマージ候補を選択する方法としては、先頭Ｎ個のマージ候補を選択する方法が挙げられる。双単予測変換部１２１９Ａは、例えば、隣接マージ候補から、先頭１つ、または、先頭２つのマージ候補（双予測）を選択してもよい。
【０５４６】
また、隣接マージ候補から１つまたは２つ、及び、時間的マージ候補から１つを選択しても良い。８×８ＰＵの双予測においては、発明者らの実験により、時間的マージ候補を双単変換することが有用であるとの知見が得られているため、マージ候補のうち、双単変換を行うマージ候補に時間的マージ候補を含める構成は有効である。
【０５４７】
つまり、双単予測変換部１２１９Ａは、選択したマージ候補に対して双単変換を行う。双単変換については上述したとおりであるので、ここではその説明を省略する。
【０５４８】
［処理の流れ］
図７１を用いて、双単予測変換部１２１９Ａの処理の流れについて説明すると、以下のとおりである。図７１は、マージ動き補償パラメータ導出部１２１２および双単予測変換部１２１９Ａの処理の流れの一例について示すフローチャートである。
【０５４９】
図７１に示すように、隣接マージ候補導出部１２１２Ａが隣接マージ候補を導出すると（Ｓ７１１）、双単予測変換部１２１９Ａが、導出された隣接マージ候補に対して双単変換処理を行う（Ｓ７１４）。Ｓ７１４では、双予測制限ＰＵ判定部１２１８Ａにおいて双予測制限を行うと判定されている場合、双単予測変換部１２１９Ａが、先頭Ｎ個の隣接マージ候補について双単変換処理を行う。なお、図７１の図中、点線は、Ｓ７１１〜Ｓ７１３の処理と、並行してＳ７１４が実行されることを示している。また、双単予測変換部１２１９Ａは、隣接マージ候補導出部１２１２Ａから、導出されたマージ候補を１つずつ逐次取得することとする。しかしながらこれに限られず、双単予測変換部１２１９Ａは、隣接マージ候補導出部１２１２Ａにおいて導出されるマージ候補すべてを一括で取得してもよい。
【０５５０】
続いて、時間的マージ候補導出部１２１２Ｂ、時間的マージ候補を導出すると（Ｓ７１２）、双単予測変換部１２１９Ａが、導出された時間的マージ候補に対して双単変換処理を行う（Ｓ７１４）。このとき、Ｓ７１４では、双単予測変換部１２１９Ａが、先頭Ｎ個の時間的マージ候補について双単変換処理を行ってもよいし、すべての時間的マージ候補について双単変換処理を行ってもよいし、また、双単変換処理を省略してもよい。
【０５５１】
そして、その他のマージ候補が導出され（Ｓ７１３）、双単予測変換部１２１９Ａにおける双単変換処理が完了すると処理は終了する。
【０５５２】
［作用・効果］
双単予測変換部１２１９Ａは、隣接マージ候補導出部１２１２Ａから、逐次、隣接マージ候補を取得し、双予測制限が制限されている場合には、先頭Ｎ個のマージ候補について双単変換処理を行う。
【０５５３】
上記構成によれば、一部のマージ候補について、双単変換処理を行うので、すべてのマージ候補について双単変換処理を行う場合に比べれば、双単変換処理の処理負荷が軽減される。また、少なくとも１つの時間的マージ候補において双単変換を行う構成とすれば、比較的大きいＰＵサイズである８×８ＰＵにおいて双予測制限を行った場合にも、８×８ＰＵの時間的マージ候補は単予測である、すなわち使用可能であることが保証されるため、符号化効率の低下を最小限に抑えることができる。また、マージ候補導出処理と、双単変換処理とを並行して実行するので、効率的に処理を行うことができる。
【０５５４】
（変形例）
本構成の好ましい変形例１〜３を説明する。
【０５５５】
（変形例１）
双単予測変換部１２１９Ａは、すべてのマージ候補が導出され、マージ候補リストが、マージ候補格納部１２１２Ｈに格納されてから、双単予測処理を行う構成であってもよい。
【０５５６】
そこで、図７２に示すように構成変更する。図７２に示す構成は、図６１に示す構成において、双単予測変換部１２１９Ａを、マージ候補導出制御部１２１２Ｇからのマージ候補リスト完成通知に基づいてマージ候補格納部１２１２Ｈに格納されているマージ候補リストに対して双単変換処理を行う双単予測変換部１２１９Ｂに変更したものである。
【０５５７】
なお、双単予測変換部１２１９Ｂにおける双単変換処理自体は、双単予測変換部１２１９Ａと同様であるのでその説明を省略する。
【０５５８】
［処理の流れ］
図７３を用いて、図７２に示す双単予測変換部１２１９Ｂの処理の流れについて説明すると、以下のとおりである。図７３は、マージ動き補償パラメータ導出部１２１２および双単予測変換部１２１９Ｂの処理の流れの一例について示すフローチャートである。
【０５５９】
Ｓ７３１〜Ｓ７３３は、図４４を用いて示したＳ１０１〜Ｓ１０３と同様であるので、その説明を省略する。
【０５６０】
Ｓ７３３に続くＳ７３４において、Ｂスライスであれば（Ｓ７３４においてＹＥＳ）、双予測制限ＰＵ判定部１２１８Ａが、双予測制限を行うか否かを判定する（Ｓ７３５）。
【０５６１】
双予測制限を行う場合（Ｓ７３５においてＹＥＳ）、双単予測変換部１２１９Ｂは、マージ候補リストの先頭Ｎ個のマージ候補の双単変換を行う（Ｓ７３６）。そして、双単変換の実行後、その他のマージ候補が導出される（Ｓ７３７）。
【０５６２】
これに対して、Ｂスライスでない（Ｓ７３４においてＮＯ）、または、双予測制限を行わない場合（Ｓ７３５においてＮＯ）には、双単変換を行うことなくその他のマージ候補が導出される（Ｓ７３７）。
【０５６３】
［作用・効果］
双単予測変換部１２１９Ｂは、Ｓ７３１〜Ｓ７３３が実行されることで、マージ候補格納部１２１２Ｈにマージ候補リストが生成された後、双予測制限が制限されている場合には、マージ候補リストの先頭Ｎ個のマージ候補について双単変換処理を行う。
【０５６４】
上記構成によれば、一部のマージ候補について、双単変換処理を行うので、すべてのマージ候補について双単変換処理を行う場合に比べれば、双単変換処理の処理負荷が軽減される。
【０５６５】
また、Ｓ７３１〜Ｓ７３３は、Ｓ１０１〜Ｓ１０３と同様に構成することができるので、マージ候補生成処理に関しては、図４４から構成を大幅に変更しなくても済む。このように、簡易な構成変更により部分的な双予測制限処理を実現することができる。
【０５６６】
（比較）
ここで、図６１、図７１に示した構成と、図７２、図７３に示した構成との比較を行うと次のとおりである。
【０５６７】
図６１、図７１に示した構成は、すでに説明したとおり、マージ候補導出処理と、双単変換処理とを並行して実行する構成である。
【０５６８】
従って、一連の処理のタイムテーブルは、例えば、図７４に示すとおりになる。図７４に示すタイムチャートでは、マージ候補Ａ〜Ｅが導出されており、このうち、双予測の制限により、２個のマージ候補を双単変換することにしている。また、マージ候補Ａ、Ｂ、およびＤの導出よりも、マージ候補Ｃ、Ｅの導出に、より時間がかかるとする。
【０５６９】
図７４に示すように、マージ候補Ａ、Ｂが、マージ候補Ａ〜Ｅにおける先頭２個のマージ候補であるので、双単変換の対象となる。マージ候補Ａ、Ｂの双単変換は、処理時間の長いマージ候補Ｃ、Ｅの実行中に並行して行われる。このため、図７４に示す例では、マージ候補Ｃ、Ｄの導出処理が終了すると、リスト作成処理が開始され、リスト作成処理が終了することで処理全体が終了する。
【０５７０】
これに対して、図７２、図７３に示した構成は、マージ候補リストが生成された後、双単変換処理を行う構成である。
【０５７１】
従って、一連の処理のタイムチャートは、例えば、図７５に示すとおりになる。図７５に示すタイムチャートも、図７４と同様、マージ候補Ａ〜Ｅが導出されており、このうち、双予測の制限により、２個のマージ候補を双単変換することにしている。また、マージ候補Ａ、Ｂ、およびＤの導出よりも、マージ候補Ｃ、Ｅの導出に、より時間がかかるとする。
【０５７２】
図７５に示す例では、マージ候補Ａ〜Ｅが導出された後、マージ候補リストが完成してから、双単変換を行っている。
【０５７３】
よって、図７４および図７５に示す例を比較すると、図７５に示す例では、双単変換を行う処理時間の分だけ、図７４に示す例よりも処理全体が終了する時間が遅れる。
【０５７４】
一方、図７５に示す例は、双単変換を行う処理を、マージ候補リスト作成後に追加するだけで済み、マージ候補導出からマージ候補リスト作成までのロジックを変更しなくても済む。
【０５７５】
また、図７４に示す例では、双単変換後のマージ候補をマージ候補リストとしてマージ候補格納部１２１２Ｈに格納したあと、ユニークチェックが行われる。よって、図７５に示したように、作成後のマージ候補リストに含まれるマージ候補に対して、双単変換を行う場合に比較すれば、図７３に示す例では、マージ候補リストに含まれるマージ候補のユニーク性が保たれる。
【０５７６】
また、タイムチャート上は不利ではあるが、双単予測変換部１２１９Ａと双単予測変換部１２１９Ｂを組み合わせたタイプの構成としても良い。すなわち、時間的マージ候補に限り、マージ候補導出時（マージ候補リスト格納前）に双単変換を行い、それ以外のマージ候補については、マージ候補リスト格納後に双単変換を行う構成としても良い。この場合には、８×８ＰＵにおける双予測制限において有効な時間的マージ候補で双単変換を行うことを保証しつつ、簡易な構成で双単変換を行うことが可能になる。
【０５７７】
（変形例２）
双単予測変換部１２１９Ｂにおいて、マージ候補リストに含まれる単予測の数に応じて双単変換を行ってもよい。
【０５７８】
具体的には、双単予測変換部１２１９Ｂにおいて、マージ候補導出時に単予測の数をカウントし、マージ候補リストにおいてＮ個以上の単予測がない場合に限り、先頭Ｎ個のマージ候補を双単変換してもよい。なお、Ｎは、正の整数であり、例えば、Ｎ＝１とすることができる。
【０５７９】
上記構成によれば、マージ候補リストにＮ個以上の単予測が存在する場合には、双単変換を行わなくてもよいので、マージ候補導出処理の負荷軽減を図ることができる。
【０５８０】
（変形例３）
双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂは、双予測のマージ候補についての２つの動きベクトルが非整数動きベクトルであるか否かに応じて、双単変換を行ってもよい。
【０５８１】
ここで、非整数動きベクトルとは、画素位置を整数値として表現したときに、少なくとも一部の該動きベクトルの成分が非整数によって表されるものを指す。これに対して、画素位置を整数値として表現したときに、該動きベクトルの成分がすべて整数によって表されるものを整数動きベクトルと称する。
【０５８２】
非整数動きベクトルに対しては、補間画像を生成するための補間フィルタを適用するため、処理負荷が高くなり、また動き補償に必要な参照画素の範囲が大きくなるため、参照画素の転送のため転送量が高くなる傾向がある。これに対して、整数動きベクトルの場合には、このようなフィルタ処理は必須ではない。
【０５８３】
また、整数動きベクトルの場合、動き補償で必要とされる参照範囲は、対象ブロックと同一となる。よって、双予測に整数動きベクトルが含まれる場合、双予測を行っても、転送量および処理量はそれほどに多くはならない。
【０５８４】
そこで、双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂは、双予測のマージ候補についての２つの動きベクトルの少なくとも一方が整数動きベクトルである場合、双単変換を省略してもよい。
【０５８５】
すなわち、双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂは、双予測のマージ候補についての２つの動きベクトルがともに非整数動きベクトルである場合に限り、双単変換を行ってもよい。
【０５８６】
また、双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂを次のように構成してもよい。すなわち、双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂは、双予測のマージ候補についての２つの動きベクトルがともに整数動きベクトルである場合、双単変換を省略してもよい。
【０５８７】
また、双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂは、双予測のマージ候補についての２つの動きベクトルの少なくとも一方が非整数動きベクトルである場合、双単変換を行ってもよい。
【０５８８】
上記構成によれば、双予測のすべてについて双単変換をしなくても済むため、双予測制限に関わるマージ候補の変換を最小限におさえることができる。
【０５８９】
［２−３−４］  動きベクトルの整数化
以下では、図７６〜図８０を用いて、動きベクトルの整数化について説明する。まず、図７６を用いて、動きベクトルの整数化を行うための構成について開示する。図７６に示す構成は、図６１に示した構成において、双単予測変換部１２１９Ａを動きベクトル整数化部１２２０に変更したものである。
【０５９０】
動きベクトル整数化部１２２０は、非整数動きベクトルに含まれる１以上の非整数の成分のうち、少なくとも１つの成分を整数の成分に変換する。以下、動きベクトル整数化部１２２０による上記変換を、動きベクトルの整数化と称する。
【０５９１】
より具体的には、動きベクトル整数化部１２２０は、双予測が制限される場合、隣接マージ候補導出部１２１２Ａまたは時間的マージ候補導出１２１２Ｂから入力されるマージ候補に双予測が含まれるとき、双予測の２つの動きベクトルが非整数動きベクトルであるか否かを判定する。そして、双予測の２つの動きベクトルのうち、少なくとも一方が非整数動きベクトルである場合、動きベクトル整数化部１２２０は、当該非整数動きベクトルを整数化する。
【０５９２】
次に、図７７〜図８０を用いて、整数化処理の具体例について説明する。図７７〜図８０は、動きベクトル整数化部１２２０における整数化処理の具体例を示す図である。
【０５９３】
なお、以下では、動きベクトルが（Ｘ，Ｙ）の２次元座標表示により表されるものとする。また、以下の説明では、説明の便宜上、非整数動きベクトルとは、Ｘ成分、Ｙ成分ともに、非整数である非整数動きベクトルを指すものとする。また、ｍｖ＿Ｌｘは、リストＬｘ（ｘ＝０ or １）の動きベクトルを示す。また、ｍｖ＿Ｌｘ［０］は、動きベクトルのＸ成分を示しており、ｍｖ＿Ｌｘ［１］は、動きベクトルのＹ成分を示している。
【０５９４】
［Ｘ座標を整数化する］
動きベクトル整数化部１２２０は、図７７に例示するように、動きベクトルのＸ座標を整数化してもよい。以下に、図７７に示す擬似コードの各ステップＳについて説明する。
【０５９５】
Ｓ７７１：Ｌ０の動きベクトルが、非整数ベクトルであるか否かを判定する。なお、動きベクトルの座標成分の下位２ビットは、小数位置を表すビットである。“ｍｖ＿Ｌ０［ｘ］  ＆  ３”（ｘ＝０ or １）は、座標成分の下位２ビットが“１１（３）”であるか否かを判定しており、座標位置が小数位置を示しているかどうかを判定している。
【０５９６】
Ｓ７７２：Ｌ０の動きベクトルが、非整数ベクトルである場合、Ｌ０のＸ座標の下位２ビットを“００”に設定することでＬ０の動きベクトルのＸ座標の整数化を行う。なお、“〜”は、ビット否定の演算子であｒ、“〜３”は、“１１”のビット否定、すなわち“００”を示す。また、“＆＝”は、ビット積代入の演算子である。例えば、“Ａ  ＆＝  Ｂ”は、“Ａ  ＝  Ａ  ＆  Ｂ”を意味する。
【０５９７】
Ｓ７７３：Ｌ１の動きベクトルが、非整数ベクトルであるか否かを判定する。
【０５９８】
Ｓ７７４：Ｌ１の動きベクトルが、非整数ベクトルである場合、Ｌ１の動きベクトルのＸ座標の整数化を行う。
【０５９９】
［Ｙ座標を整数化する］
また、動きベクトル整数化部１２２０は、図７８に例示するように、動きベクトルのＹ座標を整数化してもよい。以下に、図７８に示す擬似コードの各ステップＳについて説明する。
【０６００】
Ｓ７８１：Ｌ０の動きベクトルが、非整数ベクトルであるか否かを判定する。
【０６０１】
Ｓ７８２：Ｌ０の動きベクトルが、非整数ベクトルである場合、Ｌ０の動きベクトルのＹ座標の整数化を行う。
【０６０２】
Ｓ７８３：Ｌ１の動きベクトルが、非整数ベクトルであるか否かを判定する。
【０６０３】
Ｓ７８４：Ｌ１の動きベクトルが、非整数ベクトルである場合、Ｌ１の動きベクトルのＹ座標の整数化を行う。
【０６０４】
［Ｘ座標およびＹ座標を整数化する］
また、動きベクトル整数化部１２２０は、図７９に例示するように、動きベクトルのＸ座標およびＹ座標を整数化してもよい。以下に、図７９に示す擬似コードの各ステップＳについて説明する。
【０６０５】
Ｓ７９１：Ｌ０の動きベクトルが、非整数ベクトルであるか否かを判定する。
【０６０６】
Ｓ７９２：Ｌ０の動きベクトルが、非整数ベクトルである場合、Ｌ０の動きベクトルのＸ座標およびＹ座標の整数化を行う。
【０６０７】
Ｓ７９３：Ｌ１の動きベクトルが、非整数ベクトルであるか否かを判定する。
【０６０８】
Ｓ７９４：Ｌ１の動きベクトルが、非整数ベクトルである場合、Ｌ１の動きベクトルのＸ座標およびＹ座標の整数化を行う。
【０６０９】
［片方のリストのみＸ座標およびＹ座標を整数化する］
また、動きベクトル整数化部１２２０は、図８０に例示するように、片方のリストの動きベクトルのＸ座標およびＹ座標を整数化してもよい。以下に、図８０に示す擬似コードの各ステップＳについて説明する。
【０６１０】
Ｓ８０１：ＬＸの動きベクトルが、非整数ベクトルであるか否かを判定する（ただし、Ｘ＝０or １）。
【０６１１】
Ｓ８０２：ＬＸの動きベクトルが、非整数ベクトルである場合、ＬＸの動きベクトルのＸ座標およびＹ座標の整数化を行う。
【０６１２】
［作用・効果］
すでに説明したとおり、整数動きベクトルの場合には、補間フィルタによるフィルタ処理を行わなくても済む。よって、動き補償で参照される参照範囲は、対象ブロックと一致する。このため、双予測を行っても、フィルタ処理の処理量および参照画素の転送量は、それほど多くはならない。
【０６１３】
このため、双予測の動きベクトルの少なくとも一方が、Ｘ座標およびＹ座標ともに非整数成分である非整数動きベクトルである場合、Ｘ座標およびＹ座標ともに非整数成分を有する非整数動きベクトルの少なくとも一方の非整数成分を、整数成分に変換することができれば、非整数動きベクトルをそのまま処理するよりも、処理量および転送量を抑えられる場合がある。
【０６１４】
また、非整数動きベクトルを、整数動きベクトルに変換すれば、参照範囲が、対象ブロックと一致するので、より一層、処理量および転送量の軽減を図ることができる。
【０６１５】
なお、動きベクトル整数化部１２２０は、Ｘ座標およびＹ座標のいずれか一方が非整数成分でない非整数動きベクトルに対して上記整数化処理を適用しても構わない。
【０６１６】
（３）ＴＵ情報復号部の詳細
次に、図１６を用いて、ＴＵ情報復号部１３および復号モジュール１０の構成例について説明する。図１６は、動画像復号装置１において、ＴＵ分割復号処理、変換係数復号処理、および、予測残差導出処理を行うための構成、すなわち、ＴＵ情報復号部１３および復号モジュール１０の構成について例示する機能ブロック図である。
【０６１７】
以下、ＴＵ情報復号部１３および復号モジュール１０の順で、各部の構成について説明する。
【０６１８】
［ＴＵ情報復号部］
図１６に示すように、ＴＵ情報復号部１３は、ＴＵ分割設定部１３１および変換係数復元部１３２を備える。
【０６１９】
ＴＵ分割設定部１３１は、符号化データから復号したパラメータとＣＵサイズおよびＰＵ分割タイプとに基づいて、ＴＵ分割の方式を設定するものである。また、変換係数復元部１３２は、ＴＵ分割設定部１３１によって設定されたＴＵ分割に従って、各ＴＵの予測残差を復元するものである。
【０６２０】
［ＴＵ分割設定部］
まず、図１６を参照しながら、ＴＵ分割設定部１３１の詳細について説明する。ＴＵ分割設定部１３１は、より詳細には、対象領域設定部１３１１、分割決定部１３１２、分割領域設定部（変換単位分割手段、分割手段）１３１３、および変換サイズ決定情報記憶部１３１４を備える。
【０６２１】
対象領域設定部１３１１は、対象領域となるノードである対象ノードを設定する。対象領域設定部１３１１は、対象変換ツリーについてＴＵ分割の処理が開始されたとき、対象領域の初期値として、対象ＣＵ全体を設定する。また、分割の深度は、“０”に設定する。
【０６２２】
分割決定部１３１２は、領域分割フラグ復号部１０３１を用いて、対象領域設定部１３１１によって設定された対象ノードを分割するか否かを示す情報（split_transform_flag）を復号し、復号した情報に基づいて対象ノードの分割要否を決定する。
【０６２３】
分割領域設定部１３１３は、分割決定部１３１２によって分割要と決定された対象ノードについて分割領域を設定する。具体的には、分割領域設定部１３１３は、分割要と決定された対象ノードについて、分割の深度を１加算するとともに、変換サイズ決定情報記憶部１３１４に記憶されている変換サイズ決定情報に基づいて対象ノードを分割する。
【０６２４】
なお、分割により得られた各対象ノードは、対象領域設定部１３１１によりさらに対象領域として設定される。
【０６２５】
すなわち、ＴＵ分割では、分割した対象ノードについて、対象領域設定部１３１１、分割決定部１３１２および分割領域設定部１３１３によって、“対象領域の設定”、“分割の決定”、および“分割領域の設定”の一連の処理が、再帰的に繰り返される。
【０６２６】
変換サイズ決定情報記憶部１３１４には、対象ノードの分割方式を示す変換サイズ決定情報が記憶されている。変換サイズ決定情報は、具体的には、ＣＵのサイズ、ＴＵ分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプと、ＴＵ分割パターンとの対応関係を定義する情報である。
【０６２７】
ここで、図１７を用いて、変換サイズ決定情報の具体的な構成例について説明すると次のとおりである。図１７に示す変換サイズ決定情報では、ＣＵのサイズ、ＴＵ分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプに応じて、ＴＵ分割パターンが定義されている。なお、なお、表中の“ｄ”は、ＣＵの分割深度を示す。
【０６２８】
変換サイズ決定情報では、ＣＵのサイズとして、６４×６４、３２×３２、１６×１６、および８×８の４つが定義されている。
【０６２９】
また、変換サイズ決定情報では、ＣＵのサイズに応じて、選択可能なＰＵ分割タイプが定義されている。
【０６３０】
ＣＵのサイズが、６４×６４、３２×３２、および１６×１６である場合、ＰＵ分割タイプとして、２Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、およびｎＲ×２Ｎのいずれかを選択可能である。
【０６３１】
また、ＣＵのサイズが、８×８である場合、ＰＵ分割タイプとして、２Ｎ×２Ｎ、２Ｎ×ＮおよびＮ×２Ｎのいずれかを選択可能である。
【０６３２】
また、変換サイズ決定情報では、ＣＵのサイズおよびＰＵ分割タイプに応じて、各ＴＵ分割の深度におけるＴＵ分割パターンが定義されている。
【０６３３】
例えば、ＣＵのサイズが６４×６４である場合、次のとおりである。まず、ＴＵ分割の深度“０”は定義されておらず、６４×６４のＣＵは、強制的に分割が行われる（図１７において※１にて示している）。これは、変換単位の最大サイズが３２×３２と定義されているためである。
【０６３４】
ＴＵ分割深度“１”および“２”では、正方形の４分木分割のみを含む場合と、非正方形の４分木分割のみを含む場合とで異なるＴＵ分割パターンが定義されている。
【０６３５】
ＰＵ分割タイプが２Ｎ×２Ｎであり、かつ、正方形の４分木分割のみを含むＴＵ分割パターンの場合、ＴＵ分割深度“１”では、３２×３２の正方形４分木分割、ＴＵ分割深度“２”では、１６×１６の正方形４分木分割が定義されている。
【０６３６】
ＰＵ分割タイプが、２Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、およびｎＲ×２Ｎのいずれかであり、かつ、非正方形の４分木分割のみを含む場合の定義は次のとおりである。
【０６３７】
まず、ＴＵ分割深度“１”では、３２×３２の正方形４分木分割が定義されている。続いて、ＴＵ分割深度“２”では、ＰＵ分割タイプ：２Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤに対しては、３２×８の非正方形４分木分割が定義されており、ＰＵ分割タイプ：Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎに対しては、８×３２の非正方形４分木分割が定義されている。
【０６３８】
さらに、ＣＵのサイズが８×８である場合について例示すれば次のとおりである。ＣＵのサイズが８×８である場合、選択可能なＰＵ分割タイプは、２Ｎ×２Ｎ、２Ｎ×２、およびＮ×２Ｎである。それぞれのＰＵ分割タイプについて、ＴＵ分割深度“１”では、８×８の正方形４分木分割、ＴＵ分割深度“２”では、４×４の正方形４分木分割が定義されている。なお、ＴＵ分割の深度“３”は定義されておらず、強制的に非分割である（図１７において、※２にて示している）。
【０６３９】
ここで、図２０を用いて、ＴＵ分割設定部１３１におけるＴＵ分割について詳細について説明すると次のとおりである。図２０は、ＣＵのサイズが３２×３２であり、かつ、ＰＵ分割タイプが２Ｎ×Ｎである場合のＴＵ分割の例を示す図である。
【０６４０】
まず、対象領域設定部１３１１は、ＴＵ分割処理が開始されると、対象ＣＵ全体を、対象領域の初期値として設定するとともに、ｄｅｐｔｈ＝０とする。なお、ｄｅｐｔｈ＝０では、領域垂直方向中央において点線にて、ＰＵ境界Ｂ１を示している。
【０６４１】
次に、分割決定部１３１２が、対象ノードを分割するか否かを示す情報（ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ）に基づいて、対象ノードの分割要否を決定する。
【０６４２】
ｓｐｌｉｔ＝１であるので、分割決定部１３１２は、対象ノードを分割することを決定する。
【０６４３】
分割領域設定部１３１３は、ｄｅｐｔｈを１加算し、変換サイズ決定情報に基づいて、対象ノードについて、ＴＵ分割パターンを設定する。分割領域設定部１３１３は、対象領域である対象ＣＵについて、ｄｅｐｔｈ＝１のＴＵ分割を実行する。
【０６４４】
図１７に示す変換サイズ決定情報の定義に従って、分割領域設定部１３１３は、ｄｅｐｔｈ＝１では、対象ノードを３２×８の領域に四分木分割する。
【０６４５】
これにより、対象ノードは、図１８の（ｂ）に示す分割方式で、ＴＵ０、ＴＵ１、ＴＵ２、および、ＴＵ３の４つの横長の長方形領域に分割される。
【０６４６】
さらに対象領域設定部１３１１は、ｄｅｐｔｈ＝１の分割深度において、ＴＵ０、ＴＵ１、ＴＵ２、および、ＴＵ３の各ノードを、順に対象領域に設定する。
【０６４７】
ここで、ＴＵ１について、ｓｐｌｉｔ＝１が設定されているので、分割決定部１３１２は、ＴＵ１を分割する事を決定する。
【０６４８】
分割領域設定部１３１３は、ＴＵ１について、ｄｅｐｔｈ＝２のＴＵ分割を実行する。図１７に示す変換サイズ決定情報の定義に従って、分割領域設定部１３１３は、ｄｅｐｔｈ＝２では、対象ノードを１６×４の領域に四分木分割する。
【０６４９】
これにより、対象ノードであるＴＵ１は、図１９の（ａ）に示す分割方式で、ＴＵ１−０、ＴＵ１−１、ＴＵ１−２、およびＴＵ１−３の４つに横長の長方形領域に分割される。
【０６５０】
［３−１］ＰＵ分割タイプが非対称の場合において分割領域サイズを導出する構成の例
分割領域設定部１３１３は、ＰＵ分割タイプが非対称の場合、小さい方のＰＵでは、長方形（非正方形）の変換を適用する一方で、大きい方のＰＵの少なくとも一部では、正方形の変換を適用する構成であってもよい。
【０６５１】
例えば、変換サイズ決定情報記憶部１３１４に記憶される変換サイズ決定情報において、定義情報である小ＰＵサイズ１３１４Ａと、大ＰＵサイズ１３１４Ｂとを設ける。
【０６５２】
小ＰＵサイズ１３１４Ａでは、非対称に分割されたＰＵのうち、小さいサイズのＰＵにおいて、長方形の変換が適用されるよう定義する。
【０６５３】
大ＰＵサイズ１３１４Ｂは、非対称に分割されたＰＵのうち、大きいサイズのＰＵにおいて、正方形の変換が適用されるよう定義する。
【０６５４】
また、分割領域設定部１３１３は、非対称に分割されたＰＵのサイズに応じて、小ＰＵサイズ１３１４Ａの定義情報と、大ＰＵサイズ１３１４Ｂの定義情報とのいずれか一方を参照し、分割領域を設定する。
【０６５５】
図２１を用いて、上記構成例によるＴＵ分割について説明すると次のとおりである。
【０６５６】
図２１は、ＰＵ分割タイプが２Ｎ×ｎＵである場合の上記構成例によるＴＵ分割の例を示す図である。
【０６５７】
まず、対象領域設定部１３１１は、ＴＵ分割処理が開始されると、対象ＣＵ全体を、対象領域の初期値として設定するとともに、ｄｅｐｔｈ＝０とする。なお、ｄｅｐｔｈ＝０では、領域垂直方向中央より上方において点線にて、ＰＵ境界Ｂ２を示している。
【０６５８】
次に、分割決定部１３１２が、対象ノードを分割するか否かを示す情報（ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ）に基づいて、対象ノードの分割要否を決定する。
【０６５９】
ｓｐｌｉｔ＝１であるので、分割決定部１３１２は、対象ノードを分割することを決定する。
【０６６０】
分割領域設定部１３１３は、ｄｅｐｔｈを１加算し、変換サイズ決定情報に基づいて、対象ノードについて、ＴＵ分割パターンを設定する。分割領域設定部１３１３は、対象領域である対象ＣＵについて、ｄｅｐｔｈ＝１のＴＵ分割を実行する。
【０６６１】
ここで、分割領域設定部１３１３は、小ＰＵサイズ１３１４Ａに従って、非対称に分割されたＰＵのうち、小さいサイズのＰＵについて、横長の長方形のＴＵ分割を行う。
【０６６２】
また、分割領域設定部１３１３は、大ＰＵサイズ１３１４Ｂに従って、非対称に分割されたＰＵのうち、大きいサイズのＰＵについて、正方形のＴＵ分割を含める。なお、分割領域設定部１３１３は、ＰＵ境界側に位置する領域については、図２１に示すように長方形のＴＵ分割領域を含めてもかまわない。
【０６６３】
結果として、分割領域設定部１３１３は、ｄｅｐｔｈ＝１では、対象ノードを、２つの長方形のノードおよび２つの正方形のノードに四分木分割する。
【０６６４】
これにより、対象ノードは、横長の長方形のＴＵ０およびＴＵ１と、正方形のＴＵ２およびＴＵ３との４つの領域に分割される。
【０６６５】
さらに対象領域設定部１３１１は、ｄｅｐｔｈ＝１の分割深度において、ＴＵ０、ＴＵ１、ＴＵ２、および、ＴＵ３の各ノードを、順に対象領域に設定する。
【０６６６】
ここで、ＴＵ０およびＴＵ２について、ｓｐｌｉｔ＝１が設定されているので、分割決定部１３１２は、ＴＵ０およびＴＵ２を分割する事を決定する。
【０６６７】
分割領域設定部１３１３は、ＴＵ０およびＴＵ２について、ｄｅｐｔｈ＝２のＴＵ分割を実行する。分割領域設定部１３１３は、ｄｅｐｔｈ＝２では、ＴＵ０を、４つの横長の長方形にＴＵ分割し、ＴＵ２を、４つの正方形にＴＵ分割する。
【０６６８】
これにより、ＴＵ０は、ＴＵ０−０、ＴＵ０−１、ＴＵ０−２、およびＴＵ０−３の４つに横長の長方形領域に分割される。また、ＴＵ２は、ＴＵ２−０、ＴＵ２−１、ＴＵ２−２、およびＴＵ２−３の４つに横長の長方形領域に分割される。
【０６６９】
なお、上記のようにＰＵ分割タイプが非対称のＣＵにおけるＴＵ分割を行う場合、パーティションがＰＵ境界をまたがず、かつ、分割後の各ＴＵ分割領域の面積が同一となるよう分割することが好ましい。
【０６７０】
［作用・効果］
本発明は以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、復号の対象となる上記符号化単位である対象符号化単位の分割タイプが非対称分割であるとき、上記対象符号化単位に含まれる予測単位の大きさに応じて、変換単位の分割方式を決定する変換単位分割手段を備える構成である。
【０６７１】
よって、分割タイプが非対称分割であるときは、上記対象符号化単位に含まれる予測単位の大きさに応じて、効率よく相関を除去できるような変換単位の分割方式を選択することができる。
【０６７２】
［３−２］一部のＣＵサイズにおいて、ＰＵ分割タイプが正方形の分割であるとき非矩形変換を適用する構成の例
［構成例３−２−１］
分割領域設定部１３１３は、ＰＵ分割タイプが正方形の分割である場合、対象ノードを非正方形に分割してもよい。
【０６７３】
そこで、変換サイズ決定情報記憶部１３１４に記憶される変換サイズ決定情報において、ＰＵ分割タイプが正方形の分割である場合、対象ノードを非正方形に分割する旨定義する正方形ＰＵ分割タイプ１３１４Ｃが定義されていてもよい。
【０６７４】
そして、分割領域設定部１３１３は、ＰＵ分割タイプが正方形の分割である場合、正方形ＰＵ分割タイプ１３１４Ｃを参照して対象ノードを非正方形に分割する。
【０６７５】
分割領域設定部１３１３は、ＣＵサイズが、３２×３２サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、ＴＵ分割において領域を３２×８のノードに分割してもよい。
【０６７６】
また、分割領域設定部１３１３は、ＣＵサイズが、３２×３２サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、ＴＵ分割の分割方式を示す情報を追加で復号し、復号した情報に基づいて３２×８、１６×１６、８×３２のいずれかのノードに分割してもよい。
【０６７７】
また、分割領域設定部１３１３は、ＣＵサイズが、３２×３２サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、隣接ＣＵのサイズおよびＰＵ分割タイプに基づいて、対象ＣＵを分割するＴＵサイズを推定してもよい。また、分割領域設定部１３１３は、以下の(i)〜（iii）のとおり推定を行ってもよい。
【０６７８】
(i)   左辺にＣＵ境界またはＰＵ境界が存在し、上辺にはＣＵ境界およびＰＵ境界の境界が存在しない場合、３２×８を選択。
【０６７９】
(ii)  上辺にＣＵ境界またはＰＵ境界が存在し、左辺にはＣＵ境界およびＰＵ境界の境界が存在しない場合、８×３２を選択。
【０６８０】
(iii) 上記（ｉ）および（ii）以外（左辺または上辺に境界が存在するか、左辺および上辺のいずれにも境界が存在しない場合）、１６×１６を選択。
【０６８１】
［作用・効果］
本発明は、以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記変換単位への分割方式は、正方形および長方形の分割を含み、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する分割手段を備える構成である。
【０６８２】
上記構成による作用・効果は以下のとおりである。領域内にエッジが存在し、画像に方向性があるにもかかわらず、正方形の予測単位が選択される場合がある。例えば、多数の横エッジが存在するオブジェクトが移動している場合、オブジェクト内では、動きは一様であるため、正方形の予測単位が選択される。しかしながら、このような場合は、変換処理では、横エッジに沿った、水平方向に長い形状の変換単位を適用することが望ましい。
【０６８３】
上記構成によれば、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。
【０６８４】
よって、正方形の符号化単位においても、長方形の変換単位を選択することができ、このため上記のような領域に対する符号化効率を向上させることができる。
【０６８５】
［構成例３−２−２］
上記構成３−２−１に加えて、分割領域設定部１３１３は、ＣＵサイズが、１６×１６サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、各分割深度において以下のとおり分割を行う。
【０６８６】
分割深度＝１  …  １６×４のＴＵに分割する。
【０６８７】
分割深度＝２  …  ４×４のＴＵに分割する。
【０６８８】
上記構成によれば、４×４のＴＵにおいて、１６×１６ＣＵのＰＵ分割タイプに依存せず、スキャン順が統一される。４×４のＴＵにおいて、１６×１６ＣＵのＰＵ分割タイプが異なることで、スキャン順が統一されていないと、１６×１６ＣＵのＰＵ分割タイプに応じてスキャン処理を変更しなければならないため、処理が複雑となる。よって、このようなスキャン順の不統一は、処理のボトルネックとなり得る。
【０６８９】
上記構成によれば、スキャン順が統一されることにより、処理を簡略化できるという効果を奏する。
【０６９０】
図２２および図２３を用いて、より具体的に説明すると、以下のとおりである。まず、図２２に示すＴＵ分割から説明する。図２２は、図１７に示した変換サイズ決定情報に従って分割を行った場合のＴＵ分割の流れを示している。
【０６９１】
図２２の（ａ）に示すように、ＰＵ分割タイプが２Ｎ×２Ｎの場合  …  ｄｅｐｔｈ＝１において、分割領域設定部１３１３は、対象ノードの正方形の４分木分割を行う。また、ｄｅｐｔｈ＝２において、分割領域設定部１３１３は、正方形に分割された各ノードに対して、さらに正方形の４分木分割を行う。ここで、スキャン順は、再帰的なｚスキャンが用いられる。具体的には、図２２に図示するとおりである。
【０６９２】
図２２の（ｂ）に示すように、ＰＵ分割タイプが２Ｎ×ｎＵの場合  …  ｄｅｐｔｈ＝１において、分割領域設定部１３１３は、対象ノードに対して、横長の長方形の４分木分割を行う。また、ｄｅｐｔｈ＝２において、分割領域設定部１３１３は、横長の長方形に分割された各ノードに対して、さらに正方形の４分木分割を行う。ここで、各ＴＵのスキャン順は、ラスタスキャンが用いられる。具体的には、図２２に図示するとおりである。
【０６９３】
次に、図２３に示すＴＵ分割について説明する。図２３は、正方形ＰＵ分割タイプ１３１４Ｃに従って、ＰＵ分割タイプが２Ｎ×２Ｎの領域の分割を行った場合のＴＵ分割の流れを示している。
【０６９４】
ＰＵ分割タイプ：２Ｎ×２Ｎの場合  …  ｄｅｐｔｈ＝１において、分割領域設定部１３１３は、対象ノードに対して、横長の長方形の４分木分割を行う。また、ｄｅｐｔｈ＝２において、分割領域設定部１３１３は、横長の長方形に分割された各ノードに対して、さらに正方形の４分木分割を行う。
【０６９５】
その結果、スキャン順は、ラスタスキャンが用いられる。よって、ＰＵ分割タイプが２Ｎ×ｎＵである場合と、２Ｎ×２Ｎである場合との間で、スキャン順をラスタスキャンに統一することができる。
【０６９６】
［変換係数復元部］
次に、再び図１６を参照しながら、変換係数復元部１３２の詳細について説明する。変換係数復元部１３２は、より詳細には、非ゼロ係数判定部１３２１および変換係数導出部１３２２を備える。
【０６９７】
非ゼロ係数判定部１３２１は、判定情報復号部（係数復号手段）１０３２を用いて、対象ＣＵに含まれる各ＴＵまたは変換ツリーについての非ゼロ変換係数の存否情報を復号し、各ＴＵに非ゼロ変換係数が存在するか否かを判定する。
【０６９８】
変換係数導出部１３２２は、変換係数復号部（係数復号手段）１０３３を用いて非ゼロ変換係数が存在する各ＴＵの変換係数を復元する一方で、非ゼロ変換係数が存在しない各ＴＵの変換係数を０（ゼロ）に設定する。
【０６９９】
［復号モジュール］
図１６に示すように、復号モジュール１０は、領域分割フラグ復号部１０３１、判定情報復号部１０３２、変換係数復号部１０３３、およびコンテキスト記憶部１０３４を備える。
【０７００】
領域分割フラグ復号部１０３１は、分割決定部１３１２から供給される符号化データおよびシンタックス種別に応じて、符号化データに含まれるバイナリからシンタックス値の復号を行う。領域分割フラグ復号部１０３１は、対象ノードを分割するか否かを示す情報（split_transform_flag）を復号する。
【０７０１】
判定情報復号部１０３２は、変換係数導出部１３２２から供給される非ゼロ変換係数の存否情報の符号化データおよびシンタックス種別に応じて、当該符号化データに含まれるバイナリからシンタックス値の復号を行う。判定情報復号部１０３２が復号するシンタックスは、具体的には、ｎｏ＿ｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇ、ｃｂｆ＿ｌｕｍａ、ｃｂｆ＿ｃｂ、ｃｂｆ＿ｃｒ、およびｃｂｐ等である。
【０７０２】
変換係数復号部１０３３は、変換係数導出部１３２２から供給される変換係数の符号化データおよびシンタックス種別に応じて、当該符号化データに含まれるバイナリからシンタックス値の復号を行う。変換係数復号部１０３３が復号するシンタックスは、具体的には、変換係数の絶対値であるレベル（ｌｅｖｅｌ）、変換係数の符号（ｓｉｇｎ）、連続するゼロのランの長さ（ｒｕｎ）などである。
【０７０３】
コンテキスト記憶部１０３４は、判定情報復号部１０３２および変換係数復号部１０３３が、復号処理の際に参照するコンテキストが記憶されている。
【０７０４】
［３−３］変換係数復号時にコンテキストを参照する具体的構成
判定情報復号部１０３２および変換係数復号部１０３３は、それぞれ、ＰＵ分割タイプが非対称分割である場合、小さい方のＰＵに含まれるＴＵと、大きい方のＰＵに含まれるＴＵとで異なるコンテキストを用いて、変換係数に係るシンタックス値を復号する構成であってもよい。例えば、そのようなシンタックスの種類として、非ゼロ変換係数フラグ、変換係数レベル、変換係数のラン、ＴＵツリーの各ノードにおける非ゼロ変換係数の存否情報が含まれる。前記シンタックスの組み合わせを含んでいてもよい。
【０７０５】
そこで、コンテキスト記憶部１０３４では、小さい方のＰＵに含まれるＴＵにおいて参照されるコンテキストにおける変換係数に係る各種シンタックス値に対応する確率設定値である小ＰＵサイズ１０３４Ａと、大きい方のＰＵに含まれるＴＵにおいて参照されるコンテキストにおける確率設定値である大ＰＵサイズ１０３４Ｂとが記憶されていてもよい。ここで、小ＰＵサイズ１０３４Ａおよび大ＰＵサイズ１０３４Ｂは異なるコンテキストに対応する確率設定値である。
【０７０６】
判定情報復号部１０３２は、対象ＴＵが、小さいＰＵに含まれる場合、小ＰＵサイズ１０３４Ａを参照する一方で、対象ＴＵが、大きい方のＰＵに含まれる場合、大ＰＵサイズ１０３４Ｂを参照し、対象ＴＵにおけるＣｂｆ（ｃｂｆ＿ｌｕｍａ、ｃｂｆ＿ｃｂ、ｃｂｆ＿ｃｒ等）を算術復号する。
【０７０７】
また、変換係数復号部１０３３は、対象ＴＵが、小さいＰＵに含まれる場合、小ＰＵサイズ１０３４Ａを参照する一方で、対象ＴＵが、大きい方のＰＵに含まれる場合、大ＰＵサイズ１０３４Ｂを参照し、対象ＴＵにおける変換係数（ｌｅｖｅｌ、ｓｉｇｎ、ｒｕｎ等）を算術復号する。
【０７０８】
なお、判定情報復号部１０３２および変換係数復号部１０３３は、対象ＴＵが、大きい方のＰＵに含まれる場合であって、対象ＴＵが、小さい方のＰＵに近い側に位置するとき、小ＰＵサイズ１０３４Ａを参照してもかまわない。
【０７０９】
言い換えれば、対象ＴＵが、大きい方のＰＵに含まれる場合であっても、対象ＴＵがＰＵ境界の近傍に位置している場合、判定情報復号部１０３２および変換係数復号部１０３３は、小ＰＵサイズ１０３４Ａを参照してもかまわない。
【０７１０】
小さい方のＰＵには、エッジが存在する可能性が高く変換係数が発生しやすい。これに対して、大きい方のＰＵでは変換係数が発生しにくい。対象ＴＵが、小さいＰＵに含まれる場合と大きい方のＰＵに含まれる場合とで、異なるコンテキストを用いることで、それぞれの領域内における変換係数の発生確率に応じた可変長復号を行うことができる。
【０７１１】
［作用・効果］
本発明は、以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、異なる大きさの予測単位に分割する非対称形への分割および同一の大きさの予測単位に分割する対称形への分割を含み、復号の対象となる上記予測単位である対象予測単位の分割タイプが非対称形への分割であるとき、該分割により得られた小さい予測単位および大きい予測単位の間で、異なるコンテキストを参照して変換係数を復号する係数復号手段を備える構成である。
【０７１２】
よって、小さい予測単位に含まれる変換単位および大きい予測単位に含まれる変換単位のそれぞれの領域内における変換係数の発生確率に応じた可変長復号を行うことができる。
【０７１３】
（処理の流れ）
図２４を用いて、動画像復号装置１におけるＣＵ復号処理について説明すると以下のとおりである。なお、以下では、対象ＣＵは、インターＣＵ、または、スキップＣＵであるとする。図２４は、動画像復号装置１におけるＣＵ復号処理（インター／スキップＣＵ）の流れの一例について示すフローチャートである。
【０７１４】
ＣＵ復号処理が開始されると、ＣＵ情報復号部１１が、復号モジュール１０を用いて、対象ＣＵについてＣＵ予測情報を復号する（Ｓ１１）。この処理は、ＣＵ単位で行われる。
【０７１５】
具体的には、ＣＵ情報復号部１１において、ＣＵ予測モード決定部１１１が、復号モジュール１０を用いて、スキップフラグＳＫＩＰを復号する。また、スキップフラグがスキップＣＵであることを示していなければ、さらに、ＣＵ予測モード決定部１１１は、復号モジュール１０を用いて、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅを復号する。
【０７１６】
次に、ＰＵ単位の処理が行われる。すなわち、ＰＵ情報復号部１２が備える動き補償パラメータ導出部１２１が、動き情報を復号するとともに（Ｓ１２）、予測画像生成部１４が、復号された当該動き情報に基づいてインター予測により予測画像を生成する（Ｓ１３）。
【０７１７】
次に、ＴＵ情報復号部１３が、ＴＵ分割復号処理を行う（Ｓ１４）。具体的には、ＴＵ情報復号部１３において、ＴＵ分割設定部１３１が、符号化データから復号したパラメータとＣＵサイズおよびＰＵ分割タイプとに基づいて、ＴＵ分割の方式を設定する。この処理は、ＣＵ単位で行われる。
【０７１８】
次に、ＴＵ単位の処理が行われる。すなわち、ＴＵ情報復号部１３が、変換係数を復号し（Ｓ１５）、逆量子化・逆変換部１５が、復号された変換係数から予測残差を導出する（Ｓ１６）。
【０７１９】
次に、加算器１７において、予測画像と予測残差とが加算されることにより、復号画像が生成される（Ｓ１７）。この処理は、ＣＵ単位で行われる。
【０７２０】
〔動画像符号化装置〕
以下において、本実施形態に係る動画像符号化装置２について、図２５および図２６を参照して説明する。
【０７２１】
（動画像符号化装置の概要）
動画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。
【０７２２】
（動画像符号化装置の構成）
まず、図２５を用いて、動画像符号化装置２の構成例について説明する。図２５は、動画像符号化装置２の構成について示す機能ブロック図である。図２５に示すように、動画像符号化装置２は、符号化設定部２１、逆量子化・逆変換部２２、予測画像生成部２３、加算器２４、フレームメモリ２５、減算器２６、変換・量子化部２７、および符号化データ生成部（符号化手段）２９を備えている。
【０７２３】
符号化設定部２１は、入力画像＃１０に基づいて、符号化に関する画像データおよび各種の設定情報を生成する。
【０７２４】
具体的には、符号化設定部２１は、次の画像データおよび設定情報を生成する。
【０７２５】
まず、符号化設定部２１は、入力画像＃１０を、スライス単位、ツリーブロック単位に順次分割することにより、対象ＣＵについてのＣＵ画像＃１００を生成する。
【０７２６】
また、符号化設定部２１は、分割処理の結果に基づいて、ヘッダ情報Ｈ’を生成する。ヘッダ情報Ｈ’は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報、並びに、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についてのＣＵ情報ＣＵ’を含んでいる。
【０７２７】
さらに、符号化設定部２１は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照して、ＰＴ設定情報ＰＴＩ’を生成する。ＰＴ設定情報ＰＴＩ’には、（１）対象ＣＵの各ＰＵへの可能な分割パターン、および、（２）各ＰＵに割り付ける可能な予測モード、の全ての組み合わせに関する情報が含まれる。
【０７２８】
符号化設定部２１は、各分割パターンおよび各予測モードの組み合わせのコストを算出し、最低コストの分割パターンおよび予測モードを決定する。
【０７２９】
符号化設定部２１は、ＣＵ画像＃１００を減算器２６に供給する。また、符号化設定部２１は、ヘッダ情報Ｈ’を符号化データ生成部２９に供給する。また、符号化設定部２１は、ＰＴ設定情報ＰＴＩ’を予測画像生成部２３に供給する。
【０７３０】
逆量子化・逆変換部２２は、変換・量子化部２７より供給される、ブロック毎の量子化予測残差を、逆量子化、および、逆直交変換することによって、ブロック毎の予測残差を復元する。逆直交変換については、図２に示す逆量子化・逆変換部１５について、既に説明したとおりであるので、ここではその説明を省略する。
【０７３１】
また、逆量子化・逆変換部２２は、ブロック毎の予測残差を、ＴＴ分割情報（後述）により指定される分割パターンに従って統合し、対象ＣＵについての予測残差Ｄを生成する。逆量子化・逆変換部２２は、生成した対象ＣＵについての予測残差Ｄを、加算器２４に供給する。
【０７３２】
予測画像生成部２３は、フレームメモリ２５に記録されている局所復号画像Ｐ’、および、ＰＴ設定情報ＰＴＩ’を参照して、対象ＣＵについての予測画像Ｐｒｅｄを生成する。予測画像生成部２３は、予測画像生成処理により得られた予測パラメータを、ＰＴ設定情報ＰＴＩ’に設定し、設定後のＰＴ設定情報ＰＴＩ’を符号化データ生成部２９に転送する。なお、予測画像生成部２３による予測画像生成処理は、動画像復号装置１の備える予測画像生成部１４と同様であるので、ここでは説明を省略する。
【０７３３】
加算器２４は、予測画像生成部２３より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部２２より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。
【０７３４】
フレームメモリ２５には、復号された復号画像Ｐが順次記録される。フレームメモリ２５には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が、当該復号画像Ｐの復号に用いられたパラメータと共に、記録されている。
【０７３５】
減算器２６は、ＣＵ画像＃１００から予測画像Ｐｒｅｄを減算することによって、対象ＣＵについての予測残差Ｄを生成する。減算器２６は、生成した予測残差Ｄを、変換・量子化部２７に供給する。
【０７３６】
変換・量子化部２７は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、逆直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。
【０７３７】
具体的には、変換・量子化部２７は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照し、対象ＣＵの１または複数のブロックへの分割パターンを決定する。また、決定された分割パターンに従って、予測残差Ｄを、各ブロックについての予測残差に分割する。
【０７３８】
また、変換・量子化部２７は、各ブロックについての予測残差を直交変換することによって周波数領域における予測残差を生成した後、当該周波数領域における予測残差を量子化することによってブロック毎の量子化予測残差を生成する。
【０７３９】
また、変換・量子化部２７は、生成したブロック毎の量子化予測残差と、対象ＣＵの分割パターンを指定するＴＴ分割情報と、対象ＣＵの各ブロックへの可能な全分割パターンに関する情報とを含むＴＴ設定情報ＴＴＩ’を生成する。変換・量子化部２７は、生成したＴＴ設定情報ＴＴＩ’を逆量子化・逆変換部２２および符号化データ生成部２９に供給する。
【０７４０】
ＰＵ情報生成部３０は、ＰＴ設定情報ＰＴＩ’に示される予測タイプがインター予測である場合において、ＰＴ設定情報ＰＴＩ’を符号化し、ＰＴ設定情報ＰＴＩを導出する。また、マージ候補についてのＰＴＩ設定情報ＰＴＩ’を生成し、符号化設定部２１に供給する。
【０７４１】
符号化データ生成部２９は、ヘッダ情報Ｈ’、ＴＴ設定情報ＴＴＩ’、およびＰＴ設定情報ＰＴＩ’を符号化し、符号化したヘッダ情報Ｈ、ＴＴ設定情報ＴＴＩ、およびＰＴ設定情報ＰＴＩを多重化して符号化データ＃１を生成し、出力する。
【０７４２】
（動画像復号装置との対応関係）
動画像符号化装置２は、動画像復号装置１の各構成と対応する構成を含む。ここで、対応とは、同様の処理、または、逆の処理を行う関係にあるということである。
【０７４３】
例えば、上述したように、動画像復号装置１が備える予測画像生成部１４の予測画像生成処理と、動画像符号化装置２が備える予測画像生成部２３の予測画像生成処理とは、同様である。
【０７４４】
例えば、動画像復号装置１において、ビット列から、シンタックス値を復号する処理は、動画像符号化装置２において、シンタックス値から、ビット列を符号化する処理と逆の処理としての対応となっている。
【０７４５】
以下では、動画像符号化装置２における各構成が、動画像復号装置１のＣＵ情報復号部１１、ＰＵ情報復号部１２、およびＴＵ情報復号部１３とどのような対応となっているかについて説明する。これにより、動画像符号化装置２における各構成の動作・機能はより詳細に明らかになるだろう。
【０７４６】
符号化データ生成部２９は、復号モジュール１０に対応している。より詳しくいえば、復号モジュール１０が、符号化データおよびシンタックス種別に基づいてシンタックス値を導出するのに対して、符号化データ生成部２９は、シンタックス値およびシンタックス種別に基づいて符号化データを生成する。
【０７４７】
符号化設定部２１は、動画像復号装置１のＣＵ情報復号部１１に対応している。符号化設定部２１と、ＣＵ情報復号部１１とを比較すると次のとおりである。
【０７４８】
ＣＵ情報復号部１１が、ＣＵ予測タイプ情報に係る符号化データとシンタックス種別とを復号モジュール１０に供給し、復号モジュール１０により復号されたＣＵ予測タイプ情報に基づいてＰＵ分割タイプを決定する。
【０７４９】
これに対して、符号化設定部２１は、ＰＵ分割タイプを決定してＣＵ予測タイプ情報を生成し、ＣＵ予測タイプ情報に係るシンタックス値とシンタックス種別とを符号化データ生成部２９に供給する。
【０７５０】
なお、符号化データ生成部２９は、復号モジュール１０が備える二値化情報記憶部１０１２、コンテキスト記憶部１０１３、および確率設定記憶部１０１４と同様の構成を備えていてもよい。
【０７５１】
ＰＵ情報生成部３０および予測画像生成部２３は、動画像復号装置１のＰＵ情報復号部１２および予測画像生成部１４に対応している。これらを比較すると次のとおりである。
【０７５２】
上述のとおり、ＰＵ情報復号部１２は、動き情報に係る符号化データとシンタックス種別とを復号モジュール１０に供給し、復号モジュール１０により復号された動き情報に基づいて動き補償パラメータを導出する。また、予測画像生成部１４は、導出された動き補償パラメータに基づいて予測画像を生成する。
【０７５３】
これに対して、ＰＵ情報生成部３０および予測画像生成部２３は、予測画像生成処理において、動き補償パラメータを決定し、動き補償パラメータに係るシンタックス値とシンタックス種別とを符号化データ生成部２９に供給する。
【０７５４】
また、ＰＵ情報生成部３０および予測画像生成部２３は、ＰＵ情報復号部１２が備えるマージ候補優先順位情報記憶部１２２、および参照フレーム設定情報記憶部１２３と同様の構成を備えていてもよい。
【０７５５】
変換・量子化部２７は、動画像復号装置１のＴＵ情報復号部１３および逆量子化・逆変換部１５に対応している。これらを比較すると次のとおりである。
【０７５６】
ＴＵ情報復号部１３が備えるＴＵ分割設定部１３１は、ノードの分割を行うのか否かを示す情報に係る符号化データおよびシンタックス種別を復号モジュール１０に供給し、復号モジュール１０により復号されたノードの分割を行うのか否かを示す情報に基づいてＴＵ分割を行う。
【０７５７】
さらに、ＴＵ情報復号部１３が備える変換係数復元部１３２は、判定情報および変換係数に係る符号化データおよびシンタックス種別を復号モジュール１０に供給し、復号モジュール１０により復号された判定情報および変換係数に基づいて変換係数を導出する。
【０７５８】
これに対して、変換・量子化部２７は、ＴＵ分割の分割方式を決定し、ノードの分割を行うのか否かを示す情報に係るシンタックス値およびシンタックス種別を符号化データ生成部２９に供給する。
【０７５９】
また、変換・量子化部２７は、予測残差を変換・量子化して得られる量子化変換係数に係るシンタックス値およびシンタックス種別を符号化データ生成部２９に供給する。
【０７６０】
なお、変換・量子化部２７は、ＴＵ分割設定部１３１が備える変換サイズ決定情報記憶部１３１４と同様の構成を備えていてもよい。また、符号化データ生成部２９は、復号モジュール１０が備えるコンテキスト記憶部１０３４と同様の構成を備えていてもよい。
【０７６１】
（ＰＵ情報生成部３０の詳細）
図５５は、ＰＵ情報生成部３０の構成を示すブロック図である。ＰＵ情報生成部３０は、動き補償パラメータを生成するための動き補償パラメータ生成部３０１を備える。動き補償パラメータ生成部３０１は、双予測制限ＰＵ判定部１２１８、双単予測変換部１２１９、マージ動き補償パラメータ生成部３０１２、および基本動き補償パラメータ生成部３０１３を備える。マージ動き補償パラメータ生成部３０１２は、マージ候補を生成し、ＰＴＩ設定情報ＰＴＩ’として、符号化設定部２１に供給する。また、マージ動き補償パラメータ生成部３０１２は、マージ候補を選択するためのインデックスを、ＰＴ設定情報ＰＴＩとして出力する。基本動き補償パラメータ生成部３０１３は、入力されたＰＴＩ設定情報ＰＴＩ’、ここでは動き補償パラメータからＰＴ設定情報ＰＴＩを符号化する。
【０７６２】
続いて、図５６を用いて、マージ動き補償パラメータ生成部３０１２のより詳細な構成について説明すると次のとおりである。図５６は、マージ動き補償パラメータ生成部３０１２の構成を示すブロック図である。なお、スキップＰＵの動きパラメータ導出もマージ動き補償パラメータ生成部３０１２で行われる。
【０７６３】
マージ動き補償パラメータ生成部３０１２は、隣接マージ候補導出部１２１２Ａ、時間的マージ候補導出部１２１２Ｂ、ユニーク候補導出部１２１２Ｃ、結合双予測マージ候補導出部１２１２Ｄ、非スケール双予測マージ候補導出部１２１２Ｅ、ゼロベクトルマージ候補導出部１２１２Ｆ、マージ候補導出制御部１２１２Ｇ、マージ候補格納部１２１２Ｈから構成される。
【０７６４】
マージ候補を導出する処理は、マージ動き補償パラメータ導出部１２１２と同様に、双予測制限ＰＵ判定部１２１８において双予測制限を行うと判定された小サイズのＰＵについて、双単予測変換部１２１９を用いて双予測であれば単予測の動き補償パラメータに変換することによって、単予測のマージ候補のみを導出する。各部の詳細は既に説明済みであるので省略する。
【０７６５】
マージ動き補償パラメータ生成部３０１２は、マージ候補を生成し、ＰＴＩ設定情報ＰＴＩ’として、符号化設定部２１に供給する。また、マージインデックスを、ＰＴ設定情報ＰＴIとして、符号化データ生成部２９に供給する。
【０７６６】
続いて、図５７を用いて、基本動き補償パラメータ生成部３０１３のより詳細な構成について説明すると次のとおりである。図５７は、基本動き補償パラメータ生成部３０１３の構成を示すブロック図である。基本動き補償パラメータ生成部３０１３は、隣接動きベクトル候補導出部１２１３Ａ、時間的動きベクトル候補導出部１２１３Ｂ、ゼロベクトルマージ候補導出部１２１３Ｆ、動きベクトル候補導出制御部１２１３Ｇ、動きベクトル候補格納部１２１３Ｈ、動きベクトル候補選択部３０１３Ａ、差分動きベクトル算出部３０１３Ｂ、から構成される。
【０７６７】
予測動きベクトル候補を導出する処理は、図５４に示した基本動き補償パラメータ導出部１２１３と同様であるので説明を省略する。動きベクトル候補選択部３０１３Ａは、供給された予測動きベクトルに最も近い予測動きベクトル候補を、動きベクトル候補格納部１２１３Ｈに格納された予測動きベクトル候補から選択し、そのインデックスを予測動きベクトルインデックスとして導出する。選択された予測動きベクトルは、差分動きベクトル算出部３０１３Ｂに供給される。差分動きベクトル算出部３０１３Ｂは供給された動きベクトルと予測動きベクトルとの差分を差分動きベクトルとして算出する。インター予測フラグ、参照インデックス番号、及び、導出された予測動きベクトルインデックス、差分動きベクトルは、ＰＴ設定情報ＰＴとして、符号化データ生成部２９に供給される。
【０７６８】
（具体的構成との対応関係）
［１］’ 符号化設定部および符号化データ生成部
［１−１］’コンテキストの参照を制限する構成の例
符号化データ生成部２９は、ＰＵ分割タイプが非対称パーティションであるとき、非対称パーティションの分割の種類を示す情報を、ＣＡＢＡＣのコンテキストを用いないで符号化処理を行ってもかまわない。
【０７６９】
具体的な構成は、例えば、動画像復号装置１の構成例［１−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−１］の説明における「ＣＵ予測モード復号部１０１１」、「確率設定記憶部１０１４」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「確率設定記憶部１０１４に相当する構成」、および「符号化（する）」と読み替えるものとする。
【０７７０】
［１−２］’ＣＵ予測タイプ情報（ｐｒｅｄ＿ｔｙｐｅ）を符号化する構成
符号化データ生成部２９は、二値化情報を参照してＣＵ予測タイプ情報を符号化するよう構成してもよい。
【０７７１】
具体的な構成は、例えば、動画像復号装置１の構成例［１−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−２］の説明における「ＣＵ予測モード復号部１０１１」、「二値化情報記憶部１０１２」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「二値化情報記憶部１０１２に相当する構成」、および「符号化（する）」と読み替えるものとする。
【０７７２】
［１−３］’小サイズのＣＵにおいて、イントラＣＵについて短い符号を符号化する構成
符号化データ生成部２９は、小サイズのＣＵにおいて、イントラＣＵについて短い符号を符号化するよう構成してもよい。
【０７７３】
具体的な構成は、例えば、動画像復号装置１の構成例［１−３］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−３］の説明における「ＣＵ予測モード復号部１０１１」、「コンテキスト記憶部１０１３」、「二値化情報記憶部１０１２」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「コンテキスト記憶部１０１３に相当する構成」、「二値化情報記憶部１０１２に相当する構成」、および「符号化（する）」と読み替えるものとする。
【０７７４】
［１−４］’近傍の予測パラメータに応じてｂｉｎ列の解釈を変更する構成
符号化データ生成部２９は、隣接領域に割り付けられている予測パラメータを参照して、ｂｉｎ列の解釈を変更するよう構成してもよい。
【０７７５】
具体的な構成は、例えば、動画像復号装置１の構成例［１−４］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−４］の説明における「ＣＵ予測モード復号部１０１１」、「二値化情報記憶部１０１２」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「二値化情報記憶部１０１２に相当する構成」および「符号化（する）」と読み替えるものとする。
【０７７６】
［２］’予測画像生成部および符号化データ生成部
［２−１］’マージ候補の位置および優先順位の例
ＰＵ情報生成部３０は、ＰＵ分割タイプが非対称である場合、ＰＵ分割タイプが対称である場合と異なる方法でマージ候補の優先順位を決定する構成であってもよい。
【０７７７】
具体的な構成は、例えば、動画像復号装置１の構成例［２−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−１］の説明における「動き補償パラメータ導出部１２１」、および「マージ候補優先順位情報記憶部１２２」を、それぞれ、「動き補償パラメータ生成部３０１」、および「マージ候補優先順位情報記憶部１２２に相当する構成」と読み替えるものとする。
【０７７８】
［２−２］’ＣＵサイズとスキップ／マージとの組み合わせによるマージ候補の変更
ＰＵ情報生成部３０は、ＣＵサイズと、当該ＣＵがスキップ／マージを行うＣＵであるか否かとの組み合わせに応じてマージ候補を変更する構成であってもよい。
【０７７９】
具体的な構成は、例えば、動画像復号装置１の構成例［２−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−２］の説明における「動き補償パラメータ導出部１２１」、および「マージ候補優先順位情報記憶部１２２」を、それぞれ、「動き補償パラメータ生成部３０１」、および「マージ候補優先順位情報記憶部１２２に相当する構成」と読み替えるものとする。
【０７８０】
［２−３］’参照フレーム数の決定
動き補償パラメータ生成部３０１を、以下の［２−３−１］’〜［２−３−４］’に示すように構成してもよく、これによりインター予測において単予測および双予測のいずれの予測方式を適用するかを決定してもよい。
【０７８１】
［２−３−１］’小サイズＰＵでの双予測制限
動き補償パラメータ生成部３０１は、参照フレーム設定情報を参照して、インター予測において単予測および双予測のいずれの予測方式を適用するかを決定してもよい。
【０７８２】
具体的な構成は、例えば、動画像復号装置１の構成例［２−３−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−３−１］の説明における「動き補償パラメータ導出部１２１」、および「参照フレーム設定情報記憶部１２３」を、それぞれ、「動き補償パラメータ生成部３０１」、および「参照フレーム設定情報記憶部１２３に相当する構成」と読み替えるものとする。
【０７８３】
参照フレーム設定情報において、小サイズの予測方向を単予測に限定することによって、動き補償パラメータ生成部３０１における予測画像生成に必要な処理量を大幅に低減することができる。また、小サイズのＰＵにおいて、マージ候補を単予測に制限することによっても、予測画像生成に必要な処理量を低減することができる。さらに、小サイズのＰＵにおいて、双予測マージ候補の導出を省略することによっても、マージ候補の導出に必要な処理量を低減することができる。
【０７８４】
［２−３−２］’双予測の制限を行うサイズの決定
ＰＵ情報生成部３０は、双予測の制限を行うサイズを決定し符号化してもよい。具体的な構成は、図８１に示すとおりである。図８１に示す構成は、図５５、５６に示したＰＵ情報生成部３０において、双予測制限ＰＵ判定部１２１８を、双予測制限ＰＵ判定部１２１８Ａに変更したものである。
【０７８５】
より詳細については、例えば、動画像復号装置１の構成例［２−３−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−３−２］の説明における「動き補償パラメータ導出部１２１」、「マージ動き補償パラメータ導出部１２１２」および「参照フレーム設定情報記憶部１２３」を、それぞれ、「動き補償パラメータ生成部３０１」、「マージ動き補償パラメータ生成部３０１２」および「参照フレーム設定情報記憶部１２３に相当する構成」と読み替えるものとする。
【０７８６】
［２−３−３］’部分的な双予測制限を行うための構成
ＰＵ情報生成部３０は、部分的な双予測制限を行ってもよい。具体的な構成は、図８１および図８２に示すとおりである。図８１に示す構成は、図５５、５６に示したＰＵ情報生成部３０において、双単予測変換部１２１９を、双単予測変換部１２１９Ａに変更したものである。図８２に示す構成は、図５５、５６に示したＰＵ情報生成部３０において、双単予測変換部１２１９を、双単予測変換部１２１９Ｂに変更したものである。
【０７８７】
より詳細については、例えば、動画像復号装置１の構成例［２−３−３］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−３−３］の説明における「動き補償パラメータ導出部１２１」、「マージ動き補償パラメータ導出部１２１２」および「参照フレーム設定情報記憶部１２３」を、それぞれ、「動き補償パラメータ生成部３０１」、「マージ動き補償パラメータ生成部３０１２」および「参照フレーム設定情報記憶部１２３に相当する構成」と読み替えるものとする。
【０７８８】
［２−３−４］’動きベクトルの整数化
ＰＵ情報生成部３０は、動きベクトルの整数化を行ってもよい。具体的な構成は、図８３に示すとおりである。図８３に示す構成は、図５５、５６に示したＰＵ情報生成部３０において、双単予測変換部１２１９を、双単予測変換部１２１９Ａに変更したものである。図８２に示す構成は、図５５、５６に示したＰＵ情報生成部３０において、双単予測変換部１２１９を、動きベクトル整数化部１２２０に変更したものである。
【０７８９】
より詳細については、例えば、動画像復号装置１の構成例［２−３−４］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−３−４］の説明における「動き補償パラメータ導出部１２１」、「マージ動き補償パラメータ導出部１２１２」および「参照フレーム設定情報記憶部１２３」を、それぞれ、「動き補償パラメータ生成部３０１」、「マージ動き補償パラメータ生成部３０１２」および「参照フレーム設定情報記憶部１２３に相当する構成」と読み替えるものとする。
【０７９０】
［２−３−２］’〜［２−３−４］’に示したように双予測を制限することによって、動き補償パラメータ生成部３０１における予測画像生成に必要な処理量を低減することができる。
【０７９１】
（符号化データ上の動き補償パラメータの制限）
動画像復号装置では、レベル規制による符号化データの制限を説明した。これはレベル毎に符号化データを導出して得られる動き補償パラメータの値を制限するものである。このような制限は、以下に示す動画像符号化装置２により実現できる。なお、ここではインター予測フラグの符号化のスキップ、マージ候補の双単変換、マージ候補導出を行わない例を説明する。
【０７９２】
本構成の動画像符号化装置２は、図８８に示すＰＵ情報生成部３０を用いる。ＰＵ情報生成部３０は、動き補償パラメータ生成部３０１を備える。動き補償パラメータ生成部３０１は、マージ動き補償パラメータ生成部３０１２、および基本動き補償パラメータ生成部３０１３を備える。予測制限ＰＵ判定部１２１８の代わりに、動き補償パラメータ制限部３０１４を備える。本構成では、マージ候補の双単変換を行わないため、双単予測変換部１２１９を含めないが、小ＰＵサイズの場合にマージ候補の双単変換を行うために双単予測変換部１２１９を含める構成でも良い。
【０７９３】
動き補償パラメータ制限部３０１４は、ＰＵサイズ情報と、ＰＴＩ設定情報ＰＴＩ’を入力し、ＰＴＩ設定情報ＰＴＩ’の動き補償パラメータに応じて追加コストを算出する。追加コストは、符号化設定部２１に伝送される。伝送された追加コストは最小コストに追加されるため大きな追加コストを設定することにより、特定の動き補償パラメータの選択を防ぐことができる。
【０７９４】
［疑似コード］
続いて、図８７に示す疑似コードを用いて、動き補償パラメータ制限部３０１４の動作について説明する。以下に、図８７に示す擬似コードの各ステップＳについて説明する。
【０７９５】
Ｓ８７１：動き補償パラメータ制限部３０１４は、レベルlevel_idcの値が所定の閾値ＴＨ１未満であるか否かを判定する。
【０７９６】
Ｓ８７２：レベルlevel_idcの値がＴＨ１未満である場合、動き補償パラメータ制限部３０１４は、特に処理は行わない。
【０７９７】
Ｓ８７３：一方、レベルlevel_idcの値がＴＨ１未満でない場合、動き補償パラメータ制限部３０１４は、さらにレベルlevel_idcの値が所定の閾値ＴＨ２未満か否かを判定する。
【０７９８】
Ｓ８７４：レベルlevel_idcの値がＴＨ２未満である場合、動き補償パラメータ制限部３０１４は、DisableBipred変数を次のように設定する。
【０７９９】
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=3）と一致しており、かつ、ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
【０８００】
すなわち、Ｓ８７４では、最小ＣＵサイズである８×８のＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
【０８０１】
さらに、ＰＴＩ設定情報ＰＴＩ’が上記、制限に該当する場合には、追加コストを十分に大きく設定する。該当しない場合には、追加コストを０とする。
【０８０２】
Ｓ８７４´：レベルlevel_idcの値がＴＨ１未満である場合、動き補償パラメータ制限部３０１４は、使用可能なＰＵサイズを制限する。すなわち、動き補償パラメータ制限を制限するフラグinter_4x4_enable_flag = 0とし４×４ＰＵの使用を制限を行う。さらに、ＰＴＩ設定情報ＰＴＩ’が上記、制限に該当する場合、すなわちＰＵサイズが４×４の場合には、追加コストを十分に大きく設定する。該当しない場合には、追加コストを０とする。なお、上記では動き補償パラメータを制限するフラグとしてinter_4x4_enable_flagを用いたが、４×４ＰＵの使用を制限する他のフラグ（例えば、use_restricted_prediction）でも構わない。
【０８０３】
Ｓ８７５：レベルlevel_idcの値がＴＨ２未満でない場合、動き補償パラメータ制限部３０１４は、DisableBipred変数を次のように設定する。
【０８０４】
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=4）と一致しており、かつ、ＰＵのモードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
【０８０５】
すなわち、Ｓ８７５では、最小ＣＵサイズが、８×８以外（例えば、１６×１６）の場合、最小ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。
【０８０６】
さらに、ＰＴＩ設定情報ＰＴＩ’が上記、制限に該当する場合には、追加コストを十分に大きく設定する。該当しない場合には、追加コストを０とする。
【０８０７】
Ｓ８７５´：レベルlevel_idcの値がＴＨ２未満でない場合、動き補償パラメータ制限部３０１４は、使用可能なＣＵサイズを制限することで、使用可能なＰＵサイズを制限する。すなわち、ＣＵサイズの対数値Log2MinCuSizeを４以上に制限する。log2_min_cu_size_minus3を１以上に制限する。
【０８０８】
さらに、ＰＴＩ設定情報ＰＴＩ’が上記、制限に該当する場合、すなわちＣＵサイズが８×８の場合には、追加コストを十分に大きく設定する。該当しない場合には、追加コストを０とする。なお、Ｓ８７４において、動き補償パラメータ制限部３０１４は、レベルlevel_idcの値に応じて、図８４のテーブルのMaxLog2MinCUSizeを参照して、Log2MinCUSizeを決定してもよい。例えば、図８４に示すように、レベルlevel_idcの値がＴＨ１以上、ＴＨ２未満である場合、MaxLog2MinCuSize=3であるので、Ｓ８７４において、動き補償パラメータ制限部３０１４は、Log2MinCUSizeの値として、MaxLog2MinCuSize=3を用いることができる。
【０８０９】
［３］’変換・量子化部および符号化データ生成部
［３−１］’ＰＵ分割タイプが非対称の場合において分割領域サイズを導出する構成の例
変換・量子化部２７は、ＰＵ分割タイプが非対称の場合、小さい方のＰＵでは、長方形（非正方形）の変換を適用する一方で、大きい方のＰＵでは、正方形の変換を適用する構成であってもよい。
【０８１０】
具体的な構成は、例えば、動画像復号装置１の構成例［３−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［３−１］の説明における「対象領域設定部１３１１」「分割決定部１３１２」および「分割領域設定部１３１３」は、「変換・量子化部２７」と読み替えるものとする。また、構成例［３−１］の説明における「変換サイズ決定情報記憶部１３１４」を、「変換サイズ決定情報記憶部１３１４に相当する構成」と読み替えるものとする。
【０８１１】
［３−２］’一部のＰＵ分割タイプが正方形の分割であるとき非矩形変換を適用する構成の例
変換・量子化部２７は、ＰＵ分割タイプが正方形の分割である場合、対象ノードを非正方形に分割する構成であってもよい。また、上記構成に加えて、変換・量子化部２７は、は、ＣＵサイズが、１６×１６サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、各分割深度においてスキャン順が統一できるように分割を行う構成であってもよい。
【０８１２】
具体的な構成は、例えば、動画像復号装置１の構成例［３−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［３−２］の説明における「分割領域設定部１３１３」、および「変換サイズ決定情報記憶部１３１４」は、それぞれ、「変換・量子化部２７」、および「変換サイズ決定情報記憶部１３１４に相当する構成」と読み替えるものとする。
【０８１３】
［３−３］’変換係数符号化時にコンテキストを参照する具体的構成
符号化データ生成部２９は、ＰＵ分割タイプが非対称分割である場合、小さい方のＰＵに含まれるＴＵと、大きい方のＰＵに含まれるＴＵとで異なるコンテキストを用いて、非ゼロ変換係数の存否情報および変換係数の少なくとも一方を符号化する構成であってもよい。
【０８１４】
具体的な構成は、例えば、動画像復号装置１の構成例［３−３］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［３−３］の説明における「判定情報復号部１０３２」および「変換係数復号部１０３３」は、「符号化データ生成部２９」と読み替えるものとする。また、構成例［３−３］の説明における「復号（する）」、および「コンテキスト記憶部１０３４」を、それぞれ、「符号化（する）」、および「コンテキスト記憶部１０３４に相当する構成」と読み替えるものとする。
【０８１５】
（処理の流れ）
図２６を用いて、動画像符号化装置２におけるＣＵ符号化処理について説明すると以下のとおりである。なお、以下では、対象ＣＵは、インターＣＵ、または、スキップＣＵであるとする。図２４は、動画像符号化装置２におけるＣＵ符号化処理（インター／スキップＣＵ）の流れの一例について示すフローチャートである。
【０８１６】
ＣＵ符号化処理が開始されると、符号化設定部２１が、対象ＣＵについてＣＵ予測情報を決定し、符号化データ生成部２９が、符号化設定部２１により決定されたＣＵ予測情報を符号化する（Ｓ２１）。この処理は、ＣＵ単位で行われる。
【０８１７】
具体的には、符号化設定部２１が、対象ＣＵがスキップＣＵであるか否かを決定する。対象ＣＵがスキップＣＵである場合、符号化設定部２１は、スキップフラグＳＫＩＰを符号化データ生成部２０に符号化させる。また、対象ＣＵがスキップＣＵでない場合、符号化設定部２１は、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅを符号化データ生成部２０に符号化させる。
【０８１８】
次に、ＰＵ単位の処理が行われる。すなわち、予測画像生成部２３が動き情報を導出し、符号化データ生成部２９が、予測画像生成部２３により導出された動き情報を符号化する（Ｓ２２）。また、予測画像生成部１４は、導出した当該動き情報に基づいてインター予測により予測画像を生成する（Ｓ２３）。
【０８１９】
次に、変換・量子化部２７が、ＴＵ分割符号化処理を行う（Ｓ２４）。具体的には、変換・量子化部２７は、対象ＣＵのＣＵサイズおよびＰＵ分割タイプに基づいて、ＴＵ分割の方式を設定する。この処理は、ＣＵ単位で行われる。
【０８２０】
次に、ＴＵ単位の処理が行われる。すなわち、変換・量子化部２７が、予測残差を変換係数に変換・量子化し（Ｓ２５）、符号化データ生成部２９が、変換・量子化された変換係数を符号化する（Ｓ２６）。
【０８２１】
次に、逆量子化・逆変換部２２が、変換・量子化された変換係数を、逆量子化・逆変換して予測残差を復元するとともに、加算器２４が、予測画像および予測残差を加算することにより、復号画像が生成される（Ｓ２７）。この処理は、ＣＵ単位で行われる。
【０８２２】
〔応用例〕
上述した動画像符号化装置２及び動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
【０８２３】
まず、上述した動画像符号化装置２及び動画像復号装置１を、動画像の送信及び受信に利用できることを、図２７を参照して説明する。
【０８２４】
図２７の（ａ）は、動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図２７の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
【０８２５】
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２７の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
【０８２６】
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
【０８２７】
図２７の（ｂ）は、動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２７の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
【０８２８】
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２７の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
【０８２９】
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
【０８３０】
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
【０８３１】
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
【０８３２】
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
【０８３３】
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
【０８３４】
次に、上述した動画像符号化装置２及び動画像復号装置１を、動画像の記録及び再生に利用できることを、図２８を参照して説明する。
【０８３５】
図２８の（ａ）は、上述した動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図２８の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
【０８３６】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０８３７】
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２８の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
【０８３８】
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
【０８３９】
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
【０８４０】
図２８の（ｂ）は、上述した動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２８の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
【０８４１】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０８４２】
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２８の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
【０８４３】
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
【０８４４】
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
〔まとめ〕
本発明の一対応に係る画像復号装置は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号装置において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、前記予測単位が所定のサイズ以下の場合、前記動き補償パラメータ導出部は、前記予測方式を切り替えて前記動き補償パラメータを導出する。
【０８４５】
本発明の一態様に係る画像復号装置は、予測単位の動き補償パラメータをマージ候補として導出する処理において、隣接する予測単位の動き補償パラメータに基づいて、該マージ候補を導出するマージ候補導出手段を備え、前記マージ候補が前記双予測を示している場合、前記動き補償パラメータ導出部は、前記予測方式として前記単予測を用いて前記動き補償パラメータを導出する。
【０８４６】
本発明の一態様に係る画像復号装置は、前記動き補償パラメータは、少なくとも第１の参照予測リストを用いるか否かを示す第１の予測リスト利用フラグと第２の参照予測リストを用いるか否かを示す第２の予測リスト利用フラグとを含み、前記動き補償パラメータ導出部は、前記第１の予測リスト利用フラグ及び前記第２の予測リスト利用フラグを用いて、前記動き補償パラメータを導出する。
【０８４７】
本発明の一態様に係る画像復号装置は、前記第１の予測リスト利用フラグ及び第２の予測リスト利用フラグが、該第１及び第２の予測リスト利用フラグを利用することを示している場合、前記動き補償パラメータ導出部は、前記第１の予測リスト利用フラグ又は前記第２の予測リスト利用フラグを利用しないように変換する。
【０８４８】
本発明の一態様に係る画像復号装置は、前記予測単位のサイズが、該予測単位の幅と高さを用いて算出される。
【０８４９】
本発明の一態様に係る画像復号方法は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号方法において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出するステップと、前記予測単位のサイズが、所定のサイズ以下か否かを判定するステップとを少なくとも含み、前記動き補償パラメータを導出するステップは、前記予測単位が前記所定のサイズ以下の場合、前記予測方式を切り替えて前記動き補償パラメータを導出する。
【０８５０】
本発明の一態様に係る画像符号化装置は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を符号化する画像符号化装置において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、前記予測単位が所定のサイズ以下の場合、前記動き補償パラメータ導出部は、前記予測方式を切り替えて前記動き補償パラメータを導出する。
【０８５１】
本発明の一態様に係る画像復号装置は、符号化単位毎に、画像符号化データを復号して復号画像を生成する画像復号装置において、前記符号化単位を分割する分割タイプを指定する情報を復号するＣＵ情報復号部と、コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記画像符号化データからバイナリ値を復号する算術復号部とを備え、前記ＣＵ情報復号部が、前記分割タイプとして非対称的分割（ＡＭＰ; Asymmetric Motion Partition）を指定する情報を復号する場合、前記算術復号部は、前記バイナリ値の位置に応じて、前記コンテキストを用いた算術復号と前記コンテキストを用いない算術復号とを切り替えて復号する。
【０８５２】
本発明の上記の態様によれば、非対称パーティションを用いる場合における符号量の削減と、非対称パーティションの性質を活用した効率のよい符号化／復号処理を実現することができる。
【０８５３】
また、本発明は以下のように表現することもできる。本発明の一態様に係る画像復号装置は、符号化単位毎に、画像を復元するための情報を画像符号化データから復号して画像を復元する画像復号装置において、予測単位のサイズと符号化単位に適用される予測方式との組み合わせに割り当てられている符号について、所定サイズ以下のサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して、該組み合わせ以外の組み合わせに割り当てられている符号より短い符号を復号する復号手段を備えることを特徴とする。
【０８５４】
上記の構成において、所定サイズ以下のサイズの符号化単位は、当該所定サイズよりも大きいサイズの符号化単位では、インター予測が当たりにくくなるようなサイズの符号化単位である。
【０８５５】
インター予測が当たりにくい領域では、所定サイズ以下のサイズの小さい符号化単位が適用される傾向がある。なお、以下、所定サイズよりも大きいサイズの符号化単位のことを大きい符号化単位と称する。
【０８５６】
所定サイズ以下のサイズの符号化単位は、例示的には、最小サイズの符号化単位であり、８×８画素の符号化単位である。
【０８５７】
このような小さい符号化単位では、大きい符号化単位よりも空間相関性が高くなるので、予測精度の向上を図るためイントラＣＵが適用されることが多い。
【０８５８】
上記の構成では、符号化サイズが小さく、予測方式が画面内予測である組み合わせについて、それ以外の組み合わせよりも短い符号が割り当てられる。
【０８５９】
このため、上記の構成によれば、所定サイズ以下のサイズの符号化単位において発生確率が高い組み合わせに短い符号を割り当てることができ、符号化効率が向上するという効果を奏する。
【０８６０】
本発明の一態様に係る画像復号装置は、上記復号手段が、上記組み合わせに対して、上記所定サイズより大きいサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して割り当てられている符号に比べて、短い符号を復号することが好ましい。
【０８６１】
上記の構成によれば、画面内予測が当たりにくい大きい符号化単位において画面内予測の予測方式が適用される場合よりも、画面内予測が当たりやすい小さい符号化単位において画面内予測の予測方式が適用される場合に、より短い符号が復号される。
【０８６２】
これにより、出現頻度が高い組み合わせに対して、短い符号を復号することができ、その結果、符号化効率を向上させることができる。
【０８６３】
本発明の一態様に係る画像復号装置は、上記復号手段が、上記組み合わせに対して、上記所定サイズと同一サイズの符号化単位に画面内予測以外の予測方式が適用される組み合わせに対して割り当てられている符号に比べて、短い符号を復号することが好ましい。
【０８６４】
上記の構成によれば、小さい符号化単位において予測が当たりにくい画面間予測よりも、予測が当たりやすい画面内予測について、短い符号を復号することができる。
【０８６５】
これにより、出現頻度が高い組み合わせに対して、短い符号を復号することができ、その結果、符号化効率を向上させることができる。
【０８６６】
本発明の一態様に係る画像復号装置は、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、上記画面間予測が適用される、所定サイズ以下のサイズの予測単位である対象予測単位について、双予測を行うことを制限する双予測制限手段を備えることを特徴とする。
【０８６７】
双予測は、単予測よりも処理量が多い。なお、双予測とは、画面間予測において参照する画像を２つ用いる予測方式のことである。参照する画像は、対象フレームに対して時間的に前方であっても後方であってもよい。
【０８６８】
また、所定サイズ以下のサイズの小さい予測単位では、所定サイズよりも大きいサイズの大きい予測単位よりも、単位面積当たりの処理量が多い。
【０８６９】
従って、小さい予測単位において双予測を行うと、どちらも処理量が多いため、復号処理のボトルネックになりやすい。
【０８７０】
上記の構成によれば、小さい予測単位において双予測を行うことを制限する。なお、制限するとは、双予測における一部の処理を省略すること、および、双予測の処理を行わないことを含む。
【０８７１】
上記制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができるという効果を奏する。
【０８７２】
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、上記対象予測単位における予測画像の生成に用いる動きベクトルの少なくとも一部の復号を省略しない予測単位であって、かつ、上記対象予測単位の近傍の予測単位に割り付けられている予測パラメータから、該対象予測単位に割り付ける予測パラメータの推定を行わない上記対象予測単位に対して、上記制限を行うことが好ましい。
【０８７３】
上記の構成によれば、いわゆるスキップ処理およびマージ処理を行わず、実際に対象予測単位に予測パラメータを導出する場合において、双予測を制限する。
【０８７４】
スキップ処理やマージ処理を行わない場合、動きベクトルを全て復号する必要があり処理量が増加する。したがって、そのような場合に上記制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができる。
【０８７５】
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、双予測および単予測のいずれを行うかを示す情報の復号を省略して、単予測を行うことが好ましい。
【０８７６】
上記の構成によれば、双予測を制限する対象予測単位における復号処理を簡略化することができる。また、単予測を行うことが予め決まっているのに、双予測および単予測のいずれを行うかを示す情報を復号するというオーバーヘッドを回避することができる。
【０８７７】
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、双予測における重み付け予測に関する情報の処理を省略することが好ましい。
【０８７８】
上記の構成によれば、双予測における重み付け予測に関する情報の処理を省略することで、双予測における処理量を軽減できる。その結果、重み付け予測に関する情報の処理のような、復号処理のボトルネックになるような処理の処理量を低減することができる。
【０８７９】
本発明の一態様に係る画像復号装置では、当該画像復号装置は、復号済みの予測単位の復号に用いた動き補償パラメータからマージ候補を導出するマージ候補導出手段を備え、上記双予測制限手段は、上記マージ候補導出手段で導出されるマージ候補が双予測である場合には、該双予測を単予測に変換する双単予測変換手段を備えるものであってもよい。
【０８８０】
上記の構成によれば、対象予測単位における予測画像の復号にマージ処理を用いる場合でも、双予測を制限することができ、対象予測単位における復号処理を簡略化することができる。
【０８８１】
本発明の一態様に係る画像復号装置は、上記双単予測変換手段が、参照ピクチャリストの使用の有無を示すフラグである予測リスト利用フラグを２つ用いる場合に、該２つの予測リスト利用フラグの両者が、上記参照ピクチャリストを使用することを示しているとき、上記２つの予測リスト利用フラグの一方のフラグを、上記参照ピクチャリストを使用しないことを示すように変換するものであってもよい。
【０８８２】
上記の構成によれば、予測リスト利用フラグを用いて双予測を行うか、単予測を行うかを制御する画像復号装置において、双予測を制限することができ、対象予測単位における復号処理を簡略化することができる。
【０８８３】
本発明の一態様に係る画像復号装置は、上記双単予測変換手段が、Ｌ０リストを使用することを示す参照ピクチャリストのフラグを、当該Ｌ０リストを使用しないことを示すように変換するものであってもよい。
【０８８４】
上記の構成によれば、予測リスト利用フラグを用いて双予測を行うか、単予測を行うかを制御する復号装置において、符号化効率を保持したまま、双予測を制限することができ、対象予測単位における復号処理を簡略化することができる。
【０８８５】
ここで、Ｌ０リストとは、主として前方向予測に使用するピクチャのリストである。一般に、動き補償パラメータの導出では、Ｌ０リストの参照ピクチャを優先することが多い。逆に、Ｌ０リストの参照ピクチャの代わりにＬ１リストの参照ピクチャを使用することによれば、これらのＬ０リストを優先する導出処理と差別化することができる。ある符号化パラメータにより複数の導出処理が選択可能な場合において、あるグループの導出処理をＬ０リスト優先、他のグループの導出処理をＬ１リスト優先とすると、各々の導出処理は互いに相補的に用いることができるため、より多くの動きの性質のシーケンスや領域において有効に作用する。そのため、双単予測変換においては、Ｌ１リストを用いることによって高い符号化効率を得ることができる。
【０８８６】
本発明の一態様に係る画像復号装置は、上記双単予測変換手段が、上記参照ピクチャリストの使用の有無を示すフラグを、上記参照ピクチャリストを使用しないことを示すように変換する場合、参照インデックス番号および動きベクトルのリフレッシュを行わないものであってもよい。
【０８８７】
上記の構成によれば、参照ピクチャリストの使用を制限した場合においても、後続の処理において、制限した方の、参照インデックス番号および動きベクトルの値を使用することができる。そのため、リフレッシュを行う場合と比較して符号化効率を保持したまま、双予測を制限することができ、対象予測単位における復号処理を簡略化することができる。
【０８８８】
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、結合インター予測参照インデックスに対応するコード番号を復号する場合、コード番号の値の最大値を、双予測を制限するときは単予測の結合参照ピクチャセットの数に設定し、双予測を制限しないときは、単予測の結合参照ピクチャセットの数と双予測の結合参照ピクチャセットの数との和に設定するものであってもよい。
【０８８９】
上記の構成によれば、結合インター予測参照インデックスを用いる画像復号装置において、単予測を行うことが予め決まっているのに、双予測の場合に対応するコード番号を復号するというオーバーヘッドを回避することができる。
【０８９０】
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、結合インター予測参照インデックスを復号する場合に、双予測を制限するときは、コード番号から可変テーブルを用いて上記結合インター予測参照インデックスを導出し、制限しないときは、可変テーブルを用いずにコード番号から上記結合インター予測参照インデックスを導出するものであってもよい。
【０８９１】
上記の構成によれば、可変テーブルを用いてコード番号から結合インター予測参照インデックスを復号する画像復号装置において、双予測を制限する場合における可変テーブルに関する復号処理を簡略することができる。
【０８９２】
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、復号した結合インター予測参照インデックスが結合参照ピクチャセット以外を示す場合、双予測を制限するときは、双予測および単予測のいずれを行うかを示す情報の復号を省略して単予測を行い、双予測を制限しないときは、双予測および単予測のいずれを行うかを示す情報の復号を行うものであってもよい。
【０８９３】
上記の構成によれば、結合インター予測参照インデックスを用いる画像復号装置において、単予測を行うことが予め決まっているのに、双予測および単予測のいずれを行うかを示す情報を復号するというオーバーヘッドを回避することができる。
【０８９４】
本発明の一態様に係る画像復号装置では、当該画像復号装置は、対象予測単位における予測画像の復号にマージ処理を用いる場合に動き補償パラメータの候補であるマージ候補を導出するマージ候補導出手段を備え、上記マージ候補導出手段は、上記対象予測単位に隣接している隣接対象予測単位の復号に用いた動き補償パラメータからマージ候補を導出する隣接マージ候補導出手段と、複数の参照ピクチャからマージ候補を導出する双予測マージ候補導出手段を備え、上記マージ候補導出手段は、上記対象予測単位が、所定のサイズのとき、上記双予測マージ候補導出手段によるマージ候補を用いないものであってもよい。
【０８９５】
上記の構成によれば、双予測に対するマージ候補の導出を省略することにより、マージ候補の導出を簡略化することができる。
【０８９６】
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、復号対象となる上記符号化単位である対象符号化単位を上記予測単位へ分割するタイプである分割タイプと予測方式との複数の組に対して対応付けられる複数の符号を、復号の対象となる上記予測単位である対象予測単位の近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて変更する変更手段を備えることを特徴とする。
【０８９７】
予測画像を生成する単位は、符号化処理の単位となる符号化単位を基準に決定される。具体的には、符号化単位と同じ領域または符号化単位を分割して得られる領域を予測単位とする。
【０８９８】
上記の構成において、上記予測単位への分割タイプは、正方形への分割および非正方形への分割を含んでいてもよい。正方形への分割は、分割によって得られる予測単位が正方形である場合である。
【０８９９】
例えば、正方形の符号化単位を、４つの正方形に四分割する場合がこれに該当する。また、正方形の符号化単位と同じサイズの領域を予測単位とする非分割の場合もこれに該当する。非分割の場合の分割タイプは、一般的には、２Ｎ×２Ｎと表される。
【０９００】
非正方形への分割は、分割によって得られる予測単位が非正方形である場合である。例えば、符号化単位の領域を大きな長方形と、小さな長方形とに分割する場合がこれに該当する。
【０９０１】
また、符号とは、符号化されたパラメータ値のバイナリ（ｂｉｎ）列のことをいう。バイナリ列は直接符号化されてもよいし、算術符号化により符号化されてもよい。予測方式は、画面間予測および画面内予測のいずれかである。また、予測方式および分割タイプの組とは、例えば、（画面内予測，非分割）であり、ｐｒｅｄ＿ｔｙｐｅというパラメータ値によって表されることもある。
【０９０２】
また、上記の構成では、符号と、予測方式および分割タイプの組とは、１対１で対応付けられる。
【０９０３】
上記の構成によれば、復号済みパラメータに応じて、上記対応付けを変更する。言い換えれば、同じ符号であっても、復号済みパラメータに応じて、いずれの予測方式および分割タイプの組を示すかの解釈を変更するということである。
【０９０４】
このため、より発生確率が高い予測方式および分割タイプの組に、より短い符号を割り当てることができる。
【０９０５】
具体的には、対象符号化単位に隣接する符号化単位が、画面内予測を行う符号化単位である場合、対象符号化単位も画面内予測が採用される可能性が高くなる。
【０９０６】
よって、このような場合、画面内予測を含む組に短い符号を割り当てることが望ましい。
【０９０７】
上記の構成によれば、近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて、より発生確率が高い予測方式および分割タイプの組に、より短い符号を割り当てるので、符号化効率を向上させることができる。
【０９０８】
本発明の一態様に係る画像復号装置は、上記変更手段が、上記対象符号化単位の近傍の復号済み符号化単位に画面内予測の予測方式が割り付けられているときに、画面内予測の予測方式を含む組に対応付けられる符号を、短い符号に変更することが好ましい。
【０９０９】
上記の構成によれば、対象符号化単位の近傍の復号済み符号化単位に画面内予測の予測方式が割り付けられているときに、画面内予測の予測方式を含む組に対応付けられる符号を、短い符号に変更する。
【０９１０】
なお、近傍とは、複数であってもよく、例えば、上隣接符号化単位および左隣接符号化単位を近傍とすることが挙げられる。
【０９１１】
この場合、上隣接符号化単位および左隣接符号化単位のいずれか、もしくは、両方において、画面内予測の予測方式が割り付けられていればよい。
【０９１２】
対象符号化単位の近傍の復号済み符号化単位に画面内予測の予測方式が割り付けられているとき、対象符号化単位も画面内予測が割り付けられる可能性が高い。
【０９１３】
このため、発生頻度が高い組に対応付けられる符号を短くすることができ、符号化効率が向上する。
【０９１４】
本発明の一態様に係る画像復号装置は、上記変更手段が、上記対象符号化単位に隣接する復号済み符号化単位が、上記対象符号化単位よりも小さいときに、隣接する方向への分割を行う分割タイプを含む組に対応付けられる符号を、短い符号に変更することが好ましい。
【０９１５】
上記の構成によれば、上記対象符号化単位に隣接する復号済み符号化単位が、上記対象符号化単位よりも小さいときに、隣接する方向への分割を行う分割タイプを含む組に対応付けられる符号を、短い符号に変更する。
【０９１６】
上記対象符号化単位に隣接する復号済み符号化単位が、上記対象符号化単位よりも小さいとき、対象符号化単位と、隣接する復号済み符号化単位との間の境界に対し、垂直な方向にエッジが存在する可能性が高い。すなわち、対象符号化単位が上記復号済み符号化単位に隣接する方向にエッジが現れることが多い。
【０９１７】
このような場合、隣接する方向への分割を行う分割タイプが選択されやすくなる。
【０９１８】
このため、発生頻度が高い組に対応付けられる符号を短くすることができ、符号化効率が向上する。
【０９１９】
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、復号の対象となる上記予測単位である対象予測単位が、該対象予測単位の近傍の領域に割り付けられている予測パラメータから、該対象予測単位の予測パラメータの推定を行う予測単位である場合、該対象予測単位のサイズに応じて、推定に用いる領域の候補を決定する候補決定手段を備えることを特徴とする。
【０９２０】
上記の構成によれば、対象予測単位のサイズに応じて、いわゆるスキップや、マージに用いる領域の候補を決定する。または、復号した差分動きベクトルと合わせて動きベクトルを復元するために用いる推定動きベクトルの導出に用いる領域の候補を設定する。
【０９２１】
対象予測単位のサイズに応じて、画面間予測の動きベクトルの相関は変動する。例えば、所定のサイズ以下の小さい予測単位が選択される領域では、オブジェクトの動きが複雑な場合が多く、動きベクトルの相関は小さい。
【０９２２】
よって、上記構成によれば、例えば、動きの複雑度に応じて、候補数を削減することができる。これにより、サイド情報を削減することができ、その結果、符号化効率を向上させることができる。
【０９２３】
本発明の一態様に係る画像復号装置は、上記候補決定手段が、所定のサイズ以下の小さい予測単位の上記候補の数を、該小さい予測単位よりも大きい予測単位の上記候補の数よりも少なくすることが好ましい。
【０９２４】
上記の構成によれば、所定のサイズ以下の小さい予測単位の上記候補の数を、該小さい予測単位よりも大きい予測単位の上記候補の数よりも少なくする。
【０９２５】
上述のとおり、所定のサイズ以下の小さい予測単位が選択される領域では、オブジェクトの動きが複雑な場合が多く、動きベクトルの相関は小さい。
【０９２６】
そのため、上記のような領域では、候補数を少なくしたほうが、サイド情報を削減することができるため好ましい。
【０９２７】
本発明の一態様に係る画像復号装置では、上記候補決定手段は、所定のサイズ以下の小さい予測単位では、時間予測を上記候補に含めないことが好ましい。
【０９２８】
上記の構成によれば、所定のサイズ以下の小さい予測単位では、時間予測を上記候補に含めない。
【０９２９】
小さい予測単位が選択されるような動きが複雑な領域では、時間予測に用いられる関連予測単位（ｃｏｌｌｏｃａｔｅｄ ＰＵ）と対象予測単位との相関が小さいため、時間予測が選択される可能性が小さい。よって、このような領域では、時間予測をマージ候補に含めないことが好ましい。
【０９３０】
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、長方形の予測単位への分割を含み、上記長方形が縦長および横長のいずれであるかを示す符号と、上記長方形の種類を示す符号とを含む、上記長方形の予測単位への分割を特定するための符号のうち、上記長方形の種類を示す符号を、コンテキストを用いずに復号する復号手段を備えることを特徴とする。
【０９３１】
上記の構成によれば、予測単位への分割タイプが、長方形の予測単位への分割の場合、長方形の種類を示す符号を、コンテキストを用いずに復号する。
【０９３２】
長方形の種類とは、例えば、分割タイプが、横長の長方形の分割である場合、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤの３種類である。
【０９３３】
予測単位の分割は、符号化単位の領域内に存在するエッジをまたがないように行われることが多い。傾きを有するエッジが領域内に存在する場合、必ずしも同一の長方形の種類が続けて選ばれないことがある。このような領域においては、コンテキストを用いて復号処理を行っても、符号化効率が向上しない場合がある。
【０９３４】
逆に言えば、このような領域においては、コンテキストを用いないで復号処理を行っても、符号化効率が低下しない場合がある。
【０９３５】
上記の構成によれば、上述のような領域において、符号化効率を維持しつつ、コンテキストを参照しないことによる処理の簡略化を図ることができる。
【０９３６】
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、上記分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と異なる推定方法によって、画面間予測の予測パラメータの推定を行う推定手段を備えることを特徴とする。
【０９３７】
上記の構成によれば、分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と異なる推定方法によって、画面間予測の予測パラメータの推定を行う。
【０９３８】
非対称分割が選択される符号化単位は、予測単位を得るための分割において、小さい方の予測単位と、大きい方の予測単位とに非対称に分割される。
【０９３９】
また、非対称分割が選択される符号化単位では、小さい方の予測単位を長辺方向に横切るエッジが存在する可能性が高い。
【０９４０】
また、エッジが存在する領域は正確な動きベクトルが導出されている可能性が高い。つまり、分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と、精度の高い動きベクトルが導出されている領域が異なる。
【０９４１】
よって、分割タイプが非対称分割である場合と、上記分割タイプが対称分割である場合とで異なる推定方法を変更することで、分割タイプに応じた好ましい推定方法により画面間予測の予測パラメータの推定を行うことができるという効果を奏する。
【０９４２】
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、復号の対象となる上記符号化単位である対象符号化単位の分割タイプが非対称分割であるとき、上記対象符号化単位に含まれる予測単位の大きさに応じて、変換単位の分割方式を決定する変換単位分割手段を備えることを特徴とする。
【０９４３】
上記の構成によれば、復号の対象となる上記符号化単位である対象符号化単位の分割タイプが非対称分割であるとき、上記対象符号化単位に含まれる予測単位の大きさに応じて、変換単位の分割方式を決定する。
【０９４４】
非対称分割が適用されるとき、小さい方の予測単位にはエッジが含まれる可能性が高いのに対して、大きい方の予測単位にはエッジが含まれる可能性が低い。
【０９４５】
予測残差に方向性がない場合、変換単位の分割方式として、長方形の変換を適用するよりも、正方形の変換を適用したほうが、効率よく相関を除去できる。
【０９４６】
上記の構成によれば、分割タイプが非対称分割であるときは、上記対象符号化単位に含まれる予測単位の大きさに応じて、効率よく相関を除去できるような変換単位の分割方式を選択することができる。その結果、符号化効率が向上する。
【０９４７】
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記変換単位への分割方式は、正方形および長方形の分割を含み、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する分割手段を備えることを特徴とする。
【０９４８】
領域内にエッジが存在し、画像に方向性があるにもかかわらず、正方形の予測単位が選択される場合がある。例えば、多数の横エッジが存在するオブジェクトが移動している場合、オブジェクト内では、動きは一様であるため、正方形の予測単位が選択される。しかしながら、このような場合は、変換処理では、横エッジに沿った、水平方向に長い形状の変換単位を適用することが望ましい。
【０９４９】
上記の構成によれば、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。
【０９５０】
これにより、正方形の符号化単位においても、長方形の変換単位を選択することができ、このため上記のような領域に対する符号化効率を向上させることができる。
【０９５１】
本発明の一態様に係る画像復号装置は、上記分割手段が、さらに、所定の大きさの符号化単位において分割深度２に対応する変換単位の形状が正方形である場合、上記所定の大きさの符号化単位において、分割深度１に対応する対象変換単位を長方形とすることが好ましい。
【０９５２】
上記の構成によれば、対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。
【０９５３】
変換単位を正方形の４分木分割方式により再帰的に２回分割すると、すなわち分割深度を２まで上げると、１６個の正方形の変換単位が得られる。この場合、スキャン順は、ｚスキャンが再帰的に適用されたものになる。従来、対象符号化単位の分割タイプが正方形の分割である場合、この分割方式が適用されていた。
【０９５４】
一方、変換単位を横長の４分木分割方式により分割する場合は、分割深度２では、各ノードが正方形の変換単位に分割される。すなわち、分割深度を２では、最終的に、１６個の正方形の変換単位が得られる。この場合、スキャン順は、１６個の正方形の変換単位に対してラスタスキャンが適用される。従来、対象符号化単位の分割タイプが非正方形の分割である場合、この分割方式が適用されていた。
【０９５５】
よって、対象符号化単位の分割タイプが、正方形の分割である場合と非正方形の分割である場合とで、スキャン順が異なっていた。
【０９５６】
これに対して、上記構成によれば、符号化単位の分割タイプが正方形の分割であり、すなわち対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。
【０９５７】
このため、正方形の分割である場合と非正方形の分割である場合とで、スキャン順を統一させることができるという効果を奏する。
【０９５８】
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位、または、分割した符号化単位として得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、異なる大きさの予測単位への分割である非対称形への分割および同一の大きさの予測単位への分割である対称形への分割を含み、復号の対象となる上記予測単位である対象予測単位の分割タイプが非対称形への分割であるとき、該分割により得られた小さい予測単位および大きい予測単位の間で、異なるコンテキストを参照して変換係数を復号する係数復号手段を備えることを特徴とする。
【０９５９】
非対称分割により得られた小さい予測単位には、エッジが存在する可能性が高く変換係数が発生しやすい。これに対して、大きい予測単位では変換係数が発生しにくい。対象変換単位が、小さい予測単位に含まれる場合と大きい予測単位に含まれる場合とで、異なるコンテキストを用いることで、それぞれの領域内における変換係数の発生確率に応じた可変長復号を行うことができる。
【０９６０】
本発明の一態様に係る画像符号化装置は、符号化単位毎に、画像を復元するための情報を符号化して画像符号化データを生成する画像符号化装置において、予測単位のサイズと符号化単位に適用される予測方式との組み合わせに割り当てられている符号について、所定サイズ以下のサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して、該組み合わせ以外の組み合わせに割り当てられている符号より短い符号を符号化する符号化手段を備えることを特徴とする。
【０９６１】
なお、上記画像復号装置に対応する構成を備える画像符号化装置も本発明の範疇に入る。上記のように構成された画像符号化装置によれば、本発明の一態様に係る画像復号装置と同様の効果を奏することができる。
【０９６２】
本発明の一態様に係る画像復号装置は、符号化データを復号して、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、上記符号化データに含まれる、双予測の制限を行う予測単位のサイズを示す情報である双予測制限情報に基づいて、双予測の制限を行う双予測制限手段を備えることを特徴とする。
【０９６３】
上記の構成によれば、画像符号化装置が、画像の符号化において、意図に応じて適応的に双予測制限情報を符号化すれば、画像復号装置において、上記意図に応じた双予測の制限を行うことができる。これにより、画像の解像度や、画像符号化装置／画像復号装置の性能に応じた細かい調整を行うことができるという効果を奏する。
【０９６４】
本発明の一態様に係る画像復号装置では、上記符号化データに含まれる、双予測の制限を行うか否かを示すフラグである双予測制限フラグが双予測の制限を行うことを示すときに、上記双予測制限情報を復号する制限情報復号手段を備えることが好ましい。
【０９６５】
上記の構成によれば、画像符号化装置から明示的にしてされたフラグに応じて適応的に双予測の制限を行うことができる。これにより画像符号化装置が意図するに双予測制限処理を画像復号装置において行うことができる。
【０９６６】
本発明の一態様に係る画像復号装置は、上記双予測制限フラグが、上記符号化データのストリームの複雑度および上記符号化データを復号する画像復号装置の性能の少なくとも何れか一方に応じて設定されているものであることが好ましい。
【０９６７】
双予測制限フラグは、上記のとおり、双予測の制限を行うか否かを示すフラグである。当該双予測制限フラグは、画像符号化装置において、符号化データのストリームの複雑度および画像復号装置の性能の少なくとも何れか一方に応じて設定される。符号化データのストリームの複雑度および画像復号装置の性能を示す指標としては、例えば、Ｈ．２６４／ＡＶＣにおけるレベル規制（level limit）が挙げられる。レベル規制では、デコーダがビット・ストリームを復号するスピード等が規定されている。また、レベル規制は、整数レベルおよびサブレベル（小数点以下のレベル）の２つのレベルにより構成されている。整数レベルは、大まかな範囲を規定しており、ｌｅｖｅｌ１〜５までが規定されている。
【０９６８】
例えば、ｌｅｖｅｌ  ４は、ＨＤＴＶ（High Definition Television；高精細テレビ）の１０８０ｐの解像度に対応しており、ｌｅｖｅｌ  ５は、４ｋの解像度に対応している。
【０９６９】
また、さらにサブレベルにおいて、各整数レベルにおける詳細な仕様が規定されている。
【０９７０】
ここで、レベルに応じて、制約を設けたいＰＵサイズおよび双予測の制限を行いたい予測単位（ＰＵ）は異なる。例えば、ｌｅｖｅｌ  ４（ＨＤ）では、４×４ＰＵに制約を設けるとともに、８×４ＰＵ、および４×８ＰＵにおいて双予測の制限を行うことが好ましい。また、ｌｅｖｅｌ  ５（４ｋ）では、８×４ＰＵおよび４×８ＰＵに制約を設けるとともに、８×８ＰＵにおいて双予測の制限を行うことが好ましい。
【０９７１】
また、このような双予測の制限は、画像符号化装置において明示的に指定されていることが好ましい。
【０９７２】
上記の構成によれば、画像符号化装置が、符号化データにおいて、レベルに応じて双予測制限フラグおよび双予測制限情報を設定している場合、画像復号装置において、双予測制限フラグおよび双予測制限情報に基づいた双予測の制限を行うことができる。
【０９７３】
すなわち、画像符号化装置において明示的に設定された双予測の制限の指定に従って、画像復号装置において双予測の制限を行うことができる。
【０９７４】
このように、双予測制限フラグの判定結果に応じて双予測制限情報に基づく双予測制限を行うことで、すなわちストリームの複雑度・画像復号装置の性能（レベル）に応じて適応的に双予測の制限を行うことができるという効果を奏する。
【０９７５】
本発明の一態様に係る画像復号装置は、符号化データを復号して、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、符号化の単位である符号化単位のサイズに応じて、上記予測単位の取り得るサイズが定まっており、上記符号化データに含まれる、符号化単位の最小サイズを示すフラグの値に応じて、双予測の制限を行う双予測制限手段を備えることを特徴とする。
【０９７６】
例えば、引用文献１では、”log2_min_coding_block_size_minus3”というパラメータによって、最小の符号化単位（ＣＵ）のサイズを規定する。また、予測単位（ＰＵ）の形状（サイズ）は、符号化単位（ＣＵ）のサイズも考慮して定められる。最小ＣＵサイズが、８×８である場合、８×８ＰＵに加えて、８×８ＣＵを分割した８×４ＰＵ、４×８ＰＵ、４×４ＰＵが使用可能である。また、最小ＣＵサイズが１６×１６である場合、８×８ＰＵが使用可能である一方で、８×４ＰＵ、４×８ＰＵ、４×４ＰＵは、使用不可である。
【０９７７】
上述のとおり、符号化データのストリームの複雑度および画像復号装置の性能の少なくとも何れか一方に応じて設定される、いわゆるレベルに応じて双予測の制限を行うことが好ましい。
【０９７８】
最小ＣＵサイズに基づいて双予測の制限を行えば、双予測制限を行うＰＵサイズと、単予測自体を制限するＰＵサイズのバランスを取ることができる。すなわち、双予測に伴う処理量および転送量は制限されるが、単予測の処理量および転送量は制限されないというアンバランスがなくなる。
【０９７９】
最小ＣＵサイズは、引用文献１に見られるように、既存のパラメータとして規定されている。よって、このような既存のパラメータを活用することで、双予測制限専用のフラグを追加する場合と比べて、符号量の増大を招来することなく、簡易に双予測の制限を行うことができる。
【０９８０】
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、双予測の制限を行うか否かを示すフラグである双予測制限フラグが双予測の制限を行うことを示すときに、上記双予測の制限を行うことが好ましい。
【０９８１】
上記の構成によれば、画像符号化装置が設定した予測制限フラグに基づく双予測の制限を行うことができる。これにより、画像符号化装置が明示的に設定した指定に基づいて、適応的に双予測の制限を行うことができる。
【０９８２】
本発明の一態様に係る画像復号装置は、上記双予測制限フラグが、上記符号化データのストリームの複雑度および上記符号化データを復号する画像復号装置の性能の少なくとも何れか一方に応じて設定されているものであることが好ましい。
【０９８３】
上記の構成によれば、レベルに応じて適応的に双予測の制限を行うことができる。
【０９８４】
本発明の一態様に係る画像復号装置では、上記双予測制限フラグは、少なくとも３値を取り得えるものであり、上記双予測制限手段は、上記双予測制限フラグの値に応じた双予測の制限を行うことが好ましい。
【０９８５】
上記の構成によれば、双予測の制限に関し、双予測制限フラグの値に応じた細かい調整を行うことができる。例えば、双予測制限フラグの値を３値に設定した場合は、次のような双予測の制限が考えられる。すなわち、あるサイズのＣＵについて、双予測の制限を行わない場合、２Ｎ×２Ｎ・ＰＵ以外の双予測を制限する場合、および、Ｎ×Ｎ・ＰＵの双予測を制限する場合、の３つの場合を、３値を取り得る双予測制限フラグによって表現することができる。
【０９８６】
より具体的には、双予測制限フラグの値に応じて、１６×１６ＣＵにおいて、双予測の制限を行わない場合、８×８ＰＵだけ双予測を制限する場合、および、８×８ＰＵ、１６×８ＰＵ、８×１６ＰＵについて双予測を制限する場合を選択することができる。
【０９８７】
本発明の一態様に係る画像復号装置では、上記双予測制限フラグは、処理の対象となる符号化単位について予め定められている最小のサイズのインター予測単位を禁止するフラグを兼ねていることが好ましい。
【０９８８】
上記の構成においては、最小のＰＵ（Ｎ×Ｎ）でのインター予測単位を禁止する場合、上記双予測制限フラグが双予測の制限を行うことを示すように設定することができる。逆もまた同様である。
【０９８９】
例えば、最小のＰＵ（Ｎ×Ｎ）でのインター予測単位を許容するか否かを示すフラグとしては、引用文献１では、inter_4x4_enabled_flagが規定されている。なお、ＣＵのサイズが、８×８以上である場合、または、inter_4x4_enabled_flagが、“１”である場合、Ｎ×Ｎのインター予測が許容される。
【０９９０】
ここで、!inter_4x4_enabled_flag（“！”は、論理否定の論理演算子を表す）とすれば、このように構成されたフラグは、インター４×４を禁止するか否かを示すフラグということができる。
【０９９１】
あるＣＵのサイズに関して取り得る最小のサイズのＰＵ（Ｎ×Ｎ）において、双予測を制限する場合、上記のように構成したフラグによって実現することが可能である。よって、このような場合、フラグの数を削減することができ、比較的簡易に双予測の制限を実現することができる。
【０９９２】
本発明の一態様に係る画像復号装置は、符号化データを復号して、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、復号済みの予測単位の復号に用いた動き補償パラメータからマージ候補を導出するマージ候補導出手段と、上記導出されたマージ候補の少なくとも一部に対して、双予測の制限を行う双予測制限手段とを備えることを特徴とする。
【０９９３】
双予測は、単予測よりも処理量が多い。なお、単予測とは、画面間予測において参照する画像を１つ用いる予測方式のことであり、双予測とは、画面間予測において参照する画像を２つ用いる予測方式のことである。参照する画像は、対象フレームに対して時間的に前方であっても後方であってもよい。
【０９９４】
上記の構成によれば、対象予測単位における予測画像の復号にマージ処理を用いる場合でも、双予測を制限することができ、対象予測単位における復号処理を簡略化することができる。なお、制限するとは、双予測における一部の処理を省略すること、双予測の動きベクトルを、より処理負荷が軽減できるようなものに変換すること、および、双予測の処理を行わない（禁止する）ことを含む。
【０９９５】
導出されたマージ候補の少なくとも一部において上記双予測の制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができるという効果を奏する。
【０９９６】
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、上記双予測の制限において、上記双予測を単予測に変換することが好ましい。
【０９９７】
上記構成において、“双予測を制限する”とは、双予測を単予測に変換して、双予測を行わなくても済むようにするということである。すでに説明したとおり、双予測よりも単予測のほうが、処理が複雑でなく、また処理量も少なくて済む。
【０９９８】
また、「双予測を単予測に変換する」とは、参照される参照画像の枚数を２枚から１枚に制限することを指す。
【０９９９】
上記の構成によれば、対象予測単位における予測画像の復号にマージ処理を用いる場合において、上述のとおり双予測を制限することで、対象予測単位における復号処理を簡略化することができる。
【１０００】
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、上記導出されたマージ候補のうち、双予測のマージ候補であって、２つの動きベクトルの少なくとも一方が、非整数の成分を含む非整数動きベクトルであるマージ候補に対して、上記双予測の制限を行うことが好ましい。
【１００１】
上記の構成によれば、２つの動きベクトルが非整数動きベクトルであるマージ候補を、双予測の制限対象とする。その一方で、マージ候補が整数動きベクトルの場合には双予測を制限しなくても済む。
【１００２】
ここで、非整数動きベクトルとは、画素位置を整数値として表現したときに、少なくとも一部の該動きベクトルの成分が非整数によって表されるものを指す。
【１００３】
非整数動きベクトルに対しては、補間画像を生成するための補間フィルタを適用するため、処理負荷が高くなる傾向がある。これに対して、整数動きベクトルの場合には、このようなフィルタ処理は必須ではない。
【１００４】
また、整数動きベクトルの場合には、補間フィルタ処理が必須ではないため、動き補償で参照する範囲は、対象ブロックと同一とすることができる。
【１００５】
このため、整数動きベクトルの場合には、双予測を行っても転送量および処理量が過度には増大しない。
【１００６】
上記の構成によれば、双予測を制限しなくてもそれほど負荷がかからないような整数動きベクトルに対しては、双単変換を省略することができるので、マージ候補を双単変換する双予測制限処理の負荷を軽減することができる。
【１００７】
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、上記導出されたマージ候補のうち、非整数の成分を含んでいる非整数動きベクトルを含む双予測のマージ候補に対して、該非整数動きベクトルが含んでいる非整数の成分の少なくとも一部を、整数の成分に変換することが好ましい。
【１００８】
上記の構成において、“双予測を制限する”とは、非整数動きベクトルによる双予測を制限するということである。
【１００９】
上述のとおり整数動きベクトルについては、補間フィルタを適用しなくても済む。よって、双予測のマージ候補の非整数動きベクトルの成分を整数化することにより、動き補償で参照する範囲を対象ブロックの範囲に、より一致させることができる。なお、すべての成分が整数化されれば、動き補償で参照する範囲が対象ブロックに一致する。
【１０１０】
なお、整数化は、（Ｘ，Ｙ）の２次元座標表現である場合、Ｘ座標に対してのみ行ってもよいし、Ｙ座標に対してのみ行ってもよいし、Ｘ座標およびＹ座標の両方に対して行ってもよい。また、Ｌ０およびＬ１リストの片方のみを整数化してもよい。
【１０１１】
このようにして得られる整数化された動きベクトルにより双予測を行えば、非整数動きベクトルのまま双予測を行う場合と比べて、転送量および処理量の増大を抑えることができる。
【１０１２】
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、上記導出されたマージ候補のうち、所定の数のマージ候補に対して、上記双予測の制限を行うことが好ましい。
【１０１３】
上記の構成によれば、導出されたマージ候補のうちの一部のマージ候補に対して双予測の制限を行うことができる。例えば、マージ候補の導出の順序が定められている場合、または、導出したマージ候補が格納されているリストに順序が定められている場合、先頭からＮ個を双予測の制限対象とすることができる。なお、Ｎは正の整数であり、Ｎ＝１であってもよい。
【１０１４】
これにより、すべてのマージ候補に対して双予測の制限を行う場合と比べて、処理負荷を軽減することができる。
【１０１５】
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、上記導出されたマージ候補に、所定数以上の単予測が含まれていない場合、上記双予測の制限を行うことが好ましい。
【１０１６】
マージ候補リストにおいて、所定数以上の単予測が含まれる場合、双予測を許容しても、全体的に見てそれほど処理負荷が増大しない場合がある。上記構成によれば、このような場合において、双予測の制限処理を省略することができ、双予測の制限処理による不可増大の抑制を図ることができる。
【１０１７】
本発明の一態様に係る画像復号装置では、上記マージ候補導出手段が、すべてのマージ候補を導出したのち、上記双予測制限手段が、上記導出されたマージ候補に対して上記双予測の制限を行うことが好ましい。
【１０１８】
上記の構成によれば、まず、マージ候補リストを生成する。また、マージ候補の導出においては、このような処理が一般的である。上記構成によれば、このように一般的なマージ候補リスト生成処理に変更を加えなくても済むので、処理ロジックが複雑になることを防ぐことができる。
【１０１９】
本発明の一態様に係る画像復号装置では、上記マージ候補導出手段が、マージ候補を導出する処理と、並列的に、上記双予測制限手段が、上記導出されたマージ候補に対する上記双予測を制限する処理を行うことが好ましい。
【１０２０】
上記の構成によれば、マージ候補をマージ候補リストに格納する前に、双予測を制限する。また、この処理は、マージ候補を導出する処理と、並列的に行われる。
【１０２１】
このような並列化により処理効率の向上を図ることができる。処理のレイテンシの許容範囲が狭い場合に、特に有用である。
【１０２２】
また、マージ候補の双単変換により、双予測の制限を行う場合であって、マージ候補のユニーク性をチェックする場合、マージ候補リストの生成を行って、ユニーク性のチェックを行ってから、双単変換する場合と比べて、マージ候補の重複なくマージ候補リストを作成することができる。
【１０２３】
本発明の一態様に係る画像符号化装置は、符号化単位毎に、画像を復元するための情報を符号化して画像符号化データを生成する画像符号化装置において、上記符号化データのストリームの複雑度および上記符号化データを復号する画像復号装置の性能の少なくとも何れか一方に応じて、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の画面間予測のうち、双予測の制限を行うか否かを示すフラグである双予測制限フラグを符号化データおいて符号化する符号化手段を備えることを特徴とする。
【１０２４】
本発明の一態様に係る画像符号化データのデータ構造は、符号化単位毎に、画像を復元するための情報が画像符号化装置によって符号化されている画像符号化データのデータ構造において、上記符号化データのストリームの複雑度および上記符号化データを復号する画像復号装置の性能の少なくとも何れか一方に応じて、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の画面間予測のうち、双予測の制限を行うか否かを示すフラグである双予測制限フラグを含むことを特徴とする。
【１０２５】
なお、上記画像復号装置に対応する構成を備える画像符号化装置および当該画像符号化装置によって生成される画像符号化データのデータ構造も本発明の範疇に入る。上記のように構成された画像符号化装置および画像符号化データのデータ構造によれば、本発明の一態様に係る画像復号装置と同様の効果を奏することができる。
【１０２６】
（ハードウェア的実現およびソフトウェア的実現）
また、上述した動画像復号装置１および動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【１０２７】
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【１０２８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯディスク（Magneto-Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＣＤ−Ｒ（CD Recordable）／ブルーレイディスク（Blu-ray Disc:登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-Only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【１０２９】
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【１０３０】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【１０３１】
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
【符号の説明】
【１０３２】
１        動画像復号装置
１０      復号モジュール
１１      ＣＵ情報復号部
１２      ＰＵ情報復号部
１３      ＴＵ情報復号部
１６      フレームメモリ
１１１    ＣＵ予測モード決定部
１１２    ＰＵサイズ決定部
１２１    動き補償パラメータ導出部（双予測制限手段、候補決定手段、推定手段）
１２２    マージ候補優先順位情報記憶部
１２３    参照フレーム設定情報記憶部
１３１    ＴＵ分割設定部
１３２    変換係数復元部
１０１１  ＣＵ予測モード復号部（復号手段、変更手段）
１０１２  二値化情報記憶部
１０１３  コンテキスト記憶部
１０１４  確率設定記憶部
１０２１  動き情報復号部（制限情報復号手段）
１０３１  領域分割フラグ復号部
１０３２  判定情報復号部（係数復号手段）
１０３３  変換係数復号部（係数復号手段）
１３１１  対象領域設定部
１３１２  分割決定部
１３１３  分割領域設定部（変換単位分割手段、分割手段）
１３１４  変換サイズ決定情報記憶部
２        動画像符号化装置
２１      符号化設定部
２３      予測画像生成部
２５      フレームメモリ
２７      変換・量子化部
２９      符号化データ生成部（符号化手段）
１２１１      スキップ動き補償パラメータ導出部
１２１２      マージ動き補償パラメータ導出部（マージ候補導出部）
１２１３      基本動き補償パラメータ導出部
１２１８      双予測制限ＰＵ判定部
１２１９      双単予測変換部
１２２０      動きベクトル整数化部
１２１２Ａ      隣接マージ候補導出部
１２１２Ｂ      時間的マージ候補導出部
１２１２Ｃ      ユニーク候補導出部
１２１２Ｄ      結合双予測マージ候補導出部
１２１２Ｅ      非スケール双予測マージ候補導出部
１２１２Ｆ      ゼロベクトルマージ候補導出部
１２１２Ｇ      マージ候補導出制御部
１２１２Ｈ      マージ候補格納部
１２１２Ｊ      マージ候補選択部
１２１３Ａ      隣接動きベクトル候補導出部
１２１３Ｂ      時間的動きベクトル候補導出部
１２１３Ｆ      ゼロベクトルマージ候補導出部
１２１３Ｇ      動きベクトル候補導出制御部
１２１３Ｈ      動きベクトル候補格納部
１２１３Ｉ      動きベクトル候補選択部
１２１３Ｊ      動きベクトル復元部
１２１８Ａ      双予測制限ＰＵ判定部
１２１９Ａ      双単予測変換部（双予測制限手段）
１２１９Ｂ      双単予測変換部（双予測制限手段）
３０１２      マージ動き補償パラメータ生成部
３０１３      基本動き補償パラメータ生成部
３０１３Ａ      動きベクトル候補選択部
３０１３Ｂ      差分動きベクトル算出部
３０１４      動き補償パラメータ制限部
【図１】
0005976658.tif 000002
【図２】
0005976658.tif 000003
【図３】
0005976658.tif 000004
【図４】
0005976658.tif 000005
【図５】
0005976658.tif 000006
【図６】
0005976658.tif 000007
【図７】
0005976658.tif 000008
【図８】
0005976658.tif 000009
【図９】
0005976658.tif 000010
【図１０】
0005976658.tif 000011
【図１１】
0005976658.tif 000012
【図１２】
0005976658.tif 000013
【図１３】
0005976658.tif 000014
【図１４】
0005976658.tif 000015
【図１５】
0005976658.tif 000016
【図１６】
0005976658.tif 000017
【図１７】
0005976658.tif 000018
【図１８】
0005976658.tif 000019
【図１９】
0005976658.tif 000020
【図２０】
0005976658.tif 000021
【図２１】
0005976658.tif 000022
【図２２】
0005976658.tif 000023
【図２３】
0005976658.tif 000024
【図２４】
0005976658.tif 000025
【図２５】
0005976658.tif 000026
【図２６】
0005976658.tif 000027
【図２７】
0005976658.tif 000028
【図２８】
0005976658.tif 000029
【図２９】
0005976658.tif 000030
【図３０】
0005976658.tif 000031
【図３１】
0005976658.tif 000032
【図３２】
0005976658.tif 000033
【図３３】
0005976658.tif 000034
【図３４】
0005976658.tif 000035
【図３５】
0005976658.tif 000036
【図３６】
0005976658.tif 000037
【図３７】
0005976658.tif 000038
【図３８】
0005976658.tif 000039
【図３９】
0005976658.tif 000040
【図４０】
0005976658.tif 000041
【図４１】
0005976658.tif 000042
【図４２】
0005976658.tif 000043
【図４３】
0005976658.tif 000044
【図４４】
0005976658.tif 000045
【図４５】
0005976658.tif 000046
【図４６】
0005976658.tif 000047
【図４７】
0005976658.tif 000048
【図４８】
0005976658.tif 000049
【図４９】
0005976658.tif 000050
【図５０】
0005976658.tif 000051
【図５１】
0005976658.tif 000052
【図５２】
0005976658.tif 000053
【図５３】
0005976658.tif 000054
【図５４】
0005976658.tif 000055
【図５５】
0005976658.tif 000056
【図５６】
0005976658.tif 000057
【図５７】
0005976658.tif 000058
【図５８】
0005976658.tif 000059
【図５９】
0005976658.tif 000060
【図６０】
0005976658.tif 000061
【図６１】
0005976658.tif 000062
【図６２】
0005976658.tif 000063
【図６３】
0005976658.tif 000064
【図６４】
0005976658.tif 000065
【図６５】
0005976658.tif 000066
【図６６】
0005976658.tif 000067
【図６７】
0005976658.tif 000068
【図６８】
0005976658.tif 000069
【図６９】
0005976658.tif 000070
【図７０】
0005976658.tif 000071
【図７１】
0005976658.tif 000072
【図７２】
0005976658.tif 000073
【図７３】
0005976658.tif 000074
【図７４】
0005976658.tif 000075
【図７５】
0005976658.tif 000076
【図７６】
0005976658.tif 000077
【図７７】
0005976658.tif 000078
【図７８】
0005976658.tif 000079
【図７９】
0005976658.tif 000080
【図８０】
0005976658.tif 000081
【図８１】
0005976658.tif 000082
【図８２】
0005976658.tif 000083
【図８３】
0005976658.tif 000084
【図８４】
0005976658.tif 000085
【図８５】
0005976658.tif 000086
【図８６】
0005976658.tif 000087
【図８７】
0005976658.tif 000088
【図８８】
0005976658.tif 000089