(57)【要約】【課題】遅延の低減と高符号化効率とを両立させることができる動画像復号方法及び動画像符号化方法を提供することである。【解決手段】実施形態の動画像復号方法は、判定工程と、選択工程と、復号工程とを含む。判定工程は、基準視点と基準視点以外の視点を含む複数視点の動画像を符号化した符号化ストリームに含まれ、復号対象画像よりも復号順序が前である基準視点の注目画像が、画面内予測により復号された画面内予測画像であるか否かを判定する工程である。選択工程は、注目画像が画面内予測画像であると判定した場合、復号対象画像と同時刻に再生され、且つ復号対象画像とは異なる視点に対応する画像以外の画像であって、注目画像及び注目画像に基づいて復号された画像のいずれかから第１の参照画像を選択する工程である。復号工程は、第１の参照画像を用いて復号対象画像を復号する工程である。【選択図】図６
2014011731.tif 000002
【特許請求の範囲】
【請求項１】
基準視点と前記基準視点以外の視点を含む複数視点の動画像を符号化した符号化ストリームに含まれ、復号対象画像よりも復号順序が前である前記基準視点の注目画像が、画面内予測により復号された画面内予測画像であるか否かを判定する工程と、
前記注目画像が画面内予測画像であると判定した場合、前記復号対象画像と同時刻に再生され、且つ前記復号対象画像とは異なる視点に対応する画像以外の画像であって、前記注目画像及び前記注目画像に基づいて復号された画像のいずれかから第１の参照画像を選択する工程と、
前記第１の参照画像を用いて前記復号対象画像を復号する工程と、
を含む動画像復号方法。
【請求項２】
前記複数視点間における参照順序を設定する工程
をさらに含み、
前記選択する工程で前記第１の参照画像の選択を行う場合、前記復号対象画像よりも前記参照順序が１つ前であり、且つ時刻が前記復号対象画像の直前である前記復号対象画像とは異なる視点に対応する第２の参照画像を前記第１の参照画像とし、前記第２の参照画像が存在しなければ前記第１の参照画像の選択を行わない
請求項１に記載の動画像復号方法。
【請求項３】
前記第２の参照画像が存在しない場合、前記復号対象画像よりも前記参照順序が１つ前であり、且つ前記復号対象画像と同時刻の前記復号対象画像とは異なる視点の画像と前記復号対象画像とが同一であるとみなす
請求項２に記載の動画像復号方法。
【請求項４】
前記参照順序は、
前記符号化ストリームに記述されている視点番号通りに設定する
請求項２に記載の動画像復号方法。
【請求項５】
前記注目画像が、連続して復号される動画像の先頭画像であるか否かを判定する工程と、
前記注目画像が前記先頭画像であると判定した場合、前記基準視点以外の視点における前記注目画像と同時刻の画像を、前記注目画像と同一の画像とみなす工程と、
をさらに含む
請求項１に記載の動画像復号方法。
【請求項６】
前記注目画像は、
前記復号対象画像の直前の時刻に再生される画像である
請求項１に記載の動画像復号方法。
【請求項７】
基準視点と前記基準視点以外の視点を含む複数視点の動画像における符号化対象画像よりも符号化順序が前である前記基準視点の注目画像が、画面内予測により符号化した画面内予測画像であるか否かを判定する工程と、
前記注目画像が画面内予測画像であると判定した場合、前記符号化対象画像と同時刻に再生され、且つ前記復号対象画像とは異なる視点に対応する画像以外の画像であって、前記注目画像及び前記注目画像に基づいて符号化した画像のいずれかから第１の参照画像を選択する工程と、
前記第１の参照画像を用いて前記符号化対象画像を符号化して前記複数視点の符号化ストリームを生成する工程と、
を含む動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、動画像復号方法及び動画像符号化方法に関する。
【背景技術】
【０００２】
従来、動画像を符号化する技術として、「Ｈ．２６４／ＡＶＣ」が知られている。また、機能拡張として、多様な視点で見た映像を再現できるようにする多視点映像符号化（ＭＶＣ：Multiview  Video  Coding）が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１５１７８号公報
【非特許文献】
【０００４】
【非特許文献１】Joint  Video  Team  (JVT)  of  ISO/IEC  MPEG  &  ITU-T  VCEG  (ISO/IEC  JTC1/SC29/WG11  and  ITU-T  SG16  Q.6)  JVT-W077
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、多視点映像符号化（多視点動画像符号化）において、遅延の低減と高符号化効率とを両立させることができないという問題があった。
【課題を解決するための手段】
【０００６】
実施形態の動画像復号方法は、判定工程と、選択工程と、復号工程とを含む。判定工程は、基準視点と基準視点以外の視点を含む複数視点の動画像を符号化した符号化ストリームに含まれ、復号対象画像よりも復号順序が前である基準視点の注目画像が、画面内予測により復号された画面内予測画像であるか否かを判定する工程である。選択工程は、注目画像が画面内予測画像であると判定した場合、復号対象画像と同時刻に再生され、且つ復号対象画像とは異なる視点に対応する画像以外の画像であって、注目画像及び注目画像に基づいて復号された画像のいずれかから第１の参照画像を選択する工程である。復号工程は、第１の参照画像を用いて復号対象画像を復号する工程である。
【図面の簡単な説明】
【０００７】
【図１】多視点映像符号化の予測構造の第１例を示す図。
【図２】多視点映像符号化の予測構造の第２例を示す図。
【図３】多視点映像符号化の予測構造の第３例を示す図。
【図４】実施形態にかかる動画像復号装置の構成を例示するブロック図。
【図５】実施形態の参照画像設定部の詳細を示すブロック図。
【図６】実施形態にかかる動画像復号装置が行う復号処理を示すフローチャート。
【図７】実施形態の予測構造の第４例を示す図。
【図８】実施形態にかかる動画像復号装置の変形例の構成を例示するブロック図。
【図９】実施形態にかかる動画像復号装置の変形例の出力画像選択処理を示すフローチャート。
【図１０】実施形態の参照画像設定部の変形例の構成を示すブロック図。
【図１１】実施形態にかかる視点番号設定部を有する動画像復号装置の処理を示すフローチャート。
【図１２】実施形態の予測構造の第５例を示す図。
【図１３】実施形態にかかる視点番号設定部を有する動画像復号装置の変形例の処理を示すフローチャート。
【図１４】実施形態にかかる動画像符号化装置の構成を例示するブロック図。
【図１５】実施形態にかかる動画像符号化装置の動作について、参照画像設定部の動作を中心に示すフローチャート。
【発明を実施するための形態】
【０００８】
（背景）
まず、以下に添付図面を参照して、実施形態にかかる動画像復号方法及び動画像符号化方法を発明するに至った背景を説明する。
【０００９】
図１は、多視点映像符号化の予測構造の第１例を示す図である。図１においては、３つの視点Ｖ（Ｖ０〜Ｖ２）で見た時刻ｔ０〜ｔ７までの画像が示されている。また、例として、視点Ｖ０は、ベース・ビュー（Base  View：後述）となる視点であるとする。画像Ｉは、それぞれ画面内予測を用いる画面内符号化画像（Ｉピクチャ：Intra-Picture）を示す。画像Ｐは、それぞれ画面間の順方向予測符号化を用いる画面間順方向符号化画像（Ｐピクチャ：Predictive-Picture）を示す。また、画像Ｉ及び画像Ｐそれぞれに付された数字は、符号化又は復号の処理順序を示す。ここで、値が同じ数字は、同時に処理可能であることを示している。
【００１０】
画像Ｉは、ＩＤＲ（Instantaneous  Decoding  Refresh）ピクチャとなっており、ランダムアクセスにおける先頭画像となり得る。画像間の実線矢印は符号化又は復号における参照の関係を示しており、実線矢印始点の画像が実線矢印終点の画像の参照ピクチャとなっている。以下、時刻ｔ、視点Ｖ、画像Ｉ，Ｐ、画像に付された数字及び実線矢印は、それぞれ特記しない限り上述した意味と実質的に同じ意味を示す。
【００１１】
図１に示した予測構造の第１例においては、同時刻の異なる視点の画像を参照画像に用いている。例えば、視点Ｖ１における時刻ｔ０の画像Ｐ１は、視点Ｖ０における時刻ｔ０の画像Ｉ０を参照画像に用いている。また、視点Ｖ２における時刻ｔ０の画像Ｐ２は、視点Ｖ１における時刻ｔ０の画像Ｐ１を参照画像に用いている。従って、予測構造の第１例では、同時刻の各視点における画像を並列処理することができず、視点数に応じて処理に遅延が生じる。
【００１２】
図２は、多視点映像符号化の予測構造の第２例を示す図である。図２においては、画像Ｉと同時刻の他の視点の画像とに参照関係があることを除いて、同時刻における視点間の参照関係が排除されている。しかし、画像Ｉが同時刻の他の画像に参照されることにより、遅延が伝播している。
【００１３】
図３は、多視点映像符号化の予測構造の第３例を示す図である。図３においては、同時刻における視点間の参照関係が全て排除されている。従って、第１例及び第２例のような、画像の参照関係に依存する遅延は生じていない。しかし、各視点Ｖ０〜Ｖ２の先頭画像が全て画面内予測画像（画像Ｉ）となっているため、上述した第１例及び第２例に比べて、符号化効率が低くなっている。
【００１４】
（実施形態にかかる動画像復号装置）
次に、実施形態にかかる動画像復号装置１について説明する。図４は、動画像復号装置１の構成を例示するブロック図である。図４に示すように、動画像復号装置１は、エントロピー復号部１１０、逆量子化部１２０、逆直交変換部１３０、参照画像設定部１４０、予測画像生成部１５０、加算部１５５、参照画像記憶部１６０を有する。
【００１５】
エントロピー復号部１１０は、複数視点の動画像を符号化した符号化ストリームをエントロピー復号し、各符号化要素情報（syntax  element）を取得する。逆量子化部１２０は、符号化要素情報の一種である量子化変換係数を逆量子化し、変換係数を得る。逆直交変換部１３０は、変換係数を逆直交変換し、予測誤差信号を得る。参照画像設定部１４０は、符号化要素情報に従って参照画像を選択する。予測画像生成部１５０は、選択された参照画像を参照画像記憶部１６０から取得し、予測画像を生成する。加算部１５５は、予測画像と予測誤差信号を足し合わせて複合画像を得る。参照画像記憶部１６０は、復号画像を格納し、符号化要素情報に従って適切なタイミングで出力する。
【００１６】
図５は、参照画像設定部１４０の詳細を示すブロック図である。参照画像設定部１４０は、判定部１４１及び選択部１４２を有する。判定部１４１は、復号対象の画像が予め定められた条件を満たすか否かを判定する。具体的には、判定部１４１は、復号対象画像よりも復号順序が前である基準視点の注目画像（図７参照）が、画面内予測により復号された画面内予測画像であるか否かを判定する。なお、基準視点となる視点は、例えば視点が１つの符号化ストリームとの互換性を保つために設けられたベース・ビュー（Base  View）となる視点である。選択部１４２は、判定結果に基づいて参照画像を選択する。具体的には、選択部１４２は、注目画像が画面内予測画像であると判定した場合、復号対象画像と同時刻の他の視点の画像以外の画像であって、注目画像及び注目画像に基づいて復号された画像の少なくともいずれかを復号対象画像の参照画像として選択する。
【００１７】
次に、動画像復号装置１が行う復号処理について説明する。図６は、動画像復号装置１が行う復号処理を示すフローチャートである。また、図７は、実施形態にかかる多視点映像符号化（動画像符号化方法）及び復号（動画像復号方法）の予測構造の第４例を示す図である。
【００１８】
図６に示すように、ステップ１０１（Ｓ１０１）において、エントロピー復号部１１０は、入力された符号化ストリームに含まれるエントロピー符号化された情報を復号し、符号化画像種別（slice＿type）、参照画像index（ref＿idx）、動きベクトル、量子化変換係数等の各符号化要素情報（syntax  element）を取得する。エントロピー符号化には、具体例として、ハフマン符号化及び算術符号化などがある。
【００１９】
ステップ１０２（Ｓ１０２）において、逆量子化部１２０は、Ｓ１０１の処理で得た量子化変換係数と量子化値（ＱＰ）に基づいて逆量子化を行い、変換係数を得る。
【００２０】
ステップ１０３（Ｓ１０３）において、逆直交変換部１３０は、変換係数を逆直交変換し、予測残差信号を得る。逆直交変換には、具体例として、逆離散コサイン変換（ＩＤＣＴ）及び逆アダマール変換などがある。
【００２１】
ステップ１０４（Ｓ１０４）において、判定部１４１は、復号対象画像よりも復号順序が前（例えば直前）である基準視点の注目画像が、画面内予測により復号された画面内予測画像であるか否かを判定する。判定部１４１は、注目画像が画面内予測画像であると判定した場合（Ｓ１０４：Ｙｅｓ）にはＳ１０５の処理に進み、注目画像が画面内予測画像でないと判定した場合（Ｓ１０４：Ｎｏ）にはＳ１０６の処理に進む。ここで、判定部１４１は、参照画像設定を行う前の状態の参照画像リストの先頭にある参照画像（Ｈ．２６４等におけるRefPicList0[0]（List0のref＿idx=0）にある画像）の時刻を利用してもよい。
【００２２】
ステップ１０５（Ｓ１０５）において、選択部１４２は、注目画像を参照画像として選択する。例えば、図７の太線矢印で示すように、選択部１４２は、時刻ｔ１における視点Ｖ０〜Ｖ２の各画像Ｐ１（復号対象画像）に対し、復号順序が前（例えば直前）となっている時刻ｔ０における基準視点Ｖ０の注目画像（画像Ｉ０）を参照画像として選択する。具体例として、選択部１４２は、RefPicList0[0]に注目画像（画像Ｉ０）を参照画像としてセットし、他を空とする。
【００２３】
ステップ１０６（Ｓ１０６）において、選択部１４２は、参照画像リスト（ref＿idxのlist）に従って参照画像を選択する。具体例として、選択部１４２は、RefPicList0及びRefPicList1に変更を加えない。
【００２４】
ステップ１０７（Ｓ１０７）において、予測画像生成部１５０は、選択された参照画像を参照画像記憶部１６０から取得し、動きベクトル情報等に従って予測画像を生成する。
【００２５】
ステップ１０８（Ｓ１０８）において、加算部１５５は、予測画像と予測残差信号を足し合わせて復号画像を生成する。
【００２６】
なお、Ｓ１０２〜Ｓ１０３の処理と、Ｓ１０４〜Ｓ１０７の処理とは、順序が逆であってもよいし、並列に処理されてもよい。
【００２７】
つまり、動画像復号装置１は、図７に示した予測構造の第４例で符号化された多視点動画像の符号化ストリームを復号することができる。図７に示した予測構造の第４例は、同時刻の視点画像間の参照関係がないため、同時刻の画像の復号を並列に行うことが可能であり、低遅延の動画像復号を可能にする。
【００２８】
また、動画像復号装置１は、基準視点Ｖ０の画像が画面内予測画像である時刻ｔ０の基準視点以外（視点Ｖ１，Ｖ２）の画像を、基準視点Ｖ０における時刻ｔ０の画像Ｉ０と同一（即ちコピー）であるとみなしてもよい。また、動画像復号装置１は、基準視点における画面内予測画像、及び基準視点における画面内予測画像に基づいて復号された画像の少なくともいずれかを復号対象画像の参照画像として選択するので、画面内予測画像によるランダムアクセスやエラー復帰が可能となる。また、動画像復号装置１は、復号開始時刻の基準視点以外の画像として基準視点の画像のコピーをそのまま用いるのではなく、ワーピング処理等によって別視点画像を合成し、合成した画像を出力するように構成されてもよい。
【００２９】
また、動画像復号装置１は、図７に示した予測構造の第４例と、Ｈ．２６４／ＡＶＣの拡張機能であるＭＶＣのような同時刻の他の視点の画像を参照する予測構造とを、符号化ストリーム毎に切り替えるように構成されてもよい。例えば、動画像復号装置１は、シーケンスヘッダに予測構造を切り替えるフラグ等を備え、フラグが図７に示した予測構造の第４例を示している場合に図６等に示した参照画像設定の処理を行うように構成されてもよい。また、動画像符号化装置がＳ１０４（図６）の判定処理を行い、判定結果をフラグ（anchor＿pic＿flag）等で符号化ストリームに含めれば、動画像復号装置１は、フラグの読み取りをＳ１０４の処理に代えてもよい。
【００３０】
（動画像復号装置の変形例）
次に、実施形態にかかる動画像復号装置１の変形例について説明する。図８は、動画像復号装置１の変形例の構成を例示するブロック図である。図８に示すように、動画像復号装置１の変形例は、図４に示した動画像復号装置１に加えて、出力画像選択部１７０を有する。出力画像選択部１７０は、復号画像から出力画像を選択する。なお、出力画像選択部１７０は、図９を用いて後述する選択、及び図１３を用いて後述する選択の少なくともいずれかを可能にされている。
【００３１】
図９は、動画像復号装置１の変形例の出力画像選択処理を示すフローチャートである。図９に示すように、ステップ２０１（Ｓ２０１）において、出力画像選択部１７０は、出力画像の時刻が復号開始時刻であるか否かを判定する。出力画像選択部１７０は、出力画像の時刻が復号開始時刻であると判定した場合（Ｓ２０１：Ｙｅｓ）にはＳ２０２の処理に進み、出力画像の時刻が復号開始時刻でないと判定した場合（Ｓ２０１：Ｎｏ）にはＳ２０３の処理に進む。
【００３２】
ステップ２０２（Ｓ２０２）において、出力画像選択部１７０は、基準視点の復号画像を選択して出力する。
【００３３】
ステップ２０３（Ｓ２０３）において、出力画像選択部１７０は、復号対象視点の復号画像を選択して出力する。
【００３４】
図９に示したように、出力画像選択部１７０が出力画像を選択するのは、復号開始時刻の状態が次の２つの場合のいずれかであるためである。例えば、復号開始時刻では、基準視点の画像のみが符号化ストリームに含まれている状態である（図７の時刻ｔ０の画像が画像Ｉ０のみである状態）。又は、復号開始時刻では、基準視点以外の画像も符号化ストリームに含まれているが、復号開始時刻以前の復号画像を参照しているために、参照画像がない状態となり、正常な復号ができない状態である（図７の時刻ｔ４参照）。
【００３５】
図７の時刻ｔ０の状態（視点Ｖ１，Ｖ２にコピー画像がない場合）では、動画像復号装置１の変形例は、ランダムアクセス時の先頭画像が多視点画像でなく２Ｄ画像となってしまうが、同時刻の他の視点の画像を参照画像としないため低遅延の動画像復号が可能である。
【００３６】
次に、参照画像設定部１４０の変形例について説明する。図１０は、参照画像設定部１４０の変形例の構成を示すブロック図である。図１０に示すように、参照画像設定部１４０の変形例は、図５に示した参照画像設定部１４０に加えて、視点番号設定部（参照順序設定部）１４３をさらに有する。視点番号設定部１４３は、各視点に対して視点番号を設定する。視点番号は、視点間における参照順序を示す。つまり、動画像復号装置１は、視点番号順に視点間の参照画像を決定する。
【００３７】
視点番号設定部１４３が視点番号（参照順序）を設定する場合、選択部１４２は、参照順序が１つ前であり、且つ時刻が直前である他の視点の参照好適画像を復号対象画像の参照画像とし、参照好適画像が存在しなければ参照画像の選択を行わないように構成されてもよい。また、選択部１４２は、参照好適画像が存在しない場合、参照順序が１つ前であり、且つ同時刻の他の視点の画像と復号対象画像とが同一であるとみなすように構成されてもよい。例えば、選択部１４２は、後述する図１２に示した視点Ｖ２における時刻ｔ１の参照好適画像が存在しない場合、参照順序が１つ前（視点Ｖ１）であり、且つ同時刻（時刻ｔ１）の他の視点（視点Ｖ１）の画像と復号対象画像とが同一であるとみなす（コピー処理）。また、視点番号設定部１４３が視点番号を設定する場合、判定部１４１は、参照好適画像の有無を判定するように構成されてもよい。
【００３８】
図１１は、視点番号設定部１４３を有する動画像復号装置１の処理を示すフローチャートである。また、図１２は、実施形態にかかる多視点映像符号化（動画像符号化方法）及び復号（動画像復号方法）の予測構造の第５例を示す図である。なお、図１１に示したフローチャートにおいて、図６に示した処理と実質的に同じ処理には、同一の符号が付してある。
【００３９】
ステップ１１１（Ｓ１１１）において、視点番号設定部１４３は、各視点に対する視点番号（参照順序）を設定する。ここで、視点番号設定部１４３は、例えば符号化ストリームに記述されている視点番号の値を用いて、どの視点にどの番号を設定するかを決定する。
【００４０】
ステップ１１２（Ｓ１１２）において、判定部１４１は、例えば、復号対象画像よりも参照順序が前である基準視点の注目画像（図７参照）が、画面内予測により復号された画面内予測画像であるか否かを判定する。判定部１４１は、注目画像が画面内予測画像であると判定した場合（Ｓ１１２：Ｙｅｓ）にはＳ１１３の処理に進み、注目画像が画面内予測画像でないと判定した場合（Ｓ１１２：Ｎｏ）にはＳ１０６の処理に進む。
【００４１】
ステップ１１３（Ｓ１１３）において、選択部１４２は、参照順序が１つ以上前であり、且つ時刻が直前である他の視点の参照好適画像を復号対象画像の参照画像とし、参照好適画像が存在しなければ参照画像の選択を行わない（図１２の太線矢印等参照）。また、選択部１４２は、参照好適画像が存在しない場合、参照順序が１つ前であり、且つ同時刻の他の視点の画像と復号対象画像とが同一であるとみなしてもよい。
【００４２】
なお、Ｓ１０２〜Ｓ１０３の処理と、Ｓ１１１〜Ｓ１０７の処理とは、順序が逆であってもよいし、並列に処理されてもよい。つまり、視点番号設定部１４３を有する動画像復号装置１は、図１２に示した予測構造の第５例で符号化された多視点動画像の符号化ストリームを復号することができる。図１２に示した予測構造の第５例は、同時刻の視点画像間の参照関係がないため、同時刻の画像の復号を並列に行うことが可能であり、低遅延の動画像復号を可能にする。また、動画像符号化装置がＳ１１２（図１１）の判定処理を行い、判定結果をフラグ（anchor＿pic＿flag）等で符号化ストリームに含めれば、視点番号設定部１４３を有する動画像復号装置１は、フラグの読み取りをＳ１１２の処理に代えてもよい。
【００４３】
次に、視点番号設定部１４３（図１０）を有する動画像復号装置１の変形例（図８参照）の処理について説明する。図１３は、視点番号設定部１４３を有する動画像復号装置１の変形例の処理を示すフローチャートである。
【００４４】
図１３に示すように、ステップ３０１（Ｓ３０１）において、判定部１４１は、参照好適画像の有無を判定する。判定部１４１は、参照好適画像があると判定した場合（Ｓ３０１：Ｙｅｓ）にはＳ３０２の処理に進み、参照好適画像がないと判定した場合（Ｓ３０１：Ｎｏ）にはＳ３０３の処理に進む。
【００４５】
ステップ３０２（Ｓ３０２）において、選択部１４２は、参照順序が１つ前であり、且つ時刻が直前である他の視点の参照好適画像を復号対象画像の参照画像とする（図１２参照）。
【００４６】
ステップ３０３（Ｓ３０３）において、選択部１４２は、参照順序が１つ前であり、且つ同時刻の他の視点の画像と復号対象画像とが同一であるとみなす（コピー処理）。なお、選択部１４２は、参照順序が２つ以上前であり、且つ同時刻の他の視点の画像と復号対象画像とが同一であるとみなしてもよい。このように、視点番号設定部１４３を有する動画像復号装置１の変形例は、図１２に示した予測構造で符号化された多視点動画像の符号化ストリームの復号をすることができる。
【００４７】
図１２における符号化ストリームの先頭画像（時刻ｔ０）には基準視点以外の画像が含まれていない。また、図１２に示した予測構造の第５例においては、視点の数に応じて、符号化ストリームに全視点の画像が含まれるまでに時間がかかる。従って、ランダムアクセス時の先頭画像は多視点画像ではなく２Ｄ画像となってしまい、その後も特定の位置からは立体視が可能となるが、予め定められた時間が経過するまで、他の位置からは２Ｄ画像となってしまうこととなる。一方、同時刻の他の視点の画像を参照画像としないため、低遅延の動画像復号が可能である。
【００４８】
このように、実施形態の動画像復号方法は、注目画像が画面内予測画像であると判定した場合、復号対象画像と同時刻の他の視点の画像以外の画像であって、注目画像及び注目画像に基づいて復号された画像の少なくともいずれかを復号対象画像の参照画像として選択するので、遅延の低減と高符号化効率とを両立させることができる。
【００４９】
（実施形態にかかる動画像符号化装置）
次に、実施形態にかかる動画像符号化装置について説明する。図１４は、動画像符号化装置２の構成を例示するブロック図である。図１４に示すように、動画像符号化装置２は、減算部２００、直交変換部２１０、量子化部２２０、エントロピー符号化部２３０、逆量子化部１２０、逆直交変換部１３０、参照画像設定部１４０、予測画像生成部１５０、加算部１５５、参照画像記憶部１６０を有する。なお、動画像符号化装置２において、図４に示した動画像復号装置１と実質的に同じ構成部分には、同一の符号が付してある。
【００５０】
直交変換部２１０は、入力された画像と予測画像の差分値を直交変換する。量子化部２２０は、変換係数を量子化する。エントロピー符号化部２３０は、量子化変換系数等の各符号化要素情報をエントロピー符号化する。逆量子化部１２０は、量子化変換係数を逆量子化し変換係数を得る。逆直交変換部１３０は、変換係数を逆直交変換し予測誤差信号を得る。参照画像設定部１４０は、入力画像の符号化順序等に従って参照画像を選択する。予測画像生成部１５０は、選択された参照画像を参照画像記憶部１６０から取得して予測画像を生成する。参照画像記憶部１６０は、予測画像と予測誤差信号を足し合わせて得られた局所復号画像を格納する。
【００５１】
次に、動画像符号化装置２の動作について、参照画像設定部１４０の動作を中心に説明する。図１５は、動画像符号化装置２の動作について、参照画像設定部１４０の動作を中心に示すフローチャートである。なお、図１５に示した処理において、図６に示した処理と実質的に同じ処理には、同一の符号が付してある。
【００５２】
図１５に示すように、動画像符号化装置２は、ステップ１０４（Ｓ１０４）〜ステップ１０６（Ｓ１０６）において、動画像復号装置１と同様に参照画像を選択する。
【００５３】
ステップ１２１（Ｓ１２１）において、動画像符号化装置２は、参照画像を用いて複数視点の動画像（符号化ストリーム）を生成する。
【００５４】
このように、動画像符号化装置２によれば、図７に示した予測構造の第４例で多視点動画像の符号化が可能となる。
【００５５】
また、実施形態の動画像符号化方法は、注目画像が画面内予測画像であると判定した場合、符号化対象画像と同時刻の他の視点の画像以外の画像であって、注目画像及び注目画像に基づいて符号化された画像の少なくともいずれかを符号化対象画像の参照画像として選択するので、遅延の低減と高符号化効率とを両立させることができる。
【００５６】
動画像復号装置１及び動画像符号化装置２は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、エントロピー復号部１１０、逆量子化部１２０、逆直交変換部１３０、参照画像設定部１４０、予測画像生成部１５０、加算部１５５、出力画像選択部１７０、減算部２００、直交変換部２１０、量子化部２２０及びエントロピー符号化部２３０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。また、動画像復号装置１及び動画像符号化装置２は、プログラムに代えて上述した各部の少なくとも一部をハードウェア回路で構成されてもよい。
【００５７】
このとき、動画像復号装置１及び動画像符号化装置２は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、参照画像記憶部１６０は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００５８】
また、上記のコンピュータ装置において、図７に示した時刻ｔ０における画像を表示することなく、時刻ｔ１以降の画像を表示することにより、２Ｄの画像を表示しないようにしてもよい。
【００５９】
また、基準視点となる視点は、ベース・ビュー（Base  View）となる１つの視点に限定されない。例えば、ベース・ビューと同様に画像Ｉを含み、ベース・ビューと同じ手順で符号化又は復号をされるベース・ビュー以外の視点は、複数の視点の総数よりも基準視点の数が少なくなるように設定されれば、基準視点であるとされてもよい。複数の視点の総数よりも基準視点の数が少なくなるように設定されれば、基準視点以外の視点について、画像Ｉの数が削減されることとなり、符号化効率の向上と、遅延の低減がなされるためである。
【００６０】
なお、上述した実施形態においては、双方向予測符号化画像（Bi-Directional  Predictive  Picture）及び双予測符号化画像（Bi-Predictive  Prediction-Picture）などを用いない場合を例に説明したが、これに限定されることなく、後方参照ピクチャが用いられてもよい。即ち、後方参照ピクチャを用いていない動画像復号方法及び動画像符号化方法は、後方参照ピクチャを用いている動画像復号方法及び動画像符号化方法に比べて、遅延をより低減することが可能となるものである。
【００６１】
また、本発明のいくつかの実施形態を複数の組み合わせによって説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６２】
１  動画像復号装置
２  動画像符号化装置
１１０  エントロピー復号部
１２０  逆量子化部
１３０  逆直交変換部
１４０  参照画像設定部
１４１  判定部
１４２  選択部
１４３  視点番号設定部（参照順序設定部）
１５０  予測画像生成部
１５５  加算部
１６０  参照画像記憶部
１７０  出力画像選択部
２００  減算部
２１０  直交変換部
２２０  量子化部
２３０  エントロピー符号化部
【図１】
2014011731.tif 000003
【図２】
2014011731.tif 000004
【図３】
2014011731.tif 000005
【図４】
2014011731.tif 000006
【図５】
2014011731.tif 000007
【図６】
2014011731.tif 000008
【図７】
2014011731.tif 000009
【図８】
2014011731.tif 000010
【図９】
2014011731.tif 000011
【図１０】
2014011731.tif 000012
【図１１】
2014011731.tif 000013
【図１２】
2014011731.tif 000014
【図１３】
2014011731.tif 000015
【図１４】
2014011731.tif 000016
【図１５】
2014011731.tif 000017