(57)【要約】  多視点画像を効率良く符号化することができる多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法を提供する。  割当部は、符号化対象画像に対応するカメラの視点位置に関する位置情報に基づいて、符号化済みの視点画像である参照画像に参照画像番号を割り当てる。予測部は、参照画像を参照し、符号化対象画像に対する予測画像を生成する。減算部は、符号化対象画像と予測画像との残差を算出する。符号化部は、残差を直交変換及び量子化して得られる変換係数と、符号化対象画像の位置情報と、予測画像の生成に用いられた参照画像の参照画像番号とを符号化する。
2013136365.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点画像を含む多視点画像を符号化する多視点画像符号化装置であって、
符号化対象画像に対応するカメラの視点位置に関する位置情報に基づいて、符号化済みの視点画像である参照画像に参照画像番号を割り当てる割当部と、
前記参照画像を参照し、前記符号化対象画像に対する予測画像を生成する予測部と、
前記符号化対象画像と前記予測画像との残差を算出する減算部と、
前記残差を直交変換及び量子化して得られる変換係数と、前記符号化対象画像の前記位置情報と、前記予測画像の生成に用いられた前記参照画像の前記参照画像番号とを符号化する符号化部と
を備える、多視点画像符号化装置。
【請求項２】
前記割当部は、前記位置情報が前記符号化対象画像に近い参照画像ほど、割り当てる前記参照画像番号を小さくする、
請求項１記載の多視点画像符号化装置。
【請求項３】
前記割当部は、予め定められた基準視点番号の視点画像に対応するカメラの視点位置の動き情報に基づいて、前記符号化対象画像の前記位置情報を算出する、
請求項２記載の多視点画像符号化装置。
【請求項４】
前記符号化対象画像は、前記視点画像を分割した符号化対象ブロックであり、
前記割当部は、前記符号化対象ブロックの周辺にある符号化済みの周辺ブロックを予測する際に用いられた参照画像の数に応じて、前記参照画像に割り当てる参照画像番号を決定する、
請求項１記載の多視点画像符号化装置。
【請求項５】
視点画像に対する予測画像との残差情報と、前記視点画像に対応するカメラの視点位置に関する位置情報と、前記予測画像の生成に用いられた参照画像の参照画像番号と、を含む符号化データを復号する復号部と、
前記位置情報に基づいて、復号済みの視点画像である参照画像に参照画像番号を割り当てる割当部と、
前記符号化データに含まれていた参照画像番号の参照画像を参照し、復号画像を生成するための予測画像を生成する予測部と、
前記残差情報と前記予測画像とから前記復号画像を生成する加算部と
を備える、多視点画像復号装置。
【請求項６】
複数の視点画像を含む多視点画像を符号化する多視点画像符号化方法であって、
符号化対象画像に対応するカメラの視点位置に関する位置情報に基づいて、符号化済みの視点画像である参照画像に参照画像番号を割り当て、
前記参照画像を参照し、前記符号化対象画像に対する予測画像を生成し、
前記符号化対象画像と前記予測画像との残差を算出し、
前記残差を直交変換及び量子化して得られる変換係数と、前記符号化対象画像の前記位置情報と、前記予測画像の生成に用いられた前記参照画像の前記参照画像番号とを符号化する、
多視点画像符号化方法。
【請求項７】
視点画像に対する予測画像との残差情報と、前記視点画像に対応するカメラの視点位置に関する位置情報と、前記予測画像の生成に用いられた参照画像の参照画像番号と、を含む符号化データを復号し、
前記位置情報に基づいて、復号済みの視点画像である参照画像に参照画像番号を割り当て、
前記符号化データに含まれていた参照画像番号の参照画像を参照し、復号画像を生成するための予測画像を生成し、
前記残差情報と前記予測画像とから前記復号画像を生成する、
多視点画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法に関する。
【背景技術】
【０００２】
立体映像や自由視点映像に用いられる多視点画像を符号化する多視点画像符号化方法がある。【０００３】
従来の多視点画像符号化方法には、過去の時刻の符号化済みの視点画像を参照画像として参照し、符号化対象の視点画像を符号化するものがある。【０００４】
しかしながら、このような多視点画像符号化方法では、符号化対象の視点画像に対して、予め定められた時刻及び視点番号の参照画像を参照している。そのため、符号化対象の視点画像を予測するのに最適な参照画像を選択することができず、多視点画像を効率良く符号化することができないという課題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２３０１４９号公報
【非特許文献】
【０００６】
【非特許文献１】Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)   JVT-W077
【発明の概要】
【発明が解決しようとする課題】
【０００７】
発明が解決しようとする課題は、多視点画像を効率良く符号化することができる多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の実施形態に係る多視点画像符号化装置は、複数の視点画像を含む多視点画像を符号化する多視点画像符号化装置であって、割当部と、予測部と、減算部と、符号化部とを備える。【０００９】
割当部は、符号化対象画像に対応するカメラの視点位置に関する位置情報に基づいて、符号化済みの視点画像である参照画像に参照画像番号を割り当てる。予測部は、前記参照画像を参照し、前記符号化対象画像に対する予測画像を生成する。減算部は、前記符号化対象画像と前記予測画像との残差を算出する。符号化部は、前記残差を直交変換及び量子化して得られる変換係数と、前記符号化対象画像の前記位置情報と、前記予測画像の生成に用いられた前記参照画像の前記参照画像番号とを符号化する。【００１０】
また、本発明の他の実施形態に係る多視点画像復号装置は、復号部と、割当部と、予測部と、加算部とを備える。【００１１】
復号部は、視点画像に対する予測画像との残差情報と、前記視点画像に対応するカメラの視点位置に関する位置情報と、前記予測画像の生成に用いられた参照画像の参照画像番号と、を含む符号化データを復号する。割当部は、前記位置情報に基づいて、復号済みの視点画像である参照画像に参照画像番号を割り当てる。予測部は、前記符号化データに含まれていた参照画像番号の参照画像を参照し、復号画像を生成するための予測画像を生成する。加算部は、前記残差情報と前記予測画像とから前記復号画像を生成する。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る多視点画像符号化装置１を表すブロック図。
【図２】割当部１１０を表すブロック図。
【図３】多視点画像符号化装置１の処理を表すフローチャート。
【図４】割当部１１０の処理を表すフローチャート。
【図５】視点画像の動き情報及び位置情報の算出を説明するための図。
【図６】視点画像の動き情報及び位置情報の算出を説明するための図。
【図７】参照順位の説明図。
【図８】位置情報算出部２０１による、ずれ量の算出の説明図。
【図９】第３の実施形態における割当部１１０の処理を表すフローチャート。
【図１０】割当部１１０の処理を説明するための図。
【図１１】変形例における割当部１１０の処理を説明するための図。
【図１２】第４の実施形態に係る多視差画像復号装置４を表すブロック図。
【図１３】第４の実施形態における割当部４０２を表すブロック図
【図１４】多視点画像復号装置４の処理を表すフローチャート。
【図１５】第５の実施形態に係る多視点画像復号装置５を表すブロック図
【図１６】割当部５０１を表すブロック図。
【図１７】多視点画像復号装置５の処理を表すフローチャート。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
第１の実施形態に係る多視点画像符号化装置１は、多視点画像に含まれる視点画像を符号化し、符号化データを出力するものである。多視点画像符号化装置１は、例えば、立体映像や自由視点映像を伝送する伝送装置等に用いられ得る。
【００１４】
各々の視点画像には、どの時刻のフレームかを示す時刻情報と、どの視点の視点画像かを示す視点番号と、視点画像を予測する際のスライスタイプ（例えば、Ｉスライス、Ｐスライス、Ｂスライス）を示す予測構造情報が対応付けられている。
【００１５】
多視点画像符号化装置１は、視点画像毎に、カメラの視点位置に関する位置情報を求める。多視点画像符号化装置１は、当該位置情報に基づいて、符号化対象の視点画像（以下、符号化対象画像）の予測に用いられ得る参照画像に対して参照画像番号を割り当てる。参照画像番号は、例えば、Ｈ．２６４／ＡＶＣにおける「ｒｅｆ＿ｉｄｘ」であってよい。
【００１６】
多視点画像符号化装置１は、割り当てられた参照画像番号順に参照画像を参照して、符号化対象画像に対する予測画像を生成し、符号化対象画像と予測画像との残差、符号化対象画像の位置情報、予測画像の生成に用いた参照画像の参照画像番号とを符号化する。これにより、多視点画像を効率良く符号化することができる。
【００１７】
図１は、多視点画像符号化装置１を表すブロック図である。多視点画像符号化装置１は、減算部１０１と、変換部１０２と、量子化部１０３と、符号化部１０４と、逆量子化部１０５と、逆変換部１０６と、加算部１０７と、参照メモリ１０８と、予測部１０９と、割当部１１０とを備える。本実施形態の多視点画像符号化装置１には、多視点画像に含まれる視点画像が入力される。
【００１８】
減算部１０１は、入力された視点画像と、予測部１０９が生成した予測画像（後述）との残差である残差信号を算出する。減算部１０１は、残差信号を変換部１０２に供給する。
【００１９】
変換部１０２は、残差信号を直交変換し、変換係数を得る。変換部１０２は、変換係数を量子化部１０３に供給する。直交変換は、例えば、離散コサイン変換（ＤＣＴ変換）や、ウェーブレット変換等であってよい。
【００２０】
量子化部１０３は、変換係数を量子化し、残差情報を得る。量子化部１０３は、残差情報を符号化部１０４と逆量子化部１０５とに供給する。
【００２１】
逆量子化部１０５は、残差情報を逆量子化し、変換係数を得る。逆量子化部１０５は、変換係数を逆変換部１０６に供給する。
【００２２】
逆変換部１０６は、変換係数を逆変換し、残差信号を得る。逆変換部１０６は、残差信号を加算部１０７に供給する。
【００２３】
加算部１０７は、残差信号と予測画像（後述）とを加算し、局所復号画像を生成する。加算部１０７は、局所復号画像を参照メモリ１０８に書き込む。参照メモリ１０８に書き込まれた局所復号画像が、予測部１０９が参照する参照画像となる。
【００２４】
割当部１１０は、視点画像の位置情報と、予め定められた基準視点番号の視点画像に対応する視点（カメラ）の動き情報とに基づいて、参照メモリ１０８に記憶されている各参照画像に参照画像番号を割り当てる。視点画像の位置情報と、基準視点番号の視点画像の動き情報とについては後述する。
【００２５】
本実施形態の場合、割当部１１０は、位置情報が符号化対象画像により近い参照画像に、より小さい参照画像番号を割り当てる。割当部１１０は、視点画像の位置情報（後述）と、基準視点番号の視点画像の動き情報（後述）とを符号化部１０４に供給する。基準視点番号とは、各視点画像の位置情報や動き情報を算出する際に基準（例えば原点）とする視点番号をいう。いずれの視点番号を基準視点番号とするかは、予め定めておけばよい。割当部１１０は、参照画像の識別番号と、当該参照画像に割り当てた参照画像番号との対応関係を示す参照情報を予測部１０９に供給する。識別番号とは、参照画像が参照メモリ１０８に書き込まれた際に付与されるアドレスであってよい。
【００２６】
予測部１０９は、参照メモリ１０８から参照画像を読み出し、符号化対象画像に対する予測画像を生成する。予測部１０９は、予測画像を減算部１０１に供給する。予測部１０９は、予測画像の生成に用いた参照画像を識別するための参照画像番号を符号化部１０４に供給する。
【００２７】
符号化部１０４は、残差情報と、参照画像番号と、視点画像の位置情報と、基準視点番号の視点画像の動き情報とを対応付けて符号化し、符号化データを生成する。符号化部１０４は、符号化データを出力する。
【００２８】
減算部１０１と、変換部１０２と、量子化部１０３と、符号化部１０４と、逆量子化部１０５と、逆変換部１０６と、加算部１０７と、予測部１０９と、割当部１１０とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。参照メモリ１０８は、ＣＰＵが用いるメモリや補助記憶装置等により実現されてよい。
【００２９】
以上、多視点画像符号化装置１の構成について説明した。
【００３０】
図２は、本実施形態の割当部１１０を表すブロック図である。割当部１１０は、判定部２００と、位置情報算出部２０１と、動き情報算出部２０２と、番号割当部２０３とを含む。
【００３１】
判定部２００は、入力された視点画像に対応付けられた予測構造情報が、「時間方向の予測を行なわないスライス」（例えば、Ｉスライス）を示すものか、「時間方向の予測を行なうスライス」（例えば、ＰスライスやＢスライス）を示すものかを判定する。
【００３２】
本実施形態では、予測構造情報が「時間方向の予測を行なわない予測構造」を示す場合、判定部２００は、視点画像を位置情報算出部２０１に供給する。予測構造情報が「時間方向の予測を行なう予測構造」を示す場合、判定部２００は、視点画像を動き情報算出部２０２に供給する。
【００３３】
位置情報算出部２０１は、同一時刻における各視点番号の視点画像の位置情報を算出する。このとき、位置情報算出部２０１は、１フレームずつ入力される視点画像を保持しておき、基準視点番号の視点画像から、各視点番号の視点画像の位置情報を算出してよい。位置情報算出部２０１は、算出した各々の視点画像の位置情報を、符号化部１０４と、番号割当部２０３（後述）とに供給する。
【００３４】
動き情報算出部２０２は、視点画像と、参照メモリ１０８に記憶された参照画像とから、基準視点番号の視点画像の動き情報を算出する。動き情報とは、基準視点番号の視点画像の位置情報が、基準とする時刻からどれだけ動いたかを示す情報である。動き情報算出部２０２は、算出した動き情報を参照順位決定部２０４（後述）と、符号化部１０４とに供給する。
【００３５】
番号割当部２０３は、視点画像の位置情報と、基準視点番号の視点画像に対応する視点（カメラ）の動き情報とに基づいて、参照メモリ１０８に記憶されている各参照画像に参照画像番号を割り当てる。
【００３６】
以上、割当部１１０の構成について説明した。
【００３７】
図３は、多視点画像符号化装置１の処理を表すフローチャートである。割当部１１０は、視点画像の位置情報と、予め定められた基準視点番号の視点画像に対応する視点（カメラ）の動き情報とに基づいて、各参照画像に参照画像番号を割り当てる（Ｓ１０１）。
【００３８】
予測部１０９は、参照メモリ１０８から参照画像を読み出し、符号化対象画像に対する予測画像を生成する（Ｓ１０２）。予測部１０９は、予測画像を減算部１０１に供給する。予測部１０９は、予測画像を生成した際に用いた参照画像の参照画像番号を符号化部１０４に供給する。
【００３９】
減算部１０１は、取得した視点画像と、予測部１０９が生成した予測画像との残差である残差信号を算出する（Ｓ１０３）。減算部１０１は、残差信号を変換部１０２に供給する。
【００４０】
変換部１０２は、残差信号を直交変換し、変換係数を得る（Ｓ１０４）。変換部１０２は、変換係数を量子化部１０３に供給する。
【００４１】
量子化部１０３は、変換係数を量子化し、残差情報を得る（Ｓ１０５）。量子化部１０３は、残差情報を符号化部１０４と逆量子化部１０５とに供給する。
【００４２】
符号化部１０４は、残差情報と、参照画像番号と、視点画像の位置情報と、基準視点番号の視点画像の動き情報とを対応付けて符号化し、符号化データを生成する（Ｓ１０６）。符号化部１０４は、符号化データを出力する。
【００４３】
逆量子化部１０５は、残差情報を逆量子化し、変換係数を得る（Ｓ１０７）。逆量子化部１０５は、変換係数を逆変換部１０６に供給する。
【００４４】
逆変換部１０６は、変換係数を逆変換し、残差信号を得る（Ｓ１０８）。逆変換部１０６は、残差信号を加算部１０７に供給する。
【００４５】
加算部１０７は、残差信号と予測画像とを加算し、局所復号画像を生成する（Ｓ１０９）。加算部１０７は、局所復号画像を参照画像として参照メモリ１０８に書き込む（Ｓ１１０）。
【００４６】
多視点画像符号化装置１は、ステップＳ１０１からステップＳ１１０までの処理を、視点画像の入力が終了するまで繰り返す。
【００４７】
以上、多視点画像符号化装置１の処理について説明した。
【００４８】
本実施形態の割当部１１０の処理について説明する。ステップＳ２０１において、判定部２００は、符号化対象画像に対応付けられた予測構造情報が、「時間方向の予測を行なわないスライス」を示すものか、「時間方向の予測を行なうスライス」を示すものかを判定する（Ｓ２０１）。
【００４９】
本実施形態では、予測構造情報が「時間方向の予測を行なわないスライス」を示す場合、判定部２００は、符号化対象画像を位置情報算出部２０１に供給する。予測構造情報が「時間方向の予測を行なうスライス」を示す場合、判定部２００は、符号化対象画像を動き情報算出部２０２に供給する。
【００５０】
時間方向の予測を行なうと判定された場合（Ｓ２０１：行なう）、ステップＳ２０２において、動き情報算出部２０２は、符号化対象画像の視点番号が基準視点番号であるか否かを判定する（Ｓ２０２）。
【００５１】
符号化対象画像の視点番号が基準視点番号である場合（Ｓ２０２：ＹＥＳ）、ステップＳ２０３において、動き情報算出部２０２は、符号化対象画像の動き情報を算出する（Ｓ２０３）。例えば、符号化対象画像が、時刻ｔ１における基準視点番号の視点画像である場合、動き情報算出部２０２は、参照メモリ１０８を参照し、時刻ｔ０における基準視点番号の視点画像の位置情報を得る。動き情報算出部２０２は、時刻ｔ１における符号化対象画像の位置が、時刻ｔ０における基準視点番号の視点画像の位置からどれだけ移動したかを示す動き情報Ｄｔ１ｔ０を求める。例えば、動き情報は、移動した距離及び方向を表すベクトルで表わされてよい。
【００５２】
ステップＳ２０４において、位置情報算出部２０１は、同一時刻における各々の視点画像の位置情報を算出する（Ｓ２０４）。図５は、視点画像の動き情報及び位置情報の算出を説明するための図である。例えば、基準視点番号（例えば、視点番号「０」）を持つ視点画像に対する、視点番号「ｋ」の視点画像の相対的な位置をＰｏｓ（ｋ）とする。ここで、ｋ＝１，２，３，・・・，（Ｎ−１）である。Ｎは視点数である。よって、多視点画像は視点番号「０」の視点画像と、視点番号「ｋ」（ｋ＝１〜（Ｎ−１））の各視点画像とを含む。時刻ｔ０と時刻ｔ１との間における基準視点番号（視点番号「０」）の視点画像の動き情報はＤｔ１ｔ０である。
【００５３】
多視点画像を撮像可能な通常の多視点カメラの場合、各カメラ間の相対的な位置は固定されている場合が多い。そのため、基準視点番号（視点番号「０」）の視点画像を撮像するカメラの位置から、他の視点番号「ｋ」の視点画像を撮像する各カメラの位置までは、Ｐｏｓ（ｋ）で表すことができる。従って、時刻ｔ１における視点番号「ｋ」の位置情報Ｆ（ｔ１，ｋ）は、式１で表すことができる。
【数１】
2013136365.tif 000003
【００５４】
位置情報算出部２０１は、このようにして視点画像の位置情報を算出する。図６は、具体例を用いた、視点画像の動き情報及び位置情報の算出を説明するための図である。
【００５５】
例えば、図９のように配置された９視点のカメラで各視点画像が撮像された場合で、Ｐｏｓ（４）の位置が（−４，０）で、Ｄｔ１ｔ０が（３，１）である場合、位置情報算出部２０１は、時刻ｔ１における視点番号４の視点画像の位置を、式１から（−１，１）と求める。
【００５６】
視点画像の視点番号が基準視点番号でない場合は（Ｓ２０２：ＮＯ）、ステップＳ２０４に遷移する。
【００５７】
ステップＳ２０５において、番号割当部２０３は、視点画像の位置情報と、基準視点番号の視点画像の動き情報とに基づいて、参照画像に参照画像番号を割り当てる（Ｓ２０５）。本実施形態において、番号割当部２０３は、参照メモリ１０８に記憶されている参照画像の位置情報と、ステップＳ２０４で得た各々の視点画像の位置情報とを比較し、位置情報が視点画像と最も近い参照画像から順に、参照画像番号を割り当てる。
【００５８】
図７は、番号割当部２０３により決定された参照順位の説明図である。図７では、時刻ｔ１における視点番号「４」の視点画像が符号化対象画像である場合に、予測部２０３が参照すべき参照画像の参照順位を表している。
【００５９】
本例では、時刻ｔ０における各視点番号「０」〜「８」の視点画像が参照メモリ１０８に記憶されているとする。この場合、番号割当部２０３は、図７に示すように、時刻ｔ１における視点番号「４」の視点画像との距離がより近い参照画像に、より小さい参照画像番号（例えば、ｒｅｆ＿ｉｄｘ）を割り当てる。
【００６０】
なお、視点画像に対して、位置情報が等しい参照画像が参照メモリ１０８にある場合、番号割当部２０３は、より時刻の近い参照画像に、より小さい参照画像番号を割り当ててよい。
【００６１】
また、視点画像に対して、位置情報及び時刻が等しい参照画像が参照メモリ１０８にある場合、番号割当部２０３は、より視点番号の小さい参照画像に、より小さい参照画像番号を割り当ててよい。
【００６２】
番号割当部２０３は、参照画像に割り当てた参照画像番号と、参照画像の識別番号とを対応付けた参照情報を予測部２０３に供給し、処理を終了する。
【００６３】
ステップＳ２０１において、時間方向の予測を行なわないと判定された場合（Ｓ２０１：行なわない）、ステップＳ２０６において、位置情報算出部２０１は、入力された視点画像を用いて、各視点画像の位置情報を算出する（Ｓ２０６）。
【００６４】
以上、本実施形態の割当部１１０の処理について説明した。
【００６５】
本実施形態によれば、各視点番号の視点画像の位置情報と、基準視点番号の視点画像の動き情報を用いて、参照画像に参照画像番号を割り当てることで、符号化対象の視点画像を予測するのに最適な参照画像を選択することができ、符号化効率が向上する。
【００６６】
なお、各視点カメラ間の相対位置が固定でない場合、位置情報算出部２０１は、各時刻の視点画像の位置情報を得、位置情報を番号割当部２０３に供給してよい。
【００６７】
また、参照メモリ１０７に記憶される参照画像が複数の時刻で存在する場合、位置情報算出部２０１は、時刻ｔ０の基準視点番号の視点画像の位置情報を原点とし、各時刻で算出された基準視点番号の視点画像の動き情報を加算することで、全ての時刻及び全ての視点番号の視点画像の位置情報を得ることができる。
【００６８】
また、動き情報算出部２０２は、処理量削減のため、所定の距離「Ｒ」を設定しておき、処理対象の視点画像と、他の参照画像との距離がＲを超えるとき以降の参照画像を参照しないとしてもよい。
【００６９】
（ステップＳ２０６の具体例）
図４のステップＳ２０６において、位置情報算出部２０１は、以下のようにして、各視点画像の位置情報を算出してよい。
【００７０】
位置情報算出部２０１は、基準視点番号の視点画像（Ｖ０とする)の位置情報を原点とした場合における、他の視点画像（（Ｖｋとする）（ｋ＝１，２，３，・・・,Ｍ−１）（Ｍは視点数）の位置情報Ｐｏｓ（ｋ）を算出する。すなわち、位置情報算出部２０１は、視点画像視点画像ＶｋＶ０に対するずれを表す「ずれ量」をＰｏｓ（ｋ）として求める。
【００７１】
図８は、位置情報算出部２０１による、ずれ量の算出の説明図である。図８に示すように、位置情報算出部２０１は、視点画像Ｖｋを複数のブロックに分割する。位置情報算出部２０１は、分割したブロック毎にずれ量（Ｒｋ，０，Ｒｋ，１，Ｒｋ，２，…，Ｒｋ，Ｎ−１、Ｎはブロック数）を算出し、ブロック間のずれ量の中央値を、ＶｋのＶ０に対するずれ量とする。
【００７２】
以下、分割数が９とし、ブロック間のずれ量の求め方を説明する。位置情報算出部２０１は、分割した各ブロックに対し、Ｖ０に対するずれのコストとして、式２を用いて、ＳＡＤｋ，ｊ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出する。
【数２】
2013136365.tif 000004
【００７３】
ここで、ｊは分割したブロックの番号であり、９視差の場合はｊ＝０，１，２，・・・，８となる。ｋは視点番号である。また、ＹＶ０（ａ，ｂ）は、視点画像Ｖ０における、座標（ａ，ｂ）のピクセルの輝度値である。ＹＶｋ（ａ，ｂ）は、視点画像Ｖｋにおける、座標（ａ，ｂ）のピクセルの輝度値を表す。Ｗｐは、ブロックの幅を表す。Ｈｐは、ブロックの高さを表す。Ｘ及びＹは、視点画像Ｖ０における各ブロックの左上の座標を表す。ｗは、０≦ｗ≦Ｗｐを満たす変数である。ｈは、０≦ｈ≦Ｈｐを満たす変数である。Ｗｋは、視点画像Ｖｋの幅を表す。Ｈｋは、視点画像Ｖｋの高さを表す。
【００７４】
位置情報算出部２０１は、算出したＳＡＤｋ，ｊが最小となるベクトルＲｋ，ｊ＝（ｕ,ｖ）を、式３を用いて求める。
【数３】
2013136365.tif 000005
【００７５】
位置情報算出部２０１は、このようにして求めた各ブロックのずれ量をＲｋ，ｊの中央値を、ＶｋのＶ０に対するずれ量として求める。これにより、位置情報算出部２０１は、視点画像Ｖｋの視点画像Ｖ０に対する位置情報Ｐｏｓ（ｋ）を求めることができる。
【００７６】
（ステップＳ２０３の具体例）
図４のステップＳ２０３において、動き情報算出部２０２は、以下のようにして、動き情報はＤｔ１ｔ０を算出してよい。
【００７７】
動き情報算出部２０２は、時刻ｔ１における基準視点番号の視点画像（Ｖ０ｔ１とする）が符号化対象画像のとき、時刻ｔ０の参照画像Ｖ０ｔ０を用いて、変形例１と同様に、Ｖ０ｔ１をブロックに分割し、符号化対象画像Ｖ０ｔ１と参照画像Ｖ０ｔ０との間で対応する各ブロックのずれ量の中央値を求める。動き情報算出部２０２は、求めた中央値を基準視点番号の視点画像（Ｖ０ｔ１）の動き情報Ｄｔ１ｔ０として算出する。
【００７８】
なお、大域的な動きを算出する手段については、基準視点番号の視点画像と、同一視点番号の参照画像を利用せず、処理量削減のため、一部をトリミング、画像全体をサブサンプリング、または平均値を用いて縮小してもよい。
【００７９】
さらに、本実施形態では視点画像を９つに分割したがこれに限られない。視点画像を分割した各ブロックでＳＡＤを用いた差分絶対値和によるコスト演算をしているが、コストの算出方法は残差二乗和（ＳＳＤ）でもよい。
【００８０】
また、各ブロックで得られた動きベクトルは中央値に限るものではなく平均値等を用いてもよい。また、基準視点番号の視点画像の動き、あるいは、各視点画像の位置情報を求める際、奥行き（Ｄｅｐｔｈ）を考慮し、所定値以上のＤｅｐｔｈを持つ画素については、ＳＡＤコストを採用するか否か等を変更してもよい。
【００８１】
また今回は、視点の移動方向は平面上を動くものとして記載されているが、Ｄｅｐｔｈなどの視点からの物体の距離を示す情報等を用いることで前後に視点が動く場合にも対応可能にできる。また視点の位置が前後に配置された場合でも、視点位置からの物体までの距離を示す情報などを用いてよい。また基準視点番号は、どの視点番号でもよく、視点の数も限定されない。
【００８２】
このように視点間の変位量を画像情報から算出することで、視点画像間の位置関係や、基準視点番号の視点画像の動き情報を求めることができ、符号化効率を向上させることができる。
【００８３】
（第２の実施形態）
第２の実施形態に係る多視点画像符号化装置２は、多視点画像を撮像したカメラのカメラパラメータを用いて、視点画像の位置情報や動き情報を求める点が第１の実施形態の場合と異なる。本実施形態おけるカメラパラメータは、各視点画像を撮像する各カメラの位置情報と、カメラの加速度とを含む。カメラの加速度は、加速度センサを用いて測定されてよい。
【００８４】
多視点画像符号化装置２は、第１の実施形態に係る多視点画像符号化装置１と比較し、入力される視点画像に、カメラパラメータ情報が付加されている点、位置情報算出部２０１の処理、動き情報算出部２０２の処理が主に異なる。
【００８５】
多視点画像符号化装置２の構成は、図１及び図２と同様のため省略する。多視点画像符号化装置２の全体の処理フローは、図３及び図４と同様のため省略する。
【００８６】
以下、本実施形態における位置情報算出部２０１の処理と、動き情報算出部２０２の処理とについて、第１の実施形態と異なる点について説明する。
【００８７】
図４のステップＳ２０６において、位置情報算出部２０１は、入力された視点画像に付加されたカメラパラメータに含まれるカメラの位置情報を用いて、対応する視点画像の位置情報Ｐｏｓ（ｋ）を算出する。
【００８８】
図４のステップＳ２０３において、動き情報算出部２０２は、入力された視点画像に付加されたカメラパラメータに含まれるカメラの加速度を用いて、基準視点番号の視点画像の動き情報Ｄｔ１ｔ０を算出する。
【００８９】
なお、本実施形態において、カメラパラメータは、多視点画像の撮像時にユーザが設定してもよく、視点画像に付加されているのではなく外部から与えられてもよい。
【００９０】
本実施形態によれば、多視点画像を撮像するカメラのカメラパラメータを用いることにより、より正確な視点画像間の位置関係と、基準視点番号の視点画像の動き情報とを求めることができ、さらに効率よく符号化を主なうことができる。
【００９１】
なお、第１及び第２の実施形態において説明した各視点の位置関係や基準視点番号の視点画像の動き情報は、組み合わせて実現されてよい。
【００９２】
例えば、視点画像間の位置関係は本実施形態のように外部から与えられ、基準視点番号の視点画像の動き情報は、第１の実施形態のように、ブロックマッチングにより算出してもよい。
【００９３】
（第３の実施形態）
第３の実施形態に係る多視点画像符号化装置３は、符号化対象の視点画像（符号化対象画像）をブロック毎に符号化する場合に好適となる。多視点画像符号化装置３は、符号化対象ブロックを予測する際に用いる参照画像に割り当てる参照画像番号を、当該符号化対象ブロックの周囲にある符号化済みのブロックが用いた参照画像の情報から決定する。多視点画像符号化装置３の構成は、図１と同様のため省略する。なお、本実施形態で述べるブロックはマクロブロックであってよい。
【００９４】
多視点画像符号化装置３は、図３のフローチャートにおけるステップＳ１０１の処理が、これまでの実施形態の場合と異なる。
【００９５】
図９は、本実施形態における割当部１１０の処理を表すフローチャートである。図９のフローチャートは、図３のフローチャートのステップＳ１０１の内部処理に対応する。
【００９６】
ステップＳ３０１において、割当部１１０は、符号化対象画像において、現在までに符号化済みのブロックであって、符号化対象ブロックの周辺にある周辺ブロックが参照した参照画像の数を、識別番号毎にカウントする（Ｓ３０１）。なお、割当部１１０は、参照画像の識別番号とカウント数とを対応づけて保持しておき、ある識別番号の参照画像をカウントする度に、対応するカウント数を更新すればよい。
【００９７】
図１０は、本実施形態における割当部１１０の処理を説明するための図である。図１０の例では、符号化対象ブロックの周囲に、符号化済みのブロックＡ，Ｂ，Ｃがあるとする。ブロックＡは、参照画像番号４の参照画像から予測されている。ブロックＢは、参照画像番号２の参照画像から予測されている。ブロックＣは、参照画像番号４の参照画像から予測されている。
【００９８】
割当部１１０は、符号化対象ブロックの周囲にある符号化済みのブロック（ブロックＡ，Ｂ，Ｃ）が参照した参照画像を、参照画像番号毎にカウントする。図１０の例では、ブロックＡ，Ｂ，Ｃに対応する参照画像を識別する参照画像番号は、ブロックＡが４、ブロックＢが４、ブロックＣが２である。このため、割当部１１０がカウントする参照画像は、参照画像番号４の参照画像が２回、参照画像番号２の参照画像が１回、他の参照画像が０回となる。
【００９９】
ステップＳ３０２において、割当部１１０は、カウント数がより多い参照画像に、より小さい参照画像番号を割り振る。
【０１００】
図１０の例では、参照画像のカウント数は、参照画像番号４の参照画像が２回、参照画像番号２の参照画像が１回となっているため、割当部１１０は、参照画像番号４の参照画像に参照画像番号「０」を割り当てる。割当部１１０は、参照画像番号２の参照画像に三方画像番号「１」を割り当てる。
【０１０１】
なお、カウント数が等しい他の参照画像番号の参照画像に対しては、割当部１１０は、予め定められた方法に従って参照画像番号を割り当ててよい。図１０の例では、識別番号のより小さい参照画像に、より小さい参照画像番号を割り当てている。
【０１０２】
また、このとき、参照画像のカウント数が同じ場合、符号化対象画像に近い時刻の参照画像により小さい参照画像番号を割り当ててよい。時刻も同じである場合は、その視点の参照画像番号は元の参照画像の参照順位に従って決めてよい。
【０１０３】
（変形例）
本実施形態では、符号化対象ブロックの周囲にある、符号化済みのブロックが参照した参照画像をカウントして参照画像番号を割り当てたが、参照画像番号の割り当て方はこれに限られない。
【０１０４】
図１１は、本実施形態の変形例における割当部１１０の処理を説明するための図である。図１１に示すように、割当部１１０は、符号化済みのブロック（例えば、ブロックＡ，Ｂ，Ｃ，Ｄ）が参照した参照画像のカウント数に、ブロックサイズに応じた重みＷを乗じ、参照画像番号を割り当てるための参照量を算出する。重みＷは式４により求めてよい。
【数４】
2013136365.tif 000006
【０１０５】
割当部１１０は、算出した参照量が大きい参照画像に、より小さい参照画像番号を割り当てる。
【０１０６】
本変形例の割当部１１０は、ブロックサイズに基づいて重みＷを算出したが、符号化対象ブロックと符号化済みのブロックとの距離や形状に基づき、符号化対象ブロックに接していないブロックや、符号化対象ブロックと形状が違うブロックに対する重みＷを０にし、符号化対象ブロックに接しており、かつ形状が同じブロックに対する重みを高くするように、重みＷを算出してもよい。
【０１０７】
また、本実施形態では、同視点かつ同時刻の符号化対象画像において、符号化済みのブロックが参照した参照画像カウントしたが、これに限られない。参照画像番号を参照する符号化済みのブロックは同時刻の同視点のものである必要はなく、異なる時刻の同視点の同じ位置に存在する符号化済みブロックが参照した参照画像番号を用いてもよい。あるいは、異なる視点の異なる時刻の符号化済みブロックが参照した参照画像番号を用いてもよい。あるいは、符号化対象ブロックの左／上／右上／左上のいずれかの符号化済みブロックの参照画像番号を用いてもよい。
【０１０８】
なお、符号化済みのブロックが参照した参照ブロックのカウント数が同じ場合、時間的により近い参照画像に、より小さい参照画像番号を割り当てても、視点番号がより近い参照画像に、より小さい参照画像番号を割り当ててもよい。
【０１０９】
本実施形態によれば、符号量の発生を抑制しつつ、効率良く符号化を行なうことができる。
【０１１０】
（第4の実施形態）
第４の実施形態に係る多視点画像復号装置４は、第１及び第２の実施形態の多視点画像符号化装置１，２で符号化された符号化データを復号するものである。
【０１１１】
図１２は、多視点画像復号装置４を表すブロック図である。多視点画像復号装置４は、復号部４０１と、割当部４０２と、予測部４０３と、逆量子化部４０４と、逆変換部４０５と、加算部４０６と、参照メモリ４０７と、出力部４０８とを備える。
【０１１２】
多視点画像復号装置４に入力される符号化データには、視点画像に対する予測画像との残差情報と、前記視点画像に対応するカメラの視点位置に関する位置情報と、前記予測画像の生成に用いられた参照画像の参照画像番号と、基準視点番号の視点画像の動き情報とが含まれる。
【０１１３】
復号部４０１は、入力された符号化データを残差情報と、位置情報と、参照画像番号とに復号する。
【０１１４】
復号部４０１は、視点画像の位置情報と、基準視点番号の視点画像の動き情報とを割当部４０２に供給する。復号部４０１は、残差情報を逆量子化部４０４に供給する。復号部４０１は、参照画像番号を予測部４０３に供給する。
【０１１５】
逆量子化部４０４は、残差情報を逆量子化し、変換係数を得る。逆量子化部１０５は、変換係数を逆変換部４０５に供給する。
【０１１６】
逆変換部４０５は、変換係数を逆変換し、残差信号を得る。逆変換部４０５は、残差信号を加算部４０６に供給する。
【０１１７】
割当部４０２は、視点画像の位置情報と、基準視点番号の視点画像の動き情報とから、予測部４０３が予測画像を生成する際に用いられ得る参照画像に参照画像番号を割り当てる。割当部４０２は、参照画像の識別番号と、当該参照画像に割り当てた参照画像番号との対応関係を示す参照情報を予測部４０３に供給する。
【０１１８】
予測部４０３は、参照メモリ４０７から参照画像を読み出し、予測画像を生成する。予測部４０３は、生成した予測画像を加算部４０６に供給する。
【０１１９】
加算部４０６は、残差信号と、予測画像を加算し、復号画像を生成する。復号画像が視点画像に対応する。加算部４０６は、復号画像を参照メモリ４０７に書き込む。
【０１２０】
出力部４０８は、参照メモリ５０４から復号画像を読み出し、出力する。
【０１２１】
図１３は、本実施形態の割当部４０２を表すブロック図である。割当部４０２は、視点位置算出部４２１と、番号割当部４２２とを含む。
【０１２２】
視点位置算出部４２１は、復号部４０１から供給された視点画像の位置情報と、基準視点番号の視点画像の動き情報とを用いて、各時刻における各視点画像の位置情報を算出する。視点位置算出部４２１は、算出した視点位置を番号割当部４２２に供給する。
【０１２３】
番号割当部４２２は、各時刻における各視点画像の位置情報に基づいて、参照画像に参照画像番号を割り当てる。番号割当部４２２は、参照画像の識別番号と、当該参照画像に割り当てた参照画像番号との対応関係を示す参照情報を予測部４０３に供給する。
【０１２４】
復号部４０１と、割当部４０２と、予測部４０３と、逆量子化部４０４と、逆変換部４０５と、加算部４０６と、出力部４０８とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。参照メモリ４０７は、ＣＰＵが用いるメモリや補助記憶装置等により実現されてよい。
【０１２５】
図１４は、多視点画像復号装置４の処理を表すフローチャートである。ステップＳ４０１において、復号部４０１は、入力された符号化データを残差情報と、参照画像番号と、視点画像の位置情報と、基準視点番号の視点画像の動き情報とに復号する（Ｓ４０１）。
【０１２６】
ステップＳ４０２において、復号部４０１は、復号した視点画像に対応付けられた予測構造情報が、「時間方向の予測を行なわない予測構造」を示すものか、「時間方向の予測を行なう予測構造」を示すものかを判定する（Ｓ４０２）。
【０１２７】
予測構造情報が、「時間方向の予測を行なう予測構造」を示すものである場合（Ｓ４０２：行なう）、復号部４０１は、視点画像の位置情報と、基準視点番号の視点画像の動き情報とを視点位置算出部４２１に供給する。復号部４０１は、残差情報を逆量子化部４０４に供給する。復号部４０１は、参照画像番号を予測部４０３に供給する。そして、ステップＳ４０３に遷移する。
【０１２８】
予測構造情報が、「時間方向の予測を行なわない予測構造」を示すものである場合（Ｓ４０２：行なわない）、復号部４０１は、復号部４０１は、残差情報を逆量子化部４０４に供給する。復号部４０１は、参照画像番号を予測部４０３に供給する。そして、ステップＳ４０５に遷移する。
【０１２９】
ステップＳ４０３において、視点位置算出部４２１は、復号部４０２から供給された各視点画像の位置情報（Ｐｏｓ（ｋ）とする）と、基準視点番号の視点画像の時刻ｔ０から時刻ｔ１までの動き情報Ｄｔ１ｔ０を用いて、各時刻における各視点番号の視点画像の位置（視点位置）を算出する（Ｓ４０３）。ただし、視点位置の算出方法は第１の実施形態と同様である。
【０１３０】
ステップＳ４０４において、番号割当部４２２は、各時刻における各視点画像の位置情報に基づいて、参照メモリ４０７に記憶されている参照画像に参照画像番号を割り当てる（Ｓ４０５）。番号割当部４２２は、参照画像の識別番号と、当該参照画像に割り当てた参照画像番号との対応関係を示す参照情報を予測部４０３に供給する。ただし、参照画像番号の割り当て方は第１の実施形態と同様である。
【０１３１】
ステップＳ４０５において、予測部４０３は、参照メモリ４０７から参照画像を読み出し、予測画像を生成する。
【０１３２】
このとき、ステップＳ４０２での判定が「行なう」を示す場合、予測部４０３は、番号割当部４２２から供給された参照順位と、復号部４０１から供給された参照画像番号とに基づいて、参照メモリ４０７から参照画像を読み出し、予測画像を生成する。
【０１３３】
ステップＳ４０２での判定が「行わない」を示す場合、復号部４０１から供給された参照画像番号に基づいて、参照メモリ４０７から参照画像を読み出し、予測画像を生成する。
【０１３４】
ステップＳ４０６において、逆量子化部４０４は、残差情報を逆量子化し、変換係数を得る（Ｓ４０６）。
【０１３５】
ステップＳ４０７において、逆変換部４０５は、変換係数を逆変換し、残差信号を得る（Ｓ４０７）。
【０１３６】
ステップＳ４０８において、加算部４０６は、逆変換部４０５から供給された残差信号と、予測部４０３から供給された予測画像とを加算し、復号画像を生成する。
【０１３７】
ステップＳ４０８において、加算部４０６は、復号画像を参照メモリ４０７に書き込む（Ｓ４０８）。
【０１３８】
ステップＳ４０９において、出力部４０８は、参照メモリ５０４から復号画像を読み出し、出力する（Ｓ４０９）。例えば、出力部４０８は、多視点画像を立体表示させることが可能な表示装置や、自由視点映像を表示することが可能な表示装置等に、復号画像を出力してよい。
【０１３９】
多視点画像復号装置４は、符号化データの入力が終了するまで、以上の処理を繰り返す。
【０１４０】
以上、多視点画像復号装置４は、の処理について説明した。
【０１４１】
本実施形態によれば、第１及び第２の実施形態の多視点画像符号化装置１，２で符号化された符号化データを復号することができ、多視点画像や自由視点画像を出力することができる。
【０１４２】
（第５の実施形態）
第５の実施形態に係る多視点画像復号装置５は、第３の実施形態の多視点画像符号化装置３で符号化された符号化データを復号するものである。以下、第４の実施形態と異なる点について説明する。
【０１４３】
図１５は、多視点画像復号装置５を表すブロック図である。多視点画像復号装置５は多視点画像復号装置４に対して、さらに周辺情報バッファ４０９を備える。また、割当部４０２が割当部５０１に置き換わる。
【０１４４】
多視点画像復号装置５では、復号部４０１が参照画像番号を、周辺情報バッファ４０９を介して割当部４０２に供給する点が、第４の実施形態の場合と異なる。割当部４０２が参照画像番号と周辺情報と用いて参照画像に参照画像番号を割り当てる点が、第４の実施形態の場合と異なる。周辺情報とは復号対象ブロックの周辺にある復号済みのブロックを復号する際に用いた参照画像の参照画像番号を表す。周辺情報バッファ４０９は周えｈん情報を記憶する。
【０１４５】
周辺情報バッファ４０９は、ＣＰＵが用いるメモリや補助記憶装置等により実現されてよい。
【０１４６】
図１６は、割当部５０１を表すブロック図である。割当部５０１は、参照量算出部５１１と、番号割当部５１２とを含む。
【０１４７】
参照量算出部５１１は、周辺情報に基づいて用いて、周辺のブロックを復号する際に予測画像として用いた参照画像の数をカウントし、そのカウント数を番号割当部５１２に供給する。
【０１４８】
番号割当部５１２は、供給されたカウント数に基づいて、参照メモリ４０７に記憶されている参照画像に参照画像番号を割り当てる。番号割当部５１２は、参照画像の識別番号と、当該参照画像に割り当てた参照画像番号との対応関係を示す参照情報を予測部４０３へ供給する。
【０１４９】
図１７は、多視点画像復号装置５の処理を表すフローチャートである。図１７に示すフローチャートは、図１４に示すフローチャートのステップＳ４０１が、ステップＳ５０１に置き換わる。ステップＳ４０３がステップＳ５０２に置き換わる。ステップＳ４０４がステップＳ５０３に置き換わる。
【０１５０】
ステップＳ５０１において、復号部４０１は、符号化データを残差情報と、参照画像番号とに復号する（Ｓ５０１）。
【０１５１】
ステップＳ５０２において、参照量算出部５１１は、周辺情報バッファ４０９から周辺情報を読み出し、過去に復号したブロックの参照画像番号を用いて、復号化対象ブロックの周辺にある復号済みのブロックを予測する際に参照された参照画像の数をカウントする（Ｓ５０２）。ただし、カウント方法は第３の実施形態と同様である。
【０１５２】
ステップＳ５０３において、カウントされた参照画像の数に基づいて、参照画像に参照画像番号を割り当てる（Ｓ５０３）。ただし、参照画像の割り当て方は、第３の実施形態と同様である。
【０１５３】
本実施形態によれば、第３の実施形態の多視点画像符号化装置３で符号化された符号化データを復号することができ、多視点画像や自由視点画像を出力することができる。
【０１５４】
上述した実施形態によれば、多視点画像を効率良く符号化及び復号化することができる。
【０１５５】
なお、上述した各実施形態に係る多視差画像符号化方法および多視差画像復号化方法は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、多視差画像符号化方法および多視差画像復号化方法が備えるべき構成要素は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、多視差画像符号化方法および多視差画像復号化方法は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【０１５６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１５７】
１，２，３・・・多視点画像符号化装置
４，５・・・多視点画像復号装置
１０１・・・減算部
１０２・・・変換部
１０３・・・量子化部
１０４・・・符号化部
１０５，４０４・・・逆量子化部
１０６，４０５・・・逆変換部
１０７，４０６・・・加算部
１０８，４０７・・・参照メモリ
１０９，４０３・・・予測部
１１０，４０２，５０１・・・割当部
２００・・・判定部
２０１・・・位置情報算出部
２０２・・・動き情報算出部
２０３，４２２，５１２・・・番号割当部
４０１・・・復号部
４０８・・・出力部
４０９・・・周辺情報バッファ
４２１・・・視点位置算出部
５１１・・・カウント数算出部
【図１】
2013136365.tif 000007
【図２】
2013136365.tif 000008
【図３】
2013136365.tif 000009
【図４】
2013136365.tif 000010
【図５】
2013136365.tif 000011
【図６】
2013136365.tif 000012
【図７】
2013136365.tif 000013
【図８】
2013136365.tif 000014
【図９】
2013136365.tif 000015
【図１０】
2013136365.tif 000016
【図１１】
2013136365.tif 000017
【図１２】
2013136365.tif 000018
【図１３】
2013136365.tif 000019
【図１４】
2013136365.tif 000020
【図１５】
2013136365.tif 000021
【図１６】
2013136365.tif 000022
【図１７】
2013136365.tif 000023
【手続補正書】
【提出日】平成24年12月25日(2012.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の視点画像を含む多視点画像を符号化する多視点画像符号化装置であって、
前記視点画像を分割した符号化済みブロックを予測する際に用いられた、参照画像の数に応じた参照画像番号を、前記参照画像に割り当てる割当部と、
前記参照画像を参照し、前記視点画像を分割した符号化対象ブロックに対する予測画像を生成する予測部と、
前記符号化対象画像と前記予測画像との残差を算出する減算部と、
前記残差を直交変換及び量子化して得られる変換係数と前記予測画像の生成に用いられた前記参照画像の前記参照画像番号とを符号化する符号化部と
を備える、多視点画像符号化装置。
【請求項２】
前記割当部は、前記位置情報が前記符号化対象画像に近い参照画像ほど、割り当てる前記参照画像番号を小さくする、
請求項１記載の多視点画像符号化装置。
【請求項３】
前記割当部は、前記符号化済みのブロックを予測する際に用いられた前記参照画像の数に、前記符号化済みブロックの面積が大きい程大きくなり、前記符号化対象ブロックの面積が知作なるほど大きくなる重みを乗じた参照量を算出し、前記参照量が大きい参照画像に対して、より小さい前記参照画像番号を割り当てる、
請求項１記載の多視点画像符号化装置。
【請求項４】
前記割当部は、前記参照画像の数が大きい程、小さい前記参照画像番号を割り当てることを特徴とする請求項１記載の多視点画像符号化装置。
【請求項５】
（削除）
【請求項６】
複数の視点画像を含む多視点画像を符号化する多視点画像符号化方法であって、
前記視点画像を分割した符号化済みブロックを予測する際に用いられた、参照画像の数に応じた参照画像番号を、前記参照画像に割り当て、
前記参照画像を参照し、前記視点画像を分割した符号化対象ブロックに対する予測画像を生成し、
前記符号化対象画像と前記予測画像との残差を算出し、
前記残差を直交変換及び量子化して得られる変換係数と、前記符号化対象画像の前記位置情報と、前記予測画像の生成に用いられた前記参照画像の前記参照画像番号とを符号化する、
多視点画像符号化方法。
【請求項７】
（削除）
【国際調査報告】
2013136365.tif 000024
2013136365.tif 000025
2013136365.tif 000026
2013136365.tif 000027