(57)【要約】      （修正有）【課題】データ転送量を削減するようにした多視点画像符号化装置を提供する。【解決手段】第１の視点に対応する第１の画像データを第１の視点に対応する他の画像データを参照して又は参照しないで圧縮符号化し、第２の視点に対応する第２の画像データを第１の画像データを参照して又は第１の画像データと第２の視点に対応する他の画像データを参照して圧縮符号化する多視点画像符号化装置である。第１の視点に対応する第１の画像データと、第２の視点に対応する第２の画像データを入れ替える入力画像入替部１１と、第２の視点に対応する第２の画像データと、第１の視点に対応する第１の画像データ以外の第３の画像データを圧縮符号化する第１の圧縮符号化処理部１９−Ａと、第１の視点に対応する第１の画像データと、第２の視点に対応する第２の画像データ以外の第４の画像データを圧縮符号化する第２の圧縮符号化処理部１９−Ｂとを備える。【選択図】図１
2017063347.tif 000002
【特許請求の範囲】
【請求項１】
第１の視点に対応する第１の画像データを前記第１の視点に対応する他の画像データを参照して又は参照しないで圧縮符号化し、
第２の視点に対応する第２の画像データを前記第１の画像データを参照して又は前記第１の画像データと前記第２の視点に対応する他の画像データを参照して圧縮符号化する多視点画像符号化装置において、
前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データを入れ替える入力画像入替部と、
前記第２の視点に対応する第２の画像データと、前記第１の視点に対応する第１の画像データ以外の第３の画像データを圧縮符号化する第１の圧縮符号化処理部と、
前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データ以外の第４の画像データを圧縮符号化する第２の圧縮符号化処理部と
を備える多視点画像符号化装置。
【請求項２】
前記入力画像入替部は、前記第１及び第２の圧縮符号化処理部に同一時間に夫々入力される双方向予測符号化画像である前記第１の視点に対応する第１の画像データと前記第２の視点に対応する第２の画像データを入れ替えることを特徴とする請求項１記載の多視点画像符号化装置。
【請求項３】
前記入力画像入替部は、視点数と、フレーム内符号化画像と一方向のフレーム間予測符号化画像の間、一方向のフレーム間予測符号化画像の間、又は一方向のフレーム間予測符号化画像とフレーム内予測符号化画像の間にある予測符号化画像の枚数に基づいて前記第１の視点に対応する第１の画像データと前記第２の視点に対応する第２の画像データを入れ替えることを特徴とする請求項１記載の多視点画像符号化装置。
【請求項４】
前記入力画像入替部は、フレーム内符号化画像と一方向のフレーム間予測符号化画像の間、一方向のフレーム間予測符号化画像の間、又は一方向のフレーム間予測符号化画像とフレーム内予測符号化画像の間にある第１及び第２の予測符号化画像のうち、前記第１の予測符号化画像である前記第１の視点に対応する第１の画像データと前記第２の予測符号化画像である前記第２の視点に対応する第２の画像データとを入れ替えることを特徴とする請求項１記載の多視点画像符号化装置。
【請求項５】
入力画像入替部と、第１及び第２に圧縮符号化処理部を備え、第１の視点に対応する第１の画像データを前記第１の視点に対応する他の画像データを参照して又は参照しないで圧縮符号化し、
第２の視点に対応する第２の画像データを前記第１の画像データを参照して又は前記第１の画像データと前記第２の視点に対応する他の画像データを参照して圧縮符号化する多視点画像符号化装置における多視点画像符号化方法であって、
前記入力画像入替部によって、前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データを入れ替え、
前記第１の圧縮符号化処理部によって、前記第２の視点に対応する第２の画像データと、前記第１の視点に対応する第１の画像データ以外の第３の画像データを圧縮符号化し、
前記第２の圧縮符号化処理部により、前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データ以外の第４の画像データを圧縮符号化する
ことを特徴とする多視点画像符号化方法。
【請求項６】
第１の視点に対応する第１の画像データを前記第１の視点に対応する他の画像データを参照して又は参照しないで圧縮符号化し、
第２の視点に対応する第２の画像データを前記第１の画像データを参照して又は前記第１の画像データと前記第２の視点に対応する他の画像データを参照して圧縮符号化するコンピュータにおいて、
前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データを入れ替える処理と、
前記第２の視点に対応する第２の画像データと、前記第１の視点に対応する第１の画像データ以外の第３の画像データを圧縮符号化する処理と、
前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データ以外の第４の画像データを圧縮符号化する処理と
を前記コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像符号化装置、多視点画像符号化方法、及びプログラムに関する。
【背景技術】
【０００２】
現在、ＤＶＤ（Digital Versatile Disk）などの蓄積メディアやＨＤＴＶ（High Definition TV）などのデジタル放送などにおいては画像圧縮技術が広く利用されている。また、国際標準化機構ＩＳＯ（International Organization for Standardization）傘下の画像符号化グループ（ＭＰＥＧ：Moving Picture Experts Group）では、画像圧縮技術の国際基準として、ＭＰＥＧ−２やＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４（以下、「Ｈ２６４」と称する場合がある）などを標準化している。
【０００３】
このような画像圧縮技術の１つとして、多視点画像符号化方式（又はマルチビュー符号化方式、以下「多視点画像符号化方式」と称する場合がある）がある。多視点画像符号化方式は、例えば、複数の視点から得られた画像を圧縮符号化する画像圧縮技術の１つである。多視点画像符号化方式は、３ＤＴＶ（３次元ＴＶ又は立体ＴＶなどと称される場合もある）やＦＴＶ（Free viewpoint TV：自由視点ＴＶ）などに適用可能である。
【０００４】
多視点画像符号化方式においては、例えば、左目画像を主画像（又はＢａｓｅＶｉｅｗ）とし、右目画像である他方の画像（又はＮｏｎＢａｓｅＶｉｅｗ或いはＤｅｐｅｎｄｅｎｔＶｉｅｗ）はＢａｓｅ  Ｖｉｅｗの復号画像を参照して圧縮符号化が行われる。このように視点間の冗長性を用いて圧縮符号化が行われることを、例えば、視差補償予測と称する場合もある。多視点画像符号化方式においては、例えば、このような視差補償予測により効率的な圧縮符号化が可能となる。
【０００５】
多視点画像符号化方式に関する技術として、例えば、以下のような技術がある。すなわち、Ｖｉｅｗ間での画像の変化量（空間変化量）とＶｉｅｗ内での画像の変化量（時間変化量）に基づいて符号化対象画像の参照すべき参照方向と参照枚数を決定し、決定した参照画像を用いて符号化対象画像の符号化を行うようにした符号化装置がある。
【０００６】
この技術によれば、例えば、時間変化量が小さい場合にはＶｉｅｗ内参照のみ行うことで、マルチストリームの符号化の際におけるメモリアクセスを軽減することができる、とされる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−２２２４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
多視点画像符号化方式では、ＮｏｎＢａｓｅＶｉｅｗ画像を符号化する処理ブロックでは、ＢａｓｅＶｉｅｗ画像を参照して圧縮符号化を行っている。従って、ＮｏｎＢａｓｅＶｉｅｗ画像の処理ブロックでは、ＢａｓｅＶｉｅｗ画像の処理ブロックからＢａｓｅＶｉｅｗ画像が転送される。他方、ＢａｓｅＶｉｅｗ画像の処理ブロックでは、ＮｏｎＢａｓｅＶｉｅｗ画像を参照することはしないため、ＮｏｎＢａｓｅＶｉｅｗ画像の処理ブロックからデータの転送はない。従って、ＮｏｎＢａｓｅＶｉｅｗ画像の処理ブロックの方が、ＢａｓｅＶｉｅｗ画像の処理ブロックよりも、データ転送量が多くなる。
【０００９】
また、上述した空間変化量と時間変化量に基づいて符号化対象画像の参照画像を決定する技術は、空間変化量も時間変化量もともに大きい場合はＶｉｅｗ間参照の全てを行うようにしている。この場合、ＮｏｎＢａｓｅＶｉｅｗ画像を符号化する処理ブロックでは、ＢａｓｅＶｉｅｗ画像が記憶されたメモリにアクセスして、全てのＢａｓｅＶｉｅｗ画像を参照することになる。従って、ＮｏｎＢａｓｅＶｉｅｗ画像を符号化する処理ブロックでは、ＢａｓｅＶｉｅｗ画像を符号化する処理ブロックよりもデータ伝送量が多くなる場合がある。また、この場合、全てのＢａｓｅＶｉｅｗ画像が参照されるため、ＢａｓｅＶｉｅｗ画像が記憶されたメモリへのアクセス回数も軽減されない。
【００１０】
そこで、一開示は、データ転送量を削減するようにした多視点画像符号化装置、多視点画像符号化方法、及びプログラムを提供することにある。
【００１１】
また、一開示は、メモリアクセスの回数を軽減するようにした多視点画像符号化装置、多視点画像符号化方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
一開示は、第１の視点に対応する第１の画像データを前記第１の視点に対応する他の画像データを参照して又は参照しないで圧縮符号化し、第２の視点に対応する第２の画像データを前記第１の画像データを参照して又は前記第１の画像データと前記第２の視点に対応する他の画像データを参照して圧縮符号化する多視点画像符号化装置において、前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データを入れ替える入力画像入替部と、前記第２の視点に対応する第２の画像データと、前記第１の視点に対応する第１の画像データ以外の第３の画像データを圧縮符号化する第１の圧縮符号化処理部と、前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データ以外の第４の画像データを圧縮符号化する第２の圧縮符号化処理部とを備える。
【発明の効果】
【００１３】
一開示によれば、データ転送量を削減するようにした多視点画像符号化装置、多視点画像符号化方法、及びプログラムを提供することができる。また、一開示によれば、メモリアクセスの回数を軽減するようにした多視点画像符号化装置、多視点画像符号化方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は多視点画像符号化装置の構成例を表す図である。
【図２】図２は多視点画像符号化装置の構成例を表す図である。
【図３】図３はエンコーダＡ，Ｂの構成例を表す図である。
【図４】図４（Ａ）と図４（Ｂ）は各ピクチャの参照関係例を表す図である。
【図５】図５（Ａ）と図５（Ｂ）は各ピクチャの参照関係例を表す図である。
【図６】図６は各ピクチャの関係例を表す図である。
【図７】図７は各ピクチャの関係例を表す図である。
【図８】図８（Ａ）と図８（Ｂ）は入力画像の入替例を表す図である。
【図９】図９は入力画像の入替例を表す図である。
【図１０】図１０は多視点画像符号化装置の動作例を表すフローチャートである。
【図１１】図１１は多視点画像符号化装置の動作例を表すフローチャートである。
【図１２】図１２は条件に対応する入力画像の入替処理の例を表す図である。
【図１３】図１３は多視点画像符号化装置の動作例を表すフローチャートである。
【図１４】図１４は各ピクチャの関係例を表す図である。
【図１５】図１５は各ピクチャの関係例を表す図である。
【図１６】図１６は各ピクチャの関係例を表す図である。
【図１７】図１７は各ピクチャの関係例を表す図である。
【図１８】図１８は各ピクチャの関係例を表す図である。
【図１９】図１９は各ピクチャの関係例を表す図である。
【図２０】図２０は各ピクチャの関係例を表す図である。
【図２１】図２１は各ピクチャの関係例を表す図である。
【図２２】図２２は多視点画像符号化装置の動作例を表すフローチャートである。
【図２３】図２３は入力画像の入替例を表す図である。
【図２４】図２４は多視点画像復号化装置の構成例を表す図である。
【図２５】図２５（Ａ）は多視点画像符号化装置、図２５（Ｂ）は多視点画像復号化装置のハードウェア構成例を夫々表す図である。
【発明を実施するための形態】
【００１５】
以下、本実施の形態について図面を参照して詳細に説明する。本明細書における課題及び実施例は一例であり、本願の権利範囲を限定するものではない。特に、記載の表現が異なっていたとしても技術的に同等であれば異なる表現であっても本願の技術は適用可能であって、権利範囲を限定するものではない。
【００１６】
［第１の実施の形態］
図１は第１の実施の形態における多視点画像符号化装置１０の構成例を表す図である。図１に示す多視点画像符号化装置（以下、「符号化装置」と称する場合がある）１０は、第１の視点と第２の視点の２視点の例を表している。
【００１７】
符号化装置１０は、第１の視点に対応する第１の画像データを、第１の視点に対応する他の画像データを参照し又は参照しないで圧縮符号化する。また、符号化装置１０は、第２の視点に対応する第２の画像データを、第１の画像データを参照し又は第１の画像データと第２の視点に対応する他の画像データを参照して圧縮符号化する。例えば、第１の視点はＢａｓｅＶｉｅｗ、第２の視点はＮｏｎＢａｓｅＶｉｅｗである。
【００１８】
符号化装置１０は、入力画像入替部１１と、第１の圧縮符号化処理部１９−Ａ、及び第２の圧縮符号化処理部１９−Ｂを備える。
【００１９】
入力画像入替部１１は、第１の視点に対応する第１の画像データと、第２の視点に対応する第２の画像データを入れ替える。
【００２０】
第１の圧縮符号化処理部１９−Ａは、第２の視点に対応する第２の画像データと、第１の視点に対応する第１の画像データ以外の第３の画像データを圧縮符号化する。
【００２１】
また、第２の圧縮符号化処理部１９−Ｂは、第１の視点に対応する第１の画像データと、第２の視点に対応する第２の画像データ以外の第４の画像データを圧縮符号化する。
【００２２】
このように、第１の画像データと第２の画像データが画像入替部１１により入れ替えられ、第１の画像データは第２の圧縮処理部１９−Ｂへ入力され、第２の画像データは第１の圧縮符号化処理部１９−Ａへ入力される。
【００２３】
第１の圧縮符号化処理部１９−Ａでは、例えば、第２の視点の第２の画像データを圧縮符号化する際に、第１の圧縮符号化処理部１９−Ａに入力された第１の視点の第３の画像データを参照する場合がある。第２の画像データにとって参照関係にある第３の画像データは入力画像の入れ替えによって同一の第１の圧縮符号化処理部１９−Ａに集められることになる。従って、第３の画像データを第１の圧縮符号化処理部１９−Ａから第２の圧縮符号化処理部１９−Ｂに転送させることがなくなり、第１の圧縮符号化処理部１９−Ａで符号化された全画像データを第２の圧縮符号化処理部１９−Ｂへ転送させる場合と比較して、転送されるデータ量が少なくなる。この際、第１の圧縮処理部１９−Ａはメモリを用いて画像データを転送してもよく、その場合、全画像データを転送される場合と比較して、第３の画像データの転送がなくなるため、メモリに対するアクセス回数も軽減される。
【００２４】
また、第２の圧縮符号化処理部１９−Ｂにおいても、例えば、第２の視点の第４の画像データを符号化する際に、第１の視点の第１の画像データを参照する場合がある。第４の画像データにとって参照関係にある第１の画像データは入力画像の入れ替えにとって同一の第２の圧縮符号化処理部１９−Ｂに集められることになる。従って、本符号化装置１０では、第１の画像データを転送させることがなくなり、第１の視点の全画像データと転送させる場合と比較して、転送されるデータ量を少なくさせることができる。また、転送されるデータ量も少なくさせることで、メモリを用いた転送が行われる場合、メモリに対するアクセス回数も、第１の視点の全画像データを転送させる場合と比較して軽減される。
【００２５】
［第２の実施の形態］
次に第２の実施の形態について説明する。
【００２６】
＜多視点画像符号化装置の構成例＞
多視点画像符号化装置の構成例について説明する。図２は符号化装置１０の構成例を表す図である。図２に示す符号化装置１０は、２視点の画像に対する符号化装置の例を表している。例えば、左目画像と右目画像は２台のカメラで撮影された画像である。図２の例では、左目画像がＢａｓｅＶｉｅｗ、右目画像がＮｏｎＢａｓｅＶｉｅｗとなっている。ＢａｓｅＶｉｅｗの画像データは、同一視点であるＢａｓｅＶｉｅｗの他の画像データを参照（又は利用）して又は参照しないで圧縮符号化される。また、ＮｏｎＢａｓｅＶｉｅｗの画像データは、同一視点であるＮｏｎＢａｓｅＶｉｅｗの他の画像データを参照して、又はＮｏｎＢａｓｅＶｉｅｗの他の画像データと別視点であるＢａｓｅＶｉｅｗの画像データとを参照して圧縮符号化される。
【００２７】
なお、以下においては、「画像データ」と「画像」とをとくに区別することなく用いるものとする。
【００２８】
符号化装置１０は、入力画像入替部１１、ＭＶＣ（Multi View Coding）エンコーダ１２、外部メモリＡ１６−Ａ，Ｂ１６−Ｂ、ＭＵＸ（Multiplexer：選択部又は多重化部）１７、及び制御部１８を備える。また、ＭＶＣエンコーダ１２は、エンコーダＡ１４−ＡとエンコーダＢ１４−Ｂを備える。
【００２９】
入力画像入替部１１は、ＢａｓｅＶｉｅｗの画像データとＮｏｎＢａｓｅＶｉｅｗの画像データを入力し、制御部１８の制御によって、２つの画像データを入れ替えて出力する。入力画像入替部１１は、入替対象以外のＢａｓｅＶｉｅｗの画像データとＮｏｎＢａｓｅＶｉｅｗの画像データを入れ替えることなくそのまま出力する。
【００３０】
従って、入力画像入替部１１は、ＢａｓｅＶｉｅｗの画像データのうち入替対象の画像データ（又は第１の画像データ）をエンコーダＢ１４−Ｂへ出力し、それ以外の画像データ（又は第３の画像データ）をエンコーダＡ１４−Ａへ出力する。また、入力画像入替部１１は、ＮｏｎＢａｓｅＶｉｅｗの画像データのうち入替対象の画像データ（又は第２の画像データ）をエンコーダＡ１４−Ａへ出力し、それ以外の画像データ（又は第４の画像データ）をエンコーダＢ１４−Ｂへ出力する。入替処理の詳細は動作例において説明する。
【００３１】
エンコーダＡ１４−Ａは、入力画像入替部１１から出力された画像データを入力し、入力した画像データに対して圧縮符号化処理を行う。本第２の実施の形態におけるエンコーダＡ１４−Ａは、ＢａｓｅＶｉｅｗの画像データと、入力画像の入替によって入力されたＮｏｎＢａｓｅＶｉｅｗの画像データに対して圧縮符号化処理を行う。
【００３２】
エンコーダＡ１４−Ａは、ＢａｓｅＶｉｅｗの画像データに対して時間方向の冗長性を利用した動き補償予測や空間方向の冗長性を利用した整数変換などの処理を行う。この際、エンコーダＡ１４−Ａは外部メモリＡ１６−Ａに適宜アクセスして符号化処理を行う。例えば、エンコーダＡ１４−Ａは、入力した画像データを外部メモリＡ１６−Ａに記憶したり、記憶した画像データを読み出して各処理を行ったりする。
【００３３】
また、エンコーダＡ１４−Ａは、入替により入力されたＮｏｎＢａｓｅＶｉｅｗの画像データに対しては更にＢａｓｅＶｉｅｗの復号画像を利用した視差補償予測（又は視差補償予測符号化）などの処理を行う。視差補償予測は、例えば、視点間の冗長性を利用した予測符号化方式である。この際、エンコーダＡ１４−Ａは、外部メモリＡ１６−Ａにアクセスし、外部メモリＢ１６−Ｂから外部メモリＡ１６−Ａに転送されたＢａｓｅＶｉｅｗの画像データを読み出し、当該画像データを参照して視差補償予測を行う。
【００３４】
更に、エンコーダＡ１４−Ａは、ＢａｓｅＶｉｅｗの画像データについて圧縮符号化すると、復号化したＢａｓｅＶｉｅｗの画像データの一部を外部メモリＡ１６−Ａに記憶し、更に、外部メモリＡ１６−Ａから外部メモリＢ１６−Ｂへ転送する。転送されたＢａｓｅＶｉｅｗの画像データは、エンコーダＢ１４−ＢにおいてＮｏｎＢａｓｅＶｉｅｗの画像データに対して符号化する際に参照される。
【００３５】
エンコーダＢ１４−Ｂは、入力画像入替部１１から出力された画像データを入力し、入力した画像データに対して圧縮符号化処理を行う。本第２の実施の形態におけるエンコーダＢ１４−Ｂは、ＮｏｎＢａｓｅＶｉｅｗの画像データと、入力画像の入替によって入力されたＢａｅｓＶｉｅｗの画像データに対して圧縮符号化処理を行う。
【００３６】
エンコーダＢ１４−Ｂは、ＢａｓｅＶｉｅｗの画像データに対しては時間方向の冗長性を利用した動き補償予測や空間方向の冗長性を利用した整数変換などの処理を行う。この際、エンコーダＢ１４−Ｂは外部メモリＢ１６−Ｂに適宜アクセスして符号化処理を行うことができる。例えば、エンコーダＢ１４−Ｂは、入力した画像データを外部メモリＢ１６−Ｂに記憶したり、記憶した画像データを読み出して各処理を行ったりする。
【００３７】
また、エンコーダＢ１４−Ｂは、ＮｏｎＢａｓｅＶｉｅｗの画像データに対しては、ＢａｓｅＶｉｅｗの画像を参照して視差補償予測などの処理を行う。この際、エンコーダＢ１４−Ｂは、外部メモリＢ１６−Ｂにアクセスし、外部メモリＡ１６−Ａから転送されたＢａｓｅＶｉｅｗの画像を読み出し、当該画像データを参照して処理を行う。
【００３８】
更に、エンコーダＢ１４−Ｂは、ＢａｓｅＶｉｅｗの画像データについて圧縮符号化すると、復号化したＢａｓｅＶｉｅｗの画像データの一部を外部メモリＢ１６−Ｂに記憶し、更に、外部メモリＢ１６−Ｂから外部メモリＡ１６−Ａへ転送する。
【００３９】
このようにエンコーダＡ１４−ＡとエンコーダＢ１４−Ｂにより、複数の視点から得られた画像データの符号化が可能となる。このように複数の視点から得られた画像データが圧縮符号化されることを、例えば、多視点画像符号化（又は多視点動画像符号化）と称する場合がある。２つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂは、例えば、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４（以下、「Ｈ．２６４」と称する場合がある。）を利用した符号化処理を行ってもよい。２つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂの各構成例は後述する。なお、圧縮符号化された画像データを、例えば、符号化データと称する場合がある。
【００４０】
ＭＵＸ１７は、エンコーダＡ１４−Ａから出力された符号化データと、エンコーダＢ１４−Ｂから出力された符号化データのいずれか一方を選択して（又は双方を多重化して）、選択した符号化データを出力する。この場合、ＭＵＸ１７は制御部１８による制御に従って２つの符号化データのいずれかを選択する。
【００４１】
制御部１８は、入力画像入替部１１、ＭＶＣエンコーダ１２、ＭＵＸ１７に対して制御信号を出力することで、これらの各部１１，１２，１７を制御する。制御部１８は、例えば、入力画像入替部１１に対して入力画像の各エンコーダＡ１４−Ａ，Ｂ１４−Ｂへの入力順序を示す制御信号を出力することで、入力画像入替部１１における入力画像の入替を制御する。また、制御部１８は、例えば、各エンコーダＡ１４−Ａ，Ｂ１４−Ｂに対して符号化パラメータなどを含む制御信号を出力することで、各エンコーダＡ１４−Ａ，Ｂ１４−Ｂにおける圧縮符号化処理を制御する。さらに、制御部１８は、例えば、ＭＵＸ１７に対して出力順序を示す制御信号を出力することで、ＭＵＸ１７における多重化処理を制御する。
【００４２】
＜エンコーダの構成例＞
次に２つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂの構成例について説明する。図３はエンコーダＡ１４−Ａ，Ｂ１４−Ｂの構成例を表す図である。
【００４３】
最初にエンコーダＡ１４−Ａについて説明する。エンコーダＡ１４−Ａは、減算部１４０−Ａ、整数変換部１４１−Ａ、量子化部１４２−Ａ、エントロピー符号化部１４３−Ａ、逆量子化部１４４−Ａ、逆整数変換部１４５−Ａ、加算部１４６−Ａ、フレーム内予測部１４７−Ａを備える。また、エンコーダＡ１４−Ａは、フィルタ処理部１４８−Ａ、動き検出部１４９−Ａ、動き補償部１５０−Ａ、及びスイッチ１５１−Ａを備える。
【００４４】
減算部１４０−Ａは、外部メモリＡ１６−Ａから読み出した入力画像（以下、「フレーム」と称する場合がある）の画像データと、フレーム内予測部１４７−Ａから出力された予測画像の画像データとを減算する。減算後の画像データは、フレーム内予測画像の画像データとして入力画像に対する画面内予測（又はイントラ予測）符号化に用いられる。
【００４５】
また、減算部１４０−Ａは、外部メモリＡ１６−Ａから読み出した入力画像のマクロブロック内の画像データと、動き補償部１５０−Ａから出力された予測画像の画像データとを減算する。減算後の画像データは、入力画像に対するフレーム間予測画像の画像データとしてフレーム間予測符号化に用いられる。また、減算後の画像データは、入力画像に対する視差間予測画像の画像データとして視差補償予測符号化に用いられる。
【００４６】
整数変換部１４１−Ａは、減算部１４０−Ａから出力された、フレーム内予測の画像データ、フレーム間予測画像のデータ、又は視差間予測画像の画像データに対して、離散コサイン変換（ＤＣＴ:Discrete Cosine Transform）などを利用して周波数領域への直交変換を行う。この場合、整数変換部１４１−Ａは、内部メモリなどに記憶された整数精度のＤＣＴ変換式などを利用して直交変換を行い、直交変換後の成分（又はＤＣＴ係数）を算出する。
【００４７】
量子化部１４２−Ａは、整数変換部１４１−Ａから出力される各画像データの直交変換後の成分に対して、量子化ステップで除算した結果を整数値で丸めた量子化値を算出する。量子化部１４２−Ａは、算出した量子化値を変換係数としてエントロピー符号化部１４３−Ａと逆量子化部１４４−Ａへ出力する。量子化ステップは、量子化部１４２−Ａの内部メモリに記憶されてよい。
【００４８】
エントロピー符号化部１４３−Ａは、変換係数に対して、ハフマン符号化をベースにした可変長符号化（ＶＬＣ：Variable Length Coding）による符号化を行う。エントロピー符号化部１４３−Ａは、フレーム内予測画像に対応する可変長符号化後の変換係数をＩ（Intra）ピクチャのビットストリームとして出力する。また、エントロピー符号化部１４３−Ａは、フレーム間予測画像と視差間予測画像に対応する可変長符号化後の変換係数をＰ（Predictive）ピクチャ又はＢ（Bi-directionally predictive）ピクチャのビットストリームとして出力する。
【００４９】
Ｉピクチャは、例えば、フレーム内符号化画像であって他のピクチャを利用することなく圧縮符号化される画像である。また、Ｐピクチャは、例えば、フレーム間予測画像であって、Ｉピクチャを利用して圧縮符号化される画像である。さらに、Ｂピクチャは、例えば、双方向予測符号化画像であって、時間的に前（又は過去）のＩ（又はＰ）ピクチャと、時間的に後ろ（又は未来）のＩ（又はＰ）ピクチャを利用して圧縮符号化される画像である。
【００５０】
なお、エントロピー符号化部１４３−Ａは、動き検出部１４９−Ａで検出された動きベクトルに対しても可変長符号化を行い、可変長符号化後の変換係数をＩピクチャのビットストリーム中に含めても良い。エントロピー符号化部１４３−Ａは、変換長符号化に代えて、可変長符号化よりも圧縮効率の高いＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）による算出符号化を行ってもよい。
【００５１】
逆量子化部１４４−Ａは、量子化部１４２−Ａから出力された変換係数に対して、量子化部１４２−Ａで利用した量子化ステップを乗算することで、量子化値となる前の画像データの直交成分を算出する。量子化ステップは、逆量子化部１４４−Ａの内部メモリに記憶されてもよい。
【００５２】
逆整数変換部１４５−Ａは、逆量子化部１４４−Ａから出力された画像データの直交成分に対して、例えば、所定の演算式を利用して逆ＤＣＴ変換を行い、整数変換前の画像データを算出する。例えば、逆整数変換部１４５−Ａは、内部メモリに記憶された所定の演算式を読み出して逆ＤＣＴ変換を行うようにしてもよい。
【００５３】
加算部１４６−Ａは、逆整数変換部１４５−Ａから出力された画像データがフレーム間予測画像の画像データに対応するときは、逆整数変換部１４５−Ａからの出力画像と動き補償部１５０−Ａからの出力画像の各画像データを加算する。一方、加算部１４６−Ａは、逆整数変換部１４５−Ａから出力された画像データがフレーム内予測画像の画像データに対応するときは、スイッチ１５１−Ａからの出力を加算することなく、逆整数変換部１４５−Ａからの出力画像をそのまま出力する。
【００５４】
フレーム内予測部１４７−Ａは、加算部１４６−Ａから出力されたフレーム内予測画像におけるマクロブロック内の画像データに対して、当該マクロブロック近傍のマクロブロックから補間によって予測画像を生成する。補間モードとしては、例えば、輝度成分について４画素×４ラインの画像ブロックで９種類、１６×１６の画素ブロックで４種類、色差成分についても４種類ある。
【００５５】
フィルタ処理部１４８−Ａは、加算部１４６−Ａから出力された画像データのうち、所定の画素ブロック境界の画像データに対して、フレーム内予測画像又はフレーム間予測画像（或いは視差間予測画像）に応じて適応的に平滑化する処理を行う。これにより、例えば、整数変換部１４１−Ａなどにより生じたブロッキング歪を除去して画質劣化の伝搬を防止することができる。ただし、フィルタ処理部１４８−Ａは、処理量を考慮して、平滑化の処理を行う場合とそのまま画像データを出力する場合がある。フィルタ処理部１４８−Ａは平滑化処理を行った画像データ、又は平滑化処理を行うことなくそのまま出力した画像データを外部メモリＡ１６−Ａへ出力する。
【００５６】
動き検出部１４９−Ａは、入力画像の画像データと、逆量子化部１４４−Ａなどにより復号された画像データとに基づいて動きベクトルを検出する。動き検出部１４９−Ａは、例えば、以下のようにして動きベクトルを検出する。すなわち、入力画像の画像データは、入力画像入替部１１から外部メモリＡ１６−Ａに記憶されており、動き検出部１４９−Ａは外部メモリＡ１６−Ａから当該画像データを読み出す。また、逆量子化部１４４−Ａなどにより復号化された画像データが参照画像として外部メモリＡ１６−Ａに記憶されており、動き検出部１４９−Ａは外部メモリＡ１６−Ａから当該参照画像の画像データを読み出す。動き検出部１４９−Ａは２つの画像データに基づいて動きベクトルを検出する。検出に際して、例えば、フレーム内における符号化対象のマクロブロックに対して、フレーム上、当該マクロブロックの左、上、右上の各マクロブロックの動きベクトルが利用される。動き検出部１４９−Ａは、検出した動きベクトルと、外部メモリＡ１６−Ａから読み出した参照画像の画像データとを動き補償部１５０−Ａへ出力する。
【００５７】
動き補償部１５０−Ａは、参照画像に対して動きベクトルの分だけすらした予測画像（又は局所復号画像、或いは「参照ピクチャ」。以下では、「参照ピクチャ」と称する場合がある）の画像データを生成する。この場合、動き補償部１５０−Ａは、動き補償の対象となる画像ブロックのサイズについて、１６×１６のマクロブロックのサイズ以外にも、１６×８、４×４などのサイズを利用することもできる。動き補償部１５０−Ａは生成した予測画像のデータをスイッチ１５１−Ａへ出力する。
【００５８】
スイッチ１５１−Ａは、イントラモードが適用される場合、フレーム内予測部１４７−Ａから出力された予測画像の画像データを減算部１４０−Ａへ出力する。また、スイッチ１５１−Ａは、インターモードが適用される場合、動き補償部１５０−Ａから出力された予測画像の画像データを減算部１４０−Ａへ出力する。イントラモードが適用されるか、インターモードが適用されるかは、例えば、制御部１８からの制御信号に基づいており、スイッチ１５１−Ａはこの制御信号に基づいて切り替えを行う。
【００５９】
なお、動き検出部１４９−Ａと動き補償部１５０−Ａにより、例えば、視差補償予測も行われる。動き補償予測では、表示順で前方又は後方の同一視点の画像を参照画像としているが、視差補償予測では、ＢａｓｅＶｉｅｗの画像を参照画像としている。動き検出部１４９−Ａと動き補償部１５０−Ａは、参照画像を同一視点（例えば左目）から別視点とすることで、視差補償予測も動き補償予測も共通の処理ブロックにより動作させることができる。
【００６０】
例えば、以下のような処理が行われる。すなわち、動き検出部１４９−Ａは、エンコーダＢ１４−Ｂ側において復号された参照画像を外部メモリＡ１６−Ａから読み出し、当該参照画像と入力画像の画像データとに基づいて動きベクトルを検出する。この場合、動き検出部１４９−ＡはエンコーダＡ１４−Ａに入力される入力画像の画素ブロックと相関の高い、エンコーダＢ１４−Ｂ側において復号された参照画像の画素ブロックを、ブロックマッチングなどによって算出する。そして、動き検出部１４９−Ａは、算出したエンコーダＢ１４−Ｂ側において復号された参照画像の画素ブロックとエンコーダＡ１４−Ａに入力される入力画像の画素ブロックの各画像データに基づいて動きベクトル（又は視差ベクトル）を算出する。動き補償部１５０−Ａでは、エンコーダＢ１４−Ｂ側において復号された参照画像に対して、当該視差ベクトル分ずらした予測画像を生成し、生成した予測画像をスイッチ１５１−Ａへ出力する。
【００６１】
エンコーダＢ１４−Ｂは、減算部１４０−Ｂ、整数変換部１４１−Ｂ、量子化部１４２−Ｂ、エントロピー符号化部１４３−Ｂ、逆量子化部１４４−Ｂ、逆整数変換部１４５−Ｂ、加算部１４６−Ｂ、フレーム内予測部１４７−Ｂを備える。また、エンコーダＢ１４−Ｂは、フィルタ処理部１４８−Ｂ、動き検出部１４９−Ｂ、動き補償部１５０−Ｂ、スイッチ１５１−Ｂを備える。
【００６２】
整数変換部１４１−Ｂからスイッチ１５１−Ｂまでの処理は、例えば、エンコーダＡ１４−Ａの整数変換部１４１−Ａからスイッチ１５１−Ａまでの処理とほぼ同様である。対象となる画像データについて、エンコーダＡ１４−Ａに入力される入力画像の画像データを、エンコーダＢ１４−Ｂに入力される入力画像の画像データに代えればよい。
【００６３】
出力ストリーム選択部１７は、制御部１８からの制御信号に基づいて、エンコーダＡ１４−Ａから出力された符号化データとエンコーダＢ１４−Ｂから出力された符号化データのいずれか一方を出力する。出力ストリーム選択部１７は、例えば、図２のＭＵＸ１７に対応している。
【００６４】
なお、図２と図３に示す符号化装置１０の構成例は、２視点についての符号化装置の例を表している。３視点以上についても図２と図３と同様に多視点画像符号化装置１０を構成することができる。この場合、符号化装置１０には、視点毎にエンコーダＡ１４−Ａ，Ｂ１４−Ｂ，Ｃ１４−Ｃ，…を備え、エンコーダＡ１４−Ａ，Ｂ１４−Ｂ，Ｃ１４−Ｃ，…毎に外部メモリＡ１６−Ａ，Ｂ１６−Ｂ，Ｃ１６−Ｃ，…を備える。参照画像は、各外部メモリＡ１６−Ａ，Ｂ１６−Ｂ，Ｃ１６−Ｃ，…から他の外部メモリへ転送され、各エンコーダＡ１４−Ａ，Ｂ１４−Ｂ，Ｃ１４−Ｃ…は転送された参照画像を用いて視差補償予測を行う。
【００６５】
＜ピクチャ間の参照関係＞
次に多視点画像符号化におけるピクチャ間の参照関係について説明する。図４（Ａ）と図４（Ｂ）はＩピクチャとＰピクチャの間のＢピクチャの枚数が「２」の場合の参照関係の例を表している。ＧＯＰには、例えば、１５ピクチャなど所定ピクチャ数が含まれるが、図４（Ａ）そのうちＩピクチャとＢピクチャの間の４ピクチャ、図４（Ｂ）はＰピクチャ間の４ピクチャの参照関係の例を表している。
【００６６】
なお、図４（Ａ）のＰピクチャ以降においても、「ＰＢＢＰ」や「ＰＢＢＩ」などとＰピクチャ間においてはＢピクチャの枚数は「２」となっている構成が連続するが、その参照関係は図４（Ａ）と同様である。図４（Ｂ）においても、ＧＯＰ内には「ＰＢＢＰ」が連続して続き、その参照関係は図４（Ｂ）と同様である。
【００６７】
また、ＢａｓｅＶｉｅｗについて、ＩピクチャとＰピクチャの間の２枚のＢピクチャについて、Ｉピクチャ直後のＢピクチャ（「Ｂ０」）を「１枚目のＢピクチャ」、その直後のＢピクチャ（「Ｂ１」）を「２枚目のＢピクチャ」と称する場合がある。その後に続く、「ＰＢＢＰ」、「ＰＢＢＩ」についても同様に最初にＰピクチャ直後のＢピクチャを「１枚目のＢピクチャ」、その直後のＢピクチャを「２枚目のＢピクチャ」と称する場合がある。図４（Ｂ）においても同様である。
【００６８】
図４（Ａ）と図４（Ｂ）に示されるように、２枚のＢピクチャは時間的に前後するＩピクチャとＰピクチャを参照して符号化が行われる。ただし、ＢａｓｅＶｉｅｗは同一視点間の各ピクチャを参照するのに対して、ＮｏｎＢａｓｅＶｉｅｗは同一視点間の各ピクチャと同一時間におけるＢａｓｅＶｉｅｗの各ピクチャを参照する。図４（Ｂ）の例では、ＮｏｎＢａｓｅＶｉｅｗにはＩピクチャは存在しない。
【００６９】
図５（Ａ）と図５（Ｂ）は、ＩピクチャとＰピクチャの間、又はＰピクチャ間のＢピクチャの枚数が「３」の場合の参照関係の例をそれぞれ表している。図５（Ａ）と図５（Ｂ）の例においてＢピクチャの参照関係は、Ｂピクチャの枚数が「２」の場合と変わらず、時間的に前後するＩピクチャとＰピクチャ、又は時間的に前後するＰピクチャを参照して符号化が行われる。
【００７０】
＜動作例＞
次に動作例について説明する。動作例については、ＩピクチャとＰピクチャの間のＢピクチャの枚数Ｎと視点数Ｍとの関係によって以下の実施例１から実施例５について説明する。
【００７１】
＜実施例１  ＩＢＢＰの場合（Ｎ＝２，Ｍ＝２の場合）＞
＜実施例２  ＩＢＢＢＰの場合（Ｎ＝３，Ｍ＝２の場合）＞
＜実施例３  ＩＢＢＢＢＰの場合（Ｎ＝４，Ｍ＝２の場合）＞
＜実施例４  ＩＢＢＰの場合（Ｎ＝２，Ｍ＝３の場合）＞
＜実施例５  ＩＢＢＢＰの場合（Ｎ＝３，Ｍ＝３の場合）＞
＜実施例１  ＩＢＢＰの場合（Ｎ＝２，Ｍ＝２の場合）＞
実施例１として、ＩピクチャとＰピクチャの間のＢピクチャの枚数Ｎ＝２、視点数Ｍ＝２の場合の例について説明する。図６，図７，図８（Ａ），図１０から図１３は実施例１の動作例を表す図である。
【００７２】
＜１．実施例１における各ピクチャの関係例＞
図６は入力画像の入替がない場合の各ピクチャの関係例を表し、図７は本実施例１により入力画像の入替を行った場合の各ピクチャの関係例を表している。
【００７３】
図６について説明する。図６において、エンコーダＡ１４−Ａに入力されたり符号化される各ピクチャは実線の枠、エンコーダＢ１４−Ｂに入力されたり符号化される各ピクチャは点線の枠で示される。以降の図面も同様である。
【００７４】
エンコーダＡ１４−Ａには、入力画像の入替がない場合、ＢａｓｅＶｉｅｗ（例えば左目）の画像データが順次入力される。エンコーダＡ１４−Ａの入力画像「Ｂ０」は、ＧＯＰ内において「１」番目にエンコーダＡ１４−Ａ入力される画像データであって、当該画像データは「Ｂ」ピクチャとして符号化されることを表している。当該画像データはピクチャの参照関係上、符号化順は４番目となる。
【００７５】
ＧＯＰ内において、１番目に符号化される画像データは時間的に前のＧＯＰの「Ｂ１２」である。「Ｂ１２」は前のＧＯＰ内において「１３」番目に入力された画像データであって、Ｂピクチャとして符号化される画像データを表している。「Ｂ１２」が符号化される際に参照される２つのピクチャは「Ｐ１１」と「Ｐ１４」となる。「Ｐ１１」は前のＧＯＰの「１２」番目に入力された画像データであって、Ｐピクチャとして圧縮符号化された後、復号化された画像データである。また、「Ｐ１４」は前のＧＯＰの「１４」番目に入力された画像データであって、Ｐピクチャとして圧縮符号化された後、復号化された画像データである。エンコーダＡ１４−Ａは、符号化した「Ｂ１２」の復号画像データを外部メモリＡ１６−Ａから外部メモリＢ１６−Ｂへ転送する。
【００７６】
なお、以下においては、エンコーダＡ１４−Ａ，Ｂ１４−Ｂに入力される入力画像については、「Ｂ」や「Ｉ」、「Ｐ」と表記するが、これはＢピクチャやＩピクチャ、Ｐピクチャとして符号化される画像データを表している。また、転送画像についても「Ｂ」や「Ｉ」、「Ｐ」と表記するが、これはＢピクチャ、Ｉピクチャ、Ｐピクチャとして符号化された画像データが復号化された画像データを表している。
【００７７】
一方、エンコーダＢ１４−Ｂには、ＮｏｎＢａｓｅＶｉｅｗの入力画像「Ｂ０」がＧＯＰ内において「１」番目に入力される。「Ｂ０」もピクチャ間の参照関係から、符号化順は４番目となる。
【００７８】
ＧＯＰ内において、１番目に符号化される画像データは前のＧＯＰの「Ｂ１２」である。ただし、エンコーダＢ１４−Ｂは、ＢａｓｅＶｉｅｗの「Ｂ１２」を参照画像として用いる。そのため、エンコーダＢ１４−Ｂでは、外部メモリＡ１６−Ａから外部メモリＢ１６−Ｂへ、ＢａｓｅＶｉｅｗの「Ｂ１２」が転送されるのを待つ。そのため、エンコーダＢ１４−Ｂは、ＢａｓｅＶｉｅｗの「Ｂ１２」が符号化される１ピクチャ分の時間だけ、エンコーダＡ１４−Ａよりも遅延して符号化を開始する。ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１２」における同一視点の参照ピクチャは、ＢａｓｅＶｉｅｗの場合と同様に前ＧＯＰの「Ｐ１１」と「Ｐ１４」となる。
【００７９】
時間的な関係では、エンコーダＡ１４−Ａに「Ｂ１」が入力される時間と同一の時間において、エンコーダＢ１４−Ｂに「Ｂ０」が入力される。エンコーダＡ１４−Ａにおいて「Ｉ２」が入力される時間と同一の時間において、エンコーダＢ１４−Ｂにおいて「Ｂ１」が入力される。
【００８０】
なお、ＢａｓｅＶｉｅｗの「Ｉ２」の画像データの符号化順は入力順と同じ「３」番目であり、図６の例では、「Ｉ２」の画像データは前ＧＯＰの「Ｐ１４」を参照して符号化が行われる。
【００８１】
図６に示すように、エンコーダＡ１４−ＡにはＢａｓｅＶｉｅｗの画像データが入力される。一方、エンコーダＢ１４−ＢにはＮｏｎＢａｓｅＶｉｅｗの画像データが入力される。エンコーダＢ１４−Ｂでは、ＢａｓｅＶｉｅｗの画像データ参照することから、エンコーダＡ１４−Ａでは符号化した各ピクチャの画像データを符号化した順で外部メモリＡ１６−Ａから外部メモリＢ１６−Ｂへ転送する。例えば、エンコーダＡ１４−Ａは、ＢａｓｅＶｉｅｗの「Ｂ１２」、「Ｂ１３」、「Ｉ２」、「Ｂ０」、「Ｂ１」、「Ｐ５」、…の順番で各ピクチャの画像データを転送する。
【００８２】
この場合、エンコーダＡ１４−Ａでは符号化した全ピクチャの画像データを外部メモリＡ１６−Ａから外部メモリＢ１６−Ｂへ転送している。そのため、画像データの転送量が閾値よりも多くなる。
【００８３】
図７は本第２の実施の形態における各ピクチャの関係例を表している。図７に示すように、ＢａｓｅＶｉｅｗの「Ｂ１」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」が入れ替えられて、ＢａｓｅＶｉｅｗの「Ｂ１」がエンコーダＢ１４−Ｂへ、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」がエンコーダＡ１４−Ａへ入力される。
【００８４】
次の時間においては、ＢａｓｅＶｉｅｗの「Ｉ２」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ１」は入れ替えられずに、ＢａｓｅＶｉｅｗの「Ｉ２」はエンコーダＡ１４−Ａへ、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１」はエンコーダＢ１４−Ｂへ入力される。
【００８５】
その次の時間においては、ＢａｓｅＶｉｅｗの「Ｂ３」とＮｏｎＢａｓｅＶｉｅｗの「Ｐ２」は入れ替えられずに、ＢａｓｅＶｉｅｗの「Ｂ３」はエンコーダＡ１４−Ａへ、ＮｏｎＢａｓｅＶｉｅｗの「Ｐ２」はエンコーダＢ１４−Ｂへ入力される。
【００８６】
その次の時間においては、ＢａｓｅＶｉｅｗの「Ｂ４」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ３」は入れ替えられ、ＢａｓｅＶｉｅｗの「Ｂ４」はエンコーダＢ１４−Ｂへ、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ３」はエンコーダＡ１４−Ａへ入力される。
【００８７】
このように、Ｎ＝２、Ｍ＝２の場合、同一時間に各エンコーダＡ１４−Ａ，Ｂ１４−Ｂに入力されるＢピクチャの入力画像について入れ替えが行われている。
【００８８】
なお、図７において、エンコーダＡ１４−Ａに入力されるＢａｓｅＶｉｅｗの「Ｉ２」はＢａｓｅＶｉｅｗの「Ｐ１４」を参照して符号化される例を示している。ＢａｓｅＶｉｅｗの「Ｉ２」はＢａｓｅＶｉｅｗの「Ｐ１４」を参照しなくてもよい。また、図７において、エンコーダＢ１４−Ｂに入力されるＮｏｎＢａｓｅＶｉｅｗの「Ｐ２」についてはＮｏｎＢａｓｅＶｉｅｗの「Ｐ１４」を参照しているが、参照しなくてもよい。他の実施例についても同様である。
【００８９】
図８（Ａ）は実施例１における画像データの入替例を表す図である。ＢａｓｅＶｉｅｗの「Ｂ１」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」は同一時刻に各エンコーダＡ１４−Ａ，Ｂ１４−Ｂに入力される。従って、ＢａｓｅＶｉｅｗの「Ｂ１」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」が入れ替えられる。それ以外については入力画像の入れ替えは行われない。
【００９０】
このように入力画像の入れ替えが行われた場合の各画像データの処理順は以下のようになる。すなわち、図７に示すように、エンコーダＡ１４−Ａでは、ＧＯＰ内において２番目に入力された「Ｂ０」は入力画像の入れ替えによって入力されたＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」である。参照関係により、この「Ｂ０」の符号化順は５番目となっている。符号化順で２番目は、前ＧＯＰのＮｏｎＢａｓｅＶｉｅｗの「Ｂ１２」である。ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１２」はＢａｓｅＶｉｅｗの「Ｂ１２」を参照して符号化される。ＢａｓｅＶｉｅｗの「Ｂ１２」は、同一のエンコーダＡ１４−Ａにおいて既に符号化されているため、転送されることなく、参照画像として用いることが可能となる。
【００９１】
エンコーダＢ１４−Ｂにおいては、１番目に符号化するのは前ＧＯＰにおけるＢａｓｅＶｉｅｗの「Ｂ１３」である。この「Ｂ１３」はＢａｓｅＶｉｅｗのＢピクチャとして符号化されるため、ＢａｓｅＶｉｅｗの「Ｐ１１」と「Ｐ１４」を参照して符号化される。
【００９２】
エンコーダＢ１４−Ｂにおいては、２番目に前ＧＯＰにおけるＮｏｎＢａｓｅＶｉｅｗの「Ｂ１３」を符号化する。この場合、エンコーダＢ１４−Ｂは、ＢａｓｅＶｉｅｗの「Ｂ１３」を参照してＮｏｎＢａｓｅＶｉｅｗの「Ｂ１３」を符号化するが、ＢａｓｅＶｉｅｗの「Ｂ１３」は、同一のエンコーダＢ１４−Ｂにおいて既に符号化されている。そのため、ＢａｓｅＶｉｅｗの「Ｂ１３」は、転送されることなく参照画像として用いることが可能である。
【００９３】
他方、エンコーダＡ１４−Ａにおいては、ＢａｓｅＶｉｅｗの「Ｉ２」について符号化すると、符号化した「Ｉ２」を外部メモリＡ１６−Ａから外部メモリＢ１６−Ｂへ転送する。符号化したＢａｓｅＶｉｅｗの「Ｉ２」は、エンコーダＢ１４−Ｂにおいて符号化順が「４」番目のＢａｓｅＶｉｅｗの「Ｂ１」を符号化する際に参照される。エンコーダＢ１４−Ｂでは、ＢａｓｅＶｉｅｗの「Ｂ１」を符号化する際に、ＢａｓｅＶｉｅｗの「Ｉ２」は既に外部メモリＢ１６−Ｂに転送されているため、ＢａｓｅＶｉｅｗの「Ｂ１」を参照することが可能となる。
【００９４】
エンコーダＢ１４−Ｂにおいても、３番目に符号化するＮｏｎＢａｓｅＶｉｅｗの「Ｐ２」について符号化すると「Ｐ２」を外部メモリＢ１６−Ｂから外部メモリＡ１６−Ａへ転送する。このＮｏｎＢａｓｅＶｉｅｗの「Ｐ２」は、エンコーダＡ１４−Ａにおいて「５」番目に符号化対象となっているＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」が符号化される際に参照される。エンコーダＡ１４−Ａでは、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」を符号化する際に、ＮｏｎＢａｓｅＶｉｅｗの「Ｐ２」は外部メモリＡ１６−Ａに転送されているため、ＢａｓｅＶｉｅｗの「Ｂ０」を参照することが可能である。
【００９５】
図１２は入力画像の入替処理の例を表している。図１２は左側が条件、右側は入替処理について示されており、ＩピクチャとＰピクチャの間のＢピクチャの枚数Ｎと視点数Ｍと条件に応じて異なる入替処理となっている。実施例１では、Ｎ＝２、Ｍ＝２であり、条件（２）に該当する。条件（２）に対応する入替処理は、「同時刻のＢピクチャを１セットとし、１セット内におけるＢピクチャの各エンコーダへの入力が均等になるように入れ替える」となる。例えば、図８（Ａ）でも説明したように、ＢａｓｅＶｉｅｗの２枚目のＢピクチャ（例えば「Ｂ１」）とＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャ（例えば「Ｂ０」）が入れ替えられている。入替対象となるＢピクチャのセットは１セットであり、１セット内のＢピクチャを入れ替えることで「均等」にすることができる。このような入替処理は、条件（２）に対応する入替処理に合致する。
【００９６】
このように、本実施例１における符号化装置１０では、例えば、ＢａｓｅＶｉｅｗの２枚目のＢピクチャと、ＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャとを入れ替えるようにしている。
【００９７】
このような入力画像の入れ替えが行われることで、ＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャ（例えば「Ｂ０」）が１つのエンコーダＡ１４−Ａに集められる。従って、エンコーダＡ１４−ＡではＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャを符号化する際に、ＢａｓｅＶｉｅｗにおいて同一枚数目である１枚目のＢピクチャの外部メモリＡ１６−Ａ，Ｂ１６−Ｂ間の転送を待つことなく、符号化可能となっている。
【００９８】
また、ＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの２枚目のＢピクチャ（例えば「Ｂ１」）が１つのエンコーダＢ１４−Ｂに集められる。従って、エンコーダＢ１４−Ｂでは、ＮｏｎＢａｓｅＶｉｅｗの２枚目のＢピクチャを符号化する際に、ＢａｓｅＶｉｅｗにおいて同一枚数目である２枚目のＢピクチャの外部メモリＡ１６−Ａ，Ｂ１６−Ｂ間の転送を待つことなく、符号化可能となっている。
【００９９】
このように入力画像の入れ替えによって、同一枚数目のＢピクチャが１つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂに集められ、符号化可能となることで、各エンコーダＡ１４−Ａ，Ｂ１４−Ｂは、ＢａｓｅＶｉｅｗのＢピクチャを転送しなくてもよくなる。
【０１００】
従って、本実施例２の符号化装置１０は、ＢａｓｅＶｉｅｗのＢピクチャの転送がなくなることで、全ピクチャの転送を行う場合（例えば図１４）と比較して、転送データのデータ量を少なくさせることができる。２つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂは、転送データ量が少なくなることで、図１４の例と比較して画像データの転送に費やす処理も少なくなり、処理負荷も少なくなる。
【０１０１】
また、外部メモリＡ１６−Ａ，Ｂ１６−Ｂ間で転送される画像データのデータ量も、図１４の場合と比較して少なくなることから、エンコーダＡ１４−Ａ，Ｂ１４−Ｂでは外部メモリＡ１６−Ａ，Ｂ１６−Ｂへのアクセス回数も軽減される。処理負荷やアクセス回数が軽減されることで、符号化装置１０の消費電力削減を図ることもできる。なお、図７の例ではメモリ間のデータ転送量は、図６の場合と比較して１／３となる。
【０１０２】
＜２．実施例１における動作例＞
次に、図１０から図１３を利用して動作例について説明する。図１０と図１１は実施例１における動作例を表すフローチャートである。
【０１０３】
図１０に示すように、符号化装置１０は処理を開始すると（Ｓ１０）、入力された画像がＢａｓｅＶｉｅｗの入力画像か否かを判別する（Ｓ１１）。例えば、制御部１８は以下のようにして判別する。すなわち、入力画像入替部１１の２つの入力端子に関して、第１の入力端子は左目画像の画像データが入力される入力端子、第２の入力端子は右目画像の画像データが入力される入力端子となっている。制御部１８は、第１の入力端子に入力された入力画像はＢａｓｅＶｉｅｗの入力画像であると判別し、第２の入力端子に入力された入力画像はＮｏｎＢａｓｅＶｉｅｗの入力画像であると判別する。
【０１０４】
符号化装置１０は、入力画像がＢａｓｅＶｉｅｗの入力画像のとき（Ｓ１１でＹＥＳ）、条件に基づいて入力画像の入替処理を行う（Ｓ１２）。一方、入力画像がＮｏｎＢａｓｅＶｉｅｗの入力画像のとき（Ｓ１１でＮＯ）も、条件に基づいて入力画像の入替処理を行う（Ｓ１４）。いずれの入替処理においても（Ｓ１２，Ｓ１４）、入替処理に従って、ＢａｓｅＶｉｅｗの入力画像をエンコーダＡ１４−Ａ又はエンコーダＢ１４−Ｂへ出力し、ＮｏｎＢａｓｅＶｉｅｗの入力画像をエンコーダＡ１４−Ａ又はエンコーダＢ１４−Ｂへ出力する（Ｓ１３，Ｓ１５）。
【０１０５】
入替処理（Ｓ１２，Ｓ１４）における条件は図１２に示す条件である。実施例１では、条件（２）であって、条件（２）に対応する入替処理は「同時刻のＢピクチャを１セットとし、１セット内におけるＢピクチャの各エンコーダへの入力を入れ替える」となる。具体的には、符号化装置１０では、ＢａｓｅＶｉｅｗの２枚目のＢピクチャと、ＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャとを入れ替える入替処理となる。
【０１０６】
図１３は、入替処理（Ｓ１２，Ｓ１４）の具体例を含むフローチャートである。Ｓ１２の入替処理はＳ１２０とＳ１２１に対応し、Ｓ１４の入替処理はＳ１２２とＳ１２３に対応する。図１３においてそれ以外の処理は図１０と同様である。
【０１０７】
図１３を用いて入替処理について説明する。入力画像がＢａｓｅＶｉｅｗのとき（Ｓ１１でＹＥＳ）、符号化装置１０は入力画像が参照される画像か否かを判別する（Ｓ１２０）。例えば、入力画像入替部１１は、入力順序を示す制御信号を受け取り、入力順序と入力画像の順番とに基づいて、参照される画像、すなわちＩ（又はＰ）ピクチャか否かを判別する。例えば、図７の例では、３番目の入力画像は「Ｉ２」、４番目の入力画像は「Ｂ３」であることから、入力画像入替部１１は３番目に入力した入力画像を参照される画像（Ｓ１２０でＹＥＳ）と判別し、４番目に入力した入力画像を参照される画像ではない（Ｓ１２０でＮＯ）と判別する。
【０１０８】
図１３に戻り、符号化装置１０は、ＢａｓｅＶｉｅｗとして入力した入力画像が参照される画像のとき（Ｓ１２０でＹＥＳ）、入力画像をエンコーダＡ１４−Ａへ出力する（Ｓ１３）。
【０１０９】
一方、符号化装置１０は、ＢａｓｅＶｉｅｗとして入力した入力画像が参照される画像ではないとき（Ｓ１２０でＮＯ）、入力画像が１枚目のＢピクチャか否かを判別する（Ｓ１２１）。例えば、入力画像入替部１１は、制御部１８からの入力順序と入力画像の入力順に基づいて１枚目のＢピクチャか否かを判別する。
【０１１０】
符号化装置１０は、入力画像が１枚目のＢピクチャのとき（Ｓ１２１でＹＥＳ）、入力画像をエンコーダＡ１４−Ａへ出力する（Ｓ１３）。一方、符号化装置１０は、入力画像が１枚目のＢピクチャではなく２枚目のＢピクチャのとき（Ｓ１２１でＮＯ）、入力画像を入れ替えて、エンコーダＢ１４−Ｂへ出力する（Ｓ１５）。
【０１１１】
一方、符号化装置１０は、ＮｏｎＢａｓｅＶｉｅｗとして入力した入力画像について参照される画像のとき（Ｓ１２２でＹＥＳ）、入力画像をエンコーダＢ１４−Ｂへ出力する（Ｓ１５）。他方、符号化装置１０は、ＮｏｎＢａｓｅＶｉｅｗとして入力した入力画像が参照画像ではないとき（Ｓ１２２でＮＯ）、２枚目のＢピクチャか否かを判別する（Ｓ１２３）。
【０１１２】
符号化装置１０は、入力画像が２枚目のＢピクチャのとき（Ｓ１２３でＹＥＳ）、入力画像をエンコーダＢ１４−Ｂへ出力する。一方、符号化装置１０は、入力画像が１枚目のＢピクチャのとき（Ｓ１２３でＮＯ）、入力画像を入れ替えて、入力画像をエンコーダＡ１４−Ａへ出力する（Ｓ１３）。Ｓ１２２とＳ１２３の処理も、Ｓ１２０とＳ１２１の処理と同様に、例えば、入力画像入替部１１が制御部１８からの入力順序と入力画像の入力順とに基づいて判別可能である。Ｓ１６以降の処理は図１０と同様である。
【０１１３】
図１０に戻り、符号化装置１０は、符号化対象の画像データがＢａｓｅＶｉｅｗの画像データか否かを判別する（Ｓ１６）。例えば、エンコーダＡ１４−Ａにおいても、制御部１８から入力順序を受け取り、当該入力順序と、入力画像入替部１１から受け取った入力画像の入力順に基づいてＢａｓｅＶｉｅｗの画像データか否かは判別可能である。
【０１１４】
エンコーダＡ１４−Ａは、符号化対象の画像データがＢａｓｅＶｉｅｗの画像データのとき（Ｓ１６でＹＥＳ）、当該画像データに対してＢａｓｅＶｉｅｗの符号化処理を行う（Ｓ１７）。ＢａｓｅＶｉｅｗの符号化処理とは、例えば、ＮｏｎＢａｓｅＶｉｅｗの画像データを参照することなく、同一視点であるＢａｓｅＶｉｅｗの画像データを用いて圧縮符号化処理を行うことである。
【０１１５】
一方、エンコーダＡ１４−Ａは、符号化対象がＢａｓｅＶｉｅｗの画像ではなくＮｏｎＢａｓｅＶｉｅｗの画像のとき（Ｓ１６でＮＯ）、当該画像データに対してＮｏｎＢａｓｅＶｉｅｗの符号化処理を行う（Ｓ１８）。ＮｏｎＢａｓｅＶｉｅｗの符号化処理とは、例えば、同一視点であるＮｏｎＢａｓｅＶｉｅｗと他の視点であるＢａｓｅＶｉｅｗの各画像データを用いて符号化処理を行うことである。
【０１１６】
エンコーダＡ１４−ＡはＢａｓｅＶｉｅｗの符号化処理とＮｏｎＢａｓｅＶｉｅｗの符号化処理を行うと、符号化済の画像データはエンコーダＢ１４−Ｂにおいて参照される画像か否かを判別する（図１１のＳ２０）。エンコーダＢ１４−ＢにおいてはＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの画像データに対して符号化処理が行われる。上述したようにＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗのＢピクチャの同一枚数目の画像データは、入力画像の入れ替えによって、１つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂに集められるため転送されなくてもよい。従って、エンコーダＢ１４−Ｂにおいて参照される画像は、エンコーダＢ１４−ＢにおいてＮｏｎＢａｓｅＶｉｅｗのＰピクチャを符号化する際に参照するＢａｓｅＶｉｅｗのＩピクチャとＰピクチャとなる。例えば、エンコーダＡ１４−Ａは、制御部１８から符号化順序を示す制御信号を受け取って、当該符号化順に基づいて、符号化済の画像がＢａｓｅＶｉｅｗのＩピクチャ又はＰピクチャか否かを判別する。
【０１１７】
エンコーダＡ１４−Ａは、符号化済の画像データがエンコーダＢ１４−Ｂにおいて参照される画像データのとき（Ｓ２０でＹＥＳ）、当該画像データを参照画像として外部メモリＢ１６−Ｂへ転送する（Ｓ２１）。
【０１１８】
次に、エンコーダＡ１４−Ａは、全ピクチャについて符号化処理を行ったか否かを判別し（Ｓ２２）、全ピクチャについて符号化処理を行ったときは（Ｓ２２でＹＥＳ）、一連の処理を完了する（Ｓ２３）。例えば、エンコーダＡ１４−Ａからの符号化順序や入力順序に基づいて、符号化したピクチャ数をカウントするなどして全ピクチャについて符号化処理を行ったか否かを判別してもよい。
【０１１９】
一方、エンコーダＡ１４−Ａは、符号化済の画像データはエンコーダＢ１４−Ｂにおいて参照される画像ではないとき（Ｓ２０）、Ｓ１１へ移行して上述した処理を繰り返す。
【０１２０】
また、エンコーダＡ１４−Ａは、全ピクチャについて符号化処理を行っていないとき（Ｓ２２でＮＯ）、Ｓ１１へ移行して上述した処理を繰り返す。
【０１２１】
他方、エンコーダＢ１４−Ｂに入力された画像データに対して、エンコーダＢ１４−Ｂも符号化対象の画像データがＢａｓｅＶｉｅｗの画像データか否かを判別する（図１０のＳ２４）。
【０１２２】
エンコーダＢ１４−Ｂは、符号化対象の画像データがＢａｓｅＶｉｅｗの画像データのとき（Ｓ２４でＹＥＳ）、当該画像データに対してＢａｓｅＶｉｅｗの符号化処理を行う（Ｓ２５）。また、エンコーダＢ１４−Ｂは、符号化対象の画像データがＮｏｎＢａｓｅＶｉｅｗの画像データのとき（Ｓ２４でＮＯ）、当該画像データに対してＮｏＢａｓｅＶｉｅｗの符号化処理を行う（Ｓ２６）。
【０１２３】
次に、エンコーダＢ１４−Ｂは、符号化済の画像データがエンコーダＡ１４−Ａにおいて参照される画像データか否かを判別する（図１１のＳ２７）。エンコーダＢ１４−Ｂは、符号化済の画像データがエンコーダＡ１４−Ａにおいて参照される画像データのとき（Ｓ２７でＹＥＳ）、当該画像データを参照画像として外部メモリＡ１６−Ａへ転送する（Ｓ２８）。エンコーダＡ１４−Ａにおいては、ＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの画像データに対して符号化処理が行われる。上述したようにＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗのＢピクチャの同一枚数目の画像データは、入力画像の入れ替えによって、１つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂに集められるためＢピクチャは転送されなくてもよい。また、ＢａｓｅＶｉｅｗのＰピクチャは入力画像の入れ替えなくエンコーダＡ１４−Ａにおいて符号化されるため、当該Ｐピクチャは転送対象ではない。従って、エンコーダＡ１４−Ａにおいて参照される画像は、エンコーダＡ１４−ＡにおいてＮｏｎＢａｓｅＶｉｅｗのＰピクチャを符号化する際に参照するＮｏｎＢａｓｅＶｉｅｗのＰピクチャとなる。
【０１２４】
例えば、エンコーダＢ１４−Ｂは、制御部１８から符号化順序を示す制御信号を受け取って、当該符号化順に基づいて、符号化済の画像がＮｏｎＢａｓｅＶｉｅｗのＰピクチャか否かを判別し、当該Ｐピクチャを転送対象とする（Ｓ２７でＹＥＳ、Ｓ２８）。他方、エンコーダＢ１４−Ｂは、符号化済の画像がＮｏｎＢａｓｅＶｉｅｗ以外のピクチャのときは転送することなくＳ１１へ移行する（Ｓ２７でＮＯ）。
【０１２５】
次に、エンコーダＢ１４−Ｂは、参照画像を転送後、全ピクチャについて符号化処理を行ったか否かを判別し（Ｓ２９）、全ピクチャについて符号化処理を行ったとき（Ｓ２９でＹＥＳ）、一連の処理を完了する（Ｓ２３）。一方、エンコーダＢ１４−Ｂは、全ピクチャについて符号化処理を行っていないとき（Ｓ２９でＮＯ）、Ｓ１１へ移行して上述した処理を繰り返す。
【０１２６】
また、エンコーダＢ１４−Ｂは、符号化済の画像データがエンコーダＡ１４−Ａにおいて参照される画像ではないと判別したとき（Ｓ２７でＮＯ）、Ｓ１１へ移行して上述した処理を繰り返す。
【０１２７】
＜実施例２  ＩＢＢＢＰの場合（Ｎ＝３，Ｍ＝２の場合）＞
次に実施例２について説明する。実施例２は、ＩピクチャとＰピクチャの間のＢピクチャの枚数Ｎ＝３であって、視点数ＭはＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの２視点の例である。
【０１２８】
＜１．実施例２における各ピクチャの関係例＞
図１４は入力画像の入替がない場合の各ピクチャの関係例を表し、図１５は実施例２により入力画像の入替が行われた場合の各ピクチャの関係例を表している。
【０１２９】
図１４について説明する。実施例１と比較して、実施例２ではＢピクチャの枚数Ｎが１つ増え、Ｂピクチャの参照関係などが異なっている。
【０１３０】
ＧＯＰ内において１番目にエンコーダＡ１４−Ａに入力されるＢａｓｅＶｉｅｗの「Ｂ０」は、参照関係で４番目に符号化され、１番目に符号化されるＢａｓｅＶｉｅｗの「Ｂ１２」は、前ＧＯＰの「Ｂ１２」である。当該「Ｂ１２」はＢａｓｅＶｉｅｗにおける前ＧＯＰの「Ｐ１１」と「Ｐ１４」を参照する。エンコーダＡ１４−Ａは、符号化したＢａｓｅＶｉｅｗの「Ｂ１２」を、外部メモリＢ１６−Ｂへ転送する。
【０１３１】
また、エンコーダＡ１４−Ａにおいて２番目に符号化されるＢａｓｅＶｉｅｗの「Ｂ１３」は、前ＧＯＰの「Ｂ１３」であって、ＢａｓｅＶｉｅｗにおける前ＧＯＰの「Ｐ１１」と「Ｐ１４」を参照して符号化される。エンコーダＡ１４−Ａは、符号化後の「Ｂ１３」を外部メモリＢ１６−Ｂへ転送する。
【０１３２】
エンコーダＢ１４−Ｂでは、ＮｏｎＢａｓｅＶｉｅｗの各ピクチャを参照し、更に、外部メモリＢ１６−Ｂに転送されたＢａｓｅＶｉｅｗの画像データも参照して、各ピクチャを符号化する。例えば、エンコーダＢ１４−Ｂにおいては、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１２」が１番目に符号化される。ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１２」は、前ＧＯＰの「Ｂ１２」であって、ＮｏｎＢａｓｅＶｉｅｗにおける前ＧＯＰの「Ｐ１１」と「Ｐ１５」を参照して符号化される。この場合、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１２」は、外部メモリＢ１６−Ｂに転送されたＢａｓｅＶｉｅｗの「Ｂ１２」も参照して符号化される。
【０１３３】
図１４に示すように、エンコーダＡ１４−Ａは符号化した全ピクチャの画像データを外部メモリＢ１６−Ｂへ転送する。そのため、画像データの転送量が閾値よりも多くなっている。
【０１３４】
図１５は本実施例２における各ピクチャの関係例を表している。図１５に示すように、ＢａｓｅＶｉｅｗの「Ｂ１」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」が入れ替えられ、エンコーダＡ１４−ＡにＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」、エンコーダＢ１４−ＢにＢａｓｅＶｉｅｗの「Ｂ１」が入力される。また、ＢａｓｅＶｉｅｗの「Ｉ３」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ２」が入れ替えられ、エンコーダＡ１４−ＡにＮｏｎＢａｓｅＶｉｅｗの「Ｂ２」、エンコーダＢ１４−ＢにＢａｓｅＶｉｅｗの「Ｉ３」が入力される。
【０１３５】
図８（Ｂ）は実施例２における各ピクチャの入替例を表す図である。ＢａｓｅＶｉｅｗの２枚目の「Ｂ１」とＮｏｎＢａｓｅＶｉｅｗの１枚目の「Ｂ０」は同一時刻で入力されるものであり、この２つの画像が入れ替えられている。また、ＢａｓｅＶｉｅｗの４枚目の「Ｉ３」とＮｏｎＢａｓｅＶｉｅｗの３枚目の「Ｂ２」は同一時刻で入力され、この２つの画像が入れ替えられている。
【０１３６】
図１２は実施例２の入替処理の例を表している。実施例２の場合、Ｎ＝３、Ｍ＝２であり、図１２では条件（１）に対応する入替処理となる。本実施例２における条件（１）の入替処理は「ただし、Ｎ＝３のときはＢａｓｅＶｉｅｗの２枚目のＢピクチャと、ＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャを入れ替え、ＢａｓｅＶｉｅｗのＩ（又はＰ）ピクチャとＮｏｎＢａｓｅＶｉｅｗの同時刻のＢピクチャを入れ替える」である。図８（Ｂ）の入替例と比較すると、ＢａｓｅＶｉｅｗの２枚目のＢピクチャ（図８（Ｂ）の例では「Ｂ１」）とＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャ（図８（Ｂ）の例では「Ｂ０」）が入れ替えられる。また、ＢａｓｅＶｉｅｗのＩピクチャ（図８（Ｂ）の例では「Ｉ３」）とＮｏｎＢａｓｅＶｉｅｗの同時刻のＢピクチャ（図８（Ｂ）の例では「Ｂ２」）とが入れ替えられる。
【０１３７】
このように入力画像が入れ替えられた場合において各画像データの処理順は例えば以下のようになる。
【０１３８】
すなわち、図１５に示すように、エンコーダＡ１４−Ａにおいて１番目に符号化するＢａｓｅＶｉｅｗの「Ｂ１２」については、前ＧＯＰのＢａｓｅＶｉｅｗの「Ｂ１２」であって、前ＧＯＰにおけるＢａｓｅＶｉｅｗの「Ｐ１１」と「Ｐ１５」を参照して符号化される。符号化されたＢａｓｅＶｉｅｗの「Ｂ１２」は外部メモリＢ１６−Ｂへ転送されない。符号化されたＢａｓｅＶｉｅｗの「Ｂ１２」は、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１２」が符号化される際に参照されるが、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１２」の画像データは入力画像の入れ替えによりエンコーダＡ１４−Ａに入力されているからである。
【０１３９】
エンコーダＡ１４−Ａにおいて２番目に符号化されるＮｏｎＢａｓｅＶｉｅｗの「Ｂ１２」は、ＮｏｎＢａｓｅＶｉｅｗの「Ｐ１１」と「Ｐ１５」を参照し、更に、ＢａｓｅＶｉｅｗの「Ｂ１２」を参照して符号化される。ＢａｓｅＶｉｅｗの「Ｂ１２」は既にエンコーダＡ１４−Ａにおいて符号化されているため、この「Ｂ１２」を利用して符号化することができる。
【０１４０】
一方、エンコーダＢ１４−Ｂにおいては１番目に符号化されるＢａｓｅＶｉｅｗの「Ｂ１３」はＢａｓｅＶｉｅｗの「Ｐ１１」と「Ｐ１５」を参照して符号化される。符号化されたＢａｓｅＶｉｅｗの「Ｂ１３」は、外部メモリＡ１６−Ａへ転送されない。符号化されたＢａｓｅＶｉｅｗの「Ｂ１３」は、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１３」が符号化される際に参照されるが、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１３」は入エンコーダＢ１４−Ｂに入力されているからである。
【０１４１】
エンコーダＢ１４−Ｂにおいては、３番目に符号化するＢａｓｅＶｉｅｗの「Ｉ３」については、ＢａｓｅＶｉｅｗの前ＧＯＰにおける「Ｐ１５」を参照している。エンコーダＢ１４−Ｂは、符号化した「Ｉ３」を外部メモリＡ１６−Ａへ転送する。このＢａｓｅＶｉｅｗの「Ｉ３」は、エンコーダＡ１４−Ａにおいて、５番目に符号化するＢａｓｅＶｉｅｗの「Ｂ４」を符号化する際に参照される。
【０１４２】
このように本実施例２において符号化装置１０は、例えば、ＢａｓｅＶｉｅｗの２枚目のＢピクチャとＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャを入れ替えて、ＢａｓｅＶｉｅｗのＩ（又はＰ）ピクチャとＮｏｎＢａｓｅＶｉｅｗの同時刻のＢピクチャを入れ替えている。
【０１４３】
このような入力画像の入替が行われることで、ＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャ（例えば「Ｂ０」）は、１つのエンコーダＡ１４−Ａに集められる。またＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの３枚目のＢピクチャ（例えば「Ｂ２」）についても１つのエンコーダＡ１４−Ａに集められる。一方、ＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの２枚目のＢピクチャ（例えば「Ｂ１」）は、１つのエンコーダＢ１４−Ｂに集められる。
【０１４４】
このように入力画像の入れ替えによって、同一枚数目のＢピクチャが１つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂに集められ、符号化可能となることで、各エンコーダＡ１４−Ａ，Ｂ１４−Ｂは、ＢａｓｅＶｉｅｗのＢピクチャを転送しなくてもよくなる。
【０１４５】
従って、本実施例２の符号化装置１０は、ＢａｓｅＶｉｅｗのＢピクチャの転送がなくなることで、全ピクチャの転送を行う場合（例えば図１４）と比較して、転送データのデータ量の削減を図ることができる。２つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂは、転送データ量が少なくなることで、図１４の例と比較して画像データの転送に費やす処理も少なくなり、処理負荷も少なくなる。
【０１４６】
また、外部メモリＡ１６−Ａ，Ｂ１６−Ｂ間で転送される画像データのデータ量も、図１４の場合と比較して少なくなることから、エンコーダＡ１４−Ａ，Ｂ１４−Ｂでは外部メモリＡ１６−Ａ，Ｂ１６−Ｂへのアクセス量の少なくなる。従って、メモリアクセスの回数の軽減を図ることも可能となる。
【０１４７】
＜２．実施例２の動作例＞
図１０は実施例２の動作例を示している。この場合の入力画像の入替処理（Ｓ１２，Ｓ１４）は、上述した図１２に示す条件（１）となる。例えば、符号化装置１０は以下の処理を行う。
【０１４８】
すなわち、符号化装置１０はＢａｓｅＶｉｅｗの入力画像について、２枚目のＢピクチャとＩ（又はＰ）ピクチャをエンコーダＢ１４−Ｂへ出力する（Ｓ１２，Ｓ１５）。また、符号化装置１０は、ＢａｓｅＶｉｅｗの入力画像について、４枚目のＩピクチャをエンコーダＢ１４−Ｂへ出力する（Ｓ１２，Ｓ１５）。符号化装置１０は、ＢａｓｅＶｉｅｗの入力画像についてそれ以外の画像データについてはエンコーダＡ１４−Ａへ出力する（Ｓ１２，Ｓ１３）。
【０１４９】
一方、符号化装置１０は、ＮｏｎＢａｓｅＶｉｅｗの入力画像について、１枚目のＢピクチャと３枚目のＢピクチャをエンコーダＡ１４−Ａへ出力し（Ｓ１４，Ｓ１３）、それ以外の画像データをエンコーダＢ１４−Ｂへ出力する（Ｓ１４，Ｓ１５）。
【０１５０】
以上の処理によって、符号化装置１０は条件（１）に合致した画像の入れ替えを行うことができる。なお、図１０に示すＳ１６以降の処理は実施例１と同様に実施できる。
【０１５１】
＜実施例３  ＩＢＢＢＢＰの場合（Ｎ＝４，Ｍ＝２の場合）＞
次に実施例３について説明する。実施例３は、ＩピクチャとＰピクチャの間のＢピクチャの枚数Ｎ＝４であって、視点数ＭはＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの２視点の例である。
【０１５２】
＜１．実施例３における各ピクチャの関係例＞
図１６は入力画像の入れ替えがない場合の各ピクチャの関係例を表し、図１７は本実施例３により入力画像の入れ替えが行われた場合の各ピクチャの関係例を表している。
【０１５３】
図１６について説明する。実施例３についても、実施例１と比較して、Ｂピクチャの枚数Ｎが２つ増えて、Ｂピクチャの参照関係などが異なっている。
【０１５４】
ＧＯＰ内において１番目にエンコーダＡ１４−Ａに入力されるＢａｓｅＶｉｅｗの「Ｂ０」は参照関係によって６番目に符号化される。エンコーダＡ１４−ＡにおいてＧＯＰ内で１番目に符号化されるのはＢａｓｅＶｉｅｗの「Ｂ１０」であって、この「Ｂ１０」はＢａｓｅＶｉｅｗにおける前ＧＯＰの「Ｂ１０」である。ＢａｓｅＶｉｅｗの「Ｂ１０」は、ＢａｓｅＶｉｅｗにおける前ＧＯＰの「Ｐ９」と「Ｐ１４」を参照して符号化される。符号化されたＢａｓｅＶｉｅｗの「Ｂ１０」は、外部メモリＢ１６−Ｂへ転送される。
【０１５５】
また、エンコーダＡ１４−Ａにおいて２番目に符号化されるＢａｓｅＶｉｅｗの「Ｂ１１」は、ＢａｓｅＶｉｅｗにおける前ＧＯＰの「Ｂ１１」であって、ＢａｓｅＶｉｅｗにおける前ＧＯＰの「Ｐ９」と「Ｐ１４」を参照して符号化される。符号化されたＢａｓｅＶｉｅｗの「Ｂ１１」は外部メモリＢ１６−Ｂへ転送される。
【０１５６】
一方、エンコーダＢ１４−Ｂは、ＮｏｎＢａｓｅＶｉｅｗにおける前ＧＯＰの「Ｂ１０」が１番目に符号化され、ＮｏｎＢａｓｅＶｉｅｗにおける前ＧＯＰの「Ｐ９」と「Ｐ１４」を参照し、更に、ＢａｓｅＶｉｅｗの「Ｂ１０」も参照して符号化される。エンコーダＢ１４−Ｂでは、ＮｏｎＢａｓｅＶｉｅｗの各画像を符号化する際にＢａｓｅＶｉｅｗの各画像も参照する。
【０１５７】
図１６に示すように、エンコーダＡ１４−ＡはＢａｓｅＶｉｅｗの符号化された全ピクチャを外部メモリＢ１６−Ｂへ転送する。そのため、画像データの転送量が閾値よりも多くなっている。
【０１５８】
図１７は本実施例３における各ピクチャの関係例を表している。図１７に示すように、ＢａｓｅＶｉｅｗの「Ｂ１」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」が入れ替えられ、エンコーダＡ１４−ＡにはＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」、エンコーダＢ１４−ＢにはＢａｓｅＶｉｅｗの「Ｂ１」が入力される。また、ＢａｓｅＶｉｅｗの「Ｂ３」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ２」が入れ替えられ、エンコーダＡ１４−ＡにはＮｏｎＢａｓｅＶｉｅｗの「Ｂ２」、エンコーダＢ１４−ＢにはＢａｓｅＶｉｅｗの「Ｂ３」が入力される。
【０１５９】
図９は実施例３における各ピクチャの入替例を表している。ＢａｓｅＶｉｅｗの「Ｂ１」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」は同一時刻で入力されるものであり、この２つのＢピクチャが入れ替えられている。また、ＢａｓｅＶｉｅｗの「Ｂ３」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ２」は同一時刻で入力されるものであり、この２つのＢピクチャが入れ替えられている。
【０１６０】
図１２は入替条件の例を表している。実施例３では、Ｎ＝４、Ｍ＝２であり、条件（１）に対応する入替処理となる。条件（１）に対応する入替処理は、「同時刻のＢピクチャを１セットとし、１セット内におけるＢピクチャの各エンコーダへの入力を１セット毎に入れ替える」というものである。図９の例では、ＢａｓｅＶｉｅｗの「Ｂ１」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」は同一時刻で入力されるものであり、１セットとすることができ、この画像を入替対象とする。ＢａｓｅＶｉｅｗの「Ｂ２」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ１」は同一時刻で入力されるもので１セットとすることができるが、１セット毎に入れ替ることになるため、本セットは入替対象とはならない。ＢａｓｅＶｉｅｗの「Ｂ３」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ２」は同一時刻のＢピクチャであって、１セットとすることができ、１セット毎に該当するため、本セットは入替対象とすることができる。
【０１６１】
このように入力画像が入れ替えられた場合において各画像データの処理順は例えば以下のようになる。
【０１６２】
すなわち、図１７に示すように、エンコーダＡ１４−Ａにおいて１番目に符号化するＢａｓｅＶｉｅｗの「Ｂ１０」は、前ＧＯＰにおけるＢａｓｅＶｉｅｗの「Ｂ１０」であって、前ＧＯＰにおけるＢａｓｅＶｉｅｗの「Ｐ９」と「Ｐ１４」を参照して符号化される。符号化されたＢａｓｅＶｉｅｗの「Ｂ１０」は外部メモリＢ１６−Ｂへ転送されない。符号化されたＢａｓｅＶｉｅｗの「Ｂ１０」は、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１０」が符号化される際に参照されるが、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１０」は入力画像の入替によりエンコーダＡ１４−Ａに入力されているからである。
【０１６３】
エンコーダＡ１４−Ａにおいて２番目に符号化するＢａｓｅＶｉｅｗの「Ｂ１０」は、前ＧＯＰにおけるＮｏｎＢａｓｅＶｉｅｗの「Ｐ９」と「Ｐ１４」を参照し、更に、ＢａｓｅＶｉｅｗの「Ｂ１０」を参照して符号化される。ＢａｓｅＶｉｅｗの「Ｂ１０」は既にエンコーダＡ１４−Ａにおいて符号化されているため、この「Ｂ１０」を利用した符号化は可能となっている。
【０１６４】
一方、エンコーダＢ１４−Ｂにおいては１番目に符号化するＢａｓｅＶｉｅｗの「Ｂ１１」は、ＢａｓｅＶｉｅｗの前ＧＯＰの「Ｐ９」と「Ｐ１４」を参照している。エンコーダＢ１４−Ｂは、符号化したＢａｓｅＢｉｅｗの「Ｂ１１」を外部メモリＡ１６−Ａへ転送しない。符号化されたＢａｓｅＶｉｅｗの「Ｂ１１」は、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１１」が符号化される際に参照されるが、ＮｏｎＢａｓｅＶｉｅｗの「Ｂ１１」はエンコーダＢ１４−Ｂに入力されているからである。
【０１６５】
このように実施例３において符号化装置１０は、ＢａｓｅＶｉｅｗの２枚目のＢピクチャとＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャを入れ替え、ＢａｓｅＶｉｅｗの４枚目のＢピクチャとＮｏｎＢａｓｅＶｉｅｗの３枚目のＢピクチャを入れ替えている。
【０１６６】
このような入力画像の入替により、同一枚数目のＢピクチャが１つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂに集められ、符号化可能となることで、各エンコーダＡ１４−Ａ，Ｂ１４−ＢはＢａｓｅＶｉｅｗのＢピクチャを転送しなくてもよくなる。
【０１６７】
従って、本実施例３の符号化装置１０は、ＢａｓｅＶｉｅｗのＢピクチャの転送がなくなることで、全ピクチャの転送を行う場合（例えば図１６）と比較して、転送データのデータ量の削減を図ることができる。２つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂは、転送データ量が少なくなることで、図１６の例と比較して画像データの転送に費やす処理も少なくなり、処理負荷も少なくなる。
【０１６８】
また、外部メモリＡ１６−Ａ，Ｂ１６−Ｂ間で転送される画像データのデータ量も、図１６の場合と比較して少なくなることから、エンコーダＡ１４−Ａ，Ｂ１４−Ｂでは外部メモリＡ１６−Ａ，Ｂ１６−Ｂへのアクセス量の少なくなる。従って、メモリアクセスへの軽減を図ることも可能となる。
【０１６９】
＜２．実施例３の動作例＞
図１０は実施例３の動作例を示している。この場合の入力画像の入替処理（Ｓ１２，Ｓ１４）は、上述した図１２に示す条件（１）となる。例えば、符号化装置１０は以下の処理を行う。
【０１７０】
すなわち、符号化装置１０はＢａｓｅＶｉｅｗの入力画像について、２枚目のＢピクチャと４枚目のＢピクチャをエンコーダＢ１４−Ｂへ出力する（Ｓ１２，Ｓ１５）。符号化装置１０は、ＢａｓｅＶｉｅｗの入力画像についてそれ以外の画像データについてはエンコーダＡ１４−Ａへ出力する（Ｓ１２，Ｓ１３）。
【０１７１】
一方、符号化装置１０はＮｏｎＢａｓｅＶｉｅｗの入力画像について、１枚目のＢピクチャと３枚目のＢピクチャをエンコーダＡ１４−Ａへ出力し（Ｓ１４，Ｓ１３）、それ以外の画像データをエンコーダＢ１４−Ｂへ出力する（Ｓ１４，Ｓ１５）。
【０１７２】
以上の処理によって、符号化装置１０は条件（１）に合致した画像の入替を行うことができる。なお、図１０に示すＳ１６以降の処理は実施例１と同様に実施できる。
【０１７３】
＜実施例４  ＩＢＢＰの場合（Ｎ＝２，Ｍ＝３の場合）＞1
次に実施例４について説明する。実施例４は、ＩピクチャとＰピクチャの間のＢピクチャの枚数Ｎ＝２であって、視点数はＢａｓｅＶｉｅｗと２つのＮｏｎＢａｓｅＶｉｅｗの３視点の例である。
【０１７４】
＜１．実施例４における各ピクチャの関係例＞
図１８は入力画像の入れ替えがない場合の各ピクチャの関係例を表し、図１９は実施例４により入力画像の入れ替えが行われた場合の各ピクチャの関係例を表している。
【０１７５】
図１８について説明する。本実施例４は、実施例１と比較して、Ｂピクチャの枚数Ｎは同数であるが、視点数が１つ増えた例である。視点数が１つ増えたことで、符号化装置１０内においてはエンコーダＣ１４−Ｃと外部メモリＣ１６−Ｃが更に備えられる。
【０１７６】
図１８に示すようにエンコーダＡ１４−ＡではＢａｓｅＶｉｅｗについての各ピクチャを符号化すると、符号化した各ピクチャを外部メモリＢ１６−Ｂへ転送する。エンコーダＢ１４−Ｂでは、ＮｏｎＢａｓｅＶｉｅｗの画像データを符号化する際にＢａｓｅＶｉｅｗの各画像を参照する。エンコーダＢ１４−Ｂは、参照に利用したＢａｓｅＶｉｅｗの各画像を外部メモリＣ１６−Ｃへ転送する。
【０１７７】
エンコーダＣ１４−Ｃには、エンコーダＢ１４−Ｂに入力されるＮｏｎＢａｓｅＶｉｅｗとは異なる視点のＮｏｎＢａｓｅＶｉｅｗの各画像が入力される。エンコーダＣ１４−Ｃにおいても、ＮｏｎＢａｓｅＶｉｅｗの画像データを符号化する際にＢａｓｅＶｉｅｗの各画像を参照する。エンコーダＣ１４−Ｃにおいても、外部メモリＣ１６−ＣにＢａｓｅＶｉｅｗの各画像が転送されるのを待って処理を開始するため、エンコーダＢ１４−Ｂよりも１ピクチャ分遅れて処理を開始する。
【０１７８】
各エンコーダＡ１４−Ａ〜Ｃ１４−Ｃは、例えば、処理を開始するタイミングが異なるだけであって、各エンコーダＡ１４−Ａ〜Ｃ１４−Ｃにおける各ピクチャの入力順と符号化順は同一となっている。
【０１７９】
図１８に示す例においては、エンコーダＡ１４−Ａは、符号化したＢａｓｅＶｉｅｗの全ピクチャの画像データを外部メモリＢ１６−Ｂへ転送する。また、エンコーダＢ１４−Ｂも、転送されてきたＢａｓｅＶｉｅｗの全ピクチャの画像データを外部メモリＣ１６−Ｃへ転送する。このため、画像データの転送量が閾値よりも多くなっている。
【０１８０】
図１９は実施例４における各ピクチャの関係例を表している。図１９に示すように、エンコーダＡ１４−ＡとエンコーダＢ１４−Ｂにおいて各々入力されるＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの各画像が入れ替えられる。これらの２つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂ間で行われる入力画像の入替処理は、実施例２と同様である。この場合、エンコーダＣ１４−Ｃに対しては入力画像の入替が行われない。
【０１８１】
図１２は実施例４の入替処理の例を表している。実施例４では、Ｎ＝２、Ｍ＝３であり、条件（３）に対応する入替処理となる。条件（３）に対応する入替処理は、「Ｎ番目のエンコーダまでの処理は条件（２）の処理と同じであり、残ったＭ−Ｎ個のエンコーダは入れ替えなし」というものである。Ｎ＝２、Ｍ＝３の場合、２番目のエンコーダＢ１４−Ｂまでの処理は実施例１と同じであり、残った１個のエンコーダＣ１４−Ｃは入れ替えなし、となる。すなわち、２つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂにおいて同一時刻に入力されるＢピクチャに関する入力画像を入れ替えるようにしている。具体的には、図８（Ａ）などに示されるように、ＢａｓｅＶｉｅｗの２枚目のＢピクチャとＮｏｎＢａｓｅＶｉｅｗの１枚目のＢピクチャの入れ替えが行われる。
【０１８２】
エンコーダＡ１４−ＡとエンコーダＢ１４−Ｂにおける画像データの処理の順番は実施例１と同様である。また、エンコーダＣ１４−Ｃの処理順は、入力画像の入替は行われないため、図１８の例と同様の処理順となっている。
【０１８３】
このように実施例４では、２つのエンコーダＡ１４−ＡとエンコーダＢ１４−Ｂ間において、実施例１と同様に、同一時刻に入力されるＢピクチャに関する入力画像を入れ替えるようにしている。これにより、本符号化装置１０では、実施例１と同様に、ＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの同一枚数目の入力画像が１つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂに集められる。例えば、ＢａｓｅＶｉｅｗの「Ｂ０」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」の入力画像がエンコーダＡ１４−Ａに集められ、ＢａｓｅＶｉｅｗの「Ｂ１」とＮｏｎＢａｓｅＶｉｅｗの「Ｂ１」がエンコーダＢ１４−Ｂに集められる。これにより、１つのエンコーダＡ１４−Ａ，Ｂ１４−ＢにおいてＢａｅｓＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗの同一枚数目の入力画像に対して符号化が可能となり、ＢａｓｅＶｉｅｗのＢピクチャを転送させることなく参照することが可能となる。従って、本符号化装置１０では、ＢａｓｅＶｉｅｗのＢピクチャを転送させることがなくなり、全ピクチャの画像データを転送させる場合（例えば図１８）と比較して、画像データの転送量を削減させることが可能となる。また、本符号化装置１０では、Ｂピクチャの転送がなくなるため、全ピクチャを転送させる場合と比較して、外部メモリＡ１６−Ａ，Ｂ１６−Ｂに対するアクセスの回数も軽減される。
【０１８４】
＜２．実施例４における動作例＞
図１０は実施例４の動作例を示している。この場合の入力画像の入替処理（Ｓ１２，Ｓ１４）について、エンコーダＡ１４−ＡとエンコーダＢ１４−Ｂに対しては、図１３に示すＳ１２０〜Ｓ１２３の処理を行えばよい。エンコーダＣ１４−Ｃに対してはＮｏｎＢａｓｅＶｉｅｗの入力画像を全てエンコーダＣ１４−Ｃへ出力させるようにすればよい。
【０１８５】
以上の処理によって、符号化装置１０は条件（１）に対応した入替処理を行うことができ、実施例１と同様の処理（Ｓ１２，Ｓ１４）を行うことができる。なお、図１０に示すＳ１６以降の処理は実施例１と同様に実施できる。
【０１８６】
＜実施例５  ＩＢＢＢＰの場合（Ｎ＝３，Ｍ＝３の場合）＞
次に実施例５について説明する。実施例５は、ＩピクチャとＰピクチャの間のＢピクチャの枚数Ｎ＝３、視点数ＭはＢａｓｅＶｉｅｗと２つのＮｏｎＢａｅｓＶｉｅｗの３視点の例である。実施例５においても、実施例４と同様に、符号化装置１０には、更に、エンコーダＣ１４−Ｃと外部メモリＣ１６−Ｃを備える。
【０１８７】
＜１．実施例５における各ピクチャの関係例＞
図２０は入力画像の入替がない場合の各ピクチャの関係例、図２１は実施例５により入力画像の入替が行われた場合の各ピクチャの関係例を表している。
【０１８８】
図２０について説明する。エンコーダＡ１４−ＡにはＢａｓｅＶｉｅｗの入力画像が入力され、エンコーダＢ１４−Ｂには２つのＮｏｎＢａｓｅＶｉｅｗの画像のうち一方が入力される。エンコーダＡ１４−ＡとエンコーダＢ１４−Ｂにおける各ピクチャの関係は、実施例２の入力画像の入替がない場合の例（例えば図１４）と同様である。外部メモリＡ１６−Ａから外部メモリＢ１６−Ｂへの画像データの転送も同様に、符号化された全ピクチャが転送される。エンコーダＢ１４−Ｂにおいては、ＢａｓｅＶｉｅｗの画像データを参照するため、ＢａｓｅＶｉｅｗの画像データが転送されるのを待って処理を行う。このため、エンコーダＢ１４−Ｂは、エンコーダＡ１４−Ａよりも１ピクチャ遅れて処理を開始する。また、エンコーダＢ１４−Ｂは、ＢａｓｅＶｉｅｗの画像データを外部メモリＣ１４−Ｃへ転送する。
【０１８９】
また、エンコーダＣ１４−Ｃには、エンコーダＢ１４−Ｂに入力される画像とは別視点の他方のＮｏｎＢａｓｅＶｉｅｗの画像が入力される。エンコーダＣ１４−Ｃも、ＢａｓｅＶｉｅｗの画像データを参照してＮｏｎＢａｓｅＶｉｅｗの画像の符号化を行う。そのため、エンコーダＣ１４−Ｃにおいても、ＢａｓｅＶｉｅｗの画像データが転送されるのを待って処理を開始するため、エンコーダＢ１４−Ｂよりも１ピクチャ分遅れて処理を開始する。
【０１９０】
各エンコーダＡ１４−Ａ〜Ｃ１４−Ｃは、例えば、処理を開始するタイミングが異なるだけであって各ピクチャの入力順と符号化順は同一となっている。
【０１９１】
図２０に示すように、エンコーダＡ１４−ＡもエンコーダＢ１４−ＢもＢａｓｅＶｉｅｗの全ピクチャを転送するため、符号化装置１０全体における画像データの転送量は閾値よりも多くなっている。
【０１９２】
図２１は実施例５における各ピクチャの関係例を表している。実施例５の例では、視点数Ｍ＝３でＢピクチャの枚数Ｎ＝３となり、図１２に示す入力画像の入替処理は条件（２）に対応する入替処理となる。従って、実施例５における入力画像の入替処理は、「同一時刻に入力されるＢピクチャどうしを１セットとし、１セット内におけるＢピクチャの各エンコーダへの入力が均等になるように入れ替える」処理となる。
【０１９３】
図２３は実施例５における入力画像の入替例を表す図である。図２３に示すように、エンコーダＢ１４−Ｂに入力される予定のＮｏｎＢａｓｅＶｉｅｗを「ＮｏｎＢａｓｅＶｉｅｗ＃１」、エンコーダＣ１４−Ｃに入力される予定のＮｏｎＢａｓｅＶｉｅｗを「ＮｏｎＢａｓｅＶｉｅｗ＃２」と称する場合がある。
【０１９４】
ＢａｓｅＶｉｅｗの「Ｂ１」とＮｏｎＢａｓｅＶｉｅｗ＃１の「Ｂ０」は同一時刻に入力されるＢピクチャどうしである。従って、この２つのＢピクチャが入れ替えられる。
【０１９５】
また、ＢａｓｅＶｉｅｗの「Ｂ２」、ＮｏｎＢａｓｅＶｉｅｗ＃１の「Ｂ１」、ＮｏｎＢａｅＶｉｅｗ＃２の「Ｂ０」も同一時刻で入力される。この場合、「各エンコーダへの入力が均等になるように入れ替え」が行われるように、ＢａｓｅＶｉｅｗの「Ｂ２」とＮｏｎＢａｅＶｉｅｗ＃２の「Ｂ０」とが入れ替えられる。
【０１９６】
さらに、ＮｏｎＢａｓｅＶｉｅｗ＃１の「Ｂ２」とＮｏｎＢａｓｅＶｉｅｗ＃２の「Ｂ１」は同一時刻に入力されるＢピクチャどうしであるため、この２つの入力画像の入替が行われる。
【０１９７】
このような入替により、図２１に示すように、ＢａｓｅＶｉｅｗの「Ｂ０」と２つのＮｏｎＢａｓｅＶｉｅｗの「Ｂ０」はエンコーダＡ１４−Ａに入力される。また、ＢａｓｅＶｉｅｗの「Ｂ１」と２つのＮｏｎＢａｓｅＶｉｅｗの「Ｂ１」はエンコーダＢ１４−Ｂに入力される。また、ＢａｓｅＶｉｅｗの「Ｂ２」、２つのＮｏｎＢａｓｅＶｉｅｗの「Ｂ２」はエンコーダＣ１４−Ｃに入力される。これにより、各エンコーダＡ１４−Ａ〜Ｃ１４−Ｃへの入力が「均等」になる。
【０１９８】
従って、本実施例５においても、実施例１などと同様に、同一枚数目のＢピクチャが１つのエンコーダＡ１４−Ａ〜Ｃ１４−Ｃに集められる。これにより、例えば、各エンコーダＡ１４−Ａ〜Ｃ１４−Ｃでは、ＢａｓｅＶｉｅｗのＢピクチャを転送させることなく、符号化することが可能となる。従って、本符号化装置１０では、ＢａｓｅＶｉｅｗのＢピクチャを転送させることもなくなり、全ピクチャを転送させる場合と比較して、データ転送量の削減を図ることができる。また、本符号化装置１０では、Ｂピクチャの転送がなくなるため、全ピクチャを転送させる場合と比較して、外部メモリＡ１６−Ａ〜Ｃ１６−Ｃに対するアクセスの回数も軽減される。
【０１９９】
＜２．実施例５における動作例＞
図２２は実施例５の動作例を示している。実施例５においては、エンコーダＣ１４−Ｃへの入力画像の入替があることから、エンコーダＣ１４−Ｃへの入力処理（Ｓ３１）が追加される。また、エンコーダＣ１４−Ｃにおいて、Ｓ１６からＳ１８と同様に、エンコーダＣ１４−Ｃに入力された画像に対してＢａｓｅＶｉｅｗとＮｏｎＢａｓｅＶｉｅｗに応じた符号化処理を行う（Ｓ３２）。更に、エンコーダＣ１４−Ｃは、Ｓ２０〜Ｓ２２と同様に、符号化されたピクチャが参照ピクチャ（ＩピクチャとＰピクチャ）の場合は当該ピクチャを転送させる（Ｓ３３）。また、エンコーダＣ１４−Ｃは、全ピクチャについて符号化を終了するとＳ２３へ移行し、終了していない場合はＳ１１へ移行する。
【０２００】
図２２におけるＢａｓｅＶｉｅｗの入力画像の入替処理（Ｓ１２）は、図２３に示されるように、２枚目のＢピクチャ（例えば「Ｂ１」）をエンコーダＢ１４−Ｂ、３枚目のＢピクチャ（例えば「Ｂ２」）をエンコーダＣ１４−Ｃへ出力させるようにすればよい。
【０２０１】
また、図２２におけるＮｏｎＢａｓｅＶｉｅｗ＃１の入力画像の入れ替え（Ｓ１４）は、図２３に示されるように、１枚目のＢピクチャ（例えば「Ｂ０」）をエンコーダＡ１４−Ａへ、３枚目のＢピクチャ（例えば「Ｂ２」）をエンコーダＣ１４−Ｃへ出力させるようにすればよい。
【０２０２】
さらに、図２２に示されるようにＮｏｎＢａｓｅＶｉｅｗ＃２の入力画像の入れ替え（Ｓ１４）は、図２３に示されるように、１枚目のＢピクチャ（例えば「Ｂ０」）をエンコーダＡ１４−Ａ，２枚目のＢピクチャ（例えば「Ｂ１」）をエンコーダＢ１４−Ｂへ出力させるようにすればよい。
【０２０３】
以上の処理によって、符号化装置１０は条件（２）に合致した入力画像の入替を行うことができる。なお、それ以外の処理（Ｓ１６〜Ｓ２９）については実施例１と同様に実施することができる。すなわち、各エンコーダＡ１４−Ａ〜Ｃ１４−Ｃでは、他のエンコーダにおいて参照画像（ＩピクチャやＰピクチャ）を符号化した場合、参照画像を他の外部メモリへ転送すればよい。
【０２０４】
［その他の実施の形態］
次にその他の実施の形態について説明する。上述した第２の実施の形態では符号化装置１０の例について説明した。例えば、符号化された画像データを復号化する復号化装置においても適用可能である。図２４は多視点画像復号化装置（以下、「復号化装置」と称する場合がある）の構成例を表す図である。復号化装置２０は、ＤＥＭＵＸ（De-Multiplexer：分配部）２１、ＭＶＣデコーダ２２、外部メモリＡ２６−Ａ，Ｂ２６−Ｂ、出力画像入替部２７、制御部２８、及び表示装置２９を備える。
【０２０５】
ＤＥＭＵＸ２１は、符号化装置１０のエンコーダＡ１４−Ａで符号化された符号化データをデコーダＡ２４−Ａへ出力し、エンコーダＢ１４−Ｂで符号化された符号化データをデコーダＢ２４−Ｂへ出力する。
【０２０６】
デコーダＡ２４−Ａは、エンコーダＡ１４−Ａで符号化された符号化データに対して、復号処理を行って符号化する前の画像データを復号する。一方、デコーダＢ２４−Ｂは、エンコーダＢ１４−Ｂで符号化された符号化データに対して、復号処理を行って符号化する前の画像データを復号する。いずれのデコーダＡ２４−Ａ，Ｂ２４−Ｂにおいても、ＢａｓｅＶｉｅｗの画像データを復号する場合は、ＢａｓｅＶｉｅｗの参照画像（ＩピクチャとＰピクチャ）を参照して復号する。ＢａｓｅＶｉｅｗの参照画像は、例えば、外部メモリＡ２６−Ａ，Ｂ２６−Ｂ間で適宜転送される。また、いずれのデコーダＡ２４−Ａ，Ｂ２４−Ｂにおいても、ＮｏｎＢａｓｅＶｉｅｗの画像データを復号する場合は、ＮｏｎＢａｓｅＶｉｅｗの参照画像とＢａｓｅＶｉｅｗの画像を参照して復号する。ＮｏｎＢａｓｅＶｉｅｗの参照画像も外部メモリＡ２６−Ａ，Ｂ２６−Ｂ間で適宜転送される。
【０２０７】
出力画像入替部２７は、制御部２８の制御によって、復号後の画像データを入れ替える。この入替処理は、符号化装置１０における入力画像の入替処理に対応しており、第１の出力端子からはＢａｓｅＶｉｅｗの画像データ、第２の出力端子からはＮｏｎＢａｓｅＶｉｅｗの画像データを出力する。出力画像の入替処理は、例えば、入力画像の入替処理と逆の処理を行うようにすればよい。表示装置２９は、左目画像としてＢａｓｅＶｉｅｗの画像、右目画像としてＮｏｎＢａｓｅＶｉｅｗの画像が表示される。
【０２０８】
制御部２８は、ＤＥＭＵＸ２１、ＭＶＣデコーダ２２、出力画像入替部２７の各部を制御する。
【０２０９】
復号化装置２０においては、同一枚数目のＢピクチャどうしが１つのエンコーダＡ１４−Ａ，Ｂ１４−Ｂで符号化された符号化データとして１つのデコーダＡ２４−Ａ，Ｂ２４−Ｂで入力することができる。従って、各デコーダＡ２４−Ａ，Ｂ２４−Ｂは、ＮｏｎＢａｓｅＶｉｅｗの復号化の際に、ＢａｓｅＶｉｅｗのＢピクチャの画像データを転送させることなく参照することができる。よって、ＢａｓｅＶｉｅｗの全ピクチャの画像データを転送させる場合と比較して、ＢａｓｅＶｉｅｗのＢピクチャは転送されない分、転送データのデータ量の削減を図ることができる。また、転送データ量も削減されるため、外部メモリＡ２６−Ａ，Ｂ２６−Ｂのメモリアクセスの回数も軽減される。
【０２１０】
図２５（Ａ）は符号化装置１０、図２５（Ｂ）は復号化装置２０のハードウェア構成例を表す図である。
【０２１１】
符号化装置１０は、更に、ＳＷ（Switch）１１０、エンコーダ用ＬＳＩ（Large Scale Integration）１２０、ＣＰＵ（Central Processing Unit）１８０を備える。
【０２１２】
ＣＰＵ１８０は、ＲＯＭ（Read Only Memory）などのメモリに記憶されたプログラムを実行することで、ＳＷ１１０に対して入力画像の入替を指示する制御信号を出力したり、ＬＳＩ１２０に対して符号化処理の開始や符号化パラメータなどを含む制御信号を出力したりする。また、ＣＰＵ１８０は、当該プログラムを実行することでＭＵＸ１７に対してどの符号化データを選択して出力するかを示す制御信号を出力する。ＣＰＵ１８０は、例えば、第２の実施の形態における制御部１８に対応する。
【０２１３】
また、ＳＷ１１０は、例えば、第２の実施の形態における入力画像入替部１１に対応する。更に、ＬＳＩ１２０は、例えば、第２の実施の形態におけるＭＶＣエンコーダ１２に対応する。ただし、ＬＳＩ１２０については、例えば、エンコーダＡ１４−Ａ，Ｂ１４−Ｂ毎にＬＳＩがあってもよいし、ＬＳＩ１２０に代えてＤＳＰ（Digital Processing Unit）やＦＰＧＡ（Field Programmable Gate array）などであってもよい。
【０２１４】
復号化装置２０は、更に、デコーダ用ＬＳＩ２２０、ＳＷ２７０、及びＣＰＵ２８０を備える。
【０２１５】
ＣＰＵ２８０は、ＲＯＭなどのメモリに記憶されたプログラムを読み出して実行することで、ＤＥＭＵＸ２１に対してどの符号化データをＬＳＩ２２０へ出力するかを示す制御信号を出力したり、ＬＳＩ２２０に対して復号化処理の開始や復号パラメータなどを含む制御信号を出力したりする。また、ＣＰＵ２８０はＳＷ２７０に対して出力画像の入替順番などを指示する制御信号を出力する。ＣＰＵ２８０は、例えば、第２の実施の形態における制御部２８に対応する。
【０２１６】
また、ＳＷ２７０は、例えば、第２の実施の形態における出力画像入替部２７に対応する。更に、ＬＳＩ２２０は、例えば、第２の実施の形態におけるＭＶＣデコーダ２２に対応する。ただし、ＬＳＩ２２０については、例えば、デコーダＡ２４−Ａ，Ｂ２４−Ｂ毎にＬＳＩがあってもよいし、ＬＳＩ２２０に代えてＤＳＰやＦＰＧＡなどであってもよい。
【０２１７】
上述した実施例１から実施例５については、Ｂピクチャの枚数Ｎと視点数Ｍについて一部の例について説明した。実施例１から実施例５で説明した枚数Ｎ以外の枚数であってもよいし、実施例１から実施例５で説明した視点数Ｍ以外の視点数であってもよい。いずれの場合も、符号化装置１０においては図１２に示す条件に応じた入力画像の入替処理を行うようにすればよい。
【０２１８】
以上まとめると付記のようになる。
【０２１９】
（付記１）
第１の視点に対応する第１の画像データを前記第１の視点に対応する他の画像データを参照して又は参照しないで圧縮符号化し、
第２の視点に対応する第２の画像データを前記第１の画像データを参照して又は前記第１の画像データと前記第２の視点に対応する他の画像データを参照して圧縮符号化する多視点画像符号化装置において、
前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データを入れ替える入力画像入替部と、
前記第２の視点に対応する第２の画像データと、前記第１の視点に対応する第１の画像データ以外の第３の画像データを圧縮符号化する第１の圧縮符号化処理部と、
前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データ以外の第４の画像データを圧縮符号化する第２の圧縮符号化処理部と
を備える多視点画像符号化装置。
【０２２０】
（付記２）
前記入力画像入替部は、前記第１及び第２の圧縮符号化処理部に同一時間に夫々入力される双方向予測符号化画像である前記第１の視点に対応する第１の画像データと前記第２の視点に対応する第２の画像データを入れ替えることを特徴とする付記１記載の多視点画像符号化装置。
【０２２１】
（付記３）
前記入力画像入替部は、視点数と、フレーム内符号化画像と一方向のフレーム間予測符号化画像の間、一方向のフレーム間予測符号化画像の間、又は一方向のフレーム間予測符号化画像とフレーム内予測符号化画像の間にある予測符号化画像の枚数に基づいて前記第１の視点に対応する第１の画像データと前記第２の視点に対応する第２の画像データを入れ替えることを特徴とする付記１記載の多視点画像符号化装置。
【０２２２】
（付記４）
前記入力画像入替部は、フレーム内符号化画像と一方向のフレーム間予測符号化画像の間、一方向のフレーム間予測符号化画像の間、又は一方向のフレーム間予測符号化画像とフレーム内予測符号化画像の間にある第１及び第２の予測符号化画像のうち、前記第１の予測符号化画像である前記第１の視点に対応する第１の画像データと前記第２の予測符号化画像である前記第２の視点に対応する第２の画像データとを入れ替えることを特徴とする付記１記載の多視点画像符号化装置。
【０２２３】
（付記５）
前記入力画像入替部は、フレーム内符号化画像と一方向のフレーム間予測符号化画像の間、一方向のフレーム間予測符号化画像の間、又は一方向のフレーム間予測符号化画像とフレーム内予測符号化画像の間にある第１から第３の予測符号化画像のうち、前記第２の予測符号化画像である前記第１の視点に対応する第１の画像データと前記第１の予測符号化画像である前記第２の視点に対応する第２の画像データとを入れ替えて、更に、フレーム内符号化画像又はフレーム間予測符号化画像である前記第１の視点に対応する第１の画像データと前記第３の予測符号化画像である前記第２の視点に対応する第２の画像データとを入れ替えることを特徴とする付記１記載の多視点画像符号化装置。
【０２２４】
（付記６）
前記入力画像入替部は、フレーム内符号化画像と一方向のフレーム間予測符号化画像の間、一方向のフレーム間予測符号化画像の間、又は一方向のフレーム間予測符号化画像とフレーム内予測符号化画像の間にある第１から第４の予測符号化画像のうち、前記第２の予測符号化画像である前記第１の視点に対応する第１の画像データと前記第１の予測符号化画像である前記第２の視点に対応する第２の画像データとを入れ替えて、更に、前記第４の予測符号化画像である前記第１の視点に対応する第１の画像データと、前記第３の予測符号化画像である前記第２の視点に対応する第２の画像データとを入れ替えることを特徴とする付記１記載の多視点画像符号化装置。
【０２２５】
（付記７）
更に、第３の視点に対応する第５の画像データを前記第１の視点に対応する第１の画像データを参照して又は前記第１の視点に対応する第１の画像データと前記第３の視点に対応する第５の画像データ以外の第６の画像データを参照して圧縮符号化する第３の圧縮符号化処理部を備えることを特徴とする付記１記載の多視点画像符号化装置。
【０２２６】
（付記８）
前記入力画像入替部は、フレーム内符号化画像と一方向のフレーム間予測符号化画像の間、一方向のフレーム間予測符号化画像の間、又は一方向のフレーム間予測符号化画像とフレーム内予測符号化画像の間にある第１から第３の予測符号化画像のうち、前記第２の予測符号化画像である前記第１の視点に対応する第１の画像データと前記第１の予測符号化画像である前記第２の視点に対応する第２の画像データとを入れ替え、前記第３の予測符号化画像である前記第１の視点に対応する第１の画像データと前記第１の予測符号化画像である前記第３の視点に対応する第５の画像データとを入れ替え、更に、前記第３の予測符号化画像である前記第２の視点に対応する第２の画像データと前記第２の予測符号化画像である前記第３の視点に対応する第５の画像データとを入れ替え、
前記第１の圧縮符号化処理部は、前記第１の予測符号化画像である前記第１の視点に対応する第１の画像データ、前記第１の予測符号化画像である前記第２の視点に対応する第２の画像データ、及び前記第１の予測符号化画像である前記第３の視点に対応する第５の画像データを圧縮符号化し、
前記第２の圧縮符号化処理部は、前記第２の予測符号化画像である前記第１の視点に対応する第１の画像データ、前記第２の予測符号化画像である前記第２の視点に対応する第２の画像データ、及び前記第２の予測符号化画像である前記第３の視点に対応する第５の画像データを圧縮符号化し、
前記第３の圧縮符号化処理部は、前記第３の予測符号化画像である前記第１の視点に対応する第１の画像データ、前記第３の予測符号化画像である前記第２の視点に対応する第２の画像データ、及び前記第３の予測符号化画像である前記第３の視点に対応する第５の画像データを圧縮符号化する付記７記載の多視点画像符号化装置。
【０２２７】
（付記９）
入力画像入替部と、第１及び第２に圧縮符号化処理部を備え、第１の視点に対応する第１の画像データを前記第１の視点に対応する他の画像データを参照して又は参照しないで圧縮符号化し、
第２の視点に対応する第２の画像データを前記第１の画像データを参照して又は前記第１の画像データと前記第２の視点に対応する他の画像データを参照して圧縮符号化する多視点画像符号化装置における多視点画像符号化方法であって、
前記入力画像入替部によって、前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データを入れ替え、
前記第１の圧縮符号化処理部によって、前記第２の視点に対応する第２の画像データと、前記第１の視点に対応する第１の画像データ以外の第３の画像データを圧縮符号化し、
前記第２の圧縮符号化処理部により、前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データ以外の第４の画像データを圧縮符号化する
ことを特徴とする多視点画像符号化方法。
【０２２８】
（付記１０）
第１の視点に対応する第１の画像データを前記第１の視点に対応する他の画像データを参照して又は参照しないで圧縮符号化し、
第２の視点に対応する第２の画像データを前記第１の画像データを参照して又は前記第１の画像データと前記第２の視点に対応する他の画像データを参照して圧縮符号化するコンピュータにおいて、
前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データを入れ替える処理と、
前記第２の視点に対応する第２の画像データと、前記第１の視点に対応する第１の画像データ以外の第３の画像データを圧縮符号化する処理と、
前記第１の視点に対応する第１の画像データと、前記第２の視点に対応する第２の画像データ以外の第４の画像データを圧縮符号化する処理と
を前記コンピュータに実行させることを特徴とするプログラム。
【符号の説明】
【０２２９】
１０：多視点画像符号化装置            １１：入力画像入替部
１２：ＭＶＣエンコーダ                １４−Ａ，１４−Ｂ：エンコーダＡ，Ｂ
１６−Ａ，１６−Ｂ：外部メモリＡ，Ｂ  １７：ＭＵＸ（出力ストリーム選択部）
１８：制御部                          ２０：多視点画像復号化装置
２２：ＭＶＣデコーダ                  ２７：出力画像入替部
２８：制御部                          １１０：ＳＷ
１２０：ＬＳＩ                        １８０：ＣＰＵ
【図１】
2017063347.tif 000003
【図２】
2017063347.tif 000004
【図３】
2017063347.tif 000005
【図４】
2017063347.tif 000006
【図５】
2017063347.tif 000007
【図６】
2017063347.tif 000008
【図７】
2017063347.tif 000009
【図８】
2017063347.tif 000010
【図９】
2017063347.tif 000011
【図１０】
2017063347.tif 000012
【図１１】
2017063347.tif 000013
【図１２】
2017063347.tif 000014
【図１３】
2017063347.tif 000015
【図１４】
2017063347.tif 000016
【図１５】
2017063347.tif 000017
【図１６】
2017063347.tif 000018
【図１７】
2017063347.tif 000019
【図１８】
2017063347.tif 000020
【図１９】
2017063347.tif 000021
【図２０】
2017063347.tif 000022
【図２１】
2017063347.tif 000023
【図２２】
2017063347.tif 000024
【図２３】
2017063347.tif 000025
【図２４】
2017063347.tif 000026
【図２５】
2017063347.tif 000027