(57)【要約】【課題】  多視点の画像を符号化する際の視点間予測符号化において、局所復号画像が生成されるのを待つことによる符号化遅延が発生していた。【解決手段】  画像符号化装置は、多視点カメラで撮像した画像を、所定の画像の領域を有する画素ブロックごとに、符号化する画像符号化装置であって、多視点カメラにおける複数の視点の配置に関する配置情報を取得し、配置情報と画素ブロックを処理する順序の情報とに基づいて、多視点カメラの少なくとも１つの視点を基準視点として設定し、基準視点から取得した画像を符号化すると共に、その符号化された画像を復号して局所復号画像を生成し、基準視点と異なる視点から取得した画像を、局所復号画像を参照画像として符号化する。【選択図】  図１
2013223142.tif 000002
【特許請求の範囲】
【請求項１】
多視点カメラで撮像した画像のそれぞれを、所定の画像の領域を有する画素ブロックごとに、符号化する画像符号化装置であって、
前記多視点カメラにおける複数の視点の配置に関する配置情報を取得する取得手段と、
前記配置情報と前記画素ブロックを処理する順序の情報とに基づいて、前記多視点カメラの少なくとも１つの視点を基準視点として設定する設定手段と、
前記基準視点から取得した画像を前記画素ブロックごとに符号化すると共に、その符号化された画像を復号して局所復号画像を生成する第１の符号化手段と、
前記基準視点と異なる視点から取得した画像を、前記局所復号画像を参照画像として前記画素ブロックごとに符号化する第２の符号化手段と、
を有することを特徴とする画像符号化装置。
【請求項２】
前記設定手段は、前記配置情報が前記複数の視点が水平に配置されていることを示すと共に前記順序の情報が右に存在する画素ブロックほど後に処理されることを示す場合は、最も右に配置された視点を、前記基準視点とする、
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記設定手段は、前記配置情報が前記複数の視点が垂直に配置されていることを示すと共に前記順序の情報が下に存在する画素ブロックほど後に処理されることを示す場合は、最も下に配置された視点を、前記基準視点とする、
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記複数の視点が垂直に配置されていることを前記配置情報が示す場合は、水平方向に連続する前記画素ブロックが連続して処理されるように前記順序を決定する決定手段をさらに有する、
ことを特徴とする請求項１又は３に記載の画像符号化装置。
【請求項５】
前記決定手段は、前記複数の視点が垂直に配置されていることを前記配置情報が示す場合は、前記第１の符号化手段と前記第２の符号化手段とにおいて、前記画素ブロックが水平方向において逆の順で処理されるように前記順序を決定する、
ことを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記複数の視点が水平に配置されていることを前記配置情報が示す場合は、垂直方向に連続する前記画素ブロックが連続して処理されるように前記順序を決定する決定手段をさらに有する、
ことを特徴とする請求項１又は２に記載の画像符号化装置。
【請求項７】
前記決定手段は、前記複数の視点が水平に配置されていることを前記配置情報が示す場合は、前記第１の符号化手段と前記第２の符号化手段とにおいて、前記画素ブロックが垂直方向において逆の順で処理されるように前記順序を決定する、
ことを特徴とする請求項６に記載の画像符号化装置。
【請求項８】
前記複数の視点が水平に配置されていることを前記配置情報が示す場合に、当該複数の視点から取得した画像を右に９０度だけ回転させる回転手段をさらに有し、
前記画像符号化装置は、前記回転を施した後の画像の水平方向に連続する前記画素ブロックについて連続して符号化する、
ことを特徴とする請求項１から３のいずれか１項に記載の画像符号化装置。
【請求項９】
前記取得手段は、被写体と前記多視点カメラとの距離の情報をさらに取得し、
前記第２の符号化手段は、前記画素ブロックに含まれる被写体が前記所定の距離より離れている場合は、前記局所復号画像を用いずにその画素ブロックを符号化する、
ことを特徴とする請求項１から３のいずれか１項に記載の画像符号化装置。
【請求項１０】
前記第２の符号化手段は、前記画素ブロックに含まれる被写体が前記所定の距離より離れている場合は、画面内予測符号化または画面間予測符号化によりその画素ブロックを符号化する、
ことを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
多視点カメラで撮像した画像を、所定の画像の領域を有する画素ブロックごとに、符号化する画像符号化装置における画像符号化方法であって、
取得手段が、前記多視点カメラにおける複数の視点の配置に関する配置情報を取得する取得工程と、
設定手段が、前記配置情報と前記画素ブロックを処理する順序の情報とに基づいて、前記多視点カメラの少なくとも１つの視点を基準視点として設定する設定工程と、
第１の符号化手段が、前記基準視点から取得した画像を符号化すると共に、その符号化された画像を復号して局所復号画像を生成する第１の符号化工程と、
第２の符号化手段が、前記基準視点と異なる視点から取得した画像を、前記局所復号画像を参照画像として符号化する第２の符号化工程と、
を有することを特徴とする画像符号化方法。
【請求項１２】
コンピュータを請求項１から１０のいずれか１項に記載の画像符号化装置が備える各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点から取得された映像を圧縮符号化する、画像符号化装置、画像符号化方法及びプログラムに関する。
【背景技術】
【０００２】
近年、２眼カメラで撮影した立体映像コンテンツが普及し始めている。多視点で撮影した映像を圧縮符号化するための技術として、Ｈ．２６４ Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ（以下、Ｈ．２６４  ＭＶＣとする）が知られている。Ｈ．２６４  ＭＶＣはＨ．２６４を拡張した符号化方式であり、Ｂｌｕ−ｒａｙ  Ｄｉｓｃの３Ｄ規格として使用されている。Ｈ．２６４  ＭＶＣでは、同じ視点の異なる時間で撮影された画面間の予測を用いた画面間予測符号化の他に、同じ時間で異なる視点間の予測を用いた視点間予測符号化が可能である。視点間予測符号化を行うには、参照先の視点の参照画像の局所復号が完了している必要がある。しかし、局所復号の処理には一定の時間を要するため、視点間予測符号化を行う場合に遅延が発生してしまう。
【０００３】
多視点映像符号化の従来技術として、特許文献１及び特許文献２が開示されている。特許文献１には、それぞれのカメラから得られる画像に対して重みを決定し、決定した重み及びカメラの位置に基づいて、画像のデータ量を制御する方法が記載されている。また、特許文献２には、基準となる視点画像の復号開始時に、各視点画像の復号開始時刻までの遅延時間、すなわち、各視点画像の復号において参照する画像の復号が完了するまでの時間を符号化しておく方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２２９６３１号公報
【特許文献２】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、他の視点の画像を参照しながらリアルタイムに符号化することは考慮されていない。そのため、各視点を並列にリアルタイムに符号化することができない。ここで、参照画像を用いて符号化する動画符号化処理の機能ブロックの構成及び局所復号を実施する機能ブロックのパスを、図１６に示す。図１６の太線の矢印が局所復号の処理の流れを示している。図１６に示す通り、参照画像を得る局所復号は、動きベクトルの探索を行い、その動きベクトルに応じて予測画像を出力する。そして、画像処理装置は、入力された原画像から予測画像を減算し、その減算結果を直交変換などで変換し、それを量子化して符号化することにより、符号化ストリームを得る。このとき、変換及び量子化された減算結果は、逆量子化と逆変換を施され、予測画像に加算されて、局所復号結果としてフレームメモリへ格納される。このように、局所復号結果の画像を得るためには、様々な処理を実施する。ここで、局所復号が完了するまでは、その画像を参照することができないため、視点間予測を実施するには視点毎に遅延を発生させる必要があり、これにより符号化処理が遅延するという課題があった。
【０００６】
図１７は視点間予測符号化をする際の遅延を示す概念図である。図１７に示すように、視点１で撮影した画像を参照して、視点２で撮影した画像を視点間符号化をする場合、同時刻に撮影した画像であっても、参照画像を得るために符号化処理の開始を遅延させる必要がある。
【０００７】
本発明は上記課題に鑑みなされたものであり、多視点の画像を符号化する際の視点間予測符号化を高速化することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明による画像符号化装置は、多視点カメラで撮像した画像を、所定の画像の領域を有する画素ブロックごとに、符号化する画像符号化装置であって、前記多視点カメラにおける複数の視点の配置に関する配置情報を取得する取得手段と、前記配置情報と前記画素ブロックを処理する順序の情報とに基づいて、前記多視点カメラの少なくとも１つの視点を基準視点として設定する設定手段と、前記基準視点から取得した画像を符号化すると共に、その符号化された画像を復号して局所復号画像を生成する第１の符号化手段と、前記基準視点と異なる視点から取得した画像を、前記局所復号画像を参照画像として符号化する第２の符号化手段と、を有する。
【発明の効果】
【０００９】
本発明によれば、多視点カメラから取得した画像について、視点間予測符号化を高速に実行する技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】画像符号化装置の機能構成例を示すブロック図。
【図２】実施形態１の画像符号化装置の動作を示すフローチャート。
【図３】水平方向の画像符号化走査を示す概念図。
【図４】垂直方向の画像符号化走査を示す概念図。
【図５】視点の配置が水平方向の場合の実施形態１の視点間の参照を示す概念図。
【図６】視点の配置が垂直方向の場合の実施形態１の視点間の参照を示す概念図。
【図７】実施形態２の画像符号化装置の動作を表すフローチャート。
【図８】実施形態２における視点の配置が水平方向の場合の各画像の走査方向を示す概念図。
【図９】実施形態２における視点の配置が垂直方向の場合の各画像の走査方向を示す概念図。
【図１０】実施形態３の画像符号化装置の構成図。
【図１１】実施形態３の画像符号化装置の動作を表すフローチャート。
【図１２】実施形態３における視点の配置が水平方向の場合の画像の読み出し順を示す概念図。
【図１３】画像の回転を示す概念図。
【図１４】実施形態３における視点の配置が垂直方向の場合の画像の読み出し順を示す概念図。
【図１５】被写体との距離と視点の位置の違いによる画像内の被写体のずれを示す概念図。
【図１６】従来の局所復号化を行う画像符号化装置を示す概念図。
【図１７】視点間予測符号化をする際に生じる遅延を示す概念図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
【００１２】
＜＜実施形態１＞＞
（画像符号化装置の構成）
図１は、本実施形態に係る画像符号化装置の機能構成例を示すブロック図である。画像符号化装置は、図１のように、例えば、撮影情報取得部１０１、制御部１０２、第１の符号化部１０３、第２の符号化部１０４、及び参照画像保持部１０５を有する。なお、画像を撮像するカメラ、撮像した画像を記憶するＲＡＭ、ＲＯＭ、外部記憶装置、及び、画像を処理するためのＣＰＵなどのプロセッサといったハードウェアを用いてこれらの機能ブロックを実装することで、画像符号化装置を得ることができる。
【００１３】
撮影情報取得部１０１は、撮影情報を取得する。撮影情報取得部１０１は取得した撮影情報を後述する制御部１０２に出力する。なお、本実施形態では、撮影情報は、複数ある視点に関する配置情報、及び被写体との距離情報を示す。また、視点の配置情報とは、例えば、各視点が水平方向に配置されているか、それとも垂直方向に配置されているかを示す情報である。なお、視点の配置情報は、例えば各視点の位置を座標で表した情報であってもよい。また、被写体との距離情報は、撮像時に、例えば光学距離計を用いて取得される被写体と撮像手段（不図示）との距離を示す情報である。
【００１４】
制御部１０２は、撮影情報取得部１０１から得られる撮影情報に基づいて、符号化の走査方向を制御する。また、制御部１０２は、撮影情報取得部１０１から得られる撮影情報に基づき、視点間予測符号化に用いる参照画像を決定する。さらに、制御部１０２は、複数ある視点から、基準となる基準視点を決定する。ここで、基準視点は、他の視点の画像の局所復号画像を参照することなく復号可能であるストリームに対応する視点である。
【００１５】
第１の符号化部１０３は、制御部１０２の指示に応じた符号化の走査方向で、第１の視点の画像を符号化する。また、第１の符号化部１０３は、制御部１０２の指示により、基準視点の画像として第１の視点の画像を符号化する。そして、第１の符号化部１０３は、後述する参照画像保持部１０５に参照画像を記録する。また、第２の符号化部１０４は、制御部１０２の指示に応じた符号化の走査方向で、第２の視点の画像を符号化する。第２の符号化部１０４は、制御部１０２の指示に基づいて、基準視点の局所復号画像を参照して視点間予測符号化を行う。さらに、第２の符号化部１０４は、後述する参照画像保持部１０５に参照画像を記録する。参照画像保持部１０５は、視点間予測もしくは画面間予測に用いる参照画像を保持する記憶部である。
【００１６】
（画像符号化装置の動作）
以下、本実施形態の画像符号化装置の動作について、図２のフローチャートを参照して説明する。図２の例では、画像符号化装置は、大まかに２つの動作を行う。そのうちの１つは、視点の配置情報に基づいて、各視点画像の符号化における走査方向及び基準視点を決定する動作である（Ｓ２０１〜Ｓ２０６）。そしてもう１つは、Ｓ２０１〜Ｓ２０６における決定に基づいて、各視点の画像を所定の範囲を有する画素ブロック毎に符号化する動作である（Ｓ２０７〜Ｓ２１２）。以下、これらの動作について詳細に説明する。なお、以下では、第１の符号化部１０３が基準視点の画像を符号化するものとして説明を行うが、第２の符号化部１０４が基準視点の画像を符号化するようにしてもよい。
【００１７】
まず、符号化走査方向及び基準視点の決定処理（Ｓ２０１〜Ｓ２０６）について説明する。まず、制御部１０２は、視点配置情報及び距離情報を、撮影情報取得部１０１から取得する（Ｓ２０１）。次に、制御部１０２は、取得した視点配置情報に基づき、視点配置が水平方向であるか否かを判定する（Ｓ２０２）。視点配置が水平方向である場合（Ｓ２０２でＹｅｓ）、制御部１０２は符号化の走査順序を垂直方向とするように、第１の符号化部１０３と第２の符号化部１０４とに指示する（Ｓ２０３）。さらに、制御部１０２は、視点間予測を行う際の参照先の視点を右側の視点の画像とするように、第１の符号化部１０３と第２の符号化部１０４とに指示する（Ｓ２０４）。一方、視点配置が水平でない場合は（Ｓ２０２でＮｏ）、制御部１０２は、符号化の走査順序を水平方向にするように、第１の符号化部１０３と第２の符号化部１０４とに指示する（Ｓ２０５）。さらに、制御部１０２は、視点間予測を行う際の参照先の視点を下側の視点の画像とするように、第１の符号化部１０３と第２の符号化部１０４とに指示する（Ｓ２０６）。このとき、第１の符号化部１０３は、右側又は下側の視点の画像を符号化するものとする。
【００１８】
本実施形態における水平方向の符号化走査とは、図３に示すように、画像の左上の画素ブロックから開始され、主走査方向を水平方向（左から右へ）とし、副走査方向を垂直方向（上から下へ）とする。すなわち、水平方向の符号化走査を用いる場合は、水平方向に（左から右へ）連続する画素ブロックは連続して符号化処理される。一方、垂直方向の符号化走査とは、図４に示すように、画像の左上の画素ブロックから開始され、主走査方向を垂直方向（上から下へ）とし、副走査方向を水平方向（左から右へ）とする。すなわち、垂直方向の符号化走査を用いる場合は、垂直方向に（上から下へ）連続する画素ブロックは連続して符号化処理される。ここまでの処理で、各視点画像の符号化の走査方向及び基準視点が決定される。
【００１９】
Ｓ２０２の判定がＹｅｓの場合は、各視点は水平方向に並んでいる。この場合、カメラから有限の距離Ｄに位置する同一の対象物を撮像する場合に、右側の視点で撮像された画像では、左側の視点で撮像された画像と比べて、その対象物が左側に映ることとなる。これについて図１５を用いて説明する。図１５は、水平方向に並ぶ２つの視点で撮影を行った場合の、カメラからの有限の距離Ｄにおける被写体のずれを表す概念図である。距離∞の位置に背景として山や雲があり、距離Ｄの位置に人物が被写体として立っている。この場合、両視点において、距離∞の位置にある山や雲の位置は、画像内で同じ座標に位置する。一方、距離Ｄにおける人物の場合は、右視点では左視点に比べて人物の位置が左にずれる。多視点カメラと被写体の距離が短ければ短いほど、このずれは大きくなる。なお、本説明で「距離∞に被写体が存在する」とは、カメラからの所定の距離より十分に離れた位置に被写体が存在することを指す。反対に、有限の距離Ｄに被写体が存在する、と説明した場合は、所定の距離よりカメラに接近した位置に被写体が存在することを意味する。
【００２０】
一般に、画像符号化は、画像を複数の画素ブロックに分割し、画素ブロックごとに符号化処理を実施する。符号化の際の画素ブロックの走査は、画像の左上の画素ブロックから画像の右下の画素ブロックへ向けて実行される。すなわち、右側の視点に対応する符号化部は、左側の視点に対応する符号化部より早いタイミングで、その対象物の符号化と局所復号とを行うことになる。このため、この場合は、画像符号化装置は右側の視点を基準視点とする。一方、もし右にある画素ブロックほど、先に符号化を行う場合には、反対に左視点の画像の方が、早いタイミングで被写体の符号化を行い、局所復号画像を生成することとなる。このため、右から左の順で画素ブロックを符号化する場合には、左側の視点を基準視点とする。なお、通常の画像処理では、右側の画素ブロックほど後に符号化されるため、右視点を基準視点とするのが好ましい。
【００２１】
一方、この場合、左側の視点と右側の視点では、対象物が左右に異なる位置に映るところ、水平方向走査では走査のタイミング差が十分でない場合がある。すなわち、視点間予測符号化を行う際に、右側の視点に対応する符号化部において対象物の局所復号を得られていないタイミングで、左側の視点での対象物の走査が完了してしまうことが考えられる。このため、画像符号化装置は、局所復号を完了するまでの時間を確保するために、符号化の走査順序を垂直方向とする。これにより、視点間予測符号化をリアルタイムに行うことが可能となる。
【００２２】
一方、Ｓ２０２の判定がＮｏの場合は、各視点は垂直方向に並んでいる。この場合、同一の対象物を撮像する場合に、下側の視点で撮像された画像では、上側の視点で撮像された画像と比べて、その対象物が上側に映ることとなる。すなわち、下側の視点に対応する符号化部は、上側の視点に対応する符号化部より早いタイミングで、その対象物の符号化と局所復号とを行うことになる。このため、各視点が水平方向に並んでいる場合と同様に、画像符号化装置は、下側の視点を基準視点とする。一方、もし下にある画素ブロックほど、先に符号化を行う場合には、反対に上視点の画像の方が、早いタイミングで被写体の符号化を行い、局所復号画像を生成することとなる。このため、下から上の順で画素ブロックを符号化する場合には、上側の視点を基準視点とする。なお、通常の画像処理では、下側の画素ブロックほど後に符号化されるため、下視点を基準視点とするのが好ましい。
【００２３】
一方、この場合、上側の視点と下側の視点では、対象物が上下に異なる位置に映るところ、垂直方向走査では走査のタイミング差が十分でない場合がある。すなわち、視点間予測符号化を行う際に、下側の視点に対応する符号化部において対象物の局所復号を得られていないタイミングで、上側の視点での対象物の走査が完了してしまうことが考えられる。このため、画像符号化装置は、局所復号を完了するまでの時間を確保するために、符号化の走査順序を水平方向とする。これにより、視点間予測符号化をリアルタイムに行うことが可能となる。
【００２４】
次に、画像の符号化処理（Ｓ２０７〜Ｓ２１２）について説明する。第１の符号化部１０３と第２の符号化部１０４は、制御部１０２に指示された符号化の走査順序で、画像を画素ブロックごとに符号化する。まず、第２の符号化部１０４は現在符号化中の画素ブロックの被写体の距離が∞であるか否かの判定を行う（Ｓ２０７）。画素ブロックの被写体の距離が∞でない場合は、第２の符号化部１０４は視点間予測符号化を行う（Ｓ２０８）。
【００２５】
図５は、視点が水平方向に並んでいる場合、すなわち、Ｓ２０２の判定がＹｅｓである場合の視点間予測の参照状況を示す。ここでは、Ｓ２０３での指示の通り符号化の走査順は垂直方向であり、Ｓ２０４での指示の通り右視点を基準として、すなわち、右視点画像を参照画像として符号化が実施される。視点間で距離Ｄにおける被写体の画像内における位置が水平方向にずれるため、リアルタイムに２つの視点の画像を並列に符号化する場合でも、参照画像に関して局所復号が完了している。よって、左視点の画像を符号化する際に、右視点の画像を参照して符号化することが可能となる。
【００２６】
同様に、図６は、各視点が垂直方向に並んでいる場合、すなわち、Ｓ２０２の判定がＮＯである場合の視点間予測の参照状況を示す。ここでは、Ｓ２０５での指示の通り符号化の走査順は水平方向であり、Ｓ２０６での指示の通り下視点を基準として、すなわち、下視点画像を参照画像として符号化を実施する。視点間で距離Ｄにおける被写体の画像内における位置が垂直方向にずれるため、リアルタイムに２つの視点の画像を並列符号化する場合でも、参照画像に関して局所復号が完了している。よって、上視点の画像を符号化する際に、下視点の画像を参照して符号化することが可能となる。なお、Ｓ２０８の処理は、ピクチャを構成する全ての画素ブロックに対して必ずしも視点間予測符号化をする必要はなく、画面内予測符号化もしくは画面間予測符号化を行う画素ブロックがあってもよい。
【００２７】
画素ブロックの被写体の距離が∞の場合（Ｓ２０７でＹｅｓ）は、各視点の位置が違っても、各視点の画像において被写体の画面内における位置は同様となるため、各視点の画像をリアルタイムに符号化する際の視点間の予測が困難となる。このため、第２の符号化部１０４は、その画素ブロックに対しては、画面内予測符号化、又は、画面間予測符号化を行う（Ｓ２０９）。なお、第１の符号化部１０３は、基準視点の画像を符号化する符号化部であるため、他の視点の画像の局所復号画像を参照することはない。このため、第１の符号化部１０３は、被写体の距離が∞であると否とによらず、画面内予測符号化もしくは画面間予測符号化を実行する。なお、画面内予測符号化とは、符号化の対象となる画面の所定の領域を有する画素ブロックの情報から、他の画素ブロックを符号化する方法であり、画面間予測符号化は、時間的に前又は後の画像を参照して動きを予測して符号化する方法である。
【００２８】
次に、第１の符号化部１０３及び第２の符号化部１０４は、参照画像保持部１０５に参照画像を記録する（Ｓ２１０）。なお、ここで記録する参照画像は、第１の符号化部１０３と第２の符号化部１０４における局所復号画像である。そして、すべての画素ブロックの符号化が完了したかを判定する（Ｓ２１１）。全ての画素ブロックの符号化が完了していない場合（Ｓ２１１でＮｏ）は、Ｓ２０７に戻る。全ての画素ブロックの符号化が完了している場合（Ｓ２１１でＹｅｓ）は、Ｓ２１２に進む。Ｓ２１２では、全ての画像の符号化が完了したかどうかの判定を行う（Ｓ２１２）。全ての画像の符号化が完了していない場合（Ｓ２１２でＮｏ）は、Ｓ２０７に戻る。全ての画像の符号化が完了している場合（Ｓ２１２でＹｅｓ）は、処理を完了する。
【００２９】
本実施形態の画像符号化装置では、撮影する視点の配置に応じて、基準となる視点を設定し、符号化走査の方向を変更して、多視点カメラで撮影した画像を符号化する。これにより、多視点カメラからの画像について、リアルタイムに符号化を実行することができる。なお、本実施形態では、２つの視点が水平方向、もしくは垂直方向に並んでいる場合を例に挙げて説明を行ったが、これに限定されるものではなく、３つ以上の視点があってもよい。
【００３０】
＜＜実施形態２＞＞
本実施形態の画像符号化装置は、実施形態１と異なり、複数の視点間で異なる走査順序を用いることで、距離が∞の場合にも視点間符号化を可能とするものである。なお、本実施形態の画像符号化装置の機能構成は、図１に示した実施形態１の画像符号化装置の構成と同様であるため、説明を省略する。以下では、本実施形態における画像符号化装置の動作について、図７のフローチャートを参照して説明する。本実施形態における画像符号化装置は、まず視点の配置情報に基づいて、各視点画像の符号化走査方向及び基準視点を決定する（Ｓ３０１〜Ｓ３０６）。次に、Ｓ３０１〜Ｓ３０６の処理の決定に基づいて、各視点の画像を画素ブロックごとに符号化する（Ｓ３０７〜Ｓ３１２）。以下、各ステップを詳細に説明する。
【００３１】
まず、符号化走査方向及び基準視点の決定処理（Ｓ３０１〜Ｓ３０６）について説明する。撮影情報取得部１０１は、視点の配置情報及び距離情報を取得し、制御部１０２に出力する（Ｓ３０１）。制御部１０２は、撮影情報取得部１０１より受け取った情報に基づいて、第１の符号化部１０３及び第２の符号化部１０４を制御する。制御部１０２は、取得した情報に基づいて、視点の配置が水平方向か否かを判定する（Ｓ３０２）。
【００３２】
視点の配置が水平方向である場合（Ｓ３０２でＹｅｓ）、制御部１０２は、左視点と右視点のそれぞれの符号化走査順を、第１の符号化部１０３及び第２の符号化部１０４に指示する（Ｓ３０３）。なお、この場合の符号化走査順序は、左視点では画像の左下の画素ブロックから開始し、下から上へ垂直方向に向かうものとし、右視点では、画像の左上の画素ブロックから開始し、上から下へ垂直方向に向かうものとする（Ｓ３０３）。そして、制御部１０２は、右視点を基準視点とするように第１の符号化部１０３及び第２の符号化部１０４に指示する（Ｓ３０４）。
【００３３】
一方、視点の配置が水平方向でない場合（Ｓ３０２でＮｏ）、制御部１０２は、上視点と下視点のそれぞれの符号化走査順を、第１の符号化部１０３及び第２の符号化部１０４に指示する（Ｓ３０５）。なお、この場合の符号化走査順序は、上視点では、画像の左上の画素ブロックから開始し、左から右へ水平方向に向かうものとし、下視点では、画像の右上の画素ブロックから開始し、右から左へ水平方向に向かうものとする。そして、制御部１０２は、下視点を基準視点とするように第１の符号化部１０３及び第２の符号化部１０４に指示する（Ｓ３０６）。すなわち、Ｓ３０２〜Ｓ３０６の処理では、多視点カメラの各視点が水平に配置されていることを配置情報が示す場合は、第１の符号化部１０３と第２の符号化部１０４とで、垂直方向において逆順で画素ブロックが処理されるように、処理の順序が決定される。また、多視点カメラの各視点が垂直に配置されていることを配置情報が示す場合は、第１の符号化部１０３と第２の符号化部１０４とで、水平方向において逆順で画素ブロックが処理されるように、処理の順序が決定される。
【００３４】
ここまでの処理で、各視点の符号化の走査方向及び基準視点が決定する。以下では、第１の符号化部１０３が基準視点の画像を符号化するものとして、画像の符号化処理（Ｓ３０７〜Ｓ３１２）について説明を行う。すなわち、以下の説明では、第１の符号化部１０３は、右側又は下側の視点で得られた画像を符号化する。なお、第２の符号化部１０４が基準視点の、すなわち右側又は下側の視点で得られた画像を符号化してもよい。
【００３５】
第２の符号化部１０４は、基準視点の参照画像が生成済みかを判定する（Ｓ３０７）。本実施形態においては、左右の視点、もしくは、上下の視点で符号化の走査方向を逆にしているため、距離∞における被写体の場合でも、他の視点の参照画像の局所復号が完了している画素ブロックが存在する。まず、視点が水平方向に並んでいる場合において、参照画像が存在する画素ブロックについて説明する。
【００３６】
図８は、２つの視点が水平に配置されている場合の符号化の走査順を示す。図８に示す通り、右視点の画像は、画像の左上の画素ブロックから始まり、上から下に垂直方向に走査され、符号化される。一方、左視点の画像は、画像の左下の画素ブロックから始まり、下から上に垂直方向に走査され、符号化される。このため、左側の視点で得られた画像を符号化する第２の符号化部１０４は、画像の上部の画素ブロックを符号化するときは、右視点の画像の上部に位置する画素ブロックの局所復号画像が既に存在する状態となる。この場合は、距離∞における被写体が存在する画素ブロックでもリアルタイムに視点間予測することが可能となる。なお、カメラから有限の距離Ｄに存在する被写体については、実施形態１と同様に、左視点の画像の符号化時点において、右視点の画像の符号化は完了し、基準画像が存在する。このため、視点間予測符号化を行うことができる。
【００３７】
なお、本実施形態では、視点の配置が水平方向の場合は、左視点の画像を下から上に符号化走査し、右視点の画像を上から下に符号化走査するが、これに限定されるものではない。例えば、左右の視点に対する画像について符号化走査方向を逆とし、左視点の画像の符号化走査順を上から下としてもよい。
【００３８】
次に、視点が垂直方向に並んでいる場合において、参照画像が存在する画素ブロックについて説明する。図９は、２つの視点が垂直に配置されている場合の符号化の走査順を示す。図９に示す通り、上視点の画像は、画像の左上の画素ブロックから始まり、左から右に水平方向に走査され、符号化される。一方、下視点の画像は画像の右上の画素ブロックから始まり、右から左に水平方向に走査され、符号化される。このため、第２の符号化部１０４が上視点の画像の右部の画素ブロックを符号化するときは、下視点の画像の右部に位置する画素ブロックの参照画像が既に存在する状態となる。この場合、距離∞における被写体が存在する画素ブロックでもリアルタイムに視点間予測することが可能となる。なお、カメラから有限の距離Ｄに存在する被写体については、実施形態１と同様に、上視点の画像の符号化時点において、下視点の画像の符号化は完了し、基準画像が存在する。このため、視点間予測符号化を行うことができる。
【００３９】
なお、本実施形態では、視点の配置が垂直方向の場合は、上視点の画像を左から右に符号化走査し、下視点の画像を右から左に符号化走査するが、これに限定されるものではない。例えば、上下の視点に対する画像について符号化走査方向を逆とし、上視点の画像の符号化走査順を右から左としてもよい。
【００４０】
続いて、Ｓ３０７の判定後の処理の説明をする。基準視点の参照画像が生成済みである場合（Ｓ３０７でＹｅｓ）は、第２の符号化部１０４は、制御部１０２の指示に基づいて視点間予測符号化を行う（Ｓ３０８）。なお、Ｓ３０８の処理は、ピクチャを構成する全ての画素ブロックに対して必ずしも視点間予測符号化をする必要はなく、画面内予測符号化もしくは画面間予測符号化を行う画素ブロックがあってもよい。他の視点の参照画像が生成済みでない場合は、視点間予測符号化することができないため、第２の符号化部１０４は、画面内予測符号化もしくは画面間予測符号化を行う（Ｓ３０９）。一方、第１の符号化部１０３は、基準視点を符号化するため、他の視点の画像の局所復号画像を参照することはない。よって、第１の符号化部１０３は、全ての画素ブロックに対して、画面内予測符号化もしくは画面間予測符号化を実行する（Ｓ３０９）。
【００４１】
続いて、第１の符号化部１０３及び第２の符号化部１０４は、参照画像保持部１０５に参照画像を記録する（Ｓ３１０）。なお、参照画像は、第１の符号化部１０３及び第２の符号化部１０４における、局所復号画像である。次に、第１の符号化部１０３及び第２の符号化部１０４は、全ての画素ブロックの符号化が完了したかの判定を行う（Ｓ３１１）。全ての画素ブロックの判定が完了した場合（Ｓ３１１でＹｅｓ）はＳ３１２に進み、完了していない場合（Ｓ３１１でＮｏ）はＳ３０７の処理に戻る。次に、第１の符号化部１０３及び第２の符号化部１０４は、全ての画像の符号化が完了したかの判定を行う（Ｓ３１２）。全ての画像の符号化が完了していない場合（Ｓ３１２でＮｏ）はＳ３０７に戻り、全ての画像の符号化が完了している場合（Ｓ３１２でＹｅｓ）は処理を完了する。
【００４２】
以上に説明した方法で、各視点の配置に応じて符号化走査の方向を変更して、多視点カメラで撮影した画像をリアルタイムに符号化することができる。特に、左視点又は上視点の画像について、画像の半分の領域におけるカメラとの距離が∞の画素ブロックに対して、ほぼ同一の画像である右視点又は下視点の画素ブロックの基準画像を用いて符号化することができるため、高い圧縮率を達成できる。なお、本実施形態では２つの視点が並んでいる前提で説明を行ったが、これに限定されるものではなく、３つ以上の視点が並んでいてもよい。その場合は、基準視点以外の全ての視点の符号化走査順を基準視点とは逆にすることで、距離∞の被写体をリアルタイムに符号化する場合において、所定の画素ブロックを視点間予測符号化することが可能となる。
【００４３】
＜＜実施形態３＞＞
本実施形態の画像符号化装置は、符号化の際の走査順序を変更することなく、多視点カメラで撮影した画像をリアルタイムに符号化するため、視点の配置情報に応じて、画像を読み出す順序を変更すると共にその画像に回転を施すものである。以下、特に実施形態１との差分に着目して説明する。
【００４４】
（画像符号化装置の構成）
本実施形態の画像符号化装置の機能構成を示すブロック図を図１０に示す。なお、図１０において、撮影情報取得部１０１、第１の符号化部１０３、第２の符号化部１０４、参照画像保持部１０５は、図１の各機能部と同様であるため、同一の参照番号を付して説明は省略する。制御部４０１は、撮影情報取得部１０１から得られる撮影情報に基づいて、第１の符号化部１０３、第２の符号化部１０４、及び後述する画像読出部４０２、画像回転処理部４０３を制御する制御部である。画像読出部４０２は、制御部４０１の指示に基づいて画像を読み出し、後述する画像回転処理部４０３へ出力する。画像回転処理部４０３は、制御部４０１の指示に基づいて、画像の回転処理を行う。
【００４５】
（画像符号化装置の動作）
次に、本実施形態における画像符号化装置の動作について、図１１のフローチャートを参照して説明する。まず、本実施形態における画像符号化装置は、視点の配置情報に基づいて、各視点画像の読み出し順序、画像を回転するか否か、及び基準視点を決定する（Ｓ５０１〜Ｓ５０８）。次に、Ｓ５０１〜Ｓ５０８の処理の決定に基づいて、各視点の画像を画素ブロックごとに符号化する(Ｓ５０９〜Ｓ５１５)。以下、各ステップを詳細に説明する。
【００４６】
まず、撮影情報取得部１０１が視点配置情報を取得し、制御部４０１はその視点配置情報を取得する（Ｓ５０１）。次に、制御部４０１は、視点配置情報に基づいて、視点の配置が水平方向か否かを判定する（Ｓ５０２）。
【００４７】
視点の配置情報が水平方向である場合（Ｓ５０２でＹｅｓ）は、画像読出部４０２は、制御部４０１の指示に基づいて、各視点画像の読み出し方を設定して画像を読み出し、画像回転処理部４０３に出力する（Ｓ５０３）。Ｓ５０３における画像読出部４０２の各視点の画像の読み出し順を、図１２を参照して説明する。図１２に示すとおり、画像の一番左下の画素ブロックから、画像の読み出しを開始する。画像の読み出し順は下の画素ブロックから上方向に向かって順番に行われる。１列分の画素ブロックの読み出しが完了すると、１つ右の列の一番下の画素ブロックへ進み、上方向へ向かって読み出しを行う。以上の順番を画像全体の読み出しが完了するまで実施する。
【００４８】
次に、画像回転処理部４０３は、画像読出部４０２より出力される各視点の画像の回転を実施する（Ｓ５０４）。ここでの回転処理は、画像を９０度右回転するものである。図１３は画像回転前後の画素ブロックの位置の変化を示している。図１３（ａ）は、Ｍ行Ｎ列の画素ブロックから構成される、回転前の画像を示している。図１３（ｂ）は、図１３（ａ）の画像を右に９０度回転した画像を示している。図１３（ｂ）のように、画像回転前の（０，Ｍ−１）の位置の画素ブロックは画像回転後には画像の左上に、画像回転前の（０，０）の位置の画素ブロックは画像回転後には画像の右上に、それぞれ位置するように回転処理が行われる。次に、制御部４０１は、基準視点を右視点とするように第１の符号化部１０３及び第２の符号化部１０４に指示する（Ｓ５０５）。
【００４９】
視点の配置が水平方向でない場合（Ｓ５０２でＮｏ）は、画像読出部４０２は、制御部４０１の指示に基づいて、各視点の画像の読み出し方を設定して画像を読み出し、画像回転処理部４０３に出力する（Ｓ５０６）。Ｓ５０６における画像読出部４０２の各視点の画像の読み出し順を、図１４を参照して説明する。図１４に示すとおり、画像の一番左上の画素ブロックから、画像の読み出しを開始する。画像の読み出し順は左の画素ブロックから右方向に向かって順番に行われる。１行分の画素ブロックの読み出しが完了すると、１つ下の行の一番左の画素ブロックから再度右方向へ向かって読み出しを行う。以上の処理を画像全体の読み出しが完了するまで実行する。次に、画像回転処理部４０３は、画像読出部４０２から出力される各視点の画像を受け取り、回転処理をせずに第１の符号化部１０３及び第２の符号化部１０４にそれぞれ出力する（Ｓ５０７）。次に、制御部４０１は、基準視点を下視点とするように第１の符号化部１０３及び第２の符号化部１０４に指示する（Ｓ５０８）。
【００５０】
ここまでの処理で、各視点画像の読み出し及び回転処理が完了する。以下、第１の符号化部１０３が基準視点の画像、すなわち右視点又は下視点の画像を符号化するものとして説明を行う。なお、本発明はこれに限定されるものではなく、第２の符号化部１０４が基準視点の画像、すなわち右視点又は下視点の画像を符号化してもよい。
【００５１】
次に、画像の符号化処理（Ｓ５０９、Ｓ２０７〜Ｓ２１２）を実行する。まず、第１の符号化部１０３及び第２の符号化部１０４は、制御部４０１の指示に基づいて、回転処理の有無の情報を符号化する（Ｓ５０９）。以降の画像の符号化処理は実施形態１におけるＳ２０７〜Ｓ２１２の処理と同様であるため、同一の符号を付して説明は省略する。
【００５２】
以上に説明した方法で、本実施形態の画像符号化装置は、複数の視点で撮影された画像を符号化する際に、視点の配置情報に基づいて、画像の読み出し方を変更し、さらに画像回転処理をして符号化を実施する。回転処理を施すことで、符号化の際の走査順序を変更することなく、多視点カメラで撮影した画像をリアルタイムに符号化することができる。なお、回転処理では、画素ブロックの内部までは回転しなくてもよい。すなわち、画素ブロックの符号化処理が水平方向に連続して行われるようにすればよく、その内部、すなわち画素ブロックに含まれる画素については、回転が施されなくてもよい。
【００５３】
なお、本実施形態では、２つの視点が水平方向、もしくは垂直方向に並んでいる場合で説明を行ったが、これに限定するものではなく、３つ以上の視点があってもよい。また、本実施形態において、画像の読み出しは、ＤＲＡＭなどのメモリからでもよいし、ＣＭＯＳセンサからでもよい。さらに、画像回転処理を実施せず、ＤＲＡＭメモリもしくは、ＣＭＯＳセンサからの読み出し順を変更することで、画像回転と同様の処理を実現してもよい。
【００５４】
＜＜その他の実施形態＞＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013223142.tif 000003
【図２】
2013223142.tif 000004
【図３】
2013223142.tif 000005
【図４】
2013223142.tif 000006
【図５】
2013223142.tif 000007
【図６】
2013223142.tif 000008
【図７】
2013223142.tif 000009
【図８】
2013223142.tif 000010
【図９】
2013223142.tif 000011
【図１０】
2013223142.tif 000012
【図１１】
2013223142.tif 000013
【図１２】
2013223142.tif 000014
【図１３】
2013223142.tif 000015
【図１４】
2013223142.tif 000016
【図１５】
2013223142.tif 000017
【図１６】
2013223142.tif 000018
【図１７】
2013223142.tif 000019