(57)【要約】【課題】互いに類似した情報を含む複数画像のデータサイズをより効率的に低減する方法、プログラムおよび装置を提供する。【解決手段】本方法は、第１の参照画像および第２の参照画像に基づいて、対象画像に対応する合成画像を生成するステップと、対象画像および合成画像の少なくとも一方に基づいて、対象画像の位置における仮想的な視野の情報であるサイド情報を生成するステップと、サイド情報から勾配強度画像を生成するステップと、勾配強度画像の各画素位置について勾配強度に応じた係数を決定するとともに、対象画像の各画素位置の輝度値に対して対応する係数を法とするモジュロ演算を行なうことで、モジュロ演算によって算出される各画素位置の剰余からなる剰余画像を生成するステップと、対象画像、第１の参照画像、および第２の参照画像を表現する情報として、第１の参照画像、第２の参照画像、および剰余画像を出力するステップとを含む。【選択図】図６
2014082541.tif 000002
【特許請求の範囲】
【請求項１】
互いに類似した情報を含む複数画像のデータサイズを低減する方法であって、
前記複数画像を取得するとともに、前記複数画像のうち対象画像ならびに前記対象画像に類似した第１の参照画像および第２の参照画像を選択するステップと、
前記第１の参照画像および前記第２の参照画像に基づいて、前記対象画像に対応する合成画像を生成するステップと、
前記対象画像および前記合成画像の少なくとも一方に基づいて、前記対象画像の位置における仮想的な視野の情報であるサイド情報を生成するステップと、
前記サイド情報から勾配強度画像を生成するステップと、
前記勾配強度画像の各画素位置について勾配強度に応じた係数を決定するとともに、前記対象画像の各画素位置の輝度値に対して対応する係数を法とするモジュロ演算を行なうことで、前記モジュロ演算によって算出される各画素位置の剰余からなる剰余画像を生成するステップと、
前記対象画像、前記第１の参照画像、および前記第２の参照画像を表現する情報として、前記第１の参照画像、前記第２の参照画像、および前記剰余画像を出力するステップとを備える、方法。
【請求項２】
前記サイド情報を生成するステップは、前記対象画像の縮小画像と前記合成画像とを組み合わせて前記サイド情報を生成するステップを含む、請求項１に記載の方法。
【請求項３】
前記勾配強度画像を生成するステップは、前記サイド情報内のテクスチャー変化がより大きな領域がより大きな輝度をもつような画像を生成するステップを含む、請求項１または２に記載の方法。
【請求項４】
前記剰余画像を生成するステップは、予め定められた対応関係を参照して、勾配強度に対応する係数を選択するステップを含む、請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記選択するステップは、
前記複数画像が多視点画像である場合に、ベースライン距離に基づいて、前記対象画像ならびに前記第１の参照画像および第２の参照画像を選択するステップと、
前記複数画像が映像フレーム列である場合に、フレームレートに基づいて、前記対象画像ならびに前記第１の参照画像および第２の参照画像を選択するステップとを含む、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
出力された前記第１の参照画像、前記第２の参照画像、および前記剰余画像を取得するステップと、
前記第１の参照画像および前記第２の参照画像に基づいて、前記対象画像に対応する合成画像を生成するステップと、
取得された情報からサイド情報を生成するとともに、前記サイド情報から勾配強度画像を生成するステップと、
前記勾配強度画像の各画素位置について勾配強度に応じた係数を決定するとともに、決定した係数を法とし、前記剰余画像の対応する画素位置の値を剰余とする逆モジュロ演算により算出される候補値のうち、前記サイド情報の対応する画素位置の値に対する差が最も小さいものを、前記対象画像の対応する画素位置の輝度値として決定するステップとをさらに備える、請求項１〜５のいずれか１項に記載の方法。
【請求項７】
互いに類似した情報を含む複数画像のデータサイズを低減するプログラムであって、当該プログラムは、コンピュータに、
前記複数画像を取得するとともに、前記複数画像のうち対象画像ならびに前記対象画像に類似した第１の参照画像および第２の参照画像を選択するステップと、
前記第１の参照画像および前記第２の参照画像に基づいて、前記対象画像に対応する合成画像を生成するステップと、
前記対象画像および前記合成画像の少なくとも一方に基づいて、前記対象画像の位置における仮想的な視野の情報であるサイド情報を生成するステップと、
前記サイド情報から勾配強度画像を生成するステップと、
前記勾配強度画像の各画素位置について勾配強度に応じた係数を決定するとともに、前記対象画像の各画素位置の輝度値に対して対応する係数を法とするモジュロ演算を行なうことで、前記モジュロ演算によって算出される各画素位置の剰余からなる剰余画像を生成するステップと、
前記対象画像、前記第１の参照画像、および前記第２の参照画像を表現する情報として、前記第１の参照画像、前記第２の参照画像、および前記剰余画像を出力するステップとを実行させる、プログラム。
【請求項８】
互いに類似した情報を含む複数画像のデータサイズを低減する装置であって、
前記複数画像を取得するとともに、前記複数画像のうち対象画像ならびに前記対象画像に類似した第１の参照画像および第２の参照画像を選択する手段と、
前記第１の参照画像および前記第２の参照画像に基づいて、前記対象画像に対応する合成画像を生成する手段と、
前記対象画像および前記合成画像の少なくとも一方に基づいて、前記対象画像の位置における仮想的な視野の情報であるサイド情報を生成する手段と、
前記サイド情報から勾配強度画像を生成する手段と、
前記勾配強度画像の各画素位置について勾配強度に応じた係数を決定するとともに、前記対象画像の各画素位置の輝度値に対して対応する係数を法とするモジュロ演算を行なうことで、前記モジュロ演算によって算出される各画素位置の剰余からなる剰余画像を生成する手段と、
前記対象画像、前記第１の参照画像、および前記第２の参照画像を表現する情報として、前記第１の参照画像、前記第２の参照画像、および前記剰余画像を出力する手段とを備える、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置に関する。
【背景技術】
【０００２】
現在、超臨場感コミュニケーションを実現する各種の技術について研究が進められている。このような技術の一つとして、多視点画像を用いて高精細な立体映像を提供する三次元映像技術がある。このような立体映像は、非常に多数の視点（例えば、２００視点）から被写体を撮像して得られる視差画像によって実現される。
【０００３】
このような立体映像を実用化するための一つの課題として、多視点画像のデータサイズの低減化がある。多視点画像は、多数の視点から被写体をそれぞれ観察した情報を含むので、データサイズが大きくなる。このような課題に対して、各種の提案がなされている。
【０００４】
例えば、非特許文献１は、多視点画像の適応型分散コーディングと称される方法を開示する。より具体的には、この方法は、モジュロ演算器に基づくものであり、それぞれの視点で得られた画像を、互いの情報を交換することなくエンコードするとともに、デコードする際には、視点間での情報交換を許容する。言い換えれば、非特許文献１に開示の方法は、主として、分散ソースコーディングや分散映像フレームコーディングなどへの応用を想定しているため、エンコード処理において、視点間の連携は考慮されていない。これは、非特許文献１に開示の方法は、主として、処理能力がそれほど高くない、低消費電力の装置（例えば、携帯端末など）に向けられているからである。
【０００５】
また、非特許文献１に開示の方法では、エンコード処理およびデコード処理において、サイド情報(side information)を利用する。このサイド情報としては、エンコーダー（符号化器）ではオリジナル画像が用いられ、デコーダーでは、縮小画像もしくは仮想画像(virtual image)、またはそれらの組合せが用いられる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Mehrdad Panahpour Tehrani, Toshiaki Fujii, Masayuki Tanimoto, "The Adaptive Distributed Source Coding of Multi-View Images in Camera Sensor Networks," IEICE Trans, E88-A(10), 2835-2843, (2005)
【非特許文献２】R. Szeliski, R. Zabih, D. Scharstein, O. Veksler, V. Kolmogorov, A. Agarwala, M.Tappen and C. Rother, "A comparative study of energy minimization methods for Markov random fields with smoothness-based priors," IEEE Trans. Pattern Anal. Machine Intell., 30(6), 1068-1080, (2008)
【非特許文献３】Y. Boykov, O. Veksler and R. Zabih, "Fast approximate energy minimization via graph cuts," IEEE Trans. Pattern Anal. Machine Intell., 23, 1222-1239, (Nov. 2001)
【非特許文献４】Y. Mori, N. Fukushima, T. Yendo, T. Fujii and M. Tanimoto, "View generation with 3D warping using depth information for FTV," Signal Process.: Image Commun., 24, 65-72, (Jan. 2009)
【非特許文献５】L. Yang, T. Yendo, M. Panahpour Tehrani, T. Fujii and M. Tanimoto, "Probabilistic reliability based view synthesis for FTV," in Proc. ICIP, 1785-1788, (Sep. 2010)
【非特許文献６】N. Fukushima, T. Fujii, Y. Ishibashi, T. Yendo, and M. Tanimoto, "Real-time free viewpoint image rendering by using fast multi-pass dynamic programming," in Proc. 3DTV-CON, (June 2010)
【非特許文献７】A. Smolic, P. Kauff, S. Knorr, A. Hornung, M. Kunter, M. Muller, and M. Lang, "Three-Dimensional Video Postproduction and Processing," in Proc. IEEE, 99(4), 607-625, (Apr. 2011)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本願発明者らは、互いに類似した画像間で情報交換することで、デコード後の画像品質を向上できるとともに、応用範囲をより広げることができるという新たな知見を得た。しかしながら、従来提案されている方法では、デコーダーおよびエンコーダーにおいて、互いに類似した画像間で情報を交換するということは行なわれておらず、その結果、どのように処理を最適化すればよいかといったことも何ら知られていない。
【０００８】
本発明は、上記のような問題を解決するためになされたものであって、その目的は、互いに類似した情報を含む複数画像のデータサイズをより効率的に低減する方法、プログラムおよび装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明のある局面に従えば、互いに類似した情報を含む複数画像のデータサイズを低減する方法が提供される。本方法は、複数画像を取得するとともに、複数画像のうち対象画像ならびに対象画像に類似した第１の参照画像および第２の参照画像を選択するステップと、第１の参照画像および第２の参照画像に基づいて、対象画像に対応する合成画像を生成するステップと、対象画像および合成画像の少なくとも一方に基づいて、対象画像の位置における仮想的な視野の情報であるサイド情報を生成するステップと、サイド情報から勾配強度画像を生成するステップと、勾配強度画像の各画素位置について勾配強度に応じた係数を決定するとともに、対象画像の各画素位置の輝度値に対して対応する係数を法とするモジュロ演算を行なうことで、モジュロ演算によって算出される各画素位置の剰余からなる剰余画像を生成するステップと、対象画像、第１の参照画像、および第２の参照画像を表現する情報として、第１の参照画像、第２の参照画像、および剰余画像を出力するステップとを含む。
【００１０】
好ましくは、サイド情報を生成するステップは、対象画像の縮小画像と合成画像とを組み合わせてサイド情報を生成するステップを含む。
【００１１】
さらに好ましくは、サイド情報を生成するステップは、縮小画像をアップサンプリングして得られた画像と合成画像との差に基づいて誤差分布を決定するステップと、誤差が相対的に高い領域に縮小画像をアップサンプリングして得られた画像の情報を割当てるとともに、誤差が相対的に低い領域に合成画像の情報を割当てるステップとを含む。
【００１２】
あるいはさらに好ましくは、サイド情報を生成するステップは、縮小画像をアップサンプリングして得られた画像と合成画像との差に基づいて誤差分布を決定するステップと、誤差が相対的に高い領域に縮小画像をアップサンプリングして得られた画像の情報をより多く割当てるとともに、誤差が相対的に低い領域に合成画像の情報をより多く割当てるステップとを含む。
【００１３】
好ましくは、勾配強度画像を生成するステップは、サイド情報内のテクスチャー変化がより大きな領域がより大きな輝度をもつような画像を生成するステップを含む。
【００１４】
好ましくは、勾配強度画像を生成するステップは、サイド情報を構成するカラーコンポーネント別に勾配強度画像を生成するステップを含む。
【００１５】
さらに好ましくは、勾配強度画像を生成するステップは、サイド情報を構成する各カラーコンポーネントのグレイスケール画像に対して、エッジ検出処理、スムージング処理、一連のモルフォロジカル処理、および、スムージング処理を順に適用するステップを含む。
【００１６】
好ましくは、剰余画像を生成するステップは、予め定められた対応関係を参照して、勾配強度に対応する係数を選択するステップを含む。
【００１７】
好ましくは、剰余画像を生成するステップは、勾配強度画像の各画素位置について、カラーコンポーネント別に係数を決定する。
【００１８】
好ましくは、選択するステップは、複数画像が多視点画像である場合に、ベースライン距離に基づいて、対象画像ならびに第１の参照画像および第２の参照画像を選択するステップと、複数画像が映像フレーム列である場合に、フレームレートに基づいて、対象画像ならびに第１の参照画像および第２の参照画像を選択するステップとを含む。
【００１９】
好ましくは、本方法は、出力された第１の参照画像、第２の参照画像、および剰余画像を取得するステップと、第１の参照画像および第２の参照画像に基づいて、対象画像に対応する合成画像を生成するステップと、取得された情報からサイド情報を生成するとともに、サイド情報から勾配強度画像を生成するステップと、勾配強度画像の各画素位置について勾配強度に応じた係数を決定するとともに、決定した係数を法とし、剰余画像の対応する画素位置の値を剰余とする逆モジュロ演算により算出される候補値のうち、サイド情報の対応する画素位置の値に対する差が最も小さいものを、対象画像の対応する画素位置の輝度値として決定するステップとをさらに含む。
【００２０】
本発明の別の局面に従えば、互いに類似した情報を含む複数画像のデータサイズを低減するプログラムが提供される。本プログラムは、コンピュータに、複数画像を取得するとともに、複数画像のうち対象画像ならびに対象画像に類似した第１の参照画像および第２の参照画像を選択するステップと、第１の参照画像および第２の参照画像に基づいて、対象画像に対応する合成画像を生成するステップと、対象画像および合成画像の少なくとも一方に基づいて、対象画像の位置における仮想的な視野の情報であるサイド情報を生成するステップと、サイド情報から勾配強度画像を生成するステップと、勾配強度画像の各画素位置について勾配強度に応じた係数を決定するとともに、対象画像の各画素位置の輝度値に対して対応する係数を法とするモジュロ演算を行なうことで、モジュロ演算によって算出される各画素位置の剰余からなる剰余画像を生成するステップと、対象画像、第１の参照画像、および第２の参照画像を表現する情報として、第１の参照画像、第２の参照画像、および剰余画像を出力するステップとを実行させる。
【００２１】
本発明のさらに別の局面に従えば、互いに類似した情報を含む複数画像のデータサイズを低減する装置が提供される。本装置は、複数画像を取得するとともに、複数画像のうち対象画像ならびに対象画像に類似した第１の参照画像および第２の参照画像を選択する手段と、第１の参照画像および第２の参照画像に基づいて、対象画像に対応する合成画像を生成する手段と、対象画像および合成画像の少なくとも一方に基づいて、対象画像の位置における仮想的な視野の情報であるサイド情報を生成する手段と、サイド情報から勾配強度画像を生成する手段と、勾配強度画像の各画素位置について勾配強度に応じた係数を決定するとともに、対象画像の各画素位置の輝度値に対して対応する係数を法とするモジュロ演算を行なうことで、モジュロ演算によって算出される各画素位置の剰余からなる剰余画像を生成する手段と、対象画像、第１の参照画像、および第２の参照画像を表現する情報として、第１の参照画像、第２の参照画像、および剰余画像を出力する手段とを含む。
【発明の効果】
【００２２】
本発明によれば、互いに類似した情報を含む複数画像のデータサイズをより効率的に低減できる。
【図面の簡単な説明】
【００２３】
【図１】本実施の形態に係るデータサイズ低減方法が応用される立体映像再生システム１を示す図である。
【図２】本実施の形態に係る互いに類似した情報を含む複数画像（多視点画像）の一例を示す模式図である。
【図３】本実施の形態に係る互いに類似した情報を含む複数画像（映像フレーム列）の一例を示す模式図である。
【図４】図１に示すエンコーダーとして機能する情報処理装置のハードウェア構成を示す模式図である。
【図５】図１に示すデコーダーとして機能する情報処理装置のハードウェア構成を示す模式図である。
【図６】本実施の形態に係るデータサイズ低減方法の全体処理手順を示すフローチャートである。
【図７】本実施の形態に係るデータサイズ低減方法のエンコード処理に係る機能構成を示すブロック図である。
【図８】本実施の形態に係る合成画像の生成処理の結果を示す図である。
【図９】本実施の形態に係るデータサイズ低減方法においてサイド情報選択に用いられる誤差分布の算出処理を説明するための模式図である。
【図１０】本実施の形態に係る剰余画像の生成に用いられるＬｏｏｋｕｐテーブルの一例を示す図である。
【図１１】本実施の形態に係る剰余画像の生成処理の結果を示す図である。
【図１２】本実施の形態に係る剰余画像の生成処理の結果を示す図である。
【図１３】本実施の形態に係るデータサイズ低減方法のエンコード処理に入力された対象画像の一例を示す。
【図１４】図１３に示す対象画像から生成された剰余画像の一例を示す。
【図１５】本実施の形態に係るデータサイズ低減方法のデコード処理に係る機能構成を示すブロック図である。
【図１６】本実施の形態に係るデータサイズ低減方法のデコード処理の概要を説明するための模式図である。
【発明を実施するための形態】
【００２４】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２５】
［Ａ．応用例］
まず、本実施の形態に係るデータサイズ低減方法について理解を容易にするため、典型的な応用例について説明する。なお、本実施の形態に係るデータサイズ低減方法の応用範囲は、以下に示す構成に限定されるものではなく、任意の構成に応用できる。
【００２６】
図１は、本実施の形態に係るデータサイズ低減方法が応用される立体映像再生システム１を示す図である。図１を参照して、立体映像再生システム１では、複数のカメラ１０（カメラアレイ）を用いて互いに異なる複数の視点で被写体２を撮像することで多視点画像を生成し、この生成した多視点画像を用いて立体表示装置３００で立体映像を表示する。
【００２７】
より具体的には、立体映像再生システム１は、複数のカメラ１０からそれぞれの画像（視差画像）が入力されるエンコーダーとして機能する情報処理装置１００と、情報処理装置１００から伝送されるデータをデコードして多視点画像を立体表示装置３００へ出力するデコーダーとして機能する情報処理装置２００とを含む。情報処理装置１００は、エンコード処理とともに、後述するようなデータ圧縮処理を行なうことで、保存および／または伝送に適したデータを生成する。一例として、情報処理装置１００は、接続された無線伝送装置１０２を用いて、生成した多視点画像の情報を含むデータ（圧縮データ）を無線伝送する。この無線伝送されたデータは、無線基地局４００などを介して、情報処理装置２００に接続された無線伝送装置２０２で受信される。
【００２８】
立体表示装置３００は、主として拡散フィルム３０６および集光レンズ３０８で構成される表示スクリーンと、表示スクリーンに多視点画像を投影するプロジェクタアレイ３０４と、プロジェクタアレイ３０４の各プロジェクタによる投影画像を制御するためのコントローラ３０２とを含む。コントローラ３０２は、情報処理装置２００から出力される多視点画像に含まれる各視差画像を対応するプロジェクタに投影させる。
【００２９】
このような装置構成によって、表示スクリーンの前にいる観察者には被写体２の再生立体像が提供される。このとき、表示スクリーンと観察者との相対的な位置に応じて、観察者の視野に入る視差画像が変化するようになっており、観察者は、あたかも被写体２の前にいるような体験が得られる。
【００３０】
このような立体映像再生システム１は、一般用途としては、映画館やアミューズメント施設などで利用され、産業用途としては、遠隔医療システム、工業デザイン設計システム、パブリックビューイング等の電子広告システムとして利用されることが期待されている。
【００３１】
［Ｂ．概要］
図１に示すようなカメラアレイで被写体２を撮像することで生成される多視点画像や動画などを考えると、それを構成する画像間は冗長な情報を含み得る。本実施の形態に係るデータサイズ低減方法は、このような冗長な情報を考慮して、それを排除したデータを生成する。すなわち、本実施の形態に係るデータサイズ低減方法は、互いに類似した情報を含む複数画像のデータサイズを低減しようとするものである。
【００３２】
本実施の形態に係るデータサイズ低減方法は、上述したような多視点データ表現(multi-view data representation)に応用できるとともに、分散ソースコーディング(distributed source coding)にも応用できる。あるいは、本実施の形態に係るデータサイズ低減方法は、映像フレーム表現(video frames representation)に応用できるとともに、分散映像フレームコーディング(distributed video frames coding)にも応用できる。なお、本実施の形態に係るデータサイズ低減方法は、それ単体でも利用されるし、データ伝送前の前処理の一部として利用されることもある。
【００３３】
図１に示すようなカメラアレイで撮像された多視点画像を想定すると、そのうちいくつかの画像については元のまま維持されるとともに、他のいくつかの画像は後述する剰余画像へ変換される。撮像されたすべての画像を用いる場合には、元のまま維持される画像についての距離画像が取得（推定）される。
【００３４】
元のまま維持される画像および距離画像を用いて、剰余画像に変換される画像の位置における仮想的な視野が合成（推定）される。この距離画像は、デコード処理（変換された画像を逆変換する処理／本来の画像形式に戻す処理）においても利用可能である。元のまま維持される画像についての距離画像は、逆変換処理において、その元のまま維持される画像を用いて再構成されてもよい。
【００３５】
本実施の形態においては、剰余画像の生成において、変換の対象となる画像の位置における仮想的な視野の情報であるサイド情報が用いられる。入力される画像が多視点画像である場合には、合成された仮想画像（仮想的な視野）がサイド情報として用いられる。あるいは、元のまま維持される画像および距離画像を用いて仮想画像を合成し、この合成した仮想画像をサイド情報として用いてもよい。
【００３６】
さらに、剰余画像への変換前において、剰余画像へ変換されることになっている対象の画像そのものをサイド情報として用いてもよい。この場合には、デコード処理において対象の画像をそのまま利用することができないので、合成した仮想画像および／または対象の画像を縮小した画像をサイド情報として用いることになる。
【００３７】
一方、入力される画像が映像フレーム列である場合には、フレーム同士を内挿または外挿したフレームをサイド情報として用いることができる。
【００３８】
サイド情報から剰余画像を生成する際には、勾配強度画像(gradient image)が生成される。それぞれの勾配強度の値は整数値になっており、この整数値を用いて、モジュロ演算または逆モジュロ演算が実行される。
【００３９】
図２および図３は、本実施の形態に係る互いに類似した情報を含む複数画像の一例を示す模式図である。図２（ａ）を参照して、例えば、図１に示すように互いに近接配置された複数のカメラ（カメラアレイ）を用いて被写体を撮像することで、対応するカメラ位置に応じた視差を有する視差画像群が生成される。これらの視差画像群のうち、ある対象画像１７０に着目すると、その視野は、近接したカメラ位置にあるカメラを用いて撮像された他の画像（以下「参照画像」とも称す。）の視野と少なくとも部分的には重複している場合が多く、このような視野の重複によって、対象画像１７０および参照画像１７２，１８２の間では冗長な情報が存在する。逆に言えば、このような状況下においては、参照画像１７２，１８２が有する情報と何らかの付加情報とから、対象画像１７０に含まれる情報を再構成できる。
【００４０】
本実施の形態に係るデータサイズ低減方法は、対象画像１７０の情報を近接する参照画像１７２，１８２の情報から再構成できるような剰余画像１９４を生成し、対象画像１７０に代えてこの剰余画像１９４を出力する。基本的に、剰余画像１９４は、対象画像１７０の有する情報のうち、参照画像１７２，１８２が含む情報では不足する情報を補間するものであり、対象画像１７０をそのまま出力する場合に比較して冗長性を排除できる。そのため、対象画像１７０および参照画像１７２，１８２をそのまま出力する場合に比較して、データサイズを低減できる。
【００４１】
後述するように対象画像１７０および参照画像１７２，１８２は、互いに類似した情報を含む限り、任意の間隔で選択することができ、例えば、図２（ｂ）に示すように、同一の参照画像１７２および１８２に対して、対象画像１７０−１，１７０−２，１７０−３の各々について剰余画像１９４−１，１９４−２，１９４−３を生成してもよい。すなわち、一対の参照画像について、１または複数の対象画像を剰余画像に変換することができる。
【００４２】
また、図３（ａ）に示すように、映像フレーム列についても同様のロジックを適用できる。すなわち、通常の動画像のフレーム周期は十分に短いので、近接するフレームを適切に選択すれば、それに含まれる情報の一部が互いに重複し得る。そこで、あるフレームの画像を対象画像１７０とし、近接するフレームにある参照画像１７２，１８２を参照して剰余画像１９４を生成することで、データサイズを低減できる。
【００４３】
映像フレーム列についても同様に、対象画像１７０および参照画像１７２，１８２は、互いに類似した情報を含む限り、任意のフレーム間隔で選択することができ、例えば、図３（ｂ）に示すように、同一の参照画像１７２および１８２に対して、対象画像１７０−１，１７０−２，１７０−３の各々について剰余画像１９４−１，１９４−２，１９４−３を生成してもよい。すなわち、一対の参照画像について、１または複数の対象画像を剰余画像に変換することができる。
【００４４】
本実施の形態に係るデータサイズ低減方法は、それ単体でも利用されるし、データ伝送前の前処理の一部として用いられることもある。
【００４５】
なお、本明細書において、「撮像」は、現実のカメラを用いて被写体の画像を取得する処理に加えて、例えば、コンピュータグラフィックスのように、仮想空間上に何らかオブジェクトを配置し、この配置されたオブジェクトに対して任意に設定された視点から画像をレンダリングする処理（すなわち、仮想空間上での仮想的な撮像）を含み得る。
【００４６】
本実施の形態において、被写体を撮像するカメラアレイにおいてカメラは任意に配置できる。例えば、１次元配列（カメラを直線上に配置）、２次元配列（カメラを行列状に配置）、円状配列（カメラを円周の全部または一部に沿って配置）、らせん配列（カメラをらせん状に配置）、ランダム配置（何らの規則なくカメラを配置）といった任意の配置を採用できる。
【００４７】
［Ｃ．ハードウェア構成］
次に、本実施の形態に係るデータサイズ低減方法を実現するためのハードウェアの構成例について説明する。図４は、図１に示すエンコーダーとして機能する情報処理装置１００のハードウェア構成を示す模式図である。図５は、図１に示すデコーダーとして機能する情報処理装置２００のハードウェア構成を示す模式図である。
【００４８】
図４を参照して、情報処理装置１００は、プロセッサ１０４と、メモリ１０６と、カメラインターフェイス１０８と、ハードディスク１１０と、入力部１１６と、表示部１１８と、通信インターフェイス１２０とを含む。これらの各コンポーネントは、バス１２２を介して互いにデータ通信可能に構成されている。
【００４９】
プロセッサ１０４は、ハードディスク１１０などに格納されているプログラムを読出してメモリ１０６に展開して実行することで、本実施の形態に係るエンコード処理を実現する。メモリ１０６は、プロセッサ１０４が処理を実行するためのワーキングメモリとして機能する。
【００５０】
カメラインターフェイス１０８は、複数のカメラ１０と接続され、それぞれのカメラ１０が撮像した画像を取得する。取得された画像は、ハードディスク１１０やメモリ１０６に格納されてもよい。ハードディスク１１０は、取得された画像を含む画像データ１１２と、エンコード処理およびデータ圧縮処理を実現するためのエンコードプログラム１１４とを不揮発的に保持している。エンコードプログラム１１４がプロセッサ１０４により読み出されて実行されることで、後述するエンコード処理が実現される。
【００５１】
入力部１１６は、典型的には、マウスやキーボードなどを含み、ユーザからの操作を受付ける。表示部１１８は、処理結果などをユーザへ通知する。
【００５２】
通信インターフェイス１２０は、無線伝送装置１０２などと接続され、プロセッサ１０４による処理の結果出力されるデータを無線伝送装置１０２へ出力する。
【００５３】
図５を参照して、情報処理装置２００は、プロセッサ２０４と、メモリ２０６と、プロジェクタインターフェイス２０８と、ハードディスク２１０と、入力部２１６と、表示部２１８と、通信インターフェイス２２０とを含む。これらの各コンポーネントは、バス２２２を介して互いにデータ通信可能に構成されている。
【００５４】
プロセッサ２０４、メモリ２０６と、入力部２１６、および、表示部２１８は、図４に示すプロセッサ１０４、メモリ１０６と、入力部１１６、および、表示部１１８とそれぞれ同様であるので、詳細な説明は繰返さない。
【００５５】
プロジェクタインターフェイス２０８は、立体表示装置３００と接続され、プロセッサ２０４によってデコードされた多視点画像を立体表示装置３００へ出力する。
【００５６】
通信インターフェイス２２０は、無線伝送装置２０２などと接続され、情報処理装置１００から送信される画像データを受信し、プロセッサ２０４へ出力する。
【００５７】
ハードディスク２１０は、デコードされた画像を含む画像データ２１２と、デコード処理を実現するためのデコードプログラム２１４とを不揮発的に保持している。デコードプログラム２１４がプロセッサ２０４により読み出されて実行されることで、後述するデコード処理が実現される。
【００５８】
図４および図５に示す情報処理装置１００および２００のハードウェア自体およびその動作原理は一般的なものであり、本実施の形態に係るエンコード処理／デコード処理を実現するための本質的な部分は、ハードディスクなどの記憶媒体に格納されたエンコードプログラム１１４やデコードプログラム２１４などのソフトウェア（命令コード）である。エンコードプログラム１１４および／またはデコードプログラム２１４は、ＯＳ(Operating System)が提供するモジュールを用いて処理を実行するように構成してもよい。この場合には、エンコードプログラム１１４および／またはデコードプログラム２１４は、一部のモジュールを含まないことになるが、このような場合であっても、本願発明の技術的範囲に含まれる。
【００５９】
情報処理装置１００および／または情報処理装置２００の全部または一部の機能をＡＳＩＣ(Application Specific Integrated Circuit)などの専用の集積回路を用いて実現してもよいし、ＦＰＧＡ（Field-Programmable Gate Array）やＤＳＰ(Digital Signal Processor)などのプログラム可能なハードウェアを用いて実現してもよい。
【００６０】
また、後述するように、画像を管理するデータサーバなどにおいては、エンコード処理およびデコード処理を単一の情報処理装置が実行することになる。
【００６１】
［Ｄ．全体処理手順］
次に、本実施の形態に係るデータサイズ低減方法の全体処理手順について説明する。図６は、本実施の形態に係るデータサイズ低減方法の全体処理手順を示すフローチャートである。図６に示すデータサイズ低減方法は、主としてエンコード処理からなるが、実用的には、エンコードされたデータから元の画像を再構成するためのデコード処理を含む。図１に示すような立体映像再生システム１では、エンコード処理およびデコード処理はそれぞれ異なる情報処理装置によって実行される。一方、画像を格納するためのサーバシステムなどでは、単一の情報処理装置がエンコード処理およびデコード処理を実行することになる。すなわち、データ格納前の前処理としてエンコード処理が実行され、データ再構成時にデコード処理が実行される。いずれの場合であっても、典型的には、プロセッサがプログラムを実行することで、各ステップの処理が実現される。
【００６２】
図６を参照して、エンコード処理として、ステップＳ１００〜Ｓ１１０の処理が実行される。具体的には、プロセッサ１０４は、互いに類似した情報を含む複数の画像を取得し、その取得した画像を所定の記憶領域に格納するとともに、取得した複数の画像のうち１つの画像を対象画像に設定し、当該対象画像に類似する少なくとも２つの画像を参照画像に設定する（ステップＳ１００）。すなわち、プロセッサ１０４は、互いに類似した情報を含む複数画像を取得するとともに、複数画像のうち、対象画像および対象画像に類似した２つの参照画像を選択する。続いて、プロセッサ１０４は、設定した２つの参照画像から対象画像に対応する合成画像を生成する（ステップＳ１０２）。
【００６３】
続いて、プロセッサ１０４は、対象画像および合成画像の一部または全部に基づいて、サイド情報を生成する（ステップＳ１０４）。すなわち、プロセッサ１０４は、対象画像および合成画像の少なくとも一方に基づいて、対象画像の位置における仮想的な視野の情報であるサイド情報を生成する。サイド情報は、剰余画像および参照画像から対象画像を再構成するために必要な情報を含む。
【００６４】
続いて、プロセッサ１０４は、生成したサイド情報から勾配強度画像を生成する（ステップＳ１０６）。そして、プロセッサ１０４は、生成した勾配強度画像から対象画像の剰余画像を生成する（ステップＳ１０８）。
【００６５】
最終的に、プロセッサ１０４は、対象画像および参照画像に対応する情報として、少なくとも、剰余画像および参照画像を出力する（ステップＳ１１０）。すなわち、プロセッサ１０４は、対象画像および２つの参照画像を表現する情報として、２つの参照画像および剰余画像を出力する。
【００６６】
デコード処理として、ステップＳ２００〜Ｓ２１０の処理が実行される。具体的には、プロセッサ２０４は、エンコード処理の結果出力される情報を取得する（ステップＳ２００）。すなわち、プロセッサ２０４は、少なくとも出力された２つの参照画像および剰余画像を取得する。
【００６７】
続いて、プロセッサ２０４は、取得した情報に含まれる参照画像から対象画像に対応する合成画像を生成する（ステップＳ２０２）。
【００６８】
続いて、プロセッサ２０４は、取得した情報からサイド情報を生成する（ステップＳ２０４）。そして、プロセッサ２０４は、生成したサイド情報から勾配強度画像を生成する（ステップＳ２０６）。
【００６９】
そして、プロセッサ２０４は、サイド情報、勾配強度画像、および剰余画像から対象画像を再構成する（ステップＳ２０８）。最終的に、プロセッサ１０４は、再構成した対象画像および参照画像を出力する（ステップＳ２１０）。
【００７０】
［Ｅ．エンコード処理］
次に、本実施の形態に係るデータサイズ低減方法のエンコード処理（図６のステップＳ１００〜Ｓ１１０）の詳細について説明する。
【００７１】
（ｅ１：機能構成）
図７は、本実施の形態に係るデータサイズ低減方法のエンコード処理に係る機能構成を示すブロック図である。図７を参照して、情報処理装置１００は、その機能構成として、入力画像バッファ１５０と、距離情報推定部１５２と、距離情報バッファ１５４と、サブサンプリング部１５６と、画像合成部１５８と、サイド情報選択部１６０と、勾配強度画像生成部１６２と、係数選択部１６４と、Ｌｏｏｋｕｐテーブル１６６と、モジュロ演算部１６８とを含む。
【００７２】
（ｅ２：入力画像および距離画像の取得）
図６のステップＳ１００に示す画像取得処理は、図７の入力画像バッファ１５０、距離情報推定部１５２、および距離情報バッファ１５４によって実現される。具体的には、情報処理装置１００は、複数のカメラ１０（カメラアレイ）によって撮像された複数の視差画像からなる多視点画像を受信し、入力画像バッファ１５０に格納する。あるいは、情報処理装置１００は、フレーム順に配置された画像からなる一連の映像を受信し、入力画像バッファ１５０に格納してもよい。これらの入力画像が処理対象になる。説明の簡略化のため、１つの対象画像１７０と２つの参照画像１７２，１８２とのセットに着目して説明するが、要求されるデータサイズの低減率や情報処理装置１００の処理能力などに応じて、任意の数のセットに対して、本実施の形態に係るデータサイズ低減方法を適用すればよい。
【００７３】
また、対象画像１７０および参照画像１７２，１８２は、互いに類似した情報を含んでいなければならないので、多視点画像については、対象画像１７０および参照画像１７２，１８２は、そのベースライン距離に基づいて選択されることが好ましい。すなわち、その間に生じる視差に応じて、対象画像１７０および参照画像１７２，１８２が選択される。また、映像フレーム列（動画像）については、フレームレートに基づいて、対象となるフレームが選択される。すなわち、図６のステップＳ１００の処理は、複数画像が多視点画像である場合（図２参照）に、ベースライン距離に基づいて、対象画像１７０および参照画像１７２，１８２を選択する処理と、複数画像が映像フレーム列である場合（図３参照）に、フレームレートに基づいて、対象画像１７０および参照画像１７２，１８２を選択する処理とを含む。
【００７４】
図７において、対象画像１７０については、対象画像１７０が表現する対象視野(target view for representation)を意味する「ＶＴ」と表し、対象画像１７０の右側に位置する参照画像１７２については、対象画像１７０の右側にあるオリジナル視野(original view at the right side of VT)を意味する「ＶＲ」と表し、対象画像１７０の左側に位置する参照画像１８２については、対象画像１７０の左側にあるオリジナル視野(original view at the left side of VT)を意味する「ＶＬ」と表す。なお、右側および左側という表現は、説明の便宜上のものであり、現実のカメラ配置とは必ずしも一致しない場合もある。
【００７５】
本実施の形態に係るデータサイズ低減方法では、後述するように、参照画像１７２および１８２の距離画像を利用して、対象画像に対応する合成画像１７６を生成する場合もある。そのため、任意の方法を用いて、参照画像１７２の距離画像１７４および参照画像１８２の距離画像１８４が取得される。
【００７６】
例えば、図１に示すようなカメラアレイを用いる場合には、被写体を示す画像の取得に加えて、距離画像を同時に取得できる場合がある。エンコード処理における対象画像１７０の再構成処理を考慮すると、参照画像と対応する距離画像との間で視野が不変であることが好ましい。そのため、可能であれば、このようなカメラアレイを用いてそれぞれの距離画像を取得することが好ましい。この場合、参照画像および対応する距離画像が同時に情報処理装置へ入力される。そのため、参照画像に対応する距離画像を取得できる場合には、図７に示す距離情報推定部１５２を必ずしも実装する必要はない。
【００７７】
図７において、参照画像１７２に対応する距離画像１７４については、その位置における距離画像(depth map at the location of VR)を意味する「ＤＲ」と表し、参照画像１８２に対応する距離画像１８４については、その位置における距離画像(depth map at the location of VL)を意味する「ＤＬ」と表す。
【００７８】
入力される複数画像が多視点画像である場合であって、視野についての距離画像を利用できないときや、距離カメラを利用できないときには、距離情報推定部１５２が参照画像１７２および１８２にそれぞれ対応する距離画像１７４および１８４を生成する。距離情報推定部１５２による距離画像の推定方法としては、非特許文献２に開示されるようなエネルギー最適化を併用した、ステレオマッチングに基づく各種の方法を採用できる。例えば、非特許文献３に開示されるようなグラフカットを用いて最適化することもできる。
【００７９】
距離情報推定部１５２によって生成された距離画像１７４および１８４は、距離情報バッファ１５４に格納される。
【００８０】
なお、入力される複数画像が映像フレーム列（動画像）である場合には、必ずしも距離画像を取得する必要はない。
【００８１】
以下の説明では、典型例として、入力データの一つのセットが対象画像１７０、参照画像１７２および対応する距離画像１７４、ならびに参照画像１８２および対応する距離画像１８４を含む場合について主として説明する。
【００８２】
（ｅ３：合成画像の生成）
図６のステップＳ１０２に示す合成画像の生成処理は、図７の画像合成部１５８によって実現される。より具体的には、画像合成部１５８は、参照画像１７２および対応する距離画像１７４、ならびに、参照画像１８２および対応する距離画像１８４を用いて、対象画像１７０の位置における仮想的な視野を示す合成画像１７６を生成する。図７において、この合成画像１７６については、対象視野の仮想視野を意味する「VT(virtual)」と表す。このような画像合成としては、例えば、非特許文献４および非特許文献５に開示されるような方法を採用できる。また、距離画像の精度が低い場合には、非特許文献６および非特許文献７に開示されるような、内挿処理を用いることで、合成画像１７６を生成できる。
【００８３】
図８は、本実施の形態に係る合成画像の生成処理の結果を示す図である。図８に示すように、参照画像１７２および対応する距離画像１７４、ならびに、参照画像１８２および対応する距離画像１８４から、対象画像１７０に対応する合成画像１７６が生成される。
【００８４】
また、入力される複数画像が映像フレーム列（動画像）である場合には、２つの参照画像１７２および１８２に対応するフレームの情報から内挿処理または外挿処理を行なうことで、対象画像１７０に対応するフレームの情報を生成し、合成画像１７６として使用できる。
【００８５】
（ｅ４：サイド情報の生成）
図６のステップＳ１０４に示すサイド情報の生成処理は、図７のサブサンプリング部１５６およびサイド情報選択部１６０によって実現される。上述したように、サイド情報１９０は、対象画像１７０の位置における仮想的な視野の情報であり、対象画像１７０、対象画像１７０の縮小画像、合成画像１７６、および、対象画像１７０の縮小画像と合成画像１７６とを組合せた画像などを用いて生成される。サイド情報選択部１６０は、入力される情報（画像）を適宜選択してサイド情報１９０を出力する。図７において、サイド情報１９０を「VT(side information)」と表す。
【００８６】
サブサンプリング部１５６は、対象画像１７０から縮小画像１７８を生成する。図７において、この縮小画像１７８については、対象画像１７０をサブサンプリングして得られたことを意味する「VT(sub-sampled)」と表す。
【００８７】
サブサンプリング部１５６における縮小画像１７８の生成処理は、任意の方法を採用できる。例えば、対象画像１７０から所定間隔毎に画素情報を抽出することで、縮小画像１７８として出力することができる。
【００８８】
あるいは、任意のフィルタリング処理（例えば、最近傍法、内挿法、バイキュービック法、バイラテラルフィルタを用いて縮小画像１７８を生成してもよい。例えば、対象画像１７０を所定サイズの領域（例えば、２×２画素、３×３画素など）に分割し、各領域において、その領域に含まれる複数の画素の情報に対して線形または非線型の補間処理をすることで、任意のサイズの縮小画像１７８を生成できる。
【００８９】
サイド情報１９０を生成する方法としては、典型的には、以下に示す（ａ）−（ｄ）の４つの方法の中から任意に選択できる。
【００９０】
（ａ）サイド情報１９０として対象画像１７０そのものが用いられる場合：
サイド情報選択部１６０は、入力された対象画像１７０をそのままサイド情報１９０として出力する。また、デコード処理において対象画像１７０そのものを利用できないので、参照画像から生成される合成画像がサイド情報として用いられる。
【００９１】
（ｂ）サイド情報１９０として対象画像１７０の縮小画像１７８が用いられる場合：
サイド情報選択部１６０は、サブサンプリング部１５６により生成された縮小画像１７８をそのまま出力する。
【００９２】
（ｃ）サイド情報１９０として合成画像１７６が用いられる場合：
サイド情報選択部１６０は、画像合成部１５８により生成された合成画像１７６をそのまま出力する。
【００９３】
（ｄ）サイド情報１９０として縮小画像１７８と合成画像１７６との組合せが用いられる場合：
サイド情報選択部１６０は、後述するような方法に従って、サイド情報１９０を生成する。すなわち、図６のステップＳ１０４に示すサイド情報の生成処理は、対象画像１７０の縮小画像１７８と合成画像１７６とを組み合わせてサイド情報１９０を生成する処理を含む。
【００９４】
より具体的には、サイド情報選択部１６０は、まず、組み合わせに用いる重み係数を算出する。この重み係数は、対象画像１７０の縮小画像１７８に対する合成画像１７６の信頼度分布に関連付けられる。すなわち、合成画像１７６と縮小画像１７８（対象画像１７０）との間の誤差（あるいは、両者の一致度合い）に基づいて、重み係数が決定される。算出される誤差分布は、信頼度分布を反転させたものに相当し、誤差が小さいほど信頼度が高いと考えることができる。すなわち、誤差が大きい領域ほど、合成画像１７６の信頼性が低いと考えられるので、このような領域については、縮小画像１７８（対象画像１７０）の情報がより多く割当てられる。一方、誤差が小さい領域ほど、合成画像１７６の信頼性が高いと考えられるので、より冗長性の低い合成画像１７６の情報がより多く割当てられる。
【００９５】
図９は、本実施の形態に係るデータサイズ低減方法においてサイド情報選択に用いられる誤差分布の算出処理を説明するための模式図である。図９を参照して、サイド情報選択部１６０は、対象画像１７０の縮小画像１７８(VT(sub-sampled))をアップサンプリングして得られた拡大画像１７９と、合成画像１７６(VT(virtual))との間で、対応する画素間で輝度値の絶対値の差分をとることで、誤差分布Ｒを決定する。縮小画像１７８をアップサンプリングするのは、合成画像１７６とサイズを一致させるため、および対象画像１７０を再構成する処理における処理を想定して誤差を算出するためである。
【００９６】
このように、サイド情報選択部１６０は、（ｄ）の方式を選んだ場合には、縮小画像１７８をアップサンプリングして得られた拡大画像１７９と合成画像１７６との差に基づいて誤差分布を決定する。サイド情報選択部１６０は、決定した誤差分布Ｒに基づいて、縮小画像１７８（あるいは、拡大画像１７９）と合成画像１７６とを組み合わせてサイド情報１９０を生成する。算出された誤差分布Ｒを用いてサイド情報１９０を生成する方法としては、種々の方法が考えられるが、例えば、以下のような処理例が採用できる。
【００９７】
（ｉ）処理例１：２値化重み付け組合せ法(binary weighted combination)
本処理例においては、算出された誤差分布Ｒを任意のしきい値を用いて２つの領域に分類する。典型的には、その誤差がしきい値より高い領域をＨｉ領域とし、その誤差がしきい値より低い領域をＬｏ領域とする。そして、サイド情報１９０の各画素には、誤差分布ＲのＨｉ領域およびＬｏ領域に対応して、縮小画像１７８（実質的には、拡大画像１７９）または合成画像１７６の情報が割当てられる。より具体的には、誤差分布ＲのＨｉ領域に対応するサイド情報１９０の画素位置には、縮小画像１７８をアップサンプリングして得られた拡大画像１７９の対応する画素位置の値が割当てられ、誤差分布ＲのＬｏ領域に対応する画素位置には、合成画像１７６の対応する画素位置の値が割当てられる。
【００９８】
すなわち、拡大画像１７９（縮小画像１７８をアップサンプリングした画像）をＳＳ、合成画像１７６をＳＹと表せば、サイド情報１９０（「ＳＩ」と表す）の画素位置（ｘ，ｙ）における値は、所定のしきい値ＴＨを用いて、以下のようになる。
【００９９】
ＳＩ（ｘ，ｙ）＝ＳＳ（ｘ，ｙ）｛ｉｆ  Ｒ（ｘ，ｙ）≧ＴＨ｝
＝ＳＹ（ｘ，ｙ）｛ｉｆ  Ｒ（ｘ，ｙ）＜ＴＨ｝
このように、本処理例において、サイド情報選択部１６０は、誤差が相対的に高い領域に縮小画像１７８をアップサンプリングして得られた拡大画像１７９の情報を割当てるとともに、誤差が相対的に低い領域に合成画像１７６の情報を割当てる。
【０１００】
（ｉｉ）処理例２：離散化重み付け組合せ法(discrete weighted combination)
本処理例においては、算出された誤差分布Ｒを（ｎ−１）個のしきい値を用いて、ｎ種類の領域に分類する。分類された領域の番号ｋを誤差が低い方から１，２，…，ｎとすると、サイド情報１９０（ＳＩ）の画素位置（ｘ，ｙ）における値は、分類された領域の番号ｋを用いて、以下のようになる。
【０１０１】
ＳＩ（ｘ，ｙ）＝（ｋ／ｎ）×ＳＹ（ｘ，ｙ）＋（１−ｋ／ｎ）×ＳＳ（ｘ，ｙ）
このように、本処理例において、サイド情報選択部１６０は、誤差が相対的に高い領域に縮小画像１７８をアップサンプリングして得られた拡大画像１７９の情報を割当てるとともに、誤差が相対的に低い領域に合成画像１７６の情報を割当てる。
【０１０２】
（ｉｉｉ）処理例３：連続重み付け組合せ法(continuous weighted combination)
本処理例においては、画素位置の誤差の逆数を重み付け係数とみなし、これを用いて、サイド情報１９０を算出する。具体的には、サイド情報１９０の画素位置（ｘ，ｙ）における値ＳＩ（ｘ，ｙ）は以下のようになる。
【０１０３】
ＳＩ（ｘ，ｙ）＝（１／Ｒ（ｘ，ｙ））×ＳＹ（ｘ，ｙ）＋（１−１／Ｒ（ｘ，ｙ））×ＳＳ（ｘ，ｙ）
このように、本処理例において、サイド情報選択部１６０は、誤差が相対的に高い領域に縮小画像１７８をアップサンプリングして得られた拡大画像１７９の情報を割当てるとともに、誤差が相対的に低い領域に合成画像１７６の情報を割当てる。本処理例においては、誤差が高いほど拡大画像１７９（縮小画像１７８）が優位になり、誤差が低いほど合成画像１７６が優位になる。
【０１０４】
（ｅ５：勾配強度画像の生成）
図６のステップＳ１０６に示す勾配強度画像の生成処理は、図７の勾配強度画像生成部１６２によって実現される。より具体的には、勾配強度画像生成部１６２は、サイド情報１９０から画像空間上の変化を示す勾配強度画像１９２を生成する。勾配強度画像１９２は、サイド情報１９０内のテクスチャー変化がより大きな領域がより大きな輝度をもつような画像を意味する。図７において、勾配強度画像１９２を「VT(gradient)」と表す。勾配強度画像１９２の生成処理としては、任意のフィルタリング処理を用いることができる。また、勾配強度画像１９２の各画素の値は所定範囲内（例えば、０〜２５５）のいずれかの整数値をとるように正規化される。
【０１０５】
典型的には、以下のような処理手順で勾配強度画像１９２が生成される。
（ａ）サイド情報１９０を出力される剰余画像の画像サイズにリサイズする。
【０１０６】
（ｂ）リサイズ後のサイド情報に対してノイズ除去のためにガウシアンフィルタを適用する（ガウシアンスムージング処理）。
【０１０７】
（ｃ）フィルタ後のサイド情報をカラーコンポーネント別に分離する（すなわち、カラーコンポーネントの別にグレイスケール画像を生成する）。
【０１０８】
（ｄ）各カラーコンポーネントのグレイスケール画像について、（ｄ１）〜（ｄ４）の処理を実行する。
【０１０９】
（ｄ１）エッジ検出処理
（ｄ２）（１回以上の）ガウシアンスムージング処理（あるいは、メディアンフィルタ処理）
（ｄ３）一連のモルフォロジカル処理（例えば、（１回以上の）膨脹処理、（１回以上の）収縮処理、（１回以上の）膨脹処理）
（ｄ４）（１回以上の）ガウシアンスムージング処理
以上のような処理によって、サイド情報１９０を構成するカラーコンポーネント別に勾配強度画像が生成される。すなわち、図６のステップＳ１０６に示す勾配強度画像１９２の生成処理は、サイド情報１９０を構成する各カラーコンポーネントのグレイスケール画像に対して、エッジ検出処理、スムージング処理、一連のモルフォロジカル処理、および、スムージング処理を順に適用する処理を含む。このような処理によって、サイド情報１９０に含まれるカラーコンポーネントの数だけグレイスケール画像が生成され、それぞれのグレイスケール画像について勾配強度画像が生成される。
【０１１０】
ここに示した処理手順は一例であって、ガウシアンスムージング処理やモルフォロジカル処理の処理内容や処理手順などは適宜設計できる。
【０１１１】
さらに、疑似的な勾配強度画像を生成する処理を採用してもよい。すなわち、サイド情報１９０内のテクスチャー変化がより大きな領域がより大きな輝度をもつような画像を生成できれば、どのようなフィルタリング処理を採用してもよい。
【０１１２】
（ｅ６：剰余画像の生成）
図６のステップＳ１０８に示す剰余画像の生成処理は、図７の係数選択部１６４、Ｌｏｏｋｕｐテーブル１６６、およびモジュロ演算部１６８によって実現される。剰余画像１９４は、勾配強度画像１９２の各画素位置における値をモジュロ演算して得られる剰余を示す。このモジュロ演算にあたって、勾配強度画像１９２の各画素位置の値に応じて、法となる係数Ｄが選択される。係数選択部１６４は、勾配強度画像１９２の各画素位置の値に応じて係数Ｄを選択する。
【０１１３】
このように、図６のステップＳ１０８に示す剰余画像の生成処理は、勾配強度画像１９２の各画素位置について勾配強度に応じた係数Ｄを決定するとともに、対象画像１７０の各画素位置の輝度値に対して対応する係数Ｄを法とするモジュロ演算を行なうことで、モジュロ演算によって算出される各画素位置の剰余からなる剰余画像１９４を生成する処理を含む。
【０１１４】
係数Ｄの選択方法としては任意の方法を採用できる。例えば、勾配強度画像１９２の値そのものを係数Ｄとして選択してもよい。但し、デコード後の画像品質を向上させるために、本実施の形態においては、勾配強度画像１９２に対して非線形に係数Ｄを決定する。具体的には、Ｌｏｏｋｕｐテーブル１６６を参照して、勾配強度画像１９２の各画素位置に対応する係数Ｄを選択する。ここで、係数Ｄは、勾配強度画像１９２に含まれる各カラーコンポーネントの各画素位置について決定される。
【０１１５】
このように図６のステップＳ１０８に示す剰余画像の生成処理は、予め定められた対応関係を参照して、勾配強度に対応する係数Ｄを選択する処理を含む。このとき、勾配強度画像１９２の各画素位置について、カラーコンポーネント別に係数Ｄが決定される。
【０１１６】
図１０は、本実施の形態に係る剰余画像の生成に用いられるＬｏｏｋｕｐテーブル１６６の一例を示す図である。図１０（ａ）に示すように、複数の段階に離散化されており、勾配強度画像１９２の各画素位置の値に対応する係数Ｄが選択される。図１０（ａ）に示すＬｏｏｋｕｐテーブル１６６では、モジュロ演算の法となる値が２のべき乗になるように設計される。このように係数Ｄの割当てを行なうことで、モジュロ演算を高速化できる。Ｌｏｏｋｕｐテーブル１６６は、任意に設計でき、例えば、図１０（ｂ）に示すような、段階数をより少なくしたＬｏｏｋｕｐテーブル１６６を採用してもよい。さらに、Ｌｏｏｋｕｐテーブルを必ずしも使用する必要はなく、予め定められた関数などを用いて、係数Ｄを決定してもよい。
【０１１７】
図７に戻って、係数選択部１６４は、勾配強度画像１９２の各画素位置について、カラーコンポーネント別に係数Ｄを選択する。勾配強度画像１９２に応じて決定される係数Ｄを用いて、モジュロ演算部１６８は、対象画像１７０に対してモジュロ演算を行ない、剰余画像１９４を生成する。
【０１１８】
モジュロ演算部１６８は、対応する係数Ｄを法として各画素位置の輝度値に対するモジュロ演算を行なう。より具体的には、各画素位置の輝度値Ｐ＝ｑ×Ｄ＋ｍ（但し、ｑ≧０，Ｄ＞０）が成立する最小のｍが決定される。ここで、ｑは商であり、ｍは剰余である。
【０１１９】
後述する対象画像１７０の再構成処理（デコード処理）では、「輝度値Ｐ＝ｋ×Ｄ＋ｍ」が算出されるので、各画素位置において算出されるカラーコンポーネント別の剰余ｍが剰余画像１９４として保存される。すなわち、各画素位置の剰余ｍが剰余画像１９４を構成する。図７において、剰余画像１９４を「VT(Remainder)」あるいは「Rem」と表す。
【０１２０】
剰余画像１９４は、公知のダウンサンプリング方法またはアップサンプリング方法を用いて、任意の大きさにリサイズされてもよい。
【０１２１】
図１１および図１２は、本実施の形態に係る剰余画像の生成処理の結果を示す図である。図１１には、合成画像１７６から勾配強度画像１９２を生成した例を示し、この勾配強度画像１９２に基づいて、Ｌｏｏｋｕｐテーブル１６６を参照して、カラーコンポーネント毎の各画素位置の係数Ｄが選択される。そして、図１２に示すように、選択された係数を法とするモジュロ演算が対象画像１７０に対して実行される。これによって、剰余画像１９４が生成される。
【０１２２】
本実施の形態に係るデータサイズ低減方法のエンコード処理の最終出力として、少なくとも、入力されたままの参照画像１７２および１８２と、処理結果である剰余画像１９４とが保存される。オプションとして、参照画像１７２の距離画像１７４、および参照画像１８２の距離画像１８４が出力されてもよい。また、オプションとして、剰余画像１９４とともに縮小画像１７８が出力されてもよい。これらのオプションとして付加される情報（画像）は、デコード処理における処理内容に応じて適宜選択される。
【０１２３】
上述の説明においては、１つの対象画像１７０と２つの参照画像１７２，１８２とのセットに着目して説明したが、入力される複数の画像（多視点画像または映像フレーム列）に対して設定されるすべての対象画像およびにそれぞれ対応する参照画像に対して、同様の処理が実行される。
【０１２４】
（ｅ７：処理例）
以下、本実施の形態に係るデータサイズ低減方法のエンコード処理の処理例を示す。
【０１２５】
図１３は、本実施の形態に係るデータサイズ低減方法のエンコード処理に入力された対象画像１７０の一例を示す。図１４は、図１３に示す対象画像１７０から生成された剰余画像１９４の一例を示す。図１３に示すような高精細な対象画像１７０であっても、図１４に示すように、剰余画像１９４の多くの部分が黒色になっており、情報量が低減されていることがわかる。
【０１２６】
［Ｆ．デコード処理］
次に、本実施の形態に係るデータサイズ低減方法のデコード処理（図６のステップＳ２００〜Ｓ２１０）の詳細について説明する。基本的には、エンコード処理の逆処理であるので、同様の処理についての詳細な説明は繰返さない。
【０１２７】
（ｆ１：機能構成）
図１５は、本実施の形態に係るデータサイズ低減方法のデコード処理に係る機能構成を示すブロック図である。図１６は、本実施の形態に係るデータサイズ低減方法のデコード処理の概要を説明するための模式図である。図１５における表記は、図７における表記に準じている。
【０１２８】
図１５を参照して、情報処理装置２００は、その機能構成として、入力データバッファ２５０と、距離情報推定部２５２と、距離情報バッファ２５４と、画像合成部２５８と、サイド情報選択部２６０と、勾配強度画像生成部２６２と、係数選択部２６４と、Ｌｏｏｋｕｐテーブル２６６と、逆モジュロ演算部２６８とを含む。
【０１２９】
情報処理装置２００は、エンコード処理された情報（参照画像１７２および１８２、ならびに剰余画像１９４）を用いて、元の対象画像１７０を再構成する。例えば、図１６に示すように、参照画像１７２，１８２と剰余画像１９４とが交互が配置されており、情報処理装置２００は、剰余画像１９４の各々に対して、対応する参照画像１７２，１８２を用いてデコード処理を行なうことで、元の対象画像に対応する再構成画像２９４を復元する。図１６に示すように、１つの参照画像が複数の対象画像に関連付けられる場合もある。
【０１３０】
（ｆ２：入力データおよび距離画像の取得）
図６のステップＳ２００に示すエンコード処理の取得処理は、図１５の入力データバッファ２５０と、距離情報推定部２５２と、距離情報バッファ２５４によって実現される。具体的には、情報処理装置２００は、上述のデコード処理によって生成された、参照画像１７２および１８２ならびに剰余画像１９４を少なくとも受信する。上述したように、参照画像１７２および１８２にそれぞれ対応する距離画像１７４および１８４が併せて送信される場合には、これらの距離画像もデコード処理に用いられる。
【０１３１】
一方、距離画像１７４および１８４が入力されない場合には、距離情報推定部２５２が参照画像１７２および１８２にそれぞれ対応する距離画像１７４および１８４を生成する。距離情報推定部２５２における距離画像の推定方法は、上述した距離情報推定部１５２（図７）における距離画像の推定方法と同様であるので、詳細な説明は繰返さない。距離情報推定部２５２によって生成された距離画像１７４および１８４は、距離情報バッファ２５４に格納される。
【０１３２】
（ｆ３：合成画像の生成）
図６のステップＳ２０２に示す合成画像の生成処理は、図１５の画像合成部２５８によって実現される。より具体的には、画像合成部２５８は、参照画像１７２および対応する距離画像１７４、ならびに、参照画像１８２および対応する距離画像１８４を用いて、対象画像１７０の位置における仮想的な視野を示す合成画像２７６を生成する。画像合成部２５８における合成画像の生成方法は、上述した画像合成部１５８（図７）における合成画像の生成方法と同様であるので、詳細な説明は繰返さない。なお、受信された複数画像が映像フレーム列（動画像）である場合には、２つの参照画像１７２および１８２に対応するフレームの情報から内挿処理または外挿処理を行なうことで、対象画像１７０に対応するフレームの情報を生成できる。
【０１３３】
（ｆ４：サイド情報の生成）
図６のステップＳ２０４に示すサイド情報の生成処理は、図１５のサイド情報選択部２６０によって実現される。より具体的には、サイド情報選択部２６０は、縮小画像１７８（入力データに含まれている場合）、合成画像２７６、およびこれらの組合せに基づいて、サイド情報２９０を生成する。
【０１３４】
上述したように、入力データに縮小画像１７８が含まれない場合もあり、この場合には、サイド情報選択部１６０は、画像合成部２５８により生成された合成画像２７６に基づいてサイド情報２９０を生成する。
【０１３５】
一方、入力データに縮小画像１７８が含まれている場合には、サイド情報選択部１６０は、縮小画像１７８をサイド情報２９０として用いてもよいし、縮小画像１７８と合成画像２７６との組合せによってサイド情報２９０を生成してもよい。このような縮小画像１７８と合成画像２７６との組合せによるサイド情報の生成処理としては、上述したような誤差分布を用いて、２値化重み付け組合せ法、離散化重み付け組合せ法、および連続重み付け組合せ法などを採用できる。これらの処理については、上述したので、詳細な説明は繰返さない。
【０１３６】
（ｆ５：勾配強度画像の生成）
図６のステップＳ２０６に示す勾配強度画像の生成処理は、図１５の勾配強度画像生成部２６２によって実現される。より具体的には、勾配強度画像生成部２６２は、サイド情報２９０から画像空間上の変化を示す勾配強度画像２９２を生成する。勾配強度画像生成部２６２における勾配強度画像の生成方法は、上述した勾配強度画像生成部１６２（図７）における勾配強度画像の生成方法と同様であるので、詳細な説明は繰返さない。
【０１３７】
（ｆ６：対象画像の再構成）
図６のステップＳ２０８に示す対象画像の再構成処理は、図１５の係数選択部２６４、Ｌｏｏｋｕｐテーブル２６６、および逆モジュロ演算部２６８によって実現される。対象画像の各画素位置の輝度値は、入力データに含まれる剰余画像１９４の対応する画素位置の値（剰余ｍ）と、剰余画像１９４を生成する際に用いられた係数Ｄとから、逆モジュロ演算によって推定される。
【０１３８】
この逆モジュロ演算にあたって、エンコード処理において剰余画像１９４を生成する際に用いられた係数Ｄが、勾配強度画像２９２に基づいて推定（選択）される。すなわち、係数選択部２６４は、勾配強度画像２９２の各画素位置の値に応じて係数Ｄを選択する。この係数Ｄの選択方法としては任意の方法を採用できるが、本実施の形態においては、Ｌｏｏｋｕｐテーブル２６６を参照して、各画素位置の係数Ｄを選択する。Ｌｏｏｋｕｐテーブル２６６は、エンコード処理において用いられるＬｏｏｋｕｐテーブル１６６（図１０）と同様である。係数選択部２６４は、Ｌｏｏｋｕｐテーブル２６６を参照して、勾配強度画像２９２の各画素位置について、カラーコンポーネント別に係数Ｄを選択する。
【０１３９】
逆モジュロ演算部２６８は、各画素位置についての選択された係数Ｄおよび剰余ｍ、ならびにサイド情報２９０の対応する値ＳＩを用いて、逆モジュロ演算を行なう。より具体的には、逆モジュロ演算部２６８は、再構成画像２９４の輝度値についての候補値Ｃ（ｑ’）のリストをＣ（ｑ’）＝ｑ’×Ｄ＋ｍ（但し、ｑ’≧０，Ｃ（ｑ’）＜２５６）に従って算出し、この算出された候補値Ｃ（ｑ’）のうち、サイド情報２９０の対応する値ＳＩに対する差が最も小さいものが、再構成画像２９４の対応する輝度値として決定される。
【０１４０】
例えば、係数Ｄ＝８、剰余ｍ＝３、サイド情報２９０の対応する値ＳＩ＝８の場合を考えると、候補値Ｃ（ｑ’）としては、以下のようになる。
【０１４１】
候補値Ｃ（０）＝０×８＋３＝３    （ＳＩとの差＝５）
候補値Ｃ（１）＝１×８＋３＝１１  （ＳＩとの差＝３）
候補値Ｃ（２）＝２×８＋３＝１９  （ＳＩとの差＝１１）
…
これらの候補値Ｃ（ｑ’）のうち、サイド情報２９０の対応する値ＳＩとの差が最も小さくなる候補値Ｃ（１）が選択され、再構成画像２９４の対応する輝度値は「１１」に決定される。このようにして、再構成画像２９４の各画素位置の輝度値がカラーコンポーネント別にそれぞれ決定される。
【０１４２】
このように図６のステップＳ２０８に示す対象画像の再構成処理は、勾配強度画像２９２の各画素位置について勾配強度に応じた係数Ｄを決定するとともに、決定した係数Ｄを法とし、剰余画像１９４の対応する画素位置の値を剰余ｍとする逆モジュロ演算により算出される候補値Ｃ（ｑ’）のうち、サイド情報２９０の対応する画素位置の値に対する差が最も小さいものを、対象画像１７０の対応する画素位置の輝度値として決定する処理を含む。
【０１４３】
本実施の形態に係るデコード処理の最終出力として、少なくとも、処理の結果得られた再構成画像２９４と、入力されたままの参照画像１７２および１８２とが出力および／または保存される。オプションとして、参照画像１７２の距離画像１７４、および参照画像１８２の距離画像１８４が出力されてもよい。さらに、再構成画像２９４は、元の対象画像１７０および／または剰余画像１９４との大きさの違いに応じて、任意の大きさにリサイズされてもよい。
【０１４４】
上述の説明においては、１つの対象画像１７０と２つの参照画像１７２，１８２とのセットに着目して説明したが、入力される複数の画像（多視点画像または映像フレーム列）に対して設定されるすべての対象画像およびにそれぞれ対応する参照画像に対して、同様の処理が実行される。
【０１４５】
［Ｇ．利点］
本実施の形態によれば、従来に比較してより適切なサイド情報を生成できるとともに、本実施の形態に係るサイド情報を用いることで、再構成画像の品質を高めることができる。
【０１４６】
本実施の形態は、多視点画像のデータ表現、画像圧縮前の新たなデータフォーマットといった、画像処理システムの様々なアプリケーションへ応用できる。
【０１４７】
本実施の形態によれば、大規模な多視点画像のための、剰余ベースのデータフォーマットを用いることで、より効率的な表現が可能になる。また、変換されたデータフォーマットは、モバイル機器のような電力容量の小さい装置に対して用いることができる。そのため、本実施の形態によれば、モバイル機器や低消費電力の機器上で三次元像をより簡単に提供する可能性を高めることができる。
【０１４８】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１４９】
１０  カメラ、１００，２００  情報処理装置、１０２，２０２  無線伝送装置、１０４，２０４  プロセッサ、１０６，２０６  メモリ、１０８  カメラインターフェイス、１１０，２１０  ハードディスク、１１２，２１２  画像データ、１１４  エンコードプログラム、１１６，２１６  入力部、１１８，２１８  表示部、１２０，２２０  通信インターフェイス、１２２，２２２  バス、１５０  入力画像バッファ、１５２，２５２  距離情報推定部、１５４，２５４  距離情報バッファ、１５６  サブサンプリング部、１５８，２５８  画像合成部、１６０，２６０  サイド情報選択部、１６２，２６２  勾配強度画像生成部、１６４，２６４  係数選択部、１６６，２６６  Ｌｏｏｋｕｐテーブル、１６８  モジュロ演算部、１７０  対象画像、１７２，１８２  参照画像、１７４，１８４  距離画像、１７６，２７６  合成画像、１７８  縮小画像、１７９  拡大画像、１９０，２９０  サイド情報、１９２，２９２  勾配強度画像、１９４  剰余画像、２０８  プロジェクタインターフェイス、２１４  デコードプログラム、２５０  入力データバッファ、２６８  逆モジュロ演算部、２９４  再構成画像、３００  立体表示装置、３０２  コントローラ、３０４  プロジェクタアレイ、３０６  拡散フィルム、３０８  集光レンズ、４００  無線基地局。
【図１】
2014082541.tif 000003
【図２】
2014082541.tif 000004
【図３】
2014082541.tif 000005
【図４】
2014082541.tif 000006
【図５】
2014082541.tif 000007
【図６】
2014082541.tif 000008
【図７】
2014082541.tif 000009
【図８】
2014082541.tif 000010
【図９】
2014082541.tif 000011
【図１０】
2014082541.tif 000012
【図１１】
2014082541.tif 000013
【図１２】
2014082541.tif 000014
【図１３】
2014082541.tif 000015
【図１４】
2014082541.tif 000016
【図１５】
2014082541.tif 000017
【図１６】
2014082541.tif 000018