(57)【要約】【課題】要素画像群を高効率に符号化および復号することのできるシステム（符号化装置および復号装置）を提供する。【解決手段】符号化装置が、要素画像群を取得する要素画像群取得部と、要素画像群取得部が取得した要素画像群を、多視点画像群に変換する画像変換部と、要素画像の外の成分が多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、マスク画像記憶部に記憶されているマスク画像を参照することにより、画像変換部から出力される多視点画像群に含まれる各視点の画像について要素画像外成分が所定値以下か否かを判定し、要素画像外成分が所定値以下である視点の画像のみを選定して出力する多視点画像選定部と、多視点画像群のうちの多視点画像選定部によって選定された視点の画像のみを符号化して出力する多視点画像符号化部とを備える。【選択図】図１
2020108174.tif 000002
【特許請求の範囲】
【請求項１】
要素画像からなる要素画像群を取得する要素画像群取得部と、
前記要素画像群取得部が取得した前記要素画像群を、多視点画像群に変換する画像変換部と、
前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、
前記マスク画像記憶部に記憶されている前記マスク画像を参照することにより、前記画像変換部から出力される多視点画像群に含まれる各視点の画像について要素画像外成分が所定値以下か否かを判定し、前記要素画像外成分が前記所定値以下である視点の画像のみを選定して出力する多視点画像選定部と、
前記多視点画像群のうちの前記多視点画像選定部によって選定された視点の画像のみを符号化して出力する多視点画像符号化部と、
を具備することを特徴とする符号化装置。
【請求項２】
前記要素画像群取得部が取得した前記要素画像群に含まれる前記要素画像の各々について、前記要素画像のピッチが画素ピッチの整数倍になるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する画像サイズ変換部、
をさらに具備し、
前記画像変換部は、前記画像サイズ変換部によってサイズが変換された前記要素画像群を、前記多視点画像群に変換する、
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記画像サイズ変換部は、画像サイズを変換する際に、変換前の前記要素画像に含まれる画素の画素値を、変換後の前記要素画像に含まれる対応する位置の画素の画素値とする、
ことを特徴とする請求項２に記載の符号化装置。
【請求項４】
コンピューターを、
要素画像からなる要素画像群を取得する要素画像群取得部と、
前記要素画像群取得部が取得した前記要素画像群を、多視点画像群に変換する画像変換部と、
前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、
前記マスク画像記憶部に記憶されている前記マスク画像を参照することにより、前記画像変換部から出力される多視点画像群に含まれる各視点の画像について要素画像外成分が所定値以下か否かを判定し、前記要素画像外成分が前記所定値以下である視点の画像のみを選定して出力する多視点画像選定部と、
前記多視点画像群のうちの前記多視点画像選定部によって選定された視点の画像のみを符号化して出力する多視点画像符号化部と、
を具備する符号化装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、要素画像群生成装置、符号化装置、復号装置、およびプログラムに関する。
【背景技術】
【０００２】
任意視点から視認することができる立体テレビ用の撮像方式の１つとして、インテグラル方式が提案され、研究されている。インテグラル方式では、撮像の際に、平面上または球面上に配列されたレンズ群を用いる。配列されたレンズ群は、レンズアレイ（lens array）と呼ばれる。レンズ群を構成する個々のレンズは、要素レンズと呼ばれる。このインテグラル方式を採用した立体テレビカメラ（撮像装置）からの出力信号は、レンズ群から得られる立体撮像信号が集積された信号である。
【０００３】
インテグラル方式で撮像される立体像の解像度は、撮像素子の画素数、および上記の要素レンズの個数に関係することが知られている。要素レンズの個数が増大し、また１つの要素レンズから生成される画像（個々の要素レンズによって生成される画像を、以下において「要素画像」と呼ぶ）の画素数が多ければ、撮影される立体像の解像度も増大する。
また、インテグラル方式による立体像の表示においても同様に、要素レンズの数を多くし、要素画像の画素数を多くすることにより、高解像の自然な立体像を再現することができる。
【０００４】
インテグラル方式によって表示される立体像を正しく見ることができる範囲を視域という。視域は要素画像が要素レンズによって投影される角度に相当し、要素レンズの焦点距離と要素画像サイズに関係している。
【０００５】
インテグラル方式による要素画像群を取得するためには、レンズアレイを通して被写体を撮像素子で撮像する。この方法では、撮影する被写体の大きさは制限されるが、撮像素子において直接要素画像群を取得できることから、撮影から表示までの処理を即座に行える利点がある。被写体の大きさに制限がなく広範囲の空間や被写体をインテグラル方式で撮影するためには、対象となる撮影物を多視点から撮影した多視点映像を取得し、被写体の３次元モデルをコンピューターグラフィクス（ＣＧ）空間上で生成する方法が用いられる。
【０００６】
特許文献１には、多視点画像から得られた３次元モデルを、ＣＧ上に配置するレンズアレイを通して疑似的に撮影することで要素画像群を取得する方法が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−１９６５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載された方法では、多視点画像を基に３次元モデルを生成するプロセスが必要となるため、要素画像群を生成するためには高い処理能力を持った演算装置が必要となり、また演算処理に時間がかかることが問題である。一方で、３次元モデルを生成する際には、時間軸上での３次元モデルの変化を捉えることができるため、被写体の影になることで表示することのできない領域（この領域を「オクルージョン領域」と呼ぶ）の補間をすることができる。
【０００９】
さらに多視点画像から３次元モデルを生成せずに要素画像群を生成する方法も知られている。この方法では、レンズアレイの構造によっては、要素画像以外の成分である要素画像外成分を含んだ要素画像群を生成する必要があるため、３次元モデルを生成する場合と同様に複雑な演算処理が必要になり、要素画像群の生成に時間がかかるという問題が生じる。
【００１０】
インテグラル立体像を撮像したり表示したりするためのレンズアレイとして代表的なものは、正方配列のレンズアレイや、デルタ配列のレンズアレイである。
デルタ配列は、円形の要素レンズをいわゆる「俵積み」の状態に配置したものである。
つまり、デルタ配列では、同じ大きさの円形の要素レンズを、隣接する要素レンズの中心点同士が正三角形の形を成すように配列する。同じ大きさの円形の要素レンズが互いに重ならないように配置する場合、このデルタ配列は、単位面積当たりの要素レンズ数が最も多くなる配置のしかたである。このデルタ配列のレンズアレイを用いることによって、垂直成分の要素レンズ数を増やし、表示されるインテグラル立体像の解像度を向上させることができる。
【００１１】
デルタ配列のレンズアレイを用いて要素画像群を生成する場合、生成される要素画像群には要素画像の成分だけでなく、要素画像外の成分が含まれてしまう。これは、デルタ配列された円形の要素レンズ間に隙間があり、その隙間を通る光の成分が撮像されるためである。
そして、この要素画像群を多視点画像から生成するには、多視点画像を構成する複数の画素を抽出し、それらの画素値からの内挿処理を行う必要が生じてしまう。そのため、要素画像群を生成するには演算が複雑になり多くの時間が必要となるという問題がある。
【００１２】
本発明は、上記の課題認識に基づいて行なわれたものであり、少ない計算量あるいは計算時間で要素画像群を生成することのできる要素画像群生成装置を提供しようとするものである。
また、本発明は、上記の要素画像群生成装置の構成を応用することによって、要素画像群を高効率に符号化および復号することのできるシステム（符号化装置および復号装置）を提供しようとするものである。
【課題を解決するための手段】
【００１３】
［１］上記の課題を解決するため、本発明の一態様は、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群を生成する要素画像群生成装置であって、多視点からの視た画像を配置してなる多視点画像群を取得する多視点画像群取得部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記多視点画像群取得部が取得した前記多視点画像群の画素の画素値から、前記マスク画像記憶部が記憶する前記マスク画像の画素の画素値を減算する要素画像外成分減算部と、前記要素画像外成分減算部から出力される多視点画像群を要素画像群に変換する画像変換部と、を具備することを特徴とする要素画像群生成装置である。
【００１４】
［２］また、本発明の一態様は、要素画像からなる要素画像群を取得する要素画像群取得部と、前記要素画像群取得部が取得した前記要素画像群を、多視点画像群に変換する画像変換部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記マスク画像記憶部に記憶されている前記マスク画像を参照することにより、前記画像変換部から出力される多視点画像群に含まれる各視点の画像について要素画像外成分が所定値以下か否かを判定し、前記要素画像外成分が前記所定値以下である視点の画像のみを選定して出力する多視点画像選定部と、前記多視点画像群のうちの前記多視点画像選定部によって選定された視点の画像のみを符号化して出力する多視点画像符号化部と、を具備することを特徴とする符号化装置である。
【００１５】
［３］また、本発明の一態様による符号化装置は、上記の符号化装置において、前記要素画像群取得部が取得した前記要素画像群に含まれる前記要素画像の各々について、前記要素画像のピッチが画素ピッチの整数倍になるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する画像サイズ変換部、をさらに具備し、前記画像変換部は、前記画像サイズ変換部によってサイズが変換された前記要素画像群を、前記多視点画像群に変換する、ことを特徴とする。
【００１６】
［４］また、本発明の一態様による符号化装置は、前記画像サイズ変換部は、画像サイズを変換する際に、変換前の前記要素画像に含まれる画素の画素値を、変換後の前記要素画像に含まれる対応する位置の画素の画素値とする、ことを特徴とする請求項３に記載の符号化装置。
【００１７】
［５］また、本発明の一態様は、符号化された多視点画像を復号し、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群に変換して出力する復号装置であって、複数の視点の画像である多視点画像を符号化して得られた符号を復号する多視点画像復号部と、前記多視点画像復号部によって復号された視点の画像に基づき、不足する視点の画像を生成し、前記多視点画像復号部によって復号された視点の画像と生成した画像とからなる多視点画像群を出力する不足多視点画像生成部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記不足多視点画像生成部から出力された前記多視点画像群の画素の画素値から、前記マスク画像記憶部が記憶する前記マスク画像の画素の画素値を減算する要素画像外成分減算部と、前記要素画像外成分減算部から出力される多視点画像群を前記要素画像群に変換する画像変換部と、を具備することを特徴とする復号装置である。
【００１８】
［６］また、本発明の一態様による復号装置は、前記画像変換部が出力した前記要素画像群に含まれる前記要素画像の各々について、符号化の際に行われた画像サイズの変換の逆変換となるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する画像サイズ変換部、をさらに具備することを特徴とする。
【００１９】
［７］また、本発明の一態様による復号装置は、前記画像サイズ変換部は、画像サイズを変換する際に、変換前の前記要素画像に含まれる画素の画素値を、変換後の前記要素画像に含まれる対応する位置の画素の画素値とする、ことを特徴とする。
【００２０】
［８］また、本発明の一態様は、コンピューターを、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群を生成する要素画像群生成装置であって、多視点からの視た画像を配置してなる多視点画像群を取得する多視点画像群取得部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記多視点画像群取得部が取得した前記多視点画像群の画素の画素値から、前記マスク画像記憶部が記憶する前記マスク画像の画素の画素値を減算する要素画像外成分減算部と、前記要素画像外成分減算部から出力される多視点画像群を要素画像群に変換する画像変換部と、を具備する要素画像群生成装置として機能させるためのプログラム。
【００２１】
［９］また、本発明の一態様は、コンピューターを、要素画像からなる要素画像群を取得する要素画像群取得部と、前記要素画像群取得部が取得した前記要素画像群を、多視点画像群に変換する画像変換部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記マスク画像記憶部に記憶されている前記マスク画像を参照することにより、前記画像変換部から出力される多視点画像群に含まれる各視点の画像について要素画像外成分が所定値以下か否かを判定し、前記要素画像外成分が前記所定値以下である視点の画像のみを選定して出力する多視点画像選定部と、前記多視点画像群のうちの前記多視点画像選定部によって選定された視点の画像のみを符号化して出力する多視点画像符号化部と、を具備する符号化装置として機能させるためのプログラムである。
【００２２】
［１０］また、本発明の一態様は、コンピューターを、符号化された多視点画像を復号し、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群に変換して出力する復号装置であって、複数の視点の画像である多視点画像を符号化して得られた符号を復号する多視点画像復号部と、前記多視点画像復号部によって復号された視点の画像に基づき、不足する視点の画像を生成し、前記多視点画像復号部によって復号された視点の画像と生成した画像とからなる多視点画像群を出力する不足多視点画像生成部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記不足多視点画像生成部から出力された前記多視点画像群の画素の画素値から、前記マスク画像記憶部が記憶する前記マスク画像の画素の画素値を減算する要素画像外成分減算部と、前記要素画像外成分減算部から出力される多視点画像群を前記要素画像群に変換する画像変換部と、を具備する復号装置として機能させるためのプログラムである。
【発明の効果】
【００２３】
本発明によれば、マスク画像の画素値を減算する処理で要素画像を生成することが可能となる。つまり、要素画像を生成するための処理量あるいは処理時間を小さくすることが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１実施形態による要素画像群生成装置の概略機能構成を示すブロック図である。
【図２】デルタ配列によるレンズアレイのレンズの配置と、同実施形態による画像サイズ変換部でのサイズ変換比率を説明するための概略図である。
【図３】同実施形態による要素画像群生成装置が使用するマスク画像を生成するためのマスク画像生成装置の概略機能構成を示すブロック図である。
【図４】同実施形態で使用するマスク画像を生成する過程における画像の一例を示す概略図である。
【図５】同実施形態で使用するマスク画像の一例を示す概略図である。マスク画像は、上記のマスク画像生成装置によって生成される。
【図６】同実施形態による要素画像群生成装置の多視点画像群取得部が外部から取得し、画像サイズ変換部によってサイズ変更された多視点画像群の例を示す概略図である。
【図７】同実施形態による要素画像群生成装置の要素画像外成分減算部が出力する多視点画像群の例を示す概略図である。
【図８】第２実施形態による要素画像群生成装置の概略機能構成を示すブロック図である。
【図９】第３実施形態による符号化装置および復号装置の概略機能構成を示すブロック図である。
【図１０】同実施形態による多視点画像選定部における、視点の選定の結果の例を示す概略図である。
【図１１】同実施形態による復号装置側での多視点画像を復元する処理での画像の例を示す概略図である。
【図１２】同実施形態による復号装置側で復元した結果の多視点画像群を示す概略図である。
【図１３】画像サイズの変換を行わない場合に得られる多視点画像群の例を示す概略図である。
【図１４】画像サイズの変換処理を行った場合に得られる多視点画像群の例を示す概略図である。
【図１５】実施形態の変形例による、画像サイズの変換の前後における画素の位置関係を説明するための概略図である。
【図１６】同変形例による画像サイズ変換部がサイズ変換を行う処理において、返還前後の画素値の参照関係を示す概略図である。
【図１７】同変形例によってサイズ変更処理した要素画像群を基に生成された多視点画像群を示す概略図である。
【発明を実施するための形態】
【００２５】
次に、図面を参照しながら、本発明の実施形態について説明する。
［第１実施形態］
図１は、本実施形態による要素画像群生成装置の概略機能構成を示すブロック図である。この要素画像群生成装置１は、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群を生成するものである。図示するように、要素画像群生成装置１は、マスク画像記憶部１０と、多視点画像群取得部２１と、画像サイズ変換部２２と、要素画像外成分減算部２３と、画像変換部３１と、画像サイズ変換部３２と、要素画像群出力部３３とを含んで構成される。
以下において、画像内の画素値は、予め定められた最小値以上であり、且つ予め定められた最大値以下である。ここで、最小値はゼロである。画像が複数のチャンネルから成る（例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の三原色から成る）ものである場合には、各チャンネルの画素値が、前記最小値以上、且つ前記最大値以下である。
【００２６】
マスク画像記憶部１０は、マスク画像を記憶する。マスク画像記憶部１０が記憶するマスク画像は、立体像の表示に使用するレンズアレイの構造に基づいて予め生成されたものである。なお、マスク画像は、画素ごとの画素値を有するデータである。マスク画像の各画素の画素値は、その画素における要素画像外成分の量の度合いを表すものである。マスク画像の画素値が最小値（ゼロ）のとき、その画素は要素画像外成分を持たないことを表す。マスク画像の画素値が最大値のとき、その画素は要素画像外成分が最大であることを表す。なお、マスク画像記憶部１０が記憶するマスク画像は、デルタ配列によるレンズアレイを用いることを前提として生成されたものである。つまり、マスク画像記憶部１０は、要素画像の外の成分（要素画像外成分）が多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するものである。なお、マスク画像の生成のしかたについては、後述する。
【００２７】
多視点画像群取得部２１は、外部から、多視点画像を取得する。多視点画像群は、被写体を、多視点のカメラによって撮像して得られる画像である。つまり、多視点画像群取得部２１は、多視点からの視た画像を配置してなる多視点画像群を取得するものである。例えば、視点が縦８個×横８個の合計６４個である場合、それらの視点による多視点画像を、縦８個×横８個に配置された６４個のカメラによって撮像することができる。また、視点数より少ないカメラで撮像を行い、補間により多視点画像を得ることもできる。例えば、３２個のカメラによって撮像した画像を用いて、それら３２個の視点とは異なる他の３２個の視点の画像を補間によって生成し、合計６４視点の多視点画像を得ることもできる。画像を補間する場合には、内挿補間を用いる。また、多視点画像群取得部２１は、それらのカメラから直接多視点画像を得てもよいし、それらのカメラで予め撮像された画像データを外部から取得するようにしてもよい。
【００２８】
画像サイズ変換部２２は、多視点画像群取得部２１で取得した多視点画像のサイズを変換する。具体的には、画像サイズ変換部２２は、デルタ配列によるレンズアレイの縦横配置比率に合うように、多視点画像のサイズを変更する。より具体的には、画像サイズ変換部２２は、多視点画像の縦方向の画素数が（２／ＳＱＲＴ（３））倍（≒１．１５４７倍）になるように、画像サイズを変換する。つまり、画像サイズ変換部２２は、要素画像群に含まれる要素画像の各々について、要素画像のピッチが画素ピッチの整数倍になるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する。ここで、「ＳＱＲＴ（）」は、平方根を表す。なお、画像サイズ変換部２２は、横方向の画像サイズを変更しない。このとき、画像サイズ変換部２２は、画像サイズの変換後の各画素の画素値を、変換前の画素値の内挿計算により求める。なお、内挿計算を用いる代わりに、後述する変形例３の方法により、サイズ変換後の各画素の画素値を求めるようにしてもよい。
なお、画像サイズ変換処理における画素の比率については、後で、別の図面を参照しながら補足説明する。
【００２９】
要素画像外成分減算部２３は、画像サイズ変換部２２によって出力される多視点画像（画像サイズ変換後）から、マスク画像記憶部１０から読み出されるマスク画像を減算する処理を行う。要素画像外成分減算部２３は、これら両画像の各画素について、画素値の減算を行う。つまり、要素画像外成分減算部２３は、多視点画像群取得部２１が取得した多視点画像群の画素の画素値から、マスク画像記憶部１０が記憶するマスク画像の画素の画素値を減算する。なお、要素画像外成分減算部２３は、両画像の対応する画素同士の画素値の減算を行う。なお、画素値の最小値はゼロである。減算の結果の値が負である場合には、その画素の画素値をゼロとする。
【００３０】
画像変換部３１は、要素画像外成分減算部２３から出力される多視点画像群を、要素画像群に変換する。
なお、多視点画像群を要素画像群に変換する処理自体は、既存の技術により行うことができる。視点ごとの画素をまとめて配置してなる多視点画像群を基に、画像変換部３１は、画素を再配置することにより、要素レンズごとの画素をまとめて配置してなる要素画像群を生成する。
【００３１】
画像サイズ変換部３２は、画像変換部３１から出力された画像のサイズを変換する。画像サイズ変換部３２におけるサイズ変換処理は、前述した画像サイズ変換部２２におけるサイズ変換処理の逆変換である。具体的には、画像サイズ変換部３２は、画像の縦方向の画素数が（ＳＱＲＴ（３）／２）倍（≒０．８６６０倍）になるように、画像サイズを変換する。つまり、画像サイズ変換部３２は、要素画像群に含まれる要素画像の各々について、要素画像のピッチが画素ピッチの整数倍になるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する。なお、画像サイズ変換部３２は、横方向の画像サイズを変更しない。ここでも、画像サイズ変換部３２は、画像サイズの変換後の各画素の画素値を、変換前の画素値の内挿計算により求める。なお、内挿計算を用いる代わりに、後述する変形例３の方法により、サイズ変換後の各画素の画素値を求めるようにしてもよい。
なお、画像サイズ変換部３２による上記のサイズ変換処理により、要素レンズのピッチが画素ピッチの整数倍になる。
そして、要素画像群出力部３３は、以上の処理によって得られた要素画像群を出力する。
【００３２】
図２は、上記の画像サイズ変換部２２および画像サイズ変換部３２のそれぞれにおけるサイズ変換比率を説明するための図である。同図は、デルタ配列で配置された多数の要素レンズのうちの一部を平面視した平面図である。同図では、多数の要素レンズのうちの４個の要素レンズのみを示しており、その他の要素レンズを省略している。同図内に示す三角形は、各々の円形の要素レンズの中心点を頂点とする三角形であり、正三角形である。
図示するように、デルタ配列されている場合、横方向の要素レンズのピッチと、縦方向の要素レンズのピッチは、２対ＳＱＲＴ（３）である。そして、この比率に基づき、画像サイズ変換部２２および画像サイズ変換部３２における変換比率を定めている。
【００３３】
次に、要素画像群生成装置１で使用するマスク画像を生成する方法について説明する。
図３は、マスク画像生成装置の概略機能構成を示すブロック図である。図示するように、マスク画像生成装置４０は、３次元モデル記憶部４１と、要素画像群生成部４２と、画像サイズ変換部４３と、画像変換部４４と、反転部４５と、マスク画像出力部４６とを含んで構成される。ここで説明する方法では、マスク画像生成装置４０は、３次元モデルを基に要素画像群を生成し、その要素画像群を多視点画像群に変換する。各部の機能は、次に述べる通りである。
【００３４】
３次元モデル記憶部４１は、コンピューターグラフィクスのための３次元モデルを記憶する。ここで、マスク画像を生成するために、３次元モデル記憶部４１が記憶する３次元モデルは、立体像の表示に用いるためのレンズアレイ上の１００％白の平面である。３次元モデルが「１００％白」であるとき、その３次元モデルを直接描画した場合に得られる画素値は、最大値（ＲＧＢの３原色で表現される場合、ＲＧＢの各々のチャンネルにおいて、画素値は最大値）である。
【００３５】
要素画像群生成部４２は、与えられるレンズアレイの構造（位置、個数、サイズ、焦点距離等）にしたがって、３次元モデル記憶部４１に記憶されている３次元モデルを被写体としたときの要素画像群を生成する。
【００３６】
画像サイズ変換部４３は、要素画像群生成部４２によって生成された要素画像群に対して、画像サイズを変更する処理を行う。ここで、具体的には、画像サイズ変換部４３は、縦方向の画像サイズの変更比率を（２／ＳＱＲＴ（３））倍（≒１．１５４７倍）とする。なお、画像サイズ変換部４３は、横方向の画像サイズを変更しない。画像サイズ変換部４３は、画像サイズの変換後の各画素の画素値を、変換前の画素値の内挿計算により求める。図２を用いて説明したように、この画像サイズの変更比率は、デルタ配列のレンズアレイを構成する要素レンズのレンズピッチにより決まるものである。画像サイズ変換部４３がこのように画像サイズを変更することにより、要素レンズのレンズピッチと、表示装置の画素ピッチとの関係が整数比となる。
なお、画像サイズ変換部４３は、処理対象とする多視点画像（マスク画像が表す要素画像外成分の減算の対象となる多視点画像）のサイズに合わせるために、上記のサイズ変換の処理を行う。サイズが既に整合している場合には、この画像サイズ変換部４３によるサイズ変換の処理を省略するようにする。
【００３７】
画像変換部４４は、画像サイズ変換部４３から出力される要素画像群（画像サイズ変更済み）を多視点画像群に変換する。画像変換部４４から出力される画像については、後で、図を参照しながら説明する。
なお、要素画像群を多視点画像群に変換する処理自体は、既存の技術により行うことができる。要素レンズごとの画素をまとめて配置してなる要素画像群を基に、画像変換部４４は、画素を再配置することにより、視点ごとの画素をまとめて配置してなる多視点画像群を生成する。
【００３８】
反転部４５は、画像変換部４４から出力される多視点画像群について、ネガ／ポジ反転する処理を行う。反転部４５は、入力される画像の各画素について、ネガ／ポジ反転を行う。ネガ／ポジ反転の処理は、数式は、出力画素値＝最大画素値−入力画素値  と表される。この反転部４５の処理により、白の画素は黒に変換され、黒の画素は白に変換される。また、中間階調の画素も同様に反転される。なお、反転部４５から出力される画像については、後で、図面を参照しながら説明する。反転部４５による処理の結果得られる画像が、マスク画像である。
マスク画像出力部４６は、反転部４５によって生成されたマスク画像を、外部に出力する。
【００３９】
なお、所定のパラメーターにより定義されるレンズアレイについては、要素画像を求める計算を一度だけ行い、生成されたマスク画像を記憶しておくことにより、同一のレンズアレイに関しては繰り返しそのマスク画像を使用できる。マスク画像記憶部１０にマスク画像を記憶させておくようにする。
【００４０】
図４は、マスク画像を生成する過程において、上記の画像変換部４４から出力される画像の一例を示す概略図である。図示する画像は、画像変換部４４によって、要素画像群から多視点画像群に変換された後の画像である。ここに示す画像において、白い画素（画素値の大きい画素）には、元の３次元モデル（１００％白の平面）が反映されている。また、この画像において、黒い画素（画素値の小さい画素）には、要素画像外成分が反映されている。中間階調の画素は、その画素値に応じて、要素画像外成分の程度（画素値が小さいほど、要素画像外成分である度合いが高い）を表している。つまり、同図で示す画像は、要素画像外成分が、要素画像群から多視点画像群に変換された後において、どのように分布しているかを示している。
【００４１】
図５は、マスク画像生成装置によって生成されたマスク画像の一例を示す概略図である。図示する画像は、図４に示した画像を上記の反転部４５がネガ／ポジ反転処理した結果として得られる画像である。つまり、図５に示す画像において、白の画素（画素値の大きい画素）は、要素画像外成分に対応する画素である。また、画素値が大きいほど、その画素は、要素画像外成分を含む度合いが大きいとも言える。
【００４２】
なお、図３に示したマスク画像生成装置４０でマスク画像を生成する代わりに、次の方法によりマスク画像を生成するようにしてもよい。即ち、真っ白なもの（例えば、真っ白な平面状の板など）を、ライトフィールドカメラやＩＰ（integral photography）カメラなどで撮影する。そして、得られた画像の輝度を反転することにより、マスク画像を生成する。
【００４３】
次に、要素画像群生成装置によって処理される多視点画像群の例について説明する。
図６は、要素画像群生成装置１の多視点画像群取得部２１が外部から取得し、画像サイズ変換部２２によってサイズが変更された多視点画像群の例を示す概略図である。図示する画像は、縦８個×横８個の合計６４個の視点から得られた多視点画像である。
【００４４】
図７は、要素画像群生成装置１の要素画像外成分減算部２３が出力する多視点画像群の例を示す概略図である。つまり、図５に示したマスク画像が予めマスク画像記憶部１０に記憶されており、図６に示した多視点画像から、マスク画像記憶部１０から読み出されたマスク画像（図５）を減算した結果として得られる画像が、図７に示す多視点画像である。図６の画像（マスク画像を減算する前の画像）と図７の画像（マスク画像を減算し亜後の画像）とを比べると、主に周辺部の視点に対応する画像において、マスク画像による減算の効果が相対的に強く効いている。これは、図５に示すマスク画像における白っぽい画素（画素値が相対的に大きい画素）の分布に対応している。
【００４５】
このように、本実施形態による要素画像群生成装置１によれば、予め算出して記憶し得置いたマスク画像を、多視点画像から減算するため、要素画像外成分を抑制した多視点画像を生成（要素画像外成分減算部２３からの出力）することができる。そして、要素画像外成分減算部２３から出力される多視点画像群を、画像変換部３１で要素画像群に変換し、その後、画像サイズ変換部３２において画像サイズの再変換（画像サイズ変換部２２におけるサイズ変換の逆変換）を行うことによって、所望の要素画像群を生成することができる。
【００４６】
［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図８は、本実施形態による要素画像群生成装置の概略機能構成を示すブロック図である。図示するように、要素画像群生成装置２は、マスク画像記憶部１１と、多視点画像群取得部２１と、要素画像外成分減算部２３と、画像変換部３１と、要素画像群出力部３３とを含んで構成される。
【００４７】
本実施形態において、マスク画像記憶部１１がマスク画像を記憶するものである点は、前実施形態におけるマスク画像記憶部１０と同様である。ただし、本実施形態によるマスク画像記憶部１１は、使用するレンズアレイの構造にしたがってサイズ変更されているマスク画像を記憶する点が特徴である。つまり、マスク画像記憶部１１が記憶するマスク画像については、画像の横方向のサイズを１倍に、そして縦方向のサイズを（ＳＱＲＴ（３）／２）倍（≒０．８６６０倍）に予めサイズ変換されている。
したがって、本実施形態による要素画像外成分減算部２３は、多視点画像群取得部２１が取得した多視点画像から、上記のマスク画像記憶部１１が記憶しているマスク画像を減算する処理を行う。ただし、各画素について、画素値を減算した結果が負のあたいになるばあいには、その画素の画素値をゼロとする。
【００４８】
したがって、本実施形態では、第１実施形態による要素画像群生成装置１が有していた画像サイズ変換部２２および画像サイズ変換部３２によるサイズ変換の処理を必要としない。したがって、本実施形態では、さらに高速に要素画像群を生成することが可能となる。
【００４９】
［第３実施形態］
次に、本発明の第３実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図９は、本実施形態による符号化装置および復号装置の概略機能構成を示すブロック図である。符号化装置３は、入力される要素画像群を多視点画像に変換し符号化する装置である。符号化装置３によって生成された符号は、伝送により、あるいは記録媒体を経由することにより、復号装置４に渡される。復号装置４は、符号化装置３から出力された符号を取得し、復号し、要素画像群に変換して出力する装置である。つまり、復号装置４は、符号化された多視点画像を復号し、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群に変換して出力する。
【００５０】
図示するように、符号化装置３は、マスク画像記憶部１３と、要素画像群取得部５１と、画像サイズ変換部５２と、画像変換部５３と、多視点画像選定部５４と、多視点画像符号化部５５とを含んで構成される。
また、復号装置４は、マスク画像記憶部１４と、多視点画像復号部６１と、不足多視点画像生成部６２と、要素画像外成分減算部６３と、画像変換部６４と、画像サイズ変換部６５と、要素画像群出力部６６とを含んで構成される。
【００５１】
符号化装置３および復号装置４の各部が有する機能と、これらの装置による処理の流れを以下において説明する。
まず符号化装置３が有する要素画像群取得部５１は、外部から、要素画像群を取得する。要素画像群は、複数の要素画像が配置されてなる画像である。要素画像群取得部５１は、例えば、要素レンズと撮像素子を用いて撮像された要素画像群を取得する。また、要素画像群取得部５１は、静止画としての要素画像群を取得してもよいし、時系列の画像として構成される要素画像群の映像を取得してもよい。
なお、要素画像群取得部５１が取得した要素画像群には、要素画像外成分が含まれている。
【００５２】
画像サイズ変換部５２は、第１実施形態における画像サイズ変換部２２と同様に、画像のサイズを変換する。具体的には、画像サイズ変換部５２は、要素画像群取得部５１から出力される画像のサイズを変換し、出力する。
画像変換部５３は、画像サイズ変換部５２から出力される要素画像群を、多視点画像群に変換する。つまり、要素画像群取得部５１が取得した要素画像群を、多視点画像群に変換する。
【００５３】
マスク画像記憶部１３は、第１実施形態におけるマスク画像記憶部１０と同様に、要素画像外成分の度合いを表すマスク画像を予め記憶しておくものである。つまり、マスク画像記憶部１３は、要素画像の外の成分が多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するものである。なお、マスク画像の生成方法については、第１実施形態におけるマスク画像生成装置４０の機能として説明した通りである。
【００５４】
多視点画像選定部５４は、画像変換部５３が出力する多視点画像群のうち、要素画像外成分を含む視点からの画像を除外し、要素画像外成分を含まない視点からの画像のみを選択する。このとき、多視点画像選定部５４は、マスク画像記憶部１３から読み出すマスク画像の各画素の値に基づいて、ある視点からの画像が要素画像外成分を含むものであるか否かを選定する。
なお、多視点画像選定部５４において、ある視点の画像が要素画像外成分を含むものであるか否かを判定するためには、例えば、マスク画像の画素値に関して適宜定められた閾値を用いるようにする。そして、多視点画像選定部５４は、多視点画像群のうちの特定の視点の画像の領域について、対応するマスク画像の中のその領域に含まれる各画素の画素値の平均値を算出する。そして、算出された平均値が上記の閾値以上であれば、多視点画像選定部５４は、その視点の画像は要素画像外成分を含むものであると判定する。逆に、算出された平均値が上記の閾値未満であれば、多視点画像選定部５４は、その視点の画像は要素画像外成分を含まないものであると判定する。
つまり、多視点画像選定部５４は、マスク画像記憶部１３に記憶されているマスク画像を参照することにより、画像変換部５３から出力される多視点画像群に含まれる各視点の画像について要素画像外成分が所定値以下か否かを判定し、要素画像外成分が所定値以下である視点の画像のみを選定して出力するものである。
【００５５】
多視点画像符号化部５５は、画像変換部５３から出力された多視点画像群のうち、多視点画像選定部５４によって選ばれた画像のみを、符号化し出力する。つまり、多視点画像符号化部５５は、要素画像外成分を含まない画像のみを符号化し出力する。つまり、多視点画像符号化部５５は、多視点画像群のうちの多視点画像選定部５４によって選定された視点の画像のみを符号化して出力する。なお、画像（映像）の符号化自体は、既存の技術を適宜適用することのより行うことができる。
【００５６】
以上のように、本実施形態による符号化装置３は、多視点画像選定部５４における判定により、要素画像外の成分を含む多視点画像を符号化の対象から除外する。つまり、符号化装置３は、要素画像成分のみを含む多視点画像を符号化するものであり、要素画像外の成分を含む多視点画像を含んでいない符号を出力する。
【００５７】
復号装置４側では、多視点画像復号部６１は、符号化装置３から出力された多視点画像を復号する。前述の通り、符号化装置３の多視点画像選定部５４において多視点画像の選定を行っているため、多視点画像復号部６１によって復号された画像においては一部の視点の画像が欠けている。つまり、多視点画像復号部６１は、複数の視点の画像である多視点画像を符号化して得られた符号を復号する。
【００５８】
不足多視点画像生成部６２は、その不足している多視点画像（つまり、要素画像外成分を含む画像として多視点画像選定部５４において除外された視点の画像）を生成するものである。そして、不足多視点画像生成部６２は、多視点画像復号部６１によって復号された画像群と、自らが生成した不足視点の画像群とを合わせてひとつの多視点画像群として、出力する。つまり、不足多視点画像生成部６２は、多視点画像復号部６１によって復号された視点の画像に基づき、不足する視点の画像を生成し、多視点画像復号部６１によって復号された視点の画像と生成した画像とからなる多視点画像群を出力する。
具体的には、不足多視点画像生成部６２は、多視点画像復号部６１によって復号された多視点画像群に基づいて、不足している視点の画像を生成する。より具体的な方法として、例えば、不足多視点画像生成部６２は、不足している視点の画像に最も近い距離の視点位置する画像（多視点画像復号部６１によって復号された画像）を複製することによって、その不足している視点の画像を生成する。あるいは、例えば、不足多視点画像生成部６２は、不足している視点の画像の周辺の視点の画像（多視点画像復号部６１によって復号された画像）を用いた視点の内挿補間処理をすることによって、その不足している視点の画像を生成する。
【００５９】
マスク画像記憶部１４は、マスク画像記憶部１３と同様に、要素画像外成分の度合いを表すマスク画像を予め記憶しておくものである。つまり、マスク画像記憶部１４は、要素画像の外の成分が多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するものである。
要素画像外成分減算部６３は、不足多視点画像生成部６２によって出力される多視点画像群から、マスク画像記憶部１４から読み出すマスク画像を減算する処理を行う。具体的には、要素画像外成分減算部６３は、多視点画像群に含まれる各画素の画素値から、マスク画像に含まれる各画素の画素値を減算する。つまり、要素画像外成分減算部６３は、不足多視点画像生成部６２から出力された多視点画像群の画素の画素値から、マスク画像記憶部１４が記憶するマスク画像の画素の画素値を減算する。なお、個々の画素に関して、減算の結果が負である場合には、その画素の画素値をゼロとする。この処理は、要素画像外成分減算部６３が、不足多視点画像生成部６２によって出力される多視点画像群から要素画像外成分を減算する処理である。
【００６０】
画像変換部６４は、要素画像外成分減算部６３から出力される多視点画像を、要素画像に変換する。多視点画像群を要素画像群に変換する技術については、既に述べた通りである。
画像サイズ変換部６５は、画像変換部６４から出力される要素画像の画像サイズを変換する。画像サイズ変換部６５による画像サイズの変換処理は、符号化装置３の画像サイズ変換部５２における変換処理の逆変換の処理である。つまり、画像サイズ変換部６５は、画像変換部６４が出力した要素画像群に含まれる要素画像の各々について、符号化の際に行われた画像サイズの変換の逆変換となるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する。即ち、画像サイズ変換部６５は、第１実施形態における画像サイズ変換部３２と同様に、画像のサイズを変換する。
要素画像群出力部６６は、画像サイズ変換部６５でサイズ変換処理された要素画像を、出力する。
【００６１】
次に、本実施形態での具体的な処理例について、模擬的な画像データを参照しながら説明する。
図１０は、多視点画像選定部５４における、視点の選定の結果の例を示す概略図である。ここに図示する画像は、多視点画像であり、縦８個（８行）×横８個（８列）の計６４個の視点の画像を含んでいる。多視点画像選定部５４は、前述の通り、マスク画像記憶部１３を参照することによって、要素画像外成分を含む視点の画像を除外し、要素画像外成分を含む視点の画像のみを出力する。同図に示す例では、多視点画像選定部５４は、枠線の外側の視点の画像を要素画像外成分の画像として除外し、枠線の内側の視点の画像を出力すべき視点の画像として選定する。具体的には、多視点画像選定部５４は、第１行のすべての列の視点の画像と、第２行の第１列，第２列，第７列，第８列の視点の画像と、第３行から第７行までの各行における第１列と第８列の視点の画像と、第８行の第１列，第２列，第７列，第８列の視点の画像とを、要素画像外成分の画像として除外する。また、多視点画像選定部５４は、第２行の第３列から第６列までの視点の画像と、第３行から第７行までの各行における第２列から第７列までの視点の画像と、第８行の第３列から第６列までの視点の画像とを、出力すべき画像として選定する。
そして、多視点画像符号化部５５は、多視点画像選定部５４によって選ばれた視点の画像群（要素画像外成分を含まない画像群）のみを符号化して出力する。
【００６２】
図を用いて例示したように、本実施形態による符号化装置３は、多視点画像選定部５４が要素画像外成分の画像を除外するため、符号化効率を高めることができる。
【００６３】
図１１は、復号装置側での多視点画像を復元する処理での画像の例を示す概略図である。図示するように、この多視点画像群には、符号化装置３の多視点画像選定部５４において除外された視点の画像群は含まれていない。そして、前述の通り、復号装置４の不足多視点画像生成部６２は、不足している視点の画像を生成することによって、同図に示す多視点画像群を補完する。図示する例では、具体的には、不足多視点画像生成部６２は、図内の矢印にしたがって、不足多視点画像を生成する。即ち、第２行第３列の視点の画像を基に、第１行第２列と第３列の視点の画像が生成される。第２行第４列の視点の画像を基に、第１行第４列の視点の画像が生成される。第２行第５列の視点の画像を基に、第１行第５列の視点の画像が生成される。第２行第６列の視点の画像を基に、第１行第６列と第７列の視点の画像が生成される。第３行第２列の視点の画像を基に、第２行第１列と第３行第１列の視点の画像が生成される。第３行第３列の視点の画像を基に、第１行第１列と第２行第２列の視点の画像が生成される。第３行第６列の視点の画像を基に、第１行第８列と第２行第７列の視点の画像が生成される。第３行第７列の視点の画像を基に、第２行第８列と第３行第８列の視点の画像が生成される。第４行から第６行のそれぞれの第２列の視点の画像を基に、当該行の第１列の視点の画像が生成される。第４行から第６行のそれぞれの第７列の視点の画像を基に、当該行の第８列の視点の画像が生成される。第７行第２列の視点の画像を基に、第７行第１列，第８行第１列，第８行第２列の視点の画像が生成される。第７行第７列の視点の画像を基に、第７行第８列，第８行第７列，第８行第８列の視点の画像が生成される。
なお、多視点画像を復元するための方法としてここに示した視点画像の参照パターンは一例にすぎず、他の参照パターンによって、複製または内挿補間の処理をして不足している視点の画像を生成するようにしてもよい。
【００６４】
図１２は、復号装置側での復元した結果の多視点画像群を示す概略図である。図示するように、符号化装置３の多視点画像選定部５４によって除外された視点の画像（図１０を参照）は、復号装置４の不足多視点画像生成部６２によって復元されている。もちろん、符号化前の元の多視点画像（画像変換部５３から出力される段階の画像）と、復元後の画像（不足多視点画像生成部６２から出力される段階の画像）とは、同一ではない。しかしながら、不足多視点画像生成部６２が復元する視点の画像は、近似的な画像として実用上充分であると考えられる。また、復元された視点の画像は、元々、要素画像外成分を含んでいた視点の画像であり、要素画像外成分減算部６３における処理で減算の対象（被減数の画像）である。
【００６５】
以上説明したように、本実施形態では、多視点画像符号化部５５が符号化処理する多視点画像の数を少なくすることにより、符号化後（圧縮後）のデータのサイズを小さくすることができる。また、要素画像外成分を含む視点画像には高周波成分が多く存在するため、そのような視点の画像を符号化せずに済むことで、高効率な符号化を行うことが可能になる。したがって、符号化後のデータを通信回線等によって伝送する場合には、伝送効率を良くすることができる。また、符号化後のデータを記録媒体等に記録する場合には、記録効率を良くすることができる。
【００６６】
次に、実施形態の変形例について説明する。
［変形例１］
第３実施形態において、予め生成したマスク画像を、符号化装置３側のマスク画像記憶部１３と復号装置４側のマスク画像記憶部１４とに記憶させておくようにした。
変形例として、符号化装置３側で、マスク画像をも符号化し、符号化されたマスク画像を復号装置４側に渡すようにしても良い。復号装置４側では、取得した符号からマスク画像を復号し、要素画像外成分減算部６３においてそのマスク画像を使用する。
【００６７】
［変形例２］
上記の実施形態では、画像サイズ変換部が画像サイズを変換することにより、画素のピッチがレンズアレイを構成するレンズのサンプリング点に合うようにした。
変形例として、画素のピッチを、レンズアレイを構成するレンズのサンプリング点に合わせるためのサイズ変換の処理を省略するようにしても良い。
サイズ変換の処理を省略した場合にも、マスク画像に基づいて、要素画像外成分を減算する処理（第１実施形態の要素画像外成分減算部２３）や、多視点画像を選定する処理（第２実施形態の多視点画像選定部５４）の効果を得ることはできる。
ただし、下に説明するように、画像サイズを変換する処理を行うことにより、ノイズを軽減したり、符号化効率を上げたりすることができる。
【００６８】
図１３は、画像サイズの変換処理を行わない場合に得られる多視点画像群の例を示す概略図である。図示する例は、縦８個×横８個で、計６４個の視点で構成される多視点画像群である。
図１４は、画像サイズの変換処理を行った場合に得られる多視点画像群の例を示す概略図である。図示する例は、縦８個×横８個で、計６４個の視点で構成される多視点画像群である。
図１３に示す画像と図１４に示す画像とを比較すると、画像サイズの変更を行わなかった場合の多視点画像群では、ランダムなノイズが多く発生していることがわかる。これは、デルタ配列のレンズアレイが用いられているために、サイズ変換の処理を行わない場合（図１３の場合）には、表示するモニターの画素ピッチとレンズアレイを構成するレンズのサンプリング点が一致しないことによる。つまり、この両者が一致しないと、要素画像外成分が拡散してしまうことによりランダムなノイズとして表示されてしまう。一方、サイズ変換の処理を行う場合（図１４の場合）には、表示するモニターの画素ピッチとレンズアレイを構成するレンズのサンプリング点が一致する（そのようにサイズを変換する）ため、得られた多視点画像群では要素画像外の成分が特定の位置に集中している。
【００６９】
なお、多視点画像符号化部５５が画像の符号化をする際には、符号化処理の基本単位となるブロックのサイズが大きくなるほど符号化を効率よく行うことができる。したがって、サイズ変換処理を行った場合の多視点画像群（図１４）では要素画像外成分が局所に集中する傾向があるため、サイズ変換処理を行わない場合の多視点画像群（図１３）よりも高効率な符号化を行うことができる。
【００７０】
［変形例３］
前述の各実施形態において、画像サイズ変換部（符号２２，３２，４３，５２，６５）は、隣接する画素ないしは近傍の画素の画素値の内挿により、サイズ変換後の画素値を算出することとした。
本変形例では、画像サイズ変換部は、画像サイズを変換する際に上記の内挿処理を行わず、代わりに、隣接する画素の画素値を参照し、その画素値をそのままコピーする。つまり、画像サイズ変換部は、画像サイズを変換する際に、変換前の要素画像に含まれる画素の画素値を、変換後の要素画像に含まれる対応する位置の画素の画素値とする。画素値を参照してその画素値をそのままコピーする処理は、画素数が減る方向の画像サイズ変換においても、画素数が増える方向の画像サイズ変換においても、適用可能である。つまり、画素数が減る方向に画像サイズを変換する場合には、参照されずに捨てられる画素値が存在し得る。また、画素数が増える方向に画像サイズを変換する場合には、同じ画素値を持つ複数の画素が生成される箇所が少なくとも画像内の一部において生じ得る。
このような画像サイズの変換を行う場合、画素数が増える場合に追加される画素位置の情報さえあれば、その反対方向への変換（画素数が減るような変換）を可逆変換とすることができる。
【００７１】
ここで、本変形例における画素位置の計算について説明する。
図１５は、画像サイズの変換の前後における画素の位置関係を説明するための概略図である。同図（ａ）は、画像サイズ変換前の、要素画像の並びを平面視した平面図である。
同図（ｂ）は、画像サイズ変換後の、要素画像の並びを平面視した平面図である。同図（ａ）および（ｂ）のそれぞれにおいて、要素画像はデルタ配列で配置されている。各要素画像を円形として、その直系のサイズがＲであるとき、このデルタ配列の要素画像の縦方向のピッチ（縦方向のレンズピッチ）は｛Ｒ・（ＳＲＱＴ（３）／２）｝である。同図（ａ）における縦方向のレンズピッチがＡ画素分に相当し、同図（ｂ）における縦方向のレンズピッチがＢ画素分に相当するとき、サイズ変換によって新たに追加される画素の位置は、下の式（１）を用いて表される。なお、ここで、Ｂ＞Ａである。
【００７２】
【数１】
2020108174.tif 000003
【００７３】
式（１）の不等式の両辺において、床関数（floor function）を用いている。床関数は、１個の実引数を取る関数であり、その実引数を超えない最大の整数を返す関数である。
サイズ変換の際に新たに画素が追加される画素位置は、上記の式（１）を満たすときのｎの値である。
【００７４】
なお、ここでは、縦方向のサイズを変換する場合について具体的に説明しているが、横方向のサイズ変換でも、同じ考え方を適用できる。
【００７５】
図１６は、画像サイズ変換部によるサイズ変換の処理において、画素値の参照関係を示す概略図である。なお、同図は、サイズ変換前とサイズ変換後のそれぞれにおける画素値参照の関係を、画素配列の断面図で表している。同図は、要素画像群の一部分のみの断面を示す。同図において、破線Ｈ１，Ｈ２，Ｈ３のそれぞれは、要素画像の境界を示す。つまり、図示する断面において、破線Ｈ１からＨ２までの範囲が、１つの要素画像に対応する。また、破線Ｈ２からＨ３までの範囲が、別の１つの要素画像に対応する。要素画像の中心部から隣接する他の要素画像の中心部までの距離が、レンズピッチ（要素画像のピッチ）である。なお、破線Ｈ１からＨ２までの距離と、破線Ｈ２からＨ３までの距離もまた、それぞれ、レンズピッチに等しい。そして、図示する例では、サイズ変換前におけるレンズピッチは、５．５画素分（Ａの値）に対応する。また、サイズ変換後におけるレンズピッチは、６．０画素分（Ｂの値）に対応する。つまり、サイズ変換後において、レンズピッチが、画素の整数個分に等しい。つまり、本例で、サイズ変換前においては複数の要素画像に属する画素が存在するのに対して、サイズ変換後においては、ある画素は必ず１つの要素画像のみに属する。なお、本例では、わかりやすく図示するために、Ａ＝５．５、Ｂ＝６．０としている。実際には、１要素画像は、縦・横それぞれ、数十個ないしは数百個の画素の配列として構成されていてもよい。
【００７６】
同図において、便宜上、各画素に番号を付与している。
サイズ変換前においては１要素画像が５．５画素に相当する。第１の要素画像（破線Ｈ１からＨ２までの範囲）は、１番から５番までの画素を含み、また６番の画素の上半分を含んでいる。また、第２の要素画像（破線Ｈ２からＨ３までの範囲）は、６番の画素の下半分を含み、また７番から１１番までの画素を含んでいる。
サイズ変換後においては１要素画像が６．０画素に相当する。第１の要素画像（破線Ｈ１からＨ２までの範囲）は、１番から６番までの画素を含んでいる。また、第２の要素画像（破線Ｈ２からＨ３までの範囲）は、７番から１２番までの画素を含んでいる。
【００７７】
画像サイズ変換部は、サイズ変更前の画像の画素値を参照し、サイズ変更後の画像を生成する。図示する例では、サイズ変更後の画像における１２番の画素が新たに追加された画素である。画素数が増える方向にサイズ変更する場合、画像サイズ変換部は、常に、レンズの端（要素画像の端）の位置に、追加される画素を配置する。サイズ変換後の画像において、１番から１１番までの画素は、それぞれ、サイズ変換前の１番から１１番までの画素を参照した画素値を有する。つまり、画像サイズ変換部は、変換前の１番の画素の画素値を変換後の１番の画素の画素値とし、変換前の２番の画素の画素値を変換後の２番の画素の画素値とし、以下同様である。そして、サイズ変換後の画像における１２番の画素は、サイズ変換前の画像における１１番の画素を参照した画素値を有する。
【００７８】
このように、追加された画素の位置は計算により求まるため、サイズ変更後の画像を基に、サイズ変更前の画像を完全に復元できる。つまり、本変形例では、画素数が増える方向のサイズ変換の処理は、可逆変換である。
【００７９】
図１７は、本変形例によってサイズ変更処理した要素画像群を基に生成された多視点画像群を示す概略図である。図示する例では、多視点画像群は、縦８個、横８個の合計６４個の視点による多視点画像を含む。図示する多視点画像群の基となった要素画像群は、縦方向および横方向の両方向にサイズ変換処理したものである。つまり、サイズ変換処理によって、縦方向および横方向の両方向に、画素が追加されている。そして、サイズ変換処理によって追加された画素を含む多視点画像群を、同図において、枠で囲んで示している。つまり、８行×８列に配置された多視点画像群のうち、第８行のすべての視点の画像と、第８列のすべての視点の画像とに、サイズ変換処理によって追加された画素が含まれる。符号化する際に、これらの視点の画像の圧縮率を高くしても（つまり、符号のサイズを小さくしても）、復号する側では追加された画素はまた削除されるため、画質劣化を抑制することができる。
【００８０】
つまり、この変形例３によれば、次の効果が得られる。
第１の効果は、画像サイズを変換する処理において、変換前の画素の画素値をそのまま変換後の画素の画素値とするため、サイズ変換処理での演算処理量が少なくて済む。つまり、画素値の内挿のための演算処理を行わなくて済む。
第２の効果は、画像サイズの変換を、可逆変換とすることができる。
第３の効果は、サイズ変換処理の際に追加された画素の画質劣化は、最終的な符号劣化とならないことである。これは、符号化側におけるサイズ変換処理の際に追加された画素は、復号側におけるサイズ変換処理の際に削除されるためである。
【００８１】
また、符号化側におけるサイズ変換処理の際に追加された画素を含む多視点画像の情報を、符号に含めないようにしてもよい。これは、例えば図９に示した多視点画像選定部５４が、追加された画素を含む多視点画像を選定しないようにすることで、実施できる。
【００８２】
なお、上述した各実施形態およびその変形例における要素画像群生成装置、符号化装置、復号装置、マスク画像生成装置の機能をコンピューターで実現するようにしても良い。
その場合、これら各装置の機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８３】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００８４】
本発明は、例えば放送事業やコンテンツ配信事業等、立体画像（映像）によるコンテンツを生成する事業に利用することが可能である。
【符号の説明】
【００８５】
１，２  要素画像群生成装置
３  符号化装置
４  復号装置
１０，１１，１３，１４  マスク画像記憶部
２１  多視点画像群取得部
２２  画像サイズ変換部
２３  要素画像外成分減算部
３１  画像変換部
３２  画像サイズ変換部
３３  要素画像群出力部
４０  マスク画像生成装置
４１  ３次元モデル記憶部
４２  要素画像群生成部
４３  画像サイズ変換部
４４  画像変換部
４５  反転部
４６  マスク画像出力部
５１  要素画像群取得部
５２  画像サイズ変換部
５３  画像変換部
５４  多視点画像選定部
５５  多視点画像符号化部
６１  多視点画像復号部
６２  不足多視点画像生成部
６３  要素画像外成分減算部
６４  画像変換部
６５  画像サイズ変換部
６６  要素画像群出力部
【図１】
2020108174.tif 000004
【図２】
2020108174.tif 000005
【図３】
2020108174.tif 000006
【図４】
2020108174.tif 000007
【図５】
2020108174.tif 000008
【図６】
2020108174.tif 000009
【図７】
2020108174.tif 000010
【図８】
2020108174.tif 000011
【図９】
2020108174.tif 000012
【図１０】
2020108174.tif 000013
【図１１】
2020108174.tif 000014
【図１２】
2020108174.tif 000015
【図１３】
2020108174.tif 000016
【図１４】
2020108174.tif 000017
【図１５】
2020108174.tif 000018
【図１６】
2020108174.tif 000019
【図１７】
2020108174.tif 000020