(57)【要約】【課題】  画像中の広い範囲で高解像度化が達成された画像をＬＦデータから生成する。【解決手段】  情報処理装置が、被写体から撮像装置に入射される光線の、入射位置、入射方向および強度を示す離散的なデータを含むライトフィールドデータを取得する取得手段と、前記ライトフィールドデータに含まれるデータのうち、同一の被写体に対応する複数のデータの対応関係に基づいて、前記ライトフィールドデータの情報量が、前記光線の入射位置および入射方向により定義されるライトフィールド空間の少なくとも一部において増加した補正データを生成する補正手段とを有する。【選択図】  図３
2015216542.tif 000002
【特許請求の範囲】
【請求項１】
被写体から撮像装置に入射される光線の、入射位置、入射方向および強度を示す離散的なデータを含むライトフィールドデータを取得する取得手段と、
前記ライトフィールドデータに含まれるデータのうち、同一の被写体に対応する複数のデータの対応関係に基づいて、前記ライトフィールドデータの情報量が、前記光線の入射位置および入射方向により定義されるライトフィールド空間の少なくとも一部において増加した補正データを生成する補正手段とを有することを特徴とする情報処理装置。
【請求項２】
前記ライトフィールド空間において、前記同一の被写体に対応する複数のデータが並ぶ方向を示す情報を導出する導出手段を更に備え、
前記補正手段は、前記導出手段により導出された前記方向を示す情報に基づいて前記補正データを生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記補正手段は、前記ライトフィールド空間に含まれる部分空間に、前記ライトフィールドデータのうち、前記ライトフィールド空間の、前記部分空間に属しない領域に含まれるデータを射影することで、前記部分空間において前記ライトフィールドデータの情報量が増加した前記補正データを生成することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記導出手段は、前記同一の被写体に対応するデータが並ぶ方向を示す情報として、前記ライトフィールドデータに含まれる各データについて、該データと同一の被写体に対応するデータ群によって形成される直線の方向を示す情報を導出し、
前記補正手段は、前記ライトフィールドデータのうち、前記部分空間に属しない領域に含まれるデータを、前記部分空間に属しない領域に含まれるデータに対応する前記直線の方向に射影することで、前記補正データを生成することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記補正手段は、前記補正データにおいて、前記部分空間に含まれる所定の大きさの領域に複数のデータが存在する場合、前記所定の大きさの領域に存在する複数のデータのうち、前記撮像装置から最も近い位置に存在する被写体に対応するデータの重みを、前記所定の大きさの領域に存在する他のデータの重みよりも大きくすることを特徴とする請求項３又は４に記載の情報処理装置。
【請求項６】
前記補正手段は、前記所定の大きさの領域に存在する複数のデータのうち、前記撮像装置から最も近い位置に存在する被写体に対応するデータとは異なるデータの重みを０にすることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記補正手段は、前記所定の大きさの領域に存在する複数のデータに対応する各被写体の位置関係を、前記ライトフィールド空間において、前記各被写体に対応するデータ群により形成される直線の方向に基づいて判定し、該判定した位置関係に基づいて前記重みを決定することを特徴とする請求項５又は６に記載の情報処理装置。
【請求項８】
前記補正手段は、前記部分空間に属しない領域に含まれるデータのうち、前記部分空間を通過する前記直線に対応する、又は前記部分空間を通過する前記直線の近傍に存在するデータのみを前記部分空間に射影することを特徴とする請求項４に記載の情報処理装置。
【請求項９】
ユーザによる指示を入力する操作手段と、
前記操作手段により入力されたユーザ指示に基づいて、前記ライトフィールド空間において、前記ライトフィールドの情報量を増加させる領域を決定する決定手段とを更に備えることを特徴とする請求項１乃至８のいずれか一項に記載の情報処理装置。
【請求項１０】
前記補正データから、前記ライトフィールドデータが示す画像データよりも解像度の高い画像データを生成する生成手段を更に有することを特徴とする請求項１乃至９のいずれか一項に記載の情報処理装置。
【請求項１１】
前記補正手段は、前記ライトフィールド空間に含まれる、複数の不連続な領域において前記ライトフィールドデータの情報量が増加した補正データを生成し、
前記生成手段は、前記複数の不連続な領域のそれぞれに対応する複数の画像データを生成し、前記生成した前記複数の画像データを合成することで、前記ライトフィールドデータが示す画像データよりも解像度が高く、前記ライトフィールドデータが示す画像データと異なる合焦状態を示す画像データを生成することを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
被写体から撮像装置に入射される光線の、入射位置、入射方向および強度を示す離散的なデータを含むライトフィールドデータを取得する取得手段と、
前記取得手段により取得されたライトフィールドデータに基づいて、前記ライトフィールドデータが示す画像よりも解像度の高い、パンフォーカスの画像データを生成する生成手段とを有することを特徴とする情報処理装置。
【請求項１３】
被写体から撮像装置に入射される光線の、入射位置、入射方向および強度を示す離散的なデータを含むライトフィールドデータを取得する取得ステップと、
前記ライトフィールドデータに含まれるデータのうち、同一の被写体に対応する複数のデータの対応関係に基づいて、前記ライトフィールドデータの情報量が、前記光線の入射位置および入射方向により定義されるライトフィールド空間の少なくとも一部において増加した補正データを生成する補正ステップとを含むことを特徴とする情報処理方法。
【請求項１４】
コンピュータを請求項１乃至１２のいずれか一項に記載の情報処理装置の各手段として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光線の方向と強度との情報を含むライトフィールドデータから高解像度の画像を生成する処理に関する。
【背景技術】
【０００２】
被写体からカメラに入射する光線の入射位置、入射方向および強度の情報（ライトフィールドデータ）を取得するカメラである、ライトフィールドカメラが提案されている（以下、ライトフィールドはＬＦと記載する）。ＬＦカメラには、小型カメラを複数台配列した多眼カメラや、複数の微小な凸レンズの二次元配列であるマイクロレンズアレイを撮像素子近傍に配置したプレノプティックカメラなどがある。ＬＦカメラを用いれば、視点が異なる複数の画像（視差画像群）を同時に取得できるが、各視差画像の解像度は、原理上、撮像素子の総画素数が同じである従来のカメラを用いて取得された画像の解像度よりも一般的に小さくなってしまう。そこで、ＬＦカメラを用いることで取得できる画像の解像度を向上する技術が求められている。特許文献１には、光線の入射位置および入射方向で定義されるＬＦ空間上で、１枚の画像に対応する平面上に、その平面外の点に対応するＬＦデータを射影することで高解像度画像を生成することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国公開２０１３−０１２８０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、全てのＬＦデータを一律で同じ方向に射影するため、画像内で高解像度化が達成される領域が画像中の一部の領域に限定されてしまうという課題がある。これは、同じ被写体に対応するＬＦデータがＬＦ空間上で並ぶ方向が射影方向からずれていると、その被写体の画像が射影により広がってしまい、ぼけが発生することに起因する。そこで、本発明は、ＬＦデータを一律で同じ方向に射影する場合に比べて画像中の広い範囲で高解像度化が達成された画像をＬＦデータから生成することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の情報処理装置は、  被写体から撮像装置に入射される光線の、入射位置、入射方向および強度を示す離散的なデータを含むライトフィールドデータを取得する取得手段と、前記ライトフィールドデータに含まれるデータのうち、同一の被写体に対応する複数のデータの対応関係に基づいて、前記ライトフィールドデータの情報量が、前記光線の入射位置および入射方向により定義されるライトフィールド空間の少なくとも一部において増加した補正データを生成する補正手段とを有する。
【発明の効果】
【０００６】
ＬＦデータを一律で同じ方向に射影する場合に比べて画像中の広い範囲で高解像度化が達成された画像をＬＦデータから生成することができる。
【図面の簡単な説明】
【０００７】
【図１】実施例１の情報処理装置の構成を示すブロック図。
【図２】実施例１の情報処理装置の構成を示すブロック図。
【図３】実施例１の情報処理装置による処理の流れを示すフローチャート。
【図４】２次元ＬＦデータの例を示す図。
【図５】実施例１の高解像度化処理の概要を示す図。
【図６】被写体の位置とＬＦデータの関係を説明する図。
【図７】射影方向ベクトルの導出例を示す図。
【図８】実施例１の高解像度化処理による処理結果の例を示す図。
【図９】射影データの判定方法の一例を示す図。
【図１０】高解像度化処理における外れ値除去処理の一例を示す図。
【図１１】実施例２の高解像度化処理による処理結果の例を示す図。
【図１２】実施例３の画像データの被写界深度制御を説明する図。
【図１３】実施例３の画像データのフォーカス位置制御を説明する図。
【図１４】実施例３の情報処理装置による処理の流れを示すフローチャート。
【発明を実施するための形態】
【０００８】
＜実施例１＞
実施例１では、ＬＦデータをＬＦ空間上で射影する際に、各ＬＦデータが対応する被写体ごとに射影方向を変えることで、広い範囲で高解像度化が実現された画像データを生成する例について述べる。まずは、実施例１の情報処理装置の構成について説明する。
【０００９】
図１は、実施例１の情報処理装置の構成の一例を示す図である。実施例１の情報処理装置１００（以下、処理装置１００とする）は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、出力インターフェース１０６を含む。そして、処理装置１００の各構成部はシステムバス１０７によって相互に接続されている。また、処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８および操作部１１０に接続されており、出力インターフェース１０６を介して外部記憶装置１０８および表示装置１０９に接続されている。
【００１０】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して処理装置１００の各構成部を統括的に制御するプロセッサーである。これにより、後述する様々な処理が実行される。二次記憶装置１０４は、処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施例ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みおよび二次記憶装置１０４に記憶されたデータの読出しを行うことができる。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。
【００１１】
入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースであり、外部装置から処理装置１００へのデータや命令等の入力は、この入力インターフェース１０５を介して行われる。処理装置１００は、この入力インターフェース１０５を介して、外部記憶装置１０８（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。また、処理装置１００は、この入力インターフェース１０５を介して、操作部１１０を用いて入力されたユーザによる命令を取得する。操作部１１０はマウスやキーボードなどの入力装置であり、ユーザの指示を処理装置１００に入力するために用いられる。
【００１２】
出力インターフェース１０６は、入力インターフェース１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースを備える。その他に、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子を用いることも可能である。処理装置１００から外部装置へのデータ等の出力は、この出力インターフェース１０６を介して行われる。処理装置１００は、この出力インターフェース１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に、処理された画像などを出力することで、画像の表示を行う。なお、処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないため、説明を省略する。
【００１３】
以下、実施例１の処理装置１００で行われる処理について、図２に示す機能ブロック図および図３に示すフローチャートを用いて説明する。実施例１の処理装置１００は、図２に示すように取得部２０１、射影方向決定部２０２（以下、方向決定部２０２とする）、射影面決定部２０３（以下、面決定部２０３とする）、射影部２０４、変換部２０５としての機能を有する。処理装置１００は、ＣＰＵ１０１がＲＯＭ１０３内に格納された制御プログラムを読み込み実行することで、上記各部の機能を実現する。なお、各構成部に相当する専用の処理回路を備えるように処理装置１００を構成するようにしてもよい。以下、各構成部により行われる処理の流れを説明する。
【００１４】
ステップＳ３０１では、取得部２０１は、入力インターフェース１０５を介して、または二次記憶装置１０４から、処理対象のＬＦデータを取得する。そして、取得部２０１は、取得したＬＦデータを方向決定部２０２に出力する。ＬＦデータは被写体からカメラに入射する光線の入射位置、入射方向および強度の情報を示すデータであり、一般には撮像面上で光線が入射する点の空間座標（ｘ，ｙ）および、光線の方向を示す方向座標（ｕ，ｖ）または（θ，φ）と、強度値Ｌとで表わされる。ここで（ｕ，ｖ）はｘｙ平面に平行で所定の距離だけ離れたｕｖ平面において光線が通過する点の空間座標であり、（θ，φ）は点（ｘ，ｙ）に入射する光線の角度を示す値である。ＬＦデータの表現は上記に示したものに限られず、光線の入射位置、入射方向、および強度が定義されるパラメータを含んでいればどのような表現形式であってもよい。例えば、上記のような４次元空間における点の強度による表現ではなく、より一般化された７次元空間を用いた表現を採用してもよい。この７次元空間のデータは一般にプレノプティック関数と呼ばれ、３次元の空間座標、２次元の方向座標、時刻、波長を含んでいる。
【００１５】
実施例１で用いるＬＦデータはＬ（ｘ，ｙ，ｕ，ｖ）で表わされる４次元量であるが、以降の説明では説明の簡略化の為、断りがない限り１次元の空間座標および１次元の方向座標により表現されるＬＦデータの２次元断面を前提として説明する。一般にこのようなＬＦの断面はエピポーラ平面画像（Ｅｐｉｐｏｌａｒ−Ｐｌａｎｅ  Ｉｍａｇｅ）と呼ばれることもあるが、以降では２次元のＬＦデータと呼ぶ。２次元のＬＦデータが有する性質やそれに対する以降で述べる処理は、そのまま本来の４次元のＬＦデータに対して当てはめることができる。また、ＬＦデータは上記の形式で表現されていない場合に、例えば多眼カメラやプレノプティックカメラで取得した視差画像群から生成することで取得してもよい。上記の説明において、（ｘ，ｙ）は各視差画像中の画素位置、（ｕ，ｖ）は各視差画像の視点位置に対応するので、視差画像群の各画素の画素値に上記の対応関係に基づく座標を割り振れば、４次元量のＬＦデータＬ（ｘ，ｙ，ｕ，ｖ）に変換することができる。
【００１６】
図４に実際に７×２５６のサイズのＬＦデータの例を示す。ここで横軸は空間座標ｘ、縦軸は方向座標ｕであり、各データの濃淡は強度値Ｌを示している。図３に示すように、光線の空間座標および方向座標で定義されるＬＦ空間において、同一の被写体に対応するデータ点は線分を形成することが知られている。実施例１では、この、同一の被写体に対応するデータ群により形成された線分をＬＦ線要素と呼ぶこととする。ＬＦデータは、一般にこのＬＦ線要素の集合により構成される。ＬＦ線要素の傾きは、ＬＦデータを取得するカメラから各被写体への距離により変化するため、一般的なシーンのＬＦデータには、異なる傾きをもつ複数のＬＦ線要素が含まれる。つまり、一般的なＬＦデータには、異なる方向に延びる複数のＬＦ線要素が含まれる。なお、ここで同一の被写体とは、特に画像中の１画素に相当する実空間中での同一の一点のことを指すが、複数画素に相当する実空間中の微小領域を同一の被写体とみなしてＬＦ線要素の検出を行うようにしてもよい。
【００１７】
ステップＳ３０２では、方向決定部２０２が、取得部２０１から入力されたＬＦデータに含まれる各ＬＦ線要素の方向を求め、各データ点の射影方向を決定する。図５（ａ）に、ＬＦカメラにより取得されるＬＦデータの概要を示す。図５（ａ）において、各点はＬＦカメラにより取得されたＬＦデータのデータ点であり、各データ点に付された矢印は、対応するＬＦ線要素の方向を示している。図５（ａ）に示すように、ＬＦカメラに取得されたＬＦデータは、撮像素子の離散的な配置などの物理的な制約により、離散的な値を取る。しかし、ＬＦ空間において平面などの部分空間を特定した場合、その部分空間に対して部分空間外のデータ点を射影することで、その部分空間内の情報量を増加させることが可能である。実施例１では、図５（ｂ）に示すように、ＬＦ空間において方向座標を固定したある平面を特定し、その平面に対して平面外のデータ点を射影することで、実際に得られた離散的なデータの間の情報を補間し、高解像度化された画像データとして出力される。図５（ｂ）の例では、２次元のＬＦデータを用いて説明しているので、ｕ＝ｕ０となるｘ軸に平行な直線が射影対象の直線となっているが、実際の画像処理においてはｕとｖを固定したｘｙ平面に平行な平面が射影対象となる。この時、各データ点を射影する方向は、各データ点に対応するＬＦ線要素の方向であることが望ましい。これは、対応するＬＦ線要素以外の方向に射影してしまうと、他の被写体に対応するデータ点と射影先が干渉してしまい、結果として得られる画像データにぼけが発生してしまうためである。そこで、このステップでは、取得部２０１から入力されたＬＦデータに含まれる各ＬＦ線要素の方向を求め、求めた方向を各データ点の射影方向とする。なお、ここで射影方向はＬＦ線要素の方向と完全に一致する必要はなく、ＬＦ線要素の方向に基づく方向であればＬＦ線要素の方向とわずかにずれた方向であってもよい。
【００１８】
ＬＦ線要素の方向の求め方としては、直線の方向を求めるために用いられる様々な方法が利用可能である。一例として、ＬＦ空間においてＬＦデータに対して微分演算を行い、ＬＦ線要素の方向、すなわち射影方向を算出する方法がある。微分演算としては、隣接画素の差分、中心差分、Ｓｏｂｅｌフィルタなどを用いることができる。微分演算を行った結果としては、ＬＦデータの強度値が最も急峻に変化する方向を示す勾配ベクトルが導出され、この勾配ベクトルに直交する方向が前記ＬＦ線要素の方向として推定される。つまり、方向決定部２０２は、微分演算により得られた勾配ベクトルに直交するベクトルを、各データ点の射影方向を示す射影方向ベクトルとして求める。射影方向ベクトルは各データ点について個別に求めてもよいし、同じＬＦ線要素に対応する複数のデータ点をグルーピングし、グルーピングされた複数のデータ点に対して一律で同じ射影方向ベクトルを割り当てるようにしてもよい。また、射影方向の求め方としては、微分演算以外の方法として、ハフ変換などの画像処理手法を用いるようにしてもよい。方向決定部２０２は、上記の処理により決定した、各データ点に対応する射影方向ベクトルを、射影部２０４に出力する。
【００１９】
ステップＳ３０３では、面決定部２０３が、ユーザによる操作部１１０の操作に基づいて、各データ点の射影を行う射影面の位置を決定する。先述のように、４次元のＬＦデータにおいて、（ｘ，ｙ）は視差画像中の画素位置、（ｕ，ｖ）は視差画像の視点位置に対応する。そこで、ユーザは操作部１１０の操作によって、生成したい高解像度画像に対応する視点位置を指定する。これにより、（ｕ，ｖ）の値が固定されるため、面決定部２０３は固定された（ｕ，ｖ）の値に対応するｘｙ平面を射影面として決定し、固定された（ｕ，ｖ）の値を射影部２０４に出力する。なお、生成する画像の視点位置はユーザによって設定される必要はなく、シーンに応じて処理装置１００が自動的に判断するようにしてもよい。
【００２０】
ステップＳ３０４では、射影部２０４が、ステップＳ３０２およびＳ３０３において決定された射影方向および射影平面に基づいて、各データ点の射影を行う。すなわち、各ＬＦ線要素と射影平面との交点の座標を求める。２次元のＬＦデータから１次元の高解像度データを出力する場合には、前記射影対象上に射影されたデータの空間座標ｘは、式１で表すことができる。
【００２１】
【数１】
2015216542.tif 000003
【００２２】
ここで、ｘ’とｕ’は射影されるデータ点のＬＦ座標、ｘとｕは射影後のデータ点のＬＦ座標、ＰｘとＰｕはそれぞれ射影方向ベクトルのｘ軸とｕ軸方向の成分を表す。
なお、３次元のＬＦデータから２次元の高解像度画像を出力する場合には、式２を用いてｙ座標（第２の空間座標）も算出する。
【００２３】
【数２】
2015216542.tif 000004
【００２４】
この場合、方向決定部２０２は、ステップＳ３０３において、３次元の射影方向ベクトル（Ｐｘ，Ｐｙ，Ｐｕ）を各データ点に対して算出する必要がある。この場合に微分演算によって射影方向を決定する方法の具体例を以下で説明する。３次元のＬＦデータの各ｘ−ｕ断面において各サンプリング点の２次元の勾配ベクトル（Ｇｘ，Ｇｕ）を微分演算によって算出し、同様に各ｙ−ｕ断面において勾配ベクトル（Ｇｙ，Ｇｕ’）を算出する。各サンプリング点における射影方向ベクトルは同じ点におけるこれらの２つの勾配ベクトルの両方に直交するべきなので、これらのベクトルの外積をとることで、式３で３次元の射影方向ベクトルを与えることができる。
【００２５】
【数３】
2015216542.tif 000005
【００２６】
なお、射影方向ベクトルの長さは任意であるため、式３の全成分を定数倍してもよい。
また、４次元のＬＦデータから２次元の高解像度画像を出力する場合には、第２の光線方向座標としてｖ軸を定義した上で、式４を用いて射影後のｘ座標を算出する。
【００２７】
【数４】
2015216542.tif 000006
【００２８】
同様に式５を用いてｙ座標も算出する。
【００２９】
【数５】
2015216542.tif 000007
【００３０】
この場合、方向決定部２０２は、４次元の射影方向ベクトル（Ｐｘ，Ｐｙ，Ｐｕ，Ｐｖ）を各サンプリング点について算出する必要がある。また、射影対象の２次元平面はｕ座標およびｖ座標が一定で、それぞれｕとｖを値としてとるという拘束条件を満たす。微分演算によって射影方向を決定する方法の具体例を以下で説明する。この場合も３次元ＬＦの場合と同様に、ｕ軸またはｖ軸を含む全２次元断面に対して各サンプリング点の２次元の勾配ベクトル（Ｇｘ，Ｇｕ）、（Ｇｙ，Ｇｕ’）、（Ｇｘ’，Ｇｖ）、（Ｇｙ’，Ｇｖ’）を微分演算によって算出する。次に、これら全てに直交する４次元ベクトルとして（Ｐｘ，Ｐｙ，Ｐｕ，Ｐｖ）を算出する。これは、式６を（Ｐｘ，Ｐｙ，Ｐｕ，Ｐｖ）についてガウスの消去法などの一般的な代数的解法で解けばよい。
【００３１】
【数６】
2015216542.tif 000008
【００３２】
なお、ＬＦデータが複数のカラーチャネルを有する場合には、各カラーチャネルごとに以上の処理を行ってもよいし、色ずれを防ぐために単一のチャネルのＬＦデータから全てのカラーチャネルの射影方向を決定してもよい。また、射影方向の決定に用いるチャネルとしては、ＬＦデータが有する複数のカラーチャネルのうちの１つでもよいし、カラー情報から変換された輝度情報などの別のチャネルを用いるようにしてもよい。
【００３３】
ステップＳ３０５では、射影部２０４が、射影後のＬＦデータのうち、前景の被写体に隠れた背景の被写体に対応するデータ点を除去する。ステップＳ３０４における射影処理では、シーン中の複数の被写体の前後関係に起因して生じる遮蔽効果（オクルージョン）を考慮していないため、本来前景の被写体に隠れて見えない被写体に対応するデータ点までもが射影面に射影されてしまう。そこで、このステップでは、射影面に射影されたデータ点のうち、本来前景の被写体に隠れて見えない背景の被写体に対応するデータ点を取り除く処理を行う。これには、ＬＦデータを構成するＬＦ線要素の方向が、対応する光線を発した被写体上の点と、ＬＦデータを取得したカメラとの間の距離に対応するという先験情報を用いる。ＬＦ線要素の方向とカメラの距離との間の対応関係は、ＬＦ空間におけるｕ軸の取り方によって異なるが、例えば実施例１の場合では、あるＬＦ線要素に対応する被写体がカメラから近いほど、そのＬＦ線要素はｕ軸に対してｘ軸の正の方向に傾くようになる。
【００３４】
図６は、ＬＦ空間上での各ＬＦ線要素の前後関係を示す図である。ＬＦ線要素６０１〜６０３は、それぞれ異なる被写体に対応するＬＦ線要素であり、それぞれ異なる方向に傾いている。各ＬＦ線要素に対応する被写体は、ＬＦ線要素６０１に対応する被写体が最もカメラから遠い位置に存在し、ＬＦ線要素６０３に対応する被写体は最もカメラから近い位置に存在する。そして、ＬＦ線要素６０２に対応する被写体は両者の中間に位置している。各ＬＦ線要素は、対応する被写体のカメラからの距離が小さくなるほど、ｕ軸に対してｘ軸の正の方向により傾くようになっているのが分かる。そして、各ＬＦ線要素が交差する時、カメラからより遠い位置に存在する被写体に対応するＬＦ線要素のデータは、カメラからより近い位置に存在する被写体に対応するＬＦ線要素に遮蔽され、見えなくなっている。このように、被写体の位置関係はＬＦ線要素の方向と遮蔽関係に対応する。
【００３５】
このステップでは、上記の特徴を利用して、射影部２０４が、射影面に射影された各データ点に対応するＬＦ線要素の傾きに基づいて前景の被写体に対応するデータ点と背景の被写体に対応するデータ点とを判別し、背景の被写体に対応するデータ点を除去する。具体的には、射影面において所定の閾値よりも小さい領域に複数のデータ点が射影されている場合、ｕ軸に対してｘ軸の正の方向に最も傾いたＬＦ線要素に対応するデータ点のみを残し、その他のデータ点を除去する。これにより、本来前景の被写体に隠れて見えないはずの背景の被写体からの情報が射影面のデータに混ざる確率を低減することができ、より実態に近い高解像度のＬＦデータを得ることができる。データ点削除の判定を行う領域のサイズは、所望の出力解像度に合わせればよい。例えば、出力画像の解像度を２×２の４倍にしたい場合には、０．５ｐｉｘｅｌ×０．５ｐｉｘｅｌの範囲に複数のデータ点が射影された時に、上記の判断を行うようにすればよい。射影部２０４は、上記の処理により背景の被写体に対応するデータ点を除去した、射影面上のＬＦデータを変換部２０５に出力する。なお、ここで必ずしも背景に対応するデータ点を除去する必要はなく、背景に対応するデータ点の重みを前景に対応するデータ点の重みよりも小さくするようにしてもよい。
【００３６】
ステップＳ３０６では、変換部２０５が、射影部２０４から出力された、射影面上のＬＦデータのリサンプリングを行い、画像データに変換してバス１０７に出力する。射影部２０４から出力されたＬＦデータは各データ点が等間隔に並んでいないため、画像データに変換するに当たりリサンプリングする必要がある。ここでリサンプリングとは、被処理データに基づき元のサンプリング位置とは異なる等間隔のサンプリング位置における値を推定する処理を意味する。このための方法として、例えばカーネル回帰、Ｄｅｌａｕｎａｙ―ｓｐｌｉｎｅ  ｓｍｏｏｔｈｅｒ、ｎｏｎｕｎｉｆｏｒｍ  ｒａｔｉｏｎａｌ  Ｂ―ｓｐｌｉｎｅなどの公知の手法を用いることができる。このリサンプリング処理により、変換部２０５は、例えば元のＬＦデータの半分の空間サンプリング間隔をもつ、２×２＝４倍解像度の画像データを生成することができる。変換部２０５は、リサンプリングにより生成された２次元データをそのまま高解像度画像データとして出力してもよい。また、生成されたデータにホワイトバランス調整、階調補正、ノイズ除去、圧縮などの現像処理を、ユーザの指示または二次記憶装置１０４などに蓄積されている設定に従い行ってから出力するようにしてもよい。
【００３７】
以上が、実施例１の処理装置１００で行われる処理である。以上の処理によれば、ＬＦデータ中の各データ点を適切な方向に射影することができるので、画像中の広い範囲で高解像度化が達成された画像をＬＦデータから生成することができる。また、上記の方法で生成される画像は、ＬＦカメラにより取得された視差画像群のうちの１視点の画像の高解像度化を行う処理に相当する。ＬＦカメラにより取得される視差画像群はそれぞれ対応する絞りの開口が小さいことが多いため、ここで得られる高解像度画像データは、一般的には画像中の広い範囲で高解像度化が達成されたパンフォーカス画像になる。
【００３８】
本実施例の効果を説明するため、以下に上記の処理をＬＦデータに対して実際に行った例を示す。この例では、カメラを水平方向に等間隔に移動した７視点から取得したモノクロ実画像を積層して断面を切り出した７×１０２４のサイズのＬＦデータの、空間座標だけを１／４にダウンサンプリングした７×２５６のサイズのＬＦデータが用いられる。ダウンサンプリングした７×２５６サイズのＬＦデータに対し、上記に示す高解像度化処理を行い、１０２４の解像度の１次元画像断面を生成し、元のデータと比較する。この例で用いる７×２５６のサイズのＬＦデータは、既に図４で示したデータである。このＬＦデータは、ｕ軸およびｘ軸の整数値座標にのみ、データ点が存在する離散的なデータである。この例では、ステップＳ３０２では、Ｓｏｂｅｌフィルタを用いた微分演算により射影方向ベクトルを求める。図７はＬＦデータの各データ点について実際に求められた射影方向ベクトルを示す図である。なお、図７では、見やすさの為に、図４におけるｘ軸の座標２００〜２５０の領域を拡大している。各射影方向ベクトルの長さは、対応する勾配ベクトルの勾配の大きさを示すものであり、強度値が急峻に変化している領域を示す。なお、射影方向ベクトルは射影の方向を定義できればよいので、長さは一律に設定するようにしてもよい。
【００３９】
なお、この例では、ｕ＝３．０を各データ点の射影対象の直線としている。この直線に射影されたＬＦデータは、１つの視点に対応する１次元画像となる。Ｓｏｂｅｌフィルタにより求められた射影方向ベクトルに基づいて射影されたデータ点は、Ｄｅｌａｕｎａｙ三角形分割に基づいて補間を行うことでリサンプリングされる。なお、データ点の射影により生成された不等間隔の配置の１次元データに対し、外れ値除去などの前処理を行うようにしてもよい。外れ値除去は、射影対象の直線において、射影により補間されたデータとは異なる、射影前から存在する等間隔データ（実際にＬＦカメラにより取得されたデータ）を用いて行われる。変換部２０５は、射影前から存在する等間隔データに前述の方法でリサンプリングを行うことで、射影対象の直線上の、射影により生成された補間データの位置のデータを推定する。そして、変換部２０５は、射影前から存在する等間隔データに基づく推定データの強度値と、射影により生成された補間データの強度値とを比較し、推定データから大きく乖離した強度値を持つ射影データを除外する。この例では、射影データの強度値が推定データの強度値の±５０％以内に入っていない場合は、該当する射影データを除外する。外れ値の判定基準はこれに限られず、例えば強度値からの差を相対値ではなく絶対値で設定するようにしてもよい。
【００４０】
この外れ値除去を行った場合と行わなかった場合のリサンプリング後の１次元データの比較を、図８（ａ）に示す。なお、図８（ａ）は、図４におけるｘ軸の座標２０２〜２１２の領域を拡大したものである。○印がダウンサンプリング前の１０２４の解像度のｕ＝３．０上のデータ、点線が、上述の高解像度処理を行い、外れ値除去を行っていないデータ、実線が上述の高解像度処理と外れ値除去の両方を行ったデータを示す。外れ値除去を行った方が、本来の高解像度データに近い値を得られることが分かる。図８（ｂ）は、高解像度処理と外れ知除去の両方を行ったデータを、別の範囲（ｘ軸の座標２１８〜２２８）で見たものを示す図である。○印がダウンサンプリング前の１０２４の解像度のｕ＝３．０上のデータ、×印がダウンサンプリングにより得られた２５６の解像度の、ｕ＝３．０上のデータである。また、実線は、上述の高解像度化処理と外れ知除去の両方を行ったデータである。図８（ａ）および図８（ｂ）に示すように、本発明の方法を用いることで、極値の細部まで本来の高解像度データに近い値が得られることが分かる。
【００４１】
なお、以上の方法を３次元または４次元以上のＬＦデータに同様に適用することで２次元画像を出力することができる。その場合には、射影対象をｘ軸に平行な直線から、ｘｙ平面に平行な平面に替えることになる。これは以降の実施例においても同様である。
【００４２】
なお、上記の実施例では、ＬＦデータの各データ点を射影面に射影してから、本来前景に隠れているはずの背景に対応するデータ点を除去する例について説明したが、背景に対応するデータ点を射影するデータ点からあらかじめ除外しておくようにしてもよい。背景に対応するデータ点を射影するデータ点からあらかじめ除外する方法の一例としては、以下に示す方法がある。この方法では、射影対象の直線または平面を通過しているＬＦ線要素群の近傍のデータ点だけが、射影するデータ点として残される。図９（ａ）は、この方法の概要を示す図である。図９（ａ）において、灰色の帯は射影対象の直線ｕ＝ｕ０上に元々存在するデータ点を通るＬＦ線要素を等方的に膨張して得られる領域であり、この領域外のデータ点は白抜きの点で示している。この白抜きの点は、ｕ＝ｕ０に対応する視点からは前景に遮蔽されて見えないはずの被写体から発せられた光線に対応するデータ点を示し、射影するデータ点からは除外される。なお、射影するデータ点を探索する際には、射影対象の直線又は平面上の各データ点から、対応するＬＦ線要素上をｕ軸の正負両方向に向かい、最も近い強度値を有する点を逐次的に探索することで、前景に対応するデータ点を探索するようにすればよい。図９（ｂ）に、図４のデータに対して上述の探索を行った結果を示す。図９（ｂ）において、黒が射影するデータ点から除外されたデータ点を表す。つまり、黒の領域のＬＦデータは、前景に遮蔽されるために物理的にカメラに到達しないとみなされたデータである。この処理によれば、全てのデータ点について射影方向ベクトルを求める必要が無くなるので、高解像度化処理の処理量を低減できる場合がある。
【００４３】
また、算出された射影方向ベクトルの信頼性が低いデータ点を、射影するデータ点から除外する処理を行うようにしてもよい。一例として、射影方向ベクトルの長さが閾値未満の点を除外するといった処理が挙げられるが、他の処理によって射影方向ベクトルの信頼度を求めるようにしてもよい。図１０に、射影方向ベクトルの長さが全射影方向ベクトルの長さの中央値の１／２未満のデータ点を黒で表示した図を示す。この場合、黒の領域に対応するデータ点は、射影方向の信頼性が低いために、射影処理を行わないようにしてもよい。
【００４４】
また、射影対象は必ずしも直線または平面である必要はなく、ＬＦ空間より低次元の部分空間であればどのような空間に射影してもよい。例えば、波長の次元を含む５次元以上のＬＦデータを、波長の次元を含む３次元の部分空間に射影することで、出力画像の空間的解像度を向上するのみならず、分光特性の波長分解能も同時に向上することが可能になる。そのような場合にも、射影方向ベクトルの決定方法は前述した方法と本質的には変わらない。
【００４５】
なお、本実施例において、取得部２０１は、被写体から撮像装置に入射される光線の、入射位置、入射方向および強度を示す離散的なデータを含むライトフィールドデータを取得する取得手段として機能する。また、射影部２０４は、同一の被写体に対応する複数のデータの対応関係に基づいて、前記ライトフィールドデータの情報量がライトフィールド空間の少なくとも一部において増加した補正データを生成する補正手段として機能する。また、方向決定部２０２は、前記ライトフィールド空間において、前記同一の被写体に対応する複数のデータが並ぶ方向を示す情報を導出する導出手段として機能する。また、操作部１１０は、ユーザによる指示を入力する操作手段として機能する。また、面決定部２０３は、前記操作手段により入力されたユーザ指示に基づいて、前記ライトフィールド空間において、前記ライトフィールドの情報量を増加させる領域を決定する決定手段として機能する。また、変換部２０５は、前記補正データから、前記ライトフィールドデータが示す画像データよりも解像度の高い画像データを生成する生成手段として機能する。
【００４６】
＜実施例２＞
実施例１では、入力したＬＦデータに、実際に取得したデータ点が含まれている視点（つまり、ｕが整数値の視点）におけるＬＦデータの高解像度化を行う例について説明した。本発明を適用できる実施形態は上記のものに限定されず、実際のデータを取得しなかった視点のＬＦデータを生成する場合にも適用できる。実施例２では、入力したＬＦデータから、ｕ＝４．５における高解像度画像データを生成する処理について述べる。ここで行われる高解像度化処理は実施例１と同様であり、射影対象の直線の位置が変わるだけなので、説明を省略する。図１１に、本実施例の効果を示す。×印および△印はそれぞれ、ダウンサンプリング後の７×２５６のＬＦデータに、実施例１で示した高解像度化処理を行ったｕ＝４．０および５．０における高解像度データである。また、実線は、ダウンサンプリング後の７×２５６のＬＦデータに、実施例１で示した高解像度化処理を行ったｕ＝４．５における高解像度画像データを示し、○印はダウンサンプリングを行っていないｕ＝４．５における真の高解像度データを示す。本実施例の高解像度化処理により、ｕ＝４．０および５．０のいずれの視点とも異なる、ｕ＝４．５における真のデータに近いデータが推定されていることが分かる。このように、上述の高解像度化処理は、実際のデータを取得しなかった視点のＬＦデータを生成する場合にも適用できる。
【００４７】
＜実施例３＞
実施例１および２では、データ点の射影処理により、１つの視点に対応する１枚の高解像度画像データを生成する例について説明した。実施例３では、高解像度化の効果を得つつ、フォーカス位置や被写界深度などの合焦状態を仮想的に変化させた画像データを生成する例について述べる。
【００４８】
ＬＦデータから、フォーカス位置や被写界深度を仮想的に変化させた画像データを生成する方法としては、ＬＦ空間上でＬＦデータを積分する方法が知られている。この時の積分方向や積分区間を調整することで、生成される画像データのフォーカス位置や被写界深度を変更することができる。図１２に実施例３の概要を示す。実施例３では、ユーザが所望する被写界深度に応じて、面決定部２０３が複数の射影対象を決定する。図１２（ａ）の例ではｘ軸に平行な直線ｕ＝ｕ１〜ｕ＝ｕ５が設定されている。設定された射影対象について実施例１および実施例２と同様に射影を行うと、図１２（ｂ）に示すように、高解像度化された５組の１次元データが生成される。この５組の高解像度データをｕ軸方向に積分することで、高解像度化の効果を得つつも、被写界深度を仮想的に変化させた画像データを生成することができる。この処理は、複数の視点に対応する画像データを合成する処理としてみなすことができる。なお、自然な画像データの生成の為には、ｕ１〜ｕ５は等間隔に設定されることが望ましい。また、ｕ１とｕ５の間の間隔を保ちつつ、その間に更に射影対象の直線を増やすことで、被写界深度を保ったままより自然な画質の高解像度画像データを得ることができる。なお、被写界深度を変更したい場合は、ｕ１とｕ５の間の間隔を変更すればよい。また、射影対象の直線の数は５本に限られず、より多くの直線を設定するようにしてもよい。
【００４９】
また、図１２（ｂ）に示すような複数の高解像度データの積分方向を変更することで、生成される画像データのフォーカス位置を調整することができる。なお、この処理を行う場合には、射影する直線上におけるリサンプリング後のデータ位置が、積分方向に対して整合していることが望ましいため、図１３（ａ）に示すように射影対象の直線をｘ軸に対して傾けるように設定するようにしてもよい。図１３（ａ）のように傾けて設定した射影対象の直線に、実施例１および２に記載の方法を用いてデータ点を射影したものが図１３（ｂ）である。図１３（ｂ）に示すような複数の高解像度データを、射影直線に対して直交する方向に積分すると、フォーカス位置を変更した、良好な高解像度画像データを得ることができる。
【００５０】
以下、実施例３の処理装置１００で行われる処理について、図１４のフローチャートを参照して説明する。実施例３の情報処理装置の構成は実施例１および２と同様であるので、説明を省略する。また、実施例１と同様の処理については、図３と同様の符号を付し、説明を省略する。ステップＳ１４０１では、面決定部２０３が、ユーザによる操作部１１０の操作に基づいて、各データ点の射影を行う射影面の位置を決定する。実施例３では、ユーザは視点位置だけでなく、所望の被写界深度およびフォーカス位置についても指定する。面決定部２０３は、ユーザが設定した条件に基づいて、複数の射影面を設定し、射影部２０４に出力する。ステップＳ１４０２では、射影部２０４が、ステップＳ３０２およびステップＳ１４０１において決定された射影方向および射影平面に基づいて、各データ点の射影を行う。ステップＳ３０４との違いは射影平面の数が異なる点である。射影部２０４は、各データ点に対応するＬＦ線要素と、各射影平面との交点を全て導出する。
【００５１】
ステップＳ１４０３では、射影部２０４が、射影後のＬＦデータのうち、前景の被写体に隠れた背景の被写体に対応するデータ点を除去する。この処理ではステップＳ３０５と同様の処理を、全ての射影平面について行い、射影平面上の高解像度ＬＦデータを変換部２０５に出力する。そして、ステップＳ１４０４では、変換部２０５が、入力された全ての高解像度ＬＦデータについてリサンプリングを行う。そして、ステップＳ１４０５では、変換部２０５が、各高解像度ＬＦデータの積分を行い、その結果を高解像度画像データとして出力する。
【００５２】
以上が実施例３の処理である。以上の処理によれば、高解像度化の効果を得つつ、被写界深度やフォーカス位置を変更した画像データを得ることができる。なお、実施例３の処理をより多次元のＬＦデータに拡張する場合は、ＬＦ空間において複数の不連続な領域を射影対象の部分空間として設定し、設定した各領域において情報量が増加したＬＦデータの合成処理を行うことで、同様の効果を得ることができる。
【００５３】
＜その他の実施形態＞
上記の実施例では、いずれもＬＦ空間中で検出されたＬＦ線要素の傾きに基づいてＬＦデータの各データ点を射影することで、射影直線又は射影面におけるＬＦデータの情報量が増加した補正データを生成したが、本発明の実施形態はこれに限られない。例えば、ＬＦ線要素の方向を直接求めずに、画素値の比較などにより同一の被写体に対応するデータ点を抽出し、同一の被写体に対応するとして抽出されたデータ点の組み合わせに基づいて各データ点の射影方向を決定するようにしてもよい。また、補正データの生成方法はデータ点の射影に限られず、同一の被写体に対応するデータ点の対応関係に基づいて、高解像度画像の画素値を決定する方法であればよい。
【００５４】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５５】
１００  情報処理装置
１０１  ＣＰＵ
１０２  ＲＡＭ
１０３  ＲＯＭ
２０１  取得部
２０２  射影方向決定部
２０３  射影平面決定部
２０４  射影部
２０５  変換部
【図１】
2015216542.tif 000009
【図２】
2015216542.tif 000010
【図３】
2015216542.tif 000011
【図５】
2015216542.tif 000012
【図６】
2015216542.tif 000013
【図７】
2015216542.tif 000014
【図８】
2015216542.tif 000015
【図９】
2015216542.tif 000016
【図１０】
2015216542.tif 000017
【図１１】
2015216542.tif 000018
【図１２】
2015216542.tif 000019
【図１３】
2015216542.tif 000020
【図１４】
2015216542.tif 000021
【図４】
2015216542.tif 000022