(57)【特許請求の範囲】
【請求項１】
焦点ボケを含む入力画像と任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書からライトフィールド画像を生成する画像処理方法であって、
前記ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差と、前記ライトフィールド画像の各副開口画像の焦点ボケ量とを最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定ステップと、
前記係数ベクトルからライトフィールド画像を生成するライトフィールド画像生成ステップと
を有する画像処理方法。
【請求項２】
前記副開口画像の焦点ボケ量を推定する焦点ボケ量推定ステップをさらに有し、
前記係数ベクトル推定ステップでは、前記焦点ボケ量に基づき前記係数ベクトルを推定する請求項１に記載の画像処理方法。
【請求項３】
前記焦点ボケ量推定ステップでは、前記副開口画像の勾配のノルムを前記焦点ボケ量とする請求項２に記載の画像処理方法。
【請求項４】
前記焦点ボケ量推定ステップでは、前記副開口画像の勾配の分散を前記焦点ボケ量とする請求項２に記載の画像処理方法。
【請求項５】
前記焦点ボケ量推定ステップでは、前記副開口画像に対して異なる２種類の点広がり関数を適用して求めた勾配の比を前記焦点ボケ量とする請求項２に記載の画像処理方法。
【請求項６】
焦点ボケを含む入力画像と任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書からライトフィールド画像を生成する画像処理装置であって、
前記ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差と、前記ライトフィールド画像の各副開口画像の焦点ボケ量とを最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定手段と、
前記係数ベクトルからライトフィールド画像を生成するライトフィールド画像生成手段と
を備える画像処理装置。
【請求項７】
請求項１から５のいずれか１項に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライトフィールド画像を生成する画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
撮像素子に入光する光の方向を含めた光線情報（ライトフィールド画像）を記録するライトフィールドカメラが実用化されたことで、撮像後のピント調節や三次元情報の復元など、光線情報を活用した新たな画像処理技術とアプリケーションの研究開発が盛んに行われるようになってきている。光線情報を記録する方法は古くから存在しており、多数のカメラを密に並べて同期して撮影する方法などが有名である（例えば、非特許文献１参照）。この方法は非常に多くの同型のカメラを並べ同期して動かすシステムを必要とし、また厳密なカメラ校正が要求されることから、費用や労力の点で実用が難しいと思われてきた。
【０００３】
しかしながら、近年一般向けにも販売されるようになったライトフィールドカメラ（例えば、非特許文献２参照）では、カメラ内部の主レンズの前後にマイクロレンズアレイを設置することで、多数のカメラを並べた場合と同じ（マイクロレンズアレイの設置位置を変えることで異なる構成を取ることもできる）ように光線情報を記録することを可能にした。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】B. Wilburn, N. Joshi, V. Vaish, E.-V. Talvala, E. Antunez, A. Barth, A. Adams, M. Horowitz, and M. Levoy, “High performance imaging using large camera arrays,” ACM Transactions on Graphics, vol. 24. p. 765, 2005.
【非特許文献２】R. Ng, M. Levoy, G. Duval, M. Horowitz, and P. Hanrahan, “Light Field Photography with a Hand-held Plenoptic Camera,” Stanford Tech Rep. CTSR, pp. 1-11, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マイクロレンズアレイを伴うライトフィールドカメラでは従来のカメラと異なり光線情報を記録することが可能である。しかしながら、このカメラの記録方法では空間方向分解能と角度方向分解能がトレードオフであり、実用的に利用可能な撮像素子では従来のカメラによる写真撮影で要求されるような解像度を達成することは難しい。また、マイクロレンズアレイによる光の減衰によって光量が不足するためノイズの影響を受けやすく、それを補うために露出を調節するためブレの影響を受けることにもなる。このようにライトフィールドカメラによる撮像では従来のカメラで容易に達成可能な品質を得ることは難しいという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、容易にライトフィールド画像を生成することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、焦点ボケを含む入力画像と任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書からライトフィールド画像を生成する画像処理方法であって、前記ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差と、前記ライトフィールド画像の各副開口画像の焦点ボケ量とを最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定ステップと、前記係数ベクトルからライトフィールド画像を生成するライトフィールド画像生成ステップとを有する画像処理方法である。
【０００８】
本発明の一態様は、前記画像処理方法であって、前記副開口画像の焦点ボケ量を推定する焦点ボケ量推定ステップをさらに有し、前記係数ベクトル推定ステップでは、前記焦点ボケ量に基づき前記係数ベクトルを推定する。
【０００９】
本発明の一態様は、前記画像処理方法であって、前記焦点ボケ量推定ステップでは、前記副開口画像の勾配のノルムを前記焦点ボケ量とする。
【００１０】
本発明の一態様は、前記画像処理方法であって、前記焦点ボケ量推定ステップでは、前記副開口画像の勾配の分散を前記焦点ボケ量とする。
【００１１】
本発明の一態様は、前記画像処理方法であって、前記焦点ボケ量推定ステップでは、前記副開口画像に対して異なる２種類の点広がり関数を適用して求めた勾配の比を前記焦点ボケ量とする。
【００１２】
本発明の一態様は、焦点ボケを含む入力画像と任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書からライトフィールド画像を生成する画像処理装置であって、前記ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差と、前記ライトフィールド画像の各副開口画像の焦点ボケ量とを最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定手段と、前記係数ベクトルからライトフィールド画像を生成するライトフィールド画像生成手段とを備える画像処理装置である。
【００１３】
本発明の一態様は、前記画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１４】
本発明によれば、光線情報を含まない一般の画像に基づきライトフィールド辞書を参照して、光線情報を復元するようにしたため、容易にライトフィールド画像を生成することができるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態によるライトフィールド画像生成装置の構成を示すブロック図である。
【図２】図１に示すライトフィールド画像生成装置１００の処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の一実施形態によるライトフィールド画像生成装置を説明する。図１は同実施形態によるライトフィールド画像生成装置の構成を示すブロック図である。ライトフィールド画像生成装置１００は、図１に示すように、画像入力部１０１、辞書入力部１０２、パッチ生成部１０３、係数ベクトル推定部１０４及びライトフィールド画像生成部１０５を備えている。
【００１７】
画像入力部１０１は、ライトフィールド画像の元となる光線情報を含まない画像を外部から入力する。以下では、この画像を入力画像と称する。辞書入力部１０２は、ライトフィールド辞書を外部から入力する。以下では、このライトフィールド辞書をＬＦ辞書と称する。パッチ生成部１０３は、入力画像をあらかじめ定められた大きさのパッチ（小領域）に分割し、画像パッチ群を生成する。係数ベクトル推定部１０４は、画像パッチ群とＬＦ辞書とから各画像パッチに対応する係数ベクトル群を推定する。ライトフィールド画像生成部１０５は、係数ベクトル群とＬＦ辞書とからライトフィールドパッチ群を生成し、ライトフィールドパッチ群からライトフィールド画像を生成し出力する。以下ではライトフィールドパッチのことをＬＦパッチ、ライトフィールド画像のことをＬＦ画像と称する。
【００１８】
ＬＦ画像はある撮像系に入光した光線の情報を記録した画像である。ＬＦ画像はどのように表現されてもよい。一般には、通常の画像が縦・横にピクセルを並べた形の二次元配列で表されるのに対し、ＬＦ画像はさらに二方向の角度を表現する二次元を追加した四次元配列の形で表される。空間分解能がＨ（高さ）ｘＷ（幅）で角度分解能がＮｘＭである場合、ＬＦ画像はＨｘＷｘＮｘＭの四次元配列で表すことができる（参考文献１：「M. Levoy and P. Hanrahan, “Light field rendering,” Proc. 23rd Annu. Conf. Comput. Graph. Interact. Tech. - SIGGRAPH ’96, pp. 31-42, 1996.」）。
【００１９】
このＬＦ画像から任意の距離に焦点を合わせた画像を生成する場合、生成される画像の解像度は再サンプリングや超解像などの解像度を増大させる処理を特別に行わなければＨｘＷとなる。この他に、ＨｘＷの解像度を持つＮｘＭ枚の多視点画像として表現することもできる。この場合の各視点の画像は光線情報を方向別に画像としてまとめたものであり、同じ光線情報を多数のカメラを使用して撮像する場合に各カメラで撮像される画像と同一である。以下では、この表現における各視点の画像を副開口画像（ｓｕｂ−ａｐｅｒｔｕｒｅ  ｉｍａｇｅ）と称する。また、一般のＬＦカメラの撮像画像そのままに主レンズとマイクロレンズアレイを介して撮像素子に記録された画像をそのまま入力としてもよい。そのほかにどの様な形式のＬＦ画像を出力としてもよい。
【００２０】
次に、図２を参照して、図１に示すライトフィールド画像生成装置１００の処理動作を説明する。図２は、図１に示すライトフィールド画像生成装置１００の処理動作を示すフローチャートである。
【００２１】
まず、画像入力部１０１は、ＬＦ画像の元となる光線情報を含まない画像を入力する（ステップＳ１０１）。この画像を以下では入力画像と称する。続いて、辞書入力部１０２は、ＬＦ辞書を入力する（ステップＳ１０２）。ＬＦ辞書はどのようなものでもよいが、本実施形態においては有限の基底ベクトルからなる辞書で、任意のＬＦ画像をこの基底ベクトルの線形結合であらわすことができるとする。基底ベクトルは主成分分析や独立主成分分析などどのような方法によって生成したものでもよいが、以下ではスパースコーディング（参考文献２：「M. Elad and M. Aharon, “Image denoising via sparse and redundant representation over learned dictionaries,” IEEE Transations Image Process., vol. 15, no. 12, pp. 3736-3745, 2006.」）によって生成したものであるとして説明する。これにより、任意のＬＦ画像を非常に少数の係数ベクトルによって表現可能であるとする。
【００２２】
次に、パッチ生成部１０３は、入力画像をあらかじめ定められた大きさのパッチに分割し、画像パッチ群を生成する（ステップＳ１０３）。パッチの大きさはどのような大きさでもよいが、入力するＬＦ辞書によって定められる。また、複数のパッチが重複していてもよい。以下ではｗｘｈの空間解像度のパッチを使用すると仮定して説明する。
【００２３】
次に、係数ベクトル推定部１０４は、画像パッチ群とＬＦ辞書とから、各画像パッチのＬＦ辞書に対する係数ベクトルを推定する（ステップＳ１０４）。このとき、復元されたＬＦパッチに焦点合わせ処理を施すことで元になる画像パッチがそれぞれ生成できることし、更に復元されたＬＦパッチから得られる副開口画像ができるだけ焦点ボケを含まないことを条件とする。このような条件を満たす係数ベクトルの推定方法はどのような方法でもよいが、以下ではスパースコーディングを使った方法を説明する。
【００２４】
スパースコーディングでは、任意のＬＦ画像ベクトルをＬＦ基底からなるＬＦ辞書に対応する係数ベクトルで表現する。復元対象となるＬＦ画像をＬ、辞書をＤ、係数ベクトルをαとすると、
【数１】
0006401674.tif 000002
となる。
【００２５】
生成されたＬＦ画像から得られる副開口画像が焦点ボケを含まないためには、入力画像のベクトルをＩ、焦点距離ｆ、被写界深度ｄにおける焦点合わせ演算子をＲ（ｆ，ｄ）、（ｉ，ｊ）番目の副開口画像を抽出する演算子をＣ（ｉ，ｊ）とし、焦点ボケ評価関数をＥ（ｘ）すると、
【数２】
0006401674.tif 000003
とすることで係数ベクトルαを推定できる。第三項はスパース項であり、λはそのパラメータである。
【００２６】
焦点合わせ画像の作成方法はどのような方法でもよい。よく知られている方法としては、シフト加算法やフーリエスライス法（参考文献３：「R. Ng, “Fourier slice photography,” ACM SIGGRAPH 2005 Pap. - SIGGRAPH ’05, p. 735, 2005.」）などがある。上記方法では入力画像の焦点距離及び被写界深度が必要となるが、これらを外部から入力し使用してもよいし、推定して使用してもよい。
【００２７】
また、これらのパラメータを使用しない方法で係数ベクトルを推定してもよい。例えば入力画像の焦点距離及び被写界深度をＬＦ画像の撮像系における主レンズの焦点距離及び被写界深度と同じと仮定して復元する場合には、シフト加算法においては前副開口画像の加算平均、フーリエスライス法においてはスライス角度０とすることにより、パラメータによらない焦点合わせ演算子を定義できる。
【００２８】
焦点ボケ評価関数はどのようなものでもよい。例えば画像の勾配ベクトルを求め、ゼロでないピクセルの数を評価関数としてもよい。このような評価関数を使用する場合、
【数３】
0006401674.tif 000004
とすることで係数ベクトルαを推定できる。また第二項は勾配ベクトルを正規化することでＬ２ノルムに置き換えることも可能であり、一般的なＬ１正則化で高速に解を得ることができる。
【００２９】
正規化の方法はどのようなものでもよいが、例えば入力画像の勾配を
【数４】
0006401674.tif 000005
としてあらかじめ求め、
【数５】
0006401674.tif 000006
とすることで係数ベクトルを推定できる。
【００３０】
また、第一項に入力画像の代わりに入力画像の正規化済み勾配ベクトルを使用することで、第二項において以下のように勾配演算子及び正規化演算子を省略することも可能である。
【数６】
0006401674.tif 000007
【００３１】
この場合に得られる係数ベクトルはＬＦ画像の勾配に対応するため、後述のライトフィールド画像生成部１０５において勾配からＬＦ画像を推定する処理を行ってもよい。
【００３２】
上記説明においては最小化問題で最適化を行うために焦点ボケ評価関数として焦点ボケが強いほど大きな値をとる評価関数を用いたが、最大化問題で最適化を行う場合や、双対問題が最小化可能な場合、第一項と第二項を別の問題に分離し繰り返し演算などで解を求める場合などは、焦点ボケが強いほど小さな値をとる評価関数などを利用してもよい。例えば、画像の勾配の分散などを評価してもよい。あるいは、フーリエ変換やウェーブレット変換などの周波数領域への変換を行い、その高周波成分の強度などを評価するなどしてもよい。
【００３３】
また、上記説明では評価値を線形演算で算出可能な関数を使用したが、非線形演算で得られる評価関数を利用してもよい。例えば参考文献４：「S. Zhuo and T. Sim, “Defocus map estimation from a single image,” Pattern Recognit., vol. 44, no. 9, pp. 1852-1858, Sep. 2011.」で示されるように、異なる二つのパラメータでガウシアンフィルタをかけた画像の勾配量を比較してボケ量を推定する方法などがある。この方法では焦点ボケを表す点広がり関数をガウス関数と仮定し、そのパラメータを推定するものである。元画像をＩ，任意のガウシアンフィルタのパラメータをσ１，σ２：σ１＜σ２、ガウシアンフィルタの演算子をＧ（ｘ，ｙ，σ），勾配演算子を∇とすると、位置（ｘ，ｙ）におけるσ（ｘ，ｙ）は、
【数７】
0006401674.tif 000008
【数８】
0006401674.tif 000009
と推定される。
【００３４】
また、同様の方法を平均フィルタなどの異なる点広がり関数に応用することも可能である。また、点広がり関数のモデルを仮定しパラメータを推定する方法のほかにも参考文献５：「H. Zhang, J. Yang, Y. Zhang, and T. S. Huang, “Sparse Representation Based Blind Image Deblurring,” IEEE Int. Conf. Multimed. Expo, pp. 1-6, 2011.」で示されるように直接点広がり関数を推定する方法などを使用してもよい。
【００３５】
または、副開口画像に対する焦点ボケ評価の代わりに、入力画像を主レンズ中心にあたる副開口画像とある点広がり関数との畳み込みであるとして、この点広がり関数によるボケ量を評価する評価関数を使用してもよい。点広がり関数の推定方法はどのような方法でもよいが、例えば副開口画像の位置（ｘ，ｙ）を中心とした点広がり関数のカーネルと同じサイズのベクトルをＡ（ｘ，ｙ），（ｘ，ｙ）における入力画像の画素値をｂ（ｘ，ｙ）とし、点広がり関数のカーネルをｋ（ｘ，ｙ）とすると、
【数９】
0006401674.tif 000010
と推定される。
【００３６】
パッチサイズがカーネルサイズより大きい場合は
【数１０】
0006401674.tif 000011
としてパッチ全体で点広がり関数を推定するなどしてもよい。
【００３７】
このように推定された点広がり関数によるボケ量の評価はどのように行ってもよい。例えば点広がり関数のカーネルの分散が高いほどボケ量が大きく、低いほどボケ量が小さいとするなどでもよい。
【００３８】
上記説明においては入力画像をそのままベクトルとして対応する係数ベクトルを推定しているが、必要に応じて入力画像に正規化や冗長性削減などの処理を加えてよい。例えば、各パッチから平均値を差しひいて画像ベクトルとし、ＬＦパッチを復元したのちに平均値を足し戻すといったような処理を加えてよい。また、ＤＣＴ変換やフーリエ変換など任意の変換や、必要に応じて量子化などの処理を加えてもよい。
【００３９】
次に、ライトフィールド画像生成部１０５は、係数ベクトル群とＬＦ辞書とからＬＦパッチ群を生成し、ＬＦパッチ群からＬＦ画像を生成する。ＬＦ画像を生成する方法にはどのような方法を使用してもよい。一般には、すべてのパッチを対応する画像位置に合わせ、複数のパッチが重なる部分は加算平均をとるといった方法が使用される。最後に、生成したＬＦ画像を出力し処理を終了する（ステップＳ１０５）。
【００４０】
上記実施形態においては、入力画像の撮像位置はＬＦの主レンズ中心にあたる副開口画像の撮像位置と同じであるが、ＬＦの別の副開口画像の撮像位置と同じでもよいし、また異なる位置でもよい。このような場合にはＬＦ画像を使用して入力画像と同一の位置における焦点合わせ画像が生成できるものとし、その演算子をＲ（ｆ，ｄ，Ｘ，Ｙ，Ｚ）とすると、（２）式や（３）式のように係数ベクトルが生成できる。
【００４１】
以上説明したように、光線情報を持たない入力画像からライトフィールド画像を生成する際に、入力画像を分割した画像パッチをＬＦ辞書の要素である基底ベクトルの線形結合として表現する場合の係数ベクトルを所定の誤差を最小化するものとして算出し、この係数ベクトルを用いて入力画像からライトフィールド画像を容易に生成することができるようになる。
【００４２】
なお、前述した実施形態において一部の処理はその順序が前後しても構わない。また、前述した実施形態におけるライトフィールド画像生成装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００４３】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００４４】
光線情報を含まない一般の画像からライトフィールド画像を生成しピント調節や三次元情報の推定などを行うのに不可欠な用途に適用できる。
【符号の説明】
【００４５】
１００・・・ライトフィールド画像生成装置、１０１・・・画像入力部、１０２・・・辞書入力部、１０３・・・パッチ生成部、１０４・・・係数ベクトル推定部、１０５・・・ライトフィールド画像生成部
【図１】
0006401674.tif 000012
【図２】
0006401674.tif 000013