(57)【要約】【課題】光線情報を用いた信号処理によって、所望の撮像光学系を用いた撮像画像を生成できるようにする。【解決手段】記憶部２１，３１には、撮像光学系の光学特性情報毎に補正演算情報や画像構成情報を記憶する。選択部２２は、撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成時における撮像光学系の光学特性情報に応じて、補正演算情報を選択する。選択部３２は、所望の撮像光学系の光学特性情報に応じた画像構成演算情報を選択する。データ変換部２３は、補正演算情報と生成された光線情報に基づき、光線情報の生成時に撮像光学系に入射した光線の光線情報を算出する。画像混合部３３は、データ変換部２３で算出した光線情報と選択された画像構成演算情報を用いて演算を行い、所望の撮像光学系を介した撮像画像の画像データを生成する。【選択図】        図８
2013186640.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系の光学特性情報毎に、該光学特性情報に応じた演算情報を記憶する情報記憶部と、
撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成時における前記撮像光学系の光学特性情報に応じた前記情報記憶部に記憶されている演算情報と、前記光線情報とを用いて演算処理を行い、撮像画像の画像データを生成する演算処理部と
を備える画像処理装置。
【請求項２】
前記情報記憶部から前記演算情報を選択する情報選択部をさらに備え、
前記情報選択部は、前記光線情報の生成時における前記撮像光学系の光学特性情報に応じた演算情報と、所望の撮像光学系の光学特性情報に応じた演算情報を選択し、
前記演算処理部は、前記光線情報の生成時における前記撮像光学系の光学特性情報に応じて選択された演算情報と前記光線情報を用いて、該光線情報の生成時に前記撮像光学系に入射した光線の光線情報を算出して、該算出した光線情報と前記所望の撮像光学系の光学特性情報に応じて選択された演算情報を用いて演算処理を行い、前記所望の撮像光学系を用いた撮像画像の画像データを生成する請求項１記載の画像処理装置。
【請求項３】
前記情報記憶部は、前記演算情報として前記光学特性情報で示される撮像光学系における光線経路を示す画像構成演算情報を記憶する請求項２記載の画像処理装置。
【請求項４】
前記情報記憶部は、前記演算情報として前記光学特性情報で示される撮像光学系で生じる歪みの補正を行うための補正演算情報を記憶する請求項２記載の画像処理装置。
【請求項５】
前記情報選択部は、前記光線情報の生成に用いた撮像光学系の光学特性情報に応じて前記補正演算情報を選択し、
前記演算処理部は、前記選択した補正演算情報と前記光線情報を用いて前記撮像光学系に入射する前の光線情報の算出を行う請求項４記載の画像処理装置。
【請求項６】
前記補正演算情報は、前記撮像光学系を介して入射する光線の経路を示す行列の逆行列である請求項４記載の画像処理装置
【請求項７】
前記演算情報は、歪みを生じない仮想センサ面を示す情報である請求項１記載の画像処理装置。
【請求項８】
前記演算処理部は、前記仮想センサ面を通過する光線について、前記光線情報を生成する画像センサ上の位置を計算して、計算された位置のデータを用いて画像合成を行うことにより、前記仮想センサ面で取得される撮像画像の画像データを生成する請求項７記載の画像処理装置。
【請求項９】
撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成時における前記撮像光学系の光学特性情報に応じた演算情報と、前記光線情報とを用いて演算処理を行い、撮像画像の画像データを生成する工程
を含む画像処理方法。
【請求項１０】
撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報を用いて画像処理をコンピュータで実行させるプログラムであって、
前記光線情報の生成時における前記撮像光学系の光学特性情報に応じた演算情報と、前記光線情報とを用いて演算処理を行い、撮像画像の画像データを生成する手順
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、光線情報を用いた信号処理によって、所望の撮像光学系を用いた撮像画像を生成できるようにする。
【背景技術】
【０００２】
従来、撮像装置では、レンズによって収差と呼ばれる歪みが発生することが知られている。例えば、代表的な収差としては、コマ収差や像面湾曲といった収差がある。このような収差により、撮像画像上にボケ、色ズレ、像の歪みといった現象が発生する。このため、レンズによる光学的な補正を適用したり、画像処理による撮像画像の補正が行われている。
【０００３】
レンズによる光学的な補正では、例えば特許文献１のように、物体側より順に、正の第１レンズ、負の第２レンズを配置し、補正レンズとしての第３レンズと第４レンズを配置する。この第３レンズ，第４レンズを少なくとも１面を非球面とすることで、画面周辺部での諸収差を良好に補正する。また、第２レンズの像側面を凹面とすることで、ペッツバール和の補正を容易とし、画面周辺部まで良好な結像性能を確保することが行われている。また、画像処理による撮像画像の補正では、例えば特許文献２のように、レンズ状態に対応した収差情報を選択して、選択した収差情報および画面位置情報により画面の各部に対応した収差を補間することが行われている。
【０００４】
また、撮像装置では、非特許文献１のように、入射光の光量情報だけでなく入射光の経路情報（入射光の方向）を含む光線情報（ライトフィールドデータ）を記録できるライトフィールドカメラが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−５３５９２号公報
【特許文献２】特開平０８−２０５１８１号公報
【非特許文献】
【０００６】
【非特許文献１】Adobe Technical Report, April 2009,「Superresolution with Plenoptic Camera 2.0」，Todor Georgiev and Andrew Lumsdaine.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、入射光の光量情報のみを示す画像データを用いた信号処理では、入射光の方向を判別できないことから高度な信号処理を行うことができない。
【０００８】
そこで、この技術では、光線情報を用いた信号処理によって、所望の撮像光学系を用いた撮像画像を生成できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この技術の第１の側面は、撮像光学系の光学特性情報毎に、該光学特性情報に応じた演算情報を記憶する情報記憶部と、撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成時における前記撮像光学系の光学特性情報に応じた前記情報記憶部に記憶されている演算情報と、前記光線情報とを用いて演算処理を行い、撮像画像の画像データを生成する演算処理部とを備える画像処理装置にある。
【００１０】
この技術においては、情報記憶部には、撮像光学系の光学特性情報毎に演算情報、例えば撮像光学系で生じた歪みの補正を行うための補正演算情報や撮像光学系の光線経路を示す画像構成演算情報が記憶される。情報選択部では、撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成時における撮像光学系の光学特性情報に応じて、情報記憶部から演算情報例えば補正演算情報が選択される。また、情報選択部では、所望の撮像光学系の光学特性情報に応じて、情報記憶部から演算情報例えば画像構成演算情報が選択される。演算処理部では、光線情報の生成時における撮像光学系の光学特性情報に応じて選択された補正演算情報と光線情報を用いて撮像光学系に入射した光線情報が算出される。また、演算処理部では、算出した光線情報と所望の撮像光学系の光学特性情報に応じて選択された画像構成演算情報を用いて所望の撮像光学系を用いた撮像画像の画像データが生成される。また、補正演算情報は、撮像光学系を介して入射する光線の経路を示す行列の逆行列が用いられる。さらに、演算情報として、例えば歪みを生じない仮想センサ面を示す情報が選択されて、演算処理部では、仮想センサ面を通過する光線の画像センサにおける位置を計算して、計算された位置のデータを用いて画像合成を行うことにより、仮想センサ面で取得される撮像画像の画像データが生成される。
【００１１】
この技術の第２の側面は、撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成時における前記撮像光学系の光学特性情報に応じた演算情報と、前記光線情報とを用いて演算処理を行い、撮像画像の画像データを生成する工程を含む画像処理方法にある。
【００１２】
この技術の第３の側面は、撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報を用いて画像処理をコンピュータで実行させるプログラムであって、前記光線情報の生成時における前記撮像光学系の光学特性情報に応じた演算情報と、前記光線情報とを用いて演算処理を行い、撮像画像の画像データを生成する手順を前記コンピュータで実行させるプログラム。
【００１３】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１４】
この技術によれば、撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成時における撮像光学系の光学特性情報に応じた演算情報と、光線情報とを用いて演算処理を行うことにより、撮像画像の画像データが生成される。このため、光線情報を用いた信号処理によって、所望の撮像光学系を用いた撮像画像を生成できる。
【図面の簡単な説明】
【００１５】
【図１】ライトフィールドカメラの構成例を示す図である。
【図２】マイクロレンズと画像センサの画素の位置関係を例示した図である。
【図３】画像センサに対する光線の入射を示す図である。
【図４】第１の実施の形態の構成を例示した図である。
【図５】第１の実施の形態の動作を示すフローチャートである。
【図６】空間の二次元分割を示した図である。
【図７】１つのグリッドＧの１次元ベクトルを説明するための図である。
【図８】第２の実施の形態の構成を例示した図である。
【図９】第２の実施の形態の動作を例示したフローチャートである。
【図１０】第２の実施の形態の動作を説明するための図である。
【図１１】仮想湾曲画像センサを示す図である。
【図１２】第３の実施の形態の構成を例示した図である。
【図１３】第３の実施の形態の動作を示すフローチャートである。
【図１４】第３の実施の形態の動作を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．本技術の歪み補正について
２．第１の実施の形態
２−１．第１の実施の形態の構成
２−２．第１の実施の形態の動作
３．第２の実施の形態
３−１．第２の実施の形態の構成
３−２．第２の実施の形態の動作
４．第３の実施の形態
４−１．第３の実施の形態の構成
４−２．第３の実施の形態の動作
【００１７】
＜１．ライトフィールドカメラについて＞
図１は、ライトフィールドカメラの構成例を示している。ライトフィールドカメラ１０は、撮像光学系１１、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の画像センサ１２、画像センサ１２の直前に設けられるマイクロレンズアレイ１３を有している。
【００１８】
撮像光学系１１は、単レンズまたは複数のレンズで構成されている。マイクロレンズアレイ１３は、撮像光学系１１の焦点面ＦＰの位置に設置されている。また、マイクロレンズアレイ１３のマイクロレンズに対して、撮像光学系１１の位置は無限遠とみなせる距離とされている。画像センサ１２は、センサ面がマイクロレンズアレイ１３からマイクロレンズの焦点距離ｆmcだけ後方側（撮像光学系１１とは逆側）の位置となるように設置されている。
【００１９】
画像センサ１２とマイクロレンズアレイ１３のマイクロレンズ１３１は、マイクロレンズ１３１に対して画像センサ１２の複数画素が含まれるように構成されている。図２は、マイクロレンズと画像センサの画素の位置関係を例示している。例えば図２では、マイクロレンズ１３１の１つに対して画像センサ１２の３×３画素が含まれるように構成されている。
【００２０】
このように構成されたライトフィールドカメラでは、マイクロレンズ毎に、異なる方向からの光線が異なる画素に入射されることになる。したがって、光の強度（光量情報）だけでなく光の方向（経路情報）を含む光線情報、すなわちライトフィールドデータを記録できる。
【００２１】
図３は、画像センサに対する光線の入射を示している。なお、図３の（Ａ）は従来のカメラ、図３の（Ｂ）はライトフィールドカメラの場合を示している。
【００２２】
従来のカメラの場合、入射光は、撮像光学系１１で集光されて画像センサ１２に入射される。これに対してライトフィールドカメラの場合、入射光は、撮像光学系１１で集光されてマイクロレンズアレイ１３のマイクロレンズ１３１に入射されたのち、入射方向毎に分割されて画像センサ１２に入射される。
【００２３】
このように、ライトフィールドカメラでは、入射光を入射方向毎に分割して記録することができるので、入射方向毎に記録された信号すなわちライトフィールドデータを用いて信号処理を行うことで、所望の撮像光学系を用いた撮像画像を生成できる。
【００２４】
＜２．第１の実施の形態＞
ライトフィールドデータを用いて信号処理を行うことで、所望の撮像光学系を用いた撮像画像を生成する場合、ライトフィールドカメラに入力されたライトフィールドデータを再現する。この再現されたライトフィールドデータを用いれば、所望の撮像光学系を用いた撮像画像を精度よく生成できる。そこで、第１の実施の形態では、ライトフィールドカメラに入力されたライトフィールドデータの再現について説明する。
【００２５】
［２−１．第１の実施の形態の構成］
図４は、第１の実施の形態の構成を例示している。第１の実施の形態の画像処理装置２０は、画像センサで生成されたライトフィールドデータに対してライトフィールドカメラの撮像光学系で生じる歪みの補正を行い、ライトフィールドカメラに入力されるライトフィールドデータの再現を行う。
【００２６】
画像処理装置２０は、補正変換マトリクス記憶部２１、補正変換マトリクス選択部２２、データ変換部２３を有している。なお、補正変換マトリクス記憶部２１は情報記憶部、補正変換マトリクス選択部２２は情報選択部、データ変換部２３は演算処理部に相当する。
【００２７】
補正変換マトリクス記憶部２１は、光学特性情報毎に補正演算情報である補正変換マトリクスを記憶している。光学特性情報は、例えばレンズの種別、レンズのフォーカス位置やズーム位置等を示す情報である。補正変換マトリクス記憶部３１は、例えばレンズの種別、レンズのフォーカス位置やズーム位置等を示す光学特性情報毎に、この光学特性情報で示される撮像光学系で生じる歪みの補正を行うための補正変換マトリクスを予め記憶しておく。
【００２８】
補正変換マトリクス選択部２２は、光学特性情報を取得する。補正変換マトリクス選択部２２は、ライトフィールドカメラで用いられている撮像光学系の光学特性情報を取得する。補正変換マトリクス選択部２２は、取得した光学特性情報に基づき、補正変換マトリクス記憶部２１から対応する補正変換マトリクスを選択して読み出し、データ変換部２３に出力する。
【００２９】
データ変換部２３は、選択された補正変換マトリクスとライトフィールドデータを用いてマトリクス演算を行い、ライトフィールドカメラに入力されたライトフィールドデータを再現する。
【００３０】
［２−２．第１の実施の形態の動作］
図５は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１１で画像処理装置２０は、ライトフィールドデータを取得する。画像処理装置２０は、ライトフィールドカメラで生成されたライトフィールドデータを取得してステップＳＴ１２に進む。
【００３１】
ステップＳＴ１２で画像処理装置２０は、光学特性情報を取得する。画像処理装置２０は、ライトフィールドデータを生成したライトフィールドカメラで用いられている撮像光学系の光学特性情報を取得してステップＳＴ１３に進む。
【００３２】
ステップＳＴ１３で画像処理装置２０は、補正変換マトリクスを選択する。画像処理装置２０は、予めメモリ等に記憶されている光学特性情報毎の補正変換マトリクスから、ステップＳＴ１２で取得した光学特性情報に対応する補正変換マトリクスを選択してステップＳＴ１４に進む。
【００３３】
ステップＳＴ１４で画像処理装置２０は、補正マトリクス演算を行う。画像処理装置２０は、ステップＳＴ１３で選択した補正変換マトリクスとライトフィールドデータを用いてマトリクス演算を行い、ライトフィールドカメラに入力されたライトフィールドデータを再現する。
【００３４】
次に、図６と図７を用いて第１の実施の形態の動作について説明する。図６は、空間の二次元分割を示している。図６の（Ａ）は、ライトフィールドカメラの構成を示している。また、ライトフィールドカメラでは、マイクロレンズアレイ１３の１つのマイクロレンズに対して、画像センサ１２の３×３画素が配置されているものとする。図６の（Ｂ）は、位置ＳＰ１の空間を二次元のグリッドに分割した状態を例示している。ここで、１つのグリッドＧを通過するライトフィールドデータは１次元のベクトルとして表現できる。
【００３５】
図７は、１つのグリッドＧの１次元ベクトルを説明するための図である。二次元のグリッドの１つであるグリッドＧは、例えばマイクロレンズ１３１(j,k)の光軸（ｚ軸方向とする）の位置とする。グリッドＧの入射光がｚ軸方向である場合、この入射光はマイクロレンズ１３１(j,k)によって画像センサの画素Ｐ（j,k,o,o）に入射されて画素信号ｌ（j,k,o,o）が生成される。また、入射光が光線ＬＴ1に示すようにｚ軸方向に対してｘ方向に傾きを生じている場合、この入射光はマイクロレンズ１３１(j,k)によって画像センサの画素Ｐ（j,k,+1,o）に入射されて画素信号ｌ（j,k,+1,o）が生成される。さらに、入射光が光線ＬＴ1よりもｚ軸方向に対してｘ方向の傾きが大きい光線ＬＴ2である場合、この入射光はマイクロレンズ１３１(j+1,k)によって画像センサの画素Ｐ（j+1,k,+1,o）に入射されて画素信号ｌ（j+1,k,+1,o）が生成される。このように、グリッドＧの入射光の方向と光量に応じて画像センサ１２で画像信号が生成される。
【００３６】
したがって、各グリッドにおけるライトフィールドデータＬzは、式（１）として表現できる。
【００３７】
【数１】
2013186640.tif 000003
【００３８】
レンズ種別やフォーカス位置，ズーム位置等が既知である場合、入力光がライトフィールドカメラでどの画素に入力するかは事前に判別できる。ここで、ライトフィールドカメラの撮像光学系に入射されるライトフィールドデータＬｍとマイクロレンズ入射直前のライトフィールドデータＬａの関係を式（２）として示す場合、「Ｗ」は光線の経路を示す２次元マトリクスとなる。ここで、未知であるＬｍ、撮影により得られたＬａは、Ｌｚと同様にライトフィールドデータを１次元ベクトルとして表現したものとする。
Ｌａ  ＝Ｗ×Ｌｍ      ・・・（２）
【００３９】
また、マイクロレンズ入射直前のライトフィールドデータＬａと画像センサで得られたライトフィールドデータＬａ’はほぼ等しいことから、式（３）が成立する。
Ｌａ’＝Ｗ×Ｌｍ      ・・・（３）
【００４０】
したがって、式（４）のマトリクス演算を行えば、ライトフィールドカメラの撮像光学系に入射した光線のライトフィールドデータＬｍ、すなわち歪み補正が行われたライトフィールドデータを生成できる。
Ｌｍ＝Ｗ−１×Ｌａ’    ・・・（４）
【００４１】
なお、「Ｗ−１」は、レンズ種別やフォーカス位置，ズーム位置等に応じた歪みを補正できることから補正変換マトリクスと呼ぶ。
【００４２】
画像処理装置２０は、光学特性情報に対応する補正変換マトリクスを用いて式（４）に示す補正マトリクス演算を行うことで、ライトフィールドデータＬａ’の生成時にライトフィールドカメラの撮像光学系に入射したライトフィールドデータを生成する。
【００４３】
また、ライトフィールドデータＬｍの算出では、「Ｗ」の逆行列を用いて演算を行っているが、逆行列の算出が困難な場合、擬似的に逆行列を算出して、ライトフィールドデータＬｍの算出に用いてもよい。擬似的に逆行列を算出する手法としては、例えばＥＭ法やＭＡＰ（Maximum a posteriori）法等の推定方法を用いれば、擬似的な逆行列を算出することができる。
【００４４】
さらに、二次元のグリッドのサイズを小さくして「Ｗ」の逆行列を用いるようにすれば、空間解像度を高めることができる。また、上述の例では１つのマイクロレンズに対して３×３画素が配置されている場合について説明したが、１つのマイクロレンズに対する画素数を増やすことで角度分解能を高めることもできる。
【００４５】
このように第１の実施の形態によれば、ライトフィールドカメラで用いられている撮像光学系の光学特性情報に応じた補正変換マトリクスを用いてマトリクス演算が行われる。したがって、ライトフィールドカメラに入力されたライトフィールドデータを再現できるようになる。
【００４６】
＜３．第２の実施の形態＞
次に、第２の実施の形態では、再現したライトフィールドデータを利用して、所望の撮像光学系を用いて撮像された撮像画像の画像データの生成について説明する。
【００４７】
［３−１．第２の実施の形態の構成］
図８は、第２の実施の形態の構成を例示している。なお、第１の実施の形態の画像処理装置２０と対応する部分については同一符号化を付している。
【００４８】
第２の実施の形態の画像処理装置３０は、補正変換マトリクス記憶部２１、補正変換マトリクス選択部２２、データ変換部２３、再構成変換マトリクス記憶部３１、再構成変換マトリクス選択部３２、画像合成部３３を有している。なお、画像処理装置３０では、補正変換マトリクス記憶部２１と再構成変換マトリクス記憶部３１が情報記憶部、補正変換マトリクス選択部２２と再構成変換マトリクス選択部３２が情報選択部、データ変換部２３と画像合成部３３が演算処理部に相当する。
【００４９】
補正変換マトリクス記憶部２１は、光学特性情報毎に補正演算情報である補正変換マトリクスを記憶している。光学特性情報は、例えばレンズの種別、レンズのフォーカス位置やズーム位置等を示す情報である。補正変換マトリクス記憶部３１は、例えばレンズの種別、レンズのフォーカス位置やズーム位置等を示す光学特性情報毎に、この光学特性情報で示される撮像光学系で生じる歪みの補正を行うための補正変換マトリクスを予め記憶しておく。
【００５０】
補正変換マトリクス選択部２２は、光学特性情報を取得する。補正変換マトリクス選択部２２は、ライトフィールドカメラで用いられている撮像光学系の光学特性情報を取得する。補正変換マトリクス選択部２２は、取得した光学特性情報に基づき、補正変換マトリクス記憶部２１から対応する補正変換マトリクスを選択して読み出し、データ変換部２３に出力する。
【００５１】
データ変換部２３は、選択された補正変換マトリクスとライトフィールドデータを用いてマトリクス演算を行い、ライトフィールドカメラに入力されたライトフィールドデータを再現する。また、データ変換部２３は、再現したライトフィールドデータを画像合成部３３に出力する。
【００５２】
再構成変換マトリクス記憶部３１は、再構成指示情報毎に画像構成演算情報である再構成変換マトリクスを記憶している。再構成指示情報は、どのような撮像光学系を用いた撮像画像の生成を行うか指示する情報であり、例えばレンズの種別、レンズのフォーカス位置やズーム位置等を示す光学特性情報である。再構成変換マトリクス記憶部３１は、例えばレンズの種別毎、レンズのフォーカス位置やズーム位置等を示す光学特性情報毎に、この光学特性情報で示される撮像光学系を用いた撮像画像を生成するための再構成変換マトリクスを予め記憶しておく。
【００５３】
再構成変換マトリクス選択部３２は、再構成指示情報を取得する。再構成変換マトリクス選択部３２は、取得した再構成指示情報に基づき、再構成変換マトリクス記憶部３１から対応する再構成変換マトリクスを選択して読み出し、画像合成部３３に出力する。例えば、再構成変換マトリクス選択部３２は、ユーザ等によって指定されたレンズやフォーカス位置，ズーム位置等に対応した再構成変換マトリクスを選択する。
【００５４】
画像合成部３３は、選択された再構成マトリクスとデータ変換部２３から供給されたライトフィールドデータを用いて再構成マトリクス演算を行い、所望の撮像光学系で撮像された撮像画像に相当する画像の画像データを生成する。
【００５５】
［３−２．第２の実施の形態の動作］
図９は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で画像処理装置３０は、ライトフィールドデータを取得する。画像処理装置３０は、ライトフィールドカメラ１０で生成されたライトフィールドデータを取得してステップＳＴ２２に進む。
【００５６】
ステップＳＴ２２で画像処理装置３０は、光学特性情報を取得する。画像処理装置３０は、ライトフィールドデータを生成したライトフィールドカメラで用いられている撮像光学系の光学特性情報を取得してステップＳＴ２３に進む。
【００５７】
ステップＳＴ２３で画像処理装置３０は、補正変換マトリクスを選択する。画像処理装置３０は、予めメモリ等に記憶されている光学特性情報毎の補正変換マトリクスから、ステップＳＴ２２で取得した光学特性情報に対応する補正変換マトリクスを選択してステップＳＴ３４に進む。
【００５８】
ステップＳＴ２４で画像処理装置３０は、補正マトリクス演算を行う。画像処理装置３０は、ステップＳＴ２３で選択した補正変換マトリクスとライトフィールドデータを用いてマトリクス演算を行い、ライトフィールドカメラに入力されたライトフィールドデータを再現してステップＳＴ２５に進む。
【００５９】
ステップＳＴ２５で画像処理装置３０は、再構成指示情報を取得する。画像処理装置３０は、どのような撮像光学系を用いた撮像画像の生成を行うか指示する再構成指示情報を取得してステップＳＴ２６に進む。
【００６０】
ステップＳＴ２６で画像処理装置３０は、再構成変換マトリクスを選択する。画像処理装置３０は、予めメモリ等に記憶されている再構成指示情報毎の再構成変換マトリクスから、ステップＳＴ２５で取得した再構成指示情報に対応する再構成変換マトリクスを選択してステップＳＴ２７に進む。
【００６１】
ステップＳＴ２７で画像処理装置３０は、再構成マトリクス演算を行う。画像処理装置３０は、ステップＳＴ２６で選択した再構成変換マトリクスとステップＳＴ２４で生成されたライトフィールドデータを用いてマトリクス演算を行う。画像処理装置３０、再構成指示情報に応じた画像データ、例えば所望のレンズを用いて、所望のフォーカス位置やズーム位置で撮像を行うことにより得られる撮像画像に相当した画像の画像データを生成する。
【００６２】
図１０は、第２の実施の形態の動作を例示している。上述の第１の実施の形態によれば、ライトフィールドカメラに入力されたライトフィールドデータＬｍを算出できる。したがって、画像処理装置３０は、ライトフィールドデータＬｍと、ユーザ等によって指定されたレンズやフォーカス位置，ズーム位置等に対応した再構成変換マトリクスＷｂを用いて式（５）の再構成マトリクス演算を行う。なお、「Ｗｂ」は、再構成指示情報に基づく撮像光学系を用いた場合の光線の経路を示す２次元マトリクスである。
【００６３】
このような演算を行うことにより、画像処理装置３０は、ユーザ等によって指定されたレンズやフォーカス位置，ズーム位置等で撮像を行うことにより得られる撮像画像に相当する歪みのない撮像画像の画像データＬｂを生成できる。したがって、ユーザは、レンズの選択やフォーカス位置，ズーム位置等を設定して撮像を行う必要がない。
Ｌｂ＝Ｗｂ×Ｌｍ    ・・・（５）  
【００６４】
このように、第２の実施の形態によれば、所望のレンズを用いて所望のフォーカス位置やズーム位置にレンズを設定して撮像動作を行わなくとも、この撮像動作で得られる撮像画像に相当する歪みのない撮像画像の画像データを生成できる。
【００６５】
また、上述の第２の実施の形態では、補正マトリクス演算を行いライトフィールドカメラに入力されたライトフィールドデータＬｍを算出したのち、再構成マトリクス演算を行うことで、所望の撮像光学系を用いた撮像画像の画像データを生成した。しかし、補正マトリクス演算と再構成マトリクス演算に用いる変換マトリクス（演算情報）を統合すれば、ライトフィールドカメラに入力されたライトフィールドデータを再現することなく、所望の撮像光学系を用いた撮像画像の画像データを生成できる。
【００６６】
この場合、例えば画像処理装置２０の補正変換マトリクス記憶部２１に替えて、統合後の変換マトリクスを記憶したマトリクス記憶部を設ける。また、補正変換マトリクス選択部２２に代えて、ライトフィールドカメラで用いられている撮像光学系の光学特性情報および所望の撮像光学系の光学特性情報に対応した変換マトリクスを選択するマトリクス選択部を設ければよい。
【００６７】
＜４．第３の実施の形態＞
上述の第１および第２の実施の形態では、ライトフィールドカメラに入力されたライトフィールドデータを再現する場合について説明した。しかし、画像処理装置ではライトフィールドカメラに入力されたライトフィールドデータを再現する場合に限らず、ライトフィールドカメラで用いられている撮像光学系で生じた歪みを補正した撮像画像を生成するようにしてもよい。
【００６８】
次に、第３の実施の形態ではライトフィールドカメラに入力されたライトフィールドデータに基づき歪み補正、例えば像面湾曲を補正する場合について説明する。像面湾曲の補正では、図１１に示すように、像面湾曲を生じない仮想湾曲画像センサ１５上に画像を合成することで、像面湾曲の補正を行う。
【００６９】
［４−１．第３の実施の形態の構成］
図１２は、第３の実施の形態の構成を例示している。第３の実施の形態の画像処理装置４０は、像面湾曲データ記憶部４１、像面湾曲データ選択部４２、光線位置計算部４３、画像合成部４４を有している。なお、画像処理装置４０では、像面湾曲データ記憶部４１が情報記憶部、像面湾曲データ選択部４２が情報選択部、光線位置計算部４３と画像合成部４４が演算処理部に相当する。
【００７０】
像面湾曲データ記憶部４１は、光学特性情報毎に補正演算情報である像面湾曲データを記憶している。光学特性情報は、例えば撮像光学系１１のレンズの種別、レンズのフォーカス位置やズーム位置等を示す情報である。像面湾曲データ記憶部４１は、光学特性情報毎に、この光学特性情報で示される撮像光学系で生じる像面湾曲を示す像面湾曲データを予め記憶する。
【００７１】
像面湾曲データ選択部４２は、光学特性情報を取得する。像面湾曲データ選択部４２は、取得した光学特性情報に対応する像面湾曲データを像面湾曲データ記憶部４１から選択して、選択した像面湾曲データを光線位置計算部４３に出力する。
【００７２】
光線位置計算部４３は、選択された像面湾曲データに基づき、仮想湾曲画像センサ１５の画素を通過する光線が、ライトフィールドデータの生成に用いた画像センサ１２の何れの画素位置となるか計算する。光線位置計算部４３は、光線位置算出結果を画像合成部４４に出力する。
【００７３】
画像合成部４４は、光線位置算出結果に基づき、仮想湾曲画像センサ１５の画素毎に、画素を通過する光線が入射された画像センサ１２の画素の画素データを用いて合成を行う。このようにして、画像合成部４４は、仮想湾曲画像センサ１５の各画素のデータを生成して出力する。すなわち、画像合成部４４から出力された画像データは、像面湾曲の補正された画像データとなる。
【００７４】
［４−２．第３の実施の形態の動作］
図１３は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で画像処理装置４０は、ライトフィールドデータを取得する。画像処理装置４０は、ライトフィールドカメラ１０で生成されたライトフィールドデータを取得してステップＳＴ３２に進む。
【００７５】
ステップＳＴ３２で画像処理装置４０は、光学特性情報を取得する。画像処理装置４０は、ライトフィールドデータを生成した撮像装置等から光学特性情報を取得してステップＳＴ３３に進む。
【００７６】
ステップＳＴ３３で画像処理装置４０は、像面湾曲データを選択する。画像処理装置４０は、予めメモリ等に記憶されている光学特性情報毎の像面湾曲データから、ステップＳＴ３２で取得した光学特性情報に対応する像面湾曲データを選択してステップＳＴ３４に進む。
【００７７】
ステップＳＴ３４で画像処理装置４０は、光線位置の計算を行う。画像処理装置４０は、ステップＳＴ３３で選択した像面湾曲データに基づき、仮想湾曲画像センサの画素を通過する光線が、ライトフィールドデータの生成に用いた画像センサの何れの画素位置となるか計算してステップＳＴ３５に進む。
【００７８】
ステップＳＴ３５で画像処理装置４０は、画像合成を行う。画像処理装置４０は、光線位置算出結果に基づき、仮想湾曲画像センサの画素毎に、画素を通過する光線が入射された画像センサの画素の画素データを用いて合成を行う。
【００７９】
図１４は、第３の実施の形態の動作を説明するための図である。画像処理装置４０は、図１４の（Ａ）に示すように、マイクロレンズアレイ１３を設けたライトフィールドカメラで生成されたライトフィールドデータを取得する。
【００８０】
次に、画像処理装置４０は、レンズの種別やフォーカス位置、ズーム位置等に基づき、像面湾曲を発生しない理想的な仮想湾曲画像センサ１５を決定する。なお、図１４の（Ｂ）では、仮想湾曲画像センサ１５を例示している。
【００８１】
仮想湾曲画像センサの湾曲率は、例えばペッツバール和を満たすように、式（６）に基づいて設定する。なお、式（６）において、「ｎi」「ｆi」はレンズ群の焦点距離とその屈折率を示している。また、「ρ」は、像の湾曲曲率を示しており湾曲曲率が無限大である場合、像は平面となる。
【００８２】
【数２】
2013186640.tif 000004
【００８３】
次に、画像処理装置４０は、仮想湾曲画像センサの各画素について、画素を通過する光線が、ライトフィールドデータの生成に用いた画像センサの何れの画素位置となるか計算する。例えば図１４の（Ｃ）では、仮想湾曲画像センサ１５の画素Ｑを通過する光線が、画像センサの画素Ｐ0，Ｐ1，Ｐ2，Ｐ3に入射する場合を例示している。
【００８４】
画像処理装置４０は、光線位置算出結果に基づき、仮想湾曲画像センサの画素毎に、画素を通過する光線が入射された画像センサの画素で生成された画素データを用いて合成を行う。例えば画素Ｑを通過する光線が入射される画像センサの画素は、図１４の（Ｃ）に示すように画素Ｐ0，Ｐ1，Ｐ2，Ｐ3とする。この場合、画像処理装置４０は、図１４の（Ｄ）に示すように画像センサの画素Ｐ0，Ｐ1，Ｐ2，Ｐ3で生成された画素データＳ0，Ｓ1，Ｓ2，Ｓ3を用いて式（７）の演算を行い、画素Ｑの画素データを生成する。
Ｑ＝Ｓ0＋Ｓ1＋Ｓ2＋Ｓ3        ・・・（７）
【００８５】
このように、画像処理装置４０は、像面湾曲を生じない仮想湾曲画像センサの各画素について、画素を通過する光線が、ライトフィールドデータの生成に用いた画像センサの何れの画素となるか計算する。さらに、画素位置の算出結果に基づき、仮想湾曲画像センサの各画素の画素データを合成する。
【００８６】
このように第３の実施の形態によれば、所望の撮像光学系を用いた画像、すなわちライトフィールドデータ生成時に用いられている撮像光学系で生じた歪みの補正されている撮像画像を生成できる。
【００８７】
なお、上述の実施の形態では、歪みの補正として像面湾曲の補正について説明したが、コマ収差やボケ等の補正についても同様にして補正できる。例えばコマ収差については、入射光の角度に応じて焦点が合う画素位置を算出して、ライトフィールドデータの合成を行えばよい。また、ボケの補正では、ボケの生じないセンサ面の各画素を通過する光線が、ライトフィールドデータの生成に用いた画像センサの何れの画素位置となるか計算して、計算結果に基づきライトフィールドデータの合成を行えばよい。
【００８８】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８９】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００９０】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９１】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【００９２】
また、本技術の画像処理装置は、以下のような構成も取ることができる。
（１）  撮像光学系の光学特性情報毎に、該光学特性情報に応じた演算情報を記憶する情報記憶部と、
撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成時における前記撮像光学系の光学特性情報に応じた前記情報記憶部に記憶されている演算情報と、前記光線情報とを用いて演算処理を行い、撮像画像の画像データを生成する演算処理部と
を備える画像処理装置。
（２）  前記情報記憶部から前記演算情報を選択する情報選択部をさらに備え、
前記情報選択部は、前記光線情報の生成時における前記撮像光学系の光学特性情報に応じた演算情報と、所望の撮像光学系の光学特性情報に応じた演算情報を選択し、
前記演算処理部は、前記光線情報の生成時における前記撮像光学系の光学特性情報に応じて選択された演算情報と前記光線情報を用いて、該光線情報の生成時に前記撮像光学系に入射した光線の光線情報を算出して、該算出した光線情報と前記所望の撮像光学系の光学特性情報に応じて選択された演算情報を用いて演算処理を行い、前記所望の撮像光学系を用いた撮像画像の画像データを生成する（１）に記載の画像処理装置。
（３）  前記情報記憶部は、前記演算情報として前記光学特性情報で示される撮像光学系における光線経路を示す画像構成演算情報を記憶する（２）に記載の画像処理装置。
（４）  前記情報記憶部は、前記演算情報として前記光学特性情報で示される撮像光学系で生じる歪みの補正を行うための補正演算情報を記憶する（２）または（３）の何れかに記載の画像処理装置。
（５）  前記情報選択部は、前記光線情報の生成に用いた撮像光学系の光学特性情報に応じて前記補正演算情報を選択し、
前記演算処理部は、前記選択した補正演算情報と前記光線情報を用いて前記撮像光学系に入射する前の光線情報の算出を行う（４）に記載の画像処理装置。
（６）  前記補正演算情報は、前記撮像光学系を介して入射する光線の経路を示す行列の逆行列である（４）または（５）に記載の画像処理装置。
（７）  前記演算情報は、歪みを生じない仮想センサ面を示す情報である（１）に記載の画像処理装置。
（８）  前記演算処理部は、前記仮想センサ面を通過する光線について、前記光線情報を生成する画像センサ上の位置を計算して、計算された位置のデータを用いて画像合成を行うことにより、前記仮想センサ面で取得される撮像画像の画像データを生成する（７）に記載の画像処理装置。
【産業上の利用可能性】
【００９３】
この技術の画像処理装置と画像処理方法およびプログラムでは、撮像光学系を介して入射する光線の経路情報と光量情報とを含む光線情報の生成時における撮像光学系の光学特性情報に応じた演算情報と、光線情報とを用いて演算処理を行うことにより、撮像画像の画像データが生成される。このため、光線情報を用いた信号処理によって、所望の撮像光学系を用いた撮像画像を生成できる。したがって、デジタルスチルカメラやビデオカメラ等の撮像装置、および光線情報を用いて画像処理を行うコンピュータ装置や編集装置等に適している。
【符号の説明】
【００９４】
１０・・・ライトフィールドカメラ、１１，１４・・・撮像光学系、１２・・・画像センサ、１３・・・マイクロレンズアレイ、１５・・・仮想湾曲画像センサ、２０，３０，４０・・・画像処理装置、２１・・・補正変換マトリクス記憶部、２２・・・補正変換マトリクス選択部、２３・・・データ変換部、３１・・・再構成変換マトリクス記憶部、３２・・・再構成変換マトリクス選択部、３３，４４・・・画像合成部、４１・・・像面湾曲データ記憶部、４２・・・像面湾曲データ選択部、４３・・・光線位置計算部、
【図１】
2013186640.tif 000005
【図２】
2013186640.tif 000006
【図３】
2013186640.tif 000007
【図４】
2013186640.tif 000008
【図５】
2013186640.tif 000009
【図６】
2013186640.tif 000010
【図７】
2013186640.tif 000011
【図８】
2013186640.tif 000012
【図９】
2013186640.tif 000013
【図１０】
2013186640.tif 000014
【図１１】
2013186640.tif 000015
【図１２】
2013186640.tif 000016
【図１３】
2013186640.tif 000017
【図１４】
2013186640.tif 000018