(57)【要約】【課題】ライトフィールドデータを取得する際に使用するレンズが未知のレンズである場合でも、取得されたライトフィールドデータに対して色収差の補正を適切に行うことができる。【解決手段】ライトフィールドデータを取得する取得手段と、波長が異なる複数のチャネルごとにライトフィールドデータを分離する分離手段と、分離して得られた複数のライトフィールドデータ間の対応関係から、各ライトフィールドデータに記録された光線の位置と角度とを互いに一致させるための調整パラメータを導出する導出手段と、導出手段が導出した調整パラメータに基づき、複数のライトフィールドデータのうち少なくとも１つのライトフィールドデータに記録された光線の位置と角度とを調整する調整手段と、を備える。【選択図】図１３
2017188729.tif 000002
【特許請求の範囲】
【請求項１】
ライトフィールドデータを取得する取得手段と、
波長が異なる複数のチャネルごとに前記ライトフィールドデータを分離する分離手段と、
分離して得られた前記複数のライトフィールドデータ間の対応関係から、各ライトフィールドデータに記録された光線の位置と角度とを互いに一致させるための調整パラメータを導出する導出手段と、
前記導出手段が導出した前記調整パラメータに基づき、前記複数のライトフィールドデータのうち少なくとも１つのライトフィールドデータに記録された光線の位置と角度とを調整する調整手段と、を備える
ことを特徴とする情報処理装置。
【請求項２】
前記調整手段は、
前記複数のライトフィールドデータのうち、一のライトフィールドデータを基準とし、他のライトフィールドデータに記録された光線の位置と角度とを前記調整パラメータに基づき調整する
請求項１に記載の情報処理装置。
【請求項３】
前記導出手段は、
基準となる前記一のライトフィールドデータから生成される画像データから、特徴点を検出し、当該特徴点に対応する被写体上の点から発せられた、光線群が成す線形部分空間をさらに検出する検出手段と、
前記検出手段が検出した線形部分空間に対応する線形部分空間を、前記他のライトフィールドデータから生成される画像データから探索する対応探索手段と、
前記検出手段が検出した線形部分空間と前記対応探索手段が探索した線形部分空間との対応関係から前記調整パラメータを導出する調整パラメータ導出手段と、を有する
請求項２に記載の情報処理装置。
【請求項４】
前記検出手段は、基準となる前記一のライトフィールドデータから生成される画像データから複数の特徴点を検出し、当該複数の特徴点のそれぞれについて、当該特徴点に対応する線形部分空間をさらに検出し、
前記対応探索手段は、前記検出手段が検出した複数の線形部分空間のそれぞれについて、当該線形部分空間に対応する線形部分空間を、前記他のライトフィールドデータから生成される画像データから探索し、
前記調整パラメータ導出手段は、前記検出手段が検出した複数の線形部分空間のそれぞれについて得られる、前記対応探索手段により探索された線形部分空間との対応関係に基づき、前記調整パラメータを導出する
請求項３に記載の情報処理装置。
【請求項５】
前記調整パラメータ導出手段は、前記検出手段が検出した複数の線形部分空間のそれぞれについて得られる前記対応関係から、最小二乗法を用いて前記調整パラメータを導出する
請求項４に記載の情報処理装置。
【請求項６】
前記導出手段は、
前記ライトフィールドデータから生成される画像データから特徴点を検出する検出手段と、
基準となる前記一のライトフィールドデータから生成される画像データから検出された特徴点と、前記他のライトフィールドデータから生成される画像データから検出された特徴点との対応関係から、前記調整パラメータを導出する調整パラメータ導出手段と、を有する
請求項２に記載の情報処理装置。
【請求項７】
前記導出手段は、対応探索手段をさらに有し、
前記検出手段は、基準となる前記一のライトフィールドデータから生成される画像データから複数の特徴点を検出し、
前記対応探索手段は、基準となる前記一のライトフィールドデータから生成される画像データから検出された複数の特徴点のそれぞれについて、当該特徴点に対応する特徴点を、前記他のライトフィールドデータから生成される画像データから探索し、
前記調整パラメータ導出手段は、前記検出手段が検出した複数の特徴点のそれぞれについて得られる、前記対応探索手段により探索された特徴点との対応関係に基づき、前記調整パラメータを導出する
請求項６に記載の情報処理装置。
【請求項８】
前記調整パラメータ導出手段は、前記検出手段が検出した複数の特徴点のそれぞれについて得られる前記対応関係から、最小二乗法を用いて前記調整パラメータを導出する
請求項７に記載の情報処理装置。
【請求項９】
前記調整手段による前記調整が、前記調整パラメータを用いた２次元線形変換により行われる
請求項１から請求項８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記調整手段による前記調整が、前記調整パラメータを用いた４次元アフィン変換により行われる
請求項１から請求項８のいずれか１項に記載の情報処理装置。
【請求項１１】
前記取得手段が、複数のマイクロレンズを含むマイクロレンズアレイを有する、プレノプティックカメラで撮像して得られたライトフィールドデータを取得し、
前記ライトフィールドデータには、画素位置ごとに、当該画素位置から特定される、光線が通過したマイクロレンズの位置と当該光線が当該マイクロレンズに入射した角度と、が少なくとも記録される
請求項１から請求項９のうちのいずれか１項に記載の情報処理装置。
【請求項１２】
ライトフィールドデータを取得する取得手段と、
波長が異なる複数のチャネルごとに前記ライトフィールドデータを分離する分離手段と、
分離して得られた前記複数のライトフィールドデータ間の対応関係から、各ライトフィールドデータに記録された光線の位置と角度とを互いに一致させるための調整パラメータを導出する導出手段と、を備える
ことを特徴とする情報処理装置。
【請求項１３】
ライトフィールドデータを取得する取得ステップと、
波長が異なる複数のチャネルごとに前記ライトフィールドデータを分離する分離ステップと、
分離して得られた前記複数のライトフィールドデータ間の対応関係から、各ライトフィールドデータに記録された光線の位置と角度とを互いに一致させるための調整パラメータを導出する導出ステップと、
前記導出ステップにおいて導出された前記調整パラメータに基づき、前記複数のライトフィールドデータのうち少なくとも１つのライトフィールドデータに記録された光線の位置と角度とを調整する調整ステップと、を含む
ことを特徴とする情報処理方法。
【請求項１４】
ライトフィールドデータを取得する取得ステップと、
波長が異なる複数のチャネルごとに前記ライトフィールドデータを分離する分離ステップと、
分離して得られた前記複数のライトフィールドデータ間の対応関係から、各ライトフィールドデータに記録された光線の位置と角度とを互いに一致させるための調整パラメータを導出する導出ステップと、を含む
ことを特徴とする情報処理方法。
【請求項１５】
コンピュータを請求項１から請求項１２のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライトフィールドデータの色収差の補正に関する。
【背景技術】
【０００２】
近年、光学系に新たな光学素子を追加することで、光線の角度と強度の情報（ライトフィールドデータ）を取得し、後で画像処理によってピント位置を調節すること（リフォーカス）が可能なコンピュテーショナルフォトグラフィという技術が発展している。
【０００３】
この技術を用いれば、撮像後にピント調整を行えるため、撮像時のピント調整の失敗を画像処理で補うことができるという利点がある。さらに、画像処理の方法を変えることで画像中の任意の被写体にピントを合わせた複数の画像を一枚の撮像画像から得る事ができ、撮像回数を減らす事ができるという利点もある。
【０００４】
ライトフィールドデータを取得する装置としては、光学系と撮像素子とによって構成されたデジタルカメラの撮像素子近傍に、マイクロレンズアレイを配置したプレノプティックカメラなどがある。通常のデジタルカメラにおいてはレンズの色収差による画質の劣化が問題となるが、プレノプティックカメラにおいても同様である。プレノプティクカメラにおいて色収差を低減する方法としては、事前に求めた収差の特性に基づき画像生成時に補正を行う方法が開示されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００８−５１５１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示されている方法は、ライトフィールドデータを取得する際に使用する、レンズの設計情報や計測結果に基づき、事前に収差の特性を求める必要がある。そのため、プレノプティックカメラなど、ライトフィールドデータを取得する撮像装置においてレンズ交換などにより未知のレンズを使用することとなった場合には、特許文献１に開示されている方法では、色収差の補正を適切に行うことができない。
【課題を解決するための手段】
【０００７】
本発明による情報処理装置は、ライトフィールドデータを取得する取得手段と、波長が異なる複数のチャネルごとにライトフィールドデータを分離する分離手段と、分離して得られた複数のライトフィールドデータ間の対応関係から、各ライトフィールドデータに記録された光線の位置と角度とを互いに一致させるための調整パラメータを導出する導出手段と、導出手段が導出した調整パラメータに基づき、複数のライトフィールドデータのうち少なくとも１つのライトフィールドデータに記録された光線の位置と角度とを調整する調整手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ライトフィールドデータを取得する際に使用するレンズが未知のレンズである場合でも、取得されたライトフィールドデータに対して色収差の補正を適切に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の撮像装置の構成の一例を示すブロック図である。
【図２】撮像部の構成の一例を示す図である。
【図３】第１の実施形態における光学系の一例を模式的に示す図である。
【図４】ライトフィールドデータの表現方法を説明するための図である。
【図５】空間中の光線の伝播とレンズによる屈折とを説明するための図である。
【図６】光学系を通って伝播する光線のライトフィールドの一例を示す図である。
【図７】被写体と光学系の一例を示す図である。
【図８】光線の伝播に従ってライトフィールドデータが変化する様子を模式的に示す図である。
【図９】色収差を説明するための図である。
【図１０】ライトフィールドにおける色収差によるずれを説明するための図である。
【図１１】第１の実施形態の撮像装置のソフトウェア構成の一例を示すブロック図である。
【図１２】ライトフィールドデータ上の平面が検出される過程を示す図である。
【図１３】第１の実施形態の撮像装置の処理の流れの一例を示すフローチャートである。
【図１４】第２の実施形態の撮像装置のソフトウェア構成の一例を表すブロック図である。
【図１５】第２の実施形態の撮像装置の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
［実施形態１］
＜撮像装置の全体構成＞
図１は、第１の実施形態の情報処理装置（以下、撮像装置ともいう）の構成の一例を示すブロック図である。  
本実施形態の撮像装置は、図１に示すように、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、操作部１０４、表示制御部１０５、メディアインターフェス（以下、メディアＩ／Ｆ）１０７、キャラクタジェネレーション１０９、エンコーダ部１１１、デジタル信号処理部１１２、および撮像部１１３を備える。なお、撮像部１１３は、撮像装置の外部に設置されていてもよい。
【００１１】
撮像部１１３は、例えばプレノプティックカメラであり、光学系と撮像素子により、ライトフィールドデータを取得する。撮像部１１３の詳細は後述する。
【００１２】
ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０２とＲＡＭ１０３は、処理を実行するために必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。
【００１３】
バス１１０は、各構成要素が互いにデータや処理の指示をやり取りするための経路として機能する。
【００１４】
操作部１０４は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。
【００１５】
キャラクタジェネレーション１０９は、文字データやグラフィックデータなどを生成する。
【００１６】
表示部１０６は、例えば液晶ディスプレイであり、キャラクタジェネレーション１０９や表示制御部１０５から受け取った撮像画像データや文字データの表示を行う。また、表示部１０６は、タッチスクリーン機能を有していても良い。その場合は、表示部１０６を介して入力されたユーザ指示を操作部１０４が受け取ることも可能である。
【００１７】
デジタル信号処理部１１２は、撮像部１１３により取得された画像データの輝度値の調整や欠陥画素の補間などを行う。これらの処理は後述する画像処理（図１２に示すフロー）の前に行われる。
【００１８】
エンコーダ部１１１は、上記画像処理における色収差補正処理の結果、生成されたライトフィールドデータのエンコード処理を行う。
【００１９】
メディアＩ／Ｆ１０７は、メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）１０８とバス１１０とをつなぐためのインターフェースである。メディアＩ／Ｆ１０７を介してエンコーダ部１１１でエンコードされたライトフィールドデータの出力が行われる。なお、メディアＩ／Ｆ１０７には、メディア１０８の他に、ＰＣ（パーソナルコンピュータ）などが接続されても良い。
【００２０】
なお、装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【００２１】
＜撮像部の構成＞
図２は、撮像部１１３の構成の一例を示す図である。図２を用いて撮像部１１３の構成を説明する。
【００２２】
レンズ２０１及びレンズ２０２は結像光学系を構成する。被写体から発せられた光線は該結像光学系により、絞り２０３、シャッタ２０４を通過した後に、複数のマイクロレンズを含むマイクロレンズアレイ２０５（以下、単にマイクロレンズ２０５と記す）に結像される。さらにマイクロレンズ２０５で屈折された光線は、ＩＲカットフィルタ２０６、ローパスフィルタ２０７、カラーフィルタ２０８を通過した後に撮像素子２０９に到達する。本実施形態ではカラーフィルタとしてＲＧＢの三色を用いてカラー画像を取得する。
【００２３】
撮像素子２０９とＡ／Ｄ変換部２１０は、ＣＭＯＳイメージセンサなどのイメージセンサに相当する。撮像素子２０９は２次元の格子状に配列され、入射した光線を電気信号に変換する。Ａ／Ｄ変換部２１０は電気信号に変換された光線の情報をデジタル信号に変換する。
【００２４】
制御部２１２は、バス１１０を介して入力されるＣＰＵ１０１の指示に従い、撮像素子２０９とシャッタ２０４を制御して撮像を実施する。また制御部２１２は、レンズ２０１及びレンズ２０２を制御して、ピント位置と焦点距離をユーザが指定した状態へと変更する。また制御部２１２は、絞り２０３を制御して開口を、ユーザが指定した状態へと変更する。
【００２５】
デジタル信号に変換された像の情報はバッファ２１１内に格納され、ライトフィールドデータとなる。ライトフィールドデータはバス１１０を介して、ＣＰＵ１０１に送られる。
【００２６】
図３は、第１の実施形態における光学系の一例を模式的に示す図である。図３（ａ）に示すように、光学系は主レンズ３００として、レンズ２０１及びレンズ２０２に相当する１つ以上のレンズで構成された厚肉凸レンズを有し、さらに、その焦点上にマイクロレンズアレイ３０１（以下、単にマイクロレンズ３０１と記す）を有する。マイクロレンズ３０１の焦点上には、図３（ｂ）に示すように、撮像素子３０２が設置されている。撮像素子３０２の画素位置から特定される、入射した光線が通過したマイクロレンズの位置と、マイクロレンズに入射した角度とにより、ライトフィールドデータが得られる。なお、主レンズ３００の焦点上にマイクロレンズ３０１を設置するのは、主レンズ３００のピントを無限遠方に合わせる場合である。ピント調整によってマイクロレンズ３０１及び撮像素子３０２と主レンズ３００との相対位置を変化させても構わない。
【００２７】
なお、ここで示した撮像部の構成は、説明のために単純化した例であり、色収差を有する光学系を通して、複数の波長の光に対するライトフィールドを取得する機能を有すればどのような構成でもかまわない。
【００２８】
＜ライトフィールドの表現方法＞
本実施形態の説明に用いるライトフィールドの表現方法について述べる。図４は、ライトフィールドの表現方法を説明するための図である。なお、本実施形態では近軸近似を前提として議論を進める。本実施形態では図４（ａ）に示すように、光学系の光軸がｚ方向にあるものとする。そして、ｚ座標が一定の値である面を通過する光線を、その通過点の位置（ｘ，ｙ）と光線の傾き（ｕ，ｖ）を用いた４次元座標で表現する。なお、ｕは光線のｘ方向の傾きを表し、ｖは光線のｙ方向の傾きを表す。図４（ｂ）には、実空間のｘｚ平面上に３つの光線Ａ、Ｂ、Ｃが示されている。図４（ｂ）に示すように、光線の傾きはｕ＝Δｘ／Δｚで表される。図４（ｃ）は、光線Ａ、Ｂ、Ｃをライトフィールド空間のｘｕ平面上（ｚ＝０）に示した図である。ＡとＢは傾きが同じであるため、ｕ座標が等しくなる。一方、ＢとＣはｚ＝０平面の通過位置が同じであるため、ｘ座標が等しくなる。
【００２９】
次に、光線が空間中の伝播とレンズによる屈折とによって、ライトフィールド空間においてどのように変化するかを説明する。ここでは便宜上ライトフィールドを位置ｘと傾きｕの２次元で考える。図５は、空間中の光線の伝播とレンズによる屈折とを説明するための図である。図５（ａ）は実空間中を伝播する光線をｘｚ平面上に示した図である。ここで、ｚ＝ｚ0における光線のライトフィールド座標を（ｘ0，ｕ0）とし、ｚ＝ｚ1における光線のライトフィールド座標を（ｘ1，ｕ1）とする。光線は直進することから、ｚ＝ｚ0とｚ＝ｚ1におけるライトフィールド座標の関係は式１のようになる。
【００３０】
【数１】
2017188729.tif 000003
【００３１】
また、図５（ｂ）はレンズにより屈折する光線をｘｚ平面上に示した図である。ここで、ｚ＝ｚ0における屈折前の光線のライトフィールド座標を（ｘ0，ｕ0）とし、屈折後の光線のライトフィールド座標を（ｘ1，ｕ1）とする。光学系の性質から焦点距離ｆを用いて、屈折前と屈折後のライトフィールド座標の関係は式２で示される。
【００３２】
【数２】
2017188729.tif 000004
【００３３】
なお、以上の関係は光線の位置ｙと傾きｖについても同様に成り立つ。
【００３４】
＜伝播する光線のライトフィールドの例＞
光学系を通って伝播する光線のライトフィールドの一例を、図６に示す。図６（ａ）は光線を実空間のｘｚ平面上に示した図である。ｘ＝０の直線上に光軸があり、ｚ＝０の位置にレンズが置かれている。図６（ａ）では、光線Ａ、Ｂ、Ｃ、Ｄがｚ＝−３、ｘ＝±１の位置から射出されている。図６（ｂ）には、光線Ａ、Ｂ、Ｃ、Ｄが、ｚ＝−３からｚ＝０に伝播し、屈折した後に、ｚ＝３に到達するときの、各光線のライトフィールド座標が示されている。ｚ＝−３における各光線のライトフィールド座標は、それぞれ（１，１），（１，−１），（−１，１），（−１，−１）である。各光線はレンズにより屈折された後に、ｚ＝３、ｘ＝±１の位置に到達する。空間中の伝播と屈折はそれぞれ式１や式２で表させるような、ライトフィールド座標上でのせん断となることがわかる。
【００３５】
図７は、被写体と光学系の一例を示す図である。ｚ＝ｚ0，ｚ1，ｚ2に置かれた被写体７０１，７０２，７０３から発せられた光線が、ｚ＝ｚ3に置かれたレンズ７０４を通り、ｚ＝ｚ4に置かれたマイクロレンズアレイ７０５（以下、単にマイクロレンズ７０５と記す）に達する。そして、各被写体から発せられた光線が、撮像素子７０６によりライトフィールドデータとして記録される。図８は、図７に示す例において光線の伝播に従ってライトフィールドが変化する様子を模式的に示す図である。まず、ｚ＝ｚ0では被写体７０１の色を反映して、ライトフィールドは全面が黒である。なお、図８の左上、中央上、右上、左下および中央下の図には、ｚ＝ｚ0〜ｚ3のそれぞれの位置において仮に記録できたとした場合におけるライトフィールドデータが示されている。ｚ＝ｚ1では被写体７０２から発せられた光線がライトフィールドに加わる。この時、被写体７０１から発せられた光線のうち、被写体７０２に重なる部分はオクルージョンにより遮蔽される。ｚ＝ｚ0では、伝播により被写体７０１，７０２から発せられた光線のライトフィールドは式１に示すようなせん断変換を受け、その上に被写体７０３から発せられた光線のライトフィールドが重畳される。ｚ＝ｚ3では、伝播により全ての被写体から発せられた光線のライトフィールドがさらなるせん断変換を受ける。ｚ＝ｚ3で屈折が起こると、ライトフィールドは式２に示すようなせん断変換を受ける。ｚ＝ｚ3からｚ＝ｚ4までの伝播で、再度、ライトフィールドは式１のようなせん断変換を受ける。その結果、図８の右下の図に示すようなライトフィールドがマイクロレンズ７０５と撮像素子７０６とによって記録される。なお、図８の右下の図には、ｚ＝ｚ2に焦点を合わせた状態で記録されたライトフィールドが示されている。
【００３６】
＜ライトフィールドにおける色収差＞
ガラスのように屈折率に分散を有する物質で光学系を構成すると、光の波長すなわち色によって光学系の特性が変化する。この現象により図９に示すように、焦点距離や主平面の位置が波長毎に変化することになる。図９は、色収差を説明するための図である。図９では被写体から発せられて空間を伝播する光線Ｌが、分散を有する光学系９０２により屈折された結果、緑の光線ＬGと青の光線ＬBとに分離されている。そして、緑の光線ＬGと青の光線ＬBとは互いにずれている。ここで、平面９０３はＬBの波長に対する物体側主平面である。平面９０４はＬGの波長に対する物体側主平面である。また、平面９０５はＬBの波長に対する像側主平面である。平面９０６は、ＬGの波長に対する像側主平面である。ＬGとＬBとがずれるように、光学系の波長分散により結像する位置がずれることを色収差と呼ぶ。図１０は、ライトフィールドにおける色収差によるずれを説明するための図である。図１０（ａ）には、マイクロレンズ９０７と撮像素子９０８とによって記録される、ＬGのライトフィールドデータが示されている。図１０（ｂ）には、マイクロレンズ９０７と撮像素子９０８とによって記録される、ＬBのライトフィールドデータが示されている。図１０に示すように、ＬGとＬBとは互いにずれている。本実施形態における撮像装置は、このような色収差によるずれが無くなるように、ライトフィールドデータを補正する。例えば、撮像装置は、図１０に示す例において、ＬGとＬBとが重なるように、ＬGとＬBの少なくとも一方のライトフィールドデータを調整する。本実施形態では、ＬGを基準としてＬBのライトフィールドデータを調整する。このような調整は、マイクロレンズ９０７に到達したＬBをＬBの波長に対する特性で物体側空間上の面９０１まで戻し、再びＬBをＬGの波長に対する特性でマイクロレンズ９０７に伝播させることに等しい。したがって、このような調整は、式１，式２による変換とその逆変換とを組み合わせることで行うことができる。よって、ＬGの波長のライトフィールドデータ上の点の座標を（ｘG，ｕG）とし、ＬBの波長のライトフィールドデータ上の点の座標を（ｘB，ｕB）とするならば、その間の対応関係は式３に示すような線形変換で表すことができる。
【００３７】
【数３】
2017188729.tif 000005
【００３８】
また、（ｘ，ｖ）に対して垂直方向の光線の、位置ｙと傾きｖについても同様の関係が成り立つ。そのため、ＬGの波長のライトフィールドデータ上の点の座標を（ｙG，ｖG）とし、ＬBの波長のライトフィールドデータ上の点の座標を（ｙB，ｖB）とすると、式４が成り立つ。
【００３９】
【数４】
2017188729.tif 000006
【００４０】
本実施形態では、各色のライトフィールドデータ間の対応から、このような線形変換を求めることで、色収差を補正する。
【００４１】
＜画像処理部の構成と処理＞
図１１は、第１の実施形態の撮像装置のソフトウェア構成の一例を示すブロック図である。図１１を用いて撮像装置のソフトウェア構成を説明する。
【００４２】
本実施形態の撮像装置は、チャネル分離部１１０１、画像生成部１１０２、特徴点検出部１１０３、特徴量算出部１１０４、平面検出部１１０５、対応探索部１１０６、調整パラメータ導出部１１０７、ライトフィールドデータ調整部１１０８、およびチャネル統合部１１０９を含む。なお、本実施例では、ＣＰＵ１０１が、ＲＯＭ１０２が記憶するプログラムをＲＡＭ１０３にロードし、ロードしたプログラムを実行することによって、図１１に示す各部が機能する。
【００４３】
チャネル分離部１１０１は、ライトフィールドデータを、バス１１０を介して取得し、各色のチャネルに分離する。なお、取得したライトフィールドデータはあらかじめ、撮像部１１３の設計情報や構成情報を元に、マイクロレンズ２０５上でのライトフィールド座標に合わせて変換されているものとする。
【００４４】
画像生成部１１０２は、色チャネル毎に分離されたライトフィールドデータから、ｕ＝０，ｖ＝０の面を切り出してｘｙ平面に沿った２次元画像データを生成する。図１２は、ライトフィールドデータ上の平面が検出される過程を示す図である。なお、図１２では、便宜上ライトフィールドデータを位置ｘと傾きｕの２次元で表している。図１２（ａ）には、ライトフィールドデータのｘｕ平面に対して、画像生成部１１０２が生成した画像データによって示される領域が黒色の矩形で示されている。
【００４５】
特徴点検出部１１０３は、画像生成部１１０２で生成された画像データから、Ｈａｒｒｉｓコーナー検出などを用いて特徴点を抽出する。図１２（ｂ）には、ライトフィールドデータのｘｕ平面に対して、検出された特徴点の例が黒色の矩形で示されている。なお、本実施形態では特徴点抽出方法としてＨａｒｒｉｓコーナー検出を用いたが、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎ）やＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）など特徴点を検出できるならばどのような方法を用いても構わない。
【００４６】
特徴量算出部１１０４は、特徴点検出部１１０３が検出した各特徴点を識別するための特徴量を、画像生成部１１０２が生成した画像データに基づいて算出する。本実施形態では、特徴量算出部１１０４は、特徴点の周囲のブロックの画素値を用いて、特徴量を算出する。
【００４７】
平面検出部１１０５は、特徴点検出部１１０３が検出した各特徴点を通るライトフィールドデータ上の平面を検出する。ここで、ライトフィールドデータ上の平面とは、被写体上の同一点から射出された光線群が成す、2次元の線形部分空間のことである。この平面の近傍におけるｘｙ平面上の値の分布は、被写体上の同一点から発せられた光線の強度が光線の角度に対して緩やかに変化する性質を反映して、異なる（ｕ，ｖ）においても似たパターンとなる。従って、ライトフィールドデータ上の平面の検出は、特徴点の検出を行ったｕ＝０，ｖ＝０のｘｙ平面上の特徴点近傍でブロックを作り、このブロックとの差分二乗和が最小となる位置（ｘ，ｙ）を、異なる（ｕ，ｖ）のｘｙ平面上で探索することで行う。なお、平面検出部１１０５がｕ≠０，ｖ≠０のｘｙ平面上で探索を行う場合には、画像生成部１１０２が、ライトフィールドデータから、ｕ≠０，ｖ≠０の面を切り出してｘｙ平面に沿った２次元画像データを生成する。そして、平面検出部１１０５は、当該２次元画像データによって示される領域（探索範囲）に対して上記探索を行う。図１２（ｃ）には、探索に用いるブロックの例が黒い矩形で示されている。また、図１２（ｄ）には、探索範囲の例が黒い矩形で示されている。（ｕ，ｖ）＝（ｕn，ｖm）となるｘｙ平面上において、（ｘ，ｙ）＝（ｘn，ｙm）となる位置で差分二乗和が最小となるとき、平面（ライトフィールドデータ上の平面）を拘束する情報として式５に示す関係が得られる。
【００４８】
【数５】
2017188729.tif 000007
【００４９】
これを式６で表されるような複数の（ｕn，ｖm）に対して求める。なお、式６におけるＮは、ｕ方向におけるサンプリング数の総数である。Ｍは、ｖ方向におけるサンプリング数の総数である。
【００５０】
【数６】
2017188729.tif 000008
【００５１】
図１２（ｅ）には探索で得られた複数のｘとｕとの関係が黒い矩形で示されている。 （Ｘ，Ｙ）の位置から（Ｕ，Ｖ）の方向に発せられた光線は、ライトフィールドデータ上の点（ｘ，ｙ，ｕ，ｖ）に記録されるまでに式７のような変換を受ける。ａ，ｂ，ｃ，ｄは定数である。なお、式７は、光軸がレンズ（レンズ２０１，２０２）の中心にあることを前提とした場合における変換式である。
【００５２】
【数７】
2017188729.tif 000009
【００５３】
式７は、任意の方向（Ｕ，Ｖ）に対して成り立つと見なすならば、被写体上の同一点から発せられた光線群が成す線形部分区間、すなわちライトフィールドデータ上の平面を表している。ある被写体上の位置（Ｘ，Ｙ）から任意の方向（Ｕ，Ｖ）に向けて射出された光線群が満たすべき（ｘ，ｙ，ｕ，ｖ）の拘束条件は、式７からＵ，Ｖを消去して、式８，９として求まる。
【００５４】
【数８】
2017188729.tif 000010
【００５５】
【数９】
2017188729.tif 000011
【００５６】
ｐ＝ｄ，ｑ＝−ｂ， ｒ＝（ｂｃ−ａｄ）ｘ´，ｓ＝（ｂｃ−ａｄ）ｙ´として、式８，９に示す拘束条件を整理すると、式１０，１１が得られる。
【００５７】
【数１０】
2017188729.tif 000012
【００５８】
【数１１】
2017188729.tif 000013
【００５９】
ｐ，ｑ，ｒ，ｓがライトフィールドデータ上の平面を決定するパラメータである。平面検出部１１０５は、式５に示す関係を用いて式１２を最小化するような最小二乗解として、ｐ，ｑ，ｒ，ｓを求める。この時、平面検出部１１０５は、ｐ，ｑ，ｒ，ｓが０とならないように式１３に示すような拘束条件を用いる。
【００６０】
【数１２】
2017188729.tif 000014
【００６１】
【数１３】
2017188729.tif 000015
【００６２】
最小二乗解は、式１４で表される行列Ｆの最小固有値に対応する固有ベクトルとして求められる。図１２（ｆ）には、最小二乗法により求めた線形部分空間、すなわちライトフィールドデータ上の平面の例が実線で示されている。
【００６３】
【数１４】
2017188729.tif 000016
【００６４】
ただし、
【００６５】
【数１５】
2017188729.tif 000017
【００６６】
なお、本実施形態では式５の関係を全て用いた最小二乗解でライトフィールドデータ上の平面のパラメータを求めた。しかし、オクルージョンやビグネッティングよる線形部分空間の欠損や誤対応に対するロバスト性を高めるために、ＲＡＮＳＡＣなどのロバスト推定を用いても構わない。また、本実施形態では差分二乗和が最小になるようブロック探索を行ってライトフィールドデータ上の平面の拘束条件を求めた。しかし、正規化相互相関に基づくブロック探索や、勾配法による探索など、他の方法で各色のライトフィールドデータ間の対応を求めても構わない。また、本実施形態ではｘｙ平面上のブロックを基準とした対応探索によりライトフィールドデータ上の平面の拘束条件を求め、最小二乗法によりライトフィールドデータ上の平面のパラメータを求めた。しかし、ライトフィールドデータ上の平面を特定できるならばどのような方法でも構わない。例えば、異なるｕｖ間でのｘｙ平面における類似度を最大化するようライトフィールドデータ上の平面のパラメータを直接最適化する方法や、ハフ変換を４次元に拡張した方法でも構わない。
【００６７】
対応探索部１１０６は、異なるチャネルのライトフィールドデータ間で特徴点に基づいて平面（ライトフィールドデータ上の平面）を対応付ける。対応付けは、基準となるチャネルの特徴点に対して、特徴量が最も類似している特徴点を異なるチャネルの特徴点から探索することで行われる。本実施形態では特徴量の類似度として正規化相互相関を用いる。また、一般的な光学系では色収差によるライトフィールドデータの変形はわずかなので、特徴点の距離や平面（ライトフィールドデータ上の平面）の距離で探索対象を限定する。本実施形態では基準となるチャネルをＧ成分とし、これに対してＢ成分とＲ成分のチャネルの特徴点をそれぞれ対応付ける。なお、本実施形態ではブロックの正規化相互相関によるマッチングを用いたが、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量によるマッチング、差分二乗和によるマッチング、幾何学的に近傍にある特徴点とのマッチングなどどのような方法を用いても構わない。
【００６８】
調整パラメータ導出部１１０７は、対応探索部１１０６で対応付けた平面の関係に基づき、基準チャネルであるＧチャネルと、他のチャネル（Ｂチャネル，Ｒチャネル）とについて、式３、式４で表されるようなライトフィールド上の座標の関係を求める。ここで、基準チャネル上の座標を（ｘ，ｕ）、他のチャネル上の座標を（ｘ´，ｕ´）として、式３、式４で表される関係を式１５で表す。
【００６９】
【数１６】
2017188729.tif 000018
【００７０】
（ｘ，ｕ）と（ｘ´，ｕ´）はそれぞれ、被写体上の同一点から発せられた光線群が成す線形部分空間、すなわちライトフィールドデータ上の平面上に位置するので、それぞれ式１６，１７に示す拘束条件を満たす。なお、ｐ´，ｑ´，ｒ´，ｓ´は、他のチャネル（Ｂチャネル、Ｒチャネル）における線形部分空間を決定するパラメータである。
【００７１】
【数１７】
2017188729.tif 000019
【００７２】
【数１８】
2017188729.tif 000020
【００７３】
式１５，１６，１７より、式１８に示す条件が得られる。
【００７４】
【数１９】
2017188729.tif 000021
【００７５】
本実施形態では式１８に示す関係を用いて最小二乗法でｈ´，ｉ´，ｊ´，ｋ´を算出する。算出されるｈ´，ｉ´，ｊ´，ｋ´は、線形部分空間を表すパラメータ間の調整パラメータである。したがって、本実施形態ではさらに、式１８に基づいてｈ´，ｉ´，ｊ´，ｋ´から、ライトフィールド座標間の調整パラメータであるｈ，ｉ，ｊ，ｋを導出する。λは式１６，１７のスケールに関する不定性を反映して導入した任意のスカラーである。しがたって、調整パラメータ導出部１１０７は、ｈ´，ｉ´，ｊ´，ｋ´を算出するにあたって事前にλを消去する。本実施形態では式１８の左辺がλになるよう各行を線形結合することで、λを求めて消去する。線形結合の係数をα、β、γとすると、式１８の各行の線形結合は式１９で表される。
【００７６】
【数２０】
2017188729.tif 000022
【００７７】
式１９の左辺をλとする係数の条件は式２０で表される。
【００７８】
【数２１】
2017188729.tif 000023
【００７９】
λを安定的に計算するために、式２０を満たし、式２１を最小にするα，β，γを求める。
【００８０】
【数２２】
2017188729.tif 000024
【００８１】
式２０を用いて式２１からγを消去し、αとβによる偏微分が０になるという条件で、式２１を最小化する係数を求めると、式２２が得られる。
【００８２】
【数２３】
2017188729.tif 000025
【００８３】
式１９，２２を式１８に代入すると、式２３が得られる。
【００８４】
【数２４】
2017188729.tif 000026
【００８５】
ただし、
【００８６】
【数２５】
2017188729.tif 000027
【００８７】
また、ライトフィールド座標の（ｙ，ｖ）に関しても同様に導出することで、式２４が得られる。
【００８８】
【数２６】
2017188729.tif 000028
【００８９】
ただし、
【００９０】
【数２７】
2017188729.tif 000029
【００９１】
式２３と式２４との関係は、チャネル間のライトフィールドデータ上の平面の対応毎に得られるので、複数の対応を用いて最小二乗法でｈ´，ｉ´，ｊ´，ｋ´を求める。ここで、Ｎ個の対応があり、ｎ番目の平面（ライトフィールドデータ上の平面）を表すパラメータを、基準チャネルについてはｐn，ｑn，ｒn，ｓnと表現し、それ以外のチャネルについてはｐ´n，ｑ´n，ｒ´n，ｓ´nと表現する。このとき、求めるべきｈ´，ｉ´，ｊ´，ｋ´は式２５で表される。なお、式２５におけるＮは、ステップＳ１２０４で検出される特徴点の総数を表す。
【００９２】
【数２８】
2017188729.tif 000030
【００９３】
ただし、
【００９４】
【数２９】
2017188729.tif 000031
【００９５】
【数３０】
2017188729.tif 000032
【００９６】
【数３１】
2017188729.tif 000033
【００９７】
【数３２】
2017188729.tif 000034
【００９８】
【数３３】
2017188729.tif 000035
【００９９】
【数３４】
2017188729.tif 000036
【０１００】
式２５を満たすｈ´，ｉ´，ｊ´，ｋ´は、右辺の目的関数が最小値のとき、ｈ´，ｉ´，ｊ´，ｋ´による偏微分が０になるという関係から求めることができ、式２６で算出される。
【０１０１】
【数３５】
2017188729.tif 000037
【０１０２】
以上のように算出したｈ´，ｉ´，ｊ´，ｋ´から式２７に示すように、調整パラメータｈ，ｉ，ｊ，ｋを導出する。なお、本実施形態では全ての平面（ライトフィールドデータ上の平面）の対応を用いた最小二乗解で調整パラメータを求めたが、誤対応に対するロバスト性を高めるために、ＲＡＮＳＡＣなどのロバスト推定を用いても構わない。
【０１０３】
【数３６】
2017188729.tif 000038
【０１０４】
ライトフィールドデータ調整部１１０８は、調整パラメータ導出部１１０７が導出した調整パラメータに基づき、各チャネルのライトフィールドデータを基準チャネルのライトフィールドデータに重なるように調整する。なお、本実施形態では、「基準チャネルのライトフィールドデータに重ねる」等の表現を用いる。しかし、実際には、基準チャネルのライトフィールドデータによって示される光線の位置と角度と、他のライトフィールドデータによって示される光線の位置と角度を一致させることである。
【０１０５】
まず、ライトフィールドデータ調整部１１０８は、基準チャネル上のサンプリング座標（ｘ，ｙ，ｕ，ｖ）に対して、別のチャネル上の対応する座標（ｘ´，ｙ´，ｕ´，ｖ´）を式２８に基づき算出する。次に、ライトフィールドデータ調整部１１０８は、別のチャネル上の座標（ｘ´，ｙ´，ｕ´，ｖ´）における値を補間により生成する。ライトフィールドデータ調整部１１０８は、補間により生成した値を基準チャネル上のサンプリング位置に配置する。このようにして、ライトフィールドデータ調整部１１０８は、各チャネルのライトフィールドデータを線形変換して調整する。
【０１０６】
【数３７】
2017188729.tif 000039
【０１０７】
チャネル統合部１１０９は、ライトフィールドデータ調整部１１０８で調整されたＢチャネル，Ｒチャネルのライトフィールドデータと、基準としたGチャネルとのライトフィールドデータとを統合し、カラーのライトフィールドデータを生成する。生成したライトフィールドデータは、バス１１０を介して出力される。
【０１０８】
図１３は、第１の実施形態の撮像装置の処理の流れの一例を示すフローチャートである。図１３を用いて本実施形態の撮像装置の処理の流れを説明する。
【０１０９】
ステップＳ１２０１では、チャネル分離部１１０１がライトフィールドデータを取得する。
【０１１０】
ステップＳ１２０２では、チャネル分離部１１０１がステップＳ１２０１で取得したライトフィールドデータから新たなチャネルを１つ分離する。なお、このときチャネル分離部１１０１は、新たなチャネルとしてＧチャネルを選択する。そして、ステップＳ１２０２の処理が繰り返し実行される度に、チャネル分離部１１０１は、新たなチャネルを、Ｂチャネル，Ｒチャネルと切り替える。すなわち、チャネル分離部１１０１は、Ｇチャネル，Ｂチャネル，Ｒチャネルの順にチャネルを分離する。
【０１１１】
ステップＳ１２０３では、画像生成部１１０２がステップＳ１２０２で抽出したチャネルのライトフィールドデータから、光線の角度がｕ＝０，ｖ＝０であるデータを切り出して２次元画像データを生成する。
【０１１２】
ステップＳ１２０４では、特徴点検出部１１０３がステップＳ１２０３で生成した画像データから特徴点を抽出する。ステップＳ１２０５では、特徴量算出部１１０４がステップＳ１２０４で抽出した特徴点の特徴を示す特徴量を算出する。ステップＳ１２０６では、平面検出部１１０５がステップＳ１２０５で検出した特徴点を通るライトフィールドデータ上の平面を検出する。
【０１１３】
ステップＳ１２０７では、処理しているデータがＧチャネルのライトフィールドデータか判定する。Ｇチャネルのライトフィールドデータならば（ステップＳ１２０７のＹＥＳ）、撮像装置は、ステップＳ１２０８の処理に進む。Ｇチャネルでなければ（ステップＳ１２０７のＮＯ）、撮像装置は、ステップＳ１２０９の処理に進む。
【０１１４】
ステップＳ１２０８では、対応探索部１１０６がＧチャネルの特徴量、特徴点位置、およびライトフィールドデータ上の平面の情報を保持する。その後、撮像装置は、ステップＳ１２０２の処理に戻る。
【０１１５】
ステップＳ１２０９では、対応探索部１１０６がＧチャネルのライトフィールドデータ上の平面とその他のチャネルライトフィールドデータ上の平面とを対応付ける。この対応付けは、ステップＳ１２０８で保持したＧチャネルの情報と、ステップＳ１２０４〜Ｓ１２０６で算出した他チャネルの情報とに基づき行われる。
【０１１６】
ステップＳ１２１０では、調整パラメータ導出部１１０７が、ステップＳ１２０９で対応探索部１１０６が求めた平面の対応に基づき、調整パラメータを導出する。ここでは、処理中のチャネルのライトフィールドデータをＧチャネルのライトフィールドデータに重ねるための、調整パラメータが導出される。
【０１１７】
ステップＳ１２１１では、ライトフィールドデータ調整部１１０８が、ステップＳ１２１０で導出した調整パラメータに基づき、処理中のチャネルのライトフィールドデータをＧチャネルのライトフィールドデータに重なるように調整する。調整されたライトフィールドデータは、チャネル統合部１１０９が保持する。
【０１１８】
ステップＳ１２１２では、撮像装置は、全てのチャネルを処理したか判定する。処理していれば（ステップＳ１２１２のＹＥＳ）、撮像装置は、ステップＳ１２１３の処理に進む。処理していなければ（ステップＳ１２１２のＮＯ）、撮像装置は、ステップＳ１２０２の処理に戻る。
【０１１９】
ステップＳ１２１３では、チャネル統合部１１０９が、ステップＳ１２１１で調整したＢチャネル，Ｒチャネルのライトフィールドデータと、Ｇチャネルのライトフィールドデータとを統合して、カラーのライトフィールドデータを生成する。
【０１２０】
ステップＳ１２１４では、チャネル統合部１１０９が、ステップＳ１２１３で生成したライトフィールドデータを出力する。
【０１２１】
なお、本実施形態では、光学系の光軸位置に誤差が無いと仮定として、ｘｕ平面とｙｖ平面で共通の２次元線形変換でライトフィールドにおける色収差の補正を表現した。ただし、ｘｙｕｖ空間に対する４次元アフィン変換など、他の変換を用いて表現しても良い。この場合は本実施形態で説明した方法を拡張して、４次元アフィン変換の推定を行う。これにより、光軸位置の誤差に対応することが可能となる。また、本実施形態では、ＲＧＢの３波長のライトフィールドの例について説明したが、２波長のライトフィールドや３波長より多い波長のライトフィールドに対して適用してもかまわない。また、本実施例では、Ｇチャネルを基準として、他のチャネル（Ｒ，Ｂチャネル）のライトフィールドデータを調整する撮像装置を例にした。しかし、必ずしも基準とするチャネルを設ける必要はなく、すべてのチャネルのライトフィールドデータを調整して、各チャネルのライトフィールドデータを重ね合わせるようにしてもよい。
【０１２２】
以上、本実施例形態によれば、レンズの情報を必要とせずに、ライトフィールドにおける色収差の補正を行うことができる。すなわち、本実施形態によれば、ライトフィールドデータを取得する際に使用するレンズが未知のレンズである場合でも、取得されたライトフィールドデータに対して色収差の補正を適切に行うことができる。また、本実施例では、基準チャネルのライトフィールドデータ上の平面とその他のチャネルライトフィールドデータ上の平面との対応関係から調整パラメータを導出している。したがって、例えば、ステップＳ１２０４の処理において、抽出される特徴点の数が十分でない場合でも、適切に調整パラメータを導出することができる。よって、そのような場合でも色収差の補正の精度を保つことができる。
【０１２３】
［実施形態２］
第１の実施形態では、平面（ライトフィールドデータ上の平面）の対応に基づき異なるチャネルのライトフィールドデータを互いに重ね合わせることで、色収差の補正を行った。第２の実施形態では、ライトフィールドデータから特徴点を抽出し、特徴点の対応に基づき異なるチャネルのライトフィールドデータを互いに重ね合わせることで、色収差の補正を行う。この場合、ライトフィールドデータ上の平面の検出を行わずに済むため、計算コストの低減が可能となる。
【０１２４】
図１４は、第２の実施形態の撮像装置のソフトウェア構成の一例を表すブロック図である。本実施形態の撮像装置は、チャネル分離部１１０１、特徴点検出部１４０１、特徴量算出部１４０２、対応探索部１４０３、調整パラメータ導出部１４０４、ライトフィールドデータ調整部１１０８、およびチャネル統合部１１０９を含む。なお、チャネル分離部１１０１、ライトフィールドデータ調整部１１０８、およびチャネル統合部１１０９は、第１の実施形態と同様である。本実施形態では、特徴点検出部１４０１、特徴量算出部１４０２、対応探索部１４０３、および調整パラメータ導出部１４０４により、異なるチャネルのライトフィールドデータを互いに重ね合わせるための調整パラメータを導出する。以下、第１の実施形態と異なる部分について説明する。
【０１２５】
特徴点検出部１４０１は、チャネル分離部１１０１から取得した各チャネルのライトフィールドデータから、ライトフィールド空間中の全ての方向に対して一様でない画素値の分布を周囲に有する点を、特徴点として検出する。本実施形態では一例として、ｘｕ平面とｙｖ平面それぞれに対するＨａｒｒｉｓコーナー検出を用いる。このような特徴点は、テクスチャのある被写体から発せられた光線がライトフィールド上でオクルージョンにより遮蔽されるような領域で、検出される。なお、本実施形態では特徴点抽出方法としてＨａｒｒｉｓコーナー検出を用いたが、ＤｏＧやＦＡＳＴなど特徴点を検出できるならばどのような方法を用いても構わない。
【０１２６】
特徴量算出部１４０２は、特徴点検出部１４０１が検出した各特徴点を識別するための特徴量を、チャネル分離部１１０１から取得した各チャネルのライトフィールドデータに基づいて算出する。本実施形態では、特徴量算出部１４０２は、特徴点の周囲のブロックの画素値を用いて、特徴量を算出する。
【０１２７】
対応探索部１４０３は、異なるチャネルのライトフィールドデータ間で特徴点を対応付ける。対応付けは、基準となるチャネルの特徴点に対して、特徴量が最も類似している特徴点を異なるチャネルの特徴点から探索することで行われる。本実施形態では特徴量の類似度として正規化相互相関を用いる。また、一般的な光学系では色収差によるライトフィールドデータの変形はわずかなので、特徴点の距離で探索対象を限定する。本実施形態では基準となるチャネルをＧ成分とし、これに対してＢ成分とＲ成分のチャネルの特徴点をそれぞれ対応付ける。なお、本実施形態ではブロックの正規化相互相関によるマッチングを用いたが、ＳＩＦＴ特徴量によるマッチング、差分二乗和によるマッチング、幾何学的に近傍にある特徴点とのマッチングなどどのような方法を用いても構わない。
【０１２８】
調整パラメータ導出部１４０４は、対応探索部１４０３で対応付けた特徴点の関係に基づき、基準チャネルであるＧチャネルと、それ以外のチャネル（Ｂチャネル、Ｒチャネル）との、式３、式４で表されるようなライトフィールド空間上の座標の関係を求める。座標の関係を表す調整パラメータは、式２９、式３０を最小二乗法で解くことによって導出される。このとき、（ｘn，ｙn，ｕn，ｖn）は基準チャネル上のｎ番目の特徴点の座標であり（ｘ´n，ｙ´n，ｕ´n，ｖ´n）はそれ以外のチャネル上のｎ番目の特徴点の座標である。
【０１２９】
【数３８】
2017188729.tif 000040
【０１３０】
【数３９】
2017188729.tif 000041
【０１３１】
なお、本実施形態では全ての特徴点の対応を用いた最小二乗解で調整パラメータを求めたが、誤対応に対するロバスト性を高めるために、ＲＡＮＳＡＣなどのロバスト推定を用いても構わない。
【０１３２】
ライトフィールドデータ調整部１１０８は、第１の実施形態と同様に、調整パラメータ （ｈ，ｉ，ｊ，ｋ）に基づきライトフィールドデータを調整する。
【０１３３】
図１５は、第２の実施形態の撮像装置の処理の流れの一例を示すフローチャートである。図１５を用いて本実施形態の撮像装置の処理の流れを説明する。なお、ステップＳ１５０１，Ｓ１５０２、Ｓ１５０５，Ｓ１５０９〜Ｓ１５１２の処理はそれぞれ、第１の実施形態におけるステップＳ１２０１，Ｓ１２０２、Ｓ１２０７，Ｓ１２１１〜Ｓ１２１４の処理と同様であるため、説明を省略する。
【０１３４】
ステップＳ１５０３では、特徴点検出部１４０１が、ステップＳ１２０１で分離したチャネルのライトフィールドデータから特徴点を検出する。
【０１３５】
ステップＳ１５０４では、特徴量算出部１４０２が、ステップＳ１５０１で検出した特徴点に基づき特徴量を算出する。
【０１３６】
ステップＳ１５０６では、対応探索部１４０３がＧチャネルの特徴量、特徴点位置の情報を保存する。
【０１３７】
ステップＳ１５０７では、対応探索部１４０３が、Ｇチャネルとその他のチャネルの特徴点を、ステップＳ１５０６で保持したＧチャネルの情報と、ステップＳ１５０３〜Ｓ１５０４で算出した他チャネルの情報に基づき、対応付ける。
ステップＳ１５０８では、調整パラメータ導出部１４０４がステップＳ１５０７で求めた特徴点の対応に基づき、Ｇチャネルに重なるように処理中のチャネルのライトフィールドデータを調整するための、調整パラメータを導出する。
【０１３８】
なお、本実施形態では、光学系の光軸位置に誤差が無いと仮定して、ｘｕ平面とｙｖ平面で共通の２次元線形変換でライトフィールドにおける色収差の補正を表現した。ただし、ｘｙｕｖ空間に対する４次元アフィン変換など、他の変換を用いて表現しても良い。この場合は本実施形態で説明した方法を拡張して、４次元アフィン変換の推定を行う。これにより、光軸位置の誤差に対応することが可能となる。
【０１３９】
以上、本実施形態によれば、第１の実施形態と同様の効果を得ることできる。また、本実施形態によれば、ライトフィールドデータ上の平面の検出を行わずに済むため、計算コストを低減させることができる
【０１４０】
（その他の実施形態）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１４１】
１１０１  チャネル分離部
１１０７  調整パラメータ導出部
１１０８  ライトフィールドデータ調整部
【図１】
2017188729.tif 000042
【図２】
2017188729.tif 000043
【図３】
2017188729.tif 000044
【図４】
2017188729.tif 000045
【図５】
2017188729.tif 000046
【図６】
2017188729.tif 000047
【図７】
2017188729.tif 000048
【図８】
2017188729.tif 000049
【図９】
2017188729.tif 000050
【図１０】
2017188729.tif 000051
【図１１】
2017188729.tif 000052
【図１２】
2017188729.tif 000053
【図１３】
2017188729.tif 000054
【図１４】
2017188729.tif 000055
【図１５】
2017188729.tif 000056