(57)【要約】      （修正有）【課題】画像内の奥行距離毎に錯乱円径を自由に調整でき、しかも画像内の所々で生じ得る不自然な露出の違いを抑えることができる画像処理装置及びその制御方法、プログラムを提供する。【解決手段】画像処理装置１００は、焦点位置と被写界深度を任意に変更可能な第１画像データに対して所定のエリア毎にフィルタ処理を施すフィルタ部１０６を備える。フィルタ係数算出部１０５は、各エリアに対してフィルタ処理用の係数値を算出する。ゲイン値算出部１０７は、各エリアに対してフィルタ係数算出部１０５により算出されたフィルタ係数値に基づいて、各エリアのゲイン値を算出する。ゲイン調整部１０８は、第１画像データにフィルタ処理を施した第２画像データに対してエリア毎にゲイン値を乗ずることで画像データのゲイン調整を行う。画像生成部１０９は、ゲイン調整を施した画像データから第３画像データを生成する。【選択図】図８
2015228619.tif 000002
【特許請求の範囲】
【請求項１】
撮影後に焦点状態を変更可能な第１画像データに対してフィルタ処理およびゲイン調整を行う画像処理装置であって、
予め決められたエリアに対してそれぞれ前記フィルタ処理に用いるフィルタ係数を算出するフィルタ係数算出手段と、
前記第１画像データに対して前記エリア毎にフィルタ処理を施すフィルタ手段と、
前記エリアに対してそれぞれ前記ゲイン調整に用いるゲイン値を算出するゲイン値算出手段と、
前記フィルタ手段が前記第１画像データにフィルタ処理を施した第２画像データに対して、前記エリア毎にゲイン調整を行うゲイン調整手段と、
前記ゲイン調整手段が前記第２画像データに対してゲイン調整を施した画像データから、第３画像データを生成する画像生成手段と、
を有し、
前記ゲイン値算出手段は、前記フィルタ係数算出手段が算出した前記フィルタ係数を取得して前記エリア毎のゲイン値を算出し、
前記ゲイン調整手段は、前記第２画像データに対して、前記ゲイン値算出手段によって算出されたゲイン値を乗算することによりゲイン調整を行うことを特徴とする画像処理装置。
【請求項２】
前記ゲイン値算出手段は、予め指定されている第１画像領域に対応する前記エリアに対して前記フィルタ係数算出手段が算出したフィルタ係数と、前記第１画像領域とは異なる第２画像領域に対応する前記エリアに対して前記フィルタ係数算出手段が算出したフィルタ係数を取得し、フィルタ係数の比率から前記エリア毎のゲイン値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ゲイン値算出手段は、前記第１画像領域に対応する前記エリアのフィルタ係数の総和と、前記第２画像領域に対応する前記エリアのフィルタ係数の総和との比率を前記ゲイン値として算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２画像領域の画像の暈け量を設定する場合に操作する操作手段を備え、
前記フィルタ係数算出手段は、前記操作手段により暈け量の設定が変更された場合、前記第２画像領域に対応する前記エリアのフィルタ係数および前記第２画像領域に隣接する領域に対応する前記エリアのフィルタ係数を変更することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記フィルタ係数算出手段は、前記操作手段により暈け量の設定が変更された場合、前記第２画像領域に隣接する領域に対応する前記エリアのフィルタ係数を、線形補間により変更することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
ゲイン調整前にて、前記第１画像領域は、第１被写体に対して焦点の合った画像を含む画像領域であり、前記第２画像領域は、第２被写体に対して焦点の合っていない画像を含む領域であることを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
【請求項７】
撮像光学系を介して被写体からの光を受光する撮像手段をさらに備え、
前記撮像手段は、複数のマイクロレンズと、前記撮像光学系から前記マイクロレンズを介してそれぞれ入射する光を電気信号に変換して画像に係る光の強度を示す光線情報および光線の方向情報を出力する複数の光電変換手段と、を有しており、
前記第１画像データは、前記光線情報および方向情報を含む画像データであることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
撮影後に焦点状態を変更可能な第１画像データに対してフィルタ処理およびゲイン調整を行う画像処理装置にて実行される制御方法であって、
フィルタ係数算出手段が前記第１画像データに対して、予め決められたエリア毎に前記フィルタ処理に用いるフィルタ係数を算出するフィルタ係数算出ステップと、
フィルタ手段が前記第１画像データに対して、前記エリア毎にフィルタ処理を施すフィルタ処理ステップと、
ゲイン値算出手段が前記エリアに対してそれぞれ前記ゲイン調整に用いるゲイン値を算出するゲイン値算出ステップと、
ゲイン調整手段により、前記フィルタ手段が前記第１画像データにフィルタ処理を施した第２画像データに対して、前記エリア毎にゲイン調整を行うゲイン調整ステップと、
画像生成手段により、前記ゲイン調整手段が前記第２画像データに対してゲイン調整を施した画像データから、第３画像データを生成する画像生成ステップと、
を有し、
前記ゲイン値算出ステップにて前記ゲイン値算出手段は、前記フィルタ係数算出手段が算出した前記フィルタ係数を取得して前記エリア毎のゲイン値を算出し、
前記ゲイン調整ステップにて前記ゲイン調整手段は、前記第２画像データに対して、前記ゲイン値算出手段によって算出されたゲイン値を乗算することによりゲイン調整を行うことを特徴とする画像処理装置の制御方法。
【請求項９】
前記ゲイン値算出ステップにて前記ゲイン値算出手段は、予め指定されている第１画像領域に対応する前記エリアに対して前記フィルタ係数算出手段が算出したフィルタ係数と、前記第１画像領域とは異なる第２画像領域に対応する前記エリアに対して前記フィルタ係数算出手段が算出したフィルタ係数を取得し、フィルタ係数の比率から前記エリア毎のゲイン値を算出することを特徴とする請求項８に記載の画像処理装置の制御方法。
【請求項１０】
前記ゲイン値算出ステップにて前記ゲイン値算出手段は、前記第１画像領域に対応する前記エリアのフィルタ係数の総和と、前記第２画像領域に対応する前記エリアのフィルタ係数の総和との比率を前記ゲイン値として算出することを特徴とする請求項９に記載の画像処理装置の制御方法。
【請求項１１】
操作手段により前記第２画像領域の画像の暈け量を設定する操作ステップをさらに有し、
前記操作ステップにて前記画像の暈け量の設定が変更された場合、前記フィルタ係数算出ステップにて前記フィルタ係数算出手段は、前記第２画像領域に対応する前記エリアのフィルタ係数および前記第２画像領域に隣接する領域に対応する前記エリアのフィルタ係数を変更することを特徴とする請求項９または１０に記載の画像処理装置の制御方法。
【請求項１２】
前記フィルタ係数算出ステップにて前記フィルタ係数算出手段は、前記操作手段により暈け量の設定が変更された場合、前記第２画像領域に隣接する領域に対応する前記エリアのフィルタ係数を、線形補間により変更することを特徴とする請求項１１に記載の画像処理装置の制御方法。
【請求項１３】
ゲイン調整前にて、前記第１画像領域は、第１被写体に対して焦点の合った画像を含む画像領域であり、前記第２画像領域は、第２被写体に対して焦点の合っていない画像を含む領域であることを特徴とする請求項９から１２のいずれか１項に記載の画像処理装置の制御方法。
【請求項１４】
複数のマイクロレンズと、撮像光学系から前記マイクロレンズを介してそれぞれ入射する光を電気信号に変換して画像に係る光の強度を示す光線情報および光線の方向情報を出力する複数の光電変換手段と、を有する撮像手段により撮像を行うステップをさらに有し、
前記第１画像データは、前記光線情報および方向情報を含む画像データであることを特徴とする請求項８から１３のいずれか１項に記載の画像処理装置の制御方法。
【請求項１５】
請求項８から１４のいずれか１項に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影後に焦点状態を変更可能な画像データを処理する技術に関する。
【背景技術】
【０００２】
近年、ライトフィールド（以下、ＬＦと略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上に配置したマイクロレンズアレイによって入射光を分割することで、複数の方向の光を撮影して光線情報を得ることができる。以下では、ＬＦカメラにより撮影された画像をＬＦ画像といい、画像データをＬＦデータという。撮影後にＬＦデータに係る光線の強度とその入射方向に基づいて所定の計算処理を実行することによって、任意の焦点距離および被写界深度の画像を構築できる。光線情報を利用した撮影後の計算処理により、任意の画像を再構築できることがＬＦカメラの利点である。
【０００３】
特許文献１には、ＬＦカメラで撮影した画像の被写界深度を調整し、画像の暈け感を調整する技術が公開されている。特許文献１に記載の技術では、光線情報の進行方向に応じて重み付け処理を行った後に画像を再構築することで、撮影時の開口絞りによる暈け感の調整のような効果を再構築時に得ることが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１５９３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、画像の暈け感の指標となる錯乱円径を調整できる。しかし、錯乱円径はフォーカス位置からの奥行距離に対して線形に決定されるため、奥行距離毎に暈け感を緻密に調整することはできない。例えば、撮影した画像においてフォーカス位置から距離の遠い背景像の暈け感を変えずに、中間距離に位置する被写体像の暈け感を調整することはできなかった。
【０００６】
そこで、奥行距離毎に暈け感を調整するために、奥行距離毎に光線情報に対する重み付け係数（フィルタ係数）を変化させることが考えられる。特許文献１に記載の技術により得られる画像の再構成においては、光線情報の進行方向に応じて画像データの重み付け処理（フィルタ処理）を行ってから、重み付け処理が行われた画像データに対して所定の積分処理が施される。例えば、撮像素子への入射角が相対的に小さい光線のみを用いてあたかもカメラの絞りを絞ったかのような再構築画像を得るためには、マイクロレンズの中央部で取得された画素データのみを用いて積分処理が行われる。この場合、全てのマイクロレンズに対して一様な重み付けを行うのではなく、奥行距離毎にマイクロレンズの重み付け係数を独立に決定することで、フォーカス位置からの奥行距離に対して非線形に錯乱円径を決定することが可能になる。しかし、マイクロレンズ毎に重み付け係数が異なるということは、マイクロレンズ毎に積分処理される画像データの総数も異なることを意味する。これは、通常のカメラの絞りに例えると、撮影画面内の所定領域毎に絞りが異なり、局所的には露出のバランスが疎らな状態になることに相当する。つまり、最終的に画像を再構築した際、同一の画像内にもかかわらずに所々で露出のバランスが崩れると見苦しい画像が得られてしまうことになる。これでは、ユーザの望む画像とは言い難い。
【０００７】
特許文献１では、全てのマイクロレンズに対して一様に決定された重み付け処理が行われた後、重み付け後の画像データに対して積分処理が施される。したがって、マイクロレンズ毎に重み付け係数を異なる設定にする処理については考慮されていないので、奥行距離毎に錯乱円径を自由に調整することはできない。また、所定領域毎に露出バランスを調整する処理について開示されていない。
本発明は、画像内の奥行距離毎に錯乱円径を自由に調整でき、しかも画像内の所々で生じ得る不自然な露出の違いを抑えることができる画像処理装置及びその制御方法、プログラムの提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、撮影後に焦点状態を変更可能な第１画像データに対してフィルタ処理およびゲイン調整を行う画像処理装置であって、予め決められたエリアに対してそれぞれ前記フィルタ処理に用いるフィルタ係数を算出するフィルタ係数算出手段と、前記第１画像データに対して前記エリア毎にフィルタ処理を施すフィルタ手段と、前記エリアに対してそれぞれ前記ゲイン調整に用いるゲイン値を算出するゲイン値算出手段と、前記フィルタ手段が前記第１画像データにフィルタ処理を施した第２画像データに対して、前記エリア毎にゲイン調整を行うゲイン調整手段と、前記ゲイン調整手段が前記第２画像データに対してゲイン調整を施した画像データから、第３画像データを生成する画像生成手段と、を有する。前記ゲイン値算出手段は、前記フィルタ係数算出手段が算出した前記フィルタ係数を取得して前記エリア毎のゲイン値を算出し、前記ゲイン調整手段は、前記第２画像データに対して、前記ゲイン値算出手段によって算出されたゲイン値を乗算することによりゲイン調整を行う。
【発明の効果】
【０００９】
本発明によれば、画像内の奥行距離毎に錯乱円径を自由に調整でき、しかも画像内の所々で生じ得る不自然な露出の違いを抑えることができる。
【図面の簡単な説明】
【００１０】
【図１】ＬＦカメラ内部の構成例（Ａ）および（Ｂ）を示す模式図である。
【図２】マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示した模式図である。
【図３】マイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。
【図４】イメージセンサ１３に入射する光線の情報を説明するための模式図である。
【図５】リフォーカス演算処理を説明するための模式図である。
【図６】マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。
【図７】被写界深度の調整処理を説明するための模式図である。
【図８】本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図９】本発明の実施形態に係るフィルタエリアとフィルタ係数との関係を説明する図である。
【図１０】本発明の実施形態に係る画像データの暈け具合の調整処理を示すフローチャートである。
【図１１】本発明の実施形態に係る画像データ及びＯＳＤの画面表示例である。
【図１２】本発明の実施形態に係る奥行距離とフィルタ係数の径との関係を示す図である。
【図１３】本発明の実施形態に係る画像領域毎のフィルタエリアの関係を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。本発明の実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラについて説明する。
【００１２】
図１は、ＬＦカメラの概略構成を例示する。撮像光学系を構成する撮像レンズ１１を通過してマイクロレンズアレイ１２に入射した被写体からの光は、イメージセンサ１３によって光電変換されて電気信号が得られる。なお、ここで得られた撮像データはＬＦデータである。
撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は交換可能であり、撮像装置１０の本体部に装着して使用する。ユーザは撮像レンズ１１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ１２は、微小レンズ（マイクロレンズ）を格子状に配列して構成されており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２を構成する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割した光をイメージセンサ１３に出力する。撮像部を構成するイメージセンサ１３は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。
【００１３】
図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素が対応するように配置される。イメージセンサ１３の各画素には各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度（光線情報）を検出することができる。また、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向（方向情報）が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように、撮像装置１０は光線情報と方向情報を取得し、光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置や視点での画像データを生成できる。この光線情報および方向情報はＬＦデータに含まれる。この場合のフォーカス位置は、撮影後にユーザが所望の画像領域に焦点を合わせることが可能な焦点位置である。
【００１４】
図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射する光線は、その進行方向に応じてイメージセンサ１３上の異なる位置で受光され、撮像レンズ１１の形状に相似形となる被写体の像がマイクロレンズ毎に結像する。
【００１５】
図４は、イメージセンサ１３に入射する光線の情報を説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系を（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。すると、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。
各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加え、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）が記録される。
【００１６】
次に、撮像後のリフォーカス演算処理について説明する。図５は、リフォーカス演算処理を説明するための模式図である。図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ、ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
【数１】
2015228619.tif 000003
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
【数２】
2015228619.tif 000004
従って、この（２）式からリフォーカス演算処理を行うことで、任意の焦点（リフォーカス面）に設定した画像を再構築することができる。
【００１７】
続いて、撮像後の被写界深度の調整処理について説明する。上記リフォーカス演算の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データ毎に重み付け係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成したい場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み付け係数０（ゼロ）を乗じることにより積分処理に含めない。
【００１８】
図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。従って、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。このような処理を行うことで、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像の生成も可能となる。以上のように、実際に取得したＬＦデータ（光線情報）に基づいて、撮影後に画像の被写界深度を調整することができる。
【００１９】
図８は、本発明に係る画像処理装置の概略構成を示すブロック図である。
画像記憶部１０１は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリーカードなどの記憶装置である。画像記憶部１０１は、ＬＦカメラで撮影した第１画像データである光線情報と方向情報を記憶する。第１画像データは撮影後に焦点状態を変更可能なＬＦデータである。画像記憶部１０１は、記憶された光線情報を奥行検出部１０４、フィルタ係数算出部１０５、フィルタ部１０６に出力し、記憶された方向情報を奥行検出部１０４に出力する。操作部１０２は、例えば、ポインティングデバイスやキーボードなどの入力インタフェース部であり、ユーザが操作する。操作部１０２は、ユーザによるポインティングデバイスやキーボードなどの操作情報を描画部１０３に出力する。
【００２０】
描画部１０３は、操作部１０２が出力する操作情報に応じて、焦点調整等の各種ユーザ設定を行うためのＯＳＤ（On Screen Display）画面の描画処理を行う。描画部１０３はＯＳＤ画面のデータを画像生成部１０９に出力する。また、描画部１０３は、ユーザが設定したフォーカス位置、暈け具合、および選択画像領域の情報を、フィルタ係数算出部１０５と画像生成部１０９に出力する。
【００２１】
奥行検出部１０４は、画像記憶部１０１から光線情報と方向情報を取得し、フィルタエリア毎にＬＦカメラと被写体との距離を示す検出値（奥行検出値）を算出する。奥行検出値については、例えば、以下の処理の実行により算出される。
・光線情報及び方向情報から２つ以上の異なる視点の画像を生成する生成処理。
・生成された画像同士を比較し、画像間の位置ズレを検出する処理。
奥行検出値は、例えば、相対的な距離関係を示す、０から１００の値で表される。画像から検出された奥行の中でカメラに最も近い奥行を０とし、カメラから最も遠い奥行位置を１００とする。ここで、奥行検出値が０の領域、つまりカメラから最も近い奥行を持つ画像領域を近領域と呼ぶ。また、奥行検出値が１００の領域、つまりカメラから最も遠い奥行を持つ画像領域を遠領域と呼ぶ。奥行検出部１０４は、算出した奥行検出値をフィルタ係数算出部１０５に出力する。
【００２２】
フィルタ係数算出部１０５は、画像記憶部１０１から光線情報を取得し、描画部１０３からフォーカス位置、選択領域、暈け具合の情報を取得し、奥行検出部１０４から奥行検出値を取得する。フィルタ係数算出部１０５はこれらの情報に基づき、フィルタエリア毎にフィルタ係数を算出する。フィルタ係数の算出処理の詳細については後述する。フィルタ係数算出部１０５は、算出したフィルタ係数をフィルタ部１０６に出力する。フィルタ部１０６は、フィルタ係数算出部１０５が出力したフィルタ係数を用いて、第１画像データにフィルタ処理を施した第２画像データを出力する。つまり、フィルタ部１０６は画像記憶部１０１から出力された光線情報に対してフィルタエリア毎にフィルタ処理を行い、フィルタ処理後の光線情報をゲイン調整部１０８に出力する。フィルタ処理とは、フィルタエリアの各画素で検出した光線情報に対してフィルタ係数を乗算する処理のことである。図９を参照して、ある１つのフィルタエリアとフィルタ係数との関係を説明する。
【００２３】
図９（Ａ）において、フィルタは黒色の円形部で表されており、フィルタエリアの中心に位置する。一例として６行×６列の画素群を示す。図９（Ｂ）は、図９（Ａ）に示すフィルタの係数を例示する断面図である。横軸は画素位置を示し、縦軸はフィルタ係数を示す。フィルタエリアの中心部に位置する４画素分（画素位置２から５）のフィルタ係数の値が１であり、周辺部に位置する１画素分のフィルタ係数の値がそれぞれゼロである。したがって、図９に示すフィルタ係数を用いた場合、フィルタエリアの中心部の設定範囲（４画素分の直径をもつ円形部）で検出された光線情報のみが、再構築用のデータとして使用されることになる。
【００２４】
フィルタエリアの中心部では、イメージセンサに対する光線の入射角度が小さく、フィルタエリアの周辺部では、イメージセンサに対する光線の入射角度が大きい。すなわち、フィルタ係数に係る径（円形部の直径）が小さい場合には、入射角度が小さい光線情報だけを使って画像生成処理が行われる。よって、生成された画像はカメラの絞りを絞ったときのように暈け感が小さくなる。反対に、フィルタ係数に係る径が大きい場合には、入射角度が大きい光線情報を使って画像生成処理が行われる。よって、生成された画像はカメラの絞りを開いたときのように暈け感が大きくなる。
【００２５】
図８のゲイン値算出部１０７は、フィルタ係数算出部１０５で算出されたフィルタ係数値を取得し、フィルタ係数値に応じて、フィルタエリア毎にゲイン値を算出する。なお、ゲイン値の算出処理の詳細については後述する。ゲイン調整部１０８は、ゲイン値算出部１０７から出力されたフィルタエリア毎のゲイン値を取得する。ゲイン調整部１０８は、ゲイン値に応じて、フィルタ部１０６から出力されたフィルタ処理後の光線情報に対してゲイン調整を行う。ここで、ゲイン調整とは、フィルタ部１０６がフィルタ処理を施した光線情報に対して、ゲイン値算出部１０７が算出したゲイン値を乗算する処理のことである。これにより、最終的に再構築される画像において領域毎に不自然な露出の違いが生じることなく、画像全域において一様に自然な明るさを保つことが可能となる。
【００２６】
画像生成部１０９は、ゲイン調整部１０８がゲイン調整を施した光線情報と、描画部１０３から出力されたフォーカス位置情報に基づいて画像の再構築を行い、第３画像データを生成する。例えば、ユーザはフォーカス位置の調整用に表示されるＯＳＤ画面を参照して、ＯＳＤ画面上に構成されたスライドバー（操作用領域）を左側に移動させる操作を行う。この場合、カメラからの距離が近い位置に焦点が合うように画像を再構築する処理が行われる。また、ユーザがスライドバーを右側に移動させる操作を行った場合、カメラからの距離が遠い位置に焦点が合うように画像を再構築する処理が行われる。画像生成部１０９は再構築処理後の画像信号を表示部１１０に出力する。表示部１１０は、例えば、液晶式やプラズマ式などの表示デバイスを備え、画像生成部１０９が出力する第３画像データの画像信号にしたがって画像表示する。
【００２７】
次に、図１０から図１３を参照して画像処理装置１００の動作例を説明する。図１０は、画像処理装置１００によるＬＦ画像のフォーカス調整処理を説明するフローチャートである。図１１（Ａ）は、本実施形態においてフォーカス調整の対象とするＬＦ画像の表示例を示す。ＬＦ画像には、物体４０１（以下、第１被写体とする）、物体４０２（以下、第２被写体とする）、背景部４０３の各画像が含まれている。各被写体の奥行距離については、ＬＦカメラからの距離が近い順番に、物体４０１、物体４０２、背景部４０３となっている。
図１０のＳ３０１においてユーザは、ＬＦ画像の暈け具合を調整したい画像領域をポインティングデバイスなどによって選択し、表示されたＯＳＤ画面上での操作により暈け具合を決定する。例えば、ユーザは図１１の第２被写体４０２を、暈け具合の調整領域として選択する。図１１（Ｂ）は、Ｓ３０１にて暈け具合を調整する際の表示例を示す。説明の便宜上、ユーザは暈け具合を大・中・小の３段階で選択できるものとするが、それ以上の多段階での選択や数値での設定を行う形態でもよい。ユーザの選択した暈け具合が大きいほど、選択領域の暈け具合が多く調整され、ユーザの選択した暈け具合が小さいほど選択領域の暈け具合が少なく調整される。
【００２８】
Ｓ３０１でユーザ操作により暈け具合を調整する前の状態では、ＬＦ画像に対する被写界深度が一様に浅く設定されている場合を想定する。すなわち、Ｓ３０１でユーザが暈け具合を調整する前の状態では、図１１に示す第２被写体４０２は暈け具合が「大」の状態であるものとする。Ｓ３０１で暈け具合を調整する際に、図１１（Ｂ）に示すように、ユーザが第２被写体４０２の暈け具合を「小」に選択したとする。図１１（Ｂ）に示す黒点４０４は、ユーザが選択した領域を示しており、黒点４０４の右横には、ＯＳＤの表示部分４０５が提示される。表示部分４０５は、ユーザが選択した領域の奥行検出値を表示し、また暈け具合の選択用インタフェースを提供する。例えば、ユーザが選択した第２被写体４０２の領域の奥行検出値が５０である場合、図１１（Ｂ）に示すように表示部分４０５には 、「奥行は５０です」と表示される。また、ユーザが第２被写体４０２の暈け具合を選択する際の選択肢が表示枠４０６内に表示される。
【００２９】
図１２（Ａ）は、図１０のＳ３０１にてユーザが暈け具合を調整する前のフィルタ係数を、奥行検出値毎にグラフ表示した図である。横軸は奥行検出値を示し、縦軸はフィルタ係数算出部１０５が算出した各フィルタエリアのフィルタ係数の径を示している。前述の通り、Ｓ３０１でユーザが暈け具合を調整する前の状態では、被写界深度が一様に浅く設定されている。よって、フィルタ係数の径に関して奥行距離に対する変化はなく、一様に「大」の状態となる。なお、図１２（Ａ）において、各領域の奥行検出値は下記の通りである。
・近領域の奥行検出値＝０
・第１被写体４０１（フォーカス位置）の奥行検出値＝２０
・第２被写体４０２の奥行検出値＝５０
・遠領域の奥行検出値＝１００
【００３０】
次に、図１０のＳ３０２でフィルタ係数算出部１０５は、奥行検出部１０４から出力された奥行検出値に応じて各フィルタエリアのフィルタ係数を算出する。図１２（Ｂ）を参照して、Ｓ３０１で第２被写体４０２の暈け具合が「小」に設定された場合を説明する。
【００３１】
図１２（Ｂ）は、Ｓ３０１で第２被写体４０２の暈け具合が「小」に設定された後、Ｓ３０２にて算出されるフィルタ係数を奥行検出値毎にグラフ表示した図である。横軸は奥行検出値を示し、縦軸は各フィルタエリアのフィルタ係数の径を示す。ユーザ操作にしたがい、第２被写体４０２の暈け具合が「小」に設定されると、奥行検出値が５０である画像領域に相当するフィルタエリアについては、フィルタ係数の径が変更される。フィルタ係数算出部１０５は当該フィルタエリアのフィルタ係数の径が「小」となるように、フィルタ係数を算出する。そして、奥行検出値が２０から５０の間の画像領域に相当するフィルタエリアについては、奥行検出値が大きくなるにつれてフィルタ係数の径が大から小へと線形に変化するように変更される。奥行検出値が２０でフィルタ係数の径が大である点Ｐの位置座標を（２０，Ｌ）と表記し、奥行検出値が５０でフィルタ係数の径が小である点Ｑの位置座標を（５０，Ｓ）と表記すると、点Ｐと点Ｑとの間では一次関数式にしたがってフィルタ係数の径が変化する。さらに、奥行検出値が５０から１００の間の画像領域に相当するフィルタエリアについては、奥行検出値が大きくなるにつれてフィルタ係数の径が小から大へと線形に変化するように変更される。奥行検出値が１００でフィルタ係数の径が大である点Ｒの位置座標を（１００，Ｌ）と表記すると、点Ｑと点Ｒとの間では一次関数式にしたがってフィルタ係数の径が変化する。このように、フィルタ係数算出部１０５は、ユーザが選択した領域に対して設定されるフィルタ係数の径の変更に応じて、当該変更により影響を蒙る周囲領域（隣接する画像領域）におけるフィルタ係数を算出する。奥行検出値が０から２０の間の画像領域に相当するフィルタエリアに対するフィルタ係数ついての変更は行われない。つまり、図１０のＳ３０１で暈け具合が調整される前と同様に、奥行検出値０から２０の範囲ではフィルタ係数の径が「大」のまま保持される。
【００３２】
以上のようにして、Ｓ３０２でフィルタ係数算出部１０５は、画像内の全てのフィルタエリアに対してフィルタ係数を算出する。なお、本実施形態では、奥行検出値が２０から５０の間の画像領域、および、奥行検出値が５０から１００の間の画像領域にて、線形補間によりフィルタ係数の算出が行われる。ただし、これは例示であり、場合によっては線形に変化させる必要はないので、２次以上の関数式等を用いてフィルタ係数を算出してもよい。例えば、フィルタ係数の径が大または小となる奥行区間が長くなるように、移行区間において非線形に遷移するように算出処理を行ってもよい。また、ユーザが、暈け具合の選択肢を４以上の多段階に亘って詳細に設定可能な構成の場合、ユーザ操作によって選択領域を複数指定できるようにすることで、フィルタ係数の径を奥行距離に対して自由に遷移させることができる。
【００３３】
図１０のＳ３０３では、フィルタ係数算出部１０５が算出したフィルタエリア毎のフィルタ係数の値を用いて、フィルタ部１０６が光線情報に対してフィルタ処理を行う。フィルタ処理とは、フィルタエリアの各画素で検出した光線情報に対してフィルタ係数値を乗算する処理のことである。ここで、フィルタ処理によって得られる、最終表示画像への適用効果について説明する。図１２（Ｂ）に示すように、第１被写体４０１については、フィルタ係数の径は大である。この第１被写体４０１に焦点が合っているため、第１被写体４０１の画像領域の錯乱円径は小さくなる。従って、第１被写体４０１の暈け感は小さくなる。一方、第２被写体４０２については、ユーザが暈け具合の選択画面上で暈け具合が選択されているので、選択結果に応じてフィルタ係数が決定される。フィルタ係数算出部１０５が算出して決定したフィルタ係数と、フォーカス位置からの距離（奥行検出値の差）に応じて、暈け具合が決定される。例えば、第２被写体４０２のフィルタ係数の径と、第１被写体４０１のフィルタ係数の径とが同じ場合、第２被写体４０２の錯乱円径は第１被写体４０１（フォーカス位置）からの距離に応じて直線的に大きくなる。
【００３４】
図１１の例では、ユーザが第２被写体４０２の暈け具合を「小」に設定しているので、図１２（Ｂ）に示すように、第２被写体４０２の画像領域のフィルタ係数の径は小さくなる。従って、入射角度が小さい光線情報だけを使って画像が再構築されるので、第２被写体４０２の錯乱円径は小さくなり、結果として第２被写体４０２の暈け感は小さくなる。また、背景部４０３については、遠領域として奥行検出されるので、フィルタ係数の径は大である。そして、背景部４０３は第１被写体４０１（フォーカス位置）から距離が離れているので、錯乱円径が大きくなり、背景部４０３の暈け感は大きくなる。
以上のように、第１被写体４０１と背景部４０３の各画像部分の暈け具合を変えることなく、第２被写体４０２の暈け具合を調整することができる。
【００３５】
図１０のＳ３０４では、ゲイン値算出部１０７が、フィルタ係数算出部１０５から出力されたフィルタ係数に応じてフィルタエリア毎にゲイン値を算出する。具体的には、ゲイン値算出部１０７は以下の処理を実行する。
・フォーカス位置として指定されている第１画像領域に対応する、任意の１つのフィルタエリアのフィルタ係数の総和（ＳＦｉと記す）を算出し、これを基準値として設定する処理。
・第１画像領域以外の第２画像領域に対応する各フィルタエリアにおけるフィルタ係数の総和（ＳＯｉと記す）を算出する処理。
・ＳＦｉとＳＯｉの比率をゲイン値として算出する処理。
【００３６】
例えば、第１画像領域は、ゲイン調整前にて、第１被写体に対して焦点の合った画像を含む画像領域である。また、第２画像領域は、ゲイン調整前にて、第２被写体に対して焦点の合っていない画像を含む領域である。図１３にて、第１被写体４０１の画像領域が第１画像領域に相当し、第２被写体４０２の画像領域が第２画像領域に相当する場合を説明する。第１画像領域内の任意のフィルタエリア６０１と、第２画像領域内の任意のフィルタエリア６０２において、各フィルタ係数の径は異なっている。第１被写体４０１の画像領域（第１画像領域）に対応する任意の１つのフィルタエリア６０１に対して、黒色の円形部に示すように大径（４画素分の直径）のフィルタ係数が算出されているものとする。また、フォーカス位置ではない第２画像領域に対応する任意の１つのフィルタエリア６０２に対して、黒色の円形部に示すように小径（２画素分の直径）のフィルタ係数が算出されているものとする。
【００３７】
この場合、フィルタエリア６０１でのフィルタ係数の総和をＳＦ６０１と記すと、黒色の円形部で示す領域の面積に相当する。これは、黒色の円形部に寄与する画素の総数に対応し、ＳＦ６０１＝１６である。同様に、フィルタエリア６０２でのフィルタ係数の総和をＳＯ６０２と記すと、ＳＯ６０２＝４である。フィルタエリア６０２に対するゲイン値ＧＯ６０２は、フィルタエリア６０１におけるフィルタ係数の総和ＳＦ６０１と、フィルタエリア６０２におけるフィルタ係数の総和ＳＯ６０２との比率で算出され、ＧＯ６０２＝１６／４＝４となる。なお、フィルタエリア６０１に対するゲイン値ＧＦ６０１は、ＧＦ６０１＝１６／１６＝１である。
【００３８】
以上のように、図１０のＳ３０４では、ゲイン値算出部１０７が画像内の全てのフィルタエリアに対してゲイン値を算出する。本実施形態では、ゲイン値を、第１画像領域に対応する、任意の１つのフィルタエリアにおけるフィルタ係数の総和と、第２画像領域に対応する、任意の１つのフィルタエリアにおけるフィルタ係数の総和との比率として算出する例を説明した。ゲイン値の算出方法については、必ずしもフォーカス位置のフィルタエリアを基準として算出する処理に限定されない。例えば、処理対象であるフィルタエリア全面の面積を基準としてゲイン値を算出してもよいし、ユーザ操作により予め設定された基準面積を用いてゲイン値を算出してもよい。
【００３９】
続いて、Ｓ３０５では、Ｓ３０４にてゲイン値算出部１０７が算出したフィルタエリア毎のゲイン値を用いて、ゲイン調整部１０８が光線情報に対してゲイン調整を行う。ゲイン調整では、フィルタ処理を施した光線情報に対して、ゲイン値算出部１０７が算出したゲイン値を乗算する処理が実行される。例えば、図１３に示すフィルタエリア６０２において、フィルタ処理後の（黒色の円形部内の）画素データ値をＤ６０２［ｉ］（ｉ＝０，１，２，３）とし、ゲイン調整後の画素データ値をＤg６０２［ｉ］（ｉ＝０，１，２，３）とする。この場合、Ｄg６０２［ｉ］＝ＧＯ６０２×Ｄ６０２［ｉ］にしたがってゲイン調整が行われる。これにより、図１３のフィルタエリア６０２に相当する第２画像領域（第２被写体４０２の画像領域）では、ゲイン調整前に比べて、ゲイン調整後に明るくなった画像データが得られることになる。
【００４０】
以上のように、所定のフィルタ係数（本実施形態では、フォーカス位置に相当するフィルタエリアのフィルタ係数）を基準として、各フィルタエリアに対するゲイン値が決定される。決定されたゲイン値に基づいて画像データのゲイン調整が行われるため、画像全域において一様に自然な明るさを保つことができる。換言すれば、最終的に再構築される画像データにおいて、フィルタエリア毎の不自然な露出の違いが発生しないか、またはその度合いを抑制することができる。
【００４１】
その後、図１０のＳ３０６にて画像生成部１０９は、Ｓ３０５でゲイン調整部１０８がゲイン調整した後の光線情報に基づき、予め指定されたフォーカス位置および暈け具合が反映された画像データを再構築する。最後に、Ｓ３０７で画像生成部１０９は、Ｓ３０６において再構築した第３画像データを表示部１１０に出力して、表示部１１０の画面に画像表示させる。
【００４２】
本実施形態によれば、ＬＦ画像のフォーカス調整を行う場合に、画像の奥行毎に錯乱円径を自由に調整でき、さらには同一画像内の所々で不自然な露出の違いが生じることのない画像処理装置およびその制御方法を実現できる。ひいては、ユーザに対して暈け感の調整の自由度を提供することにより、利便性を向上させた好適な画像処理環境を提供可能となる。なお、本実施形態では、ＬＦ画像の取得装置の一例として、撮像光学系からの光束をマイクロレンズアレイにより分割してイメージセンサで検出することにより、異なる方向の光を検出するＬＦカメラを説明した。しかし、ＬＦ画像の取得装置の構成はこれに限るものではなく、例えば、多眼カメラにより、異なる方向の光を検出してもよい。また、説明の便宜上、ユーザが暈け具合を指定可能な選択領域の数を１つとして説明したが、ユーザにより指定可能な選択領域は複数でもよい。その際には、フォーカス位置と遠領域または近領域、およびユーザが選択した画像領域でのフィルタ係数の径を基準として、移行区間でのフィルタ係数の径を奥行に応じて線形または非線形に変化させる処理が行われる。これにより、ユーザ操作にしたがって暈け具合を自由に調整することができる。
【００４３】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４４】
１００  画像処理装置
１０１  画像記憶部
１０４  奥行検出部
１０５  フィルタ係数算出部
１０６  フィルタ部
１０７  ゲイン値算出部
１０８  ゲイン調整部
１０９  画像生成部
【図１】
2015228619.tif 000005
【図２】
2015228619.tif 000006
【図３】
2015228619.tif 000007
【図４】
2015228619.tif 000008
【図５】
2015228619.tif 000009
【図６】
2015228619.tif 000010
【図７】
2015228619.tif 000011
【図８】
2015228619.tif 000012
【図９】
2015228619.tif 000013
【図１０】
2015228619.tif 000014
【図１１】
2015228619.tif 000015
【図１２】
2015228619.tif 000016
【図１３】
2015228619.tif 000017