(57)【要約】      （修正有）【課題】撮影した画像にて画像領域ごとにピント状態を詳細に調整できるようにする。【解決手段】画像処理装置は、画像領域の選択および選択した画像領域のピント状態の設定を行う操作部２を備える。奥行検出部４は撮像装置から光線情報および方向情報を取得して画像領域の奥行検出値を算出する。フィルタ処理部は光の強度を示す光線情報のエリアごとにフィルタ処理を施すフィルタ部６と、各エリアのフィルタの係数を算出するフィルタ係数算出部５を有する。フィルタ係数算出部５は、操作部２により選択された画像領域と該領域に設定されたピント状態と、画像領域の奥行検出値に従って画像領域に係るフィルタ係数を算出し、画像領域ごとに錯乱円径を調整する処理を行う。フィルタ係数の情報を用いてフィルタ部６は光線情報にフィルタ処理を施す。画像生成部７はフィルタ処理後の光線情報および方向情報を取得し、画像データを再構築して表示部８に出力する。【選択図】図１
2014017544.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像に係る光の強度を示す光線情報および光線の方向情報を取得して、ピント状態を指定した画像データを再構築することが可能な画像処理装置であって、
画像領域の選択および選択した画像領域のピント状態の設定操作を行う操作手段と、
前記光線情報および方向情報を取得して画像領域の奥行検出値を算出する奥行検出手段と、
前記操作手段により選択された画像領域を示す信号および前記奥行検出手段により算出された奥行検出値を取得し、前記選択された画像領域に設定されたピント状態に従って当該画像領域に係るフィルタ係数を算出して前記光線情報にフィルタ処理を施すフィルタ処理手段と、
前記フィルタ処理手段がフィルタ処理を施した前記光線情報、および前記方向情報を取得して画像データを再構築する画像生成手段と、
前記画像生成手段が生成した画像データを出力する出力手段を備えることを特徴とする画像処理装置。
【請求項２】
前記フィルタ処理手段は、合焦状態にある画像領域と、前記選択された画像領域よりも奥行検出値が撮像装置に近い第１領域と、前記選択された画像領域よりも奥行検出値が撮像装置から遠い第２領域とに係るそれぞれの奥行検出値を前記奥行検出手段から取得し、領域ごとにフィルタ係数を算出して各領域に係る錯乱円径を調整する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ処理手段は、前記光線情報のエリアごとにフィルタ係数を変更する場合、フィルタ係数の値が閾値よりも大きい範囲を該フィルタ係数の径として変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記フィルタ処理手段は、合焦状態にある画像領域に係る第１奥行検出値と、前記選択された画像領域に係る第２奥行検出値を前記奥行検出手段から取得し、前記第２奥行検出値が前記第１奥行検出値より大きい場合、前記第２領域に係るフィルタ係数の径と、前記選択された画像領域に係るフィルタ係数の径との間で、前記フィルタ係数の径を線形に変化させて調整する処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記フィルタ処理手段は、合焦状態にある画像領域に係る第１奥行検出値と、前記選択された画像領域に係る第２奥行検出値を前記奥行検出手段から取得し、前記第２奥行検出値が前記第１奥行検出値以下である場合、前記第１領域に係るフィルタ係数の径と、前記選択された画像領域に係るフィルタ係数の径との間で、前記フィルタ係数の径を線形に変化させて調整する処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記フィルタ処理手段は、前記合焦状態にある画像領域に係るフィルタ係数の径と、前記選択された画像領域に係るフィルタ係数の径との間で、前記フィルタ係数の径を線形に変化させて調整する処理を行うことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
画像全体の絞り値の設定操作を行う操作手段をさらに備え、
前記フィルタ処理手段は、前記操作手段により設定された前記絞り値に従って、前記フィルタ係数の径を一律に変更することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
撮像光学系から複数のマイクロレンズを介してそれぞれ入射する光を電気信号に変換する複数の光電変換手段を備える撮像装置から前記光線情報および方向情報を取得して記憶し、前記フィルタ処理手段に前記光線情報および方向情報を出力する記憶手段を備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
撮像された画像に係る光の強度を示す光線情報および光線の方向情報を取得して、ピント状態を指定した画像データを再構築することが可能な画像処理装置にて実行される制御方法であって、
画像領域の選択および選択した画像領域のピント状態の設定操作を行う操作ステップと、
前記光線情報および方向情報を取得して画像領域の奥行検出値を算出する奥行検出ステップと、
前記操作ステップで選択された画像領域を示す信号および前記奥行検出ステップで算出された奥行検出値を取得し、前記選択された画像領域に設定されたピント状態に従って当該画像領域に係るフィルタ係数を算出して前記光線情報にフィルタ処理を施すフィルタ処理ステップと、
前記フィルタ処理ステップでフィルタ処理を施した前記光線情報、および前記方向情報を取得して画像データを再構築する画像生成ステップと、
前記画像生成ステップで生成した画像データを出力する出力ステップを有することを特徴とする画像処理装置の制御方法。
【請求項１０】
前記フィルタ処理ステップでは、合焦状態にある画像領域と、前記選択された画像領域よりも奥行検出値が撮像装置に近い第１領域と、前記選択された画像領域よりも奥行検出値が撮像装置から遠い第２領域とに係るそれぞれの奥行検出値を取得し、領域ごとにフィルタ係数を算出して各領域に係る錯乱円径を調整する処理を行うことを特徴とする請求項９に記載の画像処理装置の制御方法。
【請求項１１】
前記フィルタ処理ステップでは、前記光線情報のエリアごとにフィルタ係数を変更する場合、フィルタ係数の値が閾値よりも大きい範囲を該フィルタ係数の径として変更することを特徴とする請求項１０に記載の画像処理装置の制御方法。
【請求項１２】
前記フィルタ処理ステップでは、合焦状態にある画像領域に係る第１奥行検出値と、前記選択された画像領域に係る第２奥行検出値を取得し、前記第２奥行検出値が前記第１奥行検出値より大きい場合、前記第２領域に係るフィルタ係数の径と、前記選択された画像領域に係るフィルタ係数の径との間で、前記フィルタ係数の径を線形に変化させて調整する処理を行うことを特徴とする請求項１１に記載の画像処理装置の制御方法。
【請求項１３】
前記フィルタ処理ステップでは、合焦状態にある画像領域に係る第１奥行検出値と、前記選択された画像領域に係る第２奥行検出値を取得し、前記第２奥行検出値が前記第１奥行検出値以下である場合、前記第１領域に係るフィルタ係数の径と、前記選択された画像領域に係るフィルタ係数の径との間で、前記フィルタ係数の径を線形に変化させて調整する処理を行うことを特徴とする請求項１１に記載の画像処理装置の制御方法。
【請求項１４】
前記フィルタ処理ステップでは、前記合焦状態にある画像領域に係るフィルタ係数の径と、前記選択された画像領域に係るフィルタ係数の径との間で、前記フィルタ係数の径を線形に変化させて調整する処理を行うことを特徴とする請求項１２または１３に記載の画像処理装置の制御方法。
【請求項１５】
画像全体の絞り値の設定操作を行う操作ステップをさらに有し、
前記フィルタ処理ステップでは、前記操作ステップで設定された前記絞り値に従って、前記フィルタ係数の径を一律に変更することを特徴とする請求項９から１４のいずれか１項に記載の画像処理装置の制御方法。
【請求項１６】
撮像光学系から複数のマイクロレンズを介してそれぞれ入射する光を電気信号に変換する複数の光電変換手段を備える撮像装置から前記光線情報および方向情報を取得して記憶手段に記憶するステップをさらに備え、
前記フィルタ処理ステップでは前記記憶手段から前記光線情報および方向情報を取得することを特徴とする請求項９から１５のいずれか１項に記載の画像処理装置の制御方法。
【請求項１７】
請求項９から１６のいずれか１項に記載の、画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のピント調整の自由度を向上させる画像処理技術に関する。
【背景技術】
【０００２】
近年、ライトフィールドカメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上に配置したマイクロレンズアレイによって入射光を分割することにより、複数の方向の光を撮影して光線情報を得ることができる。撮影後に光の強度と光の入射方向に基づいて所定の計算処理を実行することによって、任意の視点での画像や任意の位置にピントを合わせた画像を生成（再構築）できる。また、撮影画像内の奥行、すなわち複数の被写体の前後方向における位置関係を検出できる。光線情報を利用した撮影後の計算処理により、任意の画像を構築できることがライトフィールドカメラの利点である。
ライトフィールドカメラで撮影した画像の被写界深度を調整し、画像のボケ具合を調整する技術が知られている。特許文献１に開示の撮像装置は、撮像素子で得られた複数の画素データに対し、光線情報の進行方向に応じて重みづけ処理を行った後で画像を再構築する。撮影時に開口絞りを調節することなく、様々なボケ具合の画像を得ることが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１５９３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の装置では、撮影した画像において被写体のピント状態を詳細に調整することができないという問題がある。前記特許文献１に記載の技術では、画像のボケ具合の指標となる錯乱円径が、合焦状態でのフォーカスレンズ位置（以下、フォーカス位置という）からの距離に対して線形的に決定されてしまう。つまり、フォーカス位置からの距離が大きくなるにつれて錯乱円径は１次関数に従って大きくなってしまう。そのため、ユーザは、カメラから被写体までの距離ごとにピント状態を緻密に調整する操作を行えない。例えば、撮影後の画像において、フォーカス位置から距離の遠い背景部のボケ具合を変えずに、中間距離に位置する被写体のボケ具合を調整することはできない。
本発明は、撮影した画像にて画像領域ごとにピント状態を詳細に調整できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る装置は、撮像された画像に係る光の強度を示す光線情報および光線の方向情報を取得して、ピント状態を指定した画像データを再構築することが可能な画像処理装置であって、画像領域の選択および選択した画像領域のピント状態の設定操作を行う操作手段と、前記光線情報および方向情報を取得して画像領域の奥行検出値を算出する奥行検出手段と、前記操作手段により選択された画像領域を示す信号および前記奥行検出手段により算出された奥行検出値を取得し、前記選択された画像領域に設定されたピント状態に従って当該画像領域に係るフィルタ係数を算出して前記光線情報にフィルタ処理を施すフィルタ処理手段と、前記フィルタ処理手段がフィルタ処理を施した前記光線情報、および前記方向情報を取得して画像データを再構築する画像生成手段と、前記画像生成手段が生成した画像データを出力する出力手段を備える。
【発明の効果】
【０００６】
本発明によれば、画像領域ごとにピント状態を詳細に調整することができる。
【図面の簡単な説明】
【０００７】
【図１】図２ないし図７と併せて本発明の第１実施形態を説明するために、装置の構成例を示すブロック図である。
【図２】ライトフィールドカメラの構成例を示す図である。
【図３】マイクロレンズアレイ及びイメージセンサの配置例を示す図である。
【図４】フィルタエリアを例示する図（Ａ）と、フィルタ係数を断面で示すグラフ（Ｂ）である。
【図５】画像記憶部に記憶された画像データの表示例（Ａ）と、ユーザが領域を選択した際の表示例（Ｂ）を示す図である。
【図６】画像のボケ具合を調整する処理例を説明するフローチャートである。
【図７】奥行検出値とフィルタ係数の径との関係を例示するグラフである。
【図８】本発明の第２実施形態において画像全体の絞り値を選択する際の表示例を示す図である。
【図９】本発明の第２実施形態における奥行検出値とフィルタ係数の径との関係を例示するグラフである。
【発明を実施するための形態】
【０００８】
本発明の各実施形態について、添付図面を参照して説明する。以下では、画像処理装置の一例として、コンピュータ及び該コンピュータ上で動作するアプリケーションを含むシステムを説明するが、本発明は撮像装置や情報処理装置などに幅広く適用可能である。
【０００９】
［第１実施形態］
図１は、第１実施形態に係る画像処理装置の構成例を示すブロック図である。
画像記憶部１は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリーカードなどの記憶装置を備える。画像記憶部１は、ライトフィールドカメラなどの撮像装置で撮影した画像データを記憶する。
【００１０】
図２はライトフィールドカメラの構成例を示す。撮像光学系を構成する撮像レンズ１１を通過してマイクロレンズアレイ１２に入射した被写体からの光は、イメージセンサ１３によって光電変換されて電気信号となり、画像データとして記憶部１４に保存される。撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は交換可能であり、撮像装置１０の本体部に装着して使用する。ユーザは撮像レンズ１１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ１２は、微小レンズ（マイクロレンズ）を格子状に配列して構成されており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２を構成する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割後の光をイメージセンサ１３に出力する。撮像部を構成するイメージセンサ１３は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。イメージセンサ１３の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。
【００１１】
図３は、マイクロレンズアレイ１２及びイメージセンサ１３の配置例を示す。図３（Ａ）は正面図であり、図３（Ｂ）は構成の概略図である。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素が対応するように配置される。以下では、１個のマイクロレンズに対応する、イメージセンサ１３の画素領域を「フィルタエリア」と呼ぶ。被写体から撮像レンズ１１に入射した光は、マイクロレンズによって複数の方向に分割され、分割後の光はイメージセンサ１３の各画素にそれぞれ入射する。そのため、イメージセンサ１３の各画素にて異なる方向からの光の強度（光線情報）を検出することができる。また、各マイクロレンズとイメージセンサ１３の各画素の位置関係に応じて、マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向（方向情報）が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。
【００１２】
マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている（前記特許文献１参照）。
【００１３】
以上のように、撮像装置１０は光線情報と方向情報を取得し、光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置や視点での画像データを生成できる。図２に示す記憶部１４は、メモリーカードなどの書き換え可能な記憶媒体を備え、イメージセンサ１３の各画素で検出した光線情報と、各画素に入射する光の角度を示す方向情報を記憶する。
【００１４】
図１に戻って説明を続けると、画像記憶部１は、図２に示すライトフィールドカメラで撮影した画像情報、すなわち光線情報と方向情報を記憶する。画像記憶部１は、光線情報と方向情報を、奥行検出部４、フィルタ係数算出部５、フィルタ部６、および画像生成部７に出力する。
操作部２は、例えば、ポインティングデバイスやキーボードなどを用いた入力および設定用のインタフェース部である。操作部２は、マウスなどによるユーザの操作情報を描画部３に出力する。描画部３は、操作部２からの操作情報に応じて、図形や文字などのＯＳＤ（On Screen Display）に係る描画処理を行い、表示データを表示部８に出力する。ユーザは操作部２を使用することにより、表示部８の画面上に表示する画像を調整できる。例えば、ユーザがフォーカス位置調整用バーに係るＯＳＤのオブジェクトをマウスで操作すると、表示画像のフォーカス位置を調整できる。この際、描画部３は、ユーザの設定操作により設定したフォーカス位置の設定値を、フィルタ係数算出部５と画像生成部７に出力する。また、ユーザがピント状態調整用のＯＳＤのオブジェクトをマウスで操作して所望のピント状態を選択すると、表示画像のボケ具合（ピントが合っていない状態を示す度合い）を調整できる。この際、描画部３は、ユーザが画像のピント状態を調整した領域の情報と、選択したピント状態の設定値を、フィルタ係数算出部５に出力する。
【００１５】
奥行検出部４は、画像内の被写体の前後関係（奥行方向の位置関係）を検出する。奥行量は、カメラから被写体までの距離（以下、被写体距離という）に相当する。奥行検出部４は、画像記憶部１から光線情報と方向情報を取得し、フィルタエリアごとに被写体距離を示す奥行検出値を算出する。奥行検出値については、例えば、光線情報及び方向情報から２つ以上の異なる視点での画像データを生成し、生成した画像データ同士を比較して対応する画像領域の位置ズレを検出することで算出できる。奥行検出値はカメラの位置を基準とする前後方向の相対的な距離関係を示し、例えば、０から１００の値で表される。画像内で得られる奥行検出値のうち、カメラに最も近い位置を０とし、カメラの位置から最も遠い位置を１００とする。ここで、奥行検出値が０であって、カメラの位置に最も近い画像領域（第１領域）を近領域と呼ぶ。また、奥行検出値が１００であって、撮影場所から最も遠い画像領域（第２領域）を遠領域と呼ぶ。奥行検出部４は、算出した奥行検出値をフィルタ係数算出部５と描画部３に出力する。
フィルタ係数算出部５はフィルタ部６とともにフィルタ処理手段を構成し、フィルタエリアごとのフィルタ係数を算出する。フィルタ係数算出部５は、画像記憶部１から光線情報と方向情報を取得し、描画部３からフォーカス位置と、ユーザ操作で選択した領域と、ピント状態などの各情報を取得し、奥行検出部４から奥行検出値を取得する。フィルタエリアごとに算出したフィルタ係数の情報はフィルタ部６に出力され、フィルタ処理に使用される。なお、フィルタ係数の算出方法の詳細については後述する。フィルタ部６は、フィルタ係数算出部５が出力するフィルタ係数を用いて、光線情報に対してフィルタエリアごとにフィルタ処理を行う。フィルタ処理後の光線情報は画像生成部７に出力される。
【００１６】
図４（Ａ）は、図３に示す複数のフィルタエリアのうちの１つを例示する。フィルタ機能を有する部分は黒塗りの円形で表されており、フィルタエリアの中心部に位置する。図４（Ｂ）は、図４（Ａ）に示すフィルタの係数を断面で示すグラフである。横軸は画素位置を示し、縦軸はフィルタ係数を示す。図４（Ｂ）に示す例では、中心部の３画素分（画素位置２から４参照）についてのフィルタ係数値が１であり、その周辺画素（画素位置１および５参照）のフィルタ係数値がゼロである。フィルタ係数値が閾値以上の範囲（Ｄ参照）を、以下ではフィルタ係数の径という。図４（Ｂ）の例で閾値を１とした場合、フィルタ係数の径は３である。
【００１７】
フィルタ部６は、フィルタエリアの各画素で検出した光線情報とフィルタ係数を乗算する。例えば、フィルタ係数の値が中心部で１であって周辺部でゼロの場合、フィルタエリアの中心部を含む範囲内の画素で検出された光線情報だけを用いて画像データが再構築される。フィルタエリアに対応するマイクロレンズの中心部ではイメージセンサ１３に対する光線の入射角度が小さく、また周辺部ではイメージセンサ１３に対する光線の入射角度が大きい。すなわち、フィルタ係数の径が小さい場合、入射角度が小さい光線情報だけを使って画像データが生成されるので、恰もカメラの絞りを絞ったかのように錯乱円径が小さくなり、画像のボケ感が小さくなる。ボケ感とはピントが合っていない状態の像をユーザが視認する際の感覚量を表し、ピントの合っている状態ほどボケ感が小さい。反対にフィルタ係数の径が大きい場合、入射角度が大きい光線情報を使って画像データが生成されるので、恰もカメラの絞りを開いたかのように錯乱円径が大きくなり、画像のボケ感が大きくなる。
【００１８】
画像生成部７は、フィルタ部６によってフィルタ処理を施した光線情報と、画像記憶部１が記憶する方向情報とに基づいて画像データを再構築により生成する。画像生成部７は、ユーザが操作部２で指定したフォーカス位置に従って、生成する画像データのフォーカス位置（奥行）を変更する。例えば、ユーザが表示画面上でフォーカス位置を設定するスライドバーを左側に移動させる操作を行った場合、画像生成部７はカメラからの距離が近い位置にピントが合うように画像データを再構築する。また、ユーザがスライドバーを右側に移動させる操作を行った場合、画像生成部７はカメラからの距離が遠い位置にピントが合うように画像データを再構築する。
表示部８は液晶パネルやプラズマディスプレイなどである。画像処理装置内に表示部８を備える形態と、外部表示装置を接続して使用する形態があり、後者の場合、画像データなどの出力部が設けられる。表示部８は、画像生成部７が出力する画像データに対して、描画部３が出力するＯＳＤの表示データを重ねて表示する。ユーザは表示部８の画面上に、画像生成部７が生成した画像と、描画部３が描画したＯＳＤの表示画像を重なった状態で見ることができる。
なお、装置全体を制御するシステム制御部やその他の構成部が設けられているが、それらについては詳細な説明を省略する。
【００１９】
次に、本実施形態の動作例を説明する。
図５（Ａ）は、画像記憶部１に記憶された画像データの表示例を示す。画像枠１００内には、物体１０１、物体１０２、背景部１０３を撮影した場合の画像データを模式的に示す。カメラからの距離が近い順番に物体１０１、物体１０２、背景部１０３とする。
図６は、図５（Ａ）に示す画像のピント状態を調整する際の画像処理装置の動作例を説明するフローチャートである。
図６のＳ５１において、画像のボケ具合を調整したい領域をマウスで右クリックするユーザ操作が行われる。一例として、ユーザが物体１０２の領域をマウスで右クリックした場合を説明する。画像のボケ具合を調整したい領域の選択操作が行われると、Ｓ５２に処理を進め、描画部３はＯＳＤの情報を画面に表示させる処理を行う。ユーザが領域を選択する際に表示されるＯＳＤの表示画面例を図５（Ｂ）に示す。黒点１０４を付して示す領域は、ユーザがマウスを右クリックして選択した領域（以下、選択領域という）である。黒点１０４の右横には、選択領域の奥行検出値を示すＯＳＤ情報１０５が表示される。図５（Ｂ）の例では、選択領域の奥行検出値が５０の場合、「奥行は５０です」と表示される。また、ＯＳＤ情報１０５の下には、画像のボケ具合を選択するためのＯＳＤ情報１０６がユーザに提示される。ＯＳＤ情報１０６は、選択領域の画像のボケ具合を選択するための情報であり、ユーザは大・中・小の選択肢から選択することができる。「大」が選択されると選択領域のボケ具合が大きくなるように調整され、「小」が選択されると選択領域のボケ具合が小さくなるように調整される。
【００２０】
Ｓ５３において、ユーザは選択画面で画像のボケ具合を選択する。例えば、ユーザがボケ具合として「小」を選択したとすると、その操作情報は操作部２から描画部３に通知される。Ｓ５４でフィルタ係数算出部５は、合焦状態にあるフォーカス位置での第１奥行検出値と、Ｓ５１で選択された選択領域に係る第２奥行検出値とを比較する。比較の結果、第２奥行検出値が第１奥行検出値よりも大きい場合、Ｓ５５に処理を進める。また、第２奥行検出値が第１奥行検出値以下の場合、Ｓ５６に処理を進める。Ｓ５５にてフィルタ係数算出部５は遠領域を基準とする。また、Ｓ５６にてフィルタ係数算出部５は近領域を基準とする。Ｓ５５、Ｓ５６の後、Ｓ５７に進み、フィルタ係数算出部５は、奥行検出部４が出力する奥行検出値に応じて各フィルタエリアのフィルタ係数を算出する。
【００２１】
図７（Ａ）は、選択領域での奥行検出値がフォーカス位置での奥行検出値よりも大きい場合に、奥行検出値とフィルタ係数の径との関係を例示する。横軸は奥行検出値を示し、近領域での値は０、フォーカス位置での値は２０、選択領域での値は５０、遠領域での値は１００である。縦軸は、フィルタ係数算出部５が算出する各フィルタエリアのフィルタ係数の径を示す。
各フィルタエリアに対応する画像領域の奥行検出値が０から２０までの場合、当該フィルタエリアのフィルタ係数の径を「大」とする。また、Ｓ５３において、選択領域のボケ具合は「小」に選択されているので、奥行検出値が選択領域での値と同じ５０であるフィルタエリアのフィルタ係数の径を「小」とする。フィルタエリアに対応する画像領域での奥行検出値が２０から５０の間である領域では、奥行検出値が大きくなるにつれてフィルタ係数の径が「大」から「小」へ線形に変化し、負の傾きをもつ１次関数式で表される。また、フィルタエリアに対応する画像領域での奥行検出値が５０から１００の間である領域では、奥行検出値が大きくなるにつれてフィルタ係数の径が「小」から「大」へ線形に変化し、正の傾きをもつ１次関数式で表される。
【００２２】
図７（Ｂ）は、選択領域での奥行検出値がフォーカス位置での奥行検出値よりも小さい場合に、奥行検出値とフィルタ係数の径との関係を例示する。横軸に示す奥行検出値は、近領域で０、選択領域で５０、フォーカス位置で７０、遠領域で１００である。縦軸には、フィルタ係数算出部５が算出する各フィルタエリアのフィルタ係数の径を示す。
各フィルタエリアに対応する画像領域での奥行検出値が０から５０までの場合、当該フィルタエリアのフィルタ係数の径は、奥行検出値に応じて「大」から「小」へ線形に変化し、負の傾きをもつ１次関数式で表される。また、Ｓ５３にて選択領域のボケ具合が「小」に設定されているので、奥行検出値が選択領域と同じ５０であるフィルタエリアのフィルタ係数の径は「小」とする。フィルタエリアに対応する画像領域での奥行検出値が５０から７０の間である領域では、奥行検出値が大きくなるにつれてフィルタ係数の径が「小」から「大」へ線形に変化し、正の傾きをもつ１次関数式で表される。フィルタエリアに対応する画像領域での奥行検出値が７０から１００の間である領域では、フィルタ係数の径は「大」とする。こうしてフィルタ係数算出部５は画像内の全てのフィルタエリアに対してフィルタ係数を算出する。
なお、この例ではフィルタ係数の径を３段階として説明したが、これをより詳細に設定できるようにし、２次以上の関数式を用いる実施形態でもよい。図７（Ｃ）に、選択領域での奥行検出値がフォーカス位置での奥行検出値よりも大きい場合に、奥行検出値とフィルタ係数の径との関係が２次以上の関数式で表される例を示す。この場合、フィルタエリアに対応する画像領域での奥行検出値が２０と５０との間である領域では、奥行検出値が大きくなるにつれてフィルタ係数の径が「大」から「小」へ非線形（曲線的）に変化し、３次関数式で表される。また、フィルタエリアに対応する画像領域での奥行検出値が５０と１００との間である領域では、奥行検出値が大きくなるにつれてフィルタ係数の径が「小」から「大」へ非線形（曲線的）に変化し、２次関数式で表される。
【００２３】
図６のＳ５８にて、フィルタ部６はＳ５７でフィルタ係数算出部５が算出したフィルタエリアごとのフィルタ係数を用いて、画像データの光線情報にフィルタ処理を施す。Ｓ５９で画像生成部７は、Ｓ５８でフィルタ部６がフィルタ処理を行った後の光線情報と、画像データの方向情報と、指定されたフォーカス位置の情報を用いて、当該フォーカス位置にピントが合った画像データを再構築する。Ｓ６０にて画像生成部７は、Ｓ５９で再構築した画像データを表示部８に出力して表示画面に画像を表示させる。
【００２４】
図５（Ａ）に示す画像データにおいて、例えば、物体１０１にピントが合っており、ユーザが物体１０２を選択してボケ具合を「小」に設定した場合を想定する。図６に示すフローチャートの処理の実行後、フィルタ係数の径は図７（Ａ）のようになる。この場合、フォーカス位置での距離にある物体１０１については、フィルタ係数の径が「大」であるが、物体１０１にピントが合っているので物体１０１の画像領域での錯乱円径は小さい。従って、物体１０１の像はボケ感が小さい。一方、物体１０２の場合、フィルタ係数の径は、ユーザが選択画面で選択したボケ具合で決定される。物体１０２に係るフィルタ係数の径が、物体１０１に係るフィルタ係数の径と同じであれば、物体１０２に係る錯乱円径は物体１０１（に相当するフォーカス位置）からの距離に応じて線形的に大きくなる。しかし、ユーザ操作による選択ではボケ具合が「小」に設定されているので、物体１０２の画像領域でのフィルタ係数の径は小さい。そのため、入射角度が小さい光線情報だけを使って画像データが生成されるので、物体１０２に係る錯乱円径は小さくなり、画像のボケ感は小さくなる。背景部１０３は遠領域として奥行が検出されるため、背景部１０３に係るフィルタ係数の径は「大」になる。つまり、背景部１０３は物体１０１から遠くが離れているので、奥行検出値はフォーカス位置からの距離が大きく、錯乱円径が大きくなる。そのため、背景部１０３はボケ感が大きくなる。すなわち、図６に示すフローチャートの処理の実行後、物体１０１と背景部１０３の錯乱円径は変わらないのでボケ感は変わらないが、物体１０２はユーザ操作に応じて錯乱円径が変化し、画像のボケ具合が調整されてボケ感が小さくなる。
【００２５】
以上に説明した処理は、ピント状態を指定した画像データを計算処理によって再構築する画像処理装置にてソフトウェア処理で実行することもできる。この場合、画像処理用のコンピュータプログラムがメモリから読み出されてＣＰＵ（中央演算処理装置）により、以下の処理が実行される。
操作ステップにて、画像領域の選択および選択した画像領域のピント状態の設定が行われ、画像記憶部１から取得した光線情報および方向情報に基づいて、画像領域の奥行検出値を算出する奥行検出ステップが実行される。操作ステップで選択された画像領域を示す信号と、奥行検出ステップで算出された奥行検出値に基づいて、前記画像領域に設定されたピント状態に従って当該画像領域に係るフィルタ係数が算出される。つまり、ユーザによる設定操作に従って、被写体距離ごとに錯乱円径を調整することにより、詳細なピント調節を行える。フィルタ部６はフィルタ係数算出部５の出力するフィルタエリアごとのフィルタ係数を用いて、フィルタ処理ステップを実行する。画像生成部７はフィルタ処理を施された光線情報と、方向情報を取得して画像データを再構築し、生成した画像データは表示部８に出力される。
【００２６】
第１実施形態によれば、ユーザ操作に従って画像内での奥行ごとに錯乱円径を自由に調整できるため、ボケ具合の調整の自由度が向上する。
なお、本実施形態においては、ユーザが指定する選択領域を１つとして説明したが、選択領域は複数でもよい。その際、ピントが合った位置と、遠領域または近領域と、選択領域でのそれぞれのフィルタ係数の径を基準として、その間におけるフィルタ係数の径を奥行検出値に応じて変化させることで画像のボケ具合を自由に調整できる。
【００２７】
［第２実施形態］
次に、本発明の第２実施形態を説明する。第２実施形態では、選択領域に対してボケ具合を調整する機能に加えて、画像全体の絞り値を調整する機能を有する装置について説明する。なお、第１実施形態の場合と同様の構成要素については既に使用した符号を用いることでそれらの詳細な説明を省略し、主として相違点を説明する。
ユーザ操作によって画像全体の絞り値を設定する際の動作を説明する。画像全体の絞り値を選択する際のＯＳＤ情報の表示例を図８に示す。なお、画像記憶部１に記憶された画像データ例は図５（Ａ）に示す通りであり、例えば、図７（Ａ）で説明したようにユーザの指定した選択領域でピント状態が調整される。
ＯＳＤ情報１０７は、絞り値の設定操作を行うための選択画面または入力画面としてユーザに提示される。この画面を参照してユーザは、例えば、絞り値を１０％、３０％、５０％、７０％、１００％の中から選択できる。絞り値１００％は絞らない（開放）状態を表し、絞り値の数字が小さくなるにつれて絞りの開口（フィルタ係数の径に相当）が絞られていくものとする。絞り値１００％が設定された場合、対象画像はボケ感が多い画像に調整され、絞り値を小さい値に設定すると、ボケ感の小さい画像に調整される。
【００２８】
例えば、図８に示す絞り値の選択画面（ＯＳＤ情報１０７参照）において、ユーザが絞り値５０％を選択した場合、フィルタ係数算出部５は、各フィルタエリアのフィルタ係数の径を一律に５０％小さくする。絞り値を５０％に調整する際のフィルタ係数の径を、図９に示す。破線１１０のグラフは絞り値を調整する前（絞り値１００％）のフィルタ係数の径を示す。実線１１１のグラフは絞り値を５０％に調整した後のフィルタ係数の径を示す。絞り値を５０％に調整した後では、フィルタ係数の径（実線１１１参照）が、調整前のフィルタ係数の径（破線１１０参照）と比べて一律に小さくなっている。すなわち、絞り値を示す百分率はフィルタ係数の径に関する縮小率を表しており、フィルタ係数の径が小さくなると、入射角度の小さい光線のみを使って画像データが再構築されるので画像のボケ感が小さくなる。絞り値を調整した後で、図９に示すように選択領域でのフィルタ係数の径は、フォーカス位置や遠領域でのフィルタ係数の径よりも小さいため、ボケ感がさらに小さくなるように調整される。
第２実施形態によれば、画像全体の絞り値の設定操作により各フィルタ係数の径を同じ比率で調整しつつ、選択領域のボケ具合を個別に調整できるため、調整の自由度がさらに高まる。
【００２９】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３０】
１  画像記憶部
２  操作部
４  奥行検出部
５  フィルタ係数算出部
６  フィルタ部
７  画像生成部
１１  撮像レンズ
１２  マイクロレンズアレイ
１３  イメージセンサ
【図１】
2014017544.tif 000003
【図２】
2014017544.tif 000004
【図３】
2014017544.tif 000005
【図４】
2014017544.tif 000006
【図５】
2014017544.tif 000007
【図６】
2014017544.tif 000008
【図７】
2014017544.tif 000009
【図８】
2014017544.tif 000010
【図９】
2014017544.tif 000011