(57)【要約】【課題】  被写体の画像の暈けを調整して画像の奥行き感を制御する。【解決手段】  LFデータ取得部201は、画像データ、および、画像データに含まれる被写体の距離情報を取得する。変換パラメータ取得部204は、被写体の距離と画像の暈けの大きさの対応関係を示す画像を含むユーザインタフェイスを生成し、ユーザインタフェイスを介して入力される、被写体距離と画像の暈けの大きさの対応関係を設定する指示に基づいて、被写体距離と画像の暈けの大きさの対応関係を示すパラメータを取得する。調整前画像生成部206と調整後画像生成部207は、画像データ、距離情報、パラメータに基づき、指示に応じた対応関係の暈け状態を有する画像データを生成する。【選択図】  図2
2015213299.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する第一の取得手段と、
前記画像データに含まれる被写体の距離情報を取得する第二の取得手段と、
被写体の距離と画像の暈けの大きさの対応関係を示す画像を含むユーザインタフェイスを生成し、前記ユーザインタフェイスを介して入力される、前記被写体距離と画像の暈けの大きさの対応関係を設定する指示に基づいて、前記被写体距離と画像の暈けの大きさの対応関係を示すパラメータを取得するインタフェイス生成手段と、
前記画像データ、前記距離情報、前記パラメータに基づき、前記指示に応じた前記対応関係の暈け状態を有する画像データを生成する画像生成手段とを有する画像処理装置。
【請求項２】
前記画像生成手段は、前記パラメータを用いて、前記距離情報が示す前記被写体距離を前記画像データによって表現すべき被写体距離に変換する変換手段を有する請求項1に記載された画像処理装置。
【請求項３】
前記対応関係を表す画像は、ある被写体距離に位置する被写体の画像に与える前記画像の暈けの大きさに相当する距離を示す請求項1または請求項2に記載された画像処理装置。
【請求項４】
前記対応関係を示す画像は、ある被写体距離に位置する被写体に与える前記画像の暈けの大きさに相当する距離を示す請求項1または請求項2に記載された画像処理装置。
【請求項５】
前記対応関係を示す画像は、前記被写体距離に対応する第一の座標軸および前記画像の暈けの大きさに対応する第二の座標軸で定義される二次元平面上のグラフを用いて前記対応関係を表現する請求項1または請求項2に記載された画像処理装置。
【請求項６】
前記対応関係を修正する指示が入力された場合、前記インタフェイス生成手段は、当該指示に基づき前記対応関係を示す画像を更新する請求項1から請求項5の何れか一項に記載された画像処理装置。
【請求項７】
前記インタフェイス生成手段は、前記ユーザインタフェイスとして、前記対応関係を示す画像、および、前記対応関係に基づく前記暈け状態を表す画像を含む画像を生成する請求項1から請求項6の何れか一項に記載された画像処理装置。
【請求項８】
前記パラメータは、前記距離情報が表す実際の被写体距離と、前記画像の暈けの大きさに対応する仮想的な距離の対応を示す情報である請求項1から請求項7の何れか一項に記載された画像処理装置。
【請求項９】
前記画像生成手段は、前記距離情報と前記パラメータに基づくフィルタ処理を用いて前記画像データに暈け与えて、前記指示に応じた前記対応関係に基づく前記暈け状態の画像データを生成する請求項1から請求項8の何れか一項に記載された画像処理装置。
【請求項１０】
前記第一の取得手段は、同一の被写体を表し、視差を有する画像を含む視差画像データを取得し、
前記画像生成手段は、前記視差画像データに前記フィルタ処理を行って、前記指示に応じた前記対応関係に基づく前記暈け状態の画像データを生成する請求項9に記載された画像処理装置。
【請求項１１】
さらに、前記視差を調整して、前記視差画像データの画像の間の視差を小さくする調整手段を有し、
前記インタフェイス生成手段は、前記視差画像データの画像における、前記調整の前後の視差の間の関係に基づき、前記対応関係を示す画像を生成する請求項10に記載された画像処理装置。
【請求項１２】
前記第二の取得手段は、前記視差画像データの画像の視差に基づき前記画像の被写体の被写体距離を示す調整前距離を取得し、さらに、前記調整後の視差に基づき前記被写体の被写体距離を示す調整後距離を取得し、
前記インタフェイス生成手段は、前記調整前距離と前記調整後距離の差分、前記被写体をフォーカス位置から離れる方向に動かした場合に想定される前記画像の暈けの大きさと前記調整前の距離の間の関係を表す画像を生成する請求項11に記載された画像処理装置。
【請求項１３】
画像データを取得し、
前記画像データに含まれる被写体の距離情報を取得し、
被写体の距離と画像の暈けの大きさの対応関係を示す画像を含むユーザインタフェイスを生成し、
前記ユーザインタフェイスを介して入力される、前記被写体距離と画像の暈けの大きさの対応関係を設定する指示に基づいて、前記被写体距離と画像の暈けの大きさの対応関係を示すパラメータを取得し、
前記画像データ、前記距離情報、前記パラメータに基づき、前記指示に応じた前記対応関係の暈け状態を有する画像データを生成する画像処理方法。
【請求項１４】
コンピュータを請求項1から請求項12の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の奥行き感を制御する画像処理に関する。
【背景技術】
【０００２】
画像の奥行き感を表現する技法の一つとして、被写界深度を浅くして主被写体にのみピントを合わせ、前景や背景を暈す写真表現が知られている。一般に前景や背景の暈け量（錯乱円の形状や大きさ）は、撮像に用いるレンズの焦点距離や有効口径等の光学条件と、前景/背景に含まれる被写体までの奥行きである被写体距離によって撮像時に決まるものであった。
【０００３】
これに対し、近年、撮像装置の光学系に新たな光学素子を追加することで光の向きと強度の情報（以下、ライトフィールド）を取得し、ピント位置や被写界深度の調節を画像処理によって可能とする技術が知られている（特許文献1）。特許文献1の技術によれば、撮影後の画像において光学条件を変更して前景/背景の暈け量を調整することができる。
【０００４】
特許文献1の技術では、光学条件を設定すると、被写体の奥行きとそれに対する暈け量との関係が一意に定まる。そのため、例えば、手前にある被写体Aと、被写体Aよりも奥にある被写体Bの暈け量を保ちながら、奥行きについて、それら被写体の中間に位置する被写体Cの暈け量を変化させることができない。言い替えれば、特許文献1の技術においては、奥行きが特定の深さにある被写体のみの暈け量の調整は困難である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第4752031号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、被写体の画像の暈けを調整して画像の奥行き感を制御することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００８】
本発明にかかる画像処理は、画像データを取得し、前記画像データに含まれる被写体の距離情報を取得し、被写体の距離と画像の暈けの大きさの対応関係を示す画像を含むユーザインタフェイスを生成し、前記ユーザインタフェイスを介して入力される、前記被写体距離と画像の暈けの大きさの対応関係を設定する指示に基づいて、前記被写体距離と画像の暈けの大きさの対応関係を示すパラメータを取得し、前記画像データ、前記距離情報、前記パラメータに基づき、前記指示に応じた前記対応関係の暈け状態を有する画像データを生成する。
【発明の効果】
【０００９】
本発明によれば、被写体の画像の暈けを調整して画像の奥行き感を制御することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施例の画像処理装置として機能する情報処理装置の構成例を示すブロック図。
【図２】画像処理装置の処理構成例を示すブロック図。
【図３】撮像装置の構成例を説明する図。
【図４】奥行きの推定方法を説明する図。
【図５】奥行き感調整UIの一例を示す図。
【図６】ライトフィールドの概念図。
【図７】画像生成処理を示すフローチャート。
【図８】調整前画像データを説明する図。
【図９】奥行き感調整UIによるユーザ指示の一例を示す図。
【図１０】調整後画像の一例を示す図。
【図１１】実施例2における画像処理装置の処理構成例を示すブロック図。
【図１２】実施例2における画像生成処理を示すフローチャート。
【図１３】実施例3の画像処理装置の処理構成例を示すブロック図。
【図１４】実施例3における画像生成処理を説明するフローチャート。
【図１５】視差画像データおよび中間画像データの一例を示す図。
【図１６】視差調整前の距離画像および視差調整後の距離画像の一例を示す図。
【図１７】暈けパラメータにより定まる奥行きと錯乱円の直径の関係例を示す図。
【図１８】出力画像データとして出力される視差画像データの一例を示す図。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本発明にかかる画像処理装置およびその方法を、その好適な実施例に基づいて詳細に説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【実施例１】
【００１２】
実施例1では、ライトフィールドから導出される被写体の奥行きに基づき画像の暈けを調整して、画像の奥行き感を制御する方法を示す。
【００１３】
［装置の構成］
図1のブロック図により実施例の画像処理装置として機能する情報処理装置100の構成例を示す。CPU101は、RAM102をワークメモリとして、ROM103およびハードディスクドライブ(HDD)などの記憶部104に格納されたプログラムを実行し、システムバス108を介して後述する各構成を統括的に制御する。
【００１４】
HDDインタフェイス(I/F)105は、例えばシリアルATA(SATA)等のインタフェイスであり、二次記憶装置としての記憶部104が接続される。CPU101は、HDD I/F105を介して、記憶部104からデータ読み出し、記憶部104へデータを書き込むことが可能である。さらに、CPU101は、記憶部104に格納されたプログラムやデータをRAM102にロードし、RAM102に記録されたデータを記憶部104に保存することが可能である。そしてCPU101は、RAM102にロードしたプログラムを実行することができる。なお、二次記憶装置は、HDDの他、ソリッドステートドライブ(SSD)、光ディスクドライブ等にマウントされた記憶メディアでもよい。
【００１５】
汎用I/F106は、例えばUSB (Universal Serial Bus)等のシリアルバスインタフェイスである。汎用I/F106には、キーボード・マウスなどの入力デバイス109や、ディジタルカメラなどの撮像装置110が接続される。CPU101は、汎用I/F106を介して入力デバイス109や撮像装置110から様々なデータを取得することが可能である。
【００１６】
ビデオカード(VC)107は、例えばDVI等の映像出力インタフェイスやHDMI（登録商標）等の通信インタフェイスを備え、液晶ディスプレイ等の表示装置111が接続される。CPU101は、VC107を介して表示装置111に画像データを送り、画像表示を実行させることができる。
【００１７】
［画像処理装置の構成］
図2のブロック図により画像処理装置の処理構成例を示す。画像処理装置は、ライトフィールド(LF)データ取得部201、現像パラメータ取得部202、奥行き推定部203、変換パラメータ取得部204、奥行き変換部205、調整前画像生成部206および調整後画像生成部207を有する。以下では、これら構成について説明する。
【００１８】
●LFデータ取得部
LFデータ取得部201は、汎用I/F106を介して撮像装置110からライトフィールドデータを取得する。撮像装置110として、例えば、メインレンズと撮像デバイスの間にマイクロレンズアレイを配置したプレノプティックカメラ（ライトフィールドカメラ）を用いる。
【００１９】
図3により一般的なプレノプティックカメラの構成と概念を説明する。図3(a)において、レンズ301〜303は各々、ズームレンズ301、フォーカスレンズ302、ぶれ補正レンズ303であり、これらレンズをまとめて一枚のメインレンズ312として表現する。メインレンズ312を介して入射した光線313は、絞り10304、シャッタ305を経て、マイクロレンズアレイ(MLA)306に到達する。MLA306を通過した光線313は、光学ローパスフィルタ307、赤外線カットフィルタ308、カラーフィルタアレイ309を経て、撮像デバイス310に到達する。撮像デバイス310から出力されるアナログ信号はアナログ-ディジタル変換器(ADC)311によってディジタル信号に変換される。
【００２０】
プレノプティックカメラは、撮像光学系（例えばメインレンズ312、絞り304、シャッタ305）と各種フィルタ307-309の間にMLA306を配置し、光線313が通過したメインレンズ312の座標を弁別するためのライトフィールドを取得する。図3(b)の場合、メインレンズ312を通過した光線313は、結像面に配置されたMLA306の単位レンズに対応する、撮像デバイス310の二つの撮像素子の何れかに到達する。
【００２１】
図3(b)において、紙面に垂直な方向にも同様に、単位レンズと撮像素子が配置されているとすれば、メインレンズ312の上半分を通過した光と下半分を通過した光を弁別可能であり、かつ、左半分を通過した光と右半分を通過した光を弁別可能である。つまり、単位レンズに対して左上方向、左下方向、右下方向、右上方向から入射した光を弁別可能である。
【００２２】
なお、撮像装置110は、プレノプティックカメラに限られず、小型カメラを複数並べた多眼カメラ等、ライトフィールドを充分な角度・空間分解能で取得できるカメラであれば良い。
【００２３】
LFデータ取得部201は、汎用I/F106を介して撮像装置110から次のデータを取得する。一つ目は、撮像装置110による撮影によって取得されたライトフィールドの、光の方向と強度を示すライトフィールドデータである。二つ目は、ライトフィールドの撮影時のメインレンズ312の焦点距離fを示す焦点距離情報である。取得されたライトフィールドデータと焦点距離情報は、奥行き推定部203、調整前画像生成部206、調整後画像生成部207に供給される。
【００２４】
●現像パラメータ取得部
現像パラメータ取得部202は、ライトフィールドデータと焦点距離情報から画像を生成する際に用いる、現像パラメータを取得する。例えば、現像パラメータ取得部202は、現像パラメータとして、生成すべき画像の被写界深度を示すピント位置および絞り値を入力デバイス109によって入力されるユーザ指示から取得する。取得された現像パラメータは、調整前画像生成部206および調整後画像生成部207に供給される。
【００２５】
●奥行き推定部
奥行き推定部203は、ライトフィールドデータと焦点距離情報を用いて、被写体の奥行きを示す情報（以下、調整前奥行き情報）を推定する。ここで被写体の奥行きとは、被写体とメインレンズ312の間の距離（被写体距離）を意味する。
【００２６】
図4により奥行きの推定方法を説明する。図4(a)は、被写体上の点405と、点405からメインレンズ312に入射する光線403、404を表す。また、図4(b)は、図4(a)に示す光線403、404をライトフィールド座標にプロットした様子を表す。
【００２７】
図4(a)において、平面401、402は仮想的に配置した互いに平行な平面であり、それぞれu平面、x平面と呼ぶことにする。本来、u平面401およびx平面402は二次元平面であるが、図4(b)においては便宜上一次元で表現する。図4(b)では、x平面402を画像面とし、u平面401をメインレンズ312の主面上に配置する例を示すが、u平面401はx平面402と平行であればその他の位置に配置しても構わない。また、x平面402とu平面401に直交し、x平面402からu平面401に向かう方向をz軸とする。従って、z軸は奥行き方向を示す。
【００２８】
光線403、404は、点405から出てメインレンズ312によって屈折された光線である。光線がu平面401とx平面402を通った位置を(x, u)で表すと、光線403は(x1, u1)を通過し、光線404は(x2, u2)を通過する。xを横軸に、uを縦軸にとったライトフィールド座標上に光線403、404の通過位置をプロットすると図4(b)が得られる。図4(b)に示すように、ライトフィールド座標において、通過位置(x1, u1)は点407によって示され、通過位置(x2, u2)は点408によって示される。このように、撮影シーン空間の複数の光線を、ライトフィールド座標上では座標が異なる複数の点として表すことができる。
【００２９】
撮影シーンにおいてある一点を通過する全ての光線を考えると、それら光線に対応するライトフィールド座標上の点の集合は直線になるという性質が知られている。例えば、被写体上のある一点（例えば点405）から出た複数の光線に対応する、ライトフィールド座標上の点の集合は直線409として表され、直線409の傾きはu平面401から被写体までの距離によって変化する。図4(a)において、点405と共役な点406の座標を(ximg, zimg)、u平面のz座標をzuとする。点406がz軸方向にu平面401とx平面402をα：(1-α)に外分する点であるとすると、点406を通るすべての光線は式(1)を満たす。
αx - (α-1)u = ximg            …(1)
ここで、α = (zu + zimg)/zu
【００３０】
式(1)は、図4(b)に示す直線409を表し、直線409の傾きを求めることで、メインレンズ312と被写体との距離を示す調整前奥行き情報を推定することができる。すなわち、ライトフィールド座標に各光線の通過位置(x, u)をプロットした点の集合を画像と捉え、当該画像のエッジ抽出を行い、抽出したエッジの傾きを判定することで、式(1)におけるαの値を求めることができる。u平面のz座標zuは既知であるから、αの値を用いれば点406のz座標zimgを求めることができる。そして、得られたzimgの値と焦点距離fから、レンズの公式を用いることで、u平面401上のレンズ主点から被写体上の点405までの距離（被写体距離）である調整前奥行き情報を推定することができる。
【００３１】
奥行き推定部203は、撮影シーンに含まれる全ての被写体について調整前奥行き情報を推定し、推定した調整前奥行き情報を奥行き変換部205および調整後画像生成部207へ供給する。なお、ここでは被写体の奥行きを示す情報として被写体距離を用いる例を示すが、ライトフィールドデータから算出可能なx平面402と点406の距離や、u平面401と点406の距離を、奥行き情報として用いることも可能である。
【００３２】
●変換パラメータ取得部
変換パラメータ取得部204は、奥行き推定部203で推定された調整前奥行き情報により示される被写体距離を、画像上で表現したい被写体距離へ変換するための変換パラメータを作成する。言い替えれば、変換パラメータ取得部204は、インタフェイス生成部としても機能する。変換パラメータ取得部204は、図5に示す奥行き感調整用のユーザインタフェイス（以下、奥行き感調整UI）を表示装置111に表示し、このUIを介して入力されるユーザ指示を取得して、ユーザ指示に基づく変換パラメータを作成する。
【００３３】
図5に示す奥行き感調整UIに表示されるグラフ502は、横軸を調整前の（実際の）被写体距離、縦軸を調整後の（仮想的な）被写体距離として、これらの対応関係を曲線501で示す。このグラフ502は、調整前後の奥行きの対応関係を表すことができれば良く、調整前のピント位置からの被写体の距離を横軸とし、調整後のピント位置からの被写体の距離を縦軸とするグラフでも良い。
【００３４】
ユーザは、図5に示す曲線501の形状を任意に修正して奥行き方向における被写体の位置を指示する。変換パラメータ取得部204は、曲線501で表わされる調整前後の奥行きの対応関係が満たされるような変換パラメータを作成し、作成した変換パラメータを奥行き変換部205に供給する。なお、変換パラメータとしては、ルックアップテーブル(LUT)に代表される変換テーブルや、変換マトリクス、変換関数等を用いることができる。
【００３５】
なお、奥行き感調整UIは、実際の被写体距離において生じる暈けのレベルと、画像上で表現したい被写体距離において生じる暈けのレベルの間の対応関係をユーザに提示するようなUIでもよい。その場合、奥行き感調整UIの横軸と縦軸の少なくとも一方を暈けのレベルを示す軸としてもよい。
【００３６】
●奥行き変換部
奥行き変換部205は、奥行き推定部203で推定された調整前奥行き情報に含まれる被写体距離を、変換パラメータ取得部204で作成された変換パラメータに従って、画像上で表現する被写体距離に変換する。奥行き変換部205は、変換によって得られた被写体距離を調整後奥行き情報として調整後画像生成部207へ供給する。
【００３７】
●調整前画像生成部
調整前画像生成部206は、ライトフィールドデータ、焦点距離情報および現像パラメータを用いて、調整前画像データを生成する。調整前画像データの生成方法を図6に示すライトフィールドの概念図を用いて説明する。本来、ライトフィールド空間は四次元空間であるが、図6では便宜上、ライトフィールド空間を二次元で表現する。また、図6において、図4(b)と同じ要素には同じ符号を付して、詳細説明を省略する。
【００３８】
図6において、仮想的に配置した仮想撮像素子面602に形成される画像をライトフィールドから生成する。仮想撮像素子面602上における点603の座標（画素位置）をximgとすると、点603を通る光は、式(1)より、式(2)で表わされる。
x = ximg/α + (1 - 1/α)u        …(2)
ここで、αは仮想撮像素子面602のz軸上の位置。
【００３９】
絞り304の開口の直径を2Dとすると、点603の画素値I(ximg)は式(3)で求められる。
I(ximg) = ∫L(x, u)du
= ∫L{Ximg/α + (1 - 1/α)u, u}du        …(3)
ここで、積分範囲は-DからD。
【００４０】
式(3)において、L(x, u)はu平面401、x平面402の通過位置が(x, u)の光の強度であり、式(3)は開口部を通過して点603に集まる光の強度を計算する式である。式(3)において、αは仮想撮像素子面602の位置（z座標）を表しているため、αを変化させることはすなわち、仮想撮像素子面602の位置を変えることに相当する。また、式(3)における積分範囲[-D, D]を変化させることで、絞り304の開口を仮想的に変えることができる。従って、現像パラメータ中のピント位置をαの値として与え、さらに、絞り値Fおよび撮像装置110のレンズの焦点距離fに基づいて積分範囲[-f/(2F), f/(2F)]を与えれば、式(3)より所望の被写界深度の画像を得ることができる。なお、ここでは、開口の直径2D、焦点距離f、絞り値Fの間に、F=f/(2D)の関係が成り立つことを前提とする。
【００４１】
調整前画像生成部206で生成された画像データは、調整前画像データとして表示装置111へ供給され、調整前の画像が表示装置111に表示される。ユーザは、調整前画像データに基づく画像を基準画像として参照しながら、図5に示す奥行き感調整UIより曲線501の形状を修正することができる。
【００４２】
●調整後画像生成部
調整後画像生成部207は、焦点距離情報、現像パラメータおよび調整後奥行き情報を用いて、被写体が調整後の奥行き位置にある場合の暈け量（以下、目標暈け量）を求める。そして、目標暈け量を再現するための開口の直径2Dを、画素位置ごとに調整前奥行き情報に基づいて算出する。そして、開口を通過して画素位置ximgに集まる光の強度をライトフィールドデータから計算することにより、調整後画像データを生成する。
【００４３】
調整後画像生成部207は、まず、画素位置ximgに関して調整後の奥行き位置z'obj(ximg)に被写体があると仮定する。そして、この仮定における、錯乱円の直径2R(ximg)を算出する。錯乱円の直径2R(ximg)は、焦点距離f、絞り値F、ピント位置αを用いて式(4)により求められる。
2R(ximg) = (f2/Fα)・|z'obj(ximg)-α|/z'obj(ximg)        …(4)
【００４４】
次に、調整後画像生成部207は、調整前の奥行き位置zobj(ximg)に対する錯乱円の直径が、式(4)で得た2R(ximg)と等しくなる開口の直径2D'(ximg)を式(5)により算出する。
2D'(ximg) = 2R(ximg)・(α/f)・{zobj(ximg)/|zobj(ximg)-α|}        …(5)
【００４５】
最後に、調整後画像生成部207は、式(3)の積分範囲を[-D'(ximg), D'(ximg)]とした式(6)を計算することにより、調整後画像データを生成する。
I(ximg) = ∫L{Ximg/α + (1 - 1/α)u, u}du        …(6)
ここで、積分範囲は-D'(ximg)からD'img。
【００４６】
調整後画像生成部207で生成された調整後画像データは、表示装置111へ供給され、調整後の画像が表示装置111に表示される。調整後画像データによって表示される画像は、被写体があたかも調整後の奥行き位置にあるかのような暈け量で描画される。言い替えれば、調整後画像生成部207は、被写体距離と画像の暈けの大きさの対応関係の暈け状態を有する画像データを生成する。
【００４７】
［画像生成処理］
図7のフローチャートにより画像処理装置における画像生成処理を示す。図7に示す処理は、CPU101が、以下に示す手順を記述したコンピュータが実行可能なプログラムを記憶部104からRAM102にロードし、当該プログラムを実行することによって実現される。
【００４８】
LFデータ取得部201はライトフィールドデータと焦点距離情報を撮像装置110から取得し、現像パラメータ取得部202は現像パラメータを入力デバイス109から取得する(S701)。次に、奥行き推定部203は、取得されたライトフィールドデータと焦点距離情報を用いて調整前奥行き情報を推定する(S702)。
【００４９】
次に、調整前画像生成部206は、取得されたライトフィールドデータ、焦点距離情報および現像パラメータを用いて、式(3)に従って調整前画像データを生成し、調整前画像データを表示装置111に出力する(S703)。
【００５０】
図8により調整前画像データについて説明する。図8(a)は複数の被写体が存在する位置を示し、被写体801、802、803、804はそれぞれ、z軸で示す奥行きd1、d2、d3、d4に対応する位置に存在する。図8(b)は、ピント位置を奥行きd2とした場合の奥行きzと錯乱円の直径2Rとの関係例を示し、この関係において生成される調整前画像データの描画例を図8(c)に示す。
【００５１】
図8(c)に示す調整前画像805において、奥行きd2に存在する被写体802にピントが合い（錯乱円の直径r2=0）、他の被写体についてはその奥行きd1、d3、d4に応じた錯乱円の直径r1、r3、r4の暈けが生じる。生成された調整前画像データは、上述したように表示装置111において基準画像として表示される。
【００５２】
次に、変換パラメータ取得部204は、図5に示す奥行き感調整UIを表示装置111に表示し、奥行き感調整UIを介してユーザ指示を取得し、変換パラメータを作成する(S704)。このとき、調整前画像の表示と、奥行き感調整UIの表示とを同時に行うことで、ユーザは、調整前画像805を参照しながら、奥行き感調整UIを操作して、調整前後の奥行き位置の対応関係を示す曲線501の形状を修正することができる。
【００５３】
図9に、調整前画像805に対する、奥行き感調整UIによるユーザ指示の一例を示す。図9によれば、調整前の奥行きd3付近に存在する被写体の奥行きをd3より小さいd3'となるように曲線501の形状を調整する例が示されている。これにより、奥行きd3付近にある被写体が実際よりも手前の、図8(b)に示す奥行きd3'にあるかのように、奥行き感が調整される。
【００５４】
次に、奥行き変換部205は、調整前奥行き情報を変換パラメータに従って変換することで、調整後奥行き情報を生成する(S705)。次に、調整後画像生成部207は、ライトフィールドデータ、焦点距離情報および現像パラメータ、並びに、調整前奥行き情報および調整後奥行き情報を用いて、調整後画像データを生成する(S706)。調整後画像データの生成は、上記式(4)〜(6)に従う。
【００５５】
図10により図9に示すユーザ指示に応じて生成される調整後画像の描画例を示す。図10において、被写体803が実際の奥行き位置よりも手前にあるように、その暈け量が図8(c)の暈け量から変化するが、他の被写体801、802、804の暈け量は図8(c)の暈け量から変化しない。
【００５６】
生成された調整後画像データは、上述したように表示装置111に供給され、例えば図10に示す調整後画像が表示される。また、図10に示す調整後画像を、図8(c)に示す調整前画像および図5に示す奥行き感調整UIと合わせて表示装置111に表示することができる。そうすれば、ユーザは、調整前後の画像を参照しながら、奥行き感調整UIを操作して、さらなる微調整を行うことができ、図7には示さないが、ステップS704からS706の処理が繰り返される。
【００５７】
このように、奥行きごとに奥行き感の調整指示を行うことが可能であり、奥行きが異なる被写体ごとに奥行きを設定して暈け量を調整することができる。従って、任意の被写体の奥行きをユーザの直観的な操作によって設定することで、当該被写体の実際の奥行きに制約されることなく、当該被写体の暈け量を調整可能とし、画像の奥行き感を容易に制御することができる。
【実施例２】
【００５８】
以下、本発明にかかる実施例2の画像処理装置およびその方法について説明する。なお、実施例2において、実施例1と同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。
【００５９】
上述した実施例1では、ライトフィールドデータを用いて奥行きに応じて暈け量を調整した画像を生成する方法について説明した。実施例2では、一般的な撮影画像データとこれに対応する奥行きデータを用いて暈け量を調整する例を示す。ただし、実施例2で用いる画像データは、被写体がすべて被写界深度内に収まっている画像（すなわち、パンフォーカス画像）のデータであるとする。
【００６０】
［画像処理装置の構成］
図11のブロック図により実施例2における画像処理装置の処理構成例を示す。実施例2の画像処理装置は、画像データ取得部1101、暈けパラメータ取得部1102、奥行き情報取得部1103、変換パラメータ取得部204、奥行き変換部205、画像生成部1106を有する。なお、変換パラメータ取得部204と奥行き変換部205については、その動作が実施例1と同様であるため、説明を省略する。
【００６１】
画像データ取得部1101は、汎用I/F106を介して撮像装置110から処理対象となる画像データを取得する。あるいは、HDD I/F105を介して記憶部104などから画像データを取得してもよい。取得した画像データは、入力画像データとして画像生成部1106へ供給される。
【００６２】
暈けパラメータ取得部1102は、奥行き方向の距離と暈け量の対応関係を示す暈けパラメータを取得する。例えば、被写体距離を入力とし、錯乱円の直径を出力とする変換関数が暈けパラメータとして、汎用I/F106を介したユーザ指示によって取得される。なお、変換関数は、ユーザが直接入力しても良いし、ユーザから指定された焦点距離、ピント位置、絞り値等の光学条件に基づいて暈けパラメータ取得部1102が算出しても良い。取得された暈けパラメータは、画像生成部1106へ供給される。
【００６３】
奥行き情報取得部1103は、入力画像データにおける被写体距離を示す奥行き情報を取得する。例えば、奥行き情報取得部1103は、距離センサ等の測距部を備えた撮像装置110により入力画像データの撮像時に作成された被写体の距離画像を調整前奥行き情報として、汎用I/F106を介して取得する。あるいは、画像データと関連付けて記憶部104に記録された距離画像を、HDD I/F105を介して取得しても良い。調整前奥行き情報として取得された距離画像は奥行き変換部205へ供給され、奥行き変換部205によって実施例1と同様に変換パラメータに従って変換された後、調整後奥行き情報として画像生成部1106に供給される。
【００６４】
画像生成部1106は、暈けパラメータと調整後奥行き情報に基づく暈けを入力画像データに付与した画像データを生成する。つまり、入力画像データの各画素について、暈けパラメータに従い調整後の被写体距離に対応する錯乱円の直径を求め、これをフィルタ径とした暈けフィルタを適用して、画像データを生成する。暈けフィルタとしては、ガウシアンフィルタやメディアンフィルタなど、各種の平滑化フィルタを適用可能である。生成された画像データは表示装置111へ供給され、出力画像が表示される。
【００６５】
［画像生成処理］
図12のフローチャートにより実施例2の画像処理装置における画像生成処理を示す。図12に示す処理は、CPU101が、以下に示す手順を記述したコンピュータが実行可能なプログラムを記憶部104からRAM102にロードし、当該プログラムを実行することによって実現される。
【００６６】
各取得部は、汎用I/F106またはHDD I/F105を介してそれぞれのデータを取得する(S1201)。すなわち、画像データ取得部1101が入力画像データを取得し、暈けパラメータ取得部1102が暈けパラメータを取得し、奥行き情報取得部1103が調整前奥行き情報を取得し、変換パラメータ取得部204が変換パラメータを取得する。
【００６７】
次に、奥行き変換部205は、調整前奥行き情報を変換パラメータに従って変換して、調整後奥行き情報を生成する(S1202)。次に、画像生成部1106は、暈けパラメータと調整後奥行き情報を用いて、入力画像データが示す入力画像に暈けを付与した画像データを生成する(S1203)。生成された画像データは、上述したように表示装置111に供給されて、出力画像が表示される。
【００６８】
このように、一般的な撮像装置による撮影画像に対しても、任意の被写体の暈け量を調整可能にして、画像の奥行き感を容易に制御することが可能となる。
【実施例３】
【００６９】
以下、本発明にかかる実施例3の画像処理装置およびその方法について説明する。なお、実施例3において、実施例1、2と同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。
【００７０】
三次元画像表示に用いられる視差画像は、二枚一組の画像として構成され、一方の画像を左目に観察させ、他方の画像を右目に観察させることにより、両眼視差を利用して観察者に被写体の立体像を知覚させる。なお、以下では、左目に観察させる画像を「左目用画像」、右目に観察させる画像を「右目用画像」と呼ぶ。
【００７１】
視差画像の作成には、調節と輻輳との不一致といった観察者の視覚的負担への配慮を求める各種ガイドラインが国内外で策定されている。また、立体像を快適に観察できるように、被写体の奥行きの最大値から最小値までの範囲が眼球光学系の被写界深度内に収まるように視差を調整する技術が知られている。しかし、従来の技術においては、限られた範囲に視差を収めるため、視差調整前に比べてシーンの奥行きが浅くなり、奥行き感に不足を感じる場合が多い。
【００７２】
実施例3の画像処理装置においては、視差調整による被写体の奥行き変化に応じた暈け表現を視差画像に付加することにより、視差調整に伴う奥行きの変化を視覚的に打ち消してシーンの奥行き感を保つ。
【００７３】
［画像処理装置の構成］
図13のブロック図により実施例3の画像処理装置の処理構成例を示す。画像処理装置は、画像データ取得部1301、視差調整部1302、奥行き推定部1303、暈けパラメータ取得部1304、暈け算出部1305、画像生成部1306を有する。
【００７４】
画像データ取得部1301は、左目用画像および右目用画像、並びに、カメラパラメータ（画角や左右の撮像視点位置）を含む視差画像データを、HDD I/F105を介して記憶部104などから取得する。あるいは、汎用I/F106を介して撮像装置110から直接、視差画像データを取得してもよい。視差画像データは、例えば多眼カメラなどにより撮像したものでもよいし、市販されている三次元画像生成ソフトウェアを使って生成されたものでもよい。取得された視差画像データは、入力画像データとして視差調整部1302および奥行き推定部1303に供給される。
【００７５】
視差調整部1302は、視差画像の一方の画像を基準画像、他方の画像を非基準画像として、非基準画像の画素を水平方向にシフトするなどにより、左目用画像と右目用画像の間における視差を調整する。視差調整には、公知である種々の視差調整方法を適用可能である。例えば、許容される最大視差に合わせて左目用画像と右目用画像の間の視差を正規化する方法などが適用可能である。視差調整後の非基準画像は、基準画像とともに中間画像データとして奥行き推定部1303および画像生成部1306へ供給される。
【００７６】
奥行き推定部1303は、視差画像中の被写体について奥行き方向の距離を推定し、距離画像を生成する。実施例3では公知のステレオ法を用いて距離推定を行う。詳細には、まず、基準画像中の注目画素D(i, j)とその近傍画素とからなる領域S(i, j)を選択する。次に、領域S(i, j)の画像をテンプレートとしたパターンマッチングにより、注目画素D(i, j)に対応する非基準画像の画素D'(i', j')を探索する。そして、注目画素D(i, j)と対応画素D'(i', j')、および、カメラパラメータを用いて、三角測量の原理に基づき、注目画素D(i', j')に対応する被写体距離p(i, j)を算出する。以上の処理を基準画像の全画素に適用すると、画素として被写体距離p(i, j)を有する距離画像が生成される。生成された距離画像は、暈け算出部1305へ供給される。
【００７７】
暈けパラメータ取得部1304は、奥行き方向の距離と暈けの大きさの対応関係を示す暈けパラメータを取得する。実施例3においては、汎用I/F106を介したユーザ指示により、入力画像を撮像した際のレンズの焦点距離f、ピント位置α、絞り値Fを暈けパラメータとして取得する。あるいは、暈けパラメータは、汎用I/F106を介して撮像装置110から取得してもよい。取得された暈けパラメータは、暈け算出部1305へ供給される。
【００７８】
暈け算出部1305は、視差調整前後の視差画像それぞれの距離画像と暈けパラメータに基づき、視差調整前後における奥行きの変化を視覚的に打ち消すような暈けの大きさ（錯乱円の直径）を算出する。そして、各画素に付加する暈けの大きさに相当する錯乱円の直径を示す画像（以下、錯乱円径画像）を生成する。実施例3においては、視差調整による奥行き変化とは逆方向、つまり画像のフォーカス位置から遠ざかる方向に被写体を動かした場合の錯乱円の直径を、視差画像中の各画素について算出する。
【００７９】
まず、次式により、各画素の位置(i, j)について視差調整による奥行きの変化量Δz(i, j)を算出する。
Δz(i, j) = p1(i, j) - p0(i, j)        …(7)
ここで、p0(i, j)は視差調整前の視差画像における距離画像の画素値、
p1(i, j)は視差調整後の視差画像における距離画像の画素値。
【００８０】
次に、次式により、視差調整による奥行き変化とは逆方向に被写体を動かした場合の奥行きz'(i, j)を算出する。
z'(i, j) = p0(i, j) - Δz(i, j)        …(8)
【００８１】
そして、得られた奥行きz'(i, j)を実施例1に示した式(4)における調整後の奥行き位置z'obj(ximg)に代入して、錯乱円の直径2R(i, j)を算出し、画素値2R(i, j)を有する錯乱円径画像を生成する。このとき、錯乱円の直径2R(i, j)は次式で表される。
2R(i, j) = (f2/Fα)・|z'(i, j) - α|/z'(i, j)        …(9)
【００８２】
生成された錯乱円径画像は、画像生成部1306に供給される。なお、実施例3における視差調整後の距離画像p1は実施例2における調整前奥行き情報に相当し、式(8)によって算出される奥行きz'は調整後奥行き情報に相当する。従って、距離画像p1と奥行きz'の対応関係を示すテーブルなどは実施例2の奥行き変換パラメータに相当する。
【００８３】
画像生成部1306は、中間画像データが示す視差画像の各画素に、錯乱円径画像の画素値をフィルタ径とする暈けフィルタを適用した画像データを生成する。暈けフィルタとしては、ガウシアンフィルタやメディアンフィルタなどの各種の平滑化フィルタを適用可能である。生成された画像データは、表示装置111へ供給されて出力画像が表示される。
【００８４】
［画像生成処理］
図14のフローチャートにより実施例3の画像処理装置による画像生成処理を説明する。図14に示す処理は、CPU101が、以下に示す手順を記述したコンピュータが実行可能なプログラムを記憶部104からRAM102にロードし、当該プログラムを実行することによって実現される。
【００８５】
画像データ取得部1301は、汎用I/F106を介して視差画像データを取得し、取得した視差画像データを入力画像データとして視差調整部1302および奥行き推定部1303に出力する(S1401)。図15(a)により視差画像データに含まれる左目用画像ILおよび右目用画像IRの一例を示す。
【００８６】
次に、視差調整部1302は、入力画像データに含まれる視差画像の視差を調整した中間画像データを生成し、生成した中間画像データを奥行き推定部1303と画像生成部1306に出力する(S1402)。図15(b)により中間画像データの一例を示す。図15(b)の例は、左目用画像ILが基準画像IRefであり、図15(a)に示す左目用画像ILと図15(b)に示す基準画像IRefは同一画像である。また、図15(b)に示す非基準画像INRefは、図15(a)に示す右目用画像IRについて、被写体1501に関する視差を調整した画像を示す。言い替えれば、非基準画像INRefは、被写体1501に相当する画素を視差を小さくする方向にΔiシフトした画像である。
【００８７】
次に、奥行き推定部1303は、入力画像データを用いて視差調整前の距離画像を生成し、生成した視差調整前の距離画像を暈け算出部1305に出力する(S1403)。図16(a)により視差画像（図15(a)）から生成される視差調整前の距離画像の一例を示す。なお、距離画像の画素値は被写体距離に比例して値が大きくなり、遠方にある被写体ほど対応する画素値が大きく、手前にある被写体ほど対応する画素値が小さくなる。従って、距離画像を輝度画像として参照した場合、背景は無限遠として白色で表現され、遠方にある被写体は白く、手前にある被写体は黒く表現される。
【００８８】
続いて、奥行き推定部1303は、中間画像データを用いて視差調整後の距離画像を生成し、生成した視差調整後の距離画像を暈け算出部1305に出力する(S1404)。図16(b)により視差画像（図15(b)）から生成される視差調整後の距離画像の一例を示す。図16(a)と図16(b)の距離画像において、被写体1501に対応する画素値に注目すると、視差調整前の距離画像（図16(a)）の画素値に比べて、視差調整後の距離画像（図16(b)）の画素値が小さくなっている。つまり、視差調整後、被写体1501の奥行きが浅くなっていることが示されている。
【００８９】
次に、暈けパラメータ取得部1304は、汎用I/F106を介して暈けパラメータ（焦点距離f、ピント位置α、絞り値F）を取得し、取得した暈けパラメータを暈け算出部1305に出力する(S1405)。図17により暈けパラメータにより定まる奥行きzと錯乱円の直径2Rの関係例を示す。
【００９０】
次に、暈け算出部1305は、視差調整前の距離画像、視差調整後の距離画像、暈けパラメータを用いて錯乱円径画像を生成し、生成した錯乱円径画像を画像生成部1306に出力する(S1406)。なお、暈けパラメータ取得部1304は、奥行き推定部1303が生成した二枚の距離画像に基づき、図5に示すような奥行き感調整UIを生成し、当該UIを表示装置111に表示してもよい。その場合、図5における斜めの破線がp1に対応し、曲線501がz'に対応するようにUIを表示し、ユーザによって曲線501の形状が調整された場合、それに応じて、暈けパラメータ取得部1304が暈け算出部1305に錯乱円径画像を更新させる。
【００９１】
言い替えれば、暈けパラメータ取得部1304は、視差調整前の距離画像（図16(a)）が示す調整前距離と視差調整後の距離画像（図16(b)）が示す調整後距離の差分を算出する。そして、その差分に応じて、被写体をフォーカス位置から離れる方向に動かした場合に想定される画像の暈けの大きさ推定する。そして、画像の暈けの大きさと視差調整前の被写体距離の間の関係を表すグラフ502を生成し、図5に示す奥行き感調整UIに表示する。
【００９２】
次に、画像生成部1306は、中間画像データと錯乱円径画像を用いて、出力画像データを生成し、生成した出力画像データを表示装置111に出力する(S1407)。図18により出力画像データとして出力される視差画像データの左目用画像ILOおよび右目用画像IROの一例を示す。左目用画像ILOにおける被写体の位置は図15(b)に示す中間画像IRefにおける被写体の位置と同じであり、右目用画像IROにおける被写体の位置は図15(b)に示す中間画像INRefにおける被写体の位置と同じである。ただし、視差調整によって奥行きが浅くなった被写体1501については、より奥にあるような奥行き感を与える大きさの暈けが付与されている。
【００９３】
このように、視差画像の視差調整において、視差調整後にシーンの奥行き感が浅くなる問題を改善して、奥行き感を保つことが可能になる。
【００９４】
なお、上記では、画像生成部1306がフィルタ処理を用いる例を説明したが、その他、公知のリフォーカス技術を用いて錯乱円径画像に応じた暈けがある画像を生成しても、同様の結果を得ることができる。
【００９５】
［変形例］
上記の各実施例においては、主に、撮像装置を用いて撮影された画像を処理対象とする例を示したが、コンピュータグラフィックスなどによって作成された画像を処理対象とする場合にも各実施例を適用することができる。
【００９６】
また、図5や図9に示す奥行き感調整UIに含まれる画像502は、ある被写体距離に位置する被写体の画像に与える画像の暈けの大きさを示す、または、ある被写体距離に位置する被写体に与える画像の暈けに相当する被写体距離を示す、と言うことができる。さらに、画像502は、被写体距離に対応する第一の座標軸および画像の暈けの大きさに対応する第二の座標軸で定義される二次元平面上のグラフを用いて被写体距離と画像の暈けの大きさの対応関係を表現する、と言うこともできる。
【００９７】
［その他の実施例］
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ASIC）によっても実現可能である。
【符号の説明】
【００９８】
201 … LFデータ取得部201、204 … 変換パラメータ取得部、206 … 調整前画像生成部、207 … 調整後画像生成部
【図１】
2015213299.tif 000003
【図２】
2015213299.tif 000004
【図３】
2015213299.tif 000005
【図４】
2015213299.tif 000006
【図５】
2015213299.tif 000007
【図６】
2015213299.tif 000008
【図７】
2015213299.tif 000009
【図８】
2015213299.tif 000010
【図９】
2015213299.tif 000011
【図１０】
2015213299.tif 000012
【図１１】
2015213299.tif 000013
【図１２】
2015213299.tif 000014
【図１３】
2015213299.tif 000015
【図１４】
2015213299.tif 000016
【図１５】
2015213299.tif 000017
【図１６】
2015213299.tif 000018
【図１７】
2015213299.tif 000019
【図１８】
2015213299.tif 000020