(57)【要約】【課題】ぼけの偏差を補正して距離情報を算出する。【解決手段】信号処理装置は、例えば、撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力される入力部と、第１の画像データおよび第２の画像データに基づき、被写体の奥行き方向の位置に応じた第１の距離情報を算出する距離情報算出部と、被写体の結像面と、撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、第１の距離情報に対して行うことで、第２の距離情報を算出する距離情報補正部とを備える。【選択図】図３
2013030895.tif 000002
【特許請求の範囲】
【請求項１】
撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力される入力部と、
前記第１の画像データおよび前記第２の画像データに基づき、前記被写体の奥行き方向の位置に応じた第１の距離情報を算出する距離情報算出部と、
前記被写体の結像面と、前記撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、前記第１の距離情報に対して行うことで、第２の距離情報を算出する距離情報補正部と
を備える信号処理装置。
【請求項２】
前記距離情報補正部は、
既知の情報を使用して、前記ぼけの偏差を補正するための補正値を算出し、
前記第１の距離情報に対して、前記補正値を使用した処理を行うことで前記第２の距離情報を算出する請求項１に記載の信号処理装置。
【請求項３】
前記距離情報補正部は、
前記第１の距離情報を使用して、前記ぼけの偏差を補正するための補正値を算出し、
前記第１の距離情報に対して、前記補正値を使用した処理を行うことで前記第２の距離情報を算出する請求項１に記載の信号処理装置。
【請求項４】
前記距離情報補正部は、
前記第１の距離情報に重畳される誤差をモデル化した基底を複数、取得し、
前記第１の距離情報と複数の前記基底とを使用して、前記ぼけの偏差を補正するための補正値を算出する請求項３に記載の信号処理装置。
【請求項５】
前記距離情報補正部は、
前記第１の距離情報を複数の前記基底の線形和で表すことで、前記ぼけの偏差を補正するための補正値を算出する請求項４に記載の信号処理装置。
【請求項６】
前記被写体は、前景被写体と背景被写体とからなり、
前記距離情報補正部は、
前記前景被写体に相当する位置の前記第１の距離情報を、前記背景被写体に相当する位置の前記第１の距離情報の一部を使用して置換し、
前記背景被写体に相当する位置の前記第１の距離情報と、前記置換後の前記第１の距離情報とを使用して、前記ぼけの偏差を補正するための補正値を算出する請求項３に記載の信号処理装置。
【請求項７】
前記第１の画像データは、前記撮像部の第１の光学系の状態で前記被写体を撮像することにより得られ、
前記第２の画像データは、前記撮像部の第２の光学系の状態で前記被写体を撮像するこことより得られ、
前記第１の光学系の状態および前記第２の光学系の状態は、フォーカス位置が互いに異なる状態である請求項１に記載の信号処理装置。
【請求項８】
前記第１の画像データは、前記撮像部の第１の光学系の状態で前記被写体を撮像することにより得られ、
前記第２の画像データは、前記撮像部の第２の光学系の状態で前記被写体を撮像することにより得られ、
前記第１の光学系の状態および前記第２の光学系の状態は、絞りが互いに異なる状態である請求項１に記載の信号処理装置。
【請求項９】
前記距離情報算出部は、
前記第１の画像データに対してフィルタによってぼけを付加するぼかし処理を行い、ぼけが付加された第１の画像データと前記第２の画像データとの類似度を判定し、前記類似度が最大となるぼかし処理の回数を検出し、
検出された前記ぼかし処理の回数から第１の距離情報を算出する請求項１に記載の信号処理装置。
【請求項１０】
前記ぼかし処理の回数は、ぼかしを付加しない処理を回数０とする請求項９に記載の信号処理装置。
【請求項１１】
撮像部と、
前記撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力される入力部と、
前記第１の画像データおよび前記第２の画像データに基づき、前記被写体の奥行き方向の位置に応じた第１の距離情報を算出する距離情報算出部と、
前記被写体の結像面と、前記撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、前記第１の距離情報に対して行うことで、第２の距離情報を算出する距離情報補正部と
を備える撮像装置。
【請求項１２】
撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力され、
前記第１の画像データおよび前記第２の画像データに基づき、前記被写体の奥行き方向の位置に応じた第１の距離情報を算出し、
前記被写体の結像面と、前記撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、前記第１の距離情報に対して行うことで、第２の距離情報を算出する信号処理装置における信号処理方法。
【請求項１３】
撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力され、
前記第１の画像データおよび前記第２の画像データに基づき、前記被写体の奥行き方向の位置に応じた第１の距離情報を算出し、
前記被写体の結像面と、前記撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、前記第１の距離情報に対して行うことで、第２の距離情報を算出する信号処理装置における信号処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、例えば、距離情報を適切に算出する信号処理装置、撮像装置、信号処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、コンパクトデジタルスチルカメラは、その小型化の要求から、小型の面積の撮像素子を用いられることが多い。例えば１／２．３３型ＣＣＤ（６．２×４．６）が使用される。一方、大判の撮像素子としては、３５mmフィルムサイズ（３６×２４）、ＡＰＳ−Ｃサイズ（２３．４×１６．７）等が知られている。
【０００３】
このような画面サイズの小さいコンパクトデジタルスチルカメラでは、被写界深度が深くなり、従来の銀塩カメラや、大判の撮像素子を用いたデジタル１眼レフカメラで得られるようなぼけ効果がきわめて少ないものとなる。ぼけ効果は、背景をぼかして人物を浮き立たせるポートレート撮像において求められる。このような背景により、従来から、特許文献１に記載されているように、小型の撮像素子を用いたデジタルスチルカメラでも、大きなぼけ効果が得られる手法が提案されている。
【０００４】
特許文献１に記載の方法は、ポートレート撮像画像において、顔検出および人体検出を行い、顔および人体以外の個所は背景であると見なしてぼかし処理を行うものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−６６１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の方法は、背景に対して一律のぼかし処理が適用されている。しかしながら、背景部に含まれる距離が異なる被写体に対しては、本来、異なるぼけ量が付加されるべきであり、特許文献１に記載の方法は、自然なぼけを付加する点で問題があった。さらに、特許文献１に記載の方法は、人物以外の被写体には適用することができないという問題があった。さらに、特許文献１に記載の方法は、例えば、像面湾曲など、被写体の結像面と、撮像部の撮像面との不一致によって生じるぼけの偏差が考慮されていないという問題があった。
【０００７】
したがって、本開示の目的の一つは、例えば、ぼけの偏差に起因する距離情報の誤差を補正する信号処理装置、撮像装置、信号処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本開示は、例えば、
撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力される入力部と、
第１の画像データおよび第２の画像データに基づき、被写体の奥行き方向の位置に応じた第１の距離情報を算出する距離情報算出部と、
被写体の結像面と、撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、第１の距離情報に対して行うことで、第２の距離情報を算出する距離情報補正部と
を備える信号処理装置である。
【０００９】
本開示は、例えば、
撮像部と、
撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力される入力部と、
第１の画像データおよび第２の画像データに基づき、被写体の奥行き方向の位置に応じた第１の距離情報を算出する距離情報算出部と、
被写体の結像面と、撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、第１の距離情報に対して行うことで、第２の距離情報を算出する距離情報補正部と
を備える撮像装置である。
【００１０】
本開示は、例えば、
撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力され、
第１の画像データおよび第２の画像データに基づき、被写体の奥行き方向の位置に応じた第１の距離情報を算出し、
被写体の結像面と、撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、第１の距離情報に対して行うことで、第２の距離情報を算出する信号処理装置における信号処理方法である。
【００１１】
本開示は、例えば、
撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力され、
第１の画像データおよび第２の画像データに基づき、被写体の奥行き方向の位置に応じた第１の距離情報を算出し、
被写体の結像面と、撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、第１の距離情報に対して行うことで、第２の距離情報を算出する信号処理装置における信号処理方法をコンピュータに実行させるプログラムである。
【発明の効果】
【００１２】
少なくとも一の実施形態によれば、ぼけの偏差を考慮した処理を行うことで、誤差が小さく、精度の高い距離情報を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の第１の実施形態におけるシステムの構成の一例を示すブロック図である。
【図２】本開示の第１の実施形態における信号処理装置の主要な構成の一例を示すブロック図である。
【図３】本開示の第１の実施形態における信号処理装置の制御部の詳細な構成を示すブロック図である。
【図４】本開示における処理の概要の一例を説明するためのフローチャートである。
【図５】本開示における第１の距離情報を算出する処理の一例を説明するためのフローチャートである。
【図６】本開示における第１の距離情報を算出する処理の一例を説明するための略線図である。
【図７】Pill Box関数の説明に用いる略線図である。
【図８】ガウスフィルタの説明に用いる略線図である。
【図９】本開示における第１の距離情報を算出する処理の一例を説明するための略線図である。
【図１０】像面湾曲の一例を説明するための略線図である。
【図１１】像面湾曲によって生じる錯乱円の一例を説明するための略線図である。
【図１２】像面湾曲によって生じる錯乱円の他の例を説明するための略線図である。
【図１３】片ぼけの一例を説明するための略線図である。
【図１４】片ぼけの他の例を説明するための略線図である。
【図１５】像面湾曲の一例を示す略線図である。
【図１６】像面湾曲の一例に起因する距離マップの誤差を説明するための略線図である。
【図１７】像面湾曲の他の例を示す略線図である。
【図１８】像面湾曲の他の例に起因する距離マップの誤差を説明するための略線図である。
【図１９】片ぼけの一例を示す略線図である。
【図２０】片ぼけの一例に起因する距離マップの誤差を説明するための略線図である。
【図２１】本開示の第１の実施形態における距離情報を補正する処理を説明するためのフローチャートである。
【図２２】本開示の第１の実施形態におけるDefocus量の定義を説明するための略線図である。
【図２３】本開示の第２の実施形態における距離情報を補正する処理を説明するためのフローチャートである。
【図２４】本開示の第２の実施形態における前景置き換え処理を説明するための略線図である。
【図２５】像面湾曲の複数の例を示す略線図である。
【図２６】像面湾曲の第一主成分による基底の一例を示す略線図である。
【図２７】像面湾曲の第二主成分による基底の一例を示す略線図である。
【図２８】垂直方向の片ぼけの基底の一例を示す略線図である。
【図２９】水平方向の片ぼけの基底の一例を示す略線図である。
【図３０】本開示の第３の実施形態における撮像装置の構成の一例を示すブロック図である。
【図３１】本開示の第３の実施形態における撮像装置の構成の一部を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本開示の実施形態等について説明する。なお、説明は、以下の順序で行う。
＜１．第１の実施形態＞
＜２．第２の実施形態＞
＜３．第３の実施形態＞
＜４．変形例＞
なお、本開示は、以下に説明する実施形態および変形例に限定されないものとする。
【００１５】
＜１．第１の実施形態＞
「システムの全体構成」
本開示の第１の実施形態について説明する。図１は、本開示の第１の実施形態におけるシステムの一例を示している。システム１は、例えば、信号処理装置２と、信号処理装置２に接続される外部機器３とから構成されている。信号処理装置２は、パーソナルコンピュータやテレビジョン装置などの機器である。外部機器３は、例えば、デジタルスチルカメラ等の撮像機能を有する撮像装置である。信号処理装置２と撮像装置３との間で、例えば、有線または無線による双方向の通信がなされる。通信によって、撮像装置３から信号処理装置２に対して、例えば、ぼけの状態の異なる２枚の画像データを含む複数の画像データや、撮像装置３のＦ値等の固有情報が送信される。画像データは、例えば、撮像装置３の撮像部が所定の被写体を撮像することにより得られるデータである。
【００１６】
「信号処理装置の構成」
図２は、信号処理装置２の主要な構成の一例を示している。信号処理装置２は、例えば、撮像装置３との間のインターフェース（Ｉ／Ｆ）４と、制御部５と、ぼかし処理適用部６とを備えている。信号処理装置２が他の構成を備えるようにしてもよい。例えば、信号処理装置２がキーボードやマウスなどの操作部や表示部、スピーカを備える構成でもよい。さらに、信号処理装置２がインターネット等のネットワークに接続するための通信部を備える構成でもよい。ネットワークに接続された外部機器から、ぼけの状態の異なる２枚の画像データを含む複数の画像データが、通信部を介して信号処理装置２に供給されるようにしてもよい。
【００１７】
制御部５は、例えば、ＣＰＵ(Central Processing Unit)によって構成される。制御部５にＲＯＭ(Read Only Memory)やＲＡＭ(Random Access Memory)が接続されていてもよい。制御部５は、例えば、ＲＯＭに記憶されているプログラムにしたがって、所定の処理を行う。制御部５は、例えば、距離情報を求めて距離マップを生成する処理と、距離マップを補正する処理とを行う。
【００１８】
ぼかし処理部６は、制御部５から供給される距離マップを使用して、画像データに対するぼかし処理を行う。なお、制御部５に、ぼかし処理適用部６の機能が組み込まれていてもよい。さらに、ぼかし処理適用部６における処理が、信号処理装置２と別体とされる他の装置において行われてもよい。
【００１９】
「制御部の構成」
図３は、制御部５の詳細な構成の一例を示している。制御部５は、例えば、画像入力部５ａと、距離情報算出部５ｂと、距離情報補正部５ｃとからなる。画像入力部５ａに対して、例えば、ぼけの状態の異なる２枚の画像データを含む複数枚の画像データが入力される。複数枚の画像データが画像入力部５ａから距離情報算出部５ｂに供給される。供給された複数枚の画像データがＲＡＭ等に記憶されてもよい。
【００２０】
複数枚の画像データのうち、１枚の画像データは、被写体例えば前景の人物に合焦した画像データ（第１画像）である。複数枚の画像データのうち、他の画像データは、第１画像に対して所定の距離、ファー側にフォーカスをずらして撮影された同一被写体の画像データ（第２画像）である。複数枚の画像データのうち、他の画像データは、第１画像に対して所定の距離、ニア側にフォーカスをずらして撮影された同一被写体の画像データ（第３画像）である。
【００２１】
３枚の画像は、互いにぼけの程度が異なる画像である。第１画像では、前景にフォーカスがあっているので、第２画像および第３画像のそれぞれにおける前景のフォーカスのずれの程度は、等しいものとなる。第２画像における背景のぼけに比して、第３画像における背景のぼけの程度が大きいものとなる。例えば、この３枚の画像に対応する画像データが距離情報算出部５ｂに供給される。なお、第１画像に対応する画像データが、制御部５を介さずに、ぼかし処理適用部６に直接、供給されるようにしてもよい。
【００２２】
距離情報算出部５ｂは、供給された画像データを使用して、第１の距離情報を求める処理を行う。ここで、距離情報は、被写体の奥行き方向の位置に応じた距離であり、例えば、前景と背景との距離である。距離情報は、例えば、画像データの画素単位で求められる。画像データのブロック単位で距離情報が求められてもよい。距離情報算出部５ｂにおいて画素毎に距離情報が求められ、全画素毎の距離情報からなる、補正前の距離マップが生成される。
【００２３】
距離情報算出部５ｂによって生成された距離マップが距離情報補正部５ｃに供給される。距離情報補正部５ｃは、供給された距離マップの画素毎の距離情報を補正する処理を行う。距離情報補正部５ｃは、例えば、画素毎の距離情報に対して、ぼけの偏差を補正する補正処理をそれぞれ行う。この補正処理によって、第２の距離情報である、補正後の距離情報が求められる。全画素の距離情報が補正され、補正された距離情報からなる補正後の距離マップ（補正距離マップ）が生成される。生成された補正距離マップおよび第１画像データに対応する画像データがぼかし処理適用部６に供給される。ぼかし処理適用部６は、供給された補正距離マップを参照して、第１画像に対応する画像データにぼかし処理を行う。
【００２４】
「処理の全体的流れ」
図４を参照して、処理の全体的な流れについて説明する。図４において、例えば、ステップＳ１からステップＳ５までの処理が撮像装置３によって行われ、ステップＳ６からステップＳ８までの処理が信号処理装置２によって行われる。
【００２５】
最初のステップＳ１において、１枚目の画像（第１画像）が撮影される。例えばポートレートなら、前景の人物にフォーカスが合うように撮影が行われる。第１画像が一時的に記憶される。次に、ステップＳ２において、フォーカス位置が第１画像に対してファー側に所定の量、変化される。そして、ステップＳ３において、２枚目の画像（第２画像）が撮影される。第２画像が一時的に記憶される。
【００２６】
次に、ステップＳ４において、フォーカス位置が第１画像に対してニア側に所定の量、変化される。フォーカス位置の変化は、第２画像を取得する場合と等しいものとされる。そして、ステップＳ５において、３枚目の画像（第３画像）が撮影される。撮影された３枚の画像（第１画像、第２画像、第３画像）が、画像入力部５ａを介して距離情報算出部５ｂに供給される。
【００２７】
次に、ステップＳ６において、第２画像と第３画像とを使用して、例えば、画素毎の距離情報（第１の距離情報）が算出される。ステップＳ６の処理は、例えば、距離情報算出部５ｂによって行われる。そして、全画素毎の距離情報からなる距離マップが生成される。生成された距離マップが距離情報補正部５ｃに供給される。なお、以下の説明において、距離情報を算出することを、距離推定を行う、または、距離を推定する、と表記することもある。
【００２８】
次に、ステップＳ７において、距離マップを補正する処理が行われる。ステップＳ７の処理は、例えば、距離情報補正部５ｃによって行われる。ステップＳ７では、供給された距離マップにおける画素毎の距離情報が補正され、補正後の全画素の距離情報からなる補正距離マップが生成される。生成された補正距離マップがぼかし処理適用部６に供給される。最後に、ステップＳ８において、補正距離マップを参照しながら第１画像にぼかし処理が適用される。ステップＳ８の処理は、例えば、ぼかし処理適用部６によって行われる。
【００２９】
ステップＳ８のぼかし処理には、例えば、ローパスフィルタを利用することができる。補正距離マップにおけるそれぞれの距離情報に応じて、ローパスフィルタの適用の可否、並びに強度（カットオフ周波数がより低いほど、より強度が大きい）が設定される。すなわち、例えば前景（人物）に対しては、ローパスフィルタを適用せず、背景に対しては、前景との距離に応じた強度のローパスフィルタが適用される。このぼかし処理によって、観賞用に好ましい、背景のぼけたポートレート画を生成することができる。なお、前景は人物に限られることはなく、被写体に応じて適宜、設定される。例えば、動物や果物が前景となる場合もある。
【００３０】
「距離マップ生成処理」
図４のステップＳ６（距離マップ生成）について、図５および図６を参照してより詳細を説明する。図６は、第２画像および第３画像を示す。先ず、図６に示すように、第２画像中の任意の画素を選択し、その座標を(x0,y0)とする。(x0,y0)を中心とし、後述するｑの値に対して十分大きな値であるｐにより(p×p)の範囲を規定する。第２画像の(p×p)の範囲に含まれる画素値に対して、フィルタによる畳込み演算が行われる（図５中のステップＳ１１）。例えば、所定のガウスフィルタを使用した畳込み演算が行われる。ガウスフィルタとは、ガウス関数を使用したぼかしフィルタのことである。すなわち、ガウスフィルタにおいては、画素を合成する時の重みが中心の画素からの距離に応じてガウス関数で決定される。
【００３１】
次に、ステップＳ１２において、ステップＳ１１の結果の画素値の(x0,y0)を中心とし
た(q×q)の範囲の画素値と、第３画像の(x0,y0)を中心とした(q×q)の範囲の画素値との
、類似度を計算する。類似度としては、ＳＡＤ（Sum of Absolute Difference)等を用いることができる。例えば、第２画像の(q×q)の範囲と、第３画像の(q×q)の範囲との間で、同位置に対応する２つの画素値の差分の絶対値を求め、差分の絶対値を、(q×q)画素分積算した値がＳＡＤである。類似度が大きいほどＳＡＤの値が小さくなる。
【００３２】
ステップＳ１２の後の判断処理（ステップＳ１３）において、類似度の計算と、類似度の値の保存の処理がＭ回なされたか否かが判定される。Ｍは、充分大きな値である。類似度の計算と、類似度の値の保存の処理がＭ回なされたと判定されると、処理がステップＳ１４に移る。ステップＳ１４において、記憶されているＭ回分の類似度値の中から類似度の最大値（類似度としてＳＡＤを使用した場合には、最小値）を検索する。類似度の最大値に対応するステップＳ１１およびステップＳ１２の繰り返し回数kが距離情報（第１の距離情報）とされる。ガウスフィルタによるぼかし処理の回数は、ぼかしを付加しない処理を回数０としてもよい。なお、類似度の計算を行う場合に、ガウスフィルタによるぼかし処理がなされていない段階での比較もなされる。
【００３３】
第２画像および第３画像内の前景のエリアでは、ほぼ同様のぼけが付加されているために、ＳＡＤが小となり、類似度が大きいと判定される。背景のエリアでは、第２画像における背景のぼけに比して、第３画像における背景のぼけの程度が大きいので、第２画像に対してぼけを付加する処理を行うことによって、類似度が大きくなる。
【００３４】
なお、類似度の最大値を求める方法として、予め定めたＭ回の処理を繰り返さない方法も可能である。例えばＳＡＤを使用している場合において、ＳＡＤの極小値を検出し、ＳＡＤの極小値が生じるまでの回数kを距離情報としてもよい。さらに、類似度としては、差分の絶対値の代わりに差分の自乗を使用してもよい。さらに、ＳＡＤ以外のパラメータを使用して類似度を検出してもよい。
【００３５】
上述したように、画像内の全画素のそれぞれについてkが求められる。求められたkの値が画素毎に存在するのが距離マップである。この場合、演算量を減少させるために、全画素ではなく、水平および／または垂直方向に所定の間隔でサンプリングされた画素毎に、kの値を求めた距離マップを作成してもよい。
【００３６】
演算量を減少させ、処理の負荷を低減するために、所定の範囲毎に距離情報を求めてもよい。所定の範囲は、３画素×３画素、５画素×５画素など適宜、設定することができる。所定の範囲における代表画素を選択する。代表画素は、所定の範囲の中央に位置する画素など適宜、設定することができる。そして、上述した方法によって、代表画素の距離情報ｋを算出する。算出された代表画素に関する距離情報ｋを、所定の範囲に含まれる画素毎の距離情報としてもよい。
【００３７】
例えば、３画素×３画素や５画素×５画素程度の範囲であれば、隣接する画素毎の距離情報ｋは、大きく変化しない。したがって、所定の範囲における画素毎の距離情報ｋを個々に求めるのではなく、代表画素の距離情報ｋで近似しても実際上の問題は少ない。他の方法として、所定の範囲における、距離情報ｋを求めるためのパラメータの平均をとり、パラメータの平均を使用して距離情報ｋを求めてもよい。
【００３８】
次に、kの値が何故、距離情報たりえるかを説明する。まず、下記の表記を定義する。
Img ：デフォーカスによるぼけ関数が適用されていない、フォーカスの合った画像
σ2，σ3：第２画像および第３画像のそれぞれにおける、ぼけ関数（２次元等方ガウス関数）の標準偏差
σf ：ステップＳ１１において適用するガウスフィルタの標準偏差
【００３９】
デフォーカスにおけるぼけ関数は、幾何光学的には、図７に示すようなある錯乱円径を持ったPill Box関数として求まる。点の像にフォーカスが合っている時は、撮像面で点の像が生じるが、フォーカスが合っていないと、ぼけによって円形の像が発生する。この円のことが錯乱円と呼ばれる。
【００４０】
しかしながら、実際のレンズでは収差の影響などを考慮して、図８のような２次元等方ガウス関数に近似されることが多い。図８において、中心の位置が処理の対象の画素（注目画素）の位置である。注目画素の位置に近いほど平均値を計算する場合の重みを大きくし、注目位置の画素から遠くなるほど重みを小さくする分布（ガウス分布の関数）を持つのがガウスフィルタである。標準偏差が小さく分布の幅が狭くなるほど、平滑化の効果が小さくなる。
【００４１】
本開示の第１の実施形態においても、第２画像および第３画像のデフォーカスにおけるぼけ関数を２次元等方ガウス関数であると近似し、その標準偏差がσ2，σ3であるとする。このとき、図５に示される処理において、kを求めるプロセスは、下記の式（１）
にてkを求めることに相当する（G(μ,σ）は、平均μ、標準偏差σの２次元等方ガウス
関数）。さらに、分散は、平均からのずれの自乗期待値である。
【００４２】
【数１】
2013030895.tif 000003
【００４３】
ここで、一般的に、ガウス関数の畳込みはガウス関数となり、また畳込む２つのガウス関数の分散の和（σ22＋σ32）が、畳込み結果のガウス関数の分散に一致することを利用すると、下記の式（２）でkを記述することができる。
【００４４】
【数２】
2013030895.tif 000004
【００４５】
式（２）からkは、下記の関係を有する。
（１）kは、σfの自乗に反比例する。σfを一定値とすれば、式（２）の分母が一定値となる。
【００４６】
（２）kは（σ3−σ2）に比例する。（σ3−σ2）は、近似的に、第２画像と第３画像におけるデフォーカスのぼけ関数における、錯乱円径の差と解釈することができる。この値は、第１画像に対する第２画像および第３画像のデフォーカス量を一定にしておけば、一定値となる。つまり、例えば、第１画像に対して第２画像は、ファー側に２ＤｏＦ(Depth of field：被写界深度）デフォーカスさせ、第１画像に対して第３画像は、ニア側に２ＤｏＦデフォーカスさせるように設定すれば、（σ3−σ2）は、許容錯乱円の４倍の値の一定値となる。
【００４７】
（３）kは、（σ3＋σ2）に比例する。（σ3＋σ2）は、近似的に、第２画像と第３画像におけるデフォーカスのぼけ関数における、錯乱円径の和もしくは平均値の２倍の値と解釈することができる。
【００４８】
例えば上述したように、第１画像に対して第２画像はファー側に２ＤｏＦデフォーカスさせ、第１画像に対して第３画像はニア側に２ＤｏＦデフォーカスさせる。また、第１画像取得時にフォーカスを合わせる前景位置と背景位置の相対距離がｎＤｏＦであるとすれば、σ2は、許容錯乱円の（ｎ−２）倍の値、σ3は、許容錯乱円の（ｎ＋２）倍の値となるので、（σ3＋σ2）は許容錯乱円の２ｎ倍の値となり、よって（σ3＋σ2）は前景位置と背景位置の相対距離ｎに比例する。
【００４９】
上述した関係から、結局kは、前景位置と背景位置の相対距離ｎに比例する性質を有する。この性質により、kを計算することによって、前景および背景間の相対距離に比例する距離情報を得ることができる。k、ｎ、（σ3＋σ2）の関係を、図９に示す。すなわち、図９は、k∝σ3＋σ2∝ｎ（∝は、比例関係を表す）の関係があることを概略的に示している。
【００５０】
「ぼかし処理」
算出された距離情報kが、図４におけるステップＳ７における処理で補正される。なお、ステップＳ７の処理については、後述する。図４におけるステップＳ８において、画像中算出されたそれぞれの画素位置における、補正後のkの値に応じて、ぼかし処理がぼかし処理適用部６によってなされる。すなわち、補正後のkの値が大きい場合にはより強度なぼかし処理を施し、補正後のkの値が小さい場合には、より弱度なぼかし処理を施すか、またはぼかし処理を行わない。このようなぼかし処理によって、背景が適切にぼけた観賞に好ましい画像を得ることが可能となる。
【００５１】
算出された補正後のkを用いて、以下に説明するように、前景位置と背景位置の相対的な物理距離ｓfを求め、ｓfを使用してステップＳ８におけるぼかし処理を行うようにしてもよい。まず、薄肉レンズの幾何光学による式により、一般的に下記の式（３）が導かれる。
【００５２】
【数３】
2013030895.tif 000005
【００５３】
式（３）において、ｆが焦点距離であり、ＦがＦナンバーであり、ｓが合焦距離であり、δが錯乱円径であり、ｓfが遠側被写体距離である。ｆ、Ｆ、ｓは、レンズの制御値であるから既知であり、δが分かれば、ｓfが求められる。幾何光学的には、ぼけ関数は、ある錯乱円径をPill Box関数として表されるが、ここでは、式（２）から求まるσ3とσ2の平均値を近似的に錯乱円径とみなす。式（３）におけるδとして式（４）を代入する。
【００５４】
【数４】
2013030895.tif 000006
【００５５】
【数５】
2013030895.tif 000007
【００５６】
この式（５）により求めた、前景位置と背景位置の相対的別離距離Ｓｆを用いて、ステップＳ８におけるぼかし処理を行うようにしてもよい。
【００５７】
「ぼけ関数の偏差による影響」
さて、ここまでにおいて導かれた、kまたはｓfは、いずれも前提条件として、式（１）で表わされているように、ぼけ関数が２次元等方ガウス関数であることが含まれている。前述したように、ぼけ関数は、幾何光学的にはPill Box関数にて求まるものの、実レンズにおける回折や収差の影響を考慮して、２次元等方ガウス関数にて近似的に表わされることが多い。
【００５８】
さらに、前提として、ぼけ関数が一定であることを前提としている。しかしながら、実レンズのぼけ関数は、被写体の結像面と撮像面との不一致によって偏差が生じる。換言すれば、実レンズのぼけ関数は、撮像面上の位置に応じて、その大きさ（錯乱円径若しくは、ぼけ関数をガウス関数とみなす場合にはその標準偏差）が異なる。ぼけ関数の偏差が大きいほど（ぼけ関数の大きさの違いが大きいほど）距離推定に大きな誤差が発生する。ぼけ関数の偏差が生じる原因には、様々な種類の収差やレンズの製造・組み立てのばらつきが挙げられる。これらの原因の中で、特に、ぼけ関数の偏差が大きくなる原因として「像面湾曲」および「片ぼけ」が挙げられる。以下、「像面湾曲」および「片ぼけ」について説明する。
【００５９】
「像面湾曲について」
像面湾曲は、代表的な収差の一つである。図１０は、像面湾曲の発生の様子を模式的に示したものである。ここで、撮像面は、例えば、ＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(complementary Metal Oxide Semiconductor)等の撮像素子の位置および／または形状に対応している。撮像面は、例えば、撮像素子において光電変換を行う光電変換位置を結んだ面である。結像面は、例えば、平面の被写体面上の各点の結像位置を結んだ面である。ここで、平面の被写体面上の、どの位置にある被写体も平面の撮像面上に合焦した状態で結像すれば、像面湾曲のない状態になる。しかし、実レンズでは、結像面が曲面となり、結面面と撮像面とが一致せず、不一致が生じる。この種の収差が像面湾曲と呼ばれる。
【００６０】
像面湾曲が生じた場合に、撮像された画像は、例えば、撮像面の中心では合焦しているものの、中心以外の部分では像面湾曲量に応じたぼけが発生する。この状態の一例を図１１に示す。さらに、撮像面の中心が合焦していない場合では、撮像面の中心部と中心以外の部分では、ぼけ関数の大きさが異なる。この状態の一例を図１２に示す。像面湾曲量およびその結果発生する撮像画像のぼけ量は、その発生原理から光軸を中心とした回転対象となる。
【００６１】
「片ぼけについて」
片ぼけは、例えば、レンズの製造・組み立てばらつきや、レンズと撮像素子の組み立てばらつき、もしくは、これらの複合的要因によって発生する。図１３および図１４は、片ぼけの発生の様子を模式的に示したものである。図１３に示す片ぼけの例は、レンズの製造・組み立てばらつきによって発生した例である。レンズの製造・組み立てばらつきに起因して、光軸に垂直な平面被写体上の、各点の結像位置を結んだ結像面が、光軸に垂直な撮像面と一致していない。像面湾曲と類似しているものの、結像位置の撮像面からのずれ量が回転対象とならず、この点が収差を原因とした場合と異なる。
【００６２】
図１４は、レンズと撮像素子の組み立てばらつきによって発生した片ぼけの例を示している。結像面は光軸に垂直であるものの、撮像素子があおることにより結像面と撮像面とが一致していない。図１３および図１４のいずれの場合でも、撮像された画像は、撮像面の中心付近では合焦しているものの、中心以外の部分では、片ぼけ量に応じたぼけが発生する。さらに、撮像面の中心で合焦していない場合でも、撮像面上の位置によりぼけ関数の大きさが異なる。
【００６３】
「距離情報の誤差」
上述した像面湾曲や片ぼけが発生すると、算出される距離情報に誤差が発生する。この理由について述べる。始めに、例えば、像面の中心では、上述の式（２）によって誤差のない距離推定ができ、誤差のない距離情報kが得られる。これに対して、像面の周辺では、結像面の湾曲に起因してσ2、σ3に偏差Δσが生じる。例えば、像面の周辺におけるぼけ関数の標準偏差を式（６）、式（７）とする。
【００６４】
【数６】
2013030895.tif 000008
【００６５】
【数７】
2013030895.tif 000009
【００６６】
式（６）、式（７）を式（２）に代入して整理すると、得られる距離情報k’は、以下の式（８）になる。
【００６７】
【数８】
2013030895.tif 000010
【００６８】
式（８）より、像面の中心の距離情報kに対して、正側の誤差２Δσが発生する。
【００６９】
また、例えば、像面の周辺におけるぼけ関数の標準偏差を式（９）、式（１０）とする。
【００７０】
【数９】
2013030895.tif 000011
【００７１】
【数１０】
2013030895.tif 000012
【００７２】
式（９）、式（１０）を式（２）に代入して整理すると、得られる距離情報k’は、以下の式（１１）になる。
【００７３】
【数１１】
2013030895.tif 000013
【００７４】
式（１１）より、像面の中心の距離情報kに対して、負側の誤差２Δσが発生する。
【００７５】
図１５は、像面湾曲の一例を示している。図１５に示す像面湾曲が発生した場合に得られる、距離マップの一例を図１６に示す。ここで、被写体の一例として、遠距離には同一距離である平面的な背景が配置され、近距離には矩形の物体（前景）が配置されている被写体を想定する。距離マップの色の濃淡は、濃度が濃い（高い）ほどニア側であることを示し、濃度が薄い（低い）ほどファー側であることを示している。
【００７６】
図１６に示すように、像面の中心に位置する近距離の物体は、距離マップ上で濃度が高く、適切な距離情報が得られている。さらに、像面の中心付近では、距離マップ上の濃度が低く、適切な距離情報が得られている。一方、像面の周辺（端部）では、上述した誤差の影響によって、本来、ファー側、すなわち濃度が低くなるべきところ、ニア側、すなわち、濃度が高くなってしまっている。このような、距離マップを参照して、図４のステップＳ８に示すぼかし処理を行うと、本来、ぼかし処理がかかるべき背景部においてぼかし量が適切値より少なくなる。結果として、観賞用としては不適切な画像が生成されてしまう。
【００７７】
像面湾曲は、光軸を中心とした回転対称であるが、各像面位置に対する像面湾曲量は、レンズ設計やレンズの状態（焦点距離、Ｆ値、フォーカス位置等）によって異なる。図１７は、像面湾曲の他の例である。図１７に示す像面湾曲が発生した場合に得られる、距離マップの一例を図１８に示す。
【００７８】
図１８では、像面の中心およびその近傍では、適切な距離情報が得られており、距離推定が正確に行われている。しかしながら、上述した誤差の影響によって同心円状に濃度の濃淡が発生している。このような距離マップを参照すると、適切なぼかし処理を行うことができず、結果として、観賞用としては不適切な画像が生成されてしまう。
【００７９】
図１９は、片ぼけの一例を示している。図１９に示す片ぼけが発生した場合に得られる、距離マップの一例を図２０に示す。図２０に示す距離マップでは、背景に対する距離推定値が一定にならず、像面の上下方向に誤差が生じている。なお、ここで例示しているのは上下方向の片ぼけであるが、片ぼけは、レンズのばらつき方によって左右や斜め方向にも発生しうる。
【００８０】
「第１の実施形態における距離マップ補正処理」
上述した、ぼけ関数の偏差に伴い発生する距離情報の誤差の影響を無くすために、本開示における第１の実施形態では、以下に述べる距離マップ補正処理を行う。この処理は、例えば、距離情報補正部５ｃによって行われ、図４におけるステップＳ７の処理に相当する。
【００８１】
図２１は、距離マップ補正処理の一例を示すフローチャートである。図４におけるステップＳ６の処理により、画素毎に第１の距離情報である距離情報k’が得られている。そして、全画素分の距離情報k’からなる距離マップk’(x,y)が得られている。ここで、(x,y)は像面上の座標を示す。
【００８２】
第１の実施形態における距離マップ補正処理は、ぼけの偏差に伴う補正値を、既知の情報であるDefocus情報B(x,y)を使用して算出する。そして、距離情報k’に対して、補正値を使用した補正処理（演算）を行い、第２の距離情報である距離情報k _compを算出する。全画素毎に距離情報k _compが算出され、全画素毎の距離情報k_compからなる補正距離マップk_comp (x,y)が生成される。
【００８３】
図２２は、既知の情報の一例であるDefocus情報B(x,y)を示す。Defocus情報B(x,y)は、像面上の各座標における、撮像面と結像面との偏差量をあらわす物理的距離である。像面湾曲に起因するDefocus量は、レンズ設計の時点で確定しており、既知である。片ぼけに起因するDefocus量は、例えば、レンズの製造時に解像チャート等を用いて撮影を行い、像面上各位置のチャートのぼけ量を測定することにより、既知の情報として得られる。
【００８４】
Defocus情報B(x,y)は、例えば、制御部５と接続されるＲＯＭ等の記憶部に予め記憶されている。撮像装置３から信号処理装置２に対して、固有情報の一つとしてDefocus情報B(x,y)が送信されるようにしてもよい。ネットワークを介して、信号処理装置２にDefocus情報B(x,y)が供給されるようにしてもよい。
【００８５】
k_comp(x,y)の値を、位置によらずkとするには、式（１２）に示すように、式（２）と式（８）との差分を補正すればよい。k’(x,y)とk(x,y)に式（８）および式（２）をそれぞれ代入して整理すると、以下の式（１２）になる。なお、Δσは、像面上の位置によって異なるのでΔσ(x,y)と関数の形で示されている。
【００８６】
【数１２】
2013030895.tif 000014
【００８７】
ここで、Defocus情報B(x,y)と、像面上の周辺と中心とのぼけ量の差Δσ(x,y)には、式（１３）に示す関係が存在する。式（１３）におけるＦは、Ｆ値（Ｆナンバー）である。
【００８８】
【数１３】
2013030895.tif 000015
【００８９】
式（１３）の関係が成り立つ理由を説明する。光線、焦点位置等によって形成される図形の相似の関係から、ｆ／Ｄ＝Ｂ／Δσの関係が存在する。ここで、ｆは焦点距離、Ｄはレンズの有効径である。変形すると、Δσ＝ＤＢ／ｆとなる。ここで、Ｆ値はＦ＝ｆ／Ｄであることから、式（１３）が導かれる。
【００９０】
式（１３）を式（１２）に代入して整理すると、式（１４）が導かれる。
【００９１】
【数１４】
2013030895.tif 000016
【００９２】
式（１４）において、右辺に現れる関数および変数は、全て既知である。すなわち、既知の情報から、処理に必要な補正値を得ることができる。第１の距離情報k’(x,y)から補正値が減算されて、第２の距離情報である距離情報k_comp(x,y)が算出される。この補正処理が全画素について行われ、画素毎の距離情報k_comp (x,y)が得られる。そして、全画素の距離情報k_comp (x,y)からなる、誤差のない補正距離マップk_comp (x,y)が得られる。図４のステップＳ８の処理において、ぼかし処理適用部６において、補正距離マップk_comp (x,y)が参照されたぼかし処理が行われる。
【００９３】
＜２．第２の実施形態＞
「第２の実施形態における距離マップ補正処理」
次に、第２の実施形態について説明する。第２の実施形態では、図４のステップＳ７における距離マップ補正処理の内容が、第１の実施形態における距離マップ補正処理の内容と異なっている。信号処理装置２の構成や、図４におけるステップＳ６、ステップＳ８等の処理については第１の実施形態と同様であるため、重複した説明を省略している。
【００９４】
第１の実施形態では、既知であるDefocus情報を使用して補正値を算出したが、第２の実施形態では、第１の距離情報からなる距離マップを使用して補正値の推定を行うようにしている。図２３は、第２の実施形態における距離マップ補正処理の流れの一例を示すフローチャートである。図４のステップＳ６の処理によって、全画素分の距離情報k’(x,y)からなる距離マップk’(x,y)が既に生成されている。
【００９５】
ステップＳ２２では、前景置き換え処理が行われる。前景置き換え処理は、距離マップk’(x,y)において、前景被写体に対応する位置の距離情報を、背景被写体に対応する位置の距離情報の一部を使用して置き換える。例えば、補間により距離情報を置き換える。前景置き換え処理により、距離マップk’_bg(x,y)が生成される。そして、処理がステップＳ２３に進む。
【００９６】
ステップＳ２３において、距離マップk’_bg(x,y)に対して、例えば像面湾曲および片ぼけによる誤差をモデル化した、複数の２次元基底に対する係数が算出される。画素単位で処理がなされる場合には、距離マップk’_bg(x,y)における画素毎の距離情報に対する誤差をモデル化した、複数の２次元基底に対する係数が算出される。そして、処理がステップＳ２４に進む。
【００９７】
ステップＳ２４では、ステップＳ２３において算出された係数と、基底を用いた線形和として、補正マップを算出する。そして、処理がステップＳ２５に進む。ステップＳ２５では、誤差の重畳した距離マップk’(x,y)から、ステップＳ２４において求めた補正マップを減算することにより、誤差の補正が行われる。そして、補正後の距離マップである補正距離マップk_comp(x,y)が生成される。
【００９８】
図２３の各ステップにおける処理の詳細を説明する。ステップＳ２２における前景置き換え処理は、例えば、前景被写体の範囲を判別する前景判別処理と、判別された前景被写体の範囲に対応する位置の距離情報を、背景被写体に対応する位置の距離情報の一部により置き換える距離情報置き換え処理とからなる。
【００９９】
図２４Ａは、補正前の距離マップk’(x,y)の一例を示す。距離マップk’(x,y)において、中心付近の濃度が濃くなっている矩形の箇所が前景被写体である。前景判別処理は、例えば、画素毎の距離情報k’(x,y)に対して閾値を設けて、閾値と比較することによって前景被写体の範囲を判別する。なお、閾値ではなく、他の方法によって前景被写体の範囲を判別するようにしてもよい。例えば、画像における人物の範囲を判別する公知の手法を適用して、前景被写体の範囲を判別するようにしてもよい。画像処理によってエッジを検出し、検出したエッジにより形成される範囲を、前景被写体の範囲として判別するようにしてもよい。
【０１００】
前景被写体の範囲が判別されると、距離情報置き換え処理が行われる。図２４Ｂに示すように、判別された前景被写体に対応する位置の距離情報が、背景被写体に対応する位置の距離情報の一部により置き換えられる。前景被写体の範囲の距離情報が、例えば、前景被写体の範囲の周辺（近傍）の距離情報によって、補間により置き換えられる。なお、距離情報置き換え処理に使用される距離情報は、距離推定が適切に行われた距離情報である。すなわち、図２４Ｂにおいて、前景被写体の範囲の周辺において、ファー側に距離推定がなされた距離情報が使用される。距離情報置き換え処理により、距離マップk’_bg(x,y)が生成される。
【０１０１】
ここで、後述するステップＳ２３の処理において、各基底に対応する係数を算出する際に、距離マップ全体に前景と背景とが混在していると係数を適切に算出することができない。このため、距離マップ全体が背景のみで構成されていることが好ましい。したがって、ステップＳ２２の処理が行われることが好ましい。
【０１０２】
次に、ステップＳ２３およびステップＳ２４の処理において用いる、誤差基底について説明する。像面湾曲の形状は、レンズ設計や、レンズ状態（焦点距離、Ｆ値、フォーカス位置）によって大きく変化する。図２５にその様子（断面）の一例を示す。このように、様々に変化する像面湾曲の、距離マップにおける距離情報への誤差重畳量を、距離マップそのものから推定するために、様々な像面湾曲形状から、１つもしくは複数の主成分を抽出しておく。抽出した１または複数の主成分を予め記憶しておくようにしてもよい。
【０１０３】
そして、距離マップより、それらの主成分を基底としたときの係数を算出することにより、それぞれの主成分に起因する誤差寄与量を推定する。図２６および図２７は、抽出した第一主成分による基底P_1(x,y)および第二主成分による基底P_2(x,y)の例である。図２６および図２７に示す基底は、図２５に示す像面湾曲の形状にそれぞれ対応している。
【０１０４】
また、片ぼけに関しては、様々な方向の片ぼけが発生しうるが、少なくとも、垂直方向の片ぼけQ_1(x,y)および、水平方向の片ぼけQ_2(x,y)の二つの基底を定めておけば、それらの線形和として、様々な方向の片ぼけが表現可能となるので十分である。図２８および図２９に、それぞれの基底の例を示す。図２６から図２９までに例示した基底は、予め記憶されていてもよく、撮像装置３等の外部から供給されるようにしてもよい。記憶された、または、外部から供給される基底の情報が距離情報補正部５ｃによって取得される。
【０１０５】
ステップＳ２３において、下記の式（１５）〜式（１８）に示すように、前景の距離情報を背景の距離情報に置き換えた２次元の距離マップk’_bg(x,y)の中に含まれる、それぞれの基底に対する係数pc_1,pc_2,qc_1,qc_2を算出する。
【０１０６】
【数１５】
2013030895.tif 000017
【０１０７】
【数１６】
2013030895.tif 000018
【０１０８】
【数１７】
2013030895.tif 000019
【０１０９】
【数１８】
2013030895.tif 000020
【０１１０】
ステップＳ２４において、ステップＳ２３において求めた係数を用いて、式（１９）に示すような各基底の線形和としてあらわす。全ての画素に対して処理が行われ、像面湾曲および片ぼけに起因する誤差に対する補正マップErr(x,y)が生成される。
【０１１１】
【数１９】
2013030895.tif 000021
【０１１２】
最後に、ステップＳ２５において、式（２０）に示すように距離マップk’(x,y)から、補正マップErr(x,y)を減ずる。例えば、距離マップk’(x,y)および補正マップErr(x,y)における同一位置の距離情報を減ずる。全画素の距離情報について式（２０）に示す処理がなされ、像面湾曲や片ぼけによる誤差が補正された補正距離マップk_comp(x,y)が生成される。
【０１１３】
【数２０】
2013030895.tif 000022
【０１１４】
＜３．第３の実施形態＞
本開示は、撮像装置として構成することも可能である。図３０は、本開示に適用可能な撮像装置の構成の一例を示す。撮像装置は、カメラ部１０と、デジタル信号処理部２０と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３０と、媒体インターフェース（以下、媒体Ｉ／Ｆという。）４０と、操作部６０と、ＬＣＤ（Liquid Crystal Display）コントローラ７０と、ＬＣＤ７１と、外部インターフェース（以下、外部Ｉ／Ｆという。）８０と、大容量の記録媒体であるハードディスクドライブ９０とからなり、媒体Ｉ／Ｆ４０に対して記録媒体４１が着脱可能とされている。
【０１１５】
記録媒体４１は、例えば半導体メモリを用いたいわゆるメモリカードである。メモリカード以外に、ハードディスク装置、記録可能なＤＶＤ（Digital Versatile Disc）や記録可能なＣＤ（Compact Disc）等の光記録媒体、磁気ディスクなどを用いることができる。撮像装置において、さらに、制御部の一例であるＣＰＵ５１と、ＲＡＭ５２と、フラッシュＲＯＭ５３と、時計回路５４とが、システムバス５５に接続されている。
【０１１６】
カメラ部１０は、光学ブロック１１、ＣＣＤ、ＣＭＯＳ等の撮像素子１２、前処理回路１３、光学ブロック用ドライバ１４、撮像素子ドライバ１５、タイミング生成回路１６とを備えたものである。ここで、光学ブロック１１は、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えている。
【０１１７】
ＣＰＵ５１は、例えば、マイクロコンピュータであり、撮像装置の各部を制御する。ＲＡＭ５２は、処理の途中結果を一時記憶するなど主に作業領域として用いられるものである。フラッシュＲＯＭ５３は、ＣＰＵ５１において実行する種々のプログラムや、処理に必要になるデータなどが記憶されたものである。フラッシュＲＯＭ５３に、上述したDefocus情報Ｂ(x,y)や主成分の基底、撮像装置のＦ値などが記憶される。時計回路５４は、現在年月日、現在曜日、現在時刻、撮影日時などを提供すると共に、撮影日時等の日時情報を撮影画像ファイルに付与する機能を有する。
【０１１８】
撮影時においては、光学ブロック用ドライバ１４は、ＣＰＵ５１からの制御に応じて、光学ブロック１１を動作させるための駆動信号を形成し、駆動信号を光学ブロック１１に供給して、光学ブロック１１を動作させる。光学ブロック１１では、光学ブロック用ドライバ１４からの駆動信号に応じて、フォーカス機構、シャッター機構、絞り機構が制御され、被写体像が取り込まれ、被写体像が撮像素子１２に対して提供される。
【０１１９】
撮像素子１２は、光学ブロック１１からの被写体像を光電変換して出力する。撮像素子ドライバ１５からの駆動信号に応じて撮像素子１２が動作し、被写体像が取り込まれ、ＣＰＵ５１によって制御されるタイミング生成回路１６からのタイミング信号に基づいて、取り込まれた被写体の画像が電気信号として前処理回路１３に供給される。
【０１２０】
なお、タイミング生成回路１６は、ＣＰＵ５１からの制御に応じて、所定のタイミングを提供するタイミング信号を形成する。また、撮像素子ドライバ１５は、タイミング生成回路１６からのタイミング信号に基づいて、撮像素子１２に供給する駆動信号を形成する。
【０１２１】
前処理回路１３は、供給された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好にし、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像データを形成する。
【０１２２】
前処理回路１３からのデジタル撮像データがデジタル信号処理部２０に供給される。デジタル信号処理部２０は、撮像データに対して、デモザイク処理、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）などのカメラ信号処理を施す。カメラ信号処理がなされた画像データが所定の圧縮方式でデータ圧縮され、システムバス５５、媒体Ｉ／Ｆ４０を通じて装填された記録媒体４１および／またはハードディスクドライブ９０に供給され、記録媒体４１および／またはハードディスクドライブ９０に例えばＤＣＦ（Design rule for Camera File system）規格に準じた画像ファイルとして記録される。
【０１２３】
また、記録媒体４１に記録された画像データは、操作部６０を通じて受け付けたユーザからの操作入力に応じて、目的とする画像データが媒体Ｉ／Ｆ４０を通じて記録媒体４１から読み出され、読み出された画像データがデジタル信号処理部２０に供給される。操作部６０には、シャッタレリーズボタン等の各種ボタンやレバー、ダイヤル等が含まれる。ＬＣＤ７１をタッチパネルと構成とし、ユーザが画面上を指や指示具で押圧することで入力操作を行うことが可能とされてもよい。
【０１２４】
デジタル信号処理部２０は、記録媒体４１から読み出され、媒体Ｉ／Ｆ４０を通じて供給された圧縮されている画像データに対して、その圧縮の解凍処理（伸張処理）を行い、解凍後の画像データをシステムバス５５を通じて、ＬＣＤコントローラ７０に供給する。ＬＣＤコントローラ７０は、画像データからＬＣＤ７１に供給する表示画像信号を形成し、表示画像信号をＬＣＤ７１に供給する。これにより、記録媒体４１に記録されている画像データに応じた画像がＬＣＤ７１の画面に表示される。さらに、ＣＰＵ５１およびＬＣＤコントローラ７０の制御によって、ＬＣＤ７１の画面上にメニュー等のテキスト、グラフィックスの表示が行うことが可能とされている。なお、画像の表示の形態は、フラッシュＲＯＭ５３に記録された表示処理プログラムに従う。
【０１２５】
また、撮像装置には、外部Ｉ／Ｆ８０が設けられている。この外部Ｉ／Ｆ８０を通じて、例えば外部のパーソナルコンピュータが接続され、パーソナルコンピュータから画像データの供給を受けて、これを自身に装填された記録媒体４１に記録したり、また、自身に装填された記録媒体４１に記録されている画像データを外部のパーソナルコンピュータに供給することが可能とされている。
【０１２６】
また、外部Ｉ／Ｆ８０に通信モジュールを接続することにより、例えば、インターネットなどのネットワークと接続して、ネットワークを通じて種々の画像データやその他の情報を取得し、自身に装填された記録媒体に記録したり、あるいは、自身に装填された記録媒体に記録されているデータを、ネットワークを通じて目的とする相手先に送信することが可能とされている。
【０１２７】
また、外部のパーソナルコンピュータやネットワークを通じて取得し、記録媒体に記録した画像データなどの情報についても、読み出して再生し、ＬＣＤ７１に表示することが可能とされている。
【０１２８】
なお、外部Ｉ／Ｆ８０は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers ）１３９４、ＵＳＢ（Universal Serial Bus）などの有線用インターフェースとして設けることも可能であるし、光や電波による無線インターフェースとして設けることも可能である。すなわち、外部Ｉ／Ｆ８０は、有線、無線のいずれのインターフェースであってもよい。外部Ｉ／Ｆ８０を通じて、例えば図示しない外部のコンピュータ装置と接続して、コンピュータ装置から画像データの供給を受けて、画像データを記録媒体４１および／またはハードディスクドライブ９０に記録できる。記録媒体４１および／またはハードディスクドライブ９０に記録されている画像データを外部のコンピュータ装置等に供給することもできる。
【０１２９】
上述した撮像装置によって、被写体の画像（静止画および動画）を撮影して、装填された記録媒体４１および／またはハードディスクドライブ９０に記録することができる。さらに、記録媒体４１および／またはハードディスクドライブ９０に記録された画像データを読み出して、画像を表示し、任意に閲覧、編集することが可能である。画像データの管理のためにインデックスファイルが記録媒体４１および／またはハードディスクドライブ９０の特定領域に記録されている。
【０１３０】
ここで、上述した撮像装置の動作について概略的に説明する。撮像素子１２によって受光され、光電変換された信号が前処理回路１３に供給され、ＣＤＳ処理、ＡＧＣ処理が行われてデジタル信号に変換され、デジタル信号処理部２０に供給される。デジタル信号処理部２０では、画像データが画質補正処理され、カメラスルー画像の画像データとしてＲＡＭ５２に一時的に記憶される。
【０１３１】
ＲＡＭ５２に記憶された画像が、ＣＰＵ５１の制御によってＬＣＤコントローラ７０に供給され、カメラスルー画像がＬＣＤ７１に表示される。ＬＣＤ７１に表示されたカメラスルー画像を見ながら画角合わせを行うことが可能となる。なお、画像データがＲＡＭ５２に記憶されずに、デジタル信号処理部２０から直接、ＬＣＤコントローラ７０に供給されるようにしてもよい。
【０１３２】
そして、操作部６０のシャッタレリーズボタンが押下されると、ＣＰＵ５１がカメラ部１０に制御信号を出力して、光学ブロック１１のシャッターを動作させる。これとともに、デジタル信号処理部２０によって、前処理回路１３から供給された１フレーム分の画像データ（記録画像データ）が処理されて後、ＳＤＲＡＭ３０に記憶される。さらに、この記録画像データがデジタル信号処理部２０によって圧縮符号化され、符号化データがハードディスク９０に記憶されると共に、システムバス５５および媒体インターフェース４を通じて記録媒体４１に記憶される。
【０１３３】
なお、ＣＰＵ５１が撮影時の日時や時刻を時計回路５４から取得し、取得された時刻情報が静止画像データに付加されてもよい。さらに、静止画像データについてはさらに、静止画像の縮小画像のデータが生成され、縮小画像のデータが元の静止画像データと対応付けられてハードディスクドライブ９０および記録媒体４１に記憶されてもよい。
【０１３４】
一方、ハードディスクドライブ９０および記録媒体４１に記憶された記録画像データを再生する場合には、操作部６０からの操作入力に応じて、ＣＰＵ５１により選択された記録画像データがＳＤＲＡＭ３０から読みだされる。読みだされた記録画像データが、デジタル信号処理部２０によって復号される。復号された画像データがＬＣＤコントローラ７０を通じてＬＣＤ７１に供給され、ＬＣＤ７１に再生画像が表示される。
【０１３５】
図３１は、上述した撮像装置のＣＰＵ５１の構成の一例等を示したものである。ＣＰＵ５１は、少なくとも、距離情報算出部５６および距離情報補正部５７を備える。図３１に示すように、ＣＰＵ５１がぼかし処理適用部５８を備える構成としてもよい。ＣＰＵ５１がＲＡＭ５２を備える構成としてもよい。光学ブロック１１内のレンズ１１ａがフォーカス制御部１４ａによって制御され、フォーカスが制御される。フォーカス制御部１４ａは、ＣＰＵ５１および光学ブロック用ドライバ１４によって構成される。
【０１３６】
撮像装置におけるフォーカス制御部１４ａの制御によって、フォーカスが互いに異なる複数の撮像画像が取得される。例えば、被写体例えば前景の人物に合焦した１枚の画像（第１画像と称する）が取得される。次に、第１画像に対して所定の距離ファー側にフォーカスをずらして同一の被写体が撮像され、１枚の画像（第２画像と称する）が取得される。さらに、第１画像に対して同一の所定の距離ニア側にフォーカスをずらして１枚の画像（第３画像と称する）を取得する。これらの３枚の画像がデータ記憶部としてのＲＡＭ５２に一時的に記憶される。
【０１３７】
距離情報算出部５６において、３枚の画像のうち、第２画像および第３画像が使用されて、例えば、画素毎の距離情報が算出される。そして、全画素の距離情報からなる距離マップが生成される。なお、距離情報算出部５６における処理は、上述した距離情報算出部５ｂにおける処理と同様であるので、ここでは詳細な説明を省略する。
【０１３８】
距離情報算出部５６において生成された距離マップが距離情報補正部５７に供給される。距離情報補正部５７は、供給された距離マップにおける画素毎の距離情報を補正する。そして、補正後の全画素の距離情報からなる補正距離マップが生成される。なお、距離情報補正部５７における処理は、上述した第１または第２の実施形態における距離情報補正部５ｃの処理と同様であるので、ここでは詳細な説明を省略する。第１およびは第２の実施形態における距離情報補正部５ｃのそれぞれの処理をモードとし、距離情報補正部５７において、各モードが切り替えられて実行されるようにしてもよい。
【０１３９】
距離情報補正部５７によって生成された補正距離マップがぼかし処理適用部５８に供給される。ぼかし処理適用部５８において、補正距離マップを参照したぼかし処理が行われ、例えば、背景がぼけた、観賞用に適した画像が生成される。ぼかし処理適用部５８における処理は、ぼかし処理適用部６における処理と同様であるので、ここでは詳細な説明を省略する。生成された画像がシステムバス５５およびＬＣＤコントローラ７０を介して、ＬＣＤ７１に供給されるようにしてもよい。以上、説明したように、本開示は、例えば、撮像装置として構成することができる。
【０１４０】
＜４．変形例＞
以上、本開示の複数の実施形態について具体的に説明したが、本開示は、これらの実施形態に限定されるものではない。上述した実施形態等では、例えば、像面湾曲と片ぼけによる誤差への適用例を示したが、他の種類の収差に対して同様に適用してもよい。
【０１４１】
さらに、上述した実施形態では、フォーカス位置を変更して複数枚の画像を取得し、それらの画像のぼけ関数の違いから距離マップを生成している。しかしながら、絞りを変更して複数枚の画像を取得し、それらの画像のぼけ関数の違いから距離マップを生成するようにしてもよい。さらに、上述した実施形態では、距離マップをぼかし処理に用いる例である。他に距離マップを用いて、複数の視差画像によるステレオ画像を生成する処理、もしくは距離に応じたデコンボリューションよる被写界深度拡大画像の生成処理を行うようにしてもよい。また、他に距離マップを用いて、鑑賞画像に対し、デコンボリューションによる、像面湾曲や片ぼけによる画質劣化の補正を行ってもよい。
【０１４２】
上述した実施形態において、図４のステップＳ６で得られた距離マップにおける、例えば閾値以上の距離情報の分布に応じて、第２の実施形態における処理の内容を適応的に変更してもよい。例えば、ステップＳ６によって、図１６や図１８に示す距離マップが得られたとする。この場合は、像面湾曲によって距離推定に誤差が生じていることから、全ての基底に対する係数でなく、係数pc_1および係数pc_2を算出するようにしてもよい。ステップＳ６によって、図２０に示す距離マップが得られた場合には、片ぼけによって距離推定に誤差が生じていることから、係数qc_1および係数qc_2を算出するようにしてもよい。距離マップ補正処理における演算量を少なくすることができる。
【０１４３】
上述した実施形態において、信号処理装置２における制御部５が、第１の距離情報が入力される距離情報入力部と、入力された距離情報を補正する距離情報補正部５ｃによって構成されてもよい。
【０１４４】
上述した複数の実施形態および変形例における構成、処理の内容等については、技術的矛盾が生じない範囲で相互に適用することができる。さらに、本開示は、装置のほか、方法、プログラム、プログラムを記録した記録媒体として構成することもできる。
【０１４５】
なお、本開示は、例えば、以下の構成をとることもできる。
（１）
撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力される入力部と、
前記第１の画像データおよび前記第２の画像データに基づき、前記被写体の奥行き方向の位置に応じた第１の距離情報を算出する距離情報算出部と、
前記被写体の結像面と、前記撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、前記第１の距離情報に対して行うことで、第２の距離情報を算出する距離情報補正部と
を備える信号処理装置。
（２）
前記距離情報補正部は、
既知の情報を使用して、前記ぼけの偏差を補正するための補正値を算出し、
前記第１の距離情報に対して、前記補正値を使用した処理を行うことで前記第２の距離情報を算出する（１）に記載の信号処理装置。
（３）
前記距離情報補正部は、
前記第１の距離情報を使用して、前記ぼけの偏差を補正するための補正値を算出し、
前記第１の距離情報に対して、前記補正値を使用した処理を行うことで前記第２の距離情報を算出する（１）に記載の信号処理装置。
（４）
前記距離情報補正部は、
前記第１の距離情報に重畳される誤差をモデル化した基底を複数、取得し、
前記第１の距離情報と複数の前記基底とを使用して、前記ぼけの偏差を補正するための補正値を算出する（３）に記載の信号処理装置。
（５）
前記距離情報補正部は、
前記第１の距離情報を複数の前記基底の線形和で表すことで、前記ぼけの偏差を補正するための補正値を算出する（４）に記載の信号処理装置。
（６）
前記被写体は、前景被写体と背景被写体とからなり、
前記距離情報補正部は、
前記前景被写体に相当する位置の前記第１の距離情報を、前記背景被写体に相当する位置の前記第１の距離情報の一部を使用して置換し、
前記背景被写体に相当する位置の前記第１の距離情報と、前記置換後の前記第１の距離情報とを使用して、前記ぼけの偏差を補正するための補正値を算出する（３）に記載の信号処理装置。
（７）
前記第１の画像データは、前記撮像部の第１の光学系の状態で前記被写体を撮像することにより得られ、
前記第２の画像データは、前記撮像部の第２の光学系の状態で前記被写体を撮像するこことより得られ、
前記第１の光学系の状態および前記第２の光学系の状態は、フォーカス位置が互いに異なる状態である（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
前記第１の画像データは、前記撮像部の第１の光学系の状態で前記被写体を撮像することにより得られ、
前記第２の画像データは、前記撮像部の第２の光学系の状態で前記被写体を撮像することにより得られ、
前記第１の光学系の状態および前記第２の光学系の状態は、絞りが互いに異なる状態である（１）乃至（６）のいずれかに記載の信号処理装置。
（９）
前記距離情報算出部は、
前記第１の画像データに対してフィルタによってぼけを付加するぼかし処理を行い、ぼけが付加された第１の画像データと前記第２の画像データとの類似度を判定し、前記類似度が最大となるぼかし処理の回数を検出し、
検出された前記ぼかし処理の回数から第１の距離情報を算出する（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）
前記ぼかし処理の回数は、ぼかしを付加しない処理を回数０とする（９）に記載の信号処理装置。
（１１）
撮像部と、
前記撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力される入力部と、
前記第１の画像データおよび前記第２の画像データに基づき、前記被写体の奥行き方向の位置に応じた第１の距離情報を算出する距離情報算出部と、
前記被写体の結像面と、前記撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、前記第１の距離情報に対して行うことで、第２の距離情報を算出する距離情報補正部と
を備える撮像装置。
（１２）
撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力され、
前記第１の画像データおよび前記第２の画像データに基づき、前記被写体の奥行き方向の位置に応じた第１の距離情報を算出し、
前記被写体の結像面と、前記撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、前記第１の距離情報に対して行うことで、第２の距離情報を算出する信号処理装置における信号処理方法。
（１３）
撮像部が所定の被写体を撮像することにより得られるとともに互いにぼけの状態の異なる、第１の画像データおよび第２の画像データが入力され、
前記第１の画像データおよび前記第２の画像データに基づき、前記被写体の奥行き方向の位置に応じた第１の距離情報を算出し、
前記被写体の結像面と、前記撮像部の撮像面との不一致によって生じるぼけの偏差を補正する処理を、前記第１の距離情報に対して行うことで、第２の距離情報を算出する信号処理装置における信号処理方法をコンピュータに実行させるプログラム。
【符号の説明】
【０１４６】
３・・・信号処理装置
５・・・制御部
５ａ・・・画像入力部
５ｂ・・・距離情報算出部
５ｃ・・・距離情報補正部
６・・・ぼかし処理適用部
１０・・・カメラ部
１１・・・光学ブロック
１２・・・撮像素子
５１・・・ＣＰＵ
５３・・・フラッシュＲＯＭ
【図１】
2013030895.tif 000023
【図２】
2013030895.tif 000024
【図３】
2013030895.tif 000025
【図４】
2013030895.tif 000026
【図５】
2013030895.tif 000027
【図６】
2013030895.tif 000028
【図９】
2013030895.tif 000029
【図１０】
2013030895.tif 000030
【図１１】
2013030895.tif 000031
【図１２】
2013030895.tif 000032
【図１３】
2013030895.tif 000033
【図１４】
2013030895.tif 000034
【図１５】
2013030895.tif 000035
【図１７】
2013030895.tif 000036
【図１９】
2013030895.tif 000037
【図２１】
2013030895.tif 000038
【図２２】
2013030895.tif 000039
【図２３】
2013030895.tif 000040
【図２５】
2013030895.tif 000041
【図２８】
2013030895.tif 000042
【図２９】
2013030895.tif 000043
【図３０】
2013030895.tif 000044
【図３１】
2013030895.tif 000045
【図７】
2013030895.tif 000046
【図８】
2013030895.tif 000047
【図１６】
2013030895.tif 000048
【図１８】
2013030895.tif 000049
【図２０】
2013030895.tif 000050
【図２４】
2013030895.tif 000051
【図２６】
2013030895.tif 000052
【図２７】
2013030895.tif 000053