(57)【要約】  絞りの開口部を介して被写体から入射される光を撮像素子部で結像した結果を、画像として所得する画像取得手段と、前記画像取得手段が前記画像を取得する際に、前記開口部の形状の時間的な変化を規定する関数に基づいて、前記開口部の形状を制御する制御手段と、前記関数に基づいて、前記画像におけるボケ状態を検出する検出手段とを備えることを特徴とする画像処理装置。
2011523238.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
絞りの開口部を介して被写体から入射される光を撮像素子部で結像した結果を、画像として所得する画像取得手段と、
前記画像取得手段が前記画像を取得する際に、前記開口部の形状の時間的な変化を規定する関数に基づいて、前記開口部の形状を制御する制御手段と、
前記関数に基づいて、前記画像におけるボケ状態を検出する検出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記関数は、前記開口部の開口径の時間的な変化を規定し、
前記画像取得手段にて前記画像を取得する間に、前記関数の二次微分は、正の値と負の値をとることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記関数は、前記開口部の形状がアフィン変換により表現される変化以外の変化を規定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記関数は、一以上の点で微分不可能であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記制御手段は、前記開口部の形状を、前記画像取得手段にて前記画像を取得する開始時間における前記開口部の第１の形状から、前記画像取得手段にて前記画像を取得する終了時間における前記開口部の第２の形状へと変更するように制御することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記関数はルックアップテーブルによって規定されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
更に、
前記画像取得手段にて前記画像を取得する際に、前記制御手段による制御と連動して、前記被写体から入射される光を通過させたり遮断したりして、前記撮像素子部を露光又は遮光するシャッタを制御するシャッター制御手段を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
コンピュータを用いて、
絞りの開口部を介して被写体から入射される光を撮像素子部で結像することによって得られる結果を、画像として所得する取得工程、
前記画像を取得する際に、前記開口部の形状の時間的な変化を規定する関数に基づいて、前記開口部の形状を制御する制御工程、
前記関数に基づいて、前記画像におけるボケ状態を検出する検出工程
を実行することにより行われる画像処理方法。
【請求項９】
前記関数は、前記開口部の開口径の時間的な変化を規定し、
前記画像を取得する間に、前記関数の二次微分は、正の値と負の値をとることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記関数は、前記開口部の形状がアフィン変換により表現される変化以外の変化を規定することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記関数は、一以上の点で微分不可能であることを特徴とする請求項８に記載の画像処理方法。
【請求項１２】
前記制御工程では、前記開口部の形状を、前記画像を取得する開始時間における前記開口部の第１の形状から、前記画像を取得する終了時間における前記開口部の第２の形状へと変更するように制御することを特徴とする請求項８に記載の画像処理方法。
【請求項１３】
前記開口部の形状の時間的な変化を規定する関数はルックアップテーブルによって規定されることを特徴とする請求項８に記載の画像処理方法。
【請求項１４】
更に、
前記画像を取得する際に、前記制御工程における制御と連動して、前記被写体から入射される光を通過させたり遮断したりして、前記撮像素子部を露光又は遮光するシャッタを制御することを特徴とする請求項８に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に、撮影画像からボケ状態を検出するための好適な技術に関する。
【背景技術】
【０００２】
被写体となる物体をズームレンズ等の光学系により撮像素子の撮像面上に結像した場合、撮像素子で撮像した像は元の物体に比べて光学系の収差の影響によりボケが生じ、画質が劣化することが知られている。
【０００３】
結像する物体の位置からオフセットされた位置に焦点面を有する光学系を介して撮像素子の撮像面上にこの物体を結像する場合、この撮像素子により撮像される画像はボケを有してしまうことが知られている。従って、撮像画像の画質は劣化する。
【０００４】
このような画質劣化を解消するために、ボケを含む一枚の撮影画像からボケ状態を検出し、ボケのない鮮明な撮影画像を生成するDeconvolutionという技術が知られている。この技術は、畳み込み積分(Convolution)の逆操作であり、出力関数と重み関数とから入力関数を求める操作である。
【０００５】
特に、ボケ状態に大きな影響を与える絞りを特殊な形状とし、ボケ状態を検出するための指標を撮影画像に埋め込んでおくことにより、複数の異なるボケ関数でのDeconvolutionを可能にするCoded Apertureという技術がある。
【０００６】
非特許文献１には、特殊な固定絞りを介して取得した撮影画像上に生成されるボケ自体を、ボケ状態の検出を行う指標として撮影画像に埋め込む技術が示されている。この撮影画像上に生成されるボケ関数は、広帯域かつ特徴的な周波数分布をもち、被写体の部位ごとの奥行きによって変化するボケ状態の検出を可能にしている。
【０００７】
また、非特許文献２では、特殊な絞りを用いて生成されるボケ自体を、ボケ状態の検出を行う指標として撮影画像に同様に埋め込む技術が示されている。本技術では、ボケ関数に対して、特定の周波数成分を意図的に削減することで、被写体の部位ごとの奥行きによって変化するボケ状態の検出を可能にしている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Veeraraghavan,A., Raskar, R., Agrawal, A., Tumblin, J.(2007)"Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing", ACM Transactions on Graphics(Proc. SIGGRAPH)
【非特許文献２】Levin, A., Fergus, R., Durand, F., Freeman, B.(2007) "Image and Depth from a Conventional Camera with a Coded Aperture", ACM Transactions onGraphics(Proc. SIGGRAPH)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、非特許文献１、非特許文献２に記載の技術は、固定した形状の絞りを用いているため、ボケ状態を検出するための指標を、撮影画像に埋め込む方法も固定されていた。
【００１０】
本発明は前述の問題点に鑑み、可変径絞りを用いて特徴のあるボケパターンを生成することにより、撮影画像からボケ状態を高精度に検出可能にできるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の様態によれば、画像処理装置であって、絞りの開口部を介して被写体から入射される光を撮像素子部で結像した結果を、画像として所得する画像取得手段と、前記画像取得手段が前記画像を取得する際に、前記開口部の形状の時間的な変化を規定する関数に基づいて、前記開口部の形状を制御する制御手段と、前記関数に基づいて、前記画像におけるボケ状態を検出する検出手段とを備えることを特徴とする。
【００１２】
本発明の第２の様態によれば、画像処理方法は、コンピュータを用いて、絞りの開口部を介して被写体から入射される光を撮像素子部で結像することによって得られる結果を、画像として所得する取得工程、前記画像を取得する際に、前記開口部の形状の時間的な変化を規定する関数に基づいて、前記開口部の形状を制御する制御工程、前記関数に基づいて、前記画像におけるボケ状態を検出する検出工程を実行することにより行われる。
【００１３】
添付の図面を参照することにより、以下の実施例の説明から、本発明の更なる特徴が明らかとなるであろう。
【図面の簡単な説明】
【００１４】
【図１】図１は、第１の実施形態を示し、撮像装置の構成例を示すブロック図である。
【図２Ａ】図２Ａは、第１の実施形態を示し、可変径絞り部の構成例を示す図である。
【図２Ｂ】図２Ｂは、第１の実施形態を示し、可変径絞り部の構成例を示す図である。
【図３】図３は、第１の実施形態を示し、絞り径テーブル保持部に保持されている、経過時間と開口径との間の特性を示した図である。
【図４Ａ】図４Ａは、第１の実施形態を示し、開口径ｒ０〜ｒ４において、撮像レンズ部から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度との特性を示した図である。
【図４Ｂ】図４Ｂは、第１の実施形態を示し、開口径ｒ０〜ｒ４において、撮像レンズ部から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度との特性を示した図である。
【図４Ｃ】図４Ｃは、第１の実施形態を示し、開口径ｒ０〜ｒ４において、撮像レンズ部から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度との特性を示した図である。
【図４Ｄ】図４Ｄは、第１の実施形態を示し、開口径ｒ０〜ｒ４において、撮像レンズ部から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度との特性を示した図である。
【図４Ｅ】図４Ｅは、第１の実施形態を示し、開口径ｒ０〜ｒ４において、撮像レンズ部から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度との特性を示した図である。
【図５】図５は、第１の実施形態を示し、撮像処理の手順を説明するフローチャートである。
【図６】図６は、第１の実施形態を示し、可変径絞り部、シャッタ部の制御手順を説明するフローチャートである。
【図７】図７は、第１の実施形態を示し、ボケ状態検出部で行われるボケ状態検出手順を説明するフローチャートである。
【図８Ａ】図８Ａは、第１の実施形態を示し、開口部が特殊な形状を有する可変径絞り部の例を示した図である。
【図８Ｂ】図８Ｂは、第１の実施形態を示し、開口部が特殊な形状を有する可変径絞り部の例を示した図である。
【図８Ｃ】図８Ｃは、第１の実施形態を示し、開口部が特殊な形状を有する可変径絞り部の例を示した図である。
【図８Ｄ】図８Ｄは、第１の実施形態を示し、開口部が特殊な形状を有する可変径絞り部の例を示した図である。
【図９Ａ】図９Ａは、第１の実施形態における、開口径rの変化速度を連続的にした場合の、開口径rと露光開始からの経過時間tの関係の特性を示した図である。
【図９Ｂ】図９Ｂは、第１の実施形態における、開口径rの変化速度を連続的にした場合の、開口径rと露光開始からの経過時間tの関係の特性を示した図である。
【図１０】図１０は、本発明の第１の実施形態を示し、シャッタ部を併用した場合の開口径と露光開始からの経過時間の関係を示した図である。
【図１１】図１１は、第２の実施形態を示し、撮像装置の構成例を示すブロック図である。
【図１２Ａ】図１２Ａは、第２の実施形態を示し、切り替え絞り部の概略構成例を示す図である。
【図１２Ｂ】図１２Ｂは、第２の実施形態を示し、切り替え絞り部の概略構成例を示す図である。
【図１２Ｃ】図１２Ｃは、第２の実施形態を示し、切り替え絞り部の概略構成例を示す図である。
【図１３】図１３は、第２の実施形態を示し、絞りパターンテーブル保持部に保持されている、絞りパターン番号と露光時間との関係を示した図である。
【図１４Ａ】図１４Ａは、第２の実施形態を示し、各絞りパターンを使用した場合における、撮像レンズから一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置と輝度との関係の特性を示した図である。
【図１４Ｂ】図１４Ｂは、第２の実施形態を示し、各絞りパターンを使用した場合における、撮像レンズから一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置と輝度との関係の特性を示した図である。
【図１５】図１５は、第２の実施形態を示し、撮像処理の手順を説明するフローチャートである。
【図１６】図１６は、第２の実施形態を示し、切り替え絞り部、シャッタ部の制御手順を説明するフローチャートである。
【図１７Ａ】図１７Ａは、第２の実施形態を示し、開口形状を液晶によって生成する液晶絞りの例を示す図である。
【図１７Ｂ】図１７Ｂは、第２の実施形態を示し、開口形状を液晶によって生成する液晶絞りの例を示す図である。
【図１７Ｃ】図１７Ｃは、第２の実施形態を示し、開口形状を液晶によって生成する液晶絞りの例を示す図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照し、本発明の実施形態について詳細に説明する。なお、係る実施形態は、特許請求の範囲に記載された発明の構成の例として説明するものであり、係る発明は、以下説明する実施形態に限定されるものではない。
【００１６】
（第１の実施形態）
図１に、本発明を撮像装置１０１に適用した実施形態の構成例について示す。図１に示すように、本実施形態の撮像装置１０１は、撮像素子部１０２、撮像レンズ部１０３、可変絞り部である可変径絞り部１０４、可変絞り制御部１０５を有している。また、シャッタ部１０６、シャッタ制御部１０７、画像取得部（撮影画像生成部）１０８、ボケ状態検出部１０９、鮮鋭画像生成部１１０、操作部１１１、経過時間計測部１１２を有している。
【００１７】
撮像素子部１０２は、表面上に到達した光をx軸、ｙ軸の２次元アレイ状に並べられた素子で検出する。撮像素子部１０２の例としては、ＣＣＤイメージセンサやＣＭＯＳイメージセンサがある。本実施形態における構成では、撮像素子部１０２は平面状の矩形となっており、撮像レンズ部１０３と可変径絞り部１０４を通過して得られる被写体の投影像の光を検出する。また、カラー画像を取得する場合には、アレイ状に並べられた各素子の前にローパスフィルタ、ベイヤ配列によるカラーフィルタなどを併用することもできる。
【００１８】
撮像レンズ部１０３は、撮像素子部１０２上に被写体の投影像を与えるための光学系を有する。本実施形態における撮像レンズ部１０３は、単一の凸レンズを使用しており、開口位置には後述する可変径絞り部１０４を配置することで、開口径を変化させることができる。撮像レンズ部１０３は、必ずしも単一の凸レンズを使用する必要は無く、撮像素子部１０２上に被写体の投影像を与え、可変径絞り部１０４を配置可能な構成であれば、複数のレンズ、もしくは反射鏡を組み合わせた物でもよい。
【００１９】
シャッタ部１０６は、可変径絞り部１０４と連動して、被写体からの光を通過させたり遮断したりして、撮像素子部１０２を露光または遮光する。本実施形態においては、撮像レンズ部１０３によって得られる被写体の投影像の光を、任意のタイミングで撮像素子部１０２に対して露光、遮光を切り替えるようにしている。シャッタ部１０６としては、例えば機械式のフォーカルプレーンシャッタなどが使用できる。シャッタ部１０６の露光・遮光のタイミングは、シャッタ制御部１０７によって制御される。
【００２０】
画像取得部１０８は、Ａ/Ｄ変換器１１３、メモリ１１４から構成され、撮像素子部１０２上で検出された被写体の投影像の光をデジタルデータ化し、二次元の輝度分布である撮影画像a(x,y)を生成してメモリ１１４に記録する。
【００２１】
可変径絞り部１０４は、撮像レンズ部１０３の開口径を変化させる役割を果たす。図２A、2Bに、本実施形態における可変径絞り部１０４の概略構成を示す。図２Aに示すように、可変径絞り部１０４は、外枠２０１、外枠２０１に対して回転運動を行って、図２Bに示すように、開口径ｒを変化させる絞り羽２０２、絞り羽２０２を駆動するモータ２０３から構成されている。可変径絞り部１０４は、可変絞り制御部１０５の制御によって、撮像レンズ部１０３の開口径ｒを任意に変化させることができる。
【００２２】
可変絞り制御部１０５は、絞り径テーブル保持部１１５と絞り制御信号発生部１１６とから構成されている。絞り径テーブル保持部１１５は、撮影操作からの経過時間tと、経過時間tに応じて変化する可変径絞り部１０４の開口径ｒの目標値をテーブル化したものである。
【００２３】
図３に、絞り径テーブル保持部１１５に保持されている、経過時間tと開口径rとの間の特性を示す。図３に示す特性は、ルックアップテーブルとして実現しても良い。図３において、開口径ｒ０が第１の形状に相当し、開口径ｒ４が第２の形状に相当する。図３の経過時間tと開口径rとの関係は、以下の関数で表すことができる。
【００２４】
【数１】
2011523238.tif 000003
【００２５】
この関数における開口径ｒの代わりに、開口面積や開口周囲長などを用いても良い。また、この関数は、開口径や開口面積、開口周囲長等の変化量（速度）により規定されてもよい。
【００２６】
図４Ａ〜４Ｅに、開口径ｒ０〜ｒ４において、撮像レンズ部１０３から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度の特性を示す。各ボケ像において、色の濃い部分が、輝度の高い領域となっている。この特性は、開口径ｒ０〜ｒ４に示すように、可変径絞り部１０４の開口径rに応じて変化する。さらに、この特性は、撮像レンズ部１０３と点光源との距離zによって変化する。静的に任意の開口径r、点光源との距離zで画像を撮像した場合の、ボケ中心からの位置(bx,by)での輝度iは、以下のように表すことができる。
【００２７】
【数２】
2011523238.tif 000004
【００２８】
なお、(２)式では、点光源からの光が撮像レンズ部１０３を通過する位置・角度に関わらず、一様なf(bx,by,z,r)を持つと仮定している。撮像素子部１０２で得られる被写体の投影像は、撮像素子部１０２の画素の数と等しい数だけ存在する点光源が、(２)式によって撮影画像a(x,y)に畳み込まれたものであると考えることができる。(２)式から、露光後に生成される点光源のボケ像において、点光源との距離z、ボケ中心からの位置(bx,by)での輝度jは、以下の式で表すことができる。
【００２９】
【数３】
2011523238.tif 000005
【００３０】
ここで、(１)式より、
【００３１】
【数４】
2011523238.tif 000006
【００３２】
となる。このj(bx,by,z)で、撮像レンズ部１０３と点光源との距離zをある一定の値としたときの、空間軸(bx,by)における二次元フーリエ変換をJ(ωx,ωy,z)とする。一般的な被写体の投影像h(x,y)における空間周波数分布、つまり二次元フーリエ変換をH(ωx,ωy)とした場合、J(ωx,ωy,z)との相関関数Kaは以下の式で表される。
【００３３】
【数５】
2011523238.tif 000007
【００３４】
このとき、(bx,by)と(x,y)は同一の空間軸上にあり、x軸の周波数成分ωxはωxmin〜ωxmaxの間を、y軸の周波数成分ωyはωymin〜ωymaxの間を取るものとする。また、撮像レンズ部１０３と点光源との距離zがΔzだけ変化した場合における自己相関関数Kmは、以下の式で表される。
【００３５】
【数６】
2011523238.tif 000008
【００３６】
ここで、撮像レンズ部１０３と点光源との距離zの取りうる範囲で、Kaを0でなく、かつ0に近い値となるようｇ(ｔ)を定める。以上の操作は、物理的には鮮鋭な被写体の投影像と、ボケ像とを周波数領域において容易に分離可能とする操作と等価である。同時に、小さいΔzでKmを0に近づけるようにｇ(ｔ)を定める。これは、ボケ像の変化から撮像レンズ部１０３と点光源との距離zの変化を検出する分解能を向上させる操作と等価である。
【００３７】
なお、ｇ(ｔ)は必ずしも解析的かつ一意に求める必要は無い。本実施形態においては、ランダムに可変径絞り部１０４で制御可能なｇ(ｔ)を繰り返し生成してKa,Kmを求め、繰り返し生成したｇ(ｔ)の中から最もKa,Kmが0に近いｇ(ｔ)を選択する。
【００３８】
例えば、図３に示すように、開口径rを、ｒ０からｒ４の位置まで一以上の点で微分不可能な値の変化を持つｇ(ｔ)とすると、よりKa,Kmの値を0に近づけることができる。現実には、完全に微分不可能となる制御は困難であり、(４)式におけるｇ'(ｔ)の導出もできなくなるため、微分不可能に近い急激な制御を行わせることが好ましい。
【００３９】
以上のように、絞り径テーブル保持部１１５に保持するｇ(ｔ)を定め、ｇ(ｔ)に従って可変径絞り部１０４の開口径rの制御を行うことで、ボケ状態を検出するための指標を撮影画像a内に埋め込むことができる。
【００４０】
絞り制御信号発生部１１６は、経過時間計測部１１２から得られる経過時間tと、絞り径テーブル保持部１１５から得られる目標となる開口径ｒを用いて、可変径絞り部１０４に対して開口径ｒとなるような制御信号を与える。
【００４１】
ボケ状態検出部１０９は、フーリエ変換部１１７、ボケパターン保持部１１８、相関計算部１１９、ボケ状態保持部１２０から構成されている。ボケパターン保持部１１８は、撮像レンズ部１０３との距離zにある点光源を撮影した場合における、ボケ関数j(x,y,z)のフーリエ変換を示すJp(ωx,ωy,z)のパターンを保持している。パターンが有する値の範囲としては、被写体と撮像レンズ部１０３が取りうる全ての距離z内で離散的にサンプリングを行い、前述のx軸周波数成分ωxはωxmin〜ωxmaxの間の成分を保持している。また、y軸の周波数成分ωyはωymin〜ωymaxの間の成分を保持している。
【００４２】
フーリエ変換部１１７は、画像取得部１０８内にあるメモリ１１４に格納されている撮影画像aに対して、ボケ状態を検出する対象となる画素位置(x,y)を設定し、画素位置(x,y)を中心とした一定の大きさを有する単位矩形領域uを切り抜く。切り抜く矩形領域の大きさとしては、前述のx軸周波数成分ωxはωxmin〜ωxmaxの間を、y軸の周波数成分ωyはωymin〜ωymaxの間を最低限満たす大きさである必要がある。この切り抜いた単位矩形領域uについて、２次元フーリエ変換であるU(ωx,ωy)を生成する。
【００４３】
相関計算部１１９は、前述のボケパターンであるJp(ωx,ωy,z)と、撮影画像aを切り抜いた単位矩形領域uのフーリエ変換U(ωx,ωy,)との相関関数Krを以下の式で計算する。
【００４４】
【数７】
2011523238.tif 000009
【００４５】
（７）式を用いて、被写体と撮像レンズ部１０３の取りうる全ての距離zについてKrを計算する。Krが最大となる距離zp(x,y)が、撮影画像a上の画素位置（x,y）における被写体までの距離となり、Jp(ωx,ωy,z)が画素位置(x,y)におけるボケ像のフーリエ変換となる。
【００４６】
ボケ状態保持部１２０は、相関計算部１１９によって計算した、Krが最大となる撮影画像aの全画素における距離zp(x,y)と、フーリエ変換Jp(ωx,ωy,z)をボケ状態として保持しておく。
【００４７】
鮮鋭画像生成部１１０は、撮影画像aと、ボケ状態保持部１２０に保持されたボケ状態から、ボケを除去した鮮鋭画像ａｓを生成する。以下に、具体的な手順を説明する。
【００４８】
撮影画像a(x,y)をフーリエ変換したものをA(ωx,ωy)とする。被写体と撮像レンズ部１０３の距離zを一定としたときの、ボケパターンJp(ωx,ωy,z)によるDeconvolution後のフーリエ変換Ａｄ(ωx,ωy,z)は、以下の式で表される。
【００４９】
【数８】
2011523238.tif 000010
【００５０】
(ωx,ωy,z)については(８)式での計算を行わず、隣接するＡｄ(ωx,ωy,z)の計算値から内挿して補間を行う。取りうる全ての被写体と撮像レンズ部１０３の距離zの範囲についてＡｄ(ωx,ωy,z)を計算し、それぞれのＡｄについて逆フーリエ変換を行い、Deconvolution画像ａｄ(x,y,z)を求める。ここで、各画素における距離zp(x,y)より、求める鮮鋭画像ａｓ(x,y)は、
【００５１】
【数９】
2011523238.tif 000011
【００５２】
として得られる。以上の処理を行うことで、鮮鋭画像生成部１１０によって、鮮鋭画像ａｓ(x,y)を求めることができる。
【００５３】
操作部１１１は、ユーザの撮影操作を押下によって入力するためのボタンを有する。撮影操作を入力可能なものであれば、特にボタンである必要は無く、撮像装置の形態に応じてタッチパネルとGUIとの組み合わせなどを用いてもよい。
【００５４】
経過時間計測部１１２は、操作部１１１で取得したユーザの撮影操作からの経過時間を計測する。
【００５５】
図５に、撮像処理の手順を説明するフローチャートを示す。
【００５６】
この処理は、ユーザが操作部１１１でボタンを押下し、撮像装置に撮像操作を与えると撮像処理が開始される。
【００５７】
最初のステップＳ５１において、図１における撮像素子部１０２内に残る光の検出状態を、画像取得部１０８で全て読み出して初期化する。
【００５８】
次に、ステップＳ５２において、可変径絞り部１０４が可変絞り制御部１０５によって露光開始時の開口径ｒ０となるよう初期化される。撮像素子部１０２、可変径絞り部１０４の初期化が完了した時点で、可変径絞り部１０４とシャッタ部１０６の制御を行い、露光する。露光時における、可変径絞り部１０４、シャッタ部１０６の制御手順については後述する。
【００５９】
露光後にステップＳ５３に進み、撮像素子部１０２で検出された被写体の投影像の光を画像取得部１０８内のＡ/Ｄ変換器１１３によって読み出してデジタルデータ化し、メモリ１１４に撮影画像aとして格納することで、撮影画像の取得を行う。
【００６０】
次に、ステップＳ５４に進み、ボケ状態検出部１０９は撮影画像aをメモリ１１４から読み出し、撮影画像a内に存在するボケ状態を検出する。ボケ状態検出部１０９におけるボケ状態の検出の流れについては後述する。
【００６１】
最後に、ステップＳ５５において、鮮鋭画像生成部１１０が画像取得部１０８内のメモリ１１４から撮影画像aを読み出す。また、ボケ状態検出部１０９内にあるボケ状態保持部１２０からボケ状態をそれぞれ読み出し、ボケの存在しない鮮鋭画像ａｓを生成する。
【００６２】
前述した、可変径絞り部１０４とシャッタ部１０６の制御の流れについて説明する。
【００６３】
図６に、可変径絞り部１０４、シャッタ部１０６の制御手順を説明するフローチャートを示す。
【００６４】
最初に、ステップＳ６１において、露光時の初期位置ｒ０となるように可変絞り制御部１０５で可変径絞り部１０４を制御する。次に、ステップＳ６２に進んで経過時間計測部１１２を初期化し、撮影操作からの経過時間ｔ＝０として経過時間の計測を開始する。
【００６５】
次に、ステップＳ６３に進み、シャッタ部１０６を露光状態に制御する。次に、ステップＳ６４において、経過時間tを経過時間計測部１１２より取得する。次に、この経過時間tを入力として、絞り径テーブル保持部１１５から、可変径絞り部１０４の目標とする開口径rを取得する（ステップＳ６５）。
【００６６】
次に、ステップＳ６６に進み、ステップＳ６５で取得した目標とする開口径rに変化するように、絞り制御信号発生部１１６が可変径絞り部１０４に対して信号を与える。以上の経過時間tの取得、目標とする開口径rの取得、可変径絞り部１０４に対して信号を与える、のサイクルを可変径絞り部１０４への制御が終了したか否かをステップＳ６７で判断する。この判断の結果、終了していない場合にはステップＳ６４に戻り、図３における時間T、開口径ｒ４の位置になるまで繰り返し行う。
【００６７】
可変径絞り部１０４の開口径ｒ４に到達したら、繰り返しを終えて、シャッタ部１０６を遮光させる（ステップＳ６８）。その後、処理を終了する。以上の処理を行うことによって、可変径絞り部１０４とシャッタ部１０６の制御を行う。
【００６８】
次に、前述した、ボケ状態の検出の流れについて説明する。図７に、ボケ状態検出部１０９におけるボケ状態検出手順を説明するフローチャートを示す。
【００６９】
ステップＳ７１において、ボケ状態検出部１０９内のフーリエ変換部１１７が画像取得部１０８のメモリ１１４に格納されている撮影画像aを読み出す。
【００７０】
次に、ステップＳ７２に進み、ステップＳ７１で読み出した撮影画像a内でボケ状態の検出対象となる画素位置(x,y)の位置を設定する（ステップＳ７２）。これは、画素(x,y)の位置を中心として、撮影画像aから単位矩形領域uを切り抜き（ステップＳ７３）、単位矩形領域uのフーリエ変換Ｕを計算（ステップＳ７４）して行う。
【００７１】
次に、ステップＳ７５に進み、相関計算部１１９が、被写体と撮像レンズ部１０３との距離zを設定し、ボケパターン保持部１１８から距離zに応じたボケパターンJpを選択する。
【００７２】
次に、ステップＳ７６において、前述したフーリエ変換ＵとJpの相関関数Krを、（７）式によって計算する。相関関数Krは、取りうる全ての距離zについて計算を行うため、繰り返しJpを選択し、それぞれのJpについてKrを計算する。
【００７３】
次に、ステップＳ７７において、ボケパターンの走査を全て終了したか否かを判断する。この判断の結果、終了していない場合にはステップＳ７５に戻って前述した処理を繰り返し行う。一方、ステップＳ７７の判断の結果、走査終了であった場合にはステップＳ７８に進み、相関関数Krが最大となる距離zを、画素位置(x,y)における被写体との距離zp(x,y)として、ボケパターンJpと共にボケ状態保持部１２０に記録する。
【００７４】
次に、ステップＳ７９において、撮影画像aの全ての画素位置(x,y)について走査したか否かを判断する。この判断の結果、全て終了していない場合にはステップＳ７２に戻って前述した処理を繰り返し行う。また、ステップＳ７９の判断の結果、全ての画素位置(x,y)を走査した場合には終了する。
【００７５】
本実施形態においては、以上のような処理を実行して、ボケ状態を検出するための指標を撮影画像に埋め込み、埋め込まれたボケ状態の検出を行う。これにより、可変絞り制御部１０５におけるｇ(ｔ)を変化させることで、ボケ状態を埋め込む指標のパターン数を自由に増やすことができる。したがって、固定絞りを用いてボケ状態を検出するための指標を埋め込んでいた従来技術と比較して、ボケ状態を埋め込む指標のパターン数に限界が生じないようにすることができる。
【００７６】
また、従来技術においては特殊な形状の固定絞りであったため、通常の撮影用途に用いるカメラへの適用が困難であった。それに対して、本実施形態では、通常の撮影用途に用いるカメラと同様の形状を有する可変径絞り部１０４を用いることができるので、ボケ状態を埋め込む撮影、通常の撮影の両方を実施することが可能である。
【００７７】
なお、図２Aにおける可変径絞り部１０４は、通常の撮影用途に用いるカメラと同様に、開口部が円形に近い形状を取るものとなっているが、ボケ状態をより正確に取得する用途の場合、開口部を特殊な形状とすることが望ましい。
【００７８】
図８Ａ〜８Ｄに、開口部が特殊な形状を有する可変径絞り部の一例を示す。図８８Ａ〜８Ｄの可変径絞り部は、絞り込むに従って開口部が垂直方向に細長い猫の目のような形状を有するように、絞り羽８０１が構成されている。このような形状となるように構成すると、y方向の周波数成分ωyの変化が著しい被写体においては、ボケ状態をより正確に取得できるようになる。
【００７９】
また、可変絞り制御部１０５において、開口径rの変化速度は必ずしも微分不可能である必要はない。例えば、可変径絞り部１０４の形状を、図８Ａ〜８Ｄのように特殊なものとして、ｇ（ｔ）の二次微分が、正の値と負の値を持つようにしてもよい。
【００８０】
図９Ａに、開口径rの時間tによる変化の二次微分が、正と値と負の値をとる場合の、開口径ｒと露光開始からの経過時間tとの関係ｇ（ｔ）を示す。図９Ｂに、ｇ（ｔ）の時間微分ｇ（ｔ）’を示す。この制御においても、Kaが0でなく、かつ0に近い値となると同時に、小さいΔzでKmが0に近づくようなｇ(ｔ)を定めればよい。これらを満たすｇ（ｔ）であれば、減衰正弦波などの既存の波形を用いても良い。また、可変絞り制御部１０５において、開口径rの変化速度を制御する場合には、シャッタ部１０６の露光・遮光を併用してもよい。
【００８１】
図１０に、シャッタ部１０６を併用した場合の開口径rと露光開始からの経過時間tとの関係の図を示す。シャッタ部１０６を遮光した場合の開口径rは、可変径絞り部１０４の状態に関わらず、0になっていると考えることができる。本制御においても、Kaを0でなく、かつ0に近い値となると同時に、小さいΔzでKmを0に近づけるようにｇ(ｔ)を定めればよい。この時、シャッタ部１０６を遮光させる毎に画像取得部１０８で撮影画像axを複数枚取得し、撮影画像axを合成して最終的に撮影画像aを生成してもよい。
上記のようにｇ（ｔ）を設定することで、ボケ状態検出部１０９において検出が容易となるボケ画像が得られる。
【００８２】
なお、シャッタ部１０６を併用する場合、シャッタ部１０６を高速に動作させる必要があるため、液晶シャッタ、もしくは撮像素子部１０２に電子的に付加される形式の電子シャッタなどを用いることがより望ましい。
【００８３】
ボケ状態検出部１０９は、必ずしも撮像装置に常時接続されている必要は無く、例えば撮影後、ボケ状態を検出する時に撮像装置にボケ状態検出部１０９を含むＰＣなどを接続する、といったように構成してもよい。
【００８４】
本実施形態において、(２)式で示したボケ関数は、点光源からの光線が撮像レンズ部１０３を通過する位置・角度に関わらず、一様なf(bx,by,z,r)を有すると仮定している。現実には、点光源からの光線が撮像レンズ部１０３を通過する位置・角度によって、f(bx,by,z,r)は変化する。このため、実施に当たっては、撮影画像aにおける画素位置(x,y)を考慮したf(bx,by,x,y,z,r)とするか、撮影画像aを幾つかの領域に分割し、領域毎に異なるf(bx,by,z,r)を持たせてもよい。
（第２の実施形態：切り替え式絞りを用いたもの）
図１１に、本発明に係わる第２の実施形態の撮像装置１１０１の構成について示す。
【００８５】
図１１に示すように、本実施形態の撮像装置１１０１は、撮像素子部１１０２、撮像レンズ部１１０３、可変絞り部である切り替え絞り部１１０４、可変絞り制御部１１０５、シャッタ部１１０６、シャッタ制御部１１０７を有している。また、画像取得部１１０８、ボケ状態検出部１１０９、鮮鋭画像生成部１１１０、操作部１１１１、経過時間計測部１１１２を有している。
【００８６】
撮像素子部１１０２は、第１の実施形態における撮像素子部１０２と同様の構成を有する。撮像レンズ部１１０３は、撮像素子部１１０２上に被写体の投影像を与えるための光学系を有する。本実施形態における撮像レンズ部１１０３は、単一の凸レンズを使用しており、開口位置に後述の切り替え絞り部１１０４を配置することで、開口形状を変化させることができる。撮像レンズ部１１０３は、必ずしも単一の凸レンズを使用する必要は無く、撮像素子部１１０２上に被写体の投影像を与え、切り替え絞り部１１０４を配置可能な構成であれば、複数のレンズ、もしくは反射鏡を組み合わせた物でもよい。
【００８７】
シャッタ部１１０６、シャッタ制御部１１０７は、第１の実施形態におけるシャッタ部１０６、シャッタ制御部１０７とそれぞれ同様の構成を有する。画像取得部１１０８は、第１の実施形態における画像取得部１０８と同様に、Ａ/Ｄ変換器１１１３、メモリ１１１４から構成されている。切り替え絞り部１１０４は、撮像レンズ部１１０３の開口形状を変化させる役割を果たしている。
【００８８】
図１２Ａ〜１２Ｃに、本実施形態における切り替え絞り部１１０４の概略構成を示す。図１２Ａに示すように、本実施形態の切り替え絞り部１１０４は、開口部１２０１、絞りパターン１２０２、絞りパターン１２０２が格納された絞りパターン格納部１２０３、絞りパターン１２０２を駆動するモータ１２０４から構成されている。
【００８９】
図１２Ｂ及び１２Ｃに示すように、このように構成された本実施形態の切り替え絞り部１１０４は、可変絞り制御部１１０５の制御によって複数の絞りパターン１２０２を切り替えることで、撮像レンズ部１１０３の開口形状を変化させることができる。
【００９０】
可変絞り制御部１１０５は、絞りパターンテーブル保持部１１１５と絞り制御信号発生部１１１６とから構成されている。絞りパターンテーブル保持部１１１５は、絞りパターン１２０２の絞りパターン番号ｋと、各パターン番号kにおける露光時間ｔｋの目標値をテーブル化したものである。ここで、絞りパターン番号０の場合が第１の形状に相当し、絞りパターン番号１の場合が第２の形状に相当する。
【００９１】
図１３に、絞りパターンテーブル保持部１１１５に保持されている、絞りパターン番号ｋにおける露光時間ｔｋの特性を示す。図１３の絞りパターン番号ｋと露光時間ｔｋの関係は、以下の関数で表すことができる。
【００９２】
【数１０】
2011523238.tif 000012
【００９３】
図１４Ａ、１４Ｂに、各絞りパターン１２０２を使用した場合における、撮像レンズ部１１０３から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度の特性を示す。図１４Ａが絞りパターン０の場合の特性を示し、図１４Ｂが絞りパターン１の場合の特性を示している。また、特性内の色が濃い部分が、輝度の高い領域となっている。
【００９４】
この特性は、図１４Ａ，１４Ｂに示すように、絞りパターン番号ｋと、撮像レンズ部１１０３と点光源との距離zによって変化する。よって、静的に任意の絞りパターンを用いて点光源との距離zで画像を撮像した場合の、ボケ中心からの位置(bx,by)での輝度iは以下のように表すことができる。
【００９５】
【数１１】
2011523238.tif 000013
【００９６】
なお、(１１)式では、点光源からの光が撮像レンズ部１１０３を通過する位置・角度に関わらず、一様なfk(bx,by,z)を有すると仮定している。撮像素子部１１０２で得られる被写体の投影像は、撮像素子部１１０２の画素の数と等しい数だけ存在する点光源が、(１１)式によって撮影画像a(x,y)に畳み込まれたものであると考えることができる。(１１)式から、露光後に生成される点光源のボケ像において、点光源との距離z、ボケ中心からの位置(bx,by)での輝度jは、以下の式で表すことができる。
【００９７】
【数１２】
2011523238.tif 000014
【００９８】
ここで、kmaxは、使用する絞りパターン番号ｋの最大数である。
【００９９】
さらに(１０)式より、
【０１００】
【数１３】
2011523238.tif 000015
【０１０１】
となる。このj(bx,by,z)で、撮像レンズ部１１０３と点光源との距離zをある一定の値としたときの、空間軸(bx,by)における二次元フーリエ変換をJ(ωx,ωy,z)とする。一般的な被写体の投影像h(x,y)における空間周波数分布、つまり二次元フーリエ変換をH(ωx,ωy)とした場合、J(ωx,ωy)との相関関数Kaは第１の実施形態における(５)式と同様に表される。
【０１０２】
(５)式において、x軸の周波数成分ωxはωxmin〜ωxmaxの間を、y軸の周波数成分ωyはωymin〜ωymaxの間を取るものとする。また、撮像レンズ部１１０３と点光源との距離zがΔzだけ変化した場合における自己相関関数Kmは、第１の実施形態における(６)式と同様に表される。
【０１０３】
(６)式において、撮像レンズ部１１０３と点光源との距離zの取りうる範囲で、Kaを0でなく、かつ0に近い値となるようj(bx,by,z)を定める。以上の操作は、物理的には鮮鋭な被写体の投影像と、ボケ像とを周波数領域において容易に分離可能とする操作と等価である。同時に、小さいΔzでKmを0に近づけるようにj(bx,by,z)を定める。これは、ボケ像の変化から撮像レンズ部１１０３と点光源との距離zの変化を検出する分解能を向上させる操作と等価である。
【０１０４】
前記の関係を満たすようなj(bx,by,z)については、例えば撮像レンズ部１１０３が有するボケ関数に、Ｍ配列などの２次元擬似ランダムパターンを掛け合わせることで得られる。ここで、撮像レンズ部１１０３の開口形状が、Ｍ配列に相当する。前記のＭ配列は、透過・非透過の二値で生成するよりも、半透過も含めたより多値で生成すると生成可能なパターン数が多くなるため、Ka,Kmの条件をより良好に満たすことができる。
【０１０５】
本実施形態においては、前記のj(bx,by,z)をfk(bx,by,z)とv(k)の組み合わせで生成する必要がある。fk(bx,by,z)は、撮像レンズ部１１０３が有するボケ関数と絞りパターン番号ｋの絞りパターン１２０２の開口形状とで決定される。単一のfk(bx,by,z)のみで多値のj(bx,by,z)を生成するには、絞りパターン１２０２の開口形状に半透過の領域を必要とする。
【０１０６】
しかし、全ての可視波長域で、正確な透過率を示す半透過の開口形状を作成するには、物理的な困難が伴う。そこで、v(k)によって最終的に半透過の領域を有する開口形状と等価となる制御を行う。例えば、ある(bx,by,z)において、f0=1, f1=0であった場合、全露光時間Tに対して、
【０１０７】
【数１４】
2011523238.tif 000016
【０１０８】
【数１５】
2011523238.tif 000017
【０１０９】
とすれば、ある(bx,by,z)上で任意の透過率αを有するj(bx,by,z)が生成できる。なお、このときの各fk(bx,by,z)は、相互がアフィン変換で表現される変形式でなく、アフィン独立であることが望ましい。本制御も併用することで、fk(bx,by,z)とv(k)をランダムに生成し、Ka,Kmの条件を満たす、fk(bx,by,z)とv(k)の組み合わせを設定する。
【０１１０】
以上のように、絞りパターンテーブル保持部１１１５に保持するv(k)を定め、v(k)に従って切り替え絞り部１１０４の各絞りパターン１２０２の露光時間ｔｋを制御することで、ボケ状態を検出するための指標を撮影画像a内に埋め込むことができる。
【０１１１】
絞り制御信号発生部１１１６は、経過時間計測部１１１２から得られる絞りパターン番号ｋと、絞りパターンテーブル保持部１１１５から得られる目標の露光時間ｔｋとを用いて、切り替え絞り部１１０４に対して絞りパターン番号ｋに切り替える制御信号を与える。ボケ状態検出部１１０９は、フーリエ変換部１１１７、ボケパターン保持部１１１８、相関計算部１１１９、ボケ状態保持部１１２０から構成されている。
【０１１２】
本実施形態におけるボケ状態検出部１１０９は、第１の実施形態におけるボケ状態検出部１０９と同様にボケ状態を検出する。そして、ボケ状態保持部１１２０で、相関計算部１１１９によって計算した、撮影画像aの全画素における距離zp(x,y)と、Jp(ωx,ωy,z)をボケ状態として保持しておく。鮮鋭画像生成部１１１０は、撮影画像aと、ボケ状態保持部１１２０に保持されたボケ状態から、ボケを除去した鮮鋭画像ａｓを生成する。
【０１１３】
本実施形態における鮮鋭画像生成部１１１０は、第１の実施形態における鮮鋭画像生成部１１０と同様の処理を行い、鮮鋭画像ａｓ(x,y)を求めることができる。操作部１１１１は、第１の実施形態における操作部１１１と同様の構成を有する。経過時間計測部１１１２は、第１の実施形態における経過時間計測部１１２と同様の構成を有する。
【０１１４】
図１５に、撮像処理手順を説明するフローチャートを示す。この撮像処理は、ユーザが操作部１１１１でボタンを押下し、撮像装置に撮像操作を与えると開始される。
【０１１５】
ステップＳ１５０１において、図１１における撮像素子部１１０２内に残る光の検出状態を、画像取得部１１０８で全て読み出して初期化する。
【０１１６】
次に、ステップＳ１５０２において、可変絞り制御部１１０５によって、露光開始時の絞りパターン番号０となるように切り替え絞り部１１０４が初期化される。撮像素子部１１０２、切り替え絞り部１１０４の初期化が完了した時点で、ステップＳ１５０３に進む。
【０１１７】
ステップＳ１５０３においては、切り替え絞り部１１０４とシャッタ部１１０６の制御を行い、露光する。露光時における、切り替え絞り部１１０４、シャッタ部１１０６の制御の流れについては後述する。露光後、撮像画像を取得する。より詳しくは、撮像素子部１１０２で検出された被写体の投影像の光を画像取得部１１０８内のＡ/Ｄ変換器１１１３によって読み出してデジタルデータ化し、メモリ１１１４に撮影画像aとして格納する。
【０１１８】
次に、ステップＳ１５０４に進み、ボケ状態の検出を行う。これは、ボケ状態検出部１１０９が撮影画像aをメモリ１１１４から読み出し、撮影画像a内に存在するボケの状態を検出することにより行われる。ボケ状態検出部におけるボケ状態の検出の流れについては、第１の実施形態におけるボケ状態の検出の流れと同様である。
【０１１９】
最後に、ステップＳ１５０５において、鮮鋭画像生成部１１１０が画像取得部１１０８内のメモリ１１１４から撮影画像aを読み出す。同時に、ボケ状態検出部１１０９内にあるボケ状態保持部１１２０からボケ状態を読み出す。そして、読み出した撮影画像aとボケ状態から、ボケの存在しない鮮鋭画像ａｓを生成する。
【０１２０】
次に、切り替え絞り部１１０４とシャッタ部１１０６の制御の流れについて説明する。図１６に、切り替え絞り部１１０４、シャッタ部１１０６の制御手順を説明するフローチャートを示す。
【０１２１】
図１６に示すように、最初に切り替え絞り部１１０４を、露光時の初期絞りパターン０となるように可変絞り制御部１１０５で制御し、絞りパターン番号ｋ＝０とする初期化を行う（ステップＳ１６０１）。
【０１２２】
次に、ステップＳ１６０２に進み、経過時間計測部１１１２を初期化し、撮影操作からの経過時間ｔ＝０として経過時間の計測を開始する。経過時間計測部１１１２の初期化と同時に、シャッタ部１１０６を露光状態に制御する（ステップＳ１６０３）。絞りパターン番号ｋを入力として、絞りパターンテーブル保持部１１１５から、切り替え絞り部１１０４の絞りパターン番号における露光時間ｔｋを読み出して取得する（ステップＳ１６０４）。
【０１２３】
ステップＳ１６０５において、読み出した時間ｔｋの間、切り替え絞り部１１０４の状態を維持して露光を行う。このときの露光時間は、経過時間計測部１１１２によって計測する。時間ｔｋ経過後、絞りパターン番号ｋが最大値のｋｍａｘであるか否かの判定を行う（ステップＳ１６０７）。
【０１２４】
この判定の結果、ｋｍａｘで無ければ、ステップＳ１６０６に進み、絞りパターン番号ｋに１を加え、切り替え絞り部１１０４によって、絞りパターンkに切り替える。その後、ステップＳ１６０４に進んで前述した処理を繰り返し行う。
【０１２５】
一方、ステップＳ１６０７の判定の結果、絞りパターン番号ｋがｋｍａｘに到達したらステップＳ１６０８に進んで、繰り返しを終えてシャッタ部１１０６を遮光させ、その後、終了する。以上の処理によって、切り替え絞り部１１０４とシャッタ部１１０６の制御を行う。
【０１２６】
本実施形態においては、以上のような処理を実行することにより、撮影画像にボケ状態を検出するための指標を埋め込み、埋め込まれたボケ状態の検出を行う。このように、切り替え絞り部１１０４を用いることで、正確な透過率で半透明な領域を有する絞りと等価の露光を行うことができる。本実施形態は、固定絞りを用いていた従来と比較して、ボケ状態を埋め込む性能を大幅に向上させることができ、高性能な指標となる、正確な透過率で半透明な領域を有する絞りの製作を行うことができる。
【０１２７】
なお、図１２Ａにおける切り替え絞り部１１０４は、物理的な開口部を有する板状の絞りパターン１２０２を用いている。しかし、更に詳細な透過率を設定した開口形状を有する多くの絞りパターンを使用したい場合には、液晶などによる電子的な絞りを用いることが望ましい。
【０１２８】
図１７Ａ〜１７Ｃに、開口形状を液晶によって生成する液晶絞りの例を示す。
【０１２９】
この例では、開口部分に液晶パネル部１７０１を配置し、可変絞り制御部１１０５からの制御信号を受ける液晶回路駆動部１７０２によって、図１７Ｂおよび１７Ｃのそれぞれに示すような絞りパターン１、絞りパターン２に見られるような任意の絞りパターンを生成する。このような電子的な絞りを用いれば、例えば被写体の投影像が有する空間周波数に応じて、適応的に絞りパターンを変更する制御を行うことができる。
【０１３０】
また、図１２Ａの切り替え絞り部１１０４において、絞りパターンを切り替える場合、切り替え期間中は開口形状が不定となるため、切り替え期間をなるべく短くすることが望ましい。もしくは、切り替え期間中はシャッタ部１１０６で遮光するように制御を行ってもよい。
【０１３１】
可変絞り制御部１０５、ボケ状態検出部１０９、鮮鋭画像生成部１１０は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
（他の実施形態）
本発明の様態は、メモリ装置に記録されているプログラムを読み出して実行することで、上記の実施形態の機能を実行するシステム又は装置のコンピュータ（若しくはＣＰＵやＭＰＵ等の装置）によっても実現される。また、本発明の様態は、例えば、上記の実施形態の機能を実行するためにメモリ装置に記録されているプログラムを読み出して実行することにより、システム又は装置のコンピュータにより実行される各ステップを有する方法によっても実現される。この目的のために、このプログラムは、例えばネットワークを介して若しくは上記メモリ装置としての各種の記録媒体（例えば、コンピュータ読み取り可能な媒体）から、このコンピュータに対して提供される。
【０１３２】
本発明については典型的な実施の形態を用いて説明したが、本発明が上記実施の形態に制限されるものではないことは理解されるべきである。以下の特許請求の範囲については、そのような全ての変更及び等価な構成、機能を網羅するような広い解釈が認められるべきである。
【０１３３】
本願は、２００８年８月４日提出の日本国特許出願特願２００８−２０１０５３を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
【図１】
2011523238.tif 000018
【図３】
2011523238.tif 000019
【図５】
2011523238.tif 000020
【図６】
2011523238.tif 000021
【図７】
2011523238.tif 000022
【図８Ａ】
2011523238.tif 000023
【図９Ａ】
2011523238.tif 000024
【図９Ｂ】
2011523238.tif 000025
【図１０】
2011523238.tif 000026
【図１１】
2011523238.tif 000027
【図１３】
2011523238.tif 000028
【図１５】
2011523238.tif 000029
【図１６】
2011523238.tif 000030
【図１７Ａ】
2011523238.tif 000031
【図１７Ｂ】
2011523238.tif 000032
【図１７Ｃ】
2011523238.tif 000033
【図２Ａ】
2011523238.tif 000034
【図２Ｂ】
2011523238.tif 000035
【図４Ａ】
2011523238.tif 000036
【図４Ｂ】
2011523238.tif 000037
【図４Ｃ】
2011523238.tif 000038
【図４Ｄ】
2011523238.tif 000039
【図４Ｅ】
2011523238.tif 000040
【図８Ｂ】
2011523238.tif 000041
【図８Ｃ】
2011523238.tif 000042
【図８Ｄ】
2011523238.tif 000043
【図１２Ａ】
2011523238.tif 000044
【図１２Ｂ】
2011523238.tif 000045
【図１２Ｃ】
2011523238.tif 000046
【図１４Ａ】
2011523238.tif 000047
【図１４Ｂ】
2011523238.tif 000048
【国際調査報告】
2011523238.tif 000049