(57)【要約】      （修正有）【課題】少ないデータ量で、深度コントロールを行うことができる撮像システム、レンズ装置、および画像処理ツールを提供する。【解決手段】撮像システムで、複数のポイントのデフォーカス状態を撮影時に検知する手段と、光学系の曲率半径、面間隔、屈折率の情報を記憶する手段と、情報を基に、深度コントロールに必要な光学フィルタを演算生成する手段と、光学フィルタから撮影画像を処理する手段と、を有する。【選択図】図２Ａ
2019110365.tif 000002
【特許請求の範囲】
【請求項１】
複数のポイントのデフォーカス状態を撮影時に検知する手段と、
光学系の曲率半径、面間隔、屈折率の情報を記憶する手段と、
前記情報を基に、深度コントロールに必要な光学フィルタを演算生成する手段と、
前記光学フィルタから撮影画像を処理する手段と、
を有することを特徴とする撮像システム。
【請求項２】
前記光学フィルタは、外部入力されたピントずらし量に基づいて生成されることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記光学フィルタは、外部入力されたぼかし量に基づいて生成されることを特徴とする、請求項１に記載の撮像システム。
【請求項４】
前記光学系の有効径情報も記憶することを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
【請求項５】
複数のポイントのデフォーカス状態を撮影時に検知する手段と、
光学系の曲率半径、面間隔、屈折率の情報を基に、深度コントロールに必要な光学フィルタを演算生成する手段と、
前記光学フィルタから撮影画像を処理する手段と、
を有する撮像装置に着脱可能であり、
前記情報を記憶する手段を有することを特徴とするレンズ装置。
【請求項６】
前記光学フィルタは、外部入力されたピントずらし量に基づいて生成されることを特徴とする請求項５に記載のレンズ装置。
【請求項７】
前記光学フィルタは、外部入力されたぼかし量に基づいて生成されることを特徴とする、請求項５に記載のレンズ装置。
【請求項８】
前記光学系の有効径情報も記憶することを特徴とする請求項５乃至７のいずれか１項に記載のレンズ装置。
【請求項９】
複数のポイントのデフォーカス状態を撮影時に検知する手段と、
光学系の曲率半径、面間隔、屈折率の情報を記憶する手段と、
前記情報を撮影画像に書き込む手段を有する撮像装置で得られた撮影画像から、深度コントロールに必要な光学フィルタを演算生成する手段と、
前記光学フィルタから撮影画像を処理する手段と、
を有することを特徴とする画像処理ツール。
【請求項１０】
前記光学フィルタは、外部入力されたピントずらし量に基づいて生成されることを特徴とする請求項９に記載の画像処理ツール。
【請求項１１】
前記光学フィルタは、外部入力されたぼかし量に基づいて生成されることを特徴とする、請求項９に記載の画像処理ツール。
【請求項１２】
前記光学系の有効径情報も記憶することを特徴とする請求項９乃至１１のいずれか１項に記載の画像処理ツール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学補正が可能な撮像システム、レンズ装置、および画像処理ツールに関し、特に、交換レンズ式撮像装置システムや、ビデオなどの映像機器に好適なものである。
【背景技術】
【０００２】
従来、撮像装置において、光学的な結像劣化をその光学系固有の補正情報を用いて補正し、良好な画像を得る手段、及びその処理方法が種々報告されている。特許文献１には、球面収差やコマ収差等の光学的画像劣化を回復する画像回復処理が報告されている。また、特許文献２には、デフォーカス検知と、デフォーカスに応じた点像強度分布関数（ＰＳＦ）により、深度拡大を行う方法が紹介されている。
【０００３】
一方で、撮像装置において、被写体を光学系で結像させる撮像面に、光学系の瞳の状態を検知しそれを処理して光学系のデフォーカス状態を得ることが可能な、撮像面位相差方式のデフォーカス検知手段を有する撮像装置が知られている。特許文献３には、撮像面位相差方式のデフォーカス検知手段とその演算処理方法が記されている。
【０００４】
また、特許文献４には、特許文献１乃至３の技術を結集し、ピントが合っていない画像のピント位置を微調整する、リフォーカス技術が紹介されている。このリフォーカス技術によれば、ピントがずれた写真を画像処理により、被写体にピントが合った違和感ない画像にすることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２１７０８７号公報
【特許文献２】特開２０１２−０６５１１４号公報
【特許文献３】特開２０１０−０２５９９７号公報
【特許文献４】特開２０１４−１５３８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮像装置には、高速かつ高精度に被写体に合焦させることが望まれている。それを実現するために、位相差方式のデフォーカス検知手段の精度を高めることや、光学系のフォーカシングスピードを速めることで、高速高精度化を図ってきた。それでもまだ、非常に高速に動く被写体に制御が追い付かなかったり、撮影者の操作が追い付かなかったり等の理由からピントずれが生じ、所望の写真が得られないことは、少なくない。そこで、特許文献４のようなリフォーカス技術や、特許文献２のように奥行にボケを付加することも含め、深度コントロール技術が要望されている。
【０００７】
しかしながら、これらの深度コントロール技術には、莫大なデータ量を有することが課題となっている。特にこれらの処理は、画像をＰＣ等に移動しての処理ではなく、撮像装置上で撮影後すぐに行えることがより好ましく、その場合、データの軽量化は必須となってくる。
【０００８】
本発明の目的は、少ないデータ量で、深度コントロールを行うことができる撮像システム、レンズ装置、および画像処理ツールを提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る撮像システムは、複数のポイントのデフォーカス状態を撮影時に検知する手段と、光学系の曲率半径、面間隔、屈折率の情報を記憶する手段と、前記情報を基に、深度コントロールに必要な光学フィルタを演算生成する手段と、前記光学フィルタから撮影画像を処理する手段と、を有することを特徴とする。
【００１０】
また、本発明に係るレンズ装置は、複数のポイントのデフォーカス状態を撮影時に検知する手段と、光学系の曲率半径、面間隔、屈折率の情報を基に、深度コントロールに必要な光学フィルタを演算生成する手段と、前記光学フィルタから撮影画像を処理する手段と、を有する撮像装置に着脱可能であり、前記情報を記憶する手段を有することを特徴とする。
【００１１】
また、本発明に係る画像処理ツールは、複数のポイントのデフォーカス状態を撮影時に検知する手段と、光学系の曲率半径、面間隔、屈折率の情報を記憶する手段と、前記情報を撮影画像に書き込む手段を有する撮像装置で得られた撮影画像から、深度コントロールに必要な光学フィルタを演算生成する手段と、前記光学フィルタから撮影画像を処理する手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、少ないデータ量で、深度コントロールを行うことができる。
【図面の簡単な説明】
【００１３】
【図１Ａ】奥行のある被写体と撮影光学系を示す図
【図１Ｂ】平面射影被写体を示す図
【図１Ｃ】奥行のある被写体の撮影画像を示す図
【図２Ａ】奥行を撮像面位相差測距で測定するフローチャート図
【図２Ｂ】奥行をフォーカシング駆動しながらコントラスト演算をすることで測定するフローチャート図
【図２Ｃ】撮影画像とデフォーカス情報（深度マップ）から、ＲＤＮデータを基にピント調整を行うフローチャート図
【図３Ａ】撮像面位相差測距で得られる深度マップを示す図
【図３Ｂ】コントラストオートフォーカスから深度マップを得る際の過程を示す図
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について、図面を用いて説明する。
【００１５】
撮像光学系においては、物体側の原画像をｆ（ｘ、ｙ）、光学系の性能を表す点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）、光学系を通した後の像面側の劣化画像をｇ（ｘ，ｙ）とすると、次式の関係が成立する。ここで、＊はコンボリューション（畳み込み）であり、（ｘ，ｙ）は画像上の座標である。
【００１６】
ｇ（ｘ，ｙ）＝ｈ（ｘ、ｙ）＊ｆ（ｘ、ｙ）  ・・・（数式１）
次に、この関係式を基に、画像回復処理を行う方法について説明する。数式１をフーリエ変換すると、次式のように周波数ごとの積の形式になる。ここで、ＨはＯＴＦであり、（ｕ，ｖ）は２次元周波数面での座標、即ち周波数である。
【００１７】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）×Ｆ（ｕ，ｖ）  ・・・（数式２）
数式２の両辺をＨで除算してＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことによって、原画像ｆ（ｘ，ｙ）が、回復像として得られる。
【００１８】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると次式が成立する。
【００１９】
ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊Ｒ（ｘ、ｙ）  ・・・（数式３）
Ｒ（ｘ、ｙ）は、画像回復フィルタであり、レンズの光学情報を元に作成できるため、実面での画像に対するコンボリューションを行うことで同様に原画像を得ることができる。以上の方法が、画像回復の基本的な考え方である。
【００２０】
ところがこの考え方は、光学系において結像関係にある、像面と物体面どうしの関係に限ったものである。実際の撮像装置において、像面に対応する撮像面については平面であるが、物体面に対応する被写体は、必ずしも平面ではないため、物体面から奥行方向（ｚ方向）に逸脱する被写体も多い。
【００２１】
このとき、物体面から奥行方向に逸脱した被写体は、撮像面においてもｚ方向に逸脱した位置に像を結ぶため、撮像面上では、ボケた像となる。即ち、光学系の物体面から逸脱した被写体が、本来合焦させたい被写体で合った場合、その像はボケてしまうため、撮影者はピントずれと認識する。このことを点像分布関数で表現する。
【００２２】
撮像面から見ると、被写体の奥行方向に応じて像が結ぶ位置がボケたり、鮮鋭になったりするため、前記点像分布関数のｈ（ｘ、ｙ）は、３次元のｈ（ｘ、ｙ、ｚ）で表現される。
【００２３】
即ち、立体の被写体を撮影する時は、下記のように数式化される。
【００２４】
ｇ’（ｘ，ｙ）＝ｆ’（ｘ、ｙ）＊ｈ（ｘ、ｙ、ｚ）  ・・・（数式４）
ここで、ｆ’（ｘ，ｙ）は、立体物である被写体ｆ（ｘ、ｙ、ｚ）を任意の平面に射影した、平面射影原画像である。
【００２５】
図１を用いて、平面射影原画像の説明をする。図１Ａには、奥行のある被写体と撮影光学系を表す図である。撮像光学系の主点Ｈから各被写体ＡＢＣに向かって放射状に線を引いたとき、それらが像面と平行な任意の平面と公差する点が、被写体の物体面への射影点である。
【００２６】
これらを全ての被写体で行ったものが、平面射影原画像であり、図１Ｂのようになる。被写体ＡＢＣの大きさは、実際は同じであるが、主点からの距離が近いほど拡大された像になっていることが分かる。この平面射影原画像ｆ’（ｘ、ｙ）に、それぞれの座標、及びアウトフォーカス状態の点像強度関数ｈ（ｘ、ｙ、ｚ）を掛けて得られる画像が、ｇ’（ｘ，ｙ）である。
【００２７】
被写体Ａや被写体Ｃは、物体面から逸脱しているため、ボケた点像強度関数が掛かり、比較的物体面に近い被写体Ｂには、鮮鋭な点像強度関数が掛かり、その結果得られるｇ’（ｘ、ｙ）は、図１Ｃのようになる。
【００２８】
次に、このようにして得られた劣化画像ｇ’（ｘ、ｙ）から、物体面射影原画像ｆ’（ｘ、ｙ）を得る方法について考える。数式１と数式３の関係から、劣化画像にＲ（ｘ、ｙ、ｚ）なる、ｚ方向の関数も持つ画像回復フィルタを掛けた、以下の数式ように表現できることは自明である
ｆ’（ｘ、ｙ）＝ｇ’（ｘ，ｙ）＊Ｒ（ｘ、ｙ、ｚ）  ・・・（数式５）
ここで問題となるのは、劣化画像ｇ’（ｘ，ｙ）は平面情報のため、ｚの情報が抜け落ちており、Ｒ（ｘ、ｙ、ｚ）のｚの項が特定できず、劣化画像からだけでは、平面射影原画像への回復処理を行うことが出来ないことである。
【００２９】
そこで、本実施形態では、撮影時にセンサー面の座標に応じて、デフォーカス状態を得て、その情報からｚを特定した。具体的には、撮像面位相差方式でデフォーカス量を得る方法や、フォーカシングをしながらコントラスト値を読み、それにより得るコントラスト波形よりデフォーカス量を計算する方法を用いる。それにより各（ｘ、ｙ）の座標点毎にｚが特定できるため、Ｒ（ｘ、ｙ、ｚ）が定まり、物体面射影原画像ｆ’（ｘ、ｙ）が得られることを見出した。
【００３０】
次に、所望のデフォーカス量だけピントをずらした画像を得る方法について考える。図１Ａにおいて、物体面は被写体Ｂの位置にあるため、被写体Ｂが鮮鋭であり、被写体Ａと被写体Ｃはボケた状態にあるが、本来は被写体Ｃに合焦した状態を得たかったとする。このときのピントずらし量をΔｚとする。
【００３１】
まず、数式５により、平面射影原画像ｆ’（ｘ、ｙ）を得る。平面射影原画像が得られたら、後は本来合焦させたかった状態の点像強度分布関数を光学データより再現し、掛ければ、所望の画像が得られる。
【００３２】
ここで、光学データより再現する点像強度分布関数を、実レンズの点像強度分布関数ｈと区別するために、ｋと定義する。
【００３３】
また、点像強度分布関数と画像回復フィルタについて、もう少し詳細に表現してみる。画像回復フィルタＲと、点像強度分布関数ｋは、光学系のズームポジションｚ、フォーカスポジションｆｏ、Ｆ値ｆｎｏ、像高（ｘ、ｙ）、デフォーカス状態ｚに応じて変化する、多次元関数Ｒ（ｚ、ｆｏ、ｆｎｏ、ｘ、ｙ、ｚ）、ｋ（ｚ、ｆｏ、ｆｎｏ、ｘ、ｙ、ｚ）である。
【００３４】
今、被写体Ｂに合焦した状態の点像強度分布関数が、ｋ（ｚ、ｆｏ、ｆｎｏ、ｘ、ｙ、ｚ）だったとすると、被写体ＢからΔｚだけデフォーカスした被写体Ｃに合焦した状態の点像強度分布関数は、ｋ（ｚ、ｆｏ＋Δｆｏ、ｆｎｏ、ｘ、ｙ、ｚ＋Δｚ）となる。
【００３５】
ここで、Δｆｏは、Δｚだけデフォーカスさせるためのフォーカス繰り出し量を与えれば、算出可能であるため、Δｚのみから、ｋ（ｚ、ｆｏ＋Δｆｏ、ｆｎｏ、ｘ、ｙ、ｚ＋Δｚ）を得ることが出来る。よって、Δｚとｋの光学情報から、以下の数式のように表わすことができる。
【００３６】
ｇｄ（ｘ，ｙ）＝ｆ’（ｘ、ｙ）＊ｋ（ｚ、ｆｏ＋Δｆｏ、ｆｎｏ、ｘ、ｙ、ｚ＋Δｚ）
・・・（数式６）
ｇｄ（ｘ、ｙ）は、被写体Ｃが合焦状態で、被写体ＢはΔｚだけボケて、被写体Ａは更にボケた状態の、所望の画像になる。
【００３７】
また、数式５と数式６から、以下の数式となる。
【００３８】
ｇｄ（ｘ，ｙ）＝ｇ’（ｘ，ｙ）＊Ｒ（ｚ、ｆｏ、ｆｎｏ、ｘ、ｙ、ｚ）＊ｋ（ｚ、ｆｏ＋Δｆｏ、ｆｎｏ、ｘ、ｙ、ｚ＋Δｚ）  ・・・（数式７）
そして、以下の数式に示すように、Ｒｋ（ｚ、ｆｏ、ｆｎｏ、ｘ、ｙ、ｚ、Δｆｏ、Δｚ）がピントずらしフィルタであり、撮影画像の各座標位置でのピント位置ｚと、所望のピントずらし量Δｚを与えることで、原画像から所望の量のピント調整をすることができることになる。
【００３９】
ｇｄ（ｘ，ｙ）＝ｇ’（ｘ，ｙ）＊Ｒｋ（ｚ、ｆｏ、ｆｎｏ、ｘ、ｙ、ｚ、Δｆｏ、Δｚ）
・・・（数式８）
しかしながら、ここで問題となるのは、深度コントロールに必要な画像回復フィルタＲと、点像強度分布関数ｋが、２次元マップ情報であり、それがさらにズーム、フォーカス、像高、Ｆ値、更には深度方向を含む多次元関数となっていることである。そのデータ量は莫大になってくるため、交換レンズや撮像装置がデータを保持して、撮像装置上で処理を行うことは勿論、画像をＰＣに移動して処理をする場合すら、その莫大な情報の保持は、課題となってくる。
【００４０】
そこで本発明者は、全撮影パターンに対処できる前記データを保持する位なら、各撮影画像に対して必要なデータをその都度演算生成する方が、圧倒的にシステム負荷が小さくなるという発想の転換に至った。
【００４１】
具体的には、光学系のＲＤＮ情報のみを保持し、そこに、Ｆ値と撮像装置で取得した深度情報を付加し、点像強度分布関数ｋと画像回復フィルタＲを演算生成することである。
【００４２】
点像強度分布関数は、物点からの放射状の光を１本１本、光学系の１面１面をスネルの法則に従い、像面上に結像させた結果の強度分布を表すものであるため、比較的単純計算のループで、可能である。
【００４３】
画像回復フィルタも、点像強度分布関数をフーリエ変換したものであるから、これも演算生成可能である。
【００４４】
それにより、ごく軽量なデータで、深度コントロールが可能になることを見出した。
【００４５】
以下に、本発明を具体的に実施する具体的な構成について説明する。図２Ａには、ｚを撮像面位相差測距で測定する方法を示す。図２Ｂには、ｚをフォーカシングしながらコントラスト値を読むことで、デフォーカス位置を測定する方法を示す。図２Ｃには、図２Ａ、図２Ｂのようにして得た撮影画像とデフォーカス情報（深度マップ）から、ＲＤＮデータを基にピント調整を行う例を示す。図２Ｃは、図２Ａ、図２Ｂを行った撮像装置上で行っても良いし、外部のソフトで行っても良い。
【００４６】
図３Ａには、撮像面位相差測距で得られる深度マップを示す。図３Ｂには、フォーカシングをしながらコントラスト値を読むことで、オートフォーカスを行い、かつ深度マップを得る際の過程を示す。
【００４７】
まず、図２Ａを参照しながら、ｚを撮像面位相差測距で測定する方法を説明する。ステップ１０１で撮影実行命令が下ったら、ステップ１０２の測距点位相差情報取得に移行する。予めユーザーが選択した、ピントを合わせたい測距点において、デフォーカス状態を測定する。ミラーを用いてオートフォーカス光学系に入射させて瞳を分離する、所謂外測位相差測距でも良いし、撮像面に配置した撮像面位相差測距でも良い。
【００４８】
次に、ステップ１０３の光学系のパラメータ取得を行う。具体的には、光学系のズーム位置、フォーカス位置等を読み取る。
【００４９】
ステップ１０４では、それらの光学位置特有の光学情報を使用し、光学系を合焦させるために必要なフォーカス駆動量を決定し、駆動を行う。ステップ１０５では、駆動後の測距を再度行う。
【００５０】
ステップ１０６では、ステップ１０５の測距結果が合焦状態か否かの判定を行い、非合焦の場合は、再び１０３の光学系のパラメータ取得に戻り、合焦状態への追い込みループに入る。
【００５１】
合焦判定の場合は、ステップ１０９で深度マップを作成するための撮像面位相差情報の取得（ステップ１０７）を行う。
【００５２】
次に、ステップ１１０で撮影画像を作成するための像信号取得（ステップ１０８）を行う。
【００５３】
また、ステップ１０９で、光学系のＲＤＮを取得する。
【００５４】
得られた深度マップと撮影画像とＲＤＮ情報をステップ１１２で保存する。
【００５５】
ここで、ステップ１０７の撮像面位相差情報取得から、ステップ１０９の深度マップ作成までの流れを、図３Ａを参照しながら説明する。図３Ａに示す、無数の矩形が撮像面測距を行うポイントである。実際は、矩形領域の中心に位置する画素に、瞳分離手段が配置されているが、詳しい説明は、参考文献３に示す通りである。
【００５６】
それぞれから得られたデフォーカス量を図３Ｂのようにマップ化したものが、深度マップである。今、合焦状態にある被写体Ｂのデフォーカスが０であり、前ピン状態の被写体Ａが、マイナスのデフォーカス量、後ピン状態の被写体Ｃが、プラスのデフォーカス量、被写体Ｃよりも奥にある背景Ｄが、更に大きいプラスのデフォーカス量となる。この深度マップにより、（ｘ、ｙ、ｚ）の情報が得られたことになり、ピント調整フィルタの作成が可能になる。
【００５７】
次に、深度マップをフォーカシング駆動しながらコントラスト値を読むことで、得る方法について、図２Ｂと図３Ｂを参照しながら説明する。現在のフォーカス位置は、図３Ｂで言うと、ｓの位置であり、合焦させたい被写体は、被写体Ｂであるとする。
【００５８】
ステップ２０１の撮影命令が下り次第、ステップ２０２のコントラスト値取得が開始する。具体的には、被写体のエッジ部分の鮮鋭度を演算する。
【００５９】
ステップ２０３の初期フォーカス駆動では、フォーカス駆動を無限側または至近側、任意の方向に動かし、ステップ２０４の駆動方向判別に移行する。
【００６０】
ステップ２０４で、コントラスト値が上がれば、初期駆動方向が正しい駆動方向であり、コントラスト値が下がれば、駆動方向が反対なので、反転する必要がある。図３Ｂで言うと、初期駆動方向がマイナスの場合は、被写体Ｂのコントラスト値が下がるため、プラス方向に反転させる。
【００６１】
ステップ２０５では、ステップ２０４で決定した方向に、フォーカス駆動を行う。図３Ｂで言うと、ｓからプラス方向に駆動する。
【００６２】
次に、ステップ２０６で、オーバーラン判定を行う。
【００６３】
図３Ｂで、被写体Ｂのコントラストピーク位置ｕを通り過ぎて、明らかにコントラストが下がったと判定した位置ｔにおいて、ピークを通り過ぎたと判断する。
【００６４】
次に、ステップ２０７で、オーバーランした分を戻す駆動量を決定する。具体的には、ｕ‐ｔの駆動量となる。
【００６５】
次に、ステップ２０８で、反転駆動を行い停止させる。ここでコントラスト値の取得を終了する（ステップ２０９）。
【００６６】
次に、ステップ２１２で撮影画像を作成するための像信号取得（ステップ２１０）を行う。
【００６７】
次に、ステップ２１１の光学系のパラメータ取得を行う。具体的には、光学系のズーム位置、フォーカス位置等を読み取る。
【００６８】
次に、ステップ２１３で、コントラスト値とステップ２１１の光学系のパラメータを基に、深度マップを作成する。
【００６９】
また、ステップ２１４で、光学系のＲＤＮを取得する。最後に、得られた深度マップと撮影画像とＲＤＮをステップ２１５で保存する。
【００７０】
ここで、ステップ２１３での深度マップ作成方法を具体的に説明する。ステップ２０５のオーバーランを開始してから、ステップ２０６のオーバーラン検知の間まで、図３Ｂで言うとｓからｔまで、各被写体でのコントラストを取得している。そのため、例えば被写体Ａや被写体Ｃは、ｓからｔの間にコントラストピークがそれぞれ存在するため、コントラストピーク位置をそれぞれｗ，ｖと決定できる。
【００７１】
ステップ２１１の光学系の位置から、フォーカスパルスあたりの像面移動量Ｓを得ることができ、各被写体のデフォーカス量を算出することが可能になる。被写体ＡであればＳ×（ｗ−ｕ）、被写体ＣであればＳ×（ｖ−ｕ）となる。それにより、撮像面位相差測距と同じように、撮影面全体で深度マップを作成することが出来る。
【００７２】
次に、撮像面位相差測距または、フォーカシングしながらコントラスト値を取得する方法により得た、深度マップと撮影画像から、ピント調整を行うフローについて図２Ｃを参照しながら説明する。この処理を行うのは、撮影機器でも良いし、外部の演算ソフトであっても良いが、先に得た画像と深度マップを読み取れ、かつ撮影光学系の点像強度分布関数ｋ（ｚ、ｆｏ、ｆｎｏ、ｘ、ｙ、ｚ）及び画像回復フィルタＲ（ｚ、ｆｏ、ｆｎｏ、ｘ、ｙ、ｚ）を保持している必要がある。
【００７３】
まず、ステップ３０１でユーザーより撮影画像の表示命令がされた場合、ステップ３０２で画像の表示を行う。ここで、ステップ３０３でユーザーより被写体のピントがずれていると判断された場合は、ステップ３０４の調整値入力に移行する。ユーザーより調整値が入力されたら、ステップ３０５でピント調整フィルタを作成し、ステップ３０６でピント調整処理を行う。ステップ３０７でピント調整結果を表示し、ステップ３０３に戻る。
【００７４】
ステップ３０３でピント調整不要と判断された場合、ステップ３０８で終了となる。
【００７５】
次に、本実施形態において、より良好な画像が得られるための方法について説明する。数式５において、平面射影原画像を得た際、回復フィルタＲ（ｚ、ｆｏ、ｆｎｏ、ｘ、ｙ、ｚ）により、光学系の収差が良好に補正された画像が得られる。
【００７６】
数式７で、フォーカスポジションとデフォーカスをずらした状態の光学系の点像強度分布関数ｋ（ｚ、ｆｏ＋Δｆｏ、ｆｎｏ、ｘ、ｙ、ｚ＋Δｚ）を与えている。
【００７７】
このとき、Δｚ調整後のベストピント位置においても、再び光学系の収差が与えられ、多少の画像劣化が発生してしまう。
【００７８】
そこで本実施形態では、Δｚ調整後のベストピント付近においては、点像強度分布関数を与えず、平面射影原画像そのものとすることで、ベストピント付近が鮮鋭なピント調整画像を得ることに成功した。
【００７９】
また、本実施形態では、ピントずらしだけでなく、光学系のＦナンバーもユーザーから与えることが可能であり、それにより深度を調整することもできる。数式７において、画像回復フィルタＲ（ｚ、ｆｏ、ｆｎｏ、ｘ、ｙ、ｚ）のｆｎｏには、撮影時の光学系のＦ値を与え、光学系の点像強度分布関数ｋ（ｚ、ｆｏ＋Δｆｏ、ｆｎｏ、ｘ、ｙ、ｚ＋Δｚ）のｆｎｏには、深度調整したい所望のＦ値を与える。
【００８０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８１】
Ａ、Ｂ、Ｃ・・奥行のある被写体
【図１Ａ】
2019110365.tif 000003
【図１Ｂ】
2019110365.tif 000004
【図１Ｃ】
2019110365.tif 000005
【図２Ａ】
2019110365.tif 000006
【図２Ｂ】
2019110365.tif 000007
【図２Ｃ】
2019110365.tif 000008
【図３Ａ】
2019110365.tif 000009
【図３Ｂ】
2019110365.tif 000010