(57)【要約】【課題】露光中の被写体の移動や撮影者のブレ等によって発生する被写体像ボケによる画像の品位低下を防止する。【解決手段】撮像装置1は、撮影光学系と、撮影光学系からの光束を分割させるハーフミラー２０と、ハーフミラー２０からの一方の光束を受ける撮像素子６と、ハーフミラー２０からの他方の光束を受けるとともに撮像素子６の露光時間よりも高速にサンプルされる測距手段１８と、測距手段１８の出力から露光時の画像のボケ関数を求めるピント状態生成手段と、ピント状態生成手段の出力と撮像素子６の出力から記録およびプレビュー用の画像を生成する画像生成手段と、を有する。【選択図】図１
2015097352.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系と、
前記撮影光学系からの光束を分割させる光路分割手段と、
前記光路分割手段からの一方の光束を受ける撮像素子と、
前記光路分割手段からの他方の光束を受けるとともに前記撮像素子よりも高速にサンプリングする測距手段と、
前記測距手段の出力から露光時の画像のボケ関数を求めるピント状態生成手段と、
前記ピント状態生成手段の出力と前記撮像素子の出力から記録およびプレビュー用の画像を生成する画像生成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記測距手段の各画素の面積は、前記撮像素子の各画素の面積よりも大きいことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記測距手段の各画素の面積を測距手段の結像倍率で除した値は、前記撮像素子の各画素の面積を撮像素子の結像倍率で除した値よりも大きいことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記画像生成手段は、前記測距手段の出力から点広がり関数を生成し、前記点広がり関数を逆畳みこみすることで出力画像を得ることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
撮影光学系と、
前記撮影光学系からの光束を分割させる光路分割手段と、
前記光路分割手段からの一方の光束を受ける撮像素子と、
前記光路分割手段からの他方の光束を受ける測距手段と、
前記撮像素子および前記測距手段のフレームレートと取得する画像の数を制御する多重露光制御手段と、
前記測距手段の出力から露光時の画像のボケ関数を求めるピント状態生成手段と、
前記ピント状態生成手段の出力と前記撮像素子の出力から画像復元を行う画像復元手段と、
前記画像復元手段の出力から記録およびプレビュー用の画像を生成する位置合わせ合成手段と、
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関する。特に、露光中の光学像の情報を用いて記録およびプレビュー用の画像を生成する技術に関する。
【背景技術】
【０００２】
露光中に被写体の移動、撮影者のブレ等が発生すると被写体像にブレやボケが発生して像の品位が低下する。露光中のブレを防止する方法として、光学素子の一部を駆動するなどしていわゆるブレを防止するカメラが製品化されている。一方で、露光中のボケを積極的に補正する技術は多くない。
特許文献１では、露光中にブレを補正するためにレンズを偏心させた場合に発生する収差を補正する提案がなされている。また、特許文献２では、露光によって得られた画像からボケを含む点広がり関数を推定して適当に画像処理を施す提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５８５７０号公報
【特許文献２】特開２０１０−７４８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の構成では、いわゆるボケに対応することが困難であるとともに、撮像装置内のセンサを用いているので被写体が移動した場合には対応することが出来ない。特許文献２に記載の構成では、得られた画像から点広がり関数を推定するが、得られた画像は点広がり関数と被写体情報の畳み込み積分の状態で得られており分離することが困難なため、点広がり関数の推定精度が低下することが懸念される。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明の撮像装置は、撮影光学系と、前記撮影光学系からの光束を分割させる光路分割手段と、前記光路分割手段からの一方の光束を受ける撮像素子と、前記光路分割手段からの他方の光束を受けるとともに前記撮像素子よりも高速にサンプリングする測距手段と、前記測距手段の出力から露光時の画像のボケ関数を求めるピント状態生成手段と、前記ピント状態生成手段の出力と前記撮像素子の出力から記録およびプレビュー用の画像を生成する画像生成手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像処理による弊害を抑えつつ、ボケの影響を低減した高品位な画像を得ることが可能となる。
【図面の簡単な説明】
【０００７】
【図１】実施例１の撮像装置の機械的および電気的構成を示す図である。
【図２】ハーフミラーでの屈折と収差の発生を説明する図である。
【図３】撮像素子の像高が異なる位置とＭＴＦの関係を説明する図である。
【図４】点広がり関数と画像復元処理でのＭＴＦを説明する図である。
【図５】実施例１のメインフローを示すフローチャートである。
【図６】実施例１のサブフローを示すフローチャートである。
【図７】実施例１の撮像装置の機械的構成の別の好適な例を示す図である。
【図８】実施例２の撮像装置の機械的および電気的構成を示す図である。
【図９】実施例２の撮像装置の機械的構成の別の例を示す図である。
【図１０】実施例２の撮像動作を示すフローチャートである。
【図１１】実施例３の撮像動作を示すフローチャートである。
【図１２】一般的な多重露光における現像を説明する図である。
【図１３】実施例３の現像を説明する図である。
【発明を実施するための形態】
【０００８】
（実施例１）
図１から図７を参照して、本発明の実施例１による撮像装置１について説明する。
図１（ａ）は、撮像装置１およびレンズユニット２の構成を模式的に示す中央断面図である。図１（ｂ）は、撮像装置１とレンズユニット２の構成を模式的に示すブロック図である。
図１（ａ）（ｂ）において、１は撮像装置を示す。実施例１の撮像装置１はデジタルカメラである。２は撮像装置１に装着するレンズユニットを示す。３は撮影光学系を示す。撮影光学系３は、レンズ群を含む。４は撮影光学系の光軸を示す。６は撮像素子を示す。９は背面表示手段を示す。背面表示手段９には、液晶表示装置などが適用される。１１は撮像装置１とレンズユニット２の電気接点を示す。撮像装置１とレンズユニット２とは、電気接点１１を介して電気的に接続する。１２はレンズユニット２に設けられたレンズシステム制御部を示す。１８は測距手段を示す。１９は撮像装置１に設けられたファインダ表示手段を示す。１９ａはファインダ表示手段１９を構成するモニタを示す。１９ｂはファインダ表示手段１９を構成する光学系を示す。２０は光路分割手段であるハーフミラーを示す。
【０００９】
図１（ｂ）に示すように、撮像装置１とレンズユニット２とがカメラシステムを構成する。このカメラシステムは、撮像系と、画像処理系と、記録再生系と、制御系とを有する。撮像系は、撮影光学系３と、撮像素子６と、光路分割手段であるハーフミラー２０とを含む。画像処理系は、画像処理部７を含む。記録再生系は、メモリ手段８と背面表示手段９とを含む。制御系は、カメラシステム制御部５と、操作検出部１０と、レンズシステム制御部１２と、レンズ駆動手段１３と、測距手段１８とを含む。レンズ駆動手段１３は、焦点レンズや、ブレ補正レンズや、絞りなどを駆動することができる。撮像系は、物体（被写体）からの光を、撮影光学系３およびハーフミラー２０を介して撮像素子６の撮像面に結像する光学処理系である。制御系のレンズシステム制御部１２は、測距手段１８の信号に基づいてレンズ駆動手段１３を制御する。レンズ駆動手段１３は、レンズシステム制御部１２による制御にしたがって、撮影光学系３の状態を変化させる。これにより、ピント位置を調整する（いわゆるＡＦ動作）。また、制御系のカメラシステム制御部５は、撮像素子６の信号に基づいて露光状態の設定を行う（いわゆるＡＥ動作）。ここでいう露光状態とは、撮像素子６への露光時間、撮影光学系３の絞り値、撮像素子６の信号の増幅率などのことである。
【００１０】
画像処理部７は、Ａ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等をその内部に有しており、記録用の画像データを生成することができる。また、画像処理部７には、本発明の要部の一つである、伝達関数生成手段と画像復元手段とが含まれる構成であってもよい。実施例１では、これらの要素が画像処理部７に含まれるものとする。
メモリ手段８は、画像データなどを記録できる実際の記録部と、画像データなどを記録部へ記録するために必要な処理回路を備えている。メモリ手段８は、記録部へ画像データなどの記録を行うとともに、背面表示手段９に出力する画像の生成と保存を行う。また、メモリ手段８は、予め定められた方法を用いて、画像データや、動画データや、音声データなどの圧縮を行う。なお、メモリ手段８には、外部から挿入される記録メディアが含まれるとともに、撮像装置１に内蔵される揮発メモリと不揮発メモリとが含まれる。
【００１１】
カメラシステム制御部５は、撮像の際のタイミング信号などを生成して出力する。また、カメラシステム制御部５は、ユーザーによる操作に応動して、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、操作検出部１０が不図示のシャッターレリーズ釦の押下を検出すると、カメラシステム制御部５は、撮像素子６の駆動、画像処理部７の動作、メモリ手段８の圧縮処理などを制御する。さらにカメラシステム制御部５は、背面表示手段９の液晶表示装置などに情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００１２】
ここで、制御系による撮影光学系の調整動作について説明する。カメラシステム制御部５には、画像処理部７および測距手段１８が接続されている。カメラシステム制御部５は、撮像素子６および測距手段１８からの信号を元に、適切な焦点位置と絞り位置を求める。そして、カメラシステム制御部５は、電気接点１１を介してレンズシステム制御部１２に指令を出す。レンズシステム制御部１２は、カメラシステム制御部５からの指令にしたがって、レンズ駆動手段１３を制御する。さらに、レンズシステム制御部１２には、不図示の手ぶれ検出センサが接続されている。手ぶれ補正を行うモードにおいては、レンズシステム制御部１２は、手ぶれ検出センサの信号を元に、レンズ駆動手段１３を介してブレ補正レンズを制御する。
【００１３】
実施例１の撮像装置１においては、撮影光学系３と撮像素子６の間には、ハーフミラー２０が、光軸４に対して図１（ａ）の平面内で傾斜して配置されている。ハーフミラー２０は、光路分割手段の一例であり、ガラスの平板などによって形成される。なお、ハーフミラー２０は、図１（ａ）で観察される以外の方向には角度を持っていない。このため、光軸４のベクトルとハーフミラー２０の法線ベクトルとの外積で求められるベクトルは、図１（ａ）の紙面に直角な方向となる。
ハーフミラー２０は、図１（ａ）に示した入射角付近において、全面半透過性を有するミラーである。このため、撮影光学系３を通過した光束は、ハーフミラー２０において、図１（ａ）中において下方に設けられる測距手段１８に導かれる反射光と、撮像素子６に入射する透過光とに分割される。
透過光は、撮像素子６に導かれて結像する。なお、ハーフミラー２０を通過した光束（ハーフミラー２０で分割された光束の一方）は、ハーフミラー２０での屈折により、図１（ａ）中で上側にオフセットした光軸４’となる。このため、撮像素子６は、その中心が光軸４’に一致するよう配置されている。なお、詳細は図２を用いて説明する。
測距手段１８は、フィールドレンズと、反射ミラーと、再結像レンズと、マスクと、測距センサとを含む。ハーフミラー２０の反射光（ハーフミラー２０で分割された光束の他方）は、これらのフィールドレンズ、反射ミラー、再結像レンズ、マスク等を介して、測距センサに導かれる。
【００１４】
ところで、一般的に、ガラス板などの平板光学素子が、撮影光学系３と撮像素子６の間に、光軸４に対して斜めに配置されると、撮像素子６で得られる画像には収差が発生する。これは、撮影光学系３のレンズ群を通過した１本１本の光線について、平板光学素子を通過する光路長方向の位置が異なるためである。そして、収差もその位置に応じて異なる。したがって、従来の一眼レフカメラにおいては、一般的に、クイックリターン機構によりハーフミラー２０を撮影時に撮影光束外へ退避させていた。
これに対して、実施例１の撮像装置１は、図１（ａ）に示すように、ハーフミラー２０を透過した光束を用いて撮影を行う。そして、ハーフミラー２０は、光軸４に対して傾けて配置されている。このため、撮像素子６で得られる画像には収差が発生する。この収差は、撮影光学系３の光学収差と異なり、軸対称性がない。
このほか、撮像素子６に結像する被写体像には、露光中のピント変動によっていわゆるボケが発生する。
実施例１では、画像処理部７が、前述の収差およびボケを補正する。これにより、収差およびボケが補正された良好な画像データが形成される。詳細については後に説明する。
【００１５】
なお、実施例１では、撮像装置１は、撮像素子６を用いて撮影をしながら、ファインダ表示手段１９である電子ビューファインダに被写体像を表示できる。したがって、ユーザーは、いわゆるエイミング中および動画の撮影中においても、被写体像を観察しながら撮影が可能である。
また、実施例１の撮像装置１においては、ハーフミラー２０は固定されて配置されている。このため、従来の一眼レフカメラのように、撮影時にハーフミラー２０を撮影光束外へ退避させるクイックリターン機構は必要ない。したがって、クイックリターン機構による被写体像の消失が起きない。このため、測距手段１８は、撮像素子６の露光中も、被写体像を検出することが可能である。さらには、クイックリターン機構に用いる複雑なメカ構成が必要なくなる。したがって、撮像装置１のコストダウンとコンパクト化が可能である。
【００１６】
さらに、実施例１の撮像装置１においては、測距手段１８が、光路分割手段であるハーフミラー２０の反射光を受光する位置に設けられる。そして、測距手段１８は、それぞれの画素が受ける光量が、撮像素子６のそれぞれの画素が受ける光量よりも大きくなるような構成になっている。具体的には、測距手段１８の測距センサは、撮像素子６に比較して、結像倍率で正規化した場合に画素面積が大きくなるように設定されている。すなわち、測距手段１８に含まれる測距センサ上に１／ｎ倍（横倍率）で結像している場合には、測距センサの各画素の面積は、ｎの２乗よりも大きくなるように設計されている。このようにすることで、単位時間に受け取る光量は、測距センサの方が撮像素子６よりも多くなる。このような構成によれば、測距手段１８は、撮像素子６よりも高速にサンプリングが可能である。
【００１７】
図２は、平板２１による屈折の発生と、ハーフミラー２０での収差の発生を説明するための図である。図２（ａ）は、光線の屈折を詳細に説明するための図である。図２（ｂ）はハーフミラー２０で生じる収差を説明するための図である。図２（ｃ）は、撮像素子６の中央像高付近３０を拡大した図である。
図２（ａ）において、２１は表裏の面が平行な平板である。２２は平板２１に入射する光線であり、進行方向を矢印で示している。光線２２は、入射角度φで平板２１の入射面２１ａに入射し、スネルの法則に基づいて屈折する。そして、屈折した光線２２は、平板２１の法線に対して角度φ’で平板２１中を直進する。その後、光線２２は、平板２１の射出面２１ｂで再度屈折し、入射角度φと同じ角度φで射出する。したがって、射出した光線２２は、入射する光線２２に対して平行にシフトする。この平行シフト量をｄとする。平板２１の板厚をｔとし、空気の屈折率をｎとし、平板２１の屈折率をｎ’とすると、光線２２の平行シフト量ｄは、以下の式（１）で表すことができる。そして、式（１）から、入射角度φが大きいほど、平行シフト量ｄが大きくなることが分かる。
【００１８】
【数１】
2015097352.tif 000003
【００１９】
図２（ｂ）において、光線３０ａと光線３０ｂは、被写体側から入射し、撮影光学系３を通過して撮像素子６の中心像高付近に結像する光束のうち、最外部の光線を示す。なお、図２（ｂ）では、撮影光学系３よりも被写体側の光線は省略してある。図２（ａ）を用いて説明したように、光線３０ａ，３０ｂは、ハーフミラー２０の入射面で、スネルの法則に従って所定角度屈折し、ハーフミラー２０の内部を直進する。その後、ハーフミラー２０２の射出面で再度スネルの法則に従い屈折して射出する。ハーフミラー２０に入射する光線の角度と射出する光線の角度は等しくなる。なお、光軸４についても同様である。すなわち、ハーフミラー２０を通過した光線は、角度は変化せず、平行シフトのみが生じることとなる。
光線３０ａ、光軸４、光線３０ｂの平行シフト量をそれぞれｄａ、ｄｌ、ｄｂとすると、ｄｂよりｄｌが大きく、ｄｌよりｄａが大きくなるという関係となる。これは、光線３０ａ、光軸４、光線３０ｂが、それぞれハーフミラー２０に入射する角度が異なっているためである。具体的には、入射角度は光線３０ｂより光軸４の方が大きく、光軸４より光線３０ａの方が大きいという関係になっているためである。そうすると、光線３０ａが光軸４’と交差する位置と、光線３０ｂが光軸４’と交差する位置は、平行シフトの影響により一致しない。この場合には、光線３０ｂの方が光線３０ａより図中右側で光軸４’と交差する。これが、ハーフミラー２０による収差の原因となっている。
【００２０】
図２（ｂ）では、２本の光線３０ａと光線３０ｂを用いて説明したが、実際には被写体の光学像は多数の光線により形成される。そして、各光線が光軸４’と交差する位置は、図２（ｂ）の断面においてはすべて一致しない。図２（ｃ）は、図２（ｂ）の撮像素子６の中央像高付近３０を拡大した図であり、撮像素子６に結像する光線を示している。図２（ｃ）において、６ａは撮影光学系３の予定結像面を示す。予定結像面６ａは、撮像素子６の受光面近傍に位置する。そして予定結像面６ａには、多数の光線が集まっている。しかしながら、図２（ａ）を参照して説明したハーフミラー２０による平行シフトの影響により、図２（ｃ）に示すように、すべての光線が光軸４’に交差する位置が異なっており、完全な結像となっていない。
【００２１】
なお、実際の光線は図２の紙面に直角な方向にも存在するため、より複雑な収差が発生している。ただし、ハーフミラー２０は、光軸４に対して、図１(ａ)や図２（ｂ）に示す断面でのみ傾斜して配置されている。このため、紙面奥行き方向には対称性を有する収差となっている。紙面に対して直角な方向に角度をもつ光線と、紙面上で示した光線３０ａと、光線３０ｂとでは、ハーフミラー２０と成す角度が異なっている。このため、もっとも収差の小さくなるピント位置が異なってくる。すなわち、非点収差を有している。
また、式（１）から、ハーフミラー２０の屈折率によっても、収差の状況は異なる。したがって、波長によっても収差の状況は異なる。さらに、像高によって入射する光線の角度が異なるため、式（１）によれば、像高によっても収差の状況は異なる。
【００２２】
図３（ａ）は、撮像素子６による撮影範囲を示す図である。４０は撮影範囲を示す。ここでは、撮影範囲４０の中央を原点として、Ｘ−Ｙ座標を定義する。そして、撮影範囲４０内の任意の座標点（ｘ，ｙ）における撮影光学系３およびハーフミラー２０の収差による劣化前の画像の光量分布を、ｏ（ｘ，ｙ）とする。また、それに対応した撮影光学系３およびハーフミラー２０の収差およびピント変動のボケやブレによる劣化後の画像の光量分布を、ｉ（ｘ，ｙ）とする。この場合、ｉ（ｘ，ｙ）は、以下の式（２）で表される。
【００２３】
【数２】
2015097352.tif 000004
【００２４】
ｈ（ｘ，ｙ）は伝達関数である。この伝達関数は、撮影光学系３とハーフミラー２０の収差や、ピント変動によるボケや、ブレによる画像の劣化の状態を表す。また、式（２）は、ハーフミラー２０の収差とピント変動のボケのみならず、撮影光学系３の収差までを含む劣化像モデル式としている。
そして、式（２）は、ｏ（ｘ，ｙ）とｈ（ｘ，ｙ）の畳み込み積分であるため、フーリエ変換によって、以下の式（３）のように、シンプルに積の形で表される。
【００２５】
【数３】
2015097352.tif 000005
【００２６】
Ｉ（ｕ，ｖ）はｉ（ｘ，ｙ）の２次元フーリエ変換である。Ｏ（ｕ，ｖ）はｏ（ｘ，ｙ）の２次元フーリエ変換である。Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）の２次元フーリエ変換である。ｕ、ｖは、空間周波数変数である。したがって、劣化前の画像Ｏ（ｕ，ｖ）は、式（３）を変形して以下の式（４）で表すことができる。
【００２７】
【数４】
2015097352.tif 000006
【００２８】
１／Ｈ（ｕ，ｖ）は、一般的に逆フィルタ（インバースフィルタ）と呼ばれる。この逆フィルタは、ハーフミラー２０などの光学系の情報と露光中のボケなどとの関数になっている。実施例１では、Ｈ（ｕ，ｖ）がボケ関数の一例である。ハーフミラー２０などの収差部分においては、ハーフミラー２０の収差に関する情報を撮像装置１のメモリ手段８などにあらかじめ記憶しておくことで、劣化前の画像を復元することができる。一方で、露光中のボケに関しては事前に取得することが出来ない。そこで、後述するように、測距手段１８を用いて露光中のピント状態の変動を観察して記録する。
【００２９】
なお、実際の画像復元処理は、ノイズなどの影響を大きく受ける。そこで、画像復元処理には、上記逆フィルタに限らず、周知のウィナーフィルタや、線形反復修正法や、非線形反復修正法などを用いてもよい。また、ハーフミラー２０による収差は、図３（ａ）においてＹ軸対称である。このため、復元用のフィルタとして、撮影範囲４０の半分のみを用意すれば、全画像を復元処理することができる。さらに、上記フィルタは、ハーフミラー２０の収差のみならず、撮影光学系３の収差までも考慮しているため、撮影レンズの収差による劣化も復元することが可能となっている。
【００３０】
以上のような考え方を用いて、画像処理部７の伝達関数生成手段と画像復元手段は、ハーフミラー２０の収差による劣化前の画像を復元する。なお、ハーフミラー２０による収差は、波長による異なる。このため、画像処理部７は、ＲＧＢの色別に取得された画像データを用いて復元を行う。詳細は後述する。
【００３１】
次に、撮像面上の各位置での収差の状態と、望ましい撮像状態について説明する。図３（ａ）において、撮影範囲４０のＸ座標が同一でＹ座標が異なる点４１、点５１、点６１を考える。点４１の座標を(ｘ1,ｙ1)とし、点５１の座標を(ｘ1,ｙ2)とし、点６１の座標を(ｘ1,ｙ3)とする。
図３（ｂ）は、点４１、点５１、点６１のぞれぞれの箇所でのフォーカス位置に対するＭＴＦ（＝｜Ｉ（ｕ,ｖ）｜）（ＭＴＦ：Modulation Transfer Function）を模式的に示す。図３（ｂ）は、空間周波数（（式３）と（式４）のｕ，ｖに対応）を決めないと決定できないが、少なくとも得たい空間周波数を設定すれば良い。例えば４０ｌｉｎｅ／ｍｍ等とすれば良い。図３（ｂ）の曲線４２、曲線５２、曲線６２は、それぞれ、点４１、点５１、点６１において、ｘ方向の空間周波数ｕに対応するＭＴＦを示す。曲線４３、曲線５３、曲線６３は、それぞれ、点４１、点５１、点６１において、ｙ方向の空間周波数ｖに対応するＭＴＦを示す。曲線４２と曲線４３、曲線５２と曲線５３、曲線６２と曲線６３のピークがそれぞれ一致していないのは、ｘ方向とｙ方向でこの周波数成分を減衰せずに得られるピント位置が異なっていることを示している。すなわち、いわゆる非点収差が発生していることを示している。
さらには曲線４２、曲線５２、曲線６２のピークおよび曲線４３、曲線５３、曲線６３がそろっていない。これは、像高によって入射角度φが異なるため、ピント位置が異なっていることを示す。
【００３２】
図３（ｂ）の点５１でコントラストによる焦点調整（コントラストＡＦ）を行った場合を考える。横方向（ｘ方向）のコントラストでコントラストＡＦを行った場合、図３（ｂ）の線７１の位置にピント位置が決定される。一方、縦方向（ｙ方向）のコントラストでコントラストＡＦを行った場合、図３（ｂ）の線７３の位置にピント位置が決定される。
この状態で撮影を行うと、前述したように非点収差が大きいために、コントラスト計算を行わなかった方向の画像がボケてしまう。これは線７１の位置で撮影を行うと、点５１の位置ではｙ方向の空間周波数は曲線５３との交点で決定されてしまう。
上記の問題を回避するために、横方向と縦方向の双方のコントラストを利用してコントラストＡＦを行う、予め非点収差の発生量を予測してピント位置を調整する、などの方法によれば線７２の位置で撮影を行うことができる。この位置では点５１においては、ｘ方向およびｙ方向の空間周波数は、可能な限り保存されており望ましい状態にあるといえる。
【００３３】
線７１、線７２、線７３で示したピント位置での点５１におけるＰＳＦ（Point Spread Function、点広がり関数）のイメージをそれぞれＰＳＦ８１、ＰＳＦ８２、ＰＳＦ８３で示した。さらに線７２で示したピント位置での点４１、点５１、点６１でのＰＳＦのイメージをそれぞれＰＳＦ８４、ＰＳＦ８２、ＰＳＦ８５で示した。画面上の位置や、ピント位置によってＰＳＦが複雑に変化していることを示している。
【００３４】
露光中にピント方向のブレや被写体の移動などが生じると、図３（ｂ）に示すような非対称なボケが発生するとともに、露光時間にわたって積分された状態で情報が得られることになる。ピント方向のブレや被写体の移動など大きい場合は、そのまま記録画像とした場合十分に高品位な画像と言えない場合がある。
そこで実施例１では、画像処理部７は、露光中のピント状態の変動を観察して記録するとともに、適当な画像処理を施すことで高品位な記録画像を得る。さらには、図３（ｂ）に示すように、撮像素子６における位置によって複雑にＰＳＦが変化する。画像処理部７は、これらも考慮して適当な画像処理を施す。詳細については後述する。
なお、前述したように収差の状況は、周知の光学シミュレーションソフトウェアなどを用いて得ることが可能となる。すなわちピント方向のブレや被写体の移動などによって生じるＰＳＦの変化は、撮影条件などが決定されれば予め計算することができる。そこで、予め想定される撮影条件におけるＰＳＦを求めておき、ユーザーの撮影条件に適合する値をテーブルなどから参照することが可能となる。
【００３５】
図４は、ＰＳＦおよびＭＴＦとボケの関係を説明する図である。図４（ａ）はブレを考慮してボケを無視した場合の露光中の輝点の軌跡とＰＳＦを示す模式図である。図４（ｂ）は、ブレおよびボケを考慮した場合の輝点の軌跡とＰＳＦを示す模式図である。図４（ｃ）はブレおよびボケを無視した場合の露光中の輝点の軌跡とＰＳＦを示す模式図である。図４（ｄ）は、ブレを無視してボケを考慮した場合の輝点の軌跡とＰＳＦを示す模式図である。図４（ｅ）は、取得されたＭＴＦと後述する画像復元処理を施した場合のＭＴＦとを説明する図である。なお、図４では、ブレを完全になくすのではなく、ブレ補正レンズによって抑制された後に残っているブレ成分を図示している。ただし、抑制残りが十分に小さい場合は、無視したとみなしても同じである。そこで、ここでは「無視」という表記にする。
【００３６】
図４（ａ）〜（ｄ）において、３１，３２，３３，３４は輝点の軌跡を示す。３１ａ，３２ａ，３３ａ，３４ａは露光開始直後の輝点の位置を示す。３１ｂ，３２ｂ，３３ｂ，３４ｂは、露光中のある時点での輝点の位置を示す。３１ｃ，３２ｃ，３３ｃ，３４ｃは、露光終了直前の輝点の位置を示す。
図４（ａ）では、ボケを無視しているので、輝点は広がらずに、いわゆる手ブレや被写体ブレ等によって像面上を移動する。なお、図４においては、分かりやすくするために、ブレを大きくして示している。さらには、輝点の大きさは、ピント精度やレンズ性能によって決まり十分に小さいものであるが、分かりやすくするために一定の大きさをもつものとして図示している。図４（ａ）に示すように、ボケを無視した場合は、軌跡３１が被写体像に畳み込まれた状態で撮影される。
図４（ｂ）はボケを考慮しているので、輝点は、大きさが変化しながら、手ブレや被写体ブレ等によって像面上を移動する。すなわち、露光開始直後の位置３２ａにおいては、輝点の大きさは図４（ａ）と同程度である。しかしながら、その後ボケが生じたため、位置３２ｂと位置３２ｃにおいては、輝点が大きくなっていることを模式的に示している。図４（ａ）と同様に、軌跡３２が被写体像に畳み込まれた状態で撮影される。すなわちブレとボケが発生している。
図４（ｃ）はブレおよびボケを無視しているので、輝点は広がらずかつ移動もほとんどない。なお、ブレを完全に無視すれば、移動は完全になくなる。この場合は、撮影レンズの結像性能のみが被写体像に畳み込まれた状態で撮影される。
図４（ｄ）はブレを無視してボケを考慮しているので、輝点はほとんど移動しない一方で、広がりが生じている。軌跡３４が被写体像に畳み込まれた状態で撮影される。すなわちボケが発生している。
【００３７】
実施例１では図１を参照して説明した様に、ブレ補正機能を備えたレンズユニット２を想定している。そこで、ブレを無視してボケのみに着目して説明する。すなわち図４（ｅ）のＭＴＦを計算する際には、図４（ｃ）および図４（ｄ）のＰＳＦを用いている。
図４（ｅ）はボケがある場合と、無い場合と、画像回復を行った場合とのＭＴＦを示している。図４（ｅ）において、３６はボケを無視した場合のＭＴＦを示す。３６ａは、ボケを無視した場合において画像復元を行った場合のＭＴＦを示す。３７はボケを考慮した場合のＭＴＦを示す。３７ａはボケを考慮した場合において画像復元を行った場合のＭＴＦを示す。
図４（ｅ）において、画像復元後のＭＴＦ３６は、式（４）に示した逆フィルタ（逆畳み込）によるものほど復元を行っていない。これは、もともとＭＴＦが小さい周波数において過剰な復元処理を行った場合は、ノイズの増幅やリンギングの発生などの副作用が強く働くためである。ボケを考慮したＭＴＦ３７は、ボケを無視した場合のＭＴＦ３６よりも低い周波数で、非常に小さい点を迎える。この場合には、いわゆるゼロ落ちが発生する。ＭＴＦがゼロに近い点では前述した副作用が大きくなるため、画像復元を適切に行うことは困難である。そこで実施例１では、露光中のピント状態を観察することにより、ボケを考慮したＭＴＦ３７を得る。そして、適当な画像復元処理を施すことで、図４（ｅ）に図示するＭＴＦ３７ａのような周波数特性を得ることを目標にする。これは、副作用が大きくならない範囲で可能な限り高品位な画像を生成するという意味である。
なお、ボケを無視して画像復元を行おうとした場合は、ボケによって失われた周波数帯（図４（ｅ）において符号３８で図示した周波数帯）の情報がないにもかかわらず（式）４のような回復を行うと、ノイズのみが増幅されてしまう。このようにボケを適切に扱う意義は大きい。
【００３８】
すなわち、画像がボケると、高周波成分である細かい模様は見えにくくなる。これに対し、同じく高周波成分であるノイズは、画像を読み出す過程で重畳されるものが多いため、画像のボケ具合に関係なく画像上に残る。このように、画像がボケているか否かで、高周波成分におけるＳ／Ｎ比が変化する。
このため、画像がボケているにも関わらずに、高周波成分に対して強めの回復処理を行ってしまうと、高周波成分に多く含まれるノイズが、被写体像よりも強調される。したがって、画像の質が低下する。そこで、本実施形態では、露光中においても複数回にわたって被写体距離を検出する。これにより露光中におけるボケ状態を把握し、その結果に基づいて、ボケによって失われた周波数帯域に対しては過度な復元処理を行わないようにするものである。
【００３９】
図５および図６は、実施例１の撮像装置１の動作を説明するためのフローチャートである。図５は本発明の撮像装置１の動作処理のメインフローである。メインフローの動作処理は、カメラシステム制御部５が行なう。図６は、画像復元と伝達関数生成に関するフローチャートである。以下、図５および図６のステップごとに動作を説明する。また、ＰＳＦとフローチャートの関係についても述べる。なお、図５および図６において、要部に関する以外の動作に関しては省略してある。
【００４０】
まず、図５（ａ）を参照して、メインフローの全体的な流れについて説明する。
ステップＳ１０１の「電源ＯＮ」では、操作検出部１０がユーザーによる不図示の電源スイッチのオンを検出すると、カメラシステム制御部５は、撮像装置１の各アクチュエータや撮像素子６の動作確認や、メモリ内容や実行プログラムの初期化を行なう。さらに、カメラシステム制御部５は、撮影準備動作を実行する。
ステップＳ１０２の「撮影モード設定」では、カメラシステム制御部５は、撮影モードなど撮影のための各種の設定を実行する。
ステップＳ１０３の「ＳＷ１」では、カメラシステム制御部５は、ユーザーによるＳＷ１操作があったか否かを判断する。ここでいうＳＷ１とは、撮影予備動作を行うためのスイッチである。撮像装置１では、レリーズボタンが二段操作になっており、その一段目に相当する。動画撮影においては、画像を画面にする（画像として表示しながら録画開始釦の待ち受けを行う）操作に相当する。ユーザーによる撮像装置１へのＳＷ１操作があった場合は、ステップＳ１０４に進む。そうでない場合は、ステップＳ１０２に戻り、カメラシステム制御部５は、ユーザー操作の待ち受けや撮影設定を行う。
Ｓ１０４の「測光・測距」では、カメラシステム制御部５は、測距手段１８からの信号と撮像素子６からの信号を使用して、測光および測距を行う。具体的には、カメラシステム制御部５は、撮像素子６や測距手段１８を利用して、被写体の輝度や被写体までの距離を取得する。
ステップＳ１０５の「露出・焦点調整」では、カメラシステム制御部５は、露出のための適当な設定（露光時間や測距手段１８のフレーレート等）の決定と、撮影光学系の調整を行う。カメラシステム制御部５は、露出の条件などを、予め用意されたルックアップテーブルなどに従って決定する。
ステップＳ１０６の「ＳＷ１リリース」では、カメラシステム制御部５は、操作検出部１０による検出結果に基づいて、ＳＷ１のリリースを判断する。ＳＷ１操作がリリースされた場合には、ステップＳ１０２に戻る。そして、カメラシステム制御部５は、再び電源ＯＦＦやユーザー操作の待ち受けを行う。一方、ＳＷ１操作が継続されている場合には、ステップＳ１０７に進む。
ステップＳ１０７の「ＳＷ２」では、カメラシステム制御部５は、操作検出部１０による検出結果に基づいて、ユーザーによるＳＷ２操作を判断する。ここでいうＳＷ２とは、撮影動作を行うためのスイッチである。撮像装置１では、レリーズボタンが二段操作になっており、その二段目に相当する。動画撮影においては、録画開始に相当する。ユーザーによるＳＷ２操作があった場合はステップＳ１０８に進む。そうでない場合は、ステップＳ６に戻る。この場合には、カメラシステム制御部５は、ユーザー操作の待ち受けを行う。
ステップＳ１０８の「撮像動作」では、カメラシステム制御部５は、撮像動作を行う。この内容については後述する。
【００４１】
なお、図５（ａ）では図示を省略したが、ユーザーにより電源ＯＦＦの操作があった場合には、カメラシステム制御部５は、常に割り込みを発生させ、適当な終了処理を行った後に、撮像装置１の電源をＯＦＦにする。
【００４２】
次に、図５（ｂ）を参照して、図５（ａ）のＳ１０８の「撮像動作」について説明する。図５（ｂ）は、図５（ａ）の撮像動作のサブルーチンを示すフローチャートである。撮像動作のサブルーチンは、カメラシステム制御部５が行なう。カメラシステム制御部５は、メインルーチンのステップＳ１０８を実行すると、撮像動作サブルーチンステップＳ２０１を呼び出す。
ステップＳ２０２の「露出条件の設定」では、カメラシステム制御部５は、ステップＳ１０５にて決定した露出条件に従って、撮像素子６および測距手段１８等を制御するための設定を行う。この動作により、撮像素子６は、所定Ｆナンバーの撮影光束による被写体像を、所定感度・所定蓄積時間で光電変換処理を行なうことができる。したがって、撮像素子６は、適切な画素出力が可能となる。
ステップＳ２０３の「レンズ情報等の取得」では、カメラシステム制御部５は、後ほどの画像復元のために、レンズユニット２の種類やＦナンバー等のレンズユニット２に関する情報を取得する。
【００４３】
ステップＳ２０４の「露出開始」からステップＳ２０７の「露出完了」は、ループを形成している。カメラシステム制御部５は、ステップＳ２０２で設定した露光時間の電荷蓄積が行われるまで、繰り返し処理を行う。
ステップＳ２０５の「画像復元モード」では、カメラシステム制御部５は、撮像装置１が画像復元を行うモードであるかを判断する。画像復元を行うモードである場合にはステップＳ２０６に進み、そうでない場合はステップＳ２０６を経ずにステップＳ２０７に進む。
ステップＳ２０６の「ＡＦセンサ情報を順次記録」では、カメラシステム制御部５は、測距手段１８のＡＦセンサから被写体距離などの情報を読み出すとともに、被写体距離などの情報をメモリ手段８に順次記録する。測距手段１８は、撮像素子６よりも高速のフレームレートで情報を読み出せる（サンプリングできる）構成となっている。このため、測距手段１８は、撮像素子６の一度の露光中において、複数回の情報の取得が可能である。すなわち、ステップＳ２０４〜Ｓ２０７のループを抜けるまでに、複数回にわたってステップＳ２０６に到達する。具体的には、測距手段１８が、高速な読み出しが可能なＡＤ変換器を備えるとともに、単位時間あたりに測距手段１８に到達する光量が、撮像素子６に到達する光量よりも多くなるように光学設計なされている。
【００４４】
ここで、ステップＳ２０６において撮像素子６の一度の露光中に複数回にわたってボケ状態を観察して記録することは、図４（ｄ）で説明したボケを考慮することに対応する。すなわち、カメラシステム制御部５は、露光中に複数回にわたって測距手段１８の情報を読み出すことで、露光中のボケを観察し、輝点が図４（ｄ）のような状態になっていることを把握して記録する。記録された露光中のボケの状態は、後ほどの画像復元に利用される。
ステップＳ２０７の「露光完了」は、ループ終端である。カメラシステム制御部５は、撮像素子６に適切な量の露光が行われると、ステップＳ２０４〜Ｓ２０７のループを終了する。
【００４５】
ステップＳ２０８の「画像の読み出し」では、カメラシステム制御部５は、撮像素子６から画像データの読み出しを行う。
ステップＳ２０９の「画像復元モード」では、カメラシステム制御部５は、撮像装置１が画像復元を行うモードであるかを判断する。画像復元を行うモードである場合にはステップＳ２１０に進む。そうでない場合は、ステップＳ２１０を経ずにステップＳ２１１に進む。ステップＳ２１０で行う画像復元の詳細は後述する。
ステップＳ２１１の「現像処理」では、カメラシステム制御部５は画像処理部７に対して、いわゆる現像処理の実行を指示する。画像処理部７は、画像生成手段として動作し、記録フォーマットへの変換（例えばＪＰＥＧ画像への変換）やプレビュー用の画像の生成等といった現像処理を行う。画像処理部７（画像生成手段）は、この処理により、画像復元サブフローを経た画像データから、後述するピント状態生成手段の値をもとに、出力画像データを生成している。
ステップＳ２１２の「プレビュー」では、カメラシステム制御部５は、プレビュー処理を実行する。すなわち、カメラシステム制御部５は、背面表示手段９やファインダ表示手段１９（電子ビューファインダ）に、プレビュー用の画像を表示する。
ステップＳ２１３の「記録」では、カメラシステム制御部５は、記録処理を実行する。すなわち、カメラシステム制御部５は、ステップＳ２１１で画像処理部７（画像生成手段）が生成した画像データを、メモリ手段８に記録する。また、カメラシステム制御部５は、レンズユニット２の特性情報を、メモリ手段８に記録する。
ステップＳ２１４の「終了」では、カメラシステム制御部５は、このサブルーチンを終了する。そして、呼び出し元のステップＳ１０８に戻る。
【００４６】
次に、図６（ａ）を参照して、画像復元について説明する。図６（ａ）は、画像復元のサブフローである。画像復元のサブルーチンの一連の動作は、画像処理部７が行なう。カメラシステム制御部５は、撮像動作のサブルーチンのステップＳ２１０において、画像復元のサブルーチンのステップＳ３０１の「画像復元」を呼び出す。
ステップＳ３０２の「画像復元時のエリア分割数」〜Ｓ３０５は、画像復元のエリア分割に対応するループである。図３を用いて説明した様に、撮像素子６の撮影範囲４０内の位置によって、収差の発生状態が複雑に変化する。ただし、ピント状態や撮像素子６上の位置が決まれば、そこで発生する収差は、光学シミュレーションなどにより事前に知ることは可能である。このため一つのＰＳＦで近似することが適当ではない場合は、撮影範囲４０を複数のエリアに分割し、エリアごとに画像復元を行う。図３（ｂ）の例では点４１、点５１、点６１におけるＰＳＦ８４、ＰＳＦ８２、ＰＳＦ８５を同一のものと見なせない場合が、上記でいう「一つのＰＳＦで近似することが適当ではない」場合に相当する。
ステップＳ３０３の「伝達関数生成」では、画像処理部７は、ＰＳＦを生成する処理を行う。詳細については後述する。
ステップＳ３０４の「補正処理」では、画像処理部７は、例えば式（４）で説明した逆畳み込み演算を適用した画像復元処理によって収差補正処理を行なう。これにより、所定被写体の収差が補正された収差補正画像を得ることができる。伝達関数の逆変換処理による画像回復の方法は、特開２０００−２０６９１号公報に開示されている方法が適用できる。このため、説明は省略する。なお、本実施形態における「ボケ関数」は、この特開２００−１０６９１号公報の「劣化関数」のうち、特に「ピントズレによるボケ」に特化したものということができる。
ステップＳ３０６の「終了」では、画像処理部７は、画像復元のサブルーチンを終了する。そして、カメラシステム制御部５は、呼び出し元のステップＳ２１０（図５（ｂ）参照）に戻る。
【００４７】
次に、図６（ａ）のステップＳ３０３の「伝達関数生成」の内容について、図６（ｂ）を参照して説明する。図６（ｂ）は、伝達関数生成のサブルーチンのフローチャートである。ここでいう伝達関数とは、ＰＳＦ（点広がり関数）を周波数変換したものであり、式（４）のＨ（ｕ,ｖ）に対応する。また、式（２）を用いて説明したように、Ｈ（ｕ,ｖ）は、ボケ関数の一例であり、ボケの情報も含まれている。このため実施例１においては、この個所がピント状態生成手段に対応する。伝達関数生成のサブルーチンの一連の動作は、画像処理部７が行なう。
画像処理部７は、図６（ａ）の伝達関数生成サブルーチンのステップＳ３０３を実行すると、伝達関数生成サブルーチンステップＳ４０１を呼び出す。
ステップＳ４０２の「カメラ本体情報取得」では、画像処理部７は、撮像装置１の特性情報を取得する。例えば撮像素子６の画素の大きさや、撮影の露光時間、撮影時の測距手段１８のフレームレートなどを取得する。
ステップＳ４０３の「撮影レンズ情報取得」では、画像処理部７は、ステップＳ２１３でメモリ手段８に記録されたレンズユニット２の特性情報を取得する。
ステップＳ４０４の「パラメータ取得」では、画像処理部７は、伝達関数を定義する際に用いるパラメータを取得する。前述したように、ＰＳＦは、撮像装置１とレンズユニット２との間の光伝達特性および図４で説明した輝点の移動およびボケによって決まる。さらに、この光伝達特性は、ＲＧＢの色毎に異なる。そこで、これらの要因と伝達関数を定義する際に用いるパラメータとを関連付けたテーブルデータが、あらかじめメモリ手段８に記憶されてある。なお、ボケの状態はステップＳ２０６で順次記録されている。画像処理部７は、これを参照してボケの状態を決定すれば良い。
画像処理部７は、ステップＳ４０４において、これらの要因に基づいて、メモリ手段８からＲＧＢ色毎の伝達関数定義の際に用いるパラメータを取得する。
ステップＳ４０５の「伝達関数定義(Ｒ．Ｇ．Ｂ)」では、画像処理部７は、ステップＳ４０３で取得した特性情報に基づいて、ＲＧＢの各信号に対する伝達関数（周波数変換した点広がり関数）を定義する。この伝達関数は、撮像装置１から撮像素子６に到達するまでのＲＧＢの各波長における光伝達関数特性と考えられる。
ステップＳ４０６の「終了」では、画像処理部７は、伝達関数生成サブルーチンを終了し、ステップＳ３３収差補正サブルーチンに戻る。
以上のように、本発明の撮像装置１によれば、露光中のピント方向のブレや被写体の移動および光学素子により発生した収差が補正されているため、高画質な画像を得ることが可能である。
【００４８】
本発明の好ましい実施形態について、レンズユニット２が交換可能な撮像装置１で説明したが、レンズユニット２が撮像装置１に備わっている所謂レンズくくり付けタイプの撮像装置に適用してもよい。
ここで、実施例１の変形例の例を図７（ａ）（ｂ）に示す。
図７（ａ）は、光路分割手段の例であるハーフミラー２０が、薄いフィルム状に形成される例を示す。図７（ｂ）は、光路分割手段であるハーフミラー２０にプリズムが適用される例を示す。図７（ａ）（ｂ）に示したような変形例においては、光路分割手段であるハーフミラー２０で発生する収差が撮影画像に与える影響を小さくすることが出来る。このため、ＰＳＦを一つで近似しても高品位な画像が得られる場合が多い。すなわち、これらの変形例では、図６（ａ）のステップＳ３０２〜Ｓ３０５のループを省略することが可能である。
【００４９】
また、光路分割手段の例であるハーフミラー２０が、撮像装置1に固定される構成であると、次のような効果が得られる。まず、固定されるハーフミラー２０により発生する非点収差の影響を考慮できる。また、主レンズを介してピントを観察できるため、主な被写体の移動を直接に検知することができる。さらに、ハーフミラー２０によって劣化する分を、画像復元処理において同時に補正することができる。したがって、画像復元処理を一度にまとめて行うことができる。
【００５０】
（実施例２、３）
次に、図８〜図１０を参照して、本発明の実施例２と実施例３による撮像装置１について説明する。実施例２と実施例３に係る撮像装置１は、デジタルカメラである。なお、実施例１と共通の機能を有する部分については、実施例１と同じ符号を付す。また、ここでは、主に実施例１と相違する部分について説明し、共通する部分については説明を省略する。
図８（ａ）は、実施例２による撮像装置１およびレンズユニット２の中央断面図である。図８（ｂ）は、実施例２による撮像装置１およびレンズユニット２のブロック図である。図９（ａ）は、実施例３による撮像装置１およびレンズユニット２の中央断面図である。図８（ｂ）は、実施例３による撮像装置１およびレンズユニット２のブロック図である。
【００５１】
図８（ａ）（ｂ）に示すように、実施例２の撮像装置１のカメラシステム制御部５には、測距／測光手段１１８が接続されている。カメラシステム制御部５は、測距／測光手段１１８からの信号を元に、適切な焦点位置および絞り位置を求める。すなわち、実施例１においては、測距手段１８によって測距を行い、撮像素子６によって測光を行っていたが、実施例２では、測距／測光手段１１８によって測距および測光動作を行う。
近年の測光センサは多画素化やカラー化等が進んでおり、測光センサが被写体の移動をある程度捉えることが可能である。このため、いわゆる被写体追尾を行うことが出来る。実施例２では、この機能を利用して、被写体ブレや手ブレを検出する。ここでいう被写体ブレとは、露光中に被写体が移動することによって生じる画像の劣化のことである。手ブレとは、露光中に撮影者の移動やブレによって生じる画像の劣化のことである。
【００５２】
図９に示すように、実施例３の撮像装置１のカメラシステム制御部５には、ブレセンサ１０１が接続されている。そして、カメラシステム制御部５は、ブレセンサ１０１から手ブレ情報を取得することが出来る。なお、図９に示す構成では、被写体ブレを検出することが出来ないが、カメラシステムを小型かつ安価に構成できるというメリットがある。
【００５３】
図１０は、実施例２および実施例３の撮像装置１の撮像動作を説明するためのフローチャートである。図１０において、実施例１と同様の動作については、同一の符号を付してある。ここでは、実施例１との相違する部分について説明し、共通する部分の説明は省略する。
実施例１においては、カメラシステム制御部５は、ステップＳ２０６において、露光中のピントの変動のみをステップＳ１６において記録する。これに対して、実施例２および実施例３では、カメラシステム制御部５は、さらにステップＳ５０１の「ブレ情報を順次記録」で、ブレ情報も記録する。そして、実施例２および実施例３では、この結果を利用して、ステップＳ４０５（図６（ｂ）参照）で伝達関数を生成する。このように、実施例１では、図４（ｃ）および図４（ｄ）に示すＰＳＦを考慮していたが、実施例２および実施例３では、図４（ａ）および図４（ｂ）に示すＰＳＦを考慮する。
以上のように、実施例２および実施例３の撮像装置１によれば、露光中のピント方向のブレや被写体の移動、被写体ブレ、手ブレ、および光学素子により発生した収差が補正される。このため、高画質な画像を得ることが可能である。
【００５４】
（実施例４）
以下、図１１から図１３を参照して、本発明の実施例４による撮像装置１について説明する。なお、実施例４による撮像装置１のハードウェアの構成は、実施例１と同様である。このため、説明を省略する。ただし、実施例４においては、撮像素子６は、通常の撮影においても多重露光を行い、複数の画像を合成することで出力画像を生成している。
【００５５】
図１１は、実施例４の撮像装置１の撮像動作を説明するためのフローチャートである。図１１において、実施例１と同様の動作については同一の番号を付した。ここでは、実施例１と相違する部分について説明する。
ステップＳ２０２の「露出条件等の設定」では、カメラシステム制御部５は、露出条件の決定を行う。実施例４では、カメラシステム制御部５が多重露光制御手段として動作する。たとえば、カメラシステム制御部５は、多重露光の取得画像数（枚数）および各サブフレームの露光時間などを設定する。サブフレームとは、１つの静止画または１つの動画フレームを生成するために取得される各画像のことである。つまり、撮像素子６は高速度撮影をしており、これを適当な信号処理によってフレームレートを変換して出力していることになる。
ステップＳ６０１の「多重露光開始」〜Ｓ６０２の「規定枚数露光完了」はループを形成している。カメラシステム制御部５は、このループにおいて、１つの静止画または１つの動画フレーム撮影中に、複数回にわたって露光と読み出しを行う。なお、後の図１２および図１３の説明では、１つの画像を生成するために３枚の画像を合成する場合を例に用いる。
カメラシステム制御部５は、ステップＳ６０１〜Ｓ６０２のループ内で、さらにステップＳ２０４の「露光開始」〜Ｓ２０７の「露光完了」のループにおいて、各サブフレームに適当な露光を行う。また、Ｓ２０６の「ＡＦセンサ情報を順次記録」では、カメラシステム制御部５は、サブフレームでのＡＦセンサの信号を読み出してメモリ手段８に記録する。ステップＳ２０８の「画像の読み出し」では、カメラシステム制御部５は、撮像素子６の情報を読み出し、メモリ手段８に各サブフレームの画像データを記録する。
ステップＳ２１６の「画像復元」では、画像処理部７は、ステップＳ２０８で記録された各サブフレームの画像データに対して画像復元処理を行い、収差を低減させる。
ステップＳ６０３の「現像処理」では、画像処理部７は、現像処理を行う。このステップでは、画像処理部７は、通常の現像処理に加えて、位置合わせと加算を行う。これについても後述する。
【００５６】
図１２は、多重露光合成を説明する図である。図１２（ａ）は、時間方向に連続して取得される像を模式的に示す模式図である。図１２（ｂ）は、位置合わせをせずに合成した場合の画像の例を示す模式図である。図１２（ｃ）は、適当に位置合わせをして合成した場合の画像の例を示す模式図である。図１２（ｄ）は、合成処理を模式的に示すブロック図である。
図１２（ａ）において、横方向は時間の経過を示している。撮像素子６が十分に高速にサンプリング可能な場合、各サブフレーム２１１，２１２，２１３において、被写体（図１２では○と△の図形で図示）はブレなく撮影されている。例えば手ブレの影響の低減を考えた場合、手ブレのパワースペクトルは１０Ｈｚ以下に集中しているので、１００ｆｐｓ程度のサンプリング周波数で撮影されれば、各サブフレームは十分にブレが低減される。一方で、ゆっくりとした大きなブレがあるので、フレーム内での被写体は移動している。図１２（ａ）においては画角を模式的に示した四角に対して、被写体の位置を変化させて図示した。
このように取得された画像を合成することを考えると、そのまま加算合成した場合（画角を模式的に示す四角を重ねるように合成した場合）には、図１２（ｂ）に示す合成画像２２０のような画像が得られる。これはブレた画像が得られることを意味している。そこで、それぞれの画像の被写体像が重なるように位置合わせを行って合成する。すなわち、被写体として示した○と△で位置合わせをして合成する。そうすると、図１２（ｃ）に示す合成画像２３０のような画像が得られる。これにより、適当な露出とブレを低減した画像を得ることが出来る。
【００５７】
図１２（ｄ）は、図１２（ｃ）に示す合成のための処理を模式的に示す図である。相関計算器２４０ａ，２４０ｂは、基準となるサブフレーム２１１に対する位置のずれを、相関などを計算することにより求める。具体的には、相関計算器２４０ａは、サブフレーム２１１に対するサブフレーム２１２のずれを算出して出力する。相関計算器２４０ｂは、サブフレーム２１１に対するサブフレーム２１３のずれを算出して出力する。
シフト２４１ａ，２４１ｂは、それぞれ、相関計算器２４０ａ，２４０ｂの出力に応じてサブフレーム２１２、２１３をシフトさせる。これにより、サブフレーム２１１に対して被写体像が重なるようにする。加算器２４２はサブフレームを加算して１つの合成画像２３０を出力する。
【００５８】
図１１の現像処理Ｓ５０３は、このような位置合わせと合成機能を備えている。つまり、画像処理部７が位置合わせ合成手段として機能する。
【００５９】
図１３は、実施例４における多重露光合成を説明する図である。図１３（ａ）は、時間方向に連続して取得される画像を示す模式図である。図１３（ｂ）は、合成処理を模式的に示したブロック図である。
図１３（ａ）において、横方向は時間の経過を示している。図１２の例と同様に、各サブフレーム２５１，２５２，２５３において被写体はブレなく撮影されている。一方で、図１３（ａ）では、ピント状態の変化によって収差状態が変化し、それによって被写体像に影響が出ていることを模式的に示した。実施例１において図３を用いて説明したように、実施例４においても、ピントの状態によって被写体像は複雑な収差の影響を受ける。図１３（ａ）において、サブフレーム２５１は縦長に像が伸びるような収差を模式的に示す。サブフレーム２５２は、丸くにじむような収差を模式的に示す。サブフレーム２５３は、横長に像が伸びるような収差を模式的に示す。ピント状態と収差の対応については、実施例１で述べたように予め知ることが可能である。相関などを計算することにより被写体像のずれを計算する場合には、このような収差の影響は好ましくない。ずれ量を誤って計算することで合成画像が不適切になってしまうことが考えられる。
【００６０】
そこで実施例４では、図１３（ｂ）に示すように予め画像データに復元処理を施す。図１３（ｂ）では、図１２（ｄ）と同じ機能を持つブロックには同じ符号を付してある。また説明は省略する。
画像復元器２７１ａ，２７１ｂ，２７１ｃは、サブフレームのピント状態を元に画像データの復元を行うブロックである。すなわち画像復元器２７１ａ，２７１ｂ，２７１ｃは、サブフレーム２５１，２５２，２５３から、修正後のサブフレーム２６１，２６２，２６３を算出する。この操作は、図１１のステップＳ２１０に対応する。これによりボケや収差の影響を低減した画像を得られる。このように、画像処理部７は、実施例４における画像復元手段として動作している。
露光中のピント状態を適当に反映させることで収差の影響を低減することが可能である。さらには、サブフレームよりも測距手段１８を高速にサンプリング可能な場合は、各サブフレーム内でのピント方向のブレや被写体の移動による像の劣化の影響も合わせて低減することが可能である。
【００６１】
その後は、図１２を用いて説明したように、画像処理部７は、位置合わせを行って合成処理を行い、出力画像２７０を出力する。この動作は、図１１のステップＳ５０３に対応する。この動作において、画像処理部７は、本実施例４における位置合わせ合成手段として動作する。
【００６２】
以上のように、実施例４の撮像装置１によれば、露光中のピント方向のブレや被写体の移動、被写体ブレ、手ブレ、および光学素子により発生した収差が補正されているため、高画質な画像を得ることが可能である。
【００６３】
ここで、各実施例のカメラシステム制御部５のハードウェア構成と動作について、簡単に説明する。各実施例の撮像装置１のカメラシステム制御部５には、ＣＰＵとＲＯＭとＲＡＭとを有するコンピュータが適用できる。図５（ａ）（ｂ）、図６（ａ）（ｂ）、図１０、図１１に示す動作を含め、撮像装置１を制御するためのコンピュータプログラムは、あらかじめＲＯＭに格納されている。ＣＰＵは、このプログラムをＲＯＭから読み出して実行する。この際、ＣＰＵは、ＲＡＭを作業領域として用いる。これにより、前記各実施形態で説明した動作が実現する。なお、これらの動作を実行するためのコンピュータプログラムが、メモリ手段８にコンピュータ読取り可能に格納されている構成であってもよい。
【００６４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。たとえば、前記実施形態では、撮像装置として、レンズユニットが交換可能なデジタルカメラで説明したが、本発明の撮像装置は、このような構成に限定されない。たとえば、レンズユニットが撮像装置に備わっている所謂レンズくくり付けタイプの撮像装置にも適用できる。
【００６５】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム及びプログラムを記憶した記録媒体は本発明を構成することになる。
【符号の説明】
【００６６】
１：撮像装置、２：レンズユニット、４：光軸、５：カメラシステム制御部、６：撮像素子、７：画像処理部、８：メモリ手段、１８：測距手段、１９：光学ファインダ、２０：ハーフミラー、１０１：ブレセンサ、１１８：測距／測光手段
【図１】
2015097352.tif 000007
【図２】
2015097352.tif 000008
【図３】
2015097352.tif 000009
【図４】
2015097352.tif 000010
【図５】
2015097352.tif 000011
【図６】
2015097352.tif 000012
【図７】
2015097352.tif 000013
【図８】
2015097352.tif 000014
【図９】
2015097352.tif 000015
【図１０】
2015097352.tif 000016
【図１１】
2015097352.tif 000017
【図１２】
2015097352.tif 000018
【図１３】
2015097352.tif 000019