(57)【要約】【課題】撮像光学系の部品精度や製造誤差に起因する像面形状の変形に対する許容範囲を緩和しつつ、その結果として発生する像面の変形を画像合成で補正して画像品位を維持すること。【解決手段】撮像装置は、撮像光学系１０１により主被写体の合焦位置を含む範囲内にある複数の焦点位置で撮影動作を行う。画像メモリ１０９は、撮像光学系１０１の製造誤差により像面の形状が平面から変形する像面変形量及びその位置を示す情報と、該像面変形量に対応する焦点位置で撮影した画像データを関連付けて記憶している。信号処理回路１０８は、焦点深度範囲内にある、複数の焦点位置での前記像面変形量及びその位置情報に対応する前記画像データを画像メモリから読み出す。信号処理回路１０８は、像面の位置毎に読み出した画像データを２次元データとして合成し、画像データの再構成によって、像面変形の影響を補正した画像データを生成する。【選択図】図３
2012222431.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系により、主被写体の合焦位置を含む範囲内にある複数の焦点位置で撮影動作を行う撮像手段を備え、該撮影動作により取得した複数の画像データを合成して再構成する撮像装置であって、
前記撮像光学系について像面の形状が平面から変形する像面変形量及びその位置を示す情報と、該像面変形量に対応する前記複数の焦点位置にて前記撮影動作で取得した画像データを関連付けて記憶する記憶手段と、
前記像面の形状の変形により前記撮像手段の撮像面から焦点深度範囲を外れる領域に対して、該焦点深度範囲内にある、前記複数の焦点位置での前記像面変形量及びその位置を示す情報に対応する前記画像データを前記記憶手段から読み出し、像面の位置毎に当該画像データを２次元データとして合成することによって、像面変形の影響を補正した画像データを生成する処理手段を備えることを特徴とする撮像装置。
【請求項２】
前記撮像光学系はその光軸に関して非対称な製造誤差を有し、前記像面は光軸に関して回転非対称であることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像光学系はその光軸に関して対称な製造誤差を有し、前記像面は光軸に関して回転対称であり、
前記撮影動作は、前記撮像光学系の光軸方向にて前記撮像面での像面位置から片側で行われることを特徴とする請求項１記載の撮像装置。
【請求項４】
前記撮像手段は、前記像面変形量及び主被写体までの距離による結像倍率を用いて設定される範囲に亘って前記複数の焦点位置で撮影動作を行うことを特徴とする請求項１から３のいずれか１項記載の撮像装置。
【請求項５】
前記記憶手段は画面を分割した複数の領域ごとに、前記像面変形量を２次元データとして保持していること特徴とする請求項１から４のいずれか１項記載の撮像装置。
【請求項６】
前記処理手段は、前記複数の領域で生じる像面変形量及びその位置を示す情報に対応する前記画像データを前記記憶手段から読み出し、当該画像データを繋ぎ合わせて画像を再構成することを特徴とする請求項５記載の撮像装置。
【請求項７】
撮像光学系により、主被写体の合焦位置を含む範囲内にある複数の焦点位置で撮影動作を行う撮像手段を備え、該撮影動作により取得した複数の画像データを合成して再構成する撮像装置にて実行される制御方法であって、
前記撮像光学系について像面の形状が平面から変形する像面変形量及びその位置を示す情報と、該像面変形量に対応する前記複数の焦点位置にて前記撮影動作で取得した画像データを関連付けて記憶する記憶ステップと、
前記像面の形状の変形により前記撮像手段の撮像面から焦点深度範囲を外れる領域に対して、該焦点深度範囲内にある、前記複数の焦点位置での前記像面変形量及びその位置を示す情報に対応する前記画像データを読み出し、像面の位置毎に当該画像データを２次元データとして合成することによって、像面変形の影響を補正した画像データを生成する処理ステップを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラや内視鏡等の撮像光学系を有する撮像装置の画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等のデジタル撮像装置では、一般に１つの光軸に対して軸対称の構成を持つ撮像光学系が用いられる。光学系の途中でミラーやプリズム等の反射光学素子を用いて、光軸を折り曲げる場合もあるが、反射面は平面であり結像作用は光軸に対して軸対称である。
一般に、量産される撮像光学系において単レンズや貼り合わせレンズ等の光学素子は、以下のような組立／製造誤差を有する。
・光軸に対して非対称な誤差（平行偏芯、傾き偏芯等）。
・光軸に対して対称な誤差（レンズまたはレンズ群同士の間隔の位置誤差、レンズの肉厚誤差等）。
また、個々のレンズの単部品面精度誤差として、球面や非球面の曲率／設計非球面形状からの形状誤差、更に屈折率、分散に関する誤差が存在する。
これらの誤差が存在すると、光軸に関して非対称な像面の変形、及び光軸に関して対称な像面の変形（像面湾曲）が生ずる。そこで個々の誤差を所定の公差内に収めることで、最終的に像面変形を許容範囲内に抑制するのが一般的である。尚、ここでいう「像面」は、画面内のある位置（像高）に於いて、結像性能（ＭＴＦ：Modulation Transfer Function等）が最も高くなる光軸方向（デフォーカス方向）の位置を結んで出来る曲面（最良像面）を示す。
他方では撮像素子の進展等に伴い、一般市場向けのデジタルカメラでも超高速撮影が可能になっている。高速連写撮影で得た複数の画像を元に、１つの画像を合成する方法が提案されている。撮影時に少しずつ焦点位置をずらしながら高速に連続撮影（所謂フォーカスブラケット撮影）を行い、複数の画像を合成して焦点深度の非常に深い撮影を行う装置が知られている（特許文献１参照）。これとは逆に、主被写体の背景にピントが合わないように暈す目的で、フォーカスブラケット撮像を行う例もある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３１９１９２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで撮像素子の受光面は平面であるため、像面の非対称な変形が生ずると、画面内の位置によっては像面が撮像素子上から離れて、局所的にデフォーカス（ピンぼけ）状態となる（所謂片ぼけ）。建物の壁等、平面の被写体を撮影した場合、例えば画面の右上だけがピントの合っていない状態である。また光軸に関して対称な像面の変形、所謂像面湾曲が生ずると、画面中央ではピントが合っているのに、画面周辺部分でピントが合っていない状態となる。
従来、光学系の製造誤差や部品精度を所定の範囲内に抑えることで、結果的に像面の形状が許容範囲以上に変形することを防いでいた。しかし、この方法は部品製造や組立のコスト上昇、延いては製品価格の上昇につながる。
また、被写体は常に同一平面上にあるとは限らないので、カメラでピントを合わせた主被写体とは異なる距離にある被写体についてはぼけ味をもって撮影されることが好ましい場合もある。例えば、離れた背景と近くの人物を撮影するとき、人物にピントを合わせて背景を暈すように絞りを開いて深度を浅くして撮影する場合が挙げられる。この時、画面内でその背景の写り込む箇所の像面が片ぼけや像面湾曲によって、オーバー方向にある場合、両方にピントが合ってしまうことがある。この場合、単に意図せずパンフォーカスになるということではなく、像面形状と被写体距離（及び像高）に応じて、画面内で局所的にピントが合ったり合わなかったりする。
一方、超高速撮影によって深度の深い画像を得る技術についても以下のような問題がある。
如何に超高速撮影であっても焦点位置をずらしながら連続撮影を行うには、それに応じた時間がかかる。全ての連続撮影に要する時間は、１回だけの撮影の場合、概ねシャッタ速度に対応する。そのため、動きの速い被写体に対して選択可能なシャッタ速度には上限がある。単に焦点深度を深くすることが目的である場合、広い範囲でのフォーカスブラケット撮影が必要である。
そこで本発明の目的は、撮像光学系の部品精度や製造誤差に起因する像面形状の変形に対する許容範囲を緩和しつつ、その結果として発生する像面の変形を画像合成で補正して画像品位を維持することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために本発明に係る装置は、撮像光学系により、主被写体の合焦位置を含む範囲内にある複数の焦点位置で撮影動作を行う撮像手段を備え、該撮影動作により取得した複数の画像データを合成して再構成する撮像装置であって、前記撮像光学系について像面の形状が平面から変形する像面変形量及びその位置を示す情報と、該像面変形量に対応する前記複数の焦点位置にて前記撮影動作で取得した画像データを関連付けて記憶する記憶手段と、前記像面の形状の変形により前記撮像手段の撮像面から焦点深度範囲を外れる領域に対して、該焦点深度範囲内にある、前記複数の焦点位置での前記像面変形量及びその位置を示す情報に対応する前記画像データを前記記憶手段から読み出し、像面の位置毎に当該画像データを２次元データとして合成することによって、像面変形の影響を補正した画像データを生成する処理手段を備える。
【発明の効果】
【０００６】
本発明によれば、撮像光学系の部品精度や製造誤差に起因する像面形状の変形に対する許容範囲を緩和しつつ、その結果として発生する像面の変形を画像合成で補正して画像品位を維持することができる。
【図面の簡単な説明】
【０００７】
【図１】図２乃至９と併せて本発明の第１実施形態を説明するために、偏芯による像面変形を示す説明図である。
【図２】光軸に関して非対称な像面変形を等高線状に示す説明図である。
【図３】撮像装置の構成例を示すブロック図である。
【図４】撮像装置における全体的な処理の流れを説明するフローチャートである。
【図５】フォーカスブラケット撮影と、変形した像面の状態を例示した説明図である。
【図６】フォーカスブラケット撮影の結果、像面変形を補償する画像合成について示す説明図である。
【図７】フォーカスブラケット撮影動作の流れを例示したフローチャートである。
【図８】フォーカスブラケット撮影範囲の説明図である。
【図９】画面分割および画像合成例の説明図である。
【図１０】本発明の第２実施形態にて、光軸対称の像面湾曲の存在下でのフォーカスブラケット撮影動作を示した説明図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して本発明の各実施形態について詳細に説明する。
【０００９】
［第１実施形態］
本発明の第１実施形態を以下に説明する。
図１は光学系の構成を模式的に示した図である。平面被写体１からの光は撮像光学系３を通って結像され、撮像素子が撮像面４で受光する。撮像光学系３は平行偏芯６（光軸に対して直交する方向のずれ）や、傾き偏芯５（光軸に対する角度ずれ）等の、非対称な製造誤差を有する。その時の像面２の形状は、撮像装置から距離をおいた平面被写体１からの光を結像したものである。図１に示すように、平面状の被写体に対して、像面２は非対称な曲面状をなすが、撮像素子の撮像面（受光面）は平面である。
この像面変形は、個々のレンズが有する部品公差のばらつきに依存して異なる。図２（Ａ）は像面変形を等高線で例示した図である。図２（Ａ）の左上隅と右下隅に示す部分７は光軸の正方向、所謂像面オーバーの方向に像面が倒れている領域であり、左下隅と右上隅に示す部分８は逆に、像面アンダー方向に像面が倒れている領域である。即ち、所謂鞍型の像面変形が生じている。更に、左上隅の部分９と、右下隅の部分１０では、像面オーバーの方向における倒れ量が異なっており、鞍型の変形に対して、傾きの成分が加算されている。従来の方法では、光軸に対して撮像素子の撮像面４（平面）を傾け、撮像面上の所定の位置に於いて、最良像面２とのデフォーカス量が、平均的に最小になる姿勢を探し出す処理が行われ、調整後の姿勢で撮像素子を固定する作業が行われていた。しかしながら、このような像面変形が生じている場合、撮像素子を如何なる方向に傾けたとしても、必ず局所的にズレの残る箇所があり、これが片ぼけの原因となる。従来技術では、この片ぼけが所謂許容深度内に収まるように各公差、組み立て精度を設定していた。
これに対して本実施形態では、撮像光学系３の公差を緩和することで、従来の構成では許容できない量の片ぼけを許容する。光学部品に要求される光軸に非対称な成分の公差を緩和し、また、組み立て要求精度を緩和することで、製造コストを低減できる。しかし、その代償として像面変形の非対称変形が大きくなるので、そのままでは残存する片ぼけも大きくなってしまう。実際の片ぼけが生じている画面上の場所とその量については、前述のように撮像光学系毎にばらつきがある。そこで、本実施形態では、以下の方法で像面変形による画像への影響を補正する。
【００１０】
まず、撮像光学系毎の像面形状は、例えば、生産工程にて測定される。この測定によって得たデータは、撮像光学系３に固有の情報として、レンズ情報と共に２次元データマップとしてメモリに保持される。これを図２（Ｂ）に模式的に示す。図２（Ｂ）は図２（Ａ）と同じ像面変形量（デフォーカス量）を等高線で表示した図である。本例では複数の分割領域（以下、小領域という）１１によって撮像画面が格子状に区分けされ、個々の小領域１１での最良像面の変形量は測定データとしてメモリに記憶される。また像面変形量は、撮像装置から被写体までの距離（被写体距離）に応じてその絶対量が変化する場合があり、レンズの設計値に依存する。この場合、例えば、複数の被写体距離にて測定したデータを用いて、測定していない被写体距離での像面変形量を補間計算で求めることができる。一方で、フォーカスブラケット高速連写撮影では、焦点位置を細かく刻んで変更しながら複数の画像を取得する。前述のように、例えばパンフォーカスを得るためにこれを行う場合、画面全域にて撮影されている被写体に対して、それぞれに合焦する範囲までフォーカスブラケット撮影を行う必要があった。また、逆に主被写体の背景を暈す等の目的で行われるフォーカスブラケット撮影の場合には、背景画像に十分なぼけ量が得られる位置まで焦点位置をずらす必要があった。
本実施形態では、製造誤差に起因する像面変形分のみをフォーカスブラケット撮影により補償する。すなわち、撮像光学系３の有する片ぼけ量に応じた範囲のみでフォーカスブラケット撮影を行えばよい。従って、広範囲に焦点位置をずらしながら撮影する必要はないので、撮影に要する時間が長くなり過ぎることはない。また焦点位置をずらしながら撮影する範囲は、その撮像光学系３の像面変形の状態に応じて異なる。その理由は前述のように、撮像光学系毎に像面変形が異なるからであり、当該撮像光学系の像面変形データに基づいて、どの程度の範囲でフォーカスブラケット撮影を行うかが決定される。図１に例示する撮像光学系３の場合、下端寄りの範囲１２及び上端寄りの範囲１３が像面変形を許容できない範囲を示す。これらの範囲における像面変形分を補償するためにフォーカスブラケット撮影が行われ、画像処理により後述の補正が行われる。
尚、実際の撮影では被写体像が全て同一平面上にあるとは限らない。例えば、ユーザが焦点を合わせたい主被写体と同じ距離にある別の被写体については全て合焦して撮影される筈である。しかし、主被写体とは被写体距離が異なり、被写界深度範囲外にある被写体についてはピントの合っていない状態で撮影される筈である。本実施形態では、本来合焦して写る筈のない被写体が、像面変形により、偶発的に合焦して撮影されてしまうことはなくなる。すなわち、ユーザがピントを合わせたい被写体には焦点を合わせ、また暈して写したい被写体には焦点が合わないように、本来の写り方を実現できる。
【００１１】
以下、具体的な手段について説明する。
図３は、本実施形態に係る撮像装置の構成例を示すブロック図である。本例に示す撮像装置は、フォーカスブラケット撮影動作により取得した複数の画像データを合成して再構成した画像を表示し、記録する。
撮像手段を構成する撮像光学系１０１はレンズおよび絞り等の光学部材を含み、メカニカルシャッタ（メカシャッタと図示する）１０２が設けられている。撮像素子１０３にはＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）等のイメージセンサが使用される。その撮像信号は、アナログ信号処理を行うＣＤＳ（相関二重サンプリング）回路１０４に出力される。Ａ／Ｄ変換器１０５は、ＣＤＳ回路１０４からのアナログ信号をデジタル信号に変換する。タイミング信号発生回路１０６は、撮像素子１０３、ＣＤＳ回路１０４、およびＡ／Ｄ変換器１０５を動作させるタイミング信号を発生する。駆動回路１０７は後述のシステム制御部１１４の指示に従い、タイミング信号発生回路１０６からのタイミング信号を受けて、撮像光学系１０１の可動部、メカニカルシャッタ１０２、および撮像素子１０３をそれぞれ駆動する。信号処理回路１０８は、後述のシステム制御部１１４の指示に従って画像処理を実行して、Ａ／Ｄ変換器１０５から取得した画像データに対して必要な信号処理を施す。画像メモリ１０９は信号処理された画像データを記憶する。撮像光学系１０１の製造誤差に起因して、一般に像面の形状は平面から変形する。後述するように、像面変形量及びその位置を示す情報は、該像面変形量に対応する焦点位置にてフォーカスブラケット撮影動作で取得した画像データと関連付けて画像メモリ１０９に保持される。記録媒体１１０は撮像装置に対して着脱自在に装着可能であり、画像データ等を記録する。記録再生回路１１１は、信号処理された画像データを記録媒体１１０に書き込む処理、および記録媒体１１０から画像データを読み出す処理を行う。画像表示部１１２は、表示回路１１３からの画像信号に従って画像表示する。
システム制御部１１４は撮像装置全体を制御する。不揮発性メモリ１１５にはプログラムや各種データ等を記憶するＲＯＭ（読み出し専用メモリ）等が使用される。例えば、システム制御部１１４により実行される制御方法に係る処理を記載したプログラムや、該プログラムの実行時に使用するパラメータ、テーブル情報等の制御データ、およびキズ補正アドレス等の補正データがＲＯＭに記憶されている。揮発性メモリ１１６にはＲＡＭ（ランダム・アクセス・メモリ）が使用され、不揮発性メモリ１１５からプログラムや制御データ、補正データが転送されて記憶され、これらはシステム制御部１１４が撮像装置を制御する際に使用する。
【００１２】
次に、メカニカルシャッタ１０２を使用した撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１１４の動作開始時において、不揮発性メモリ１１５から必要なプログラム、制御データおよび補正データが揮発性メモリ１１６に転送されて記憶されるものとする。また、必要に応じて、追加のプログラムやデータが不揮発性メモリ１１５から揮発性メモリ１１６に転送され、あるいはシステム制御部１１４は不揮発性メモリ１１５内のデータを直接読み出して使用する。
【００１３】
撮像光学系１０１では、システム制御部１１４からの露出制御信号、及びオートフォーカス（ＡＦ）制御信号に基づいて図示しない絞りとフォーカスレンズが駆動される。これにより適切な明るさ及び所望の合焦状態に設定された被写体像が撮像素子１０３上に結像する。撮影レンズの鏡筒は繰り出し方向または繰り込み方向に駆動され、撮像面上での結像状態（ピント状態）が変更可能である。例えば、主被写体に対して合焦状態となる位置よりも繰り出し方向にレンズを移動させることで、撮像面上に結像していた像は、より被写体側に近い位置に移動する。この時、撮像面上には主被写体の位置よりも撮像装置に近いところの物体が結像した状態（所謂前ピン状態）となり、主被写体像は撮像面上にてデフォーカス状態で撮影される。但し、以上の説明は、撮像光学系１０１が理想的に製造されていて像面が平面の場合である。メカニカルシャッタ１０２は、システム制御部１１４から駆動回路１０７に送られる制御信号に従って駆動され、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光する。尚、撮像素子１０３が電子シャッタ機能を有する場合には、電子シャッタ制御とメカニカルシャッタ１０２の制御を併用して必要な露光時間を確保することもできる。撮像素子１０３は、タイミング信号発生回路１０６が発生する動作パルスに従う駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号を出力する。このアナログ画像信号は、ＣＤＳ回路１０４でクロック同期性ノイズが除去される。ＣＤＳ回路１０４はタイミング信号発生回路１０６が発生するパルスに従って動作する。ＣＤＳ回路１０４の出力信号はＡ／Ｄ変換器１０５に送られてデジタル画像信号に変換される。
【００１４】
システム制御部１１４の制御下で信号処理回路１０８は、デジタル画像信号に対して色変換、ホワイトバランス調整、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ１０９は、信号処理中のデジタル画像データを一時的に記憶し、また信号処理されたデジタル画像データを記憶する。信号処理回路１０８で信号処理された画像データや画像メモリ１０９に記憶されている画像データは、記録再生回路１１１が記録媒体１１０に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換して記録媒体１１０に記録する。また、画像データは信号処理回路１０８で解像度変換処理を施された後、表示回路１１３にて画像表示部１１２に適した信号（例えば、ＮＴＳＣ方式のアナログ信号等）に変換されて画像表示部１１２に表示される。ここで、信号処理回路１０８は、システム制御部１１４からの制御信号により信号処理せずに、デジタル画像信号をそのまま画像データとして画像メモリ１０９や記録再生回路１１１に出力してもよい。また、信号処理回路１０８は、システム制御部１１４から要求があった場合、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１１４に出力する。例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報が処理される。記録再生回路１１１は、システム制御部１１４から要求があった場合、記録媒体１１０の種類や空き容量等の情報をシステム制御部１１４に出力する。
【００１５】
次に、記録媒体１１０に画像データが記録されている場合の再生動作について説明する。システム制御部１１４からの制御信号により記録再生回路１１１は記録媒体１１０から画像データを読み出す。システム制御部１１４からの制御信号により信号処理回路１０８は、圧縮画像データに画像伸長処理を施し、処理後のデータを画像メモリ１０９に書き込む。画像メモリ１０９に記憶されている画像データは、信号処理回路１０８で解像度変換処理を施された後、表示回路１１３にて画像表示部１１２に適した信号に変換されて画像表示部１１２に画像が表示される。
【００１６】
次に、本実施形態に係る撮像装置における全体的な処理の流れについて、図４に示すフローチャートを用いて説明する。尚、以下の説明において特に記載がない場合、制御主体はシステム制御部１１４である。
まず、Ｓ３０１でシステム制御部１１４は、操作部（不図示）に設けられたメインスイッチ（電源スイッチ）のオン・オフ状態を判定する。メインスイッチがオン状態であれば、Ｓ３０２へ進み、該スイッチがオフ状態の場合、Ｓ３０１の判定処理が繰り返される。Ｓ３０２でシステム制御部１１４は、撮像装置に装着された記録媒体１１０の残容量を調べ、残容量が十分であるか否かを判定する。残容量が、例えば画質設定等から定まる撮影画像データサイズよりも多い場合、Ｓ３０４へ進み、そうでなければＳ３０３へ進む。Ｓ３０３でシステム制御部１１４は、記録媒体１１０の残容量が不充分である旨の警告処理を行ってからＳ３０１に戻る。この警告は、画像表示部１１２にメッセージを表示するか、図示しない音声出力部から音声を出力し、又はその両方により行うことができる。
【００１７】
Ｓ３０４でシステム制御部１１４は、画像表示部１１２に焦点状態検出領域を表示させる。すなわち、撮影した画像を一時記憶部である画像メモリ１０９へ保存して表示回路１１３は表示画像を生成して画像表示部１１２に表示する処理を連続的に行う表示処理において、通常撮影時に設定された焦点状態検出領域が併せて表示される。Ｓ３０５でシステム制御部１１４は、シャッタレリーズボタンの操作状態を調べ、該ボタンが半押し状態であればＳ３０７へ進み、そうでなければＳ３０６へ進む。尚、本実施形態では、シャッタレリーズボタンが半押し状態となったときに、オートフォーカス（ＡＦ）や自動露出制御動作（ＡＥ）等、本撮影に先立つ処理が開始する。Ｓ３０６ではメインスイッチのオン・オフ状態が判定され、該スイッチがオン状態であればＳ３０４へ戻り、そうでなければＳ３０１へ戻る。Ｓ３０７でシステム制御部１１４は、Ａ／Ｄ変換器１０５の出力に基づいて被写体輝度を検出する（測光処理）。そしてＳ３０８でオートフォーカス（ＡＦ）処理が行われる。Ｓ３０７の検出結果から被写体輝度が所定値より低い場合、図示しない光源によりＡＦ補助光が被写体に向けて所定時間に亘って投光されてＡＦ処理が実行される。合焦の後、Ｓ３０９ではシャッタレリーズボタンが全押し状態であるか否かが判定され、全押し状態の場合にＳ３１１へ進み、そうでなければＳ３１０へ進む。尚、本実施形態の撮像装置では、シャッタレリーズボタンの全押しにより、Ｓ３１１にて撮影処理が開始する。Ｓ３１０ではシャッタレリーズボタンが半押し状態であるか否かが判定され、半押し状態の場合、Ｓ３０９へ戻り、半押し状態でない場合、Ｓ３０４へ戻る。Ｓ３１２では前記Ｓ３０２と同様に記録媒体１１０の残容量が判定され、次の撮影に必要な残容量があればＳ３１３へ進み、残容量が不十分であればＳ３０３へ進む。Ｓ３１３ではシャッタレリーズボタンが全押し状態であるか否かが判定され、全押し状態でなければＳ３１０へ進む。当該ボタンが全押し状態でなくなるまで、Ｓ３１３の判定処理が行われる。
【００１８】
次に、図５乃至８を用いてフォーカスブラケット撮影について説明する。
前述のように、本実施形態では撮像光学系の製造時等において取得した像面変形量に基づき、その撮像光学系で様々な距離の平面被写体を撮影した場合の像面変形量を算出する（図１の像面２参照）。以下、像面変形量を事前に算出して撮像装置のメモリに保持する処理について具体的に説明する。
先ず、撮像光学系３の製造時等において、１又は２以上の被写体距離で平面被写体を撮像し、像面変形を測定する処理が行われる。ある被写体に対して焦点を合わせて撮影する場合、撮像装置のオートフォーカス（ＡＦ）機構より、当該被写体に対する距離情報を得ることができる。撮像光学系の設計値に基づき、像面変形量が距離に依存してどのように変化するかを予め求めることができる。測定されたデータは撮像光学系毎にメモリに保持される。
【００１９】
次にフォーカスブラケット撮影が行われる。図５はフォーカスブラケット撮影と、変形した像面の状態を例示する説明図である。平面被写体１に対してフォーカスブラケット撮影で小刻みに変更されるフォーカスレンズ位置（フォーカスレンズ範囲内の各位置１４参照）に応じて、像面位置１５が変化する。像面変形量１６の実測値と、ＡＦ機構から得た被写体までの距離情報により、フォーカスレンズ位置に応じた像面変形量を求めることができる。実際の撮影では、その像面変形量を元に、例えば画面内の最大変形量に対し、焦点を合わせる被写体距離から結像倍率（縦倍率β２）が判るため、該倍率にて被写体側のずれ分が求まる。それに基づいてフォーカスレンズの移動範囲が決定されフォーカスブラケット高速連続撮影が行われる。尚、βは横倍率を表す。
フォーカスブラケット撮影を行う範囲は、図５に示す非対称な像面の変形範囲をカバーする範囲である。これは図６に示すように、像面変形が生じる場合に、焦点深度範囲２０を外れてしまう像面の範囲（画面端部の小領域１１参照）である。この量については、撮影レンズの製造誤差に起因する非対称な像面変形の場合、個体毎に値や方向が異なるので、製造工程にて実測して値を保持することで対応できる。
【００２０】
図７はフォーカスブラケット撮影の流れを例示したフローチャートである。Ｓ３０５乃至Ｓ３１２については図４にて説明済みであり、重複説明を回避するため、以下では、主としてＳ３１４乃至３１７の処理を説明する。尚、図７では図４のＳ３１１およびＳ３１２をひとまとめにした処理を撮影処理としている。
Ｓ３０５にてシャッタレリーズボタンが半押し状態となり、画像のキャプチャが開始する。Ｓ３０８でのＡＦ処理にて合焦した状態の画像データが取得され、撮影処理が開始してＳ３１４にて、１回目の合焦状態の撮影であるか否かが判断される。最初の合焦状態での撮影の場合にはＳ３１５に進み、レンズ鏡筒の繰り出し／繰り込み量が変更され、焦点位置を所定量だけ光軸に沿ってずらす処理が行われる。この位置をフォーカスブラケット撮影の開始位置とする。その後、Ｓ３１１に戻る。フォーカスブラケット撮影範囲については、前述した像面変形の全範囲を含む必要があり、当該範囲は製造工程での実測、又は設計値に基づいて決定できる。図８にこの様子を示す。像面２１は主被写体（平面被写体）に対して、画面中心位置に於いて合焦した状態の像面である。像面は撮像光学系の製造誤差等に起因して光軸に関して非対称に変形している。合焦位置は画面中心であるので、光軸上の像面位置は撮像素子の撮像面４の位置に一致する。また像面２２は、レンズ鏡筒の繰り出し／繰り込み量を変更して、焦点位置を所定量ずらした場合の像面であり、これがフォーカスブラケット撮影の開始位置である。右向きの矢印で示す、ずれ量２５は、図６にて像面変形により焦点深度範囲２０の外に逸脱する部分（画面端部の小領域１１）を含むデフォーカス範囲を網羅する必要がある。
【００２１】
次に、フォーカスブラケット撮影の開始位置での画像取得後、図７のＳ３１４を経て、Ｓ３１６に進み、焦点位置が所定量だけ変更されて段階的に撮影が行われる。Ｓ３１７では、撮影回数が所定回数（閾値）に到達したか否かが判定される。焦点位置を所定量ずつ段階的に変更する場合、当該位置が図８の像面２３に示す位置に到達するまで繰り返し撮影動作が行われる。左向きの矢印２４は送り方向を示しており、その始端は像面２２の中央位置であって、終端はフォーカスブラケット撮影の終了位置にある。フォーカスブラケット撮影のデフォーカスの送り間隔は、最も粗い場合でも焦点深度範囲一つ分に相当するデフォーカス量である。画像合成時の接続をより滑らかにする場合には、デフォーカスの送り間隔を、焦点深度範囲一つ分よりも更に細かく設定して小刻みに焦点位置を変更することが好ましい。また、矢印２４および２５に示すフォーカスブラケット撮影の方向については、当該方向に限る必要はなく、逆の方向に設定しても差し支えない。尚、フォーカスブラケット撮影を行う具体的な手段としては、撮像光学系１０１を構成するフォーカスレンズを移動させる形態と、撮像素子１０３を光軸に沿って移動させる形態、あるいは両者を組み合わせた形態がある。例えば、ＡＦ動作に使用する不図示のフォーカスアクチュエータを使用して、ＡＦ動作を担うレンズ群の段階的な繰り出し／繰り込み動作によって撮影が行われる。
【００２２】
次に、信号処理回路１０８にて画面を小領域に分割する処理について説明する。
図２（Ｂ）に示した例では、撮影した画像を小領域１１に等分割している。画面分割の仕方については設計上で予め決定しておき、それに従った条件（分割数、各領域のサイズ、分割線の場所等）に応じて設定することができる。必ずしも図２（Ｂ）のように等面積での分割方法には限定されない。図９（Ａ）に示すように、画面中心付近に位置する分割領域の面積を大きくし、周辺付近に位置する分割領域の面積を小さくする等、各種の分割方法がある。何れの場合も、分割された小領域内にて像面変形量が必要な深度範囲を逸脱しないことを考慮して分割範囲を決定する必要がある。例えば、画面中心付近では像面の変形が少なく、画面周辺では像面の湾曲の変化が大きいことが設計上で予測される場合が挙げられる。本例では、全画面５００を水平方向および垂直方向に９分割している。分割された画像領域を配列「ＩＧ（水平，垂直）」で定義し、図中の分割線５０６で示すように縦横に区切る。各領域は（垂直，水平）という座標名にて区別され、垂直方向をＡ乃至Ｉの記号で示し、水平方向を１乃至９の数値で示している。画面中心付近で分割を粗く、周辺付近で細かくした例を示す。領域５０１乃至３は、Ａ行の第１列、第５列、第９列に位置する小領域をそれぞれ示し、領域５０４はＥ行第９列、領域５０５はＩ行第１列に位置する小領域をそれぞれ示す。分割した各領域に対応する画像メモリ領域５０７には、フォーカスブラケット撮影によるデータがそれぞれ保存され、該領域は図３の画像メモリ１０９の記憶領域を構成する。
【００２３】
小領域への分割方法は、撮影レンズの設計上予想される偏芯等の誤差により発生する像面の変形量と焦点深度範囲や、フォーカスブラケット撮影した画像データを保存する画像メモリサイズ等を勘案して決定される。即ち、像面の変形量の勾配に基づき、像面の変形、即ち分割された小領域内の像面部分のデフォーカス範囲が、焦点深度範囲２０（図６参照）を下回る大きさとなるように分割処理が行われる。前述したように、像面の変形は、図９（Ａ）に示す全画面５００内の位置や変形量とその符号に関してレンズ毎に異なるが、設計公差設定上で当該変形が起こり得る傾向、及び量的範囲は予測可能である。よってこの変形をカバーする範囲での分割設定を行うことができる。分割された画像データは、小領域毎にそれぞれ画面上の領域情報とデフォーカス情報（フォーカスブラケット撮影により、デフォーカスしている符号と量）と併せて画像メモリ領域５０７に保存される。画像フォーマットは、例えばＹＵＶ形式、ＲＧＢ形式等である。また、画像メモリの使用量を節約する方法としては、以下の方法もある。撮影レンズの設計上の公差ばらつきに依存する非対称な像面変形の場合、製造工程にて撮影レンズ毎にフォーカスブラケット撮影を行い、測定情報が取得される。撮影レンズ毎に像面変形量が判っているため、フォーカスブラケット撮影にて、どの小領域ではどの方向でのどの量のデフォーカス値の画像を合成に使用するかが予め判明している。よって、使用しない小領域及びデフォーカス条件は既知であり、その部分に相当する画像データは保存の必要がないので、使用する画像メモリ量を削減できる。
【００２４】
次に、フォーカスブラケット高速連続撮影によって得られた各画像を用いて信号処理回路１０８が画像を合成する処理について説明する。
図６に模式的に示すように、破線で示す曲線は前述したフォーカスブラケット撮影による像面位置の変化を示し、光軸１８に関して非対称性を有する。撮像素子の受光面のうち、光軸１８に近い近軸領域１９では、像面をずらしていない画像が使用され、周辺の小領域１１では像面をずらした画像が使用される。本例では、焦点深度範囲２０にある複数の像面１７に示すように、小領域１１の位置に応じて像面をずらした画像が合成される。例えば、近軸領域１９に隣接する小領域では像面位置を１ステップ分だけ図６の右側にずらした場合の画像が使用され、その隣の小領域では像面位置をさらに１ステップ分だけ図６の右側にずらした場合の画像が使用される。このように、小領域１１に分割した画像を像面変形量に応じて並べるだけで画像合成が実行される。像面変形は連続的であるため、フォーカスブラケット高速連続撮影時のステップ幅（デフォーカス間隔）が比較的細かい場合、隣り合う焦点位置での画像の間で画面上の位置差は少ない。従って、画像を所定数の小領域に分割した場合、隣り合う小領域の画像間でデフォーカス量がひと区切り分だけ異なっていたとしても、それらの画像の境界に大きな相違はない。そのため、小領域に分割した各デフォーカス画像を像面形状に応じてデフォーカス量毎に並べるだけで、境界部分の接続に関する不連続性は目立たない。勿論、画面の小領域に係る分割サイズについては像面変形量に基づいて適用条件が決定される。
【００２５】
以下、図９（Ｂ）を用いて具体例を説明する。
撮影レンズの設計上の公差ばらつきに起因する非対称な像面変形を対象とする場合、例えば撮影レンズ毎に、製造工程にて像面変形量が実測される。製造工程にて基準となる平面被写体がフォーカスブラケット撮影されて、撮像素子上での像面の形状が実測される。像面変形に基づいて、画面上の小領域毎の変形量（デフォーカス量）が、マトリクスデータとして所定のメモリに保持される。この情報は、各小領域に分割された画像のそれぞれが焦点深度範囲内となるためのデフォーカス量を示す。図９（Ｂ）に示す画面の領域分割の条件は、図９（Ａ）の画面分割例に対応している。ここで、配列Ｄ（垂直，水平）は、対応する小領域（垂直，水平）の像面でのデフォーカス情報が保持される。本例では、図２と同様の像面変形が生じた場合を想定し、像面変形の状態を等高線状に重ねて示している。等高線毎に焦点深度範囲に該当するデフォーカス分ずつ像面が変形しているものとする。左上隅および右下隅の範囲６０６は、画面中心付近に比べてオーバー側にて焦点深度範囲の３倍以上変形していることを示している。また左下隅および右上隅の範囲６０７は、画面中心付近に比べてアンダー側にて焦点深度範囲の３倍以上変形していることを示している。現実の像面変形量は連続的な量であるが、深度範囲に該当する量ごとに領域を区切り、その区間領域については同じ変形量として取り扱うものとする。像面変形量の保持は配列Ｄ（垂直，水平）を用いて行わる。例えば、Ｄ（Ａ，１）、Ｄ（Ａ，２）、Ｄ（Ｂ，１）、Ｄ（Ｂ，２）、Ｄ（Ｃ，１）の示すデフォーカス情報は、全て左上隅の範囲６０６に含まれるため、その像面変形量、即ち該当するデフォーカス量が保持される。また、Ｄ（Ａ，３）、Ｄ（Ｂ，３）、Ｄ（Ｃ，３）、Ｄ（Ｄ，１）、Ｄ（Ｄ，２）等は、隣接する範囲の境界にかかっている。この場合には、例えば、その小領域の中心位置の画素を示す座標値が、どちらの像面変形量の範囲に入っているかによって帰属の如何を判断すればよい。
【００２６】
具体的な合成処理を説明すると、例えば、小領域（Ａ，１）では、フォーカスブラケット撮影の結果、Ｄ（Ａ，１）に該当するデフォーカス量のときの、撮影画像の該当する部分のデータが配列ＩＧ（Ａ，１）に保持される。この処理は全ての小領域について実行され、つまり、配列指標がＡからＩ、および１から９に変更されて、全小領域の画像データ、つまり配列ＩＧ（垂直，水平）のデータを、そのまま一画面分に亘って並べることで合成が完了する。隣接する領域の境界における画質は、全ての隣接領域に於いてそれぞれ焦点深度範囲内であるため、必要な画質差で接続される。その結果、平面被写体を、平面に結像する撮像光学系の画像として出力画像を得ることができる。接続境界部の画質差に関して、より滑らかな接続を必要とする場合には、前述のようにフォーカスブラケット撮影にて焦点距離を小刻みに変更する間隔を、さらに狭くすること（例えば焦点深度の２分の１等とする）で対応可能である。尚、像面変形量が設計上で既知の場合（例えば、偏芯等によるものでなく、軸対称性を有する像面湾曲等）、製造工程での実測でなく、撮影レンズの設計値に基づいて像面変形量を予め設定できる。
【００２７】
本実施形態では、従来に比較して撮像光学系への要求精度が緩和される分だけ、像面変形の絶対量は大きくなる。しかし、これは無制限ではなく像面変形量は所定の範囲内に収まる。従って、その像面変形量の範囲と、フォーカスブラケット撮影時の間隔（フォーカス状態を変更するときに刻む間隔）とに基づいて、画面の分割サイズを一義的に決定することができる。また本実施形態では、本来ぼけた状態で写るべきところがピントの合った状態で被写体が写り込んでいる場合、上記の画像合成処理により、ピントの合った画像部分がぼけた状態の分割画像と置き換えられる。ぼけた状態の画像同士が合成されるため画像分割領域の境界は目立たない。逆に、本来ピントの合った状態で被写体が写り込むべきところにピントが合わずにぼけが生じている場合には、上記の画像合成処理により、ぼけが生じている画像部分がピントの合った画像と置き換えられる。このとき小領域の境界は目立ち易いが、上記した領域分割とフォーカスブラケット撮影時の間隔についての条件を考慮することにより、境界の目立たない画像合成が可能である。
【００２８】
第１実施形態によれば、従来の構成に比べて撮像光学系の部品精度や製造誤差に起因する像面形状の変形を許容することができ、発生する像面変形をフォーカスブラケット撮影による画像の合成処理により補正できるので、以下の効果を奏する。
・像面変形により、焦点を合わせたい主被写体と、これとは異なる距離で被写界深度外の副被写体について、同時に焦点が合ったり、逆に主被写体と同距離でありながら被写体が暈けた状態で写らないように回避できること。
このことは、従来、撮像光学系に厳しい部品精度、組み立て精度を課し、像面の平面性を向上させなければ実現が困難であったが、本実施形態では著しいコスト上昇を伴わずに実現できる。
・像面変形に対する敏感度のみを緩和することで、変形した像面であっても、その最良像点に於ける結像性能を高く確保できるので、合成画像の画質は、像面の変形した元の画像より向上すること。
従来、焦点がずれた像面位置での結像性能（ＭＴＦ等）が高いことについて大きな意味はなかった。本実施形態の場合、フォーカスブラケット高速連写撮影は像面変形分の補償を目的として行われるので、必要な範囲だけでよく、シャッタ速度の低下への影響は少ない。撮影距離やズーム位置に応じて像面変形量が異なる場合でもフォーカスブラケット高速連写撮影の範囲を変更するだけで対応できる。
・画像合成処理は、小領域に相当する位置毎の各デフォーカス画像を繋ぎ合わせるだけであり、特殊な処理は使用しないので処理の負荷が少ないこと。
【００２９】
［第２実施形態］
次に本発明の第２実施形態を説明する。第１実施形態では、撮像光学系の傾き偏芯、平行偏芯等による回転非対称な像面変形に対する画像処理を説明した。撮影レンズの設計上の要因により残存する光軸対称な像面湾曲を対象とする場合、設計公差から、発生する変形量の最大量は予測可能であり、フォーカスブラケット撮影範囲を予め設定することができる。
撮像光学系の光軸に関して回転対称な誤差には、レンズまたはレンズ群同士の間隔の位置誤差や、レンズ肉厚誤差、レンズ表面形状の軸対称な誤差等がある。この結果として現れる像面の変形は、所謂像面湾曲であり、光軸に関して回転対称性をもつ変形である。単純な例では、平面被写体に対し、本体平面であるべき結像面が、光軸に対して対称な球面状、あるいは回転放物面状となる。図１０は、撮像光学系を表す結像レンズの位置と、撮像素子のセンサ面（受光面）上の像面位置の変化を例示する。像面湾曲の量は、結像レンズの光軸に関して回転対称性をもつので、画面の中心に対して、画面の周辺部では全て同じ方向に等しい量の像面倒れが生じている。そのため、ピントを合わせる主被写体が画面中心にある場合、フォーカスブラケット撮影を行う範囲は、光軸方向において像面位置（撮像面４での最良像面位置）から片側（図８の例では左方の被写体側）だけで済む。また、像面湾曲量の測定では対称性を利用して測定データの数を低減することができ、上記画像合成処理でも同様に処理量を低減して処理速度を上げることができる。
【００３０】
［第３実施形態］
次に本発明の第３実施形態を説明する。
像面変形については、ズームレンズの場合、ズームポジションによっても異なってくる。従って、全てのズームポジションにおいて、個別に像面変形量の値を取得してメモリに保持することで、前記した像面補償を行うことができる。
一方、ズームレンズの像面変形量は、広角端から望遠端までの間の、所謂ミドルポジションにおいて、ほぼ滑らかな変化を示す。即ち、全てのズーム位置での像面変形量の情報をメモリに保持して像面補償を行わなくても、２つのズームポジションの間の像面変形の状態はその前後、又は他のズームポジションでの像面変形量から算定可能である。すなわち、全てのズームポジションでの値を取得する必要がない場合、ズームポジションと像面変形量の関係を、例えば冪級数関数等で近似する処理が事前に行われる。離散的に分布するズームポジションの像面変形量の情報から、それらの間のズームポジションに於ける像面変形量を補間することができる。
【符号の説明】
【００３１】
１０１  撮像光学系
１０３  撮像素子
１０８  信号処理回路
１０９  画像メモリ
１１４  システム制御部
【図１】
2012222431.tif 000003
【図２】
2012222431.tif 000004
【図３】
2012222431.tif 000005
【図４】
2012222431.tif 000006
【図５】
2012222431.tif 000007
【図６】
2012222431.tif 000008
【図７】
2012222431.tif 000009
【図８】
2012222431.tif 000010
【図９】
2012222431.tif 000011
【図１０】
2012222431.tif 000012