(57)【要約】【課題】画像処理を少なくして、全体でピントの合った画像を得ることができる撮像システムを提供する。【解決手段】第１被写体に合焦し、撮影者によってレリーズボタンが所定量押されると、第２被写体に合焦するようにフォーカスレンズを光軸方向に沿って移動させて、第２被写体に合焦して撮影を行う。そして、撮影によって得られた画像データに対して画像処理を行う。【選択図】図２
2010288180.tif 000002
【特許請求の範囲】
【請求項１】
第１被写体に合焦したときの第１合焦位置と、前記第１合焦位置とは異なる第２合焦位置へ合焦位置を移動させる合焦位置移動部と、
前記第２合焦位置で撮影を行い、画像データを取得する画像取得部と、
取得した前記画像データに対して画像処理を行う画像処理部と、を備えることを特徴とする撮像システム。
【請求項２】
前記第２合焦位置は、撮影時の構図で前記第１被写体よりも光軸から遠い位置にある第２被写体に合焦する合焦位置であることを特徴とする請求項１に記載の撮像システム。
【請求項３】
構図の中から被写体を検出する被写体検出部を備え、
前記第２被写体は、検出された前記被写体の中で前記光軸から最も遠い位置にあることを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記第１合焦位置と前記第２合焦位置との合焦位置差を算出する合焦位置差算出部と、
前記合焦位置差に基づいて画像回復値を算出する画像回復値算出部と、を備え、
前記画像処理部は、前記画像回復値に基づいて前記画像処理を行うことを特徴とする請求項１から３のいずれか一つに記載の撮像システム。
【請求項５】
前記第１合焦位置と前記第２合焦位置との少なくともいずれか一つを保存する合焦位置保存部を備えることを特徴とする請求項１から４のいずれか一つに記載の撮像システム。
【請求項６】
複数の被写体の中で前記第１被写体が前記光軸から最も遠い位置にある場合には、前記画像取得部は、前記第１合焦位置で撮影を行い、画像データを取得することを特徴とする請求項１から５のいずれか一つに記載の撮像システム。
【請求項７】
前記画像回復値算出部は、前記被写体の像高に基づいて前記画像回復値を補正することを特徴とする請求項４に記載の撮像システム。
【請求項８】
前記画像回復値算出部は、光学系の状態に応じて前記画像回復値を補正することを特徴とする請求項４に記載の撮像システム。
【請求項９】
前記画像回復値算出部は、光学系の特性に応じて前記画像回復値を補正することを特徴とする請求項４に記載の撮像システム。
【請求項１０】
前記画像回復値算出部は、前記光学系の状態と前記光学系の特性との少なくともいずれか一つを記憶することを特徴とする請求項８または９に記載の撮像システム。
【請求項１１】
前記合焦位置移動部は、複数の測距点から選択された測距点に基づいて前記合焦位置を移動させることを特徴とする請求項１から１０のいずれか一つに記載の撮像システム。
【請求項１２】
検出した前記被写体の位置を表示する画像表示部を備えることを特徴とする請求項３に記載の撮像システム。
【請求項１３】
前記画像表示部は、検出した前記被写体付近以外の測距点を表示しないことを特徴とする請求項１２に記載の撮像システム。
【請求項１４】
前記画像表示部は、前記第２被写体に合焦して得られた画像データに基づく画像を表示しないことを特徴とする請求項１２または１３に記載の撮像システム。
【請求項１５】
前記合焦位置移動部と、前記画像取得部とを備えた撮像装置と、
前記画像処理部を備えた画像処理装置と、を備えることを特徴とする請求項１から１４のいずれか一つに記載の撮像システム。
【請求項１６】
前記撮像装置は、前記画像データを送信する第１通信部を備え、
前記画像処理装置は、前記第１通信部から送信された前記画像データを受信する第２通信部を備えることを特徴とする請求項１５に記載の撮像システム。
【請求項１７】
前記合焦位置移動部は、フォーカスレンズを光軸方向に沿って移動させることを特徴とする請求項１から１６に記載の撮像システム。
【請求項１８】
第１被写体に合焦した画像を得る場合に、前記第１被写体に合焦した後に前記第１被写体に対する第１合焦位置から第２合焦位置へ合焦位置を移動させ、
前記第２合焦位置で撮影を行って画像データを取得し、
取得した前記画像データに対して画像処理を行うことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像システムおよび撮像方法に関するものである。
【背景技術】
【０００２】
複数の焦点検出領域から撮影者が１つの領域を選択し、その領域でオートフォーカスを実行することが可能な多点自動焦点検出装置を備えたカメラが特許文献１に開示されている。
【０００３】
特許文献１に開示されたカメラは、撮影者が選択した領域で有効なデフォーカス量が得られなかった場合に、選択された領域に近い領域でオートフォーカスを実行する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０２３０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の発明では、選択された領域付近においてはピントが合った画像を得ることができる。しかし、例えば、選択された領域が光軸近傍（画像中心部）の場合、このようにして得られた画像では、選択された領域から遠い箇所、すなわち像高が大きい箇所（画像周辺部）に位置する被写体においては、選択した領域と同じ距離でもピントがずれる場合がある。このような場合には、像高が大きい箇所に位置する被写体の画像に対して画像処理を行うことで、この被写体にピントが合った画像を作成することも可能である。
【０００６】
光学系の特性上、光軸の近傍では、ピントがずれた場合でも点像の形状は、ほぼ回転対称となる。そのため、比較的簡単（単純）な画像処理で、ピントのずれを修正することができる。しかし、光軸から離れるにつれて、すなわち像高が大きくなるにつれて、点像の形状は回転非対称となる。この場合、像高が大きい箇所においては、ピントのずれを修正するためには、複雑な画像処理を行わなければならない。そのため、画像全体でピントの合った画像を得るためには、複雑な画像処理が必要になるといった問題点がある。
【０００７】
本発明はこのような問題点を解決するために発明されたもので、簡単な画像処理で全体にピントが合った画像を得ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明のある態様に係る撮像システムは、第１被写体に合焦した後に第１被写体に対する第１合焦位置から第２合焦位置へ合焦位置を移動させる合焦位置移動部と、第２合焦位置で撮影を行い、画像データを取得する画像取得部と、取得した画像データに対して画像処理を行う画像処理部と、を備える。
【０００９】
本発明の別の態様に係る撮像方法は、第１被写体に合焦した後に第１被写体に対する第１合焦位置から第２合焦位置へ合焦位置を移動させ、第２合焦位置で撮影を行って画像データを取得し、取得した画像データに対して画像処理を行う。
【００１０】
これらの態様により、例えば、複雑な画像処理が必要な被写体に対してピントが合った画像データを取得し、簡単な画像処理でピントが合った画像を作成できる被写体に対して画像処理によってピントを合わせる。
【発明の効果】
【００１１】
本発明によると、比較的簡単な画像処理でありながら、全体でピントが合った画像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態の撮像システムの概略ブロック図である。
【図２】像高と球面収差との関係を示すグラフである。
【図３】被写体の形状と像高との関係を説明するためのイメージ図である。
【図４】第１実施形態の撮影時の制御を示すフローチャートである。
【図５】第１実施形態で撮影する場合のイメージ画像である。
【図６】第１被写体と第２被写体とにおける合焦位置を説明するイメージ画像である。
【図７】第２実施形態の撮像システムの概略ブロック図である。
【図８】第２実施形態の撮影時の制御を示すフローチャートである。
【図９】第２実施形態で撮影する場合のイメージ画像である。
【図１０】第３実施形態の撮像システムの概略ブロック図である。
【発明を実施するための形態】
【００１３】
本発明の第１実施形態について図１を用いて説明する。図１は、第１実施形態の撮像システムの概略ブロック図である。ここでは撮像システムとしてデジタルスチルカメラ（以下、カメラ）を用いて説明する。
【００１４】
カメラは、光学系１と、撮像素子２と、フォーカスレンズ移動部３と、フォーカスレンズ位置検出部４と、合焦位置保存部５と、合焦位置差算出部６と、画像処理部７と、画像表示部８と、画像保存部９と、制御部１０とを備える。
【００１５】
光学系１は、例えば、複数のレンズと、絞りとから構成される。複数のレンズの一部、または全部がフォーカスレンズとして光軸方向に沿って移動することで焦点調整が行われる。ここで、光学系１の特性について説明する。
【００１６】
光学系１は、複数のレンズを組み合わせにより構成されている。この光学系１は、被写体の像が撮像素子２の受光面に結像するように設計されている。ところで、光学系１は通常光軸上において収差が最も小さくなるように設計されている。一方、光軸からの距離が大きくなる（像高が大きくなる）につれて収差は大きくなる。例えば球面収差においては、図２に示すように、像高が大きくなると大きくなる。このため、撮影者に決定された構図内の全ての被写体の像を、同じ収差量で結像させることは困難である。
【００１７】
また像高と被写体の形状との関係について図３を用いて説明する。図３は、被写体側に設けた複数の点を、光学系で結像したときの様子を示している。ここで、被写体側には複数の点があり、各々の点は、光軸上および光軸から離れる方向（物体高が高くなる方向）に、離散的に配置されているものとしている。図３では、被写体側の各点の像（点像）Ia0〜Ia4,Ib0〜Ib4の様子が示されている。なお、図３の点像は実際に撮影したものではなく、シミュレーションによる結果である。
【００１８】
図３（ａ）では、光軸上の点（被写体）にピントを合わせて撮影した場合を示している。図３（ａ）では光軸上の点にピントが合っているので、形成された点像（被写体の像）Ia0の面積は小さい。一方、像高が大きくなるにつれてピントのずれが大きくなるので、点像Ia1〜Ia4の面積は大きくなる。しかも、像高が大きくなるにつれて、点像の形状は回転非対称となっている。これは、例えばコマ収差、非点収差などの収差の影響を受けていることによる。
【００１９】
ピントがずれた被写体の像に対しては、画像処理を行うことでピントが合った像を作成することが可能である。この画像処理においては、ピントがずれた像であっても、ピントずれに伴って生じる収差が回転対称であれば、比較的簡単な画像処理によってピントが合った像を作成することができる。一方、収差が回転非対称である場合は、複雑な画像処理が必要となる。なお、収差が回転対称に生じた場合、点像も回転対称な形となる。
【００２０】
図３（ｂ）は、図３（ａ）と同じ複数の点を撮影した場合であって、像高が最も大きい箇所にある点にピントを合わせて撮影した場合を示している。図３（ｂ）の点像からわかるように、像高が最も大きい箇所にある点像Ib4は、ピントが合っていても収差の影響によって完全に点状にはならない。すなわち、図３（ａ）の光軸上の点像Ia0に比べて、点像の面積は大きい。また、点像の形状も、回転対称とは言いがたい。しかしながら、図３（ａ）の同じ像高の点像Ia4と比較すると点像の形状は小さくなっている。よって、点像の形状は回転非対称であるものの、点像Ia4に比べて回転対称性が良くなっている。
【００２１】
また、図３（ｂ）では、像高が大きい点にピントを合わせた為に、光軸上の点像Ib0はピントがずれた像となる（点像の面積が大きい）。しかし、光学系１は光軸上において収差が小さくなるように設計されている。よって、光軸上の点像Ib0の形状は、光軸に対してほぼ回転対称となる。また、その他の点像Ib1〜Ib3も、回転非対称になっている。
【００２２】
このように、図３（ｂ）においても点像点像Ib0〜点像Ib4の形状にはばらつきがあるものの、全体としてみれば、点像の形状のばらつきは図３（ａ）に比べて少ない。よって、図３（ｂ）の状態で撮影を行なうことで、図３（ａ）における画像処理に比べて比較的簡単な画像処理によって画像全体でピントが合った画像を得ることができる。
【００２３】
本実施形態では、光学系１の特性を活かして撮影を行い、簡易な画像処理によって画像全体でピントが合った画像を作成する。
【００２４】
フォーカスレンズ移動部３は、アクチュエータなどによってフォーカスレンズを光軸方向に沿って移動させる。オートフォーカスによって焦点調整を自動的に行う場合、フォーカスレンズ移動部３はレリーズボタンが所定量押されると、フォーカスレンズを光軸方向に沿って移動させる。フォーカスレンズを移動させることで合焦位置が変わるので、フォーカスレンズ移動部３は合焦位置移動部ということができる。
【００２５】
フォーカスレンズ位置検出部４は、光軸方向におけるフォーカスレンズの位置を検出する。
【００２６】
合焦位置保存部５は、被写体に合焦した時の合焦位置に対応するフォーカスレンズの位置を記憶する。合焦位置保存部５は、オートフォーカス時に撮影者によってレリーズボタンが所定量押され、被写体に合焦を行うと合焦位置に対応するフォーカスレンズの位置を記憶する。
【００２７】
合焦位置差算出部６は、合焦位置保存部５のデータ（フォーカスレンズの位置）を用いて演算を行なう。例えば、合焦位置保存部５に第１被写体に合焦した時のデータ（フォーカスレンズの位置であって、第１合焦位置に対応する）と第２被写体に合焦した時のデータ（フォーカスレンズの位置であって、第２合焦位置に対応する）がある場合、２つのデータから第１被写体と第２被写体に関する合焦位置差を算出する。
【００２８】
撮像素子２は、受光面に入射される光に応じた電気信号を画像データとして所定のタイミングで出力する。撮像素子２は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）センサと称される形式、あるいはその他の各種の形式の撮像素子である。
【００２９】
画像処理部７は、合焦位置検出部１１と、画像回復値算出部１２と、画像回復部１３とを備える。
【００３０】
合焦位置検出部１１は、撮像素子２から出力された電気信号の輝度成分などに基づいて合焦領域における合焦判定を行い、合焦位置を検出する。本実施形態では、光軸を含んだ所定領域に合焦領域が設定されており、合焦領域において合焦位置を検出する。ここでは被写体に合焦した時のフォーカスレンズの位置が合焦位置として検出される。
【００３１】
画像回復値算出部１２は、合焦位置差算出部６によって算出された合焦位置差に基づいて、撮像素子２から出力された電気信号に対する画像回復値を算出する。画像回復値は、画像全体でピントが合った画像となるように、得られた画像データを補正する値である。ここで、画像回復値は、各画素と一対一に対応する数値である。ただし、複数の画素に対して１つの画像回復値を対応させても良い。
【００３２】
画像回復部１３は、画像回復値算出部１２によって算出された画像回復値に基づいて、画像データを補正する。補正された画像データは、画像表示部８および画像保存部９に出力される。
【００３３】
また、画像処理部７は、この他にもホワイトバランス調整、階調・レベル補正などの処理を行う。画像処理部７によって処理された画像データは、画像表示部８および画像保存部９に出力される。
【００３４】
画像処理部７は、ＣＰＵ、ＲＯＭ、ＲＡＭなどによって構成される。ＲＯＭには制御プログラムおよび各データを格納している。ＣＰＵが、ＲＯＭに格納された制御プログラムに基づいて演算を実行することにより、画像処理部７の各機能が発揮される。
【００３５】
画像表示部８は、カラー液晶表示（ＬＣＤ）パネルまたは有機ＥＬ（ＯＥＬ）ディスプレイパネルなどである。画像表示部８は、画像回復部１３によって補正された信号に基づき、撮影した画像を表示する。
【００３６】
画像保存部９は、画像回復部１３によって補正された画像データを格納する。
【００３７】
制御部１０は、光学系１、撮像素子２、フォーカスレンズ移動部３、画像処理部７などと接続しており、これらを含むこのカメラ全体を制御する。制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどによって構成される。ＲＯＭは制御プログラムおよび各データを格納している。ＣＰＵが、ＲＯＭに格納された制御プログラムに基づいて演算を実行することにより、制御部１０の各機能が発揮される。
【００３８】
次に本実施形態の撮影時の制御について、図４のフローチャートを用いて説明する。ここでは、図５に示すように撮影者が決定する構図において、光軸の中心付近に第１被写体があり、構図の端部側、つまり像高が大きい位置に第２被写体がある場合を例として用いて説明する。以下において、図５（ｂ）中の花束を持った人物を第１被写体１５とし、第１被写体と手をつないだ人物を第２被写体１６とする。
【００３９】
まず、第２被写体１６が合焦領域内に入るように撮影者によってカメラの位置が決められる。
【００４０】
ステップＳ１００では、撮影者によってレリーズボタンが所定量押されたことを検知すると、第２被写体１６に合焦が行われる（図５中（ａ））。第２被写体１６に対する第２合焦位置に対応するフォーカスレンズの位置は、合焦位置保存部５に記憶される。
【００４１】
ステップＳ１０１では、第１被写体１５が合焦領域内に入るように撮影者によってカメラの位置が変更される。これにより第２被写体１６は、画像表示部８に表示される画像の中で端部側へと移動する。これによって構図が決定される（図５中（ｂ））。なお、ステップＳ１０１は撮影者による行為なので、撮像システムの制御には含まれない。以下において、撮影者による行為は、同様に撮像システムの制御には含まれない。
【００４２】
ステップＳ１０２では、一旦レリーズボタンが解放され、再度撮影者によってレリーズボタンが所定量押されたことを検知されると、第１被写体１５へ合焦が行なわれる。
【００４３】
ステップＳ１０３では、第２合焦位置に対応するフォーカスレンズの位置と第１被写体１５に対する第１合焦位置に対応するフォーカスレンズの位置とから、合焦位置差が算出される。第１被写体１５と第２被写体１６とは、例えば図６に示すように、カメラからの距離が異なるので合焦位置が異なる。ステップＳ１０３では、第１合焦位置に対応するフォーカスレンズの位置と第２合焦位置に対応するフォーカスレンズの位置との差が、合焦位置差として算出される。
【００４４】
ステップＳ１０４では、撮影者によって、レリーズボタンがさらに所定量押されたことが検知されると、第２合焦位置に対応するフォーカスレンズの位置へフォーカスレンズが移動し、撮影が行われる。これにより、第１被写体１５を画像の中心とした構図で、第２被写体１６に合焦した撮影が行なわれ、画像データが得られる。
【００４５】
ステップＳ１０５では、合焦位置差に基づいて画像回復値が算出される。この画像回復値を使って画像処理が行われるが、画像処理の対象は第２被写体１６に合焦して撮影を行って得られた画像データである。画像回復値は、この画像データにおいて、第１被写体１５にピントが合った画像となるように補正する値である。画像回復値は、予め設定したルックアップテーブル（ＬＵＴ）から合焦位置差に基づいて算出される。
【００４６】
ステップＳ１０６では、撮影して得られた画像データに対して画像回復値に基づいた画像処理が行われる。撮影して得られた画像データは、上記のように、第２被写体１６に合焦した撮影で得られた画像データである。ここで、第１被写体１５の画像は、ピントがずれた画像、すなわち画質が劣化した画像となっている。しかしながらが、画質劣化の原因である収差は、その発生量がほぼ回転対称になっている。そのため、比較的簡単な画像処理で、第１被写体１５の画像における画質の劣化を回復させることができる。一方、第２被写体１６の画像は、第２被写体１６に合焦した状態で撮影が行なわれているので、画像の周辺部にピントが合った画像となっている。ただし、その画像の画質は、収差の影響によって劣化している。しかしながらが、画質劣化の原因である収差は小さく、回転対称性が良くなっている。そのため、第１被写体１５の場合と同じように、比較的簡単な画像処理で、第２被写体１６の画像における画質の劣化を回復させることができる。場合によっては、第１被写体１５に対して用いた画像処理を、第２被写体１６に対して用いることもできる。
【００４７】
ステップＳ１０７では、画像補正値に基づいて画像処理を行った画像が画像表示部８に表示される。また、画像データは画像保存部９に保存される。なお、第２被写体１６に合焦を行って得られる補正前の画像は、画像表示部８には表示されない。
【００４８】
なお、第１被写体１５に合焦した場合のカメラの位置と、第２被写体１６に合焦した場合のカメラの位置を、例えば位置センサ、加速度センサ、ジャイロスコープによって検出しても良い。そして、その検出結果から移動量を算出し、画像回復値を補正しても良い。移動量がわかると、構図中における第１被写体１５と第２被写体１６との距離を算出することができる。これにより、第２被写体１６の像高を算出することができる。そして、移動量に基づいて第２被写体１６の像高を算出して、像高に基づいて画像回復値を補正しても良い。第１被写体１５と第２被写体１６との合焦位置差が略ゼロの場合には、像高によって画像回復値が定まることになる。
【００４９】
本発明の第１実施形態の効果について説明する。
【００５０】
撮影時の構図が第１被写体を中央に位置させた構図の場合に、この撮影時の構図で第１被写体よりも像高が大きい第２被写体に合焦させて撮影を行う。これによって得られた画像データは、第２被写体にピントが合った画像データとなる。この場合、第２被写体にピントを合わせて撮影しているので、第２被写体に対する画像処理（例えば、第２被写体の画像をよりピントが合った画像にするような画像処理）を行う場合、その画像処理を簡単にすることができる。なお、ここで得られた画像データでは、第１被写体にピントが合っていない可能性がある。しかしながら、このような場合であっても、光軸付近の第１被写体に生じるピントずれ（ボケ）が回転対称なので、比較的簡単な画像処理によって鮮明なピントが合った画像を作成することができる。そのため、第１被写体については画像処理を行うことで、鮮明な画像（ピントが合った画像）を作成する。これにより、画像全体でピントが合った画像を、簡単な画像処理によって得ることができる。
【００５１】
第１合焦位置と第２合焦位置との合焦位置差に基づいて画像回復値を算出することで、第１被写体および第２被写体にピントが合った画像を得ることができる。
【００５２】
第２合焦位置を合焦位置保存部５に記憶させることで、合焦位置差を素早く算出し、撮影を素早く行うことができる。
【００５３】
第２被写体に合焦して得られた画像データによる画像を画像表示部８に表示しないことで、第１被写体に対してピントが合っていない画像が画像表示部８に表示されることを防ぐことができる。これにより、撮影者が不自然さを感じることを防ぐことができる。
【００５４】
次に本発明の第２実施形態について図７を用いて説明する。図７は第２実施形態の撮像システムの概略ブロック図である。
【００５５】
第２実施形態の画像処理部２０は、合焦位置検出部２３と、画像回復値算出部１２と、画像回復部１３と、被写体認識部２１を備える。また第２実施形態はフォーカスレンズ移動部２２が第１実施形態とは異なっている。
【００５６】
被写体認識部２１は、撮像素子２を介して取得した画像の中から被写体を検出する。被写体の検出は、例えばViola-Jonesの方法、ガボールフィルタとグラフマッチングとを用いる方法などによって被写体の顔候補となる部分を認識することで行われる。なお、被写体認識部２１は、被写体の顔候補となる部分のみを認識することに限られず、被写体を認識できればよい。
【００５７】
合焦位置検出部２３は、撮影者が選択したＡＦポイント（測距点）に対して合焦を行い、合焦位置を検出する。また、被写体認識部２１によって検出した被写体に対して合焦を行い、合焦位置を検出する。
【００５８】
フォーカスレンズ移動部２２は、撮影時に被写体認識部２１によって検出された被写体の中から、像高が最も大きい被写体に合焦するようにフォーカスレンズを光軸方向に沿って移動させる。また、フォーカスレンズ移動部２２は、撮影者が選択したＡＦポイントに対応する被写体に合焦するようにフォーカスレンズを光軸方向に沿って移動させる。
【００５９】
次に本実施形態の撮影時の制御について、図８のフローチャートを用いて説明する。ここでは、図９の構図において、撮影者が花束を持った人物に合焦して撮影を行う場合を例として説明する。以下において、図５と同様に花束を持った人物を第１被写体１５とし、花束を持った人物と手をつないだ人物を第２被写体１６とする。
【００６０】
ステップＳ２００では、被写体認識部２１によって第１被写体１５および第２被写体１６を検出する。ここでは図９（ａ）に示すように第１被写体１５および第２被写体１６の顔部分を矩形状の枠で囲むことで第１被写体１５および第２被写体１６を検出したことを画像表示部８に表示する。
【００６１】
ステップＳ２０１では、検出した被写体の中で像高が最も大きい第２被写体１６を抽出する。
【００６２】
ステップＳ２０２では、レリーズボタンが所定量押されたことを検知すると、撮影者が選択した第１被写体１５に合焦を行う。
【００６３】
ここでは、複数のＡＦポイントの中から撮影者が選択したＡＦポイントに合焦を行う。ＡＦポイントは例えば図９（ｂ）のように複数配置されており、その中から撮影者が選択可能となっている。ここでは画面中央の第１被写体１５上のＡＦポイントが選択される。撮影者によってＡＦポイントが選択された場合には、図９（ｃ）に示すように選択されたＡＦポイントを例えば赤色で表示し、第１被写体１５の顔部分以外のＡＦポイントの表示を消しても良い。その際に第２被写体１６上のＡＦポイントは表示させなくても良い。これにより、撮影者に不自然さを与えることを防ぐことができる。なお、ＡＦポイントは、図９（ｂ）のように全面に配置せずに、光軸近傍および像高が大きい箇所のみに設けてもよい。
【００６４】
ステップＳ２０３では、第１被写体１５と第２被写体１６とが一致するかどうかが判定される。ここで、第１被写体１５は撮影者が選択した被写体で、第２被写体１６は被写体認識部２１によって検出した被写体の中で像高が最も大きい被写体である。そして、第２被写体１６と第１被写体１５とが一致しない場合にはステップＳ２０４へ処理が進み、一致する場合にはステップＳ２１０へ処理が進む。図９に示す構図においては、像高が最も大きい第２被写体１６と、撮影者が選択した第１被写体１５とは別の被写体であるので、ステップＳ２０４へ処理が進む。
【００６５】
なお、ここでは第１被写体１５と第２被写体１６とが一致するかどうかが判定されたが、第１被写体１５と第２被写体１６との距離が所定値よりも小さいかどうかが判定されても良い。この場合には、第１被写体１５と第２被写体１６との距離が所定値以上である場合にステップＳ２０４へ処理が進む。また、第１被写体１５と第２被写体１６との距離が所定値よりも小さい場合にステップＳ２１０へ処理が進む。
【００６６】
ステップＳ２０４では、第１被写体１５に対する第１合焦位置が保存される。つまり、第１合焦位置に対応するフォーカスレンズの位置が保存される。
【００６７】
ステップＳ２０５では、撮影者によって、レリーズボタンがさらに所定量押されたことが検知されると、第２被写体１６に合焦が行われ、続いて撮影が行なわれる。
【００６８】
ステップＳ２０６では、第１合焦位置に対応するフォーカスレンズの位置と、第２被写体１６に対する第２合焦位置に対応するフォーカスレンズの位置とから合焦位置差が検出される。
【００６９】
ステップＳ２０７では、合焦位置差に基づいて画像回復値が算出される。画像回復値は予め設定したルックアップテーブル（ＬＵＴ）もしくは関数から合焦位置差に基づいて算出される。
【００７０】
ステップＳ２０８では、光学系１の状態に応じて画像回復値が補正される。光学系１の状態とは、例えば焦点距離の情報である。例えば光学系１がズームレンズの場合、広角レンズの状態となっているか、望遠レンズの状態となっているかによって、収差の発生状態は異なる。すなわち、同じピントのずれ（合焦位置差）であって、生じる収差は異なる。そのため、本実施形態では、画像回復値が光学系１の状態に応じて補正される。光学系１の状態に応じて画像回復値が補正されることで、正確な画像回復値を算出することができる。
【００７１】
また、光学系１の特性に応じて画像回復値の補正が行なわれる。光学系１の特性は、光学系１を設計する際に決まり、例えば収差情報やPSF、LSF、MTFで表される。そのため、光学系１の特性に応じて予め補正値を設定しておくことで、画像回復値を補正することができる。このような光学系１の特性は、構図中の被写体の位置、つまり像高に応じて変化する。光学系１の特性に応じて画像回復値を補正することで、正確な画像回復値を算出することができる。ここでは、第２被写体１６は構図の中で像高が大きいが、第２被写体１６に合焦しているので、第１被写体１５と比較すると収差の影響が小さくなる。そのため、第２被写体１６における補正値は、第１被写体１５における補正値よりも小さくなる。
【００７２】
像高が最も大きい点（被写体）に合焦した状態は、図３（ｂ）の状態である。この状態では、最上段の点像が最も小さくなっている。ここで、被写体側にある各点は同一平面上にある（光軸に沿う方向にずれは生じていない）ので、各点像において合焦位置差は生じていない。それにもかかわらず、最下段（光軸上）の点像は広がっている。よって、合焦位置差が生じると、最下段（光軸上）の点像は図３（ｂ）の状態よりも更に広がることになる。
【００７３】
第１実施形態では、合焦位置差に基づいて画像回復値を算出している。しかしながら、それだけでは、合焦位置差によって加わった分を補正するだけになる。すなわち、合焦位置によって広がった点像を、図３（ｂ）の最下段の状態に回復するだけになる。これに対して、本実施形態では、光学系１の特性に応じて画像回復値を補正している。よって、図３（ｂ）の最下段の状態の点像をより小さくすることができる。
【００７４】
なお、第１被写体１５の第１合焦位置と第２被写体１６の第２合焦位置との合焦位置差が略ゼロとなる場合には、光学系１の状態、および光学系１の特性によって画像回復値が定まることになる。
【００７５】
ステップＳ２０９では、撮影した画像データに対して画像回復値に基づいて補正（画像処理）が行われる。撮影して得られた画像データは、第２被写体１６に合焦した画像データである。像高が最も大きい被写体に合焦を行って撮影を行うことで、像高が最も大きい第２被写体１６にピントが合った画像を得ることができる。一方、撮影して得られた画像データは第１被写体１５のピントが合っていない画像データとなるが、第１被写体１５については、第２被写体１６よりも光軸側に位置している。そのため、比較的簡易な画像処理を行うことでピントが合った画像を作成することができる。
【００７６】
ステップＳ２０３において第２被写体１６と第１被写体１５とが一致すると判定されると、ステップＳ２１０において撮影を行う。これは撮影者が合焦の対象として選択した被写体が構図の中で最も像高が大きい位置にある場合である。例えば図９に示す構図において撮影者が選択したＡＦポイントが第２被写体１６上にある場合である。ステップＳ２１０では、レリーズボタンがさらに所定量押されたことが検知されると、撮影者が選択したＡＦポイントに対応する被写体に合焦が行なわれ、続いて撮影が行なわれる。
【００７７】
ステップＳ２１１では、ステップＳ２０８と同様の方法により、光学系１の状態、および光学系１の特性に応じて画像補正値が算出される。
【００７８】
ステップＳ２１２では、得られた画像データに対して画像補正値に基づいた補正（画像処理）が行われる。
【００７９】
ステップＳ２１３では、画像処理を行った画像が画像表示部８に表示される。また、画像データが画像保存部９に保存される。
【００８０】
なお、本実施形態では、被写体認識部２１によって被写体を検出したが、被写体認識部２１を設けずに、撮影者が選択するＡＦポイントに基づいて合焦位置を検出し、合焦位置差に基づいて画像補正値を算出しても良い。
【００８１】
本発明の第２実施形態の効果について説明する。
【００８２】
被写体認識部２１によって被写体を検出し、構図の中で最も像高が大きい第２被写体に合焦して撮影を行うことで、像高が最も大きい第２被写体についてはピントが合った画像データを得ることができる。このとき、第２被写体における収差は小さくなる。また、光軸付近の第１被写体についても、同様に、ほぼ回転対称な収差になる。よって、第１被写体及び第２被写体の両方について、簡単な画像処理でピントの合った画像を作成することができる。
【００８３】
複数のＡＦポイントから撮影者が選択したＡＦポイントに対応する被写体が構図の中で最も像高が大きい位置にある場合には、選択したＡＦポイントに対応する被写体に合焦して撮影を行う。これにより、撮影者が意図した画像を得ることができる。
【００８４】
光学系１の状態に応じて画像回復値を算出することで、さらにピントが合った画像を得ることができる。
【００８５】
光学系１の特性に応じて画像回復値を算出し、特に像高に応じて画像回復値を算出することで、さらにピントが合った画像を得ることができる。
【００８６】
光学系１の状態、および光学系１の特性を予め記憶させておくことで、画像処理を素早く行うことができる。
【００８７】
ＡＦポイントを複数備えることで、カメラを移動させずに被写体に対して合焦を行うことができる。
【００８８】
次に本発明の第３実施形態について図１０を用いて説明する。図１０は第３実施形態の撮像システムの概略ブロック図である。
【００８９】
第３実施形態の撮像システムは、撮像装置と処理装置とから構成される。本実施形態では撮像装置としてカメラを用い、処理装置としてコンピュータを用いた場合について説明する。しかし、これらに限られることはない。
【００９０】
カメラは、光学系１と、撮像素子２と、フォーカスレンズ移動部２２と、フォーカスレンズ位置検出部４と、合焦位置保存部５と、合焦位置差算出部６と、第１画像処理部３２と、第１画像表示部３３と、記録部３０と、第１通信部３１と、制御部１０とを備える。第２実施形態と同じ構成については、第３実施形態と同じ符号を付し、ここでの説明は省略する。
【００９１】
第１画像処理部３２は、合焦位置検出部２３と、画像回復値算出部１２と、被写体認識部２１とを備える。
【００９２】
記録部３０は、撮像素子２によって得られた画像データを記録する。また、記録部３０は、画像回復値算出部１２によって算出された画像補正値を記録する。なお、画像データと画像補正値とは相関を持って記録される。
【００９３】
第１通信部３１は、記録部３０に記録された画像データと画像補正値とを読み出し、コンピュータの第２通信部３４に無線を介して画像データと画像回復値との信号を送る。
【００９４】
コンピュータは、第２通信部３４と、第２画像処理部３５と、第２画像表示部３６と、画像保存部３７とを備える。
【００９５】
第２通信部３４は第１通信部３１から送られた画像データと画像補正値の信号を受信する。受信した信号は第２画像処理部３５に送られる。
【００９６】
第２画像処理部３５は画像回復部３８を備える。画像回復部３８は、受信した画像データに対して画像補正値に基づいて画像処理を行う。
【００９７】
第２画像表示部３６は、第２画像処理部３５によって作成された画像データに基づいて画像を表示する。画像保存部３７は、第２画像処理部３５によって作成された画像データを保存する。
【００９８】
第３実施形態の撮像システムは、撮像素子２によって得られた画像データと画像回復値算出部１２によって算出された画像回復値とを記録部３０に記憶させて、第１通信部３１からコンピュータの第２通信部３４へ画像データと画像回復値とを送信する。そして、コンピュータの第２通信部３４で受信した画像データと画像回復値とに基づいて画像回復部３８によって画像処理を行い、画像全体でピントの合った画像を作成する。
【００９９】
本発明の第３実施形態の効果について説明する。
【０１００】
カメラの第１通信部３１からコンピュータの第２通信部３４へ画像データおよび画像回復値を送ることで、カメラにおける記憶容量を少なくすることができる。また、カメラにおける画像処理を少なくすることができる。また、カメラと離れた場所に設定されたコンピュータで画像処理を随時行うことができる。
【０１０１】
なお、各実施形態では、構図中に２つの被写体がある場合について説明を行ったが、これに限られることはなく、構図中に３つ以上の被写体がある場合においても、上記方法によって撮影を行うことができる。
【０１０２】
各実施形態の構成においては、上記構成に限られることはなく、ハードウェア、ソフトウェアの組み合わせによって実現することが可能である。また、各実施形態を組み合わせることも可能である。
【０１０３】
この場合、撮像システムは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記撮像システムと同様の処理を実現させる。
【０１０４】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【０１０５】
本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。
【符号の説明】
【０１０６】
１      光学系
２      撮像素子
３、２２      フォーカスレンズ移動部
４      フォーカスレンズ位置検出部
５      合焦位置保存部
６      合焦位置差算出部
７、２０      画像処理部
８      画像表示部
１０    制御部
１１    合焦位置検出部
１２    画像回復値算出部
１３、３８    画像回復部
１５    第１被写体
１６    第２被写体
２１    被写体認識部
３０    記録部
３１    第１通信部
３２    第１画像処理部
３３    第１画像表示部
３４    第２通信部
３５    第２画像処理部
３６    第２画像表示部
【図１】
2010288180.tif 000003
【図２】
2010288180.tif 000004
【図３】
2010288180.tif 000005
【図４】
2010288180.tif 000006
【図７】
2010288180.tif 000007
【図８】
2010288180.tif 000008
【図１０】
2010288180.tif 000009
【図５】
2010288180.tif 000010
【図６】
2010288180.tif 000011
【図９】
2010288180.tif 000012