(57)【要約】【課題】簡易な構成で、フォーカス動作による画像の劣化を効果的に抑制することが可能な画像処理装置を提供する。【解決手段】画像処理装置（１３０）は、フォーカスレンズ（１５１）を制御するフォーカス制御手段（１３１）と、フォーカスレンズ（１５１）を介して取得された画像の倍率を補正する倍率補正手段（１３４）とを有し、倍率補正手段（１３４）は、画像の被写体距離情報に基づいて、フォーカスレンズ（１５１）の移動に伴う画像の倍率の変化が小さくなるように、倍率を補正する。【選択図】図１
2020010269.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスレンズを制御するフォーカス制御手段と、
前記フォーカスレンズを介して取得された画像の倍率を補正する倍率補正手段と、を有し、
前記倍率補正手段は、前記画像の被写体距離情報に基づいて、前記フォーカスレンズの移動に伴う前記画像の倍率の変化が小さくなるように、前記倍率を補正することを特徴とする画像処理装置。
【請求項２】
前記倍率補正手段は、前記画像における被写体領域ごとに前記倍率を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体領域は、第１の被写体距離である第１の被写体領域と、前記第１の被写体距離とは異なる第２の被写体距離である第２の被写体領域と、を含み、
前記倍率補正手段は、前記第１の被写体領域の倍率を基準として、前記第２の被写体領域の前記倍率を補正することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の被写体領域の前記倍率は、最大の倍率であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記倍率補正手段は、前記被写体距離情報に基づいて算出された、前記画像における第１の被写体領域と第２の被写体領域との距離差に基づいて、前記倍率を補正することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記倍率補正手段は、
前記距離差に基づいて補正値を算出し、
前記フォーカス制御手段が前記第２の被写体領域に合焦するように前記フォーカスレンズを制御した場合、前記補正値を用いて前記第１の被写体領域の前記倍率を補正することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記倍率補正手段は、前記フォーカスレンズを含む撮像光学系の現在の状態を示す情報に基づいて、前記倍率を補正することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記撮像光学系の現在の状態を示す前記情報は、前記フォーカスレンズの位置、ズームレンズの位置、絞りの位置、および、前記フォーカスレンズの可動範囲に関する情報を含むことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記倍率補正手段は、ズーム倍率を固定した状態で前記フォーカスレンズが移動した場合に生じる前記倍率の変化を補正することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の画像処理装置と、
撮像光学系を介して形成される光学像を光電変換する撮像素子と、を有することを特徴とする撮像装置。
【請求項１１】
フォーカスレンズを制御するステップと、
前記フォーカスレンズを介して取得された画像の倍率を補正するステップと、を有し、
前記画像の倍率を補正するステップにおいて、前記画像の被写体距離情報に基づいて、前記フォーカスレンズの移動に伴う前記画像の倍率の変化が小さくなるように前記倍率を補正することを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
請求項１２に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカス動作による画角変化を補正する画像処理装置および撮像装置に関する。
【背景技術】
【０００２】
一般的に、撮像装置は、フォーカス動作の際に焦点距離が変化する。このため、被写体距離に応じて画角（画像の倍率、すなわち像倍率）が変動してしまう。そこで、例えば特許文献１には、フォーカス動作によるレンズ群の間隔の変化に応じて他のレンズ群を移動させることで、全系の焦点距離が変化しないように補正する自動合焦用レンズ系が開示されている。特許文献２には、フォーカス動作時のウォーブリング動作を制御して像倍率の変化を抑制する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２５０３４４２号公報
【特許文献２】特許第５７０５０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された自動合焦用レンズ系では、レンズ鏡筒が大型化するため、撮像装置の軽量化および小型化を実現することが困難である。特許文献２に開示された画像処理装置では、ウォーブリングのストロークを十分に確保することができないため、デフォーカス量が大きい場合に被写体に合焦させることが難しい。
【０００５】
そこで本発明は、簡易な構成で、フォーカス動作による画像の劣化を効果的に抑制することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理装置は、フォーカスレンズを制御するフォーカス制御手段と、前記フォーカスレンズを介して取得された画像の倍率を補正する倍率補正手段とを有し、前記倍率補正手段は、前記画像の被写体距離情報に基づいて、前記フォーカスレンズの移動に伴う前記画像の倍率の変化が小さくなるように、前記倍率を補正する。
【０００７】
本発明の他の側面としての撮像装置は、前記画像処理装置と、撮像光学系を介して形成される光学像を光電変換する撮像素子とを有する。
【０００８】
本発明の他の側面としての画像処理方法は、フォーカスレンズを制御するステップと、前記フォーカスレンズを介して取得された画像の倍率を補正するステップとを有し、前記画像の倍率を補正するステップにおいて、前記画像の被写体距離情報に基づいて、前記フォーカスレンズの移動に伴う前記画像の倍率の変化が小さくなるように前記倍率を補正する。
【０００９】
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
【００１０】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１１】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１２】
本発明によれば、簡易な構成で、フォーカス動作による画像の劣化を効果的に抑制することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態における撮像システムのブロック図である。
【図２】本実施形態におけるフォーカスによる像倍率の変動補正処理のフローチャートである。
【図３】本実施形態における補正値の算出方法の説明図である。
【図４】本実施形態におけるフォーカスによる像倍率の変動補正処理の効果の説明図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１５】
まず、図１を参照して、本実施形態における撮像システムの構成について説明する。図１は、撮像システム（カメラ−レンズシステム）１０のブロック図である。本実施形態の撮像システム１０は、撮像装置（カメラ本体）１００と、レンズマウント部１８０を介して撮像装置１００に着脱可能なレンズ装置（交換レンズ）１５０とを備えて構成されている。ただし本実施形態は、これに限定されるものはなく、レンズ装置と一体的に構成された撮像装置にも適用可能である。
【００１６】
まず、撮像装置１００の構成について説明する。１０１はシャッターである。１０２は撮像素子である。撮像素子１０２は、例えばＣＣＤセンサーやＣＭＯＳセンサーなどを有し、レンズ装置１５０を介して形成された光学像（被写体像）を光電変換して画像データ（アナログ信号）を出力する。撮像素子１０２は、複数の焦点検出画素を有していてもよい。
【００１７】
１０３は画像生成部である。画像生成部１０３は、撮像素子１０２から出力されたアナログ信号をデジタル信号に変換して画像を生成する。画像生成部１０３により生成された画像は、メモリ制御部１０５および画像処理部１４０へ入力される。１０４はタイミング発生部である。タイミング発生部１０４は、撮像素子１０２、画像生成部１０３、メモリ制御部１０５、システム制御部１３０、および、画像処理部１４０のそれぞれにクロック信号および同期信号を供給する。
【００１８】
１０５はメモリ制御部である。メモリ制御部１０５は、画像生成部１０３、タイミング発生部１０４、画像表示部１０６、メモリ１０７、記録部１０８、および、画像処理部１４０を制御する。画像生成部１０３からの出力データ（画像）は、画像処理部１４０およびメモリ制御部１０５を介して、メモリ１０７および記録部１０８に書き込まれる。
【００１９】
１０６は画像表示部である。画像表示部１０６は、ＬＣＤなどを用いて構成される。電子ビューファインダー（ＥＶＦ）の場合、不図示の外部表示装置や撮像素子１０２を用いて撮像した画像データを逐次表示し、ＥＶＦ機能を実現する。画像再生の際において、画像表示部１０６は、メモリ１０７および記録部１０８に記録された画像を表示する。
【００２０】
１０７はメモリである。メモリ１０７は、撮影した静止画像や動画像を格納するとともに、システム制御部１３０の作業領域としても用いられる。１０８は記録部である。記録部１０８は、撮像装置１００の内部または撮像装置１００より取り外しが可能な不揮発性メモリで構成され、撮影した静止画像や動画像を格納する。
【００２１】
１１０はシャッター制御部である。シャッター制御部１１０は、システム制御部１３０からの制御信号に基づいて、ミラー制御部１１１と連携しながら、シャッター１０１を制御する。ミラー制御部１１１は、システム制御部１３０からの制御信号に基づいて、主ミラー１１２を制御する。主ミラー１１２は、レンズ装置１５０から入射した光束をファインダー側と撮像素子側とに切替える。主ミラー１１２は、常時はファインダー部（光学ファインダー１１４）へ光束を導くよう光束を反射するように配されている。一方、撮影が行われる場合、主ミラー１１２は、撮像素子１０２へ光束を導くように上方に跳ね上がり光路中から待避する。また主ミラー１１２は、その中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための不図示の焦点検出センサーに入射するように透過してもよい。
【００２２】
１１３はペンタプリズムである。ペンタプリズム１１３は、レンズ装置１５０から入射した光束を光学ファインダー１１４へ導く。光学ファインダー１１４は、不図示のピント板やアイピースレンズなどによって構成される。
【００２３】
１１５はシャッタースイッチ（スイッチＳＷ１）である。スイッチＳＷ１は、ＡＦ処理、ＡＥ処理、または、ＡＷＢ処理などの動作開始をシステム制御部１３０へ指示する。１１６はシャッタースイッチ（スイッチＳＷ２）である。スイッチＳＷ２は、露光開始をシステム制御部１３０へ指示する。システム制御部１３０は、露光開始指示を受けて、撮像素子１０２、メモリ制御部１０５、シャッター制御部１１０、ミラー制御部１１１、および、Ｉ／Ｆ（インターフェース）１２０を介してレンズ装置１５０を制御して、記録部１０８に画像データを記録する。
【００２４】
１１７はカメラ操作部である。カメラ操作部１１７は、各種ボタンやタッチパネル、電源オンオフボタンなどから構成され、ユーザの操作により受け付けた指示をシステム制御部１３０に出力する。システム制御部１３０は、カメラ操作部１１７を介したユーザの操作に従って、撮像装置１００に搭載された各種機能、例えばＡＦモード、ＡＥモードといった動作モードの切り替えなどを実施する。
【００２５】
１１８はカメラ電源制御部である。カメラ電源制御部１１８は、外部電池や内蔵電池の管理を行う。電池が取り外された場合や電池残量がなくなった場合、カメラ電源制御部１１８は、カメラ制御（撮像装置１００の制御）の緊急遮断処理を行う。このときシステム制御部１３０は、レンズ装置１５０に供給する電源を遮断する。Ｉ／Ｆ１２０は、コネクタ１９０を介して、撮像装置１００内のシステム制御部１３０とレンズ装置１５０内のレンズ制御部１６０との間で電気信号を用いた通信を実施することで、レンズ装置１５０の情報や制御命令などを送受信する。
【００２６】
システム制御部（画像処理装置）１３０は、スイッチＳＷ１、ＳＷ２、メモリ制御部１０５、カメラ操作部１１７などからの信号に従って、撮像素子１０２、メモリ制御部１０５、シャッター制御部１１０、ミラー制御部１１１、レンズ装置１５０などを制御する。このようにシステム制御部１３０は、各種の制御信号に基づいて撮像装置１００の全体を制御する。本実施形態において、システム制御部１３０は、ＡＦ制御部（フォーカス制御手段）１３１、ＡＥ制御部１３２、レンズ通信制御部１３３、および、像倍率補正制御部（倍率補正手段）１３４を有する。
【００２７】
ＡＦ制御部１３１は、撮像装置１００のＡＦ処理を司る。ＡＦ処理では、ＡＦモードに従い、Ｉ／Ｆ１２０を介してレンズ装置１５０から得られるフォーカス位置や焦点距離などのレンズ情報、入力されるＡＦ評価値から、フォーカスレンズ駆動量を演算する。フォーカスレンズ駆動量は、レンズ通信制御部１３３およびＩ／Ｆ１２０を介してレンズ装置１５０に入力される。例えば、位相差ＡＦモード（位相差検出方式によるＡＦ）の場合、被写体の光学像を主ミラー１１２および不図示の焦点検出用サブミラーを介して不図示の合焦状態判定部に入射させて得られる位相差ＡＦ評価値などからフォーカスレンズ駆動量を演算する。また、コントラストＡＦモード（コントラスト検出方式によるＡＦ）の場合、画像処理部１４０にて演算されるコントラストＡＦ評価値からフォーカスレンズ駆動量を演算する。また、撮像面位相差ＡＦモード（撮像面位相差検出方式によるＡＦ）の場合、撮像素子１０２の複数の焦点検出画素から出力された撮像面位相差ＡＦ評価値からフォーカスレンズ駆動量を演算する。またＡＦ制御部１３１は、１点ＡＦモード、多点ＡＦモード、顔検出ＡＦモードなどのＡＦ評価モード従い、評価値を演算するＡＦ枠位置を切り替える。
【００２８】
ＡＥ制御部１３２は、撮像装置１００のＡＥ処理を司る。ＡＥ処理ではＡＥモードに従い、Ｉ／Ｆ１２０を介してレンズ装置１５０から得られる開放Ｆ値や焦点距離などのレンズ情報、入力されるＡＥ評価値などから、ＡＥ制御量（絞り制御量、シャッター制御量、露光感度など）を演算する。絞り制御量は、レンズ通信制御部１３３およびＩ／Ｆ１２０を介してレンズ装置１５０に入力される。シャッター制御量は、シャッター制御部１１０に入力され、露光感度は撮像素子１０２に入力される。例えばファインダー撮影モードの場合、被写体の光学像を主ミラー１１２およびペンタプリズム１１３を介して、不図示の明るさ判定部に入射させて得られるＡＥ評価値からＡＥ制御量を演算する。ライブビュー撮影モードの場合は、画像処理部１４０にて演算されるＡＥ評価値からＡＥ制御量を演算する。またＡＥ制御部１３２は、評価測光モード、平均測光モード、顔検出測光モードなどの測光モード従い、評価値を演算するＡＥ枠位置および重み付け量を切り替える。
【００２９】
レンズ通信制御部１３３は、撮像装置１００とレンズ装置１５０との通信処理を司る。レンズ通信制御部１３３は、Ｉ／Ｆ１２０を介してレンズ装置１５０が撮像装置１００に装着されたことを検知すると、撮像装置１００とレンズ装置１５０との通信を開始する。またレンズ通信制御部１３３は、任意のタイミングでレンズ情報（レンズＩＤなど）を受信するとともに、カメラ情報（撮像装置１００に関する情報）や駆動命令などを送信する。例えばファインダー撮影モードの場合、システム制御部１３０の制御によって、任意のタイミングでレンズ装置１５０への通信を行う。このとき、ライブビュー撮影モードの場合、任意のタイミング以外にも、タイミング発生部１０４より出力された撮像同期信号に基づいたタイミングで通信してもよい。撮像同期信号に基づいたタイミングで通信を行う場合、タイミング発生部１０４から撮像同期信号が入力されると、レンズ情報（フォーカスレンズ位置、フォーカスレンズ状態、絞り状態、焦点距離など）をまとめて受信する。
【００３０】
像倍率補正制御部１３４は、フォーカスレンズ１５１の可動範囲内において取りうる被写体距離が無限遠の場合のフォーカスレンズ１５１の位置情報、現在のフォーカスレンズ１５１の位置情報、及び現在のバックフォーカスの長さをＩ／Ｆ１２０を通して受信する。像倍率補正制御部１３４は、受信したフォーカスレンズ１５１の現在の位置情報に基づいて、被写体距離が無限遠の場合の位置情報を基準に、現在合焦している被写体の距離を算出する。ニュートンの公式より、被写体距離（撮影レンズの前側主点位置より焦点距離と焦点位置から被写体までの距離の合算値）とバックフォーカス（撮影レンズの後ろ側主点位置より焦点距離と焦点位置から像面までの距離の合算値）の比率は、被写体の像倍率に等しい。つまり被写体ごとにフォーカスレンズの位置情報とバックフォーカスの情報を取得すれば、被写体ごとの像倍率を求めることができる。こうして算出した像倍率に基づいて、像倍率の補正倍率（補正値）を算出し、画像処理部１４０のリサイザ１４１に被写体ごとの像倍率の補正倍率（補正値）を設定する。
【００３１】
画像処理部１４０の距離情報制御部（距離情報算出手段）２００は、被写体ごとに被写体距離情報を取得し、被写体距離情報を各被写体に割り当てる。被写体ごとの被写体距離情報は、位相差方式やＤｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ（ＤＦＤ）方式などにより取得することができる。距離情報制御部２００は、被写体ごとに取得した被写体距離情報に基づいて、後述の図３に示される式を用いて合焦距離の変化による像倍率の変化を算出する。そしてリサイザ１４１は、各被写体をリサイズする際に、距離情報制御部２００により算出された像倍率の変化量を用いる。算出に必要な各数値などの情報は、各部から取得することができ、または、不図示の情報記憶部に記憶させておいてもよい。
【００３２】
画像処理部１４０は、画像生成部１０３からのデジタル画像信号またはメモリ制御部１０５からのデータに対して、所定の画素補完処理や色変換処理を行い、画像データを生成する。また画像処理部１４０は、デジタル画像信号を用いて所定の演算処理を行う。
【００３３】
次に、レンズ装置１５０の構成について説明する。レンズ装置１５０は、フォーカスレンズ１５１、ズームレンズ１５２、絞り１５３、および、防振制御レンズ１５４を備えて構成される撮像光学系を有する。なお、図１では各レンズとして１枚のレンズが示されているが、複数のレンズから構成されるレンズ群でもよい。撮像光学系を介して入射した光線は撮像素子１０２に導かれ、撮像素子１０２に光学像として結像する。
【００３４】
フォーカスレンズ１５１は、光軸ＯＡに沿った方向（光軸方向）に移動して撮像光学系のピント（焦点状態）を変化させる。ズームレンズ１５２は、光軸方向に移動して撮像光学系の焦点距離を変化させる。絞り１５３は、その開口径（絞り値：Ｆ値）が可変であり，開口径に応じて光量を変化させる。防振制御レンズ１５４は、光軸ＯＡに対して直交する方向（光軸直交方向）に移動することにより、手振れなどのカメラ振れによる像ブレを低減する。
【００３５】
フォーカス制御部１５５は、レンズ制御部１６０またはレンズ操作部１６１により制御され、フォーカスレンズ１５１を駆動する。またフォーカス制御部１５５は、フォーカスレンズ１５１の位置などのフォーカス情報をレンズ制御部１６０へ出力する。ズーム制御部１５６は、レンズ制御部１６０またはレンズ操作部１６１により制御され、ズームレンズ１５２を駆動する。またズーム制御部１５６は、焦点距離などのズーム情報をレンズ制御部１６０へ出力する。絞り制御部１５７は、レンズ制御部１６０またはレンズ操作部１６１により制御され、絞り１５３を駆動する。また絞り制御部１５７は、絞り値などの絞り情報をレンズ制御部１６０へ出力する。
【００３６】
角速度検出部１５８は、レンズ制御部１６０により制御され、レンズの角速度（Ｙａｗ、Ｐｉｔｃｈ）を検出し、レンズ制御部１６０へ出力する。防振制御部１５９は、レンズ制御部１６０により制御され、防振制御レンズ１５４を駆動する。また防振制御部１５９は、防振可能範囲などの防振情報をレンズ制御部１６０へ出力する。
【００３７】
レンズ制御部１６０は、レンズ操作部１６１またはＩ／Ｆ１７０からの入力に従い、フォーカス制御部１５５、ズーム制御部１５６、絞り制御部１５７、角速度検出部１５８、および、防振制御部１５９などを制御することで、レンズ装置１５０の全体を制御する。またレンズ制御部１６０は、各制御部や検出部などから入力された情報を、Ｉ／Ｆ１７０で受信したレンズ情報取得命令に従って、Ｉ／Ｆ１７０を介して撮像装置１００へ送信する。またレンズ制御部１６０は、フォーカス制御部１５５およびズーム制御部１５６からのフォーカス情報およびズーム情報を用いて、撮像光学系の焦点距離と、バックフォーカスを演算する。フォーカスレンズ１５１の可動範囲内で取りうる最大焦点距離と、フォーカスレンズ１５１の現在位置での焦点距離変動率を演算する。そしてレンズ制御部１６０は、それらの演算結果を、Ｉ／Ｆ１７０を介して撮像装置１００へ送信する。このときレンズ制御部１６０は、撮像装置１００からの要求に基づき、その応答として最大焦点距離および焦点距離変動率の演算結果を送信してもよい。
【００３８】
レンズ操作部１６１は、フォーカス操作リング、ズーム操作リング、ＡＦ／ＭＦスイッチ、および、ＩＳオンオフスイッチなどからなり、ユーザの操作により受け付けた指示をレンズ制御部１６０に出力する。レンズ制御部１６０は、レンズ操作部１６１より入力された指示に基づき、Ｉ／Ｆ１７０を介してユーザ操作内容を撮像装置１００へ送信する。撮像装置１００のシステム制御部１３０は、Ｉ／Ｆ１２０を介してユーザ操作内容を受信し、レンズ装置１５０に搭載された各種機能についての動作モードの切り替えを実施する。
【００３９】
Ｉ／Ｆ１７０は、コネクタ１９０を介して、撮像装置１００のシステム制御部１３０とレンズ装置１５０のレンズ制御部１６０との間で電気通信を用いた通信を実施することで、レンズ装置１５０の情報や制御命令などを送受信する。
【００４０】
次に、図２を参照して、本実施形態におけるフォーカスによる像倍率の変動補正処理（画像処理方法）について説明する。図２は、画像処理方法を示すフローチャートである。図２の各ステップは、主に、システム制御部１３０および画像処理部１４０により実行される。
【００４１】
まず、システム制御部１３０が撮像装置１００の撮影動作を開始すると、ステップＳ１２において、画像処理部１４０は、画像生成部１０３から撮影画像を取得し、撮影画像の被写体（被写体領域）を距離（被写体距離）ごとに識別する。続いてステップＳ１３において、画像処理部１４０（距離情報制御部２００）は、不図示の位相差方式やＤＦＤ方式等により、被写体ごとに距離情報（被写体距離情報）を算出する。このとき画像処理部１４０は、フォーカスレンズ１５１の移動量に基づいて、被写体ごとの距離情報を算出することができる。または、距離情報制御部２００は、位相差方式やＤＦＤ方式により被写体距離を測定してもよい。
【００４２】
続いてステップＳ１４において、システム制御部１３０（画像処理部１４０）は、ステップＳ１３にて取得した被写体ごとの距離情報を、被写体ごとに関連付けを行う。このときの被写体距離の分解能は、例えば撮像光学系の焦点距離と絞り値と最小錯乱円径とに基づいて決定される。このため、撮像光学系から取得する光学情報は、フォーカスレンズ１５１の位置情報、ズームレンズ１５２の位置情報、絞り１５３の位置情報、および、フォーカスレンズの位置情報として取りうる範囲（可動範囲）に関する情報を含むことが好ましい。
【００４３】
続いてステップＳ１５において、システム制御部１３０（ＡＦ制御部１３１）は、レンズ操作部１６１を介したユーザによる操作に応じて、フォーカス制御部１５５を介してフォーカスレンズ１５１を駆動し、被写体Ａ（第１の被写体領域）に合焦させる。続いてステップ１６において、システム制御部１３０（ＡＦ制御部１３１）は、ステップＳ１５にて合焦した被写体Ａとは異なる距離（被写体距離）に位置する被写体Ｂ（第２の被写体領域）に合焦させるように、フォーカスレンズ１５１を駆動する。ステップＳ１６は、ユーザがズーム操作を行うことなく、すなわちズーム倍率を固定した状態で、合焦している被写体を変更する場合の操作を示している。
【００４４】
続いてステップＳ１７において、システム制御部１３０（像倍率補正制御部１３４）は、ステップ１５にて合焦した被写体Ａの距離（被写体距離）と、ステップ１６にて合焦した被写体Ｂの距離（被写体距離）との差分（距離差）算出する。この被写体距離の差分（距離差）は、後述の図３中の物体面とｄｅｆ面との間の距離ｄｅｆに相当する。
【００４５】
続いてステップＳ１８において、システム制御部１３０（像倍率補正制御部１３４）は、ステップＳ１７にて算出した距離差、および、各部から取得されたデータに基づいて、後述の図３に示される式を用いて被写体距離ごとの像倍率の補正値を算出する。続いてステップＳ１９において、システム制御部１３０（像倍率補正制御部１３４）は、被写体Ａの距離における像倍率の補正値を用いて、被写体Ａおよび被写体Ａと同じ距離に位置する他の被写体をリサイズする（倍率を変更する）。すなわちシステム制御部１３０は、被写体Ｂに合焦したとき、被写体Ａのデフォーカス像にステップＳ１８にて算出した倍率の補正値を掛ける。これにより、システム制御部１３０は、ステップＳ１６にて合焦する被写体距離の変化に伴う被写体Ａの像倍率の変化を補正することができる。
【００４６】
続いてステップＳ２０において、システム制御部１３０（像倍率補正制御部１３４）は、撮影画像において、被写体Ａから被写体Ｂへ合焦距離を変更したことに伴い、像倍率の補正値を算出する。像倍率の補正値は、被写体の被写体距離（物体距離）ごとに、合焦距離の変化量に応じて後述の図３中の式により算出される。そしてシステム制御部１３０は、それぞれの被写体距離に相当する補正値を適用して画像をリサイズする。すなわちシステム制御部１３０は、被写体距離の異なる各被写体に関して、前述と同様に倍率を変更する。
【００４７】
次に、図３を参照して、本実施形態における像倍率の補正値の算出方法について説明する。図３は、補正値の算出方法の説明図であり、被写体距離の異なる被写体における像倍率を説明するための光学的配置を示している。通常、物体高と像高とは共役の関係にあり、像倍率は物体高と像高の比率で表される。合焦位置が被写体Ａの被写体距離Ｘｏｂｊ１である場合、それよりも無限遠側に離れた位置に存在する被写体Ｂのデフォーカス像の像倍率を１βｄｅｆとする。このとき、この被写体Ｂのデフォーカス像の像倍率１βｄｅｆは、デフォーカス像の物体高を１Ｙｐｒ＿ｄｅｆ、デフォーカス像の像高を１Ｙ′ｐｒとすると、以下の式（１）のように表される。
【００４８】
１βｄｅｆ＝１Ｙ′ｐｒ／１Ｙｐｒ＿ｄｅｆ    ・・・（１）
その後、例えば合焦位置が被写体Ｂの被写体距離Ｘｏｂｊ２に変化した場合、被写体Ｂの合焦像の像倍率は２βとなる。このとき合焦像の像倍率２βは、被写体Ｂの合焦像の物体高を２Ｙｐｒ、合焦像の像高を２Ｙ′ｐｒとすると、以下の式（２）のように表される。
【００４９】
２β＝２Ｙ′ｐｒ／２Ｙｐｒ    ・・・（２）
合焦距離の変化による像倍率を補正するための補正値βは、以下の式（３）のように表される。
【００５０】
β＝１βｄｅｆ／２β    ・・・（３）
補正値βは、被写体距離ごとに変化するため、最初の合焦距離を基準として、合焦距離が変化する際に被写体距離に応じて算出される。ここで、ステップＳ１７で算出した距離差をＤｅｆとすると、ニュートンの公式より、以下の式（４）および（５）が成り立つ。
【００５１】
１βｄｅｆ＝ＢＦ１／（Ｘｏｂｊ１＋Ｄｅｆ）    ・・・（４）
２β＝ＢＦ２／Ｘｏｂｊ２    ・・・（５）
式（３）乃至（５）より、以下の式（６）を導くことができる。
【００５２】
β＝｛ＢＦ１／（Ｘｏｂｊ１＋Ｄｅｆ）｝／（ＢＦ２／Ｘｏｂｊ２）    ・・・（６）
ゆえに、それぞれの被写体の被写体距離と、フォーカスの位置より求められる撮像光学系のバックフォーカスの値があれば、像倍率を補正するためのβを算出することができる。
【００５３】
そして、被写体距離ごとに画像をリサイズする（像倍率を変更する）ことにより、合焦距離の変化による合焦像と非合焦像との倍率は略一定に保たれ、画質を劣化させることはない。このとき、像倍率の補正値が大きい被写体を基準として倍率補正を行うことにより、例えば背景のような被写体距離が遠い像が縮小して画面にデータが無い領域が発生することを防止することができる。
【００５４】
また、このようなフォーカスによる像倍率の変動補正処理は、撮影画像を再生する場合にも応用できる。例えば、撮影中に画像をモニター等で観察する際、各画像についてこの処理を行うことにより、撮影の際に撮影画像に与えられる効果をユーザが目視で確認することができる。
【００５５】
また、多重露光のような連続撮影においても、このフォーカスによる像倍率の変動補正処理は応用可能である。例えば、ＨＤＲ撮影を行う場合、露出の違う複数の画像を撮影する。このとき、フォーカスが変化すると像倍率が変化してしまう。その結果、画像を重ね合わせる際に、重ならなくなってしまう。一方、本実施形態の像倍率補正を行うことにより、各被写体像の大きさが変化せずに高精度の画像の重ね合わせを実現することができる。
【００５６】
次に、図４を参照して、撮像システム１０のフォーカスによる像倍率の変動補正処理の効果について説明する。図４は、フォーカスによる像倍率の変動補正処理の効果を示す説明図であり、被写体距離の異なる３つの札を撮影した画像のイメージ図を示している。
【００５７】
図４（ａ）は、撮像システム１０の最も近くに配置された「一番前」の札に合焦しているイメージ図である。図４（ｂ）は、図４（ａ）の次に撮像システム１０の近くに配置された「真ん中」の札に合焦しているイメージ図である。図４（ｃ）は、撮像システム１０から最も遠くに配置された『最も後』の札に合焦しているイメージ図である。これらの３枚の画像は、単焦点レンズを用いて取得された、焦点距離が変化していない（一定の焦点距離の）撮影画像である。
【００５８】
しかし、例えば「一番前」の札に注目すると、合焦距離が変化して「真ん中」の札に合焦している図４（ｂ）と「一番前」の札に合焦している図４（ａ）とを比較すると、「一番前」の札の大きさが異なっている。本実施形態では、被写界深度を浅くして効果を分かりやすくしているが、例えば被写界深度が深い広角レンズで撮影をする場合、合焦位置が変化するだけで、ユーザが広角レンズの焦点距離を変更していないにもかかわらず、手前の像が合焦したまま大きく写り込む。その結果、フォーカシング動作を行っているにもかかわらず、ズーミングを行って撮影したような画像となってしまう。本実施形態によれば、被写体距離ごとに図３中の式を用いて像倍率の補正量を算出してリサイズすることにより、このような像倍率の変動を防止することができる。この処理を、フォーカスによる像倍率の変動補正処理と呼ぶ。
【００５９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６０】
本実施形態において、撮像装置は、撮影画像に対して、フォーカスレンズ駆動により生じる被写体距離ごとの像倍率変動を補正することができる。このため本実施形態によれば、簡易な構成で、フォーカス動作による画像の劣化を効果的に抑制することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することが可能である。
【００６１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６２】
１３０  システム制御部（画像処理装置）
１３１  ＡＦ制御部（フォーカス制御手段）
１３４  像倍率補正制御部（倍率補正手段）
１５１  フォーカスレンズ
【図１】
2020010269.tif 000003
【図２】
2020010269.tif 000004
【図３】
2020010269.tif 000005
【図４】
2020010269.tif 000006