(57)【特許請求の範囲】
【請求項１】
撮影された画像のデフォーカス量を算出する第１の算出手段と、
前記デフォーカス量に基づいて、撮像素子上の第１の錯乱円径を算出する第２の算出手段と、
前記第１の錯乱円径に基づいて、前記画像の出力面上の第２の錯乱円径を算出する第３の算出手段と、
前記第２の錯乱円径が所定の閾値よりも大きい場合、前記画像の前記出力面への出力を制限する制限手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記制限手段は、ユーザに警告を促す、または前記画像の前記出力面への出力を禁止することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の錯乱円径は、前記出力面のサイズに対応することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記所定の閾値は、ユーザによって入力される値、またはユーザから前記出力面までの距離に基づいて算出される値であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記デフォーカス量は、撮影された静止画、または動画から一部のデータを抜き出して生成された静止画に基づいて算出されることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の錯乱円径は、前記デフォーカス量と撮像光学系のＦ値に基づいて算出されることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
それぞれの画素が第１の焦点検出画素と第２の焦点検出画素を備え、画像を生成する撮像素子と、
前記第１および第２の焦点検出画素から取得された信号に基づいて、撮影された画像のデフォーカス量を算出する第１の算出手段と、
前記デフォーカス量に基づいて、撮像素子上の第１の錯乱円径を算出する第２の算出手段と、
前記第１の錯乱円径に基づいて、前記画像の出力面上の第２の錯乱円径を算出する第３の算出手段と、
前記第２の錯乱円径が所定の閾値よりも大きい場合、前記画像の前記出力面への出力を制限する制限手段と、を有することを特徴とする撮像装置。
【請求項８】
請求項１から６のいずれか１項に記載の画像処理装置と、
前記出力面に画像形成を行う画像形成装置と、を有することを特徴とする画像表示システム。
【請求項９】
前記画像形成装置は、記録媒体に画像形成を行う印刷装置、ディスプレイに画像形成を行う画像表示システム、または照射面に画像形成を行う投射装置であることを特徴とする請求項８に記載の画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像表示システムに関する。
【背景技術】
【０００２】
近年、静止画撮影を行う際だけでなく、動画撮影を行う際にもオートフォーカス（以下、ＡＦという）の機能を用いてピント調整を行うことが多くなってきている。撮影した動画から静止画を切り出すことで、撮影が難しい瞬間を狙った静止画を撮影することも可能となり、撮影の幅が広がっている。
【０００３】
一般的に、静止画撮影と動画撮影では、ＡＦ時に異なる方法でレンズを移動させる。静止画撮影の場合、被写体に対してより速く合焦する位置までレンズを駆動することが重要である。一方、動画撮影の場合、レンズを移動させる過程も動画記録として保存されるため、レンズを速く移動させることよりも被写体に対しスムーズにレンズを駆動することが重要である。また、動画を撮影する際にユーザが不満を感じる例として、レンズが合焦点を通り過ぎた後、戻ってくる動作が挙げられる。そのため、動画用ＡＦでは、合焦点を飛び越えないように、レンズを合焦点に近づくにつれ減速させる。動画用ＡＦを用いて撮影した動画から静止画を切り出すと、被写体が動いている（ピント位置が変動している）場合があるため、被写体に対してはピント位置がずれていることが多い。すなわち、動画用ＡＦを用いて撮影した動画から切り出した静止画は、静止画用ＡＦを用いて撮影した静止画と比べるとピントの精度が良好でない。ピント精度が良好でない静止画をプリントしたり、ディスプレイにて拡大表示したりすると、ピントのズレが目立ってしまう。
【０００４】
そこで、特許文献１のカメラでは、撮影後に画像を印刷する印刷用紙サイズや表示部の画面大きさなど、再生出力時の画像サイズに応じて、許容ブレ量を算出し、それに基づいてブレ軽減撮影を行う。また、特許文献２の撮像装置では、撮影時の合焦精度に応じて、スライドショーでの表示や印刷の際に警告表示を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２４４４９０号公報
【特許文献２】特許第５５７６６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のカメラでは、観賞サイズをあらかじめカメラに入力する必要があるため、撮影後の観賞サイズの自由度がなくなってしまう。また、特許文献２の撮像装置では、合焦しているか否かを元に印刷・表示を禁止するので、ピントずれが気にならない観賞サイズでも警告表示を行う。また、合焦と判定され警告表示を行わない場合であっても、非常に大きい観賞サイズではわずかなピントずれが気になる場合もあり、結果として合焦度合いに応じた印刷・表示の自由度が削がれている。
【０００７】
このような課題に鑑みて、本発明は、合焦度合いに応じた適正な印刷・表示サイズをユーザが知ることができ、印刷ミスなどを事前に防ぐことが可能な画像処理装置、撮像装置、および画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、撮影された画像のデフォーカス量を算出する第１の算出手段と、前記デフォーカス量に基づいて、撮像素子上の第１の錯乱円径を算出する第２の算出手段と、前記第１の錯乱円径に基づいて、前記画像の出力面上の第２の錯乱円径を算出する第３の算出手段と、前記第２の錯乱円径が所定の閾値よりも大きい場合、前記画像の前記出力面への出力を制限する制限手段と、を有することを特徴とする。
【０００９】
また、本発明の他の側面としての撮像装置は、それぞれの画素が第１の焦点検出画素と第２の焦点検出画素を備え、画像を生成する撮像素子と、前記第１および第２の焦点検出画素から取得された信号に基づいて、撮影された画像のデフォーカス量を算出する第１の算出手段と、前記デフォーカス量に基づいて、撮像素子上の第１の錯乱円径を算出する第２の算出手段と、前記第１の錯乱円径に基づいて、前記画像の出力面上の第２の錯乱円径を算出する第３の算出手段と、前記第２の錯乱円径が所定の閾値よりも大きい場合、前記画像の前記出力面への出力を制限する制限手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、合焦度合いに応じた適正な印刷・表示サイズをユーザが知ることができ、印刷ミスなどを事前に防ぐことが可能な画像処理装置、撮像装置、および画像表示システムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置を備える撮像装置の構成を示すブロック図である。
【図２】撮像素子の構造を示す図である。
【図３】撮像素子の瞳分割機能の説明図である。
【図４】撮像素子と瞳分割との対応関係を示した概略図である。
【図５】第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の説明図である。
【図６】デフォーカス量の算出方法を示すフローチャートである。
【図７】第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングの説明図である。
【図８】フィルター周波数帯域例を示す図である。
【図９】印刷・表示処理を示すフローチャートである。
【図１０】用紙サイズと用紙上の錯乱円径の関係を示す図である。
【図１１】鑑賞距離と許容錯乱円径の関係を示す図である。
【図１２】ユーザインターフェースの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。［全体構成］
図１を参照して、本発明の実施形態に係る画像処理装置を備える撮像装置について説明する。図１（ａ）は、撮像装置の構成を示すブロック図である。第１レンズ群１０１は、撮像光学系を構成する複数のレンズ群のうち最も前端（被写体側）に位置し、光軸ＯＡに沿って移動可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光秒時調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸ＯＡに沿って移動し、第１レンズ群１０１の移動と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸ＯＡに沿って移動することで焦点調節を行うフォーカスレンズ群である。光学的ローパスフィルター１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば、ＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成され、被写体像（光学像）の光電変換を行う。
【００１３】
ズームアクチュエータ１１１は、カム筒（不図示）を回動することで、第１レンズ群１０１または第２レンズ群１０３を光軸に沿って移動させることにより変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影時の光量を調節するとともに、静止画撮影時の露光時間の制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸ＯＡに沿って移動させることで焦点調節を行う。
【００１４】
電子フラッシュ１１５は、撮影時に被写体を照明するために用いられる。電子フラッシュ１１５には、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光部１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写界に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。
【００１５】
ＣＰＵ（画像処理装置）１２１は、撮像装置内の種々の制御を司る。ＣＰＵ１２１は、演算部、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、各部を駆動し、焦点検出、撮影、画像処理、または記録などの一連の動作を制御する。図１（ｂ）に示されるように、ＣＰＵ１２１は、焦点検出部（第１の算出手段）１２１ａ、第１錯乱円径算出部（第２の算出手段）、第２錯乱円径算出部（第３の算出手段）１２１ｃ、判定部１２１ｄおよび制限部（制限手段）１２１ｅを備える。本実施形態ではＣＰＵ１２１は撮像装置内に設けられているが、ＣＰＵ１２１を他の装置に設けてもよい。その場合、ＣＰＵ１２１を備えた装置を印刷装置、表示装置（ディスプレイ）、または照射装置といった画像形成装置に接続することで、画像表示システムとして使用することができる。
【００１６】
電子フラッシュ制御回路１２２は、撮影動作に同期して照明手段１１５の点灯制御を行う。補助光回路１２３は、焦点検出動作に同期してＡＦ補助光部１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、またはＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮などの処理を行う。
【００１７】
フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸に沿って移動させることで焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００１８】
表示器１３１は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および撮影モード選択スイッチなどを備えて構成される。フラッシュメモリ１３３は、例えば撮像装置に着脱可能であり、撮影済み画像を記録する。
［撮像素子］
図２を参照して、撮像素子１０７の構造について説明する。図２は、撮像素子１０７の構造を示す図である。図２（ａ）は撮像素子１０７の画素配列の説明図、図２（ｂ）は画素２００Ｇの拡大図、図２（ｃ）は図２（ｂ）のａ−ａ線断面図である。
【００１９】
図２（ａ）は、撮像素子１０７の画素配列を４列×４行の画素範囲で示している。画素群２００の配列は２列×２行であり、ベイヤー配列が採用されている。対角方向の２画素として、Ｇ（緑）の分光感度を有する画素２００Ｇが配置されている。また、他の２画素として、Ｒ（赤）の分光感度を有する画素２００Ｒ、およびＢ（青）の分光感度を有する画素２００Ｂがそれぞれ配置されている。各画素は、２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２を有する。
【００２０】
撮像素子１０７は、４列×４行の画素配列（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）を取得する。本実施形態の撮像素子１０７では、画素の周期は４μｍ、画素数は約２０７５万画素（＝横５５７５列×縦３７２５行）、焦点検出画素の列方向周期は２μｍ、焦点検出画素数は約４１５０万画素（＝横１１１５０列×縦３７２５行）である。
【００２１】
図２（ｂ）に示されるように、画素２００Ｇは、第１焦点検出画素２０１に対応する光電変換部３０１と、第２焦点検出画素２０２に対応する光電変換部３０２を備える。図２（ｃ）に示されるように、マイクロレンズ３０５は、画素ごとに設けられる。マイクロレンズ３０５は、画素の受光側に配置され、入射光を集光する。カラーフィルター３０６は、マイクロレンズ３０５と画素との間に配置される。なお、必要に応じて、焦点検出画素ごとにカラーフィルター３０６の分光透過率を変えてもよいし、カラーフィルター３０６を省略してもよい。
【００２２】
画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光された後、光電変換部３０１，３０２で受光される。光電変換部３０１，３０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１０７の外部に排出される。光電変換部３０１，３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。光電変換部３０１，３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしてもよいし、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。
【００２３】
図３は、撮像素子１０７の瞳分割機能の説明図であり、画素２００Ｇにおける瞳分割の様子を示している。瞳領域５００は、光電変換部３０１と光電変換部３０２を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。第１瞳部分領域５０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５によって、概ね、共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域である。また、第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５によって、概ね、共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域である。
【００２４】
図４は、撮像素子１０７と瞳分割との対応関係を示した概略図である。撮像素子１０７は、撮像面８００に配置される。瞳部分領域を通過した光束はそれぞれ、撮像素子１０７の各画素に異なる角度で入射する。各画素において、第１焦点検出画素は第１瞳部分領域５０１を通過する光束を受光し、第２焦点検出画素は第２瞳部分領域５０２を通過する光束を受光する。各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成することで、焦点検出を行う。また、撮像素子の画素ごとに、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。本実施形態では、第１および第２瞳部分領域５０１，５０２を合わせた瞳領域を通過する光束を受光する撮像画素は、第１および第２焦点検出画素２０１，２０２を有する。しかしながら、撮像画素と、第１および第２焦点検出画素２０１，２０２を個別の画素構成とし、撮像画素配列の一部に第１および第２焦点検出画素を部分的に配置してもよい。また、本実施形態では、瞳領域を水平方向に２つに瞳分割しているが、必要に応じて、垂直方向に瞳分割してもよい。
［デフォーカス量と像ずれ量の関係］
図５を参照して、撮像素子１０７により取得される第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係について説明する。図５は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の説明図である。撮像素子１０７は撮像面８００に配置され、撮像光学系の射出瞳は第１瞳部分領域５０１と第２瞳部分領域５０２に分割される。
【００２５】
デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離であり、被写体の結像位置が撮像面８００より被写体側にある前ピン状態を負符号、被写体の結像位置が撮像面８００より被写体の反対側にある後ピン状態を正符号として表される。被写体の結像位置が撮像面（合焦位置）に位置する合焦状態のとき、デフォーカス量ｄは０である。被写体が位置８０１に位置するとき合焦状態（ｄ＝０）であり、位置８０２に位置するとき前ピン状態（ｄ＜０）である。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。
【００２６】
前ピン状態（ｄ＜０）では、位置８０２に位置する被写体からの光束のうち第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は一度集光する。その後、撮像面８００で光束の重心位置Ｇ１（Ｇ２）を中心としてボケ幅Γ１（Γ２）だけ広がったボケた像となる。ボケた像は、第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、位置８０２に位置する被写体が撮像面８００上の重心位置Ｇ１（Ｇ２）に幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさが増えると増加する。同様に、第１焦点検出信号と第２焦点検出信号の間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさも、デフォーカス量ｄの大きさが増えると増加する。後ピン状態（ｄ＞０）も第１焦点検出信号と第２焦点検出信号の間の被写体像の像ずれ方向が前ピン状態と反対となるだけで前ピン状態と同様である。
【００２７】
したがって、本発明では、第１焦点検出信号、第２焦点検出信号、または第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増えると、第１焦点検出信号と第２焦点検出信号の間の像ずれ量の大きさが増加する。
［焦点検出］
図６を参照して、デフォーカス量の検出方法について説明する。本実施形態では、撮影した動画から静止画を切り出した場合を想定している。なお、図６の動作は、ＣＰＵ１２１の焦点検出部（第１の算出手段）１２１ａによって実行される。
【００２８】
図６（ａ）に示されるように、デフォーカス量の検出を開始すると、ステップＳ１０１ではユーザが動画を撮影する。ステップＳ１０２ではユーザが撮影した動画から所望のシーンにおける静止画を切り出し、ステップＳ１０３では、デフォーカス量の算出を行う。
【００２９】
図６（ｂ）に示されるように、デフォーカス量の算出を開始すると、ステップＳ１１０では、撮像素子１０７の有効画素領域の中から焦点調節を行う焦点検出領域を設定する。焦点検出領域において、第１焦点検出画素の受光信号から第１焦点検出信号を生成し、第２焦点検出画素の受光信号から第２焦点検出信号を生成する。
【００３０】
ステップＳ１２０では、信号データ量を抑制するために、第１焦点検出信号と第２焦点検出信号をそれぞれ列方向に３画素加算処理を行い、さらに、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。これら２つの加算処理を合わせて画素加算処理とする。
【００３１】
ステップＳ１３０では、第１および第２焦点検出信号にシェーディング補正処理（光学補正処理）を行う。図７を参照して、第１および第２焦点検出信号の瞳ずれによるシェーディングについて説明する。図７は、第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングの説明図である。図７（ａ）は、撮像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合である。このとき、第１瞳部分領域５０１と第２瞳部分領域５０２により、撮像光学系の射出瞳４００が均等に瞳分割される。図７（ｂ）は、撮像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより短い場合である。このとき、撮像素子１０７の周辺像高では撮像光学系の射出瞳４００と撮像素子１０７の入射瞳が瞳ずれを生じるため、撮像光学系の射出瞳４００が不均一に瞳分割されてしまう。図７（ｃ）は、撮像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより長い場合である。撮像素子１０７の周辺像高では撮像光学系の射出瞳４００と撮像素子１０７の入射瞳が瞳ずれを生じるため、撮像光学系の射出瞳４００が不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になると、第１焦点検出信号または第２焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが発生する。
【００３２】
ステップＳ１３０では、焦点検出領域の像高と、撮像光学系のＦ値および射出瞳距離に応じて、第１焦点検出信号の第１シェーディング補正係数と、第２焦点検出信号の第２シェーディング補正係数をそれぞれ生成する。第１シェーディング補正係数を第１焦点検出信号に乗算し、第２シェーディング補正係数を第２焦点検出信号に乗算して、第１焦点検出信号と第２焦点検出信号のシェーディング補正処理を行う。位相差方式の焦点検出方法では、焦点検出性能を良好とするために、シェーディング補正処理を行うことが望ましい。
【００３３】
ステップＳ１４０では、第１焦点検出信号と第２焦点検出信号にフィルター処理を行う。図８は、フィルター周波数帯域例である。図８において、実線はフィルター処理の通過帯域例を示している。本実施形態では、デフォーカス量が大きい状態で焦点検出を行うため、フィルター処理の通過帯域は低周波帯域を含むように構成される。デフォーカス量が大きい状態からデフォーカス量が小さい状態まで焦点調節を行う際に、デフォーカス状態に応じてフィルター処理の通過帯域を図８に示されるようにより高周波帯域に調整してもよい。
【００３４】
ステップＳ１５０では、第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量（評価値）を算出する。フィルター処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。また、シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とすると、相関量ＣＯＲは式（１）により算出される。
【００３５】
【数１】
0006576155.tif 000002
【００３６】
シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ１番目の第２焦点検出信号Ｂ（ｋ−ｓ１）を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取ることで相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、各行ごとに算出された相関量をシフト量ごとに複数行に渡って加算してもよい。
【００３７】
ステップＳ１６０では、ステップＳ１０５で算出された相関量ＣＯＲ（ｓ１）から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。像ずれ量ｐ１に焦点検出領域の像高と、撮像光学系のＦ値および射出瞳距離に応じた変換係数Ｋ１をかけることでデフォーカス量が算出される。
【００３８】
なお、本実施形態では撮像面位相差ＡＦ方式を用いてデフォーカス量を算出しているが、本発明ではこれに限らずデフォーカス量を算出可能な方式であればどの方式を用いてもよい。例えば、撮像装置の外部に取り付けられた焦点検出手段によって記録されたデフォーカス情報から静止画切り出し位置でのデフォーカス量を参照する方式を用いてもよい。
【００３９】
ステップＳ１０４では、ステップＳ２０３で算出したデフォーカス量を静止画のＥｘｉｆｊ情報に記録する。
【００４０】
次に、図９を参照して、印刷・表示処理について説明する。図９は、印刷・表示処理を示すフローチャートである。
【００４１】
ステップＳ２０１ではユーザが印刷・表示するサイズや観賞距離を設定する。ステップＳ２０２では、Ｅｘｉｆ情報からデフォーカス量を読み取る。ステップＳ２０３では、ＣＰＵ１２１の第１錯乱円径算出部１２１ｂが撮像素子上の錯乱円径Ｄを算出する。錯乱円径Ｄは、一般的に式（２）により求められる。
【００４２】
Ｄ＝ｄｅｆ／Ｆ   （２）
式（２）において、例えば、デフォーカス量が０．０４ｍｍ、Ｆ値が２であったとき、錯乱円径Ｄは２０μｍである。なお、算出する錯乱円径Ｄは撮像装置内で算出されてもよいし、印刷・表示を行う際に印刷装置や表示装置等の画像形成装置で算出されてもよい。撮像装置内で算出した場合は、錯乱円径Ｄをデフォーカス情報とともに画像のＥｘｉｆ情報に記録してもよい。
【００４３】
ステップＳ２０４では、画像の拡大率ｖを算出する。図１０は、撮像素子１０７上の錯乱円径Ｄを２０μｍとしたときに、撮像素子１０７に記録された画像をそのまま印刷・表示すると画像形成装置の画像を出力する面（出力面）上の錯乱円径Ｄｐがどのようなサイズになるかを示した図である。撮像素子１０７のサイズは、長辺が３６ｍｍのフルサイズと呼ばれる一般的なサイズである。図１１の第２列目には、各用紙サイズの長辺の長さが示してある。撮像素子１０７で記録された画像をそのまま各用紙サイズに引き伸ばして印刷されるとすると、画像の拡大率ｖは図１１の第３列に示した値となる。
【００４４】
ステップＳ２０５では、ＣＰＵ１２１の第２錯乱円径算出部１２１ｃが出力面上の錯乱円径Ｄｐを算出する。撮像素子面における錯乱円径ＤはステップＳ２０４で算出された拡大率ｖに従って拡大されるため、出力面上の錯乱円径Ｄｐは式（３）により算出される。それぞれの用紙における錯乱円径Ｄｐは、図１１の第４列に示した値となる。
【００４５】
Ｄｐ＝Ｄ×ｖ     （３）
ステップＳ２０６では、許容錯乱円径（所定の閾値）Ｄｔｈが設定される。ユーザが直接入力して許容錯乱円径Ｄｔｈを設定してもよいし、ステップＳ２０２で設定された鑑賞距離から許容錯乱円径Ｄｔｈを算出してもよい。
【００４６】
ステップＳ２０７では、ＣＰＵ１２１の判定部１２１ｄが出力面上の錯乱円径Ｄｐが許容錯乱円径Ｄｔｈよりも小さいかどうかを判定する。錯乱円径Ｄｐが許容錯乱円径Ｄｔｈよりも小さい場合ステップＳ２０８に進み、錯乱円径Ｄｐが許容錯乱円径Ｄｔｈよりも大きい場合ステップＳ２０９に進む。
【００４７】
ステップＳ２０８では、ＣＰＵ１２１の制限部（制限手段）１２１ｅが画像形成装置による画像の印刷・表示を許可する。そのため、画像形成装置による画像の印刷・表示、例えば、印刷装置による印刷用紙等の記録媒体への印刷や、表示装置への画像の表示が行われる。
【００４８】
ステップＳ２０９では、画像の印刷・表示を行うと、ピントのズレによるボケが視認され、画像の品位を落としてしまうので、制限部１２１ｅが画像形成装置による画像の印刷・表示を制限する。制限部１２１ｅの制限方法としては、例えば、印刷装置の設定画面、表示装置の表示面、または投射装置の照射面に警告を出したり、画像の印刷・表示を禁止したりする。
【００４９】
本実施形態の許容錯乱円径Ｄｔｈの算出について説明する。前述したように、用紙のサイズに応じて出力面上の錯乱円径Ｄｐの大きさが変化するが、ユーザの目から紙、または表示媒体までの距離は多少変化するもののリニアな関係になるというわけではない。例えば、Ｌ版サイズのような小さな紙に印刷した場合に接近して見るとは限らず、Ａ３サイズやＡ２サイズのような大きな紙に印刷した場合に離れて見るとは限らない。
【００５０】
そこで、本実施形態では、許容錯乱円径Ｄｔｈを印刷・表示のサイズではなく観賞距離に比例するように設定する。図１１は、観賞距離と許容錯乱円径の関係を示す図である。鑑賞距離が近づくほど、許容錯乱円径は小さくなっていく。この図にしたがって、ユーザが指定した鑑賞距離における許容錯乱円径Ｄｔｈを算出する。例えば、鑑賞者が最短で３０ｃｍの鑑賞距離まで接近して画像を観賞する可能性がある場合、０．３ｍｍよりも大きい用紙上の錯乱円径Ｄｐではピントのボケが視認されてしまう。その場合、Ａ２のサイズに引き伸ばして印刷・表示したとすると、錯乱円径Ｄｐが０．３３ｍｍとなって、許容錯乱円径Ｄｔｈを超えるため、ピントのボケが視認される。よって、この場合は、Ａ２サイズ以上の大きさで印刷・表示することを禁止する、もしくは注意を促すことが望ましい。
【００５１】
以上説明した方法を用いることにより、ユーザは所定の鑑賞距離よりも離れた位置で見た際に、常にピントのあった画像を鑑賞することが可能となる。
【００５２】
本実施例では、撮像素子で記録された画像をそのまま印刷・表示を行う方法を示したが、本発明はこれに限らず、ユーザがトリミングを行った画像を印刷・表示を行う方法に適用してもよい。ユーザは撮影後、撮影意図に応じて画像の一部を切り抜き、切り抜き後の画像を本データとするトリミングを行うことがある。これは同時に画像を拡大することを意味し、その拡大率はトリミングを行う際のサイズに応じて変化する。そこで、撮像素子１０７で記録された画像をトリミングした画像を印刷・表示する場合はトリミング後の撮像素子１０７上での長辺の長さで割った数を拡大率ｖ’として用いればよい。トリミング後の撮像素子１０７上での画像サイズは撮像素子のサイズよりおのずと小さくなるため、拡大率ｖ’は撮像素子１０７で記録された画像を印刷・表示する場合の拡大率ｖに比べ大きくなる。つまり、表示上の錯乱円径Ｄｐは、トリミングしなかった時と比べ大きくなるため、許容錯乱円径Ｄｔｈにより近づくことになる。
【００５３】
また、本実施形態では出力面上の錯乱円径Ｄｐを算出し、印刷・表示する際のサイズに応じて警告を出す方式であったが、本発明はこれに限らない。例えば、同様の方法で算出した表示上の錯乱円径Ｄｐを元に、撮像装置、または印刷・表示を行う装置上で、あらかじめ表示できる最大サイズを算出し、図１２に示されるようにユーザに対して提示することもできる。なお、上述の方式を用いる場合、撮像装置は一眼レフカメラ、コンパクトカメラ、ビデオカメラ等を用いることが可能である。また、印刷・表示方式も、インクジェットプリンタ、レーザープリンタ、またはディスプレイ、プロジェクタによる表示など、表示するサイズが分かるものであれば何であってもよい。
【００５４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５５】
１２１    ＣＰＵ（画像処理装置）
１２１ａ  焦点検出部（第１の算出手段）
１２１ｂ  第１錯乱円径算出部（第２の算出手段）
１２１ｃ  第２錯乱円径算出部（第３の算出手段）
１２１ｅ  制限部（制限手段）
【図１】
0006576155.tif 000003
【図２】
0006576155.tif 000004
【図３】
0006576155.tif 000005
【図４】
0006576155.tif 000006
【図５】
0006576155.tif 000007
【図６】
0006576155.tif 000008
【図７】
0006576155.tif 000009
【図８】
0006576155.tif 000010
【図９】
0006576155.tif 000011
【図１０】
0006576155.tif 000012
【図１１】
0006576155.tif 000013
【図１２】
0006576155.tif 000014