(57)【要約】【課題】相関演算結果の確からしさ、信頼度を適切に算出すること。【解決手段】エリアセンサを利用して位相差方式の焦点検出を行う焦点検出方法において、エリアセンサに結像する像の相関方向と直交する方向のズレを無くすために、エリアセンサで取得した画像をリンサンプリングして相関演算する際、相関演算結果の信頼度はリサンプリング量を考慮して算出することを特徴とする。【選択図】図１
2020046600.tif 000002
【特許請求の範囲】
【請求項１】
エリアセンサを利用して位相差方式の焦点検出を行う焦点検出方法において、
エリアセンサに結像する像の相関方向と直交する方向のズレを無くすために、エリアセンサで取得した画像をリンサンプリングして相関演算する際、
相関演算結果の信頼度はリサンプリング量の関数として算出することを特徴とする焦点検出方法。
【請求項２】
相関演算をするために利用する画素各々のリサンプリング量の多寡を表す量を信頼度算定に用いるリサンプリング量とすることを特徴とする請求項１に記載の焦点検出方法。
【請求項３】
リサンプリング量の多寡を表す量とは、画素各々の絶対値を取って平均した量であることを特徴とする請求項２に記載の焦点検出方法。
【請求項４】
エリアセンサを利用して位相差方式の焦点検出を行う焦点検出方法において、
１の焦点検出を行う箇所に対して複数の測距手段を有し、
エリアセンサに結像する像の相関方向と直交する方向のズレを無くすために、エリアセンサで取得した画像をリンサンプリングして相関演算する際、
複数の測距結果の信頼度のバラツキの範囲が所定の範囲内にある時、
リサンプリング前の画像の座標の格子点とリサンプリング後の格子点との間の最短距離が最も小さな測距手段によって算出された相関演算結果を採用することを特徴とする焦点検出方法。
【請求項５】
請求項１乃至４の何れか一項に記載の焦点検出方法を備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動焦点検出に用いられる焦点検出方法に関し、特に焦点検出結果の信頼度の算出およびその利用に関する。
【背景技術】
【０００２】
従来、自動焦点検出の方法の一つとして位相差検出方式が知られている。
【０００３】
位相差検出方式は、出射瞳の異なる２つの光束によって各々作られる像をラインセンサで読取り、その読取り信号で相関演算を行い、２つの像の位相差量（距離）を算出し、デフォーカス量に換算することによって焦点を検出するものである。
【０００４】
焦点検出箇所を複数設けたい場合はラインセンサをその箇所分だけ準備してきた。最近はさらに多くの焦点検出箇所を求められるようになり、ラインセンサを多く準備するよりも初めから多くのセンサが備わっているエリアンセンサを利用することが検討されている。
【０００５】
従来、相関方向と直交する方向に見ている被写体の位置が、ラインセンサが検出する２つの像のあいだでズレている問題に対して、センサ画素の位置を調整することによって２つの像が見ている位置を一致させてきた（特許文献１）。最近では、画素の位置を調整する代わりに画素の位置は動かさず、画素に遮光部を設けて同等の目的を達成している。
【０００６】
エリアセンサの場合、画素位置をズラすことは困難で、更に遮光することも主に以下の２つの理由により困難である。第一に焦点検出箇所が増えたために遮光部を設けようとすると、隣接する焦点検出箇所に影響を及ぼす場面があること、第二にセンサの画素が小型化したために相対的に遮光部が大きくなり、センサの信号出力の品質を満たすことができなくなること、である。
【０００７】
画素位置をズラしたり、遮光の手段を採ることができないので、取得した画像を相関方向と直交する方向に移動させる方法が考えられる。エリアセンサの画素が小さくなっているため、１画素単位の移動で事足りるなら問題ない。しかし、焦点検出の性能向上のため、例えば０．５画素など、１画素未満の単位まで画像を移動させるときは特別な処理が必要で、例えばリサンプリング技術を利用することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３４６１２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
リサンプリング技術は、測定値と測定値の間を推定する技術であるため、画像が大きな不連続性を有していたり、推定地点が測定値からの距離がある場合は、推定の精度が低下し、実際の画像からのかい離が大きいと考えられる。
【００１０】
従来、焦点検出のための相関演算に供される画像は正しいとされてきたが、リサンプリングによって実際の画像と異なる画像で相関演算を行ってしまうために、得られた相関演算結果がどの程度正しいかが判らない問題が生じている。
【００１１】
そこで、本発明の目的は、相関演算結果の確からしさ、信頼度を適切に算出することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明に係る焦点検出方法は、
エリアセンサを利用して位相差方式の焦点検出を行う焦点検出方法において、エリアセンサに結像する像の相関方向と直交する方向のズレを無くすために、エリアセンサで取得した画像をリンサンプリングして相関演算する際、相関演算結果の信頼度はリサンプリング量を考慮して算出することを特徴とする。
【発明の効果】
【００１３】
本発明に係る焦点検出方法によれば、相関演算にリサンプリングされた画像を利用した時でも、相関演算結果の信頼度を適切に算出することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態におけるカメラの構成を示すブロック図である。
【図２】実施形態におけるカメラの光学部品とその配置例を示す図である。
【図３】焦点検出センサとその論理区分を示す図である。
【図４】ファインダに測距点が重畳された図である。
【図５】焦点検出センサとファインダに表示される測距点の対応を示す図である。
【図６】ファインダに表示される測距枠とセンサが見ている領域である。
【図７】リサンプリング技術説明図である。
【図８】リサンプリング量と元画像からの変化量の関係である。
【図９】リサンプリング量と信頼度の関係を示す図である。
【図１０】画素毎にリサンプリング量が異なる説明図である。
【図１１】１箇所の測距点で複数の測距検出を行う場合のデフォーカス決定のためのフローチャートである。
【図１２】信頼度を取得するフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。説明中で例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【実施例１】
【００１６】
（カメラの動作概略）
図１は、本発明の実施形態にかかわる焦点検出センサを用いた光学機器の一例として、カメラの構成を示すブロック図である。カメラの構成は広く知られているため、本発明に関連の深い自動焦点検出に係る構成を中心に示している。
【００１７】
スイッチ１０３は、図示してないレリーズボタンの操作によってＯＮ、ＯＦＦする２つのスイッチＳＷ１およびＳＷ２を有する。スイッチＳＷ１はレリーズボタンの第一ストローク（半押し）操作でＯＮし、スイッチＳＷ２はレリーズボタンの第二ストローク（全押し）操作でＯＮする。概略、スイッチＳＷ１のＯＮによって撮影の準備を行い、スイッチＳＷ２のＯＮによって撮影を行う。
【００１８】
焦点合わせ動作について説明する。スイッチＳＷ１がＯＮされると焦点合わせ動作を行う。所望の焦点合わせを行いたい箇所（以下、測距点と記す）に対して焦点検出を行い、レンズ通信回路１０４を通じて撮影レンズ内のフォーカスレンズを制御し、焦点合わせを行う。
【００１９】
カメラＣＰＵ１００はレンズ通信回路１０４を通じて図示していない撮影レンズと通信を行い、絞りやフォーカスレンズを制御する。また、シャッタ制御回路１０７を通じでシャッタ機構を制御し、シャッタを開閉する。
【００２０】
測距点選択スイッチ１０８は、図示していない選択ボタンの操作によって、撮影画面内に配置された複数の測距点（焦点検出領域）のうち任意の測距点を選択する。撮影画面と測距点の位置関係については後述する。
【００２１】
カメラＣＰＵ１００は、被写体判定部１０２を有し、測距点選択スイッチ１０８の情報から主要被写体位置を判定し、焦点検出センサ１０１を使って焦点合わせを行う。
【００２２】
カメラＣＰＵ１００はＳＷ２がＯＮすると、測光センサ１０６を制御して被写体の輝度を検出し、被写体輝度に応じて撮影レンズの絞り値やシャッタスピードなどの撮像条件を決定する。そして、シャッタ制御回路によってシャッタを開き、撮像センサ１０５を露光する。カメラＣＰＵ１００は撮像センサ１０５で蓄積された電荷を読み出し、公知の画像処理を適用することにより、撮影画像データを生成し、図示しない記録媒体に記録する。
【００２３】
（カメラの光学系部品配置）
図２は、本実施形態におけるカメラの光学部品とその配置例を示す断面図である。撮像レンズ２００を介して入射した被写体からの光束はハーフミラーを構成するクイックリターンミラー２０１によって上方へ反射され、ファインダスクリーン２０２上に結像する。撮影者はファインダスクリーン２０２に結像した被写体像をペンタリズム２０３および接眼レンズ２０４を介して観察する。ファインダスクリーン２０２は、被写体像を写すピント板に透過型液晶を重ねて構成されており、撮影に係る各種情報を撮影画面に付加して表示する。それには測距点選択スイッチ１０８の操作によって選択された測距点が含まれる。
【００２４】
接眼レンズ２０４の上方には測光結像レンズ２１１と測光センサ１０６が配設されている。測光センサ１０６は、ファインダスクリーン２０２に結像した被写体像を測光結像レンズ２１１を通じて受光することで被写体輝度を測定することができる。なお、図２における測光結像レンズ２１１と測光センサ１０６の組み合わせおよび配置は例示であり、被写体輝度が測定可能であれば、構成や配置は図２に限定しない。
【００２５】
撮像レンズ２００から入射した光束のうちクイックリターンミラー２０１を透過した光束は後方のサブミラー２０５によって、焦点光学系に導かれる。焦点検出光学系に入射した光束は、視野マスク２０６、赤外カットフィルタ２０７、フィールドレンズ２０８、絞り２０９、二次結像レンズ２１０を経て焦点検出センサ１０１上に結像する。結像した対となる像を焦点検出センサ１０１で光電変換して得られる像信号の位相差に基づいて、撮像レンズ２００の焦点状態（デフォーカス量）を検出することができる。
【００２６】
スイッチＳＷ２がＯＮになり撮影を行う場合には、クイックリターンミラー２０１およびサブミラー２０５が位置を変えることで光路を開き、シャッタが開くことで撮像レンズ２００から入射した被写体像の光速で撮像センサ１０５が露光される。
【００２７】
（エリアセンサの論理区分）
焦点検出センサ１０１にエリアセンサを利用した場合を例にとり、図３を用いてその構成や利用方法について説明する。ラインセンサは焦点検出を行いたい箇所に配置して利用するが、エリアセンサの場合は一面にセンサ画素が敷き詰められているので、焦点検出を行う箇所を論理的に区分して利用する。
【００２８】
焦点検出センサに結像する像は、被写体とのデフォーカス量に応じて二次結像レンズ２１０の基線長を軸とする方向を移動する。そのため、対となる像を検知するために、その軸を共有した箇所にセンサを論理区分する。
【００２９】
図３に当てはめてみると、基線長を軸とする方向は２つあり、上下方向の３０３、左右方向の３０４である。その軸を共有した箇所に論理区分されたセンサは上下方向が３０１Ａ・３０１Ｂ、左右方向が３０２Ａ・３０２Ｂである。３０１Ａ・３０１Ｂおよび３０２Ａ・３０２Ｂに結像する像のズレ量（位相差）から撮像レンズのデフォーカスを検知することができる。
【００３０】
（センサ面上の像とファインダから見える像の対応関係）
被写体からの光は撮影レンズ２００を通り、メインミラー２０１でファインダ側と焦点検出側に分離される。焦点検出側に分離された光は、視野マスクによって視野が限定されるため、ファインダ側の像の一部を見ていることになる。焦点検出側で見える像はファインダ側で見える像と対応関係があるため、ユーザが選択可能な焦点検出するための測距枠をファインダ上に示し、それに対応する箇所をセンサ面上に設定する。
【００３１】
図４はファインダから見える像に測距枠を重ねて表示した画像で、図５はその測距点がどのように焦点検出センサ上に対応しているかを示した図である。焦点検出センサは先に述べたように５０１Ａ・５０１Ｂ、および、５０２Ａ・５０２Ｂが対になっており、その各々にファインダから見える測距枠に対応した箇所がある。
【００３２】
本例は、測距枠１つに対して上下方向３０３に動く像と左右方向３０４に動く像の２つによって焦点検出を行う構成をしている。
【００３３】
被写体の形によって上下・左右方向での検知に得手不得手があり、概して互いを補う合うために２方向による検出を行う構成を採っている。
【００３４】
最終的に測距枠１つに対してデフォーカス量を１つにする必要があり、２つのデフォーカス量のうち、どちらかを選択することになる。例えば特開２００７−５２０７２に示されている下記の指標を使って２つのデフォーカス量に優劣を付けて判断する。
【００３５】
（数式１）
Ｓ＿Ｌｅｖｅｌ＝Ｕ÷（ΔＶ×ＳＨ×ＰＢＤ）
Ｕ：画像の一致度、ΔＶ：相関変化量、ＳＨ：シャープネス、ＰＢＤ：明暗比
説明の都合上、図に示した各測距枠と焦点検出センサの画素の大小関係を考慮していない。実際には各測距点には多くの画素が対応している。
【００３６】
（実施例）
焦点検出センサに入射する対となる二つの像の位置は、光学部品や焦点検出センサの寸法や配置が設計称呼からズレることなどに起因して想定と異なる位置になる。
【００３７】
図６は２つの像の位置がズレている一例を示している。中央の図がファインダから覗いた時の被写体と焦点検出を行う測距枠を示している。左右の図は、エリアセンサの５０２Ａと５０２Ｂから見た被写体と測距枠をそれぞれ示している。
【００３８】
焦点を検出するための相関演算は、２つの像は位相差はあるが像の形は同じであることが求められる。そのため、ズレた像の位置を元に戻す調整が必要である。相関方向は左右方向であり、エリアセンサのために十分広い領域を見ることができているため、左右方向のズレは先に述べたエリアセンサの論理区分によって調整可能である。
【００３９】
相関方向と直交する方向は、左右方向と同様にして論理区分によって調整可能であるが、エリアセンサの１画素未満の単位まで調整したい時には画像の座標変換を行い、像を上下に移動させることによって調整を行う。
【００４０】
相関方向は、被写体までの焦点検出距離によって２つの像の位置が変わるために基準を与える程度で十分なのに対し、相関方向と直交する方向に対して２つの像は動かないため、厳格に調整する必要があるために調整方法に差が出ている。
【００４１】
相関方向と直交する方向にズレた画像を移動する移動量は、理想的にはファインダから見た被写体像に対する測距枠の位置と同じになるように決定される。
【００４２】
図６の例では、左側の像はファインダから見た被写体像に対して、その上側を見ているので画像を下に移動し、右側の像は被写体の下側を見ているので、画像を上に移動することによって左右の像の位置がファインダから見ている像の位置に一致するようにする。
画像を移動させるためにはリサンプリング技術を利用する。リサンプリング技術とは、簡単には、直線補間の技術である。
【００４３】
図７を使ってリサンプリング技術について説明する。図７左を元画像とする。今、話題にしているのは相関方向と直交する方向なので、その方向を上下方向として、４画素を表した。ハッチングの箇所と白抜きの箇所は黒データ・白データを表している。図７中央は、センサに結像した像が上下方向にズレている状態を表す。この例では被写体の上側を見ているため、画像が下側にズレている。センサ像の上下方向のズレに応じてセンサの画素位置もズレていれば図７中央のように像と画素にズレが生ずることなく読取ることが可能であるが、実際はセンサの位置はズレていないので、センサ像をズレて読み取る。この状態が図７の右側の図である。ハッチングありの箇所とない箇所のデータがセンサの画素に入力されるため、その中間のデータが生じている（図７中の下から２画素目、弱いハッチング）。この状態から、図７右側の、図７左側Ｌの位置に相当する位置Ｒの画素値を求めるためにリサンプリング技術を使う。
【００４４】
図８は、リサンプリング技術を用いて画像を移動させた場合、元画像に対する変化量を表している。図によると、画像をズラすにつれて元画像からの変化が大きくなり、画像を１／２画素ずらした時が元画像からの変化が最も大きくなる。相関演算は、同じ形状をした２つの像を利用することが前提となっているため、リサンプリングすることによって元画像から変化した像を利用して得られた相関演算結果や、そこから算出されるデフォーカス量は信頼性が低いと言える。
【００４５】
図９は図８の縦軸を信頼度に変更した図である。画像をズラすにつれて信頼度が低下し、画像を１／２画素ズラした時が信頼度が最も低下する。相関演算結果の信頼度の指標を先例と同様な表現をすると、指標が小さいほど信頼度が高く、大きなほど信頼度が低い。そこで、信頼度を表す指標に次のようにズレ量を組み込むことによってリサンプリング量を考慮した信頼度を算出することができる。
【００４６】
（数式２）
Ｓ＿Ｌｅｖｅｌ＝Ｕ×｛α×δ（１−δ）＋β｝÷（ΔＶ×ＳＨ×ＰＢＤ）
δ：リサンプリング量
α、β：定数
図１２のフローチャートを使って説明する。
【００４７】
Ｓ１０１：焦点検出を行いたい測定箇所を選択する。
【００４８】
Ｓ１０２：選択された測距箇所のデータに対してリサンプリングを実施する。
【００４９】
Ｓ１０３：相関演算を実施する。
【００５０】
Ｓ１０４：相関演算結果を得る。
【００５１】
Ｓ１０５：数式２に基づいた信頼度を算出（取得）する。
【００５２】
上述の例では測距枠内のリサンプリング量は一定として説明してきた。実際には測距枠内で画素毎にリサンプリング量が異なる場合が多い。
【００５３】
図１０を参照しながら説明する。図１０上図はセンサの画素毎に像の中心が変化している様子を表している。図１０中図はその変化をリサンプリング量に置き換えたグラフである。数式２の信頼度は、１回の相関演算に対して１つ算出される。１つのリサンプリング量に対して１つの信頼度が求められるため、リサンプリング量は複数ではなく１つであると都合がよい。リサンプリング量には正負があるため、絶対値を算出して（図１０下図）それらを平均したり、二乗和平方根を取るなりして、正負の影響を除外するとよい。
【実施例２】
【００５４】
リサンプリング量は被写体によって変わるものはなく、焦点検出装置固有のものである。図３や図５のように１つの測距枠に対して複数の焦点検出手段を有している場合、最終的に複数の相関演算結果から１つを選択する。複数の焦点検出手段から得られた相関演算結果の信頼度が同等である場合は、初めからどちらの結果を採用するか予め決めておいても良い。ここでの信頼度はリサンプリング量を考慮していなく、例えば数式１で表される従信頼度である。
【００５５】
図１１のフローチャートを使って説明する。図３や図５のように１つの測距枠に対して２つの焦点検出手段があるとする。リサンプリング量は第一の焦点検出手段に対して第二の焦点検出手段のほうが大きいと仮定する。
【００５６】
Ｓ２０１：焦点検出を行いたい測定箇所を選択する。
【００５７】
Ｓ２０２：選択された測距箇所で相関演算を実施する。２つの焦点検出手段を仮定しているので、焦点検出のための相関演算は２回行われる。
【００５８】
Ｓ２０３：相関演算の結果とその信頼度を得る。２つの焦点検出手段を仮定しているので、相関演算の結果と信頼度は２組得られる。
【００５９】
Ｓ２０４：２つの焦点検出手段からの信頼度の差と所定の値を比較する。
【００６０】
Ｓ２０５：２つの焦点検出手段からの２つの信頼度が大きく異なる時には、特別な被写体と考え、従来の判定方式に従って相関演算結果を選択する。従来の判定方式は広く知られているため、説明を省略する。
【００６１】
Ｓ２０６：信頼度が所定の値の範囲内の場合、リサンプリング量が少なく相関演算に使った画像が元画像からの変化が少ないと推測される第一の焦点検出手段の結果を選択する。
【符号の説明】
【００６２】
１０１  焦点検出センサ、２００  撮像レンズ、２０１  クイックリターンミラー、
２０５  サブミラー、２０６  視野マスク、２０７  赤外カットフィルタ、
２０８  フィールドレンズ、２０９  絞り、２１０  二次結像レンズ、
３００  焦点検出センサ、
【図１】
2020046600.tif 000003
【図２】
2020046600.tif 000004
【図３】
2020046600.tif 000005
【図４】
2020046600.tif 000006
【図５】
2020046600.tif 000007
【図６】
2020046600.tif 000008
【図７】
2020046600.tif 000009
【図８】
2020046600.tif 000010
【図９】
2020046600.tif 000011
【図１０】
2020046600.tif 000012
【図１１】
2020046600.tif 000013
【図１２】
2020046600.tif 000014