(57)【特許請求の範囲】
【請求項１】
焦点のズレ方向及びズレ量ごとに予め準備された複数の点像分布関数と、撮像された画像とを用いて焦点調整をおこなう焦点調整装置であって、
開口部が光軸に対して回転対称ではない焦点調整用の絞りを備え、
焦点調整の際に、前記予め準備された複数の点像分布関数と、前記焦点調整用の絞りを用いて撮像された画像の点像分布関数とを比較して、焦点のズレ方向とズレ量とを算出し、前記算出された焦点のズレ方向とズレ量とに応じて焦点調整を行うことを特徴とする焦点調整装置。
【請求項２】
前記焦点調整用の絞りは前記開口部が２つ以上あることを特徴とする請求項１に記載の焦点調整装置。
【請求項３】
前記焦点調整用の絞りは、画像を撮影して記憶するために用いられる画像撮影用の絞りとは別に備えられるか、若しくは焦点調整の際に前記画像撮影用の絞りに対して羽根又はマスクからなる補助絞りを重ねることで実現されることを特徴とする請求項１又は２に記載の焦点調整装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の焦点調整装置と、
レンズと、
前記レンズの位置を前記焦点調整装置の調整に従って変更する位置変更手段とを有し、
前記位置変更手段が、前記焦点調整装置により算出した焦点のズレ方向とズレ量とに基づいて前記レンズを移動することを特徴とする撮像装置。
【請求項５】
焦点のズレ方向及びズレ量ごとに予め準備された複数の点像分布関数と、撮像された画像とを用いて焦点調整をおこなう焦点調整装置であって、
開口部が光軸に対して回転対称ではない焦点調整用の絞りを備え、
焦点調整の際に、前記焦点調整用の絞りを用いて撮像された画像に対して、前記予め準備された複数の点像分布関数のそれぞれを用いた逆変換を行うことによって複数の像を生成し、前記複数の像を評価することによって前記複数の点像分布関数のうちの１つを選択し、前記選択された点像分布関数の焦点のズレ方向とズレ量とに応じて焦点調整を行うことを特徴とする焦点調整装置。
【請求項６】
開口部が光軸に対して回転対称ではない絞りを用いて撮像された被写体の画像を取得し、
取得した前記画像に対して、焦点のズレ方向及びズレ量ごとに予め準備された複数の点像分布関数のそれぞれを用いた逆変換を行うことによって複数の像を生成し、前記複数の像を評価することによって前記複数の点像分布関数のうちの１つを選択し、前記選択された点像分布関数の焦点のズレ方向とズレ量とに応じて焦点調整を行うことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体に対して高速に焦点を合わせて撮像を可能にする焦点調整装置および撮像装置に関する。
【背景技術】
【０００２】
フィルムカメラ、デジタルカメラの焦点あわせの技術として、レンズの焦点位置別の点像分布関数等の評価関数と焦点のズレの特性値のデータベースとを用いて、被写体像の画像から焦点位置を算出することにより焦点調整を行う技術がある。具体的には、特許文献１のように、予め、各焦点位置に対応した点像分布関数をデータベース化しておく。実際に焦点のズレ量の不明な被写体像を取得し、フーリエ変換したデータを各点像分布関数で除して得られるデータを逆フーリエ変換して、各復元画像を得る。逆フーリエ変換して得られた各復元画像のエラー値が最も小さくなる点像分布関数を与える焦点位置を、実画像の焦点位置として算出する。この算出値を元にレンズを所望の位置に移動させる、という方法である。しかしながら、特許文献１により精度の高い焦点調整を行おうとすると、微細なレンズ位置の違いに対応して多くの点像分布関数を準備しておく必要がある。また、点像分布関数による除算や逆フーリエ変換、更にエラー値の抽出に膨大な計算が必要となり、焦点調整の時間が長くなることもあり得る。
【０００３】
かかる特許文献１の問題点、すなわち点像分布関数を多く準備するための記憶容量の増大や計算量の増加に伴う焦点調整の遅れを解決する方法として、特許文献２が提案されている。特許文献２では、点像分布関数による粗い合焦位置への制御と山登り法による密な制御との組み合わせ、あるいは初期焦点位置を無限遠もしくは最至近距離に定めて候補の数を限定する手法を採用している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−１８１５３２号公報
【特許文献２】特開２０００−１５２０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２の解決方法では、点像分布関数の記憶容量の削減や合焦位置決定までの時間短縮を実現するために、引用文献１が提供したワンショットＡＦを犠牲とている。例えば、引用文献２では、複数回の撮像を行っており、また、焦点調整の度にレンズを定められた初期焦点位置に移動させる時間や、更に、無限遠位置と最至近位置とを移動させる時間が必要であり、高速な焦点調整は実現できない。
【０００６】
本発明の１つの側面は、焦点位置がいかなる初期状態にあっても、被写体に焦点が合うレンズの駆動方向と距離とを１度の撮像画像から少ない演算量で一義的に決定し、焦点調整までの時間を減らすことができる焦点調整装置および撮像装置を提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一部の実施形態の焦点調整装置は、焦点のズレ方向及びズレ量ごとに予め準備された複数の点像分布関数と、撮像された画像とを用いて焦点調整をおこなう焦点調整装置であって、開口部が光軸に対して回転対称ではない焦点調整用の絞りを備え、焦点調整の際に、前記予め準備された複数の点像分布関数と、前記焦点調整用の絞りを用いて撮像された画像の点像分布関数とを比較して、焦点のズレ方向とズレ量とを算出し、前記算出された焦点のズレ方向とズレ量とに応じて焦点調整を行うことを特徴とする。本発明の他の実施形態の焦点調整装置は、焦点のズレ方向及びズレ量ごとに予め準備された複数の点像分布関数と、撮像された画像とを用いて焦点調整をおこなう焦点調整装置であって、開口部が光軸に対して回転対称ではない焦点調整用の絞りを備え、焦点調整の際に、前記焦点調整用の絞りを用いて撮像された画像に対して、前記予め準備された複数の点像分布関数のそれぞれを用いた逆変換を行うことによって複数の像を生成し、前記複数の像を評価することによって前記複数の点像分布関数のうちの１つを選択し、前記選択された点像分布関数の焦点のズレ方向とズレ量とに応じて焦点調整を行うことを特徴とする。また、本発明の他の実施形態の撮像装置は、開口部が光軸に対して回転対称ではない絞りを用いて撮像された被写体の画像を取得し、取得した前記画像に対して、焦点のズレ方向及びズレ量ごとに予め準備された複数の点像分布関数のそれぞれを用いた逆変換を行うことによって複数の像を生成し、前記複数の像を評価することによって前記複数の点像分布関数のうちの１つを選択し、前記選択された点像分布関数の焦点のズレ方向とズレ量とに応じて焦点調整を行うことを特徴とする。
【発明の効果】
【０００８】
焦点調整用の絞りを用いることで、焦点位置がいかなる初期状態にあっても、被写体に焦点が合うレンズの駆動方向と距離とを１度の撮像画像から少ない演算量で一義的に決定し、焦点調整までの時間を減らすことができる。また、撮像から、焦点調整動作を行い、次の撮像に移行するまでの時間も短縮される。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の焦点調整装置及び撮像装置の構成例を示す図。
【図２】本実施形態で用いられた焦点調整用絞りの形状の例を示す図。
【図３】本実施形態の焦点調整装置の焦点調整手順例を示すフローチャート。
【図４】本実施形態の焦点調整の動作の一例を示す図。
【発明を実施するための形態】
【００１０】
＜本実施形態の焦点調整装置及び撮像装置の構成例＞  図１は、本発明の焦点調整装置およびこの焦点調整装置を実装した撮像装置の構成例である。１０１はレンズ部、１０２はイメージセンサ、１０３は画像処理部である。１０４は評価値算出部である。評価値算出部１０４は、撮像画面内で焦点を合わる位置近傍の部分画像データをブロック画像データとして取り出し、このブロック画像に対して点像分布関数、もしくは点像分布関数に基づいて作成されたデータベース１０５と演算（比較）を行うことで評価値を出力する。評価値算出部１０４は、例えば、ＣＰＵとＲＯＭとＲＡＭとから構成されて、ＣＰＵによりプログラムを実行するものでよい。かかるＣＰＵが上述の評価値判定部１０６の処理を兼ねてもよい。ブロック画像データの取得方法は、例えば通常の静止画や動画の撮像前に、必要な領域のデータだけを選択的に読み出す方法、もしくは動画記録や電子ビューファインダ・モードの表示に用いる画像の一部を選択的に切り出すなどの方法がある。また、ブロックの大きさは基本的に設計事項であるが、ある程度のコントラストを有する大きさで設計するのが望ましい。また、被写体に応じてブロックの大きさを可変にしてもよい。評価値は評価値判定部１０６に送られる。評価値判定部１０６は焦点のズレ方向とズレ量とを決定し、レンズ制御信号１０７に基づきレンズの焦点位置が制御される。また、レンズ１０１は、取得する画像撮影用の絞り１０８と焦点調整用の絞り１０９とを有している。
【００１１】
＜本実施形態の焦点調整用の絞りの形状例＞  次に、本実施形態で焦点調整の高速化の効果を得るために好適な絞りの形状を図２の（ａ）〜（ｆ）を用いて説明する。図２の（ａ）は、撮像面と結像面がズレたときの光学系の模式図を示す。また、図２の（ｂ）〜（ｄ）は図２の（ａ）に示す各状態で、絞り形状がどのように点像分布関数に反映されるかを、３種の異なる絞り形状について示している。
【００１２】
図２の（ｂ）は、絞りの開口部が光軸に対して回転対称であり、絞りの光透過率の重心が光軸と一致している場合である。この場合は、撮像面が焦点調整位置から前にズレた場合（図２では左側）と後にズレた場合（図２では右側）で、合焦位置を対称にして点分布関数にほとんど差が無くなってしまう。従って、点分布関数からでは、現在の焦点位置に対してレンズをどちらに駆動してよいか分からない。
【００１３】
一方、図２の（ｃ）のように、絞りの開口部が光軸に対して回転対称でなく、絞りの光透過率の重心が光軸と明らかに一致しない形状を選ぶ。この場合には、撮像面が焦点調整位置から前にズレた場合と後にズレた場合で異なる点像分布関数を得ることが出来、点分布関数からレンズの駆動方向と量とが一義的に決まる。また、図２の（ｄ）のように、絞りの光透過率の重心が光軸と一致しないようにしながら、さらに絞りが２つ以上の開口部からなる形状を選ぶことでもよい。この場合も、撮像面が焦点調整位置から前にズレた場合と後にズレた場合で、異なる形状の点像分布関数を得ることが出来る。なお、ここでは開口部の数が２つの例を示したが、複数であればとくにその個数に限定はない。上記「異なる形状」は、２つの点像分布関数の非類似度として定義され、例えば、点像分布関数同士の差分の絶対値の積分値、もしくはユークリッド距離に対する点像分布関数の総エネルギーとして定義される。更に、図２の（ｅ）及び（ｆ）は他の絞り形状の例である。両者のように、絞りの光透過率の重心は光軸と一致しながらも、光軸に対して開口部が回転対称ではないような絞りを用いてもよい。
【００１４】
本実施形態においては、専用の焦点調整用絞りを用いるという説明をしたが、逆に図２の（ｃ）〜（ｆ）で説明した焦点調整用絞りを用いて、静止画・動画の撮像、および電子ビューファインダ動作を行うことを排除はしていない。ぼけた像に、絞り形状に依存する特異的なパターンが現れるために、高画質な撮像が困難な場合があるかもしれないが、得たい画質に応じて焦点調整用絞りを用いて説明してもよい。また、画像処理などによってぼけた像の上記特異的なパターンを補正する処理をほどこしてもよい。また、上記専用の焦点調整用絞りは、例えば従来の絞り機構に、補助絞りとして評価値を得る際だけに駆動する羽根を加える、もしくは従来の絞り機構に近接させて、評価値を得る際のみに駆動する機械的なマスクを加える、などの方法でも実現できる。
【００１５】
＜本実施形態の焦点調整装置の焦点調整の手順例＞  図３は、本発明における焦点調整のフローチャートである。かかる手順は、図１の評価値算出部１０４や評価値処理部１０６で実行される。例えば、評価値算出部１０４のＣＰＵで一括して実行されてもよい。Ｓ２０１にて、撮像もしくは電子ビューファインダ・モードなどから、焦点調整モードに移行する。その際に、焦点調整用の絞り１０９を設定する。この絞りの設定方法は、焦点調整用に撮像用絞りを駆動することで設定する、もしくは別の絞りを出現させる、などが可能である。本実施形態では、上記焦点調整用の絞りの形状に特徴を持たせることで、焦点調整動作を高速にする効果を得ている。その形状の特徴については図２に従って前述した。次に、Ｓ２０２にて、ファインダ内の、焦点調整動作を行いたい対象の被写体像のブロック画像を取得する。ブロック画像の取得は、イメージセンサ１０２でおこなってもよいし画像処理部１０３で切り出してもよい。次に、Ｓ２０３にて、任意のインデックスの点像分布関数データを順にデータベース１０５から取り出し、上記ブロック画像と共に評価値算出装置１０４にて評価値を算出する。かかる評価値は、上記ブロック画像から作成された点像分布関数データとデータベース１０５から取り出した各レンズ位置に対応した点像分布関数データとの類似度である。２つの点像分布関数の非類似度として定義され、例えば、点像分布関数同士の差分の絶対値の積分値、もしくはユークリッド距離に対する点像分布関数の総エネルギーとして定義される。Ｓ２０３では、Ｓ２０３−１で評価値が算出され、Ｓ２０３−２で得られた評価値を評価値判定部１０６にて一時記憶する。繰り返しが必要な限り、Ｓ２０３−３からＳ２０３−４に進んでデータベース１０５から読み出す点像分布関数のインデックスを更新し、Ｓ２０３−１に戻って新たにロードし評価値算出を繰り返す。
【００１６】
評価値算出が終了すると、繰り返しの回数だけの評価値が評価値判定部１０６に保持される。Ｓ２０４では、その複数の値から、最も高い評価値（高い類似度）を示した点像分布関数のインデックスを見付ける。インデックスは焦点のズレ方向およびズレ量と対応しているので、Ｓ２０５で、その値に基づいて焦点調整させるためのレンズ駆動量を決定する。その後、Ｓ２０６でレンズ駆動量だけレンズを駆動して位置変更を行う。さらに精度の高い焦点調整を行いたい場合は、Ｓ２０７の分岐からＳ２０２に戻って再度同等の操作を行えばよい。その際は、点像分布関数のデータベース１０５は、より高精度むけのものを用いるなどしてもよい。もしくは、Ｓ２０７の分岐からＳ２１１でコントラストによる山登りＡＦを選択し、Ｓ２１２で焦点調整用絞り１０９を待避させ、Ｓ２１３にて撮影と同じ絞りもしくは焦点精度がより厳しい絞り開放状態にし、Ｓ２１４でコントラストによる山登りＡＦをおこなう。最後に、Ｓ２０９にて画像撮影用絞りに設定し、Ｓ２１０にて本撮影を行う。一方、Ｓ２０７において精度の高い焦点調整が必要でない場合は、Ｓ２０８で焦点調整用絞り１０９を待避させ、Ｓ２０９にて画像撮影用絞りに設定し、Ｓ２１０にて本撮影を行う。
【００１７】
＜本実施形態の焦点調整の具体例＞  図４は、図３のフローチャートに基づいた、焦点調整の様子の一例を説明する図面である。図４の（ａ）において、横軸はレンズの相対的焦点位置を示し、現在からの相対的な位置をある任意の単位の目盛りで示している。縦軸は焦点算出のための演算によって得られる評価値であり、具体的には被写体に焦点が合っている度合いと相関をもつ（本例では、点像分布関数同士の類似度）。図４の（ｂ）は、レンズの絶対的焦点位置を示す図であり、最近傍から無限遠の間での位置を示している。３０１はレンズの初期位置であり、この例では最近傍でも無限遠でもない中間の位置である。なお、この初期位置は、前回の撮像での焦点位置、撮像前のビューファインダによる被写体の確認時の焦点位置などによってきまるものであり、毎回同じ位置である必要はない。３０２は、本実施形態により判定された被写体にもっとも焦点が合うレンズの焦点位置である。
【００１８】
＜他の実施形態＞  以下には、撮像した被写体像をデータベースに記憶された点像分布関数により逆変換して焦点が合ったと仮定される被写体像を復元し、被写体像が妥当に復元されている度合いを評価値として抽出する例を示す。次に、本実施形態により、どのようにレンズの焦点位置を図４（ｂ）の初期位置３０１から焦点位置３０２に合わせるかを以下に説明する。
【００１９】
まず、初期位置３０１において、評価値を算出するための被写体像を得る。被写体を含む、ファインダ内のある一部の領域を撮像して切り出す。その際に、ある決まった焦点調整用絞り１０９を用いている。次に、切り出した被写体像と点像分布関数のデータベースとを用いて、焦点のズレ方向及びズレ量と相関を有する評価値を算出する。具体的には、まず、得られた被写体像は焦点が合っている状態の被写体像と任意の点像分布関数の畳込積分の結果であると定義する。あらかじめ準備している、焦点ズレがない状態の点像分布関数、および焦点が（−Ｎ，＋Ｎ）ズレた状態の点像分布関数を用いて逆変換を行い、焦点が合ったと仮定される被写体像を復元する。復元された像から、被写体像が妥当に復元されている度合いを評価値として抽出する。ここで、被写体像が妥当に復元されていることを判断する評価値の算出方法として、逆変換後の画像の高周波成分の総量や、コントラスト成分を用いる手法などがある。また、その際に、画像のノイズによる高周波成分やコントラスト成分の影響を受けないよう、カメラの光学系全体でのＭＴＦで決まる、被写体像がとりうる空間周波数成分、以外の成分を除去したのちに評価値を算出してもよい。
【００２０】
次に、具体的な評価値算出のためのアルゴリズムの一例を示す。まず、逆変換後の画像に対して、カメラの光学系で決まる空間周波数の帯域限界以上の高周波数成分をカットするために、高域カットフィルタを適用する。次に、高域カットフィルタを適用した画像の平均輝度を算出して、画像の明るさを正規化する。この高域カットフィルタを適用し明るさを正規化した画像の、Ｘ方向のコントラスト成分（最大輝度−最低輝度）を算出する。また、同様に、Ｙ方向のコントラスト成分（最大輝度−最低輝度）を算出する。かかるＸ方向のコントラスト成分とＹ方向のコントラスト成分との和を評価値とする。なお、上記高域カットフィルタを適用及び画像の明るさを正規化は必須ではない。
【００２１】
なお、図４の（ａ）には、計算不要な領域と図示され、評価値の算出がおこなわれていない領域が存在する。その領域は、初期のレンズ位置３０１から最近傍および無限遠までの相対距離以上の、レンズ駆動しない領域であるので省略できる。図４の（ａ）において、横軸の正は焦点調整状態に対して撮像面が相対的に後側（無限遠側）にズレている状態、負は焦点調整状態に対して撮像面が相対的に前側（最近傍）にズレている状態を意味している。縦軸には評価値をプロットしている。評価値は−７単位の焦点ズレ量の点像分布関数を用いた逆変換において最大を示しており、つまり、現在の位置から＋７単位焦点位置をずらすと焦点調整することがわかる。上記結果をもとに、レンズの焦点位置を＋７単位移動し、３０２にレンズを到達させる。その後、絞りを、焦点調整用絞りから、撮像用の絞りもしくは電子ビューファインダ用の絞りに変更し、焦点調整動作を終了する。原理上、一回の被写体の撮像で焦点調整を行えることから、本実施形態は「ワンショットＡＦ」であると言える。
【００２２】
ここで重要なのは、焦点調整用の専用絞りを用いて上記動作を行うことである。撮影用の絞りは、被写体を正しくもしくは美しく撮影するために設計されており、上記の評価値の算出には適していない。本発明では、評価値を得る際に焦点調整専用の絞りを用いることでワンショットＡＦを実現している。上記専用絞りは、被写体を正しくもしくは美しく撮像することに適していない、撮影の際には従来の絞りを用いるようにしている。逆変換の手法は、点像分布関数の逆関数との畳み込み積分（デコンボリューション）、フーリエドメインでの除算、制約付最小二乗フィルタ、ウイナーフィルタなど、様々な手法が適用できる。本特許はその手法にはよらず効果を発揮するものである。
【００２３】
上記の例では、逆変換を横軸に１単位刻みの精度の点像分布関数に対して行っているが、得たい焦点調整精度によっては、０．１単位刻みなど、さらに細かい刻みで点像分布関数のデータベースを準備して上記の演算を行えばよい。焦点調整精度を向上しようとすると演算時間が増大するので、一回目は粗い精度で焦点調整動作を行い、その後二回目の焦点調整を、より細かい刻みのデータベースを用いて行うなどしてもよい。さらに高い焦点調整精度を実現したい場合は、最終的な焦点調整に、コントラストＡＦと呼ばれる手法を組み合わせてもよい。焦点調整する焦点位置の近傍のみで焦点調整を行うので、コントラストＡＦだけで全ての焦点調整を行なう場合と比較して演算量が大きく削減できる。しかも最終段階でコントラスＡＦに切り替えた後は、撮像用絞りもしくは開放絞りを用いるのでＡＦ精度も非常に高い。
【００２４】
ファインダ内のある一部の領域を撮像し切り出す際の切り出し画像のサイズは、大きすぎると被写体以外の物体を含んでしまい、小さすぎると被写体を正しく捕らえられない。そのような問題を回避したい場合は、被写体像を複数の切り出しサイズで取得し、上記の操作を切り出しサイズ別に並列処理で行い、複数の結果から焦点位置の移動量を決定することが出来る。
【図１】
0005635844.tif 000002
【図３】
0005635844.tif 000003
【図４】
0005635844.tif 000004
【図２】
0005635844.tif 000005