(57)【要約】 【課題】センサ面にゴミが付着していると、撮像装置は波形の形状が被写体によるものなのかゴミに起因するものなのか判断ができない。そのため、ゴミが付着したままAF動作を行うと精度が落ちることになり、付着ゴミを検出する方法が必要とされていた。従来は、画面全体が白くなるような被写体を撮影し、ゴミの場所を特定していたが、専用の環境を整えて作業をする必要があり、ユーザーの負担が大きかった。【解決手段】撮像面位相差AFの機能を有する撮像装置において、撮像面のごみが写りこむ程度にレンズを絞り込んだ状態において、ごみが写りこんだ像のデフォーカス量がある一定値となること、また、レンズを駆動してフォーカス位置を変化させてもごみのデフォーカス量は変化しないことを利用し、レンズを駆動する前後でデフォーカス量が上記の一定値を取る際にごみ判定を行うことで、ごみ検出を行う。【選択図】図６
2016018172.tif 000002
【特許請求の範囲】
【請求項１】
撮像面位相差AFの機能を有し、撮像素子(107)が提供する信号によりレンズ群(105)を駆動して焦点位置を自動で調整し得る撮像装置において、絞り開放状態である「絞り位置１」と、絞り込んだ状態である「絞り位置２」の、少なくとも２つの位置に絞り(102)を駆動できる機能と、「絞り位置２」の状態でレンズ群(105)を一定量駆動してデフォーカス量を変化できる機能を有し、撮像素子(107)の出力信号が示すデフォーカス量の変化量からゴミの有無を判定する機能を有する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像面位相差検出装置を有する撮像装置のごみ検出手段に関する。
【背景技術】
【０００２】
CMOSセンサのような撮像素子と光学レンズを組み合わせ、画像を保存する撮像装置が広く利用されている。こうした撮像装置において、ごみが撮像素子に付くことが以前より問題視されている。ごみが付着したまま撮影を行うと、付着したごみが撮影画像に写りこんでしまうことがあり、特にレンズ交換式の撮像装置では保存される画像の品質が低下してしまうことがあった。
【０００３】
また、近年は撮像素子に位相差式の測距機能(位相差AF方式)を持たせ、合焦機能をスムーズにする技術が開発されている。こうした技術を持つ製品では、センサ面にゴミが付着していると、撮像装置は波形の形状が被写体によるものなのかゴミに起因するものなのか判断ができない。そのため、ゴミが付着したままAF動作を行うと、ごみによって生じる波形を含めてデフォーカス量を検出することになり、精度が落ちることになる。
【０００４】
図1は位相差AF方式で見た波形データである。図の信号が凹んでいる部分がごみによる波形のケラレである。
【０００５】
この状態でAF動作を行うと、ごみの波形も含めてデフォーカス量を計算してしまう。ごみは実際の被写体より至近側にあるため、ごみを含めてデフォーカス量の検出を行うことにより、実際よりも至近側にピントがシフトしてしまう。
【０００６】
このための対策として、白壁や面光源といった、画面全体が一様光となるような被写体を撮影し、ごみが付着した位置を特定する技術が一般に使用されている。
【０００７】
また、特許文献１では、撮像装置内で独立して存在する位相差AF装置の波形について、レンズをデフォーカスしたときにゴミ波形だけは波形変化が生じないことを利用してゴミ検出を行う方法を開示している。  
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2009-271428号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１は位相差AFユニットについて言及しており、撮像面位相差AFについては考慮されていない。したがって、撮像面のごみを検出することはできない。また、撮像面位相差AFではレンズの絞りを十分に絞り込まないと、ごみがセンサに写りこまないため、上記開示内容では撮像面位相差AFのごみ検出を行うことができない。
【００１０】
本発明は、上記に記載した問題点を解決するための手段であり、専用の環境を用意する必要がなく、何処でも簡単に撮像素子表面のごみを検出できる方法を提供するものである。
【課題を解決するための手段】
【００１１】
本発明に係る撮像装置の構成は、撮像面位相差AFの機能を有し、撮像素子が提供する信号によりレンズを駆動して焦点位置を自動で調整し得る撮像装置において、絞り開放状態である「絞り位置１」と、絞り込んだ状態である「絞り位置２」の、少なくとも２つの位置に絞りを駆動できる機能と、「絞り位置２」の状態でレンズを一定量駆動してデフォーカス量を変化できる機能を有し、センサ信号が示すデフォーカス量の変化量からゴミの有無を判定する機能を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、これまで必要とされた面倒な環境設定が必要とせずに、撮像面のゴミ検出が可能になる。
【図面の簡単な説明】
【００１３】
【図１】位相差AF方式でとらえたごみ波形
【図２】撮像装置構成
【図３】撮像面の画素構造
【図４】瞳分割概念図
【図５】デフォーカス量検知フローチャート
【図６】ごみ検知機能フローチャート
【図７】レンズを駆動した際の波形の変化
【図８】測距エリアの利用方法
【図９】測距エリアの分割方法
【発明を実施するための形態】
【００１４】
［実施例］
以下、図面を参照して、本発明の実施形態を説明する。
【００１５】
図2は本実施形態の撮像装置の構成例である。なお、図の左側の被写体側を撮像装置の前方と定義して、以下の説明を行う。
【００１６】
第１レンズ群101は撮像光学系を構成するレンズのうち、最も前方にあり、光軸方向に運動可能なように設置されている。絞り102はレンズ光軸上で開口径を操作することで撮像素子へ入る光量を調整したり被写界深度のコントロールを行う。なお、構造上シャッター幕を持たない撮像装置では、絞りがシャッター幕を兼ねる場合もある。第2レンズ群103は絞りと共に光軸方向に運動し、第1レンズ群と連動してズーム動作を行う。第3レンズ群は光軸方向に運動することで焦点調整を行う。
【００１７】
106はローパスフィルタで、撮像画像に偽色やモアレが発生することを防止する。撮像素子107は、例えばCMOSセンサと、その周辺回路で構成されている。撮像素子107は横方向にm個、縦方向にn個の画素を持ち、その前部にベイヤー配列の原色カラーモザイクフィルタを配置している。撮像素子駆動回路124は撮像素子107の動作を制御するとともに、取得した撮像画像をA/D変換してCPU１２１へ送信する。画像処理回路125は、CPU121から撮像画像を受け取り、取得したデータのγ変換、カラー補完、JPEG圧縮等を行う。
【００１８】
レンズROM110は、撮像装置本体に着脱可能なレンズごとに固有のデータを記憶しており、焦点位置検出等に必要なレンズ情報をCPU121に送信する。また、レンズ情報の１つとして、射出瞳距離情報が記憶されている。
【００１９】
ズームアクチュエータ111とズーム駆動回路129は第1レンズ群と第2レンズ群を光軸方向に運動させることでズーム操作を行う。絞りシャッタアクチュエータ112と絞りシャッタ駆動回路128は開口径を操作して、光量の調節と露出時間の調整を行う。フォーカスアクチュエータ114とフォーカス駆動回路126は第3レンズ群を駆動し、焦点位置の調整を行う。
【００２０】
ストロボ115とAF補助光装置、およびそれぞれの制御回路である、電子フラッシュ制御回路122、補助光駆動回路123は、被写体が暗い場合やコントラストが低い場合に用いられるが、本発明には直接関係しないため、省略する。
【００２１】
CPU121は撮像装置全体の制御を行う。CPU121には演算部、ROM、RAM、A/Dコンバータ、A/Dコンバータ、通信インターフェイス回路等が実装されており、焦点検出、絞り制御、撮影、画像処理、画像の記録といった、一連の作業に関する演算を行い、各駆動回路を制御する。
【００２２】
表示器131にはLCD等が使用され、撮影に関する情報や設定内容、撮影前のライブビュー画像や撮影後の確認画像等を表示する。操作部132は電源SW、レリーズボタン、撮影モードダイヤル等で構成される。記録媒体133は例えばCFカードのような撮像装置に着脱可能なフラッシュメモリであり、撮影した画像データを記録する。
【００２３】
次に、撮像素子107の構造を説明する。図3(A)は撮像素子の画素配列の概略図であり、CMOSセンサの画素配列を4行×4列の範囲で示している。画素群210の配列は2行×2列のベイヤー配列を採用しており、緑の分光感度の画素が2画素(210G)、赤(210R)と青(210B)の画素がそれぞれ1画素配置されている。以上、説明した全ての画素が、瞳分割用の2つの副画素201a、201bを有する。
【００２４】
副画素201aは第1瞳領域を通過した光束を受光する第1画素であり、201bは第2領域を通過した光束を受光する第2素である。各画素を構成する検出素子は、撮像用素子と焦点検出素子を兼用している。
【００２５】
図3(B)は、図3(A)の撮像素子を拡大した図である。座標系は、x-y平面が撮像素子面、z方向が光軸方向である。副画素201aと201bはx軸方向に並行に配置されている。
【００２６】
図3(C)は図3(B)内のa-a線で画素201Gを切断した断面図である。検出部はp型層200とn型層から構成されるフォトダイオードを有し、光軸方向(z方向)に所定の距離をおいてマイクロレンズ202が配置されている。マイクロレンズは配線層203上に形成される。
【００２７】
本実施形態では、全ての画素部が上述の撮像素子で構成されており、副画素を焦点検出用画素として利用している。また、信号の信頼性を上げるため、複数の画素(縦・横共に100画素以上)の情報を加算して演算する。なお、全ての素子を上述の素子としなくても、本発明を利用することは可能である。
【００２８】
次に、撮像素子107の瞳分割状況について解説する。図4は1つの画素部による瞳分割の様子を示す。検出部はp型層300とn型層301a、301bを備える。p型層300とn型層301aは副画素201aに相当する検出素子を構成し、p型層300とn型層301bは副画素201bに相当する検出素子を構成する。
【００２９】
光軸上にはマイクロレンズ303が配置される。図4の上部には、射出瞳302と、絞りやレンズ等の枠304を示している。
【００３０】
副画素301aと301bは1つの画素内に配置されており、それぞれx方向、-x方向に偏心している。そのため、1つのマイクロレンズ303で形成される射出瞳302内で瞳分割を行うことが可能である。副画素301aで形成される像信号Aと、副画素301bで形成される像信号Bとの相対的なずれ量を検出し、相関演算を行うことで、デフォーカス量を算出することができる。算出された結果から、レンズの焦点ずれ量を調整する動作が行われる。
【００３１】
なお、本実施例では、副画素をx方向に偏心させた例を提示したが、y方向に偏心させても同様の作業を行うことが可能である。また、マイクロレンズ内に複数の副画素を配置しなくても、副画素を1つ備えた素子を複数用意し、それぞれの偏心量を変えることで焦点検出を行うことも可能である。
【００３２】
次に、図5を用いて焦点ずれ量を検出する原理について説明する。先に説明したように、撮像素子は瞳分割された像信号Aと像信号Bの組み合わせの像データを取得できる。この組み合わせにおいて、撮影レンズの焦点が撮像面より前方にある場合、各像信号はたがいに近付いた位置になり、後方にある場合の像信号は離れた位置になる。この被写体像の相対位置の変異量は焦点ずれ量と特定の相関関係にあるため、各波形出力に対して相関演算を行えば、焦点ずれ量(=デフォーカス量と記す)が求められる。
【００３３】
デフォーカス量の検知は、撮像素子の蓄積、焦点検出演算、判定、の３つの動作からなる。
【００３４】
デフォーカス量検知が開始されると、ステップ402でCPU121が測距中の素子が無いか確認し、測距中の素子が無い1回目の測距でなければ、ステップ403で撮像素子駆動回路124を用いて、選択した撮像素子107とCPU121内部のメモリを初期化して以降の検知に備える。最初の検知であれば、内部のメモリにデータは入っていないため、何も行わずにステップ404へ進む。
【００３５】
次に撮像素子の蓄積を実行する。撮像素子は複数存在する(本実施例ではN個と表現する)ため、全ての素子を順番に蓄積させる。最初に1つ目の素子を読み出すため、ステップ404で撮像素子駆動回路内のカウンタをn=1として、以下の蓄積フローを開始する。具体的には撮像素子駆動回路124へ蓄積開始命令を出して撮像素子107内の全測距素子の蓄積を開始させ(ステップ405)、蓄積完了とともに、ステップ406で上記駆動回路124からの各測距素子の蓄積終了信号を読み込む。
【００３６】
次にステップ408でカウンタの数字が撮像素子と一致しているかを確認し、一致していれば、すべての撮像素子が蓄積を完了しているので蓄積完了割り込みが実行され、ステップ409で撮像素子107の蓄積が停止する。カウンタの数字が撮像素子数より少ない場合は、ステップ407でカウンタに1を加算し、ステップ405で次の撮像素子の蓄積を行う。
【００３７】
焦点検出演算では、ステップ410で撮像素子の蓄積データをCPU121内でA/D変換してデジタルデータにした後、CPU121の内部メモリにデータとして記憶する。このデータを画像処理回路125を用い、ステップ411で複数まとめた測距エリアの波形データとして形成し、ステップ412でCPU121で相関演算を行う。撮像面位相差AFで使用する副画素201a、201bは非常に小さいため、ノイズを減らす目的で複数の素子を平均加算して使用することが多い。撮像素子の使い方の一例を図８に示す。図8では、縦・横各9画素ずつをまとめている。
【００３８】
横方向の素子は波形をチェックするための画素数としてそのまま利用する。縦方向の9画素は信頼性を高めるために平均加算して1画素分のデータとして使用する。そのため、図8.(A)の測距範囲の素子は実際には図8. (B)のラインセンサとして作動する。
【００３９】
ここでの相関演算は先に述べた対になる撮像素子に入射した２像の間隔、すなわち像ずれ量を算出する演算処理である。この演算では対をなす撮像素子データの比較を行い、この比較の結果、相関値が最小となる像ずれ量が算出される。さらに、算出された像ずれ量に基づいて、ステップ413でデフォーカス量を算出する。デフォーカス量は、像ずれ量に対して光学的に算出できる係数を用いて算出される。
【００４０】
すべての撮像素子のデフォーカス量を算出した後、検出結果が有効であるか無効であるかを判定する。ここでの判定は各撮像素子の出力信号に対してコントラストが十分あるか、相関演算の結果が適切かを判断する。
【００４１】
最初に、ステップ414で出力信号を確認し、コントラストがあるかどうかを判断する。コントラストが基準値を下回る撮像素子は合焦不能と判定してステップ417へ進む。コントラストに問題が無ければ、ステップ415へ進み、相関演算値の評価を行う。相関値が低い場合は信頼性が低いと判断してステップ417へ進む。信頼性に問題が無ければステップ416へ進み、検出結果が有効であると判定して終了する(ステップ418)。ステップ417へ進んだ場合は検出結果の信頼性が低いと判断して終了する(ステップ418)。
以上の作業を行って、信頼性があると認めた撮像素子のデフォーカス量のみを利用する。
【００４２】
以上の理論を用いて本発明の動作を行う。次に、本発明の動作を図６のフローチャートを用いて説明する。
【００４３】
撮像装置の電源が入ったとき、もしくは、レンズを交換した直後に自動で動作を開始する(ステップ501)。なお、使用者が撮影タイミングを重視する等、本動作を行うのに都合が良くない場合には、操作部132と表示器131のメニュー画面により、前もって前もって本動作を停止することも可能である。また、撮影者がメニュー等から、ごみ検知モードを選択することも可能である。
【００４４】
本発明はレンズのフォーカス位置を変化させてごみを検出するため、ステップ502でレンズROM110を読むことでレンズの有無を確認する。レンズが付いていない場合には、以降の動作を止めると同時に、表示器131の背面液晶等により撮影者にアナウンスを行う(ステップ503)。
【００４５】
ステップ504以降でごみ検知をおこなう。ステップ504では撮像面に付着したゴミを検知出来るよう、絞りシャッタ駆動回路128により、絞りを十分に絞り込む。具体的には、各レンズの最少絞りF16やF32といった値まで絞り込めば、十分にごみを検知可能である。
【００４６】
次にステップ505でデフォーカス量の検出を行う。ごみを検知する相関演算は演算範囲にある像を全て使ってデフォーカス量を検出してしまうため、ごみの存在を特定するには測距範囲を適度に分割してごみ波形だけを演算して読みだすことが望ましい。この分割数は、ごみのデフォーカス量に依存する。ごみが付着している際に計算されるデフォーカス量より大きく、かつ、レンズを駆動した際の波形移動量が十分に認識できるサンプリング長さを保ちながら、極力細かく分割することで、ごみの検出精度を向上させることができる。
【００４７】
本実施例では、図９に示すように、３つに分割した場合について説明を行う。図９は、図８で例に挙げた撮像素子を3分割した様子を示しており、図９.(A)が撮像素子の分割方法、図９.(B)が図９.(A)をラインセンサとして利用するときの分割方法である。
まず、ステップ505で以下の手順でデフォーカス量の算出を行う。
【００４８】
CPU121は撮像素子駆動回路124を介して撮像素子107へ各撮像素子の出力を行わせる。出力された信号は、画像処理回路125を用いてごみ検知を行うための測距エリアL,C,R(図9. 参照)に分割を行った後、CPU121自身で持つA/Dコンバーターでデジタル信号に変換してデフォーカス量の計算を行う。
【００４９】
次にごみ確認を行う。ごみ確認作業では、複数回のデフォーカス量確認を行うため、ごみを検知した回数を表す「ごみあり」フラグを使用する。そのため、最初にステップ506で「ごみあり」フラグの数字をリセットしておく。
【００５０】
撮像面撮像素子表面のごみを検知するため、ステップ507で信頼性のある演算値から、デフォーカス量が撮像素子表面までの距離と一致している測距エリアを選択し、ステップ508でごみが付着していると判断して「ごみあり」フラグに1を加算し、撮像装置内のメモリに記憶する。
【００５１】
また、ステップ507において撮像素子表面のデフォーカス量に一致する測距エリアが無ければ、ごみは付着していないと判断して、本動作を終了する。
【００５２】
撮像装置が同一色の壁等、一様光の被写体を見ている場合は、素子で読み取るコントラストは全てごみによるものと考えられるので、上記で記憶した位置にごみが付いていると結論付けられる。しかし、実際の動作時には、図7.(a)にあるように、ごみ以外に被写体の像を読み取っており測距エリア内に被写体波形の一部が入った時等にはごみと被写体の区別がつかないことがある。このように、間違ってごみと識別してしまった測距エリアのデフォーカス量は、レンズのフォーカス位置が変化に伴って変化する。そのため、レンズを駆動してフォーカス位置を変化させた後に再びデフォーカス量を測定すれば、ごみとごみ以外の被写体の区別をつけることが可能である。
【００５３】
以上の考え方に従い、ステップ509でデフォーカスの変化が十分検出できる程度にレンズを駆動する。次にステップ511でデフォーカス量の算出を行うが、2回目のデフォーカス量算出は、1回目の検出結果からごみ以外の被写体を取り除くための作業である。よって、ステップ510で、ステップ507でごみを検知した測距エリアをメモリから読み出し、読み出した測距エリアのみでデフォーカス量の算出を行う。
【００５４】
次にステップ512でごみ確認を行う。ここで行う作業は、先に説明したステップ507からステップ508までの内容と同じである。2回目の検出でごみが発見された箇所には、再びステップ513で「ごみあり」フラグを加算する。ごみが無ければ何もせずにステップ514へ進む。
【００５５】
ステップ514では上で得られた波形データにより、ごみの有無を判断する。「ごみあり」フラグが２となっている個所は、1回目のデフォーカス量検出の際に撮像面上の異物を予測し、レンズを駆動してもデフォーカス量に変化が無かったことを示している。従って、撮像面上にごみが付着していると判断できる。
【００５６】
フラグが１の場合は、レンズの駆動によりデフォーカス量が変化しているので、撮像素子より外側の映像を見ていたと判断できる。よって、ごみは付着しておらず、例えば被写体波形の一部を検知していたか、ゴースト光や撮像素子ノイズ等の影響でイレギュラーな測定結果を得ていたと判断できる。
【００５７】
図7.(a)はごみが付着した撮像素子で読み取った波形データである。測距エリアLの山の部分が実際の映像をよみとった波形であり、測距エリアR側の凹んだ部分は撮像素子にごみが付着したことによる波形ケラレが引き起こした波形である。測距エリアCは、左端に測距エリアL上の波形の先端が入り込んでおり、デフォーカス量の演算を行うと測距エリアCと測距エリアRにごみが付着していると判断される。よって、「ごみあり」フラグは、測距エリアL=0、測距エリアC=1、測距エリアR=1 となる。
【００５８】
図7.(b)は図7.(a)の状態からレンズを駆動し、デフォーカス量を変化させた後の波形である。このとき、実際の映像による波形は、レンズのフォーカス位置が変化したためにA/B像の間隔が変わり、デフォーカス量が変化していることがわかる。それに対し、ごみ波形はレンズを動かしても変化しない。その結果、「ごみあり」フラグは測距エリアRのみ加算されて、測距エリアL=0、測距エリアC=1、測距エリアR=2となる。以上の結果から、測距エリアRにごみが付着していると判定できる。
【００５９】
ごみを検出した場合は、ステップ515へ進み、表示器131を通じてごみの存在を撮影者に通知する。通知後の動作内容は撮影者の都合によって、選択可能である。たとえば、ステップ516の様に、ごみの付着している個所以外で合焦作業を行ったり、異物補正データDDDの取得を行うことができる。また、撮像面表面にある光学部品を振動させることにより、ごみを除去する機能を有する撮像装置であれば、ごみを検知した上で除去機能をスタートさせることが可能である。
【００６０】
ステップ514で「ごみあり」フラグ=1となり、ごみが検出できなかった場合は、ごみは付着していないと判断してステップ517へ進み、動作を完了させる。
【００６１】
なお、以上の例では撮像面とレンズの間に遮蔽物の無い場合について述べているが、例えばサブミラーレスカメラの様に、他にごみが付着し得る部品がある撮像装置でも本アイデアは同様に使用することができる。サブミラーレスカメラの場合は、撮像面以外にメインミラー面上と同距離のデフォーカス信号を示す個所をメモリに記憶すれば良い。
【符号の説明】
【００６２】
102  絞り、105  第３レンズ群(焦点調整用)、107  撮像素子、
112  絞りシャッタアクチュエータ、114  フォーカスアクチュエータ、121  ＣＰＵ、
124  撮像素子駆動回路、126  フォーカス駆動回路、128  絞りシャッタ駆動回路、
201,301  副画素(デフォーカス量検知のために分割された画素)
【図１】
2016018172.tif 000003
【図２】
2016018172.tif 000004
【図３】
2016018172.tif 000005
【図４】
2016018172.tif 000006
【図５】
2016018172.tif 000007
【図６】
2016018172.tif 000008
【図７】
2016018172.tif 000009
【図８】
2016018172.tif 000010
【図９】
2016018172.tif 000011