(57)【要約】【課題】的確なフォーカス動作、及び高い感度での合焦点の検出を可能とするための画像処理装置等を提供すること。【解決手段】実施形態によれば、画像処理装置は、コントラスト算出部、足切り処理部３７、コントラスト評価値算出部である積算部３８、及びフォーカス制御部であるマイクロコントローラ３９を有する。フォーカス制御部は、コントラスト評価値が増加するほうの向きへ撮像レンズ１１を逐次駆動させる。フォーカス制御部は、コントラスト評価値が最大となる合焦点を検索する。フォーカス制御部は、足切り閾値を第１の値として合焦点を検索する。フォーカス制御部は、足切り閾値を第２の値とした場合のコントラスト評価値に応じた撮像レンズ１１の駆動を実行させる。第２の値は、第１の値より小さい。フォーカス制御部は、足切り閾値を第２の値から第１の値とした場合のコントラスト評価値に応じた撮像レンズ１１の駆動を実行させる。【選択図】図１
2013057889.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズを介して撮像された画像における位置ごとのコントラストを算出するコントラスト算出部と、
前記コントラスト算出部で算出された前記コントラストのデータ群から、足切り閾値より大きい値のデータを通過させることで、前記コントラストの足切り処理を実施する足切り処理部と、
前記足切り処理部を通過した前記コントラストの積算を経て、前記画像の鮮明さの評価指標とするコントラスト評価値を算出するコントラスト評価値算出部と、
前記撮像レンズのフォーカス動作を前記コントラスト評価値に応じて制御するフォーカス制御部と、を有し、
前記フォーカス制御部は、
前記フォーカス動作のための前記撮像レンズの可動方向のうち前記コントラスト評価値が増加するほうの向きへ前記撮像レンズを逐次駆動させることで、前記コントラスト評価値が最大となる合焦点を検索し、
前記足切り閾値を第１の値として前記合焦点を検索し、前記足切り閾値を前記第１の値より小さい第２の値とした場合の前記コントラスト評価値に応じた前記撮像レンズの駆動と、前記足切り閾値を前記第２の値から前記第１の値とした場合の前記コントラスト評価値に応じた前記撮像レンズの駆動と、を実行させることを特徴とする画像処理装置。
【請求項２】
前記フォーカス制御部は、前記足切り閾値を前記第１の値から前記第２の値へ段階的に変化させながらの前記撮像レンズの駆動と、前記足切り閾値を前記第２の値から前記第１の値へ段階的に変化させながらの前記撮像レンズの駆動と、の少なくとも一方を実行させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フォーカス制御部は、前記撮像レンズを移動させる向きの反転が繰り返された回数に応じて、前記撮像レンズが一定の位置に滞留したか否かを検知することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記フォーカス制御部は、前記足切り閾値を前記第１の値とする前記合焦点の検索に続いて、前記足切り閾値を前記第２の値とした場合の前記コントラスト評価値に応じた前記撮像レンズの駆動を実行させることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
被写体からの光を取り込む撮像レンズと、
前記撮像レンズにより結像された被写体像を撮像するイメージセンサと、
前記イメージセンサにより撮像された画像についての信号処理を実施する画像処理装置と、を有し、
前記画像処理装置は、
前記画像における位置ごとのコントラストを算出するコントラスト算出部と、
前記コントラスト算出部で算出された前記コントラストのデータ群から、足切り閾値より大きい値のデータを通過させることで、前記コントラストの足切り処理を実施する足切り処理部と、
前記足切り処理部を通過した前記コントラストの積算を経て、前記画像の鮮明さの評価指標とするコントラスト評価値を算出するコントラスト評価値算出部と、
前記撮像レンズのフォーカス動作を前記コントラスト評価値に応じて制御するフォーカス制御部と、を有し、
前記フォーカス制御部は、
前記フォーカス動作のための前記撮像レンズの可動方向のうち前記コントラスト評価値が増加するほうの向きへ前記撮像レンズを逐次駆動させることで、前記コントラスト評価値が最大となる合焦点を検索し、
前記足切り閾値を第１の値として前記合焦点を検索し、前記足切り閾値を前記第１の値より小さい第２の値とした場合の前記コントラスト評価値に応じた前記撮像レンズの駆動と、前記足切り閾値を前記第２の値から前記第１の値とした場合の前記コントラスト評価値に応じた前記撮像レンズの駆動と、を実行させることを特徴とするカメラモジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及びカメラモジュールに関する。
【背景技術】
【０００２】
カメラモジュールのオートフォーカス（ＡＦ）の方式として、例えば、コントラストＡＦ方式が知られている。コントラストＡＦ方式では、イメージセンサにより取り込まれる画像のうち、ピントを合わせる対象領域においてコントラストが最大となるように、撮像レンズを駆動する。従来のコントラストＡＦ方式では、撮像により得られた画像信号からコントラストを検出する場合に、高いコントラストを示す輪郭部分を効率良く取り出すために、例えば、低いコントラスト成分を除外してコントラストを評価する措置が採られている。画像の特徴となり得る輪郭部分に比べて、低いコントラスト成分であるパターンが支配的であるときは、低いコントラスト成分を除外することで、的確なフォーカス動作が困難となる場合が生じ得る。また、低いコントラスト成分を残存させることとすると、コントラストが最大となる合焦点の検出感度が低下してしまうことになる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１１１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、的確なフォーカス動作、及び高い感度での合焦点の検出を可能とするための画像処理装置及びカメラモジュールを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、画像処理装置は、コントラスト算出部、足切り処理部、コントラスト評価値算出部及びフォーカス制御部を有する。コントラスト算出部は、撮像レンズを解して撮像された画像における位置ごとのコントラストを算出する。足切り処理部は、コントラストの足切り処理を実施する。足切り処理部は、コントラスト算出部で算出されたコントラストのデータ群から、足切り閾値より大きい値のデータを通過させる。コントラスト評価値算出部は、足切り処理部を通過したコントラストを積算する。コントラスト評価値算出部は、コントラスト評価値を算出する。コントラスト評価値は、画像の鮮明さの評価指標とする。フォーカス制御部は、撮像レンズのフォーカス動作をコントラスト評価値に応じて制御する。フォーカス制御部は、フォーカス動作のための撮像レンズの可動方向のうちコントラスト評価値が増加するほうの向きへ撮像レンズを逐次駆動させる。フォーカス制御部は、コントラスト評価値が最大となる合焦点を検索する。フォーカス制御部は、足切り閾値を第１の値として合焦点を検索する。フォーカス制御部は、足切り閾値を第２の値とした場合のコントラスト評価値に応じた撮像レンズの駆動を実行させる。第２の値は、第１の値より小さい。フォーカス制御部は、足切り閾値を第２の値から第１の値とした場合のコントラスト評価値に応じた撮像レンズの駆動を実行させる。
【図面の簡単な説明】
【０００６】
【図１】実施形態にかかるカメラモジュールの概略構成を示すブロック図。
【図２】ピントが合っている場合におけるコントラストのヒストグラムの例を表す図。
【図３】図２に示す状態からピントがずれた場合におけるコントラストのヒストグラムの例を表す図。
【図４】フォーカス位置を近接位置から遠方まで走査させた場合におけるコントラスト評価値の変化の例を表す図。
【図５】ピントが合っている場合におけるコントラストのヒストグラムの例を表す図。
【図６】図５に示す状態からピントがずれた場合におけるコントラストのヒストグラムの例を表す図。
【図７】図５及び図６に示すコントラストのデータ群に対して足切り閾値をαとした場合におけるコントラスト評価値の変化の例を表す図。
【図８】図５及び図６に示すコントラストのデータ群に対して足切り閾値をβとした場合におけるコントラスト評価値の変化の例を表す図。
【図９】フォーカス動作の手順を示すフローチャート。
【図１０】フォーカス動作の手順を示すフローチャート。
【図１１】フォーカス動作の手順を示すフローチャート。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態にかかる画像処理装置及びカメラモジュールを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【０００８】
（実施形態）
図１は、実施形態にかかるカメラモジュールの概略構成を示すブロック図である。カメラモジュール１０は、撮像レンズ１１、固体撮像装置１２、イメージシグナルプロセッサ（image  signal  processor；ＩＳＰ）１３、記憶部１４、表示部１５、アクチュエータドライバ１６及びフォーカスアクチュエータ１７を有する。カメラモジュール１０は、例えばデジタルカメラである。
【０００９】
撮像レンズ１１は、被写体からの光を取り込み、被写体像を結像させる。撮像レンズ１１は、後述するフォーカスアクチュエータ１７により、光軸方向について移動可能とされている。固体撮像装置１２は、被写体像を撮像し、画像信号を生成する。ＩＳＰ１３は、固体撮像装置１２での撮像により得られた画像信号の信号処理を実施する。記憶部１４は、ＩＳＰ１３での信号処理を経た画像を格納する。
【００１０】
記憶部１４は、ユーザの操作等に応じて、表示部１５へ画像信号を出力する。表示部１５は、ＩＳＰ１３あるいは記憶部１４から入力される画像信号に応じて、画像を表示する。表示部１５は、例えば、液晶ディスプレイである。
【００１１】
固体撮像装置１２は、イメージセンサ２１及び撮像処理回路２２を有する。イメージセンサ２１は、撮像レンズ１１により結像された被写体像を撮像する。イメージセンサ２１は、画素部２３及びアナログデジタル変換器（ＡＤＣ）２４を有する。画素部２３は、撮像レンズ１１により取り込まれた光を信号電荷に変換する。画素部２３は、ＲＧＢの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ＡＤＣ２４は、画素部２３からの画像信号をアナログ方式からデジタル方式へ変換する。
【００１２】
撮像処理回路２２は、ＡＤＣ２４からの画像信号についての信号処理を実施する。撮像処理回路２２は、ラインメモリ２５、キズ補正部２６、スケーラ２７、混色補正部２８及びデモザイキング部２９を有する。
【００１３】
ラインメモリ２５は、画像信号を一時的に貯え、複数ラインの画像信号を出力する。キズ補正部２６は、正常に機能していない画素によるデジタル画像信号の欠損部分（キズ）を、周辺画素のデータの補間により補正する。スケーラ２７は、固体撮像装置１２からの出力の画素サイズに合わせて、空間的サンプリング周波数を変換する。出力の画素サイズをイメージセンサ２１の有効画素数とする場合、スケーラ２７は、空間的サンプリング周波数の変換を行わず、画像信号を通過させる。
【００１４】
混色補正部２８は、各色成分の信号値から混色成分を減算することで、各色についての波長分離特性を改善する。デモザイキング部２９は、画像信号の補間処理により、各画素について不足色成分の信号値を生成する。デモザイキング部２９は、補間処理とともに、例えば、Ｒ及びＢの信号値にＧの高域成分を加算することで解像度を補うこととしても良い。
【００１５】
ＩＳＰ１３は、ホワイトバランス（ＷＢ）調整部３１、ガンマ補正部３２、ＹＵＶ変換部３３、ビニング部３４、微分器３５、絶対値演算器３６、足切り処理部３７、積算部３８及びマイクロコントローラ３９を有する。ＷＢ調整部３１、ガンマ補正部３２及びＹＵＶ変換部３３は、ＩＳＰ１３から出力する画像信号についての処理を担う。ビニング部３４、微分器３５、絶対値演算器３６、足切り処理部３７、積算部３８及びマイクロコントローラ３９は、画像のうちピントを合わせる対象領域について、ＡＦ調整のための処理を担う。
【００１６】
ＷＢ調整部３１は、デモザイキング部２９からの画像信号に対するＷＢ調整を実施する。ＷＢ調整部３１は、光源の色温度の違いに応じてできるだけ同じ色調の被写体像を、ＷＢ調整により得る。ガンマ補正部３２は、ＲＧＢの画像信号に対して、画像の階調を補正するためのガンマ補正を実施する。ＹＵＶ変換部３３は、ＲＧＢの画像信号から輝度（Ｙ）信号及び色差（ＵＶ）信号を生成することにより、画像信号をＲＧＢ形式からＹＵＶ形式（例えば、ＹＵＶ４２２など）へ変換する。ＩＳＰ１３は、ＹＵＶ変換部３３での変換を経た画像信号を出力する。
【００１７】
ビニング部３４は、デモザイキング部２９からの画像信号に対するビニング処理を実施する。ビニング部３４は、ビニング処理により、所定数（例えばｎ個）の画素について信号値を平均化し、データ数をｎ分の１とする。ビニング部３４は、元の画像が持つ空間周波数に対するローパスフィルタとして機能する。
【００１８】
カメラモジュール１０は、ビニング処理を実施することで、イメージセンサ２１が持つ最大解像度より大まかな周波数レベルについてコントラスト評価を行う。これにより、カメラモジュール１０は、コントラスト評価の結果を安定化させ、焦点が合っているか否かが判断し易くなる。なお、ビニング部３４は、画素が配列された水平及び垂直方向のうち例えば水平方向についてのビニング処理と、水平及び垂直方向についてのビニング処理と、のいずれを実施するものとしても良い。
【００１９】
微分器３５は、ビニング処理を経た画像の水平方向について、有限インパルス応答（ＦＩＲ）フィルタにより信号値を微分し、画像の輪郭信号を抽出する。絶対値演算器３６は、微分器３５からの輪郭信号の絶対値を求めることにより、正負に振幅を持つ輪郭信号を、正に振幅を持つ信号へ変換する。絶対値演算器３６での変換を経た信号は、ビニング処理を経た画像における位置ごとのコントラストを表している。微分器３５及び絶対値演算器３６は、画像における位置ごとのコントラストを算出するコントラスト算出部を構成する。
【００２０】
足切り処理部３７は、絶対値演算器３６から出力されたコントラストのデータ群から、足切り閾値より大きい値のデータを通過させることで、コントラストの足切り処理を実施する。積算部３８は、足切り処理部３７を通過したコントラストを積算する。積算部３８は、コントラストの積算結果を基にコントラストの平均を求め、コントラスト評価値として出力する。積算部３８は、コントラスト評価値を算出するコントラスト評価値算出部として機能する。コントラスト評価値は、画像の鮮明さの評価指標とする。
【００２１】
マイクロコントローラ３９は、コントラスト評価値に応じてアクチュエータドライバ１６を制御する。アクチュエータドライバ１６は、マイクロコントローラ３９による制御に応じて、フォーカスアクチュエータ１７を駆動する。フォーカスアクチュエータ１７は、アクチュエータドライバ１６により制御される入力電流に応じて、撮像レンズ１１を移動させる。撮像レンズ１１は、光軸に沿う方向を可動方向として移動することで、フォーカス位置を調整する。マイクロコントローラ３９は、撮像レンズ１１のフォーカス動作をコントラスト評価値に応じて制御するフォーカス制御部として機能する。
【００２２】
フォーカスアクチュエータ１７は、ヴォイスコイルモータ方式、ピエゾモータ方式、ＤＣモータ方式及びステッピングモータ方式等、一般に使用されるいずれの構造を採用するものであっても良い。ヴォイスコイルモータ方式は、電磁力を駆動力とする。ピエゾモータ方式は、圧電素子の振動による駆動力を、摩擦接触により直進運動に変換する。ＤＣモータ方式は、直流により回転させたモータの駆動力を、ギア等により直進運動に変換する。ステッピングモータ方式は、パルス電力に同期して回転させたモータの駆動力を、ギア等により直進運動に変換する。
【００２３】
カメラモジュール１０における信号処理のための構成は、前段の撮像処理回路２２と、後段のＩＳＰ１３とに大別される。撮像処理回路２２及びＩＳＰ１３は、イメージセンサ２１により撮像された画像についての信号処理を実施する画像処理装置として機能する。本実施形態で説明する撮像処理回路２２及びＩＳＰ１３の構成は一例であって、適宜変形しても良い。撮像処理回路２２及びＩＳＰ１３は、例えば、本実施形態で示す要素とは別の要素の追加や、省略可能な要素の省略等の変更をしても良い。
【００２４】
本実施形態において撮像処理回路２２が備える要素と、ＩＳＰ１３が備える要素とは、撮像処理回路２２及びＩＳＰ１３のうちの少なくともいずれかに含められていれば良いものとする。本実施形態においてＩＳＰ１３に含めることとしている要素は、ＩＳＰ１３に代えて撮像処理回路２２に含めることとしても良い。また、本実施形態において撮像処理回路２２に含めることとしている要素は、撮像処理回路２２に代えてＩＳＰ１３に含めることとしても良い。
【００２５】
例えば、ＩＳＰ１３は、ピントを合わせる対象領域について明るさを評価し、微分器３５及び絶対値演算器３６にて算出されたコントラストに、当該評価の結果を加算することとしても良い。これにより、カメラモジュール１０は、ピントを合わせる対象領域の明るさの差がコントラスト評価へ及ぼす影響を低減できる。
【００２６】
次に、マイクロコントローラ３９によるフォーカス動作の制御について説明する。マイクロコントローラ３９は、撮像レンズ１１の可動方向のうちコントラスト評価値が増加するほうの向きへ撮像レンズ１１を逐次駆動させることで、コントラスト評価値が最大となる合焦点を検索する。マイクロコントローラ３９は、合焦点の検索のために撮像レンズ１１を揺動運動（ウォブリング）させ、合焦点が検出された位置にて撮像レンズ１１を停止させる一連のフォーカス動作を制御する。かかるフォーカス動作の手法は、一般に、山登りＡＦ方式と称されている。
【００２７】
図２は、ピントが合っている場合におけるコントラストのヒストグラムの例を表す図である。図３は、図２に示す状態からピントがずれた場合におけるコントラストのヒストグラムの例を表す図である。図２及び図３において、横軸は、絶対値演算器３６から出力されたコントラストとする。縦軸は、ピントを合わせる対象領域における頻度とする。
【００２８】
コントラストは、ピントがずれている場合に比べピントが合っている場合のほうが、全体として高くなる。被写体像の輪郭成分によるコントラストのピークは、ピントがずれることにより、低コントラスト側へシフトする。図２及び図３に示すコントラストのデータ群に対して、足切り閾値を例えばαと設定したとする。この場合、コントラスト評価値は、コントラストのデータ群のうちαより大きい値のデータを平均した値となる。
【００２９】
図４は、フォーカス位置を近接位置から遠方まで走査させた場合におけるコントラスト評価値の変化の例を表す図である。図中、横軸はフォーカス位置であって、右へ向かうほど遠方であることを表している。縦軸は、コントラスト評価値とする。コントラスト評価値は、フォーカス位置が合焦点に達したときに最大となる。コントラスト評価値は、フォーカス位置が合焦点から離れるに従い、最大値から減衰していく。
【００３０】
フォーカス位置とコントラスト評価値とが図４に示す関係にあるとき、山登りＡＦ方式を適用した場合、コントラスト評価値が増加する向きへフォーカス位置を変化させることの繰り返しにより、コントラスト評価値が最大となる合焦点を検出することができる。また、予め足切り処理を実施することで、コントラスト評価値のピークを急峻にさせ、合焦点を高い感度で検出することができる。
【００３１】
図５及び図６は、図２及び図３に示す場合とは異なる絵柄であるときにおけるコントラストのヒストグラムの例を表す図である。図５はピントが合っている場合を表している。図６は、図５に示す状態からピントがずれた場合を表している。
【００３２】
図５に示すヒストグラムによると、高いコントラストである輪郭成分の他、低いコントラストである成分が顕著に現れている。画像は、輪郭成分である明瞭なパターンと、薄くかつ同等の周期からなるパターンとを含む。かかる被写体像についてピントがずれると、図６に示すように、輪郭成分によるピークと、低コントラスト成分のピークとは、いずれも低コントラスト側へシフトする。
【００３３】
図６に示すヒストグラムに対して足切り閾値をαとした場合において、低コントラスト成分の大半がαより低い範囲に含まれるとする。この場合、αより低い成分は、足切り処理により除外されコントラスト評価値の算出に反映されないこととなる。αより低い成分がコントラスト評価値の算出に反映されなくなることで、コントラストのデータ群の平均であるコントラスト評価値は、ピントがずれているにもかかわらず、本来採るべき値よりも高い値を示す場合が生じ得る。
【００３４】
図７は、図５及び図６に示すコントラストのデータ群に対して足切り閾値をαとした場合におけるコントラスト評価値の変化の例を表す図である。コントラスト評価値は、フォーカス位置が合焦点に達したときに最大となる。フォーカス位置が合焦点から遠ざかると、コントラスト評価値はある程度減衰してから一旦上昇に転じることとなる。フォーカス位置が合焦点とは異なるにもかかわらず現れるピーク（以下、適宜「ローカルピーク」と称する）は、図６を参照して説明したように、ピントがずれているにもかかわらずコントラスト評価値が高い値を示すことによるものである。
【００３５】
かかるローカルピークは、コントラスト位置が撮像レンズ１１及び合焦点の間であるときと、合焦点よりも遠方であるときの双方に現れる。この場合において、ローカルピークからさらに離れた位置、すなわち図７に示すグラフの裾部から検索を開始したとすると、山登りＡＦ方式による検索は、ローカルピークにて収束してしまうこととなる。このように、合焦点を検出する以前に、ローカルピークでの収束をもって検索が終了することになるため、フォーカス動作が不完全なものとなる。仮に、足切り処理を一律に停止させるか、単に足切り閾値を小さい値とすると、ローカルピークを抑制可能である一方、コントラスト評価値のピークを低くなだらかにさせ、合焦点の検出感度を低下させることになる。
【００３６】
本実施形態のマイクロコントローラ３９は、足切り閾値をα（第１の値）とする合焦点の検索に続いて、図６に示すように足切り閾値をαより小さいβ（第２の値）へと変化させる。足切り閾値をβとした場合において、低いコントラストの成分の大半がβより高い範囲に含まれるとする。この場合、足切り閾値をαとする場合に除外される成分の大半を残存可能とし、コントラスト評価値の算出に反映させることができる。
【００３７】
図８は、図５及び図６に示すコントラストのデータ群に対して足切り閾値をβとした場合におけるコントラスト評価値の変化の例を表す図である。低コントラスト成分がコントラスト評価値の算出に反映されることで、フォーカス位置が合焦点となるときのコントラスト評価値は図７に示す場合より低くなる一方、ローカルピークを除去することが可能となる。この場合、山登りＡＦ方式による検索により、合焦点に到達することが可能となる。
【００３８】
図９から図１１は、フォーカス動作の手順を示すフローチャートである。フォーカス動作は、図９に示す待機ステートと、図１０及び図１１に示す山登り検索ステートに大別される。待機ステートは、合焦点の検索を開始するか否かを判断しながら待機している状態とする。待機ステートの開始時における撮像レンズ１１の位置を、その時点における基準位置とする。
【００３９】
待機ステートが開始されると、マイクロコントローラ３９は、足切り閾値を第１の値であるαと設定し（ステップＳ１）、足切り処理部３７へ通知する。αは、山登りＡＦ方式において一般的に設定される足切り閾値と同等の値とする。積算部３８は、足切り処理部３７における足切り処理を経たコントラストのデータを基に、コントラスト評価値を算出する（ステップＳ２）。
【００４０】
次に、マイクロコントローラ３９は、ＡＦ調整を開始するか否かを判断する（ステップＳ３）。マイクロコントローラ３９は、例えば、予め設定された範囲より大きくコントラスト評価値が変化した場合や、ステップＳ３において待機の継続を判断した回数が予め設定された回数以上続いた場合、待機ステートが所定時間経過した場合等に、ＡＦ調整を開始するものと判定する。ＡＦ調整を開始しないと判断した場合（ステップＳ３、Ｎｏ）、マイクロコントローラ３９は、ＡＦ調整開始の判断のため次にコントラスト評価値を算出する（ステップＳ２）まで待機する（ステップＳ４）。
【００４１】
ＡＦ調整を開始すると判断した場合（ステップＳ３、Ｙｅｓ）、マイクロコントローラ３９は、撮像レンズ１１の可動範囲における中心位置へ向けて、基準位置から撮像レンズ１１を移動させる（ステップＳ５）。マイクロコントローラ３９は、ステップＳ５における撮像レンズ１１の移動により、フォーカス動作を山登り検索ステートへと移行させる。なお、ステップＳ５において撮像レンズ１１を移動させる距離は、山登り検索のために予め設定された距離であるものとする。
【００４２】
山登り検索ステートが開始されると、積算部３８は、ステップＳ５による移動後におけるコントラスト評価値を算出する（ステップＳ６）。マイクロコントローラ３９は、ステップＳ２において算出されたコントラスト評価値に対して、ステップＳ６において算出されたコントラスト評価値が低下しているか否かを判断する（ステップＳ７）。
【００４３】
コントラスト評価値が低下していると判断した場合（ステップＳ７、Ｙｅｓ）、マイクロコントローラ３９は、次に撮像レンズ１１を移動させる向きをそれまでとは反転させる旨を決定する（ステップＳ８）。撮像レンズ１１を移動させる向きを反転させると、撮像レンズ１１は、前回の移動の前における位置に滞留することとなる。マイクロコントローラ３９は、滞留カウンタ（図示省略）をカウントアップする（ステップＳ９）。滞留カウンタは、撮像レンズ１１の滞留が継続した回数を保持する。
【００４４】
また、マイクロコントローラ３９は、撮像レンズ１１が一定の向きへ継続して移動した回数を、滞留解消条件としてカウントする。マイクロコントローラ３９は、当該カウントが所定の閾値に達した場合に滞留が解消していると判断し、当該カウントが所定の閾値に達していない場合に、滞留が継続していると判断する。コントラスト評価値が低下していないと判断した場合（ステップＳ７、Ｎｏ）、マイクロコントローラ３９は、滞留解消条件を満たすか否かを判断する（ステップＳ１０）。
【００４５】
滞留解消条件を満たすと判断した場合（ステップＳ１０、Ｙｅｓ）、マイクロコントローラ３９は、滞留カウンタをリセットする（ステップＳ１１）。滞留解消条件を満たさないと判断した場合（ステップＳ１０、Ｎｏ）、マイクロコントローラ３９は、滞留カウンタをカウントアップする（ステップＳ１２）。ステップＳ１１の後、あるいはステップＳ１２の後、マイクロコントローラ３９は、基準位置を、現在の撮像レンズ１１の位置に更新することを決定する（ステップＳ１３）。
【００４６】
次に、マイクロコントローラ３９は、被写体が移動したか否かを判断する（ステップＳ１４）。マイクロコントローラ３９は、例えば、コントラストのヒストグラムの変化、画像の明るさの変化、コントラスト評価値の変化等を基に、被写体が移動したか否かを判断する。被写体が移動したと判断した場合（ステップＳ１４、Ｙｅｓ）、マイクロコントローラ３９は、滞留カウンタをリセットする（ステップＳ１５）。これにより、マイクロコントローラ３９は、被写体の移動があった場合に、山登り検索を仕切り直すこととする。
【００４７】
被写体が移動していないと判断した場合（ステップＳ１４、Ｎｏ）、あるいはステップＳ１５の後、マイクロコントローラ３９は、コントラスト評価値が最大となる頂上を検出したか否かを判断する（ステップＳ１６）。マイクロコントローラ３９は、滞留カウンタのカウント、すなわち撮像レンズ１１を移動させる向きの反転が繰り返された回数に応じて、撮像レンズ１１が一定の位置に滞留したか否かを検知する。マイクロコントローラ３９は、滞留カウンタのカウントが所定の数値に達したことで、撮像レンズ１１が滞留したものとし、コントラスト評価値の推移における頂上を検出したと判断する。
【００４８】
頂上を検出したと判断した場合（ステップＳ１６、Ｙｅｓ）であって、ステップＳ１３にて基準位置の更新を決定している場合は、マイクロコントローラ３９は、撮像レンズ１１を更新後の基準位置へ移動させる（ステップＳ１７）。頂上を検出したと判断した場合（ステップＳ１６、Ｙｅｓ）であって、ステップＳ１３による基準位置の更新を決定していない場合は、マイクロコントローラ３９は、撮像レンズ１１の位置をそれまでの基準位置のままとする。ステップＳ１６において頂上を検出すると、マイクロコントローラ３９は、以下に説明するステップＳ１９以降の検証段階へと移行する。
【００４９】
一方、頂上を検出していないと判断した場合（ステップＳ１６、Ｎｏ）、マイクロコントローラ３９は、撮像レンズ１１を移動させる（ステップＳ１８）。ステップＳ８にて撮像レンズ１１の移動向きの反転を決定している場合は、マイクロコントローラ３９は、前回の移動のときとは逆の向きへ撮像レンズ１１を移動させる。
【００５０】
ステップＳ８における反転の決定をしていない場合は、マイクロコントローラ３９は、前回の移動のときと同じ向きへ撮像レンズ１１を移動させる。ステップＳ１８において撮像レンズ１１を移動させる距離は、山登り検索のために予め設定された距離であるものとする。マイクロコントローラ３９は、ステップＳ１８の後、ステップＳ６からの動作を繰り返す。
【００５１】
マイクロコントローラ３９は、ステップＳ１９からステップＳ３１の動作により、ステップＳ１６での頂上の検出により合焦点に到達したか否かを検証する。マイクロコントローラ３９は、ステップＳ１９からステップＳ２４において、足切り閾値をαからβへ段階的に変更させながら、コントラスト評価値に応じた撮像レンズ１１の駆動を実行させる。
【００５２】
マイクロコントローラ３９は、足切り閾値を第１の値であるαから第２の値であるβへ向けて１段階減少させ（ステップＳ１９）、その値を足切り処理部３７へ通知する。βは、αより小さい値であって、信号のノイズより高いレベルであれば良いものとする。また、βは、画像に高い頻度で含まれ得る低コントラスト成分より低いレベルであるものとする。βをできるだけ小さい値とすることで、マイクロコントローラ３９は、上述するローカルピークを効果的に抑制させることができる。
【００５３】
マイクロコントローラ３９において足切り閾値を段階的に減少させる下げ幅は、適宜設定可能であるものとする。マイクロコントローラ３９は、足切り閾値をαからβへ段階的に変化させることで、足切り閾値の変化が検索動作に及ぼす影響を少なくさせ、安定したフォーカス動作が可能となる。
【００５４】
積算部３８は、ステップＳ１９において切り下げられた足切り閾値を適用した場合のコントラスト評価値を算出する（ステップＳ２０）。マイクロコントローラ３９は、前回算出されたコントラスト評価値に対して、ステップＳ２０において算出されたコントラスト評価値が低下しているか否かを判断する（ステップＳ２１）。
【００５５】
コントラスト評価値が低下していると判断した場合（ステップＳ２１、Ｙｅｓ）、マイクロコントローラ３９は、次に撮像レンズ１１を移動させる向きをそれまでとは反転させる旨を決定する（ステップＳ２２）。撮像レンズ１１を移動させる向きの反転を決定した場合、マイクロコントローラ３９は、前回撮像レンズ１１を移動させたときとは逆の向きへ撮像レンズ１１を移動させる（ステップＳ２３）。
【００５６】
コントラスト評価値が低下していないと判断した場合（ステップＳ２１、Ｎｏ）、マイクロコントローラ３９は、前回撮像レンズ１１を移動させた向きと同じ向きへ撮像レンズ１１を移動させる（ステップＳ２３）。ステップＳ２３、及び後述するステップＳ２９において撮像レンズ１１を移動させる距離は、山登り検索のために予め設定された距離であるものとする。
【００５７】
マイクロコントローラ３９は、現在の足切り閾値がβ以下であるか否かを判断する（ステップＳ２４）。現在の足切り閾値がβより大きい場合（ステップＳ２４、Ｎｏ）、マイクロコントローラ３９は、ステップＳ１９からの動作を繰り返す。現在の足切り閾値がβ以下である場合（ステップＳ２４、Ｙｅｓ）、マイクロコントローラ３９は、ステップＳ２５以降の手順へ進む。
【００５８】
マイクロコントローラ３９は、ステップＳ２５からステップＳ３０において、足切り閾値をβからαに段階的に戻しながら、コントラスト評価値に応じた撮像レンズ１１の駆動を実行させる。
【００５９】
マイクロコントローラ３９は、足切り閾値をβからαへ向けて１段階増加させ（ステップＳ２５）、その値を足切り処理部３７へ通知する。足切り閾値を段階的に増加させる上げ幅は、適宜設定可能であるものとする。マイクロコントローラ３９は、足切り閾値をβからαへ段階的に変化させることで、足切り閾値の変化が検索動作に及ぼす影響を少なくさせ、安定したフォーカス動作が可能となる。
【００６０】
積算部３８は、ステップＳ２５において切り上げられた足切り閾値を適用した場合のコントラスト評価値を算出する（ステップＳ２６）。マイクロコントローラ３９は、前回算出されたコントラスト評価値に対して、ステップＳ２６において算出されたコントラスト評価値が低下しているか否かを判断する（ステップＳ２７）。
【００６１】
コントラスト評価値が低下していると判断した場合（ステップＳ２７、Ｙｅｓ）、マイクロコントローラ３９は、次に撮像レンズ１１を移動させる向きをそれまでとは反転させる旨を決定する（ステップＳ２８）。撮像レンズ１１を移動させる向きの反転を決定した場合、マイクロコントローラ３９は、前回撮像レンズ１１を移動させたときとは逆の向きへ撮像レンズ１１を移動させる（ステップＳ２９）。
【００６２】
コントラスト評価値が低下していないと判断した場合（ステップＳ２７、Ｎｏ）、マイクロコントローラ３９は、前回撮像レンズ１１を移動させた向きと同じ向きへ撮像レンズ１１を移動させる（ステップＳ２９）。マイクロコントローラ３９は、現在の足切り閾値がα以上であるか否かを判断する（ステップＳ３０）。現在の足切り閾値がα未満である場合（ステップＳ３０、Ｎｏ）、マイクロコントローラ３９は、ステップＳ２５からの動作を繰り返す。
【００６３】
現在の足切り閾値がα以上である場合（ステップＳ３０、Ｙｅｓ）、マイクロコントローラ３９は、頂上を検出したか否かを判断する（ステップＳ３１）。マイクロコントローラ３９は、ステップＳ１６と同様に、滞留カウンタのカウントが所定の数値に達したか否か、すなわち撮像レンズ１１の移動向きの反転が繰り返されたか否かを基に、コントラスト評価値の推移における頂上を検出したか否かを判断する。
【００６４】
マイクロコントローラ３９は、頂上を検出したと判断した場合（ステップＳ３１、Ｙｅｓ）、合焦点の検出が完了したものとして、上述するステップＳ１からの待機ステートへ移行する。マイクロコントローラ３９は、頂上を検出していないと判断した場合（ステップＳ３１、Ｎｏ）、ステップＳ６からの動作を繰り返す。
【００６５】
マイクロコントローラ３９は、輪郭成分とともに低コントラスト成分が顕著に現れている被写体像について、ローカルピークでの検索の収束があった場合でも、足切り閾値をαからβへ変更することで、合焦点に向けた検索を続行することが可能となる。また、マイクロコントローラ３９は、足切り閾値をβからαへ戻すことで、合焦点の検出感度を再び高め、合焦点の高精度な検出が可能となる。以上により、画像処理装置は、的確なフォーカス動作の実行と、高い感度での合焦点の検出とが可能となる。
【００６６】
なお、マイクロコントローラ３９は、足切り閾値をαからβへ変化させるときと、足切り閾値をβからαへ変化させるときとの少なくとも一方は段階的な変化とせず、α及びβの間の値を経ずに非段階的な変化としても良い。この場合も、マイクロコントローラ３９は、合焦点の的確かつ高精度な検索を可能とするという効果を得ることができる。
【００６７】
足切り閾値とするα及びβは、例えば、イメージセンサ２１の性能、光学系の設計等に応じて適宜設定可能であるものとする。画像処理装置は、足切り閾値とするα及びβを固定値とする他、α及びβの少なくとも一方を可変としても良い。マイクロコントローラ３９は、例えば、ズーム、アナログゲイン等に応じて足切り閾値α及びβの少なくとも一方を変化させることとしても良い。これにより、画像処理装置は、撮像条件に応じたＡＦ調整を実施できる。
【００６８】
本実施形態で説明するフォーカス動作は、足切り閾値をαとする山登りＡＦ方式による合焦点の検索に、足切り閾値を変化させての検証動作の手順を付加することで実現することができる。なお、画像処理装置は、合焦点の検索に続いて検証動作を実施する場合に限られず、合焦点の検索と並行して、足切り閾値を変化させることとしても良い。この場合、合焦点の検索に検証動作が組み込まれることで、合焦点の的確かつ高精度な検索を迅速に実行することが可能となる。
【００６９】
実施形態にかかるカメラモジュール１０は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等であっても良い。
【００７０】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７１】
１０  カメラモジュール、１１  撮像レンズ、１２  固体撮像装置、１３  ＩＳＰ、２１  イメージセンサ、２２  撮像処理回路、３４  ビニング部、３５  微分器、３６  絶対値演算器、３７  足切り処理部、３８  積算部、３９  マイクロコントローラ。
【図１】
2013057889.tif 000003
【図２】
2013057889.tif 000004
【図３】
2013057889.tif 000005
【図４】
2013057889.tif 000006
【図５】
2013057889.tif 000007
【図６】
2013057889.tif 000008
【図７】
2013057889.tif 000009
【図８】
2013057889.tif 000010
【図９】
2013057889.tif 000011
【図１０】
2013057889.tif 000012
【図１１】
2013057889.tif 000013