(57)【要約】【課題】ノイズ低減部を通過したデジタル画像データを用いて容易に合焦判定が行える自動焦点調整装置、自動焦点調整方法を提供する。【解決手段】本発明の自動焦点調整装置１は、デジタル画像信号のノイズを低減して出力するノイズ低減部１７と、前記ノイズ低減部からの画像信号出力に応じて合焦判定を行う手段（画像処理部２０、色分離部１８等）とを備える。また、ノイズ低減部は、撮像素子１５からＣＤＳ／ＡＤＣ等１６を介して受けたデジタル画像データのでノイズを除去する。このノイズが低減された画像出力に基づいて合焦判定が行われる。本発明によれば、ノイズを低減した画像信号を元に画像処理を行うので、画像処理部２０の自由度が上がる。また、一般に被写体が暗い場合などには、ノイズの低減量が増大するので、これに対応したしきい値を設定することで合焦判定の機会を増加させるなど合焦が容易になるという効果を有する。【選択図】図６
2008292541.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像信号のノイズを低減して出力するノイズ低減部と、
前記ノイズ低減部からの画像信号出力に応じて合焦判定を行う手段と、
を備えることを特徴とする自動焦点調整装置。
【請求項２】
前記デジタル画像信号は、アナログ画像信号に対しノイズ低減処理とデジタル変換処理とが施されたものであることを特徴とする請求項１記載の自動焦点調整装置。
【請求項３】
前記手段は、
前記ノイズ低減部からの画像信号を受けて合焦判定に用いる輝度を検出する画像処理部と、
前記ノイズ低減部からの画像信号を受けて、Ｒ，Ｇ，Ｂの信号成分に分離し、これら信号成分の少なくとも一つを用いてＡＦ評価値を求めるＡＦ評価値計算部に出力する色分離部と、
を含むことを特徴とする請求項１又は請求項２記載の自動焦点調整装置。
【請求項４】
前記手段は、画像信号処理部にて検出された前記輝度に基づいて合焦判定のしきい値を設定し、前記合焦評価値と比較することによって合焦判定を行う中央演算処理装置（ＣＰＵ）を更に含むことを特徴とする請求項３又は４に記載の自動焦点調整装置。
【請求項５】
前記Ｇ信号成分を用いて、ＡＦ評価値を求めることを特徴とする請求項４又は５に記載の自動焦点調整装置。
【請求項６】
アナログ画像信号に対しノイズ低減処理とデジタル変換処理とが施されたデジタル画像信号のノイズ低減部を備える自動焦点調整装置を用いる自動焦点調整方法であって、
前記ノイズ低減部からの画像信号出力に応じて合焦判定を行うことを特徴とする自動焦点調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に用いられる自動焦点調整装置、自動焦点調整方法に関し、特にノイズ低減回路を備える自動焦点調整装置、自動焦点調整方法に関する。
【背景技術】
【０００２】
最近では携帯電話等の携帯端末にデジタルカメラが用いられるなど、デジタルカメラの需要が増加している。これら携帯電話等の携帯端末に用いられる自動焦点調整装置は、コントラストを検出してオートフォーカス制御（以下、ＡＦ（Automatic  Focus）制御と略称する。）を行うことが一般的である。このＡＦ制御の従来からの課題としては、周囲環境が暗いなかやコントラストの低い環境での合焦特性の向上、ノイズの少ない良好な画質の提供などがある。また、これらデジタルカメラにおいては、低コスト、小型、簡単に使用できることなどの基本的な要求がある。
【０００３】
加えて、特に設計変更の機会が多く、機能的な要求の変化の多い携帯電話等携帯端末のデジタルカメラなどに用いられる自動焦点調整装置には、それ自身の構成のみならず、携帯電話本体と連動したカメラシステム制御という広い観点から、映像エンジン全体としてのメモリや半導体装置などの省資源化や、汎用化ということも求められている。以下、本発明の解決課題を述べる前にこれらの従来技術のうち、関係の深いものについて簡単に説明する。
【０００４】
非特許文献１には、携帯電話用カメラ映像エンジンの構成例が紹介されている。その一例を図１、図２に示す。図１は、カメラモジュールとしてレンズ、ＣＣＤなどの撮像装置や、カメラＤＳＰなどのカメラ映像エンジンまで組み込んだ例である。
【０００５】
図２には、カメラ映像エンジンを機能ブロック別に分けて示した一例が開示されている。機能ブロックとしては、撮像制御部、信号処理部、ＣＰＵを備えて撮像制御を行うことが紹介されている。撮像制御部は、プリプロセッサとも言われ、ＲＧＢ（red、green、blue)信号形式でＡＥ（Automatic  Exposure）や、ＡＷＢ（Automatic  White  Balance）用の計測処理やＡＦ（Automatic  Focus）用の検波処理を行っている。信号処理部は、ポストプロセッサとも言われ、ＹＵＶ信号形式（輝度信号（Ｙ）並びに輝度情報と青色成分との差（Ｕ）、輝度信号と赤色成分との差（Ｖ）という３つの情報で色を表す形式）で画像形成系と画像補正系、出力制御系の処理を行っている。また、撮像制御部と信号処理部の接続箇所でＲＧＢ信号がＹＵＶ信号に変換される。
【０００６】
また、信号処理部のうち、画像補正系では、エッジ補正処理、ノイズ抑圧処理など種々の処理を行っている。画像補正系の処理のうちでもデジタルデータの取り扱いに関連して、ノイズ抑圧処理は重要である。なお、ノイズ抑圧処理は、ノイズを除去し、低減する処理であり、ノイズ除去処理、ノイズ低減処理とも言われるものである。以下、本明細書ではノイズ低減処理という。
【０００７】
以上まとめると、ＡＦ制御などを行う機能部分は撮像制御部に集約されており、ノイズ低減処理などを行う部分は、ＡＦ制御などの処理が終わった後にデジタル信号処理の一環として行っているのが従来の方法である。そしてこのような撮像処理、信号処理等を行う専用ＬＳＩチップも前述のようにカメラエンジンとして開発されている。
【０００８】
また、ＡＦ制御に際しては、ＣＣＤ等からの出力（撮像信号など）に含まれる高周波成分の量を例えば１フィールド期間積分し、その値をＡＦ評価値として、それが最も大きくなるようにフォーカスレンズを光軸方向に移動させるという方法がよく行われている。
【０００９】
しかし、ＡＦ制御において一般的に用いられているコントラスト検出方式においては、ＣＣＤ等からの撮像信号などの高周波成分の量をＡＦ評価値として使用することから、暗い被写体や、コンストラストの変化が小さい被写体については、合焦位置を検出することができなかった。
【００１０】
こういった課題を解決すべく、特許文献１に開示された技術を図３，図４を用いて簡単に説明する。図３にその代表的な構成を示すが、ＲＧＢそれぞれにデジタルゲイン調整部を設けること、そしてその後、ＹＵＶ変換部に画像データが入ること、が開示されている。更に、図４に示すように、事前に撮像により取得した画像信号の輝度を検出し（ＳＡ４）、それが基準以下である場合には、ＡＦ評価の対象となる画像信号のうち、Ｒゲインを、Ｇ、Ｂゲインよりも高めに設定（ＳＡ７）することにより、ＡＦ評価の対象となる画像信号の全体的な輝度成分を増大させる技術が開示されている。    
【００１１】
そして、上述の構成により、暗い被写体であっても、合焦点が検出でき、ＡＦ制御を行うことができると開示されている。
【００１２】
また、特許文献２には、変化の乏しい被写体、つまりコントラストの小さい被写体に対しても高い確率でフォーカスを合焦位置に設定すること、つまり合焦特性を向上させることが開示されている。この開示内容を、図５を参照して簡単に説明する。信号処理回路はＣＤＳ／ＡＧＣ／ＡＤ回路から出力された画像データを受けて、白バランス調整、色分離、ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを生成することが開示されている。
【００１３】
更に、ＡＦ評価回路で、出力画像データを形成するＹデータ（輝度データ）から高域周波数成分を抽出してＡＦ評価値を取り込むこと、この際、ＡＦ評価値に含まれるノイズ成分を除去することが開示されている。なお、ここで、ＣＤＳ回路は公知のアナログ信号での増幅器に起因するノイズの除去回路である。
【００１４】
また、ノイズ成分の除去に当たっては、輝度評価回路からの輝度評価値、ＡＧＣゲイン、そして、温度センサからの温度情報が取り込まれ、補正ＡＦ評価値が算定されることが開示されている。この補正ＡＦ評価価が最大になる位置にフォーカスレンズが設定されること、つまり、この位置が合焦位置となることが開示されている。そしてこれにより合焦特性が向上することが開示されている。
【非特許文献１】デジタルカメラの最先端技術、特に１７１頁−１７６頁、技術情報協会、２００４年１０月２９日第１版発行
【特許文献１】特開２００２−２８７０１３号公報
【特許文献２】特開２００６−７９０６９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
以上の非特許文献などで述べたように、デジタル変換された生画像に対するノイズ低減処理回路は、信号処理回路に設けられているのが一般的であった。しかしながら、最近の画質に対する顧客の要求は広範に渡っており、ノイズ低減処理もこれらの画質処理の影響を受けるので、厳しい画質要求に対応した画質処理が必要とされる場合にはノイズ低減処理も複雑になるという状況であった。
【００１６】
これを避けるためには、ノイズ低減処理は信号処理回路の前段で行うのが効果的である。なお、撮像制御と信号処理とを一体化して画像処理部としてカメラエンジンなどに用いている場合も多い。これらを考慮すると、ノイズ低減処理をこの画像処理部の前段、つまり、撮像制御部の前段に配置するのが画像処理部の自由度を上げ、経済性を高めることにもなるので総合的には効果的である。
【００１７】
しかしながら、撮像制御部の前ということは、換言すればＡＦ制御の前ということになる。この結果、ノイズ抑制処理後のデータに基づいてＡＦ制御が行われることになり、従来のＡＦ制御の方法をそのまま用いることはできない。つまり、ノイズ低減処理を考慮したＡＦ制御が必要である、という新しい課題が生じる。
【００１８】
したがって、本発明は、ノイズ低減処理を考慮した精度の高いＡＦ制御を得ること、即ち、ノイズ低減処理回路を通過したデジタル画像データを用いて精度の高い合焦を可能とする自動焦点調整装置やその合焦方法を提供することを課題とする。
【課題を解決するための手段】
【００１９】
上記課題を解決すべく本発明の自動焦点調整装置は、デジタル画像信号のノイズを低減して出力するノイズ低減部と、前記ノイズ低減部からの画像信号出力に応じて合焦判定を行う手段とを備えることを特徴とする。本発明は、ノイズ低減部からの画像出力に基づいて合焦判定を行うことにより合焦判定の機会を増大させることができる。例えば一般に被写体が暗い場合には、ノイズの低減量が増大し、画像出力が低減するので、これに対応して合焦判定の閾値を低減させることで合焦判定の機会を増加させることができる。  
【００２０】
本発明に係る自動焦点調整方法は、アナログ画像信号に対しノイズ低減処理とデジタル変換処理とが施されたデジタル画像信号のノイズ低減部を備える自動焦点調整装置を用いる自動焦点調整方法であって、  前記ノイズ低減部からの画像信号出力に応じて合焦判定を行うことを特徴とする。本発明は、ノイズ低減部からの画像出力に基づいて合焦判定を行うことにより、例えば一般に被写体が暗い場合には、ノイズの低減量が増大し、画像出力が低減するので、これに対応して閾値を低減させることで合焦判定の機会を増加させる。
【発明の効果】
【００２１】
以上のように、本発明によれば、ノイズ低減部（ノイズ低減処理回路部）を通過したデジタル画像データを用いて精度の高い合焦を可能とする自動焦点調整装置などが得られる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施形態を図面を参照して詳細に説明する。図６は、本発明の自動焦点調整装置１の実施形態の一例である。本発明の自動焦点調整装置１は、フォーカスレンズ１０、フォーカスレンズ用のモータ１１、モータドライバ１２、イメージセンサ１５、イメージセンサのセンサドライバ１３、ＣＰＵ（Central Processing Unit、中央演算処理装置）１４、イメージセンサからのアナログ生画像データのノイズ除去を行う公知のＣＤＳ（Correlated Double Sampling )、及びＡＧＣ（Automatic Gain Control）、ＡＤＣ（アナログデジタル変換）の処理を行う回路部１６、ノイズ低減部（ＮＲ）１７、色分離部１８、ＡＦ評価値計算部１９、画像処理部２０を備える。
【００２３】
なお、本明細書では以下、説明の簡便さのために、ＣＤＳ、ＡＧＣ（Automatic Gain Control）、ＡＤＣ（アナログデジタル変換）の回路部１６を生画像データ処理部１６とも言う。
【００２４】
なお、本発明の構成のうち、特徴的な部分は、図６のなかでは、ノイズ低減部（ＮＲ）１７、色分離部１８、ＡＦ評価値計算部１９である。なお、ノイズ低減部（ＮＲ）１７は、背景技術でいうノイズ低減処理部と同様の機能を有している。ノイズ低減処理部という記載は冗長なため、ノイズ低減部と呼称するものである（以下、簡潔さを重視して（ＮＲ）の記載も削除する。）。従ってこれらの部分、及びその動作の特徴的な部分について、後で詳しく説明する。なお、本発明の実施形態にかかる画像処理部２０は、背景技術でいう撮像制御部の画像処理、つまり、ＡＥや、ＡＦ等図示しない撮像処理に加え、信号処理部に相当する画像処理、つまり、ホワイトバランス、補正その他種々の画像処理を行っている。そして、それらの外部出力として、図示しない圧縮部、メモリ部、表示部等に画像データの出力を行っている。また、ＣＰＵ１４はこれらをも含めて各部の動作を統合、調整し、種々の制御を行っている。   
【００２５】
次に本発明の特徴的な箇所である、ノイズ低減部１７、色分離部１８、ＡＦ評価値計算部１９について図６等に基づいて説明する。ノイズ低減部１７は、ノイズ抑圧処理を行っており、ＣＣＤやＣＭＯＳ等のイメージセンサ１５からのＲ，Ｇ，Ｂ等の生画像データをＣＤＳやＡＧＣ，ＡＤＣからなる生画像データ処理部１６を経てそれぞれデジタル変換されたＲ、Ｇ、Ｂデータを受け取る。ノイズ低減部１７は、１つの半導体チップで構成することもできるが、これは必須ではない。つまり、ノイズ低減部１７は、色分離部１８、ＡＦ評価値計算部１９と合わせて１個の半導体チップで構成することもできる。また、色分離部１８と、ＡＦ評価値計算部１９は、画像処理部２０と合わせて１個の半導体チップで構成することもできる。最初から構成する場合には、１個の半導体チップでＣＰＵ１４も含めて、全体（ノイズ低減部１７、色分離部１８、ＡＦ評価値計算部１９、画像処理部２０）を構成することもできる。
【００２６】
ノイズ低減部１７のノイズの抑制などの基本的な動作は従来と異なる部分はないが、図６に示すように、画像処理部２０、色分離部１８に、それぞれのデータを出力している点で異なる。これらのデータは、後述する処理を受けて合焦判定に用いられる。
【００２７】
色分離部１８は、ノイズ低減部１７からの出力結果、即ち、ノイズが抑制されたセンサ生画像処理部１６からのＲＧＢの出力データのうちの一つ、本実施形態ではＧのみをＡＦ評価値計算部へ送信する。具体的には色分離部１８を用いてＧの出力データをＡＦ評価値計算部２３へ送り、Ｇの出力データでＡＦ評価値の計算を行う。  
【００２８】
次に本発明の動作を図６に加えて、図７のフローチャートも用いて詳しく説明する。図７は、本発明にて合焦判定を行う場合のフローチャートである。これは、具体的には、前述のノイズ低減部１７や、色分離部１８、ＡＦ評価値計算部１９の他に、画像処理部２０、ＣＰＵ１４等も含めて動作が行われる。
【００２９】
ＡＦ評価を行う場合には、ＣＰＵ１４がＡＦ  ＳＴＲＡＴ（Ｓ１：ステップ１）の指示を出す。この指示を画像処理部２０が受けて、ＡＥロックを行う（Ｓ２：ステップ２）。これは、自動処理に委ねるとＡＦ処理時間が大幅に伸張してしまうことを防止するものである。具体的には、シャッター速度（ＴＶ値）に閾値を設け、ゲインにて露光を調整している。
【００３０】
即ち、図６の１６中のＡＧＣでの調整幅をある範囲にし、被写体が暗いなど光量が不足している場合には、従来のようにある値まで、増幅するということは行わず、ノイズ低減部からの出力は低くても良いとするものである。これにより、ＡＦ処理時間の伸張を所定の範囲内にしている。
【００３１】
次に、ＡＦ処理（Ｓ３：ステップ３）、レンズ移動（Ｓ４：ステップ４）、ＡＦ評価値取得（Ｓ５：ステップ５）を行う。これらは図８に一部を示すように、公知の技術同様にＡＦサーチ範囲内、具体的には被写体の中央部をスキャンステップ駆動しながらレンズ停止位置毎のＡＦ評価値を取得するものである。ただ、本実施形態においては、後述するようにＧのデータのみでＡＦ評価値取得などを行っているのが異なる。
【００３２】
そして、取得したＡＦ評価値を前後比較してピーク位置検出を行う（Ｓ６：ステップ６）。これにより、ＡＦ評価値取得が完了する（Ｓ７：ステップ７）。
【００３３】
即ち、本実施形態では、前述のＲ，Ｂ，Ｇ各成分のデータの中から、Ｇ成分のデータのみを選択して、Ｇ成分のデータのみでＡＦ評価を行っている。具体的には、図６に示したように、ノイズ低減部１７から出力されたＲＢＧ各成分のデータを色分離部１８で受けて、Ｇ成分のみをＡＦ評価値計算部１９へ送出することにより行っている。Ｇ成分のデータのみでＡＦ評価を行う理由は、図１０に示すように、Ｇ成分は、ＲＧＢの中央部に位置し、波長が長いため、Ｒ成分、Ｂ成分の輝度波長を含む形で取得できるということと、ＡＦはコントラストにより合焦／非合焦を判定しているため、Ｒ画素成分で合焦判定するよりも、Ｇ成分による輝度差から判定する方が、より高精度にコントラストを取得できる為である。
【００３４】
次にＮＲ強度を取得する（Ｓ８：ステップ８）。ここでＮＲ（Noise  Reduction）強度とは、ノイズ低減部１７でのノイズ低減値（抑圧値）、換言すると排除したデジタルノイズ信号の強度である。ＮＲ強度の取得は具体的には、以下の手順で行われる。まず、ノイズ低減部１７からＲＧＢの出力が画像処理部２０へ送出され、画像処理部２０で、撮影環境における輝度を判定している。その輝度判定結果に基づき、ＣＰＵ１４がＮＲ強度の設定を行っている。なお、輝度とＮＲ強度との関係は、予め、設計段階で決定しておくのが好ましいが、必要により、ＣＰＵ１４のプログラム設定を変更することができるようにしても良いのは勿論である。
【００３５】
被写体の明るさとＮＲ強度との関係を述べれば、例えば被写体が暗い場合は、ノイズが目立つ。従ってノイズ低減部１７の働きを強くする必要がある。また、被写体が明るい場合はノイズが目立たない。従って、ノイズ低減部１７の働きを弱くしても良いとなる。即ち、被写体が暗い場合にはノイズ低減部１７の働きを強くするので、ＮＲ強度値は大きくなる。被写体が明るい場合には、一般には、ＮＲ強度値は小さくなるという関係がある。
【００３６】
次にＮＲ強度に応じて合焦判定閾値を変更する（Ｓ９：ステップ９）。これは、ＣＰＵ１４の内部で行われる。図９を参照してこれをより詳しく説明すると、合焦判定の閾値についてＮＲ強度が無いときを基準とし（図９の(a)）、ＮＲ強度が弱い時を図９の(b)に示す。更にＮＲが強い時を図９の(ｃ)に示す。このようにＮＲ強度の強弱により、合焦判定のレベルを下げている。  
【００３７】
次にＣＰＵ１４が合焦判定を行う。ここで、合焦判定は、図９の（ａ）、（ｂ）、（ｃ）の各模式図に示すように、ピーク位置のＡＦ評価値に対してＮＲ強度を加味した値、換言すればＮＲ強度に応じた値をＮＲゼロのときの合焦判定しきい値から減算した値を新合焦判定しきい値としてこのしきい値で合焦判定を行う。
【００３８】
そして、ＡＦ評価値計算部１９で求められたＡＦ評価値が合焦判定閾値以上の場合に、ＣＰＵ１４が合焦と判定する。ＡＦ評価値が合焦判定閾値未満の場合にはＣＰＵ１４は、非合焦と判定する（Ｓ１０：ステップ１０）。
【００３９】
合焦と判定されれば、ＣＰＵ１４は、合焦位置補正を行う（Ｓ１１：ステップ１１）。即ち、ＣＰＵ１４は、モータドライバ１２に所定の合焦位置補正命令を発するなどを行う。この命令に基づき、モータドライバ１２は、モータ１１を動かし、レンズの位置を所定の箇所に移動させる（Ｓ１２：ステップ１２）。
【００４０】
非合焦と判定された場合には、例えば、非合焦位置にレンズを移動させるなど、それぞれのカメラシステム特有の非合焦に対応した動作を行う（Ｓ１３：ステップ１３）。合焦、非合焦のいずれかにレンズ移動が行われることで合焦判定動作が終了する（Ｓ１４：ステップ１４）。
【００４１】
以上のようにして合焦判定を終了する。また、合焦判定が終了したことは、ＡＦ評価値計算部１９にもＣＰＵ１４から、ＡＦ評価値計算部のそれ以降の演算処理を中止する命令などとして伝えられる。なお、合焦判定の模式図を図８に示す。これは、従来技術同様に合焦の模式図であるが、合焦判定は、図８に示すようにＡＦ評価値のピーク位置を合焦判定に用いるＡＦ評価値として合焦判定閾値と比較して行っている。即ち、本発明では、前述のようにＮＲ強度を加味して合焦判定閾値を設定している点、広義に換言すれば、ノイズ低減部からの画像出力に応じて合焦判定を行っている点に特徴がある。
【００４２】
以上説明したように、本発明はＮＲの強度に応じて適切な合焦判定閾値を選定することにより、ＡＦ評価値のピークが低い場合でもスムーズに合焦判定ができるという格別の効果を有する。これにより、被写体が暗い場合や被写体のコントラストが低い場合、その他の理由でノイズが多い場合などにおいても合焦判定が簡便、かつ迅速にできるという格別の効果を有する。
【００４３】
なお、本発明は、以上の実施形態に限定されないにはいうまでもない。例えば、実施形態ではＧ成分のデータでＡＦ評価を行うことを示したが、その画像特性の必要に応じて他の成分のデータのみで行ってもよいことは勿論である。その他、本発明の思想の範囲内で自由に変更等ができる。
【図面の簡単な説明】
【００４４】
【図１】従来のカメラつき携帯電話のカメラモジュールの説明図。
【図２】図１中の画像データの処理をソフトウエアの観点で説明した説明図。
【図３】従来の自動合焦装置のブロック図。
【図４】図３の装置による従来の合焦判定のフローチャートである。
【図５】他の従来の電子カメラの自動合焦装置のブロック図である。
【図６】本発明の自動焦点調整装置の一実施形態の図である。
【図７】本発明の合焦判定のフォローチャートである。
【図８】合焦判定の模式図である。
【図９】本発明の合焦判定の効果を説明する模式図である。
【図１０】本発明の第１の実施形態にＧ画素成分を用いる説明図である。
【符号の説明】
【００４５】
１    本発明の自動合焦装置を用いたデジタルカメラの要部を示す図  
１０  フォーカスレンズ
１１  モータ
１２  モータドライバ
１３  センサドライバ
１４    ＣＰＵ
１５  イメージセンサ
１６  センサ生画像処理部
１７  ノイズ低減部（ＮＲ）
１８  色分離部
１９  ＡＦ評価値計算部
２０  画像処理部
【図１】
2008292541.tif 000003
【図２】
2008292541.tif 000004
【図３】
2008292541.tif 000005
【図４】
2008292541.tif 000006
【図５】
2008292541.tif 000007
【図６】
2008292541.tif 000008
【図７】
2008292541.tif 000009
【図８】
2008292541.tif 000010
【図９】
2008292541.tif 000011
【図１０】
2008292541.tif 000012