(57)【要約】      （修正有）【課題】通常の撮像用画素と、ＡＦ画素を配した構成の撮像素子において、歪み補正を行った場合でも、焦点検出の精度の低下を抑制できるようにする。【解決手段】撮像装置は、撮像レンズにより結像される被写体像を光電変換して画像生成用の第１の信号を生成する第１の画素群と、位相差検出用の第２の信号を生成する第２の画素群とを有する撮像素子と、第１の画素群から得られる第１の信号に対して、撮像レンズにより生じる画像の歪みの補正を行なう第１の歪み補正部２０１と、第２の画素群から得られる第２の信号に対して、撮像レンズにより生じる画像の歪みの補正を行なう第２の歪み補正部２００と、第２の歪み補正部により歪みを補正された第２の信号から撮像レンズの合焦位置を検出する合焦位置検出部２０３と、第１の歪み補正部と、第２の歪み補正部とに、それぞれ異なる歪み補正処理を行わせる制御部１０９とを備える。【選択図】図２
2010191390.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズにより結像される被写体像を光電変換して画像生成用の第１の信号を生成する第１の画素群と、前記撮像レンズの瞳領域を分割して、分割された瞳領域からの被写体像を光電変換して位相差検出用の第２の信号を生成する第２の画素群とを有する撮像素子と、
前記第１の画素群から得られる第１の信号に対して、前記撮像レンズにより生じる画像の歪みの補正を行なう第１の歪み補正手段と、
前記第２の画素群から得られる第２の信号に対して、前記撮像レンズにより生じる画像の歪みの補正を行なう第２の歪み補正手段と、
前記第２の歪み補正手段により歪みを補正された前記第２の信号から前記撮像レンズの合焦位置を検出する合焦位置検出手段と、
前記第１の歪み補正手段と、前記第２の歪み補正手段とに、それぞれ異なる歪み補正処理を行わせる制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記第１の歪み補正手段は、前記画像の歪みがない場合の前記第１の画素群の座標位置から、前記画像に歪みがある場合の前記第１の画素群の座標位置を算出し、該算出された座標位置の近傍の画素値から補間によって求められた画素値を、前記画像の歪みがない場合の前記第１の画素群の座標位置の画素値とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の歪み補正手段は、前記画像の歪みがない場合の前記第２の画素群の座標位置から、前記画像に歪みがある場合の前記第２の画素群の座標位置を算出し、該算出された座標位置の近傍の画素値を、前記画像の歪みがない場合の前記第２の画素群の座標位置の画素値とすることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を使用した焦点検出において、検出精度の低下を抑制する技術に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置では、一般に、撮像レンズのフォーカス制御を自動的に行うオートフォーカス機構が備えられており、被写体が常に合焦状態となるようにしている。このオートフォーカス機構は、合焦方式の原理から分類すると、測距方式とピント検出方式がある。測距方式は、被写体までの距離を測距し、これに応じてレンズ位置を制御するものである。ピント検出方式は、撮像面でのピントを検出し、ピントの合った位置にレンズの位置を制御するものである。代表的なピント検出方式として、コントラスト検出方式、位相差検出方式等があるが、位相差検出方式については、その原理が、特許文献１に開示されている。
【０００３】
特許文献１の技術を図１９〜図２１を用いて説明する。例えば、ピントが合った合焦時には、図１９のＡに示すように、撮像レンズｌの各部を通過した光、ａ０， ｂ０， ｃ０が撮像面ｍに収束し、図１９のＢに示すように、撮像面ｍでピントの合った像Ｚ０が、得られる。そして、この図１９に示す合焦状態よりもフォーカス位置がずれている、いわゆる前ピン状態になると、図２０のＡに示すように、撮像レンズｌの各部を通過した光ａ１， ｂ１， ｃ１が、撮像面ｍよりも後に収束する。そして、図２０のＢに示すように、撮像面ｍで各光がそれぞれ別の像Ｚａ１， Ｚｂ１， Ｚｃ１となってしまう。また、いわゆる後ピン状態になると、図２１のＡに示すように、撮像レンズｌの各部を通過した光ａ２， ｂ２， ｃ２が、撮像面ｍよりも前で収束し、図２１のＢに示すように、撮像面ｍで各光がそれぞれ別の像Ｚａ２， Ｚｂ２， Ｚｃ２となってしまう。この場合、前ピン状態と後ピン状態とでは、像のずれる方向が逆になり、ずれる方向とずれ量、いわゆるデフォーカス量を算出することができる。光学系により、デフォーカス量とレンズを合焦位置まで駆動する量との関係は決まっているので、レンズを合焦位置まで駆動することによって、オートフォーカス制御ができる。
【０００４】
位相差検出方式におけるデフォーカス量の演算処理については、特許文献２等に、公知のアルゴリズムとして“ＭＩＮアルゴリズム”が開示されている。図２２は、本アルゴリズムにより位相差の相関を検出するための一般的なカメラ内部の構成を示す図である。レンズから入射した光は、メインミラーである４５度ミラーの後ろに取り付けられているサブミラーによって、装置下方に反射され、メガネレンズと呼ばれる２次光学系のレンズにより２つの像に分離されて、ＡＦセンサに入射される。そして、これら２つのＡＦセンサからの出力データを取り込み、センサ出力の相関を取る。それぞれのＡＦセンサを、センサ１、センサ２とし、センサ１のデータをＡ[１]〜Ａ[ｎ]、センサ２のデータをＢ[１]〜Ｂ[ｎ]とすると、相関量Ｕ０は、
【０００５】
【数１】
2010191390.tif 000003
【０００６】
（ｍiｎ（ａ，ｂ）は、ａ，ｂの小さい方の値）
と表される。まずこのＵ０を計算する。次に、図２３のように、Ａ像をＡＦセンサの１ビットシフトしたデータとＢ像のデータの相関量Ｕ１を計算する。このＵ１は、
【０００７】
【数２】
2010191390.tif 000004
【０００８】
（ｍiｎ（ａ，ｂ）は、ａ，ｂの小さい値）
となる。このように１ビットずつシフトした相関量を次々計算する。２像が一致していれば、この相関量は最大となるので、その最大値を取るシフト量と方向を求める。この値が、デフォーカス量となる。このデフォーカス量から撮影レンズが合焦状態になるレンズ駆動量を算出することができる。
【０００９】
ところで、位相差検出方式のオートフォーカスを行う装置として、特許文献３には、図２４に示すようなものが開示されている。すなわち、光学系における光学像を電気信号に変換する光電変換セルが、２次元に配列された固体撮像素子（以下イメージセンサ）において、一部の光電変換セル（図２４では、画素Ｓ１，Ｓ２）が、位相差検出方式での焦点検出に使用される。特許文献３によれば、図２２のような測距センサへの結像レンズ、位相差を生成するためのメガネレンズ等が、必要なくなり、撮像装置を小さくすることができ、コストを低減することができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平４−２６７２１１号公報
【特許文献２】特開平９−４３５０７号公報
【特許文献３】特開平２０００−１５６８２３号公報
【特許文献４】特開平６−２３７４１３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
光学レンズには収差があるため、光学レンズを介して撮像素子に結像される被写体光学像には光学歪みが発生してしまい、その結果、映像信号も歪みをもつ画像となってしまう。光学歪みとしては、図２５（Ａ）に示すような「糸まき型歪み」や図２５（Ｂ）に示すような「たる型歪み」がある。これらの歪みは、図２５において、本来点線で示される位置にあるべき画像情報が実線位置に結像するような歪みである。このような光学歪みを伴う画像信号の歪みを補正する補正処理としては、メモリ上に一時保持された画像信号を、歪みに応じて読み出しアドレスをずらして読み出す方法がある。
【００１２】
特許文献４では、光学レンズを通して入力される光束のレンズ中心からの距離が大きくなるにつれて歪が大きくなるという歪特性に対して、それを補正する補正方法が説明されている。図２６に、ズームレンズにおける光軸（レンズの中心）からの相対距離（％）と歪み率Ｄ（％）の関係である光学歪特性の一例を示す。この歪み率Ｄについて、図２７を用いて説明する。矩形で囲まれた範囲は、歪が発生しない場合の画像出力位置である。たる状で囲まれた範囲は、実際に歪みが発生した画像の出力位置である。例えば、図のＡ点の本来の画像出力位置は、歪の発生しない画像出力位置Ａ’であった場合、Ａと、Ａ’の像高（光軸からＡ，Ａ’までの距離）を、それぞれ、ｈ、ｈ’とすると、そのときの歪み率は、
Ｄ（％）＝ｈ／ｈ’                    …（１）
のように表すことができる。この歪み率Ｄは、図２６の特性に示されるように、光軸からの距離に応じて大きくなる。また、一般的なレンズの光学特性では、光軸に対する同心円状に分布した歪み率を持つ。
【００１３】
ところで、上記の歪み率による歪補正を特許文献３のような通常の撮像用画素（以下、通常画素）と、焦点検出用の画素（以下、ＡＦ画素）を配した構成の撮像素子に適用した場合、通常画素と同等の処理をＡＦ画素に施してしまうと、焦点検出の精度が劣化することが懸念される。
【００１４】
本発明は、上述した課題に鑑みてなされたものであり、その目的は、通常の撮像用画素と、ＡＦ画素を配した構成の撮像素子において、歪み補正を行った場合でも、焦点検出の精度の低下を抑制できるようにすることである。
【課題を解決するための手段】
【００１５】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像レンズにより結像される被写体像を光電変換して画像生成用の第１の信号を生成する第１の画素群と、前記撮像レンズの瞳領域を分割して、分割された瞳領域からの被写体像を光電変換して位相差検出用の第２の信号を生成する第２の画素群とを有する撮像素子と、前記第１の画素群から得られる第１の信号に対して、前記撮像レンズにより生じる画像の歪みの補正を行なう第１の歪み補正手段と、前記第２の画素群から得られる第２の信号に対して、前記撮像レンズにより生じる画像の歪みの補正を行なう第２の歪み補正手段と、前記第２の歪み補正手段により歪みを補正された前記第２の信号から前記撮像レンズの合焦位置を検出する合焦位置検出手段と、前記第１の歪み補正手段と、前記第２の歪み補正手段とに、それぞれ異なる歪み補正処理を行わせる制御手段と、を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、通常の撮像用画素と、ＡＦ画素を配した構成の撮像素子において、歪み補正を行った場合でも、焦点検出の精度の低下を抑制することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係るシステムの全体構成の概略を示す機能ブロック図である。
【図２】本発明の第１の実施形態における歪み補正を行うデジタル信号処理部の詳細を示す説明図である。
【図３】本発明の第１の実施形態における歪み補正処理のフローチャートである。
【図４】本発明の第１の実施形態における撮像素子の並び方を示す説明図である。
【図５】本発明の第１の実施形態における歪み補正前の座標位置の求め方を示す説明図である。
【図６】本発明の第１の実施形態のＡＦ画素歪み補正における補間方法を示す図である。
【図７】本発明の第１の実施形態の通常画素歪み補正における補間方法を示す図である。
【図８】歪み補正後の画像の領域分割の例を示す図である。
【図９】本発明の第１の実施形態におけるＡＦ画素補間方法を示す説明図である。
【図１０】本発明の第２の実施形態における歪み補正を行うデジタル信号処理部の詳細を示す説明図である。
【図１１】本発明の第２の実施形態における歪み補正処理のフローチャートである。
【図１２】本発明の第２の実施形態の通常画素歪み補正における補間方法を示す図である。
【図１３】本発明の第３の実施形態における歪み補正を行うデジタル信号処理部の詳細を示す説明図である。
【図１４】本発明の第３の実施形態における歪み補正処理のフローチャートである。
【図１５】通常画素歪み補正処理における被写体の変化を示す説明図である。
【図１６】本発明の第３の実施形態におけるＡＦ枠の取り方を示す図である。
【図１７】本発明の第３の実施形態における図８のＡ１付近でのＡＦ枠の取り方を示す図である。
【図１８】本発明の第３の実施形態における図８のＡ１付近でのＡＦ枠の取り方を示す図である。
【図１９】合焦状態を示す説明図である。
【図２０】前ピン状態を示す説明図である。
【図２１】後ピン状態を示す説明図である。
【図２２】位相差ＡＦ光学系の概略的構成を示す図である。
【図２３】相関計算（ＭＩＮアルゴリズム）の説明図である。
【図２４】測距画素を含む固体撮像素子の例を示す図である。
【図２５】光学歪みの例を示す図である。
【図２６】光学歪み特性の例を示す図である。
【図２７】歪み率の説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
【００１９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置としてのデジタルスチルカメラのシステム構成を示したブロック図である。
【００２０】
図１において、１００は、被写体像を結像させるための光学系であり、撮像レンズ、シャッター、絞り等で構成される。また、本実施形態では撮像レンズには、焦点距離が可変のズームレンズが用いられる。１０１は、イメージセンサ（撮像素子）である。たとえば、ＣＣＤ（Ｃhａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳセンサなどによって構成されている。本実施形態では、撮像素子は、被写体を撮像しＪＰＥＧ圧縮などで画像データ（第１の信号）を生成する目的の（画像生成用の）通常画素（第１の画素群）と、焦点検出用の信号（第２の信号）を生成するＡＦ画素（位相差検出用の第２の画素群）とを備えている。このような撮像素子において、ＡＦ画素は、図４に示すように間に通常画素を挟んで１０画素置きに並んでいるものとする。なお、ＡＦ画素は、撮像レンズの瞳領域を分割して、分割された瞳領域からの被写体像を光電変換して位相差検出用の信号を生成する。
【００２１】
１０２は、モータドライブ回路であり、ＣＰＵ１０９の制御信号にてモータ１１４を駆動する駆動信号を発生する。１１４は、モータであり、モータドライブ回路１０２の駆動信号により光学系１００を駆動する。１０３は、イメージセンサ駆動部である。イメージセンサ１０１が、ＣＣＤによって構成された場合に、光電変換された電気信号を読み出すための水平および垂直転送駆動信号を生成する。１０４は、アナログ処理部である。入力される撮像信号に含まれるリセットノイズを除去する相関二重サンプリングと撮像信号のレベルを利得可変に増幅する利得可変増幅等を行う。１０５は、アナログ処理部１０４より出力されたアナログ信号をデジタルデータに量子化するＡ／Ｄ変換部である。１０７は、Ａ／Ｄ変換部１０５から出力された画像データを一旦蓄積するための記憶装置であるＤＲＡＭである。また、ＤＲＡＭ１０７は、後述のデジタル信号処理部１０８によって信号処理された画像データを、一旦蓄積するための記憶装置としても機能する。１０８は、Ａ／Ｄ変換部１０５から出力されたデジタル画像データを画像処理するデジタル信号処理部である。一般的には、画像データに対してホワイトバランスの調整や、ゲイン調整、フィルタリング処理、補間処理等を行い、適切な画像サイズにリサイズし、圧縮処理を行い、メディア１１２に記録する。或いは、表示部１１１のＬＣＤ等に表示を行うための処理を行う。１０６は、イメージセンサ駆動部１０３、アナログ処理部１０４、Ａ／Ｄ変換部１０５、デジタル信号処理部１０８へのタイミング信号を生成し送信するためのタイミングジェネレータである。１０９は、システム全体を制御するＣＰＵである。１１０は、ユーザによって外部から操作されるスイッチ等の操作部である。１１３は、ＣＰＵの命令等が格納されているＲＯＭである。本実施形態では、ＲＯＭに、歪み補正に用いられる歪み率が格納されている。
【００２２】
図２は図１における、デジタル信号処理部１０８の内部について、歪み補正を行うブロックを詳細に示した図であり、歪み補正処理の動作を説明するための図である。また、図３は、本実施形態において、ＡＦ画素を歪補正して焦点検出処理（合焦位置検出処理）を行い、合焦後、撮像した通常画素に対して歪補正を行う処理フローについて説明した図である。図２を用いて、歪み補正ブロックの機能について説明する。
【００２３】
図２において、２００は、ＡＦ画素について歪み補正を行う際に用いるアドレスを生成するＡＦ画素歪み補正アドレス生成部（第２の歪み補正手段）である。２０１は、通常画素について歪み補正を行う際に用いるアドレスを生成する通常画素歪み補正アドレス生成部（第１の歪み補正手段）である。２０９は、ＡＦ画素の補間を行う際に用いるアドレスを生成するＡＦ画素補間アドレス生成部である。なお、ＡＦ画素の補間とは、ＡＦ画素は通常の画像の撮影においては欠陥画素として扱われるため、それを周囲の通常画素の信号を用いて補間する動作を意味する。
【００２４】
２０２はＣＰＵ１０９からの命令を受け、ＤＲＡＭ１０７に送信するアドレスを選択するセレクタである。２０３は、ＡＦ画素データを蓄積し、ＡＦ画素データを複数領域に分割した後、それぞれの領域に応じたデフォーカス量の算出を行うデフォーカス量算出部である。２０４は、ＡＦ画素補間アドレス生成部２０９により指定された通常画素データよりＡＦ画素の補間値を計算するＡＦ画素補間値生成部である。２０５は、ＡＦ画素補間処理後にＤＲＡＭ１０７に書き込まれているデータを信号処理するための信号処理部である。ＡＦ画素補間処理後にＤＲＡＭに記録されているデータは、ＣＣＤで一般に用いられている点順次のベイヤー配列の画素データ（以下、ＲＧＢデータ）であり、信号処理部２０５では、このＲＧＢデータをＹＵＶデータに変換して再度ＤＲＡＭに書き戻す。
【００２５】
２０６は、通常画素歪み補正アドレス生成部２０１で算出したアドレスをもとに読み出された通常画素に対して歪み補正値の算出を行う通常画素歪み補正値生成部である。２０７は処理フローに基づき、ＤＲＡＭと各処理部間でやり取りするデータ及びアドレスを選択するメモリコントローラである。歪み補正、ＡＦ画素補間処理以外のＤＲＡＭのアドレスを作り出すこともできる。２０８は歪み補正された通常画素データをメディア１１２に書き込むためのメディアコントロール部である。
【００２６】
歪補正データの生成方法について図５を用いて、詳細に説明する。Ａは、実際に歪みが発生した画像の出力位置であり、Ａ’は、歪の発生しないＡに対応する画像出力位置である。実際に歪みが発生しない画像が画像中心Ｏから距離ｒ’だけ離れた座標Ａ’（ｘ２，ｙ２）だとすると、歪みの発生した画像は、式（１）を用いて、画像中心ＯからＤ＊ｒ’の距離の座標Ａ（ｘ１，ｙ１）に結像する。よって、Ａ’の座標は歪み率Ｄを用いて、
（ｘ２，ｙ２）＝（ｘ１／Ｄ，ｙ１／Ｄ）              …（２）
と表すことができる。よって、歪み補正により （ｘ２，ｙ２）の座標位置にある画素を求める場合、式（２）より逆算出した歪み補正前の（ｘ１，ｙ１）の画素を読み出し、（ｘ２，ｙ２）の画素に置き換えればよい。しかし、式（２）から逆算出したＡ（ｘ１，ｙ１）の座標の計算結果は、実際には整数値の座標となることは少なく、計算した座標位置に画素が存在しないことが多い。
【００２７】
そこで、算出した座標（ｘ１，ｙ１）の周辺画素を読み出し、補間により画素値を求めなければならない。この際に用いられる補間方法として、最近傍法、線形補間法、３次補間法などの方法がある。通常画素の場合、多くの画素から多項式を用いて補間すると画像の品質が向上することが多い。しかし、ＡＦ画素に対してこうした多項式補間を行った場合、焦点検出の精度が劣化することが懸念される。
【００２８】
そこで本実施形態では、通常画素については近傍４画素の補間演算により歪補正後の画素データを求め、ＡＦ画素については最近傍のＡＦ画素データに置換することにより歪補正後の画素データを求める。以下、ＡＦ画素、通常画素それぞれの画素値の求め方について説明する。
【００２９】
ＡＦ画素については、計算で求められた歪補正前の座標位置（ｘ１，ｙ１）の最も近傍の座標にあるＡＦ画素を、ＤＲＡＭ１０７より読み出す。図６で、ＡＦ画素がＢ，Ｃ，Ｄ，Ｅのように並び、ＡＦ画素の補正前の座標がＡだったとすると、Ａは最も近傍のＤの値に置き換えられる。よって補正後の値は
Ａ’＝Ｄ
と表すことが出来る。
【００３０】
通常画素については、近傍４画素の補間演算により画素データを求める。図７で、通常画素がＷ，Ｘ，Ｙ，Ｚのように並び、通常画素の補正前の座標がＡだったとする。Ａの水平、垂直近傍４点の通常画素である、Ｗ，Ｘ，Ｙ，Ｚを読み出し、これら４つの画素データから補間演算によって求める。図７のｋ，ｌ，ｍ，ｎのようにＡと各画素間の距離を表すと、補間後の値は、
Ａ’＝（ｌｎＷ＋ｌｍＸ＋ｋｎＹ＋ｋｍＺ）／（ｋ＋ｌ）（ｍ＋ｎ）    …（３）
と表すことができる。
【００３１】
なお、歪み率ＤはあらかじめＲＯＭ１１３に格納しておくが、ズーム倍率によって歪み率が異なってしまうので、ズーム倍率に応じて、複数の歪み率をＲＯＭ１１３に記録しておく。
【００３２】
図３のフローチャートを用いて、本実施形態の動作について説明する。まず、ＡＦ画素の歪み補正フローについて説明する。
【００３３】
ステップＳ３００で、歪み補正処理が開始される。ＡＦ画素の歪みを補正するので、ＣＰＵ１０９はセレクタ２０２にＡＦ画素歪み補正アドレス生成部２００のアドレスを選択するように命令し、ＡＦ画素値を求める座標位置を指定する。ステップＳ３０１にて、ＡＦ画素歪み補正アドレス生成部２００は、指定した座標位置とズーム倍率に対応したＡＦ画素の歪み率Ｄを、ＲＯＭ１１３より読み出し、ＡＦ画素の歪み補正前の座標位置を式（２）から逆算出する。ステップＳ３０２では、図６で示したように、式（２）で逆算出された座標位置の最近傍のＡＦ画素がＤＲＡＭ１０７より読み出され、歪補正後のＡＦ画素に置換される。歪み補正後のＡＦ画素はデフォーカス量算出部２０３に蓄積される。ステップＳ３０３では、歪み補正するＡＦ画素が最終画素であるかを判定して、最終画素でない場合は、座標位置をインクリメントしてステップＳ３０１に遷移する。最終画素と判定された場合、ステップＳ３０４へ遷移する。ステップＳ３０４で、デフォーカス量算出部２０３は蓄積した歪補正後のＡＦ画素データに対して、例えば、図８のように、画像を複数の領域に分割する。そして、それぞれの領域に対して、前述のＭＩＮアルゴリズムによりデフォーカス量を算出する。ＣＰＵ１０９はそのデフォーカス量に基づいて、合焦したい領域に合焦させるようにレンズを駆動させる。レンズを駆動させ合焦状態になった後は、ステップＳ３０５で再び撮像を行い、画像をＤＲＡＭに取得し、ＡのＡＦ画素の補間処理フローに移る。
【００３４】
次に、ＡＦ画素の補間処理フローについて説明する。なお、ＡＦ画素の補間処理とは、既に述べたように、ＡＦ画素は通常の画像の撮影においては欠陥画素として扱われるため、それを周囲の通常画素の信号を用いて補間する動作を意味する。また、ここでＡＦ画素の補間処理を行う理由は、後の通常画素歪み補正において、ＡＦ画素補間後の画素値を用いることがあるからである。
【００３５】
ＣＰＵ１０９はセレクタ２０２にＡＦ画素補間アドレス生成部２０９のアドレスを選択するように設定し、再撮像により取得された画像データの座標位置を指定する。ステップＳ３１０では、その座標位置に対応する画素が、ＡＦ画素か、通常画素かを判定する。ＡＦ画素と判定された場合はステップＳ３１１に遷移し、ＡＦ画素でない場合には、再度ステップＳ３１０で同じ処理を行う。ステップＳ３１１では、ＡＦ画素補間アドレス生成部２０９より、ＡＦ画素の補間に用いるＡＦ画素周囲の通常画素のアドレスを算出する。ステップＳ３１２では、ステップＳ３１１で算出した通常画素をＤＲＡＭから読み出す。ステップＳ３１３では、ＡＦ画素補間値生成部２０４にてＡＦ画素の周辺の通常画素から補間値を作成する。図９に補間値作成に使用する通常画素の位置を示す。補間するＡＦ画素ＳがＲＧＢのどの画素の位置に相当するかにより、補間方法が異なり、それぞれ、図９の左側（Ｇ画素補間方法）、真中（Ｒ画素補間方法）、右側（Ｂ画素補間方法）のような通常画素４画素の選び方となる。通常画素４画素を選んだら平均値をとり、ステップＳ３１４で、ＡＦ画素補間アドレス生成部２０９がＡＦ画素該当箇所のアドレスを計算し、そこへ算出した平均値を書き込む。ステップＳ３１５では、補間処理するＡＦ画素が最終画素かを判定し、最終画素でない場合は、座標位置をインクリメントしてステップＳ３１０へ遷移する。最終画素の場合は、Ｂの通常画素の歪み補正フローへ移る。
【００３６】
最後に、通常画素の歪み補正フローについて説明する。
【００３７】
ステップＳ３２０では、信号処理部２０５により、ＡＦ画素の補間処理をされたＲＧＢデータを信号処理してＹＵＶデータにする。ステップＳ３２１でＹＵＶデータをＤＲＡＭ１０７に書き込む。これらの処理の際に用いる一連のアドレスはメモリコントローラ２０７から生成する。ステップＳ３２２では、現在の座標位置が最終画素かを判定し、最終画素でない場合は、座標位置をインクリメントしてステップＳ３２０へ遷移する。ＣＰＵ１０９はセレクタ２０２に通常画素歪み補正アドレス生成部２０１のアドレスを選択するように設定する。ステップＳ３２３で、通常画素歪み補正アドレス生成部２０１は、歪補正後の画像の座標位置より、ＲＯＭ１１３から通常画素の歪み率Ｄを読み出し、歪み補正される前の座標位置を式（２）で逆計算する。算出した座標位置が整数値とならない場合がほとんどであるので、図７にて説明したように、近傍の４点の座標点のアドレスを算出する。ステップＳ３２４では、このアドレスより、ＤＲＡＭ１０７からＹＵＶデータを読み出す。ステップＳ３２５では、通常画素歪み補正値生成部２０６にて、近傍の４点の歪み補正後のＹＵＶデータから、歪み補正後のＹＵＶデータを補間演算によって生成する。ステップＳ３２６では、ステップＳ３２４で生成されたＹＵＶの補間データをＤＲＡＭに書き込む。ステップＳ３２７では、現在の座標位置が最終画素かを判定し、最終画素でない場合は、座標位置をインクリメントしてステップＳ３２３へ遷移する。最終画素の場合は、ステップＳ３２８へ遷移する。ステップＳ３２８では、上記の歪み補正されたＹＵＶデータをメディアコントロール部２０８を通して、メディア１１２へ書き込む。このとき、表示部１１１へ表示を行っても良い。また、図示していない圧縮処理を行って、画像データに圧縮処理を施してファイル化を行い、メディア１１２へ書き込んでも良い。メディア書き込み後はステップＳ３２９で終了となる。
【００３８】
（第２の実施形態）
図１０は、本発明の第２の実施形態におけるデジタル信号処理部１０８について詳細に説明した図である。図１０の内容は、図２とほぼ同じであるため、異なる部分についてのみ説明する。
【００３９】
第１の実施形態では、通常画素では、一度信号処理を行い、信号処理されたＹＵＶデータに対して歪み補正を行っていたが、本実施形態では、信号処理前のＲＧＢデータに対して歪み補正を行う。
【００４０】
１００６は、ＡＦ画素補間処理後、ＤＲＡＭ１０７に書き戻されたＲＧＢの画像データを読み出し、読み出されたＲＧＢデータに対して歪み補正処理を行うための、通常画素歪み補正値生成部である。
【００４１】
通常画素歪み補正アドレス生成部１００１により、通常画素歪み補正に用いる画素のアドレスを生成する。本実施形態においても、第１の実施形態の図７と同じように、近傍の４画素から補間処理により画素データを求める。しかし、本実施形態では、補間する通常画素がＲＧＢのいずれに該当するかによって画素データの取り方が異なる。すなわち、Ｒ画素を補間するときは図１２の左側、Ｇ画素を補間するときは同図の真中、Ｂ画素を補間するときは同図の右側の黒点に示すように同色の近傍４画素をとる。そして、それらの４点を用いて、式（３）から補間値を算出する。
【００４２】
１００５は、通常画素歪み補正後のデータを信号処理するための信号処理部である。ＲＧＢデータをＹＵＶデータに変換し、ＤＲＡＭに書き込む。その他の構成については第１の実施形態と同様である。
【００４３】
次に、図１１のフローチャートを用いて、本実施形態の動作について説明する。
【００４４】
ステップＳ１１００からステップＳ１１１５のフローは、ＡＦ画素の歪み補正からＡＦ画素を補間するまでの処理であり、第１の実施形態における図３のステップＳ３００からステップＳ３０５と同じである。本実施形態では、ＲＧＢデータに対して歪み補正を行うため、ステップＳ１１００からステップＳ１１１５でＡＦ画素補間処理を行った後、ステップＳ１１２０からステップＳ１１２２で通常画素の歪み補正前の値を算出する。その後、ステップＳ１１２３で信号処理し、ＲＧＢをＹＵＶに変換し、ステップＳ１１２６で信号処理されたＹＵＶデータをメディア１１２へ書き込む。
【００４５】
（第３の実施形態）
本実施形態では、レンズの歪に応じて合焦評価の領域を変えることで、光学歪みを補正したＡＦ処理を行う。
【００４６】
図１３は、第３の実施形態におけるデジタル信号処理部１０８について詳細に説明した図である。図１３の内容は、第１の実施形態の図２とほぼ同じであるため、異なる部分についてのみ説明する。
【００４７】
図２では、各ＡＦ画素について、歪み補正アドレスの算出を行っていたが、本実施形態では、ＡＦ画素は歪み補正アドレスの算出は行わない。そのため、図１３の１３００はＡＦ画素のアドレスを生成するのみに留めたＡＦ画素アドレス生成部になっている。ＡＦ画素の歪み補正アドレスを生成しないことにより、計算量を削減し、処理時間を短縮することができる。その他の構成は第１の実施形態の図２と同じだが、デフォーカス量算出部１３０３での合焦評価の領域がレンズ歪みにより変わる点が第１の実施形態と異なる。例えば、図８のように歪補正後の画像を領域分割したとすると、歪みに応じてそれぞれのエリアにどのＡＦ画素の評価値を用いるのかを決定しておき、このマッピング情報をＲＯＭ１１３に格納しておく。デフォーカス量算出部は歪みに応じ、このマッピング情報をＲＯＭから読み出し、図８の各領域内のＡＦ画素が評価され、これらのＡＦ画素からデフォーカス量を算出する。
【００４８】
以下、図８の通常画素歪み補正後の画像のＡ１の領域にピントを合わせることを考える。
【００４９】
図１５は、図８のＡ１領域付近の拡大画像である。実線が歪み補正前、点線が歪み補正後の画像である。Ａ１領域にピントを合わせる場合、ＡＦ画素歪み補正前のＡ１領域に対応するＡＦ画素である図の灰色の４点をＡＦに用いると、通常画素歪み補正後の画像ではＡ１領域の枠外にピントを合わせてしまい、Ａ１領域にピントが合わない。そこで、本実施形態では、ＡＦ枠の取り方を変えることで、Ａ１領域にピントが合うようにＡＦ画素の歪み補正を行う。図１６は本実施形態によるＡＦ枠のとり方の一例について説明した図である。点線は歪みが無い場合のＡＦ評価枠、実線は歪みがある場合のＡＦ評価枠を示しており、丸点はＡＦ画素である。図１７は、図１５の左上を拡大した図である。本実施形態の場合、歪み無しの場合には図１７の点線で囲まれた左上の領域が図８のＡ１の領域に該当する。よって歪みが無い場合には点線内にある００，０１，１０，１１の４つのＡＦ画素をＡ１の合焦評価に用いる。歪みがある場合には、実線で囲まれた左上の領域が図８のＡ１の領域に該当する。よって、歪みがある場合には実線枠内の１１，２０の２点のＡＦ画素をＡ１の合焦評価に用いる。もし、より多くのＡＦ画素を焦点検出に用いたい場合には、実線枠外のある範囲内のＡＦ画素をとってもよい。例えば、図１８の一点鎖線のように、歪みのある場合のＡＦ枠外を拡大し、拡大した枠内にあるＡＦ画素１０，２１の２点を追加して焦点検出に用いてもよい。このような光学歪みに応じたＡＦ評価に用いるＡＦ画素のマッピング情報を、ＲＯＭに格納しておき、Ａ１領域の合焦評価の際に、このＲＯＭの値を読み出し、Ａ１領域に対応したＡＦ画素をＡＦ評価に用いる。
【００５０】
このようにして、全ての領域に対応したマッピング情報をＲＯＭにもたせ、合焦する領域に対応したＡＦ画素を合焦評価に用いることにより、通常画素歪み補正後の画像のＡＦ領域と、実際に評価に用いるＡＦ領域を合致させることができる。なお、本実施形態では、４つ及び２つのＡＦ画素でＡＦ評価を行っているが、より多くのＡＦ画素を用いてＡＦ評価を行ってもよい。
【００５１】
図１４のフローチャートを用いて、本実施形態の動作について説明する。
【００５２】
図１４の内容は、図３とほぼ同じである。ただし、ステップＳ１４０１で、ＡＦ画素の歪み補正アドレスを算出せずにＡＦ画素を読み出している点と、ステップＳ１４０４でＡＦ処理を行う前に、ステップＳ１４０３にてデフォーカス量算出部１３０３で歪み補正ＡＦ評価枠の算出を行っている点のみ異なる。
【図１】
2010191390.tif 000005
【図２】
2010191390.tif 000006
【図３】
2010191390.tif 000007
【図４】
2010191390.tif 000008
【図５】
2010191390.tif 000009
【図６】
2010191390.tif 000010
【図７】
2010191390.tif 000011
【図８】
2010191390.tif 000012
【図９】
2010191390.tif 000013
【図１０】
2010191390.tif 000014
【図１１】
2010191390.tif 000015
【図１２】
2010191390.tif 000016
【図１３】
2010191390.tif 000017
【図１４】
2010191390.tif 000018
【図１５】
2010191390.tif 000019
【図１６】
2010191390.tif 000020
【図１７】
2010191390.tif 000021
【図１８】
2010191390.tif 000022
【図１９】
2010191390.tif 000023
【図２０】
2010191390.tif 000024
【図２１】
2010191390.tif 000025
【図２２】
2010191390.tif 000026
【図２３】
2010191390.tif 000027
【図２４】
2010191390.tif 000028
【図２５】
2010191390.tif 000029
【図２６】
2010191390.tif 000030
【図２７】
2010191390.tif 000031
【手続補正書】
【提出日】平成22年1月27日(2010.1.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
【特許文献１】特開平４−２６７２１１号公報
【特許文献２】特開平９−４３５０７号公報
【特許文献３】特開２０００−１５６８２３号公報
【特許文献４】特開平６−２３７４１３号公報