(57)【要約】      （修正有）【課題】各画素に複数の光電変換部を有する撮像素子からの出力信号に対しシェーディング補正を行う際に、保持する補正データ量を抑制しつつも、適正なシェーディング補正を行う。【解決手段】複数の光電変換部の信号を独立に読み出した第１の出力信号および第２の出力信号と、複数の光電変換部の信号を加算して読み出した第３の出力信号と、が入力される入力手段８００と、第１〜第３の出力信号を各々シェーディング補正するための第１の補正値、第２の補正値、および第３の補正値、のうち２つの補正値を記憶する記憶手段１０６と、第１〜第３の補正値のうち、２つの補正値以外の残りの補正値を演算する演算手段８０５と、第１の補正値、第２の補正値、および第３の補正値を基にシェーディング補正を行う補正手段８０６と、を備えたシェーディング補正装置。【選択図】図８
2015002400.tif 000002
【特許請求の範囲】
【請求項１】
各画素に複数の光電変換部を有する撮像素子からの出力信号をシェーディング補正するシェーディング補正装置であって、
前記複数の光電変換部の信号を独立に読み出した第１の出力信号および第２の出力信号と、前記複数の光電変換部の信号を加算して読み出した第３の出力信号と、のうち少なくとも２つの出力信号が入力される入力手段と、
前記第１の出力信号をシェーディング補正するための第１の補正値、前記第２の出力信号をシェーディング補正するための第２の補正値、および前記第３の出力信号をシェーディング補正するための第３の補正値、のうち２つの補正値を記憶する記憶手段と、
前記第１の補正値、前記第２の補正値、および前記第３の補正値のうち、前記２つの補正値以外の残りの補正値を演算する演算手段と、
前記第１の補正値、前記第２の補正値、および前記第３の補正値を基にシェーディング補正を行う補正手段と、
を備えたことを特徴とするシェーディング補正装置。
【請求項２】
前記記憶手段には、前記第１の出力信号、前記第２の出力信号、および前記第３の出力信号それぞれの中央位置の出力値を規格化する第４の補正値が記憶されていることを特徴とする請求項１に記載のシェーディング補正装置。
【請求項３】
前記演算手段は、前記残りの補正値を、前記２つの補正値および前記第４の補正値を用いて演算することを特徴とする請求項２に記載のシェーディング補正装置。
【請求項４】
前記２つの補正値は、前記第１の補正値と前記第３の補正値であり、
前記演算手段は、前記残りの補正値である前記第２の補正値を以下のように算出することを特徴とする請求項３に記載のシェーディング補正装置。
Ｋｂ（ｎ）＝（Ｋａｂ（ｎ）−Ｌｃａ）／｛（Ｌｃａｂ／Ｋａｂ（ｎ））−（Ｌｃａ／Ｋａ（ｎ））｝
ここで、Ｋｂ（ｎ）は前記第２の補正値の所定列の補正係数、Ｋａ（ｎ）は前記第１の補正値の所定列の補正係数、Ｋａｂ（ｎ）は前記第３の補正値の所定列の補正係数、Ｌｃａは前記第１の補正値の中央位置の出力値、Ｌｃａｂは前記第３の補正値の中央位置の出力値である。
【請求項５】
各画素に複数の光電変換部を有する撮像素子からの出力信号をシェーディング補正するシェーディング補正装置であって、
前記複数の光電変換部の信号を独立に読み出した第１の出力信号および第２の出力信号と、前記複数の光電変換部の信号を加算して読み出した第３の出力信号と、のうち少なくとも２つの出力信号が入力される入力手段と、
前記第１の出力信号をシェーディング補正するための第１の補正値、前記第２の出力信号をシェーディング補正するための第２の補正値、および前記第３の出力信号をシェーディング補正するための第３の補正値、のうち２つの補正値を記憶する記憶手段と、
前記２つの補正値を基に、前記第１の出力信号、前記第２の出力信号、および前記第３の出力信号、のうち２つの出力信号のシェーディング補正を行う補正手段と、
前記補正手段により補正された２つの出力信号を基に、補正された残りの出力信号を演算する演算手段と、
を備えたことを特徴とするシェーディング補正装置。
【請求項６】
前記演算手段は、前記補正された２つの出力信号を加算または減算することにより、前記補正された残りの出力信号を演算することを特徴とする請求項５に記載のシェーディング補正装置。
【請求項７】
前記記憶手段に記憶された前記２つの補正値は、前記撮像素子に設けられたカラーフィルターの種類毎に補正値を保持していることを特徴とする請求項１〜６のいずれか１項に記載のシェーディング補正装置。
【請求項８】
前記撮像素子は、各画素に、１つのマイクロレンズと、前記複数の光電変換部と、を有することを特徴とする請求項１〜７のいずれか１項に記載のシェーディング補正装置。
【請求項９】
前記第１の出力信号および前記第２の出力信号は焦点検出に使用され、前記第３の出力信号は画像出力として使用されることを特徴とする請求項１〜８のいずれか１項に記載のシェーディング補正装置。
【請求項１０】
請求項１〜９のいずれか１項に記載のシェーディング補正装置と、
前記シェーディング補正装置により補正された前記第１の出力信号および前記第２の出力信号を基に焦点検出を行う焦点検出手段と、
を備えたことを特徴とする焦点検出装置。
【請求項１１】
各画素に複数の光電変換部を有する撮像素子と、
請求項１〜９のいずれか１項に記載のシェーディング補正装置と、
を備えたことを特徴とする撮像装置。
【請求項１２】
各画素に複数の光電変換部を有する撮像素子からの出力信号をシェーディング補正するシェーディング補正方法であって、
前記複数の光電変換部の信号を独立に読み出した第１の出力信号および第２の出力信号と、前記複数の光電変換部の信号を加算して読み出した第３の出力信号と、のうち少なくとも２つの出力信号が入力される入力ステップと、
前記第１の出力信号をシェーディング補正するための第１の補正値、前記第２の出力信号をシェーディング補正するための第２の補正値、および前記第３の出力信号をシェーディング補正するための第３の補正値、のうち２つの補正値を記憶する記憶ステップと、
前記第１の補正値、前記第２の補正値、および前記第３の補正値のうち、前記２つの補正値以外の残りの補正値を演算する演算ステップと、
前記第１の補正値、前記第２の補正値、および前記第３の補正値を基にシェーディング補正を行う補正ステップと、
を備えたことを特徴とするシェーディング補正方法。
【請求項１３】
各画素に複数の光電変換部を有する撮像素子からの出力信号をシェーディング補正するシェーディング補正方法であって、
前記複数の光電変換部の信号を独立に読み出した第１の出力信号および第２の出力信号と、前記複数の光電変換部の信号を加算して読み出した第３の出力信号と、のうち少なくとも２つの出力信号が入力される入力ステップと、
前記第１の出力信号をシェーディング補正するための第１の補正値、前記第２の出力信号をシェーディング補正するための第２の補正値、および前記第３の出力信号をシェーディング補正するための第３の補正値、のうち２つの補正値を記憶する記憶ステップと、
前記２つの補正値を基に、前記第１の出力信号、前記第２の出力信号、および前記第３の出力信号、のうち２つの出力信号のシェーディング補正を行う補正ステップと、
前記補正ステップにより補正された２つの出力信号を基に、補正された残りの出力信号を演算する演算ステップと、
を備えたことを特徴とするシェーディング補正方法。
【請求項１４】
請求項１２または１３に記載のシェーディング補正方法の手順が記述された、コンピュータで実行可能なプログラム。
【請求項１５】
コンピュータに、請求項１２または１３に記載のシェーディング補正方法のステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シェーディング補正装置に関する。
【背景技術】
【０００２】
特許文献１には、各画素（の１つのマイクロレンズ下）に第１のフォトダイオードおよび第２のフォトダイオードを設けた撮像素子が開示されている。そして、特許文献１には、第１のフォトダイオードと第２のフォトダイオードからの信号をそれぞれ独立に出力することで、撮像素子による位相差検出方式の焦点検出を行う第１のモードを備えたことが開示されている。また、第１のフォトダイオードと第２のフォトダイオードからの信号を加算して出力することで、撮影画像を生成する第２のモードを備えたことが開示されている。
【０００３】
特許文献２には、撮像画素と、該撮像画素とは別に設けられた焦点検出画素とを備えた撮像素子であって、撮像画素および焦点検出画素それぞれからの信号に対しシェーディング補正を行うことが開示されている。特許文献２では、撮像画素からの出力信号に対し、記憶手段に格納された撮像画素用のシェーディング補正データを用いてシェーディング補正を行うことが開示されている。また、焦点検出画素からの出力信号に対しては、記憶手段に格納されたＡ画素用のシェーディング補正データおよびＢ画素用のシェーディング補正データを用いてシェーディング補正を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−０８３４０７号公報
【特許文献２】特開２００９−２４４８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
シェーディング補正を正確に行うためには、焦点検出用補正値（Ａ像用、Ｂ像用）と撮像用補正値の合計３つのパターンの補正データを備える必要がある。
【０００６】
特許文献２では、撮像素子に、撮像画素と焦点検出画素を共用しない、いわゆる、各々の用途に特化した専用画素を備えている。その為、各々の画素が独立した特性を有し、撮像用と焦点検出用（Ａ像用・Ｂ像用）の各々の補正データを個別に備える必要がある。その為、特許文献２では、補正データを保持するためのメモリ容量が増大するという問題があった。
【０００７】
本発明は、各画素に複数の光電変換部を有する撮像素子からの出力信号に対しシェーディング補正を行う際に、保持する補正データ量を抑制しつつも、適正なシェーディング補正を行うことが可能なシェーディング補正装置を提供することを例示的目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面としてのシェーディング補正装置は、各画素に複数の光電変換部を有する撮像素子からの出力信号をシェーディング補正するシェーディング補正装置であって、前記複数の光電変換部の信号を独立に読み出した第１の出力信号および第２の出力信号と、前記複数の光電変換部の信号を加算して読み出した第３の出力信号と、のうち少なくとも２つの出力信号が入力される入力手段と、前記第１の出力信号をシェーディング補正するための第１の補正値、前記第２の出力信号をシェーディング補正するための第２の補正値、および前記第３の出力信号をシェーディング補正するための第３の補正値、のうち２つの補正値を記憶する記憶手段と、前記第１の補正値、前記第２の補正値、および前記第３の補正値のうち、前記２つの補正値以外の残りの補正値を演算する演算手段と、前記第１の補正値、前記第２の補正値、および前記第３の補正値を基にシェーディング補正を行う補正手段と、を備えたことを特徴とする。
【０００９】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１０】
本発明によれば、各画素に複数の光電変換部を有する撮像素子からの出力信号に対しシェーディング補正を行う際に、保持する補正データ量を抑制しつつも、適正なシェーディング補正を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例における撮像装置の全体ブロック図である。
【図２】本発明の実施例における撮像素子の概略ブロック図である。
【図３】本発明の実施例における撮像素子の画素アレイの構成図である。
【図４】本発明の実施例における撮像素子における画面中心領域での受光状態説明図である。
【図５】本発明の実施例における撮像素子における画面端領域での受光状態説明図である。
【図６】本発明の実施例における均一光を撮影した画像の一例である。
【図７】本発明の実施例におけるシェーディングデータの一例である。
【図８】本発明の第１の実施例におけるシェーディング補正装置の概略ブロック図である。
【図９】本発明の第１の実施例における補正データの概要および補正データ生成の一例である。
【図１０】本発明の第２の実施例におけるシェーディング補正装置の概略ブロック図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１３】
図１は、本発明における撮像装置の構成例を示すブロック図である。１００は撮像装置（本体）を指す。１０１はＣＭＯＳセンサ等の撮像素子である。１０２は撮像素子１０１から与えられる信号をアナログ−デジタル変換するＡ／Ｄ変換器である。
【００１４】
１０３はＤＳＰ（Digital Signal Processor）であり、Ａ／Ｄ変換器１０２から与えられるデータに対して各種補正処理及び現像処理を行う。またＤＳＰ１０３は、ＲＯＭ１０６、ＲＡＭ１０７等の各種メモリの制御や、記録媒体１０８への画像データの書き込み処理を行う。
【００１５】
１０４は、撮像素子１０１、Ａ／Ｄ変換器１０２、ＤＳＰ１０３に制御信号を供給するタイミング発生回路であり、ＣＰＵ１０５により制御される。
【００１６】
１０５は撮像装置１００全体を制御する制御手段としてのＣＰＵである。ＣＰＵ１０５は、ＤＳＰ１０３、タイミング発生回路１０４の制御、及び不図示の各部を使ったカメラ機能の制御を行い、また、各スイッチ１０９〜１１１、モードダイアル１１２等が接続され、それぞれの状態に応じた処理を実行する。また、ＣＰＵ１０５は、ＤＳＰ１０３からの出力に基づいて、一対の像信号の位相差を、相関演算を用いて求める位相差検出方式の焦点検出手段としての機能も有する。このように、ＣＰＵ１０５は、不図示の撮影レンズ（撮影光学系）の焦点検出を行う焦点検出装置の一部として機能する。
【００１７】
１０６は撮像装置の制御プログラムや各種補正データを記憶する記憶手段としてのＲＯＭであり、１０７はＤＳＰ１０３で処理される画像データや補正データを一時的に記憶するＲＡＭである。
【００１８】
各工程で取得される各種補正データ（例えば、シェーディング補正データ）はＲＯＭ１０６に記憶されており、撮影時にＲＡＭ１０７に展開されて補正に使用されることになる。
【００１９】
１０８は撮影された画像を保存する記録媒体であり、不図示のコネクタを介して撮像装置１００と接続される。１０９は撮像装置１００を起動させるための電源スイッチ（電源ＳＷ）である。１１０は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、フラッシュ調光処理等の撮像準備動作などの開始を指示する第１のシャッタースイッチ（ＳＷ１）である。
【００２０】
１１１は撮像素子１０１から読み出した信号をＡ／Ｄ変換器１０２、ＤＳＰ１０３を介して記録媒体１０８に書き込むまでの一連の動作（撮像動作）の開始を指示する第２のシャッタースイッチ（ＳＷ２）である。１１２は撮像装置１００の動作モードを選択するためのモードダイアルである。
【００２１】
また、本発明の撮像装置１００は、不図示の撮影レンズが接続されており、該撮影レンズとの通信のやり取りを行うことで、焦点検出動作等を行うことが可能である。なお、本実施例では、図１において、（不図示の交換レンズを有する）レンズ交換型の撮像装置（撮像システム、カメラシステム）について説明したが、本発明は、レンズ一体型の撮像装置にも適用することが可能である。
【００２２】
図２は本発明の撮像素子１０１の概略を示す図である。図２において撮像素子１０１は、画素アレイ（画素部）１００１と、画素アレイ１００１における行を選択する垂直選択回路１００２、画素アレイ１００１における列を選択する水平選択回路１００４を有する。また、画素アレイ１００１中の画素のうち垂直選択回路１００２によって選択される画素の信号を読み出す読み出し回路１００３、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス（ＳＩ）１００５を有する。読み出し回路１００３は、信号を蓄積するメモリ、ゲインアンプなどを列毎に有する。なお、撮像素子１０１は、図示された構成要素以外にも、例えば、垂直選択回路１００２、水平選択回路１００４、読み出し回路１００３等の制御回路等を備える。
典型的には、垂直選択回路１００２は、画素アレイ１００１の複数の行を順に選択し読み出し回路１００３に読み出す。水平選択回路１００４は、読み出し回路１００３に読みだされた複数の画素信号を列毎に順に選択する。  図３は本発明の撮像素子１０１の画素アレイ１００１を表す図である。画素アレイ１００１は、２次元の画像を提供するために、複数２次元アレイ状に配列して構成される。３０１、３０２、３０３、３０４は単位画素である。各単位画素は、ひとつのマイクロレンズを有する。また、該単位画素はひとつのマイクロレンズ下に３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌといった左用の（第１の）フォトダイオードと、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒといった右用の（第２の）フォトダイオードを備えている。換言すれば、本発明の撮像素子１０１は、各画素に複数のフォトダイオード（光電変換部）を有している。
【００２３】
図３においては、左側のフォトダイオード３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌ・・・、右側のフォトダイオード３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒ・・・など、一つの画素に２つのフォトダイオードを有する構成について示した。しかし、本発明はこれに限定されない。例えば、一つの画素に含まれるフォトダイオード（ＰＤ）の数は２以上であればいくつでもよく、例えば、４つのＰＤ、９つのＰＤなどでもよい。
【００２４】
図４は図３に示した画素構成を有する撮像素子１０１における受光の様子を示した図である。
【００２５】
図４は撮影レンズの射出瞳から出た光束が撮像素子１０１に入射する概念図である。
【００２６】
４０１は画素アレイの断面を示す。４０２はマイクロレンズ（ＭＬ）であり、４０３はカラーフィルター（ＣＦ）である。ここで、本実施例の撮像素子１０１は、原色ベイヤー配列と呼ばれる画素構成を採用している。具体的には、Ｒ（Ｒｅｄ），Ｇ（Ｇｒｅｅｎ），Ｂ（Ｂｌｕｅ）の原色カラーフィルターがベイヤー配列された２次元単板ＣＭＯＳカラーイメージセンサが用いられている。４０４および４０５は、一のマイクロレンズ４０２に対応して配置された一対のフォトダイオードである。一対のフォトダイオード４０４および４０５は、例えば、図３における３０１Ｌ、３０１Ｒに対応しているものである。４０６は撮影レンズの射出瞳を示している。
【００２７】
ここでは、マイクロレンズ４０２を有する画素（すなわち、一対のフォトダイオード４０４および４０５を含む画素）に対して、射出瞳から出た光束の中心を光軸４０９とする。射出瞳から出た光は、光軸４０９を中心として撮像素子１０１に入射される。４０７、４０８は撮影レンズの射出瞳の一部領域を表す。射出瞳の一部領域４０７と射出瞳の一部領域４０８は、互いに異なる領域である。図４には、射出瞳の一部領域４０７を通過する光の最外周の光線を４１０、４１１で示し、射出瞳の一部領域４０８を通過する光の最外周の光線を４１２、４１３で示している。この図からわかるように、射出瞳から出る光束のうち、光軸４０９を境にして、上側の光束はフォトダイオード４０５に入射され、下側の光束はフォトダイオード４０４に入射される。つまり、フォトダイオード４０４とフォトダイオード４０５は各々、撮影レンズの射出瞳の別の領域（異なる領域）の光を受光している。
【００２８】
この特性を生かして、位相差の検出を行う。位相差検出方法は既知であるが、以下で簡単に説明する。画素内の領域において、複数の左側のフォトダイオードから得られるデータを第１ラインとし、複数の右側のフォトダイオードから得られるデータを第２ラインとして、ライン間の相関データを求めれば、位相を検出できる。具体的に、例えば、図３で示す画素アレイにおいて、フォトダイオード３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌなどの行３０５の左側に位置するフォトダイオードの出力を第１ラインとする。また、例えば、図３で示す画素アレイにおいて、フォトダイオード３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒなどの行３０５の右側に位置するフォトダイオードの出力を第２ラインとする。また他にも、行３０５と行３０６または行３０７など、行方向に加算したデータを第１ライン、第２ラインとしてもよい。
【００２９】
なお、該第１ラインを集めた画像を第１の出力信号（Ａ像）、該第２ラインを集めた画像を第２の出力信号（Ｂ像）と称する。
【００３０】
図５も図４と同様の撮影レンズの射出瞳から出た光束が撮像素子１０１に入射する概念図であるが、着目している画素が、図４では図３の画面中心領域であるのに対して、図５では画面端領域の画素に対する説明となる。各部の番号は図４と共通である。
【００３１】
ここでは、マイクロレンズ５０２を有する画素（すなわち、一対のフォトダイオード５０４および５０５を含む画素）に対して、射出瞳から出た光束の中心を光軸５０９とする。射出瞳から出た光は、光軸５０９を中心として撮像素子１０１に入射される。５０７、５０８は撮影レンズの射出瞳の一部領域を表す。射出瞳の一部領域５０７と射出瞳の一部領域５０８は、互いに異なる領域である。図５には、射出瞳の一部領域５０７を通過する光の最外周の光線を５１０、５１１で示し、射出瞳の一部領域５０８を通過する光の最外周の光線を５１２、５１３で示している。この際に、一対のフォトダイオード５０４および５０５のうち、フォトダイオード５０４から得られる光量は、図４の画面中心領域でのフォトダイオード４０４から得られる光量より少なくなっている。また、フォトダイオード５０５が得られる光量は、図４の画面中心領域でのフォトダイオード４０５から得られる光量よりも多くなっている。
【００３２】
これは光線角によるものであり、図５に示す画面端とは逆側の画面端では、フォトダイオード５０４が得られる光量は、図４での画面中心領域でのフォトダイオード４０４で得られる光量より多くなる。また、フォトダイオード５０５が得られる光量は、図４での画面中心領域でのフォトダイオード４０５で得られる光量よりも少なくなる。
【００３３】
なお、例えば画面左右端に位置する２組の（光軸５０９を中心に対称位置に配置された）フォトダイオード５０４、５０５の出力は光線角の影響で差が発生するものの、フォトダイオード５０４および５０５を合成した場合の出力としては、ほぼ同等となる。
【００３４】
図４乃至図５で説明したフォトダイオード４０４の出力（Ａ像＝第１の出力信号）およびフォトダイオード４０５の出力（Ｂ像＝第２の出力信号）例を図６乃至図７に示す。なお、本発明において、第１の出力信号および第２の出力信号は、複数の光電変換部（例えば、一対のフォトダイオード４０４および４０５）の信号を独立に読み出したものである。また、フォトダイオード４０４とフォトダイオード４０５を合成した、いわゆる、第１および第２の出力信号とは異なるフォトダイオード構成での出力（Ａ＋Ｂ像＝第３の出力信号）例を図６乃至図７に示す。なお、本発明において、第３の出力信号は、複数の光電変換部（例えば、一対のフォトダイオード４０４および４０５）の信号を加算して読み出したものである。
【００３５】
なお、本発明の撮像素子１０１は、複数の光電変換部を独立または加算して読み出すことにより、同一画素を焦点検出用および撮像用として共用することができる。すなわち、第１の出力信号および第２の出力信号を焦点検出に使用することができ、第３の出力信号を画像出力として使用することができる。
【００３６】
図６は、本発明における均一光を撮影した画像であり、図７は該図６の画像のうち、特定色（例えば、緑色のカラーフィルターを有する画素）の出力を垂直方向に平均化したシェーディングデータとして示している。
【００３７】
一般的な撮影光学系を使用する場合、Ａ像は図６（ａ）のように  画面左＞画面中央＞画面右  のような変化（シェーディング）となり、Ｂ像は図６（ｂ）のように  画面左＜画面中央＜画面右  という変化（シェーディング）となる。また、当然、画像出力であるＡ＋Ｂ像では、図６（ｃ）のように画面中央に出力ピークがきており、周辺に行くにしたがって出力が下がる、いわゆる、周辺光量落ちのようなシェーディングとなる。
【００３８】
図６乃至図７のようなシェーディングがあることで、Ａ像とＢ像の出力差が生じる為、測距性能が低下するほか、画像としても、シェーディングによる周辺画質の劣化がある為、位置に応じたシェーディング補正を正確に行う必要がある。
【００３９】
このシェーディング補正について図８乃至図９を用いて詳細に説明する。
【００４０】
図８はシェーディング補正を行う構成（シェーディング補正装置）として、主に図１にて説明したＤＳＰ１０３の一部詳細を示した図であり、図９は補正データの生成を示したイメージ図である。
【００４１】
図８において、ＤＳＰ１０３には、撮像素子１０１からの出力信号（画像出力）をＡ／Ｄ変換器１０２を介して受け取る入力手段（入力部）８００が配設されている。また、該入力手段から入力された信号を一時保存する為のメモリ領域８０１が配設されている。該メモリ領域８０１は、複数の画像出力を保存する領域８０２、８０３、８０４に分かれている。８０２は撮像素子１０１のＡ像（左側のフォトダイオードのみで得られた画像出力）のみの出力を保存する第１の領域である。８０３はＢ像（右側のフォトダイオードのみで得られた画像出力）のみの出力を保存する第２の領域である。８０４はＡ像とＢ像を加算したＡ＋Ｂ像（左右のフォトダイオード出力を合成した画像出力）の出力を保存する第３の領域である。
【００４２】
８０５は後述するＲＡＭ１０７から送られてくる第１の補正データ（第１の補正値）および第３の補正データ（第３の補正値）を基に、第２の補正データ（第２の補正値）を生成する為の演算手段である。なお、ここで、第１の補正値は、第１の出力信号をシェーディング補正するための補正値であり、第２の補正値は、第２の出力信号をシェーディング補正するための補正値であり、第３の補正値は、第３の出力信号をシェーディング補正するための補正値である。８０６はＡ像、Ｂ像、Ａ＋Ｂ像を、各々、第１乃至第３の補正データによりシェーディング補正を行う補正手段である。
【００４３】
また、シェーディング補正用のデータを取り扱う領域として、ＲＯＭ１０６およびＲＡＭ１０７には各々２つの補正データ領域が設けられている。例えば、ＲＯＭ１０６の第１の補正データ領域１０６１にはＡ像用の補正データ（第１の補正値）が格納され、ＲＯＭ１０６の第２の補正データ領域１０６２にはＡ＋Ｂ像用の補正データ（第３の補正値）が格納されている。これらＡ像用の補正データおよびＡ＋Ｂ像用の補正データは撮像装置１００が起動された段階でＲＡＭ１０７の第３の補正データ領域１０７１、第４の補正データ領域１０７２へそれぞれデータ転送され補正時に使用される。ここでは、図８に記されているとおり、ＲＯＭ１０６の第１の補正データ領域１０６１に格納されているＡ像用の補正データがＲＡＭ１０７の第３の補正データ領域１０７１へデータ転送される。また、ＲＯＭ１０６の第２の補正データ領域１０６２に格納されているＡ＋Ｂ像用の補正データがＲＡＭ１０７の第４の補正データ領域１０７２へデータ転送される。
【００４４】
また、ＲＯＭ１０６およびＲＡＭ１０７には、後述する、各々の画像の規格化ポイントの出力値（中央位置の出力値（第４の補正値）など）を保持する領域１０６３および該領域１０６３に対応して設けられた領域１０７３も備えられている。このデータについても、同様に、撮像装置１００が起動された段階でＲＯＭ１０６の領域１０６３からＲＡＭ１０７の領域１０７３へデータ転送され補正時に使用される。
【００４５】
補正手段８０６によるシェーディング補正を行った後、一時保存する為のメモリ領域８０７にある領域８０８乃至８１０に、補正後の画像（Ａ像、Ｂ像、Ａ＋Ｂ像）を一時保存する。ここでは、領域８０８に補正後のＡ像の出力を一時保存し、領域８０９に補正後のＢ像の出力を一時保存し、領域８１０に補正後のＡ＋Ｂ像の出力を一時保存する。その後は、他の補正段での補正を行うブロックへ出力を移行させる。なお、以後の補正に関しては、詳細説明は割愛する。
【００４６】
なお、本実施例では、メモリ領域８０１および８０７は説明の便宜上、個別に記載しているが、実際には、時系列に使用することにより、共用することも可能である。
【００４７】
次に、図９を用いて、補正データの概要および補正データ生成の一例を説明する。
【００４８】
図９（ａ）乃至図９（ｃ）は補正前の各画像出力（すなわち、Ａ像、Ｂ像、Ａ＋Ｂ像の出力）の水平シェーディングを示した図である。
【００４９】
また、図９（ｄ）乃至図９（ｆ）は各画像（すなわち、Ａ像、Ｂ像、Ａ＋Ｂ像のそれぞれ）に対する補正データ（列毎の補正係数をプロットしたもの）である。
【００５０】
また、図９（ｇ）乃至図９（ｉ）は補正後の各画像出力（すなわち、補正後のＡ像、補正後のＢ像、補正後のＡ＋Ｂ像の出力）の水平シェーディングを示した図である。
【００５１】
図９（ａ）乃至図９（ｃ）に記載されているＡ像、Ａ＋Ｂ像、Ｂ像の各々の中央位置出力Ｌｃａ、Ｌｃａｂ、Ｌｃｂは、演算用のデータ（規格化ポイント）としてＲＯＭ１０６の領域１０６３に保存されている。このデータは、撮像装置１００が起動された段階で該領域１０６３からＲＡＭ１０７の領域１０７３にデータ転送され使用される。
【００５２】
また、図９（ｄ）乃至図９（ｅ）に記載されているＡ像およびＡ＋Ｂ像の水平シェーディングの画面中央レベルになるよう、乗算する係数Ｋａ、Ｋａｂ（各列分）は、予め求められてＲＯＭ１０６の領域１０６１乃至１０６２に保存されている。このデータは、撮像装置１００が起動された段階で該領域１０６１乃至１０６２からＲＡＭ１０７の領域１０７１乃至１０７２にデータ転送され使用される。
【００５３】
図９（ｆ）に記載されているＢ像の水平シェーディングの画面中央レベルになるよう、乗算する係数Ｋｂ（各列分）（第２の補正データ）は、本実施例ではＲＯＭ１０６に格納されていない。もっと言えば、本発明の撮像装置１００は、第２の補正データ（Ｂ像用の補正データ）を有しない。したがって、本実施例では、図９（ｆ）に示す第２の補正データ（Ｂ像用の補正データ）Ｋｂは第１の補正データ：Ｋａ、第３の補正データ：Ｋａｂ、および、中央位置出力Ｌｃａ、Ｌｃａｂ、Ｌｃｂから、演算手段８０５によって生成する。換言すれば、本実施例では、第１の補正値、第２の補正値、および第３の補正値のうち、ＲＯＭ１０６に記憶されている２つの補正値以外の残りの補正値を演算手段８０５によって生成する。
【００５４】
具体的には、第２の補正用データ：Ｋｂは、各列のデータを上記各データより以下のように算出する。
【００５５】
Ｋｂ（ｎ）＝（Ｋａｂ（ｎ）−Ｌｃａ）／｛（Ｌｃａｂ／Ｋａｂ（ｎ））−（Ｌｃａ／Ｋａ（ｎ））｝
Ｋｂ（ｎ）：Ｂ像の所定列の補正係数
Ｋａ（ｎ）：Ａ像の所定列の補正係数
Ｋａｂ（ｎ）：Ａ＋Ｂ像の所定列の補正係数
Ｌｃａ：Ａ像の中央位置出力（規格化ポイント）
Ｌｃａｂ：Ａ＋Ｂ像の中央位置出力（規格化ポイント）
なお、ここで記載しているＡ像、Ａ＋Ｂ像、Ｂ像の補正データ、出力は撮像素子として色分離されている種類毎（例えば、緑色フィルタ、赤色フィルタ、青色フィルタのベイヤー分離毎）にデータ保持することで精度の高い補正をすることが可能である。
【００５６】
もちろん、すべての色に共通の輝度補正として実施してもかまわない。その場合は、各色のデータを基に、輝度値：Ｙを求める所定の演算を行ったうえで、演算を行う。
【００５７】
図９（ｇ）乃至図９（ｉ）は図９（ａ）乃至図９（ｃ）の画像出力に対し、図９（ｄ）乃至図９（ｆ）の補正データによる補正を行った結果の画像出力のシェーディングである。図９（ｇ）乃至図９（ｉ）は図９（ａ）乃至図９（ｃ）の規格化ポイント（中央出力値）に規格化された出力に補正できていることを示している。
【００５８】
以上、説明したように、本発明の第１の実施例では、Ａ像、Ｂ像、Ａ＋Ｂ像の３種類の画像に対して、２種類の補正データ（本実施例ではＡ像およびＡ＋Ｂ像）を備え、３種類目の補正データを演算により求めている。そうすることで、必要なメモリの増大を抑制しつつも、適正なシェーディング補正を行うことでシェーディングによる測距性能低下や周辺画質の劣化を防ぎ、所望の性能を得ることが可能となる。
【００５９】
なお、本実施例ではＲＯＭ１０６、ＲＡＭ１０７の双方で容量を抑制する例をあげているが、例えば、初期データとしてＲＯＭ１０６に保持するデータを２種類とし、ＲＡＭ１０７には３種類用のデータ領域を備えるようにしてもよい。その場合は、撮像装置１００の起動時などに上記演算を行ったうえで、ＲＡＭ１０７へ各補正データの保存をしておく構成となる。このように構成されるシェーディング補正装置も、本発明の目的であるメモリ容量低減（ＲＯＭ１０６の容量低減）に即したものである。
【００６０】
また、本実施例では、撮像素子１０１は、Ａ像、Ｂ像、Ａ＋Ｂ像の出力を生成してＤＳＰ１０３に入力・保存されるように記載しているが、本発明はその動作に限定されるものではない。該構成の撮像素子の出力はＡ像＋Ｂ像≒（Ａ＋Ｂ像）となるものであるため、Ａ像、Ｂ像、Ａ＋Ｂ像のうち所望の２出力から第３の出力を演算で求めることも可能である。
【００６１】
具体的には、Ａ像とＢ像の出力を得て、Ａ像とＢ像の加算演算を行ってＡ＋Ｂ像を得たり、Ａ像（もしくはＢ像）とＡ＋Ｂ像を得て、Ａ＋Ｂ像からＡ像（もしくはＢ像）を差分演算してＢ像（もしくはＡ像）の出力を得る方法を使っても、何ら問題はない。
【実施例２】
【００６２】
本発明の第２の実施例は、演算処理の順序を変更することによって２種類の補正データにより、補正された３種類の画像を得るものである。
【００６３】
図１０は、シェーディング補正を行う構成（シェーディング補正装置）として、本発明の第２の実施例におけるＤＳＰ１０３の一部詳細を示した図であり、概要は図８で説明したものと同様であるため、ここでは異なる部分の説明のみを記載する。
【００６４】
図１０では、一時保存する為のメモリ領域８０１に配設されているのは第１の領域８０２および第３の領域８０４のみとなっており、第２の領域８０３は配設されていない。すなわち、本実施例では、Ａ像出力とＡ＋Ｂ像出力のみが保存され、Ｂ像の出力は保存されない。もう少し言うと、本実施例において、正確には、撮像動作としてＢ像を取得していない。
【００６５】
補正手段８０６では、ＲＡＭ１０７の領域１０７１乃至１０７２に格納された第１および第３の補正データによりＡ像およびＡ＋Ｂ像の補正を行う。その後、補正後のＡ像出力およびＡ＋Ｂ像出力は、メモリ領域８０７にある領域８０８および８１０に転送されるとともに演算手段１０００に送られる。
【００６６】
演算手段１０００では、補正後のＡ＋Ｂ像出力と補正後のＡ像出力の差分処理を行うことで、補正後のＢ像出力と等価の出力を得る。該演算手段による結果をＢ像補正出力としてメモリ領域８０７にある領域８０９（補正後のＢ像用保存領域）に転送する。以後の補正に関しては、第１実施例と同様に詳細説明は割愛する。
【００６７】
なお、メモリ領域８０１および８０７は説明の便宜上、個別に記載しているが、実際には、時系列に使用することにより、共用することも可能である。
【００６８】
なお、本実施例では、撮像素子１０１は、Ａ像とＡ＋Ｂ像の出力をシェーディング補正したうえで演算を行い、シェーディング補正後のＢ像を生成しているが、本発明はその動作に限定されるものではない。該構成の撮像素子の出力はＡ像＋Ｂ像≒（Ａ＋Ｂ像）となるものであるため、所望の２出力から第３の出力を演算で求めることも可能である。
【００６９】
具体的には、Ａ像とＢ像の出力を、シェーディング補正後に加算してシェーディング補正後相当のＡ＋Ｂ像を得る方法を使っても何ら問題はない。他にも、Ｂ像とＡ＋Ｂ像の出力を、シェーディング補正後にＡ＋Ｂ像からＢ像を減算してシェーディング補正後相当のＡ像出力を得るような方法を使っても、何ら問題はない。
【００７０】
以上のように、第１と第２の画像を補正したのちに減算または加算して第３の画像出力を得ることにより、補正されたものと等価の第３の画像を得ることが可能となるため、メモリ領域を増大させることなく、適正な画像を得ることができる。
【００７１】
また、本発明の第１の実施例および第２の実施例においては、１つのマイクロレンズの下に２つのフォトダイオード（光電変換素子）が配置された例のみを説明したが、本発明はそれに限定されない。例えば、本発明は１つのマイクロレンズ下に４つのフォトダイオードを備えている場合においても適用可能である。この場合は、４つのフォトダイオードのそれぞれの出力を使用したり、４つのフォトダイオードを例えば左右２個ずつに分けて２分割し、該２個ずつを加算して使用したりするなどしてもよい。そのような構成を採用した場合においても、使用するフォトダイオードに適した分割でシェーディング補正データを備え、保持していないシェーディング補正データを演算により求めることで、メモリ領域が増大してしまうのを防止することができる。また、第２の実施例のように、必要な画像の全てを取得せず、一部は、補正後画像の演算を行うことで、対応するようにしてもよい。
【００７２】
また、本発明の第１の実施例および第２の実施例においては、画像に使用する信号は全てのフォトダイオードの信号を使用する例を挙げているが、本発明はこれに限定されない。例えば、本発明は１画素中に５つのフォトダイオードを配設している場合などで、画像用としては４つのフォトダイオードしか使用しない場合でも適用可能である。この場合、画像用として情報収集用（焦点検出用）のデータとは異なる構成（加算状態が違うものも含み）でのフォトダイオードを使用するとして、異なる補正データを使用することで、適正な補正をすることが出来る。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、装置（例えば、撮像装置）に供給する。そしてその装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００７３】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００７４】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００７５】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７６】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【産業上の利用可能性】
【００７７】
本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどのカメラシステムに好適に利用できる。
【符号の説明】
【００７８】
３０１Ｌ、３０１Ｒ、４０４、４０５、５０４、５０５：フォトダイオード
１０３：ＤＳＰ
１０６：ＲＯＭ
１０７：ＲＡＭ
１０６１、１０７１：第１の補正データ
１０６２、１０７２：第３の補正データ
８０５、１０００：演算手段
８０６：補正手段
【図１】
2015002400.tif 000003
【図２】
2015002400.tif 000004
【図３】
2015002400.tif 000005
【図４】
2015002400.tif 000006
【図５】
2015002400.tif 000007
【図６】
2015002400.tif 000008
【図７】
2015002400.tif 000009
【図８】
2015002400.tif 000010
【図９】
2015002400.tif 000011
【図１０】
2015002400.tif 000012