(57)【要約】      （修正有）【課題】撮像用画素と焦点検出画素双方への高精度な補間処理とを可能とする固体撮像装置を提供する。【解決手段】固体撮像装置は、行方向補間回路、補正処理回路および補間処理回路３７を備える。行方向補間回路であるプレ補間回路３３は、第２画素と同じ行に配列された第１画素の信号値を使用して、第２画素への第１補間値を生成する。補正処理回路であるキズ補正回路３６は、第１周辺画素に第２画素が含まれる第１画素ブロックの中心画素への補正値を、第１補間値を使用して算出する。補間処理回路３７は、第２画素ブロックに含まれる第２周辺画素の信号値を使用して、第２画素を対象とする補間処理を実施する。補間処理回路３７は、第２画素に対して、第１補間値から、第２周辺画素の信号値を使用して算出された第２補間値への置き換えを行う。【選択図】図５
2017055168.tif 000002
【特許請求の範囲】
【請求項１】
行方向、および行方向に垂直な列方向へ配列された画素を備え、第１画素と、被写体および焦点のずれを検出する第２画素とを含む画素領域と、
第２画素と同じ行に配列された第１画素の信号値を使用して、前記第２画素への第１補間値を生成する行方向補間回路と、
画素の行列である第１画素ブロックに含まれる第１周辺画素の信号値を使用して、前記第１画素ブロックの中心に位置する中心画素を対象とする補正処理を実施する補正処理回路と、
画素の行列である第２画素ブロックに含まれる第２周辺画素の信号値を使用して、前記第２画素ブロックの中心に位置する第２画素を対象とする補間処理を実施する補間処理回路と、を備え、
前記補正処理回路は、第１周辺画素に第２画素が含まれる第１画素ブロックの中心画素への補正値を、前記第１補間値を使用して算出し、
前記補間処理回路は、第２画素に対して、前記第１補間値から、第２周辺画素の信号値を使用して算出された第２補間値への置き換えを行うことを特徴とする固体撮像装置。
【請求項２】
補正対象としてあらかじめ登録された第１画素と同じ行に配列された第１画素の信号値を使用して、前記補正対象への第１補正値を算出する行方向補正回路を備え、
前記補正処理回路は、第１周辺画素に前記補正対象が含まれる第１画素ブロックの中心画素への前記補正値である第２補正値を、前記第１補正値を使用して算出することを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記行方向補間回路は、第２画素と同じ行に配列された２つの第１画素の信号値のうち小さいほうの１つを、前記第１補間値に採用することを特徴とする請求項１または２に記載の固体撮像装置。
【請求項４】
前記行方向補正回路における前記補正対象の位置情報を保持するメモリを備えることを特徴とする請求項２に記載の固体撮像装置。
【請求項５】
画素の信号を行単位で保持するラインメモリを備え、
前記補正処理回路および前記補間処理回路は、共通の前記ラインメモリを使用して、それぞれ第１画素ブロックの信号および第２画素ブロックの信号を得ることを特徴とする請求項１から４のいずれか一項に記載の固体撮像装置。
【請求項６】
行方向、および行方向に垂直な列方向へ配列された画素を備え、第１画素と、被写体および焦点のずれを検出する第２画素とを含む画素領域と、
第２画素と同じ行に配列された第１画素の信号値を使用して、前記第２画素への補間値を生成する行方向補間回路と、
画素の行列である画素ブロックに含まれる画素である周辺画素の信号値を使用して、画素ブロックの中心に位置する中心画素を対象とする補正処理を実施する補正処理回路と、を備え、
前記補正処理回路は、周辺画素に第２画素が含まれる画素ブロックの中心画素への補正値を、前記補間値を使用して算出することを特徴とする固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、固体撮像装置に関する。
【背景技術】
【０００２】
カメラシステムのオートフォーカスの方式の１つとして、固体撮像装置の画素領域に配置された焦点検出画素を用いる方式が知られている。カメラシステムは、焦点検出画素に対する画像信号の補間処理を実施する。
【０００３】
固体撮像装置は、画像信号の欠陥部分を信号処理により補正するキズ補正回路を備えることがある。キズ補正回路は、補正対象である画素の信号と、補正対象の周辺の画素の信号とを利用して、補正対象に対する補正値を算出する。固体撮像装置は、補正対象の周辺に焦点検出画素が含まれる場合に、補正対象へのキズ補正の精度低下を抑制できることが望まれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１８６７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一つの実施形態は、焦点検出画素を含む画素領域に配列された画素への高精度な補正処理と、焦点検出画素への高精度な補間処理とを可能とする固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
一つの実施形態によれば、固体撮像装置は、画素領域、行方向補間回路、補正処理回路および補間処理回路を備える。画素領域は、行方向および列方向へ配列された画素を備える。列方向は行方向に垂直な方向である。画素領域は、第１画素および第２画素を含む。第２画素は、被写体および焦点のずれを検出する。行方向補間回路は、第２画素と同じ行に配列された第１画素の信号値を使用して、第２画素への第１補間値を生成する。補正処理回路は、第１周辺画素の信号値を使用して、中心画素を対象とする補正処理を実施する。第１周辺画素は、第１画素ブロックに含まれる。第１画素ブロックは、画素の行列である。中心画素は、第１画素ブロックの中心に位置する。補間処理回路は、第２周辺画素の信号値を使用して、第２画素ブロックの中心に位置する第２画素を対象とする補間処理を実施する。第２周辺画素は、第２画素ブロックに含まれる。補正処理回路は、第１周辺画素に第２画素が含まれる第１画素ブロックの中心画素に対する補正値を、第１補間値を使用して算出する。補間処理回路は、第２画素に対して、第１補間値から、第２周辺画素の信号値を使用して算出された第２補間値への置き換えを行う。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態の固体撮像装置を備えるカメラシステムの構成を示すブロック図である。
【図２】図２は、図１に示す固体撮像装置の概略構成を示すブロック図である。
【図３】図３は、図２に示す画素領域における位相差画素の第１配置例を示す図である。
【図４】図４は、図２に示す画素領域における位相差画素の第２配置例を示す図である。
【図５】図５は、図２に示す撮像処理回路の構成を示すブロック図である。
【図６】図６は、図５に示すマップキズ処理回路における処理について説明する図である。
【図７】図７は、図５に示すプレ補間回路における処理について説明する図である。
【図８】図８は、実施形態におけるキズ補正および補間処理の第１の例を説明する図である。
【図９】図９は、実施形態におけるキズ補正および補間処理の手順を示すフローチャートである。
【図１０】図１０は、実施形態におけるキズ補正および補間処理の第２の例を説明する図である。
【図１１】図１１は、実施形態におけるキズ補正および補間処理の第３の例を説明する図である。
【図１２】図１２は、図５に示す補間処理回路の構成例を示すブロック図である。
【図１３】図１３は、図１２に示す補間処理回路による補間処理について説明する図である。
【図１４】図１４は、図１２に示す補間処理回路による補間処理について説明する図である。
【図１５】図１５は、図１２に示す補間処理回路による補間処理の手順を説明するフローチャートである。
【図１６】図１６は、図２に示す画素領域における位相差画素の第３配置例を示す図である。
【発明を実施するための形態】
【０００８】
以下に図面を参照して、実施形態にかかる固体撮像装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【０００９】
（実施形態）
図１は、実施形態の固体撮像装置を備えるカメラシステムの構成を示すブロック図である。カメラシステム１は、カメラモジュール２を備える電子機器であって、例えばカメラ付き携帯端末である。カメラシステム１は、デジタルカメラ等の電子機器であっても良い。
【００１０】
カメラシステム１は、カメラモジュール２および後段処理部３を備える。カメラモジュール２は、レンズモジュール４および固体撮像装置５を備える。レンズモジュール４は、撮像光学系６およびレンズ駆動部７を備える。
【００１１】
撮像光学系６は、被写体からの光を取り込む。撮像光学系６は、被写体像を結像させる撮像レンズ（図示省略）を備える。レンズ駆動部７は、撮像レンズを移動させる駆動機構である。レンズ駆動部７は、フォーカスドライバ１１からの制御信号に応じて、撮像光学系６の光軸に平行な方向へ撮像レンズを動作させる。レンズ駆動部７は、撮像レンズの繰り出し量を調節することで、撮像光学系６のフォーカスを調節する。
【００１２】
固体撮像装置５は、イメージセンサ８、撮像処理回路９、位相差検出回路１０およびフォーカスドライバ１１を備える。イメージセンサ８は、被写体像を撮像する。撮像処理回路９は、イメージセンサ８からの画像信号に対し、各種の信号処理を実施する。撮像処理回路９は、後述する撮像画素からの信号をＩＳＰ１２へ出力する。撮像処理回路９は、後述する位相差画素からの信号を位相差検出回路１０へ出力する。
【００１３】
カメラモジュール２は、位相差画素を用いて、いわゆる瞳分割方式による撮像を実施する。位相差検出回路１０は、撮像により得られた２つの像の位相差を基に、デフォーカス量を求める。焦点調節部であるフォーカスドライバ１１は、デフォーカス量に応じた制御信号を生成する。フォーカスドライバ１１は、レンズ駆動部７へ制御信号を出力する。
【００１４】
イメージセンサ８は、裏面照射型のＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサである。裏面照射型のＣＭＯＳイメージセンサは、光電変換素子を含む半導体層のうち入射光が入射する側とは逆側に配線層が設けられている。なお、イメージセンサ８は、裏面照射型のＣＭＯＳイメージセンサに限られず、表面照射型のＣＭＯＳイメージセンサ、ＣＣＤ（Charge  Coupled  Device）等であっても良い。
【００１５】
後段処理部３は、イメージシグナルプロセッサ（Image  Signal  Processor；ＩＳＰ）１２、記録部１３および表示部１４を備える。ＩＳＰ１２は、カメラモジュール２からの画像信号の信号処理を実施する。ＩＳＰ１２は、デモザイク処理、ホワイトバランス調整、カラーマトリクス処理、ガンマ補正等の各種信号処理を実施する。記録部１３は、ＩＳＰ１２での信号処理を経た画像を記憶媒体等へ記録する。
【００１６】
表示部１４は、ＩＳＰ１２からの画像信号、あるいは記録部１３から読み出された画像信号に応じて、画像を表示する。表示部１４は、例えば、液晶ディスプレイである。カメラシステム１は、ＩＳＰ１２での信号処理を経たデータに基づき、固体撮像装置５のフィードバック制御を実施する。
【００１７】
図２は、図１に示す固体撮像装置の概略構成を示すブロック図である。イメージセンサ８は、画素領域２０、制御回路２１、行走査回路２２、列走査回路２３およびカラム処理回路２４を備える。
【００１８】
画素領域２０は、行方向および列方向へ配列された画素を備える領域である。行方向および列方向は互いに垂直な方向である。各画素は、光電変換素子であるフォトダイオードを備える。光電変換素子は、入射光量に応じた信号電荷を生成する。画素は、入射光量に応じて生成された信号電荷を蓄積する。
【００１９】
画素領域２０は、第１画素としての撮像画素と、第２画素としての位相差画素とを含む。撮像画素は、被写体像を検出するための画素である。焦点検出画素である位相差画素は、撮像光学系の焦点と被写体とのずれ量であるデフォーカス量を検出するための画素である。
【００２０】
制御回路２１、行走査回路２２、列走査回路２３、カラム処理回路２４、撮像処理回路９、位相差検出回路１０およびフォーカスドライバ１１は、画素領域２０が実装されているチップ上に集積された周辺回路部を構成する。
【００２１】
イメージセンサ８の駆動のための各種データおよびクロック信号は、チップ外部のＩＳＰ１２から、撮像処理回路９を経て制御回路２１へ供給される。制御回路２１は、クロック信号に応じて、周辺回路部の駆動を制御するための各種パルス信号を生成する。制御回路２１は、駆動タイミングを指示するパルス信号を、行走査回路２２、列走査回路２３、カラム処理回路２４および撮像処理回路９のそれぞれに供給する。
【００２２】
行走査回路２２は、シフトレジスタおよびアドレスデコーダ等を備える。画素駆動回路である行走査回路２２は、画素領域２０の画素へ駆動信号を供給する。制御回路２１は、垂直同期信号に応じたパルス信号を、行走査回路２２へ供給する。行走査回路２２は、画素信号が読み出される画素行を、制御回路２１からのパルス信号に応じて順次選択する。行走査回路２２は、選択された画素行において画素ごとに順次読み出し信号を供給することによる読み出し走査を行う。読み出し信号は、入射光量に応じて生成された画素信号を画素から読み出すための駆動信号である。
【００２３】
行走査回路２２は、画素ごとへの読み出し信号の供給に先行して、各画素へのリセット信号の供給による掃き出し走査を行う。リセット信号は、光電変換素子に残存されている電荷を排出させるための駆動信号である。各画素は、リセット信号が供給されたときから読み出し信号が供給されるまでの間、入射光量に応じて生成された信号電荷を蓄積する。
【００２４】
駆動信号は、行走査回路２２から各画素へ、画素駆動線２５を通じて伝送される。画素駆動線２５は、画素領域２０の画素行ごとに設けられている。画素行は、行方向（水平方向）へ配列された画素からなる。
【００２５】
画素信号は、各画素からカラム処理回路２４へ、垂直信号線２６を通じて伝送される。垂直信号線２６は、画素領域２０の画素列ごとに設けられている。画素列は、列方向（垂直方向）へ配列された画素からなる。
【００２６】
カラム処理回路２４は、垂直信号線２６を伝送した画素信号を、画素列ごとに設けられた単位回路（図示省略）にて処理する。カラム処理回路２４は、画素信号へ、固定パターンノイズの低減のための相関二重サンプリング処理（ＣＤＳ）を施す。カラム処理回路２４は、アナログ信号である画素信号へ、デジタル信号への変換であるＡＤ変換を施す。カラム処理回路２４は、ＣＤＳおよびＡＤ変換以外の処理を実施しても良い。カラム処理回路２４は、ＣＤＳおよびＡＤ変換を経た画素信号を、単位回路ごとに保持する。
【００２７】
列走査回路２３は、シフトレジスタおよびアドレスデコーダ等を備える。制御回路２１は、水平同期信号に応じたパルス信号を、列走査回路２３へ供給する。列走査回路２３は、画素信号を読み出す画素列を、制御回路２１からのパルス信号に応じて順次選択する。カラム処理回路２４は、列走査回路２３による選択走査に応じて、各単位回路に保持されている画素信号を順次出力する。イメージセンサ８は、カラム処理回路２４からの画素信号を成分とする信号を出力する。
【００２８】
図３および図４は、図２に示す画素領域における位相差画素の配置例を示す図である。図３および図４において、「Ｒ」、「Ｇ」および「Ｂ」と示した箇所は、それぞれ撮像画素である赤（Ｒ）画素、緑（Ｇ）画素および青（Ｂ）画素を表す。
【００２９】
図３および図４に示すＹ方向は画素領域２０の列方向であって、Ｘ方向は画素領域２０の行方向とする。Ｙ方向のうち矢印で示す方向をプラスＹ方向とし、矢印と逆の方向をマイナスＹ方向とする。Ｘ方向のうち矢印で示す方向をプラスＸ方向とし、矢印と逆の方向をマイナスＸ方向とする。
【００３０】
Ｒ画素、Ｇ画素およびＢ画素は、それぞれＲカラーフィルタ、ＧカラーフィルタおよびＢカラーフィルタ（いずれも図示省略）を備える。Ｒカラーフィルタは、Ｒ光を選択的に透過させるカラーフィルタである。Ｇカラーフィルタは、Ｇ光を選択的に透過させるカラーフィルタである。Ｂカラーフィルタは、Ｂ光を選択的に透過させるカラーフィルタである。図３および図４において、各色の撮像画素はベイヤー配列をなす。
【００３１】
位相差画素４１は、遮光層を備える。図３および図４において、位相差画素４１のうち斜線を付した部分は、遮光層により覆われた部分を示している。遮光層は、光を遮蔽する。遮光層は、光を反射させる金属材料を含む層である。遮光層は、光吸収性の材料を含む層であっても良い。
【００３２】
位相差画素４１のうち遮光層により覆われた部分以外の部分には、光電変換素子へ進行する光を通過させる開口が設けられている。位相差画素４１Ｌは、マイナスＸ側の半分の領域に開口、プラスＸ側の半分の領域に遮光層がそれぞれ設けられた位相差画素４１である。位相差画素４１Ｒは、プラスＸ側の半分の領域に開口、マイナスＸ側の半分の領域に遮光層がそれぞれ設けられた位相差画素４１である。
【００３３】
図３に示す第１配置例では、例えば８行８列（８×８）のベイヤー配列において１つのＢ画素が位相差画素４１Ｌに置き換えられ、１つのＲ画素が位相差画素４１Ｒに置き換えられている。第１配置例では、位相差画素４１Ｌおよび位相差画素４１Ｒは、Ｘ方向およびＹ方向に対して斜めの方向において互いに隣り合う。位相差画素４１Ｒは、位相差画素４１Ｌに対してプラスＸ方向およびプラスＹ方向の間の斜めの方向の位置にある。
【００３４】
位相差画素４１Ｌおよび位相差画素４１Ｒは、Ｘ方向あるいはＹ方向における位置関係が図３に示す場合とは逆になるように配置されていても良い。位相差画素４１Ｌおよび位相差画素４１Ｒは、互いに隣り合う配置とされる以外に、１つ以上の画素を隔てて配置されていても良い。画素領域２０には、かかる位置関係をなす２つの位相差画素４１Ｌ，４１Ｒの組み合わせが複数組配置されている。なお、ベイヤー配列の１つのＲ画素および１つのＢ画素が、それぞれ位相差画素４１Ｌおよび位相差画素４１Ｒに置き換えられても良い。
【００３５】
２つの位相差画素４１Ｌ，４１Ｒの組み合わせは、画素領域２０においていずれの割合で配置されていても良く、８×１６のベイヤー配列に１つ、あるいは１６×１６のベイヤー配列に１つの割合で配置されていても良い。
【００３６】
図４に示す第２配置例では、例えば８×８のベイヤー配列のうち１つのＢ画素が、位相差画素４１Ｌに置き換えられている。また、位相差画素４１ＬからプラスＹ方向において３つの画素を隔てた位置のＢ画素が、位相差画素４１Ｒに置き換えられている。
【００３７】
位相差画素４１Ｌおよび位相差画素４１Ｒは、Ｙ方向における位置関係が図４に示す場合とは逆になるように配置されていても良い。位相差画素４１Ｌおよび位相差画素４１Ｒは、３つの画素を隔てて配置される以外に、１つあるいは３つ以上の画素を隔てて配置されていても良い。画素領域２０には、かかる位置関係をなす２つの位相差画素４１Ｌ，４１Ｒの組み合わせが複数組配置されている。なお、ベイヤー配列の２つのＲ画素が、２つの位相差画素４１Ｌ，４１Ｒにそれぞれ置き換えられても良い。２つの位相差画素４１Ｌ，４１Ｒの組み合わせは、第１配置例と同様に、画素領域２０においていずれの割合で配置されていても良い。
【００３８】
Ｇ画素で検出される信号成分は、Ｒ画素およびＢ画素で検出される信号成分に比べて被写体の輝度情報が多く含まれている。Ｇ画素は、Ｒ画素およびＢ画素に比べて画像の輝度および解像感に及ぼす影響が大きい画素とされている。第１配置例および第２配置例では、ベイヤー配列のＧ画素は、位相差画素４１Ｌ，４１Ｒへの置き換えがなされず、いずれも画像情報の検出に使用される。このため、固体撮像装置５は、高輝度かつ高い解像感を備える画像を取得できる。
【００３９】
位相差画素４１Ｌ，４１Ｒは、画素領域２０の全体あるいは一部の領域に分散させて配置されている。画素領域２０における位相差画素４１Ｌ，４１Ｒの配置態様は、第１および第２配置例に限られず、任意であるものとする。位相差画素４１Ｌ，４１Ｒは、少なくとも画素領域２０の一部の領域に、所定のパターンで配置されたものであれば良い。
【００４０】
位相差画素４１Ｌ，４１Ｒの開口には、撮像画素におけるカラーフィルタに代えて、透明フィルタが設けられている。透明フィルタは、撮像画素に設けられるカラーフィルタに比べて広い波長域の光を透過させる。位相差画素４１Ｌ，４１Ｒに透明フィルタを設けることで、位相差画素４１Ｌ，４１Ｒは、高い感度で輝度情報を得ることができる。
【００４１】
位相差画素４１Ｌ，４１Ｒには、透明フィルタに代えて、Ｇカラーフィルタを設けても良い。位相差画素４１Ｌ，４１Ｒは、Ｇカラーフィルタが設けられることで、ＲカラーフィルタあるいはＢカラーフィルタが設けられる場合に比べて高い感度で輝度情報を得ることができる。
【００４２】
カメラモジュール２は、複数の位相差画素４１Ｌで得られる像と、複数の位相差画素４１Ｒで得られる像とを同時に取得する。カメラモジュール２は、互いに開口がＸ方向において対称とされた位相差画素４１Ｌ，４１Ｒを用いることにより、瞳分割方式による撮像を実施する。
【００４３】
合焦状態において、複数の位相差画素４１Ｌで得られる像と、複数の位相差画素４１Ｒで得られる像とは一致する。複数の位相差画素４１Ｌで得られる像と、複数の位相差画素４１Ｒで得られる像との位相差はゼロとなる。
【００４４】
撮像光学系６の焦点が被写体からずれた状態では、複数の位相差画素４１Ｌで得られる像と、複数の位相差画素４１Ｒで得られる像とに位相差が生じる。位相差検出回路１０は、２つの像の位相差を求め、位相差から撮像光学系６のデフォーカス量を算出する。フォーカスドライバ１１は、位相差検出回路１０で得られたデフォーカス量に応じて、被写体へ焦点を合わせるフォーカス動作のための制御信号を生成する。
【００４５】
なお、位相差画素４１Ｌ，４１Ｒは、ベイヤー配列におけるＢ画素あるいはＲ画素に代えて配置されたものに限られない。位相差画素４１Ｌ，４１Ｒは、ベイヤー配列におけるＧ画素に代えて配置されたものでも良い。
【００４６】
図５は、図２に示す撮像処理回路の構成を示すブロック図である。撮像処理回路９は、黒レベル補正回路３１、マップキズ処理回路３２、プレ補間回路３３、デジタルゲイン回路３４、ラインメモリ３５、キズ補正回路３６、補間処理回路３７、セレクタ３８およびＯＴＰ（One  Time  Programmable  memory）３９を備える。
【００４７】
黒レベル補正回路３１は、イメージセンサ８からの信号の黒レベルを補正する。黒レベルは、輝度のレベルを階調として表す際の基準とする信号レベルであって、最低階調を示す信号レベルである。黒レベル補正回路３１は、撮像画素からの画像信号をマップキズ処理回路３２へ出力する。
【００４８】
固体撮像装置５は、画素領域２０における位相差画素４１の位置を示す位置情報を予め保持する。制御回路２１は、位相差画素４１の位置情報に応じたパルス信号を撮像処理回路９へ供給する。パルス信号は、位相差画素４１からの信号が撮像処理回路９へ入力されるタイミングを示す。黒レベル補正回路３１は、制御回路２１からのパルス信号に応じて、位相差画素４１からの信号を位相差検出回路１０へ出力する。
【００４９】
マップキズ補正回路３２、プレ補間回路３３、キズ補正回路３６および補間処理回路３７は、各種論理回路と、演算結果および各種データの保持のための記憶素子を適宜組み合わせて構成されている。記憶素子は、レジスタおよびメモリのいずれであっても良い。
【００５０】
マップキズ処理回路３２は、画像信号へのマップキズ補正を実施する。マップキズ補正は、あらかじめマッピングされたキズであるマップキズを対象とするキズ補正とする。マップキズ処理回路３２は、あらかじめ設定された補正対象である撮像画素と同じ行に配列された撮像画素の信号値を使用して、補正対象への第１補正値を算出する行方向補正回路である。
【００５１】
ＯＴＰ３９は、画素領域２０におけるキズの位置情報を保持するメモリである。マップキズ処理回路３２は、ＯＴＰ３９から読み出された位置情報に基づいて、マップキズ補正を実施する。
【００５２】
マップキズ補正回路３２は、行方向における所定個数の画素の信号を保持して、補正対象と同じ行の撮像画素の信号値を参照する。マップキズ補正回路３２は、二次元方向における画素の情報を利用する処理の場合と比べて小規模なメモリ構成により、キズ補正を実施できる。
【００５３】
プレ補間回路３３は、位相差画素４１に仮設定される補間値を算出する。プレ補間回路３３は、位相差画素４１と同じ行に配列された撮像画素の信号値を使用して、位相差画素４１の信号を補間する行方向補間回路である。プレ補間回路３３は、制御回路２１からのパルス信号に応じて、位相差画素４１への第１補間値であるプレ補間値を算出する。
【００５４】
プレ補間回路３３は、行方向における所定個数の画素の信号を保持して、補正対象と同じ行の撮像画素の信号値を参照する。プレ補間回路３３は、二次元方向における画素の情報を利用する処理の場合と比べて小規模なメモリ構成により、補間処理を実施できる。
【００５５】
なお、撮像処理回路９内にて位相差画素４１に最終的に設定される補間値は、補間処理回路３７で算出される。以下の説明では、補間処理回路３７で実施される補間を「本補間」、プレ補間回路３３で実施される補間を「プレ補間」とそれぞれ称することがある。撮像処理回路９は、補間処理回路３７での本補間より前に、プレ補間回路３３でのプレ補間を実施する。
【００５６】
デジタルゲイン回路３４は、画像信号へのデジタルゲイン調整を行う。ラインメモリ３５は、画素の信号を行単位で保持する。ラインメモリ３５は、画像信号を一時保持することで、画素領域２０の行ごとに画像信号を遅延させる。ラインメモリ３５は、４つの画素行の信号（４Ｈ）を保持する。ラインメモリ３５は、例えばＳＲＡＭである。
【００５７】
キズ補正回路３６および補間処理回路３７には、ラインメモリ３５に保持された４つの画素行の信号が入力される。また、キズ補正回路３６および補間処理回路３７には、ラインメモリ３５へ格納される直前の１つの画素行からの信号が入力される。キズ補正回路３６および補間処理回路３７には、５つの画素行からの信号が入力される。
【００５８】
キズ補正回路３６は、５つの画素行からの信号を行方向について遅延させる。キズ補正回路３６は、５×５の行列状に画素が配列された画素ブロックの信号についてタイミングを一致させる。キズ補正回路３６は、画素ブロックの信号を使用して、画像信号へのダイレクトキズ補正を実施する。ダイレクトキズ補正は、撮像により得られた画像信号を使用するキズ判定の結果に基づいて実施されるキズ補正とする。
【００５９】
キズ補正回路３６は、第１画素ブロックに含まれる第１周辺画素の信号値を使用して、第１画素ブロックの中心に位置する中心画素を対象とする補正処理を実施する補正処理回路である。第１画素ブロックは、画素の行列である。キズ補正回路３６は、中心画素のキズ判定と、キズと判定された画素へのダイレクトキズ補正とを実施する。
【００６０】
補間処理回路３７は、５つの画素行からの信号を行方向について遅延させる。キズ補正回路３６は、５×５の行列状に画素が配列された画素ブロックの信号についてタイミングを一致させる。補間処理回路３７は、位相差画素４１の位置情報に応じたパルス信号から、画素ブロックの中心が位相差画素４１となるタイミングを把握し、補間処理を実施する。
【００６１】
補間処理回路３７は、第２画素ブロックに含まれる第２周辺画素である撮像画素の信号値を使用して、第２画素ブロックの中心に位置する位相差画素４１への第２補間値である本補間値を算出する。補間処理回路３７は、出力される二次元方向の画像情報に基づいて本補間値を算出し、プレ補間値から本補間値への置き換えを行う。
【００６２】
セレクタ３８は、キズ補正回路３６からの信号と、補間処理回路３７からの信号とのいずれかを選択する。セレクタ３８は、補間処理回路３７から位相差画素４１に対する本補間値が出力されるタイミングを、位相差画素４１の位置情報に応じたパルス信号から把握する。セレクタ３８は、位相差画素４１に対する本補間値が出力されるタイミングにて、補間処理回路３７からの出力を選択する。セレクタ３８は、キズ補正回路３６から撮像画素の信号値が出力されるときは、キズ補正回路３６からの出力を選択する。撮像処理回路９は、セレクタ３８で選択された信号を出力する。
【００６３】
キズ補正回路３６および補間処理回路３７は、互いに並列に接続されて、ラインメモリ３５を共用する。キズ補正回路３６および補間処理回路３７は、共通のラインメモリ３５を使用して、それぞれ第１画素ブロックの信号および第２画素ブロックの信号を得る。固体撮像装置５は、キズ補正回路３６に対するラインメモリと補間処理回路３７に対するラインメモリとが個別に設けられる場合に比べて、回路規模を大幅に低減できる。
【００６４】
図６は、図５に示すマップキズ処理回路における処理について説明する図である。位置情報をＯＴＰ３９へ格納するための調整処理は、例えば固体撮像装置５の製造時の検品工程にて実施される。調整処理では、画素領域２０からキズを検出するための試験が実施される。ＯＴＰ３９には、かかる試験の結果を基に設定された位置情報が格納される。
【００６５】
ＯＴＰ３９は、マップキズ処理回路３２での補正対象とするマップキズのうち、マスター（Ｍ）として設定されたキズのアドレスと、キズの配置態様を表すタイプ種別とを関連付けて保持する。図６には、５つのタイプ種別の例として、タイプ０からタイプ４を示している。
【００６６】
タイプ０からタイプ３は、互いに近接する２つの画素のキズである２画素キズの配置態様を表す。２画素キズのうち、画素領域２０のうち画素信号の読み出し順が先である画素のキズがマスターであって、読み出し順が後である画素のキズがスレーブ（Ｓ）とする。マスターおよびスレーブは同色画素とする。同色画素は、互いに同じ色光を検出する撮像画素とする。スレーブのアドレスは、マスターのアドレスとタイプ種別とによって求められる。
【００６７】
マップキズ処理回路３２は、マスターのアドレスとタイプ種別とを読み出す。マップキズ処理回路３２は、読み出されたアドレスにより位置が指定されたマスターと、読み出されたアドレスおよびタイプ種別からアドレスが求められたスレーブに対するキズ補正を実施する。
【００６８】
タイプ０は、マスターから、プラスＹ方向およびマイナスＸ方向の間の斜めの方向において、１つの異色画素を挟んでスレーブが位置する状態を表す。異色画素は、同色画素が検出する色光とは異なる色光を検出する撮像画素とする。かかる位置関係の２画素キズについての情報として、マスターのアドレスと、タイプ種別を表すデータ「０」がＯＴＰ３９に登録される。
【００６９】
タイプ１は、マスターからプラスＹ方向において、１つの異色画素を挟んでスレーブが位置する状態を表す。タイプ２は、マスターから、プラスＹ方向およびプラスＸ方向の間の斜めの方向において、１つの異色画素を挟んでスレーブがある状態を表す。タイプ３は、マスターからプラスＸ方向において、１つの異色画素を挟んでスレーブが位置する状態を表す。
【００７０】
マップキズ処理回路３２は、タイプ０からタイプ２のマスターへの補正値を、２つの隣接同色画素Ｐ１，Ｐ２の信号値を使用して算出する。隣接同色画素Ｐ１，Ｐ２は、１つの異色画素を介してマスターと隣り合う同色画素であって、マスターと同じ画素行に位置する。マップキズ処理回路３２は、タイプ０からタイプ２のスレーブへの補正値を、２つの隣接同色画素Ｐ３，Ｐ４の信号値を使用して算出する。隣接同色画素Ｐ３，Ｐ４は、１つの異色画素を介してスレーブと隣り合う同色画素であって、スレーブと同じ画素行に位置する。マップキズ処理回路３２は、マスターおよびスレーブへの補正値として、例えば２つの隣接同色画素の信号値の平均を算出する。
【００７１】
マップキズ処理回路３２は、タイプ３のマスターへの補正値を、２つの隣接同色画素Ｐ１，Ｐ２の信号値を使用して算出する。隣接同色画素Ｐ１は、１つの異色画素を介してマスターと隣り合う１つの同色画素である。隣接同色画素Ｐ２は、１つの異色画素を介してスレーブと隣り合う１つの同色画素である。隣接同色画素Ｐ１およびＰ２は、マスターおよびスレーブと同じ画素行に位置する。
【００７２】
マップキズ処理回路３２は、マスターに対する補正値として、例えば、２つの隣接同色画素Ｐ１，Ｐ２の信号値にマスターからの距離に応じた重み付けを施した加重平均を算出する。マップキズ処理回路３２は、マスターに対する補正値と同様に、スレーブに対する補正値を算出する。固体撮像装置５は、タイプ０から３についてのキズの情報がＯＴＰ３９に登録されることで、マップキズ処理回路３２にて２画素キズを補正できる。
【００７３】
タイプ４は、タイプ０から３のいずれにも該当しない配置態様の１画素キズを表す。タイプ４の場合、１画素キズであるマスターのアドレスと、タイプ種別を表すデータ「４」がＯＴＰ３９に登録される。マップキズ処理回路３２は、マスターに対する補正値を、マスターの２つの隣接同色画素Ｐ１，Ｐ２の信号値を使用して算出する。固体撮像装置５は、タイプ４についてのキズの情報がＯＴＰ３９に登録されることで、マップキズ処理回路３２において１画素キズを補正できる。
【００７４】
固体撮像装置５は、マップキズ補正により算出された補正値を、キズ補正回路３６でのダイレクトキズ補正および補間処理回路３７での本補間処理に使用することができる。固体撮像装置５は、マップキズ補正を実施することで、ダイレクトキズ補正および本補間処理におけるキズの影響を低減させることができる。
【００７５】
図７は、図５に示すプレ補間回路における処理について説明する図である。プレ補間回路３３は、位相差画素４１の位置情報に応じたパルス信号に応じて、位相差画素４１へのプレ補間を実施する。
【００７６】
プレ補間回路３３は、２つの隣接同色画素Ｐ５，Ｐ６の信号値を比較する。隣接同色画素Ｐ５，Ｐ６は、１つの異色画素を介して位相差画素４１と隣り合う同色画素であって、位相差画素４１と同じ画素行に位置する。プレ補間回路３３は、２つの隣接同色画素Ｐ５，Ｐ６の信号値のうち小さいほうの１つを、位相差画素４１への補間値であるプレ補間値に採用する。
【００７７】
プレ補間回路３３は、２つの隣接同色画素Ｐ５，Ｐ６のうち信号値が大きいほうの１つを、白キズの可能性がある画素とみなす。白キズは、画素が正常に機能しているときに比べて高い信号レベルを示すキズである。プレ補間回路３３は、２つの隣接同色画素Ｐ５，Ｐ６の信号値のうち小さいほうをプレ補間値とすることで、キズ補正回路３６で算出される補正値へ白キズの影響が及ぶ可能性を低減させる。
【００７８】
なお、画素領域２０にて生じ得るキズには、白キズのほかに黒キズが含まれる。黒キズは、画素が正常に機能しているときに比べて低い信号レベルを示すキズである。本実施形態では、画素領域２０における各黒キズを、マップキズ処理回路３２におけるマップキズ補正の対象としても良い。黒キズは、白キズに比べて発生頻度が比較的少ないことが知られている。このため、ＯＴＰ３９の記憶容量を大幅に増加させなくても、各黒キズの位置情報をＯＴＰ３９に格納させることができる。黒キズへのマップキズ補正が施された信号がプレ補間回路３３に入力されることで、プレ補間回路３３は、プレ補間値の生成への黒キズの影響を低減できる。
【００７９】
図８は、実施形態におけるキズ補正および補間処理の第１の例を説明する図である。図９は、実施形態におけるキズ補正および補間処理の手順を示すフローチャートである。図８の上段に示すように、第１の例では、位相差画素４１の周囲にある３つの画素Ｐ１１，Ｐ１２，Ｐ１３の位置に白キズが生じているとする。３つの白キズは、検品工程での試験にて検出されたものとする。
【００８０】
第１の例において、位相差画素４１はベイヤー配列のＢ画素に代えて配置されたものであって、画素Ｐ１１，Ｐ１２，Ｐ１３はいずれも同色画素であるＢ画素とする。画素Ｐ１１１は、位相差画素４１から、マイナスＹ方向およびマイナスＸ方向の間の斜めの方向において、１つの異色画素を介した位置にある。画素Ｐ１２は、位相差画素４１から、マイナスＹ方向およびプラスＸ方向の間の斜めの方向において、１つの異色画素を介した位置にある。画素Ｐ１３は、位相差画素４１から、プラスＹ方向において１つの異色画素を介した位置にある。画素Ｐ１１，Ｐ１２，Ｐ１３は、位相差画素４１を中心とする５×５の画素ブロックに含まれる画素である。
【００８１】
画素Ｐ１１，Ｐ１２にある２つの白キズは、マップキズ補正の対象とされる。２つの白キズは、それぞれタイプ４のキズとしてＯＴＰ３９に登録される。画素Ｐ１３にある１つの白キズについては、ＯＴＰ３９に登録されず、ダイレクトキズ補正の対象とされる。
【００８２】
マップキズ処理回路３２は、ＯＴＰ３９に登録されている位置情報に基づいて、画素Ｐ１１，Ｐ１２にある２つの白キズへのマップキズ補正を実施する（ステップＳ１）。マップキズ処理回路３２は、画素Ｐ１１，Ｐ１２と同じ行に配列されたＢ画素の信号値を使用して、２つの白キズに対する補正値を算出する。マップキズ補正を終えると、図８の下段に示すように、位相差画素４１の周囲には、画素Ｐ１３にある１つの白キズが残される。
【００８３】
プレ補間回路３３は、位相差画素４１へのプレ補間値を生成する（ステップＳ２）。プレ補間回路３３は、位相差画素４１から異色画素を介してマイナスＸ方向およびプラスＸ方向に位置する２つのＢ画素の信号値を比較する。プレ補間回路３３は、２つの信号値のうち小さいほうの信号値を、プレ補間値として出力する。
【００８４】
キズ補正回路３６は、画素Ｐ１３を中心画素とする５×５の画素ブロックである第１画素ブロックの信号を使用して、画素Ｐ１３を対象とするキズ判定を実施する。キズ補正回路３６は、いずれの手法によりキズ判定を実施するものであっても良い。キズ補正回路３６は、画素Ｐ１３が白キズであるとする判定結果を得ると、画素Ｐ１３を対象とするダイレクトキズ補正を実施する（ステップＳ３）。
【００８５】
キズ補正回路３６は、５×５の画素ブロックに含まれる第１周辺画素である８個の周辺画素の信号値を参照する。周辺画素は、７つのＢ画素と、図８に示す１つの位相差画素４１とを含む。キズ補正回路３６は、７つのＢ画素の信号値と、位相差画素４１の信号値であるプレ補間値とを使用して、画素Ｐ１３への補正値を算出する。
【００８６】
補間処理回路３７は、位相差画素４１を中心画素とする５×５の画素ブロックである第２画素ブロックの信号を使用して、位相差画素４１への本補間値を算出する（ステップＳ４）。補間処理回路３７は、画素ブロックに含まれる第２周辺画素である撮像画素の信号値を参照して、位相差画素４１の位置におけるＢ成分の信号を補間する。補間処理回路３７は、いずれの手法により本補間値を算出するものであっても良い。補間処理回路３７は、例えばメディアンフィルタの使用により補間値を算出しても良い。
【００８７】
撮像処理回路９は、セレクタ３８で選択されたキズ補正回路３６からの信号と補間処理回路３７からの信号とを出力する。固体撮像装置５は、各フレームにつき、キズ補正および補間処理を実施する。
【００８８】
第１の例では、固体撮像装置５は、位相差画素４１を中心とする画素ブロックに含まれる３つのキズのうち２つにはマップキズ補正、１つにはダイレクトキズ補正をそれぞれ施す。固体撮像装置５は、画素ブロックに含まれる複数のキズのいずれかをダイレクトキズ補正の対象とすることで、複数のキズをいずれもマップキズ補正の対象とする場合に比べ、ＯＴＰ３９に保持する情報量を低減させる。固体撮像装置５は、ＯＴＰ３９の容量を低減できる。
【００８９】
撮像処理回路９において、位相差画素４１に対する画像信号の補間処理が行われるより前の工程では、位相差画素４１の位置における画像情報が欠損した状態となっている。ダイレクトキズ補正にて信号値が参照される周辺画素に位相差画素４１が含まれることで、かかる画像情報の欠損部分が、補正値の算出において参照されることになる。画像情報が欠損しているにもかかわらず位相差画素４１が撮像画素と同様に扱われることで、ダイレクトキズ補正の精度は大幅に低下することとなる。周辺画素の対象から位相差画素４１を除外する措置をとった場合、算出される補正値には位相差画素４１の位置の画像情報が反映されないこととなる。この場合も、ダイレクトキズ補正の精度は低下することになる。
【００９０】
本実施形態では、プレ補間回路３３は、位相差画素４１と同じ画素行にある撮像画素の信号値からプレ補間値を生成することで、位相差画素４１の位置における画像情報を簡易的に穴埋めする。固体撮像装置５は、位相差画素４１の画像情報としてプレ補間値が仮置きされてからダイレクトキズ補正が実施されることで、ダイレクトキズ補正の精度低下を抑制することができる。固体撮像装置５は、プレ補間回路３３を設けることで、比較的簡易な回路構成により、高精度なダイレクトキズ補正を実現できる。
【００９１】
また、補間処理回路３７は、画像情報の簡易的な穴埋めとされたプレ補間値に代えて、画素ブロックに含まれる周辺画素の信号値から本補間値を算出する。補間処理回路３７は、位相差画素４１を中心とする二次元方向における信号値から本補間値を算出することで、プレ補間回路３３での補間処理に比べて高精度な補間処理を実施可能とする。固体撮像装置５は、補間処理回路３７での高精度な補間処理により、位相差画素４１における輝度のずれ（アーティファクト）を低減させ、不自然さが低減された画像を得ることができる。
【００９２】
固体撮像装置５は、検品工程での試験において位相差画素４１の周囲に複数のキズが検出されていても、本実施形態のキズ補正および補間処理を実施することで、高品質な画像を得ることができる。固体撮像装置５は、不良品の発生頻度の低減により歩留まりを向上でき、かつ製造コストを低減できる。
【００９３】
図１０は、実施形態におけるキズ補正および補間処理の第２の例を説明する図である。第２の例では、位相差画素４１の周囲にある２つの画素Ｐ１４，Ｐ１５に白キズが生じているとする。２つの白キズは、検品工程での試験にて検出されたものとする。
【００９４】
第２の例において、位相差画素４１はベイヤー配列のＢ画素に代えて配置されたものであって、画素Ｐ１４，Ｐ１５はいずれも同色画素であるＢ画素とする。画素Ｐ１４は、位相差画素４１から、マイナスＹ方向およびプラスＸ方向の間の斜めの方向において、１つの異色画素を介した位置にある。画素Ｐ１５は、位相差画素４１から、マイナスＸ方向において１つの異色画素を介した位置にある。画素Ｐ１４，Ｐ１５は、位相差画素４１を中心とする５×５の画素ブロックに含まれる画素である。
【００９５】
画素Ｐ１４にある１つの白キズについては、タイプ４のキズとしてＯＴＰ３９に登録される。画素Ｐ１５における１つの白キズについては、ＯＴＰ３９に登録されない。マップキズ処理回路３２は、ＯＴＰ３９に登録されている位置情報に基づいて、画素Ｐ１４にある１つの白キズを対象とするマップキズ補正を実施する。マップキズ補正を終えると、図１０の下段に示すように、位相差画素４１の周囲には、画素Ｐ１５にある１つの白キズが残される。
【００９６】
プレ補間回路３３は、位相差画素４１へのプレ補間値を生成する。プレ補間回路３３では２つの信号値のうち小さいほうの信号値が選択されるため、白キズである画素Ｐ１５の信号値以外の信号値がプレ補間値に採用される。
【００９７】
キズ補正回路３６は、画素Ｐ１５へのダイレクトキズ補正を実施する。５×５の画素ブロック内の周辺画素には、７つのＢ画素と１つの位相差画素４１が含まれる。キズ補正回路３６は、７つのＢ画素の信号値と、位相差画素４１の信号値であるプレ補間値とを使用して、画素Ｐ１５への補正値を算出する。補間処理回路３７は、位相差画素４１への本補間値を算出する。
【００９８】
第２の例の場合も、固体撮像装置５は、１つの白キズをダイレクトキズ補正の対象とすることで、ＯＴＰ３９の容量を低減できる。また、固体撮像装置５は、プレ補間値を生成することで、ダイレクトキズ補正の精度低下を抑制することができる。固体撮像装置５は、本補間値を算出することで、位相差画素４１におけるアーティファクトを低減させ、不自然さが低減された画像を得ることができる。固体撮像装置５は、歩留まりを向上でき、かつ製造コストを低減できる。
【００９９】
図１１は、実施形態におけるキズ補正および補間処理の第３の例を説明する図である。第３の例では、２つの位相差画素４１Ｌ，４１Ｒの中間にある画素Ｐ１６に白キズが生じているとする。第３の例では、位相差画素４１Ｌ，４１Ｒはベイヤー配列のＢ画素に代えて配置されたものであって、画素Ｐ１６はＢ画素とする。位相差画素４１Ｌは、画素Ｐ１６から、マイナスＹ方向において１つの異色画素を介した位置にある。位相差画素４１Ｒは、画素Ｐ１６から、プラスＸ方向において１つの異色画素を介した位置にある。
【０１００】
第３の例では、画素Ｐ１６における１つの白キズについては、ＯＴＰ３９に登録されない。プレ補間回路３３は、位相差画素４１Ｌ，４１Ｒに対し、それぞれプレ補間値を生成する。キズ補正回路３６は、６つのＢ画素の信号値と、位相差画素４１Ｌ，４１Ｒの信号値である２つのプレ補間値とを使用して、画素Ｐ１６への補正値を算出する。
【０１０１】
第３の例の場合も、固体撮像装置５は、１つの白キズをダイレクトキズ補正の対象とすることで、ＯＴＰ３９の容量を低減できる。また、固体撮像装置５は、プレ補間値を生成することで、ダイレクトキズ補正の精度低下を抑制することができる。固体撮像装置５は、本補間値を算出することで、位相差画素４１におけるアーティファクトを低減させ、不自然さが低減された画像を得ることができる。
【０１０２】
固体撮像装置５は、２つの位相差画素４１の間にキズが存在していても、本実施形態のキズ補正および補間処理を実施することで、高品質な画像を得ることができる。固体撮像装置５は、不良品の発生頻度の低減により歩留まりを向上でき、かつ製造コストを低減できる。
【０１０３】
なお、第１および第２の例では、本補間値を算出する際に参照される画素ブロックには、１つの白キズが残されている。補間処理回路３７は、画素ブロック内に１つのキズが存在することによる影響を低減可能な手法により、本補間値を算出できることが望ましい。次に、補間処理回路３７での本補間値の算出例について説明する。
【０１０４】
図１２は、図５に示す補間処理回路の構成例を示すブロック図である。補間処理回路３７は、変化量比較回路５１、色差補間回路５２、平均回路５３およびクリップ回路５４を備える。
【０１０５】
変化量比較回路５１は、位相差画素４１を中心とする複数の方向における輝度の変化量を比較する。色差補間回路５２は、位相差画素４１への補間値を算出する。平均回路５３は、色差補間回路５２で生成された補間値を平均する。クリップ回路５４は、平均回路５３で算出された平均値へのクリップ処理を実施する。
【０１０６】
図１３および図１４は、図１２に示す補間処理回路による補間処理について説明する図である。図１３および図１４には、ベイヤー配列のＢ画素に代えて配置された位相差画素４１を中心とする画素ブロック５５を示している。この例において、補間処理回路３７は、画素ブロック５５におけるＧ画素の信号値とＢ画素の信号値を、補間処理において使用する。Ｇ画素は、第１色光であるＧ光を検出する第１画素である。Ｂ画素は、第２色光であるＢ光を検出する第２画素である。
【０１０７】
図１３および図１４に示すように、第１方向ｄ１、第２方向ｄ２、第３方向ｄ３および第４方向ｄ４は、それぞれマイナスＹ方向、プラスＹ方向、マイナスＸ方向およびプラスＸ方向とする。第５方向ｄ５は、マイナスＹ方向およびマイナスＸ方向の間の斜めの方向とする。第６方向ｄ６は、プラスＹ方向およびプラスＸ方向の間の斜めの方向とする。第７方向ｄ７は、マイナスＹ方向およびプラスＸ方向の間の斜めの方向とする。第８方向ｄ８は、プラスＹ方向およびマイナスＸ方向の間の斜めの方向とする。
【０１０８】
図１５は、図１２に示す補間処理回路による補間処理の手順を説明するフローチャートである。変化量比較回路５１は、位相差画素４１を中心とする８つの方向ｄ１〜ｄ８について、方向ごとのスコアを算出する（ステップＳ１１）。スコアは、輝度の変化量を比較するための評価値である。変化量比較回路５１は、画素ブロックに含まれる第１画素であるＧ画素の信号値を使用して、スコアを算出する。
【０１０９】
変化量比較回路５１は、図１３に示す画素群ＰＧ１に含まれるＧ画素の信号値を使用して、第１方向ｄ１におけるスコアであるＳＣ１を算出する。画素群ＰＧ１は、位相差画素４１から第１方向ｄ１側にある画素を含む。変化量比較回路５１は、例えば次の式（１）により、ＳＣ１を算出する。
ＳＣ１＝｜Ｇ２−Ｇ５｜＋｜Ｇ４−Ｇ１２｜    ・・（１）
【０１１０】
式（１）における｜Ｇ２−Ｇ５｜は、２つのＧ画素「Ｇ２」、「Ｇ５」の信号値の差分の絶対値であって、画素群ＰＧ１の範囲のうち位相差画素４１のマイナスＸ側部分における輝度の変化量を表す。｜Ｇ４−Ｇ１２｜は、２つのＧ画素「Ｇ４」、「Ｇ１２」の信号値の差分の絶対値であって、画素群ＰＧ１の範囲のうち位相差画素４１のプラスＸ側部分における輝度の変化量を表す。変化量比較回路５１は、ＳＣ１が低いほど、第１方向ｄ１における輝度の変化量が小さいとみなす。
【０１１１】
変化量比較回路５１は、第１方向ｄ１の場合と同様に、第２方向ｄ２から第８方向ｄ８におけるスコアであるＳＣ２〜ＳＣ８を算出する。変化量比較回路５１は、図１３に示す画素群ＰＧ２，ＰＧ３およびＰＧ４の信号値から、それぞれＳＣ２，ＳＣ３およびＳＣ４を求める。画素群ＰＧ２は、位相差画素４１から第２方向ｄ２側にある画素を含む。画素群ＰＧ３は、位相差画素４１から第３方向ｄ３側にある画素を含む。画素群ＰＧ４は、位相差画素４１から第４方向ｄ４側にある画素を含む。
【０１１２】
変化量比較回路５１は、例えば次の式（２）から（４）により、ＳＣ２，ＳＣ３およびＳＣ４を算出する。
ＳＣ２＝｜Ｇ２−Ｇ８｜＋｜Ｇ４−Ｇ９｜    ・・（２）
ＳＣ３＝｜Ｇ１−Ｇ６｜＋｜Ｇ３−Ｇ７｜    ・・（３）
ＳＣ４＝｜Ｇ１−Ｇ１１｜＋｜Ｇ３−Ｇ１０｜    ・・（４）
【０１１３】
変化量比較回路５１は、図１４に示す画素群ＰＧ５，ＰＧ６，ＰＧ７およびＰＧ８の信号値から、それぞれＳＣ５，ＳＣ６，ＳＣ７およびＳＣ８を求める。画素群ＰＧ５は、位相差画素４１から第５方向ｄ５側にある画素を含む。画素群ＰＧ６は、位相差画素４１から第６方向ｄ６側にある画素を含む。画素群ＰＧ７は、位相差画素４１から第７方向ｄ７側にある画素を含む。画素群ＰＧ８は、位相差画素４１から第８方向ｄ８側にある画素を含む。
【０１１４】
変化量比較回路５１は、例えば次の式（５）から（８）により、ＳＣ５，ＳＣ６，ＳＣ７およびＳＣ８を算出する。
ＳＣ５＝｜Ｇ４−Ｇ５｜＋｜Ｇ３−Ｇ６｜    ・・（５）
ＳＣ６＝｜Ｇ１−Ｇ１０｜＋｜Ｇ２−Ｇ９｜    ・・（６）
ＳＣ７＝｜Ｇ２−Ｇ１２｜＋｜Ｇ３−Ｇ１１｜    ・・（７）
ＳＣ８＝｜Ｇ１−Ｇ７｜＋｜Ｇ４−Ｇ８｜    ・・（８）
【０１１５】
変化量比較回路５１は、算出されたスコアＳＣ１〜ＳＣ８を比較する。変化量比較回路５１は、ＳＣ１〜ＳＣ８のうち最も小さい２つを検出する。変化量比較回路５１は、８つの方向ｄ１〜ｄ８のうち、最も小さいスコアを持つ２つの方向ｄｍ１，ｄｍ２を選択する（ステップＳ１２）。変化量比較回路５１は、２つの方向ｄｍ１，ｄｍ２が、８つの方向ｄ１〜ｄ８のうち輝度の変化量が最も小さい２つの方向と判断する。２つの方向ｄｍ１，ｄｍ２は、８つの方向ｄ１〜ｄ８のうち、画像に含まれる線状のパターンの方向である可能性が高い方向である。
【０１１６】
なお、変化量比較回路５１は、式（１）から（８）に示すスコア以外の評価値を基に、輝度の変化量を比較しても良い。変化量比較回路５１は、位相差画素４１を中心とする方向ごとにおける輝度の変化量を、いずれの手法により比較しても良い。
【０１１７】
色差補間回路５２は、変化量比較回路５１による比較結果を基に選択された参照画素の信号値を使用して、位相差画素４１への補間値を算出する。参照画素は、位相差画素４１から方向ｄｍ１の位置のＢ画素と、位相差画素４１から方向ｄｍ２の位置のＢ画素である。本実施形態では、色差補間回路５２は、８つの方向ｄ１〜ｄ８について８つの補間値を求める（ステップＳ１３）。色差補間回路５２は、得られた８つの補間値から、方向ｄｍ１についての補間値と、方向ｄｍ２についての補間値とを選択する。なお、色差補間回路５２で得られた８つの補間値は、後述するクリップ回路５４での参照値の設定にて使用される。
【０１１８】
色差補間回路５２は、図１３に示す画素群ＰＧ１に含まれるＧ画素およびＢ画素の信号値を使用して、第１方向ｄ１における補間値Ｖｄ１を算出する。色差補間回路５２は、例えば次の式（９）により、Ｖｄ１を算出する。式（９）は、式（９’）から変形された式である。
Ｖｄ１＝Ｂ１−（Ｇ５＋Ｇ１２）／２＋（Ｇ２＋Ｇ４）／２    ・・（９）
Ｖｄ１−（Ｇ２＋Ｇ４）／２＝Ｂ１−（Ｇ５＋Ｇ１２）／２    ・・（９’）
【０１１９】
式（９’）の右辺は、Ｇ画素「Ｇ５」および「Ｇ１２」とＢ画素「Ｂ１」とにおけるＧ成分およびＢ成分の色差を表す。式（９’）の左辺は、位相差画素４１とＧ画素「Ｇ２」および「Ｇ４」におけるＧ成分およびＢ成分の色差を表す。Ｇ画素「Ｇ２」および「Ｇ４」は、第１方向ｄ１に対して垂直な方向において位相差画素４１と隣り合うＧ画素である。
【０１２０】
式（９’）は、位相差画素４１とその隣のＧ画素「Ｇ２」、「Ｇ４」における色差と、Ｂ画素「Ｂ１」とその隣のＧ画素「Ｇ５」、「Ｇ１２」における色差とが等しいという相関関係を表す。色差補間回路５２は、式（９’）の関係が成立するものとみなして、Ｂ成分についての信号値である補間値Ｖｄ１を算出する。
【０１２１】
変化量比較回路５１で選択された２つの方向ｄｍ１，ｄｍ２の１つが第１方向ｄ１であった場合、色差補間回路５２は、補間値Ｖｄ１を選択する。位相差画素４１から第１方向ｄ１の位置のＢ画素「Ｂ１」は、変化量比較回路５１での比較結果を基に選択された参照画素である。Ｇ画素「Ｇ２」および「Ｇ４」は、位相差画素４１の周辺の第１画素である。Ｇ画素「Ｇ５」および「Ｇ１２」は、参照画素の周辺の第１画素である。本実施形態において、位相差画素４１の周辺の第１画素には、位相差画素４１と隣り合う第１画素が含まれるものとする。参照画素の周辺の第１画素には、参照画素と隣り合う第１画素が含まれるものとする。
【０１２２】
式（９）のうち、右辺の第２項である（Ｇ５＋Ｇ１２）／２は、参照画素と隣り合うＧ画素の信号値の平均値である。右辺の第３項である（Ｇ２＋Ｇ４）／２は、位相差画素４１と隣り合うＧ画素の信号値の平均値である。色差補間回路５２は、式（９）によると、これらの差分｛（Ｇ２＋Ｇ４）／２−（Ｇ５＋Ｇ１２）／２｝を、参照画素の信号値「Ｂ１」に加算する。色差補間回路５２は、かかる差分の加算による調整が施された参照画素の信号値を、補間値Ｖｄ１に採用する。
【０１２３】
色差補間回路５２は、第１方向ｄ１の場合と同様に、第２方向ｄ２から第８方向ｄ８における補間値Ｖｄ２〜Ｖｄ８を算出する。色差補間回路５２は、例えば次の式（１０）から（１６）により、Ｖｄ２〜Ｖｄ８を算出する。
Ｖｄ２＝Ｂ３−（Ｇ８＋Ｇ９）／２＋（Ｇ２＋Ｇ４）／２    ・・（１０）
Ｖｄ３＝Ｂ２−（Ｇ６＋Ｇ７）／２＋（Ｇ１＋Ｇ３）／２    ・・（１１）
Ｖｄ４＝Ｂ４−（Ｇ１０＋Ｇ１１）／２＋（Ｇ１＋Ｇ３）／２    ・・（１２）
Ｖｄ５＝Ｂ５−（Ｇ５＋Ｇ６）／２＋（Ｇ４＋Ｇ３）／２    ・・（１３）
Ｖｄ６＝Ｂ７−（Ｇ９＋Ｇ１０）／２＋（Ｇ１＋Ｇ２）／２    ・・（１４）
Ｖｄ７＝Ｂ８−（Ｇ１２＋Ｇ１１）／２＋（Ｇ２＋Ｇ３）／２    ・・（１５）
Ｖｄ８＝Ｂ６−（Ｇ７＋Ｇ８）／２＋（Ｇ１＋Ｇ４）／２    ・・（１６）
【０１２４】
色差補間回路５２は、８つの補間値Ｖｄ１〜Ｖｄ８から、２つの方向ｄｍ１，ｄｍ２についての２つの補間値を選択する。色差補間回路５２は、選択された２つの補間値を平均回路５３へ出力する。色差補間回路５２は、８つの補間値Ｖｄ１〜Ｖｄ８をクリップ回路５４へ出力する。
【０１２５】
パターンの方向である可能性が高いと判断された方向では、他の方向に比べて輝度の変化量は少ないと判断される一方、若干の輝度変化が含まれる場合があり得る。このため、参照画素とするＢ画素の信号値をそのまま位相差画素４１への補間値とした場合に、位相差画素４１への不十分な補間による輝度のずれ（アーティファクト）が画像に残る可能性がある。
【０１２６】
本実施形態では、補間処理回路３７は、パターンの方向においては色差変化がほとんどないものとみなして、参照画素の信号値に調整を施して、補間値を算出する。補間処理回路３７は、位相差画素４１およびＧ画素の色差と、参照画素およびＧ画素の色差との相関関係を基に、参照画素の信号値に対する色差補償を施す。色差補間回路５２は、かかる調整により、アーティファクトを低減させる。なお、色差補間回路５２は、式（９）から（１６）に示す式による演算以外の演算により、補間値Ｖｄ１〜Ｖｄ８を求めても良い。
【０１２７】
平均回路５３は、２つの方向ｄｍ１，ｄｍ２についての２つの補間値の平均値Ｖａｖを算出する（ステップＳ１４）。平均回路５３は、８つの方向ｄ１〜ｄ８のうち画像に含まれるパターンの方向である可能性が高いと判断された２つの方向の輝度情報および色差情報が反映された補間値である平均値Ｖａｖを算出する。
【０１２８】
補間処理回路３７は、パターンの方向である可能性が高い２つの方向ｄｍ１，ｄｍ２の補間値を平均回路５３にて平均する。補間処理回路３７は、位相差画素４１から互いに異なる２つの方向へのパターンが画像に含まれる場合に、かかる２つの方向の画像情報が反映された補間値を求めることができる。固体撮像装置５は、位相差画素４１におけるアーティファクトを低減させ、不自然さが低減された画像を得ることができる。
【０１２９】
クリップ回路５４は、クリップ処理における参照値とするＲｍａｘおよびＲｍｉｎを設定する（ステップＳ１５）。クリップ回路５４は、位相差画素４１への補間値のレベルを、Ｒｍａｘを上限およびＲｍｉｎを下限とするレベルに制限するクリップ処理を実施する。
【０１３０】
クリップ回路５４は、ステップＳ１３で求めた８つの補間値Ｖｄ１〜Ｖｄ８をレベル順に並べ替える。クリップ回路５４は、補間値Ｖｄ１〜Ｖｄ８のうち、最上位から２番目のレベルの補間値を、参照値の１つであるＲｍａｘに設定する。クリップ回路５４は、補間値Ｖｄ１〜Ｖｄ８のうち、最下位から２番目のレベルの補間値を、参照値の１つであるＲｍｉｎに設定する。クリップ回路５４は、次のステップＳ１６およびステップＳ１７の手順によるクリップ処理を実施する。
【０１３１】
ステップＳ１６では、クリップ回路５４は、ステップＳ１４で得られた平均値Ｖａｖと参照値Ｒｍｉｎとを比較する。ステップＳ１７では、クリップ回路５４は、ステップＳ１４で得られた平均値Ｖａｖと参照値Ｒｍａｘとを比較する。
【０１３２】
ＶａｖがＲｍｉｎより小さい場合（ステップＳ１６、Ｙｅｓ）、クリップ回路５４は、Ｒｍｉｎを選択する。これにより、クリップ回路５４は、平均回路５３からのＶａｖに対し、補間値の下限とするＲｍｉｎによるクリップ処理を施す。補間処理回路３７は、位相差画素４１への補間値ＶｉｎにＲｍｉｎを設定する（ステップＳ１８）。
【０１３３】
ＶａｖがＲｍｉｎ以上（ステップＳ１６、Ｎｏ）であって、ＶａｖがＲｍａｘより大きい場合（ステップＳ１７、Ｙｅｓ）、クリップ回路５４は、Ｒｍａｘを選択する。これにより、クリップ回路５４は、平均回路５３からのＶａｖに対し、補間値の上限とするＲｍａｘによるクリップ処理を施す。補間処理回路３７は、位相差画素４１への補間値ＶｉｎにＲｍａｘを設定する（ステップＳ１９）。
【０１３４】
ＶａｖがＲｍｉｎ以上（ステップＳ１６、Ｎｏ）、かつＶａｖがＲｍａｘ以下である場合（ステップＳ１７、Ｎｏ）、クリップ回路５４は、Ｖａｖを選択する。クリップ回路５４は、平均回路５３からのＶａｖを、クリップ処理を施さずに通過させる。補間処理回路３７は、位相差画素４１への補間値ＶｉｎにＶａｖを設定する（ステップＳ２０）。
【０１３５】
このようにして、補間処理回路３７は、ステップＳ１８からＳ２０のいずれかにおいて設定された補間値Ｖｉｎである本補間値を算出する。補間処理回路３７は、位相差画素４１に対し、プレ補間値から本補間値への置き換えを行う。これにより、補間処理回路３７は、位相差画素４１への補間処理を終了する。
【０１３６】
補間処理回路３７は、Ｂ画素に代えて配置された位相差画素４１を対象とする場合と同様に、Ｒ画素に代えて配置された位相差画素４１を対象とする補間処理を実施する。この場合、補間処理回路３７は、Ｇ画素を第１画素、Ｒ画素を第２画素とする補間処理を実施する。
【０１３７】
２つの方向ｄｍ１，ｄｍ２のいずれか一方についての補間値の算出には、白キズである第２画素の信号値が使用されることがあり得る。白キズによる異常な信号が使用されることで、補間値は、被写体が持つ色情報に関わらず高い値が算出されることになる。
【０１３８】
補間処理回路３７は、色差補間回路５２で算出された補間値Ｖｄ１〜Ｖｄ８から得られたＲｍａｘより高いレベルの補間値を、白キズの影響を受けた結果とみなす。補間処理回路３７は、白キズの影響を含むと判断された補間値に対してＲｍａｘによるクリップ処理を施すことで、白キズである第２画素の影響を低減できる。
【０１３９】
また、２つの方向ｄｍ１，ｄｍ２のいずれか一方についての補間値の算出には、黒キズである第２画素の信号値が使用されることもあり得る。黒キズによる異常な信号が使用されることで、補間値は、被写体が持つ色情報に関わらず低い値が算出されることになる。
【０１４０】
補間処理回路３７は、色差補間回路５２で算出された補間値Ｖｄ１〜Ｖｄ８から得られたＲｍｉｎより低いレベルの補間値を、黒キズの影響を受けた結果とみなす。補間処理回路３７は、黒キズの影響を含むと判断された補間値に対してＲｍｉｎによるクリップ処理を施すことで、黒キズである第２画素の影響を低減できる。
【０１４１】
画像に含まれるパターンの方向が８つの方向ｄ１〜ｄ８のいずれとも一致しない場合、選択される２つの方向ｄｍ１，ｄｍ２と画像に含まれる実際のパターンの方向とには、ずれが生じることとなる。この場合に、色差補間回路５２では、実際のパターンの方向にある第１画素以外の第１画素の信号値が、２つの方向ｄｍ１，ｄｍ２の補間値の算出に使用される可能性がある。
【０１４２】
補間処理回路３７は、このような色差補間回路５２での補間値の算出における誤差が要因となって、正常なレベルより異常に高いレベルの補間値あるいは低いレベルの補間値が算出される可能性がある。補間処理回路３７は、このような異常なレベルとなった補間値に対し、クリップ回路５４でのクリップ処理を施すことで、正常なレベルに近い値へ補間値を修正する。
【０１４３】
クリップ回路５４は、平均回路５３までの処理では対処しきれない要因により異常なレベルとなった補間値を、正常なレベルへ補正する。固体撮像装置５は、位相差画素４１におけるアーティファクトを低減させ、不自然さが低減された画像を得ることができる。なお、クリップ処理における参照値は、補間値Ｖｄ１〜Ｖｄ８のいずれかである場合に限られない。参照値は、いずれの手法により設定されたものであっても良い。クリップ処理回路５４は、例えばあらかじめ設定された参照値によるクリップ処理を行うこととしても良い。
【０１４４】
画素ブロックには、白キズである第１画素が含まれることがあり得る。変化量比較回路５１におけるスコアの算出に、白キズである第１画素の信号が使用された場合、スコアは、被写体が持つ輝度情報に関わらず高い値が算出されることになる。かかる高い値となったスコアを持つ方向は、変化量比較回路５１における方向の選択において除外されることとなる。補間処理回路３７は、白キズである第１画素の影響を含む補間値を除外できる。
【０１４５】
位相差画素４１は、ベイヤー配列の中に配置されたものに限られない。位相差画素４１は、ベイヤー配列以外の画素配列の中に配置されたものでも良い。画素配列は、例えば、ベイヤー配列のＧ画素に代えて、白（Ｗ）画素が設けられたものでも良い。Ｗ画素は、白色光を検出する撮像画素である。白色光は、可視領域全般における波長の光を含む。固体撮像装置５は、撮像画素にＷ画素が含まれることで、高い感度で被写体像を取り込むことができる。
【０１４６】
図１６は、図２に示す画素領域における位相差画素の第３配置例を示す図である。図１６に示す画素配列では、ベイヤー配列のＧ画素が、いずれもＷ画素に置き換えられている。Ｗ画素は、白色光を透過させる透明フィルタ（図示省略）を備える。画素配列は、Ｗ画素、Ｒ画素およびＢ画素を含む。撮像処理回路９は、Ｗ，ＲおよびＢの各色成分の光の検出結果である画像信号を、ベイヤー配列に応じた画像信号へ変換する。
【０１４７】
第３配置例でも、第１配置例および第２配置例と同様に、２つの位相差画素４１Ｌ，４１Ｒの組み合わせが、画素領域２０において所定の割合で配置されている。Ｗ画素は、Ｒ画素およびＢ画素に比べて広い波長領域の光を検出する。Ｗ画素で検出される信号成分は、Ｒ画素およびＢ画素で検出される信号成分に比べて被写体の輝度情報が多く含まれている。第３配置例では、画素配列のＷ画素は、位相差画素４１Ｌ，４１Ｒへの置き換えがなされず、いずれも画像情報の検出に使用される。固体撮像装置５は、高輝度かつ高い解像感を備える画像を取得できる。
【０１４８】
図１６には、Ｂ画素に代えて配置された位相差画素４１を中心とする５×５の画素ブロック６０を示している。補間処理回路３７は、画素ブロック６０におけるＷ画素の信号値とＢ画素の信号値を、補間処理において使用する。この例において、Ｗ画素は、第１色光であるＷ光を検出する第１画素である。Ｂ画素は、第２色光であるＢ光を検出する第２画素である。本実施形態において、白色光は「色光」に含まれるものとする。第３配置例の場合も、固体撮像装置５は、ダイレクトキズ補正の精度低下を抑制することができる。
【０１４９】
実施形態によると、固体撮像装置５は、位相差画素４１へのプレ補間値を生成してから、ダイレクトキズ補正を実施することで、ダイレクトキズ補正の精度低下を抑制できる。固体撮像装置５は、位相差画素４１に対しプレ補間値から本補間値への置き換えを行うことで、高精度な補間処理を実施できる。これにより、固体撮像装置５は、焦点検出画素を含む画素領域２０に配列された画素への高精度な補正処理と、画像信号の高精度な補間処理とを実現できるという効果を得ることができる。
【０１５０】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１５１】
５  固体撮像装置、２０  画素領域、３２  マップキズ処理回路、３３  プレ補間回路、３５  ラインメモリ、３６  キズ補正回路、３７  補間処理回路、３９  ＯＴＰ、４１，４１Ｌ，４１Ｒ  位相差画素。
【図１】
2017055168.tif 000003
【図２】
2017055168.tif 000004
【図３】
2017055168.tif 000005
【図４】
2017055168.tif 000006
【図５】
2017055168.tif 000007
【図６】
2017055168.tif 000008
【図７】
2017055168.tif 000009
【図８】
2017055168.tif 000010
【図９】
2017055168.tif 000011
【図１０】
2017055168.tif 000012
【図１１】
2017055168.tif 000013
【図１２】
2017055168.tif 000014
【図１３】
2017055168.tif 000015
【図１４】
2017055168.tif 000016
【図１５】
2017055168.tif 000017
【図１６】
2017055168.tif 000018