(57)【要約】      （修正有）【課題】取得された信号値のみを用いることで機能画素に対して適切な補正を行い、良好な画像データを取得可能な画像処理装置及び画像処理方法を提供する。【解決手段】２次元状に配置された複数の撮像用画素と、撮像用画素とは異なる感度を持つ複数の機能画素と、を有する撮像手段２００と、機能画素が境界部に存在するか判定する境界判定部と、機能画素に対するゲイン値を算出するゲイン値算出部と、を有する。境界部は信号値が不連続に変化する箇所である。ゲイン値算出部は境界判定部が境界部に存在しないと判定した機能画素の周囲に配置された撮像用画素から出力される信号値を用いて、境界判定部が境界部に存在すると判定した機能画素に対するゲイン値を算出する。【選択図】図１
2018006881.tif 000002
【特許請求の範囲】
【請求項１】
２次元状に配置された複数の撮像用画素と、前記撮像用画素とは異なる感度を持つ複数の機能画素と、を有する撮像手段と、
前記機能画素が境界部に存在するか判定する境界判定部と、
前記機能画素に対するゲイン値を算出するゲイン値算出部と、を有し、
前記境界部は信号値が不連続に変化する箇所であり、
前記ゲイン値算出部は前記境界判定部が境界部に存在しないと判定した前記機能画素の周囲に配置された前記撮像用画素から出力される信号値を用いて、前記境界判定部が境界部に存在すると判定した前記機能画素に対するゲイン値を算出することを特徴とする画像処理装置。
【請求項２】
前記ゲイン算出部は、
前記境界判定部が境界部に存在しないと判定した前記機能画素に対して所定の前記機能画素の周囲に配置された前記撮像用画素から出力される信号値の代表値を所定の前記機能画素から出力される信号値で除算することで推定ゲイン値を算出し、
前記推定ゲイン値を空間的に補間することで全ての前記機能画素に対する前記ゲイン値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記推定ゲイン値の空間的な補間は前記推定ゲイン値を用いて所定の集団毎の前記ゲイン値を算出し、前記所定の集団毎のゲイン値を空間的に補間することで行われることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記境界判定部が境界部に存在していると判定した前記機能画素に対して前記ゲイン値算出部で算出された前記ゲイン値を用いてゲイン補正を行うゲイン補正部と、
前記境界判定部が境界部に存在しないと判定した前記機能画素に対して補間補正を行う補間補正部と、を有することを特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記境界判定部は前記機能画素の周囲に配置された前記撮像用画素のばらつきを算出することで前記機能画素が境界部に存在するか判定することを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記撮像手段は複数の前記機能画素が隣接して配置される機能画素群を有することを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記機能画素は、前記撮像手段へ光束を導く撮像光学系からの光束のうち分割された光束を光電変換する焦点検出画素であることを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記機能画素は、前記撮像用画素に対し異なる構造を取る又はフィルタを有することで、異なる感度を持つ飽和防止画素であることを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置。
【請求項９】
前記撮像手段は、深さ方向に積層された複数の層の受光部を有する複数の受光素子が半導体基板上に配置された積層型固体撮像素子であることを特徴とする請求項１乃至請求項８のいずれかに記載の画像処理装置。
【請求項１０】
前記画像処理装置を有する撮像装置であって、
前記撮像装置に装着された光学装置から前記撮像装置が光学装置情報を判別出来ない場合に前記機能画素に対するゲイン値を算出することを特徴とする請求項１乃至請求項９のいずれかに記載の撮像装置。
【請求項１１】
２次元状に配置された複数の撮像用画素と、撮像用画素とは異なる感度を持つ複数の機能画素と、を有する撮像手段の画像処理方法であって、
境界判定部は信号値が不連続に変化する箇所である境界部に前記機能画素が存在するか判定し、
ゲイン算出部は前記機能画素に対するゲイン値を算出し、
前記境界判定部が境界に面していないと判定した前記機能画素の周囲に配置された前記撮像用画素から出力される信号値を用いて前記機能画素に対するゲイン値を算出することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ等に搭載される撮像素子において、機能画素位置から出力される撮像用信号の画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラは、レンズ系から入射された光線を光電変換するために、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーやＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサー等の撮像素子を内部に有している。撮像素子は、一般的に撮像用画素を二次元状に配列されることで構成されるが、加えて特定の機能を有する機能画素を搭載する技術が広く知られている。ここで、本文献における機能画素とは、撮像用画素に対して異なる感度を有する画素を指すものとする。
【０００３】
例えば特許文献１では、機能画素として瞳分割機能を有する焦点検出画素を有する撮像素子が開示されている。焦点検出画素は、受光部の感度領域を偏心させた２種類の画素があり、それぞれの画素から出力される信号から像ズレ量を検出することで焦点検出を行う。
【０００４】
焦点検出画素のような機能画素の光電変換特性として、光量に対する信号値の応答性が撮像用画素に比べて線形的に低くなるという特徴がある。また、信号減衰率はレンズと撮像素子の特性の組み合わせによって大きく異なる。従って、機能画素から出力される信号を撮像用信号として画像データ生成に取り扱うためには、適切な補正を行う必要がある。
【０００５】
機能画素に対する補正方法の１つとして、信号増幅を行うゲイン補正が知られている。ゲイン補正は機能画素から得られる信号値、及び信号値に対するゲイン値が信頼できる値であれば、適切な補正として機能する。
【０００６】
しかし一方で、撮像素子や電子回路によるノイズが発生した場合には、信頼できる信号値が得られないため、ゲイン補正では好適な補正値を取得できない。また、レンズの状態や撮影時の環境など何らかの要因によってゲイン値が適切でなかった場合についても、好適な補正値を取得できない。このような場合にコントラストに大きな変化のない被写体を撮像すると、周囲の撮像画素から出力される信号値と乖離した補正値が算出されることから、顕著な補正エラーが表れてしまう。
【０００７】
一方、機能画素に対する別の補正方法として、補間補正が知られている。補間補正は機能画素の周辺に位置する撮像用画素の信号値を参照して行う補正であり、多くの場合に適切な補正として機能する。
【０００８】
しかし、補間補正は平均化処理の一種であることから特徴的な情報は失われる。よって、全ての機能画素に対して補間補正を行うと画像データの解像感が損なわれてしまう。
【０００９】
例えば、大きくコントラストが変化するような被写体のエッジ上に機能画素が位置していた場合、得られるべき信号値が周囲の撮像用画素の信号値と大きく異なることが考えられる。その場合には周囲の画素からの補間は好適に作用せず、エッジ部分の鮮鋭度が低下してしまう可能性が有る。また、参照する撮像用画素がエッジ上に位置する場合も同様である。
【００１０】
従って、非エッジ領域に存在する機能画素に対しては何らかの要因によるエラーケースを避けるために補間補正を行いつつ、エッジ付近に存在する機能画素に対しては機能画素から取得された信号値を極力活用するためにゲイン補正を行う、という両補正を併用した補正方法が有効である。
【００１１】
このような補正を行う際には、エッジ付近に存在する機能画素に対して適切なゲイン値を設定する必要がある。
【００１２】
なお本文献では以後エッジ付近に位置する焦点検出画素とは、エッジ上に位置する焦点検出画素を示す。また、補間補正を行う際に参照する撮像用画素がエッジ上に位置している焦点検出画素も同様に示すこととする。また、非エッジ領域に位置する焦点検出画素とは、エッジ付近に位置する焦点検出画素を除いた焦点検出画素を示すこととする。
【００１３】
ゲイン値の設定方法として、例えば特許文献２が挙げられる。特許文献２に開示された発明によれば、撮像装置が光学装置から通信で得られた情報から適切と思われるゲイン量を設定し、焦点検出用画素に線形の補正を与えている。
【００１４】
これによって、焦点検出用画素の位置に本来あるべき撮像画素の出力を正確に推定することができる、としている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特許第３５９２１４７号公報
【特許文献２】特開２００６−１０８９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかし特許文献２に記載の発明は、光学装置から情報を得ることが必須の構成となっている。従って、光学装置との通信が不可能な場合や、通信の結果不適合な光学装置であった場合、適切なゲイン値を設定することができないという問題がある。
【００１７】
特にゲイン値は光学装置の特性、撮像素子の特性及び撮影時の光学情報に依存して変化することから、光学装置から情報を得ることが出来ない場合、適切なゲイン値を設定することは困難となる。従って、撮像素子から取得された信号値のみを用いて適切となるゲイン値を設定する手段が求められている。
【００１８】
上記課題から本発明は、取得された信号値のみを用いることで機能画素に対して適切な補正を行い、良好な画像データを取得可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
請求項１に示す発明は、２次元状に配置された複数の撮像用画素と、前記撮像用画素とは異なる感度を持つ複数の機能画素と、を有する撮像手段と、前記機能画素が境界部に存在するか判定する境界判定部と、前記機能画素に対するゲイン値を算出するゲイン値算出部と、を有し、前記境界部は信号値が不連続に変化する箇所であり、前記ゲイン値算出部は前記境界判定部が境界部に存在しないと判定した前記機能画素の周囲に配置された前記撮像用画素から出力される信号値を用いて、前記境界判定部が境界部に存在すると判定した前記機能画素に対するゲイン値を算出することを特徴とする画像処理装置である。
【００２０】
請求項２に示す発明は、前記ゲイン算出部は、前記境界判定部が境界部に存在しないと判定した前記機能画素に対して所定の前記機能画素の周囲に配置された前記撮像用画素から出力される信号値の代表値を所定の前記機能画素から出力される信号値で除算することで推定ゲイン値を算出し、前記推定ゲイン値を空間的に補間することで全ての前記機能画素に対する前記ゲイン値を算出することを特徴とする請求項１に記載の画像処理装置である。
【００２１】
請求項３に示す発明は、前記推定ゲイン値の空間的な補間は前記推定ゲイン値を用いて所定の集団毎の前記ゲイン値を算出し、前記所定の集団毎のゲイン値を空間的に補間することで行われることを特徴とする請求項２に記載の画像処理装置である。
【００２２】
請求項４に示す発明は、前記境界判定部が境界部に存在していると判定した前記機能画素に対して前記ゲイン値算出部で算出された前記ゲイン値を用いてゲイン補正を行うゲイン補正部と、前記境界判定部が境界部に存在しないと判定した前記機能画素に対して補間補正を行う補間補正部と、を有することを特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置である。
【００２３】
請求項５に示す発明は、前記境界判定部は前記機能画素の周囲に配置された前記撮像用画素のばらつきを算出することで前記機能画素が境界部に存在するか判定することを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置である。
【００２４】
請求項６に示す発明は、前記撮像手段は複数の前記機能画素が隣接して配置される機能画素群を有することを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理装置である。
【００２５】
請求項７に示す発明は、前記機能画素は、前記撮像手段へ光束を導く撮像光学系からの光束のうち分割された光束を光電変換する焦点検出画素であることを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置である。
【００２６】
請求項８に示す発明は、前記機能画素は、前記撮像用画素に対し異なる構造を取る又はフィルタを有することで、異なる感度を持つ飽和防止画素であることを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置である。
【００２７】
請求項９に示す発明は、前記撮像手段は、深さ方向に積層された複数の層の受光部を有する複数の受光素子が半導体基板上に配置された積層型固体撮像素子であることを特徴とする請求項１乃至請求項８のいずれかに記載の画像処理装置である。
【００２８】
請求項１０に示す発明は、前記画像処理装置を有する撮像装置であって、前記撮像装置に装着された光学装置から前記撮像装置が光学装置情報を判別出来ない場合に前記機能画素に対するゲイン値を算出することを特徴とする請求項１乃至請求項９のいずれかに記載の撮像装置である。
【００２９】
請求項１１に示す発明は、２次元状に配置された複数の撮像用画素と、撮像用画素とは異なる感度を持つ複数の機能画素と、を有する撮像手段の画像処理方法であって、境界判定部は信号値が不連続に変化する箇所である境界部に前記機能画素が存在するか判定し、ゲイン算出部は前記機能画素に対するゲイン値を算出し、前記境界判定部が境界に面していないと判定した前記機能画素の周囲に配置された前記撮像用画素から出力される信号値を用いて前記機能画素に対するゲイン値を算出することを特徴とする画像処理方法である。
【発明の効果】
【００３０】
本発明によれば、取得された信号値のみを用いることで機能画素に対して適切な補正を行い、良好な画像データを取得可能な画像処理装置及び画像処理方法を得ることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態であるカメラシステムの主要な構成を示したブロック図である。
【図２】図１に示した撮像装置に実装される撮像素子の単一画素を単純化した断面図である。
【図３】焦点検出画素を配置した撮像素子の画素配置列を示した模式図である。
【図４】焦点検出画素の構造を示した模式図である。
【図５】Ｘ座標とゲイン値の関係を示した模式図である。
【図６】補正処理部の構造を示したブロック図である。
【図７】焦点検出画素群を中心として３×４個の画素を抽出した模式図である。
【図８】撮像素子におけるゲイン値算出を示す模式図である。
【図９】Ｘ座標毎のゲイン値の空間的な補間について示した模式図である。
【図１０】値の置き換えを示す模式図である。
【図１１】焦点検出画素の信号値補正処理のフロー図である。
【図１２】飽和防止画素を配置した撮像素子の画素配置列を示した模式図である。
【図１３】飽和防止画素群を中心として４×４個の画素を抽出した模式図である。
【発明を実施するための形態】
【００３２】
以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。
【００３３】
図１に示すブロック図には、本発明の一実施形態であるカメラシステムの主要な構成が示されている。本図に示すカメラシステムは、撮像装置１００と、光学装置１０１と、撮影光学系１１０と、撮像素子２００と、信号処理部１５０と、補正処理部１５２と、画像処理部１５４と、メモリ部１６０と、カメラＣＰＵ１７０と、ユーザインターフェイス（Ｉ／Ｆ）１７１と、記録媒体インターフェイス（Ｉ／Ｆ）１７２と、画像表示部１９０と、を備えている。
【００３４】
光学装置１０１は撮像装置１００に対して交換可能であり、不図示のレンズＣＰＵを備えている。また、撮影光学系１１０は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、簡単のために１枚のレンズのみ記載している。
【００３５】
撮像素子２００は、撮影光学系１１０により集光された光線を受光して光電変換し、信号値として出力する。本実施形態の撮像素子２００としては、ＣＭＯＳイメージセンサが用いられている。
【００３６】
この撮像素子２００の受光面は多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各色成分信号を出力可能な垂直色分離型のイメージセンサである。垂直色分離型のイメージセンサについて詳しくは後述する。
【００３７】
撮像素子２００の最上面に位置するフォトダイオード２１０には焦点検出画素が周期的に配置されている。焦点検出画素について詳しくは後述する。
【００３８】
本実施形態の撮像素子２００には、画素から読み出した色成分信号を増幅するゲイン可変アンプやアナログ画像信号をデジタル変換するＡ／Ｄコンバータが内蔵されている。
【００３９】
信号処理部１５０は、撮像素子２００から出力された信号に対して通常の信号処理を行う。通常の信号処理とはダーク処理、線形化などであり、公知技術と同様であるため説明を省略する。撮像素子２００から出力された信号は、各種信号処理が施された後、Ｒａｗデータとして一旦メモリ部１６０に記録される。メモリ部１６０は、このほかにも各種データのバッファとして機能する。
【００４０】
補正処理部１５２は、メモリ部１６０から読み出されたＲａｗデータに対して機能画素から出力された信号値を補正する処理を行う。機能画素の信号値補正処理について詳しくは後述する。
【００４１】
画像処理部１５４は、補正処理部１５２によって補正された画像データに対して通常の画像処理を行う。通常の画像処理とはホワイトバランス調整、色調補正処理、階調変換処理などであり、公知技術と同様であるため説明を省略する。
【００４２】
カメラＣＰＵ１７０は、撮像装置１００全体の包括的な制御を行う。特に、カメラＣＰＵ１７０は、信号処理部１５０、補正処理部１５２及び画像処理部１５４の制御を行う。
【００４３】
ユーザＩ／Ｆ１７１は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラＣＰＵ１７０は所定の動作を行う指示を出す。
【００４４】
記録媒体Ｉ／Ｆ１７２は、不図示の記録媒体との間でＲＡＷデータや現像後の画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。
【００４５】
画像表示部１９０は、画像処理部１５４で処理された画像データや、不図示の記録媒体から読み出された画像データ等を表示する。
【００４６】
なお、上述したゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを内蔵していない撮像素子２００を採用する場合には、これらのデバイスを個別に搭載すればよい。
【００４７】
図２は、撮像装置１００に実装される撮像素子２００の単一画素を単純化して示した断面図である。上述したように、本実施形態の撮像素子２００はいわゆる垂直色分離型のイメージセンサであり、各画素には、深さ方向に３つのフォトダイオードが積層して形成されている。
【００４８】
ある画素に光が入射すると、入射光中の青色（Ｂ）成分は主に最上面に位置するフォトダイオード２１０で光電変換される。同様に、入射光中の緑色（Ｇ）成分は主に中間深さに位置するフォトダイオード２３０で光電変換され、赤色（Ｒ）成分は主に最下層に位置するフォトダイオード２５０で光電変換される。これらの、垂直方向の色分離は撮像素子２００の材料として用いるシリコン（Ｓｉ）の特性を利用したものである。
【００４９】
これら３つのフォトダイオードは、Ｓｉ基板の内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、Ｂ成分用フォトダイオード２１０は、約０．２〜０．５μｍの間の深さに形成され、Ｇ成分用フォトダイオード２３０は、約０．５〜１．５μｍの間の深さに形成され、Ｒ成分用フォトダイオード２５０は、約１．５〜３．０μｍの間の深さに形成される。
【００５０】
従って、本実施形態の撮像素子２００はベイヤー型イメージセンサに必須のカラーフィルタが不要でありながら、１つの画素でＲＧＢ３色の色成分信号を取得することが可能である。各画素が３色全ての波長成分を光電変換できるため、ベイヤー型イメージセンサにおいては必須の画素補間を行う必要がないというメリットもある。
【００５１】
なお、上記の構成に限らず、有機物や無機物等により形成された特定の吸収特性を有する光電変換膜を複数積層させた構成としてもよい。
【００５２】
また、単層からなるセンサーにカラーフィルタを搭載した、標準的な構造のイメージセンサを使用した構成としても良い。
【００５３】
（実施例１）
図３は、最上面に位置するフォトダイオード行列のうち一部に焦点検出画素を配置した撮像素子２００の画素配置列を示した模式図である。以降の実施例では、撮像用画素とは焦点検出画素ではない画素を指すものとする。Ｌｎ、Ｒｎは互いに対を成す左目及び右目の焦点検出画素であり、互いに隣接して配置される。
【００５４】
例えば、左目焦点検出画素Ｌ１は右目焦点検出画素Ｒ１と互いに対を成し焦点検出画素群Ｓ１を構成する。以下同様に、左目焦点検出画素Ｌｎは右目焦点検出画素Ｒｎと互いに対を成し焦点検出画素群Ｓｎを構成する。ここでｎは任意の自然数であり、撮像素子２００の必要に応じて設定される。検出用画素群Ｓｎは周期的に配置されているものとする。
【００５５】
また、各焦点検出画素は撮像素子２００の左上を原点とするＸＹ座標によっても表される。ＸＹ座標は焦点検出画素を対象とした座標とし、左目焦点検出画素と右目焦点検出画素を区別せず、撮像用画素は除外して数え上げるものとする。
【００５６】
次に焦点検出画素について説明する。焦点検出画素は、デジタルカメラにおけるオートフォーカス（ＡＦ）のための測距データを読み出すために配置される画素である。撮像素子２００から出力される信号を用いて位相差検出を行うことで、高精度のＡＦが可能となる。
【００５７】
図４を用いて左目焦点検出画素Ｌｎと右目焦点検出画素Ｒｎの構造を説明する。図４（ａ）は左目焦点検出画素Ｌｎの構造を示した模式図である。左目焦点検出画素Ｌｎの光入射側にはマイクロレンズ２７０が形成されている。左目焦点検出画素Ｌｎは偏心した開口部２９０を有し、画素の略半分の領域を遮光されることで入射光量が制限された構造となっている。
【００５８】
また、図４（ｂ）は右目焦点検出画素Ｒｎの構造を示した模式図である。右目焦点検出画素Ｒｎは左目焦点検出画素Ｌｎと比較し、各マイクロレンズ２７０の光軸を挟んだ対称な位置に開口部２９０を持つ構造をとる。
【００５９】
焦点検出画素による焦点検出プロセスは、例えば特許文献１に開示されている公知の技術であり、本実施例での説明は省略する。
【００６０】
焦点検出画素から出力される信号は焦点検出に用いられるが、同時に画像信号として画像データ生成にも使用される。ここで焦点検出画素は画素全体から略半分を被膜された、入射光量の制限された構造のため、撮像用画素と比較して略半分の感度しか持たず、撮像用画素と比べて同一光量に対して信号値が低下してしまう。従って、焦点検出画素から出力される信号値を画像データへと使用するには信号値に対して補正処理を行う必要がある。
【００６１】
焦点検出画素への補正方法は、非エッジ領域に位置する焦点検出画素に対しては周辺に位置する撮像用画素から補間補正を行い、一方、補間補正にとって言わばエラー部であるエッジ付近に位置する焦点検出画素に対してはゲイン補正を行うことが効果的である。
【００６２】
エッジ付近に位置する焦点検出画素に対して適切なゲイン補正を行うためには、適切なゲイン値を設定する必要がある。焦点検出画素に対するゲイン値は、画素の構造及び入射光線角によって、それぞれ決定される。また、入射光線角は焦点検出画素の撮像素子２００内における座標によってそれぞれ決定される。
【００６３】
ここで本実施例における焦点検出画素では瞳分割方向がＸ方向であることから、Ｙ方向への入射光線角の差異は入射光線量にほぼ影響を与えず、Ｘ座標が等しい画素同士は入射光線量の差が無視できる程度となる。従って、本実施例ではＸ座標が同一であればゲイン値は同一の値を取るとする。
【００６４】
図５は本実施例の左目焦点検出画素に対するＸ座標とゲイン値の関係を示した模式図である。図５の模式図における縦軸はゲイン値、横軸はＸ座標、曲線ａ及び曲線ｂはＸ座標とゲイン値の関係曲線を示している。
【００６５】
焦点検出画素は前述したようにＸ方向へ瞳分割され、画素の右半分の領域を遮光されている。このような構造の場合、撮像素子２００の中央から左方に位置する焦点検出画素は入射光線角に起因して、中央付近と比較して入射光線量が減少する。従って強いゲインをかける必要があるため、ゲイン値は高い値を取る。逆に、撮像素子２００の中央から右方に位置する焦点検出画素は、入射光線量が増加するため、ゲイン値は低くなる。
【００６６】
また、撮像素子２００の水平方向における中央のＸ座標に対するゲイン値は略２．０倍となる。これは、光線が理想的には撮像素子２００に対して垂直に入射することで、ちょうど被膜部分のみの光線が遮断されることに起因する。本実施例では被膜部分は画素全体に対して略半分の面積を有するので、そのゲイン値は略２．０倍となる。
【００６７】
なお、図５は左目焦点検出画素に対する模式図である。右目焦点検出画素の場合、Ｘ座標軸を挟んで略反転した形状の図が得られる。
【００６８】
図５における曲線ａ及び曲線ｂは異なる条件におけるＸ座標とゲイン値の関係を示している。入射光線角は撮影条件及び光学装置の特性によって決定され、それらの条件次第でＸ座標とゲイン値の関係曲線は様々な形状を取る。このようなＸ座標とゲイン値の関係曲線を算出すれば、全ての焦点検出画素に対する好適なゲイン値も算出可能となる。
【００６９】
そのため、従来では撮像装置が光学装置から情報を取得することで、Ｘ座標とゲイン値の関係曲線を算出し、焦点検出画素に対する好適なゲイン値を算出していた。しかし本発明ではゲイン値の等しい焦点検出画素の集団を利用することで、算出に必要な情報を使用せずに好適なゲイン値を設定する。
【００７０】
つまり本実施例における補正処理部１５２は、まず非エッジ領域に存在する焦点検出画素に対して、焦点検出画素とその周辺に位置する撮像用画素との出力比率から、推定ゲイン値を算出する。続いて算出した個別の推定ゲイン値について、焦点検出画素のＸ座標が共通する値毎に集団とし、その集団毎の代表値を取る。そのようにして得た同一Ｘ座標集団毎の代表値を要素として空間的な補間を行うことで、Ｘ座標とゲイン値の関係曲線を推定する。以上のようにして各同一Ｘ座標集団に対するゲイン値を算出し、エッジ付近に位置する焦点検出画素に適用することで、撮像素子２００から取得された信号値のみを用いて好適なゲイン値の設定が可能となる。
【００７１】
図６に示すブロック図には、補正処理部１５２の主要な構成が示されている。補正処理部１５２はゲイン値算出部、ゲイン値補間部、ゲイン補正部、補間補正部を有している。以下、補正処理部１５２における焦点検出画素の信号値補正処理について説明する。
【００７２】
メモリ部１６０から補正処理部１５２に読み出されたＲａｗデータは初めにゲイン値算出部にて、焦点検出画素がエッジ付近に位置するかについての判定（以下エッジ判定とする）が行われる。上記判定は全ての焦点検出画素に対して行われ、その判定結果はメモリ部１６０に記録される。
【００７３】
エッジ判定は、対象の焦点検出画素の周辺に位置する撮像用画素のばらつきを算出し、評価することによって行われる。本実施例ではばらつきとして周辺に位置する撮像用画素の最大値と最小値の差を使用する。ただし、分散をばらつきとして使用するなど可能であり、これに限定されるものではない。
【００７４】
図７は、図３に示した撮像素子２００の画素配置列から、焦点検出画素群Ｓ１を中心として３×４個の画素を抽出した図である。左目焦点検出画素Ｌ１と右目焦点検出画素Ｒ１はＴＬ、ＴＵＬ、ＴＣ、ＴＲ、ＴＵＲ、ＢＬ、ＢＬＬ、ＢＣ、ＢＲ、ＢＬＲを周辺に位置する撮像用画素としている。また、左目焦点検出画素Ｌ１と右目焦点検出画素Ｒ１は隣り合って配置されていることから、どちらかがエッジ付近に位置すれば、他方もエッジ付近に位置することとなる。
【００７５】
本実施例においてばらつきは、周辺に位置する撮像用画素の最大値と最小値の差を、焦点検出画素群の信号値で正規化することによって算出される。周辺に位置する撮像用画素の最大値をＭ、最小値をｍ、ばらつきをＶと定義すると、Ｍ、ｍ及びＶは次の式で表される。
【数１】
2018006881.tif 000003
【数２】
2018006881.tif 000004
【数３】
2018006881.tif 000005
ただし、ｓ＿ＴＬ、ｓ＿ＴＵＬ、ｓ＿ＴＣ、ｓ＿ＴＲ、ｓ＿ＴＵＲ、ｓ＿ＢＬ、ｓ＿ＢＬＬ、ｓ＿ＢＣ、ｓ＿ＢＲ、ｓ＿ＢＬＲ、ｓ＿Ｌ１、ｓ＿Ｒ１、は各画素から出力される信号値である。
【００７６】
エッジ判定は算出されたばらつきが境界値を超えているか否かを評価する。ばらつきの大小は周辺に位置する撮像用画素の信号差の大小を示しており、つまりばらつきが境界値以上であれば焦点検出画素がエッジ付近に位置することを意味し、境界値未満であれば焦点検出画素が非エッジ領域に位置することを意味する。ここで境界値は自由に設定可能な数値であり、実施者の必要に応じて適宜設定すればよい。以上のようにして、エッジ判定は行われる。
【００７７】
次にゲイン値算出部は、非エッジ領域に位置すると判定された焦点検出画素について、その周辺に位置する撮像用画素の信号値から、補間推定値を算出する。補間推定値は周辺に位置する撮像用画素の信号値を要素とした代表値である。本実施例では以後代表値として中央値を算出することとするが、これに限られるものではなく、平均値等としてもよい。
【００７８】
算出された補間推定値は、所定の焦点検出画素の信号値について周辺画素の信号値を根拠とし、補間的に推定された値である。この補間推定値を実際の焦点検出画素の信号値で除算することで、焦点検出画素の仮想的なゲイン値である推定ゲイン値が算出される。算出された推定ゲイン値はメモリ部１６０に記録される。補間推定値をＩ、推定ゲイン値をＧ＿Ｅとすると、例えば左目焦点検出画素Ｌ１の推定ゲイン値は次の式で表される。
【数４】
2018006881.tif 000006
【００７９】
ゲイン値補間部は、記録された推定ゲイン値を読出し、ゲイン値の空間的な補間を行う。このような補間を行うことで、エッジ付近に位置すると判定された焦点検出画素に関するゲイン値について算出することが可能となる。ゲイン値の補間は同構造の画素同士で行う必要があるため、右目焦点検出画素と左目焦点検出画素とで別途行われる。
【００８０】
図８は撮像素子２００におけるゲイン値算出を示す模式図である。以下、図８を用いて左目焦点検出画素におけるゲイン値の空間的な補間方法を説明する。図８中の数字の組は左目焦点検出画素の座標であり、Ｙ座標は奇数のみを取る。ここで、ｍ、ｎは任意の自然数であり、実施者の必要に応じて適宜設定される。また、座標（２．３）等にかかっている四角の枠は、焦点検出画素がエッジ上に位置していることを意味している。
【００８１】
ゲイン値補間部は、まずＸ座標毎の代表値を算出する。ゲイン値は前述したように入射光線量により、Ｘ座標毎に決定される数値である。従ってゲイン値算出部にて算出された、同一Ｘ座標におけるそれぞれの焦点検出画素に対する推定ゲイン値は同一の数値が得られるはずである。しかし推定ゲイン値は焦点検出画素の周辺画素の信号値によって推定された値にすぎず、その精度は低いため、実際には同一の数値を得られない。従って、それらを要素として代表値を求めることで、各同一Ｘ座標集団において、より精度の高いゲイン値が推定される。なお代表値として中央値を算出することとするが、これに限られるものではない。
【００８２】
例えば、Ｘ座標が１である同一Ｘ座標集団の代表値は、座標（１．１）から座標（１．２ｎ−１）までの左目焦点検出画素の推定ゲイン値を要素として算出される。Ｘ座標が２である同一Ｘ座標集団の代表値は同様にして算出されるが、座標（２．３）はエッジ上に位置していることから、エッジ判定においてばらつきが境界値を超えていると判定されるため、推定ゲイン値が算出されない。従って、座標（２．３）を除いた座標（２．１）から座標（２．２ｎ―１）までの推定ゲイン値を要素として算出される。Ｘ座標が３である同一Ｘ座標集団については全ての焦点検出画素がエッジ上に位置しているとする。すると推定ゲイン値が算出される焦点検出画素が存在しないため、この集団における代表値は算出されない。
【００８３】
ここで、Ｘ座標が３である同一Ｘ座標集団のような推定ゲイン値をもたない画素集団については、値を与えるためにゲイン値の推定を行わなくてはならない。また、非エッジ領域に位置すると判定された焦点検出画素数が少ない画素集団の場合、代表値の精度が不十分である可能性がある。そこでゲイン値が空間的に滑らかに変化することを用い、Ｘ座標毎のゲイン値の空間的な補間を行う。
【００８４】
図９はＸ座標毎のゲイン値の空間的な補間について示した模式図である。本実施例において空間的な補間はＸ座標をパラメータとした代表値の多項式近似によって行われる。図９の模式図における縦軸はゲイン値、横軸はＸ座標、黒点はＸ座標毎の代表値、曲線はＸ座標毎の代表値を多項式近似することで得られた近似曲線を示している。
【００８５】
このようにして算出された近似曲線は、特定の条件におけるＸ座標とゲイン値の関係曲線として推定された曲線である。近似曲線は非エッジ領域に存在する全ての焦点検出画素の信号値を要素としているため、精度の高い推定が行われている。
【００８６】
図１０は値の置き換えを示す模式図である。図１０中の白丸は、Ｘ座標毎の代表値に対応した、置き換え後のゲイン値を示している。全てのＸ座標毎の代表値は、近似多項式にＸ座標を代入して求めた値に置き換えられる。また、代表値が存在しなかったＸ座標に対しても、近似多項式によってゲイン値が算出される。
【００８７】
以上のようにＸ座標毎の代表値に対して近似曲線によって得られたゲイン値を置換することで、全てのＸ座標毎の代表値について、精度の高いゲイン値が算出される。また、近似曲線から大きく外れているような、精度の不十分な代表値である外れ値を補正することができる。また、Ｘ座標が３である同一Ｘ座標集団のような代表値が存在しないＸ座標に対してゲイン値を算出することが可能となる。
【００８８】
続いてゲイン補正部におけるゲイン補正処理について説明を行う。ゲイン補正処理はエッジ付近に位置する焦点検出画素から得られた信号値に対し、ゲイン値補間部によって算出された該Ｘ座標におけるゲイン値を乗算することによって行われる。
【００８９】
次に、補間補正部における補間補正処理について説明を行う。前述したように、非エッジ領域に位置する焦点検出画素に対しては補間補正がより好適に作用する。補間補正部は、非エッジ領域に位置する焦点検出画素に対して、焦点検出画素の周辺に位置する撮像用画素を使用することで補間補正処理を行う。例えば、周辺に位置する撮像用画素の信号値について中央値を算出し、焦点検出画素の信号値と置き換えるなどすればよい。
【００９０】
図１１は本実施例における焦点検出画素の信号値補正処理のフロー図を示している。以下、図に従って本実施例の信号値補正処理について説明する。
【００９１】
ステップＳ１０１でカメラＣＰＵ１７０から信号値補正処理命令が発信されると、ステップＳ１０２でメモリ部１６０から補正処理部１５２にＲａｗデータが読み出される。
【００９２】
ステップＳ１０３では、ゲイン値算出部において所定の焦点検出画素がエッジ付近に位置しているかについての判定が行われる。所定の焦点検出画素がエッジ付近に位置していると判定された場合、ステップＳ１０４で所定の画素に対してｆｌａｇ＝１がメモリ部１６０に記録される。
【００９３】
一方、所定の焦点検出画素が非エッジ領域に位置していると判定された場合、ステップＳ１０５で所定の画素に対してｆｌａｇ＝０がメモリ部１６０に記録される。続いて、所定の焦点検出画素に対して補間推定値が算出され、推定ゲイン値が算出される。推定ゲイン値はｆｌａｇと同様にメモリ部１６０に記録される。
【００９４】
ステップＳ１０７では、全ての焦点検出画素に対してエッジ判定が行われたかの判定が行われる。全ての焦点検出画素に対してエッジ判定が行われていない場合、ステップＳ１０３に戻り、エッジ判定が行われていない画素に対してエッジ判定を行う。
【００９５】
全ての焦点検出画素に対してエッジ判定が行われている場合、ステップＳ１０８ではゲイン値補間部においてゲイン値の空間的な補間が行われる。まずメモリ部１６０からｆｌａｇ＝０が記録された焦点検出画素について、算出された推定ゲイン値が読み出される。読み出された推定ゲイン値からＸ座標毎の代表値が算出され、更にＸ座標毎の代表値を要素としたゲイン値の空間的補正が行われる。算出された全てのＸ座標におけるゲイン値はメモリ部１６０に保存される。
【００９６】
ステップＳ１０９では、所定の焦点検出画素がｆｌａｇ＝１であるかについての判定が行われる。ｆｌａｇ＝１の場合、エッジ付近に位置する焦点検出画素であるので、ステップＳ１１０においてゲイン補正部にてゲイン補正処理が行われる。この際、所定の焦点検出画素のＸ座標に対応するゲイン値がメモリ部１６０から読み出され、適用される。
【００９７】
一方、所定の焦点検出画素がｆｌａｇ＝０である場合、非エッジ領域に位置する焦点検出画素であるので、ステップＳ１１１において補間補正部にて補間補正処理が行われる。
【００９８】
ステップＳ１１２では、全ての焦点検出画素に対して補正処理が行われたかの判定が行われる。全ての焦点検出画素に対して補正処理が行われていない場合、ステップＳ１０９に戻り、補正処理が行われていない画素に対して補正処理を行う。
【００９９】
全ての焦点検出画素に対して補正処理が行われている場合、信号値補正処理は終了する。ここで本フローは右目焦点検出画素と、左目焦点検出画素とで別個に行われる。従って、両検出画素に対して信号値補正処理が行われるよう、本処理は２度行われる。
【０１００】
なお、ステップＳ１０１からステップＳ１０７までは右目焦点検出画素と、左目焦点検出画素との処理を共通化しても良い。その場合、ステップＳ１０８からステップＳ１１３までが右目焦点検出画素と、左目焦点検出画素とで別個に行われる。
【０１０１】
以上の様に本実施例の撮像装置１００は、エッジ付近に位置する焦点検出画素について、非エッジ領域における焦点検出画素からゲイン値を算出可能であることから、撮像素子２００から取得された信号値のみを用いてゲイン補正処理を行うことができる。従って、装着している光学装置の情報が取得できないような場合においても、撮像素子２００から取得された信号値のみを用いることで好適な補正処理が可能となる。
【０１０２】
また、多項式近似を行うことで全ての焦点検出画素のゲイン値が持ちうる推定誤差を空間的に取り除くことができるため、最終的な画像データについて、ゲイン値設定における推定誤差から生じるエラーケースを低減できる。
【０１０３】
また、焦点検出画素がエッジ付近に位置する場合にはゲイン補正を行い、非エッジ領域に位置する場合には補間補正を行うことから最終的な画像について、エッジにおける鮮鋭度を失わず、かつ推定誤差の少ない補正処理が可能となる。
【０１０４】
（実施例２）
実施例１では機能画素として焦点検出画素を配置したが、本発明はそれ以外の機能画素に適用することも可能である。実施例２における発明は、飽和防止画素を機能画素とする撮像素子２００を備えた撮像装置１００の画像処理方法である。
【０１０５】
飽和防止画素は画素の一部を遮蔽する、若しくは入射光量の透過率を抑制するフィルタを画素に設置する、などの方法で撮像用画素と比較して低い感度を有する機能画素である。撮像用画素よりも低い感度を有することで、撮像用画素の信号値が飽和するような場合にも飽和の起こっていない信号値を出力可能であることから、画像の白飛びに対して有効な補正を行うために設置される。
【０１０６】
図１２は最上面に位置するフォトダイオード行列のうち一部に飽和防止画素を配置した撮像素子２００の画素配置列を示した模式図である。ＬＴｎ、ＲＴｎ、ＬＢｎ、ＲＢｎは飽和防止画素であり、各画素が別の飽和防止画素２つと隣接するようにして配置されている。ここでｎは任意の自然数であり、撮像素子２００の必要に応じて設定される。
【０１０７】
例えば、左上飽和防止画素ＬＴ１と右上飽和防止画素ＲＴ１と左下飽和防止画素ＬＢ１と右下飽和防止画素ＲＢ１は、飽和防止画素群Ｕ１を構成する。
【０１０８】
本実施例における飽和防止画素は、画素の周辺部を遮光されることで入射光量が制限された構造となっている。画素の中央部は開口部となっており、開口部は撮像用画素の開口部の略４分の１の面積を有している。また、撮像素子２００中の飽和防止画素は全て同様の構造となる。
【０１０９】
飽和防止画素から出力される信号値は、周辺画素が飽和を起こした際には飽和防止のための信号処理に寄与する。一方、周辺画素が飽和を起こしていない場合においては、画像信号として画像データ生成のみに使用される。ここで飽和防止画素は入射光量の制限された構造のため、撮像用画素と比較して略４分の１の感度しか持たず、撮像用画素と比べて同一光量に対して信号値が低下してしまう。従って、飽和防止画素から出力される信号値を画像データへと使用するには実施例１と同様に信号値に対して補正処理を行う必要がある。
【０１１０】
ここで本実施例における飽和防止画素では中央部が開口部となっていることから、像高が等しい画素同士はケラレ量の差が無視できる程度である。従って、本実施例では像高毎にゲイン値を共通とする焦点検出画素群が形成される。
【０１１１】
信号値補正処理について手法は実施例１と同様であるが、ばらつきの算出方法が異なるので、以下に説明する。図１３は、図１２に示した撮像素子２００の画素配置列から、飽和防止画素群Ｕ１を中心として４×４個の画素を抽出した図である。
【０１１２】
実施例２におけるばらつきは、飽和防止画素群Ｕ１の周辺に位置する撮像用画素の最大値と最小値の差を、焦点検出画素群の信号値で正規化することによって算出される。周辺に位置する撮像用画素の最大値をＭ、最小値をｍ、ばらつきをＶと定義すると、Ｍ、ｍ及びＶは次の式で表される。
【数５】
2018006881.tif 000007
【数６】
2018006881.tif 000008
【数７】
2018006881.tif 000009
ただし、ｓ＿ＬＴＴ、ｓ＿ＬＵＬ、ｓ＿ＬＴＬ、ｓ＿ＲＴＴ、ｓ＿ＲＵＲ、ｓ＿ＲＴＲ、ｓ＿ＬＢＬ、ｓ＿ＬＬＬ、ｓＬＢＢ、ｓ＿ＲＢＲ、ｓ＿ＲＬＲ、ｓ＿ＲＢＢ、ｓ＿ＬＴ１、ｓ＿ＲＴ１、ｓ＿ＬＢ１、ｓ＿ＲＢ１は各画素から出力される信号値である。
【０１１３】
以上の様にしてばらつきは算出される。推定ゲイン値の算出等、その他の処理は実施例１と同様に行えばよい。ただし実施例１と異なり全ての機能画素が同一の構造をしているため、信号値補正処理は１度行うのみで良い。
【０１１４】
本実施例によれば、飽和防止画素のような撮像用画素と感度の異なる画素に対して、好適な信号値補正を行うことが可能である。
【０１１５】
以上で説明したように、取得された信号値のみを用いることで機能画素に対して適切な補正を行い、良好な画像データを取得可能な画像処理装置及び画像処理方法を得ることができる。
【符号の説明】
【０１１６】
１００      撮像装置
１０１      光学装置
１１０      撮影光学系
１３０      読み出し制御部
１５０      信号処理部
１５２      補正処理部
１５４      画像処理部
１６０      メモリ部
１７０      カメラＣＰＵ
１７１      ユーザインターフェース（Ｉ／Ｆ）
１７２      記録媒体インターフェース（Ｉ／Ｆ）
１９０      画像表示部
２００      撮像素子
２１０      最上面に位置するフォトダイオード
２３０      中間深さに位置するフォトダイオード
２５０      最下層に位置するフォトダイオード
２７０      マイクロレンズ
２９０      開口部
【図１】
2018006881.tif 000010
【図２】
2018006881.tif 000011
【図３】
2018006881.tif 000012
【図４】
2018006881.tif 000013
【図５】
2018006881.tif 000014
【図６】
2018006881.tif 000015
【図７】
2018006881.tif 000016
【図８】
2018006881.tif 000017
【図９】
2018006881.tif 000018
【図１０】
2018006881.tif 000019
【図１１】
2018006881.tif 000020
【図１２】
2018006881.tif 000021
【図１３】
2018006881.tif 000022