(57)【要約】【課題】  遮光画素の配置の自由度を上げ、かつ、位相差を高精度で検出する。【解決手段】  本開示の一側面であるイメージセンサは、縦横に配置された通常画素の間に遮光画素が配置されている画素部と、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部（テクスチャ判定部３２）と、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部（相関演算部３３）と、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部（位相差算出部３４）とを備える。本開示は、像面位相差AFを備える撮像装置に適用できる。【選択図】  図３
2016009043.tif 000002
【特許請求の範囲】
【請求項１】
縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部と
を備えるイメージセンサ。
【請求項２】
前記生成部は、さらに、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する
請求項１に記載のイメージセンサ。
【請求項３】
前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する通常画素列を生成し、前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
請求項２に記載のイメージセンサ。
【請求項４】
前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する、前記遮光画素と同色の通常画素列を補間により生成する
請求項３に記載のイメージセンサ。
【請求項５】
前記設定部は、生成した前記通常画素列のノイズを除去し、ノイズ除去後の前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
請求項３に記載のイメージセンサ。
【請求項６】
前記設定部は、テクスチャ判定としては、ダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行う
請求項３に記載のイメージセンサ。
【請求項７】
前記注目領域を選択する選択部を
さらに備える請求項２に記載のイメージセンサ。
【請求項８】
前記選択部は、複数の区画に区分けられた画面のうち、ユーザによって選択された前記区画に基づいて前記注目領域を選択する
請求項７に記載のイメージセンサ。
【請求項９】
前記選択部は、ユーザによって選択された前記区画上の同一の奥行きを有する領域を前記注目領域として抽出する
請求項８に記載のイメージセンサ。
【請求項１０】
前記演算部は、前記注目画素としての前記遮光画素の輝度値を補正し、補正後の輝度値と、前記遮光画素の周囲の前記通常画素の輝度値との相関値を演算する
請求項２に記載のイメージセンサ。
【請求項１１】
前記生成部は、生成した前記相関度ヒストグラムに基づいて、検出した前記位相差の信頼度を算出する
請求項２に記載のイメージセンサ。
【請求項１２】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向には疎に、かつ、画面全体に規則的に均等に配置されている
請求項２に記載のイメージセンサ。
【請求項１３】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、画面全体にランダムに配置されている
請求項２に記載のイメージセンサ。
【請求項１４】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、画面全体にランダムに配置されている
請求項２に記載のイメージセンサ。
【請求項１５】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向に直線状に配置されている
請求項２に記載のイメージセンサ。
【請求項１６】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって遮光方向に直線状に配置されている
請求項２に記載のイメージセンサ。
【請求項１７】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、複数の列に配置されている
請求項２に記載のイメージセンサ。
【請求項１８】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって複数の列に配置されている
請求項２に記載のイメージセンサ。
【請求項１９】
縦横に配置された通常画素の間に遮光画素が配置されている画素部を備えるイメージセンサにおける前記遮光画素とその周囲の前記通常画素との位相差の演算方法において、
前記イメージセンサによる、
注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定ステップと、
前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算ステップと、
前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成し、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する検出ステップと
含む演算方法。
【請求項２０】
イメージセンサが搭載された電子装置において、
前記イメージセンサは、
縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える
電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、イメージセンサ、演算方法、および電子装置に関し、特に、像面位相差AF(Auto Focus)機能を実装する場合に用いて好適なイメージセンサ、演算方法、および電子装置に関する。
【背景技術】
【０００２】
従来、オートフォーカスの一方式として像面位相差AFが知られている。像面位相差AFを実現する固体撮像素子には、画素信号を得るための通常画素に加えて、入射光を瞳分割するための遮光画素が所定の位置に配置されている。より具体的には、受光面の右側が遮光されている右側遮光画素と、受光面の左側が遮光されている左側遮光画素との対が複数直線状に配置されている。そして、遮光画素から得られる位相差に基づいてレンズの焦点位置が調整される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−３３９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、右側遮光画素と左側遮光画素の対を配置する場合、画質劣化の低減と高精度な位相差検出を両立するためには、遮光画素の配置と位相差の検出領域の大きな制約があった。
【０００５】
本開示はこのような状況に鑑みてなされたものであり、遮光画素の配置の自由度を上げ、かつ、位相差を高精度で検出できるようにするものである。
【課題を解決するための手段】
【０００６】
本開示の第１の側面であるイメージセンサは、縦横に配置された通常画素の間に遮光画素が配置されている画素部と、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える。
【０００７】
前記生成部は、さらに、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出することができる。
【０００８】
前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する通常画素列を生成し、前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定することができる。
【０００９】
前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する、前記遮光画素と同色の通常画素列を補間により生成することができる。
【００１０】
前記設定部は、生成した前記通常画素列のノイズを除去し、ノイズ除去後の前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定することができる。
【００１１】
前記設定部は、テクスチャ判定としては、ダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行うことができる。
【００１２】
本開示の第１の側面であるイメージセンサは、前記注目領域を選択する選択部をさらに備えることができる。
【００１３】
前記選択部は、複数の区画に区分けられた画面のうち、ユーザによって選択された前記区画に基づいて前記注目領域を選択することができる。
【００１４】
前記選択部は、ユーザによって選択された前記区画上の同一の奥行きを有する領域を前記注目領域として抽出することができる。
【００１５】
前記演算部は、前記注目画素としての前記遮光画素の輝度値を補正し、補正後の輝度値と、前記遮光画素の周囲の前記通常画素の輝度値との相関値を演算することができる。
【００１６】
前記生成部は、生成した前記相関度ヒストグラムに基づいて、検出した前記位相差の信頼度を算出することができる。
【００１７】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向には疎に、かつ、画面全体に規則的に均等に配置されているようにすることができる。
【００１８】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、画面全体にランダムに配置されているようにすることができる。
【００１９】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、画面全体にランダムに配置されているようにすることができる。
【００２０】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向に直線状に配置されているようにすることができる。
【００２１】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって遮光方向に直線状に配置されているようにすることができる。
【００２２】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、複数の列に配置されているようにすることができる。
【００２３】
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって複数の列に配置されているようにすることができる。
【００２４】
本開示の第１の側面である演算方法は、縦横に配置された通常画素の間に遮光画素が配置されている画素部を備えるイメージセンサにおける前記遮光画素とその周囲の前記通常画素との位相差の演算方法において、前記イメージセンサによる、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定ステップと、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算ステップと、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成し、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する検出ステップと含む。
【００２５】
本開示の第２の側面である電子装置は、イメージセンサが搭載された電子装置において、前記イメージセンサが、縦横に配置された通常画素の間に遮光画素が配置されている画素部と、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える。
【００２６】
本開示の第１および第２の側面においては、注目領域に存在する注目画素としての遮光画素の周囲のテクスチャが判定され、前記テクスチャに基づいて重み付け係数が設定され、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値が演算され、前記遮光画素に対して演算された前記相関値に前記重み付け係数が乗算され、前記注目領域に存在する前記遮光画素の分だけ積算されることにより相関度ヒストグラムが生成される。
【発明の効果】
【００２７】
本開示の第１および第２の側面によれば、遮光画素の配置の自由度を上げ、かつ、位相差を高精度で検出することができる。
【図面の簡単な説明】
【００２８】
【図１】本開示を適用した撮像装置の構成例を示すブロック図である。
【図２】画素部における遮光画素の第１の配置例を示す図である。
【図３】位相差信号生成部の詳細な構成例を示すブロック図である。
【図４】位相差を検出する領域を抽出する過程を説明するための図である。
【図５】遮光画素に対する通常画素列の生成を説明するための図である。
【図６】テクスチャ判定に基づく重み付け係数の設定を説明するための図である。
【図７】テクスチャ判定に基づく重み付け係数の設定を説明するための図である。
【図８】相関度ヒストグラムを生成する過程を説明するための図である。
【図９】位相差検出処理を説明するフローチャートである。
【図１０】画素部における遮光画素の第２の配置例を示す図である。
【図１１】画素部における遮光画素の第３の配置例を示す図である。
【図１２】画素部における遮光画素の第４の配置例を示す図である。
【図１３】画素部における遮光画素の第５の配置例を示す図である。
【図１４】画素部における遮光画素の第６の配置例を示す図である。
【図１５】画素部における遮光画素の第７の配置例を示す図である。
【図１６】画素部における遮光画素の第８の配置例を示す図である。
【図１７】画素部における遮光画素の第９の配置例を示す図である。
【図１８】画素部における遮光画素の第１０の配置例を示す図である。
【図１９】画素部における遮光画素の第１１の配置例を示す図である。
【図２０】４画素共有型CMOSイメージセンサの構成例を示す回路図である。
【図２１】積層型CMOSイメージセンサの構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００３０】
＜本開示を適用した撮像装置の構成例＞
図１は、本開示を適用した撮像装置の構成例を示している。この撮像装置１０は、像面位相差AF機能を有するものであり、光学レンズ部１１、レンズ駆動部１２、イメージセンサ１３、画像データ生成部１４、および記録部１５から構成される。
【００３１】
光学レンズ部１１は、光学レンズ群、絞りなどから構成され、被写体像をイメージセンサ１３の画素部２１に集光させる。また、光学レンズ部１１は、レンズ駆動部１２からのフォーカス制御信号に基づいてフォーカスを移動させる。レンズ駆動部１２は、イメージセンサ１３から供給される位相差信号に基づき、フォーカス制御信号を生成して光学レンズ部１１に出力する。
【００３２】
イメージセンサ１３は、画素部２１と位相差信号生成部２２を有する。画素部２１は、縦横に配置された多数の通常画素の間に遮光画素が配置されており、光学レンズ部１１により集光された被写体の光学像に応じた各画素のRawデータを生成して画像データ生成部１４および位相差信号生成部２２に出力する。
【００３３】
図２は、画素部２１における遮光画素の第１の配置例を示している。第１の配置例では、受光面の右側が遮光されている右側遮光画素４１が、遮光方向（受光面の遮光されている部分を連ねた方向。いまの場合、右側が遮光されているので水平方向）には疎となるように、かつ、画面全体に規則的で均等に配置されている。第１の配置例によれば、画質の劣化を抑えつつ様々な撮像シーンでロバストに位相差を検出することができる。なお、画素部２１における遮光画素の他の配置例については後述する。
【００３４】
図１に戻る。位相差信号生成部２２は、画素部２１からの各画素のRawデータを入力として位相差信号を検出し、検出した位相差信号をレンズ駆動部１２に出力する。
【００３５】
画像データ生成部１４は、画素部２１からの各画素のRawデータに所定の信号処理を行うことにより、画像データを生成して記録部１５に出力する。記録部１５は、画像データを所定の記録メディアに記録したり、外部に出力したりする。
【００３６】
＜位相差信号生成部２２の詳細な構成例＞
図３は、位相差信号生成部２２の詳細な構成例を示している。位相差信号生成部２２は、領域選択部３１、テクスチャ判定部３２、相関演算部３３、および位相差算出部３４を有する。
【００３７】
領域選択部３１は、画素部２１からの各画素のRawデータが表わす画面上で、位相差を検出する領域（焦点を合わせる被写体が写っている領域)を抽出する。
【００３８】
図４は、位相差を検出する領域を抽出する過程を説明するための図である。同図Ａに示されるように、複数の矩形区画に区分されている画像上から、ユーザが指定する検出区画５１を選択し、次に、同図Ｂに示されるように、選択した検出区画５１の中で同一の奥行き（撮像装置１０からの距離）を有する可能性がある領域５２を抽出する。
【００３９】
なお、本実施の形態では、遮光画素を対として利用しなくてもよく、１個の遮光画素のみで利用できるので、画面を区分ける区画については、少なくとも１個の遮光画素を含んでいれば、そのサイズや形状に制約がない。換言すれば、ユーザに指定させる区画を、より細かく、より様々な形状に区分することができる。
【００４０】
同一の奥行きを有する可能性がある領域を抽出する方法について説明する。本実施の形態では、簡易的に同一の奥行きを有する可能性がある領域の抽出する方法の一例として、色情報およびエッジ情報を用いる方法を採用する。以下、同一の奥行きを有する可能性がある領域を、同一の奥行きを有する領域とも称する。
【００４１】
まず、同一の奥行きの領域は色が似ていること（すなわち、RGB値の割合が近い）、異なる奥行きの領域の境界にはエッジがあること（すなわち、輝度値の微分値が大きい）を仮定する。そして、選択された検出区画５１の中でエッジ検出を行い、検出されたエッジにより囲まれている領域を特定する。さらに各領域内部の色が似ているか否かを判定する。ここで、領域内部の色が似ていると判定した場合、その領域を同一の奥行きを有する領域として抽出する。
【００４２】
さらに他の方法として顔認識技術などを採用し、該技術により個別に識別された領域も同一の奥行きを有する領域として扱うようにしてもよい。
【００４３】
図３に戻る。テクスチャ判定部３２は、領域選択部３１で抽出された領域５２内に存在する各遮光画素に対応する通常画素列を生成する。
【００４４】
図５は、遮光画素に対する通常画素列の生成を説明するための図である。同図中央の遮光画素４１に対する通常画素列を生成する場合、該遮光画素４１を中心とする遮光方向の所定の長さ（同図の場合、９画素）の画素列に着目する。次に、着目した画素列のうち、遮光画素４１の位置の色（同図の場合、Ｇ）と異なる色（同図の場合、Ｂ）の通常画素については、その近傍の遮光画素４１の位置と同じ色（同図の場合、Ｇ）の通常画素を用いて補間する。また、遮光画素４１についても、その近傍の遮光画素４１の位置と同じ色（同図の場合、Ｇ）の通常画素を用いて補間する。これにより、遮光画素４１を中心とする遮光方向の所定の長さの、遮光画素４１の位置の色（同図の場合、Ｇ）の通常画素列が生成される。
【００４５】
また、テクスチャ判定部３２は、生成した通常画素列に対してLPF(Low Pass Filter)処理などを行うことでノイズを除去し、ノイズを除去した通常画素列のテクスチャ判定を行い、その判定結果に応じて重み付け係数を設定する。
【００４６】
テクスチャ判定としては、具体的には、ダイナミックレンジ判定、単調増加／減少判定、飽和判定などを行う。
【００４７】
ダイナミックレンジ判定では、通常画素列における最大画素値と最小画素値の差（ダイナミックレンジ）が所定の閾値よりも大きいか否かを判定する。単調増加／減少判定では、通常画素列における隣接した画素間での画素値の微分値を算出し、常に微分値が単調増加を表す所定の閾値よりも大きいか、または微分値が単調減少を表し所定の閾値よりも小さいかが成立しているか否かを判定する。飽和判定では、通常画素列における画素値が所定の上限の閾値よりも大きいか、または所定の下限の閾値よりも小さいかを判定する。
【００４８】
これら３種類の判定結果により、通常画素列に明瞭な位相差が発現しており、その位相差を誤検出なく高い精度で検出できると考えられる遮光画素（に対応する通常画素列）に対して、位相差検出時の重み付け係数に大きな値を設定する。
【００４９】
具体的には、例えば図６に示されるように、画素値のダイナミックレンジが広く、画素値の変化が単調である場合には、位相差を誤検出なく高精度に検出できると考えられるので、重み付け係数として大きな値を設定する。また、反対に、例えば図７に示されるように、画素値のダイナミックレンジが狭く、画素値の変化が単調ではない場合には、位相差を誤検出し易いと考えられるので、重み付け係数として小さな値を設定する。
【００５０】
なお、テクスチャ判定としては、上述したダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行い、その結果に基づいて重み付け係数を設定するようにしてもよい。
【００５１】
相関演算部３３は、領域選択部３１で抽出された領域内に存在する遮光画素毎に、感度補正を行い、感度補正後の遮光画素４１とその近傍の通常画素（上述した通常画素列の補間前の画素列）との画素値（輝度値）の相関値（相違値でもよい）を演算する。
【００５２】
なお、相関値の代わりに相違値を演算するようにしてもよい。また、遮光画素の感度補正を省略してもよい。
【００５３】
遮光画素の感度補正について説明する。遮光画素は遮光されている分だけ受光量が少なく、近傍の遮光されていない通常画素に比較して輝度値が小さいので、遮光率に応じて輝度値をゲイン倍する感度補正を行う。各遮光画素の遮光率の参照方法は、事前に算出した補正テーブルを利用する方法、または補正テーブルを利用せずに近傍の平坦部の遮光画素の画素値に基づいて算出した遮光率を参照する方法が考えられる。
【００５４】
補正テーブルを利用する方法では、予め、無地の被写体を撮像した時の近傍の通常画素と遮光画素の画素値（輝度値）を次式（１）に適用して用いて、遮光画素の遮光率（＝遮光画素の画素値／近傍の通常画素の画素値）を計算して補正テーブルを作成、保持しておく。
遮光画素の遮光率＝遮光画素の画素値／近傍の通常画素の画素値        ・・・（１）
【００５５】
そして、感度補正時には、補正テーブルから遮光画素の遮光率を取得し、次式（２）を利用して感度補正後の画素値を算出する。
感度補正後の遮光画素の画素値＝補正前の輝度値／遮光率              ・・・（２）
【００５６】
補正テーブルを利用しない方法では、注目している遮光画素の周辺の平坦部に存在する遮光画素を探索し、探索した遮光画素に対応する遮光率を式（１）により計算し、得られた遮光率を注目遮光画素の遮光率とみなし、式（２）を利用して感度補正後の画素値を算出する。
【００５７】
遮光画素と通常画素の相関演算について説明する。遮光画素の輝度補正を行った場合、遮光画素と通常画素の相関値として、図８の左側に示すように、遮光画素と通常画素の差分値（SAD値(Sum of Absolute Difference)、またはSSD値(Sum of Squared Difference)等）を算出する。
【００５８】
遮光画素の輝度補正を省略した場合、遮光画素と通常画素の相関値として、遮光画素と通常画素の内積値（NCC値（Normalized Cross-Correlation:正規化相互相関）等）を算出する。
【００５９】
図３に戻る。位相差算出部３４は、領域選択部３１で抽出された領域内に存在する遮光画素毎に演算された相関値に、テクスチャ判定部３２で設定された重み付け係数を乗算して積算することにより、図８右側に示されるような相関度ヒストグラムを生成し、相関度ヒストグラムに基づいて位相差を検出する。
【００６０】
相関度ヒストグラムに基づく位相差検出について説明する。まず、図８に示されるような相関度ヒストグラムにおいて相関値が最大である（相違度が最小である）点の位置をピクセル単位で探索する。さらに、ピクセルをより細分化したサブピクセル推定によりサブピクセル単位で相関値が最大になっている点を特定する。この特定したサブピクセル単位の点と遮光画素位置との差分値を遮光画素と通常画素の位相差として検出する。
【００６１】
さらに、位相差算出部３４は、相関度ヒストグラムの形状、値、積算された遮光画素数などに基づいて検出した位相差の信頼度を判定する。
【００６２】
なお、位相差算出部３４から出力される位相差は、遮光画素と通常画素の間の位相差であるが、画像部２１に右側遮光画素４１の他に左側遮光画素が存在すれば、該左側遮光画素と通常画素との位相差も得ることができる。そして、右側遮光画素４１と通常画素の間の位相差と、該通常画素と左側遮光画素の間の位相差を加算すれば、右側遮光画素４１と左側遮光画素との間の位相差を得ることができる。
【００６３】
＜位相差検出処理について＞
次に、図９は、位相差信号生成部２２による、遮光画素と通常画素の間の位相差検出処理を説明するフローチャートである。
【００６４】
ステップＳ１において、位相差信号生成部２２は、画素部２１から各画素のRawデータを取得する。ステップＳ２において、領域選択部３１は、ユーザからの操作に従い、画素部２１からの各画素のRawデータが表わす画面上で、位相差を検出す検出区画５１を選択し、さらに検出区画５１の中で同一の奥行を有する領域５２を抽出する。
【００６５】
ステップＳ３において、テクスチャ判定部３２は、領域選択部３１で抽出された領域５２内に存在する各遮光画素を１画素ずつ注目画素に指定する。ステップＳ４において、テクスチャ判定部３２は、注目画素を中心とする遮光方向の通常画素列を生成し、LPF処理などにより通常画素列のノイズを除去する。
【００６６】
ステップＳ５において、テクスチャ判定部３２は、ノイズを除去した通常画素列のテクスチャ判定を行い、その判定結果に応じて重み付け係数を設定する。ステップＳ６において、相関演算部３３は、注目画素の輝度補正を行い、ステップＳ７において、輝度補正した注目画素とその近傍の通常画素との相関値を演算する。
【００６７】
ステップＳ８において、テクスチャ判定部３２は、領域選択部３１で抽出された領域５２内に存在する各遮光画素のうち、注目画素に指定していないものが残っているか否かを確認する。注目画素に指定していないものが残っている場合、処理はステップＳ３に戻されて、それ以降が繰り返される。注目画素に指定していないものが残っていない場合、領域選択部３１で抽出された領域５２内に存在する全ての遮光画素に対する重み付け係数と、相関値が演算されたことになるので、処理はステップＳ９に進められる。
【００６８】
ステップＳ９において、位相差算出部３４は、領域選択部３１で抽出された領域内に存在する遮光画素毎に演算された相関値に、テクスチャ判定部３２で設定された重み付け係数を乗算して積算することにより相関度ヒストグラムを生成する。ステップＳ１０において、位相差算出部３４は、生成した相関度ヒストグラムに基づいて、サブピクセル単位で位相差を検出し、ステップＳ１１において、相関度ヒストグラムの形状、値、積算された遮光画素数などに基づいて検出した位相差の信頼度を判定する。
【００６９】
以上のようにして検出された位相差は、位相差信号として、レンズ駆動部１２に供給される。
【００７０】
以上で、位相差信号生成部２２による、遮光画素と通常画素の間の位相差検出処理の説明を終了する。
【００７１】
＜画素部２１における遮光画素の他の配置例＞
上述したように、画素部２１における遮光画素の配置は、図２に示された第１の配置例が好適であるが、他の配置であってもよい。
【００７２】
図１０は、画素部２１における遮光画素の他の配置例（第２の配置例）を示している。第２の配置例では、受光面の右側が遮光されている右側遮光画素７１と、受光面の左側が遮光されている左側遮光画素７２とが画面全体にランダムに配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第２の配置例であっても問題なく位相差を検出することができる。
【００７３】
図１１は、画素部２１における遮光画素のさらに他の配置例（第３の配置例）を示している。第３の配置例では、受光面の右側が遮光されている右側遮光画素７１だけが画面全体にランダムに配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第３の配置例であっても問題なく位相差を検出することができる。
【００７４】
図１２は、画素部２１における遮光画素のさらに他の配置例（第４の配置例）を示している。第４の配置例では、受光面の右側が遮光されている右側遮光画素７１が遮光方向（いまの場合、右側が遮光されているので水平方向）に直線状に連続して配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第４の配置例であっても問題なく位相差を検出することができる。
【００７５】
図１３は、画素部２１における遮光画素のさらに他の配置例（第５の配置例）を示している。第５の配置例では、受光面の下側が遮光されている下側遮光画素８１が遮光方向（いまの場合、下側が遮光されているので垂直方向）に直線状に連続して配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第５の配置例であっても問題なく位相差を検出することができる。
【００７６】
図１４は、画素部２１における遮光画素のさらに他の配置例（第６の配置例）を示している。第６の配置例では、受光面の左下側が遮光されている左下側遮光画素９１が遮光方向（いまの場合、左下側が遮光されているので右上がりの斜め方向）に直線状に連続して配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第６の配置例であっても問題なく位相差を検出することができる。
【００７７】
図１５は、画素部２１における遮光画素のさらに他の配置例（第７の配置例）を示している。第７の配置例では、受光面の右側が遮光されている右側遮光画素７１が複数の列に規則的に配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第７の配置例であっても問題なく位相差を検出することができる。
【００７８】
図１６Ａは、画素部２１における遮光画素の他の配置例（第８の配置例）を示している。第８の配置例では、受光面の右側が遮光されている右側遮光画素７１と、受光面の左側が遮光されている左側遮光画素７２が遮光方向の直線状に対となって密に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、このままでは通常画素が足りず、位相差を検出することができる。そこで、同図Ｂに示すように、注目画素としての遮光画素４１の遮光方向に位置する画素の画素値を、それぞれの上下の通常画素の画素値を用いて推定し、位相差の検出に利用する。
【００７９】
図１７Ａは、画素部２１における遮光画素の他の配置例（第９の配置例）を示している。第９の配置例では、受光面の下側が遮光されている下側遮光画素８１と、受光面の上側が遮光されている上側遮光画素８２が遮光方向の直線状に対となって密に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、このままでは通常画素が足りず、位相差を検出することができる。そこで、同図Ｂに示すように、注目画素としての遮光画素４１の遮光方向に位置する画素の画素値を、それぞれの左右の通常画素の画素値を用いて推定し、位相差の検出に利用する。
【００８０】
図１８Ａは、画素部２１における遮光画素の他の配置例（第１０の配置例）を示している。第１０の配置例では、受光面の左下側が遮光されている左下側遮光画素９１と、受光面の右上側が遮光されている右上側遮光画素９２が遮光方向の直線状に対となって密に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、このままでは通常画素が足りず、位相差を検出することができる。そこで、同図Ｂに示すように、注目画素としての遮光画素４１の遮光方向に位置する画素の画素値を、それぞれの左上と右下の通常画素の画素値を用いて推定し、位相差の検出に利用する。
【００８１】
図１９Ａは、画素部２１における遮光画素の他の配置例（第１１の配置例）を示している。第１１の配置例では、受光面の右側が遮光されている右側遮光画素７１と、受光面の左側が遮光されている左側遮光画素７２が対となって複数の列に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、注目画素としての遮光画素４１と隣り合う遮光方向に位置する画素の画素値を、その上下の通常画素の画素値を用いて推定し、位相差の検出に利用する。
【００８２】
＜本実施の形態であるイメージセンサ１３の適用例＞
本実施の形態であるイメージセンサ１３は、表面照射型または裏面照射型のどちらに対しても適用できる。
【００８３】
また、本実施の形態であるイメージセンサ１３は、３トランジスタ型または４トランジスタ型のどちらに対しても適用できる。
【００８４】
さらに、本実施の形態であるイメージセンサ１３は、例えば、図２０に示される４画素共有型CMOSイメージセンサ１１０のように、複数の画素でFDなどを共有するように構成されたCMOSイメージセンサに対して適用できる。
【００８５】
またさらに、本実施の形態であるイメージセンサ１３は、例えば、図２１に示されような、センサ回路１５２（画素部２１に相当）が形成された基板１５１と、論理回路１５４（位相差信号生成部２２などに相当）が形成された基板１５３が積層されている積層型CMOSイメージセンサ１５０に対して適用できる。
【００８６】
なお、本実施の形態であるイメージセンサ１３は、撮像装置だけでなく、撮像機能を有するあらゆる種類の電子装置に適用できる。
【００８７】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【００８８】
なお、本開示は以下のような構成も取ることができる。
（１）
縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部と
を備えるイメージセンサ。
（２）
前記生成部は、さらに、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する
前記（１）に記載のイメージセンサ。
（３）
前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する通常画素列を生成し、前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
前記（１）または（２）に記載のイメージセンサ。
（４）
前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する、前記遮光画素と同色の通常画素列を補間により生成する
前記（３）に記載のイメージセンサ。
（５）
前記設定部は、生成した前記通常画素列のノイズを除去し、ノイズ除去後の前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
前記（３）または（４）に記載のイメージセンサ。
（６）
前記設定部は、テクスチャ判定としては、ダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行う
前記（１）から（５）のいずれかに記載のイメージセンサ。
（７）
前記注目領域を選択する選択部を
さらに備える前記（１）から（６）のいずれかに記載のイメージセンサ。
（８）
前記選択部は、複数の区画に区分けられた画面のうち、ユーザによって選択された前記区画に基づいて前記注目領域を選択する
前記（７）に記載のイメージセンサ。
（９）
前記選択部は、ユーザによって選択された前記区画上の同一の奥行きを有する領域を前記注目領域として抽出する
前記（８）に記載のイメージセンサ。
（１０）
前記演算部は、前記注目画素としての前記遮光画素の輝度値を補正し、補正後の輝度値と、前記遮光画素の周囲の前記通常画素の輝度値との相関値を演算する
前記（１）から（８）のいずれかに記載のイメージセンサ。
（１１）
前記生成部は、生成した前記相関度ヒストグラムに基づいて、検出した前記位相差の信頼度を算出する
前記（１）から（９）のいずれかに記載のイメージセンサ。
（１２）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向には疎に、かつ、画面全体に規則的に均等に配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１３）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、画面全体にランダムに配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１４）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、画面全体にランダムに配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１５）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向に直線状に配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１６）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって遮光方向に直線状に配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１７）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、複数の列に配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１８）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって複数の列に配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１９）
縦横に配置された通常画素の間に遮光画素が配置されている画素部を備えるイメージセンサにおける前記遮光画素とその周囲の前記通常画素との位相差の演算方法において、
前記イメージセンサによる、
注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定ステップと、
前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算ステップと、
前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成し、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する検出ステップと
含む演算方法。
（２０）
イメージセンサが搭載された電子装置において、
前記イメージセンサは、
縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える
電子装置。
【符号の説明】
【００８９】
１０  撮像装置，  １１  光学レンズ部，  １２  レンズ駆動部，  １３  イメージセンサ，  １４  画像データ生成部，  １５  記録部，  ２１  画素部，  ２２  位相差信号生成部，  ３１  領域選択部，  ３２  テクスチャ判定部，  ３３  相関演算部，  ３４  位相差算出部，  ４１  遮光画素
【図１】
2016009043.tif 000003
【図２】
2016009043.tif 000004
【図３】
2016009043.tif 000005
【図４】
2016009043.tif 000006
【図５】
2016009043.tif 000007
【図６】
2016009043.tif 000008
【図７】
2016009043.tif 000009
【図８】
2016009043.tif 000010
【図９】
2016009043.tif 000011
【図１０】
2016009043.tif 000012
【図１１】
2016009043.tif 000013
【図１２】
2016009043.tif 000014
【図１３】
2016009043.tif 000015
【図１４】
2016009043.tif 000016
【図１５】
2016009043.tif 000017
【図１６】
2016009043.tif 000018
【図１７】
2016009043.tif 000019
【図１８】
2016009043.tif 000020
【図１９】
2016009043.tif 000021
【図２０】
2016009043.tif 000022
【図２１】
2016009043.tif 000023