(57)【特許請求の範囲】
【請求項１】
画像形成用の画像用画素が水平方向および垂直方向にマトリクス状に配置された領域内に画像形成以外に用いる機能画素が配置された有効画素領域と、該有効画素領域の周辺に配置されており、上記有効画素領域の画像用画素と同じ構造の画像用画素と、上記有効画素領域の機能画素と同じ構造の機能画素と、が遮光して配置された遮光画素領域と、を有する撮像素子と、
上記遮光画素領域の画像用画素の暗電流と、上記遮光画素領域の機能画素の暗電流と、を検知する暗電流検知部と、
上記遮光画素領域の機能画素の暗電流と、上記遮光画素領域の画像用画素の暗電流と、の差分である暗電流差を算出する暗電流差算出部と、
上記有効画素領域の機能画素から読み出された画素信号を、上記暗電流差に基づいて補正する暗電流差補正部と、
を備えることを特徴とする撮像装置。
【請求項２】
上記有効画素領域の機能画素は、水平方向および垂直方向に一定周期の規則で離散的に配置されており、
上記遮光画素領域の機能画素は、上記有効画素領域の機能画素とは異なる規則で配置されていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記遮光画素領域は、上記有効画素領域の水平方向の周辺に配置された水平遮光画素領域と、上記有効画素領域の垂直方向の周辺に配置された垂直遮光画素領域と、の少なくとも一方を備えており、
上記遮光画素領域の画像用画素および機能画素は、上記水平遮光画素領域に配置されている場合には配置範囲内において水平方向に未配置の画素位置がないようにそれぞれ連続的に配置され、上記垂直遮光画素領域に配置されている場合には配置範囲内において垂直方向に未配置の画素位置がないようにそれぞれ連続的に配置されていることを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記暗電流検知部は、上記水平遮光画素領域については水平方向における同一領域に対して画像用画素および機能画素の各暗電流を検知するように、上記垂直遮光画素領域については垂直方向における同一領域に対して画像用画素および機能画素の各暗電流を検知するように、算出領域を決定する算出領域決定部を有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
上記算出領域決定部は、上記算出領域を、上記撮像素子に対する熱源の位置と、該熱源の温度と、上記撮像素子の駆動モードと、の内の少なくとも一つに応じて決定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
上記遮光画素領域は、上記有効画素領域の水平方向の周辺に配置された水平遮光画素領域と、上記有効画素領域の垂直方向の周辺に配置された垂直遮光画素領域と、の少なくとも一方を備えており、
上記遮光画素領域の機能画素は、上記水平遮光画素領域に配置されている場合には上記有効画素領域の機能画素の水平方向の画素位置と同一の画素位置に少なくとも配置され、上記垂直遮光画素領域に配置されている場合には上記有効画素領域の機能画素の垂直方向の画素位置と同一の画素位置に少なくとも配置されていて、
上記暗電流検知部は、上記水平遮光画素領域については上記有効画素領域の機能画素の水平方向の画素位置と同一の画素位置の機能画素の暗電流を検知し、上記垂直遮光画素領域については上記有効画素領域の機能画素の垂直方向の画素位置と同一の画素位置の機能画素の暗電流を検知することを特徴とする請求項２に記載の撮像装置。
【請求項７】
上記撮像素子は、画素加算と画素間引きとの少なくとも一方を行う駆動モードを含む複数の駆動モードにより動作可能に構成されていて、
上記遮光画素領域の画像用画素および機能画素は、動作可能な複数の駆動モードの何れにおいても、機能画素の画素信号が混入しない画像用画素信号、および画像用画素の画素信号が混入しない機能画素信号を出力可能なように配置されており、
上記暗電流検知部は、上記機能画素の画素信号が混入しない画像用画素信号に基づき上記遮光画素領域の画像用画素の暗電流を検知すると共に、上記画像用画素の画素信号が混入しない機能画素信号に基づき上記遮光画素領域の機能画素の暗電流を検知し、
上記暗電流差補正部は、上記暗電流差算出部により算出された上記暗電流差と、上記駆動モードに応じて上記有効画素領域から読み出された画素信号における画像用画素と機能画素との混合率と、に応じて、該画素信号から減算すべき暗電流差を算出することを特徴とする請求項１に記載の撮像装置。
【請求項８】
上記有効画素領域の画像用画素から読み出された画素信号と、上記暗電流差補正部により補正された上記有効画素領域の機能画素の画素信号と、上記遮光画素領域の画像用画素の暗電流の情報と、をＲＡＷ画像ファイルとして記録することを特徴とする請求項１に記載の撮像装置。
【請求項９】
上記有効画素領域の画像用画素および機能画素から読み出された画素信号と、上記遮光画素領域の画像用画素の暗電流の情報と、上記遮光画素領域の機能画素の暗電流の情報と、をＲＡＷ画像ファイルとして記録することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
上記暗電流検知部により検知された上記遮光画素領域の画像用画素の暗電流に基づいて、上記有効画素領域の画像用画素の暗電流を補正すると共に、上記暗電流差補正部による補正後の上記有効画素領域の機能画素の暗電流を補正する暗電流補正部をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
画像形成用の画像用画素が水平方向および垂直方向にマトリクス状に配置された領域内に画像形成以外に用いる機能画素が配置された有効画素領域と、該有効画素領域の周辺に配置されており、上記有効画素領域の画像用画素と同じ構造の画像用画素と、上記有効画素領域の機能画素と同じ構造の機能画素と、が遮光して配置された遮光画素領域と、を有する撮像素子から出力された画像信号を処理する画像処理方法であって、
上記画像信号から、上記遮光画素領域の画像用画素の暗電流と、上記遮光画素領域の機能画素の暗電流と、を検知する暗電流検知ステップと、
上記暗電流検知ステップにより検知された、上記遮光画素領域の機能画素の暗電流と、上記遮光画素領域の画像用画素の暗電流と、の差分である暗電流差を算出する暗電流差算出ステップと、
上記有効画素領域の機能画素から読み出された画素信号を、上記暗電流差に基づいて補正する暗電流差補正ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像用画素および機能画素が配置された撮像素子の暗電流を検知する撮像装置、画像処理方法に関する。
【背景技術】
【０００２】
光学系により結像された光学像を電気信号に変換する撮像装置において、異なる暗電流特性を有する領域から構成された有効画素部の暗電流を補正する技術は、従来より提案されている。
【０００３】
例えば、日本国特開２００９−２８４４２４号公報には、分割露光によって製造された撮像素子の、分割露光領域毎の暗電流特性の差を補正する技術が記載されている。すなわち、ステッパーを利用して半導体集積回路のマスクパターンを縮小しシリコン基板に焼き付ける際に、ステッパーの露光可能範囲には限界があるために、撮像素子を複数の領域に分割して各分割領域単位で露光処理を行うことになる。このとき、分割領域毎に暗電流特性を含む特性が相違してしまうことがある。そこで、該公報に記載の技術では、予め各領域の暗電流特性とオプティカルブラック（ＯＢ）領域の暗電流特性との相関関係をテーブルデータとして記憶しておき、ＯＢ領域の画素出力とそのテーブルデータを用いて、ＯＢ領域と各領域の暗電流特性の差を算出して補正するものとなっている。
【０００４】
ところで近年、画像を取得するための画像用画素とは画素特性が異なる機能画素を配置する撮像装置が提案されている。具体的な一例としては、瞳の一部を通過した光束を結像して光電変換する第１の位相差画素と、瞳の他の一部を通過した光束を結像して光電変換する第２の位相差画素と、を撮像領域内に離散的に配置した像面位相差ＡＦ撮像素子が挙げられる。このような像面位相差ＡＦ撮像素子は、第１の位相差画素から得られた画素信号と、第２の位相差画素から得られた画素信号と、に基づいて位相差検出を行い、位相差ＡＦなどに利用するようになっている。
【０００５】
こうした構成の場合にも、画像用画素と位相差画素とに暗電流特性の相違が発生する。この点について、本発明の実施形態に係る図７を参照して説明する。
【０００６】
位相差画素等の機能画素ＰｘＡと画像用画素ＰｘＰとを比較すると、機能画素ＰｘＡには、図７には示していない撮像光学系からマイクロレンズ５２を介してフォトダイオード５３に至る光路上に、光束の一部を遮光する遮光部５４が設けられている。こうした遮光部５４は、例えば、配線を形成する際の金属膜（例えば、アルミ膜）などにより形成され、つまり帯電性のある材質により形成されている。このために、例えばフォトダイオード５３で発生した電荷５９により遮光部５４が帯電することがある。従って、機能画素ＰｘＡと画像用画素ＰｘＰとでは静電容量が異なり、発生する暗電流の特性も異なってくる。
【０００７】
このように、機能画素は、画像用画素と比較して、機能を生じさせるための回路や機能画素専用の処理を行う処理回路、あるいは部材等が組み込まれているために、ＯＢ領域等の遮光状態でもリーク電流から微小な電荷を帯びて暗電流が増える傾向にあり、画像用画素とは異なる量の暗電流が発生することになる。従って、画像用画素と機能画素との暗電流差を考慮することなく画像処理を行うと、機能画素位置のみ画素値が例えば高くなり、偽色などが発生してしまう。
【０００８】
こうした暗電流特性の相違に対応するための技術として、例えば日本国特開２０１２−９５０６１号公報には、受光画素領域とＯＢ領域とを備える像面位相差ＡＦ撮像素子において、ＯＢ領域の一部に、暗電流を測定するための位相差検出画素が配置される位相差検出画素暗電流測定領域と、暗電流を測定するための画像生成画素が配置される画像生成画素暗電流測定領域と、を設けることが記載されている。ここに、位相差検出画素暗電流測定領域で検出された信号は平均化され、位相差検出画素の信号から暗電流ノイズを除去するために用いられる。また、画像生成画素暗電流測定領域で検出された信号は、画素Ｒ、画素Ｇ、画素Ｂ毎に平均化され、各画素Ｒ、画素Ｇ、画素Ｂから暗電流ノイズを除去するために用いられる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】日本国特開２００９−２８４４２４号公報
【特許文献２】日本国特開２０１２−９５０６１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記日本国特開２００９−２８４４２４号公報に記載の技術は、異なる構造の画素が混在する撮像装置による暗電流差を想定したものではないために、該公報の技術をそのまま適用しようとしても、異なる構造の画素が混在する撮像装置から得られた画像の画質劣化を効果的に抑制することはできない。
【００１１】
また、上記日本国特開２０１２−９５０６１号公報に記載の技術は、機能画素と、画像用画素と、でそれぞれ別個に暗電流ノイズ補正処理を行わなければならず、従来の暗電流を補正する構成とは異なる回路等を用いる必要があり、既存の構成を利用することができなかった。
【００１２】
本発明は上記事情に鑑みてなされたものであり、既存の暗電流を補正する構成を利用可能としながら、画素構造の違いにより発生する暗電流差の影響を軽減することができる撮像装置、画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【００１３】
本発明のある態様による撮像装置は、画像形成用の画像用画素が水平方向および垂直方向にマトリクス状に配置された領域内に画像形成以外に用いる機能画素が配置された有効画素領域と、該有効画素領域の周辺に配置されており、上記有効画素領域の画像用画素と同じ構造の画像用画素と、上記有効画素領域の機能画素と同じ構造の機能画素と、が遮光して配置された遮光画素領域と、を有する撮像素子と、上記遮光画素領域の画像用画素の暗電流と、上記遮光画素領域の機能画素の暗電流と、を検知する暗電流検知部と、上記遮光画素領域の機能画素の暗電流と、上記遮光画素領域の画像用画素の暗電流と、の差分である暗電流差を算出する暗電流差算出部と、上記有効画素領域の機能画素から読み出された画素信号を、上記暗電流差に基づいて補正する暗電流差補正部と、を備えている。
【００１４】
本発明のある態様による画像処理方法は、画像形成用の画像用画素が水平方向および垂直方向にマトリクス状に配置された領域内に画像形成以外に用いる機能画素が配置された有効画素領域と、該有効画素領域の周辺に配置されており、上記有効画素領域の画像用画素と同じ構造の画像用画素と、上記有効画素領域の機能画素と同じ構造の機能画素と、が遮光して配置された遮光画素領域と、を有する撮像素子から出力された画像信号を処理する画像処理方法であって、上記画像信号から、上記遮光画素領域の画像用画素の暗電流と、上記遮光画素領域の機能画素の暗電流と、を検知する暗電流検知ステップと、上記暗電流検知ステップにより検知された、上記遮光画素領域の機能画素の暗電流と、上記遮光画素領域の画像用画素の暗電流と、の差分である暗電流差を算出する暗電流差算出ステップと、上記有効画素領域の機能画素から読み出された画素信号を、上記暗電流差に基づいて補正する暗電流差補正ステップと、を有している。
【発明の効果】
【００１５】
本発明の撮像装置、画像処理方法によれば、既存の暗電流を補正する構成を利用可能としながら、画素構造の違いにより発生する暗電流差の影響を軽減することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１における画像処理部の構成を示すブロック図。
【図３】上記実施形態１におけるプレ暗電流補正部の構成を示すブロック図。
【図４】上記実施形態１の撮像素子における画素の構成を示す図。
【図５】上記実施形態１における有効画素領域の画素構成を示す図。
【図６】上記実施形態１の水平遮光画素領域内に決定した算出領域における画像用画素および機能画素の配置例を示す図。
【図７】上記実施形態１の遮光画素領域における機能画素と画像用画素の断面構造を示す図。
【図８】上記実施形態１の撮像装置における静止画撮影処理を示すフローチャート。
【図９】上記実施形態１の図８のステップＳ８における画像処理の詳細を示すフローチャート。
【図１０】上記実施形態１の図９のステップＳ２１におけるプレ暗電流補正処理の詳細を示すフローチャート。
【図１１】上記実施形態１において、有効画素領域の画素Ｇｂに対する２×２画素加算の例を示す図。
【図１２】上記実施形態１において、２×２画素加算により得られる加算信号の例を示す図。
【図１３】上記実施形態１において、有効画素領域の画素Ｇｂに対する３×３画素加算の例を示す図。
【図１４】上記実施形態１において、３×３画素加算により得られる加算信号の例を示す図。
【図１５】上記実施形態１において、３×３画素加算により得られる加算信号に機能画素Ａが何画素分混合されているかを示す図表。
【図１６】上記実施形態１において、３×３画素加算により得られる加算信号に機能画素Ｂが何画素分混合されているかを示す図表。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１８】
図１から図１６は本発明の実施形態１を示したものであり、図１は撮像装置１の構成を示すブロック図である。
【００１９】
この撮像装置１は、レンズ１１と、絞り１２と、メカニカルシャッタ１３と、駆動部１４と、撮像素子１５と、Ａ−ＡＭＰ１６と、ＡＤＣ１７と、バス１８と、ＤＲＡＭ１９と、画像処理部２１と、焦点検出部２２と、撮像制御部２３と、ビデオエンコーダ２４と、ＲＯＭ２５と、操作部２６と、ＣＰＵ２７と、を備えている。
【００２０】
レンズ１１は、フォーカスレンズを含みフォーカス位置を調節可能に構成されていて、被写体ＯＢＪの光学像を撮像素子１５上に結像するための撮影光学系である。
【００２１】
絞り１２は、撮影光束の通過範囲を規定することにより、レンズ１１により結像される被写体像の明るさやボケ量などを制御するものである。
【００２２】
メカニカルシャッタ１３は、レンズ１１と撮像素子１５との間に配置されていて、撮像素子１５に到達する光束の通過時間を規制することにより、露出を制御するためのものである。
【００２３】
駆動部１４は、レンズ１１、絞り１２、およびメカニカルシャッタ１３を駆動制御するものである。すなわち、駆動部１４は、レンズ１１のフォーカスレンズを駆動して焦点調節を行い、絞り１２を駆動して絞り開口径を調節し、メカニカルシャッタ１３を駆動して開放動作と閉じ動作とを行う。
【００２４】
撮像素子１５は、レンズ１１を介して結像された光学像を光電変換して電気的な画像信号を生成する撮像部である。この撮像素子１５は、例えば、原色ベイヤー配列のカラーフィルタを備えた単板カラー撮像素子として構成されていて、１画素につきＲＧＢ色成分の内の何れか１色の色成分のみが得られる画像が生成される。
【００２５】
さらに、本実施形態の撮像素子１５は、画像形成用の画像用画素（図５に示す画素Ｒ，Ｇｒ，Ｇｂ，Ｂ）が水平方向および垂直方向にマトリクス状に配置された領域内に画像形成以外に用いる機能画素（図５に示す機能画素Ａ、機能画素Ｂ）が配置されたものとなっている。ここに、本実施形態では機能画素Ａ，Ｂとして、像面位相差ＡＦ用の位相差画素が配置されているものとする。ただし、機能画素は位相差画素に限るものでないことは勿論であり、その他の任意の機能を備えたものを適用可能である。
【００２６】
さらに、本実施形態の撮像素子１５は、画素加算（ビニングとも呼ばれる）と画素間引きとの少なくとも一方を行う駆動モードを含む複数の駆動モードにより動作可能に構成されているものとする。
【００２７】
Ａ−ＡＭＰ１６は、撮像素子１５から出力されるアナログの画像信号を増幅するアナログアンプである。
【００２８】
ＡＤＣ１７は、Ａ−ＡＭＰ１６により増幅されたアナログの画像信号をデジタルの画像信号（以下では適宜、画像データという）に変換するものである。ここで変換された画像データ（ＲＡＷ画像データなどと呼ばれる）は、ＤＲＡＭ１９に保存される。
【００２９】
バス１８は、撮像装置１内のある部分から他の部分へ命令やデータ等を転送する転送路である。ここに図１に示す例では、バス１８に、ＡＤＣ１７と、ＤＲＡＭ１９と、画像処理部２１と、焦点検出部２２と、撮像制御部２３と、ビデオエンコーダ２４と、ＲＯＭ２５と、ＣＰＵ２７と、フラッシュメモリ３と、が接続されている。
【００３０】
ＤＲＡＭ１９は、処理中の画像データや各種のデータ等を一時的に記憶する記憶部である。
【００３１】
画像処理部２１は、ＤＲＡＭ１９から画像データを読み出すと共に、必要に応じて処理パラメータやその他の各種のデータを読み出して、画像データに後で図２等を参照して説明するような各種の画像処理（例えば、表示用の画像処理、あるいは記録用の画像処理）を行うものである。ここで画像処理部２１により画像処理された表示用画像データまたは記録用画像データは、ＤＲＡＭ１９に再び保存される。ここに表示用画像データは、後述するビデオエンコーダ２４により処理されてＬＣＤ／ＴＶ２に表示される。このＬＣＤ／ＴＶ２は、例えば液晶表示素子やテレビモニタ等として構成され、撮像装置１に内蔵されたものであっても、撮像装置１の外部に接続されたものであっても何れでも構わない。また、記録用画像データは、フラッシュメモリ３等の記録媒体に記録される。このフラッシュメモリ３は、撮像装置１に内蔵されたものであっても、撮像装置１に対して着脱自在のメモリカード等であっても何れでも構わない。
【００３２】
焦点検出部２２は、ＤＲＡＭ１９から画像データに含まれる位相差画素の画素信号を読み出して位相差検出を行い、被写体までの距離に対応するフォーカス位置を示すフォーカス情報を生成するものである。ここで生成されたフォーカス情報は、ＤＲＡＭ１９に保存される。なお、ここでは焦点検出部２２は、位相差画素の画素信号に基づいて位相差検出を行ったが、これに加えてさらに、画像用画素の画素信号に基づいてコントラストＡＦ等を行っても構わない。
【００３３】
撮像制御部２３は、ＣＰＵ２７の指令に基づいて、撮像素子１５の駆動モード（例えば、読み出し方式等）を制御するものである。ここに、撮像素子１５の駆動モードとしては、例えば、全画素読出モード、２×２画素加算読出モード、３×３画素加算読出モードなどが挙げられる。
【００３４】
ビデオエンコーダ２４は、ＤＲＡＭ１９から表示用画像データを読み出して表示用の画像信号を生成し出力するものである。このビデオエンコーダ２４から出力された画像信号は、上述したように、ＬＣＤ／ＴＶ２に表示される。
【００３５】
ＲＯＭ２５は、この撮像装置１の動作に必要な各種の処理プログラムや規定の設定値、処理パラメータなどを不揮発に記憶するものであり、例えば、追記可能、あるいは書き換え可能なメモリとして構成されている。このＲＯＭ２５に記憶されている情報には、機能画素の配置情報と、撮像素子１５の駆動モードの情報と、が含まれている。さらに、このＲＯＭ２５には、後述する例えば図１５および図１６に示すような混合率情報がテーブルデータとして予め記憶されていても良い。
【００３６】
操作部２６は、この撮像装置１に対する操作入力を行うためのユーザインタフェースであり、撮像装置１の電源をオン／オフするための電源ボタン、撮影開始を指示するための撮影ボタン、撮影モード等を設定するためのモード設定ボタン、その他各種の設定ボタンなどが含まれている。
【００３７】
ＣＰＵ２７は、この撮像装置１内の各部を統合的に制御する制御部である。例えば、ＣＰＵ２７は、焦点検出部２２により検出されたフォーカス位置へレンズ１１を駆動するように駆動部１４へ指令を送信する。また、ＣＰＵ２７は、ＤＲＡＭ１９から画像データを読み出して、適切な露出条件、つまりシャッタ速度、絞り値（いわゆるＦ値）、ＩＳＯ感度などを算出し、算出した値を駆動部１４、撮像制御部２３、Ａ−ＡＭＰ１６等へ設定して各駆動制御を行わせる。そして、ＣＰＵ２７は、撮像制御部２３を介して撮像素子１５に撮像動作を行わせ、取得された画像データを画像処理部２１に処理させ、ビデオエンコーダ２４を介してＬＣＤ／ＴＶ２に表示させ、あるいはフラッシュメモリ３に記録する。
【００３８】
次に、図２は画像処理部２１の構成を示すブロック図である。
【００３９】
画像処理部２１は、プレ暗電流補正部３１と、暗電流補正部３２と、ホワイトバランス（ＷＢ）補正処理部３３と、同時化処理部３４と、輝度特性変換部３５と、エッジ強調処理部３６と、ノイズリダクション（ＮＲ）処理部３７と、色再現処理部３８と、を備えている。
【００４０】
プレ暗電流補正部３１は、遮光画素領域１５ｂ，１５ｃ（図４参照）の画素信号に基づいて、画像用画素と機能画素との暗電流差を算出する。そして、プレ暗電流補正部３１は、算出した暗電流差に基づいて、有効画素領域１５ａ（図４参照）の画像用画素Ｒ，Ｇｒ，Ｇｂ，Ｂの画素信号と機能画素Ａ，Ｂの画素信号との間の暗電流差の補正を、機能画素Ａ，Ｂに対して行う。
【００４１】
暗電流補正部３２は、プレ暗電流補正部３１により補正された有効画素領域１５ａの画像データに対して、従来と同様に、画像用画素Ｒ，Ｇｒ，Ｇｂ，Ｂから読み出された画素信号と、機能画素Ａ，Ｂから読み出された画素信号と、を区別することなく、画像用画素の暗電流成分として検知された暗電流ノイズを低減する処理を行う。
【００４２】
すなわち、暗電流補正部３２は、後述する暗電流検知部４１により検知された遮光画素領域１５ｂ，１５ｃの画像用画素の暗電流に基づいて、有効画素領域１５ａの画像用画素の暗電流を補正すると共に、後述する暗電流差補正部４２による補正後の有効画素領域１５ａの機能画素の暗電流をさらに補正する。
【００４３】
ＷＢ補正処理部３３は、白色の被写体が白色として見えるように、画像のＲＧＢ各色成分のカラーバランスを補正する。
【００４４】
同時化処理部３４は、１画素につきＲＧＢ成分の内の１色成分のみが得られているベイヤー配列のＲＡＷ画像データに対して、着目画素に存在しない色成分を周辺画素から補間して求めることにより、１画素につきＲＧＢの３色成分が揃った画像データを生成する処理（デモザイキング処理ともいう）を行う。
【００４５】
輝度特性変換部３５は、画像の輝度成分の階調変換を行う。
【００４６】
エッジ強調処理部３６は、画像中のエッジ成分を抽出してエッジ強調係数を乗算し、元の画像に加算することでエッジ強調を行う。
【００４７】
ＮＲ処理部３７は、周波数に応じたコアリング処理などを画像データに行うことにより、ランダムノイズや周期性ノイズなどを低減するノイズ低減処理を行う。
【００４８】
色再現処理部３８は、画像の色再現を行う。
【００４９】
図３を参照してプレ暗電流補正部３１の構成を説明する前に、図４〜図７を参照して撮像素子１５の構成についてより詳細に説明する。まず、図４は撮像素子１５の構成を示す図である。
【００５０】
撮像素子１５は、有効画素領域１５ａと、有効画素領域１５ａの周辺に配置された遮光画素領域１５ｂ，１５ｃと、を有している。
【００５１】
図５は、有効画素領域１５ａの画素構成を示す図である。
【００５２】
有効画素領域１５ａは、図５に示すように、画像形成用の画像用画素Ｒ，Ｇｒ，Ｇｂ，Ｂが、水平方向および垂直方向にマトリクス状に配置されている。ここに、画像用画素Ｒは赤色光透過カラーフィルタが配設された画素、画像用画素Ｇｒは画像用画素Ｒと同一水平ラインに配置され緑色光透過カラーフィルタが配設された画素、画像用画素Ｇｂは画像用画素Ｂと同一水平ラインに配置され緑色光透過カラーフィルタが配設された画素、画像用画素Ｂは青色光透過カラーフィルタが配設された画素である。
【００５３】
そして、有効画素領域１５ａは、画像用画素Ｒ，Ｇｒ，Ｇｂ，Ｂがマトリクス状に配置された領域内に、画像形成以外に用いる機能画素Ａ，Ｂが、例えば水平方向および垂直方向に一定周期の規則で離散的に配置されている。
【００５４】
具体的に図５に示す例では、機能画素Ａと機能画素Ｂとの何れもが、水平方向に４画素に１画素の割合で周期的に配置され、かつ、垂直方向にも４画素に１画素の割合で周期的に配置された規則となっている。
【００５５】
なお、ここでは機能画素Ａ，Ｂが一定周期の規則で離散的に配置されている例を示したが、これに限らず、例えば有効画素領域１５ａの一部の領域に配置されているタイプのものであっても構わない。
【００５６】
また、遮光画素領域として、図４に示す構成例では、有効画素領域１５ａの水平方向の周辺（水平方向の辺縁近傍）に配置された水平遮光画素領域１５ｂと、有効画素領域１５ａの垂直方向の周辺（垂直方向の辺縁近傍）に配置された垂直遮光画素領域１５ｃと、が設けられている。ただし、例えば水平遮光画素領域１５ｂと垂直遮光画素領域１５ｃとの何れか一方のみを撮像素子１５に設ける構成であっても構わない。
【００５７】
これらの遮光画素領域１５ｂ，１５ｃには、例えば図６に示すように、有効画素領域１５ａの画像用画素Ｒ，Ｇｒ，Ｇｂ，Ｂと同じ構造の画像用画素と、有効画素領域１５ａの機能画素Ａ，Ｂと同じ構造の機能画素と、が配置されている。
【００５８】
ここに、図６は、水平遮光画素領域１５ｂ内に決定した算出領域１５ｄにおける画像用画素および機能画素の配置例を示す図である。この図６に示す３×ｎ画素配列［（ｍ，ｉ）〜（ｍ＋２，ｉ＋ｎ−１）］の算出領域１５ｄの内の、（ｍ＋１）ラインには機能画素Ａが、（ｍ＋２）ラインには機能画素Ｂが、それぞれ配置され、ｍラインには例えば画像用画素Ｇｂ，Ｂが交互に配置されている。さらに、図示はしないが、例えば（ｍ−１）ラインには、画像用画素Ｒ，Ｇｒが交互に配置されている。
【００５９】
図示のように、遮光画素領域１５ｂ，１５ｃの機能画素Ａ，Ｂは、有効画素領域１５ａの機能画素Ａ，Ｂとは異なる規則で配置されていて、図６に示す具体例では、水平遮光画素領域１５ｂに配置されている画像用画素および機能画素は、配置範囲内において水平方向に隙間なく（未配置の画素位置がないように）それぞれ連続的に配置されている（図６は配置範囲の一部として設定された算出領域１５ｄを示している）。同様に、垂直遮光画素領域１５ｃに配置されている画像用画素および機能画素は、配置範囲内において垂直方向に隙間なく（未配置の画素位置がないように）それぞれ連続的に配置されている。
【００６０】
さらに具体的に、遮光画素領域１５ｂ，１５ｃの画像用画素Ｒ，Ｇｒ，Ｇｂ，Ｂは、画像用画素Ｒと画像用画素Ｇｒとが同一ラインとなるように、かつ画像用画素Ｇｂと画像用画素Ｂとが同一ラインとなるように配置され、機能画素Ａ，Ｂが同一ライン上に存在しない点を除いて、有効画素領域１５ａの画像用画素Ｒ，Ｇｒ，Ｇｂ，Ｂの配置と同様である。
【００６１】
一方、遮光画素領域１５ｂ，１５ｃの機能画素Ａ，Ｂは、ある水平ラインに機能画素Ａのみが水平方向に隙間なく配置され、他の水平ラインに機能画素Ｂのみが水平方向に隙間なく配置されている。このような構成により、水平遮光画素領域１５ｂ内の画像用画素と機能画素とを独立に読み出すことができるようになっている。
【００６２】
そして、水平遮光画素領域１５ｂの場合には、画像用画素の水平方向の配置範囲と、機能画素の水平方向の配置範囲と、が水平方向に同一範囲となるようにし、垂直遮光画素領域１５ｃの場合には、画像用画素の垂直方向の配置範囲と、機能画素の垂直方向の配置範囲と、が垂直方向に同一範囲となるようにしている。
【００６３】
続いて、図７は遮光画素領域１５ｂ，１５ｃにおける機能画素ＰｘＡと画像用画素ＰｘＰの断面構造を示す図である。
【００６４】
遮光画素領域１５ｂ，１５ｃは、レンズ１１側に遮光膜５１が設けられることで、被写体光束を遮光している。
【００６５】
画像用画素ＰｘＰは、被写体光束を集光することで開口率を上げるためのマイクロレンズ５２と、Ｒフィルタ、Ｇフィルタ、Ｂフィルタの何れかのカラーフィルタ５６ｐと、フォトダイオード５３と、を備えている。この画像用画素ＰｘＰが上述した画像用画素Ｒ，Ｇ（ＧｒまたはＧｂ），Ｂの何れに該当するかは、カラーフィルタ５６ｐの透過スペクトル帯域によって決まる。
【００６６】
機能画素ＰｘＡは、画像用画素ＰｘＰのカラーフィルタ５６ｐが透明フィルタ（白色フィルタ）５６ａに置き替わり、さらに、レンズ１１の瞳を通過して入射する光束の瞳の一部を制限するためにフォトダイオード５３の一部を遮光する遮光部５４が、例えば配線層５７に設けられている。この機能画素ＰｘＡが上述した機能画素Ａ，Ｂの何れに該当するかは、画素開口における遮光部５４の配置（遮光部５４が画素開口のどの部分を遮光するか）によって決まる。
【００６７】
また、配線層５７には、例えばさらに、画素が機能画素ＰｘＡと画像用画素ＰｘＰとの何れであるか（あるいはさらにその種類）を識別するための回路５５等が形成されている。
【００６８】
このような構成において、遮光部５４は、配線層５７に設けられていることから分かるように、例えば、配線を形成する際の金属膜（例えば、アルミ膜）などにより形成され、つまり帯電性のある材質により形成されている。このために、フォトダイオード５３で発生した電荷５９により帯電し、機能画素ＰｘＡと画像用画素ＰｘＰとでは静電容量が異なることになる。こうして、機能画素ＰｘＡと画像用画素ＰｘＰとでは発生する暗電流の特性が異なってくる。
【００６９】
上述したプレ暗電流補正部３１は、このような機能画素ＰｘＡと画像用画素ＰｘＰとの暗電流特性の差を補正するためのものである。
【００７０】
図３はプレ暗電流補正部３１の構成を示すブロック図である。
【００７１】
プレ暗電流補正部３１は、遮光画素領域（図４に示す水平遮光画素領域１５ｂと垂直遮光画素領域１５ｃとの少なくとも一方）の画像用画素（例えば、図６のｍラインに配置された画素）の暗電流と、遮光画素領域の機能画素（例えば、図６の（ｍ＋１）ラインに配置された機能画素Ａまたは（ｍ＋２）ラインに配置された機能画素Ｂ）の暗電流と、を検知して暗電流差を算出する暗電流検知部４１と、有効画素領域１５ａの機能画素Ａ，Ｂから読み出された画素信号を、算出された暗電流差に基づいて補正する暗電流差補正部４２と、を備えている。
【００７２】
ここに、暗電流検知部４１は算出領域決定部４３と暗電流差算出部４４とを備え、暗電流差補正部４２は暗電流周期算出部４５と暗電流差減算部４６とを備えている。
【００７３】
算出領域決定部４３は、遮光画素領域１５ｂ，１５ｃ内のどの座標位置の画素を暗電流の算出に用いるかを決定するものである。
【００７４】
まず、算出領域決定部４３は、算出領域１５ｄを、水平遮光画素領域１５ｂと垂直遮光画素領域１５ｃとの何れに設定するかを決定する。
【００７５】
そして、算出領域決定部４３は、水平遮光画素領域１５ｂについては水平方向における同一領域に対して画像用画素および機能画素の各暗電流を検知するように、垂直遮光画素領域１５ｃについては垂直方向における同一領域に対して画像用画素および機能画素の各暗電流を検知するように、算出領域１５ｄを決定する。
【００７６】
このように算出領域決定部４３は、画像用画素の暗電流を検知する領域の画素位置と、機能画素の暗電流を検知する領域の画素位置と、を水平方向または垂直方向に一致させることにより、水平方向または垂直方向のシェーディング特性をキャンセルすることができるようにしている。
【００７７】
このときさらに、算出領域決定部４３が、水平遮光画素領域１５ｂまたは垂直遮光画素領域１５ｃを複数に分割して、分割した領域毎に算出領域１５ｄを設定するようにしても良い。具体的に、例えば水平遮光画素領域１５ｂから暗電流を検知する場合には、水平遮光画素領域１５ｂを水平方向位置が異なる（列番号が異なる）複数の部分領域に分割して、分割した部分領域のそれぞれに対して算出領域１５ｄを決定し、暗電流差算出部４４にそれぞれの算出領域１５ｄの暗電流差を算出させる。そして、暗電流差補正部４２により有効画素領域１５ａの暗電流差を補正する際に、水平方向位置が対応する算出領域１５ｄに基づき算出された暗電流差を用いるようにすれば良い。垂直遮光画素領域１５ｃから暗電流を検知する場合にも、水平が垂直に置き換わるだけで同様である。
【００７８】
また、算出領域決定部４３は、算出領域１５ｄを、撮像素子１５に対する熱源の位置と、熱源の温度と、撮像素子１５の駆動モード（この駆動モードの情報は、上述したように、ＲＯＭ２５から取得される）と、の内の少なくとも一つに応じて動的に決定すると良い。
【００７９】
例えば、撮像素子１５の近傍に熱源が存在する場合に、撮像装置１の使用時間に応じて熱源の温度が上昇した場合には、熱源に近い部分を使用しないように、熱源の位置や温度に応じて算出領域１５ｄを変更すると良い。暗電流は温度に応じて発生量が変化するために、ある温度の画素領域で検知した暗電流を、他の温度の画素領域の暗電流を除去するのに用いるのは適切でないからである。
【００８０】
このときにはさらに、熱源の位置や温度に応じて、水平遮光画素領域１５ｂと垂直遮光画素領域１５ｃとの何れを用いて算出領域１５ｄを決定するかも、算出領域決定部４３が判断すると良い。
【００８１】
また、算出領域決定部４３が算出領域１５ｄを動的に決定する要因である撮像素子１５の駆動モードとしては、例えば、駆動モードによって変化することがある電子シャッタの幕速の大小が挙げられる。具体的に、例えば全画素読出モード時には全ての水平ラインから画素信号を読み出すために幕速が遅くなるが、加算読出モード時や間引き読出モード時（あるいは加算と間引きを組み合わせたモード時）には撮像素子１５から出力されるライン数が少なくなるために幕速が早くなる。そして、画素信号を読み出すときには、読出用の電圧や電流をライン毎に順次印加することになるために、幕速が遅いと最初の読み出しラインと最後の読出ラインとで暗電流特性に差異が発生する可能性がある。従って、幕速が早い場合には水平遮光画素領域１５ｂと垂直遮光画素領域１５ｃとの何れを算出領域１５ｄの決定に用いても良いが、幕速が遅い場合には複数ラインにまたがる垂直遮光画素領域１５ｃを用いることなく水平遮光画素領域１５ｂのみを算出領域１５ｄの決定に用いる、等を算出領域決定部４３が判断すると良い。
【００８２】
暗電流差算出部４４は、算出領域決定部４３で決定された算出領域１５ｄの画素値を用いて、遮光画素領域１５ｂ，１５ｃの機能画素の暗電流と、遮光画素領域１５ｂ，１５ｃの画像用画素の暗電流と、の差分である暗電流差を算出する。
【００８３】
具体的に、暗電流差算出部４４は、例えば次の数式１に示すように、遮光画素領域１５ｂ，１５ｃにおける機能画素Ａのｋ列目における画素信号Ｉａ（ｋ）と画像用画素のｋ列目における画素信号Ｉｐ（ｋ）とを用いて、機能画素Ａと画像用画素との暗電流差ＤＩａを算出する。
［数１］
0006529109.tif 000002
【００８４】
同様に、暗電流差算出部４４は、例えば次の数式２に示すように、遮光画素領域１５ｂ，１５ｃにおける機能画素Ｂのｋ列目における画素信号Ｉｂ（ｋ）と画像用画素のｋ列目における画素信号Ｉｐ（ｋ）とを用いて、機能画素Ｂと画像用画素との暗電流差ＤＩｂを算出する。
［数２］
0006529109.tif 000003
【００８５】
なお、これら数式１，２においては、画像用画素の暗電流の算出を、画素の色を区別することなく行っているが、後段の暗電流補正部３２で用いることを考慮して、まず各色毎に算出するようにしても良い。この場合には、算出した色毎の画像用画素の暗電流は、暗電流補正部３２での処理用に一旦保存しておき、その後にさらに各色の平均値（サンプル数に応じた重み付け平均値など）を取ることで画像用画素の暗電流を算出すれば良い。
【００８６】
また、ここでは各１ライン分の画像用画素および機能画素Ａ，Ｂ、つまり、例えば図６に示したような水平方向に連続する１ライン分の、画像用画素ｉ〜（ｉ＋ｎ−１）、機能画素Ａｉ〜Ａ（ｉ＋ｎ−１）、および機能画素Ｂｉ〜Ｂ（ｉ＋ｎ−１）を用いて暗電流差を算出したが、後述するように複数ライン分の画像用画素および機能画素Ａ，Ｂが設けられている場合には、複数ライン分のデータを用いることでサンプル数を多くして、ランダムノイズをより一層低減するようにしても構わない。
【００８７】
あるいは、水平方向に連続する画素信号を用いるのに代えて、次のような配置の画素を用いて暗電流差を算出するようにしても良い。
【００８８】
すなわち、有効画素領域１５ａの機能画素Ａは、図５に示すように例えば水平方向４画素に１画素の割合で配置され、同様に、有効画素領域１５ａの機能画素Ｂも例えば水平方向４画素に１画素の割合で配置されている。そして、有効画素領域１５ａの機能画素Ａと、水平遮光画素領域１５ｂの機能画素Ａとは、同一列に配置されている機能画素Ａ同士の方が、異なる列に配置されている機能画素Ａ間よりも暗電流の相関性が高いと考えられる。同様に、機能画素Ｂについても、有効画素領域１５ａと水平遮光画素領域１５ｂとで同一列に配置されている方が暗電流の相関性が高いと考えられる。
【００８９】
そこで、水平遮光画素領域１５ｂについては、暗電流検知部４１が、有効画素領域１５ａの機能画素Ａ，Ｂの水平方向の画素位置と同一の画素位置の機能画素Ａ，Ｂの各暗電流を検知して、暗電流差算出部４４が画像用画素の暗電流との各暗電流差を算出するようにしても良い。
【００９０】
同様に、有効画素領域１５ａと垂直遮光画素領域１５ｃとについても、同一行に配置されている画素同士の方が暗電流の相関性が高いと考えられる。そこで、垂直遮光画素領域１５ｃについては、暗電流検知部４１が、有効画素領域１５ａの機能画素Ａ，Ｂの垂直方向の画素位置と同一の画素位置の機能画素Ａ，Ｂの各暗電流を検知して、暗電流差算出部４４が画像用画素の暗電流との各暗電流差を算出するようにしても良い。
【００９１】
この場合には、遮光画素領域１５ｂ，１５ｃの機能画素は、水平遮光画素領域１５ｂに配置されている場合には有効画素領域１５ａの機能画素の水平方向の画素位置と同一の画素位置に少なくとも配置され、垂直遮光画素領域１５ｃに配置されている場合には有効画素領域１５ａの機能画素の垂直方向の画素位置と同一の画素位置に少なくとも配置されていれば足りる（従って、上述したような連続的な配置でなくても構わないが、連続的な配置であることを妨げるものでもない）。
【００９２】
暗電流周期算出部４５は、ＲＯＭ２５から機能画素の配置情報と撮像素子１５の駆動モードの情報とを取得して、加算読出モード時や間引き読出モード時（あるいは加算と間引きを組み合わせたモード時）に、加算後または間引き後に読み出される画素信号中に、どのような周期どのような割合で機能画素の暗電流成分が含まれていて、暗電流差算出部４４により算出された暗電流差をどのような割合で用いて補正すれば良いかを算出するものである。
【００９３】
暗電流差減算部４６は、暗電流周期算出部４５により算出された画素毎の割合の暗電流差を、有効画素領域１５ａから読み出された画素信号（機能画素の画素信号、または機能画素の画素信号が混入された加算信号など）から減算するものである。
【００９４】
これら暗電流周期算出部４５および暗電流差減算部４６の処理については、後で図１１〜図１６を参照してより詳細に説明する。
【００９５】
図８は、撮像装置１における静止画撮影処理を示すフローチャートである。
【００９６】
例えばメカニカルシャッタ１３を開放してライブビューを行っている状態で、撮影ボタンが押圧されることにより撮像装置１の図示しないメイン処理からこの静止画撮影処理に入ると、まず、ＣＰＵ２７が上述したように露出条件を算出して各部へ設定する（ステップＳ１）。
【００９７】
次に、焦点検出部２２により検出されたフォーカス位置になるように、駆動部１４がレンズ１１内のフォーカスレンズを駆動して焦点調節を行う（ステップＳ２）。
【００９８】
続いて、メカニカルシャッタ１３を一旦閉じてから開くことにより、あるいは撮像素子１５の画素リセットを終了することにより、画像の露光を開始する（ステップＳ３）。
【００９９】
ステップＳ３において露光を開始した時点から、シャッタ速度で定められた露光時間が経過したら、メカニカルシャッタ１３を閉じるか、あるいは撮像素子１５の各画素の電荷をフォトダイオードから撮像素子１５内のメモリへ転送することにより、露光を終了する（ステップＳ４）。
【０１００】
露光が終了したら、水平遮光画素領域１５ｂおよび垂直遮光画素領域１５ｃの画像用画素の画素信号を撮像素子１５から読み出して、Ａ−ＡＭＰ１６およびＡＤＣ１７により処理した後に、ＤＲＡＭ１９に記憶する（ステップＳ５）。
【０１０１】
同様に、水平遮光画素領域１５ｂおよび垂直遮光画素領域１５ｃの機能画素の画素信号を撮像素子１５から読み出して、Ａ−ＡＭＰ１６およびＡＤＣ１７により処理した後に、ＤＲＡＭ１９に記憶する（ステップＳ６）。このように、遮光画素領域１５ｂ，１５ｃの機能画素の画素信号と画像用画素の画素信号とを独立に取得している。
【０１０２】
さらに、有効画素領域１５ａの各画素の画素信号を撮像素子１５から読み出して、Ａ−ＡＭＰ１６およびＡＤＣ１７により処理した後に、ＤＲＡＭ１９に記憶する（ステップＳ７）。
【０１０３】
なお、ステップＳ５〜Ｓ７の処理は、上述した順序で行うに限るものではなく、適宜の順序で行っても構わない。
【０１０４】
そして、画像処理部２１が、後で図９を参照して説明するような画像処理を行う（ステップＳ８）。
【０１０５】
その後、ＣＰＵ２７が画像用画素の暗電流情報と機能画素の暗電流情報とを必要に応じて含むファイルヘッダを作成して、さらに、作成したファイルヘッダと画像データとを含む画像ファイルを作成する（ステップＳ９）。
【０１０６】
ここに、記録対象となる画像ファイルには、画像処理部２１により記録用に画像処理され必要に応じて例えばＪＰＥＧ圧縮が施されたＪＰＥＧファイル等と、ＲＡＷ画像データを含むＲＡＷ画像ファイルと、がある。
【０１０７】
これらの内の、ＪＰＥＧファイル等の場合には、既に暗電流が除去された画像データを含む画像ファイルであるために、暗電流情報の記録は必須ではない（ただし、暗電流情報の記録を妨げるものではない）。
【０１０８】
これに対して、ＲＡＷ画像ファイルの場合には、後でパーソナルコンピュータ等の機器においてアプリケーションを実行し画像処理（いわゆるＲＡＷ現像処理）を行うことが前提であるために、暗電流情報を例えばファイルヘッダに含めておくことが必要になる（ただし、必ずしもファイルヘッダに含める必要はなく、その他の形式の付随情報としても構わない）。
【０１０９】
このとき、記録するＲＡＷ画像データとして、例えば、次の２種類のＲＡＷ画像データが考えられる。
【０１１０】
まず、第１のＲＡＷ画像データは、ＡＤＣ１７によりデジタル信号に変換されただけのＲＡＷ画像データである。この場合には、ＲＡＷ画像データに含まれる有効画素領域１５ａから読み出された画素信号は、画像用画素と機能画素とで暗電流特性に相違が生じたままである。従って、このときには、遮光画素領域１５ｂ，１５ｃの画像用画素の暗電流の情報（例えば、画像用画素の暗電流の平均値）と、遮光画素領域１５ｂ，１５ｃの機能画素の暗電流の情報（例えば、機能画素の暗電流の平均値）と、をファイルヘッダに例えばＥｘｉｆファイルフォーマットに従った形式で含めて、ＲＡＷ画像ファイルとして記録することになる。ただし、画像用画素の暗電流の情報および機能画素の暗電流の情報を記録するのに代えて、画像用画素の暗電流の情報および画像用画素と機能画素との暗電流差の情報を記録するようにしても構わない。
【０１１１】
次に、第２のＲＡＷ画像データは、ＡＤＣ１７によりデジタル信号に変換された後に、プレ暗電流補正部３１によりプレ暗電流補正が行われたＲＡＷ画像データである。このＲＡＷ画像データは、有効画素領域１５ａの画像用画素から読み出された画素信号と、暗電流差補正部４２により補正された有効画素領域１５ａの機能画素の画素信号と、を含んで構成されていて、画像用画素と機能画素との暗電流特性の相違が既に補正されている。従って、このときには、遮光画素領域１５ｂ，１５ｃの画像用画素の暗電流の情報（例えば、画像用画素の暗電流の平均値）をファイルヘッダに含めてＲＡＷ画像ファイルとして記録すれば足りることになる。
【０１１２】
この第２のＲＡＷ画像データを採用する場合には、機能画素の暗電流情報と画像用画素の暗電流情報との両方をＲＡＷ画像ファイルに記録する必要がなくなるだけでなく、機能画素の暗電流と画像用画素の暗電流とを区別しない従来のＲＡＷ現像処理をそのまま適用することができるために、画像ファイルの汎用性が高くなる利点がある。
【０１１３】
その後、作成された画像ファイルをフラッシュメモリ３に記録してから（ステップＳ１０）、この処理から図示しないメイン処理に復帰する。
【０１１４】
図９は、図８のステップＳ８における画像処理の詳細を示すフローチャートである。
【０１１５】
この処理を開始すると、プレ暗電流補正部３１が、後で図１０を参照して説明するように、プレ暗電流補正処理を行う（ステップＳ２１）。
【０１１６】
次に、暗電流補正部３２が、上述したように、プレ暗電流補正部３１により補正された有効画素領域１５ａ（図４参照）の画像データに対して、画像用画素Ｒ，Ｇｒ，Ｇｂ，Ｂから読み出された画素信号と、機能画素Ａ，Ｂから読み出された画素信号と、を区別することなく、画像用画素の暗電流成分として検知された暗電流ノイズを低減する暗電流補正処理を行う（ステップＳ２２）。
【０１１７】
続いて、上述したように、ＷＢ補正処理部３３がホワイトバランス補正処理を行い（ステップＳ２３）、同時化処理部３４が同時化処理を行い（ステップＳ２４）、輝度特性変換部３５が画像の輝度成分の階調変換処理を行い（ステップＳ２５）、エッジ強調処理部３６がエッジ強調処理を行い（ステップＳ２６）、ＮＲ処理部３７がノイズ低減処理を行い（ステップＳ２７）、色再現処理部３８が画像の色再現処理を行って（ステップＳ２８）、この処理から図８に示す処理にリターンする。
【０１１８】
図１０は、図９のステップＳ２１におけるプレ暗電流補正処理の詳細を示すフローチャートである。
【０１１９】
プレ暗電流補正部３１がこの処理を開始すると、まず、算出領域決定部４３が例えば遮光画素領域１５ｂ内に上述したように算出領域１５ｄを決定して、決定した算出領域１５ｄから画像用画素の画素値および機能画素の画素値を取得する（ステップＳ３１）。
【０１２０】
次に、算出領域１５ｄ内の画像用画素ライン（例えば図６に示すｍライン）の平均画素値と、機能画素Ａ，Ｂライン（例えば図６に示す（ｍ＋１），（ｍ＋２）ライン）の平均画素値との差分を、上述した数式１，２に示すように算出する（ステップＳ３２）。このときには、上述したように、水平画素位置または垂直画素位置が同一の領域同士の画素値を用いる。
【０１２１】
続いて、例えばＤＲＡＭ１９から混合率情報を取得する（ステップＳ３３）。この混合率情報は、画素加算や画素間引きが行われて出力される信号中に、機能画素Ａの画素信号または機能画素Ｂの画素信号がどのような混合率で含まれているかを示す情報である。この混合率情報は、ＲＯＭ２５に予め記憶されている機能画素の配置情報と、現在設定されている加算読出モード等と、に基づいて随時に計算しＤＲＡＭ１９に記憶させた情報であっても良いし、製造時等にＲＯＭ２５にテーブルデータとして予め記憶されている情報であっても構わない。
【０１２２】
ここで、図１１〜図１６を参照して混合率情報について説明する。
【０１２３】
図１１は有効画素領域１５ａの画素Ｇｂに対する２×２画素加算の例を示す図、図１２は２×２画素加算により得られる加算信号の例を示す図である。なお、図１１〜図１４においては、画素Ｒに縦方向のハッチング、画素Ｇｒ，Ｇｂに左上から右下方向のハッチング、画素Ｂに横方向のハッチングを付している。また、図１１〜図１４には、左上に画素Ｒ、右上に画素Ｇｒ、左下に画素Ｇｂ、右下に画素Ｂが配置された２×２画素ブロックを単位として、行方向番号と列方向番号とを付している。
【０１２４】
画素加算は同一色の画素同士で行われるために、２×２画素加算の場合には、４×４画素ブロックから２×２画素ブロックの加算信号が得られる。具体的に、図１１に示すような画素Ｇｂに対する２×２画素加算の例では、加算領域ＡＡ２２内における２×２＝４個の画素Ｇｂ同士の加算が行われる。
【０１２５】
すなわち例えば、（行方向番号，列方向番号）＝（１，１）ブロック中の機能画素Ａと、（１，２）ブロック中の画像用画素Ｇｂと、（２，１）ブロック中の画像用画素Ｇｂと、（２，２）ブロック中の画像用画素Ｇｂと、の画素加算が行われて加算信号が生成される。従って、この場合には、図１２の（１，１）ブロックに示すように、加算信号中に機能画素Ａの画素信号が１画素分混合されていることになる。ここに、図１２および後述する図１４においてＡまたはＢの後に付した数字は、機能画素Ａの画素信号または機能画素Ｂの画素信号が何画素分混合されているかを示している。
【０１２６】
また、図１１に示す（１，１）ブロック、（１，２）ブロック、（２，１）ブロック、および（２，２）ブロック中の画素Ｒ，Ｇｒ，Ｂに関しては、機能画素が含まれていないために、図１２の（１，１）ブロックに示すように、機能画素の画素信号の混合はない。
【０１２７】
同様にして図１１に示す各画素の２×２画素加算を行うと、図１２に示すような加算信号が得られる。この図１２に示すような、加算信号におけるどの画素位置に、機能画素Ａ，Ｂが何画素分混合されているかを示す情報が混合率情報である。なお、２×２＝４画素加算において例えば機能画素Ａが１画素含まれている場合の混合率情報として、混合画素数１に代えて、混合割合である１／４を用いても勿論構わない。
【０１２８】
次に、図１３は有効画素領域１５ａの画素Ｇｂに対する３×３画素加算の例を示す図、図１４は３×３画素加算により得られる加算信号の例を示す図である。なお、この図１３には、出力する加算信号の画素数を調整するなどの関係上、行方向番号１のブロックラインについては加算出力の対象としない例を示している。
【０１２９】
この３×３画素加算の場合には、６×６画素ブロックから２×２画素ブロックの加算信号が得られる。具体的に、図１３に示すような画素Ｇｂに対する３×３画素加算の例では、加算領域ＡＡ３３内における３×３＝９個の画素Ｇｂ同士の加算が行われる。
【０１３０】
すなわち例えば、（２，１）ブロック、（２，２）ブロック、（２，３）ブロック、（３，２）ブロック、（４，１）ブロック、（４，２）ブロック、および（４，３）ブロック中の画像用画素Ｇｂと、（３，１）ブロックおよび（３，３）ブロック中の機能画素Ｂと、の画素加算が行われて加算信号が生成される。従って、この場合には、図１４の（１，１）ブロックに示すように、加算信号中に機能画素Ｂの画素信号が２画素分混合されていることになる。
【０１３１】
また、上記と同一のブロック中の画素Ｒ，Ｇｒ，Ｂに関しては、機能画素が含まれていないために、図１４の（１，１）ブロックに示すように、機能画素の画素信号の混合はない。
【０１３２】
同様にして各画素の３×３画素加算を行うと、図１４に示すような加算信号が得られる。この３×３画素加算の場合には、加算信号中に、機能画素Ａと機能画素Ｂとの両方が混合されている画素もあることが分かる。
【０１３３】
図１５は、３×３画素加算により得られる加算信号に機能画素Ａが何画素分混合されているかを示す図表、図１６は、３×３画素加算により得られる加算信号に機能画素Ｂが何画素分混合されているかを示す図表である。
【０１３４】
これら図１５および図１６に示すような情報が混合率情報である。なお、例えば混合画素数１に代えて、混合割合である１／９を用いても構わないことは、上述と同様である。
【０１３５】
なお、このような画素加算を撮像素子１５において行い加算信号を出力する場合には、遮光画素領域１５ｂ，１５ｃについても有効画素領域１５ａと同様に画素加算が行われて加算信号が出力されることになる。
【０１３６】
従って、図６においては画像用画素と機能画素Ａと機能画素Ｂとが各１ラインずつ設けられている例を図示したが、全画素読出モードだけでなく加算読出モードや間引き読出モード等でも駆動される撮像素子１５の場合には、遮光画素領域１５ｂ，１５ｃの画像用画素および機能画素は、動作可能な複数の駆動モードの何れにおいても、機能画素の画素信号が混入しない画像用画素信号、および画像用画素の画素信号が混入しない機能画素信号を出力可能なように配置することになる。
【０１３７】
具体的に、図１１に示すような１色につき連続する３ラインが対象となる２×２画素加算読出モードと、図１３に示すような１色につき連続する５ラインが対象となる３×３画素加算読出モードと、の両方で動作可能となるようにするためには、大きい方のライン数が５であるために、画像用画素のみが配置された連続する５以上のラインと、機能画素Ａのみが配置された連続する５以上のラインと、機能画素Ｂのみが配置された５以上のラインと、を複数の駆動モードに応じた配置間隔で例えば水平遮光画素領域１５ｂに設ける等を行うことになる。
【０１３８】
そして、暗電流検知部４１は、機能画素の画素信号が混入しない画像用画素信号に基づき遮光画素領域１５ｂ，１５ｃの画像用画素の暗電流を検知すると共に、画像用画素の画素信号が混入しない機能画素信号に基づき遮光画素領域１５ｂ，１５ｃの機能画素の暗電流を検知して、暗電流差算出部４４は、検知された画像用画素の暗電流と機能画素の暗電流とに基づき、暗電流差を算出する。
【０１３９】
その後、暗電流差補正部４２は、ＤＲＡＭ１９から有効画素領域１５ａにおける処理対象の加算信号（ただし、全画素読出モードのときには処理対象の画素信号）を読み出して、ステップＳ３３において取得された混合率情報に基づいて、読み出した加算信号が機能画素の画素信号を含むか否かを判定する（ステップＳ３４）。
【０１４０】
ここで、機能画素の画素信号を含むと判定された場合には、暗電流周期算出部４５が、例えば図１５や図１６に示したようなテーブルデータとなっている混合率情報の中から、処理対象の加算信号に適用する混合率を取得する（ステップＳ３５）。
【０１４１】
そして、暗電流差減算部４６が、混合率に基づいて、減算すべき暗電流差ＤＩを例えば次の数式３に示すように算出する（ステップＳ３６）。
【０１４２】
すなわち、暗電流差減算部４６は、混合画素数をｍｍ、機能画素Ａの混合数をｍａ、機能画素Ｂの混合数をｍｂとしたときに、上述した機能画素Ａと画像用画素との暗電流差ＤＩａ、および機能画素Ｂと画像用画素との暗電流差ＤＩｂを用いて、次の数式３に基づき、加算信号から減算すべき暗電流差ＤＩを算出する。
［数３］
0006529109.tif 000004
【０１４３】
ここに、例えば、２×２画素加算読出モードの場合にはｍｍ＝４、３×３画素加算読出モードの場合にはｍｍ＝９である。また、全画素読出モードの場合にはｍｍ＝１であって、処理対象が機能画素Ａのときにはｍａ＝１，ｍｂ＝０、処理対象が機能画素Ｂのときにはｍａ＝０，ｍｂ＝１とすれば良い。
【０１４４】
そして、暗電流差減算部４６は、処理対象の加算信号（または処理対象の画素信号）から、暗電流差ＤＩを減算することにより、暗電流差補正を行う（ステップＳ３７）。
【０１４５】
具体的に、２×２画素加算が行われる場合において、有効画素領域１５ａから読み出される加算信号に例えば機能画素Ａが１画素分混合されているときには、数式１により算出された暗電流差ＤＩａの１／４を加算信号から減算する、等を行う。
【０１４６】
同様に、３×３画素加算が行われる場合において、有効画素領域１５ａから読み出される加算信号に例えば機能画素Ａが２画素分、機能画素Ｂが１画素分混合されているときには、数式１により算出された暗電流差ＤＩａの２／９を加算信号から減算すると共に、数式２により算出された暗電流差ＤＩｂの１／９を加算信号から減算する、等を行う。
【０１４７】
ただし、この数式３は画素加算を加算平均により行う場合を想定したものであり、画素加算を例えば単純加算により行う場合には、混合画素数ｍｍによる除算は不要となる。
【０１４８】
続いて、有効画素領域１５ａの全ての加算信号（または画素信号）の処理が終了したか否かを判定し（ステップＳ３８）、まだ終了していない場合には、ステップＳ３４へ行って次の加算信号について上述したような処理を行う。
【０１４９】
こうして、ステップＳ３８において全ての加算信号の処理が終了したと判定された場合には、この処理から図９に示す処理にリターンする。
【０１５０】
なお、上述ではステップＳ３４〜Ｓ３８のループを回る毎にステップＳ３６の暗電流差の算出を行っていたが、これに限るものではない。すなわち、動作中の撮像素子１５に設定されている駆動モードにおいて現れ得る混合率の種類は、比較的限られていて、数〜数十種類程度（例えば、動作中の駆動モードが、図１２に示す２×２画素加算読出モードである場合にはＡ１とＢ１の２種類程度、図１３に示す３×３画素加算読出モードである場合にはＡ１、Ｂ１、Ａ２、Ｂ２、Ａ１Ｂ１、Ａ１Ｂ２、Ａ２Ｂ１、Ａ２Ｂ２の８種類程度）である。そこで例えば、暗電流差減算部４６は、上述したような減算すべき暗電流差ＤＩの算出を、動作中の駆動モードにおいて現れ得る全ての混合率に対して予め行っておくことで、ループを回る毎の算出を省略するようにしても良い。この場合には、暗電流差減算部４６は、算出済みの複数の暗電流差ＤＩの中から、処理対象の加算信号の混合率に応じた暗電流差ＤＩを選択して暗電流差補正を行うことになる。
【０１５１】
なお、上述では、撮像装置１における既存のシステム構成の利用効率や画像ファイルの汎用性などを考慮して、前段においてプレ暗電流補正部３１により機能画素の暗電流差を補正した後に、後段において暗電流補正部３２により機能画素と画像用画素とを区別することなく従来と同様の暗電流補正を行うようにしていた。しかし、例えば前段と後段とを分けることなく、暗電流を補正する際に、処理対象画素が機能画素であるかまたは画像用画素であるかを判別して、判別結果に基づき暗電流補正を行うことによっても、適切な暗電流補正を行うことは可能である。
【０１５２】
このような実施形態１によれば、遮光画素領域１５ｂ，１５ｃに、有効画素領域１５ａの画像用画素と同じ構造の画像用画素と、有効画素領域１５ａの機能画素と同じ構造の機能画素と、を配置して、暗電流検知部４１が、遮光画素領域１５ｂ，１５ｃの画像用画素の暗電流と、遮光画素領域１５ｂ，１５ｃの機能画素の暗電流と、を検知するようにしたために、有効画素領域１５ａの画像用画素と機能画素の各暗電流を高い精度で検知することが可能となる。
【０１５３】
このとき、遮光画素領域１５ｂ，１５ｃの機能画素を、有効画素領域１５ａの機能画素とは異なる規則で配置したために、有効画素領域１５ａの機能画素の配置に依ることなく、機能画素の暗電流を簡単に取得して検知することが可能となる。
【０１５４】
特に、画像用画素および機能画素を水平遮光画素領域１５ｂの配置範囲内において水平方向に隙間なくそれぞれ連続的に配置した場合には、画像用画素の画素信号と機能画素の画素信号とを、ライン読出に従って独立に短時間で取得することができる。このときにはさらに、暗電流の平均値の算出等も容易となる。
【０１５５】
また、画像用画素および機能画素を垂直遮光画素領域１５ｃの配置範囲内において垂直方向に隙間なくそれぞれ連続的に配置した場合には、例えば垂直方向のアドレスを変えることなく暗電流の取得を行うことが可能となる。
【０１５６】
暗電流検知部４１の算出領域決定部４３が、水平遮光画素領域１５ｂについては水平方向における同一領域（垂直方向の位置は異なる）に対して画像用画素および機能画素の各暗電流を検知するように、また垂直遮光画素領域１５ｃについては垂直方向における同一領域（水平方向の位置は異なる）に対して画像用画素および機能画素の各暗電流を検知するように、算出領域を決定するために、水平方向または垂直方向のシェーディング特性を高い相関性をもって高精度にキャンセルすることができる。
【０１５７】
算出領域決定部４３が、撮像素子１５に対する熱源の位置と、熱源の温度と、撮像素子１５の駆動モードと、の内の少なくとも一つに応じて算出領域を決定する場合には、暗電流を検知する際の誤差の原因を未然に除去して、正確な暗電流の検知が可能となる。
【０１５８】
暗電流検知部４１が、水平遮光画素領域１５ｂについては有効画素領域１５ａの機能画素の水平方向の画素位置と同一の画素位置の機能画素の暗電流を検知し、垂直遮光画素領域１５ｃについては有効画素領域１５ａの機能画素の垂直方向の画素位置と同一の画素位置の機能画素の暗電流を検知するようにしたために、有効画素領域１５ａの機能画素の暗電流を、遮光画素領域の機能画素の暗電流に基づいて、より高い相関性で検知することが可能となる。
【０１５９】
暗電流検知部４１の暗電流差算出部４４が、遮光画素領域１５ｂ，１５ｃの機能画素の暗電流と、遮光画素領域１５ｂ，１５ｃの画像用画素の暗電流と、の差分である暗電流差を算出するようにしたために、機能画素と画像用画素との暗電流の相違を容易に補正することが可能となる。
【０１６０】
暗電流差補正部４２が、暗電流差算出部４４により算出された暗電流差と、駆動モードに応じて有効画素領域１５ａから読み出された画素信号における画像用画素と機能画素との混合率と、に応じて、画素信号から減算すべき暗電流差を算出するようにしたために、加算読出モードや間引き読出モード等において加算信号中の暗電流差成分が周期的に変化する場合でも、駆動モードに依らず、画像用画素と機能画素との暗電流差に起因する成分を加算信号から正確に減算することができる。
【０１６１】
暗電流差補正部４２が、機能画素と画像用画素との暗電流差を補正するようにしたために、暗電流差による画質劣化を軽減することができる。
【０１６２】
有効画素領域１５ａの画像用画素から読み出された画素信号と、暗電流差補正部４２により補正された有効画素領域１５ａの機能画素の画素信号と、遮光画素領域１５ｂ，１５ｃの画像用画素の暗電流の情報と、をＲＡＷ画像ファイルとして記録する場合には、画像処理装置等で実行されるＲＡＷ現像処理において暗電流差を考慮する必要がなくなり、ＲＡＷ画像ファイルとしての汎用性が高まる利点がある。
【０１６３】
また、有効画素領域１５ａの画像用画素および機能画素から読み出された画素信号と、遮光画素領域１５ｂ，１５ｃの画像用画素の暗電流の情報と、遮光画素領域１５ｂ，１５ｃの機能画素の暗電流の情報と、をＲＡＷ画像ファイルとして記録する場合には、画像処理装置等で実行されるＲＡＷ現像処理において暗電流差を正しく補正することが可能となる。
【０１６４】
そして、暗電流補正部３２は、画像用画素の暗電流に基づいて、有効画素領域１５ａの画像用画素の暗電流を補正すると共に、暗電流差補正部４２による補正後の有効画素領域１５ａの機能画素の暗電流を補正すればよいために、暗電流補正処理の際に、有効画素領域１５ａの画素が画像用画素であるか機能画素であるかを区別する必要がなくなり、従来と同様の暗電流補正処理を行うことができる。
【０１６５】
こうして本実施形態によれば、既存の暗電流を補正する構成を利用可能としながら、画素構造の違いにより発生する暗電流差の影響を軽減することができる。
【０１６６】
なお、上述では主として撮像装置について説明したが、撮像装置と同様の画像処理を行う画像処理方法であっても良いし、コンピュータに画像処理方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０１６７】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１６８】
１…撮像装置
２…ＬＣＤ／ＴＶ
３…フラッシュメモリ
１１…レンズ
１２…絞り
１３…メカニカルシャッタ
１４…駆動部
１５…撮像素子
１５ａ…有効画素領域
１５ｂ…水平遮光画素領域
１５ｃ…垂直遮光画素領域
１５ｄ…算出領域
１６…Ａ−ＡＭＰ
１７…ＡＤＣ
１８…バス
１９…ＤＲＡＭ
２１…画像処理部
２２…焦点検出部
２３…撮像制御部
２４…ビデオエンコーダ
２５…ＲＯＭ
２６…操作部
２７…ＣＰＵ
３１…プレ暗電流補正部
３２…暗電流補正部
３３…ＷＢ補正処理部
３４…同時化処理部
３５…輝度特性変換部
３６…エッジ強調処理部
３７…ＮＲ処理部
３８…色再現処理部
４１…暗電流検知部
４２…暗電流差補正部
４３…算出領域決定部
４４…暗電流差算出部
４５…暗電流周期算出部
４６…暗電流差減算部
５１…遮光膜
５２…マイクロレンズ
５３…フォトダイオード
５４…遮光部
５５…回路
５６ａ…透明フィルタ（白色フィルタ）
５６ｐ…カラーフィルタ
５７…配線層
５９…電荷
【図１】
0006529109.tif 000005
【図２】
0006529109.tif 000006
【図３】
0006529109.tif 000007
【図４】
0006529109.tif 000008
【図５】
0006529109.tif 000009
【図６】
0006529109.tif 000010
【図７】
0006529109.tif 000011
【図８】
0006529109.tif 000012
【図９】
0006529109.tif 000013
【図１０】
0006529109.tif 000014
【図１１】
0006529109.tif 000015
【図１２】
0006529109.tif 000016
【図１３】
0006529109.tif 000017
【図１４】
0006529109.tif 000018
【図１５】
0006529109.tif 000019
【図１６】
0006529109.tif 000020