(57)【要約】【課題】画素配列の異なる画素行が１行間隔をあけて配置された信号処理装置において、画素信号の読み出し効率を向上することを可能とする。【解決手段】分光感度特性の異なる第１の画素と、第２の画素と、第３の画素と、第４の画素と、が行列状に配列された画素配列部と、前記画素配列部に配列された複数の前記画素各々から得られる画素信号を読み出す画素信号読み出し部と、を備え、前記第１の画素は、前記第２の画素に対して行方向および列方向に隣接し、前記第２の画素は、行方向および列方向に２画素ピッチで配置され、前記第３の画素は、前記第２の画素に対して一方の対角方向に隣接し、前記第４の画素は、前記第２の画素に対して他方の対角方向に隣接し、前記画素信号読み出し部は、複数の前記第１の画素各々から得られる画素信号を加算して読み出す、信号処理装置。【選択図】図１２
2016092524.tif 000002
【特許請求の範囲】
【請求項１】
分光感度特性の異なる第１の画素と、第２の画素と、第３の画素と、第４の画素と、が行列状に配列された画素配列部と、
前記画素配列部に配列された複数の前記画素各々から得られる画素信号を読み出す画素信号読み出し部と、
を備え、
前記第１の画素は、前記第２の画素に対して行方向および列方向に隣接し、
前記第２の画素は、行方向および列方向に２画素ピッチで配置され、
前記第３の画素は、前記第２の画素に対して一方の対角方向に隣接し、
前記第４の画素は、前記第２の画素に対して他方の対角方向に隣接し、
前記画素信号読み出し部は、複数の前記第１の画素各々から得られる画素信号を加算して読み出す、
信号処理装置。
【請求項２】
前記画素信号読み出し部は、同一の列に配置された複数の前記第１の画素各々から得られる画素信号を加算して読み出し、同一の列に配置された複数の前記第２の画素各々から得られる画素信号を加算して読み出す、請求項１に記載の信号処理装置。
【請求項３】
前記画素信号読み出し部は、列方向に前記第３の画素及び前記第４の画素を間引いて読み出す、請求項２に記載の信号処理装置。
【請求項４】
前記画素信号読み出し部は、異なる列に配置された複数の前記第３の画素各々から得られる画素信号を加算して読み出し、異なる列に配置された複数の前記第４の画素各々から得られる画素信号を加算して読み出す、請求項２に記載の信号処理装置。
【請求項５】
前記複数の第３の画素が配置される方向は前記複数の第４の画素が配置される方向に平行である、請求項４に記載の信号処理装置。
【請求項６】
前記画素信号読み出し部により読み出された画素信号の配列が前記画素配列部における画素配列と同一になるように前記画素信号の補正をする補正部を備える、請求項１に記載の信号処理装置。
【請求項７】
前記補正部は、同一の分光感度特性を有する複数の前記画素各々から得られた画素信号の統合をすることにより前記補正をする、請求項６に記載の信号処理装置。
【請求項８】
前記補正部は、同一の分光感度特性を有する複数の前記画素各々から得られた画素信号の加重平均をすることにより前記統合をする、請求項７に記載の信号処理装置。
【請求項９】
前記補正部は、前記画素信号読み出し部により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるように前記加重平均をする、請求項８に記載の信号処理装置。
【請求項１０】
前記補正部は、前記画素信号読み出し部により読み出された画素信号に応じて前記画素信号を補間した後に前記加重平均をする、請求項９に記載の信号処理装置。
【請求項１１】
異なる分光感度特性を有する複数の画素各々から得られた画素信号の置換をすることにより、前記画素信号読み出し部により読み出された画素信号の配列が前記画素配列部における画素配列と同一になるように前記画素信号の補正をする補正部を備える、請求項３に記載の信号処理装置。
【請求項１２】
前記第１の画素は、緑色域、赤色域および青色域を含む波長域に感度域を持ち、
前記第２の画素は、緑色域に感度域を持ち、
前記第３の画素は、赤色域に感度域を持ち、
前記第４の画素は、青色域に感度域を持つ、
請求項１に記載の信号処理装置。
【請求項１３】
前記第１の画素は、赤外域に感度域を持つ、請求項１に記載の信号処理装置。
【請求項１４】
行列状に配列された分光感度特性の異なる第１の画素と、第２の画素と、第３の画素と、第４の画素各々から得られる画素信号を信号処理装置により読み出すことと、
前記信号処理装置により、複数の前記第１の画素各々から得られる画素信号を加算して読み出すことと、
を含み、
前記第１の画素は、前記第２の画素に対して行方向および列方向に隣接し、
前記第２の画素は、行方向および列方向に２画素ピッチで配置され、
前記第３の画素は、前記第２の画素に対して一方の対角方向に隣接し、
前記第４の画素は、前記第２の画素に対して他方の対角方向に隣接する、
信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置及び信号処理方法に関する。
【背景技術】
【０００２】
近年、風景や人物等の被写体を撮像して画像データを作成するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。このような撮像装置は一般的に各画素から得られる画素信号の読み出し等の処理を行う信号処理装置としての機能を備える。
【０００３】
例えば、特許文献１には、ベイヤー配列に配置された画素を備え、画素行から得られる画素信号と当該画素行に対して１行間隔をあけて配置された画素行から得られる画素信号とを列方向に加算して読み出す信号処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４７０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている技術は、画素配列の異なる画素行が１行間隔をあけて配置された信号処理装置には適用することが困難である。例えば、特許文献１に開示されている技術を画素配列の異なる画素行が１行間隔をあけて配置された信号処理装置に適用した場合、混色が生じ得る。また、画素配列の異なる画素行が１行間隔をあけて配置された信号処理装置において、各画素から得られる画素信号の読み出し処理を高速化することが求められている。
【０００６】
そこで、本開示では、画素配列の異なる画素行が１行間隔をあけて配置された信号処理装置において、画素信号の読み出し効率を向上することが可能な、新規かつ改良された信号処理装置及び信号処理方法を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、分光感度特性の異なる第１の画素と、第２の画素と、第３の画素と、第４の画素と、が行列状に配列された画素配列部と、前記画素配列部に配列された複数の前記画素各々から得られる画素信号を読み出す画素信号読み出し部と、を備え、前記第１の画素は、前記第２の画素に対して行方向および列方向に隣接し、前記第２の画素は、行方向および列方向に２画素ピッチで配置され、前記第３の画素は、前記第２の画素に対して一方の対角方向に隣接し、前記第４の画素は、前記第２の画素に対して他方の対角方向に隣接し、前記画素信号読み出し部は、複数の前記第１の画素各々から得られる画素信号を加算して読み出す、信号処理装置が提供される。
【０００８】
また、本開示によれば、行列状に配列された分光感度特性の異なる第１の画素と、第２の画素と、第３の画素と、第４の画素各々から得られる画素信号を信号処理装置により読み出すことと、前記信号処理装置により、複数の前記第１の画素各々から得られる画素信号を加算して読み出すことと、を含み、前記第１の画素は、前記第２の画素に対して行方向および列方向に隣接し、前記第２の画素は、行方向および列方向に２画素ピッチで配置され、前記第３の画素は、前記第２の画素に対して一方の対角方向に隣接し、前記第４の画素は、前記第２の画素に対して他方の対角方向に隣接する、信号処理方法が提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、画素配列の異なる画素行が１行間隔をあけて配置された信号処理装置において、画素信号の読み出し効率を向上することが可能である。
【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施形態に係る信号処理装置の概略的な機能構成を示すブロック図である。
【図２】本開示の実施形態に係る画素の配列の概要を示す説明図である。
【図３】本開示の実施形態に係る画素の配列の具体例を示す説明図である。
【図４】本開示の実施形態に係る画素の配列の具体例を示す説明図である。
【図５】本開示の実施形態に係る画素配列部の構成の概要を示す説明図である。
【図６】第１の比較例に係る信号処理装置が行う読み出し処理の流れの具体例を示す説明図である。
【図７】第１の比較例に係る信号処理装置が行う読み出し処理において読み出された画素信号の配列の具体例を示す説明図である。
【図８】第２の比較例に係る信号処理装置が行う読み出し処理の流れの具体例を示す説明図である。
【図９】第２の比較例に係る信号処理装置が行う読み出し処理において読み出された画素信号の配列の具体例を示す説明図である。
【図１０】第３の比較例に係る信号処理装置が行う読み出し処理の流れの具体例を示す説明図である。
【図１１】第３の比較例に係る信号処理装置が行う読み出し処理において読み出された画素信号の配列の具体例を示す説明図である。
【図１２】本開示の実施形態に係る信号処理装置が行う第１の処理における読み出し処理の流れの具体例を示す説明図である。
【図１３】本開示の実施形態に係る信号処理装置が行う第１の処理において読み出された画素信号の配列の具体例を示す説明図である。
【図１４】本開示の実施形態に係る信号処理装置が行う第１の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。
【図１５】本開示の実施形態に係る信号処理装置が行う第２の処理における補正処理前後のＲ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【図１６】本開示の実施形態に係る信号処理装置が行う第２の処理における補正処理前後におけるＢ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【図１７】本開示の実施形態に係る信号処理装置が行う第２の処理における補正処理前後のＧ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【図１８】本開示の実施形態に係る信号処理装置が行う第２の処理における補正処理前後のＷ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【図１９】本開示の実施形態に係る信号処理装置が行う第２の処理における補正処理後の画素信号の重心位置の具体例を示す説明図である。
【図２０】本開示の実施形態に係る信号処理装置が行う第２の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。
【図２１】本開示の実施形態に係る信号処理装置が行う第３の処理における読み出し処理の流れの具体例を示す説明図である。
【図２２】本開示の実施形態に係る信号処理装置が行う第３の処理において読み出された画素信号の配列の具体例を示す説明図である。
【図２３】本開示の実施形態に係る信号処理装置が行う第３の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。
【図２４】本開示の実施形態に係る信号処理装置が行う第４の処理における補正処理前後のＲ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【図２５】本開示の実施形態に係る信号処理装置が行う第４の処理における補正処理前後のＢ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【図２６】本開示の実施形態に係る信号処理装置が行う第４の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。
【図２７】本開示の実施形態に係る信号処理装置が行う第５の処理における読み出し処理の流れの具体例を示す説明図である。
【図２８】本開示の実施形態に係る信号処理装置が行う第５の処理における読み出し処理の流れの具体例を示す説明図である。
【図２９】本開示の実施形態に係る信号処理装置が行う第５の処理において読み出された画素信号の配列の具体例を示す説明図である。
【図３０】本開示の実施形態に係る信号処理装置が行う第５の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。
【図３１】本開示の実施形態に係る信号処理装置が行う第６の処理における補正処理前後のＲ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【図３２】本開示の実施形態に係る信号処理装置が行う第６の処理における補正処理前後のＢ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【図３３】本開示の実施形態に係る信号処理装置が行う第６の処理における補正処理前後のＧ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【図３４】本開示の実施形態に係る信号処理装置が行う第６の処理における補正処理前後のＷ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【図３５】本開示の実施形態に係る信号処理装置が行う第６の処理における補正処理後の画素信号の重心位置の具体例を示す説明図である。
【図３６】本開示の実施形態に係る信号処理装置が行う第６の処理における補正処理の前後の画素信号の配列の具体例を示す説明図である。
【図３７】本開示の実施形態に係る信号処理装置が行う第７の処理における読み出し処理の流れの具体例を示す説明図である。
【図３８】本開示の実施形態に係る信号処理装置が行う第７の処理における読み出し処理の流れの具体例を示す説明図である。
【図３９】本開示の実施形態に係る信号処理装置が行う第７の処理において読み出された画素信号の配列の具体例を示す説明図である。
【図４０】本開示に係る信号処理装置のハードウェア構成の具体例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．信号処理装置の構成
２．信号処理装置が行う第１の処理
２−１．比較例
２−２．読み出し処理
２−３．補正処理
３．信号処理装置が行う第２の処理
４．信号処理装置が行う第３の処理
４−１．読み出し処理
４−２．補正処理
５．信号処理装置が行う第４の処理
６．信号処理装置が行う第５の処理
６−１．読み出し処理
６−２．補正処理
７．信号処理装置が行う第６の処理
８．信号処理装置が行う第７の処理
９．ハードウェア構成
１０．むすび
【００１４】
＜１．信号処理装置の構成＞
まず、図１を参照して、本開示の実施形態に係る信号処理装置１００の概要について説明する。図１は、本開示の実施形態に係る信号処理装置１００の概略的な機能構成を示すブロック図である。
【００１５】
図１に示したように、本開示の実施形態に係る信号処理装置１００は、画素配列部１０と、画素信号読み出し部３０と、ＡＤ変換部５０と、補正部７０と、信号処理部９０と、を備える。
【００１６】
画素配列部１０は複数の画素を含み、当該複数の画素は入射光を受光して光電変換し画素信号を生成する。具体的には、画素配列部１０において分光感度特性の異なる第１の画素Ｃ１と、第２の画素Ｃ２と、第３の画素Ｃ３と、第４の画素Ｃ４と、が行列状に配列される。また、図２に示したように、画素配列部１０において第１の画素Ｃ１は第２の画素Ｃ２に対して行方向および列方向に隣接し、第２の画素Ｃ２は行方向および列方向に２画素ピッチで配置され、第３の画素Ｃ３は第２の画素Ｃ２に対して一方の対角方向に隣接し、第４の画素Ｃ４は第２の画素Ｃ２に対して他方の対角方向に隣接する。したがって、本開示の実施形態の画素配列部１０において、画素配列の異なる画素行が１行間隔をあけて配置される。
【００１７】
また、本開示の実施形態において、第１の画素Ｃ１は緑色域、赤色域および青色域を含む波長域に感度域を持ち、第２の画素Ｃ２は緑色域に感度域を持ち、第３の画素Ｃ３は赤色域に感度域を持ち、第４の画素Ｃ４は青色域に感度域を持つ。以下、本開示の実施形態の説明において、第１の画素Ｃ１、第２の画素Ｃ２、第３の画素Ｃ３および第４の画素Ｃ４各々をＷ画素、Ｇ画素、Ｒ画素およびＢ画素、またはＷと符号の結合、Ｇと符号の結合、Ｒと符号の結合およびＢと符号の結合により示す。なお、上記符号は、画素配列部１０における各画素の配置を示す。また、図３に示したように、画素を示す矩形の内部に各画素に対応した名称を記載する。なお、本開示において、第１の画素、第２の画素、第３の画素および第４の画素各々の分光感度特性は、図３に示した具体例に限定されない。例えば、図４に示したように、第１の画素Ｃ１は赤外域に感度域を持つＩＲ画素であってもよい。
【００１８】
図５は、本開示の実施形態に係る画素配列部１０の構成の概要を示す説明図である。本開示の実施形態に係る信号処理装置１００において、複数の画素によってＦＤ（フローティングディフュージョン）が共有されてもよい。例えば、本開示の実施形態に係る信号処理装置１００において、行方向に２画素が配置され列方向に４画素が配置された８画素によってＦＤが共有されてもよい。具体的には、図５に示したように、本開示の実施形態に係る信号処理装置１００において、Ｒ１，１、Ｗ２，１、Ｂ３，１、Ｗ４，１、Ｗ１，２、Ｇ２，２、Ｗ３，２、およびＧ４，２、ならびにＢ１，３、Ｗ２，３、Ｒ３，３、Ｗ４，３、Ｗ１，４、Ｇ２，４、Ｗ３，４、およびＧ４，４によって各々ＦＤが共有されもよい。なお、図５に示したように、ＦＤを共有する複数の画素はＶＳＬ（Ｖｅｒｔｉｃａｌ  Ｓｉｇｎａｌ  Ｌｉｎｅ）を介してＡＤＣ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）に接続されてもよい。
【００１９】
画素信号読み出し部３０は、画素配列部１０に配列された複数の画素各々から得られる画素信号を読み出す。また、画素信号読み出し部３０は、複数の第１の画素Ｃ１各々から得られる画素信号を加算して読み出す。例えば、本開示の実施形態において、画素信号読み出し部３０は、画素配列部１０に配列された複数のＷ画素、Ｇ画素、Ｒ画素およびＢ画素各々から得られる画素信号を読み出す。また、画素信号読み出し部３０は、複数のＷ画素各々から得られる画素信号を加算して読み出す。
【００２０】
具体的には、画素信号読み出し部３０は、同一の列に配置された複数の第１の画素Ｃ１各々から得られる画素信号を加算して読み出し、同一の列に配置された複数の第２の画素Ｃ２各々から得られる画素信号を加算して読み出す。例えば、画素信号読み出し部３０は、同一の列に配置された複数のＷ画素各々から得られる画素信号を加算して読み出し、同一の列に配置された複数のＧ画素各々から得られる画素信号を加算して読み出す。なお、画素信号読み出し部３０により読み出された画素信号はＡＤ変換部５０へ出力される。例えば、図５において、画素信号読み出し部３０により読み出された画素信号はＶＳＬを通じてＡＤＣ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）へ出力される。
【００２１】
ＡＤ変換部５０は、画素信号読み出し部３０により読み出された画素信号をアナログ／デジタル変換する。例えば、ＡＤ変換部５０は、図５に示されたＡＤＣを含んでもよい。なお、ＡＤ変換部５０によりアナログ／デジタル変換された画素信号は補正部７０へ出力される。
【００２２】
補正部７０は、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるように画素信号の補正をする。具体的には、補正部７０は、ＡＤ変換部５０から出力された画素信号の配列が画素配列部１０における画素配列と同一になるように画素信号の補正をする。また、補正部７０により補正された画素信号は信号処理部９０へ出力される。
【００２３】
信号処理部９０は、補正部７０により補正された画素信号について、リモザイク処理、各カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の所定の信号処理を行う。
【００２４】
＜２．信号処理装置が行う第１の処理＞
以上、本開示の実施形態に係る信号処理装置１００の概要を説明した。続いて、本開示の実施形態に係る信号処理装置１００の技術的意義を明らかにするために、図６〜図１１を参照して比較例に係る信号処理装置が行う読み出し処理を説明した後に、本開示の実施形態に係る信号処理装置１００が行う第１の処理における読み出し処理を説明する。
【００２５】
（２−１．比較例）
図６は、第１の比較例に係る信号処理装置が行う読み出し処理の流れの具体例を示す説明図である。図６に示す読み出し処理Ｓ９１１〜Ｓ９１８おいて、第１の比較例に係る信号処理装置は、本開示の実施形態に係る信号処理装置１００と異なり、複数の画素各々から得られる画素信号を加算して読み出す処理を行わない。
【００２６】
図６において、まず、信号処理装置は、Ｗ４，１およびＷ４，３から得られる画素信号を各々読み出す（Ｓ９１１）。次に、信号処理装置は、Ｇ４，２およびＧ４，４から得られる画素信号を各々読み出す（Ｓ９１２）。次に、信号処理装置は、Ｂ３，１およびＲ３，３から得られる画素信号を各々読み出す（Ｓ９１３）。その後、順番にＷ３，２およびＷ３，４、Ｗ２，１およびＷ２，３、Ｇ２，２およびＧ２，４、Ｒ１，１およびＢ１，３、ならびにＷ１，２およびＷ１，４から得られる画素信号の読み出しが行われる（Ｓ９１４〜Ｓ９１８）。
【００２７】
図７は、第１の比較例に係る信号処理装置が行う読み出し処理Ｓ９１１〜Ｓ９１８において読み出された画素信号の配列の具体例を示す説明図である。図７において、各矩形は画素信号を示し、各矩形の内部に記載された記号は当該画素信号に対応する画素を示す。以下、画素信号の配列を示す説明図において、各矩形の示す情報は図７における各矩形が示す情報と同様である。なお、信号処理装置によって読み出された画素信号は、当該画素信号に対応する画素が画素配列部において配置される列に対応する列に順番に配置される。
【００２８】
例えば、Ｓ９１１において、信号処理装置によって読み出されたＷ４，１およびＷ４，３から得られる画素信号各々は、Ｗ４，１およびＷ４，３が画素配列部において各々配置される１列目および３列目に対応する列に配置される。次に、Ｓ９１２において、信号処理装置によって読み出されたＧ４，２およびＧ４，４から得られる画素信号各々は、Ｇ４，２およびＧ４，４が画素配列部において各々配置される２列目および４列目に対応する列に配置される。次に、Ｓ９１３において、信号処理装置によって読み出されたＢ３，１およびＲ３，３から得られる画素信号各々は、Ｂ３，１およびＲ３，３が画素配列部において各々配置される１列目および３列目に対応する列に配置される。その後、Ｓ９１４〜Ｓ９１８において、順番にＷ３，２およびＷ３，４、Ｗ２，１およびＷ２，３、Ｇ２，２およびＧ２，４、Ｒ１，１およびＢ１，３、ならびにＷ１，２およびＷ１，４から得られる画素信号の配置が行われる。以下、読み出し処理の流れと各画素信号の配置との対応関係は、図６に示した読み出し処理の流れと図７に示した各画素信号の配置との対応関係と同様である。
【００２９】
以上説明した第１の比較例に係る信号処理装置が行う画素信号の読み出し処理Ｓ９１１〜Ｓ９１８において、読み出し回数は８回である。
【００３０】
図８は、第２の比較例に係る信号処理装置が行う読み出し処理の流れの具体例を示す説明図である。図８における読み出し処理Ｓ９２１、Ｓ９２２において、第２の比較例に係る信号処理装置は、本開示の実施形態に係る信号処理装置１００と異なり、Ｗ画素から得られる画素信号を読み出す処理を行わない。
【００３１】
図８において、まず、信号処理装置は、Ｂ３，１およびＲ３，３から得られる画素信号を各々読み出す（Ｓ９２１）。次に、信号処理装置は、Ｇ２，２およびＧ４，２各々から得られる画素信号の加算読み出し、ならびにＧ２，４およびＧ４，４各々から得られる画素信号の加算読み出しを行う（Ｓ９２２）。
【００３２】
図９は、第２の比較例に係る信号処理装置が行う読み出し処理Ｓ９２１、Ｓ９２２において読み出された画素信号の配列の具体例を示す説明図である。図９に示したように、第２の比較例に係る信号処理装置が行う読み出し処理Ｓ９２１、Ｓ９２２において、読み出された画素信号の配列は画素配列部における画素の配列と異なる。したがって、第２の比較例に係る信号処理装置が行う読み出し処理Ｓ９２１、Ｓ９２２において、後段の信号処理回路が複雑化し得る。
【００３３】
また、以上説明した第２の比較例に係る信号処理装置が行う画素信号の読み出し処理Ｓ９２１、Ｓ９２２において、第２の比較例に係る信号処理装置はＲ素子、Ｇ素子またはＢ素子と比較し可視光域において広い感度域を持つＷ画素から得られる画素信号を読み出す処理を行わないので、Ｓ／Ｎ比を向上することが困難である。
【００３４】
図１０は、第３の比較例に係る信号処理装置が行う読み出し処理の流れの具体例を示す説明図である。図１０における読み出し処理Ｓ９３１〜Ｓ９３４において、第３の比較例に係る信号処理装置は、本開示の実施形態に係る信号処理装置１００と異なり、複数の画素各々から得られる画素信号を加算して読み出す処理およびＷ画素から得られる画素信号を読み出す処理を行わない。
【００３５】
図１０において、まず、信号処理装置は、Ｂ３，１およびＲ３，３から得られる画素信号を各々読み出す（Ｓ９３１）。次に、信号処理装置は、Ｇ４，２およびＧ４，４から得られる画素信号を各々読み出す（Ｓ９３２）。次に、信号処理装置は、Ｒ１，１およびＢ１，３から得られる画素信号を各々読み出す（Ｓ９３３）。次に、信号処理装置は、Ｇ２，２およびＧ２，４から得られる画素信号を各々読み出す（Ｓ９３４）。
【００３６】
図１１は、第３の比較例に係る信号処理装置が行う読み出し処理Ｓ９３１〜Ｓ９３４において読み出された画素信号の配列の具体例を示す説明図である。図１１に示したように、第３の比較例に係る信号処理装置により読み出された画素信号の配列は、画素配列部における画素の配列と異なる。したがって、第３の比較例に係る信号処理装置が行う読み出し処理Ｓ９３１〜Ｓ９３４において、後段の信号処理回路が複雑化し得る。
【００３７】
また、以上説明した第３の比較例に係る信号処理装置が行う画素信号の読み出し処理Ｓ９３１〜Ｓ９３４において、第３の比較例に係る信号処理装置はＲ素子、Ｇ素子またはＢ素子と比較し可視光域において広い感度域を持つＷ画素から得られる画素信号を読み出す処理を行わないので、Ｓ／Ｎ比を向上することが困難である。
【００３８】
（２−２．読み出し処理）
以下、図１２および図１３を参照して、本開示の実施形態に係る信号処理装置１００が行う第１の処理における読み出し処理の流れについて詳細に説明する。
【００３９】
図１２は、本開示の実施形態に係る信号処理装置１００が行う第１の処理における読み出し処理の流れの具体例を示す説明図である。
【００４０】
本開示の実施形態に係る信号処理装置１００が行う第１の処理において、まず、画素信号読み出し部３０は、Ｗ２，１およびＷ４，１各々から得られる画素信号の加算読み出し、ならびにＷ２，３およびＷ４，３各々から得られる画素信号の加算読み出しを行う（Ｓ１０１）。次に、画素信号読み出し部３０は、Ｇ２，２およびＧ４，２各々から得られる画素信号の加算読み出し、ならびにＧ２，４およびＧ４，４各々から得られる画素信号の加算読み出しを行う（Ｓ１０２）。次に、画素信号読み出し部３０は、Ｂ３，１およびＲ３，３から得られる画素信号を各々読み出す（Ｓ１０３）。次に、画素信号読み出し部３０は、Ｗ１，２およびＷ３，２各々から得られる画素信号の加算読み出し、ならびにＷ１，４およびＷ３，４各々から得られる画素信号の加算読み出しを行う（Ｓ１０４）。次に、画素信号読み出し部３０は、Ｒ１，１およびＢ１，３から得られる画素信号を各々読み出す（Ｓ１０５）。
【００４１】
図１３は、本開示の実施形態に係る信号処理装置１００が行う第１の処理において読み出された画素信号の配列の具体例を示す説明図である。図１３に示したように、図９に示した第２の比較例に係る信号処理装置が行う読み出し処理Ｓ９２１、Ｓ９２２において読み出された画素信号の情報量および図１１に示した第３の比較例に係る信号処理装置が行う読み出し処理Ｓ９３１〜Ｓ９３４において読み出された画素信号の情報量と比較し、本開示の実施形態に係る信号処理装置１００が行う第１の処理において読み出された画素信号の情報量は多い。また、本開示の実施形態に係る信号処理装置１００が行う第１の処理における読出し処理において、可視光域においてＲ素子、Ｇ素子またはＢ素子と比較し広い感度域を持つＷ画素から得られる画素信号が読み出される。
【００４２】
以上説明した本開示の実施形態に係る信号処理装置１００が行う第１の処理における読み出し処理Ｓ１０１〜Ｓ１０５において、複数のＷ画素各々から得られる画素信号を加算して読み出すことによって、読み出し回数を低減することが可能である。具体的には、本開示の実施形態に係る信号処理装置１００が行う第１の処理における読み出し処理Ｓ１０１〜Ｓ１０５において、読み出し回数は５回となるため、第１の比較例に係る信号処理装置が行う読み出し処理Ｓ９１１〜Ｓ９１８と比較し、読み出し処理を高速化することが可能である。したがって、本開示の実施形態に係る信号処理装置１００が行う第１の処理における読み出し処理Ｓ１０１〜Ｓ１０５によれば、画素配列の異なる画素行が１行間隔をあけて配置された信号処理装置１００において、画素信号の読み出し効率を向上することが可能である。
【００４３】
さらに、本開示の実施形態に係る信号処理装置１００が行う第１の処理における読み出し処理Ｓ１０１〜Ｓ１０５において、可視光域においてＲ素子、Ｇ素子またはＢ素子と比較し広い感度域を持つＷ画素から得られる画素信号が読み出されるので、第２の比較例に係る信号処理装置が行う読み出し処理Ｓ９２１、Ｓ９２２および第３の比較例に係る信号処理装置が行う読み出し処理Ｓ９３１〜Ｓ９３４と比較し、Ｓ／Ｎ比を向上することが可能である。
【００４４】
（２−３．補正処理）
以下、図１４を参照して、本開示の実施形態に係る信号処理装置１００が行う第１の処理における補正処理について詳細に説明する。
【００４５】
本開示の実施形態に係る信号処理装置１００が行う第１の処理において、補正部７０は、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるように画素信号の補正をする。具体的には、補正部７０は、同一の分光感度特性を有する複数の画素各々から得られた画素信号の統合をすることにより上記補正をする。より具体的には、補正部７０は、同一の分光感度特性を有する複数の画素各々から得られた画素信号の加重平均をすることにより上記統合をする。
【００４６】
例えば、補正部７０は、Ｒ画素およびＢ画素各々について加重平均をする。以下、Ｒ画素およびＢ画素各々についての上記加重平均を順次詳細に説明する。
【００４７】
図１４は、本開示の実施形態に係る信号処理装置１００が行う第１の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。なお、図１４における統合前の画素信号の配列は、行方向に４画素が配置され列方向に１２画素が配置された４８画素からなる画素領域について読み出し処理Ｓ１０１〜Ｓ１０５が４行おきに順次行われることによって得られる画素信号の配列である。
【００４８】
例えば、補正部７０はＲ画素から得られた２つの画素信号またはＢ画素から得られた２つの画素信号を１：１の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０はＲ１，１およびＲ３，３各々から得られた２つの画素信号を１：１の割合で加重平均をすることにより画素データの統合をし、画素信号ＲＣ１が得られる。同様に、補正部７０はＢ１，３およびＢ３，１各々から得られた２つの画素信号、Ｒ５，１およびＲ７，３各々から得られた２つの画素信号、Ｂ５，３およびＢ７，１各々から得られた２つの画素信号、Ｒ９，１およびＲ１１，３各々から得られた２つの画素信号、ならびにＢ９，３およびＢ１１，１各々から得られた２つの画素信号を１：１の割合で各々加重平均をすることにより画素データの統合をし、画素信号ＢＣ１、ＲＣ２、ＢＣ２、ＲＣ３、およびＢＣ３が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第１の処理において、Ｒ画素から得られた１つの画素信号またはＢ画素から得られた１つの画素信号は各々１回の統合に用いられるので、Ｒ画素またはＢ画素から得られた画素信号の数は統合により半減する。
【００４９】
ここで、例えば、図１４に示したように、上記統合後の画素信号ＲＣ１、ＢＣ１、ＲＣ２、ＢＣ２、ＲＣ３、およびＢＣ３は各々Ｒ１，１、Ｂ１，３、Ｒ７，３、Ｂ７，１、Ｒ９，１、およびＢ９，３から得られた画素信号が上記統合前に配置された位置に配置される。ゆえに、図１４に示したように、補正部７０による上記統合後の画素信号の配列において、１列目の画素信号の配列はＲ、Ｗ、Ｂ、Ｗ、Ｒ、Ｗ、…、となり、２列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となり、３列目の画素信号の配列はＢ、Ｗ、Ｒ、Ｗ、Ｂ、Ｗ、…、となり、４列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となる。したがって、補正部７０による上記統合後の画素信号の配列は図７に示した画素配列部１０における画素配列と同一になる。
【００５０】
以上説明したように、補正部７０は、上記統合をすることにより統合前の画素信号の配列が図７に示した画素配列部１０における画素配列と同一になるように画素信号の補正をする。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第１の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるため、後段の信号処理回路を単純化することが可能となる。
【００５１】
なお、本開示の実施形態に係る信号処理装置１００が行う第１の処理における補正処理において、後述する本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理と比較し、補正部７０により行われる処理が単純なため、回路規模および消費電力を削減することが可能となる。
【００５２】
＜３．信号処理装置が行う第２の処理＞
続いて、図１５〜図２０を参照し、本開示の実施形態に係る信号処理装置１００が行う第２の処理を説明する。本開示の実施形態に係る信号処理装置１００が行う第１の処理と、本開示の実施形態に係る信号処理装置１００が行う第２の処理とは、補正部７０により行われる補正処理が異なる。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第２の処理における読み出し処理については、説明を省略する。
【００５３】
本開示の実施形態に係る信号処理装置１００が行う第２の処理における読み出し処理において、本開示の実施形態に係る信号処理装置１００が行う第１の処理と比較し、加重平均の処理が異なる。具体的には、本開示の実施形態に係る信号処理装置１００が行う第２の処理における読み出し処理において、本開示の実施形態に係る信号処理装置１００が行う第１の処理と比較し、補正部７０は、さらに画素信号読み出し部により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるように加重平均をする。
【００５４】
例えば、補正部７０は、Ｒ画素、Ｂ画素、Ｇ画素およびＷ画素各々について上記加重平均をする。以下、Ｒ画素、Ｂ画素、Ｇ画素およびＷ画素各々についての上記加重平均を順次詳細に説明する。
【００５５】
図１５は、本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理前後のＲ画素から得られた画素信号の重心位置の具体例を示す説明図である。図１５において、実線の矩形は画素信号を示し、各実線の矩形の内部に記載された記号は当該画素信号に対応する画素を示す。また、図１５において、列方向に４マス配置され行方向に１２マス配置された４８マスの一点鎖線の格子領域における実線の矩形の位置は、列方向に４画素配置され行方向に１２画素配置された４８画素からなる画素領域における画素信号の重心位置を示す。
【００５６】
例えば、補正部７０は、Ｒ画素から得られた４ｎ＋１列目（ｎは整数）に重心位置を有する２つの画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｒ８ｍ＋１，４ｎ＋１（ｍおよびｎは整数）およびＲ８ｍ＋５，４ｎ＋１（ｍおよびｎは整数）各々から得られた画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＲ１，１およびＲ５，１各々から得られた画素信号を７：１の割合で加重平均をすることにより画素データの統合をし、画素信号ＲＣ１が得られる。同様に、図１５において、補正部７０により行われる統合処理によって画素信号ＲＣ２が得られる。
【００５７】
また、補正部７０は、例えば、Ｒ画素から得られた４ｎ＋３列目（ｎは整数）に重心位置を有する２つの画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｒ８ｍ＋３，４ｎ＋３（ｍおよびｎは整数）およびＲ８ｍ＋７，４ｎ＋３（ｍおよびｎは整数）各々から得られた画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＲ３，３およびＲ７，３各々から得られた画素信号を３：５の割合で加重平均をすることにより画素データの統合をし、画素信号ＲＣ３が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第２の処理において、Ｒ画素から得られた１つの画素信号は各々１回の統合に用いられるので、Ｒ画素から得られた画素信号の数は統合により半減する。
【００５８】
以下、画素信号の重心位置を示す説明図において、実線の矩形が示す情報および一点鎖線の格子領域における実線の矩形の位置が示す情報は図１５における実線の矩形が示す情報および一点鎖線の格子領域における実線の矩形の位置が示す情報と同様である。
【００５９】
図１６は、本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理前後におけるＢ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【００６０】
例えば、補正部７０は、Ｂ画素から得られた４ｎ＋１列目（ｎは整数）に重心位置を有する２つの画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｂ８ｍ＋３，４ｎ＋１（ｍおよびｎは整数）およびＢ８ｍ＋７，４ｎ＋１（ｍおよびｎは整数）各々から得られた画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＢ３，１およびＢ７，１各々から得られた画素信号を３：５の割合で加重平均をすることにより画素データの統合をし、画素信号ＢＣ１が得られる。
【００６１】
また、補正部７０は、例えば、Ｂ画素から得られた４ｎ＋３列目（ｎは整数）に重心位置を有する２つの画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｂ８ｍ＋１，４ｎ＋３（ｍおよびｎは整数）およびＢ８ｍ＋５，４ｎ＋３（ｍおよびｎは整数）各々から得られた画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＢ１，３およびＢ５，３各々から得られた画素信号を７：１の割合で加重平均をすることにより画素データの統合をし、画素信号ＢＣ２が得られる。同様に、図１６において、補正部７０により行われる統合処理によって画素信号ＢＣ３が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第２の処理において、Ｂ画素から得られた１つの画素信号は各々１回の統合に用いられるので、Ｂ画素から得られた画素信号の数は統合により半減する。
【００６２】
図１７は、本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理前後のＧ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【００６３】
例えば、補正部７０は、Ｇ画素から得られた２ｎ列目（ｎは整数）に重心位置を有する２つの画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｇ４ｍ＋２，２ｎ（ｍおよびｎは整数）およびＧ４ｍ＋４，２ｎ（ｍおよびｎは整数）から得られた後加算された画素信号とＧ４ｍ＋６，２ｎ（ｍおよびｎは整数）およびＧ４ｍ＋８，２ｎ（ｍおよびｎは整数）から得られた後加算された画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＧ２，２およびＧ４，２から得られた後加算された画素信号とＧ６，２およびＧ８，２から得られた後加算された画素信号を７：１の割合で加重平均をすることにより画素データの統合をし、画素信号ＧＣ１が得られる。同様に、図１７において、補正部７０により行われる統合処理によって画素信号ＧＣ２、ＧＣ３、ＧＣ４、ＧＣ５、およびＧＣ６が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第２の処理において、Ｇ画素から得られた１つの画素信号は各々２回の統合に用いられるので、Ｇ画素から得られた画素信号の数は統合により変化しない。
【００６４】
図１８は、本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理前後のＷ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【００６５】
例えば、補正部７０は、Ｗ画素から得られた２ｎ＋１列目（ｎは整数）に重心位置を有する２つの画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｗ４ｍ＋２，２ｎ＋１（ｍおよびｎは整数）およびＷ４ｍ＋４，２ｎ＋１（ｍおよびｎは整数）から得られた後加算された画素信号とＷ４ｍ＋６，２ｎ＋１（ｍおよびｎは整数）およびＷ４ｍ＋８，２ｎ＋１（ｍおよびｎは整数）から得られた後加算された画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＷ２，１およびＷ４，１から得られた後加算された画素信号とＷ６，１およびＷ８，１から得られた後加算された画素信号を７：１の割合で加重平均をすることにより画素データの統合をし、画素信号ＷＣ１が得られる。同様に、図１８において、補正部７０により行われる統合処理によって画素信号ＷＣ２、ＷＣ３、ＷＣ７、ＷＣ８、およびＷＣ９が得られる。
【００６６】
また、補正部７０は、例えば、Ｗ画素から得られた２ｎ列目（ｎは整数）に重心位置を有する２つの画素信号を１：７の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｗ４ｍ＋１，２ｎ（ｍおよびｎは整数）およびＷ４ｍ＋３，２ｎ（ｍおよびｎは整数）から得られた後加算された画素信号とＷ４ｍ＋５，２ｎ（ｍおよびｎは整数）およびＷ４ｍ＋７，２ｎ（ｍおよびｎは整数）から得られた後加算された画素信号を１：７の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＷ１，２およびＷ３，２から得られた後加算された画素信号とＷ５，２およびＷ７，２から得られた後加算された画素信号を１：７の割合で加重平均をすることにより画素データの統合をし、画素信号ＷＣ５が得られる。同様に、図１８において、補正部７０により行われる統合処理によって画素信号ＷＣ４、ＷＣ６、ＷＣ１０、ＷＣ１１、およびＷＣ１２が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第２の処理において、Ｗ画素から得られた１つの画素信号は各々２回の統合に用いられるので、Ｗ画素から得られた画素信号の数は統合により変化しない。
【００６７】
図１９は、本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理後の画素信号の重心位置の具体例を示す説明図である。具体的には、図１９において、図１５における統合後のＲ画素から得られた画素信号の重心位置と、図１６における統合後のＢ画素から得られた画素信号の重心位置と、図１７における統合後のＧ画素から得られた画素信号の重心位置と、図１８における統合後のＷ画素から得られた画素信号の重心位置と、が重畳して示される。
【００６８】
図１９に示したように、補正部７０による統合後の画素信号の重心位置は行方向および列方向各々について直線状に等間隔に配置される。
【００６９】
以上説明したように、補正部７０は、画素信号読み出し部３０により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるように加重平均をする。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるため、重心ずれによる画像の歪み、偽色、およびジャギーの発生を防止することが可能となる。したがって、本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理において、画質を向上することが可能となる。
【００７０】
また、本開示の実施形態に係る信号処理装置１００が行う第１の処理と同様に、本開示の実施形態に係る信号処理装置１００が行う第２の処理において、補正部７０は上記統合をすることにより統合前の画素信号の配列が図７に示した画素配列部１０における画素配列と同一になるように画素信号の補正をする。
【００７１】
図２０は、本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。
【００７２】
本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理において、例えば、図２０に示したように、上記統合後の画素信号ＲＣ１、ＢＣ１、ＲＣ２、ＢＣ２、ＲＣ３、およびＢＣ３は各々Ｒ１，１、Ｂ７，１、Ｒ９，１、Ｂ１，３、Ｒ７，３、およびＢ９，３から得られた画素信号が上記統合前に配置された位置に配置される。ゆえに、図２０に示したように、補正部７０による上記統合後の画素信号の配列において、１列目の画素信号の配列はＲ、Ｗ、Ｂ、Ｗ、Ｒ、Ｗ、…、となり、２列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となり、３列目の画素信号の配列はＢ、Ｗ、Ｒ、Ｗ、Ｂ、Ｗ、…、となり、４列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となる。したがって、補正部７０による上記統合後の画素信号の配列は図７に示した画素配列部１０における画素配列と同一になる。
【００７３】
以上説明したように、補正部７０は、上記統合をすることにより統合前の画素信号の配列が図７に示した画素配列部１０における画素配列と同一になるように画素信号の補正をする。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるため、後段の信号処理回路を単純化することが可能となる。
【００７４】
＜４．信号処理装置が行う第３の処理＞
続いて、本開示の実施形態に係る信号処理装置１００が行う第３の処理を説明する。本開示の実施形態に係る信号処理装置１００が行う第１の処理と、本開示の実施形態に係る信号処理装置１００が行う第３の処理とは、画素信号読み出し部３０により行われる読出し処理および補正部７０により行われる補正処理が異なる。
【００７５】
（４−１．読み出し処理）
以下、図２１および図２２を参照して、本開示の実施形態に係る信号処理装置１００が行う第３の処理における読み出し処理の流れについて詳細に説明する。
【００７６】
本開示の実施形態に係る信号処理装置１００が行う第３の処理において、本開示の実施形態に係る信号処理装置１００が行う第１の処理と異なり、画素信号読み出し部３０は列方向に第３の画素Ｃ３および第４の画素Ｃ４を間引いて読み出す。例えば、画素信号読み出し部３０は列方向にＲ画素およびＢ画素を間引いて読み出す。
【００７７】
図２１は、本開示の実施形態に係る信号処理装置１００が行う第３の処理における読み出し処理の流れの具体例を示す説明図である。
【００７８】
本開示の実施形態に係る信号処理装置１００が行う第３の処理において、まず、画素信号読み出し部３０は、Ｗ２，１およびＷ４，１各々から得られる画素信号の加算読み出し、ならびにＷ２，３およびＷ４，３各々から得られる画素信号の加算読み出しを行う（Ｓ３０１）。次に、画素信号読み出し部３０は、Ｇ２，２およびＧ４，２各々から得られる画素信号の加算読み出し、ならびにＧ２，４およびＧ４，４各々から得られる画素信号の加算読み出しを行う（Ｓ３０２）。次に、画素信号読み出し部３０は、Ｂ３，１およびＲ３，３から得られる画素信号を各々読み出す（Ｓ３０３）。次に、画素信号読み出し部３０は、Ｗ１，２およびＷ３，２各々から得られる画素信号の加算読み出し、ならびにＷ１，４およびＷ３，４各々から得られる画素信号の加算読み出しを行う（Ｓ３０４）。
【００７９】
図２２は、本開示の実施形態に係る信号処理装置１００が行う第３の処理において読み出された画素信号の配列の具体例を示す説明図である。本開示の実施形態に係る信号処理装置１００が行う第３の処理における読出し処理において、可視光域においてＲ素子、Ｇ素子またはＢ素子と比較し広い感度域を持つＷ画素から得られる画素信号が読み出される。
【００８０】
以上説明した本開示の実施形態に係る信号処理装置１００が行う第３の処理における読み出し処理Ｓ３０１〜Ｓ３０４において、列方向にＲ画素およびＢ画素を間引いて読み出すことによって、読み出し回数を低減することが可能である。具体的には、本開示の実施形態に係る信号処理装置１００が行う第３の処理における読み出し処理Ｓ３０１〜Ｓ３０４において、読み出し回数は４回となるため、本開示の実施形態に係る信号処理装置１００が行う第１の処理と比較し、読み出し処理をさらに高速化することが可能である。したがって、本開示の実施形態に係る信号処理装置１００が行う第３の処理における読み出し処理Ｓ３０１〜Ｓ３０４によれば、画素配列の異なる画素行が１行間隔をあけて配置された信号処理装置１００において、画素信号の読み出し効率を向上することが可能である。
【００８１】
さらに、本開示の実施形態に係る信号処理装置１００が行う第３の処理における読み出し処理Ｓ３０１〜Ｓ３０４において、可視光域においてＲ素子、Ｇ素子またはＢ素子と比較し広い感度域を持つＷ画素から得られる画素信号が読み出されるので、本開示の実施形態に係る信号処理装置１００が行う第１の処理と同様に、Ｓ／Ｎ比を向上することが可能である。
【００８２】
（４−２．補正処理）
以下、図２３を参照して、本開示の実施形態に係る信号処理装置１００が行う第３の処理における補正処理について詳細に説明する。
【００８３】
本開示の実施形態に係る信号処理装置１００が行う第３の処理において、本開示の実施形態に係る信号処理装置１００が行う第１の処理と異なり、補正部７０は、異なる分光感度特性を有する複数の画素各々から得られた画素信号の置換をすることにより、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるように画素信号の補正をする。
【００８４】
具体的には、補正部７０は、Ｒ画素およびＢ画素各々から得られた画素信号の置換をする。以下、Ｒ画素およびＢ画素についての上記置換を順次詳細に説明する。
【００８５】
図２３は、本開示の実施形態に係る信号処理装置１００が行う第３の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。なお、図２３における置換前の画素信号の配列は、行方向に４画素が配置され列方向に１２画素が配置された４８画素からなる画素領域について読み出し処理Ｓ３０１〜Ｓ３０４が４行おきに順次行われることによって得られる画素信号の配列である。
【００８６】
例えば、補正部７０は同一の行に２列間隔をあけて配置されたＲ画素およびＢ画素各々から得られた画素信号の置換をする。具体的には、補正部７０はＲ３，３およびＢ３，１各々から得られた画素信号の置換をする。同様に、補正部７０はＲ１１，３およびＢ１１，１各々から得られた画素信号の置換をする。ゆえに、図２３に示したように、補正部７０による上記置換後の画素信号の配列において、１列目の画素信号の配列はＲ、Ｗ、Ｂ、Ｗ、Ｒ、Ｗ、…、となり、２列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となり、３列目の画素信号の配列はＢ、Ｗ、Ｒ、Ｗ、Ｂ、Ｗ、…、となり、４列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となる。したがって、補正部７０による上記置換後の画素信号の配列は図７に示した画素配列部１０における画素配列と同一になる。以上説明したように、補正部７０は、上記置換をすることにより置換前の画素信号の配列が図７に示した画素配列部１０における画素配列と同一になるように画素信号の補正をする。
【００８７】
以上説明した本開示の実施形態に係る信号処理装置１００が行う第３の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるため、後段の信号処理回路を単純化することが可能となる。
【００８８】
なお、本開示の実施形態に係る信号処理装置１００が行う第３の処理における補正処理において、後述する本開示の実施形態に係る信号処理装置１００が行う第４の処理における補正処理と比較し、補正部７０により行われる処理が単純なため、回路規模および消費電力を削減することが可能となる。
【００８９】
＜５．信号処理装置が行う第４の処理＞
続いて、図２４〜図２６を参照し、本開示の実施形態に係る信号処理装置１００が行う第４の処理を説明する。本開示の実施形態に係る信号処理装置１００が行う第３の処理と、本開示の実施形態に係る信号処理装置１００が行う第４の処理とは、補正部７０により行われる補正処理が異なる。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第４の処理における読み出し処理については、説明を省略する。
【００９０】
本開示の実施形態に係る信号処理装置１００が行う第４の処理における補正処理において、本開示の実施形態に係る信号処理装置１００が行う第２の処理と比較し、加重平均の前に行う処理の有無が異なる。具体的には、本開示の実施形態に係る信号処理装置１００が行う第４の処理における補正処理において、補正部７０は、画素信号読み出し部３０により読み出された画素信号に応じて画素信号を補間した後に加重平均をする。
【００９１】
具体的には、補正部７０は、画素信号読み出し部３０により読み出された画素信号に応じてＲ画素に対応する画素信号およびＢ画素に対応する画素信号を補間した後にＲ画素、Ｂ画素、Ｇ画素およびＷ画素各々について加重平均をする。以下、上記補間および上記加重平均を順次詳細に説明する。
【００９２】
図２４は、本開示の実施形態に係る信号処理装置１００が行う第４の処理における補正処理前後のＲ画素から得られた画素信号の重心位置の具体例を示す説明図である。また、図２４において、斜線を付した矩形は補正部７０によって補間された画素信号を示す。
【００９３】
補正部７０は、４ｎ＋１列目（ｎは整数）にＲ画素が配置されていたと仮定した場合に当該Ｒ画素から得られる画素信号を補間する。例えば、補正部７０は、４ｎ＋１列目（ｎは整数）のＷ画素から得られた画素信号の重心位置にＲ画素が配置されていたと仮定した場合に当該Ｒ画素から得られる画素信号を補間する。具体的には、補正部７０は、Ｗ４ｍ＋２，４ｎ＋１（ｍおよびｎは整数）およびＷ４ｍ＋４，４ｎ＋１（ｍおよびｎは整数）から得られた後加算された画素信号の重心位置にＲ４ｍ＋３，４ｎ＋１（ｍおよびｎは整数）が配置されていたと仮定した場合にＲ４ｍ＋３，４ｎ＋１（ｍおよびｎは整数）から得られる画素信号を補間する。より具体的には、補正部７０は、Ｗ２，１およびＷ４，１から得られた後加算された画素信号の重心位置にＲ３，１が配置されていたと仮定した場合にＲ３，１から得られる画素信号を補間する。例えば、補正部７０は、Ｗ２，１およびＷ４，１から得られた後加算された画素信号の値Ｗａ１と、Ｗ２，１およびＷ４，１から得られた後加算された画素信号の重心位置の周囲においてＷ画素から得られる信号の平均値ＷＤＣ１と、Ｗ２，１およびＷ４，１から得られた後加算された画素信号の重心位置の周囲においてＲ画素から得られる信号の平均値ＲＤＣと、数式Ｒｉ＝Ｗａ１×ＲＤＣ／ＷＤＣ１と、を用いてＲ３，１から得られる画素信号の値Ｒｉを決定する。ここで、Ｗ２，１およびＷ４，１から得られた後加算された画素信号の重心位置の周囲の領域は、Ｗ２，１およびＷ４，１から得られた後加算された画素信号の重心位置を中心として行方向および列方向に３画素配置された９画素からなる画素領域であってもよく、Ｗ２，１およびＷ４，１から得られた後加算された画素信号の重心位置を中心として行方向および列方向に５画素配置された２５画素からなる画素領域であってもよい。
【００９４】
同様に、補正部７０は、Ｗ６，１およびＷ８，１から得られた後加算された画素信号の重心位置にＲ７，１が配置されていたと仮定した場合にＲ７，１から得られる画素信号を補間し、Ｗ１０，１およびＷ１２，１から得られた後加算された画素信号の重心位置にＲ１１，１が配置されていたと仮定した場合にＲ１１，１から得られる画素信号を補間する。
【００９５】
上記補間の後に、例えば、補正部７０は、補間によって得られたＲ画素に対応する２つの画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、補間によって得られたＲ８ｍ＋７，４ｎ＋１（ｍおよびｎは整数）およびＲ８ｍ＋１１，４ｎ＋１（ｍおよびｎは整数）各々に対応する画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＲ７，１およびＲ１１，１に対応する画素信号を３：５の割合で加重平均をすることにより画素データの統合をし、画素信号ＲＣ２が得られる。同様に、図２４において、補正部７０により行われる統合処理によって画素信号ＲＣ１が得られる。
【００９６】
また、補正部７０は、例えば、Ｒ画素から得られた４ｎ＋３列目（ｎは整数）に重心位置を有する２つの画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｒ８ｍ＋３，４ｎ＋３（ｍおよびｎは整数）およびＲ８ｍ＋７，４ｎ＋３（ｍおよびｎは整数）各々から得られた画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。より具体的には、Ｒ３，３およびＲ７，３各々から得られた画素信号を３：５の割合で加重平均をすることにより画素データの統合をし、画素信号ＲＣ３が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第４の処理において、Ｒ画素から得られた１つの画素信号は各々１回の統合に用いられるので、Ｒ画素から得られた画素信号の数は統合により半減する。
【００９７】
図２５は、本開示の実施形態に係る信号処理装置１００が行う第４の処理における補正処理前後のＢ画素から得られた画素信号の重心位置の具体例を示す説明図である。また、図２５において、図２４と同様に、斜線を付した矩形は補正部７０によって補間された画素信号を示す。
【００９８】
補正部７０は、４ｎ＋３列目（ｎは整数）の重心位置にＢ画素が配置されていたと仮定した場合に当該Ｂ画素から得られる画素信号を補間する。例えば、補正部７０は、４ｎ＋３列目（ｎは整数）のＷ画素から得られた画素信号の重心位置にＢ画素が配置されていたと仮定した場合に当該Ｂ画素から得られる画素信号を補間する。具体的には、補正部７０は、Ｗ４ｍ＋２，４ｎ＋３（ｍおよびｎは整数）およびＷ４ｍ＋４，４ｎ＋３（ｍおよびｎは整数）から得られた後加算された画素信号の重心位置にＢ４ｍ＋３，４ｎ＋３（ｍおよびｎは整数）が配置されていたと仮定した場合にＢ４ｍ＋３，４ｎ＋３（ｍおよびｎは整数）から得られる画素信号を補間する。より具体的には、補正部７０は、Ｗ２，３およびＷ４，３から得られた後加算された画素信号の重心位置にＢ３，３が配置されていたと仮定した場合にＢ３，３から得られる画素信号を補間する。例えば、補正部７０は、Ｗ２，３およびＷ４，３から得られた後加算された画素信号の値Ｗａ２と、Ｗ２，３およびＷ４，３から得られた後加算された画素信号の重心位置の周囲においてＷ画素から得られる信号の平均値ＷＤＣ２と、Ｗ２，３およびＷ４，３から得られた後加算された画素信号の重心位置の周囲においてＢ画素から得られる信号の平均値ＢＤＣと、数式Ｂｉ＝Ｗａ２×ＢＤＣ／ＷＤＣ２と、を用いてＢ３，３から得られる画素信号の値Ｂｉを決定する。ここで、Ｗ２，３およびＷ４，３から得られた後加算された画素信号の重心位置の周囲の領域は、Ｗ２，３およびＷ４，３から得られた後加算された画素信号の重心位置を中心として行方向および列方向に３画素配置された９画素からなる画素領域であってもよく、Ｗ２，３およびＷ４，３から得られた後加算された画素信号の重心位置を中心として行方向および列方向に５画素配置された２５画素からなる画素領域であってもよい。
【００９９】
同様に、補正部７０は、Ｗ６，３およびＷ８，３から得られた後加算された画素信号の重心位置にＢ７，３が配置されていたと仮定した場合にＢ７，３から得られる画素信号を補間し、Ｗ１０，３およびＷ１２，３から得られた後加算された画素信号の重心位置にＢ１１，３が配置されていたと仮定した場合にＢ１１，３から得られる画素信号を補間する。
【０１００】
上記補間の後に、例えば、補正部７０は、補間によって得られたＢ画素に対応する２つの画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、補間によって得られたＢ８ｍ＋７，４ｎ＋３（ｍおよびｎは整数）およびＢ８ｍ＋１１，４ｎ＋３（ｍおよびｎは整数）各々に対応する画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＢ７，３およびＢ１１，３各々から得られた画素信号を３：５の割合で加重平均をすることにより画素データの統合をし、画素信号ＢＣ３が得られる。同様に、図２５において、補正部７０により行われる統合処理によって画素信号ＢＣ２が得られる。
【０１０１】
また、補正部７０は、例えば、Ｂ画素から得られた４ｎ＋１列目（ｎは整数）に重心位置を有する２つの画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｂ８ｍ＋３，４ｎ＋１（ｍおよびｎは整数）およびＢ８ｍ＋７，４ｎ＋１（ｍおよびｎは整数）各々から得られた画素信号を３：５の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＢ３，１およびＢ７，１各々から得られた画素信号を３：５の割合で加重平均をすることにより画素データの統合をし、画素信号ＢＣ１が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第４の処理において、Ｂ画素から得られた１つの画素信号は各々１回の統合に用いられるので、Ｂ画素から得られた画素信号の数は統合により半減する。
【０１０２】
なお、本開示の実施形態に係る信号処理装置１００が行う第４の処理におけるＧ画素およびＷ画素から得られた画素信号についての加重平均処理は、図１７および図１８を参照して説明した本開示の実施形態に係る信号処理装置１００が行う第２の処理におけるＧ画素およびＷ画素から得られた画素信号についての加重平均処理と同様である。
【０１０３】
上記補正処理後の画素信号の重心位置は、図１９に示した本開示の実施形態に係る信号処理装置１００が行う第２の処理における補正処理後の画素信号の重心位置の具体例と同様である。具体的には、上記補正処理後の画素信号の重心位置において、図２４における統合後のＲ画素から得られた画素信号の重心位置と、図２５における統合後のＢ画素から得られた画素信号の重心位置と、図１７における統合後のＧ画素から得られた画素信号の重心位置と、図１８における統合後のＷ画素から得られた画素信号の重心位置と、が重畳して配置される。
【０１０４】
図１９に示したように、補正部７０による統合後の画素信号の重心位置は行方向および列方向各々について直線状に等間隔に配置される。
【０１０５】
以上説明したように、補正部７０は、画素信号読み出し部３０により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるように加重平均をする。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第４の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるため、重心ずれによる画像の歪み、偽色、およびジャギーの発生を防止することが可能となる。したがって、本開示の実施形態に係る信号処理装置１００が行う第４の処理における補正処理において、画質を向上することが可能となる。
【０１０６】
また、本開示の実施形態に係る信号処理装置１００が行う第１の処理と同様に、本開示の実施形態に係る信号処理装置１００が行う第４の処理において、補正部７０は上記統合をすることにより統合前の画素信号の配列が図７に示した画素配列部１０における画素配列と同一になるように画素信号の補正をする。
【０１０７】
図２６は、本開示の実施形態に係る信号処理装置１００が行う第４の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。具体的には、図２６において、本開示の実施形態に係る信号処理装置１００が行う第４の処理における補間処理前の画素信号の配列と、補間処理後統合処理前の画素信号の配列と、統合処理後の画素信号の配列と、が示される。
【０１０８】
本開示の実施形態に係る信号処理装置１００が行う第４の処理における補正処理において、例えば、図２６に示したように、補間によって得られたＲ３，１、Ｒ７，１、Ｒ１１，１、Ｂ３，３、Ｂ７，３、およびＢ１１，３に対応する画素信号は各々Ｂ３，１、Ｂ７，１、Ｂ１１，１、Ｒ３，３、Ｒ７，３、およびＲ１１，３から得られた画素信号に積層して配置される。また、図２６に示したように、例えば、統合後の画素信号ＲＣ１、ＢＣ１、ＲＣ２、ＢＣ２、ＲＣ３、およびＢＣ３は各々Ｒ３，１、Ｂ７，１、Ｒ１１，１、Ｂ３，３、Ｒ７，３、およびＢ１１，３から得られた画素信号が補正処理後統合処理前に配置された位置に配置される。ゆえに、図２６に示したように、補正部７０による上記統合後の画素信号の配列において、１列目の画素信号の配列はＲ、Ｗ、Ｂ、Ｗ、Ｒ、Ｗ、…、となり、２列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となり、３列目の画素信号の配列はＢ、Ｗ、Ｒ、Ｗ、Ｂ、Ｗ、…、となり、４列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となる。したがって、補正部７０による統合後の画素信号の配列は図７に示した画素配列部１０における画素配列と同一になる。
【０１０９】
以上説明したように、補正部７０は、上記統合をすることにより統合前の画素信号の配列が図７に示した画素配列部１０における画素配列と同一になるように画素信号の補正をする。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第４の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるため、後段の信号処理回路を単純化することが可能となる。
【０１１０】
＜６．信号処理装置が行う第５の処理＞
続いて、本開示の実施形態に係る信号処理装置１００が行う第５の処理を説明する。本開示の実施形態に係る信号処理装置１００が行う第１の処理と、本開示の実施形態に係る信号処理装置１００が行う第５の処理とは、画素信号読み出し部３０により行われる読出し処理および補正部７０により行われる補正処理が異なる。
【０１１１】
（６−１．読み出し処理）
以下、図２７〜図２９を参照して、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理の流れについて詳細に説明する。
【０１１２】
ここで、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理において、画素読み出し部３０は、ＦＤを共有する８画素からなる画素領域と、当該ＦＤと異なるＦＤを共有する画素領域と、から各々得られる画素信号を加算して読み出すことが可能である。例えば、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理において、画素読み出し部３０は、ＦＤを共有するＲ１，１、Ｗ２，１、Ｂ３，１、Ｗ４，１、Ｗ１，２、Ｇ２，２、Ｗ３，２、およびＧ４，２からなる画素領域と、当該ＦＤと異なるＦＤを共有するＦＤを共有するＢ５，３、Ｗ６，３、Ｒ７，３、Ｗ８，３、Ｗ５，４、Ｇ６，４、Ｗ７，４、およびＧ８，４からなる画素領域と、から各々得られる画素信号をソースフォロワ加算して読み出すことが可能である。また、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理において、画素読み出し部３０は、ＦＤを共有するＢ１，３、Ｗ２，３、Ｒ３，３、Ｗ４，３、Ｗ１，４、Ｇ２，４、Ｗ３，４、およびＧ４，４からなる画素領域と、当該ＦＤと異なるＦＤを共有するＦＤを共有するＲ５，１、Ｗ６，１、Ｂ７，１、Ｗ８，１、Ｗ５，２、Ｇ６，２、Ｗ７，２およびＧ８，２からなる画素領域と、から各々得られる画素信号をソースフォロワ加算して読み出すことが可能である。
【０１１３】
例えば、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理において、上記ソースフォロワ加算は、図２７に示したように、行方向に４画素配置された画素領域について４つのＶＳＬと、当該４つのＶＳＬを接続する配線と、当該４つのＶＳＬについて６つのスイッチと、によって実現される。なお、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理において、信号処理装置１００が上記回路構成を有することにより、上記ソースフォロワ加算を行うことが可能である。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理において、読出し速度を向上することが可能である。
【０１１４】
本開示の実施形態に係る信号処理装置１００が行う第５の処理において、本開示の実施形態に係る信号処理装置１００が行う第１の処理と異なり、画素信号読み出し部３０は異なる列に配置された複数の第３の画素Ｃ３各々から得られる画素信号を加算して読み出し、異なる列に配置された複数の第４の画素Ｃ４各々から得られる画素信号を加算して読み出す。例えば、画素信号読み出し部３０は４ｎ＋１列目（ｎは整数）のＲ画素および４ｎ＋３列目（ｎは整数）のＲ画素各々から得られる画素信号を加算して読み出し、４ｎ＋１列目（ｎは整数）のＢ画素および４ｎ＋３列目（ｎは整数）のＢ画素各々から得られる画素信号を加算して読み出す。
【０１１５】
図２７および図２８は、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理の流れの具体例を示す説明図である。
【０１１６】
本開示の実施形態に係る信号処理装置１００が行う第５の処理において、まず、画素信号読み出し部３０は、Ｗ６，１およびＷ８，１各々から得られる画素信号の加算読み出し、ならびにＷ６，３およびＷ８，３各々から得られる画素信号の加算読み出しを行う（Ｓ５０１）。次に、画素信号読み出し部３０は、Ｇ６，２およびＧ８，２各々から得られる画素信号の加算読み出し、ならびにＧ６，４およびＧ８，４各々から得られる画素信号の加算読み出しを行う（Ｓ５０２）。次に、画素信号読み出し部３０は、Ｂ３，１およびＢ１，３各々から得られる画素信号の加算読み出し、ならびにＢ７，１およびＢ５，３各々から得られる画素信号の加算読み出しを行う（Ｓ５０３）。次に、画素信号読み出し部３０は、Ｗ５，２およびＷ７，２各々から得られる画素信号の加算読み出し、ならびにＷ５，４およびＷ７，４各々から得られる画素信号の加算読み出しを行う（Ｓ５０４）。次に、画素信号読み出し部３０はＷ２，１およびＷ４，１各々から得られる画素信号の加算読み出し、ならびにＷ２，３およびＷ４，３各々から得られる画素信号の加算読み出しを行う（Ｓ５０５）。次に、画素信号読み出し部３０は、Ｇ２，２およびＧ４，２各々から得られる画素信号の加算読み出し、ならびにＧ２，４およびＧ４，４各々から得られる画素信号の加算読み出しを行う（Ｓ５０６）。次に、画素信号読み出し部３０は、Ｒ１，１およびＲ３，３各々から得られる画素信号の加算読み出し、ならびにＲ５，１およびＲ７，３各々から得られる画素信号の加算読み出しを行う（Ｓ５０７）。次に、画素信号読み出し部３０は、Ｗ１，２およびＷ３，２各々から得られる画素信号の加算読み出し、ならびにＷ１，４およびＷ３，４各々から得られる画素信号の加算読み出しを行う（Ｓ５０８）。
【０１１７】
図２９は、本開示の実施形態に係る信号処理装置１００が行う第５の処理において読み出された画素信号の配列の具体例を示す説明図である。なお、Ｒ８ｍ＋１，４ｎ＋１（ｍ、ｎは整数）またはＢ８ｍ＋３，４ｎ＋１（ｍ、ｎは整数）を含む画素信号は、画素信号の配列において４ｎ＋１列目（ｎは整数）列に配置され、Ｒ８ｍ＋５，４ｎ＋１（ｍ、ｎは整数）またはＢ８ｍ＋７，４ｎ＋１（ｍ、ｎは整数）を含む画素信号は、画素信号の配列において４ｎ＋３列目（ｎは整数）列に配置される。例えば、図２９に示したように、Ｒ１，１およびＲ３，３から得られた後加算された画素信号ならびにＢ１，３およびＢ３，１から得られた後加算された画素信号は画素信号の配列において１列目に配置され、Ｒ５，１およびＲ７，３から得られた後加算された画素信号ならびにＢ５，３およびＢ７，１から得られた後加算された画素信号は画素信号の配列において３列目に配置される。
【０１１８】
以上説明した本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理Ｓ５０１〜Ｓ５０８において、行方向に４画素配置され列方向に８画素配置された３２画素についての読み出し回数は８回である。一方、行方向に４画素配置され列方向に８画素配置された３２画素について、複数の画素各々から得られる画素信号を加算して読み出す処理を行わない場合の読み出し回数は１６回である。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理Ｓ５０１〜Ｓ５０８において、本開示の実施形態に係る信号処理装置１００が行う第３の処理と同様に、本開示の実施形態に係る信号処理装置１００が行う第１の処理と比較し、読み出し処理を高速化することが可能である。したがって、本開示の実施形態に係る信号処理装置１００が行う第１の処理における読み出し処理Ｓ５０１〜Ｓ５０８によれば、画素配列の異なる画素行が１行間隔をあけて配置された信号処理装置１００において、画素信号の読み出し効率を向上することが可能である。
【０１１９】
さらに、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理Ｓ５０１〜Ｓ５０８において、異なる列に配置された複数のＲ画素各々および異なる列に配置された複数のＢ画素各々を加算して読み出すことによって、本開示の実施形態に係る信号処理装置１００が行う第３の処理または第４の処理と比較し、Ｓ／Ｎ比を向上することが可能である。
【０１２０】
加えて、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理Ｓ５０１〜Ｓ５０８において、可視光域においてＲ素子、Ｇ素子またはＢ素子と比較し広い感度域を持つＷ画素から得られる画素信号が読み出されるので、本開示の実施形態に係る信号処理装置１００が行う第１の処理と同様に、Ｓ／Ｎ比を向上することが可能である。
【０１２１】
（６−２．補正処理）
以下、図３０を参照して、本開示の実施形態に係る信号処理装置１００が行う第５の処理における補正処理について詳細に説明する。
【０１２２】
本開示の実施形態に係る信号処理装置１００が行う第５の処理において、本開示の実施形態に係る信号処理装置１００が行う第１の処理と異なり、補正部７０は、異なる分光感度特性を有する複数の画素各々から得られた画素信号の置換をすることにより、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるように画素信号の補正をする。
【０１２３】
具体的には、補正部７０は、Ｒ画素およびＢ画素各々から得られた画素信号の置換をする。以下、Ｒ画素およびＢ画素についての上記置換を順次詳細に説明する。
【０１２４】
図３０は、本開示の実施形態に係る信号処理装置１００が行う第５の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。なお、図３０における置換前の画素信号の配列は、行方向に４画素が配置され列方向に１６画素が配置された６４画素からなる画素領域について読み出し処理Ｓ５０１〜Ｓ５０８が８行おきに順次行われることによって得られる画素信号の配列である。
【０１２５】
例えば、補正部７０は同一の列に２行間隔をあけて配置されたＲ画素およびＢ画素各々から得られた画素信号の置換をする。具体的には、補正部７０はＲ５，１およびＲ７，３から得られた後加算された画素信号とＢ５，３およびＢ７，１から得られた後加算された画素信号の置換をする。同様に、補正部７０はＲ１３，１およびＲ１５，３から得られた後加算された画素信号とＢ１３，３およびＢ１５，１から得られた後加算された画素信号の置換をする。ゆえに、図３０に示したように、補正部７０による上記置換後の画素信号の配列において、１列目の画素信号の配列はＲ、Ｗ、Ｂ、Ｗ、Ｒ、Ｗ、Ｂ、Ｗ、…、となり、２列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となり、３列目の画素信号の配列はＢ、Ｗ、Ｒ、Ｗ、Ｂ、Ｗ、Ｒ、Ｗ、…、となり、４列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となる。したがって、補正部７０による上記置換後の画素信号の配列は図７に示した画素配列部１０における画素配列と同一になる。以上説明したように、補正部７０は、上記置換をすることにより置換前の画素信号の配列が図７に示した画素配列部１０における画素配列と同一になるように画素信号の補正をする。
【０１２６】
以上説明した本開示の実施形態に係る信号処理装置１００が行う第５の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるため、後段の信号処理回路を単純化することが可能となる。
【０１２７】
なお、本開示の実施形態に係る信号処理装置１００が行う第５の処理における補正処理において、後述する本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理と比較し、補正部７０により行われる処理が単純なため、回路規模および消費電力を削減することが可能となる。
【０１２８】
＜７．信号処理装置が行う第６の処理＞
続いて、図３１〜図３６を参照し、本開示の実施形態に係る信号処理装置１００が行う第６の処理を説明する。本開示の実施形態に係る信号処理装置１００が行う第５の処理と、本開示の実施形態に係る信号処理装置１００が行う第６の処理とは、補正部７０により行われる補正処理が異なる。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第６の処理における読み出し処理については、説明を省略する。
【０１２９】
本開示の実施形態に係る信号処理装置１００が行う第６の処理における読み出し処理において、本開示の実施形態に係る信号処理装置１００が行う第１の処理と比較し、加重平均の処理が異なる。具体的には、本開示の実施形態に係る信号処理装置１００が行う第６の処理における読み出し処理において、本開示の実施形態に係る信号処理装置１００が行う第２の処理と同様に、本開示の実施形態に係る信号処理装置１００が行う第１の処理と比較し、補正部７０は、さらに画素信号読み出し部により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるように加重平均をする。
【０１３０】
具体的には、補正部７０は、Ｒ画素、Ｂ画素、Ｇ画素およびＷ画素各々について上記加重平均をする。以下、Ｒ画素、Ｂ画素、Ｇ画素およびＷ画素各々についての上記加重平均を順次詳細に説明する。
【０１３１】
図３１は、本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理前後のＲ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【０１３２】
例えば、補正部７０は行方向および列方向に５画素配置された２５画素からなる画素領域の４つの頂点に対応する位置に重心位置を有するＲ画素各々から得られた画素信号を１：３：７：２１の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｒ８ｍ＋１，４ｎ＋５（ｍおよびｎは整数）およびＲ８ｍ＋３，４ｎ＋７（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｒ８ｍ＋１，４ｎ＋１（ｍおよびｎは整数）およびＲ８ｍ＋３，４ｎ＋３（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｒ８ｍ＋５，４ｎ＋５（ｍおよびｎは整数）およびＲ８ｍ＋７，４ｎ＋７（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｒ８ｍ＋５，４ｎ＋１（ｍおよびｎは整数）およびＲ８ｍ＋７，４ｎ＋３（ｍおよびｎは整数）から得られた後加算された画素信号と、を１：３：７：２１の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＲ１，５およびＲ３，７から得られた後加算された画素信号と、Ｒ１，１およびＲ３，３から得られた後加算された画素信号と、Ｒ５，５およびＲ７，７から得られた後加算された画素信号と、Ｒ５，１およびＲ７，３から得られた後加算された画素信号と、を１：３：７：２１の割合で加重平均をすることにより画素データの統合をし、画素信号ＲＣ３が得られる。同様に、図３１において、補正部７０により行われる統合処理によって画素信号ＲＣ６が得られる。
【０１３３】
また、具体的には、補正部７０は、Ｒ８ｍ＋５，４ｎ＋１（ｍおよびｎは整数）およびＲ８ｍ＋７，４ｎ＋３（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｒ８ｍ＋５，４ｎ＋５（ｍおよびｎは整数）およびＲ８ｍ＋７，４ｎ＋７（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｒ８ｍ＋９，４ｎ＋１（ｍおよびｎは整数）およびＲ８ｍ＋１１，４ｎ＋３（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｒ８ｍ＋９，４ｎ＋５（ｍおよびｎは整数）およびＲ８ｍ＋１１，４ｎ＋７（ｍおよびｎは整数）から得られた後加算された画素信号と、を１：３：７：２１の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０は、Ｒ５，１およびＲ７，３から得られた後加算された画素信号、Ｒ５，５およびＲ７，７から得られた後加算された画素信号、Ｒ９，１およびＲ１１，３から得られた後加算された画素信号ならびにＲ９，５およびＲ１１，７から得られた後加算された画素信号各々から得られた画素信号を１：３：７：２１の割合で加重平均をすることにより画素信号の統合をし、画素信号ＲＣ５が得られる。同様に、補正部７０により行われる統合処理によって画素信号ＲＣ１、ＲＣ２、およびＲＣ４が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第６の処理において、Ｒ画素から得られた１つの画素信号は各々４回の統合に用いられるので、Ｒ画素から得られた画素信号の数は統合により変化しない。
【０１３４】
図３２は、本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理前後のＢ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【０１３５】
例えば、補正部７０は行方向および列方向に５画素配置された２５画素からなる画素領域の４つの頂点に対応する位置に重心位置を有するＢ画素各々から得られた画素信号を１：３：７：２１の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｂ８ｍ＋１，４ｎ＋３（ｍおよびｎは整数）およびＢ８ｍ＋３，４ｎ＋１（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｂ８ｍ＋１，４ｎ＋７（ｍおよびｎは整数）およびＢ８ｍ＋３，４ｎ＋５（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｂ８ｍ＋５，４ｎ＋３（ｍおよびｎは整数）およびＢ８ｍ＋７，４ｎ＋１（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｂ８ｍ＋５，４ｎ＋７（ｍおよびｎは整数）およびＢ８ｍ＋７，４ｎ＋５（ｍおよびｎは整数）から得られた後加算された画素信号と、を１：３：７：２１の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＢ１，３およびＢ３，１から得られた後加算された画素信号、Ｂ１，７およびＢ３，５から得られた後加算された画素信号、Ｂ５，３およびＢ７，１から得られた後加算された画素信号ならびにＢ５，７およびＢ７，５から得られた後加算された画素信号各々から得られた画素信号を１：３：７：２１の割合で加重平均をすることにより画素データの統合をし、画素信号ＢＣ４が得られる。同様に、補正部７０により行われる統合処理によって画素信号ＢＣ１が得られる。
【０１３６】
また、具体的には、補正部７０は、Ｂ８ｍ＋５，４ｎ＋７（ｍおよびｎは整数）およびＢ８ｍ＋７，４ｎ＋５（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｂ８ｍ＋５，４ｎ＋３（ｍおよびｎは整数）およびＢ８ｍ＋７，４ｎ＋１（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｂ８ｍ＋９，４ｎ＋７（ｍおよびｎは整数）およびＢ８ｍ＋１１，４ｎ＋５（ｍおよびｎは整数）から得られた後加算された画素信号と、Ｂ８ｍ＋９，４ｎ＋３（ｍおよびｎは整数）およびＢ８ｍ＋１１，４ｎ＋１（ｍおよびｎは整数）から得られた後加算された画素信号と、を１：３：７：２１の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０は、Ｂ５，７およびＢ７，５から得られた後加算された画素信号、Ｂ５，３およびＢ７，１から得られた後加算された画素信号、Ｂ９，７およびＢ１１，５から得られた後加算された画素信号ならびにＢ９，３およびＢ１１，１から得られた後加算された画素信号各々から得られた画素信号を１：３：７：２１の割合で加重平均をすることにより画素信号の統合をし、画素信号ＲＣ３が得られる。同様に、補正部７０により行われる統合処理によって画素信号ＢＣ２、ＢＣ５、およびＢＣ６が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第６の処理において、Ｂ画素から得られた１つの画素信号は各々４回の統合に用いられるので、Ｂ画素から得られた画素信号の数は統合により変化しない。
【０１３７】
図３３は、本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理前後のＧ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【０１３８】
例えば、補正部７０は、Ｇ画素から得られた２ｎ列目（ｎは整数）に重心位置を有する２つの画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｇ４ｍ＋２，２ｎ（ｍおよびｎは整数）およびＧ４ｍ＋４，２ｎ（ｍおよびｎは整数）から得られた後加算された画素信号とＧ４ｍ＋６，２ｎ（ｍおよびｎは整数）およびＧ４ｍ＋８，２ｎ（ｍおよびｎは整数）から得られた後加算された画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＧ２，２およびＧ４，２から得られた後加算された画素信号とＧ６，２およびＧ８，２から得られた後加算された画素信号を７：１の割合で加重平均をすることにより画素データの統合をし、画素信号ＧＣ１が得られる。同様に、補正部７０により行われる統合処理によって画素信号ＧＣ２、ＧＣ３、ＧＣ４、ＧＣ５、ＧＣ６、ＧＣ７、ＧＣ８、ＧＣ９、ＧＣ１０、ＧＣ１１、およびＧＣ１２が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第６の処理において、Ｇ画素から得られた１つの画素信号は各々２回の統合に用いられるので、Ｇ画素から得られた画素信号の数は統合により変化しない。
【０１３９】
図３４は、本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理前後のＷ画素から得られた画素信号の重心位置の具体例を示す説明図である。
【０１４０】
例えば、補正部７０は、Ｗ画素から得られた２ｎ＋１列目（ｎは整数）に重心位置を有する２つの画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｗ４ｍ＋２，２ｎ＋１（ｍおよびｎは整数）およびＷ４ｍ＋４，２ｎ＋１（ｍおよびｎは整数）から得られた後加算された画素信号とＷ４ｍ＋６，２ｎ＋１（ｍおよびｎは整数）およびＷ４ｍ＋８，２ｎ＋１（ｍおよびｎは整数）から得られた後加算された画素信号を７：１の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＷ２，１およびＷ４，１から得られた後加算された画素信号とＷ６，１およびＷ８，１から得られた後加算された画素信号を７：１の割合で加重平均をすることにより画素データの統合をし、画素信号ＷＣ１が得られる。同様に、補正部７０により行われる統合処理によって画素信号ＷＣ２、ＷＣ３、ＷＣ７、ＷＣ８、ＷＣ９、ＷＣ１３、ＷＣ１４、ＷＣ１５、ＷＣ１９、ＷＣ２０、およびＷＣ２１が得られる。
【０１４１】
また、例えば、補正部７０は、Ｗ画素から得られた２ｎ列目（ｎは整数）に重心位置を有する２つの画素信号を１：７の割合で加重平均をすることにより画素データの統合をする。具体的には、補正部７０は、Ｗ４ｍ＋１，２ｎ（ｍおよびｎは整数）およびＷ４ｍ＋３，２ｎ（ｍおよびｎは整数）から得られた後加算された画素信号とＷ４ｍ＋５，２ｎ（ｍおよびｎは整数）およびＷ４ｍ＋７，２ｎ（ｍおよびｎは整数）から得られた後加算された画素信号を１：７の割合で加重平均をすることにより画素データの統合をする。より具体的には、補正部７０はＷ１，２およびＷ３，２から得られた後加算された画素信号とＷ５，２およびＷ７，２から得られた後加算された画素信号を１：７の割合で加重平均をすることにより画素データの統合をし、画素信号ＷＣ５が得られる。同様に、補正部７０により行われる統合処理によって画素信号ＷＣ４、ＷＣ６、ＷＣ１０、ＷＣ１１、ＷＣ１２、ＷＣ１６、ＷＣ１７、ＷＣ１８、ＷＣ２２、ＷＣ２３、およびＷＣ２４が得られる。なお、本開示の実施形態に係る信号処理装置１００が行う第６の処理において、Ｗ画素から得られた１つの画素信号は各々２回の統合に用いられるので、Ｗ画素から得られた画素信号の数は統合により変化しない。
【０１４２】
図３５は、本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理後の画素信号の重心位置の具体例を示す説明図である。具体的には、図３５において、図３１における統合後のＲ画素から得られた画素信号の重心位置と、図３２における統合後のＢ画素から得られた画素信号の重心位置と、図３３における統合後のＧ画素から得られた画素信号の重心位置と、図３４における統合後のＷ画素から得られた画素信号の重心位置と、が重畳して示される。
【０１４３】
図３５に示したように、補正部７０による上記統合後の画素信号の重心位置は行方向および列方向各々について直線状に等間隔に配置される。
【０１４４】
以上説明したように、補正部７０は、画素信号読み出し部３０により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるように加重平均をする。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるため、重心ずれによる画像の歪み、偽色、およびジャギーの発生を防止することが可能となる。したがって、本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理において、画質を向上することが可能となる。
【０１４５】
また、本開示の実施形態に係る信号処理装置１００が行う第１の処理と同様に、本開示の実施形態に係る信号処理装置１００が行う第６の処理において、補正部７０は上記統合をすることにより統合前の画素信号の配列が図７に示した画素配列部１０における画素配列と同一になるように画素信号の補正をする。
【０１４６】
図３６は、本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理前後の画素信号の配列の具体例を示す説明図である。
【０１４７】
本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理において、例えば、図３６に示したように、上記統合後の画素信号ＲＣ３はＢ５，３およびＢ７，１から得られた画素信号が上記統合前に配置された位置に配置される。また、図３６に示したように、上記統合後の画素信号ＢＣ３はＲ１３，１およびＲ１５，３から得られた画素信号が上記統合前に配置された位置に配置される。ゆえに、図３６に示したように、補正部７０による上記統合後の画素信号の配列において、１列目の画素信号の配列はＲ、Ｗ、Ｂ、Ｗ、Ｒ、Ｗ、Ｂ、Ｗ、…、となり、２列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となり、３列目の画素信号の配列はＢ、Ｗ、Ｒ、Ｗ、Ｂ、Ｗ、Ｒ、Ｗ、…、となり、４列目の画素信号の配列はＷ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、Ｗ、Ｇ、…、となる。したがって、補正部７０による上記統合後の画素信号の配列は図７に示した画素配列部１０における画素配列と同一になる。以上説明したように、補正部７０は、上記統合をすることにより統合前の画素信号の配列が図７に示した画素配列部１０における画素配列と同一になるように画素信号の補正をする。
【０１４８】
以上説明した本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるため、後段の信号処理回路を単純化することが可能となる。
【０１４９】
さらに、本開示の実施形態に係る信号処理装置１００が行う第６の処理において、信号処理装置１００はＧ画素から得られた画素信号に対する行方向のローパスフィルタ処理を行ってもよい。例えば、信号処理装置１００は画素信号読み出し部３０により読み出されたＧ画素から得られた画素信号各々に対する（１，４，６，４，１）からなる行方向のローパスフィルタ処理行ってもよい。本開示の実施形態に係る信号処理装置１００が行う第６の処理において、Ｇ画素から得られた画素信号に対する行方向のローパスフィルタ処理が行われることによって、Ｇ画素について画素配列部において異なる列に配置される画素から得られた複数の画素信号が混合される。本開示の実施形態に係る信号処理装置１００が行う第６の処理において、Ｒ画素およびＢ画素について、画素配列部において異なる列に配置される複数の画素から得られた画素信号は加算されて読み出される。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第６の処理において、Ｇ画素から得られた画素信号に対する行方向のローパスフィルタ処理が行われることによって、Ｇ画素、Ｒ画素およびＢ画素から得られる画素信号の加算方向が一致する。したがって、本開示の実施形態に係る信号処理装置１００が行う第６の処理において、画質を向上することが可能となる。
【０１５０】
＜８．信号処理装置が行う第７の処理＞
続いて、本開示の実施形態に係る信号処理装置１００が行う第７の処理を説明する。本開示の実施形態に係る信号処理装置１００が行う第７の処理と、本開示の実施形態に係る信号処理装置１００が行う第５の処理とは、画素信号読み出し部３０により行われる読出し処理が異なる。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第７の処理における補正処理については、説明を省略する。なお、本開示の実施形態に係る信号処理装置１００が行う第７の処理における補正処理は、本開示の実施形態に係る信号処理装置１００が行う第６の処理における補正処理と同様であってもよい。
【０１５１】
以下、図３７〜図３９を参照して、本開示の実施形態に係る信号処理装置１００が行う第７の処理における読み出し処理の流れについて詳細に説明する。
【０１５２】
ここで、本開示の実施形態に係る信号処理装置１００が行う第７の処理における読み出し処理において、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理と同様に、画素読み出し部３０は、ＦＤを共有する８画素からなる画素領域と、当該ＦＤと異なるＦＤを共有する画素領域と、から各々得られる画素信号を加算して読み出すことが可能である。一方、本開示の実施形態に係る信号処理装置１００が行う第７の処理における読み出し処理において、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理と異なり、画素読み出し部３０は、さらに、ＦＤを共有するＲ１，１、Ｗ２，１、Ｂ３，１、Ｗ４，１、Ｗ１，２、Ｇ２，２、Ｗ３，２、およびＧ４，２からなる画素領域と、当該ＦＤと異なるＦＤを共有するＦＤを共有するＢ５，３、Ｗ６，３、Ｒ７，３、Ｗ８，３、Ｗ５，４、Ｇ６，４、Ｗ７，４、およびＧ８，４からなる画素領域と、から各々得られる画素信号をソースフォロワ加算して読み出すことが可能である。また、画素読み出し部３０は、ＦＤを共有するＲ５，１、Ｗ６，１、Ｂ７，１、Ｗ８，１、Ｗ５，２、Ｇ６，２、Ｗ７，２、およびＧ８，２からなる画素領域と、当該ＦＤと異なるＦＤを共有するＦＤを共有するＢ９，３、Ｗ１０，３、Ｒ１１，３、Ｗ１２，３、Ｗ９，４、Ｇ１０，４、Ｗ１１，４、およびＧ１２，４からなる画素領域と、から各々得られる画素信号をソースフォロワ加算して読み出すことが可能である。例えば、本開示の実施形態に係る信号処理装置１００が行う第７の処理における読み出し処理において、上記ソースフォロワ加算は、図３７に示したように、行方向に４画素配置された画素領域について４つのＶＳＬと、当該４つのＶＳＬを接続する配線と、当該４つのＶＳＬについて７つのスイッチと、によって実現される。
【０１５３】
本開示の実施形態に係る信号処理装置１００が行う第７の処理において、本開示の実施形態に係る信号処理装置１００が行う第５の処理と同様に、画素信号読み出し部３０は異なる列に配置された複数の第３の画素Ｃ３各々から得られる画素信号を加算して読み出し、異なる列に配置された複数の第４の画素Ｃ４各々から得られる画素信号を加算して読み出す。加えて、本開示の実施形態に係る信号処理装置１００が行う第７の処理において、本開示の実施形態に係る信号処理装置１００が行う第５の処理と異なり、上記複数の第３の画素Ｃ３が配置される方向は上記複数の第４の画素が配置される方向に平行である。例えば、画素信号読み出し部３０は４ｎ＋１列目（ｎは整数）のＢ画素および４ｎ＋３列目（ｎは整数）のＢ画素各々から得られる画素信号を加算して読み出し、上記４ｎ＋１列目（ｎは整数）のＢ画素および上記４ｎ＋３列目（ｎは整数）のＢ画素が配置される方向に平行に配置される４ｎ＋１列目（ｎは整数）のＲ画素および４ｎ＋３列目（ｎは整数）のＲ画素各々から得られる画素信号を加算して読み出す。
【０１５４】
図３７および図３８は、本開示の実施形態に係る信号処理装置１００が行う第７の処理における読み出し処理の流れの具体例を示す説明図である。
【０１５５】
本開示の実施形態に係る信号処理装置１００が行う第７の処理において、まず、画素信号読み出し部３０は、Ｗ６，１およびＷ８，１各々から得られる画素信号の加算読み出し、ならびにＷ６，３およびＷ８，３各々から得られる画素信号の加算読み出しを行う（Ｓ７０１）。次に、画素信号読み出し部３０は、Ｇ６，２およびＧ８，２各々から得られる画素信号の加算読み出し、ならびにＧ６，４およびＧ８，４各々から得られる画素信号の加算読み出しを行う（Ｓ７０２）。次に、画素信号読み出し部３０は、Ｂ３，１およびＢ５，３各々から得られる画素信号の加算読み出し、ならびにＢ７，１およびＢ９，３各々から得られる画素信号の加算読み出しを行う（Ｓ７０３）。次に、画素信号読み出し部３０は、Ｗ５，２およびＷ７，２各々から得られる画素信号の加算読み出し、ならびにＷ５，４およびＷ７，４各々から得られる画素信号の加算読み出しを行う（Ｓ７０４）。次に、画素信号読み出し部３０は、Ｗ２，１およびＷ４，１各々から得られる画素信号の加算読み出し、ならびにＷ２，３およびＷ４，３各々から得られる画素信号の加算読み出しを行う（Ｓ７０５）。次に、画素信号読み出し部３０は、Ｇ２，２およびＧ４，２各々から得られる画素信号の加算読み出し、ならびにＧ２，４およびＧ４，４各々から得られる画素信号の加算読み出しを行う（Ｓ７０６）。次に、画素信号読み出し部３０は、Ｒ１，１およびＲ３，３各々から得られる画素信号の加算読み出し、ならびにＲ５，１およびＲ７，３各々から得られる画素信号の加算読み出しを行う（Ｓ７０７）。次に、画素信号読み出し部３０は、Ｗ１，２およびＷ３，２各々から得られる画素信号の加算読み出し、ならびにＷ１，４およびＷ３，４各々から得られる画素信号の加算読み出しを行う（Ｓ７０８）。
【０１５６】
図３９は、本開示の実施形態に係る信号処理装置１００が行う第７の処理において読み出された画素信号の配列の具体例を示す説明図である。図２９および図３９に示したように、本開示の実施形態に係る信号処理装置１００が行う第５の処理において読み出された画素信号の配列と、本開示の実施形態に係る信号処理装置１００が行う第７の処理において読み出された画素信号の配列とは、同一である。しかし、図２９および図３９に示したように、本開示の実施形態に係る信号処理装置１００が行う第７の処理において読み出された画素信号と、本開示の実施形態に係る信号処理装置１００が行う第５の処理において読み出された画素信号とは、Ｒ画素から得られた画素信号およびＢ画素から得られた画素信号各々について異なる。
【０１５７】
具体的には、本開示の実施形態に係る信号処理装置１００が行う第５の処理において、Ｒ画素から得られた画素信号の重心位置と、Ｂ画素から得られた画素信号の重心位置とは、重複する。より具体的には、本開示の実施形態に係る信号処理装置１００が行う第５の処理において、Ｒ１，１およびＲ３，３各々から得られた後加算された画素信号の重心位置と、Ｂ１，３およびＢ３，１各々から得られた後加算された画素信号の重心位置とは、重複する。同様に、本開示の実施形態に係る信号処理装置１００が行う第５の処理において、Ｒ５，１およびＲ７，３各々から得られた後加算された画素信号の重心位置と、Ｂ５，３およびＢ７，１各々から得られた後加算された画素信号の重心位置とは、重複する。一方、本開示の実施形態に係る信号処理装置１００が行う第７の処理において、Ｒ画素から得られた画素信号の重心位置と、Ｂ画素から得られた画素信号の重心位置とは、重複しない。
【０１５８】
以上説明した本開示の実施形態に係る信号処理装置１００が行う第７の処理における読み出し処理において、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理と異なり、画素信号読み出し部３０は４ｎ＋１列目（ｎは整数）のＢ画素および４ｎ＋３列目（ｎは整数）のＢ画素各々から得られる画素信号を加算して読み出し、上記４ｎ＋１列目（ｎは整数）のＢ画素および上記４ｎ＋３列目（ｎは整数）のＢ画素が配置される方向に平行に配置される４ｎ＋１列目（ｎは整数）のＲ画素および４ｎ＋３列目（ｎは整数）のＲ画素各々から得られる画素信号を加算して読み出す。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第７の処理における読み出し処理において、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理と異なり、Ｒ画素から得られた画素信号の重心位置と、Ｂ画素から得られた画素信号の重心位置とは、重複しない。したがって、本開示の実施形態に係る信号処理装置１００が行う第７の処理における読み出し処理において、本開示の実施形態に係る信号処理装置１００が行う第５の処理における読み出し処理と比較し、読み出された画素信号についての信号処理を単純化することおよび画質を向上することが可能となる。
【０１５９】
＜９．ハードウェア構成＞
以上、本開示の実施形態を説明した。上述した信号処理装置１００の処理は、ソフトウェアと、以下に説明する信号処理装置１００のハードウェアとの協働により実現される。
【０１６０】
図４０は、本開示に係る信号処理装置１００のハードウェア構成を示した説明図である。図４０に示したように、信号処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１４２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１４４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１４６と、ブリッジ１４８と、バス１５０と、インターフェース１５２と、入力装置１５４と、出力装置１５６と、ストレージ装置１５８と、ドライブ１６０と、接続ポート１６２と、通信装置１６４とを備える。
【０１６１】
ＣＰＵ１４２は、演算処理装置および制御装置として機能し、各種プログラムと協働して信号処理装置１００内の画素信号読み出し部３０、ＡＤ変換部５０、補正部７０、および信号処理部９０の動作を実現する。また、ＣＰＵ１４２は、マイクロプロセッサであってもよい。ＲＯＭ１４４は、ＣＰＵ１４２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１４６は、ＣＰＵ１４２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ１４２、ＲＯＭ１４４およびＲＡＭ１４６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
【０１６２】
入力装置１５４は、信号処理装置１００の画素配列部１０の一例として、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、および画素配列部１０の画素による入射光の受光またはユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１４２に出力する入力制御回路などから構成されている。信号処理装置１００のユーザは、入力装置１５４を操作することにより、信号処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１６３】
出力装置１５６は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置、ランプなどの装置への出力を行う。さらに、出力装置１５６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。
【０１６４】
ストレージ装置１５８は、データ格納用の装置である。ストレージ装置１５８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１５８は、ＣＰＵ１４２が実行するプログラムや各種データを格納する。
【０１６５】
ドライブ１６０は、記憶媒体用リーダライタであり、信号処理装置１００に内蔵、あるいは外付けされる。ドライブ１６０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１４４に出力する。また、ドライブ１６０は、リムーバブル記憶媒体に情報を書込むこともできる。
【０１６６】
接続ポート１６２は、例えば、信号処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１６２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）であってもよい。
【０１６７】
通信装置１６４は、例えば、ネットワークに接続するための通信デバイスで構成された通信インターフェースである。また、通信装置１６４は、赤外線通信対応装置であっても、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【０１６８】
＜１０．むすび＞
以上説明した本開示の実施形態に係る信号処理装置１００が行う各読み出し処理において、複数のＷ画素各々から得られる画素信号を加算して読み出すことによって、読み出し回数を低減することが可能である。したがって、本開示の実施形態に係る信号処理装置１００が行う各読み出し処理によれば、画素配列の異なる画素行が１行間隔をあけて配置された信号処理装置１００において、画素信号の読み出し効率を向上することが可能である。
【０１６９】
さらに、本開示の実施形態に係る信号処理装置１００が行う各読み出し処理において、可視光域においてＲ素子、Ｇ素子またはＢ素子と比較し広い感度域を持つＷ画素から得られる画素信号が読み出されるので、Ｓ／Ｎ比を向上することが可能である。
【０１７０】
また、本開示の実施形態に係る信号処理装置１００が行う各補正処理において、画素信号読み出し部３０により読み出された画素信号の配列が画素配列部１０における画素配列と同一になるため、後段の信号処理回路を単純化することが可能となる。
【０１７１】
また、本開示の実施形態に係る信号処理装置１００が行う第２、第４および第６の処理における補正処理において、補正部７０は、画素信号読み出し部３０により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるように加重平均をする。ゆえに、本開示の実施形態に係る信号処理装置１００が行う第２、第４および第６の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるため、重心ずれによる画像の歪み、偽色、およびジャギーの発生を防止することが可能となる。したがって、本開示の実施形態に係る信号処理装置１００が行う第２、第４および第６の処理における補正処理において、画質を向上することが可能となる。
【０１７２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７３】
なお、本開示の実施形態に係る信号処理装置１００が行う第２、第４および第６の処理における補正処理において、画素信号読み出し部３０により読み出された画素信号各々の加重平均の比率は、図面を用いて説明した例における比率に限定されず、画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるような他の比率であってもよい。
【０１７４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１７５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）分光感度特性の異なる第１の画素と、第２の画素と、第３の画素と、第４の画素と、が行列状に配列された画素配列部と、前記画素配列部に配列された複数の前記画素各々から得られる画素信号を読み出す画素信号読み出し部と、を備え、前記第１の画素は、前記第２の画素に対して行方向および列方向に隣接し、前記第２の画素は、行方向および列方向に２画素ピッチで配置され、前記第３の画素は、前記第２の画素に対して一方の対角方向に隣接し、前記第４の画素は、前記第２の画素に対して他方の対角方向に隣接し、前記画素信号読み出し部は、複数の前記第１の画素各々から得られる画素信号を加算して読み出す、信号処理装置。
（２）前記画素信号読み出し部は、同一の列に配置された複数の前記第１の画素各々から得られる画素信号を加算して読み出し、同一の列に配置された複数の前記第２の画素各々から得られる画素信号を加算して読み出す、前記（１）に記載の信号処理装置。
（３）前記画素信号読み出し部は、列方向に前記第３の画素及び前記第４の画素を間引いて読み出す、前記（１）または（２）に記載の信号処理装置。
（４）前記画素信号読み出し部は、異なる列に配置された複数の前記第３の画素各々から得られる画素信号を加算して読み出し、異なる列に配置された複数の前記第４の画素各々から得られる画素信号を加算して読み出す、前記（１）から（３）のいずれか一項に記載の信号処理装置。
（５）前記複数の第３の画素が配置される方向は前記複数の第４の画素が配置される方向に平行である、前記（４）に記載の信号処理装置。
（６）前記画素信号読み出し部により読み出された画素信号の配列が前記画素配列部における画素配列と同一になるように前記画素信号の補正をする補正部を備える、前記（１）から（５）のいずれか一項に記載の信号処理装置。
（７）前記補正部は、同一の分光感度特性を有する複数の画素各々から得られた画素信号の統合をすることにより前記補正をする、前記（６）に記載の信号処理装置。
（８）前記補正部は、同一の分光感度特性を有する複数の画素各々から得られた画素信号の加重平均をすることにより前記統合をする、前記（７）に記載の信号処理装置。
（９）前記補正部は、前記画素信号読み出し部により読み出された画素信号各々の重心位置が行方向および列方向各々について直線状に等間隔に配置されるように前記加重平均をする、前記（８）に記載の信号処理装置。
（１０）前記補正部は、前記画素信号読み出し部により読み出された画素信号に応じて前記画素信号を補間した後に前記加重平均をする、前記（９）に記載の信号処理装置。
（１１）異なる分光感度特性を有する複数の画素各々から得られた画素信号の置換をすることにより、前記画素信号読み出し部により読み出された画素信号の配列が前記画素配列部における画素配列と同一になるように前記画素信号の補正をする補正部を備える、前記（３）から（５）のいずれか一項に記載の信号処理装置。
（１２）前記第１の画素は、緑色域、赤色域および青色域を含む波長域に感度域を持ち、前記第２の画素は、緑色域に感度域を持ち、前記第３の画素は、赤色域に感度域を持ち、前記第４の画素は、青色域に感度域を持つ、前記（１）から（１１）のいずれか一項に記載の信号処理装置。
（１３）前記第１の画素は、赤外域に感度域を持つ、前記（１）から（１１）のいずれか一項に記載の信号処理装置。
（１４）行列状に配列された分光感度特性の異なる第１の画素と、第２の画素と、第３の画素と、第４の画素各々から得られる画素信号を信号処理装置により読み出すことと、前記信号処理装置により、複数の前記第１の画素各々から得られる画素信号を加算して読み出すことと、を含み、前記第１の画素は、前記第２の画素に対して行方向および列方向に隣接し、前記第２の画素は、行方向および列方向に２画素ピッチで配置され、前記第３の画素は、前記第２の画素に対して一方の対角方向に隣接し、前記第４の画素は、前記第２の画素に対して他方の対角方向に隣接する、信号処理方法。
【符号の説明】
【０１７６】
１０  画素配列部
３０  画素信号読み出し部
５０  変換部
７０  補正部
９０  信号処理部
１００  信号処理装置
１４２  （Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）
１４４  （Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）
１４６  （Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）
１４８  ブリッジ
１５０  バス
１５２  インターフェース
１５４  入力装置
１５６  出力装置
１５８  ストレージ装置
１６０  ドライブ
１６２  接続ポート
１６４  通信装置
【図１】
2016092524.tif 000003
【図２】
2016092524.tif 000004
【図３】
2016092524.tif 000005
【図４】
2016092524.tif 000006
【図５】
2016092524.tif 000007
【図６】
2016092524.tif 000008
【図７】
2016092524.tif 000009
【図８】
2016092524.tif 000010
【図９】
2016092524.tif 000011
【図１０】
2016092524.tif 000012
【図１１】
2016092524.tif 000013
【図１２】
2016092524.tif 000014
【図１３】
2016092524.tif 000015
【図１４】
2016092524.tif 000016
【図１５】
2016092524.tif 000017
【図１６】
2016092524.tif 000018
【図１７】
2016092524.tif 000019
【図１８】
2016092524.tif 000020
【図１９】
2016092524.tif 000021
【図２０】
2016092524.tif 000022
【図２１】
2016092524.tif 000023
【図２２】
2016092524.tif 000024
【図２３】
2016092524.tif 000025
【図２４】
2016092524.tif 000026
【図２５】
2016092524.tif 000027
【図２６】
2016092524.tif 000028
【図２７】
2016092524.tif 000029
【図２８】
2016092524.tif 000030
【図２９】
2016092524.tif 000031
【図３０】
2016092524.tif 000032
【図３１】
2016092524.tif 000033
【図３２】
2016092524.tif 000034
【図３３】
2016092524.tif 000035
【図３４】
2016092524.tif 000036
【図３５】
2016092524.tif 000037
【図３６】
2016092524.tif 000038
【図３７】
2016092524.tif 000039
【図３８】
2016092524.tif 000040
【図３９】
2016092524.tif 000041
【図４０】
2016092524.tif 000042