(57)【要約】  撮像素子アレイ（１１）を構成する１つの撮像素子（３０１）にＲＧＢモザイクフィルタを配置する。残りの撮像素子（３０２）には、Ｒ、Ｇ、又はＢの単色フィルタを配置する。動画を撮像する際は、撮像素子（３０１）により撮像された画像データをディスプレイに表示し、静止画を撮像する際は、全ての撮像素子（３０）により撮像された画像データを超解像処理で合成してディスプレイに表示する。
2014091706.tif 000002
【特許請求の範囲】
【請求項１】
マトリックス状に配置された複数の光学系と、
各光学系に対応した撮像素子を備える撮像素子アレイとを含み、
前記撮像素子アレイは、
分光特性の異なる少なくとも２種類の色フィルタが配置された第１撮像素子と、
１種類の色フィルタが配置された第２撮像素子とを含む撮像装置。
【請求項２】
前記第１撮像素子は、少なくとも２色のモザイクフィルタが配置され、
前記第２撮像素子は、単色フィルタが配置されている請求項１記載の撮像装置。
【請求項３】
少なくとも１つの前記第２撮像素子に配置された単色フィルタは、前記モザイクフィルタを構成するいずれか１つの色と同色である請求項２記載の撮像装置。
【請求項４】
前記第１撮像素子は、動画の画像データを得るために使用される請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記第１撮像素子は、ＲＧＢモザイクフィルタが配置されている請求項１〜４のいずれかに記載の撮像装置。
【請求項６】
前記第１撮像素子は、複数存在し、
少なくとも１つの前記第１撮像素子は、ＧＲモザイクフィルタが配置され、
残りの前記第１撮像素子は、ＧＢモザイクフィルタが配置されている請求項１〜４のいずれかに記載の撮像装置。
【請求項７】
前記第１撮像素子は、ＹＭＣＧモザイクフィルタが配置されている請求項１〜４のいずれかに記載の撮像装置。
【請求項８】
前記第１撮像素子は、ＷＲＧＢモザイクフィルタが配置されている請求項１〜４のいずれかに記載の撮像装置。
【請求項９】
前記第１撮像素子は、ＷＹＲモザイクフィルタが配置されている請求項１〜４のいずれかに記載の撮像装置。
【請求項１０】
前記第２撮像素子は、Ｒ、Ｇ、又はＢの単色フィルタが配置されている請求項１〜９のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像素子が配列された撮像素子アレイを備える撮像装置に関するものである。
【背景技術】
【０００２】
携帯電話やスマートフォンといった携帯機器には、カメラモジュールが標準で搭載されているのが一般的である。近年、携帯機器に対する薄型化の要求が強く、それに伴い、カメラモジュールに対しても薄型化が要求されている。【０００３】
例えば、特許文献１には、複数の撮像素子が配列されたカメラアレイと、各撮像素子に対応する複数のレンズ素子とを含み、各撮像素子が単色フィルタで構成された撮像装置が開示されている。この撮像装置では、各撮像素子から小さな画像データが取得され、これら複数の画像データが合成されて一枚の高精細な画像データが生成される。【０００４】
特許文献１の撮像装置では、各撮像素子に単色のフィルタが配置されているため、レンズ素子は１の分光感度に対応すれば済み、レンズ素子の小型化が図られている。【０００５】
また、特許文献２には、複数の受光セルからなる各ユニットに単色のフィルタが配置された画像入力装置が開示されている。特許文献２も特許文献１と同様、各ユニットに単色のフィルタが配置されているため、レンズの小型化が図られている。【０００６】
しかしながら、特許文献１、２では、各撮像素子から１色の信号しか得られないため、カラー画像を得ようとした場合、最低でも３つの異なる色フィルタが配置された撮像素子により撮像された画像データを合成する必要がある。撮像素子から得られた複数の画像データを１枚の画像データに合成する場合、複数の画像データを位置合わせして加算するといった合成処理や、超解像処理を利用する必要がある。【０００７】
例えば、超解像処理では、各画像データの画素数にもよるが、１枚の画像データを合成するのに数分以上かかることもある。このような処理は静止画であれば大きな問題とならないが、リアルタイム性が求められる動画では大きな問題となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−５２３５３８号公報
【特許文献２】特許第３７０５７６６号公報
【発明の概要】
【０００９】
本発明の目的は、複数の撮像素子が配列された撮像素子アレイを備える撮像装置において、カラー画像を高速に生成することができる撮像装置を提供することである。
【００１０】
本発明の一態様による撮像装置は、マトリックス状に配置された複数の光学系と、各光学系に対応した撮像素子を備える撮像素子アレイとを含み、前記撮像素子アレイは、分光特性の異なる少なくとも２種類の色フィルタが配置された第１撮像素子と、１種類の色フィルタが配置された第２撮像素子とを含む。
【００１１】
本態様によれば、複数の撮像素子が配列された撮像素子アレイを備える撮像装置において、カラー動画像を高速に生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態による撮像装置の概要を示す図である。
【図２】本発明の実施の形態による撮像装置の色フィルタの配置パターンの第１例を示した図である。
【図３】本発明の実施の形態による撮像装置の色フィルタの配置パターンの第２例を示した図である。
【図４】本発明の実施の形態による撮像装置の色フィルタの配置パターンの第３例を示した図である。
【図５】図２の配置パターンを採用した場合の撮像装置のブロック図である。
【図６】本発明の実施の形態による撮像装置の色フィルタの配置パターンの第４例を示した図である。
【図７】本発明の実施の形態による撮像装置の色フィルタの配置パターンの第５例を示した図である。
【図８】本発明の実施の形態による撮像装置の色フィルタの配置パターンの第６例を示した図である。
【図９】図３の配置パターンを採用した場合の撮像装置のブロック図である。
【図１０】図４の配置パターンを採用した場合の撮像装置のブロック図である。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施の形態による撮像装置の概要を示す図である。撮像装置は、被写体を撮像するための撮像素子アレイ１１及び撮像素子アレイ１１の受光面側に設けられたアレイレンズ１２を含む。アレイレンズ１２は、マトリックス状に配置された複数のレンズ２０（光学系の一例）を含む。撮像素子アレイ１１は、各レンズ２０に対応した複数の撮像素子３０を含む。
【００１４】
ここで、撮像素子アレイ１１は、複数の撮像素子３０が、例えば、Ｍ（Ｍは２以上の整数）行×Ｎ（Ｎは２以上の整数）列でマトリックス状に配置されている。また、各撮像素子３０のそれぞれに対応してレンズ２０が設けられている。ここで、レンズ２０としては、単レンズを採用してもよいし、複数のレンズを組み合わせたレンズ群を採用してもよい。
【００１５】
撮像素子３０は、例えば、ｍ（２以上の整数）行×ｎ（２以上の整数）列で配列された複数の画素を備えている。撮像素子３０としては、例えば、ＣＭＯＳ方式の撮像素子やＣＣＤ方式の撮像素子が採用される。なお、撮像素子３０は、同一基板上に形成された１つの撮像素子を複数の受光領域に分けることで構成されてもよいし、同一基板上に複数の撮像素子を形成することで構成してもよいし、別基板の撮像素子を同一平面上に配置することで構成されてもよい。また、アレイレンズ１２は、ほぼ同じ被写体が撮像できるように画角が調整されている。そのため、各撮像素子３０が撮像する画像データはほぼ同じ被写体が映った画像データとなる。
【００１６】
図２は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第１例を示した図である。第１例の配置パターンでは、１行１列目の撮像素子３０には、ＲＧＢモザイクフィルタが配置され、残りの撮像素子３０には、それぞれ、Ｒ（レッド）、Ｇ（グリーン）、又はＢ（ブルー）のいずれかの単色フィルタが配置されている。以下、ＲＧＢモザイクフィルタが配置された撮像素子３０を撮像素子３０１と記述し、単色フィルタが配置された撮像素子３０を撮像素子３０２と記述する。
【００１７】
ここで、撮像素子３０２に配置されたＲ、Ｇ、Ｂの単色フィルタはベイヤー配列で配置されている。また、撮像素子３０１に配置されたＲＧＢモザイクフィルタも、Ｒ、Ｇ、Ｂの色フィルタがベイヤー配列で配置されている。ベイヤー配列としては、Ｇの色フィルタが市松模様状に配置され、残りの領域にＲ、Ｂの色フィルタが１対１の比で配置される態様が採用されるが、これは、一例にすぎない。例えば、市松模様状に配置される色フィルタがＢ又はＲのベイヤー配列を採用してもよい。
【００１８】
具体的には、１行目には、１列目から順に、ＲＧＢモザイクフィルタ、Ｂ、Ｇ、Ｂの単色の色フィルタが配置され、２行目には、１列目から順に、Ｒ、Ｇ、Ｒ、Ｇの単色の色フィルタが配置され、３行目には、１列目から順に、Ｇ、Ｂ、Ｇ、Ｂの単色の色フィルタが
配置され、４行目には、１列目から順に、Ｒ、Ｇ、Ｒ、Ｇの単色の色フィルタが配置されている。
【００１９】
撮像素子３０１は、例えば４行×６列の光電変換領域（画素）３０３に区分され、それぞれの光電変換領域３０３にはＲ、Ｇ、又はＢの単色フィルタが配置されている。ここで、撮像素子３０１には、所定行ｍ×所定列ｎでマトリックス状に複数の画素が配置されている。光電変換領域３０３には１つの画素が配置されている。なお、図２の例では、撮像素子３０１には４行×６列で複数の画素が配列されているが、これは一例にすぎない。例えば、撮像素子３０１の画素数が１Ｍバイト程度となるように複数の画素を配列してもよい。
【００２０】
このように、図２に示す撮像素子アレイ１１では、１つの撮像素子３０１にＲＧＢモザイクフィルタが配置されているため、例えば、動画を撮像する場合、撮像素子３０１により撮像された画像データのみを採用することで、複数の画像データを合成する処理を行うことなく、カラー画像を得ることができる。一方、静止画を撮像する場合、全ての撮像素子３０で撮像された複数の画像データを合成することで高精細なカラー画像を得ることができる。
【００２１】
なお、撮像素子３０１は、分光特性の異なる少なくとも２種類の色フィルタが配置された第１撮像素子の一例に該当する。また、撮像素子３０２は、単色フィルタが配置された第２撮像素子の一例に該当する。
【００２２】
図２では、ＲＧＢモザイクフィルタは１つの撮像素子３０にのみ配置されているが、これは一例にすぎず、例えば２つ、３つというように２つ以上の撮像素子３０に配置されてもよい。また、図２では、１行１列目の撮像素子３０にＲＧＢモザイクフィルタが配置されているが、これは一例であり、中央近傍など他の位置にＲＧＢモザイクフィルタが配置されてもよい。
【００２３】
図３は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第２例を示した図である。第２例の配置パターンでは、２行３列目及び３行２列目の２つの撮像素子３０１に、ＲＧＢモザイクフィルタが配置され、残りの撮像素子３０２には、Ｒ、Ｇ、又はＢのいずれかの単色フィルタが配置されている。それ以外の点は、図２に示す配置パターンと同じである。図３の配置パターンでは、ＲＧＢモザイクフィルタが撮像素子アレイ１１の中央部に設けられている。そのため、動画を撮像する場合、２つの撮像素子３０１で撮像された画像データを合成することでカラー画像が得られ、暗いシーンであってもＳ／Ｎ比の高いカラー画像を得ることができる。よって、図３の配置パターンは暗いシーンにおいて有効である。
【００２４】
図４は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第３例を示した図である。第３例の配置パターンでは、２行３列目の撮像素子３０１にＲＧモザイクフィルタが配置され、３行２列目の撮像素子３０１にＢＧモザイクフィルタが配置されている。それ以外の点は、図２に示す配置パターンと同じである。
【００２５】
ここで、２行３列目の撮像素子３０１は、Ｒの色フィルタとＧの色フィルタとが市松模様状に配置されている。具体的には、２行３列目の撮像素子３０１は、１行目において１列目から順にＲ、Ｇの色フィルタが交互に配置され、２行目において１列目から順にＧ、Ｒの色フィルタが交互に配置されるというように、Ｒ、Ｇの色フィルタが配置されている。
【００２６】
また、３行２列目の撮像素子３０１は、Ｂの色フィルタとＧの色フィルタとが市松模様状に配置されている。具体的には、３行２列目の撮像素子３０１は、１行目において１列目から順にＢ、Ｇの色フィルタが交互に配置され、２行目において１列目から順にＧ、Ｂの色フィルタが交互に配置されるというように、Ｂ、Ｇの色フィルタが配置されている。
【００２７】
図４の配置パターンにおいては、２色のモザイクフィルタが配置された撮像素子３０１が２つ存在している。２色のモザイクフィルタを採用した場合、透過する光の波長帯域が３色のモザイクフィルタを採用した場合に較べて狭くなる。そのため、レンズ２０の小型化を図ることができる。また、レンズ２０の厚みを３色のモザイクフィルタを採用した場合と同じ厚みにすると、レンズ２０の性能を向上させることができる。
【００２８】
なお、図４の配置パターンでは、２行３列目の撮像素子３０１からはＢの情報が得られず、３行２列目の撮像素子３０１からはＲの情報が得られない。しかしながら、両方の撮像素子３０１を合成した場合、Ｒ、Ｇ、Ｂについての情報が得られるため、ＲＧＢのカラー画像が得られる。そのため、図４の配置パターンでは、動画を撮像する場合、２行３列目の撮像素子３０１で得られた画像データと３行２列目の撮像素子３０１で得られた画像データとを合成することでカラー画像を得ることができる。
【００２９】
図５は、図２の配置パターンを採用した場合の撮像装置のブロック図である。撮像装置は、レンズ２０、撮像素子ＲＧＢ、撮像素子Ｇ１〜Ｇｋ（ｋは２以上の整数）、撮像素子Ｂ１〜Ｂｋ、撮像素子Ｒ１〜Ｒｋ、色分離部５０１、スイッチ５０２、画像処理部５０３、ディスプレイ５０４、圧縮部５０５、記録メディア５０６、通信部５０７、メモリＧ１０、Ｂ１０、Ｒ１０、超解像処理部Ｇ３０、Ｂ３０、Ｒ３０、及びメモリＧ２０、Ｂ２０、Ｒ２０を含む。
【００３０】
レンズ２０は、撮像素子ＲＧＢ、撮像素子Ｇ１〜Ｇｋ、撮像素子Ｂ１〜Ｂｋ、及び撮像素子Ｒ１〜Ｒｋのそれぞれに対応して設けられている。撮像素子ＲＧＢは、図２の撮像素子３０１に対応する。撮像素子Ｇ１〜Ｇｋは図２のＧの色フィルタが配置された撮像素子３０２に対応する。撮像素子Ｂ１〜Ｂｋは図２のＢの色フィルタが配置された撮像素子３０２に対応する。撮像素子Ｒ１〜Ｒｋは図２のＲの色フィルタが配置された撮像素子３０２に対応する。
【００３１】
色分離部５０１は、撮像素子ＲＧＢにより撮像された画像データをＲ、Ｇ、Ｂの３つの色成分に分離する。スイッチ５０２は、動画が撮像される場合、色分離部５０１を画像処理部５０３に接続させる。これにより、色分離部５０１により分離されたＲ、Ｇ、Ｂの色成分は画像処理部５０３に出力される。
【００３２】
また、スイッチ５０２は、静止画が撮像される場合、色分離部５０１をメモリＧ１０、Ｂ１０、Ｒ１０に接続させる。これにより、色分離部５０１により分離されたＲ、Ｇ、Ｂの色成分がそれぞれメモリＧ１０、Ｂ１０、Ｒ１０に書き込まれる。
【００３３】
画像処理部５０３は、動画が撮像される場合、色分離部５０１により分離されたＲ、Ｇ、Ｂの色成分の画像データに対して所定の画像処理を行ってカラー画像を生成し、ディスプレイ５０４に出力する。また、画像処理部５０３は、静止画が撮像される場合、メモリＧ２０、Ｂ２０、Ｒ２０のそれぞれから超解像処理された画像データを読み出し、ガンマ補正を行ってカラー画像を生成し、ディスプレイ５０４に出力する。
【００３４】
ここで、所定の画像処理としては、例えば、色補間処理やガンマ補正等が挙げられる。色補間処理としては、例えば、色分離されたＲ、Ｇ、Ｂの色成分の画像データの欠落画素を補間する処理が採用される。ガンマ補正としては、例えば、撮像素子３０により得られた画像データの画像特性をディスプレイ５０４の出力特性に適した特性に補正する処理が採用される。また、画像処理部５０３は、画像処理後の画像データを必要に応じて圧縮部５０５にも出力する。
【００３５】
メモリＧ１０は、撮像素子ＲＧＢにより得られた画像データのＧの色成分の画像データと、撮像素子Ｇ１〜Ｇｋにより得られたｋ枚の画像データとをそれぞれ個別に保持する画像メモリである。メモリＢ１０は、撮像素子ＲＧＢにより得られた画像データのＢの色成分の画像データと、撮像素子Ｂ１〜Ｂｋにより得られたｋ枚の画像データとをそれぞれ個別に保持する画像メモリである。メモリＲ１０は、撮像素子ＲＧＢにより得られた画像データのＲの色成分の画像データと、撮像素子Ｒ１〜Ｒｋにより得られたｋ枚の画像データとをそれぞれ個別に保持する画像メモリである。
【００３６】
超解像処理部Ｇ３０は、メモリＧ１０が保持する画像データに対して超解像処理を実行し、１枚のＧ成分の超解像処理画像を生成し、メモリＧ２０に書き込む。超解像処理部Ｂ３０、Ｒ３０も、それぞれ、超解像処理部Ｇ３０と同様、メモリＢ１０、Ｒ１０が保持する画像データから１枚のＢ成分、Ｒ成分の超解像処理画像を生成し、メモリＢ２０、Ｒ２０に書き込む。ここで、超解像処理部Ｇ３０、Ｂ３０、Ｒ３０は、撮像素子３０の解像度に対するレンズ性能にも依存するが、例えば撮像素子３０の解像度に対して５倍程度のサブピクセルレベルの解像度を持つ画像データを生成する。なお、超解像処理部Ｇ３０、Ｂ３０、Ｒ３０がサブピクセルレベルの画像データを生成するためには、隣接する撮像素子３０で撮像される画像データ同士のずれはサブピクセルレベルであることが好ましい。
【００３７】
図５の例では、超解像処理部Ｇ３０、Ｂ３０、Ｒ３０を設けたがこれに代えて、メモリＧ１０、Ｂ１０、Ｒ１０が保持する画像データを１枚の画像データに合成するＧ加算部、Ｂ加算部、Ｒ加算部を設けてもよい。この場合、Ｇ加算部、Ｂ加算部、及びＲ加算部に、それぞれ、ある撮像素子３０を基準としたときの各撮像素子３０のずれ量を予め記憶させておく。そして、Ｇ加算部、Ｂ加算部、及びＲ加算部は、それぞれ、このずれ量を用いて各撮像素子３０により撮像された画像データを位置合わせした後、加算することで１枚の画像データに合成すればよい。
【００３８】
メモリＧ２０は、超解像処理されたＧの画像データを記憶する。メモリＢ２０、Ｒ２０も、メモリＧ２０と同様、それぞれ、超解像処理されたＢ、Ｒの画像データを記憶する。
【００３９】
圧縮部５０５は、画像処理部５０３から出力された画像データを圧縮する。ここで、圧縮部５０５の圧縮方式としては種々の方式を採用することができる。例えば、動画であれば、圧縮部５０５は、Ｈ．２６４やモーションＪＰＥＧ等の方式で画像データを圧縮すればよい。また、静止画であれば、圧縮部５０５は、ＪＰＥＧ等の方式で画像データを圧縮すればよい。
【００４０】
ディスプレイ５０４は、例えば、液晶パネルや有機ＥＬパネル等の種々の表示装置が採用され、画像処理部５０３から出力された画像データを表示する。記録メディア５０６は、例えば、ハードディスク等の据え置き型の書き換え可能な記憶装置や、メモリカード等の携帯式の書き換え可能な記憶装置により構成され、圧縮部５０５により圧縮された画像データを記憶する。
【００４１】
通信部５０７は、例えば、無線ＬＡＮ、有線ＬＡＮの通信モジュールや、携帯電話の通信モジュールにより構成され、圧縮部５０５により圧縮された画像データを外部に送信すると共に、外部から画像データを受信する。
【００４２】
次に、動画が撮像される際の撮像装置の動作について説明する。まず、撮像素子ＲＧＢにより被写体が撮像され、画像データが撮像される。撮像された画像データは、色分離部５０１により、Ｒ、Ｇ、Ｂの色成分の画像データに分離され、スイッチ５０２を介して画像処理部５０３に入力される。そして、画像処理部５０３に入力された画像データはガンマ補正や色補間処理が行われ、Ｒ、Ｇ、Ｂの３つの色成分からなる画像データにされ、ディスプレイ５０４に表示される。また、この画像データは、例えばユーザから記憶指示が入力された場合、圧縮部５０５により圧縮された後、記録メディア５０６に記憶される。また、この画像データは、例えばユーザにより送信指示が入力された場合、通信部５０７により外部に送信される。
【００４３】
次に、静止画が撮像される場合の撮像装置の動作について説明する。まず、全ての撮像素子３０により被写体が撮像され、画像データが取得される。撮像素子ＲＧＢで撮像されたＧの画像データ及び撮像素子Ｇ１〜Ｇｋで撮像されたＧの画像データは、一旦、メモリＧ１０に記憶される。同様にして、撮像素子ＲＧＢで撮像されたＢの画像データ及び撮像素子Ｂ１〜Ｂｋで撮像されたＢの画像データも、一旦、メモリＢ１０に記憶され、撮像素子ＲＧＢで撮像されたＲの画像データ及び撮像素子Ｒ１〜Ｒｋで撮像されたＲの画像データも、一旦、メモリＲ１０に記憶される。
【００４４】
次に、超解像処理部Ｇ３０は、メモリＧ１０に記憶されたＧの画像データを超解像処理により１枚のＧの画像データに合成し、メモリＧ２０に書き込む。同様に、超解像処理部Ｂ３０、Ｒ３０も、それぞれ、メモリＢ１０、Ｒ１０に記憶されたＢ、Ｒの画像データを１枚のＢ、Ｒの画像データに合成し、メモリＢ２０、Ｒ２０に書き込む。
【００４５】
次に、メモリＧ２０、Ｂ２０、Ｒ２０に記憶された超解像処理後のＧ、Ｂ、Ｒの画像データは、画像処理部５０３によりガンマ補正、色補間処理、等の画像処理が行われディスプレイ５０４に表示される。また、超解像処理後のＲ、Ｇ、Ｂの画像データは画像処理部での画像処理後、必要に応じて記録メディア５０６に記憶される、或いは、通信部５０７により外部に送信される。
【００４６】
なお、上記の撮像装置では静止画を撮像する場合、全ての撮像素子３０により撮像された画像データを合成させていたが、これに限定されず、撮像素子ＲＧＢにより撮像された画像データを静止画として採用してもよい。撮像した画像データを例えばソーシャルネットワークの運営サイトにアップロードするような場合、高画質の画像データは要求されないため、撮像素子ＲＧＢで撮像された画像データを静止画として採用しても問題ない。
【００４７】
また、動画及び静止画の撮像の切り替えは、例えば、撮像装置に操作部を設け、ユーザに操作部を操作させて動画モード又は静止画モードを選択させるようにすればよい。
【００４８】
図９は、図３の配置パターンを採用した場合の撮像装置のブロック図である。図９では、２つの撮像素子ＲＧＢ１、ＲＧＢ２が設けられているため、撮像素子ＲＧＢ１、ＲＧＢ２のそれぞれに対応して２つの色分離部５０１、５０８が設けられている。また、図９では、撮像素子ＲＧＢ１、ＲＧＢ２で撮像された画像データを合成するための合成部５０９が設けられている。撮像素子ＲＧＢ１は、例えば図３において２行３列目の撮像素子３０１に対応し、撮像素子ＲＧＢ２は、例えば図３において３行２列目の撮像素子３０１に対応している。なお、図９において、図５と同じ構成のものは説明を省略する。
【００４９】
スイッチ５０２は、動画が撮像される場合、色分離部５０１及び色分離部５０８を合成部５０９に接続させる。また、スイッチ５０２は、静止画が撮像される場合、色分離部５０１及び色分離部５０８をメモリＧ１０、Ｂ１０、Ｒ１０に接続させる。
【００５０】
色分離部５０１は、撮像素子ＲＧＢ１により撮像された画像データをＲ、Ｇ、Ｂの３つの色成分に分離する。色分離部５０８も、色分離部５０１と同様、撮像素子ＲＧＢ２により撮像された画像データをＲ、Ｇ、Ｂの色成分に分離する。
【００５１】
メモリＧ１０は、色分離部５０１及び色分離部５０８により色分離された２枚のＧの色成分の画像データと、撮像素子Ｇ１〜Ｇｋにより撮像されたｋ枚のＧの色成分の画像データとを保持する。
【００５２】
メモリＢ１０、Ｒ１０も、それぞれ、メモリＧ１０と同様、Ｂ、Ｒの色成分の画像データを保持する。
【００５３】
合成部５０９は、動画が撮像される場合、色分離部５０１により色分離されたＲ、Ｇ、Ｂの色成分の画像データと、色分離部５０８により色分離されたＲ、Ｇ、Ｂの色成分の画像データとを１枚の画像データに合成する。ここで、合成部５０９は撮像素子ＲＧＢ１と撮像素子ＲＧＢ２とのずれ量を予め記憶しておく。そして、色分離部５０８は、このずれ量を用いて色分離部５０１により色分離された画像データと色分離部５０８により色分離された画像データとを位置合わせして色成分毎に加算し、Ｒ、Ｇ、Ｂの色成分からなる１枚の画像データを生成する。この場合、合成部５０９は位置合わせと加算処理とを行えば済むため、低負荷で画像データを合成することができる。但し、これは一例であり、合成部５０９は超解像処理を用いて、撮像素子ＲＧＢ１により撮像された画像データと撮像素子ＲＧＢ２により撮像された画像データとを合成してもよい。なお、超解像処理を採用した場合、位置合わせ及び加算処理を行う場合に比べて処理負荷が大きくなるが、撮像素子ＲＧＢ１、ＲＧＢ２の画像数が少なければ、負荷は低くなるため、ある限定された条件下（例えばフレームレートが小さい場合）には、合成部５０９は超解像処理を採用しても問題ない。
【００５４】
図１０は、図４の配置パターンを採用した場合の撮像装置のブロック図である。図１０では、２つの撮像素子ＲＧ、ＢＧが設けられているため、撮像素子ＲＧ、ＢＧのそれぞれに対応して２つの色分離部５０１、５０８が設けられている。また、図１０では、撮像素子ＲＧ、ＢＧで撮像された画像データを合成するための合成部５０９が設けられている。なお、図１０において、図９と同じ構成のものは説明を省略する。
【００５５】
図１０の撮像装置では、動画を撮像する場合、合成部５０９は、撮像素子ＲＧと撮像素子ＢＧとの２つの撮像素子３０により撮像された２つの画像データからＧの色成分の画像データを生成し、撮像素子ＢＧにより撮像された画像データからＢの色成分の画像データを生成し、撮像素子ＲＧにより撮像された画像データからＲの色成分の画像データを生成する。この場合、合成部５０９はＧの色成分の画像データのみを加算すればよい。なお、合成部５０９は、超解像処理を用いて、２つのＧの色成分の画像データを合成してもよい。
【００５６】
図６は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第４例を示した図である。第４例の配置パターンでは、１行１列目の撮像素子３０１には、ＹＭＧＣモザイクフィルタが配置され、残りの撮像素子３０２には、それぞれ、Ｒ、Ｇ、又はＢのいずれかの単色フィルタが配置されている。それ以外の点は、図２に示す配置パターンと同じである。
【００５７】
ＹＭＣＧモザイクフィルタは、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）、Ｇ（グリーン）の分光特性を持つ色フィルタが配列されている。図６の例では、Ｙ、Ｍ、Ｃ、Ｇの色フィルタは４行×６列で配列されているが、これは一例にすぎず、他のパターン、画素数で配列されてもよい。
【００５８】
図６の配置パターンを採用した場合、撮像装置のブロック図は図５で示すものを採用すればよい。具体的には、図５において、撮像素子ＲＧＢを図６に示すＹＭＣＧモザイクフィルタが配置された撮像素子３０１に置き換える。以下、ＹＭＣＧモザイクフィルタが配置された撮像素子３０１を撮像素子ＹＭＣＧと記述する。色分離部５０１は、撮像素子ＹＭＣＧで撮像された画像データをＹ、Ｍ、Ｃ、Ｇの４つの色成分に分離する。画像処理部５０３は、動画が撮像される場合、色分離部５０１により色分離されたＹ、Ｍ、Ｃ、Ｇの４つの色成分を演算処理によりＲ，Ｇ，Ｂの３つの色成分に変換し、さらに階調変換などの画像処理をしてディスプレイ５０４に表示する。ここで、Ｙ、Ｍ、Ｃ、Ｇの４つの色成分をＲ、Ｇ、Ｂの３つの色成分に変換する処理は、色分離部５０１が行ってもよい。
【００５９】
また、色分離部５０１は、静止画が撮像される場合、撮像素子ＹＭＣＧで撮像された画像データをＹ、Ｍ、Ｃ、Ｇの４つの色成分に分離した後、演算処理によりＲ、Ｇ、Ｂの色成分に変換し、それぞれ、メモリＧ１０、Ｂ１０、Ｒ１０に書き込む。
【００６０】
図７は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第５例を示した図である。第５例の配置パターンでは、１行１列目の撮像素子３０１には、ＷＲＧＢモザイクフィルタが配置され、残りの撮像素子３０２には、それぞれ、Ｒ、Ｇ、又はＢのいずれかの単色フィルタが配置されている。それ以外の点は、図２に示す配置パターンと同じである。
【００６１】
ＷＲＧＢモザイクフィルタは、色フィルタが配置されていないＷ（ホワイト）の領域と、Ｂ（ブルー）、Ｒ（レッド）、Ｇ（グリーン）の分光特性を持つ色フィルタとがモザイク状に配置されたフィルタである。以下、説明の便宜上、Ｗの領域にはＷの色フィルタが配置されているとして説明するが、実際にはＷの領域にはＷの色フィルタは配置されていない。
【００６２】
図７の例では、Ｗ、Ｒ、Ｇ、Ｂの色フィルタは４行×６列で配列されているが、これは一例にすぎず、他の配列パターンで配列されてもよい。
【００６３】
図７の配置パターンを採用した場合、撮像装置のブロック図は図５で示すものを採用すればよい。具体的には、図５において、撮像素子ＲＧＢを図７に示すＷＲＧＢモザイクフィルタが配置された撮像素子３０１に置き換える。以下、ＷＲＧＢモザイクフィルタが配置された撮像素子３０１を撮像素子ＷＲＧＢと記述する。色分離部５０１は、撮像素子ＷＲＧＢで撮像された画像データをＷ、Ｒ、Ｇ、Ｂの４つの色成分に分離する。そして、画像処理部５０３は、動画が撮像される場合、色分離部５０１により色分離されたＷ、Ｒ、Ｇ、Ｂの４つの色成分を演算処理によりＲ，Ｇ，Ｂの３つの色成分に変換し、さらに階調変換などの画像処理をしてディスプレイ５０４に表示すればよい。ここで、Ｗ、Ｒ、Ｇ、Ｂの４つの色成分をＲ、Ｇ、Ｂの３つの色成分に変換する処理は、色分離部５０１が行ってもよい。
【００６４】
また、色分離部５０１は、静止画が撮像される場合、撮像素子ＷＲＧＢで撮像された画像データをＷ、Ｒ、Ｇ、Ｂの４つの色成分に分離した後、Ｇ、Ｂ、Ｒの色成分に変換し、それぞれ、メモリＧ１０、Ｂ１０、Ｒ１０に書き込めばよい。
【００６５】
図８は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第６例を示した図である。第６例の配置パターンでは、１行１列目の撮像素子３０１には、ＷＹＲモザイクフィルタが配置され、残りの撮像素子３０２には、それぞれ、Ｒ、Ｇ、又はＢのいずれかの単色フィルタが配置されている。それ以外の点は、図２に示す配置パターンと同じである。
【００６６】
ＷＹＲモザイクフィルタは、色フィルタが配置されていないＷ（ホワイト）の領域と、Ｙ（イエロー）、Ｒ（レッド）の分光特性を持つ色フィルタが配置された領域とがモザイク状に配列されている。図８の例では、Ｗの色フィルタが市松模様状に配列され、残りの領域にＲの色フィルタとＹの色フィルタとが１対１の比で配列されているが、これは一例にすぎず、市松模様状に配列される色フィルタをＲ又はＹの色フィルタとしてもよい。また、図８の例では、Ｗ、Ｙ、Ｒの色フィルタは４行×６列で配列されているが、これは一例にすぎず、他のパターンで配列されてもよい。
【００６７】
図８の配置パターンを採用した場合、撮像装置のブロック図は図５で示すものを採用すればよい。具体的には、図５において、撮像素子ＲＧＢを図８に示すＷＹＲモザイクフィルタが配置された撮像素子３０１に置き換える。以下、ＷＹＲモザイクフィルタが配置された撮像素子３０１を撮像素子ＷＹＲと記述する。色分離部５０１は、撮像素子ＷＹＲで撮像された画像データをＷ、Ｙ、Ｒの３つの色成分に分離する。そして、画像処理部５０３は、動画が撮像される場合、色分離部５０１により色分離されたＷ、Ｙ、Ｒの色成分を演算処理によりＲ，Ｇ，Ｂの色成分に変換し、さらに階調変換などの画像処理をしてディスプレイ５０４に表示すればよい。ここで、Ｗ、Ｙ、Ｒの色成分をＲ、Ｇ、Ｂの色成分に変換する処理は、色分離部５０１が行ってもよい。
【００６８】
また、色分離部５０１は、静止画が撮像される場合、撮像素子ＷＹＲで撮像された画像データをＷ、Ｙ、Ｒの３つの色成分に分離した後、演算処理によりＧ、Ｂ、Ｒの色成分に変換し、それぞれ、メモリＧ１０、Ｂ１０、Ｒ１０に書き込めばよい。
【００６９】
なお、図６〜図８の配置パターンでは、撮像素子３０１を１行１列目に配置したが、これは一例にすぎず、他の位置に配置してもよい。また、撮像素子３０１を複数配置してもよい。撮像素子３０１を複数配置した場合は、図９に示す撮像素子のブロック図を採用すればよい。
【００７０】
このように、本実施の形態の撮像装置によれば、動画を撮像する場合、少なくとも２色のモザイクフィルタが配置された撮像素子３０１により撮像された画像データを採用することで、動画撮像時の負荷を抑制し、消費電力を抑制することができる。なお、上記実施の形態では、撮像素子３０１の個数を１又は２つとしたがこれに限定されず、３つ以上にしてもよい。
【００７１】
（実施の形態の纏め）
（１）本実施の形態による撮像装置は、マトリックス状に配置された複数の光学系と、各光学系に対応した撮像素子を備える撮像素子アレイとを含み、前記撮像素子アレイは、分光特性の異なる少なくとも２種類の色フィルタが配置された第１撮像素子と、１種類の色フィルタが配置された第２撮像素子とを含む。
【００７２】
この構成によれば、複数の撮像素子がマトリックス状に配列されて撮像素子アレイが構成されている。そして、撮像素子アレイは、２種類の色フィルタが配置された第１撮像素子と、１種類の色フィルタが配置された第２撮像素子とを含む。そのため、高速処理が要求される動画を撮像する場合、第１撮像素子により撮像された画像データを合成してカラー画像を生成することができる。
【００７３】
すなわち、第１撮像素子により撮像された画像データからカラー画像を合成する場合、全ての撮像素子により撮像された画像データからカラー画像を合成する場合に比べて処理負担が減少するため、カラー画像を高速に得ることができる。また、処理負担の減少により、省電力化が図られる。
【００７４】
なお、第１撮像素子が１つであれば、複数の画像データを合成する必要がなく、より高速にカラー画像を生成することができる。また、第２撮像素子に第１撮像素子とは異なる分光特性の色フィルタを配置することで、第１撮像素子及び第２撮像素子により撮像された画像データを合成し、３つの色成分を持つカラー画像データを高速に生成することもできる。
【００７５】
更に、動画に比べて高速処理が要求されない静止画を撮像する場合、全ての撮像素子により撮像された画像データを超解像処理等を用いて合成することで高精細なカラー画像を得ることができる。
【００７６】
（２）前記第１撮像素子は、少なくとも２色のモザイクフィルタが配置され、前記第２撮像素子は、単色フィルタが配置されていることが好ましい。
【００７７】
この構成によれば、第１撮像素子には少なくとも２色のモザイクフィルタが配置されているため、少なくとも２色の色成分を持つカラー画像をリアルタイムで得ることができる。また、第２撮像素子には、単色フィルタが配置されているため、第１撮像素子及び第２撮像素子により得られた画像データを合成することで高精細なカラー画像が得られる。
【００７８】
（３）少なくとも１つの前記第２撮像素子に配置された単色フィルタは、前記モザイクフィルタを構成するいずれか１つの色と同色であることが好ましい。
【００７９】
この構成によれば、第２撮像素子に配置された単色フィルタは第１撮像素子に配置されたモザイクフィルタのいずれか１つの色と同色であるため、第１撮像素子及び第２撮像素子により得られた画像データを合成することで、当該色についてはより高精細な画像データを得ることができる。
【００８０】
（４）前記第１撮像素子は、動画の画像データを得るために使用されることが好ましい。
【００８１】
この構成によれば、第１撮像素子は動画の画像データを得る際に使用される。そのため、全ての撮像素子により撮像された画像データを合成して動画の画像データを生成する場合に比べて、より高速に動画のカラー画像を得ることができる。
【００８２】
（５）前記第１撮像素子は、ＲＧＢモザイクフィルタが配置されていることが好ましい。
【００８３】
この構成によれば、第１撮像素子には、ＲＧＢモザイクフィルタが配置されているため、ＲＧＢの色成分を持つカラーの動画像をリアルタイムに生成することができる。
【００８４】
（６）前記第１撮像素子は、複数存在し、少なくとも１つの前記第１撮像素子は、ＧＲモザイクフィルタが配置され、残りの前記第１撮像素子は、ＧＢモザイクフィルタが配置されていることが好ましい。
【００８５】
この構成によれば、第１撮像素子には２色の色フィルタが配置されているため、３色の色フィルタを配置した場合に比べ、光学系を透過する波長帯域が狭くなり、第１撮像素子に配置する光学系を小型化することができる。また、少なくとも１つの第１撮像素子には、ＧＲモザイクフィルタが配置され、残りの第１撮像素子には、ＧＢモザイクフィルタが配置されているため、両第１撮像素子で撮像された画像データを合成することで、ＲＧＢの色成分を持つカラーの動画像をリアルタイムに生成することができる。
【００８６】
（７）前記第１撮像素子は、ＹＭＣＧモザイクフィルタが配置されていることが好ましい。
【００８７】
この構成によれば、ＲＧＢモザイクフィルタに較べて一般的に高感度であるＹＭＣＧモザイクフィルタが第１撮像素子に配置されているため、より高感度となり、Ｓ／Ｎの良い画像データをリアルタイムに得ることができる。
【００８８】
（８）前記第１撮像素子は、ＷＲＧＢモザイクフィルタが配置されていることが好ましい。
【００８９】
この構成によれば、ＲＧＢに加えてＷ（ホワイト）の色成分の画像データが得られる。ここで、Ｗの色成分は、全帯域に分光感度を持っている。そのため、Ｗの色成分の画像データを用いて、ＲＧＢの色成分の画像データを生成することで、より高感度となり、Ｓ／Ｎの良い画像データを得ることができる。
【００９０】
（９）前記第１撮像素子は、ＷＹＲモザイクフィルタが配置されていることが好ましい。
【００９１】
この構成によれば、Ｗの色成分の画像データが得られるため、より高感度となり、Ｓ／Ｎの良いカラー画像をリアルタイムに得ることができる。
【００９２】
（１０）前記第２撮像素子は、Ｒ、Ｇ、又はＢの単色フィルタが配置されていることが好ましい。
【００９３】
この構成によれば、第２撮像素子には、Ｒ、Ｇ、又はＢの単色フィルタが配置されているため、第２撮像装置により得られた画像データを合成することで、高精細なカラー画像が得られる。
【図１】
2014091706.tif 000003
【図２】
2014091706.tif 000004
【図３】
2014091706.tif 000005
【図４】
2014091706.tif 000006
【図５】
2014091706.tif 000007
【図６】
2014091706.tif 000008
【図７】
2014091706.tif 000009
【図８】
2014091706.tif 000010
【図９】
2014091706.tif 000011
【図１０】
2014091706.tif 000012
【国際調査報告】
2014091706.tif 000013
2014091706.tif 000014
2014091706.tif 000015
2014091706.tif 000016