(57)【要約】【課題】画質の向上を図ることができる撮像装置を提供する。【解決手段】この撮像装置１００は、撮像素子１０１と、その撮像素子１０１の撮像面に投影される光学像に対するその撮像面の相対位置を変化させるアクチュエータ１０３ａ，１０３ｂと、撮像素子１０１から出力される画素データを合成することによって、合成画像を生成する合成部１０８とを備え、アクチュエータ１０３ａ，１０３ｂは、第１の色に対応する第１受光部の受光領域を、光学像の画素領域内における複数の位置のそれぞれに順に配置し、合成部１０８は、その画素領域内において第１受光部の受光領域が複数の位置のそれぞれに順に配置されたときに第１受光部から出力される画素データを加算することによって、その画素領域における第１の色の画素値を算出する。【選択図】図４
2019176280.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ一面に沿って互いに離間して配置され、カラーフィルタに含まれるＲＧＢのうちの何れかの色の透光部を透過した光を受光する複数の受光部を有する撮像素子と、
前記撮像素子の撮像面に投影される光学像に対する前記撮像面の相対位置を変化させる駆動部と、
前記撮像素子が露光されるごとに前記撮像素子の前記複数の受光部のそれぞれから出力される画素データを合成することによって、合成画像を生成する合成部とを備え、
前記駆動部は、
前記相対位置を変化させることによって、前記ＲＧＢのうちの何れかの色である第１の色に対応する第１受光部の受光領域を、前記光学像の画素領域内において、前記複数の受光部の間隔よりも短い距離だけ互いに離れた複数の位置のそれぞれに順に配置し、
前記合成部は、
前記画素領域内において前記第１受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第１受光部から出力される画素データを加算することによって、前記画素領域における前記第１の色の画素値を、前記合成画像に含まれる画素値として算出する
撮像装置。
【請求項２】
前記光学像における前記画素領域は、
前記撮像面における１つの受光部の受光領域の全体と、前記受光領域の周囲の非受光領域とに重なり、かつ、他の受光部の受光領域に重ならない大きさを有する
請求項１に記載の撮像装置。
【請求項３】
前記撮像装置は、さらに、
前記撮像素子の前記複数の受光部のそれぞれから出力される画素データを格納するためのメモリと、
前記メモリに格納された画素データの画素位置をシフトするシフタとを備え、
前記駆動部は、さらに、
前記相対位置を変化させることによって、前記ＲＧＢのうちの前記第１の色と異なる第２の色に対応する第２受光部の受光領域を、前記画素領域内における前記複数の位置のそれぞれに順に配置し、
前記シフタは、
前記第２受光部から出力される画素データが前記メモリに転送された場合には、前記メモリに格納された前記第２受光部の画素データの画素位置を、前記第１受光部の画素データの画素位置にシフトし、
前記合成部は、
前記画素領域内において前記第２受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第２受光部から出力されて、かつシフトされた画素データを加算することによって、前記画素領域における前記第２の色の画素値を、前記合成画像に含まれる画素値として算出する
請求項１または２に記載の撮像装置。
【請求項４】
前記カラーフィルタに含まれる複数の前記透光部の配列は、ベイヤー配列である
請求項３に記載の撮像装置。
【請求項５】
前記カラーフィルタは、それぞれＲの透光部と、２つのＧの透光部と、Ｂの透光部とを含む複数の組からなり、
前記複数の位置は、４つの位置であり、
前記駆動部は、
前記第１受光部および前記第２受光部のそれぞれの受光領域を配置するときには、
前記第１の色であるＲに対応する前記第１受光部の受光領域を、前記４つの位置に順に配置し、
前記第２の色であるＢに対応する前記第２受光部の受光領域を、前記４つの位置に順に配置し、
さらに、前記相対位置を変化させることによって、
第３の色であるＧに対応する第３受光部の受光領域を、前記４つの位置に順に配置し、
第４の色であるＧに対応する第４受光部の受光領域を、前記４つの位置に順に配置し、
前記シフタは、さらに、
前記第３受光部から出力される画素データが前記メモリに転送された場合には、前記メモリに格納された前記第３受光部の画素データの画素位置を、前記第１受光部の画素データの画素位置にシフトし、
前記第４受光部から出力される画素データが前記メモリに転送された場合には、前記メモリに格納された前記第４受光部の画素データの画素位置を、前記第１受光部の画素データの画素位置にシフトし、
前記合成部は、さらに、
前記画素領域内において前記第３受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第３受光部から出力されて、かつシフトされた画素データを加算することによって、前記画素領域における前記第３の色の画素値を算出し、
前記画素領域内において前記第４受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第４受光部から出力されて、かつシフトされた画素データを加算することによって、前記画素領域における前記第４の色の画素値を算出し、
前記第３の色の画素値と前記第４の色の画素値との平均値を、前記合成画像に含まれるＧの画素値として算出する
請求項４に記載の撮像装置。
【請求項６】
前記カラーフィルタに含まれる複数の前記透光部の配列は、デルタ配列である
請求項１〜３の何れか１項に記載の撮像装置。
【請求項７】
それぞれ一面に沿って互いに離間して配置され、カラーフィルタに含まれるＲＧＢのうちの何れかの色の透光部を透過した光を受光する複数の受光部を有する撮像素子を用いる撮像方法であって、
前記撮像素子の撮像面に投影される光学像に対する前記撮像面の相対位置を変化させ、
前記撮像素子が露光されるごとに前記撮像素子の前記複数の受光部のそれぞれから出力される画素データを合成することによって、合成画像を生成し、
前記撮像面の相対位置の変化では、
前記相対位置を変化させることによって、前記ＲＧＢのうちの何れかの色である第１の色に対応する第１受光部の受光領域を、前記光学像の画素領域内において、前記複数の受光部の間隔よりも短い距離だけ互いに離れた複数の位置のそれぞれに順に配置し、
前記合成画像の生成では、
前記画素領域内において前記第１受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第１受光部から出力される画素データを加算することによって、前記画素領域における前記第１の色の画素値を、前記合成画像に含まれる画素値として算出する
撮像方法。
【請求項８】
それぞれ一面に沿って互いに離間して配置され、カラーフィルタに含まれるＲＧＢのうちの何れかの色の透光部を透過した光を受光する複数の受光部を有する撮像素子を用いて撮像を行うためのプログラムであって、
前記撮像素子の撮像面に投影される光学像に対する前記撮像面の相対位置を変化させ、
前記撮像素子が露光されるごとに前記撮像素子の前記複数の受光部のそれぞれから出力される画素データを合成することによって、合成画像を生成することを、
コンピュータに実行させ、
前記撮像面の相対位置の変化では、
前記相対位置を変化させることによって、前記ＲＧＢのうちの何れかの色である第１の色に対応する第１受光部の受光領域を、前記光学像の画素領域内において、前記複数の受光部の間隔よりも短い距離だけ互いに離れた複数の位置のそれぞれに順に配置し、
前記合成画像の生成では、
前記画素領域内において前記第１受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第１受光部から出力される画素データを加算することによって、前記画素領域における前記第１の色の画素値を、前記合成画像に含まれる画素値として算出する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラなどに用いられる撮像装置などに関する。
【背景技術】
【０００２】
従来、撮像素子と、撮像素子の撮像面に投影される光学像との相対位置をずらしながら得られる画像データを合成することによって合成画像を生成する撮像装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２２６２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の撮像装置では、画質の向上が難しいという課題がある。
【０００５】
そこで、本発明は、画質の向上を図ることができる撮像装置を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る撮像装置は、それぞれ一面に沿って互いに離間して配置され、カラーフィルタに含まれるＲＧＢのうちの何れかの色の透光部を透過した光を受光する複数の受光部を有する撮像素子と、前記撮像素子の撮像面に投影される光学像に対する前記撮像面の相対位置を変化させる駆動部と、前記撮像素子が露光されるごとに前記撮像素子の前記複数の受光部のそれぞれから出力される画素データを合成することによって、合成画像を生成する合成部とを備え、前記駆動部は、前記相対位置を変化させることによって、前記ＲＧＢのうちの何れかの色である第１の色に対応する第１受光部の受光領域を、前記光学像の画素領域内において、前記複数の受光部の間隔よりも短い距離だけ互いに離れた複数の位置のそれぞれに順に配置し、前記合成部は、前記画素領域内において前記第１受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第１受光部から出力される画素データを加算することによって、前記画素領域における前記第１の色の画素値を、前記合成画像に含まれる画素値として算出する。
【０００７】
また、本開示の一態様に係る撮像方法は、それぞれ一面に沿って互いに離間して配置され、カラーフィルタに含まれるＲＧＢのうちの何れかの色の透光部を透過した光を受光する複数の受光部を有する撮像素子を用いる撮像方法であって、前記撮像素子の撮像面に投影される光学像に対する前記撮像面の相対位置を変化させ、前記撮像素子が露光されるごとに前記撮像素子の前記複数の受光部のそれぞれから出力される画素データを合成することによって、合成画像を生成し、前記撮像面の相対位置の変化では、前記相対位置を変化させることによって、前記ＲＧＢのうちの何れかの色である第１の色に対応する第１受光部の受光領域を、前記光学像の画素領域内において、前記複数の受光部の間隔よりも短い距離だけ互いに離れた複数の位置のそれぞれに順に配置し、前記合成画像の生成では、前記画素領域内において前記第１受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第１受光部から出力される画素データを加算することによって、前記画素領域における前記第１の色の画素値を、前記合成画像に含まれる画素値として算出する。
【０００８】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
【発明の効果】
【０００９】
本開示の撮像装置は、画質の向上を図ることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、補間処理の原理を示す図である。
【図２】図２は、非受光領域を有する撮像素子による補間処理を示す図である。
【図３】図３は、撮像素子の位置決め誤差の例を示す図である。
【図４】図４は、実施の形態における撮像装置の構成を示すブロック図である。
【図５】図５は、実施の形態における撮像素子の断面を示す図である。
【図６】図６は、実施の形態における撮像素子の撮像面における各領域を示す図である。
【図７】図７は、実施の形態におけるメモリ、シフタ、ＲＧＢ分解部および合成部の処理を説明するための図である。
【図８】図８は、実施の形態における、光学像に対する撮像素子の撮像面の相対位置の変化を示す図である。
【図９】図９は、実施の形態におけるシーケンサおよび撮像素子のそれぞれの動作モードの遷移と、撮像素子の動きとを示す図である。
【図１０】図１０は、実施の形態における撮像素子の移動によって、光学像に対してずらされる各受光領域の位置を示す図である。
【図１１】図１１は、実施の形態における撮像装置の処理動作を示すフローチャートである。
【図１２】図１２は、実施の形態の変形例における撮像装置の構成を示すブロック図である。
【図１３】図１３は、実施の形態の変形例における、メモリ、シフタ、ＲＧＢ分解部および合成部の処理を説明するための図である。
【図１４】図１４は、実施の形態の変形例における、光学像に対する撮像素子の撮像面の相対位置の変化を示す図である。
【図１５】図１５は、実施の形態の変形例における、シーケンサおよび撮像素子のそれぞれの動作モードの遷移と、撮像素子の動きとを示す図である。
【図１６】図１６は、実施の形態の本変形例における、画素領域に対する受光領域のずれを示す図である。
【発明を実施するための形態】
【００１１】
（本開示の基礎となった知見）
ベイヤー配列の撮像素子を有する撮像装置は、その撮像素子に含まれる各受光部から、光の三原色のそれぞれの色の信号を出力する。つまり、各受光部は、Ｒ（赤色）の信号、Ｇ（緑色）の信号、またはＢ（青色）の信号を出力する。また、ベイヤー配列では、Ｇの信号を出力する受光部の数は、Ｒの信号またはＢの信号を出力する受光部の数よりも２倍多い。なお、これらの受光部から出力される信号を、以下、画素データという。
【００１２】
しかし、このような撮像装置は、１つの受光部の位置において、Ｒ、ＧまたはＢの画素データしか得ることができず、ＲＧＢのすべての色の画素データを得ることができない。
【００１３】
そこで、１つの受光部において実際に得らえていない色の画素データを、他の受光部の画素データから電気的信号処理によって生成することが考えられる。
【００１４】
しかし、このような電気的信号処理によって生成される画素データは、実際の画素データではないために信頼性が低い。
【００１５】
そこで、撮像素子の撮像面に投影される光学像に対するその撮像面の相対位置を機械的に変化させることによって、１つの受光部の位置において、すなわち光学像内の同一領域において、ＲＧＢのすべての色の画素データを得る補間処理が提案されている。
【００１６】
図１は、補間処理の原理を示す図である。
【００１７】
撮像素子の撮像面には、レンズなどの光学系によって光学像が投影される。このとき、例えば、図１の（ａ）に示すように、撮像素子の撮像面におけるＧの受光領域のみに、光学像が投影される。受光領域は、光がカラーフィルタの透光部を介して１つの受光部によって受光される領域である。なお、受光領域に投影される光のうち、透光部に対して予め定められたＲ、ＧまたはＢの光だけがその透光部を透過する。したがって、受光領域には、Ｒ、ＧおよびＢの光が投影されるが、それらの光のうち、透光部を透過した光のみが、受光部によって受光される。上述のＧの受光領域には、Ｇの透光部が配置されているため、受光部は、Ｇの光のみを受光して、その受光された光に応じたＧの画素データを出力する。
【００１８】
次に、撮像素子は、図１の（ｂ）に示すように、１画素ピッチだけ左に移動する。これにより、光学像は、Ｒの受光領域に投影される。したがって、このときには、Ｒの受光領域の受光部が、Ｒの画素データを出力する。なお、１画素ピッチは、隣り合う受光部間の距離である。
【００１９】
次に、撮像素子は、図１の（ｃ）に示すように、図１の（ｂ）に示す位置から１画素ピッチだけ上に移動する。これにより、光学像は、Ｇの受光領域に投影される。したがって、このときには、Ｇの受光領域の受光部が、Ｇの画素データを出力する。なお、このときに光学像が投影されるＧの受光領域は、図１の（ａ）に示すＧの受光領域とは異なる。
【００２０】
さらに、撮像素子は、図１の（ｄ）に示すように、図１の（ｃ）に示す位置から１画素ピッチだけ右に移動する。これにより、光学像は、Ｂの受光領域に投影される。したがって、このときには、Ｂの受光領域の受光部が、Ｂの画素データを出力する。
【００２１】
このような図１の（ａ）〜（ｄ）に示す処理によって、光学像の位置において、ＲＧＢの全ての色の画素データを得ることができる。
【００２２】
しかし、近年は撮像素子の高画素数化に伴い画素ピッチが微細化し、正確に１画素ピッチのみ撮像素子を移動させることがますます困難になってきている。そのため、移動する撮像素子に位置決め誤差がある場合には、光の三原色のバランスがくずれて、色むらが生じる可能性がある。また、実際の撮像素子では、撮像面において各受光領域が隙間なく配列されておらず、各受光領域の間に、光を受光することができない非受光領域が存在する。
【００２３】
図２は、非受光領域を有する撮像素子による補間処理を示す図である。
【００２４】
図２に示すように、撮像素子の撮像面における、Ｒの受光領域、Ｇの受光領域およびＢの受光領域のそれぞれの間には、非受光領域が存在する。
【００２５】
このような撮像素子に対しても、例えば図２の（ａ）〜（ｄ）に示すように、図１と同様の補間処理が行われる。なお、図２では、光学像内の輝度などが全体的に均一ではなく、例えばエッジなどが含まれている例が示されている。
【００２６】
しかし、このような撮像素子であっても、撮像素子の位置決め誤差によって、色むらが生じる可能性がある。
【００２７】
図３は、撮像素子の位置決め誤差の例を示す図である。
【００２８】
例えば、図２の（ｄ）に示すように、１画素ピッチだけ撮像素子を右に動かして停止させることができず、図３に示すように、撮像素子の位置が所定の位置からずれてしまうことがある。
【００２９】
このような場合に、光学像にエッジなどが含まれていると、Ｂの受光領域には、他のＲおよびＧのそれぞれの受光領域とは異なる光が投影される。その結果、光の三原色のバランスがくずれて、色むらが生じてしまう。なお、上述のように、所定の位置に撮像素子を配置することができない場合に生じる、その所定の位置からの撮像素子の位置のずれを、本開示では、位置決め誤差という。
【００３０】
また、上記特許文献１の技術では、撮像素子をずらして解像度を高めようとしているが、上述のような色むらが生じる可能性がある。
【００３１】
そこで、本開示の一態様に係る撮像装置は、それぞれ一面に沿って互いに離間して配置され、カラーフィルタに含まれるＲＧＢのうちの何れかの色の透光部を透過した光を受光する複数の受光部を有する撮像素子と、前記撮像素子の撮像面に投影される光学像に対する前記撮像面の相対位置を変化させる駆動部と、前記撮像素子が露光されるごとに前記撮像素子の前記複数の受光部のそれぞれから出力される画素データを合成することによって、合成画像を生成する合成部とを備え、前記駆動部は、前記相対位置を変化させることによって、前記ＲＧＢのうちの何れかの色である第１の色に対応する第１受光部の受光領域を、前記光学像の画素領域内において、前記複数の受光部の間隔よりも短い距離だけ互いに離れた複数の位置のそれぞれに順に配置し、前記合成部は、前記画素領域内において前記第１受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第１受光部から出力される画素データを加算することによって、前記画素領域における前記第１の色の画素値を、前記合成画像に含まれる画素値として算出する。例えば、前記光学像における前記画素領域は、前記撮像面における１つの受光部の受光領域の全体と、前記受光領域の周囲の非受光領域とに重なり、かつ、他の受光部の受光領域に重ならない大きさを有していてもよい。
【００３２】
これにより、画素領域に対する撮像素子の開口率を等価的に上げることができる。つまり、撮像素子における複数の受光部が互いに離間して配置されている場合には、それらの複数の受光部の間に非受光領域が存在する。このような非受光領域を有する撮像素子では、非受光領域がない撮像素子と比べて、１つの受光部における開口率が低い。その結果、光学像を構成する複数の画素領域のそれぞれにおいて、その画素領域内の広い範囲で光を受けることができない。したがって、例えば図３に示すような撮像素子の位置決め誤差が生じた場合には、１つの色の画素データを、他の色の画素データと比べて適切に取得することができない。しかし、上記態様に係る撮像装置では、第１の色に対応する第１受光部の受光領域が画素領域内において複数の位置に順に配置され、それらの位置では、露光によってその第１受光部から画素データが出力される。これにより、非受光領域に投影される光も捉えることができ、非受光領域の実質的な面積を小さく抑えることができる。言い換えれば、画素領域に対して受光領域が小さくても、仮想的にその受光領域を大きくすることができる。つまり、上述のように開口率を等価的に上げることができる。したがって、上述のような撮像素子の位置決め誤差が生じても、色むらの発生を抑えることができる。また、上記態様に係る撮像装置では、１つの色に対応する受光領域が画素領域内の１つの位置だけでなく複数の位置に順に配置される。したがって、１回の位置決め誤差による色むらへの影響を抑えることができる。また、位置決め誤差が複数回生じても、それらの位置決め誤差がランダムであれば、それらの位置決め誤差の色むらに対する影響を抑えることができる。なお、開口率は、例えば、画素領域の大きさに対する受光領域の大きさの比率である。
【００３３】
また、前記撮像装置は、さらに、前記撮像素子の前記複数の受光部のそれぞれから出力される画素データを格納するためのメモリと、前記メモリに格納された画素データの画素位置をシフトするシフタとを備え、前記駆動部は、さらに、前記相対位置を変化させることによって、前記ＲＧＢのうちの前記第１の色と異なる第２の色に対応する第２受光部の受光領域を、前記画素領域内における前記複数の位置のそれぞれに順に配置し、前記シフタは、前記第２受光部から出力される画素データが前記メモリに転送された場合には、前記メモリに格納された前記第２受光部の画素データの画素位置を、前記第１受光部の画素データの画素位置にシフトし、前記合成部は、前記画素領域内において前記第２受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第２受光部から出力されて、かつシフトされた画素データを加算することによって、前記画素領域における前記第２の色の画素値を、前記合成画像に含まれる画素値として算出してもよい。
【００３４】
これにより、画素領域に対して第１の色の画素値だけでなく、第２の色の画素値も、色むらの発生を抑えて適切に算出することができる。
【００３５】
例えば、前記カラーフィルタに含まれる複数の前記透光部の配列は、ベイヤー配列であってもよい。この場合、前記カラーフィルタは、それぞれＲの透光部と、２つのＧの透光部と、Ｂの透光部とを含む複数の組からなり、前記複数の位置は、４つの位置であり、前記駆動部は、前記第１受光部および前記第２受光部のそれぞれの受光領域を配置するときには、前記第１の色であるＲに対応する前記第１受光部の受光領域を、前記４つの位置に順に配置し、前記第２の色であるＢに対応する前記第２受光部の受光領域を、前記４つの位置に順に配置し、さらに、前記相対位置を変化させることによって、第３の色であるＧに対応する第３受光部の受光領域を、前記４つの位置に順に配置し、第４の色であるＧに対応する第４受光部の受光領域を、前記４つの位置に順に配置し、前記シフタは、さらに、前記第３受光部から出力される画素データが前記メモリに転送された場合には、前記メモリに格納された前記第３受光部の画素データの画素位置を、前記第１受光部の画素データの画素位置にシフトし、前記第４受光部から出力される画素データが前記メモリに転送された場合には、前記メモリに格納された前記第４受光部の画素データの画素位置を、前記第１受光部の画素データの画素位置にシフトし、前記合成部は、さらに、前記画素領域内において前記第３受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第３受光部から出力されて、かつシフトされた画素データを加算することによって、前記画素領域における前記第３の色の画素値を算出し、前記画素領域内において前記第４受光部の受光領域が前記複数の位置のそれぞれに順に配置されたときに前記第４受光部から出力されて、かつシフトされた画素データを加算することによって、前記画素領域における前記第４の色の画素値を算出し、前記第３の色の画素値と前記第４の色の画素値との平均値を、前記合成画像に含まれるＧの画素値として算出してもよい。
【００３６】
これにより、画素領域に対して、Ｒの画素値と、２つのＧの画素値と、Ｂの画素値とを、色むらの発生を抑えて適切に算出することができる。
【００３７】
また、前記カラーフィルタに含まれる複数の前記透光部の配列は、デルタ配列であってもよい。
【００３８】
これにより、デルタ配列の撮像素子に対しても、色むらの発生を適切に抑えることができる。
【００３９】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００４０】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４１】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００４２】
（実施の形態）
図４は、本実施の形態における撮像装置の構成を示すブロック図である。
【００４３】
本実施の形態における撮像装置１００は、撮像素子１０１と、レンズ１０２と、縦アクチュエータ１０３ａと、横アクチュエータ１０３ｂと、シーケンサ１０４と、メモリ１０５と、シフタ１０６と、ＲＧＢ分解部１０７と、合成部１０８とを備える。
【００４４】
レンズ１０２は、被写体の映像を光学像として撮像素子１０１の撮像面に投影する。
【００４５】
撮像素子１０１は、例えばベイヤー配列の撮像素子（イメージセンサともいう）である。具体的には、撮像素子１０１は、例えばＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などである。この撮像素子１０１の撮像面では、ＲＧＢのそれぞれの受光領域が横方向および縦方向のそれぞれに沿ってマトリクス状に配列されている。横方向には、複数の受光領域のそれぞれが、隣の受光領域と横画素ピッチだけ離れるように配置され、縦方向には、複数の受光領域のそれぞれが、隣の受光領域と縦画素ピッチだけ離れるように配置されている。なお、それぞれの受光領域には、後述のように受光部が配置されている。
【００４６】
縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、撮像素子１０１の撮像面に投影される光学像に対するその撮像面の相対位置を変化させる駆動部である。具体的には、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、それぞれボイスコイルモータまたは圧電素子などの駆動源を用いて、レンズ１０２の光軸に垂直な面内で撮像素子１０１を移動させる。縦アクチュエータ１０３ａは、撮像素子１０１を縦方向に移動させる。横アクチュエータ１０３ｂは、撮像素子１０１を横方向に移動させる。なお、縦方向および横方向は、上述の光軸に垂直な面内において、互いに直交する方向である。
【００４７】
メモリ１０５は、撮像素子１０１の複数の受光部１０１ｂのそれぞれから出力される画素データを記録するための記録媒体である。
【００４８】
シーケンサ１０４は、撮像素子１０１の露光と、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂによる撮像素子１０１の移動と、メモリ１０５への画素データの書き込みとを制御する。
【００４９】
シフタ１０６は、メモリ１０５に格納された画素データの画素位置をシフトする。
【００５０】
ＲＧＢ分解部１０７は、撮像素子１０１の複数の受光部のそれぞれから出力される画素データを、Ｒの画素データ、Ｇの画素データおよびＢの画素データに分解する。
【００５１】
合成部１０８は、撮像素子１０１が露光されるごとに撮像素子１０１の複数の受光部のそれぞれから出力される画素データを合成することによって、合成画像を生成する。具体的には、合成部１０８は、光学像を構成する画素領域ごとに、その画素領域に対応する複数のＲの画素データを加算し、その画素領域に対応する複数のＧの画素データを加算して１／２を乗算し、その画素領域に対応する複数のＲの画素データを加算する。これにより、合成部１０８は、合成画像を生成する。
【００５２】
図５は、撮像素子１０１の断面を示す図である。
【００５３】
撮像素子１０１は、それぞれ一面に沿って互いに離間して配置され、カラーフィルタ１０１ａに含まれるＲＧＢのうちの何れかの色の透光部１１１を透過した光を受光する複数の受光部１０１ｂを有する。複数の受光部１０１ｂのそれぞれは、例えばフォトダイオードであって、光を受けると、その光の光量に応じた電気信号を画素データとして出力する。また、図４および図５に示すように、カラーフィルタ１０１ａに含まれる複数の透光部１１１の配列は、ベイヤー配列である。つまり、カラーフィルタ１０１ａは、それぞれＲの透光部１１１と、２つのＧの透光部１１１と、Ｂの透光部１１１とを含む複数の組からなる。つまり、１つの組は、Ｒの透光部１１１と、２つのＧの透光部１１１と、Ｂの透光部１１１とを含む。
【００５４】
図６は、撮像素子１０１の撮像面における各領域を示す図である。
【００５５】
光学像における画素領域は、撮像面における１つの受光部１０１ｂの受光領域の全体と、その受光領域の周囲の非受光領域とに重なり、かつ、他の受光部１０１ｂの受光領域に重ならない大きさを有する。本実施の形態では、画素領域は、図６の破線で示すように、１つの受光領域を囲う矩形状であって、その画素領域の境界（図６の破線）は、その受光領域と隣の受光領域との間にある。また、本実施の形態では、光学像は、４つの画素領域からなる。
【００５６】
ここで、図５および図６に示すように、撮像素子１０１の受光領域は、画素領域よりも小さい。
【００５７】
そこで、本実施の形態における縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、シーケンサ１０４による制御に応じて、光学像に対する撮像素子１０１の撮像面の相対位置を変化させることによって、受光領域を画素領域内において小さくずらす。すなわち、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、ＲＧＢのうちの何れかの色である第１の色に対応する第１受光部１０１ｂの受光領域を、光学像の画素領域内において、複数の受光部１０１ｂの間隔よりも短い距離だけ互いに離れた複数の位置のそれぞれに順に配置する。複数の受光部１０１ｂの間隔よりも短い距離は、上述の横画素ピッチまたは縦画素ピッチのそれぞれよりも短い距離であり、本実施の形態では、例えばそれぞれのピッチの１／２である。また、第１受光部１０１ｂは、撮像素子１０１が有する複数の受光部１０１ｂのうちの１つである。
【００５８】
そして、本実施の形態における合成部１０８は、その画素領域内において第１受光部１０１ｂの受光領域が複数の位置のそれぞれに順に配置されたときに第１受光部１０１ｂから出力される画素データを加算する。その結果、合成部１０８は、その画素領域における第１の色の画素値を、合成画像に含まれる画素値として算出する。これにより、画素領域に対する撮像素子１０１の開口率を等価的に上げることができる。したがって、上述のような撮像素子の位置決め誤差が生じても、色むらの発生を抑えることができる。
【００５９】
図７は、メモリ１０５、シフタ１０６、ＲＧＢ分解部１０７および合成部１０８の処理を説明するための図である。図８は、光学像に対する撮像素子１０１の撮像面の相対位置の変化を示す図である。図９は、シーケンサ１０４および撮像素子１０１のそれぞれの動作モードの遷移と、撮像素子１０１の動きとを示す図である。なお、図７に示す例では、撮像素子１０１は、Ｍ×Ｎ個の受光部１０１ｂを有する。また、図８および図９における１〜１６の数字は、撮像の順番を示す。
【００６０】
シーケンサ１０４は、図９に示すように、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂを制御することにより、撮像素子１０１の移動と停止とを繰り返し行う。これにより、シーケンサ１０４は、撮像素子１０１をそれぞれ異なる撮像位置に順に移動させる。例えば、シーケンサ１０４は、図８に示すように、撮像素子１０１を１６カ所の撮像位置に順に移動させて、それらの撮像位置で撮像素子１０１を停止させる。そして、シーケンサ１０４は、撮像素子１０１が撮像位置に停止するごとに、撮像素子１０１の露光によって、Ｍ×Ｎ個の受光部１０１ｂのそれぞれから画素データを出力させる。このとき、シーケンサ１０４は、Ｍ×Ｎ個の受光部１０１ｂのそれぞれから出力される画素データをメモリ１０５の記憶領域に格納する。
【００６１】
具体的には、シーケンサ１０４は、１回目の撮像では、１番目の撮像位置である第１初期位置に撮像素子１０１を停止させ、このときに、その撮像素子１０１に撮像（すなわち露光）させる。第１初期位置では、例えば図８に示すように、光学像の左上端にＧの受光領域が配置される。そして、シーケンサ１０４は、２番目の撮像位置に撮像素子１０１を移動させながら、１回目の撮像によって得られた撮像素子１０１のＭ×Ｎ個の画素データを、メモリ１０５の第１領域１ａに転送する。このとき、Ｍ×Ｎ個の画素データのそれぞれは、Ｍ×Ｎ個の画素からなる撮像画像の画素位置に対応付けて第１領域１ａに格納される。
【００６２】
ＲＧＢ分解部１０７は、そのＭ×Ｎ個の画素データをＲの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【００６３】
シーケンサ１０４は、２番目の撮像位置に撮像素子１０１を移動させるときには、図８および図９に示すように、撮像素子１０１を第１初期位置から左に横画素ピッチだけ移動させて停止させる。２番目の撮影位置では、例えば、図８に示すように、光学像の左上端にＢの受光領域が配置される。そして、シーケンサ１０４は、撮像素子１０１に２回目の撮像（すなわち露光）をさせる。シーケンサ１０４は、３番目の撮像位置に撮像素子１０１を移動させながら、２回目の撮像によって得られた撮像素子１０１のＭ×Ｎ個の画素データを、メモリ１０５の第２領域１ｂに転送する。このときにも、Ｍ×Ｎ個の画素データのそれぞれは、撮像画像における画素位置に対応付けて第２領域１ｂに格納される。
【００６４】
シフタ１０６は、この第２領域１ｂに格納されているＭ×Ｎ個の画素データのそれぞれの画素位置を左に１画素分だけシフトする。これにより、第２領域１ｂに格納にされているＭ×Ｎ個の画素データによって示される撮像画像は、左に１画素分だけシフトされる。つまり、２回目の撮像によって得られたＭ×Ｎ個の画素データのそれぞれの画素位置は、撮像素子１０１が第１初期位置に配置されているときの画素位置にシフトされる。したがって、光学像の左上端の画素位置には、Ｇの画素データと、Ｂの画素データとが対応付けられる。
【００６５】
ＲＧＢ分解部１０７は、そのシフトされたＭ×Ｎ個の画素データを、Ｒの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【００６６】
シーケンサ１０４は、３番目の撮像位置に撮像素子１０１を移動させるときには、図８および図９に示すように、撮像素子１０１を２番目の撮像位置から上に縦画素ピッチだけ移動させて停止させる。３番目の撮影位置では、例えば、図８に示すように、光学像の左上端にＧの受光領域が配置される。そして、シーケンサ１０４は、撮像素子１０１に３回目の撮像（すなわち露光）をさせる。シーケンサ１０４は、４番目の撮像位置に撮像素子１０１を移動させながら、３回目の撮像によって得られた撮像素子１０１のＭ×Ｎ個の画素データを、メモリ１０５の第３領域１ｃに転送する。このときにも、Ｍ×Ｎ個の画素データのそれぞれは、撮像画像における画素位置に対応付けて第３領域１ｃに格納される。
【００６７】
シフタ１０６は、この第３領域１ｃに格納にされているＭ×Ｎ個の画素データのそれぞれの画素位置を左に１画素分だけシフトし、さらに、上に１画素分だけシフトする。これにより、第３領域１ｃに格納にされているＭ×Ｎ個の画素データによって示される撮像画像は、左に１画素分だけシフトされ、かつ上に１画素分だけシフトされる。つまり、３回目の撮像によって得られたＭ×Ｎ個の画素データのそれぞれの画素位置は、撮像素子１０１が第１初期位置に配置されているときの画素位置にシフトされる。したがって、光学像の左上端の画素位置には、Ｇの画素データと、Ｂの画素データと、Ｇの画素データとが対応付けられる。
【００６８】
ＲＧＢ分解部１０７は、そのシフトされたＭ×Ｎ個の画素データを、Ｒの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【００６９】
シーケンサ１０４は、４番目の撮像位置に撮像素子１０１を移動させるときには、図８および図９に示すように、撮像素子１０１を３番目の撮像位置から右に横画素ピッチだけ移動させて停止させる。４番目の撮影位置では、例えば、図８に示すように、光学像の左上端にＲの受光領域が配置される。そして、シーケンサ１０４は、撮像素子１０１に４回目の撮像（すなわち露光）をさせる。シーケンサ１０４は、５番目の撮像位置に撮像素子１０１を移動させながら、４回目の撮像によって得られた撮像素子１０１のＭ×Ｎ個の画素データを、メモリ１０５の第４領域１ｄに転送する。このときにも、Ｍ×Ｎ個の画素データのそれぞれは、撮像画像における画素位置に対応付けて第４領域１ｄに格納される。
【００７０】
シフタ１０６は、この第４領域１ｄに格納にされているＭ×Ｎ個の画素データのそれぞれの画素位置を上に１画素分だけシフトする。これにより、第４領域１ｄに格納にされているＭ×Ｎ個の画素データによって示される撮像画像は、上に１画素分だけシフトされる。つまり、４回目の撮像によって得られたＭ×Ｎ個の画素データのそれぞれの画素位置は、撮像素子１０１が第１初期位置に配置されているときの画素位置にシフトされる。したがって、光学像の左上端の画素位置には、Ｇの画素データと、Ｂの画素データと、Ｇの画素データと、Ｒの画素データが対応付けられる。
【００７１】
ＲＧＢ分解部１０７は、そのシフトされたＭ×Ｎ個の画素データを、Ｒの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【００７２】
このような、１回目〜４回目の撮像によって、撮像素子１０１が第１初期位置に配置されているときの撮像画像の複数の画素位置のそれぞれに対応付けられた、Ｒの画素データと、２つのＧの画素データと、Ｂの画素データとが合成部１０８に出力される。
【００７３】
ここで、シーケンサ１０４は、５番目の撮像位置である第２初期位置に撮像素子１０１を移動させる。このときには、シーケンサ１０４は、図８および図９に示すように、撮像素子１０１を４番目の撮像位置から、右に横画素ピッチ未満の距離だけ移動させ、さらに、下に縦画素ピッチだけ移動させて停止させる。図８に示すように、撮像素子１０１が第２初期位置にあるときには、撮像素子１０１が第１初期位置にあるときに光学像と重なっていた各受光領域は、例えば横画素ピッチの１／２だけ右にずれている。また、撮像素子１０１が第２初期位置にあるときには、光学像の右上端にＢの受光領域が配置される。そして、シーケンサ１０４は、撮像素子１０１に５回目の撮像（すなわち露光）をさせる。シーケンサ１０４は、６番目の撮像位置に撮像素子１０１を移動させながら、５回目の撮像によって得られた撮像素子１０１のＭ×Ｎ個の画素データを、メモリ１０５の第５領域２ａに転送する。このとき、Ｍ×Ｎ個の画素データのそれぞれは、Ｍ×Ｎ個の画素からなる撮像画像の画素位置に対応付けて第５領域２ａに格納される。
【００７４】
ＲＧＢ分解部１０７は、そのＭ×Ｎ個の画素データをＲの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【００７５】
シーケンサ１０４は、６回目、７回目および８回目の撮像を行うために、第１初期位置の代わりに第２初期位置に基づいて、２回目、３回目および４回目の撮像と同様の処理を行う。
【００７６】
このような、５回目〜８回目の撮像によって、撮像素子１０１が第２初期位置に配置されているときの撮像画像の複数の画素位置のそれぞれに対応付けられた、Ｒの画素データと、２つのＧの画素データと、Ｂの画素データとが合成部１０８に出力される。
【００７７】
同様に、シーケンサ１０４は、９番目の撮像位置である第３初期位置に撮像素子１０１を移動させる。このときには、シーケンサ１０４は、図８および図９に示すように、撮像素子１０１を８番目の撮像位置から、縦画素ピッチ以上であって縦画素ピッチの２倍未満の距離だけ下に移動させて停止させる。図８に示すように、撮像素子１０１が第３初期位置にあるときには、撮像素子１０１が第１初期位置にあるときに光学像と重なっていた各受光領域は、例えば横画素ピッチの１／２だけ右にずれ、さらに、縦画素ピッチの１／２だけ下にずれている。また、撮像素子１０１が第３初期位置にあるときには、光学像の右下端にＧの受光領域が配置される。そして、シーケンサ１０４は、撮像素子１０１に９回目の撮像（すなわち露光）をさせる。シーケンサ１０４は、１０番目の撮像位置に撮像素子１０１を移動させながら、９回目の撮像によって得られた撮像素子１０１のＭ×Ｎ個の画素データを、メモリ１０５の第９領域３ａに転送する。このとき、Ｍ×Ｎ個の画素データのそれぞれは、Ｍ×Ｎ個の画素からなる撮像画像の画素位置に対応付けて第９領域３ａに格納される。
【００７８】
ＲＧＢ分解部１０７は、そのＭ×Ｎ個の画素データをＲの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【００７９】
シーケンサ１０４は、１０回目、１１回目および１２回目の撮像を行うために、第１初期位置の代わりに第３初期位置に基づいて、２回目、３回目および４回目の撮像と同様の処理を行う。
【００８０】
このような、９回目〜１２回目の撮像によって、撮像素子１０１が第３初期位置に配置されているときの撮像画像の複数の画素位置のそれぞれに対応付けられた、Ｒの画素データと、２つのＧの画素データと、Ｂの画素データとが合成部１０８に出力される。
【００８１】
同様に、シーケンサ１０４は、１３番目の撮像位置である第４初期位置に撮像素子１０１を移動させる。このときには、シーケンサ１０４は、図８および図９に示すように、撮像素子１０１を１２番目の撮像位置から、左に横画素ピッチ未満の距離だけ移動させ、さらに、下に縦画素ピッチだけ移動させて停止させる。図８に示すように、撮像素子１０１が第４初期位置にあるときには、撮像素子１０１が第１初期位置にあるときに光学像と重なっていた各受光領域は、例えば縦画素ピッチの１／２だけ下にずれている。また、撮像素子１０１が第４初期位置にあるときには、光学像の左下端にＲの受光領域が配置される。そして、シーケンサ１０４は、撮像素子１０１に１３回目の撮像（すなわち露光）をさせる。シーケンサ１０４は、１４番目の撮像位置に撮像素子１０１を移動させながら、１３回目の撮像によって得られた撮像素子１０１のＭ×Ｎ個の画素データを、メモリ１０５の第１３領域４ａに転送する。このとき、Ｍ×Ｎ個の画素データのそれぞれは、Ｍ×Ｎ個の画素からなる撮像画像の画素位置に対応付けて第１３領域４ａに格納される。
【００８２】
ＲＧＢ分解部１０７は、そのＭ×Ｎ個の画素データをＲの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【００８３】
シーケンサ１０４は、１４回目、１５回目および１６回目の撮像を行うために、第１初期位置の代わりに第４初期位置に基づいて、２回目、３回目および４回目の撮像と同様の処理を行う。
【００８４】
このような、１３回目〜１６回目の撮像によって、撮像素子１０１が第４初期位置に配置されているときの撮像画像の複数の画素位置のそれぞれに対応付けられた、Ｒの画素データと、２つのＧの画素データと、Ｂの画素データとが合成部１０８に出力される。
【００８５】
図１０は、図８および図９に示す撮像素子１０１の移動によって、光学像に対してずらされる各受光領域の位置を示す図である。
【００８６】
図１０の（ａ）に示すように、１回目、５回目、９回目、および１３回目の撮像では、光学像内の左上の画素領域内において、Ｇ（第３の色）の受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。同様に、右上の画素領域内において、Ｂの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われ、右下の画素領域内において、Ｇの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。また、左下の画素領域内において、Ｒの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。
【００８７】
このように、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、ＲＧＢのうちのＧ（第３の色）に対応する受光部１０１ｂの受光領域を、光学像の左上の画素領域内において、縦画素ピッチおよび横画素ピッチよりも短い距離だけ互いに離れた複数の位置のそれぞれに順に配置する。同様に、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、Ｂに対応する受光部１０１ｂの受光領域を、光学像の右上の画素領域内において、互いに離れた複数の位置のそれぞれに順に配置する。同様に、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、Ｇに対応する受光部１０１ｂの受光領域を、光学像の右下の画素領域内において、互いに離れた複数の位置のそれぞれに順に配置する。同様に、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、Ｒに対応する受光部１０１ｂの受光領域を、光学像の左下の画素領域内において、互いに離れた複数の位置のそれぞれに順に配置する。上述の複数の位置は、４つの位置である。
【００８８】
合成部１０８は、左上の画素領域内においてＧ（第３の色）の受光領域が上述のように互いに異なる位置に配置されたときに、その受光領域に対応する受光部１０１ｂから出力されるＧ（第３の色）の画素データを加算する。これにより、合成部１０８は、左上の画素領域におけるＧ（第３の色）の画素値を算出する。同様に、合成部１０８は、右上の画素領域におけるＢの画素値と、右下の画素領域におけるＧの画素値と、左下の画素領域におけるＲの画素値とを算出する。
【００８９】
また、図１０の（ｂ）に示すように、２回目、６回目、１０回目、および１４回目の撮像では、光学像内の左上の画素領域内において、Ｂ（第２の色）の受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。同様に、右上の画素領域内において、Ｇの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われ、右下の画素領域内において、Ｒの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。また、左下の画素領域内において、Ｇの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。
【００９０】
このように、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、ＲＧＢのうちのＢ（第２の色）に対応する受光部１０１ｂの受光領域を、光学像の左上の画素領域内において、縦画素ピッチおよび横画素ピッチよりも短い距離だけ互いに離れた複数の位置のそれぞれに順に配置する。その複数の位置は、４つの位置である。そして、シフタ１０６は、Ｂの受光部１０１ｂから出力される画素データがメモリ１０５に転送された場合には、そのメモリ１０５に格納されたＢの受光部１０１ｂの画素データの画素位置を、Ｇ（第３の色）の受光部１０１ｂの画素データの画素位置にシフトする。つまり、光学像内の左上の画素領域内における、左上、右上、右下、および左下のそれぞれのＢの画素データの画素位置は、その画素領域内における、左上、右上、右下、および左下のそれぞれのＧ（第３の色）の画素データの画素位置にシフトされる。光学像の右上、右下および左下の画素領域においても、上述と同様に、受光領域がずらされて、画素データの画素位置がシフトされる。
【００９１】
合成部１０８は、左上の画素領域内でＢ（第２の色）の受光領域が上述のように互いに異なる位置に配置されたときに、その受光領域に対応する受光部１０１ｂから出力されて、かつシフトされたＢの画素データを加算する。これにより、合成部１０８は、左上の画素領域におけるＢ（第２の色）の画素値を算出する。同様に、合成部１０８は、右上の画素領域におけるＧの画素値と、右下の画素領域におけるＲの画素値と、左下の画素領域におけるＧの画素値とを算出する。
【００９２】
また、図１０の（ｃ）に示すように、３回目、７回目、１１回目、および１５回目の撮像では、光学像内の左上の画素領域内において、Ｇ（第４の色）の受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。同様に、右上の画素領域内において、Ｒの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われ、右下の画素領域内において、Ｇの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。また、左下の画素領域内において、Ｂの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。
【００９３】
このように、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、ＲＧＢのうちのＧ（第４の色）に対応する受光部１０１ｂの受光領域を、光学像の左上の画素領域内において、縦画素ピッチおよび横画素ピッチよりも短い距離だけ互いに離れた４つの位置のそれぞれに順に配置する。そして、シフタ１０６は、Ｇ（第４の色）の受光部１０１ｂから出力される画素データがメモリ１０５に転送された場合には、そのメモリ１０５に格納されたＧ（第４の色）の受光部１０１ｂの画素データの画素位置を、Ｇ（第３の色）の受光部１０１ｂの画素データの画素位置にシフトする。つまり、光学像内の左上の画素領域内における、左上、右上、右下、および左下のそれぞれのＧ（第４の色）の画素データの画素位置は、その画素領域内における、左上、右上、右下、および左下のそれぞれのＧ（第３の色）の画素データの画素位置にシフトされる。光学像の右上、右下および左下の画素領域においても、上述と同様に、受光領域がずらされて、画素データの画素位置がシフトされる。
【００９４】
合成部１０８は、左上の画素領域内でＧ（第４の色）の受光領域が上述のように互いに異なる位置に配置されたときに、その受光領域に対応する受光部１０１ｂから出力されて、かつシフトされたＧ（第４の色）の画素データを加算する。これにより、合成部１０８は、左上の画素領域におけるＧ（第４の色）の画素値を算出する。同様に、合成部１０８は、右上の画素領域におけるＲの画素値と、右下の画素領域におけるＧの画素値と、左下の画素領域におけるＢの画素値とを算出する。
【００９５】
また、図１０の（ｄ）に示すように、４回目、８回目、１２回目、および１６回目の撮像では、光学像内の左上の画素領域内において、Ｒ（第１の色）の受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。同様に、右上の画素領域内において、Ｇの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われ、右下の画素領域内において、Ｂの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。また、左下の画素領域内において、Ｇの受光領域が左上、右上、右下、および左下の順に配置されて撮像が行われる。
【００９６】
このように、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂは、ＲＧＢのうちのＲ（第１の色）に対応する受光部１０１ｂの受光領域を、光学像の左上の画素領域内において、縦画素ピッチおよび横画素ピッチよりも短い距離だけ互いに離れた４つの位置のそれぞれに順に配置する。そして、シフタ１０６は、Ｒの受光部１０１ｂから出力される画素データがメモリ１０５に転送された場合には、そのメモリ１０５に格納されたＲの受光部１０１ｂの画素データの画素位置を、Ｇ（第３の色）の受光部１０１ｂの画素データの画素位置にシフトする。つまり、光学像内の左上の画素領域内における、左上、右上、右下、および左下のそれぞれのＲの画素データの画素位置は、その画素領域内における、左上、右上、右下、および左下のそれぞれのＧ（第３の色）の画素データの画素位置にシフトされる。光学像の右上、右下および左下の画素領域においても、上述と同様に、受光領域がずらされて、画素データの画素位置がシフトされる。
【００９７】
合成部１０８は、左上の画素領域内でＲ（第１の色）の受光領域が上述のように互いに異なる位置に配置されたときに、その受光領域に対応する受光部１０１ｂから出力されて、かつシフトされたＲの画素データを加算する。これにより、合成部１０８は、左上の画素領域におけるＲ（第１の色）の画素値を算出する。同様に、合成部１０８は、右上の画素領域におけるＧの画素値と、右下の画素領域におけるＢの画素値と、左下の画素領域におけるＧの画素値とを算出する。
【００９８】
上述の処理によって、光学像の各画素領域に対して、Ｒの画素値とＢの画素値とがそれぞれ合成画像に含まれる画素値として算出される。また、合成部１０８は、上述のように画素領域に対して算出された２つのＧの画素値、すなわち第３の色の画素値と第４の色の画素値とを平均化する。これによって、その画素領域に対する１つのＧの画素値が、合成画像に含まれる画素値として算出される。
【００９９】
なお、上述の処理では、シフタ１０６は、Ｇ（第３の色）以外の色の画素データの画素位置を、Ｇ（第３の色）の画素データの画素位置にシフトしたが、そのシフトの方法は、これに限らない。例えば、シフタ１０６は、Ｒ（第１の色）以外の色の画素データの画素位置を、Ｒ（第１の色）の画素データの画素位置にシフトしてもよい。
【０１００】
図１１は、撮像装置１００の処理動作を示すフローチャートである。
【０１０１】
シーケンサ１０４は、上述の撮像位置を示す移動点位置情報を読み取る（ステップＳ１１）。次に、シーケンサ１０４は、その読み取られた移動点位置情報によって示される撮像位置に撮像素子１０１が移動するように、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂに対して指示する（ステップＳ１２）。
【０１０２】
次に、シーケンサ１０４は、撮像素子１０１の撮像位置への移動が完了したか否かを判定する（ステップＳ１３）。移動が完了したと判定すると（ステップＳ１３のＴ）、シーケンサ１０４は、撮像素子１０１に露光させる（ステップＳ１４）。そして、シーケンサ１０４は、露光が完了したか否かを判定する（ステップＳ１５）。露光が完了したと判定すると（ステップＳ１５のＴ）、シーケンサ１０４は、Ｍ×Ｎ個の画素データをメモリ１０５に転送する（ステップＳ１６）。シーケンサ１０４は、画素データの転送が完了したか否かを判定し（ステップＳ１７）、完了したと判定すると（ステップＳ１７のＴ）、さらに、全移動点、すなわち全ての撮像位置での露光が完了したか否かを判定する（ステップＳ１８）。
【０１０３】
ここで、全ての撮像位置での露光が完了していないと判定すると（ステップＳ１８のＦ）、シーケンサ１０４は、ステップＳ１１からの処理を繰り返し実行する。一方、全ての撮像位置での露光が完了したと判定されると、合成部１０８は、その画素データから合成画像を生成する（ステップＳ１９）。
【０１０４】
このように、本実施の形態では、画素領域内において受光領域が複数回ずらされ、そのずらされた位置において露光が行われる。したがって、画素領域に対する撮像素子１０１の開口率を等価的に上げることができる。つまり、撮像素子１０１における複数の受光部１０１ｂが互いに離間して配置されている場合には、それらの複数の受光部１０１ｂの間に非受光領域が存在する。このような非受光領域を有する撮像素子１０１では、非受光領域がない撮像素子と比べて、１つの受光部１０１ｂにおける開口率が低い。その結果、光学像を構成する複数の画素領域のそれぞれにおいて、その画素領域内の広い範囲で光を受けることができない。したがって、例えば図３に示すような撮像素子の位置決め誤差が生じた場合には、１つの色の画素データを、他の色の画素データと比べて適切に取得することができない。しかし、本実施の形態における撮像装置１００では、例えばＧなどの第１の色に対応する第１受光部１０１ｂの受光領域が画素領域内において複数の位置に順に配置され、それらの位置では、露光によってその第１受光部１０１ｂから画素データが出力される。これにより、非受光領域に投影される光も捉えることができ、非受光領域の実質的な面積を小さく抑えることができる。言い換えれば、画素領域に対して受光領域が小さくても、仮想的にその受光領域を大きくすることができる。つまり、上述のように開口率を等価的に上げることができる。したがって、上述のような撮像素子の位置決め誤差が生じても、色むらの発生を抑えることができる。また、本実施の形態における撮像装置１００では、１つの色に対応する受光領域が画素領域内の１つの位置だけでなく複数の位置に順に配置される。したがって、１回の位置決め誤差による色むらへの影響を抑えることができる。また、位置決め誤差が複数回生じても、それらの位置決め誤差がランダムであれば、それらの位置決め誤差の色むらに対する影響を抑えることができる。
【０１０５】
（変形例）
上記実施の形態における撮像装置１００の撮像素子１０１では、カラーフィルタ１０１ａの複数の透光部１１１は、ベイヤー配列にしたがって配置されている。しかし、本開示の撮像装置の撮像素子は、このようなべイヤー配列に限定されない。本変形例における撮像装置の撮像素子では、複数の透光部１１１はデルタ配列にしたがって配置されている。
【０１０６】
図１２は、本変形例における撮像装置の構成を示すブロック図である。
【０１０７】
本実施の形態における撮像装置２００は、デルタ配列の撮像素子２０１と、レンズ１０２と、縦アクチュエータ１０３ａと、横アクチュエータ１０３ｂと、シーケンサ１０４と、メモリ１０５と、シフタ１０６と、ＲＧＢ分解部１０７と、合成部１０８とを備える。つまり、本変形例における撮像装置２００は、図４に示す撮像装置１００におけるベイヤー配列の撮像素子１０１の代わりに、デルタ配列の撮像素子２０１を備える。つまり、撮像素子２０１のカラーフィルタに含まれる複数の透光部１１１の配列は、デルタ配列である。また、撮像素子２０１では、図１２に示すように、横画素ピッチは、縦画素ピッチよりも長い。
【０１０８】
図１３は、メモリ１０５、シフタ１０６、ＲＧＢ分解部１０７および合成部１０８の処理を説明するための図である。図１４は、光学像に対する撮像素子２０１の撮像面の相対位置の変化を示す図である。図１５は、シーケンサ１０４および撮像素子２０１のそれぞれの動作モードの遷移と、撮像素子２０１の動きとを示す図である。なお、図１３に示す例では、撮像素子２０１は、Ｍ×Ｎ個の受光部１０１ｂを有する。また、図１４および図１５における１〜１８の数字は、撮像の順番を示す。
【０１０９】
シーケンサ１０４は、図１５に示すように、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂを制御することにより、撮像素子２０１の移動と停止とを繰り返し行う。これにより、シーケンサ１０４は、撮像素子１０１をそれぞれ異なる撮像位置に順に移動させる。例えば、シーケンサ１０４は、図１４に示すように、撮像素子１０１を１８カ所の撮像位置に順に移動させて、それらの撮像位置で撮像素子２０１を停止させる。そして、シーケンサ１０４は、撮像素子２０１が撮像位置に停止するごとに、撮像素子１０１の露光によって、Ｍ×Ｎ個の受光部１０１ｂのそれぞれから画素データを出力させる。このとき、シーケンサ１０４は、Ｍ×Ｎ個の受光部１０１ｂのそれぞれから出力される画素データをメモリ１０５の領域に格納する。
【０１１０】
具体的には、シーケンサ１０４は、１回目の撮像では、１番目の撮像位置である第１初期位置に撮像素子１０１を停止させ、このときに、その撮像素子１０１に撮像（すなわち露光）させる。第１初期位置では、例えば図１４に示すように、光学像の上端にＧの受光領域が配置される。そして、シーケンサ１０４は、２番目の撮像位置に撮像素子１０１を移動させながら、１回目の撮像によって得られた撮像素子２０１のＭ×Ｎ個の画素データを、メモリ１０５の第１領域１ａに転送する。このとき、Ｍ×Ｎ個の画素データのそれぞれは、Ｍ×Ｎ個の画素からなる撮像画像の画素位置に対応付けて第１領域１ａに格納される。
【０１１１】
ＲＧＢ分解部１０７は、そのＭ×Ｎ個の画素データをＲの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【０１１２】
シーケンサ１０４は、２番目の撮像位置に撮像素子２０１を移動させるときには、図１４および図１５に示すように、撮像素子２０１を第１初期位置から左に横画素ピッチの１／２だけ移動させ、上に縦画素ピッチだけ移動させて停止させる。そして、シーケンサ１０４は、撮像素子２０１に２回目の撮像（すなわち露光）をさせる。シーケンサ１０４は、３番目の撮像位置に撮像素子２０１を移動させながら、２回目の撮像によって得られた撮像素子２０１のＭ×Ｎ個の画素データを、メモリ１０５の第２領域１ｂに転送する。このときにも、Ｍ×Ｎ個の画素データのそれぞれは、撮像画像における画素位置に対応付けて第２領域１ｂに格納される。
【０１１３】
シフタ１０６は、この第２領域１ｂに格納にされているＭ×Ｎ個の画素データのそれぞれの画素位置をシフトする。これにより、２回目の撮像によって得られたＭ×Ｎ個の画素データのそれぞれの画素位置は、撮像素子２０１が第１初期位置に配置されているときの画素位置にシフトされる。
【０１１４】
ＲＧＢ分解部１０７は、そのシフトされたＭ×Ｎ個の画素データを、Ｒの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【０１１５】
シーケンサ１０４は、３番目の撮像位置に撮像素子２０１を移動させるときには、図１４および図１５に示すように、撮像素子２０１を２番目の撮像位置から右に横画素ピッチだけ移動させて停止させる。そして、シーケンサ１０４は、撮像素子２０１に３回目の撮像（すなわち露光）をさせる。シーケンサ１０４は、４番目の撮像位置に撮像素子２０１を移動させながら、３回目の撮像によって得られた撮像素子２０１のＭ×Ｎ個の画素データを、メモリ１０５の第３領域１ｃに転送する。このときにも、Ｍ×Ｎ個の画素データのそれぞれは、撮像画像における画素位置に対応付けて第３領域１ｃに格納される。
【０１１６】
シフタ１０６は、この第３領域１ｃに格納にされているＭ×Ｎ個の画素データのそれぞれの画素位置をシフトする。これにより、３回目の撮像によって得られたＭ×Ｎ個の画素データのそれぞれの画素位置は、撮像素子１０１が第１初期位置に配置されているときの画素位置にシフトされる。
【０１１７】
ＲＧＢ分解部１０７は、そのシフトされたＭ×Ｎ個の画素データを、Ｒの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【０１１８】
このような、１回目〜３回目の撮像によって、撮像素子２０１が第１初期位置に配置されているときの撮像画像の複数の画素位置のそれぞれに対応付けられた、Ｒの画素データと、Ｇの画素データと、Ｂの画素データとが合成部１０８に出力される。
【０１１９】
ここで、シーケンサ１０４は、４番目の撮像位置である第２初期位置に撮像素子２０１を移動させる。このときには、シーケンサ１０４は、図１４および図１５に示すように、撮像素子２０１を３番目の撮像位置から、左に横画素ピッチの１／２の距離だけ移動させ、さらに、下に縦画素ピッチ以上移動させて停止させる。図１４に示すように、撮像素子２０１が第２初期位置にあるときには、撮像素子２０１が第１初期位置にあるときに光学像と重なっていた各受光領域は、縦画素ピッチおよび横画素ピッチよりも短い距離だけずれている。
【０１２０】
そして、シーケンサ１０４は、撮像素子２０１に４回目の撮像（すなわち露光）をさせる。シーケンサ１０４は、５番目の撮像位置に撮像素子２０１を移動させながら、４回目の撮像によって得られた撮像素子２０１のＭ×Ｎ個の画素データを、メモリ１０５の第４領域２ａに転送する。このとき、Ｍ×Ｎ個の画素データのそれぞれは、Ｍ×Ｎ個の画素からなる撮像画像の画素位置に対応付けて第４領域２ａに格納される。
【０１２１】
ＲＧＢ分解部１０７は、そのＭ×Ｎ個の画素データをＲの画素データ、Ｇの画素データ、およびＢの画素データに分解して、合成部１０８に出力する。
【０１２２】
シーケンサ１０４は、５回目および６回目の撮像を行うために、第１初期位置の代わりに第２初期位置に基づいて、２回目および３回目の撮像と同様の処理を行う。
【０１２３】
このような、４回目〜６回目の撮像によって、撮像素子２０１が第２初期位置に配置されているときの撮像画像の複数の画素位置のそれぞれに対応付けられた、Ｒの画素データと、Ｇの画素データと、Ｂの画素データとが合成部１０８に出力される。
【０１２４】
次に、シーケンサ１０４は、７番目の初期位置である第３初期位置に撮像素子２０１を移動させる。そして、シーケンサ１０４は、７回目〜９回目の撮像を行うために、第１初期位置の代わりに第３初期位置に基づいて、１回目〜３回目の撮像と同様の処理を行う。
【０１２５】
このような、７回目〜９回目の撮像によって、撮像素子２０１が第３初期位置に配置されているときの撮像画像の複数の画素位置のそれぞれに対応付けられた、Ｒの画素データと、Ｇの画素データと、Ｂの画素データとが合成部１０８に出力される。
【０１２６】
次に、シーケンサ１０４は、１０番目の初期位置である第４初期位置に撮像素子２０１を移動させる。そして、シーケンサ１０４は、１０回目〜１２回目の撮像を行うために、第１初期位置の代わりに第４初期位置に基づいて、１回目〜３回目の撮像と同様の処理を行う。
【０１２７】
このような、１０回目〜１２回目の撮像によって、撮像素子２０１が第４初期位置に配置されているときの撮像画像の複数の画素位置のそれぞれに対応付けられた、Ｒの画素データと、Ｇの画素データと、Ｂの画素データとが合成部１０８に出力される。
【０１２８】
次に、シーケンサ１０４は、１３番目の初期位置である第５初期位置に撮像素子２０１を移動させる。そして、シーケンサ１０４は、１３回目〜１５回目の撮像を行うために、第１初期位置の代わりに第５初期位置に基づいて、１回目〜３回目の撮像と同様の処理を行う。
【０１２９】
このような、１３回目〜１５回目の撮像によって、撮像素子２０１が第５初期位置に配置されているときの撮像画像の複数の画素位置のそれぞれに対応付けられた、Ｒの画素データと、Ｇの画素データと、Ｂの画素データとが合成部１０８に出力される。
【０１３０】
そして、シーケンサ１０４は、１６番目の初期位置である第６初期位置に撮像素子２０１を移動させる。そして、シーケンサ１０４は、１６回目〜１８回目の撮像を行うために、第１初期位置の代わりに第６初期位置に基づいて、１回目〜３回目の撮像と同様の処理を行う。
【０１３１】
このような、１６回目〜１８回目の撮像によって、撮像素子２０１が第６初期位置に配置されているときの撮像画像の複数の画素位置のそれぞれに対応付けられた、Ｒの画素データと、Ｇの画素データと、Ｂの画素データとが合成部１０８に出力される。
【０１３２】
図１６は、本変形例において画素領域内の受光領域のずれを示す図である。
【０１３３】
シーケンサ１０４は、光学像における画素領域に対して例えばＧの受光領域が図１６の（ａ）〜（ｆ）に示す位置にずれるように、撮像素子２０１を移動させる。この図１６に示す例では、シーケンサ１０４は、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂを制御することによって、Ｇの受光領域を、画素領域内における６つの位置に順に配置する。これらの６つの位置は、複数の受光部１０１ｂの間隔、すなわち縦画素ピッチおよび横画素ピッチよりも短い距離だけ互いに離れている。
【０１３４】
合成部１０８は、画素領域内でＧの受光領域が上述のように互いに異なる位置に配置されたときに、その受光領域に対応する受光部１０１ｂから出力されて、かつシフトされたＧの画素データを加算する。これにより、合成部１０８は、その画素領域におけるＧの画素値を、合成画像に含まれる画素値として算出する。同様に、合成部１０８は、その画素領域におけるＲの画素値およびＢの画素値をそれぞれ、合成画像に含まれる画素値として算出する。
【０１３５】
以上、本変形例のように、デルタ配列の撮像素子２０１を備えた撮像装置２００であっても、画素領域内において受光領域が複数回ずらされ、そのずらされた位置において露光が行われる。したがって、上記実施の形態と同様に、画素領域に対する撮像素子２０１の開口率を等価的に上げることができる。その結果、撮像素子２０１の位置決め誤差が生じても、色むらの発生を抑えることができる。
【０１３６】
なお、上記実施の形態および変形例において、シーケンサ１０４、シフタ１０６、ＲＧＢ分解部１０７および合成部１０８などの各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および変形例の撮像装置などを実現するソフトウェアは、図１１に示すフローチャートの各ステップをコンピュータに実行させるプログラムである。
【０１３７】
以上、本開示に係る撮像装置について、実施の形態およびその変形例に基づいて説明したが、本開示は、この実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
【０１３８】
例えば、上記実施の形態およびその変形例では、撮像装置は、ベイヤー配列またはデルタ配列の撮像素子を備えているが、これらの撮像素子の代わりに、他の配列の撮像素子を備えていてもよい。このような場合でも、撮像素子の開口率を上げることができ、色むらの発生を抑えることができる。また、図８および図１４に示す撮像素子の移動順序は、一例であって、他の順序で撮像素子を移動させてもよい。
【０１３９】
また、上記実施の形態およびその変形例では、シーケンサ１０４は、縦アクチュエータ１０３ａおよび横アクチュエータ１０３ｂを制御することによって、撮像素子を移動させたが、レンズ１０２を含む光学系を移動させてもよい。つまり、本開示では、光学像に対する撮像素子の撮像面の相対位置を変化させるためには、撮像素子を移動させてもよく、光学系を移動させてもよい。また、撮像素子および光学系の両方を移動させてもよい。
【０１４０】
また、上記実施の形態およびその変形例では、カラーフィルタ１０１ａの色は、ＲＧＢであるが、これに限らず、例えばシアン、マゼンダ、イエローおよびグリーンなどであってもよい。
【産業上の利用可能性】
【０１４１】
本開示に係る撮像装置は、画質を向上することができるという効果を奏し、例えばカメラなどに利用可能である。
【符号の説明】
【０１４２】
１００、２００    撮像装置
１０１、２０１    撮像素子
１０１ａ    カラーフィルタ
１０１ｂ    受光部
１０２    レンズ
１０３ａ    縦アクチュエータ（駆動部）
１０３ｂ    横アクチュエータ（駆動部）
１０４    シーケンサ
１０５    メモリ
１０６    シフタ
１０７    ＲＧＢ分解部
１０８    合成部
１１１    透光部
【図１】
2019176280.tif 000003
【図２】
2019176280.tif 000004
【図３】
2019176280.tif 000005
【図４】
2019176280.tif 000006
【図５】
2019176280.tif 000007
【図６】
2019176280.tif 000008
【図７】
2019176280.tif 000009
【図８】
2019176280.tif 000010
【図９】
2019176280.tif 000011
【図１０】
2019176280.tif 000012
【図１１】
2019176280.tif 000013
【図１２】
2019176280.tif 000014
【図１３】
2019176280.tif 000015
【図１４】
2019176280.tif 000016
【図１５】
2019176280.tif 000017
【図１６】
2019176280.tif 000018