(57)【要約】【課題】画像データの画質を向上させる。【解決手段】撮像装置は、第１撮像素子と、第２撮像素子と、分配部とを具備する。第１撮像素子および第２撮像素子は、受光面における同一位置において複数種類の色のうちの少なくとも１種類の色が互いに重複しないように、その複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている撮像素子である。分配部は、光学系を介して入射される光を分配して第１撮像素子および第２撮像素子のそれぞれに供給する。【選択図】図２
2013172218.tif 000002
【特許請求の範囲】
【請求項１】
受光面における同一位置において複数種類の色のうちの少なくとも１種類の色が互いに重複しないように、前記複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている第１撮像素子および第２撮像素子と、
光学系を介して入射される光を分配して前記第１撮像素子および前記第２撮像素子のそれぞれに供給する分配部と
を具備する撮像装置。
【請求項２】
前記第１撮像素子および前記第２撮像素子のそれぞれの受光面における同一位置において、当該各受光面のうちの少なくとも一方には、前記複数種類の色のうちの特定種類の色が配置されるように、前記カラーフィルタが装着されている請求項１記載の撮像装置。
【請求項３】
前記複数種類の色は、赤（Ｒ：Red）、緑（Ｇ：Green）、青（Ｂ：Blue）であり、
前記特定種類の色は、緑である
請求項２記載の撮像装置。
【請求項４】
前記第１撮像素子は、前記分配部から供給された光を受光して画像信号を生成し、
前記第２撮像素子は、前記分配部から供給された光を受光して画像信号を生成し、
前記第１撮像素子により生成された画像信号と、前記第２撮像素子により生成された画像信号とを用いた補間処理により画像データを生成する画像処理部をさらに具備する
請求項１記載の撮像装置。
【請求項５】
前記第１撮像素子には、前記カラーフィルタがベイヤー配列で画素毎に装着され、
前記第２撮像素子には、前記ベイヤー配列のカラーフィルタが特定方向において１画素分ずらして画素毎に装着されている
請求項１記載の撮像装置。
【請求項６】
前記第１撮像素子および前記第２撮像素子には、特定配列の前記カラーフィルタが特定方向において互いにずらして装着されている請求項１記載の撮像装置。
【請求項７】
立体視画像を表示するための画像データを生成するための第１撮像モードと、平面画像を表示するための画像データを生成するための第２撮像モードとの何れかをユーザ操作に基づいて設定する制御部をさらに具備し、
前記光学系は、前記第１撮像モードの設定時において入射される光を前記第１撮像素子に供給する第１光学系と、前記第１撮像モードの設定時において入射される光を前記第２撮像素子に供給する第２光学系とを備え、
前記分配部は、前記第２撮像モードの設定時には、前記第１光学系を介して入射される光を分配して前記第１撮像素子および前記第２撮像素子のそれぞれに供給し、前記第２光学系に入射される光を前記第２撮像素子に供給しない
請求項１記載の撮像装置。
【請求項８】
前記第１撮像素子は、前記第１光学系から供給された光を受光して画像信号を生成し、
前記第２撮像素子は、前記第１撮像モードの設定時には、前記第２光学系から供給された光を受光して画像信号を生成し、前記第２撮像モードの設定時には、前記第１光学系から供給された光を受光して画像信号を生成し、
前記第１撮像モードの設定時には、前記第１撮像素子により生成された画像信号を用いた補間処理により前記立体視画像を表示するための第１画像データを生成し、前記第２撮像モードの設定時には、前記第１撮像素子により生成された画像信号と前記第２撮像素子により生成された画像信号とを用いた補間処理により平面画像を表示するための画像データを生成する第１画像処理部と、
前記第１撮像モードの設定時には、前記第２撮像素子により生成された画像信号を用いた補間処理により前記立体視画像を表示するための第２画像データを生成する第２画像処理部と
をさらに具備する請求項７記載の撮像装置。
【請求項９】
光学系を介して入射されて分配部により分配された光を第１光および第２光とし、前記第１光を受光して画像信号を生成する撮像素子であって複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている第１撮像素子と、
前記第２光を受光して画像信号を生成する撮像素子であって受光面における同一位置において前記複数種類の色のうちの少なくとも１種類の色が前記第１撮像素子との間で互いに重複しないように、前記カラーフィルタが所定配列で画素毎に装着されている第２撮像素子と
を具備する撮像装置。
【請求項１０】
光学系を介して入射されて分配部により分配された光を第１光および第２光とし、受光面における同一位置において複数種類の色のうちの少なくとも１種類の色が互いに重複しないように、前記複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている第１撮像素子および第２撮像素子のうち、前記第１撮像素子が前記第１光を受光して画像信号を生成し、前記第２撮像素子が前記第２光を受光して画像信号を生成する第１手順と、
前記第１撮像素子により生成された画像信号と、前記第２撮像素子により生成された画像信号とを用いた補間処理により画像データを生成する第２手順と
を具備する画像処理方法。
【請求項１１】
光学系を介して入射されて分配部により分配された光を第１光および第２光とし、受光面における同一位置において複数種類の色のうちの少なくとも１種類の色が互いに重複しないように、前記複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている第１撮像素子および第２撮像素子のうち、前記第１撮像素子が前記第１光を受光して画像信号を生成し、前記第２撮像素子が前記第２光を受光して画像信号を生成する第１手順と、
前記第１撮像素子により生成された画像信号と、前記第２撮像素子により生成された画像信号とを用いた補間処理により画像データを生成する第２手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置に関する。詳しくは、撮像素子を用いて画像データを生成する撮像装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物等の被写体を撮像して画像データを生成し、この生成された画像データを画像コンテンツ（画像ファイル）として記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。
【０００３】
例えば、３色のカラーフィルタが特定配列（例えば、ベイヤー配列）で装着されている撮像素子を用いて画像データを生成する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−４９５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、撮像素子を用いて生成された画像データについて、様々な被写体に対してより自然に表示されるように補間処理（デモザイク処理）を行い、輝度信号（Ｙ信号）および色差信号（ＣｒおよびＣｂ）を生成する。
【０００６】
しかしながら、補間処理の際には、ジッパーノイズ、モアレ、色偽等が起こることも想定されるため、これらのノイズ等をさらに低減させ、画像データの画質を向上させることが重要である。
【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、画像データの画質を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、受光面における同一位置において複数種類の色のうちの少なくとも１種類の色が互いに重複しないように、上記複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている第１撮像素子および第２撮像素子と、光学系を介して入射される光を分配して上記第１撮像素子および上記第２撮像素子のそれぞれに供給する分配部とを具備する撮像装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第１撮像素子および第２撮像素子のそれぞれは、光学系を介して入射されて分配部により分配された光を受光し、画像信号を生成するという作用をもたらす。
【０００９】
また、この第１の側面において、上記第１撮像素子および上記第２撮像素子のそれぞれの受光面における同一位置において、当該各受光面のうちの少なくとも一方には、上記複数種類の色のうちの特定種類の色が配置されるように、上記カラーフィルタが装着されるようにしてもよい。これにより、受光面における同一位置において、各受光面のうちの少なくとも一方には、複数種類の色のうちの特定種類の色が配置されるようにカラーフィルタが装着されている第１撮像素子および第２撮像素子を用いて、画像信号を生成するという作用をもたらす。
【００１０】
また、この第１の側面において、上記複数種類の色を、赤（Ｒ：Red）、緑（Ｇ：Green）、青（Ｂ：Blue）とし、上記特定種類の色を緑とするようにしてもよい。これにより、受光面における同一位置において、各受光面のうちの少なくとも一方には、緑が配置されるようにカラーフィルタが装着されている第１撮像素子および第２撮像素子を用いて、画像信号を生成するという作用をもたらす。
【００１１】
また、この第１の側面において、上記第１撮像素子は、上記分配部から供給された光を受光して画像信号を生成し、上記第２撮像素子は、上記分配部から供給された光を受光して画像信号を生成し、上記第１撮像素子により生成された画像信号と、上記第２撮像素子により生成された画像信号とを用いた補間処理により画像データを生成する画像処理部をさらに具備するようにしてもよい。これにより、第１撮像素子により生成された画像信号と、第２撮像素子により生成された画像信号とを用いた補間処理により画像データを生成するという作用をもたらす。
【００１２】
また、この第１の側面において、上記第１撮像素子には、上記カラーフィルタがベイヤー配列で画素毎に装着され、上記第２撮像素子には、上記ベイヤー配列のカラーフィルタが特定方向において１画素分ずらして画素毎に装着されるようにしてもよい。これにより、特定方向において１画素分ずらしてベイヤー配列のカラーフィルタが装着されている第１撮像素子および第２撮像素子を用いて、画像信号を生成するという作用をもたらす。
【００１３】
また、この第１の側面において、上記第１撮像素子および上記第２撮像素子には、特定配列の上記カラーフィルタが特定方向において互いにずらして装着されるようにしてもよい。これにより、特定配列のカラーフィルタが特定方向において互いにずらして装着されている第１撮像素子および第２撮像素子を用いて、画像信号を生成するという作用をもたらす。
【００１４】
また、この第１の側面において、立体視画像を表示するための画像データを生成するための第１撮像モードと、平面画像を表示するための画像データを生成するための第２撮像モードとの何れかをユーザ操作に基づいて設定する制御部をさらに具備し、上記光学系は、上記第１撮像モードの設定時において入射される光を上記第１撮像素子に供給する第１光学系と、上記第１撮像モードの設定時において入射される光を上記第２撮像素子に供給する第２光学系とを備え、上記分配部は、上記第２撮像モードの設定時には、上記第１光学系を介して入射される光を分配して上記第１撮像素子および上記第２撮像素子のそれぞれに供給し、上記第２光学系に入射される光を上記第２撮像素子に供給しないようにしてもよい。これにより、第２撮像モードの設定時には、第１光学系を介して入射される光を分配して第１撮像素子および第２撮像素子のそれぞれに供給し、第２光学系に入射される光を第２撮像素子に供給しないという作用をもたらす。
【００１５】
また、この第１の側面において、上記第１撮像素子は、上記第１光学系から供給された光を受光して画像信号を生成し、上記第２撮像素子は、上記第１撮像モードの設定時には、上記第２光学系から供給された光を受光して画像信号を生成し、上記第２撮像モードの設定時には、上記第１光学系から供給された光を受光して画像信号を生成し、上記第１撮像モードの設定時には、上記第１撮像素子により生成された画像信号を用いた補間処理により上記立体視画像を表示するための第１画像データを生成し、上記第２撮像モードの設定時には、上記第１撮像素子により生成された画像信号と上記第２撮像素子により生成された画像信号とを用いた補間処理により平面画像を表示するための画像データを生成する第１画像処理部と、上記第１撮像モードの設定時には、上記第２撮像素子により生成された画像信号を用いた補間処理により上記立体視画像を表示するための第２画像データを生成する第２画像処理部とをさらに具備するようにしてもよい。これにより、第１画像処理部は、第１撮像モードの設定時には、第１撮像素子により生成された画像信号を用いた補間処理により、立体視画像を表示するための第１画像データを生成し、第２撮像モードの設定時には、第１撮像素子により生成された画像信号と第２撮像素子により生成された画像信号とを用いた補間処理により、平面画像を表示するための画像データを生成し、第２画像処理部は、第１撮像モードの設定時には、第２撮像素子により生成された画像信号を用いた補間処理により、立体視画像を表示するための第２画像データを生成するという作用をもたらす。
【００１６】
また、本技術の第２の側面は、光学系を介して入射されて分配部により分配された光を第１光および第２光とし、上記第１光を受光して画像信号を生成する撮像素子であって複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている第１撮像素子と、上記第２光を受光して画像信号を生成する撮像素子であって受光面における同一位置において上記複数種類の色のうちの少なくとも１種類の色が上記第１撮像素子との間で互いに重複しないように、上記カラーフィルタが所定配列で画素毎に装着されている第２撮像素子とを具備する撮像装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第１撮像素子および第２撮像素子のそれぞれは、光学系を介して入射されて分配部により分配された光を受光し、画像信号を生成するという作用をもたらす。
【発明の効果】
【００１７】
本技術によれば、画像データの画質を向上させることができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１８】
【図１】本技術の第１の実施の形態における撮像装置１００の外観を示す斜視図である。
【図２】本技術の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における撮像素子１３１、１３２の受光部に装着されるカラーフィルタの配列例を示す図である。
【図４】本技術の第１の実施の形態における撮像装置１００における画像信号の流れの一例を示す図である。
【図５】本技術の第１の実施の形態における撮像装置１００による立体視画像の生成例を模式的に示す図である。
【図６】本技術の第１の実施の形態における撮像装置１００による画像の生成例を模式的に示す図である。
【図７】本技術の第１の実施の形態におけるデモザイク処理回路１８０の機能構成例を示すブロック図である。
【図８】本技術の第１の実施の形態におけるデモザイク処理回路１８０による補間処理に用いる画像信号の取得例を模式的に示す図である。
【図９】本技術の第１の実施の形態におけるデモザイク処理回路１８０による補間処理に用いる画像信号の取得例を模式的に示す図である。
【図１０】本技術の第１の実施の形態におけるデモザイク処理回路１８０による補間処理に用いる画像信号の取得例を模式的に示す図である。
【図１１】本技術の第１の実施の形態における撮像素子１３１および１３２を用いる場合における解像度の理論限界値を示す図である。
【図１２】本技術の第１の実施の形態における撮像装置１００による画像生成処理手順の一例を示すフローチャートである。
【図１３】本技術の第２の実施の形態における撮像素子１３１、１３２の受光部に装着されるカラーフィルタの配列例を示す図である。
【図１４】本技術の第２の実施の形態におけるデモザイク処理回路１８０による補間処理に用いる画像信号の取得例を模式的に示す図である。
【図１５】本技術の第２の実施の形態における撮像素子１３１および１３２のそれぞれを用いて１つの画像を生成する場合における解像度の理論限界値を示す図である。
【図１６】本技術の第３の実施の形態における撮像素子６０１、６０２の受光部に装着されるカラーフィルタの配列例を示す図である。
【図１７】本技術の第３の実施の形態におけるデモザイク処理回路１８０による補間処理に用いる画像信号の取得例を模式的に示す図である。
【図１８】本技術の第３の実施の形態におけるデモザイク処理回路１８０による補間処理に用いる画像信号の取得例を模式的に示す図である。
【図１９】本技術の第３の実施の形態における撮像素子６０１および６０２のそれぞれを用いて１つの画像を生成する場合における解像度の理論限界値を示す図である。
【図２０】本技術の第４の実施の形態における撮像装置８００の外観を示す斜視図である。
【図２１】本技術の第４の実施の形態における撮像装置８００の内部構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像生成制御：ベイヤー配列のカラーフィルタを水平方向において互いに１画素分だけずらした２つの撮像素子を用いて画像を生成する例）
２．第２の実施の形態（画像生成制御：ベイヤー配列のカラーフィルタを斜め方向において互いに１画素分だけずらした２つの撮像素子を用いて画像を生成する例）
３．第３の実施の形態（画像生成制御：斜め配列のカラーフィルタを水平方向において互いに１画素分だけずらした２つの撮像素子を用いて画像を生成する例）
４．第４の実施の形態（画像生成制御：１つの光学系と２つの撮像素子とを備える撮像装置の例）
【００２０】
＜１．第１の実施の形態＞
［撮像装置の外観構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の外観を示す斜視図である。図１（ａ）は、撮像装置１００の正面（すなわち、被写体に向けられるレンズ１１１、１１２が設けられている面）側の外観を示す斜視図である。また、図１（ｂ）は、撮像装置１００の背面（すなわち、撮影者に向けられる表示部１９７が設けられている面）側の外観を示す斜視図である。
【００２１】
撮像装置１００は、レンズ１１１、１１２と、シャッターボタン１９５と、モード切替ダイヤル１９６と、表示部１９７とを備える。撮像装置１００は、例えば、被写体を撮像して画像データを生成し、この生成された画像データを画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録媒体に記録するデジタルスチルカメラにより実現される。また、撮像装置１００は、２系統の光学系を備える立体視撮像対応の撮像装置（いわゆる、２眼３Ｄカメラ）であり、立体視画像（３Ｄ画像）を表示させるための画像コンテンツ（立体視画像コンテンツ）を生成することができる。なお、立体視画像（３Ｄ画像）は、左右眼の視差を利用して立体的な視覚を得ることができる画像である。
【００２２】
なお、撮像装置１００には、電源スイッチ、ズームボタン等の他の操作部材が備えられているが、ここでの図示および説明は省略する。
【００２３】
シャッターボタン１９５は、被写体の撮像により生成された画像データを画像コンテンツ（静止画コンテンツ）として記録する際にユーザにより押下されるボタンである。例えば、立体視画像の静止画を記録するための静止画撮像モードが設定されている場合において、シャッターボタン１９５が半押しされた場合には、オートフォーカスを行うためのフォーカス制御が行われる。また、シャッターボタン１９５が全押しされた場合には、そのフォーカス制御が行われ、この全押しの際にレンズ１１１および１１２のそれぞれを介して入射された被写体光に係る画像データが関連付けて記録媒体に記録される。
【００２４】
モード切替ダイヤル１９６は、機能モードの切替操作を行う際に用いられるモード切替操作部材である。この機能モードとして、例えば、生成された画像データを画像コンテンツ（画像ファイル）として記録するための撮像モード、記録されている画像コンテンツを再生するための再生モード等を設定することができる。なお、画像コンテンツは、例えば、静止画コンテンツ（立体視画像の静止画コンテンツ、平面画像の静止画コンテンツ）、動画コンテンツ（立体視画像の動画コンテンツ、平面画像の動画コンテンツ）である。また、撮像モードとして、静止画を記録するための静止画撮像モードと、動画を記録するための動画撮像モードとの何れかを設定することができる。また、静止画撮像モードおよび動画撮像モードのそれぞれにおいて、平面画像を記録するための１眼撮像モードと、立体視画像を記録するための２眼撮像モードとの何れかを設定することができるものとする。なお、本技術の実施の形態では、主に、静止画撮像モード（１眼撮像モードまたは２眼撮像モード）を設定して静止画を記録する例を示す。
【００２５】
表示部１９７は、各種画像を表示する表示パネルである。表示部１９７として、例えば、表示部１９７における接触操作を検出することによりユーザからの操作入力を受け付けるタッチパネルを用いることができる。
【００２６】
なお、レンズ１１１および１１２については、図２を参照して詳細に説明する。
【００２７】
［撮像装置の内部構成例］
図２は、本技術の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【００２８】
撮像装置１００は、レンズ１１１、１１２と、光分配機構１２０と、撮像素子１３１、１３２と、Ａ／Ｄ（Analog/Digital）変換器１４１、１４２と、カメラ信号処理部１５０、１６０と、制御部１９０と、操作受付部１９１とを備える。なお、立体視画像（左眼視用画像および右眼視用画像）を生成するため、これらの各部（レンズ１１１、１１２、撮像素子１３１、１３２、Ａ／Ｄ変換器１４１、１４２、カメラ信号処理部１５０、１６０）のそれぞれが左右１組となるように構成されている。また、これらの各構成は、配置位置が異なる点以外は略同一である。このため、以下では、左右の構成が略同一となる部分については、その一部の説明を省略して説明する。
【００２９】
レンズ１１１、１１２は、被写体からの入射光を集光するレンズ群である。また、２眼撮像モードの設定時には、レンズ１１１により集光された光が光分配機構１２０を介して撮像素子１３１に入射され、レンズ１１２により集光された光が光分配機構１２０を介して撮像素子１３２に入射される。一方、１眼撮像モードの設定時には、レンズ１１２により集光された光が光分配機構１２０を介して撮像素子１３１および１３２に入射される。この場合には、レンズ１１１により集光された光は、撮像素子１３１および１３２の何れにも入射されない。なお、レンズ１１１、１１２により集光された光の分配例については、図４を参照して詳細に説明する。また、レンズ１１１、１１２は、焦点を調整するためのフォーカスレンズや、画像に含まれる被写体の倍率を調整するためのズームレンズ等により構成されるが、これらの具体的な配置構成等については、図示および説明を省略する。
【００３０】
光分配機構１２０は、ミラー１２１およびハーフミラー１２２を備え、制御部１９０の制御に基づいて、ミラー１２１およびハーフミラー１２２を駆動させるものである。
【００３１】
ミラー１２１は、１眼撮像モードの設定時において、レンズ１１２およびハーフミラー１２２からの入射光を反射して、その反射された光（反射光）を撮像素子１３１に供給するミラーである。
【００３２】
ハーフミラー１２２は、１眼撮像モードの設定時において、レンズ１１２を介して入射される被写体からの入射光を透過および反射することにより反射光と透過光に分離するハーフミラーである。例えば、ハーフミラー１２２による光の反射率と透過率は、略１：１の等分となるように設定される。また、ハーフミラー１２２により分離された透過光は、撮像素子１３２により受光される。そして、撮像素子１３２は、ハーフミラー１２２により分離された透過光に基づいて画像信号を生成する。一方、ハーフミラー１２２により分離された反射光は、ミラー１２１により反射され、この反射された光（反射光）が撮像素子１３１により受光される。そして、撮像素子１３１は、ハーフミラー１２２により分離され、ミラー１２１により反射された反射光に基づいて画像信号を生成する。
【００３３】
なお、ミラー１２１およびハーフミラー１２２の配置例については、図４を参照して詳細に説明する。
【００３４】
撮像素子１３１は、レンズ１１１または１１２を介して入射される被写体からの入射光を電気信号（画像信号）に変換する光電変換回路である。また、撮像素子１３２は、レンズ１１２を介して入射される被写体からの入射光を電気信号（画像信号）に変換する光電変換回路である。すなわち、撮像素子１３１、１３２における受光素子に入射した光（入射光）は、フォトダイオードにより光電変換され、アナログ信号（画像信号）として読み出される。ここで、撮像素子１３１および１３２には、各画素の受光素子毎にＲ（Red：赤）、Ｇ（Green：緑）、Ｂ（Blue：青）のカラーフィルタが設けられ、各色成分の光のみがカラーフィルタを通過して受光素子に入射される。なお、撮像素子１３１、１３２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子により実現される。また、撮像素子１３１および１３２におけるカラーフィルタの配列例については、図３を参照して詳細に説明する。
【００３５】
Ａ／Ｄ変換器１４１は、撮像素子１３１により光電変換された電気信号をアナログ信号からデジタル信号に変換するものであり、この変換後のデジタル信号をカメラ信号処理部１５０に供給する。同様に、Ａ／Ｄ変換器１４２は、撮像素子１３２により光電変換された電気信号をアナログ信号からデジタル信号に変換するものであり、この変換後のデジタル信号をカメラ信号処理部１６０に供給する。
【００３６】
カメラ信号処理部１５０は、光学補正回路１５１と、ホワイトバランス回路１５２と、デモザイク処理回路１７０と、γ補正回路１５３と、ＹＣ信号処理回路１５４とを備える。また、カメラ信号処理部１６０は、光学補正回路１６１と、ホワイトバランス回路１６２と、デモザイク処理回路１８０と、γ補正回路１６３と、ＹＣ信号処理回路１６４とを備える。
【００３７】
光学補正回路１５１は、Ａ／Ｄ変換器１４１から供給されたデジタル信号（画像信号）について各種の光学補正を行う回路であり、その光学補正が施された画像信号をホワイトバランス回路１５２に出力する。例えば、光学補正回路１５１は、黒レベルを合わせるデジタルクランプ、撮像素子１３１の欠陥を補正する欠陥補正、レンズ１１１の周辺光量落ちを補正するシェーディング補正、色収差補正等の光学（レンズ）特性の補正等を行う。また、光学補正回路１６１は、Ａ／Ｄ変換器１４２から供給されたデジタル信号（画像信号）について各種の光学補正を行う回路であり、その光学補正が施された画像信号をホワイトバランス回路１６２に出力する。なお、光学補正回路１６１による補正の内容については、光学補正回路１５１と同様である。
【００３８】
ホワイトバランス回路１５２は、光学補正回路１５１により光学補正が施された画像信号について、白い被写体に対してＲＧＢの各色が同じレベルになるように、ホワイトのレベルを調整するホワイトバランス処理を行う回路である。そして、ホワイトバランス回路１５２は、ホワイトバランス処理が施された画像信号（モザイク画像（空間的に位相がずれたＲＧＢ信号））をデモザイク処理回路１７０に供給する。また、ホワイトバランス回路１６２は、光学補正回路１６１により光学補正が施された画像信号についてホワイトバランス処理を行う回路であり、ホワイトバランス処理が施された画像信号（モザイク画像）をデモザイク処理回路１８０に供給する。なお、ホワイトバランス回路１６２によるホワイトバランス処理の内容については、ホワイトバランス回路１５２と同様である。
【００３９】
デモザイク処理回路１７０は、２眼撮像モードの設定時において、ホワイトバランス回路１５２から供給された画像信号について補間処理（デモザイク処理）を行うものである。具体的には、デモザイク処理回路１７０は、ホワイトバランス回路１５２から供給された画像信号（モザイク画像（空間的に位相がずれたＲＧＢ信号））に基づいて３枚のプレーン（同じ空間位置のＲＧＢ信号）を生成する補間処理を行う。そして、デモザイク処理回路１７０は、その補間処理が施された画像信号（同じ空間位置のＲＧＢ信号）をγ補正回路１５３に供給する。
【００４０】
同様に、デモザイク処理回路１８０は、２眼撮像モードの設定時において、ホワイトバランス回路１６２から供給された画像信号について補間処理を行い、その補間処理が施された画像信号をγ補正回路１６３に供給する。
【００４１】
ここで、１眼撮像モードの設定時には、撮像素子１３１および１３２のそれぞれにおいて生成された画像信号についてデモザイク処理回路１８０が補間処理を行う。このため、１眼撮像モードの設定時には、デモザイク処理回路１７０は、ホワイトバランス回路１５２から供給された画像信号について補間処理を行わずに、その画像信号（モザイク画像）をデモザイク処理回路１８０に供給する。すなわち、１眼撮像モードの設定時には、デモザイク処理回路１７０は、信号線１７１を介して画像信号（モザイク画像）をデモザイク処理回路１８０に供給する。
【００４２】
また、１眼撮像モードの設定時には、デモザイク処理回路１８０は、ホワイトバランス回路１６２から供給された画像信号と、デモザイク処理回路１７０から供給された画像信号とについて補間処理を行う。そして、デモザイク処理回路１８０は、その補間処理が施された画像信号をγ補正回路１５３に供給する。このように、１眼撮像モードの設定時には、デモザイク処理回路１７０および１８０のうちの一方（デモザイク処理回路１８０）がマスタとして動作する。
【００４３】
なお、１眼撮像モードの設定時におけるデモザイク処理回路１８０による補間処理については、図７乃至図１０を参照して詳細に説明する。
【００４４】
γ補正回路１５３は、デモザイク処理回路１７０から供給された画像信号（同じ空間位置のＲＧＢ信号）に対してガンマ補正を施す回路であり、ガンマ補正が施された画像信号（ＲＧＢ信号）をＹＣ信号処理回路１５４に供給する。同様に、γ補正回路１６３は、デモザイク処理回路１８０から供給された画像信号（同じ空間位置のＲＧＢ信号）に対してガンマ補正を施す回路であり、ガンマ補正が施された画像信号（ＲＧＢ信号）をＹＣ信号処理回路１６４に供給する。ここで、ガンマ補正は、被写体の色の階調を正しく表現するために、表示系のγ特性の逆特性を掛け合わせる処理である。
【００４５】
ＹＣ信号処理回路１５４は、γ補正回路１５３から供給された画像信号（同じ空間位置のＲＧＢ信号）に基づいて輝度信号（Ｙ）および色差信号（ＣｒおよびＣｂ（ＰｂおよびＰｒ）））を生成するものである。ＹＣ信号処理回路１５４は、例えば、ＳＤ（Standard Definition）の場合、次式により輝度信号（Ｙ）色差信号（ＣｒおよびＣｂ）を生成する。ただし、この式の係数は、説明の容易のため、おおまかな数値を示すものであり、厳密なものではない。
Ｙ  ＝          ０．３Ｒ＋０．６Ｇ＋０．１Ｂ
Ｃｒ＝Ｒ−Ｙ＝  ０．７Ｒ−０．６Ｇ−０．１Ｂ
Ｃｂ＝Ｂ−Ｙ＝−０．３Ｒ−０．６Ｇ＋０．９Ｂ
【００４６】
同様に、ＹＣ信号処理回路１６４は、γ補正回路１６３から供給された画像信号（同じ空間位置のＲＧＢ信号）に基づいて輝度信号（Ｙ）および色差信号（ＣｒおよびＣｂ（ＰｂおよびＰｒ）））を生成する。
【００４７】
このように、ＹＣ信号処理回路１５４、１６４により生成された画像信号（輝度信号（Ｙ）および色差信号（ＣｒおよびＣｂ））は、記録媒体（図示せず）への記録対象、または、表示部１９７への表示対象となる。
【００４８】
操作受付部１９１は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）を制御部１９０に出力する。操作受付部１９１は、例えば、撮像装置１００に設けられている操作部材（例えば、シャッターボタン１９５、モード切替ダイヤル１９６）やタッチパネルに対応する。また、例えば、操作受付部１９１は、１眼撮像モードまたは２眼撮像モードの設定操作を受け付ける。
【００４９】
制御部１９０は、メモリ（図示せず）に格納されている制御プログラムに基づいて撮像装置１００における各部を制御するものである。例えば、制御部１９０は、操作受付部１９１により受け付けられたユーザからの操作入力に応じた制御を行う。例えば、制御部１９０は、操作受付部１９１により１眼撮像モードの設定操作が受け付けられた場合には、ミラー１２１およびハーフミラー１２２を閉じるための制御を行う。この場合には、制御部１９０は、撮像素子１３１および１３２により生成された画像データについてデモザイク処理回路１８０に補間処理を行わせるための制御を行う。一方、例えば、制御部１９０は、操作受付部１９１により２眼撮像モードの設定操作が受け付けられた場合には、ミラー１２１およびハーフミラー１２２を開放するための制御を行う。この場合には、制御部１９０は、撮像素子１３１により生成された画像データについてはデモザイク処理回路１７０に補間処理を行わせ、撮像素子１３２により生成された画像データについてはデモザイク処理回路１８０に補間処理を行わせるための制御を行う。このように、制御部１９０は、立体視画像を表示するための画像データを生成するための第１撮像モード（２眼撮像モード）と、平面画像を表示するための画像データを生成するための第２撮像モード（１眼撮像モード）との何れかをユーザ操作に基づいて設定する。
【００５０】
［カラーフィルタの配列例］
図３は、本技術の第１の実施の形態における撮像素子１３１、１３２の受光部に装着されるカラーフィルタの配列例を示す図である。図３において、各矩形は画素を模式的に表すものである。また、図３では、説明の容易のため、撮像素子１３１、１３２を構成する各画素を比較的少ない数で示す。
【００５１】
また、図３では、Ｇ（Green：緑）、Ｒ（Red：赤）、Ｂ（Blue：青）からなるＲＧＢ３色のカラーフィルタ（ＣＦ：Color Filter）を例にして示す。また、各矩形の内部には、カラーフィルタの種類を示す記号を付し、Ｇ画素の矩形の内部には、斜線を付す。
【００５２】
図３（ａ）には、撮像素子１３１に装着されるカラーフィルタの配列例を示す。図３（ｂ）には、撮像素子１３２に装着されるカラーフィルタの配列例を示す。図３（ａ）および（ｂ）に示すように、撮像素子１３１および１３２には、ベイヤー配列によりカラーフィルタが装着される。
【００５３】
ただし、撮像素子１３１に装着されるカラーフィルタと、撮像素子１３１に装着されるカラーフィルタとは、水平方向において１画素分だけずらして配置される。例えば、水平方向においてＲ画素およびＧ画素が交互に配置されて構成される水平方向の１ラインを水平ＲＧラインとし、水平方向においてＢ画素およびＧ画素が交互に配置されて構成される水平方向の１ラインを水平ＢＧラインとする。また、例えば、垂直方向においてＲ画素およびＧ画素が交互に配置されて構成される垂直方向の１ラインを垂直ＲＧラインとし、垂直方向においてＢ画素およびＧ画素が交互に配置されて構成される垂直方向の１ラインを垂直ＢＧラインとする。
【００５４】
この場合に、図３（ａ）および（ｂ）に示すカラーフィルタは、水平ＲＧラインおよび水平ＢＧラインが交互に配置されて構成される。また、図３（ａ）および（ｂ）に示すカラーフィルタは、垂直ＲＧラインおよび垂直ＢＧラインが交互に配置されて構成される。ただし、図３（ａ）に示すカラーフィルタと、図３（ｂ）に示すカラーフィルタとは、垂直ＲＧラインおよび垂直ＢＧラインが、水平方向において１画素だけずれて配置される。
【００５５】
ここで、図３（ａ）および（ｂ）に示すように、ベイヤー配列では、Ｇ画素は市松状に配置されている。また、上述したように、図３（ａ）に示すカラーフィルタと、図３（ｂ）に示すカラーフィルタとは、水平方向において１画素だけずれて配置されている。このため、図３（ａ）に示すカラーフィルタにおいてＧ画素が存在しない空間位置（すなわち、Ｒ画素またはＢ画素が存在する空間位置）には、図３（ｂ）に示すカラーフィルタにおけるＧ画素が配置される。このため、１つの画像を構成する各画素のＧ成分を、撮像素子１３１および１３２から読み出された画像信号のみから取得することができる。この取得例については、図８等を参照して詳細に説明する。
【００５６】
なお、解像度の理論限界値については、図１１を参照して詳細に説明する。
【００５７】
［画像信号の流れを示す例］
図４は、本技術の第１の実施の形態における撮像装置１００における画像信号の流れの一例を示す図である。
【００５８】
図４（ａ）には、２眼撮像モードの設定時における画像信号の流れを示す。図４（ｂ）には、１眼撮像モードの設定時における画像信号の流れを示す。なお、図４（ａ）および（ｂ）に示す各構成は、図２に示す構成の一部を省略した点以外は、図２に示す構成と同様である。また、図４（ａ）および（ｂ）では、各信号の流れを太線で模式的に示す。
【００５９】
最初に、ミラー１２１およびハーフミラー１２２の配置例について説明する。
【００６０】
図４（ａ）に示すように、２眼撮像モードの設定時には、制御部１９０の制御に基づいて、ミラー１２１およびハーフミラー１２２が開放される。このため、レンズ１１１を介して入射される被写体光は、撮像素子１３１に供給され、レンズ１１２を介して入射される被写体光は、撮像素子１３２に供給される。なお、図４（ａ）では、レンズ１１１における光軸をＬ１とし、レンズ１１２における光軸をＬ２として示す。
【００６１】
図４（ｂ）に示すように、１眼撮像モードの設定時には、制御部１９０の制御に基づいて、ミラー１２１およびハーフミラー１２２が閉じられる。ここで、図４（ａ）と同様に、レンズ１１２における光軸をＬ２として示す。この場合には、ハーフミラー１２２は、レンズ１１２を介して入射される被写体光を２つに分離するように配置される。例えば、ハーフミラー１２２は、光軸Ｌ２に対して４５°の傾きとなるように配置される。これにより、ハーフミラー１２２は、被写体光の一部（例えば、５０％）を後方（撮像素子１３２の方向）に透過し、被写体光の一部（例えば、５０％）を、光軸Ｌ２の直交方向（ミラー１２１の方向）に反射する。
【００６２】
また、ハーフミラー１２２により反射された光の光路をＬ３とする。この場合には、ミラー１２１は、ハーフミラー１２２により反射された光を反射するように配置される。例えば、ミラー１２１は、光軸Ｌ３に対して４５°の傾きとなるように配置される。これにより、ミラー１２１は、レンズ１１２を介して入射される被写体光を撮像素子１３１の方向に反射する。なお、ミラー１２１により反射された光の光路をＬ４とする。
【００６３】
このように、１眼撮像モードの設定時には、レンズ１１２を介して入射される被写体光が、撮像素子１３１および１３２のそれぞれにより受光される。このため、レンズ１１２を介して入射される被写体光に対応する画像データ（すなわち、同一被写体を含む画像の画像データ）が、撮像素子１３１および１３２のそれぞれにより生成される。すなわち、１眼撮像モードの設定時には、撮像素子１３１および１３２のそれぞれは、光分配機構１２０から供給された光を受光して画像信号を生成する。そして、デモザイク処理回路１８０は、撮像素子１３１により生成された画像信号と、撮像素子１３２により生成された画像信号とを用いた補間処理により画像データを生成する。
【００６４】
なお、本技術の第１の実施の形態では、ミラー１２１およびハーフミラー１２２を駆動させることにより光路の開閉を行う例を示すが、光路の開閉を電子的に切り替えることが可能なミラーおよびハーフミラーを用いるようにしてもよい。また、１つの光学系（例えば、レンズ１１２）を介して入射される光を分配して撮像素子１３１および１３２のそれぞれに供給することが可能な他の部材を用いるようにしてもよい。
【００６５】
［２眼撮像モードの設定時における画像生成例］
図５は、本技術の第１の実施の形態における撮像装置１００による立体視画像の生成例を模式的に示す図である。すなわち、図５では、図４（ａ）に示す状態（２眼撮像モードの設定時）における画像生成例を示す。
【００６６】
図５（ａ）には、レンズ１１２を介して入射される被写体からの入射光を受光する撮像素子１３２と、レンズ１１１を介して入射される被写体からの入射光を受光する撮像素子１３１とを模式的に示す。この場合に、２眼撮像モードが設定されているため、ミラー１２１およびハーフミラー１２２は開放されている。
【００６７】
図５（ｂ）には、撮像素子１３１および１３２から読み出される画像信号を模式的に示す。すなわち、図５（ｂ）では、図５（ａ）に示す状態で撮像素子１３１および１３２により行われた撮像動作により生成される画像信号が読み出される例を示す。
【００６８】
図５（ｃ）には、撮像素子１３１および１３２から読み出される画像信号に基づいて生成される立体視画像を簡略的に示す。すなわち、図５（ａ）に示す状態で撮像素子１３２により行われた撮像動作により生成された画像信号に基づいて左眼視用画像３０１が生成される。また、図５（ａ）に示す状態で撮像素子１３１により行われた撮像動作により生成された画像信号に基づいて右眼視用画像３０２が生成される。このように生成される左眼視用画像３０１および右眼視用画像３０２には、同一の物体３０５、３０６が含まれる。この場合に、左右眼の視差を利用して立体的な視覚を得るため、左眼視用画像３０１および右眼視用画像３０２に含まれる物体３０５、３０６は、その表示位置（奥行方向における位置）に応じてズレている。
【００６９】
このように、２眼撮像モードの設定時には、立体視画像を表示するための左眼視用画像３０１および右眼視用画像３０２が生成される。すなわち、レンズ１１２を通過した被写体からの入射光に基づいて左眼視用画像３０１が生成される。具体的には、撮像素子１３２、Ａ／Ｄ変換器１４２、光学補正回路１６１、ホワイトバランス回路１６２、デモザイク処理回路１８０、γ補正回路１６３、ＹＣ信号処理回路１６４により左眼視用画像３０１が生成される。
【００７０】
また、レンズ１１１を通過した被写体からの入射光に基づいて右眼視用画像３０２が生成される。具体的には、撮像素子１３１、Ａ／Ｄ変換器１４１、光学補正回路１５１、ホワイトバランス回路１５２、デモザイク処理回路１７０、γ補正回路１５３、ＹＣ信号処理回路１５４により右眼視用画像３０２が生成される。そして、その生成された２つの画像（左眼視用画像３０１および右眼視用画像３０２）に基づいて、立体視画像を表示させるための画像コンテンツが生成される。
【００７１】
［１眼撮像モードの設定時における画像生成例］
図６は、本技術の第１の実施の形態における撮像装置１００による画像の生成例を模式的に示す図である。すなわち、図６では、図４（ｂ）に示す状態（１眼撮像モードの設定時）における画像生成例を示す。
【００７２】
図６（ａ）には、レンズ１１２を介して入射される被写体からの入射光を受光する撮像素子１３１および１３２を模式的に示す。この場合に、１眼撮像モードが設定されているため、ミラー１２１およびハーフミラー１２２は閉じている。このため、レンズ１１２を介して入射される被写体光が、撮像素子１３１および１３２のそれぞれにより受光される。
【００７３】
図６（ｂ）には、撮像素子１３１および１３２から読み出される画像信号を模式的に示す。すなわち、図６（ｂ）では、図６（ａ）に示す状態で撮像素子１３１および１３２により行われた撮像動作により生成される画像信号が読み出される例を示す。すなわち、図６（ａ）に示す状態では、同一の被写体光が撮像素子１３１および１３２に入射されるため、同一被写体を含む画像に係る画像信号が生成される。
【００７４】
図６（ｃ）には、撮像素子１３１および１３２から読み出される画像信号に基づいて生成される画像３１０を簡略的に示す。すなわち、図６（ａ）に示す状態で、撮像素子１３２により行われた撮像動作により生成された画像信号と、撮像素子１３１により行われた撮像動作により生成された画像信号とに基づいて、１つの画像３１０が生成される。このように生成される画像３１０は、同一の被写体光に基づいて生成された２つの画像信号を用いるため、画像３１０に含まれる同一の物体３０５、３０６にはズレ等は生じない。
【００７５】
このように、１眼撮像モードの設定時には、２つの撮像素子１３１および１３２により行われた撮像動作により生成された２つの画像信号に基づいて１つの画像３１０が生成される。具体的には、撮像素子１３１、Ａ／Ｄ変換器１４１、光学補正回路１５１、ホワイトバランス回路１５２により生成された画像信号と、撮像素子１３２、Ａ／Ｄ変換器１４２、光学補正回路１６１、ホワイトバランス回路１６２により生成された画像信号とを用いる。すなわち、これらの各画像信号（図６（ｂ）に示す）を用いてデモザイク処理回路１８０が補間処理を行うことにより１つの画像３１０が生成される。この補間処理に用いるＲＧＢ信号については、図７乃至図９を参照して詳細に説明する。
【００７６】
［デモザイク処理回路の構成例］
図７は、本技術の第１の実施の形態におけるデモザイク処理回路１８０の機能構成例を示すブロック図である。
【００７７】
デモザイク処理回路１８０は、信号選択部１８１と、相関度算出部１８２と、補間部１８３とを備える。
【００７８】
ここで、上述したように、１眼撮像モードの設定時には、デモザイク処理回路１７０は、ホワイトバランス回路１５２から供給された画像信号について補間処理を行わずに、その画像信号（モザイク画像）をデモザイク処理回路１８０に供給する。すなわち、１眼撮像モードの設定時には、デモザイク処理回路１７０は、信号線１７１を介して画像信号（モザイク画像）をデモザイク処理回路１８０に供給する。
【００７９】
信号選択部１８１は、１眼撮像モードの設定時において、ホワイトバランス回路１６２から供給された画像信号と、デモザイク処理回路１７０から供給された画像信号とについて画素単位（クロックサイクル単位）で選択処理を行うものである。そして、信号選択部１８１は、その選択処理の結果に基づいて、それらの各画像信号を相関度算出部１８２または補間部１８３に画素単位で出力する。具体的には、信号選択部１８１は、ホワイトバランス回路１６２またはデモザイク処理回路１７０から供給された画像信号の種類に応じて、画像信号の選択処理を行う。
【００８０】
例えば、信号選択部１８１は、ホワイトバランス回路１６２またはデモザイク処理回路１７０から供給された画像信号がＧ画素の画像信号である場合には、そのＧ画素の画像信号を補間部１８３に出力する。また、信号選択部１８１は、ホワイトバランス回路１６２またはデモザイク処理回路１７０から供給された画像信号が、Ｒ画素またはＢ画素の画像信号である場合には、そのＲ画素またはＢ画素の画像信号を相関度算出部１８２に出力する。なお、この選択処理例については、図８乃至図１０を参照して詳細に説明する。
【００８１】
ここで、２眼撮像モードの設定時には、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれの画像信号について補間処理が必要となる。このため、信号選択部１８１は、２眼撮像モードの設定時には、ホワイトバランス回路１６２から供給された全ての画像信号を相関度算出部１８２に出力する。なお、２眼撮像モードの設定時には、デモザイク処理回路１７０から画像信号は供給されない。
【００８２】
相関度算出部１８２は、信号選択部１８１から出力された画像信号について、画素値に関する相関度（例えば、画素値の各方向に対する相関度）を算出するものであり、その画像信号および算出結果（相関度）を補間部１８３に出力する。例えば、相関度算出部１８２は、算出対象となる画素の垂直方向における変化量と、その水平方向における変化量とを算出し、これらの各方向における変化量に基づいて画素値の各方向に対する相関度を算出する。ここで、算出対象となる画素の垂直方向における変化量の算出例について説明する。例えば、画素値の２次微分値に基づいた変化量を算出し、画素値の１次微分値に基づいた変化量を算出し、色差の２次微分値に基づいた変化量を算出する。そして、これらの各変化量のそれぞれに重み付け係数を乗じて加算することにより、算出対象となる画素の垂直方向における変化量を求めることができる（例えば、特開２００９−４９５３３号参照。）。また、算出対象となる画素の水平方向における変化量については、方向が異なる点以外は略同様に求めることができる。そして、このようにして求められた各方向における変化量に基づいて、例えば、各方向のうち、変化量が最小の方向が、最も相関の高い方向（相関方向）として決定される。この決定内容（相関方向）が、相関度として補間部１８３に出力される。
【００８３】
補間部１８３は、相関度算出部１８２から出力された算出結果（相関度）に基づいて、相関度算出部１８２から出力された画像信号の補間処理を行うものであり、その補間結果（すなわち、補間処理がされた画像信号）をγ補正回路１６３に出力する。すなわち、補間部１８３は、相関度算出部１８２から出力された画像信号の各画素の画素値を補間し、同一の空間位相のＲＧＢのそれぞれの画素値を生成する。
【００８４】
例えば、Ｇ画素が存在しない位置（補間対象画素（例えば、Ｒ画素））のＧ成分（Ｇ画素の画素値）を、他のＧ成分から補間する場合を想定する。この場合には、補間部１８３は、相関度算出部１８２から出力された相関度（相関方向）に基づいて、補間対象画素（Ｒ画素）におけるＧ成分（Ｇの画素値）を補間する。例えば、その相関方向が垂直方向である場合には、補間対象画素（Ｒ画素）の垂直方向に隣接する２つのＧ画素を用いて、補間対象画素（Ｒ画素）におけるＧ成分が算出される。補間対象画素（Ｒ画素）におけるＧ成分として、例えば、その２つのＧ画素の画素値の平均値が算出される。また、例えば、その相関方向が水平方向である場合には、補間対象画素（Ｒ画素）の水平方向に隣接する２つのＧ画素を用いて、補間対象画素（Ｒ画素）におけるＧ成分が算出される。また、Ｒ画素、Ｂ画素の補間処理についても、これらの補間処理を適用して行うことができる。
【００８５】
ここで、２眼撮像モードの設定時には、補間部１８３は、全ての画素（Ｒ画素、Ｇ画素、Ｂ画素）について、補間処理を行う。一方、１眼撮像モードの設定時には、図８（ｃ）に示すように、Ｇ成分については、全ての画素において取得されている。このため、１眼撮像モードの設定時には、補間部１８３は、Ｇ成分以外の画素値（Ｒ成分、Ｂ成分）についてのみ補間処理を行う。
【００８６】
なお、１眼撮像モードおよび２眼撮像モードの設定時における補間処理（Ｒ成分、Ｂ成分に関する補間処理）を共通化するようにしてもよい。例えば、補間部１８３は、１眼撮像モードの設定時でも、デモザイク処理回路１７０から供給されたＲ画素およびＢ画素の画像信号を使用しないことにより、１眼撮像モードおよび２眼撮像モードの設定時における補間処理を共通化することができる。また、これらの補間処理は一例であり、デモザイク処理回路１７０、１８０は、他の補間方法により補間処理を行うようにしてもよい。
【００８７】
［補間処理に用いる画像信号の取得例］
図８乃至図１０は、本技術の第１の実施の形態におけるデモザイク処理回路１８０による補間処理に用いる画像信号の取得例を模式的に示す図である。
【００８８】
図８には、撮像素子１３１により生成された画像信号と、撮像素子１３２により生成された画像信号とからＧ画素の画像信号を取得する例を示す。なお、図８（ａ）には、撮像素子１３２により生成された画像信号を示し、図８（ｂ）には、撮像素子１３１により生成された画像信号を示す。
【００８９】
上述したように、撮像素子１３１、１３２におけるＧ画素は、市松状に配置されている。また、撮像素子１３１の受光面におけるＧ画素の位置と、撮像素子１３２の受光面におけるＧ画素の位置とは、水平方向において１画素だけずれている。このため、Ｇ画素については、撮像素子１３１におけるＧ画素と、撮像素子１３２におけるＧ画素とを取得することにより、１つの画像を構成する画素の全てのＧ成分を取得することができる。
【００９０】
図８（ｃ）には、撮像素子１３１により生成された画像信号と、撮像素子１３２により生成された画像信号とから取得されたＧ成分を、受光面における取得元の位置に模式的に配置した場合を示す。
【００９１】
ここで、例えば、撮像素子１３１により生成された画像信号における先頭ライン（一番上の１ライン）と、撮像素子１３２により生成された画像信号における先頭ラインとからＧ画素を取得する場合を例にして説明する。なお、図８では、取得元の画素を点線の矩形で囲んで示し、取得元の画素および取得先の画素の関係を矢印４０１乃至４０８で結んで示す。
【００９２】
例えば、矢印４０１に示すように、図８（ｂ）に示す先頭ラインにおける端部から読み出されたＧ画素が取得される。続いて、矢印４０２に示すように、図８（ａ）に示す先頭ラインから読み出されたＧ画素が取得される。以降も同様に、矢印４０３乃至４０８に示すように、撮像素子１３１により生成された画像信号における先頭ラインと、撮像素子１３２により生成された画像信号における先頭ラインとからＧ画素が交互に取得される。
【００９３】
図８（ｃ）に示すように、撮像素子１３１および１３２により生成された各画像信号における先頭ラインからＧ画素が交互に取得されることにより、１つの画像における先頭ラインの全てのＧ画素が取得される。また、撮像素子１３１および１３２により生成された各画像信号における２行目以降の各ラインについても同様に、全てのＧ画素が取得される。
【００９４】
図９には、撮像素子１３１により生成された画像信号と、撮像素子１３２により生成された画像信号とからＲ画素およびＢ画素の画像信号を取得する例を示す。なお、図９（ａ）には、撮像素子１３２により生成された画像信号を示し、図９（ｂ）には、撮像素子１３１により生成された画像信号を示す。
【００９５】
図９（ｃ）には、撮像素子１３１により生成された画像信号と、撮像素子１３２により生成された画像信号とから取得されたＲ画素およびＢ画素を、受光面における取得元の位置に模式的に配置した場合を示す。
【００９６】
また、図９では、図８と同様に、取得元の画素を点線の矩形で囲んで示し、取得元の画素および取得先の画素の関係を矢印４１１乃至４１８で結んで示す。
【００９７】
なお、図９に示すＲ画素またはＢ画素の画像信号の取得例は、取得元および取得先の画素が１画素だけずれる点以外は、図８に示す取得例と略同様であるため、ここでの詳細な説明を省略する。
【００９８】
すなわち、図９（ｃ）に示すように、撮像素子１３１および１３２により生成された各画像信号における先頭ラインからＲ画素が交互に取得されることにより、１つの画像における先頭ラインのＲ画素が取得される。また、撮像素子１３１および１３２により生成された各画像信号における２行目の１ラインからＢ画素が交互に取得されることにより、１つの画像における２行目の１ラインのＢ画素が取得される。また、撮像素子１３１および１３２により生成された各画像信号における３行目以降の各ラインについても同様に、Ｒ画素またはＢ画素が順次取得される。
【００９９】
図１０には、撮像素子１３１および１３２により生成された各画像信号から取得されたＲ画素、Ｇ画素およびＢ画素を、受光面における取得元の位置に模式的に配置した場合を示す。図１０（ａ）には、撮像素子１３１および１３２により生成された各画像信号から取得されたＧ画素を、受光面における取得元の位置に配置した場合を示す。図１０（ｂ）には、撮像素子１３１および１３２により生成された各画像信号から取得されたＲ画素を、受光面における取得元の位置に配置した場合を示す。図１０（ｃ）には、撮像素子１３１および１３２により生成された各画像信号から取得されたＢ画素を、受光面における取得元の位置に配置した場合を示す。
【０１００】
図１０（ａ）に示すように、Ｇ画素については、１つの画像を構成する画素の全てのＧ成分を取得することができる。このため、デモザイク処理回路１８０は、Ｇ画素については補間処理を行う必要がない。そこで、信号選択部１８１は、ホワイトバランス回路１６２およびデモザイク処理回路１７０からＧ画素の画像信号が出力された場合には、そのＧ画素の画像信号を補間部１８３に出力する。
【０１０１】
一方、図１０（ｂ）および（ｃ）に示すように、Ｒ画素およびＢ画素については、１つの画像を構成する各画素のうち、１ライン毎の画素のみを取得することができる。このため、デモザイク処理回路１８０は、Ｒ画素およびＢ画素については補間処理を行う必要がある。そこで、信号選択部１８１は、ホワイトバランス回路１６２およびデモザイク処理回路１７０からＲ画素またはＢ画素の画像信号が出力された場合には、そのＲ画素またはＢ画素の画像信号を相関度算出部１８２に出力する。
【０１０２】
このように、撮像素子１３１および１３２は、受光面における同一位置において複数種類の色のうちの少なくとも１種類の色が互いに重複しないように、複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている撮像素子である。また、撮像素子１３１および１３２のそれぞれの受光面における同一位置において、各受光面のうちの少なくとも一方には、複数種類の色のうちの特定種類の色が配置されるように、カラーフィルタが装着されている。例えば、複数種類の色は、赤（Ｒ：Red）、緑（Ｇ：Green）、青（Ｂ：Blue）であり、特定種類の色は、緑である。
【０１０３】
また、撮像素子１３２には、カラーフィルタがベイヤー配列で画素毎に装着され、撮像素子１３１には、ベイヤー配列のカラーフィルタが特定方向（例えば、水平方向）において１画素分ずらして画素毎に装着されている。言い換えると、撮像素子１３１および１３２には、特定配列のカラーフィルタが特定方向において互いにずらして装着されている。
【０１０４】
なお、撮像素子１３２は、特許請求の範囲に記載の第１撮像素子の一例である。また、撮像素子１３１は、特許請求の範囲に記載の第２撮像素子の一例である。
【０１０５】
また、光分配機構１２０は、レンズ１１２を介して入射される光を分配して撮像素子１３１および１３２のそれぞれに供給する。ここで、撮像装置１００は、光学系として、２眼撮像モードの設定時において入射される光を撮像素子１３２に供給するレンズ１１２と、２眼撮像モードの設定時において入射される光を撮像素子１３１に供給するレンズ１１１とを備える。
【０１０６】
また、光分配機構１２０は、１眼撮像モードの設定時には、レンズ１１２を介して入射される光を分配して撮像素子１３１および１３２のそれぞれに供給し、レンズ１１１に入射される光を撮像素子１３１に供給しない。なお、光分配機構１２０は、特許請求の範囲に記載の分配部の一例である。また、レンズ１１２は、特許請求の範囲に記載の光学系および第１光学系の一例である。また、レンズ１１１は、特許請求の範囲に記載の光学系および第２光学系の一例である。また、２眼撮像モードは、特許請求の範囲に記載の第１撮像モードの一例である。また、１眼撮像モードは、特許請求の範囲に記載の第２撮像モードの一例である。
【０１０７】
また、撮像素子１３２は、レンズ１１２から供給された光を受光して画像信号を生成する。また、撮像素子１３１は、２眼撮像モードの設定時には、レンズ１１１から供給された光を受光して画像信号を生成し、１眼撮像モードの設定時には、レンズ１１２から供給された光を受光して画像信号を生成する。
【０１０８】
また、デモザイク処理回路１８０は、２眼撮像モードの設定時には、撮像素子１３２により生成された画像信号を用いた補間処理により、立体視画像を表示するための第１画像データ（左眼視用画像データ）を生成する。一方、デモザイク処理回路１８０は、１眼撮像モードの設定時には、撮像素子１３１により生成された画像信号と、撮像素子１３２により生成された画像信号とを用いた補間処理により平面画像を表示するための画像データを生成する。
【０１０９】
また、デモザイク処理回路１７０は、２眼撮像モードの設定時には、撮像素子１３１により生成された画像信号を用いた補間処理により、立体視画像を表示するための第２画像データ（右眼視用画像データ）を生成する。なお、デモザイク処理回路１７０は、特許請求の範囲に記載の第２画像処理部の一例である。また、デモザイク処理回路１８０は、特許請求の範囲に記載の画像処理部および第１画像処理部の一例である。
【０１１０】
［解像度の理論限界値］
図１１は、本技術の第１の実施の形態における撮像素子１３１および１３２を用いる場合における解像度の理論限界値を示す図である。
【０１１１】
図１１（ａ）には、撮像素子１３１および１３２のそれぞれを用いて１つの画像を生成する場合におけるＧ画素の解像度の理論限界値５０１を示す。また、図１１（ｂ）には、その比較対象として、１つの撮像素子（ベイヤー配列）を用いて１つの画像を生成する場合における解像度の理論限界値５１１、５１２を示す。
【０１１２】
ここで、図３に示すように、撮像素子１３１、１３２における各画素のサンプリング周波数をｆｓ（＝１／Ｔ）とする場合に、画素ピッチは１／ｆｓ（＝Ｔ）となる。また、撮像素子１３１、１３２における画素の斜め方向の画素ピッチは（√２）／ｆｓ（＝（√２）・Ｔ）となる。
【０１１３】
このため、例えば、１つの撮像素子（ベイヤー配列）を用いる場合には、図１１（ｂ）に示すように、Ｇ画素の解像度の理論限界値は、水平方向および垂直方向に１／２ｆｓであるが、斜め方向には解像度が低下する。また、１つの撮像素子（ベイヤー配列）を用いる場合には、Ｒ画素およびＢ画素については、画素ピッチが２倍になるため、解像度の理論限界値は１／４ｆｓとなる。
【０１１４】
これに対して、撮像素子１３１および１３２のそれぞれを用いる場合には、Ｇ画素の解像度の理論限界値は、図１１（ａ）に示すように、１／２ｆｓとなる。すなわち、Ｇ画素の解像度の理論限界値は、Ｒ画素、Ｇ画素およびＢ画素のそれぞれについて３つの撮像素子（いわゆる、３板式）を用いる場合と同一とすることができる。
【０１１５】
ここで、Ｇ画素は、輝度信号を生成する際に主成分となる色成分であり、人間は輝度に対しての解像度が高く、色に対する解像度が低いことが知られている。このため、高解像度を実現するためには、輝度成分が重要である。そこで、本技術の第１の実施の形態では、Ｇ画素の解像度の理論限界値を高くすることができる。
【０１１６】
［撮像装置の動作例］
図１２は、本技術の第１の実施の形態における撮像装置１００による画像生成処理手順の一例を示すフローチャートである。この例では、撮像モードとして静止画撮像モードが設定される場合を想定して説明する。
【０１１７】
最初に、制御部１９０は、撮像モードの設定操作が行われたか否かを判断し（ステップＳ９０１）、撮像モードの設定操作が行われていない場合には、監視を継続して行う。一方、撮像モードの設定操作が行われた場合には（ステップＳ９０１）、制御部１９０は、２眼撮像モードが設定されたか否かを判断する（ステップＳ９０２）。
【０１１８】
２眼撮像モードが設定された場合には（ステップＳ９０２）、制御部１９０は、光分配機構１２０のミラー１２１およびハーフミラー１２２を開放させる（ステップＳ９０３）。続いて、撮像素子１３２は、第１光学系（レンズ１１２）からの入射光に基づいて画像信号（第１画像信号）を生成し、撮像素子１３１は、第２光学系（レンズ１１１）からの入射光に基づいて画像信号（第２画像信号）を生成する（ステップＳ９０４）。これらの各画像信号について、Ａ／Ｄ変換器１４１、１４２、光学補正回路１５１、１６１、ホワイトバランス回路１５２、１６２により、Ａ／Ｄ変換処理、光学補正処理、ホワイトバランス処理が順次行われる。
【０１１９】
続いて、デモザイク処理回路１７０は、第１画像信号に基づいて左眼視用画像（画像データ）を補間処理により生成し、デモザイク処理回路１８０は、第２画像信号に基づいて右眼視用画像（画像データ）を補間処理により生成する（ステップＳ９０５）。
【０１２０】
続いて、制御部１９０は、シャッターボタン１９５の全押し操作が行われたか否かを判断し（ステップＳ９０６）、シャッターボタン１９５の全押し操作が行われていない場合には、ステップＳ９０８に進む。一方、シャッターボタン１９５の全押し操作が行われた場合には（ステップＳ９０６）、生成された左眼視用画像および右眼視用画像が立体視画像コンテンツ（画像ファイル）として記録媒体に記録される（ステップＳ９０７）。
【０１２１】
続いて、制御部１９０は、撮像モードの切替操作が行われたか否かを判断し（ステップＳ９０８）、撮像モードの切替操作が行われた場合には、ステップＳ９０２に戻る。一方、撮像モードの切替操作が行われていない場合には（ステップＳ９０８）、制御部１９０は、撮像モードの解除操作が行われたか否かを判断し（ステップＳ９０９）、撮像モードの解除操作が行われた場合には、画像生成処理の動作を終了する。一方、撮像モードの解除操作が行われていない場合には（ステップＳ９０９）、ステップＳ９０４に戻る。
【０１２２】
また、１眼撮像モードが設定された場合には（ステップＳ９０２）、制御部１９０は、光分配機構１２０のミラー１２１およびハーフミラー１２２を閉じさせる（ステップＳ９１０）。続いて、撮像素子１３１は、第１光学系（レンズ１１２）からの入射光に基づいて画像信号（第２画像信号）を生成し、撮像素子１３２は、第１光学系（レンズ１１２）からの入射光に基づいて画像信号（第１画像信号）を生成する（ステップＳ９１１）。これらの各画像信号について、Ａ／Ｄ変換器１４１、１４２、光学補正回路１５１、１６１、ホワイトバランス回路１５２、１６２により、Ａ／Ｄ変換処理、光学補正処理、ホワイトバランス処理が順次行われる。なお、ステップＳ９１１は、特許請求の範囲に記載の第１手順の一例である。
【０１２３】
続いて、デモザイク処理回路１８０は、第１画像信号および第２画像信号に基づいて１つの画像（画像データ）を補間処理により生成する（ステップＳ９１２）。なお、ステップＳ９１２は、特許請求の範囲に記載の第２手順の一例である。
【０１２４】
続いて、制御部１９０は、シャッターボタン１９５の全押し操作が行われたか否かを判断し（ステップＳ９１３）、シャッターボタン１９５の全押し操作が行われていない場合には、ステップＳ９１５に進む。一方、シャッターボタン１９５の全押し操作が行われた場合には（ステップＳ９１３）、生成された画像が画像コンテンツ（画像ファイル）として記録媒体に記録される（ステップＳ９１４）。
【０１２５】
続いて、制御部１９０は、撮像モードの切替操作が行われたか否かを判断し（ステップＳ９１５）、撮像モードの切替操作が行われた場合には、ステップＳ９０２に戻る。一方、撮像モードの切替操作が行われていない場合には（ステップＳ９１５）、制御部１９０は、撮像モードの解除操作が行われたか否かを判断し（ステップＳ９１６）、撮像モードの解除操作が行われた場合には、画像生成処理の動作を終了する。一方、撮像モードの解除操作が行われていない場合には（ステップＳ９１６）、ステップＳ９１１に戻る。
【０１２６】
このように、本技術の第１の実施の形態では、撮像装置１００（２眼３Ｄカメラ）において、１眼撮像モードの設定時には、光学的に同一の被写体像を、配列を変えた２つの撮像素子に入力する。これにより、輝度成分の主成分となるＧ成分を、１つの画像を構成する各画素について全て揃えることができる。このように、１つの画像を構成する各画素についてＧ成分を全て揃えることができるため、Ｇ成分の補間処理（デモザイク処理）を不要とすることができる。このため、相関ミスによる影響（例えば、ノイズの発生）を低減することができる。ここで、相関ミスにより発生するノイズは、例えば、モアレ、ジッパーノイズ、ラーメンノイズ等であり、これらのノイズを低減することができる。なお、モアレは、周期的な縞状のパターンとして画像に生じるノイズを意味する。また、ジッパーノイズは、画像に生じる点線状のノイズを意味する。また、ラーメンノイズは、迷路のような幾何学的な模様として画像に生じるノイズを意味する。
【０１２７】
また、輝度成分の主成分となるＧ成分を、１つの画像を構成する各画素について全て揃えることができるため、３つの撮像素子を備える撮像装置（例えば、３ＣＣＤ方式（３板式）の撮像装置）相当の高解像度を実現することができる。
【０１２８】
また、色差成分を表すＲ成分およびＢ成分のサンプリング数を増加させることにより、相関ミスによる影響を低減することができる。例えば、色偽等の色ノイズを抑制することができる。
【０１２９】
また、立体視画像を生成することが可能な撮像装置（いわゆる、２眼３Ｄカメラ）における各回路を用いることができるため、回路規模を増加させずに、本技術の第１の実施の形態を実現することができる。また、２眼撮像モードの設定時には、通常の立体視画像（例えば、左眼視用画像および右眼視用画像）を生成することができるため、２眼特有のアプリケーションについても通常通り実現することができる。
【０１３０】
すなわち、本技術の第１の実施の形態では、立体視画像を生成するための２つの撮像素子を活用して、２眼３Ｄカメラにおける適切な画素補間方法を提供することができる。これにより、撮像素子を用いて生成される画像データの画質を向上させることができる。
【０１３１】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、ベイヤー配列によりカラーフィルタが装着されている２つの撮像素子のうちの１つのカラーフィルタを水平方向において１画素分だけずらした撮像素子を例にして説明した。ここで、ベイヤー配列によりカラーフィルタが装着されている撮像素子について他の方向に１画素分だけずらすことも考えられる。
【０１３２】
そこで、本技術の第２の実施の形態では、ベイヤー配列によりカラーフィルタが装着されている２つの撮像素子のうちの１つのカラーフィルタを斜め方向において１画素分だけずらした撮像素子の例を示す。なお、本技術の第２の実施の形態における撮像装置の構成については、図１に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１３３】
［カラーフィルタの配列例］
図１３は、本技術の第２の実施の形態における撮像素子１３１、１３２の受光部に装着されるカラーフィルタの配列例を示す図である。なお、各画素の種類等に関する表示については、図３と同様であるため、ここでの詳細な説明を省略する。また、撮像素子１３１、１３２は、装着されるカラーフィルタの配列が異なるが、それ以外の点については、本技術の第１の実施の形態と同様であるため、ここでの詳細な説明を省略する。
【０１３４】
図１３（ａ）には、撮像素子１３１に装着されるカラーフィルタの配列例を示す。図１３（ｂ）には、撮像素子１３２に装着されるカラーフィルタの配列例を示す。図１３（ａ）および（ｂ）に示すように、撮像素子１３１および１３２には、ベイヤー配列によりカラーフィルタが装着される。
【０１３５】
ただし、撮像素子１３１に装着されるカラーフィルタと、撮像素子１３１に装着されるカラーフィルタとは、斜め方向において１画素分だけずらして配置される。具体的には、図１３（ａ）および（ｂ）に示すカラーフィルタは、水平ＲＧラインおよび水平ＢＧラインが交互に配置されて構成される。また、図１３（ａ）および（ｂ）に示すカラーフィルタは、垂直ＲＧラインおよび垂直ＢＧラインが交互に配置されて構成される。ただし、図１３（ａ）に示すカラーフィルタと、図１３（ｂ）に示すカラーフィルタとは、水平ＲＧラインおよび水平ＢＧラインが、垂直方向において１画素だけずれて配置される。また、垂直ＲＧラインおよび垂直ＢＧラインが、水平方向において１画素だけずれて配置される。
【０１３６】
ここで、図１３（ａ）および（ｂ）に示すように、ベイヤー配列では、Ｇ画素は市松状に配置されている。また、上述したように、図１３（ａ）に示すカラーフィルタと、図１３（ｂ）に示すカラーフィルタとは、斜め方向において１画素だけずれて配置されている。このため、図１３（ａ）に示すカラーフィルタと、図１３（ｂ）に示すカラーフィルタとは、Ｇ画素が存在する空間位置が同一である。
【０１３７】
しかし、図１３（ａ）に示すカラーフィルタにおいてＢ画素が存在する空間位置には、図３（ｂ）に示すカラーフィルタにおけるＲ画素が配置される。また、図１３（ａ）に示すカラーフィルタにおいてＲ画素が存在する空間位置には、図３（ｂ）に示すカラーフィルタにおけるＢ画素が配置される。なお、これらの同一の受光面における位置の配置例については、図１４を参照して詳細に説明する。
【０１３８】
［補間処理に用いる画像信号の取得例］
図１４は、本技術の第２の実施の形態におけるデモザイク処理回路１８０による補間処理に用いる画像信号の取得例を模式的に示す図である。すなわち、図１４には、撮像素子１３１および１３２により生成された各画像信号から取得されたＲ画素、Ｇ画素およびＢ画素を、受光面における取得元の位置に模式的に配置した場合を示す。
【０１３９】
図１４（ａ）には、撮像素子１３１および１３２により生成された各画像信号から取得されたＧ画素を、受光面における取得元の位置に配置した場合を示す。図１４（ｂ）には、撮像素子１３１および１３２により生成された各画像信号から取得されたＲ画素を、受光面における取得元の位置に配置した場合を示す。図１４（ｃ）には、撮像素子１３１および１３２により生成された各画像信号から取得されたＢ画素を、受光面における取得元の位置に配置した場合を示す。
【０１４０】
図１４（ａ）乃至（ｃ）に示すように、同一面に配置されるＲ画素、Ｇ画素、Ｂ画素の数が同一となる。このため、例えば、１つの画像を生成する場合において、Ｒ画素、Ｇ画素、Ｂ画素のサンプリング数を同一にすることができる。これにより、色偽を低減させることができる。
【０１４１】
［解像度の理論限界値］
図１５は、本技術の第２の実施の形態における撮像素子１３１および１３２のそれぞれを用いて１つの画像を生成する場合における解像度の理論限界値を示す図である。
【０１４２】
図１５に示すように、撮像素子１３１および１３２のそれぞれを用いて１つの画像を生成する場合には、Ｒ画素、Ｇ画素およびＢ画素のそれぞれの解像度の理論限界値５２１を同一とすることができる。この理論限界値５２１は、１つの撮像素子（ベイヤー配列）を用いる場合におけるＧ画素の解像度の理論限界値（図１１（ｂ）に示す）と同一である。
【０１４３】
このように、本技術の第２の実施の形態では、ＲＢの各成分のサンプリング数を増加させることができる。ここで、色偽の主たる要因は、ＲＧＢの各成分のサンプリング数の違いである。そこで、本技術の第２の実施の形態では、ＲＧＢの各成分において、全てサンプリング数を等しくすることにより、色偽を低減させることができる。
【０１４４】
＜３．第３の実施の形態＞
本技術の第１および第２の実施の形態では、ベイヤー配列によりカラーフィルタが装着されている２つの撮像素子のうちの１つのカラーフィルタを特定方向において１画素分だけずらした撮像素子を例にして説明した。ここで、ベイヤー配列以外の配列によりカラーフィルタが装着されている撮像素子に適用することも考えられる。
【０１４５】
そこで、本技術の第３の実施の形態では、ベイヤー配列以外の配列によりカラーフィルタが装着されている撮像素子の他の例を示す。なお、本技術の第３の実施の形態における撮像装置の構成については、図１に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１４６】
［カラーフィルタの配列例］
図１６は、本技術の第３の実施の形態における撮像素子６０１、６０２の受光部に装着されるカラーフィルタの配列例を示す図である。
【０１４７】
撮像素子６０１、６０２は、本技術の第１の実施の形態における撮像素子１３１、１３２の代わりに撮像装置１００に設けられる撮像素子である。具体的には、撮像素子６０１、６０２を構成する各画素が格子状に斜め方向に並べて配置されている点が、撮像素子１３１、１３２とは異なる。なお、各画素の種類等に関する表示については、図３と同様であるため、ここでの詳細な説明を省略する。
【０１４８】
図１６（ａ）には、撮像素子６０１に装着されるカラーフィルタの配列例を示す。図１６（ｂ）には、撮像素子６０２に装着されるカラーフィルタの配列例を示す。図１６（ａ）および（ｂ）に示すように、撮像素子６０１および６０２には、各画素が格子状に斜め方向に配列されている斜め配列のカラーフィルタが装着される。
【０１４９】
具体的には、斜め配列のカラーフィルタは、水平方向にＧ画素とＲ画素とが交互に配列されたＧＲラインと、水平方向にＧ画素とＢ画素とが交互に配列されたＧＢラインと、水平方向にＧ画素のみが配列されたＧラインとから構成される。また、斜め配列のカラーフィルタは、ＧＲラインおよびＧラインと、ＧＢラインおよびＧラインとの組合せが垂直方向に交互に配置され、Ｒ画素およびＢ画素の隣接する位置にＧ画素が配置される。
【０１５０】
ただし、図１６（ａ）および（ｂ）に示すように、撮像素子６０１に装着されるカラーフィルタと、撮像素子６０２に装着されるカラーフィルタとは、水平方向において１画素分だけずらして配置される。
【０１５１】
ここで、図１６（ａ）および（ｂ）に示すように、斜め配列では、Ｇ画素は、Ｒ画素およびＢ画素の周りを囲むように配置されている。また、図１６（ａ）および（ｂ）に示すように、図１６（ａ）に示すカラーフィルタと、図１６（ｂ）に示すカラーフィルタとは、水平方向において１画素だけずれて配置されている。このため、図１６（ａ）に示すカラーフィルタにおいてＧ画素が存在しない空間位置（すなわち、Ｒ画素またはＢ画素が存在する空間位置）には、図１６（ｂ）に示すカラーフィルタにおけるＧ画素が配置される。このため、１つの画像を構成する各画素のＧ成分を、撮像素子６０１および６０２から読み出された画像信号のみから取得することができる。
【０１５２】
［補間処理に用いる画像信号の取得例］
図１７および図１８は、本技術の第３の実施の形態におけるデモザイク処理回路１８０による補間処理に用いる画像信号の取得例を模式的に示す図である。
【０１５３】
図１７には、撮像素子６０１により生成された画像信号と、撮像素子６０２により生成された画像信号とからＧ画素の画像信号を取得する例を示す。なお、図１７（ａ）には、撮像素子６０１により生成された画像信号を示し、図１７（ｂ）には、撮像素子６０２により生成された画像信号を示す。
【０１５４】
上述したように、撮像素子６０１、６０２におけるＧＲラインでは、水平方向にＧ画素とＲ画素とが交互に配置されている。また、撮像素子６０１におけるＧ画素の受光面における位置と、撮像素子６０２におけるＧ画素の受光面における位置とは、水平方向において１画素だけずれている。このため、Ｇ画素については、撮像素子６０１におけるＧ画素と、撮像素子６０２におけるＧ画素とを取得することにより、ＧＲラインにおける全てのＧ成分を取得することができる。
【０１５５】
図１７（ｃ）には、撮像素子６０１により生成された画像信号と、撮像素子６０２により生成された画像信号とから取得されたＧ画素を、受光面における取得元の位置に模式的に配置した場合を示す。
【０１５６】
ここで、例えば、撮像素子６０１により生成された画像信号における先頭ライン（一番上の１ライン）と、撮像素子６０２により生成された画像信号における先頭ラインからＧ画素を取得する場合を例にして説明する。
【０１５７】
ここで、図１７では、取得元の画素を点線の矩形で囲んで示し、取得元の画素および取得先の画素の関係を矢印７０１乃至７０４で結んで示す。
【０１５８】
例えば、矢印７０１に示すように、図１７（ａ）に示す先頭ラインにおける端部から読み出されたＧ画素が取得される。続いて、矢印７０２に示すように、図１７（ｂ）に示す先頭ラインから読み出されたＧ画素が取得される。以降も同様に、矢印７０３、７０４に示すように、撮像素子６０１により生成された画像信号における先頭ラインと、撮像素子６０２により生成された画像信号における先頭ラインとからＧ画素が交互に取得される。
【０１５９】
図１７（ｃ）に示すように、撮像素子６０１および６０２により生成された各画像信号におけるＧＲラインからＧ画素が交互に取得されることにより、１つの画像におけるＧＲラインを構成する各画素の全てのＧ成分が取得される。また、撮像素子６０１および６０２により生成された各画像信号における３行目以降のＧＲライン、ＧＢラインについても同様に、Ｇ画素が取得される。
【０１６０】
ここで、撮像素子６０１および６０２により生成された各画像信号における偶数行目のＧラインは、水平方向にＧ画素のみが配置されているラインである。このため、Ｇラインについては、撮像素子６０１により生成された画像信号と、撮像素子６０２により生成された画像信号とのうちの何れか一方からＧ画素を取得することができる。
【０１６１】
図１８には、撮像素子６０１により生成された画像信号と、撮像素子６０２により生成された画像信号とからＲ画素またはＢ画素の画像信号を取得する例を示す。なお、図１８（ａ）には、撮像素子６０１により生成された画像信号を示し、図１８（ｂ）には、撮像素子６０２により生成された画像信号を示す。
【０１６２】
図１８（ｃ）には、撮像素子６０１により生成された画像信号と、撮像素子６０２により生成された画像信号とから取得されたＲ画素およびＢ画素を、受光面における取得元の位置に模式的に配置した場合を示す。
【０１６３】
また、図１８では、図１７と同様に、取得元の画素を点線の矩形で囲んで示し、取得元の画素および取得先の画素の関係を矢印７１１乃至７１４で結んで示す。
【０１６４】
なお、図１８に示すＲ画素またはＢ画素の画像信号の取得例は、取得元の画素が１画素だけずれる点以外は、図１７に示す取得例と略同様であるため、ここでの詳細な説明を省略する。
【０１６５】
すなわち、図１８（ｃ）に示すように、撮像素子６０１および６０２により生成された各画像信号における先頭ラインからＲ画素が交互に取得されることにより、１つの画像における先頭ラインを構成する各画素のＲ成分が取得される。また、撮像素子６０１および６０２により生成された各画像信号における３行目の１ラインからＢ画素が交互に取得されることにより、１つの画像における３行目の１ラインを構成する各画素のＢ成分が取得される。また、撮像素子６０１および６０２により生成された各画像信号における５行目以降（奇数行目）の各ラインについても同様に、Ｒ画素またはＢ画素が順次取得される。
【０１６６】
［解像度の理論限界値］
図１９は、本技術の第３の実施の形態における撮像素子６０１および６０２のそれぞれを用いて１つの画像を生成する場合における解像度の理論限界値を示す図である。すなわち、Ｇ画素の解像度の理論限界値７５１と、Ｒ画素およびＢ画素の解像度の理論限界値７５２とを示す。
【０１６７】
このように、本技術の第３の実施の形態によれば、補間処理を行う際におけるＧ成分を増加させることができるため、補間ミスを軽減することができる。
【０１６８】
＜４．第４の実施の形態＞
本技術の第１乃至第３の実施の形態では、２つの光学系（レンズ１１１、１１２）と２つの撮像素子とを備える撮像装置を例にして説明した。ここで、１つの光学系と２つの撮像素子とを備える撮像装置に適用することも考えられる。
【０１６９】
そこで、本技術の第４の実施の形態では、１つの光学系と２つの撮像素子とを備える撮像装置の例を示す。なお、本技術の第４の実施の形態における撮像装置は、本技術の第１の実施の形態における撮像装置１００の変形例である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１７０】
［撮像装置の外観構成例］
図２０は、本技術の第４の実施の形態における撮像装置８００の外観を示す斜視図である。図２０（ａ）は、撮像装置８００の正面（すなわち、被写体に向けられるレンズ８１２が設けられている面）側の外観を示す斜視図である。また、図２０（ｂ）は、撮像装置８００の背面（すなわち、撮影者に向けられる表示部１９７が設けられている面）側の外観を示す斜視図である。
【０１７１】
なお、撮像装置８００は、図１、図２等に示す撮像装置１００の変形例である。このため、撮像装置１００と共通する部分については、同一の符号を付してそれらの説明の一部を省略する。
【０１７２】
撮像装置８００は、レンズ８１２と、シャッターボタン１９５と、モード切替ダイヤル１９６と、表示部１９７とを備える。このように、撮像装置８００は、２つのレンズ１１１、１１２の代わりに、１つのレンズ８１２を設けた点以外は、撮像装置１００と同様である。また、撮像装置８００は、１つのレンズ８１２のみを備えるため、２つのレンズを介して入射される被写体光に基づく立体視画像の生成を行うことはできない。
【０１７３】
［撮像装置の内部構成例］
図２１は、本技術の第４の実施の形態における撮像装置８００の内部構成例を示すブロック図である。
【０１７４】
撮像装置８００は、レンズ８１２と、光分配機構８２０と、カメラ信号処理部８５０と、制御部８９０とを備える。
【０１７５】
レンズ８１２は、被写体からの入射光を集光するレンズ群であり、図１、図２等に示すレンズ１１２に対応する。
【０１７６】
光分配機構８２０は、ミラー８２１およびハーフミラー８２２を備える。なお、ミラー８２１およびハーフミラー８２２は、図２等に示すミラー１２１およびハーフミラー１２２に対応する。なお、ミラー８２１およびハーフミラー８２２については、固定式とするようにしてもよく、可動式とするようにしてもよい。
【０１７７】
カメラ信号処理部８５０は、光学補正回路１５１およびホワイトバランス回路１５２を備える。なお、ホワイトバランス回路１５２は、ホワイトバランス処理が施された画像信号（モザイク画像（空間的に位相がずれたＲＧＢ信号））をデモザイク処理回路１８０に供給する。
【０１７８】
制御部８９０は、メモリ（図示せず）に格納されている制御プログラムに基づいて撮像装置８００における各部を制御するものである。
【０１７９】
ここで、ミラー８２１およびハーフミラー８２２が可動式である場合を想定する。例えば、制御部８９０は、操作受付部１９１により通常の撮像モードの設定操作が受け付けられた場合には、ハーフミラー８２２を閉じるための制御を行う。この場合には、制御部８９０は、撮像素子１３１および１３２により生成された画像データについてデモザイク処理回路１８０に補間処理を行わせるための制御を行う。一方、例えば、制御部８９０は、操作受付部１９１により省電力撮像モードの設定操作が受け付けられた場合には、ハーフミラー８２２を開放するための制御を行う。この場合には、制御部８９０は、撮像素子１３１、Ａ／Ｄ変換器１４１、カメラ信号処理部８５０については、各動作を停止させるための制御を行う。
【０１８０】
なお、この例では、本技術の第１の実施の形態と同様のカラーフィルタを用いる例を示した。ただし、本技術の第２および第３の実施の形態と同様のカラーフィルタ等の他のカラーフィルタを用いるようにしてもよい。
【０１８１】
また、ミラー８２１およびハーフミラー８２２を固定式とする場合には、例えば、撮像素子１３１、１３２の何れか一方には、Ｇのみからなるカラーフィルタを装着し、他方には、ＲおよびＢからなるカラーフィルタを装着するようにしてもよい。これにより、１つの画像を構成する各画素の全て位置に、Ｇ成分を配置することができるため、上述したように、３つの撮像素子を備える撮像装置と同様の解像度を得ることができる。
【０１８２】
なお、本技術の実施の形態では、ベイヤー配列、斜め配列のカラーフィルタが装着されている撮像素子を例にして説明したが、他の配列のカラーフィルタが装着されている撮像素子について本技術の実施の形態を適用するようにしてもよい。
【０１８３】
また、本技術の実施の形態では、撮像素子に装着されるカラーフィルタの種類がＲＧＢ３原色である場合を例にして説明したが、ＲＧＢ３原色以外のカラーフィルタを用いる撮像素子についても本技術の実施の形態を適用することができる。例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の補色系のカラーフィルタを用いる撮像素子についても本技術の実施の形態を適用することができる。
【０１８４】
また、本技術の実施の形態では、撮像装置の一例としてデジタルスチルカメラについて説明したが、他の撮像装置（例えば、デジタルビデオカメラ（例えば、カメラ一体型レコーダ））についても、本技術の実施の形態を適用することができる。また、複数の撮像素子を備える撮像部を内蔵する電子機器（例えば、携帯電話、ゲーム装置）等についても、本技術の実施の形態を適用することができる。
【０１８５】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１８６】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１８７】
なお、本技術は以下のような構成もとることができる。
（１）  受光面における同一位置において複数種類の色のうちの少なくとも１種類の色が互いに重複しないように、前記複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている第１撮像素子および第２撮像素子と、
光学系を介して入射される光を分配して前記第１撮像素子および前記第２撮像素子のそれぞれに供給する分配部と
を具備する撮像装置。
（２）  前記第１撮像素子および前記第２撮像素子のそれぞれの受光面における同一位置において、当該各受光面のうちの少なくとも一方には、前記複数種類の色のうちの特定種類の色が配置されるように、前記カラーフィルタが装着されている前記（１）に記載の撮像装置。
（３）  前記複数種類の色は、赤（Ｒ：Red）、緑（Ｇ：Green）、青（Ｂ：Blue）であり、
前記特定種類の色は、緑である
前記（２）に記載の撮像装置。
（４）  前記第１撮像素子は、前記分配部から供給された光を受光して画像信号を生成し、
前記第２撮像素子は、前記分配部から供給された光を受光して画像信号を生成し、
前記第１撮像素子により生成された画像信号と、前記第２撮像素子により生成された画像信号とを用いた補間処理により画像データを生成する画像処理部をさらに具備する
前記（１）から（３）のいずれかに記載の撮像装置。
（５）  前記第１撮像素子には、前記カラーフィルタがベイヤー配列で画素毎に装着され、
前記第２撮像素子には、前記ベイヤー配列のカラーフィルタが特定方向において１画素分ずらして画素毎に装着されている
前記（１）から（４）のいずれかに記載の撮像装置。
（６）  前記第１撮像素子および前記第２撮像素子には、特定配列の前記カラーフィルタが特定方向において互いにずらして装着されている前記（１）から（４）のいずれかに記載の撮像装置。
（７）  立体視画像を表示するための画像データを生成するための第１撮像モードと、平面画像を表示するための画像データを生成するための第２撮像モードとの何れかをユーザ操作に基づいて設定する制御部をさらに具備し、
前記光学系は、前記第１撮像モードの設定時において入射される光を前記第１撮像素子に供給する第１光学系と、前記第１撮像モードの設定時において入射される光を前記第２撮像素子に供給する第２光学系とを備え、
前記分配部は、前記第２撮像モードの設定時には、前記第１光学系を介して入射される光を分配して前記第１撮像素子および前記第２撮像素子のそれぞれに供給し、前記第２光学系に入射される光を前記第２撮像素子に供給しない
前記（１）から（６）のいずれかに記載の撮像装置。
（８）  前記第１撮像素子は、前記第１光学系から供給された光を受光して画像信号を生成し、
前記第２撮像素子は、前記第１撮像モードの設定時には、前記第２光学系から供給された光を受光して画像信号を生成し、前記第２撮像モードの設定時には、前記第１光学系から供給された光を受光して画像信号を生成し、
前記第１撮像モードの設定時には、前記第１撮像素子により生成された画像信号を用いた補間処理により前記立体視画像を表示するための第１画像データを生成し、前記第２撮像モードの設定時には、前記第１撮像素子により生成された画像信号と前記第２撮像素子により生成された画像信号とを用いた補間処理により平面画像を表示するための画像データを生成する第１画像処理部と、
前記第１撮像モードの設定時には、前記第２撮像素子により生成された画像信号を用いた補間処理により前記立体視画像を表示するための第２画像データを生成する第２画像処理部と
をさらに具備する前記（７）に記載の撮像装置。
（９）  光学系を介して入射されて分配部により分配された光を第１光および第２光とし、前記第１光を受光して画像信号を生成する撮像素子であって複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている第１撮像素子と、
前記第２光を受光して画像信号を生成する撮像素子であって受光面における同一位置において前記複数種類の色のうちの少なくとも１種類の色が前記第１撮像素子との間で互いに重複しないように、前記カラーフィルタが所定配列で画素毎に装着されている第２撮像素子と
を具備する撮像装置。
（１０）  光学系を介して入射されて分配部により分配された光を第１光および第２光とし、受光面における同一位置において複数種類の色のうちの少なくとも１種類の色が互いに重複しないように、前記複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている第１撮像素子および第２撮像素子のうち、前記第１撮像素子が前記第１光を受光して画像信号を生成し、前記第２撮像素子が前記第２光を受光して画像信号を生成する第１手順と、
前記第１撮像素子により生成された画像信号と、前記第２撮像素子により生成された画像信号とを用いた補間処理により画像データを生成する第２手順と
を具備する画像処理方法。
（１１）  光学系を介して入射されて分配部により分配された光を第１光および第２光とし、受光面における同一位置において複数種類の色のうちの少なくとも１種類の色が互いに重複しないように、前記複数種類の色に対応するカラーフィルタが所定配列で画素毎に装着されている第１撮像素子および第２撮像素子のうち、前記第１撮像素子が前記第１光を受光して画像信号を生成し、前記第２撮像素子が前記第２光を受光して画像信号を生成する第１手順と、
前記第１撮像素子により生成された画像信号と、前記第２撮像素子により生成された画像信号とを用いた補間処理により画像データを生成する第２手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１８８】
１００、８００  撮像装置
１１１、１１２、８１２  レンズ
１２０、８２０  光分配機構
１２１、８２１  ミラー
１２２、８２２  ハーフミラー
１３１、１３２、６０１、６０２  撮像素子
１４１、１４２  Ａ／Ｄ変換器
１５０、１６０、８５０  カメラ信号処理部
１５１、１６１  光学補正回路
１５２、１６２  ホワイトバランス回路
１５３、１６３  γ補正回路
１５４、１６４  ＹＣ信号処理回路
１７０、１８０  デモザイク処理回路
１７１  信号線
１８１  信号選択部
１８２  相関度算出部
１８３  補間部
１９０、８９０  制御部
１９１  操作受付部
１９５  シャッターボタン
１９６  モード切替ダイヤル
１９７  表示部
【図１】
2013172218.tif 000003
【図２】
2013172218.tif 000004
【図３】
2013172218.tif 000005
【図４】
2013172218.tif 000006
【図５】
2013172218.tif 000007
【図６】
2013172218.tif 000008
【図７】
2013172218.tif 000009
【図８】
2013172218.tif 000010
【図９】
2013172218.tif 000011
【図１０】
2013172218.tif 000012
【図１１】
2013172218.tif 000013
【図１２】
2013172218.tif 000014
【図１３】
2013172218.tif 000015
【図１４】
2013172218.tif 000016
【図１５】
2013172218.tif 000017
【図１６】
2013172218.tif 000018
【図１７】
2013172218.tif 000019
【図１８】
2013172218.tif 000020
【図１９】
2013172218.tif 000021
【図２０】
2013172218.tif 000022
【図２１】
2013172218.tif 000023