(57)【特許請求の範囲】
【請求項１】
カラーフィルタが装着されている画素が格子状に斜め方向に配列され、前記カラーフィルタを介して入射された光を前記画素毎に電気信号に変換して出力する光電変換手段であって、前記カラーフィルタは、水平方向にＧ画素とＲ画素とが交互に配列されたＧＲラインと水平方向にＧ画素とＢ画素とが交互に配列されたＧＢラインと水平方向にＧ画素のみが配列されたＧラインとからなり、前記ＧＲラインおよび前記Ｇラインと前記ＧＢラインおよび前記Ｇラインとの組合せが垂直方向に交互に配置されて前記Ｒ画素および前記Ｂ画素の隣接する位置に前記Ｇ画素が配置される光電変換手段と、
前記光電変換手段により変換される電気信号のうちから前記ＧＲラインおよび前記ＧＢラインに含まれる画素に係る電気信号のみを転送する転送手段と
を具備することを特徴とする撮像回路。
【請求項２】
前記転送手段は、外部からの制御信号に基づいて前記光電変換手段により変換される電気信号のうちから前記各ラインに係る電気信号を順次転送する第１の転送モードと、前記光電変換手段により変換される電気信号のうちから前記ＧＲラインおよび前記ＧＢラインに含まれる画素に係る電気信号のみを転送する第２の転送モードとの何れかを選択して前記光電変換手段により変換される電気信号を転送する
ことを特徴とする請求項１記載の撮像回路。
【請求項３】
前記Ｇラインが間引かれた前記カラーフィルタの配列は、前記Ｇラインに含まれる１つのＧ画素の周りに隣接する前記ＧＲラインに含まれるＧ画素およびＲ画素と前記ＧＢラインに含まれるＧ画素およびＢ画素との組合せパターンが格子状に配列されているものである
ことを特徴とする請求項１記載の撮像回路。
【請求項４】
カラーフィルタが装着されている画素が格子状に斜め方向に配列され、前記カラーフィルタを介して入射された光を前記画素毎に電気信号に変換して出力する光電変換手段であって、前記カラーフィルタは、水平方向にＧ画素とＲ画素とが交互に配列されたＧＲラインと水平方向にＧ画素とＢ画素とが交互に配列されたＧＢラインと水平方向にＧ画素のみが配列されたＧラインとからなり、前記ＧＲラインおよび前記Ｇラインと前記ＧＢラインおよび前記Ｇラインとの組合せが垂直方向に交互に配置されて前記Ｒ画素および前記Ｂ画素の隣接する位置に前記Ｇ画素が配置される光電変換手段と、
前記光電変換手段により変換される電気信号のうちから前記各ラインに係る電気信号を順次転送する第１の転送モードと、前記光電変換手段により変換される電気信号のうちから前記ＧＲラインおよび前記ＧＢラインに含まれる画素に係る電気信号のみを転送する第２の転送モードとの何れかを選択して前記光電変換手段により変換される電気信号を転送する転送手段と、
前記第１の転送モードにおいて転送された前記各ラインに係る電気信号についてデモザイク処理を行う第１のデモザイク処理手段と、
前記第２の転送モードにおいて転送された前記ＧＲラインおよび前記ＧＢラインに係る電気信号についてデモザイク処理を行う第２のデモザイク処理手段と
を具備することを特徴とする撮像装置。
【請求項５】
少なくとも第１の撮影モードまたは第２の撮影モードのうちの何れかを設定する旨の操作入力を受け付ける操作受付手段と、
前記第１の撮影モードを設定する旨の操作入力が受け付けられた場合には前記第１の転送モードを選択して前記光電変換手段により変換される電気信号を前記転送手段に転送させるとともに当該転送された電気信号を前記第１のデモザイク処理手段にデモザイク処理をさせ、前記第２の撮影モードを設定する旨の操作入力が受け付けられた場合には前記第２の転送モードを選択して前記光電変換手段により変換される電気信号を前記転送手段に転送させるとともに当該転送された電気信号を前記第２のデモザイク処理手段にデモザイク処理をさせる制御手段とをさらに具備する
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記光電変換手段に係るカラーフィルタは、斜め画素配列のカラーフィルタであり、
前記第１のデモザイク処理手段は、前記斜め画素配列のカラーフィルタに対応する電気信号についてデモザイク処理を行い、
前記第２のデモザイク処理手段は、ベイヤー配列のカラーフィルタに対応する電気信号についてデモザイク処理を行う
ことを特徴とする請求項４記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像回路に関し、特に、斜め画素配列のカラーフィルタを用いた撮像回路および撮像装置に関する。
【背景技術】
【０００２】
近年、被写体を撮像して記録媒体に記録するデジタルビデオカメラやデジタルスチルカメラ等の撮像装置が広く普及している。また、これらの撮像装置の小型化および高画質化が進んでいる。これらの撮像装置には固体撮像素子（イメージングデバイス）が搭載され、この固体撮像素子の受光面にはカラーフィルタが装着されている。そして、このカラーフィルタを通じて光の強弱が固体撮像素子に入力され、この光の強弱に応じた電気信号がＲＡＷデータとして固体撮像素子から出力される。
【０００３】
例えば、固体撮像素子に用いられるカラーフィルタとして、Ｇ（Green：緑）、Ｒ（Red：赤）、Ｂ（Blue：青）の割合が２：１：１であるベイヤー配列のカラーフィルタが広く知られている。また、撮像装置の高画質化に対応するため、ベイヤー配列以外の種々の画素配列のカラーフィルタが提案されている。
【０００４】
例えば、Ｇ（緑）、Ｒ（赤）、Ｂ（青）の割合が２：１：１であるベイヤー配列に対して、Ｇ（緑）、Ｒ（赤）、Ｂ（青）の割合を６：１：１とし、さらに画素配列を４５度回転させた画素配列のカラーフィルタ（いわゆる、斜め画素配列のカラーフィルタ）が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００６−２１１６３１号公報（図７）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、従来のベイヤー配列のカラーフィルタと比較した場合に、高感度化を実現することができるとともに、高速化および高画素動画化を実現することができる。
【０００６】
ここで、例えば、複数の撮影モードを実現する撮像装置について考える。このような撮像装置においては、各撮影モードに対応する解像度およびフレームレートがそれぞれ異なっている。
【０００７】
例えば、撮影中に被写体をモニタリングするモニタリングモードでは、解像度は低解像度でよいものの、フレームレートとして中フレームレートが要求される。また、動画を撮影する動画撮影モードでは、解像度として中解像度が要求されるとともに、フレームレートとして中フレームレートが要求される。さらに、静止画を撮影する静止画撮影モードでは、フレームレートは低フレームレートでよいものの、解像度として高解像度が要求される。また、動画を高速で撮影する高速撮像モードでは、解像度は低解像度でよいものの、フレームレートとして高フレームレートが要求される。
【０００８】
このように、撮影モード毎に要求される解像度やフレームレートが異なるため、それぞれの撮影モードで撮影が行われている場合には、撮影が行われている撮影モードに応じた最適な解像度およびフレームレートに設定されることが重要である。例えば、固体撮像素子にベイヤー配列のカラーフィルタが用いられている場合において、解像度およびフレームレートを変更する場合には、固体撮像素子で間引きや加算をして解像度等を設定する方法が一般的に広く使われている。例えば、高解像度が要求される場合には、読み出す間隔を広くして、フレームレートを低くすることによって、一定の解像度にすることができる。また、フレームレートを高くする場合には、間引きや画素加算をすることによって画素数を少なくし、一定のフレームレートを実現することができる。
【０００９】
上述の従来技術の斜め画素配列のカラーフィルタについても、カラーフィルタの配列が繰り返しパターンとなっているため、ベイヤー配列のカラーフィルタと同様に、画素加算や画素間引きにより解像度およびフレームレートを変更することができる。
【００１０】
しかしながら、斜め画素配列のカラーフィルタについて、ベイヤー配列のカラーフィルタと同様の画素加算をする場合には、各色の画素の間隔が広いところから平均をとるように加算される。このため、開口率の高い固体撮像素子と同様に、全体的に高周波の情報が落とされたような、ぼやけた画像となる場合がある。
【００１１】
また、斜め画素配列のカラーフィルタについて、ベイヤー配列のカラーフィルタと同様の画素間引きをする場合には、各色の画素の間隔が広くなることによって、結果的に荒いサンプリングとなる。このため、高周波成分が折り返し現象（aliasing）を起こし、画質が劣化する場合がある。
【００１２】
そこで、高解像度や低フレームレート等が要求される静止画撮影モード等では、上述の斜め画素配列のカラーフィルタにより実現される高感度化、高速化および高画素動画化等を維持しつつ、低解像度や中フレームレート等が要求されるモニタリング等では、画質を維持して適切な解像度やフレームレート等を設定することが重要である。
【００１３】
そこで、本発明は、斜め画素配列のカラーフィルタを用いた撮像素子において、撮影モードに応じた適切な画像を取得することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、カラーフィルタが装着されている画素が格子状に斜め方向に配列され、上記カラーフィルタを介して入射された光を上記画素毎に電気信号に変換して出力する光電変換手段であって、上記カラーフィルタは、水平方向にＧ画素とＲ画素とが交互に配列されたＧＲラインと水平方向にＧ画素とＢ画素とが交互に配列されたＧＢラインと水平方向にＧ画素のみが配列されたＧラインとからなり、上記ＧＲラインおよび上記Ｇラインと上記ＧＢラインおよび上記Ｇラインとの組合せが垂直方向に交互に配置されて上記Ｒ画素および上記Ｂ画素の隣接する位置に上記Ｇ画素が配置される光電変換手段と、上記光電変換手段により変換される電気信号のうちから上記ＧＲラインおよび上記ＧＢラインに含まれる画素に係る電気信号のみを転送する転送手段とを具備することを特徴とする撮像回路である。これにより、光電変換手段により変換される電気信号のうちからＧＲラインおよびＧＢラインに含まれる画素に係る電気信号のみを転送するという作用をもたらす。
【００１５】
また、この第１の側面において、上記転送手段は、外部からの制御信号に基づいて上記光電変換手段により変換される電気信号のうちから上記各ラインに係る電気信号を順次転送する第１の転送モードと、上記光電変換手段により変換される電気信号のうちから上記ＧＲラインおよび上記ＧＢラインに含まれる画素に係る電気信号のみを転送する第２の転送モードとの何れかを選択して上記光電変換手段により変換される電気信号を転送することができる。これにより、外部からの制御信号に基づいて、光電変換手段により変換される電気信号のうちから各ラインに係る電気信号を順次転送する第１の転送モードと、光電変換手段により変換される電気信号のうちからＧＲラインおよびＧＢラインに含まれる画素に係る電気信号のみを転送する第２の転送モードとの何れかを選択して、光電変換手段により変換される電気信号を転送するという作用をもたらす。
【００１６】
また、この第１の側面において、上記Ｇラインが間引かれた上記カラーフィルタの配列は、上記Ｇラインに含まれる１つのＧ画素の周りに隣接する上記ＧＲラインに含まれるＧ画素およびＲ画素と、上記ＧＢラインに含まれるＧ画素およびＢ画素との組合せパターンが格子状に配列されているものであることができる。これにより、Ｇラインに含まれる１つのＧ画素の周りに隣接するＧＲラインに含まれるＧ画素およびＲ画素と、ＧＢラインに含まれるＧ画素およびＢ画素との組合せパターンが格子状に配列されているカラーフィルタを介して入射された光を、画素毎に電気信号に変換して転送するという作用をもたらす。
【００１７】
また、本発明の第２の側面は、カラーフィルタが装着されている画素が格子状に斜め方向に配列され、上記カラーフィルタを介して入射された光を上記画素毎に電気信号に変換して出力する光電変換手段であって、上記カラーフィルタは、水平方向にＧ画素とＲ画素とが交互に配列されたＧＲラインと水平方向にＧ画素とＢ画素とが交互に配列されたＧＢラインと水平方向にＧ画素のみが配列されたＧラインとからなり、上記ＧＲラインおよび上記Ｇラインと上記ＧＢラインおよび上記Ｇラインとの組合せが垂直方向に交互に配置されて上記Ｒ画素および上記Ｂ画素の隣接する位置に上記Ｇ画素が配置される光電変換手段と、上記光電変換手段により変換される電気信号のうちから上記各ラインに係る電気信号を順次転送する第１の転送モードと、上記光電変換手段により変換される電気信号のうちから上記ＧＲラインおよび上記ＧＢラインに含まれる画素に係る電気信号のみを転送する第２の転送モードとの何れかを選択して上記光電変換手段により変換される電気信号を転送する転送手段と、上記第１の転送モードにおいて転送された上記各ラインに係る電気信号についてデモザイク処理を行う第１のデモザイク処理手段と、上記第２の転送モードにおいて転送された上記ＧＲラインおよび上記ＧＢラインに係る電気信号についてデモザイク処理を行う第２のデモザイク処理手段とを具備することを特徴とする撮像装置である。これにより、光電変換手段により変換される電気信号のうちから各ラインに係る電気信号を順次転送する第１の転送モードと、光電変換手段により変換される電気信号のうちからＧＲラインおよびＧＢラインに含まれる画素に係る電気信号のみを転送する第２の転送モードとの何れかを選択して、光電変換手段により変換される電気信号を転送し、第１の転送モードにおいて転送された各ラインに係る電気信号については第１のデモザイク処理手段によりデモザイク処理を行い、第２の転送モードにおいて転送されたＧＲラインおよびＧＢラインに係る電気信号については第２のデモザイク処理手段によりデモザイク処理を行うという作用をもたらす。
【００１８】
また、この第２の側面において、少なくとも第１の撮影モードまたは第２の撮影モードのうちの何れかを設定する旨の操作入力を受け付ける操作受付手段と、上記第１の撮影モードを設定する旨の操作入力が受け付けられた場合には上記第１の転送モードを選択して上記光電変換手段により変換される電気信号を上記転送手段に転送させるとともに当該転送された電気信号を上記第１のデモザイク処理手段にデモザイク処理をさせ、上記第２の撮影モードを設定する旨の操作入力が受け付けられた場合には上記第２の転送モードを選択して上記光電変換手段により変換される電気信号を上記転送手段に転送させるとともに当該転送された電気信号を上記第２のデモザイク処理手段にデモザイク処理をさせる制御手段とをさらに具備することができる。これにより、第１の撮影モードを設定する旨の操作入力が受け付けられた場合には、第１の転送モードを選択して光電変換手段により変換される電気信号を転送させるとともに、この転送された電気信号を第１のデモザイク処理手段にデモザイク処理をさせ、一方、第２の撮影モードを設定する旨の操作入力が受け付けられた場合には、第２の転送モードを選択して光電変換手段により変換される電気信号を転送させるとともに、この転送された電気信号を第２のデモザイク処理手段にデモザイク処理をさせるという作用をもたらす。
【００１９】
また、この第２の側面において、上記光電変換手段に係るカラーフィルタは、斜め画素配列のカラーフィルタであり、上記第１のデモザイク処理手段は、上記斜め画素配列のカラーフィルタに対応する電気信号についてデモザイク処理を行い、上記第２のデモザイク処理手段は、ベイヤー配列のカラーフィルタに対応する電気信号についてデモザイク処理を行うことができる。これにより、第１のデモザイク処理手段が、斜め画素配列のカラーフィルタに対応する電気信号についてデモザイク処理を行い、第２のデモザイク処理手段が、ベイヤー配列のカラーフィルタに対応する電気信号についてデモザイク処理を行うという作用をもたらす。
【発明の効果】
【００２０】
本発明によれば、斜め画素配列のカラーフィルタを用いた撮像素子において、撮影モードに応じた適切な画像を取得することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２１】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２２】
図１は、本発明の実施の形態における撮像装置１００の一構成例を示すブロック図である。撮像装置１００は、レンズ１１０と、撮像部１２０と、操作受付部１５０と、モード管理コントローラ部１６０と、画像処理部４００とを備える。撮像装置１００は、例えば、静止画撮影が可能なカムコーダや動画撮影が可能なデジタルスチルカメラ等の動画および静止画を撮影することが可能な撮像装置であり、例えば、動画撮影モード、静止画撮影モード、高速撮像モード、モニタリングモード等の異なる複数の撮影モードを実現する撮像装置である。
【００２３】
レンズ１１０は、光源からの入射光および撮像被写体からの反射光を集光するレンズである。
【００２４】
撮像部１２０は、レンズ１１０を通過した光信号を電気信号に変換し、この変換された電気信号をＲＡＷデータとして画像処理部４００に出力するものであり、光電変換部１２１とデータ転送部１２２とを備える。光電変換部１２１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の固体撮像素子（イメージセンサ）で構成され、レンズ１１０を通過した光信号に光電変換処理を施すものである。そして、光電変換された電気信号がデータ転送部１２２によりＲＡＷデータ補正処理回路２００に転送される。また、光電変換部１２１の受光部を構成する各画素が格子状に斜め方向に配列され、各画素にはカラーフィルタが装着されている。すなわち、光電変換部１２１の受光部には、いわゆる斜め画素配列のカラーフィルタが装着されている。なお、斜め画素配列のカラーフィルタおよび撮像部１２０が出力するＲＡＷデータについては、図４乃至図６を参照して詳細に説明する。
【００２５】
ここで、撮像装置１００により実現される動画撮影モード、静止画撮影モード、高速撮像モード、モニタリングモード等の複数の撮影モードについては、全画素モードおよびベイヤーモードに大きく分けることができる。また、全画素モードにおいては、撮像部１２０から斜め画素配列形式のＲＡＷデータが出力され、ベイヤーモードにおいては、撮像部１２０からベイヤー形式のＲＡＷデータが出力される。ここで、全画素モードとは、光電変換部１２１から出力可能な全ての画素を出力する撮影モードであり、高解像度が要求される静止画撮影等に適した撮影モードである。また、斜め画素配列形式のＲＡＷデータとは、図４に示す斜め画素配列のカラーフィルタを用いて出力されるＲＡＷデータを意味する。一方、ベイヤーモードとは、光電変換部１２１から出力可能な画素の一部を出力する撮影モードであり、高解像度が要求されないモニタリング等に適した撮影モードである。また、ベイヤー形式のＲＡＷデータとは、図５に示す斜め画素配列のカラーフィルタを用いて出力されるＲＡＷデータを意味する。
【００２６】
データ転送部１２２は、モード管理コントローラ部１６０から出力されたコントロール信号に従って、光電変換部１２１を構成する各画素からライン毎に電気信号を読み出し、読み出された電気信号をＲＡＷデータとしてＲＡＷデータ補正処理回路２００に転送するものである。すなわち、データ転送部１２２は、全画素モードに対応するコントロール信号が入力された場合には、光電変換部１２１を構成する各ラインから電気信号を順次読み出し、この読み出された電気信号を斜め画素配列形式のＲＡＷデータとしてＲＡＷデータ補正処理回路２００に転送する。一方、ベイヤーモードに対応するコントロール信号が入力された場合には、光電変換部１２１を構成する各ラインのうちでＧ画素のみが配列されたＧライン以外のラインから電気信号を順次読み出し、この読み出された電気信号をベイヤー形式のＲＡＷデータとしてＲＡＷデータ補正処理回路２００に転送する。
【００２７】
画像処理部４００は、撮像部１２０から出力されたＲＡＷデータに信号処理を施し、ＹＣｂＣｒビデオ信号を生成して、生成されたＹＣｂＣｒビデオ信号を信号線１４１に出力するものであり、ＲＡＷデータ補正処理回路２００と、デモザイク処理回路３００と、γ補正処理回路１３０と、色空間変換処理回路１４０とを備える。
【００２８】
ＲＡＷデータ補正処理回路２００は、撮像部１２０から出力されたＲＡＷデータについて色別に信号処理を施すものであり、この信号処理が施されたＲＡＷデータをデモザイク処理回路３００に出力する。なお、ＲＡＷデータ補正処理回路２００の詳細については、図２を参照して詳細に説明する。
【００２９】
デモザイク処理回路３００は、ＲＡＷデータ補正処理回路２００から出力されたＲＡＷデータからＲＧＢデータを生成するものであり、この生成されたＲＧＢデータをγ補正処理回路１３０に出力する。なお、デモザイク処理回路３００の詳細については、図３を参照して詳細に説明する。
【００３０】
γ補正処理回路１３０は、デモザイク処理回路３００から出力されたＲＧＢデータについて各色の階調を圧縮処理（輝度圧縮処理）するものであり、この圧縮処理が施されたＲＧＢデータを色空間変換処理回路１４０に出力する。
【００３１】
色空間変換処理回路１４０は、γ補正処理回路１３０から出力されたＲＧＢデータから輝度信号Ｙと色差信号（青）Ｃｂおよび色差信号[0]（赤）Ｃｒとを生成するものであり、生成されたＹＣｂＣｒビデオ信号を信号線１４１に出力する。
【００３２】
操作受付部１５０は、撮像装置１００の撮影モードを設定する撮影モード設定ボタン等を備え、このモード設定ボタンから操作入力を受け付けると、受け付けた操作入力の内容をモード管理コントローラ部１６０に出力するものである。例えば、モニタリング、動画撮影モード、静止画撮影モード、高速撮像モードを設定するための撮影モード設定ボタンがある。
【００３３】
モード管理コントローラ部１６０は、操作受付部１５０からの操作入力の内容を入力すると、この操作入力の内容に応じたコントロール信号を、データ転送部１２２、ＲＡＷデータ補正処理回路２００およびデモザイク処理回路３００に出力するものである。例えば、操作受付部１５０からの操作入力の内容が、動画撮影モードや静止画撮影モード等を設定する旨の内容である場合には、全画素モードを設定する旨のコントロール信号を各部に出力する。一方、操作受付部１５０からの操作入力の内容が、モニタリングや高速撮像モード等を設定する旨の内容である場合には、ベイヤーモードを設定する旨のコントロール信号を各部に出力する。
【００３４】
図２は、本発明の実施の形態におけるＲＡＷデータ補正処理回路２００の一構成例を示すブロック図である。ＲＡＷデータ補正処理回路２００は、色別信号分配器２１０と、Ｒ補正処理部２２０と、Ｂ補正処理部２３０と、Ｇ補正処理部２４０と、ＲＡＷデータ復元器２５０とを備える。ここで、モード管理コントローラ部１６０から出力されたコントロール信号は、色別信号分配器２１０およびＲＡＷデータ復元器２５０に入力される。
【００３５】
色別信号分配器２１０は、モード管理コントローラ部１６０から出力されたコントロール信号に基づいて、撮像部１２０から出力されたＲＡＷデータを赤、緑、青の各色成分に分配し、Ｒ補正処理部２２０、Ｂ補正処理部２３０およびＧ補正処理部２４０の何れかに出力するものである。すなわち、モード管理コントローラ部１６０から全画素モードに対応するコントロール信号が色別信号分配器２１０に入力された場合には、撮像部１２０から色別信号分配器２１０に入力されるＲＡＷデータは斜め画素配列形式のＲＡＷデータであるため、この斜め画素配列形式のＲＡＷデータを各色成分に分配する。一方、モード管理コントローラ部１６０からベイヤーモードに対応するコントロール信号が色別信号分配器２１０に入力された場合には、撮像部１２０から色別信号分配器２１０に入力されるＲＡＷデータはベイヤー形式のＲＡＷデータであるため、このベイヤー形式のＲＡＷデータを各色成分に分配する。そして、分配された信号のうちのＲ色成分がＲ補正処理部２２０に出力され、Ｂ色成分がＢ補正処理部２３０に出力され、Ｇ色成分がＧ補正処理部２４０に出力される。
【００３６】
Ｒ補正処理部２２０と、Ｂ補正処理部２３０と、Ｇ補正処理部２４０とは、色別信号分配器２１０から出力された各色のＲＡＷデータにＲＡＷ補正信号処理を施して、ＲＡＷデータ復元器２５０に出力するものである。
【００３７】
ＲＡＷデータ復元器２５０は、モード管理コントローラ部１６０から出力されたコントロール信号に従って、ＲＧＢデータに分割されたＲＡＷデータを復元するものであり、復元されたＲＡＷデータをデモザイク処理回路３００に出力する。すなわち、Ｒ補正処理部２２０から出力されたＲ色成分と、Ｂ補正処理部２３０から出力されたＢ色成分と、Ｇ補正処理部２４０から出力されたＧ色成分とがＲＡＷデータ復元器２５０に入力されると、入力された各色成分をＲＡＷデータ復元器２５０がＲＡＷデータとして復元する。この場合に、モード管理コントローラ部１６０から全画素モードに対応するコントロール信号がＲＡＷデータ復元器２５０に入力された場合には、各色成分が斜め画素配列形式のＲＡＷデータとして復元される。一方、モード管理コントローラ部１６０からベイヤーモードに対応するコントロール信号がＲＡＷデータ復元器２５０に入力された場合には、各色成分がベイヤー形式のＲＡＷデータとして復元される。
【００３８】
図３は、本発明の実施の形態におけるデモザイク処理回路３００の一構成例を示すブロック図である。デモザイク処理回路３００は、分配器３１０と、斜め画素配列デモザイク回路３２０と、ベイヤーデモザイク回路３３０と、選択器３４０とを備える。ここで、モード管理コントローラ部１６０から出力されたコントロール信号は、分配器３１０および選択器３４０に入力される。
【００３９】
分配器３１０は、モード管理コントローラ部１６０から出力されたコントロール信号に従って、図２に示すＲＡＷデータ復元器２５０から出力されたＲＡＷデータを、斜め画素配列デモザイク回路３２０またはベイヤーデモザイク回路３３０の何れかに出力するものである。すなわち、モード管理コントローラ部１６０から全画素モードに対応するコントロール信号が分配器３１０に入力された場合には、ＲＡＷデータ復元器２５０から出力されたＲＡＷデータを斜め画素配列デモザイク回路３２０に出力し、一方、モード管理コントローラ部１６０からベイヤーモードに対応するコントロール信号が分配器３１０に入力された場合には、ＲＡＷデータ復元器２５０から出力されたＲＡＷデータをベイヤーデモザイク回路３３０に出力する。
【００４０】
斜め画素配列デモザイク回路３２０は、分配器３１０から出力された斜め画素配列形式のＲＡＷデータにデモザイク処理を施して、ＲＧＢデータを選択器３４０に出力するものである。すなわち、図４に示す斜め画素配列のカラーフィルタを介して撮像部１２０から出力されたＲＡＷデータについて、補完処理等のデモザイク処理が施される。
【００４１】
ベイヤーデモザイク回路３３０は、分配器３１０から出力されたベイヤー形式のＲＡＷデータにデモザイク処理を施して、ＲＧＢデータを選択器３４０に出力するものである。すなわち、図５に示す間引きされた斜め画素配列のカラーフィルタを介して撮像部１２０から出力されたＲＡＷデータについて、補完処理等のデモザイク処理が施される。
【００４２】
選択器３４０は、モード管理コントローラ部１６０から出力されたコントロール信号に従って、斜め画素配列デモザイク回路３２０またはベイヤーデモザイク回路３３０から出力されたＲＧＢデータを選択し、γ補正処理回路１３０に出力するものである。
【００４３】
図４は、光電変換部１２１の受光部に装着されている、いわゆる斜め画素配列のカラーフィルタの画素配列を示す図である。斜め画素配列のカラーフィルタとは、Ｇ（緑）、Ｒ（赤）、Ｂ（青）の割合が２：１：１であるベイヤー配列に対して、Ｇ（緑）、Ｒ（赤）、Ｂ（青）の割合を６：１：１とし、さらに画素配列を４５度回転させた画素配列のカラーフィルタである。なお、図４に示すＧ画素については、Ｒ画素を含む行に存在するＧ画素をＧｒ画素として示し、Ｂ画素を含む行に存在するＧ画素をＧｂ画素として示し、Ｒ画素を含む行とＢ画素を含む行との間の行に存在するＧ画素をＧ１乃至Ｇ４画素として示す。なお、Ｇ１乃至Ｇ４の各番号は識別番号である。また、図４では、光電変換部１２１の受光部に装着されている斜め画素配列のカラーフィルタのうちの一部のみを示す。
【００４４】
図４に示すように、Ｒ画素およびＢ画素については、上下左右斜め方向の何れにおいても、隣接する各画素が同色画素ではなく、上下左右方向の同一ライン上の１画素隔てた位置に同色画素が存在する。また、Ｒ画素およびＢ画素については、各斜め方向の同一ライン上の１画素隔てた位置に相互に配置されている。また、Ｒ画素が存在する左右方向のライン上にはＲ画素とＧｒ画素とが交互に配置され、Ｂ画素が存在する左右方向のライン上にはＢ画素とＧｂ画素とが交互に配置されている。例えば、ライン５０１においては、Ｒ画素とＧｒ画素とが交互に配置されている。また、ライン５０３においては、Ｂ画素とＧｂ画素とが交互に配置されている。
【００４５】
さらに、Ｒ画素が存在する左右方向のラインと、Ｂ画素が存在する左右方向のラインとの間のラインには、Ｇ１画素とＧ２画素とが交互に配置されるラインと、Ｇ３画素とＧ４画素とが交互に配置されるラインとが配置されている。例えば、Ｒ画素とＧｒ画素とが交互に配置されているライン５０１と、Ｂ画素とＧｂ画素とが交互に配置されているライン５０３との間のライン５０２には、Ｇ１画素とＧ２画素とが交互に配置されている。また、Ｂ画素とＧｂ画素とが交互に配置されているライン５０３と、Ｒ画素とＧｒ画素とが交互に配置されているライン５０５との間のライン５０４には、Ｇ３画素とＧ４画素とが交互に配置されている。
【００４６】
このように、図４に示す斜め画素配列のカラーフィルタを用いた場合においては、画素の配列が斜め画素配列であるため、同一画素ピッチのベイヤー配列のカラーフィルタに対して、縦横方向のサンプリングレートが「１／√２」倍となる。これにより、同一画素ピッチのベイヤー配列のカラーフィルタを用いた場合よりも、２倍の画素情報量を取得することが可能である（特開２００６−２１１６３１等参照）。例えば、光電変換部１２１の撮像素子がＮ画素からなる場合には、２ＮのＲＧＢ信号を生成することができる。このＮ画素の処理を撮像装置１００において行う場合には、ＲＡＷデータ補正処理回路２００は、ＲＡＷデータを処理するため、１画面（フレーム）毎にＮ画素の処理をする。また、デモザイク処理回路３００と、γ補正処理回路１３０と、色空間変換処理回路１４０とにおいては、画素が２Ｎに拡張されるため、２Ｎ画素の処理能力が必要となる。
【００４７】
このように、図４に示す斜め画素配列のカラーフィルタを用いることによって、従来のベイヤー配列のカラーフィルタと比較して、２倍の解像度を実現することができる。言いかえれば、ある解像度を実現する同じセンサー面積の固体撮像素子を実現する場合において、従来のベイヤー配列のカラーフィルタと比較すると、固体撮像素子の各画素の開口サイズを大きくすることができるため、照度の低い環境下で撮影することが可能となる。すなわち、高感度化を実現することができる。
【００４８】
また、ある解像度を実現する同じセンサー面積の固体撮像素子を実現する場合において、従来のベイヤー配列のカラーフィルタと比較した場合、従来のベイヤー配列のカラーフィルタよりも少ないＲＡＷデータを読み出せばよいため、高速フレームレート化が可能である。すなわち、高速化および高画素動画化を実現することができる。例えば、フル解像度のＨＤ（High Definition）動画や大きな画サイズの動画を実現することができる。
【００４９】
ここで、撮像装置１００は、動画撮影、静止画撮影、高速撮像、静止画撮影時のモニタリング等の異なる複数の撮影モードを実現する撮像装置であるが、上述したように、各撮影モードに要求される解像度やフレームレート等が異なっている。そこで、撮影が行われている撮影モードに応じた最適な解像度やフレームレート等を設定することが重要である。そこで、本発明の実施の形態では、図５に示すように、図４に示す斜め画素配列のカラーフィルタに対応する画素を間引きすることによって、撮影モードに応じた最適な解像度やフレームレート等を設定することができる。
【００５０】
図５は、図４に示す斜め画素配列のカラーフィルタにおいて、Ｇ１画素およびＧ２画素が交互に配置されているライン（ライン５０２等）と、Ｇ３画素およびＧ４画素が交互に配置されるライン（ライン５０４等）とに含まれる各Ｇ画素が間引きされた場合における画素配列の一例を示す図である。なお、これらの間引き処理は、光電変換部１２１から出力された電気信号についてデータ転送部１２２により行われる。
【００５１】
図５に示すように、図４に示す斜め画素配列のカラーフィルタにおいて、Ｇ１画素およびＧ２画素が交互に配置されているラインと、Ｇ３画素およびＧ４画素が交互に配置されるラインに含まれる各Ｇ画素が間引きされた場合には、Ｇ（緑）およびＲ（赤）が交互に配列されたＧＲラインと、Ｇ（緑）およびＢ（青）が交互に配列されたＧＢラインとが、上下方向に交互に配列された画素配列となる。また、Ｇ（緑）、Ｒ（赤）、Ｂ（青）の割合が、「６：１：１」から「２：１：１」と変更される。
【００５２】
このように、間引き処理が施された場合には、Ｇ（緑）、Ｒ（赤）、Ｂ（青）の関係が、従来のベイヤー配列の画素配列の関係と同一となる。すなわち、図５に示すように、点線５２１乃至５２９に囲まれているＧ（緑）、Ｒ（赤）、Ｂ（青）の配列パターンが、従来のベイヤー配列の画素配列のパターンと同一となる。このため、データ転送部１２２により間引き処理が行われたベイヤー形式のＲＡＷデータについては、従来のベイヤー形式のＲＡＷデータに施されるモザイク処理と同様のデモザイク処理を施すことによって、適切な画像処理を施すことができる。これにより、ベイヤーデモザイク回路３３０として、ベイヤー形式のＲＡＷデータに用いられている従来と同様のデモザイク回路を用いることができる。また、この場合に、ベイヤー形式のＲＡＷデータと同様の画質を得ることができる。
【００５３】
このように、図５に示す斜め画素配列のカラーフィルタを用いた場合において、光電変換部１２１の撮像素子がＮ画素からなる場合には、データ転送部１２２によりＧ画素のみを含むラインが間引きされて読み取りがされるため、Ｎ／２のＲＡＷデータが撮像部１２０から出力される。このＮ画素の処理を撮像装置１００において行う場合には、撮像部１２０およびＲＡＷデータ補正処理回路２００は、ＲＡＷデータを処理するため、１画面（フレーム）毎にＮ／２画素の処理をする。また、デモザイク処理回路３００は、ベイヤー形式のＲＡＷデータをデモザイク処理するため、１画面（フレーム）毎にＮ／２画素の処理をする。さらに、γ補正処理回路１３０および色空間変換処理回路１４０においては、１画面（フレーム）毎にＮ／２画素の処理をする。
【００５４】
すなわち、図５に示す斜め画素配列のカラーフィルタを用いた場合と、図４に示す斜め画素配列のカラーフィルタを用いた場合とにおける処理内容を比較した場合において、図５に示す斜め画素配列のカラーフィルタを用いた場合には、撮像部１２０およびＲＡＷデータ補正処理回路２００における処理が１／２（図５に示す斜め画素配列のカラーフィルタでは「Ｎ／２」に対して、図４に示す斜め画素配列のカラーフィルタでは「Ｎ」）となり、デモザイク処理回路３００、γ補正処理回路１３０および色空間変換処理回路１４０における各処理が１／４（図５に示す斜め画素配列のカラーフィルタでは「Ｎ／２」に対して、図４に示す斜め画素配列のカラーフィルタでは「２Ｎ」）となる。これにより、さらに、高フレームレートを実現することができる。また、フレームレートをそのままとした場合には、消費電力を低減させることができる。
【００５５】
図６（ａ）は、図４に示す斜め画素配列のカラーフィルタにおいて、撮像部１２０から出力されるＲＡＷデータのタイミングチャートの一例を示す図であり、図６（ｂ）は、図５に示す斜め画素配列のカラーフィルタにおいて、撮像部１２０から出力されるＲＡＷデータのタイミングチャートの一例を示す図である。なお、図６で示すタイミングチャートは、図４または図５に示す画素配列のカラーフィルタに対応させて概略的に示す。
【００５６】
例えば、全画素モードでは、図６（ａ）に示すように、図４に示す斜め画素配列のカラーフィルタにおいて、１列目のラインであるライン５０１に含まれるＲ画素およびＧｒ画素が順次出力される。続いて、２列目のラインであるライン５０２に含まれるＧ１画素およびＧ２画素が順次出力される。続いて、同様に、３列目以降の各ラインに含まれる各画素が順次出力される。このように、全画素モードでは、全ての画素が読み出されるため、高解像度が要求される撮影モードには対応することができるものの、高フレームレートが要求される高速撮像モード等には対応することができない場合が多い。
【００５７】
一方、ベイヤーモードでは、図６（ｂ）に示すように、図５に示す斜め画素配列のカラーフィルタにおいて、１列目のラインであるライン５１１に含まれるＲ画素およびＧｒ画素が順次出力される。続いて、２列目のラインであるライン５１２に含まれるＧｂ画素およびＢ画素が順次出力される。続いて、同様に、３列目以降の各ラインに含まれる各画素が順次出力される。このように、ベイヤーモードでは、１列毎に間引きされた画素が読み出されるため、高解像度が要求される撮影モードには対応することができないものの、高フレームレートが要求される高速撮像モード等には対応することができる。また、従来のベイヤーと同様にデモザイク処理を施すことができるため、ぼやけた画像となることがなく、画質の劣化を防止することができる。
【００５８】
図７は、図１に示す撮像装置１００の一部を変形した撮像装置６００の一構成例を示すブロック図である。撮像装置６００は、図１に示す撮像部１２０においてデータ転送部１２２の代わりに、データ転送コントローラ部１２３を設けた撮像装置である。なお、撮像部１２０以外の構成は、図１に示す撮像装置１００と同様であるため、撮像部１２０以外の構成についての説明は省略する。
【００５９】
撮像部１２０は、光電変換部１２１とデータ転送コントローラ部１２３とを備える。光電変換部１２１は、ＣＣＤまたはＣＭＯＳ等の固体撮像素子（イメージセンサ）で構成され、レンズ１１０を通過した光信号に光電変換処理を施し、光電変換された電気信号をＲＡＷデータ補正処理回路２００に出力するものである。また、データ転送コントローラ部１２３は、モード管理コントローラ部１６０から出力されたコントロール信号に従って、光電変換部１２１が出力する電気信号をコントロールするものである。すなわち、データ転送コントローラ部１２３は、全画素モードに対応するコントロール信号が入力された場合には、図４に示す斜め画素配列のカラーフィルタにおける全ての画素に対応する電気信号を斜め画素配列形式のＲＡＷデータとしてＲＡＷデータ補正処理回路２００に、光電変換部１２１が出力するようにコントロールする。一方、ベイヤーモードに対応するコントロール信号が入力された場合には、図５に示す斜め画素配列のカラーフィルタにおける全ての画素（図４に示す斜め画素配列のカラーフィルタからＧ１乃至Ｇ４画素を含む各ラインが間引きされた画素）に対応する電気信号をベイヤー形式のＲＡＷデータとしてＲＡＷデータ補正処理回路２００に、光電変換部１２１が出力するようにコントロールする。
【００６０】
以上で示したように、図４に示す斜め画素配列のカラーフィルタ用の信号処理が可能な斜め画素配列デモザイク回路３２０と、ベイヤー配列のカラーフィルタ用の信号処理が可能なベイヤーデモザイク回路３３０とを撮像装置１００に設けることによって、解像度やフレームレートのトレードオフに応じてデモザイク回路を適宜使い分けることができる。例えば、高解像度が必要な撮影モードでは、斜め画素配列デモザイク回路３２０を用いて信号処理が実行される。一方、高フレームレートが必要であるものの、解像度は低くてもよい場合には、ベイヤーデモザイク回路３３０を用いて信号処理が実行される。なお、フレームレートを高速とする必要がない場合には、消費電力を低減させることができる。
【００６１】
また、全画素モードにおいて出力されるＹＣｂＣｒの画素ピッチを基準とした場合に、ベイヤーモードにおいて出力されるＹＣｂＣｒの画素ピッチは、１画素分のみが間引きされることになる。このため、間引きによる画像の高周波の折り返し現象の影響を軽微に抑えることができる。
【００６２】
また、本発明の実施の形態によれば、全画素モードの場合には、斜め画素配列の特性を活かし、撮像回路の画素数の倍の画素数のＹＣｂＣｒデータを取り出すことができる。一方、ベイヤーモードの場合には、図４に示す斜め画素配列のカラーフィルタに対応する全画素に対して、１／４のＹＣｂＣｒデータに縮小されたデータを得ることができる。これにより、高速フレームレート撮影が可能になる。また、ベイヤーモードの場合には、ベイヤー配列における画素加算や画素間引きと同様に、間引きによる画像の劣化を低減させることができる。
【００６３】
なお、本発明の実施の形態では、動画および静止画を撮影することが可能な撮像装置について説明したが、動画撮影の信号処理装置（カムコーダ）や静止画撮影の信号処理装置（デジタルスチルカメラ）に本発明の実施の形態を適用することができる。
【００６４】
例えば、動画撮影の信号処理装置（カムコーダ）に適用する場合において、動画撮影の記録モードでは全画素モードを設定し、動画撮影のためのモニタリングモードではベイヤーモードを設定することによって、動画を撮影していない時間（モニタリングモード時）の消費電力を下げることができるととともに、撮影の待機時間を気にせずに長時間撮影を可能とすることができる。また、ベイヤーモードを設定することによって、ＴＶのフレームレートよりも高速なフレームレート（例えば、２４０フレーム／秒）信号処理を実現することが可能となる。
【００６５】
また、静止画撮影の信号処理装置（デジタルスチルカメラ）に適用する場合において、静止画の撮影記録モードでは全画素モードを設定し、静止画撮影の前にフレーミングをする場合におけるモニタリングモードではベイヤーモードを設定することによって、フレーミング時の消費電力を下げることができ、最大撮影枚数を伸ばすことができる。
【００６６】
また、図４に示す斜め画素配列のカラーフィルタの各画素から、Ｇ１画素およびＧ２画素が交互に配置されているラインと、Ｇ３画素およびＧ４画素が交互に配置されるラインに含まれる各Ｇ画素が間引きされた配列は、図５に示すように、従来のベイヤー配列の画素配列の関係と同一となる。このため、本発明の実施の形態による撮像部１２０をベイヤーモードで使用する場合、従来のベイヤー配列に対応する撮像装置の画像処理部をそのまま利用することができる。
【００６７】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【００６８】
すなわち、請求項１乃至３において、撮像回路は、例えば撮像部１２０に対応する。また、請求項４乃至６において、撮像装置は、例えば撮像装置１００に対応する。
【００６９】
また、請求項１または請求項４において、光電変換手段は、例えば光電変換部１２１に対応する。また、転送手段は、例えばデータ転送部１２２またはデータ転送コントローラ部１２３に対応する。
【００７０】
また、請求項３において、Ｇラインが間引かれたカラーフィルタの配列は、例えば図５に示す斜め画素配列のカラーフィルタの配列に対応する。
【００７１】
また、請求項４において、第１のデモザイク処理手段は、例えば斜め画素配列デモザイク回路３２０に対応する。また、第２のデモザイク処理手段は、例えばベイヤーデモザイク回路３３０に対応する。
【００７２】
また、請求項５において、操作受付手段は、例えば操作受付部１５０に対応する。また、制御手段は、例えばモード管理コントローラ部１６０に対応する。
【図面の簡単な説明】
【００７３】
【図１】撮像装置１００の一構成例を示すブロック図である。
【図２】ＲＡＷデータ補正処理回路２００の一構成例を示すブロック図である。
【図３】デモザイク処理回路３００の一構成例を示すブロック図である。
【図４】光電変換部１２１の受光部に装着されている斜め画素配列のカラーフィルタの画素配列を示す図である。
【図５】Ｇ１およびＧ２画素を含むラインと、Ｇ３およびＧ４画素を含むラインとが間引きされた場合における斜め画素配列のカラーフィルタの一例を示す図である。
【図６】図４および図５に示す斜め画素配列のカラーフィルタにおいて撮像部１２０から出力されるＲＡＷデータのタイミングチャートの一例を示す図である。
【図７】撮像装置１００の一部を変形した撮像装置６００の一構成例を示すブロック図である。
【符号の説明】
【００７４】
１００  撮像装置
１１０  レンズ
１２０  撮像部
１２１  光電変換部
１２２  データ転送部
１２３  データ転送コントローラ部
１３０  γ補正処理回路
１４０  色空間変換処理回路
１４１  信号線
１５０  操作受付部
１６０  モード管理コントローラ部
２００  ＲＡＷデータ補正処理回路
２１０  色別信号分配器
２２０  Ｒ補正処理部
２３０  Ｂ補正処理部
２４０  Ｇ補正処理部
２５０  ＲＡＷデータ復元器
３００  デモザイク処理回路
３１０  分配器
３２０  斜め画素配列デモザイク回路
３３０  ベイヤーデモザイク回路
３４０  選択器
４００  画像処理部
６００  撮像装置
【図１】
0004905279.tif 000002
【図２】
0004905279.tif 000003
【図３】
0004905279.tif 000004
【図４】
0004905279.tif 000005
【図５】
0004905279.tif 000006
【図６】
0004905279.tif 000007
【図７】
0004905279.tif 000008