(57)【要約】【課題】  画質を向上させることを課題とする。【解決手段】  赤・緑・青の原色フィルタを持ち、かつベイヤの方式により配列された撮像素子に対して、全画素を読み出すモードのほかに、垂直方向の画素を間引いて読み出す間引き動作モードを有し、間引き動作モード時にのみ読み出される画素があり、間引き動作モードは、その読み出された１つの画素と、読み出されないいくつかの画素を合成したものを１つの画素とみなすモードであり、間引き動作モードで読み出された合成画素に対して、奇数番目に読み出される合成画素と偶数番目に読み出される合成画素の、合成される数が異なるようなタイミングで電荷信号が読み出される撮像素子において撮像素子の赤・緑・青のフィルタの列の配置を決定する方法。【選択図】  図１
2006121173.tif 000002
【特許請求の範囲】
【請求項１】
赤・緑・青の原色フィルタを持ち、かつベイヤの方式により配列された撮像素子において、
全画素を読み出すモードのほかに、垂直方向の画素を間引いて読み出す間引き動作モードを有し、
間引き動作モード時にのみ読み出される画素があり、
間引き動作モードは、その読み出された１つの画素と、読み出されないいくつかの画素を合成したものを１つの画素とみなすモードであり、
間引き動作モードで読み出された合成画素に対して、奇数番目に読み出される合成画素と偶数番目に読み出される合成画素の、合成される数が異なるようなタイミングで電荷信号が読み出されるこれらの特徴に対して、
撮像素子の赤・緑・青のフィルタの列の配置を決定する方法。
【請求項２】
赤・緑・青の原色フィルタを持ち、かつベイヤの方式により配列された撮像素子において、
全画素を読み出すモードのほかに、垂直方向の画素を間引いて読み出す間引き動作モードを有し、
間引き動作モード時にのみ読み出される画素があり、
間引き動作モードは、その読み出された１つの画素と、読み出されないいくつかの画素を合成したものを１つの画素とみなすモードであり、
間引き動作モードで読み出された合成画素に対して、奇数番目に読み出される合成画素と偶数番目に読み出される合成画素の、合成される数が異なるようなタイミングで電荷信号が読み出され、
さらに、赤の分光感度特性が緑・青の２つよりも小さいこれらの特徴に対して撮像素子の赤・緑・青のフィルタの列の配置を決定する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像を撮像する際に用いられる、撮像素子の画素の配置方法に関する。
【背景技術】
【０００２】
ディジタルカメラで用いられるＣＣＤイメージセンサ等撮像素子は、一般に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種の原色系のフィルタを有し、ベイヤ方式と呼ばれる方法により配列の決定がなされている。これは図２（ａ）に示すように、Ｇを市松状に配置し、残りの部分にＲＢを配置する方法である。厳密に、ベイヤの方式を座標で考えると、図２（ａ）〜（ｂ）のように４種類の配置の組み合わせが可能となる。
【０００３】
撮像装置において、レンズにより集光された光は撮像素子のＲＧＢのフィルタのうちのいずれかを通過した後、フォトダイオードという受動素子に照射される。このとき、光エネルギーが電気的エネルギーに変換され、フォトダイオードに電荷が蓄積される。この信号電荷は電圧に変換された後、後段のＡ／Ｄコンバータ、信号処理回路等で映像処理され、静止画像もしくは動画像が再現される。
【０００４】
撮像素子の信号電荷を読み出す方法には、大きく分けて２種類ある。撮像素子の全画素に対応する信号電荷を読み出す全画素モードと、垂直方向を間引いて、一部の画素に対応する信号電荷を読み出す間引き動作モードである。全画素モードについての説明は本発明においては省略し、間引き動作モードについての説明を行う。
【０００５】
間引き動作モードは、撮像素子の画素数列につき、１列を読み出す動作モードである。ディジタルカメラのＬＣＤパネル等の表示装置は、撮像素子の数１０分の１程度の画素数しか有していないものがほとんどである。このため、撮影中のシーンを写す（ＥＶＦと呼ぶ）場合や撮影画像を表示する場合、撮像素子の全画素を用いた画像を使用することはできない。よって画像を間引き処理をして画素数を小さくする必要があるが、撮像素子からの信号電荷そのものを間引いて読み出す方式をとる。また、１画面の全画素の情報を読み出すには時間がかかるため、ＥＶＦや動画撮影中において、映像がとぎれとぎれに見えてしまう等価残像現象が発生する。間引き動作モードは間引いて読み出す分、１画面の情報を読み出す時間も短くなり、等価残像現象は目立たないレベルまで抑えられる。よって、これらの理由により、ＥＶＦまたは動画撮影においては、一部の画素を間引いて読み出す間引き動作モードが用いられる。
【０００６】
間引き動作モードの読み出し方法について説明する。エネルギー変換を行うフォトダイオードは、撮像素子１つの画素に対して１つのフォトダイオードが対応しており、光が照射されるとその量に対して電荷を生じ、蓄積することができる。さらにそれぞれのフォトダイオードには、垂直転送電極（φＶ１、φＶ２）が接続されており、垂直方向に交互に配列されている。この垂直転送電極φＶ１、φＶ２の一部は間引き動作モードで作用する垂直転送電極であり、φＶ１Ａ、φＶ２Ａと表記する。その他の電極は、φＶ１Ｂ、φＶ２Ｂと表記する（図３）。フォトダイオードに電荷が蓄えられた後、φＶ１Ａ、φＶ２Ａの垂直転送電極にのみ、読み出しパルスと呼ばれるパルス電圧がかけられると、フォトダイオードに蓄えられたマイナスの電荷は、電気的作用によりφＶ１Ａ、φＶ２Ａに移動する。移動後、その他フォトダイオードに蓄えられた電荷は基板中に捨てられ、利用されない。次に、電極の電圧を、電荷がひきつけられる状態（＋）、電荷がひきつけられない状態（−）に交互に入れ替えることにより垂直方向に移動させる。φＶ１ＡとφＶ１Ｂ、φＶ２ＡとφＶ２Ｂに加わる電圧は、読み出しパルス電圧以外はそれぞれ同じである。全垂直転送電極に対するφＶ１ＡとφＶ２Ａを合わせたものの割合は、１／４以下が一般的であり、これが間引き動作モードの間引き割合となる。ここで電荷がひきつけられる＋の電極（電荷許容電極）には、実際に信号電荷がひきつけられている電極と、電荷が存在しない（カラ電荷と呼ぶことにする）電極があることに注意する。また詳述は避けるが、電荷が読み出し・垂直転送により混ざったり、逆流したりすることはない。
【０００７】
また、図３のように垂直転送電極の終端には水平転送路と呼ばれる電極が接続しており、終端より垂直方向に一段移動された電荷は、この水平転送路に移される。水平転送路もφＨ１、φＨ２の電極が交互に並んでおり、水平転送電極１つに対して、垂直方向に一列となった垂直電極が対応している。水平電極もまた＋−を交互に入れ替えることにより、電荷は水平方向に移動させられる。電荷の混ざり、逆流は、垂直転送電極と同様詳述は避けるが起こらない。
【０００８】
水平転送電極の終端には出力アンプが接続されている。出力アンプでは、コンデンサのチャージの原理で電荷を電圧に変換し出力する。この電圧は図のようにＡ／Ｄ変換器にシリアルに渡された後、映像情報処理系統に渡され画像処理が行われる。
【０００９】
垂直転送路から水平転送路へ電荷が移動する際は、電荷許容領域が１つ移動し水平転送が行われるのではなく、信号電荷１つとカラ電荷複数が水平転送路に移動されて水平転送が始まる。この様子を図４に示す。この図は、ある垂直転送電極の電圧の状態、並びにひきつけられている電荷の時間経過を表している。白の四角はカラ電荷であり、それ以外の四角は電荷である。この２つの状態の際、電極は＋の電圧がかけられている。また−の時は、電極には−の電圧がかけられているものとする。この表で説明すると、水平転送電極において、時刻ｔ２ではカラ電荷が渡されるが、これに時刻ｔ４では電荷が渡され、合成される。そして、時刻ｔ５において、水平方向に電荷が転送されている。このように、水平転送電極に渡される際に、信号電荷とカラ電荷が合成されていることになる（この合成された電荷を電荷パケットと呼ぶことにする）。これは、カラ電荷には電荷がほとんど含まれていないため合成しても画像に影響がないことと、電荷許容領域１つに対して水平転送処理をさせることは、処理時間・消費電力の増大につながることなどによる。これら、垂直転送タイミングと水平転送タイミングを表したタイミング図を図５に示す。
【００１０】
全垂直転送電極に対するφＶ１ＡとφＶ２Ａを合わせたものの割合、すなわち撮像素子の間引き動作モード時の間引き割合は撮像素子ごとに異なるが、奇数分の１の場合には注意が必要である。なぜならば、奇数分の１の際は、奇数番目のパケットと偶数番目のパケットにおいて、合成されるカラ電荷の数が異なるためである。１／４の間引き割合の場合に１パケットに１個ずつカラ電荷が合成されるが、１／５の間引きの場合には、１個と２個合成されるものが発生することになる。
【００１１】
ＣＣＤイメージセンサでは、垂直転送路に光が漏れることで生じる、スミアという偽信号が発生する。スミアは漏れる光の量に比例し偽電荷が発生する。これにより垂直方向にほぼ同じ量の電荷が加算され、見た目、光の帯が垂直に生じる。またスミアが発生した際は、信号電荷のみならず、従来は電荷が何もないカラ電荷にも電荷が発生してしまう。スミアはＣＣＤイメージセンサの構造上どうしても避けることはできない問題である。
【００１２】
ここで、間引き動作モード時、奇数分の間引きを行う撮像素子において、電荷パケットにおけるカラ電荷合成量の違いにより、カラ電荷が多いパケットに対応する画素フィルタの色は、カラ電荷が合成された量だけ強調され、スミアに色がつくことになる。この結果、ＥＶＦや動画が非常に醜い映像となってしまう。
【００１３】
スミアは光の強さに比例するため、屋外等において、太陽光等強い光が発生する個所にて目立つ。また、人間の目は、周波数が低い赤色の光は周波数が高めの緑・青色の光よりも目立つようになっているため、カラ電荷が多いパケットに対応した電荷が赤色フィルタの電荷である場合、さらにスミアが目立つようになってしまう。従来の撮像素子の画素の配置は、このようなスミアの赤色傾向は考慮されておらず、まちまちである。
【００１４】
また撮像素子の各色のフィルタは分光感度のレベルに差があることがある。このレベル差は映像処理回路において、ゲイン調整し、同じ量にするように処理が行われている。しかし、スミアはフィルタを通過せずに生じる信号電荷であるため、同じ量の電荷に対してゲイン調整が行われ、実際には大きさの異なる信号が扱われることになる。しかし、このゲイン調整による電荷の大きさの違いと、カラ電荷の合成の違いによる電荷の大きさの違いを打ち消しあうように画素の配置を行うことも可能であるが、実際には考慮されていない。
【特許文献１】特開平10-155100
【発明の開示】
【発明が解決しようとする課題】
【００１５】
そこで、奇数分の１間引きを行う間引き動作モードを有する撮像素子において、スミアが発生した際、人間にとって目立ちやすいスミアの赤色の傾向をなくすよう、図２（ａ）〜（ｄ）のとりうる４種類のフィルタの配置からふさわしいＲ，Ｇ，Ｂの配置方法について提案する。
【課題を解決するための手段】
【００１６】
請求項１に対しては、赤・緑・青の原色フィルタを持ち、かつベイヤの方式により配列された撮像素子において、
全画素を読み出すモードのほかに、垂直方向の画素を間引いて読み出す間引き動作モードを有し、
間引き動作モード時にのみ読み出される画素があり、
間引き動作モードは、その読み出された１つの画素と、読み出されないいくつかの画素を合成したものを１つの画素とみなすモードであり、
間引き動作モードで読み出された合成画素に対して、奇数番目に読み出される合成画素と偶数番目に読み出される合成画素の、合成される数が異なるようなタイミングで電荷信号が読み出されるこれらの特徴に対して、
撮像素子の赤・緑・青のフィルタの列の配置を決定する方法を特徴とする。
【００１７】
また請求項２に対しては、赤・緑・青の原色フィルタを持ち、かつベイヤの方式により配列された撮像素子において、
全画素を読み出すモードのほかに、垂直方向の画素を間引いて読み出す間引き動作モードを有し、
間引き動作モード時にのみ読み出される画素があり、
間引き動作モードは、その読み出された１つの画素と、読み出されないいくつかの画素を合成したものを１つの画素とみなすモードであり、
間引き動作モードで読み出された合成画素に対して、奇数番目に読み出される合成画素と偶数番目に読み出される合成画素の、合成される数が異なるようなタイミングで電荷信号が読み出され、
さらに、赤の分光感度特性が緑・青の２つよりも小さいこれらの特徴に対して撮像素子の赤・緑・青のフィルタの列の配置を決定する方法を特徴とする。
【発明の効果】
【００１８】
以上説明したように本発明によれば、ＣＣＤイメージセンサにおいて適切な画素配列を決定することによって、撮像した動画像、およびＥＶＦ時において、スミアが発生した際に色がかったスミアを生じることのない映像を提供することが可能となる。
【発明を実施するための最良の形態】
【００１９】
（第１の実施例）
以下、図面を参照して本発明の実施例を説明する。
【００２０】
図１は、本発明に係る撮像装置の構成を表すブロック図である。この撮像装置は、レンズ・絞り等を含む鏡筒１、鏡筒１を駆動する鏡筒制御ドライバ２、鏡筒１によって集められた光を電気エネルギーに変換する固体撮像素子３、固体撮像素子３を制御するタイミングジェネレータ４、固体撮像素子３より出力される画素信号をＡ／Ｄ変換するＡ／Ｄ変換回路５、またＡ／Ｄ変換された画素信号を入力し、映像処理を行う映像処理回路６、システム制御回路７より構成される。
【００２１】
図３は固体撮像素子３の簡単な構成である。３１の四角で表記された部分は、画素フィルタとフォトダイオードを表す。画素フィルタは、赤（Ｒ）・緑（Ｇ）・青（Ｂ）のうちの１つであり、フォトダイオードにより、光の量に比例した電荷を蓄えることができる。３２は垂直転送電極であり、３１のフォトダイオードに蓄えられた電荷を読み出しパルスにより移動される。３３は水平転送電極であり、垂直転送電極を伝わってきた電荷を受け渡す電極である。３４は出力アンプ部であり、コンデンサのチャージの原理で電荷を電圧に変換しＡ／Ｄ変換回路５に出力する。なお固体撮像素子３は図２（ａ）のように原色フィルタ赤・緑・青を有するベイヤ配列のＣＣＤイメージセンサであり、間引き動作モードは垂直方向に５分の１画素を間引いて読み出すモードであるものとする。間引きモードはこれは座標を厳密に考えると、図（ａ）〜（ｄ）のように４種類とりうる。
【００２２】
さて、固体撮像素子３から画素信号を取り出すため、タイミングジェネレータの信号が任意のものに決まっているものとするが、下記条件は厳守されているものとする。すなわち
（１）φＶ１＊とφＶ２＊は垂直方向に交互に並んでおり、φＶ１Ａ、φＶ２Ａは一定の間隔で並んでいるものとする。また水平方向には、ここで決めたφＶ１Ａ、φＶ１Ｂ、φＶ２Ａ、φＶ２Ｂが同じように配置されているものとする（＊は、ＡまたはＢ）。
【００２３】
（２）間引き動作モードにおけるフォトダイオードから垂直転送電極への電荷の移動は、まずφＶ１Ａから先に行われ、次にφＶ２Ａが後に行われる。また読み出しパルスは、電圧が＋の状態中の期間のみ発生する。
【００２４】
（３）φＶ１＊とφＶ２＊にかけられる、垂直転送動作のための電圧は電圧がひきつけられる状態（＋）と電圧がひきつけられない状態（−）の２種類であり、φＶ１＊とφＶ２＊で対になっている。
【００２５】
以下は図６を図示しながら説明を行う。まず、（１）の条件に従い、フォトダイオードに対応するφＶ１Ａ、φＶ１Ｂ、φＶ２Ａ、φＶ２Ｂを配置させる。これはどのような配置であっても構わないが、間引き動作モードは１／５間引きなので、１０個の垂直転送電極の中に２個のφＶ１Ａ、φＶ２Ａを配置する。次に間引き動作の読み出しのタイミングを決める。
【００２６】
時刻ｔ１：φＶ１＊を＋、φＶ２＊を−の電圧の状態とする。
【００２７】
時刻ｔ２：さらにφＶ１Ａに読み出しパルス電圧をかけたとし、フォトダイオードからφＶ１Ａに電荷を移動させるとする。この際、＋の電極には５個のうち１個に電荷がひきつけられており、残りの４個には電荷が存在しない（カラ電荷が存在する）。
【００２８】
時刻ｔ３：次にφＶ１＊に−、φＶ２＊に＋の電圧をかけ、読み出された電荷を１段移動させる。
【００２９】
時刻ｔ４：φＶ２Ａを読み出す。垂直転送電極には、５個の＋の中に２個の電荷が存在し、３個のカラ電荷が存在することになる。
【００３０】
時刻ｔ５〜：水平転送電極に信号電荷が移動するまで垂直に転送させる。電荷が移動したら、水平転送を行う（時刻ｔ８）。
【００３１】
また、水平転送電極への移動の際、信号電荷と、カラ電荷が合成されるが、転送可能な５個の＋の電極中、２個が電荷、３個がカラ電荷となるため、できるだけ均等にカラ電荷を分配する。つまり、水平転送電極に渡される電荷パケットには
（１）カラ電荷２個と電荷１個
（２）カラ電荷１個と電荷１個
のものが渡されることになる。
【００３２】
このとき、カラ電荷が２個合成される電荷は、スミア発生時合成される電荷量も増えてしまう。特に赤色のフィルタに対応する電荷の場合、人間の目には赤色がさらに目立ってしまう。そこで、赤色のフィルタに対応する電荷にはカラ電荷１個を合成することになるように赤色の画素フィルタを配置するようにする。つまり図６のφＶ１Ａに対応する画素２には赤、緑を配置し、画素１には緑、青を配置することになる。
【００３３】
ここで間引き動作モードが１／５以外の１／７、１／９等の場合でも合成されるカラ電荷を２個と３個、３個と４個とし、１／５の場合と同様合成されるカラ電荷が少ないほうの電荷を赤色に対応させればよく、問題はない。また読み出される順番は、φＶ１Ａ、φＶ２Ａの順番にしているが、この順番を変えてもその後には影響がないため問題はない。また、カラ電荷を分配する場合、場合によっては０個と３個等、均等に近くない分配をする可能性もあるが、赤色の電荷は、カラ電荷の小さいほうと合成させればよく、特に方法は変わらないので問題はない。
【００３４】
（第２の実施例）
第２の実施例に関する固体撮像素子構成は、第１の実施例と同様図１のような構成とする。また、固体撮像素子のＲＧＢのとりうる配列もまた、第１の実施例と同様図３（ａ）〜（ｄ）のようなものとする。
【００３５】
固体撮像素子に対して、まず図６のような分光感度特性を得る。ここではＲが一番小さいものとする。この分光感度の大きさは、映像処理回路により同じ大きさになるようゲイン調整されるが、スミアはフィルタを通過せず発生する信号のため、同じ大きさの信号がゲイン調整だけされて大きさが同じ量とはならなくなる。よって、映像処理回路にてゲイン調整される一番大きな画素フィルタ、即ち分光感度の一番小さな画素フィルタをカラ電荷１個合成される電荷に配置する。つまり、図７の画素１には赤、緑を配置し、画素２には緑、青を配置する。これにより、カラ電荷合成により生ずるスミアの赤色と、ゲイン調整によって生じるスミアの赤色が相殺され目立たないようになる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態における構成を示すブロック図である。
【図２】（ａ）〜（ｄ）は本実施形態における固体撮像素子の画素フィルタの配列である。
【図３】本発明における固体撮像素子の構成である。
【図４】電荷が水平転送路に渡される際、合成される様子を示した図である。
【図５】１／５間引き動作モードにおける、垂直・水平転送電極のタイミングの一例の図である。
【図６】本実施形態におけるＣＣＤイメージセンサの分光感度特性の一例である。
【図７】本実施形態における画素配置方法の一例である。
【符号の説明】
【００３７】
１  鏡筒（レンズ、絞り等）
２  鏡筒制御ドライバ
３  固体撮像素子
３１  画素、フォトダイオード
３２  垂直転送電極
３３  水平転送電極
３４  出力アンプ
７１  画素、フォトダイオード
７２  垂直転送電極
７３  水平転送電極
【図１】
2006121173.tif 000003
【図２】
2006121173.tif 000004
【図３】
2006121173.tif 000005
【図４】
2006121173.tif 000006
【図５】
2006121173.tif 000007
【図６】
2006121173.tif 000008
【図７】
2006121173.tif 000009