(57)【要約】  本発明は、撮像素子、撮像装置、及び同一の撮像素子で、長時間露光の画素と短時間露光の画素とからなる画素サブセットを交互に配置する方法であって、改良された広ダイナミックレンジ（ＷＤＲ）を有する撮像素子を提供する。これらの画素サブセットは、読み出された後に異なる時間でリセットされ、これによって、それぞれの蓄積時間が変化する。短時間蓄積の画素と長時間蓄積の画素との両方の情報を結合することによって、撮像素子のダイナミックレンジは向上する。
2013505634.tif 000002
【特許請求の範囲】
【請求項１】
１行ごとに複数の画素を有する複数の画素行と、
上記画素行の１行内の第１の画素サブセットに接続された第１の信号線と、
上記画素行の１行内の第２の画素サブセットに接続された第２の信号線と、
上記第１及び第２の信号線によって、上記第１及び第２の画素サブセットにそれぞれ接続された信号読出及びリセットタイミング制御部とを備え、
上記信号読出及びリセットタイミング制御部は、上記第１の画素サブセットが第１の期間中に読み出されるように画素の読出信号を制御し、上記第２の画素サブセットが第２の期間中に読み出されるように画素の読出信号を制御し、
上記信号読出及びリセットタイミング制御部は、第１のタイムインターバルで１行内の上記第１の画素サブセットの画素をリセットし、第２のタイムインターバルで１行内の上記第２の画素サブセットの画素をリセットすることを特徴とする撮像素子。
【請求項２】
上記第２の画素サブセットは、上記第１の画素サブセットよりも長い蓄積時間を有することを特徴とする請求項１記載の撮像素子。
【請求項３】
上記第２の画素サブセットは、該第２の画素サブセットが上記第１の画素サブセットよりも長い蓄積時間を有するように、該第１の画素サブセットがリセットされるよりも前にリセットされることを特徴とする請求項１記載の撮像素子。
【請求項４】
上記第１及び第２の画素サブセットは、当該撮像素子内の画素の上記各行に亘って交互に配置したパターンに形成されることを特徴とする請求項１記載の撮像素子。
【請求項５】
上記第１及び第２の画素サブセットは、当該撮像素子の少なくとも一部に亘って交互に繰り返して配置されるＮ×Ｍブロックとしてそれぞれ形成されることを特徴とする請求項１記載の撮像素子。
【請求項６】
上記第１及び第２の画素サブセットは、第１の行内には赤色と緑色とが交互の２個の画素の組として、第２の行内には緑色と青色とが交互の２個の画素の組として形成されていることを特徴とする請求項１記載の撮像素子。
【請求項７】
１個の赤色、２個の緑色及び１個の青色を有する、当該撮像素子内の画素上に形成されたカラーフィルタの２×２ブロックを更に備え、
上記カラーフィルタの２×２ブロックは、当該撮像素子の画素全体に亘って繰り返されることを特徴とする請求項１記載の撮像素子。
【請求項８】
上記Ｎ×Ｍブロックは、２×２ブロックであり、
上記第１及び第２の画素サブセットの２×２ブロックは、第１の画素サブセットの２個の２×２ブロックが、それぞれ他方の２×２ブロックと直交する位置に配置されないように、交互に配置することを特徴とする請求項５記載の撮像素子。
【請求項９】
上記信号読出及びリセットタイミング制御部は、上記第１のタイムインターバルを設定する第１のプログラマブル蓄積時間制御部と、上記第２のタイムインターバルを設定する第２のプログラマブル蓄積時間制御部とを有することを特徴とする請求項１記載の撮像素子。
【請求項１０】
上記信号読出及びリセットタイミング制御部は、１フレームを読み出すのに必要な通常の時間を超えて、上記第２のタイムインターバルを増加させるために、各フレームの最後にさらなる行の読出遅延時間を加算することを特徴とする請求項１記載の撮像素子。
【請求項１１】
上記第１及び第２のタイムインターバルは、当該撮像素子の所望のダイナミックレンジを設定するために、上記信号読出及びリセットタイミング制御部によって調整されることを特徴とする請求項１記載の撮像素子。
【請求項１２】
１行ごとに複数の画素を有する複数の画素行と、
上記画素行の１行内の第１の画素サブセットにそれぞれ接続され、当該撮像素子内の画素行の数に等しい複数の第１の信号線と、
上記画素行の１行内の第２の画素サブセットにそれぞれ接続され、当該撮像素子内の画素行の数に等しい複数の第２の信号線と、
上記複数の第１の信号線及び上記複数の第２の信号線に接続され、行ごとに基づいて画素の読出信号を制御するタイミング制御部とを備え、
各行の上記第１の画素サブセットは、第１の期間で読み出され、
各行の上記第２の画素サブセットは、次の行の画素が読み出される前であって、上記第１の期間に後続する第２の期間で読み出され、
上記タイミング制御部は、各行の上記第１の画素サブセットの画素を、第１の蓄積開始タイムインターバルでリセットし、各行の上記第２の画素サブセットの画素を、第２の蓄積開始タイムインターバルでリセットすることを特徴とする撮像素子。
【請求項１３】
上記第２の画素サブセットは、該第２の画素サブセットが上記第１の画素サブセットよりも長い蓄積時間を有するように、上記第１の画素サブセットがリセットされる前にリセットされることを特徴とする請求項１２記載の撮像素子。
【請求項１４】
上記第１及び第２の画素サブセットは、当該撮像素子内の画素の上記各行に亘って交互に配置したパターンに形成されることを特徴とする請求項１２記載の撮像素子。
【請求項１５】
上記第１及び第２の画素サブセットは、当該撮像素子の少なくとも一部に亘って交互に繰り返して配置されるＮ×Ｍブロックとして形成されることを特徴とする請求項１２記載の撮像素子。
【請求項１６】
当該撮像素子の画素上に形成されたカラーフィルタアレイを更に備え、
上記第１及び第２の画素サブセットは、第１の行内には赤色と緑色とが交互の２個の画素の組として、第２の行内には緑色青色とが交互の２個の画素の組として形成されていることを特徴とする請求項１２記載の撮像素子。
【請求項１７】
１個の赤色、２個の緑色及び１個の青色を有する、当該撮像素子内の画素上に形成されたカラーフィルタの２×２ブロックを更に備え、
上記カラーフィルタの２×２ブロックは、当該撮像素子の画素全体に亘って繰り返されることを特徴とする請求項１２記載の撮像素子。
【請求項１８】
上記Ｎ×Ｍブロックは、２×２ブロックであり、
上記第１及び第２の画素サブセットの２×２ブロックは、第１の画素サブセットの２個の２×２ブロックが、それぞれ他方の２×２ブロックと直交する位置に配置されないように、交互に配置することを特徴とする請求項１５記載の撮像素子。
【請求項１９】
上記タイミング制御部は、上記第１のタイムインターバルを設定する第１のプログラマブル蓄積時間制御部と、上記第２のタイムインターバルを設定する第２のプログラマブル蓄積時間制御部とを有することを特徴とする請求項１２記載の撮像素子。
【請求項２０】
上記タイミング制御部は、１フレームを読み出すのに必要な通常の時間を超えて、上記第２のタイムインターバルを増加させるために、各フレームの最後にさらなる行の読出遅延時間を加算することを特徴とする請求項１２記載の撮像素子。
【請求項２１】
上記第１及び第２のタイムインターバルは、当該撮像素子の所望のダイナミックレンジを設定するために、上記タイミング制御部によって調整されることを特徴とする請求項１２記載の撮像素子。
【請求項２２】
上記タイミング制御部は、低解像度の画像を生成するために、上記第１及び第２の画素サブセットのうちの１つのみを読み出すことを特徴とする請求項１２記載の撮像素子。
【請求項２３】
上記タイミング制御部は、画像中の高解像度の画像の部分を生成するために、当該撮像素子の一部のみの上記第１及び第２の画素サブセットの両方を読み出すことを特徴とする請求項２２記載の撮像素子。
【請求項２４】
１行ごとに複数の画素を有する複数の画素行を備える撮像素子のダイナミックレンジを増大させる方法において、
第１の期間中に、最初の画素行の第１の画素サブセットを読み出すステップと、
第２の期間中に、次の画素行から画素を読み出す前に、上記最初の画素行の第２の画素サブセットを読み出すステップと、
第１の蓄積開始タイムインターバルＸ後に、上記第１の画素サブセットの画素をリセットするステップと、
第２の蓄積開始タイムインターバルＹ後に、上記第２の画素サブセットの画素をリセットするステップとを有する撮像素子のダイナミックレンジを増大させる方法。
【請求項２５】
上記第１の画素サブセットを読み出した後に、上記第１の画素サブセットを初期的に（initially）リセットするステップと、
上記第２の画素サブセットを読み出した後に、上記第２の画素サブセットを初期的にリセットするステップとを更に有する請求項２４記載の撮像素子のダイナミックレンジを増大させる方法。
【請求項２６】
上記第１の蓄積開始タイムインターバルＸは、当該撮像素子のＸ行分を読み出す期間に等しいことを特徴とする請求項２５記載の撮像素子のダイナミックレンジを増大させる方法。
【請求項２７】
上記第２の蓄積開始タイムインターバルＹは、当該撮像素子のＹ行分を読み出す期間に等しいことを特徴とする請求項２６記載の撮像素子のダイナミックレンジを増大させる方法。
【請求項２８】
上記第１の蓄積開始タイムインターバルＸは、上記第２の画素サブセットが上記第１の画素サブセットの蓄積時間よりも長い蓄積時間を有するように、上記第２の蓄積開始タイムインターバルＹよりも長いことを特徴とする請求項２５記載の撮像素子のダイナミックレンジを増大させる方法。
【請求項２９】
上記第２の蓄積開始タイムインターバルＹは、上記第１の画素サブセットが上記第２の画素サブセットよりも長い蓄積時間を有するように、上記第１の蓄積開始タイムインターバルＸよりも長いことを特徴とする請求項２５記載の撮像素子のダイナミックレンジを増大させる方法。
【請求項３０】
上記第１の蓄積開始タイムインターバルＸ又は上記第２の蓄積開始タイムインターバルＹのいずれか一方は、画素の蓄積時間が通常のフレーム周期よりも長くなるように、当該撮像素子の全ての行を読み出すのに要求される期間よりも長いことを特徴とする請求項２５記載の撮像素子のダイナミックレンジを増大させる方法。
【請求項３１】
１つの画像を形成するために、当該撮像素子内の各画素行ごとに上記第１及び第２の画素サブセットからの画素信号を処理するステップを更に有する請求項２５記載の撮像素子のダイナミックレンジを増大させる方法。
【請求項３２】
撮像素子を含む撮像装置において、
１行ごとに複数の画素を有する複数の画素行と、
上記画素行の１行内の第１の画素サブセットにそれぞれ接続され、上記撮像素子内の画素行の数に等しい複数の第１の信号線と、
上記画素行の１行内の第２の画素サブセットにそれぞれ接続され、上記撮像素子内の画素行の数に等しい複数の第２の信号線と、
上記複数の第１の信号線及び上記複数の第２の信号線に接続され、行ごとに基づいて画素の読出信号を制御するタイミング制御部と、
上記第１及び第２の画素サブセットによって画素信号を生成する画像処理部とを備え、
各行の上記第１の画素サブセットは、次の行の画素が読み出される前に第１の期間で読み出され、
各行の上記第２の画素サブセットは、次の行の画素が読み出される前であって、上記第１の期間に後続する第２の期間で読み出され、
上記タイミング制御部は、各行の上記第１の画素サブセットの画素を、第１の蓄積開始タイムインターバルにおいてリセットし、各行の上記第２の画素サブセットの画素を、第２の蓄積開始タイムインターバルにおいてリセットすることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、ＣＭＯＳ撮像素子に関し、特に、広いダイナミックレンジを有する撮像素子を提供するために、同一の撮像素子において長い露光時間と短い露光時間とを同時に利用する撮像素子、撮像装置及びダイナミックレンジを増大させる方法に関する。
【背景技術】
【０００２】
デジタル写真において、照明条件が理想的である場合はめったにない。雲が急に太陽を覆い隠したりするように、写真を撮影する場面としては、暗すぎたり、明るすぎたり、あまりに多様であり、あまりに大きく変動するものである。異なる照明条件に適応するために、撮像素子は広いダイナミックレンジを有する必要がある。すなわち、撮像素子は、画像中の細部を最大化して、現在の照明条件に適合でき、それによってできる限り最良の画像を生成することができなければならない。
【０００３】
多くの場面では、影の領域及び明るい領域の両方の領域に有用な情報が存在するが、従来からこれらを同時に画像化するのは非常に難しい。従来技術では、同一場面を異なる露光時間を用いて、複数枚の画像を撮影する方法がある。例えば、A. El Gamal, 「High-Dynamic-Range Image Sensors」, tutorial presented at IEEE Int. Solid State Circuits Conf, Feb. 2002.において論じられているように、撮像素子によって３枚の画像を撮影し、そのうち１枚は短露光時間で、もう１枚は中くらいの露光時間で、あとの１枚は長露光時間で撮影するものがある。他の例として、Komiyaによる米国特許番号５２６４９４０号に開示されており、１回以上の異なる露光条件で撮影した画像のデータを積算すること（accumulating）の利点についても記載されている。長時間露光のフレームにおいて露出をかけ過ぎた場面での一定の特徴点（features）を、短時間露光の画像においても見ることができる。同様に、短時間露光においては、暗すぎたり、全く見えないような場面の特徴点は、長時間露光の結果として見ることができる。処理された画像を生成するために、画像処理技術を用いて、複数の画像を結合してもよく、処理された画像は、単独の画像のいかなる視覚情報の細部よりも詳細な情報を含んでいる。しかしながら、このような手法の欠点は、処理された画像が異なる露光量間の場面における動きに起因してモーションアーティファクト（motion artifacts）を含んでしまうということである。もう１つの大きな欠点は、異なる露光量での撮影が異なる時間に行われるので、異なる画像を完全に表示してしまうことがあることである。米国特許番号４５８４６０６号には、複数の撮像素子を用いて、同じ時間内で略同時に異なる露光量の画像データを、一気に積算する技術が記載されている。
【０００４】
上記欠点に対する他の方法について、Nayar, S.K.Mitsunaga, T., 「High dynamic range imaging： spatially varying pixel exposures」, IEEE Conference on Computer Vision and Pattern Recognition, Vol. 1 , pp. 472-479, June 2000（ISBN:0-7695-0662-3）に記載されている。この手法によると、より低濃度のＮＤフィルタ（neutral density filters）付きの画素がより低照度の特徴（図１参照）を撮像する一方、より高濃度のＮＤフィルタ付きの画素が、撮影場面のより明るい部分をサンプリングするように、異なる不透過率（opacity）を有するＮＤフィルタのアレイが撮像素子上に配設される。ローパスフィルタリング、例えば３次補完（cubic interpolation）のような技術を用いることによって、画像情報を結合することができる。このような解決手法の問題点は、撮像素子のダイナミックレンジが、選択されたフィルタ及びフィルタパターンによって事実上固定されてしまうことであり、選択されたフィルタパターンが、カラーフィルタの構成、例えばベイヤ配列のカラーフィルタを含むか、光の透過率を切換える機能を有する構成のモノクロフィルタであるかを問わない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、本発明は、撮像素子、撮像装置、及び改良された広ダイナミックレンジ（Wide Dynamic Range、以下、ＷＤＲとも言う。）を有する撮像素子を提供するために、同一の撮像素子上で、長時間露光の画素と短時間露光の画素とを利用する方法である。
【課題を解決するための手段】
【０００６】
本発明の一実施の形態に基づいて、撮像素子は、１行ごとに複数の画素を有する複数の画素行と、画素行の１行内の第１の画素サブセット（first sub-set of pixels）に接続された第１の信号線（first signal line）と、画素行の１行内の第２の画素サブセット（second sub-set of pixels）に接続された第２の信号線（second signal line）と、第１及び第２の信号線によって、第１及び第２の画素サブセットにそれぞれ接続された信号読出及びリセットタイミング制御部（signal read out and reset timing controller）とを備え、信号読出及びリセットタイミング制御部は、第１の画素サブセットが第１の期間（first time period）中に読み出されるように画素の読出信号（read out of pixel signals）を制御し、第２の画素サブセットが第２の期間（second time period）中に読み出されるように画素の読出信号を制御し、また、信号読出及びリセットタイミング制御部は、第１のタイムインターバル（first time interval）で１行内の第１の画素サブセットの画素をリセットし、第２のタイムインターバル（second time interval）で１行内の第２の画素サブセットの画素をリセットする。第２の画素サブセットは、第２の画素サブセットが第１の画素サブセットよりも長い蓄積時間を有するように、第１の画素サブセットがリセットされるよりも前にリセットされる。あるいは、第１の画素サブセットとは異なる時間に第２の画素サブセットの蓄積時間が開始し、それによって第２の画素サブセットがより長い蓄積時間又はより短い蓄積時間を有する場合には、第２の画素サブセットは、第１の画素サブセットと同時にリセットされてもよい。第１及び第２の画素サブセットは、撮像素子内の画素の各行に亘って交互に配置したパターンに形成されてもよい。第１及び第２の画素サブセットは、撮像素子の少なくとも一部に亘って交互に繰り返して配置されるＮ×Ｍブロックとして形成される。好ましい実施の形態では、第１及び第２の画素サブセットは、第１の行内には赤色と緑色とが交互の２個の画素の組として、第２の行内には緑色と青色とが交互の２個の画素の組として形成されている。好ましくは、２×２ブロックを用いる場合には、２×２ブロックは、１個の赤色と、２個の緑色と、１個の青色とを有し、撮像素子全体に亘って、この２×２ブロックが繰り返して配置される。好ましくは、第１及び第２の画素サブセットの２×２ブロックは、第１の画素サブセットの２個の２×２ブロックが、それぞれ他方の２×２ブロックと直交する位置に配置されないように、交互に配置する。信号読出及びリセットタイミング制御部は、第１のタイムインターバルを設定する第１のプログラマブル蓄積時間制御部と、第２のタイムインターバルを設定する第２のプログラマブル蓄積時間制御部とを有する。第１及び第２のタイムインターバルは、撮像素子の所望のダイナミックレンジを設定するために、信号読出及びリセットタイミング制御部によって調整される。
【０００７】
他の実施の形態において、信号読出及びリセットタイミング制御部は、撮像素子のサイズを物理的に増大させることなく、１フレームを読み出すのに必要な通常の時間を超えて、第２のタイムインターバルを増加させるために、各フレームの最後にさらなる行の読出遅延時間を加算する（すなわち、信号読出及びリセットタイミング制御部が「ダミー」行を処理する）。
【０００８】
他の実施の形態では、本発明の撮像素子は、１行ごとに複数の画素を有する複数の画素行と、画素行の１行内の第１の画素サブセットにそれぞれ接続され、撮像素子内の画素行の数に等しい複数の第１の信号線と、画素行の１行内の第２の画素サブセットにそれぞれ接続され、撮像素子内の画素行の数に等しい複数の第２の信号線と、複数の第１の信号線及び複数の第２の信号線に接続され、行ごとに基づいて画素の読出しを制御するタイミング制御部とを備え、各行の第１の画素サブセットは、第１の期間（first time period）で読み出され、各行の第２の画素サブセットは、次の行の画素が読み出される前であって、第１の期間に後続する第２の期間（second time period）で読み出され、タイミング制御部は、各行の第１の画素サブセットの画素を、第１の蓄積開始タイムインターバル（first integration start time interval）でリセットし、各行の第２の画素サブセットの画素を、第２の蓄積開始タイムインターバル（second integration start time interval）でリセットする。第２の画素サブセットは、第２の画素サブセットが第１の画素サブセットよりも長い蓄積時間を有するように、第１の画素サブセットがリセットされる前にリセットされる。あるいは、第１の画素サブセットとは異なる時間に第２の画素サブセットの蓄積時間が開始し、それによって第２の画素サブセットがより長い蓄積時間又はより短い蓄積時間を有する場合には、第２の画素サブセットは、第１の画素サブセットと同時にリセットされてもよい。
【０００９】
第１及び第２の画素サブセットは、撮像素子内の画素の各行に亘って交互に配置したパターンに形成されてもよい。好ましくは、第１及び第２の画素サブセットは、撮像素子の少なくとも一部に亘って交互に繰り返して配置されるＮ×Ｍブロックとして形成される。本発明の撮像素子は、画素上に形成されたカラーフィルタを更に備え、第１及び第２の画素サブセットは、第１の行内には赤色と緑色とが交互の２個の画素の組として、第２の行内には緑色と青色とが交互の２個の画素の組として形成される。好ましい実施の形態では、撮像素子の画素上に形成されるカラーフィルタは、１個の赤色、２個の緑色及び１個の青色を有し、撮像素子上に繰り返し配置される。第１及び第２の画素サブセットの２×２ブロックは、第１の画素サブセットの２個の２×２ブロックが、それぞれ他方の２×２ブロックと直交する位置に配置されないように、交互に配置するようにしてもよい。タイミング制御部は、第１のタイムインターバルを設定する第１のプログラマブル蓄積時間制御部と、第２のタイムインターバルを設定する第２のプログラマブル蓄積時間制御部とを有してもよい。
【００１０】
さらに、タイミング制御部は、１フレームを読み出すのに必要な通常の時間を超えて、第２のタイムインターバルを増加させるために、各フレームの最後にさらなる行の読出遅延時間を付加してもよい。他の実施の形態において、タイミング制御部は、低解像度の画像（a low resolution image）を生成するために、第１及び第２の画素サブセットのうちの１つのみを読み出すようにしてもよい。他の実施の形態では、タイミング制御部は、画像中の高解像度の画像（a higher resolution image）の部分を生成するために、撮像素子の一部のみの第１及び第２の画素サブセットの両方を読み出す。
【００１１】
他の実施の形態において、カラーフィルタは用いられない。その代わりに、モノクロ撮像素子が、白黒の場面の広いダイナミックレンジの画像を生成する。様々な方法、例えば米国特許番号４５８４６０６（Nagasaki）に開示されている方法を用いて複数の撮像素子を光学的に結合させることによって、あるいは、各画像形成面（image-forming facet）に撮像素子を配したプリズムを用いる等の標準的な方法を用いることによって、カラーの画像を形成することができる。
【００１２】
本発明は、１行ごとに複数の画素を有する複数の画素行を備える撮像素子のダイナミックレンジを増大させる方法を含んでおり、撮像素子のダイナミックレンジを増大させる方法は、第１の期間（first time period）中に、最初の画素行（first row）の第１の画素サブセット（first sub-set of pixels）を読み出すステップと、第２の期間（second time period）中に、次の画素行（next row）から画素を読み出す前に、最初の画素行の第２の画素サブセット（second sub-set of pixels）を読み出すステップと、第１の蓄積開始タイムインターバル（first integration start time interval）Ｘ後に、第１の画素サブセットの画素をリセットするステップと、第２の蓄積開始タイムインターバル（second integration start time interval）Ｙ後に、第２の画素サブセットの画素をリセットするステップとを有する。この方法は、好ましくは、第１の画素サブセットを読み出した後に、第１の画素サブセットを初期的に（initially）リセットするステップと、第２の画素サブセットを読み出した後に、第２の画素サブセットを初期的にリセットするステップとを更に有する。本発明の一実施の形態では、第１の蓄積開始タイムインターバルＸは、撮像素子のＸ行分を読み出す期間に等しく、第２の蓄積開始タイムインターバルＹは、撮像素子のＹ行分を読み出す期間に等しい。一実施の形態において、第１の蓄積開始タイムインターバルＸは、第２の画素サブセットが第１の画素サブセットの蓄積時間よりも長い蓄積時間を有するように、第２の蓄積開始インターバルＹよりも長い。他の実施の形態において、第２の蓄積開始タイムインターバルＹは、第１の画素サブセットが第２の画素サブセットよりも長い蓄積時間を有するように、第１の蓄積開始インターバルＸよりも長い。他の実施の形態では、第１の蓄積開始タイムインターバルＸ又は第２の蓄積開始タイムインターバルＹのいずれか一方は、画素の蓄積時間が通常のフレーム周期よりも長くなるように、撮像素子の全ての行を読み出すのに必要な時間よりも長い。本発明の方法は、好ましくは、１つの画像を形成するために、撮像素子内の画素行ごとに第１及び第２の画素サブセットからの画素信号を処理するステップを有する。
【００１３】
本発明の一実施の形態に基づいて、撮像装置は、１行ごとに複数の画素を有する複数の画素行と、画素行の１行内の第１の画素サブセット（first sub-set of pixels）にそれぞれ接続され、撮像素子内の画素行の数（a number of pixels rows）に等しい複数の第１の信号線（a plurality of first signal lines）と、画素行の１行内の第２の画素サブセット（second sub-set of pixels）にそれぞれ接続され、撮像素子内の画素行の数に等しい複数の第２の信号線（a plurality of second signal lines）と、複数の第１の信号線及び複数の第２の信号線に接続され、行ごとに基づいて画素の読出信号を制御するタイミング制御部（timing controller）と、第１及び第２の画素サブセットによって画素信号を生成する画像処理部（image processor）とを備え、各行の第１の画素サブセットは、次の行の画素が読み出される前に第１の期間（first time period）で読み出され、各行の第２の画素サブセットは、次の行の画素が読み出される前であって、第１の期間に後続する第２の期間（second time period）で読み出され、タイミング制御部は、各行の第１の画素サブセットの画素を、第１の蓄積開始タイムインターバル（first integration start time interval）においてリセットし、各行の第２の画素サブセットの画素を、第２の蓄積開始タイムインターバル（second integration start time interval）においてリセットする。
【図面の簡単な説明】
【００１４】
本発明は、添付図面とともに以下の詳細な説明によって、構成要素等の参照符号が示すように容易に理解される。
【図１】固定されたＮＤフィルタを有する従来の撮像素子を示す。
【図２】本発明の一実施の形態に基づいて、異なる蓄積時間を有する、本発明固有の画素の市松模様パターンを示す。
【図３】図２の撮像素子の読出し方式を示す。
【図４】より詳細な読出しアーキテクチャを示す。
【図５】本発明の一実施の形態に基づいて、縦方向に読出しタイミングを示した簡単化したタイミングチャートである。
【図６】本発明の一実施の形態に基づいて設計された撮像素子を用いて撮影された写真のサンプルである。
【図７】本発明の一実施の形態に基づいて設計された撮像素子で撮影された写真の一部を拡大した図である。
【図８】未処理の画像ファイルである図６の写真サンプルにデジタル画像処理を適用した画像データである。
【図９Ａ】長い蓄積時間の画素のサブブロック（sub-sets of pixels）と短い蓄積時間の画素のサブブロックとの間のリセット時間の相違について示す図である。
【図９Ｂ】交互に配置されたアレイでの、長い蓄積時間の画素のサブブロックと短い蓄積時間の画素のサブブロックとの間のリセット時間の相違について示す図である。
【図９Ｃ】長い蓄積時間の画素のサブブロック及び短い蓄積時間の画素のサブブロックを有する市松模様パターンのアレイを構成するのに必要となるバス接続を示す図である。
【図１０】長い蓄積時間の時間の長さを増大させるために、画像フレームに「ブランク」行を付加することを示す。
【図１１】本発明の一実施の形態に基づいて、撮像装置の単純化したブロック図を示す。
【図１２】本発明の一実施の形態に基づく方法を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下の説明では、いかなる当業者においても、本発明に係る物を生産し、使用することができ、本発明を実施する発明者によって考えられる最良の形態について説明する。ただし、当業者は、様々な変形を容易になすことができるのは明らかである。そのようなすべての変形、均等物及び代替物等いかなるものも、本発明の要旨及び範囲内に含まれる。
【００１６】
本発明の一実施の形態に基づいて、本発明に固有な市松模様（checkerboard）のパターンのフィルタは、撮像素子上に配設され、異なる画素のサブブロック（sub-blocks of pixels）が異なる蓄積時間（integration times）を有する。これらの蓄積時間を、プログラマブルに可変することができるので、撮像素子のダイナミックレンジを連続的に調整することができる。さらに、撮像素子の全ての画素からなる単一の隣接したフレーム（a single contiguous frame）で、長時間露光と短時間露光のデータを結合するので、従来技術におけるＷＤＲ画像に比較して、モーションアーティファクト（motion artifacts）は、無視できる程度にしか生じない。
【００１７】
たとえば、図２に示すように、１個の赤色と、２個の緑色と、１個の青色との交互に配置した、画素のサブブロック（sub-blocks）が形成される。サブブロックのうち１／２（白いボックス内）は、長い露光時間でトリガされ、サブブロックのうち交互に配置される残りの１／２（灰色のボックス内）は、短い露光時間でトリガされる。これにより、明るい露光領域と暗い露光領域とからなる直交配列された市松模様のパターンとなるが、それぞれのサブブロック（sub-block）がそれぞれ独立した分解能（self-contained resolution block）を有しているともいえる。同一のフレーム内で、長時間露光の画素と短時間露光の画素とを撮像することによって、撮像素子は、最小のモーションアーティファクトを有する広いダイナミックレンジの画像を撮像することを可能にし、撮像素子の分解能（resolution）が、標準の撮像素子や他のＷＤＲセンサに比較してもほとんど損なわれることなく広いダイナミックレンジの画像情報を出力する。図２の最初の２行において、長い蓄積時間の画素のサブブロックが、短い蓄積時間のサブブロックに続いて配置されているが、長い蓄積時間と短い蓄積時間の画素ブロックの位置は、それぞれ逆になってもよい。ここで、ポイントは、長い蓄積時間と短い蓄積時間のサブブロックを交互に配置して、各フレーム内でサブブロックからサブブロックへ、連続するサブブロックを有するということである。
【００１８】
これら２つの画素のグループのそれぞれの露光量は、高精度かつ高再現性をもってプログラムされる画素の蓄積時間によって制御される。さらに、広ダイナミックレンジの拡張された特徴は、この機能を容易にターンオンし、ターンオフでき、必要に応じて、様々なタイミング周期に動的に再プログラミングすることができるということである。
【００１９】
好ましい実施の形態において、本発明は、参照することによって援用される２００８年１月５日出願の係属中の出願番号１１／９６９３０３，発明の名称「TWO-BY-TWO PIXEL STRUCTURE IN AN IMAGING SYSTEM-ON-CHIP」で開示されるように、２×２共有画素アーキテクチャとともに実施することができる。本発明を２×２共有画素アーキテクチャを有する撮像素子に援用することによっては、画素アレイにいかなる新規の構成要素が必要とされることはない。要求される唯一の付加機能は、行読出の同期期間に２つ以上の蓄積時間を制御する撮像素子タイミング制御部を変更することである。この変更は、全てデジタル的な変更であるから、画素アレイの性能に何ら不利益をもたらすことはない。したがって、ＷＤＲモードを利用している場合に、非ＷＤＲモードにおいて、通常用いることができる全ての性能レベルは、容易に達成される。当業者において容易に理解されるように、イメージングシステムオンチップの撮像素子（imaging system-on-chip sensors）におけるタイミング制御部（timing controller）は、その撮像素子に用いられている特定の画素回路にもよるが、例えば、リセットトランジスタ、転送（ＴＸ）トランジスタあるいは他の制御トランジスタのゲートを適切に駆動することによって、蓄積時間を設定する様々なリセットパルスを生成する。
【００２０】
好ましい実施の形態では、共有画素で構成されるアーキテクチャを有する撮像素子においては、ＴＸゲートによって、このような制御が容易になる。標準的な非共有画素アーキテクチャでは、２つの別々のＴＸパルスの組を独立に制御するのに、更なる配線が必要となる。なお、比較的大きな寸法の画素（リソグラフィプロセスによるが、概ね４μｍ以上のピッチの画素）では、このような配線の追加によって、量子効率の損失は生じない。
【００２１】
説明を簡単にするために、画素のサブブロックからサブブロックへ、互いに直交するように交互に配置された、画素の２つの差異のある１／２行（two distinctive half-rows of pixels）によって構成される物理的な画素の行それぞれについて考えるのが最良である（図２）。サブブロックを交互に配置することによって、複数の画素を有する各１／２行は、異なる期間（distinctive epoch of time）で読み出されるが、ここで、これらの各期間では、画素の１／２にアクセスされるので、これらの各期間を１／２ライン（half-line）と呼ぶことにする。物理行の１行を読み出すには、順に読み出される２つの１／２ラインの期間が必要とされる。Ｎ行の撮像素子では、１／２ラインは２×Ｎ個となる。
【００２２】
２つの差異のあるグループ（two distinctive groups）を形成するように、偶数の１／２ラインと奇数の１／２ラインとを考慮するのが簡便でもある。各１／２ラインのグループ（偶数／奇数）を、そのグループに対応した、蓄積時間を制御するタイミング制御部によって制御してもよい。Ｎ行の画素列を有する本発明のＷＤＲ撮像素子は、２×Ｎ個の１／２ラインによって通常の撮像素子と実質的に同様に制御されるが、１／２ラインの各グループ（偶数／奇数）は、それ自身独立してプログラム可能な蓄積時間のタイミング制御部を有している。標準的な撮像素子に適用される同一蓄積時間ルール（All the same time rules）は、本発明のＷＤＲ撮像素子にも適用できるが、各画素行を、２つの１／２ラインに置き換える必要がある。
【００２３】
本発明のＷＤＲ撮像素子の読出し動作を図３に示す。実際の画素アレイには、多くの「サブアレイ（subarray）」を含むが、図３の上側の図のように、明りょうにするために、２行×８列の「サブアレイ」を示す。Ｔ１として表示される枠線内の画素は、蓄積時間Ｔ１の間だけ蓄積し、Ｔ２として枠線内に表示される画素は、Ｔ１とは別の期間内で蓄積する。図３の下の図に示すように、画素の読出し及び蓄積時間は、蓄積時間Ｔ１及び蓄積時間Ｔ２（T1 and T2 integration epochs）に対応して、この順序に並んでいる。各画素行は、２つの１／２ラインからなる（行１に対するＴＸ１／ＴＸ２バス及び行２に対するＴＸ３／ＴＸ４バスによって提供される）。「Ｇ」から始まる符号付けされた画素は、緑色であり、「Ｂ」から始まる符号付けされた画素は、青色であり、「Ｒ」から始まる符号付けされた画素は、赤色の画素であることを示す。
【００２４】
一般には、上述の場合に限られず、基本的な説明としては、蓄積時間Ｔ１，Ｔ２ともに同じ時間で終了する。したがって、蓄積時間Ｔ１，Ｔ２の終了時に、読出工程及び具体的な読出インターバル（a specific readout interval）が開始される。
【００２５】
蓄積時間Ｔ１の終了時に、画素Ｇｂ１，Ｂ１，Ｇｂ３及びＢ３がＴＸ１ラインによって制御されて読み出される。同時に、バスＴＸ４が画素Ｒ１，Ｇｒ１，Ｒ３及びＧｒ３の読出しをトリガする。第２の蓄積時間Ｔ２が終了すると、画素ＢＸ，Ｇｂ２，Ｂ２及びＧｂ４は、ＴＸ２ラインによってトリガされた後に読み出され、一方、ＧｒＸ，Ｒ２，Ｇｒ２及びＲ４がＴＸ３ラインによってトリガされる。したがって、２つの蓄積時間Ｔ１，Ｔ２を有する画素は、Ｇｂ１，Ｂ１，Ｇｂ３，Ｂ３，ＢＸ，Ｇｂ２，Ｂ２，Ｇｂ４，Ｒ１，Ｇｒ１，Ｒ３，Ｇｒ３，ＧｒＸ，Ｒ２，Ｇｒ２及びＲ４の順番で読み出される。次に、これらの画素信号は、長短両方の蓄積時間によるデータを用いて、カラーのモザイク除去処理（demosaicking）によって、カラーの画素の組を生成するために、オンチップ又は撮像素子アレイの下流の電子回路（downstream electronics）のいずれかによって、構成される。
【００２６】
図３の下側の図に示すように、短時間の蓄積時間の画素の組が最初に読み出されるが、長時間の蓄積時間の画素の組を最初に読み出すようにすることも可能である。上述したように、市松模様のパターンは、長い蓄積時間の画素か短い蓄積時間の画素かのいずれかからでも開始することができる。
【００２７】
画素読出しの構成を、図４に更に示す。一方の１／２ライン（half row）が読み出されている間、他方の１／２ラインは、ローリングシャッタ方式（rolling shutter fashion）でリセットされている。電子シャッタの動作及びローリングシャッタのタイミングを用いてＷＤＲ撮像素子で蓄積時間を制御するには、１／２ラインごとに２個のポインタが必要となる。すなわち、これは、非ＷＤＲ撮像素子で用いられる物理画素行（physical rows）ごとに通常２個のポインタに対して、１／２ラインごとに２個のタイミング「ポインタ」が必要となるということである。
【００２８】
より具体的には、蓄積時間を制御し、変化させるために、各１／２ライン（偶数及び奇数）は、異なるタイミングのタイミング制御部に従って、リセットされる。短い蓄積時間の１／２ラインに対しては、ローリングシャッタ動作（rolling reset operation）によって、読出動作の前に短時間で画素をリセットし、長い蓄積時間の１／２ラインに対しては、関連する短時間蓄積時間の１／２ラインがリセットされる前のタイミングでリセット動作する。このことは、長い蓄積時間の１／２ラインの画素が、リセットしている期間と読み出している期間の間に長い蓄積時間を有するということを示す。タイミング制御部を、各１／２ラインごとに独立にプログラムをすることを可能にし、それに従って相対的に蓄積時間が補償される。
【００２９】
図９Ａに示すこの手順においては、画素のサブブロック（pixel sub-sets）を交互に配置してなる市松模様のパターンを明確に示す目的のために分割して示している。ライン時間ＴＬＩＮＥ内にある最初の期間中に、行１の第１の１／２ラインが読み出され、好ましくは、ポインタ１によって、読み出された後にリセットされる。それから、ライン時間ＴＬＩＮＥ内の次の期間中に、ポインタ２によって、行１の第２の１／２ラインが読み出され、リセットされる。同様にして、これら最初の２つのポインタによって、各行の読出しとリセットを行う。したがって、別々のタイミングポインタが、各１／２ラインの読出タイミングを保持するのに用いられ、２つのタイミングポインタ＃１、＃２の組が物理行ごとに用いられる。
【００３０】
その後、行Ｍが読み出される。行Ｍの第１の１／２ラインが読み出されたとき、行（Ｍ−Ｘ）の第１の１／２ラインがリセットされる。同様に、行Ｎが読み出されたとき、行（Ｎ−Ｙ）の第２の１／２ラインがリセットされる。２つの異なるリセット時間（Ｘ及びＹ）を保持するために、２つの更なるタイミング「ポインタ」（ポインタ＃３、＃４）が用いられ、画素アレイに対して合計４個のポインタが用いられる。Ｘ及びＹの値を調整することによって、１／２ラインごとに相対的な蓄積時間を変更することができる。一般的には、Ｘ及びＹの値は、所定の行数（a certain number of rows）を読み出す期間に等しい。この実施の形態では、蓄積時間の最大値は、したがって、フレーム全体を読み出す期間に等しい（行数×ＴＬＩＮＥ）。最短の蓄積時間は、１行の読出時間である（ＴＬＩＮＥ）。図９Ｂは、市松模様のパターンの全てを示さずに、交互配置された撮像素子として図９Ａを再構成したものである。好ましい市松模様パターンの実施の形態の最終的な再構成を示す図は、図９Ｃに示すように、バス接続を伴っている。
【００３１】
特定の用途、例えばビデオ監視カメラ（video security cameras）に関しては、短い蓄積時間と長い蓄積時間との相対比を大きくするのが望ましい。これを実現するための実施の形態の変形例を図１０に示す。「ブランク」行、すなわちダミーの行（phantom rows）を効果的に撮像素子アレイに追加して、長い蓄積時間に更なる時間を加算することができる。この付加蓄積時間を用いることによって、短い蓄積時間と長い蓄積時間との時間差を大きくすることが可能になる。さらに、フレームブランキング期間中に、この付加行を読み出す（すなわち何もしない）ので、撮像素子全体のフレームタイミングには影響しない。実際には、付加行が追加されるわけではなく、各フレームの終わりの時点で、付加期間分タイミング制御部が動作をするだけである。
【００３２】
本発明のアーキテクチャの更なる長所は、ＷＤＲ機能を撮像素子アレイの一部のみだけ有効にすることができるということである。換言すると、「ノーマル」モードにおいて、撮像素子は、行ごとに、短い蓄積時間の画素だけ、あるいは長い蓄積時間の画素だけを読み出すことができ、低解像度の画像（a lower resolution image）を生成することができる。より高解像度の画像（greater resolution）が必要な場合には、撮像素子アレイの画素サブブロックのあるグループ（some sub-set of the array）に付加した１／２ラインによって画素を読み出すことができ、これによって関心のある領域（an area of interest）で高解像度の部分画像（sub-image）を生成することができる。より少ないデータを保存するのが望ましいような状況では、このような実施の形態が有用である可能性があり、観測された特徴に基づく画像の高画質化が可能である。
【００３３】
上述したように実装された場合には、本発明に係るＷＤＲ撮像素子の新規な構成によって、対照的な明るい領域と暗い領域とを有する場面を、１つのフレームで画像化することが可能となる。たとえば、図６は、本発明に基づいて設計された撮像素子によって撮影された写真のサンプルである。どんなに前景が暗く、背景が明るいのかに注意すべきある。図７には、本発明に基づいて設計された撮像素子によって撮影された写真の拡大図を示す。これは、基本的な画素サブブロック（underlying sub-block）の蓄積時間に基づいて、画素サブブロックの異なるグループ（different sub-pixel groups）が、明るいブロックと暗いブロックとからなる市松模様パターンを生成したものである。図８は、最終的に、未処理の図６の写真の画像ファイルにデジタル画像処理が施された後の写真である。デジタル画像処理によって、各画素に対して、短い蓄積時間の画像データを長い蓄積時間の画像データに加算し、続いてモザイク除去処理（demosaicing）をして（カラーフィルタアレイ、ＣＦＡ付のＷＤＲ撮像素子の場合）、各画素の拡張データ、すなわち広ダイナミックレンジを得て、フルカラーのＷＤＲ画像を生成する。ＣＦＡがない場合には、モノクロのＷＤＲ画像が生成される。以前は暗く見えた前景がどんなにはっきりと見えるようになったかに注意すべきである。同様に、以前は明る過ぎた背景も、はっきりと見えるようになった。
【００３４】
他の実施の形態では、カラーフィルタを用いない。その代わり、モノクロの撮像素子が、白黒の場面の広いダイナミックレンジの画像を生成する。様々な方法、例えば米国特許番号４５８４６０６（Nagasaki）に開示されている方法を用いて複数の撮像素子を光学的に結合させることによって、あるいは、各画像形成面（image-forming facet）に撮像素子を配したプリズムを用いる等の標準的な方法を用いることによって、カラーの画像を形成することができる。
【００３５】
図１１には、本発明の実施の形態に基づいて、撮像素子及び撮像装置の簡単化したブロック図を示す。撮像素子２は、画素アレイ４と、タイミング制御部６とを備える。タイミング制御部６は、制御信号を画素の信号線に供給し、タイミング制御部６によって、画素の信号が画素アレイ４から読出され、かつ１／２ラインの画素（pixel half-rows）がリセットされる。タイミング制御部６は、例えば図４に示すような読出機構を備えてもよく、図５に示すようなタイミングチャートに従って動作するようにしてもよい。タイミング（及びリセット）制御部６は、長い蓄積時間及び短い蓄積時間（the long and short integration intervals）をプログラムするプログラマブルレジスタ８，１０を有する。次に、未処理の画像データが画像処理部１２によって処理されるが、画像処理部１２は、長い蓄積時間の画素に含まれる画像情報を、短い蓄積時間の画素に含まれる画像情報と結合して（例えば補完等によって）、図８に示すような１つのＷＤＲ処理された画像を形成する。１行分の画素が同時に処理されるのが好ましいが、フルフレームバッファ又は部分フレームバッファを付加することによって、より広い領域の画像を一度に処理することができる。画像処理部１２には、従来から周知のように、商業的に入手可能な画像処理ソフトウェアを取り入れてもよい。撮像素子及びこれに対応する処理レベルに適すると考えられるデジタル回路の集積度にも依存するが、イメージングシステムオンチップ（imaging System-on-Chip）１４のＩＰブロックとして、画像処理部１２を追加することもできる。
【００３６】
本発明に係る方法のフローチャートを図１２に示す。ステップ１２１において、第１の１／２ラインの画素が読み出され、リセットされる。次に、ステップ１２２において、第２の１／２ラインの画素が読み出され、リセットされる。第１及び第２の１／２ラインの画素が処理される（ステップ１２３において、読出中又は読出後いずれかの期間で）。次に、ステップ１２４において、第２の１／２ラインの画素がタイムインターバル（time interval）Ｘでリセットされる。次に、ステップ１２５において、第１の１／２ラインの画素がタイムインターバルＹでリセットされる。この手順が、撮像素子の各行に対して繰り返され、動画用途に対しては、ビデオカメラ又はＷＤＲ機能がターンオフするまで、この手順が絶えず実行される。
【００３７】
当業者においては、まさにここに説明された好ましい実施の形態の修正及び変更を、本発明の範囲及び精神を逸脱しない範囲で構成することができるのは明らかである。したがって、添付された特許請求の範囲の記載の範囲内で、本発明は、ここに具体的に記載される実施の形態以外の実施の形態であって実施されるのは言うまでもない。
【図１】
2013505634.tif 000003
【図２】
2013505634.tif 000004
【図３】
2013505634.tif 000005
【図４】
2013505634.tif 000006
【図５】
2013505634.tif 000007
【図６】
2013505634.tif 000008
【図７】
2013505634.tif 000009
【図８】
2013505634.tif 000010
【図９】
2013505634.tif 000011
【図９Ｂ】
2013505634.tif 000012
【図９Ｃ】
2013505634.tif 000013
【図１０】
2013505634.tif 000014
【図１１】
2013505634.tif 000015
【図１２】
2013505634.tif 000016
【国際調査報告】
2013505634.tif 000017