(57)【要約】本開示は、サンプルを別のサンプルと合成する前にサンプルに可変重み付け係数を適用することによって高ダイナミックレンジの画像を生成するための技法について記載している。一例では、方法は、第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングすることと；第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングすることと；第２のサンプルに対して関数に基づいて規定される可変重み付け係数を適用することと；第１のサンプルと重み付けられた第２のサンプルを合成することと；を含む。
2013537020.tif 000002
【特許請求の範囲】
【請求項１】
第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングすることと；
第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングすることと；
前記第２のサンプルに対して関数に基づいて規定される可変重み付け係数を適用することと；
前記第１のサンプルと重み付けられた前記第２のサンプルを合成することと；
を備える方法。
【請求項２】
前記第１のサンプルと重み付けられた前記第２のサンプルを合成することとは、前記第１のサンプルと重み付けられた前記第２のサンプルを次式に従って合成することとを備え、
ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ＳＬＯＮＧ（ｉ，ｊ）＊Ｍ（ｉ，ｊ）＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊（１−Ｍ（ｉ，ｊ））
但し、ＳＣＯＭＢＩＮＥＤは、（ｉ，ｊ）に位置する前記画素セルについて、ＳＳＨＯＲＴによって示された前記第１のサンプルと、ＳＬＯＮＧによって示された第２のサンプルの合成を示し、ｎは、前記１回目と前記２回目との間の露光時間の差に依存するスカラ値を示し、Ｍ（ｉ，ｊ）は前記可変重み付け係数を示す、請求項１に記載の方法。
【請求項３】
Ｍ（ｉ，ｊ）の値は、０と１を含む０と１の間である、請求項２に記載の方法。
【請求項４】
前記２回目は、時間的に前記１回目の後である、請求項１に記載の方法。
【請求項５】
前記第１のサンプルと重み付けられた前記第２のサンプルを合成することとは前記第１のサンプルと重み付けられた前記第２のサンプルをセンサ上で合成することを備える、請求項１に記載の方法。
【請求項６】
前記第１の画素セル信号と前記第２の画素セル信号は、相補型ＭＯＳ（ＣＭＯＳ）画像センサと電荷結合素子（ＣＣＤ）画像センサのうちの１つによって生成される、請求項１に記載の方法。
【請求項７】
第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングすること及び第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングすることとは、
ＣＣＤ画像センサ上の機械シャッターを開き、前記画像センサを露光することと；
１回目に、前記露光に基づいて展開された第１のサンプルを記憶領域へ転送することと；
前記記憶領域から前記第１のサンプルを読み出すことと；
時間的に前記１回目の後である２回目に前記機械シャッターを閉じることと；
第２のサンプルを前記記憶領域へ転送することと；
前記記憶領域から前記第２のサンプルを読み出すことと；
を備える、請求項６に記載の方法。
【請求項８】
第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングすること及び第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングすることとは、
前記１回目が前記２回目と実質的に同時に終了するように、前記１回目と前記２回目を合わせることと、
複数の偶数番号のラインの各々において複数の空間位置の各々について前記第１のサンプルを生成するため前記１回目に前記ＣＭＯＳ画像センサの前記複数の偶数番号のラインを露光すること及び複数の奇数番号のラインの各々において複数の空間位置の各々について前記第２のサンプルを生成するため前記２回目に前記ＣＭＯＳ画像センサの前記複数の奇数番号のラインを露光すること、
前記複数の偶数番号のラインの各々における複数の空間位置の各々について前記第１のサンプルをダウンサンプリングすること及びアップサンプリングすることのうちの１つによって、前記複数の奇数番号のラインの各々において前記複数の空間位置の各々についての前記第１のサンプルを生成することと、
前記複数の奇数番号のラインの各々における複数の空間位置の各々について前記第２のサンプルをダウンサンプリングすること及びアップサンプリングすることのうちの１つによって、前記複数の偶数番号のラインの各々において前記複数の空間位置の各々についての前記第２のサンプルを生成することと、
を備える、請求項６に記載の方法。
【請求項９】
第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングすること及び第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングすることとは、
画素セルをリセットし、前記画素セルを露光することと、
１回目に、前記露光に基づいて展開された第１のサンプルをキャパシタへ転送することと、
２回目に、前記露光に基づいて展開された第２のサンプルを読み出すことと、
前記第２のサンプルが読み出された後で、前記第１のサンプルを読み出すことと、
を備える、請求項６に記載の方法。
【請求項１０】
複数の画素セルと、
第１のサンプルを生成するため１回目に第１の画素セル信号を、前記複数の画素セルのうちの少なくとも１つから、サンプリングし、第２のサンプルを生成するため２回目に第２の画素セル信号を、前記複数のセルのうちの少なくとも１つから、サンプリングするコントローラと、
を備える画像センサと；
関数に基づいて規定される可変重み付け係数を前記第２のサンプルに適用し、前記第１のサンプルと重み付けられた前記第２のサンプルを合成する、プロセッサと；
を備えるシステム。
【請求項１１】
前記プロセッサは、前記第１のサンプルと重み付けられた前記第２のサンプルを次式に従って合成する、
ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ＳＬＯＮＧ（ｉ，ｊ）＊Ｍ（ｉ，ｊ）＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊（１−Ｍ（ｉ，ｊ））
但し、ＳＣＯＭＢＩＮＥＤは、（ｉ，ｊ）に位置する前記画素セルについて、ＳＳＨＯＲＴによって示された前記第１のサンプルとＳＬＯＮＧによって示された前記第２のサンプルの前記合成を示し、ｎは、前記１回目と前記２回目との間の露光時間の差に依存するスカラ値を示し、Ｍ（ｉ，ｊ）は前記可変重み付け係数を示す、請求項１０に記載のシステム。
【請求項１２】
Ｍ（ｉ，ｊ）の値は、０と１を含む０と１の間である、請求項１１に記載のシステム。
【請求項１３】
前記２回目は、時間的に前記１回目の後である、請求項１０に記載のシステム。
【請求項１４】
前記プロセッサは、前記第１のサンプルと重み付けられた前記第２のサンプルをセンサ上で合成する、請求項１０に記載のシステム。
【請求項１５】
前記第１の画素セル信号と前記第２の画素セル信号は、相補型ＭＯＳ（ＣＭＯＳ）画像センサと電荷結合素子（ＣＣＤ）画像センサのうちの１つによって生成される、請求項１０に記載のシステム。
【請求項１６】
前記コントローラは少なくとも、
ＣＣＤ画像センサ上の機械シャッターを開き、前記画像センサを露光することと；
１回目に前記露光に基づいて展開された第１のサンプルを記憶領域へ転送することと；
前記記憶領域から前記第１のサンプルを読み出すことと；
時間的に前記１回目の後である２回目に前記機械シャッターを閉じることと；
第２のサンプルを前記記憶領域へ転送することと；
前記記憶領域から前記第２のサンプルを読み出すことと；
によって、第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングし、第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングする、請求項１５に記載のシステム。
【請求項１７】
前記コントローラは少なくとも、
前記１回目が前記２回目と実質的に同時に終了するように、前記１回目と前記２回目を合わせることと；
複数の偶数番号のラインの各々において複数の空間位置の各々について前記第１のサンプルを生成するため前記１回目に前記ＣＭＯＳ画像センサの前記複数の偶数番号のラインを露光すること及び複数の奇数番号のラインの各々において複数の空間位置の各々について前記第２のサンプルを生成するため前記２回目に前記ＣＭＯＳ画像センサの前記複数の奇数番号のラインを露光することと；
前記複数の偶数番号のラインの各々における複数の空間位置の各々について前記第１のサンプルをダウンサンプリングすること及びアップサンプリングすることのうちの１つによって、前記複数の奇数番号のラインの各々において前記複数の空間位置の各々についての前記第１のサンプルを生成することと；
前記複数の奇数番号のラインの各々における複数の空間位置の各々について前記第２のサンプルをダウンサンプリングすること及びアップサンプリングすることのうちの１つによって、前記複数の偶数番号のラインの各々において前記複数の空間位置の各々についての前記第２のサンプルを生成することと；
によって、第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングし、第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングする、請求項１５に記載のシステム。
【請求項１８】
前記コントローラは少なくとも、
画素セルをリセットし、前記画素セルを露光することと；
１回目に、前記露光に基づいて展開された第１のサンプルをキャパシタへ転送することと；
２回目に、前記露光に基づいて展開された第２のサンプルを読み出すことと；
前記第２のサンプルが読み出された後で、前記第１のサンプルを読み出すことと；
によって、第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングし、第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングする、請求項１５に記載のシステム。
【請求項１９】
第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングするための手段と；
第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングするための手段と；
関数に基づいて規定される可変重み付け係数を前記第２のサンプルに適用するための手段と；
前記第１のサンプルと重み付けられた前記第２のサンプルを合成するための手段と；
を備えるシステム。
【請求項２０】
前記第１のサンプルと重み付けられた前記第２のサンプルを合成するための手段とは、前記第１のサンプルと重み付けられた前記第２のサンプルを次式に従って合成するための手段を含み、
ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ＳＬＯＮＧ（ｉ，ｊ）＊Ｍ（ｉ，ｊ）＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊（１−Ｍ（ｉ，ｊ））
但し、ＳＣＯＭＢＩＮＥＤは、（ｉ，ｊ）に位置する前記画素セルについて、ＳＳＨＯＲＴによって示された前記第１のサンプルとＳＬＯＮＧによって示された前記第２のサンプルとの合成を示し、ｎは、前記１回目と前記２回目との間の露光時間の差に依存するスカラ値を示し、Ｍ（ｉ，ｊ）は前記可変重み付け係数を表す、請求項１９に記載のシステム。
【請求項２１】
Ｍ（ｉ，ｊ）の値は、０と１を含む０と１の間である、請求項２０に記載のシステム。
【請求項２２】
前記２回目は、時間的に前記１回目の後である、請求項１９に記載のシステム。
【請求項２３】
前記第１のサンプルと重み付けられた前記第２のサンプルを合成するための手段とは前記第１のサンプルと重み付けられた前記第２のサンプルをセンサ上で合成するための手段を備える、請求項１９に記載のシステム。
【請求項２４】
前記第１の画素セル信号と前記第２の画素セル信号は、相補型ＭＯＳ（ＣＭＯＳ）画像センサと電荷結合素子（ＣＣＤ）画像センサのうちの１つによって生成される、請求項１９に記載のシステム。
【請求項２５】
第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングするための手段と第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングするための手段は、
ＣＣＤ画像センサ上の機械シャッターを開き、前記画像センサを露光するための手段と；
１回目に前記露光に基づいて展開された第１のサンプルを記憶領域へ転送するための手段と；
前記記憶領域から前記第１のサンプルを読み出すための手段と；
時間的に１回目の後である２回目に前記機械シャッターを閉じるための手段と、
第２のサンプルを前記記憶領域へ転送するための手段と；
前記記憶領域から前記第２のサンプルを読み出すための手段と；
を備える、請求項２４に記載のシステム。
【請求項２６】
第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングするための手段と第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングするための手段は、
前記１回目が前記２回目と実質的に同時に終了するように、前記１回目と前記２回目を合わせるための手段と、
複数の偶数番号のラインの各々において複数の空間位置の各々について前記第１のサンプルを生成するため前記１回目に前記ＣＭＯＳ画像センサの前記複数の偶数番号のラインを露光し、複数の奇数番号のラインの各々において複数の空間位置の各々について前記第２のサンプルを生成するため前記２回目に前記ＣＭＯＳ画像センサの前記複数の奇数番号のラインを露光するための手段と、
前記複数の偶数番号のラインの各々における複数の空間位置の各々について前記第１のサンプルをダウンサンプリングすること及びアップサンプリングすることのうちの１つによって、前記複数の奇数番号のラインの各々において前記複数の空間ロケーションの各々についての前記第１のサンプルを生成するための手段と、
前記複数の奇数番号のラインの各々における複数の空間位置の各々について前記第２のサンプルをダウンサンプリングすること及びアップサンプリングすることのうちの１つによって、前記複数の偶数番号のラインの各々において前記複数の空間位置の各々についての前記第２のサンプルを生成するための手段と、
を備える、請求項２４に記載のシステム。
【請求項２７】
第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングするための手段と第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングするための手段は、
画素セルをリセットし、前記画素セルを露光するための手段と、
１回目に、前記露光に基づいて展開された第１のサンプルをキャパシタへ転送するための手段と、
２回目に、前記露光に基づいて展開された第２のサンプルを読み出すための手段と、
前記第２のサンプルが読み出された後で、前記第１のサンプルを読み出すための手段と、
を備える、請求項２４に記載のシステム。
【請求項２８】
１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに、
第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングすることと；
第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングすることと；
関数に基づいて規定される可変重み付け係数を前記第２のサンプルに適用することと；
前記第１のサンプルと重み付けられた前記第２のサンプルを合成することと；
を実行させる命令を備えるコンピュータ可読媒体。
【請求項２９】
前記１つ以上のプロセッサに、前記第１のサンプルと重み付けられた前記第２のサンプルを合成することを実行させる命令は、
前記１つ以上のプロセッサに、前記第１のサンプルと重み付けられた前記第２のサンプルを次式に従って合成することを実行させる命令を備え、
ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ＳＬＯＮＧ（ｉ，ｊ）＊Ｍ（ｉ，ｊ）＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊（１−Ｍ（ｉ，ｊ））
但し、ＳＣＯＭＢＩＮＥＤは、（ｉ，ｊ）に位置する前記画素セルについて、ＳＳＨＯＲＴによって示された第１のサンプルと、ＳＬＯＮＧによって示された第２のサンプルの合成を示し、ｎは、前記１回目と前記２回目との間の露光時間の差に依存するスカラ値を示し、Ｍ（ｉ，ｊ）は、前記可変重み付け係数を示す、請求項２８に記載のコンピュータ可読媒体。
【請求項３０】
Ｍ（ｉ，ｊ）の値は、０と１を含む０と１の間である、請求項２９に記載のコンピュータ可読媒体。
【請求項３１】
前記２回目は、時間的に前記１回目の後である、請求項２８に記載のコンピュータ可読媒体。
【請求項３２】
前記１つ以上のプロセッサに、前記第１のサンプルと前記重み付けられた第２のサンプルを合成することを実行させる命令は、前記１つ以上のプロセッサに、センサ上で前記第１のサンプルと重み付けられた前記第２のサンプルを合成することを実行させる命令を備える、請求項２８に記載のコンピュータ可読媒体。
【請求項３３】
前記第１の画素セル信号と前記第２の画素セル信号は、相補型ＭＯＳ（ＣＭＯＳ）画像センサと電荷結合素子（ＣＣＤ）画像センサのうちの１つによって生成される、請求項２８に記載のコンピュータ可読媒体。
【請求項３４】
前記１つ以上のプロセッサに、第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングすること及び第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングすることを実行させる命令は、前記１つ以上のプロセッサに、
ＣＣＤ画像センサ上の機械シャッターを開き、前記画像センサを露光することと；
１回目に前記露光に基づいて展開された第１のサンプルを記憶領域へ転送することと；
前記記憶領域から前記第１のサンプルを読み出すことと；
時間的に１回目の後である２回目に前記機械シャッターを閉じることと；
第２のサンプルを前記記憶領域へ転送することと；
前記記憶領域から前記第２のサンプルを読み出すことと；
を実行させる命令を備える、請求項３３に記載のコンピュータ可読媒体。
【請求項３５】
前記１つ以上のプロセッサに、第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングすること及び第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングすることを実行させる命令は、前記１つ以上のプロセッサに、
前記１回目が前記２回目と実質的に同時に終了するように、前記１回目と前記２回目を合わせることと、
複数の偶数番号のラインの各々において複数の空間位置の各々について前記第１のサンプルを生成するため前記１回目に前記ＣＭＯＳ画像センサの前記複数の偶数番号のラインを露光し、複数の奇数番号のラインの各々において複数の空間ロケーションの各々について前記第２のサンプルを生成するため前記２回目に前記ＣＭＯＳ画像センサの前記複数の奇数番号のラインを露光することと、
前記複数の偶数番号のラインの各々における前記複数の空間位置の各々について前記第１のサンプルをダウンサンプリングすること及びアップサンプリングすることのうちの１つによって、前記複数の奇数番号のラインの各々において前記複数の空間位置の各々についての前記第１のサンプルを生成することと、
前記複数の奇数番号のラインの各々における複数の空間位置の各々について前記第２のサンプルをダウンサンプリングすること及びアップサンプリングすることのうちの１つによって、前記複数の偶数番号のラインの各々において前記複数の空間位置の各々についての前記第２のサンプルを生成することと、
を実行させる命令を備える、
請求項３４に記載のコンピュータ可読媒体。
【請求項３６】
前記１つ以上のプロセッサに、第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングすること及び第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングすることを実行させる命令は、前記１つ以上のプロセッサに、
画素セルをリセットし、前記画素セルを露光することと、
１回目に、前記露光に基づいて展開された第１のサンプルをキャパシタへ転送することと、
２回目に、前記露光に基づいて展開された第２のサンプルを読み出すことと、
前記第２のサンプルが読み出された後で、前記第１のサンプルを読み出すことと、
を実行させる命令を備える、
請求項３４に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像センサに関し、具体的には高ダイナミックレンジの画像を生成するための技法に関する。
【背景技術】
【０００２】
シーンのダイナミックレンジは、シーンの最高光源レベルと最低光源レベルの比によって決定される。センサのダイナミックレンジは、センサによって検出されることができる、最低光源レベル、すなわち雑音レベル(noise floor)を超えてセンサを飽和しないシーンにおける最高光源レベルの比によって決定される。シーンのダイナミックレンジは、例えば１００，０００：１であり、センサのダイナミックレンジは、例えば、１００：１である。シーンのダイナミックレンジがセンサのダイナミックレンジを越えるとき、最高光源レベルと最低光源レベルの領域のディテール（細部）が失われる。
【０００３】
露光は、できる限りの有効な光源レベルをセンサのダイナミックレンジがカバーするような方法で調節されうる。露光は、センサのダイナミックレンジを増加することができない。しかしながら、単一の露光により可能であろうよりもシーンの２以上の異なる露光を合成することによってシーンのより高いダイナミックレンジの獲得を可能にすることができる。
【０００４】
シーンのＨＤＲ画像を生成するため異なる露光を合成することについて、様々なセンサ製品は、画像センサのダイナミックレンジ特性を克復するため様々な技法を利用している。いくつかの技法は、可能とするよりもより高いダイナミックレンジの画像を形成するために異なる露光時間の２つの画像を合わせるソフトウェア解決策を提供する。他の技法は、より高いダイナミックレンジの画像を形成するために合わせられることになるシーンの２つの画像を撮像するために、ハードウェア解決策、例えば改良センサを提供する。
【発明の概要】
【０００５】
一般的に、本開示は、サンプルを別のサンプルと合成する前に前記サンプルに可変重み付け係数を適用することによって高ダイナミックレンジの画像を生成するための技法を記載している。画像センサは高ダイナミックレンジの画像を生成するために合成するができる２つ以上のサンプルを生成するために２つ以上の異なる露光時間で画素セル信号をサンプリングすることができる。しかしながら、長い露光時間は、画素セルの感光性半導体を飽和させてしまうかもしれない。２以上のサンプルを合成する前に、可変重み付け係数は、飽和した感光性半導体の影響を減少または除去するために長い露光時間によって生成された信号に適用し得る。
【０００６】
一例では、本開示は、第１のサンプルを生成するため、１回目に第１の画素セル信号をサンプリングすることと；第２のサンプルを生成するため、２回目に第２の画素セル信号をサンプリングすることと；第２のサンプルに対して関数に基づいて規定される可変重み付け係数を適用することと；第１のサンプルと重み付けられた第２のサンプルを合成することと；を備える方法を対象としている。
【０００７】
別の例では、本開示は、複数の画素セルと；第１のサンプルを生成するため１回目に第１の画素セル信号を、複数の画素セルのうちの少なくとも１つから、サンプリングし、第２のサンプルを生成するため２回目に第２の画素セル信号を、複数のセルのうちの少なくとも１つから、サンプリングする、コントローラと；を備える画像センサを備えるシステムを対象としている。本システムはさらに、第２のサンプルに対して関数に基づいて規定される可変重み付けを適用し、第１のサンプルと重み付けられた第２のサンプルを合成するプロセッサを備える。
【０００８】
別の例では、本開示は、第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングするための手段と；第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングするための手段と；第２のサンプルに対して関数に基づいて規定される可変重み付け係数を適用するための手段と；第１のサンプルと重み付けられた第２のサンプルを合成するための手段と；を備えるシステムを対象としている。
【０００９】
別の例では、本開示は、１つ以上のプロセッサによって実行されるとき、１つ以上のプロセッサに、第１のサンプルを生成するため１回目に第１の画素セル信号をサンプリングすることと；第２のサンプルを生成するため２回目に第２の画素セル信号をサンプリングすることと；第２のサンプルに対して関数に基づいて規定される可変重み付け係数を適用することと；第１のサンプルと重み付けられた第２のサンプルを合成することと；を実行させる命令を備えるコンピュータ可読媒体を対象としている。
【００１０】
本開示の１つ以上の例の詳細は、添付図面及び下記の説明で記載されている。他の特徴、目的及び利点は、明細書及び図面、ならびに、特許請求の範囲から明らかとなるであろう。
【図面の簡単な説明】
【００１１】
【図１】図１は、本開示の技法を実施するために使用されうる、例示的な画素セルの概略図である。
【図２】図２は、本開示の技法に従って組み合わせ方法できる組み合わせカーブの例示的なグラフである。
【図３】図３は、本開示の技法を実施するために使用されうる、画像センサのブロック図である。
【図４】図４は、本開示の技法を実施するために使用されうる、別の画像センサのブロック図である。
【図５】図５は、本開示の技法を実施するために使用されうる、別の画像センサのブロック図である。
【図６】図６は、本開示の技法による、偶数番号のライン及び奇数番号のラインから、短い露光時間サンプル及び長い露光時間サンプルの合成を図示する概念図を図示する。
【図７】図７は、本開示の技法を実施するために使用されうる、例示的な方法を図示するフロー図である。
【図８】図８は、本開示の技法を実施するために使用されうる、別の例示的な方法を図示するフロー図である。
【図９】図９は、本開示の技法を実施するために使用されうる、別の例示的な方法を図示するフロー図である。
【図１０】図１０は、本開示の技法を実施するために使用されうる、別の例示的な方法を図示するフロー図である。
【発明を実施するための形態】
【００１２】
本開示は、サンプルを別のサンプルと合成する前にサンプルに可変重み付け係数を適用することによる高ダイナミックレンジ（ＨＤＲ）画像（例えば、静止画像とビデオ画像）を生成するための技法について説明している。ＨＤＲ画像は、ダイナミックレンジを有する画像（例えば、画像内の最低強度の光源レベルに対する最高強度光源レベルの比）を指し、標準画像技法によって生成された画像のものよりも大きい。一例のＨＤＲ画像技法は、露光時間のいずれかから生成された画像のものよりも大きいダイナミックレンジで組合された画像を生成するため、異なる露光時間で撮影された画像を合成る。本開示は、ＨＤＲ画像を生成するために画像を合成る前に、異なる露光時間で撮影される画像のうちの１つに可変重み付け係数を適用する技法を提供する。
【００１３】
図１は、本開示の技法を実施するために使用されうる、例示的な画像素子（「画素」）セルの概略図である。図１では、例示的な画素セル１０は、感光性半導体１２、スイッチ１４、１６及び１８、キャパシタ２０、トランジスタ２２、２４を備える。スイッチ１４、１６及び１８は、例えばトランジスタである場合がある。キャパシタンスは、等価キャパシタ２８（点線で図示されている）によって示されるように、感光性半導体１２と関連づけられる。感光性半導体１２のカソードは、スイッチ１４を通じて電圧ソースＶＤＤに接続され、感光性半導体１２のアノードは、基準電圧Ｖｓｓに接続され、そしてそれは、グラウンドまたは電圧ソースＶＤＤより小さい他の電位でありうる。したがって、感光性半導体１２は、ノード３０におけるそのカソードがそのアノードよりも高い電位にあるので、逆バイアスをかけられる。
【００１４】
トランジスタ２２のゲートは、スイッチ１６を通じて感光性半導体１２のカソードに接続される。トランジスタ２２のゲートはまた、スイッチ１８を通じてキャパシタ２０に接続される。トランジスタ２２のドレインは、電圧ソースＶＤＤに対する接続子であり、トランジスタ２２のソースは、トランジスタ２４のドレインに接続される。トランジスタ２４のゲート２６は、以下に詳述されるように、行選択ドライバ回路に接続される。トランジスタ２４のソースは画素セル出力ライン３２への接続子である。
【００１５】
トランジスタ２２及び２４は、それらのそれぞれのバルクが取り付けられていない、エンハンスメントモードの金属酸化膜半導体電界効果トランジスタ（ＭＯＳＦＥＴｓ）として図示されているが、多数の他の構成が可能であるということに留意されるべきである。さらに、トランジスタ２２及び２４は、ｎ−ＭＯＳタイプトランジスタとして下記で説明されているが、他の例の構成では、トランジスタ２２及び２４は、ｐ−ＭＯＳタイプトランジスタでありうる。
【００１６】
感光性半導体１２、例えば光ダイオードは、入射光の光子を電荷に変換するデバイスである。感光性半導体１２が露光される時間期間、すなわち積分時間の間入射光からの光子は、感光性半導体が感光性半導体の領域内で電荷粒子を生成させる。生成された電荷粒子の量は、入射光の量に比例する。光強度が増加すると、生成される電荷粒子の量が増加する。感光性半導体は、入射光の量が増大するときに、電荷粒子の量がもはや増大することができない場合には「飽和」になることがある。いったん感光性半導体が飽和になると、それはもはや入射光の量の正確な指標でないということが理解されるべきである。そのため、飽和された感光性半導体は、値の情報をほとんど有していない。
【００１７】
上述されるように、また、図１の参照番号２８で図示されているように、感光性半導体１２（例えば、光ダイオード）は等価キャパシタを有する。露光する前に、画素セル１０は、初期電圧にリセットされうる。具体的には、感光性半導体１２とその等価キャパシタ２８は、例えば、ＶＤＤの初期電圧にリセットされうる。図１で図示された例では、リセットスイッチ１４は図１の画素セル１０をリセットするために閉成されることがある。リセットスイッチ１４が閉成されると、ノード３０及び、特に、感光性半導体１２とその等価キャパシタ２８に電源電圧ＶＤＤが接続される。図１は供給電圧ＶＤＤにリセットされている画素セル１０を示しているが、他の例では、画素セル１０は、画素セル１０のための専用リセット電圧として作用する供給電圧ＶＤＤと同様のまたは異なる、第２の電圧を含めうる。リセットスイッチ１４が閉成されると、感光性半導体１２から電荷が放出され、等価キャパシタ２８が既知の電圧ＶＤＤに充電される。さらに、スイッチ１６及び１８は、リセット時に閉成され、キャパシタ２０を既知の電圧ＶＤＤに充電させることができる。
【００１８】
画素セル１０がリセットされた後で、リセットスイッチ１４とスイッチ１６及び１８は開成され、感光性半導体１２は、露光時に、光子を電荷に変換し始める。露光するとき、すなわちその積分時間の初めに、感光性半導体１２は、電荷粒子を生成し始める。感光性半導体１２が逆バイアスをかけられているので、光電流は、感光性半導体１２のカソードからアノードへと流れ始めるであろう。光電流は入射光の量に比例する。光強度が増加すると、感光性半導体１２によって生成された電荷粒子の量が増加し、それによって、光電流が増加する。光電流は等価キャパシタ２８を放電し始める。
【００１９】
画素セル１０は、１回目に（例えば、短い露光時間に）第１の画素セル信号をサンプリングし、２回目に（例えば、長い露光時間に）第２の画素セル信号をサンプリングするために使用されうる。短い露光時間（例えば、ＴＳＨＯＲＴ）後に、画素セル１０は、スイッチ１６及び１８を閉じることによって感光性半導体１２から第１の信号をサンプリングしうる。コントローラ（例えば、図３のコントローラ５４）は、感光性半導体１２、また具体的にはその等価キャパシタからキャパシタ２０へと短い露光時間電荷を転送するためにスイッチ１６及び１８を閉じる。感光性半導体１２からキャパシタ２０への電荷の転送を完了するのに十分な時間の後で、コントローラ（例えば、図３のコントローラ５４）は、スイッチ１６及び１８を開成するので、時間ＴＳＨＯＲＴ中に感光性半導体１２に対する入射光の量を表す電圧を、キャパシタ２０を介して獲得する。このように、キャパシタ２０は短い露光時間サンプルを収集する。
【００２０】
その間に、光は感光性半導体１２を照射し続ける。入射光は、感光性半導体１２中の電荷粒子を生成し続け、それによって、さらに等価キャパシタ２８を放電する。長い露光時間の後で、例えばＴＬＯＮＧ（ＴＬＯＮＧ＞ＴＳＨＯＲＴである）、長い露光時間サンプルは、等価キャパシタ２８上に残っている電圧で表される。この時点で、長い露光時間サンプルは、スイッチ１６を閉じることによって、また、トランジスタ２４のゲート２６に行選択信号を適用することによって（以下に詳述されている）読み出されうる。コントローラ（例えば、図３のコントローラ５４）は、スイッチ１６を閉じ、トランジスタ２４のゲート２６に行選択信号を適用して、トランジスタ２２と２４をオンにする。長い露光時間サンプルを表す電圧は、トランジスタ２２及び２４を通じてライン３２を介して、画素セル１０、また、具体的には等価キャパシタ２８から読み出される。
【００２１】
長い露光時間サンプルが読み出された後で、キャパシタ２０に格納された短い露光時間サンプルが読み出されうる。短い露光時間サンプルはスイッチ１６を開き、スイッチ１８を閉じ、そしてトランジスタ２４のゲート２６に行選択信号を適用することによって読み出されうる。スイッチ１８を閉じ、トランジスタ２４のゲート２６に行選択信号を適用することはトランジスタ２２及び２４をオンにする。短い露光時間サンプルを表すキャパシタ３０上で格納された電圧は、ライン３２を介して画素セルから読み出される。読み出される電圧は、キャパシタ３０にわたる電圧からトランジスタ２２及び２４のしきい電圧を引いたものとほぼ等しい。
【００２２】
ある実施（例えば、相補型ＭＯＳ（ＣＭＯＳ）画像センサを使用する実施）では、相関二重サンプリングを実行することが望ましいことがある。いくつかのタイプの雑音（例えば、固定パターン雑音（ＦＰＮ））は相関二重サンプリングを使用することにより低減または除去されうる。すなわち、アレイ全体の感光性半導体が同一ではないので、相関二重サンプリングは、アレイにおける感光性半導体にわたる非均一性を縮小または除去するために使用されうる。画像センサ上のコントローラ（例えば、図３のコントローラ５４）は、スイッチ１４を閉じることによって相関二重サンプリングを実行し、それによって、画素セル１０を基準電圧ＶＤＤにリセットし、画素セルがリセットされた後で画素セルの出力レベルをサンプリングする。すなわち、画素セル値が読み出された後で、コントローラは、画素セル（例えば、画素セル１０）のリセット値を、リセットし、サンプリングし、読み出す。そのあとで、コントローラは、信号のより正確な表示を提供するために、信号サンプルの値から画素セルのリセット値を差し引くことがある。
【００２３】
本開示の技法によれば、短い露光時間サンプルと長い露光時間サンプルは、長い露光時間サンプルに可変重み付け係数を適用した後でプロセッサによって合成されうる。長い露光時間サンプルの値において、関数によって規定される可変重み付け係数を適用することによって、２つの異なる露光時間によって供給されるダイナミックレンジが改善されうる。具体的には、画素セルが長い露光時間の後で飽和される場合には、長い露光時間サンプルの寄与度は、短い露光時間サンプルと長い露光時間サンプルとの合成の間に重み付け係数によって縮小または除去されうる。上述されるように、感光性半導体が飽和になる場合には、もはや入射光の量についての正確な指標ではない。そのため、飽和された感光性半導体は、値の情報をほとんど有していない。しかしながら、短い露光時間中に、画素セルは飽和しない可能性がある。したがって、短い露光時間サンプルは、飽和された、または、露出過度の、長い露光時間サンプルよりもより有益な情報を有する可能性がある。
【００２４】
長い露光時間サンプルと短い露光時間サンプルとの合成中に長い露光時間サンプルの寄与度を縮小または除去するために、下記の合成方法が使用されうる。
【００２５】
（１）Ｍ（ｉ，ｊ）＝Ｃ（ＳＬＯＮＧ（ｉ，ｊ））
（２）ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ＳＬＯＮＧ（ｉ，ｊ）＊Ｍ（ｉ，ｊ）＋ｎ＊ＳＳＨＯＲＴ（ｉ＋Ｈ（ｉ，ｊ）（ｊ＋Ｖ（ｉ，ｊ）））＊（１−Ｍ（ｉ，ｊ））
但し、ＳＣＯＭＢＩＮＥＤとは、（ｉ，ｊ）に位置する画素セルに対する短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）及び長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）の合成である。Ｃ（）は、値１で始まり、長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）が飽和になるとき値０に減少する合成カーブであり、Ｍ（ｉ，ｊ）は、Ｃ（）によって重み付けられた長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）のスカラ値であり、ｎは、短い露光時間（ＴＳＨＯＲＴ）と長い露光時間（ＴＬＯＮＧ）との間の露光時間の差に依存し、また、ＴＬＯＮＧ／ＴＳＨＯＲＴに等しいスカラ値であり、Ｈ（ｉ，ｊ）とＶ（ｉ，ｊ）は、それぞれ、２つの露光が連続的に行なわれる実施においてカメラの動き及び／又は被写体の動きについて補償するのに必要でありうる、水平アライメント変数と垂直アライメント変数である。
【００２６】
２つの露光が一連というより連続的に行なわれる例示的な実施では、Ｈ（ｉ，ｊ）及びＶ（ｉ，ｊ）は、０に等しく、上記式（２）は下記に低減されうる。
【００２７】
（３）  ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ＳＬＯＮＧ（ｉ，ｊ）＊Ｍ（ｉ，ｊ）＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊（１−Ｍ（ｉ，ｊ））
上述されるように、式（２）と（３）の長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）はスカラ値ｎによって変更されうる。スカラ値ｎは、短い露光時間と長い露光時間との比を含んでもよい。スカラ値ｎは、２つのサンプルを共通のベースにもたらすことによって長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）及び短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）を正規化するために使用されうる。言い換えれば、式（２）及び（３）によって説明される合成方法は、被写体がそれらの合成の前に両方の画像において同じレベルで表れるように、値ｎを調整する。例えば、シーンのフレームの１／２は、ルミナンス値１００ｌｕｘを有し、残り１／２は、ルミナンス値１０００ｌｕｘを有すると仮定する。フレームは、１０：１のルミナンス比を有する。さらに、ＳＳＨＯＲＴはフレームの１００ルックス部分に対応し、ＳＬＯＮＧはフレームの１００ルックス部分に対応し、長い露光時間ＴＬＯＮＧは１秒に等しく、そして、短い露光時間ＴＳＨＯＲＴは０．１秒と等しいと仮定する。２つの異なる露光時間サンプルを合成るために、短い露光時間サンプル１０００ｌｕｘは、長い露光時間サンプル１００ｌｕｘに下方スケーリングされなくてはならない。プロセッサ（例えば、図３のプロセッサ７６）は、露光時間差を説明するために、短い露光時間サンプルＳＳＨＯＲＴを露光時間の比（例えば、ＴＬＯＮＧ／ＴＳＨＯＲＴ）で乗算し、短い露光時間サンプルを正規化しうる。
【００２８】
飽和に加え、画素セルの「雑音レベル」、すなわち入射光なしで画素セルによって生成された低レベル信号は、ダイナミックレンジを減らすことにおける係数である。雑音レベルを考慮すると、短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）及び長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）は、信号対雑音（ＳＮＲ）の効率のよい方式で合成されうる。すなわち、サンプルが画素セル自体のＳＮＲより下の値を有する場合には、サンプルは廃棄されうる。
【００２９】
図２は、本開示の技法による、合成方法で使用されうる合成カーブ、すなわちＣ（）の例示的なグラフである。図２で図示されたグラフのｘ軸は、長い露光時間の後、画素セルアレイ上で空間位置（ｉ，ｊ）に配置された画素セルのルーマ値を表す。図２で図示されたグラフのｙ軸は、４０で一般的に図示された、合成カーブＣ（）によって規定されるようなＳＬＯＮＧ（ｉ，ｊ）の、重み付けられたＭ（ｉ，ｊ）を表す。
【００３０】
（ｉ，ｊ）で配置された画素セルが長い露光時間の間露光されない場合には、ＳＬＯＮＧ（ｉ，ｊ）の値は０である。（ｉ，ｊ）で配置された画素が長い露光時間の後で飽和される場合には、ＳＬＯＮＧ（ｉ，ｊ）の値は最大である（例えば、８ビットによる実施の場合２５５）。図２でわかるように、ＳＬＯＮＧ（ｉ，ｊ）の値が増加すると、Ｍ（ｉ，ｊ）の値は、約２１０のＳＬＯＮＧ（ｉ，ｊ）値まで、値「１」でとどまる。合成カーブＣ（）は、重み付けられた値Ｍ（ｉ，ｊ）が、約２３０のＳＬＯＮＧ（ｉ，ｊ）値において、「０」の値に達するまで、約２１０のＳＬＯＮＧ（ｉ，ｊ）値と約２３０のＳＬＯＮＧ（ｉ，ｊ）値との間で劇的に減少しはじめる。約２１０のＳＬＯＮＧ（ｉ，ｊ）値と約２３０のＳＬＯＮＧ（ｉ，ｊ）値との間で、重み付けられた値Ｍ（ｉ，ｊ）は、「０」と「１」との間の値でありうる。例えば、約２２０のＳＬＯＮＧ（ｉ，ｊ）値においては、重み付けられたＭ（ｉ，ｊ）は約０．５である。
【００３１】
一例として、（ｉ，ｊ）で配置された画素セルが飽和される場合には、ＳＬＯＮＧ（ｉ，ｊ）＝２５５（８ビットによる実施の場合）及びＭ（ｉ，ｊ）＝Ｃ（ＳＬＯＮＧ（ｉ，ｊ））＝Ｃ（２５５）＝０である。式（３）を参照すると、ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ｎ＊ＳＬＯＮＧ（ｉ，ｊ）＊０＋ＳＳＨＯＲＴ（ｉ，ｊ）＊（１）＝ＳＳＨＯＲＴ（ｉ，ｊ）である。したがって、上述された合成方法を使用して、飽和されたサンプルＳＬＯＮＧ（ｉ，ｊ）の寄与度は、合成された値ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）から完全に除去されうる。
【００３２】
式（２）と（３）で見られるように、合成された結果ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）は、ＳＬＯＮＧ（ｉ，ｊ）の飽和レベルに基づいて重み付けられる。（ｉ，ｊ）で配置された画素セルが長い露光時間の後で完全に飽和される場合には、Ｍ（ｉ，ｊ）＝０であり、ＳＬＯＮＧ（ｉ，ｊ）は、合成された結果ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）に対して影響を及ぼさない。上述されるように、飽和された画素セルは、値について情報をあまり有しておらず、２つの異なる露光時間サンプル、すなわちＳＳＨＯＲＴ（ｉ，ｊ）及びＳＬＯＮＧ（ｉ，ｊ）によって供給されたダイナミックレンジの増加の利点を十分に生かすために、合成された結果ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）から取り除かれうる。（ｉ，ｊ）で配置された画素セルが長い露光時間の後で飽和に近くない場合（例えば、ＳＬＯＮＧ（ｉ，ｊ）は図２では約２００未満である）、Ｍ（ｉ，ｊ）＝１であり、長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）のみが影響を有する。
【００３３】
図２の４０で図示される例示的な合成カーブＣ（）は、３つのセグメント４２、４４、及び４６を含む。他の例では、合成カーブＣ（）は、より多くの、またはより少数のセグメントを有しうる。図２で見られるように、合成カーブＣ（）は、長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）の値が増加すると減衰関数と一般的にはみなされうる。他の例では、合成カーブＣ（）は、急激に減衰しないかもしれない。
【００３４】
Ｍ（ｉ，ｊ）＝１である場合のセグメント４２とＭ（ｉ，ｊ）＝０である場合のセグメント４６に対応する２つの極端な条件が上述されている。これらの２つの極端な例では、それぞれＳＬＯＮＧ（ｉ，ｊ）またはＳＳＨＯＲＴ（ｉ，ｊ）の寄与度は、合成された値ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）から完全に除去される。しかしながら、長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）の値は、セグメント４４に対応する場合には、０＜Ｍ（ｉ，ｊ）＜１である。したがって、合成された値ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）は、長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）と短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）の両方の寄与度を含むであろう。図２で見られるように、長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）の値が増加すると、重み付けられた値Ｍ（ｉ，ｊ）は減少し、式（２）と（３）にしたがって、合成された値ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）に対する長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）の寄与度が減少する。
【００３５】
図２で図示されるような関数Ｃ（）のような本開示で説明された合成方法において可変重み付け関数を使用することによって、センサのダイナミックレンジは、可変及びプログラマブルにされることができる。各画素セルは、その特定の画素セルについて長い露光時間サンプル値ＳＬＯＮＧ（ｉ，ｊ）の値にしたがって変動する異なる重み付けられた値Ｍ（ｉ，ｊ）を有しうる。センサを構築するために使用されるキャパシタの値に基づいてセンサのダイナミックレンジが固定される他のイメージセンサとは異なり、本開示の技法を使用して、ダイナミックレンジは、例えば特定のシーン毎に、適応可能である。例えば、特定のシーンについて４つのｆ絞り（ｆ絞りとはデジタルカメラのダイナミックレンジの測定単位である）を有するようにデジタルカメラを設定するのに望ましいことがある。露光時間は４つのＦ絞りを提供するために調節され、２つの露光時間からの２つのサンプルが合成されうる。
【００３６】
上述されるように、多数の合成カーブは、異なる露光時間の画像を合成するために使用されうる。そのため、本開示は、図２で図示された合成カーブに、または、上述された説明に限定されない。一例では、合成カーブは、下記の３つのガイドラインのうちの１つ以上にしたがって生成されうる。第１に、合成カーブは画像レベル依存でありうる。２つの画像のうちのいずれかは、比較できる結果と共に使用されるが、２つのカーブは異なるであろう。第２に、合成カーブは、より多くの雑音のある画像よりも雑音の少ない画像を重く重みづけることがある。例えば、長い露光時間サンプルＳＬＯＮＧ（短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）よりも雑音の少ない可能性がある）は、ＳＳＨＯＲＴよりも重く重み付けられることがある。しかしながら、いくつかの例では、が、他の画像よりもより重く重い付けられた一つの画像よりもむしろ等しい利得の組合わせが使用されてもよくい。第３に、合成カーブは、単調に減少していてもよい。
【００３７】
画像雑音統計についてどの程度予め知られているかに基づいて上記のガイドラインを満たすいくつかの合成方法がある。第１の例示的な方法では、カーブが０または１のいずれかである選択合成が使用されうる。長い露光画像レベルが飽和に近くない場合、長い露光時間画像が全体に使用されうる、また、長い露光画像が飽和に近い場合、短い露光時間画像が全体に使用されうる、という推測がある。
【００３８】
第２の例示的な合成方法では、画像レベルに基づいて雑音統計をモデル化し、最大比の合成を使用するために予備知識が使用されうる、なお、各画像は、その雑音レベルに反比例して拡大縮小される。このような例では、１から０までの遷移がより段階的になされる第１の例示的な方法の強化されたバージョンが使用されうる。１つの合成カーブＣ（Ｌ）は、次式を使用して生成されうる。
【数１】
2013537020.tif 000003
【００３９】
Ｌは、ＳＬＯＮＧ（ｉ，ｊ）、例えば、（Ｒ＋Ｇ＋Ｂ）／２，ｍａｘ（Ｒ，Ｇ，Ｂ）などのようなＲ、Ｇ、Ｂ成分の合成と関連づけられ、８ビットによる実施では０−２５５の値を有するルーマ値である。なお、Ｔは、合成カーブの遷移点を制御するルーマ値（例えば、図２で図示される例示的なカーブではＴ＝２２０）の範囲におけるしきい値であり、但し、Δは、合成カーブの遷移範囲を制御する範囲Ｌ内の範囲であり（例えば、図２で図示される例示的なカーブではΔ＝３０）、Ｋは、合成カーブの遷移領域の傾きを制御する数字である（例えば、図２で図示される例示的なカーブではＫ＝１０）。
【００４０】
特定のシーンが最小ダイナミックレンジを必要とする可能性があるということに留意されるべきである。本開示の技法を使用して、画像センサのダイナミックレンジは、センサの雑音特性を改善するために縮小されうる。露光時間がほぼ同等な、即ち、ＴＬＯＮＧがＴＳＨＯＲＴとほぼ同等である２つのサンプルを収集及び合成することは、雑音を低減する。合成されるとき、雑音は、２つのサンプル間で平均化されることができ、したがって、著しく低減されうる。
【００４１】
図３は、本開示の技法を実施するために使用されうる、例示的な画像センサのブロック図である。図３の画像センサ５０は、相補型ＭＯＳ（ＣＭＯＳ）画像センサではあるが、本開示で説明されている信号合成技法は、例えば電荷結合素子（ＣＣＤ）画像センサを含む他の画像センサにも適用可能である。
【００４２】
図３で見られるように、画像センサ５０は多数の画素セル１０を備える画素セルアレイ５２を含む。図３で図示されるように、画素セルアレイ５２は、画素セル１０のＭ行及びＮ列で配置されうる。画素セルアレイ５２の各画素セル１０は、行及び列アドレスによって指定されうる。例えば、画素セルアレイ（行Ｍ、列Ｎ）の左隅下に配置された画素セルにアクセスするために、コントローラ５４は、行アドレス復号器５６に、所望の画素セルの行のデジタルアドレス（例えば、行Ｍ）を供給する。行アドレス復号器５６は受信した行アドレスを復号し、行Ｍに電圧を適用するために行ドライバ５８に「行選択」信号を出力し、それによって、例えば図１のトランジスタ２４のゲート２６で電圧を適用することによって、行Ｍで各画素セル１０を選択する。コントローラ５４はまた、列アドレス復号器６０に所望画素セルの列（例えば、列Ｎ）のデジタルアドレスを供給する。列アドレス復号器６０は受信した列アドレスを復号し、列ドライバ６２に「列選択」信号を出力して、列Ｎに電圧を適用し、それによって、列Ｎにおいて各画素セル１０を選択する。この方法で、行Ｍ、列Ｎの画素セル１０が選択され、その電圧が読み出される。コントローラ５４は、１以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理または、本開示で記載された機能の実行を促進するためにコンピュータコードを処理するのに適切な他のプロセッサの配置を含めうる。
【００４３】
コントローラ５４によって読み出されると、例えば行Ｍ、列Ｎにおける画素セル１０の電圧は、サンプル・アンド・ホールド（Ｓ／Ｈ）回路７０によってサンプリングされホールドされる。黒レベル補償、雑音低減（例えば、一時的な雑音及びＦＰＮ）、及び増幅のような処理が処理回路７２によりアナログ信号上で実行される。
【００４４】
アナログ信号が、処理回路７２を介して、黒レベル補償され、雑音が低減され、増幅された後で、画素セル１０からのアナログ信号は、アナログ／デジタル変換器（ＡＤＣ）７４を介してデジタル値に量子化される。デジタル値は、その後で、プロセッサ７６に入力される。プロセッサ７６は、画素セル毎に、上記式（１）−（３）を特に参照して、本開示で説明される技法にしたがって、短い露光時間サンプルＳＳＨＯＲＴと長い露光時間サンプルＳＬＯＮＧを合成する。
【００４５】
いくつかの例では、プロセッサ７６は、本開示で説明された機能を実行するために命令を実行しうる。命令は、メモリ７８に格納されうる。プロセッサ７６は、１以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理または、本開示で記載された機能の実行を促進するためにコンピュータコードを処理するのに適切な他のプロセッサの配置を含めうる。メモリ７８に格納された実行可能な命令は、ランダムアクセスメモリ（ＲＡＭ）、シンクロナス動的ランダムアクセスメモリ（ＳＤＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電子的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気または光学データストレージ媒体、及び同様なもののようなコンピュータ可読媒体で符号化されたコンピュータ可読命令を備えうる。
【００４６】
上記の例に続き、プロセッサ７６は、行Ｍ、列Ｎで画素セル１０のデジタル化された画素セル値を受信する。具体的には、プロセッサ７６は、画素セル（ｍ，ｎ）から、長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）のデジタル値と、短い露光時間サンプルＳＳＨＯＲＴ（ｍ，ｎ）のデジタル値を受信する。本開示の技法によれば、プロセッサ７６は、画素セル（ｍ，ｎ）からの、長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）と短い露光時間サンプルＳＳＨＯＲＴ（ｍ，ｎ）のためのデジタル値を合成する。
【００４７】
プロセッサ７６は、長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）について可変重み付け係数Ｍ（ｍ，ｎ）を計算し、取得し、そうでない場合には、獲得する。なお、Ｍ（ｍ，ｎ）は、ＳＬＯＮＧ（ｍ，ｎ）においてＣ（）を評価すること、すなわちＣ（ＳＬＯＮＧ（ｍ，ｎ））を評価することによって決定される。一例では、合成カーブＣ（）は１つ以上の方程式によって規定されうる。合成カーブＣ（）を規定する各式は、例えば、所望のダイナミックレンジ、例えばｆ絞り値に依存しうる。例えば、ユーザは、所望のダイナミックレンジを達成するためにあるｆ絞り値を選択した可能性がある、そしてそれは、メモリ７８から検索されうる特定の合成カーブＣ（）に対応する。
【００４８】
長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）の受信したデジタル値を使用して、プロセッサ７６は、ＳＬＯＮＧ（ｍ，ｎ）の値で、所望のダイナミックレンジについて、例えばメモリ７８から取り出された、合成カーブＣ（）を規定する特定の式を評価することによって、可変重み付け係数Ｍ（ｍ，ｎ）の値を決定しうる。例えば、画素セル１０は長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）で飽和されたと仮定する。実施においてのビット数に関わらず、図２で図示される合成カーブはプロセッサ７６によって使用される場合には、結果として生じる可変重み付け係数Ｍ（ｍ，ｎ）はゼロである。
【００４９】
プロセッサ７６は、本開示で説明された技法にしたがって可変重み付け係数Ｍ（ｍ，ｎ）を決定すると、上記の式（２）−（３）にしたがって可変重み付け係数Ｍ（ｍ，ｎ）を適用した後で、短い露光時間サンプルＳＳＨＯＲＴ（ｍ，ｎ）と長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）を合成しうる。例えば、露光は、一連というよりは連続的に行なわれると仮定し、式（３）は以下のように使用されうる：ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ＳＬＯＮＧ（ｉ，ｊ）＊Ｍ（ｉ，ｊ）＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊（１−Ｍ（ｉ，ｊ））。この場合も先と同様に、画素セル１０が長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）で飽和になるので、長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）で、合成カーブＣ（）を規定する式、または、合成カーブＣ（）を評価することによって決定されるように、可変重み付け係数Ｍ（ｍ，ｎ）は０である。したがって、ＳＣＯＭＢＩＮＥＤ（ｍ，ｎ）＝ＳＬＯＮＧ（ｍ，ｎ）＊０＋ｎ＊ＳＳＨＯＲＴ（ｍ，ｎ）＊（１）＝ｎ＊ＳＳＨＯＲＴ（ｍ，ｎ）である。言い換えれば、画素セルが飽和される場合には、合成された値ＳＣＯＭＢＩＮＥＤは単に、２つの露光時間（ＴＬＯＮＧ／ＴＳＨＯＲＴ）の比によって調整された、短い露光時間サンプルＳＳＨＯＲＴの値である。
【００５０】
別の例として、画素セル１０は長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）で飽和にならず、代わりに長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）が値１０を有したと仮定する。図２で図示された合成カーブがプロセッサ７６によって使用される場合には、ＳＬＯＮＧ（ｍ，ｎ）の値１０が合成カーブＣ（）のセグメント４２に対応するという事実に見られるように、結果として生じる可変重み付け係数Ｍ（ｍ，ｎ）は１である。
【００５１】
プロセッサ７６は、可変重み付け係数Ｍ（ｍ，ｎ）を決定すると、可変重み付け係数Ｍ（ｍ，ｎ）を適用した後で、短い露光時間サンプルＳＳＨＯＲＴ（ｍ，ｎ）と長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）を合成する。露光は、一連というよりは連続的に行なわれると再び仮定し、式（３）は以下のように使用されうる：ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ＳＬＯＮＧ（ｉ，ｊ）＊Ｍ（ｉ，ｊ）＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊（１−Ｍ（ｉ，ｊ））。長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）で、合成カーブＣ（）を規定する式、または、合成カーブＣ（）を評価することによって決定されるように、可変重み付け係数Ｍ（ｍ，ｎ）は値「１」を有する。したがってＳＣＯＭＢＩＮＥＤ（ｍ，ｎ）＝ＳＬＯＮＧ（ｍ，ｎ）＊１＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊０である。言い換えれば、合成された値ＳＣＯＭＢＩＮＥＤは、長い露光時間サンプルＳＬＯＮＧの値であり、そしてそれは、短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）よりも少ない雑音を有する可能性がある。
【００５２】
別の例として、画素セル１０は長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）で飽和されず、代わりに、長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）は、８ビットによる実施に対して、ルーマ値２２０を有していると仮定する。図２で図示された合成カーブはプロセッサ７６によって使用される場合には、ＳＬＯＮＧ（ｍ，ｎ）に対するルーマ値２２０が０．５の可変重み付け係数Ｍ８ｍ，ｎ）でセグメント４４において合成カーブに交差しているという事実によってわかるように可変重み付け係数Ｍ（ｍ，ｎ）は値０．５である。
【００５３】
プロセッサ７６は、可変重み付け係数Ｍ（ｍ，ｎ）を決定すると、可変重み付け係数Ｍ（ｍ，ｎ）を適用した後で、短い露光時間サンプルＳＳＨＯＲＴ（ｍ，ｎ）と長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）を合成する。露光は、一連というよりは連続的に行なわれると再び仮定し、式（３）は以下のように使用されうる：ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ＳＬＯＮＧ（ｉ，ｊ）＊Ｍ（ｉ，ｊ）＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊（１−Ｍ（ｉ，ｊ））。長い露光時間サンプルＳＬＯＮＧ（ｍ，ｎ）で、合成カーブＣ（）を規定する式、または、合成カーブＣ（）を評価することによって決定されるように、可変重み付け係数Ｍ（ｍ，ｎ）は０．５である。したがってＳＣＯＭＢＩＮＥＤ（ｍ，ｎ）＝ＳＬＯＮＧ（ｍ，ｎ）＊０．５＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊０．５である。言い換えれば、合成された値ＳＣＯＭＢＩＮＥＤは真に、長い露光時間サンプルと短い露光時間サンプルの両方の合成である、なぜならば、両方のサンプルの部分は、合成された値ＳＣＯＭＢＩＮＥＤを計算するために使用されているからである。
【００５４】
他の例示的な実施では、各合成カーブＣ（）は、１つ以上のルックアップテーブルの形式で、メモリ（例えば、メモリ７８）に格納される。そのような実施では、プロセッサ７６は、メモリ７８に格納された特定の合成カーブＣ（）に対応する特定のルックアップテーブルにアクセスし、そして、ＳＬＯＮＧ（ｉ，ｊ）の所与の値について、可変重み付け係数Ｍ（ｉ，ｊ）の値を取り出す。
【００５５】
図４は、本開示の技法を実施するために使用されうる、別の画像センサのブロック図である。図４で図示された例示的な画像センサ１００のいくつかの態様は、図３で図示された画像センサに類似しており、再度詳述しない。図３とは対照的に、図４は２つのＡＤＣ７４Ａ、７４Ｂを図示する。簡潔に、図３のＡＤＣ７４は７４Ａと７４Ｂとして図４において表わされる。ＡＤＣ７４Ａは、短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）を変換するための専用ＡＤＣであり、ＡＤＣ７４Ｂは、長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）を変換するための専用ＡＤＣである。それぞれ、ＡＤＣ７６Ａ及びＡＤＣ７６Ｂによって、短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）と長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）の変換にしたがって、ＡＤＣ７４Ａ及びＡＤＣ７４Ｂの出力はプロセッサ７６へと入力される。変換されたサンプルを受信すると、プロセッサ７６は、式（１）−式（３）を特に参照して、上述された技法にしたがってサンプルを合成する。
【００５６】
図４で図示されるように、２つのＡＤＣを使用する例示的な画像センサ構成は、本開示の技法を実施するのに有用である、なぜならば、上記で詳述されているように、２つのサンプル、すなわち短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）と長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）は、画素セル毎に読み出される。並列ＡＤＣ（一方は短い露光時間サンプルを変換するためのもの、他方は長い露光時間サンプルを変換するためのもの）を伴う画像センサ構成は、各画素セルについての短い露光時間サンプルと長い露光時間サンプルが同時に実質的に変換されることを許容することによってスループットを改良しうる。図４の例示的な画像センサ構成が図３で図示される画像センサ構成と比較してさらなる回路を必要としうるが、このようなさらなる回路は、ある実施（例えば、ＣＭＯＳバックサイドイルミネーション構成）では、画素セルの光補足表面エリアと干渉することなく画素セルの背後に追加されうる。言い換えれば、さらなる回路は、画素セルの充満係数(fill factor)、すなわち画素セルのエリアに対する感光性半導体のエリアを減らさないであろう。
【００５７】
図５は、本開示の技法を実施するために使用されうる、別の画像センサのブロック図である。図５で図示された例示的な画像センサ１２０のいくつかの態様は、図３で図示された画像センサに類似しており、再度詳述しない。図５の画像センサは、１つは方は短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）を変換するため、他方は、長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）を変換するための２つのＡＤＣが、並列に使用され、これが、プロセッサ７６に対するスループットを改良しうる、という点で図４の画像センサと類似している。並列ＡＤＣ７４Ａ及び７４Ｂに加えて、図５で図示された例示的な構成は、並列サンプル及びホールド回路（７０Ａ及び７０Ｂ）と、並列黒レベル補償、雑音低減、及び増幅回路（７２Ａ及び７２Ｂ）、をさらに含み、そしてそれは、いくつかの例では、プロセッサ７６に対する信号スループットをさらに改善しうる。図５で図示された構成は、８２で一般的に示された回路を通じて処理するため短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）を命令するための、及び、８４で一般的に示された回路を通じて処理するため長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）を命令するための、スイッチ８０を含む。それぞれ、ＡＤＣ７４Ａ及びＡＤＣ７４Ｂによって、短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）と長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）の変換にしたがって、ＡＤＣ７４Ａ及びＡＤＣ７４Ｂの出力はプロセッサ７６へと入力される。変換されたサンプルを受信すると、プロセッサ７６は、式（１）−式（３）を特に参照して、上述された技法にしたがってサンプルを合成する。
【００５８】
簡略のため、本開示の技法は、短い露光時間サンプルＳＳＨＯＲＴ（ｉ，ｊ）及び長い露光時間サンプルＳＬＯＮＧ（ｉ，ｊ）の２つのサンプルのみを合成することについて上述されているということに留意されるべきである。しかしながら、本開示の技法は、それほど限定されていない。むしろ、本開示で説明されている合成方法は、異なる露光時間から、２つより多いサンプル（例えば、５つ）を合成するために使用されうる。例えば、非常に明るい被写体（例えば、太陽）の写真を撮影するために、ワイドダイナミックレンジが必要とされるであろう。このため、そのダイナミックレンジを達成するために２つより多い画像が必要であることがある。そのためには、複数のサンプルが集められ、上述された可変重み付け技法を使用して合成されうる。
【００５９】
本開示全体で記載された合成方法は、ＨＤＲ画像を生成するために様々な画像技法を使用して実施されうる。１つの例示的な技法では、画素セルアレイ（例えば、図３の画素セルアレイ５２）の偶数番号のラインは、第１の露光時間（例えば、時間＝ｔ／２）について露光され、画素セルアレイの奇数番号のラインは、第１の露光時間（例えば、時間＝２ｔ）とは異なる第２の露光時間で露光されうる。２つの異なる露光時間は、同じ時に（例えば、実質的に同時に）、終了するように調整できる。その場合には、２つの露光時間は、２つの垂直にダウンサンプリングされた画像である画像を生成するために合成されうる。
【００６０】
上の例に続き、画素セルアレイの奇数ラインと偶数ラインは、それらが独立して制御されうるように構築され配置されうる。画像は、２つの異なる露光時間について画素セルアレイ上で各空間位置についての値を生成するためにダウンサンプリングまたはアップサンプリングされうる。例えば、偶数番号のラインのみが第１の露光時間の間露光されている、したがって、第１の露光時間サンプルのみが偶数番号のラインについて収集されているが、第１の露光時間サンプルは、偶数番号のラインについて収集されたサンプルをダウンサンプリングまたはアップサンプリングすることによって奇数番号のライン上で感光性半導体の各々について生成されうる。同様に、奇数番号のラインのみが第２の露光時間の間露光されている、したがって、第２の露光時間サンプルのみが奇数番号のラインについて収集されているが、第２の露光時間サンプルは、奇数番号のラインについて集められたサンプルをダウンサンプリングまたはアップサンプリングすることによって偶数番号のライン上で感光性半導体の各々について生成されうる。したがって、複数の奇数番号のラインの各々における複数の空間位置の各々についての第１の露光時間サンプルは、第１の露光時間にわたって偶数番号のラインから収集されたサンプルをダウンサンプリング及びアップサンプリングのうちの１つによって生成され、そして、複数の偶数番号のラインの各々における複数の空間位置の各々についての第２の露光時間サンプルは、第２の露光時間にわたって奇数番号のラインから集められたサンプルをダウンサンプリング及びアップサンプリングのうちの１つによって生成される。本開示全体にわたって説明される技法を使用して、短い露光時間サンプルと長い露光時間サンプルは、例えば式（１）−（３）を使用して合成される。これらのサンプルを合成することは、アップサンプリングされた、ハーフ解像画像またはフル解像画像のいずれかを生成しうる。
【００６１】
図６は、上述された技法を使用して、偶数番号のラインと奇数番号のラインから、短い露光時間サンプル及び長い露光時間サンプルの合成を図示する概念図を図示する。図６の１５０で図示された画像は、偶数番号のラインと奇数番号のライン、短い露光時間制御と長い露光時間制御を伴うセンサフレームの平面図を図示する。長い露光時間（例えば、第２の露光時間）のサンプルは、奇数番号のラインについて収集され、１５２で図示される。長い露光時間は、１５３での画素セルを飽和させる。短い露光時間、例えば、第１の露光時間のサンプルは、偶数の番号について集められ、１５４で図示される。次に、奇数番号のラインと偶数番号のラインについて集められたサンプルがアップサンプリングされる。奇数番号のラインからの長い露光時間サンプルは、１５７での画素セルが飽和のままであるが、１５６で図示されるように、所望のフレームサイズにアップサンプリングされる。偶数番号のラインからの短い露光時間サンプルは、１５８で図示されるように、所望のフレームサイズにアップサンプリングされる。最後に、本開示全体にわたって説明された合成の技法を使用して、第２の露光時間画像１５６及び第１の露光時間画像は、１６０で図示されるように、フル解像度画像を生成するため合成される。合成された画像１６０では、１６１での画素セルは、もはや飽和されない。
【００６２】
２つの画像は、外部プロセッサを介してオンセンサまたはオフセンサで合成されうる。一般的に、オンセンサで合成することとオフセンサで合成することの主な差異は、必要とされる追加メモリ量である。センサ上で合成することは、サンプルから速く読み出すことを可能にし、その結果、待ち時間を短縮する。さらに、センサ上で合成することは、縮小されたデータ移送、例えば縮小された帯域幅を可能にする。例えば、合成がセンサ上で実行されない場合には、２つのフレーム（例えば、短い露光時間フレームと長い露光時間フレーム）がセンサから読み出される必要がある場合がある。同じフレームレートを保持するために（例えば、ビデオアプリケーション用）、２つのフレームの読み出しを適応させるために、データレートは２倍にされなくてはならない。しかしながら、合成がセンサ上で実行される場合には、長い露光時間フレームと短い露光時間フレームは合成され、１フレーム持続時間内で読み出される。
【００６３】
例えば、画素セルアレイの偶数番号のラインが第１の露光時間で露光され、画素セルアレイの奇数番号のラインが第１の露光時間とは異なる第２の露光時間で露光されうる上述の実施では、長い露光時間サンプルと短い露光時間サンプルの合成は、オンセンサで実行されうる。オンセンサでサンプルを合成するために、エキストラメモリ（例えば、ラインバッファ）が必要である場合がある。このような実施では、全偶数ラインは、短い露光時間で読み出され、Ａ／Ｄ変換器を介して変換され、メモリに格納されうる。そのあとで、全奇数ラインは、長い露光時間で読み出され、Ａ／Ｄ変換器を介して変換されうる。プロセッサは、偶数ラインについてメモリから値を検索し、本開示で説明された合成技法を使用して奇数ラインについての変換値と合成し、単一の合成された画像を出力する。この場合も先と同様に、このようなオンセンサスキームを使用することは、さらなるメモリの要件を代償にして、画像処理パイプラインに必要とされる帯域幅を縮小しうる。
【００６４】
図１で示される実施は、オンセンサ合成に関して上述されている。しかしながら、図１の画素セル１０もまた、オフセンサ合成方法を使用する、センサ（例えば、ＣＭＯＳセンサ）で使用されうる。オフセンサ合成方法では、センサは、前に説明されている方法でリセットされ、センサは、すぐに光子を捕捉し始めうる。短い露光時間（例えば、ｔ＝ｔ／２）で、電荷は、キャパシタ２０へ転送されうる。いくつかの例では、上述されるように、相関二重サンプリングが使用されうる。そのあとで、サンプルは、ローリングシャッター技法を使用して読み出されうる。長い露光時間（例えば、ｔ＝２ｔ）で、電荷は、キャパシタ２０へ転送されうる（ｔ＝ｔ／２の前の値はすでに読み出されている）。短い露光時間からのすべての値が読み出された後で、相関二重サンプリングが再び実行されうる。その後で、長い露光時間からの値が読み出されうる。短い露光時間（ｔ＝０〜ｔ＝ｔ／２）の画像は、長い露光時間（ｔ＝０〜ｔ＝２ｔ）の画像と、本開示のオフセンサの技法を使用して合成されうる。
【００６５】
上述されるように、本開示で説明される信号合成技法は、ＣＣＤ画像センサのようなＣＭＯＳセンサ以外の画像センサに適用可能である。ＣＣＤ画像センサはＨＤＲ画像を生成するため別の例示的な画像技法において使用されうる。一例では、機械的シャッターはＣＣＤセンサに追加されうる。１回目（例えば、ｔ＝０）に、機械的シャッターは開かれ、センサはすぐに光子を捕捉し始めうる。時間的に１回目の後である２回目（例えば、ｔ＝ｔ／２）に、電荷または第１のサンプルは、画素セルの複写を格納しうる、一時的な記憶領域(例えば、シールドリージョン(shield region))に転送される。時間ｔ＝ｔ／２からの画像の読み取りは、積分、すなわち露光が継続する間に開始しうる。３回目（例えば、ｔ＝２ｔ）に、機械シャッターが閉じられる。時間ｔ＝ｔ／２からの画像は一時的なストレージから完全に読み出されるとき、ｔ＝２ｔからの画素セル上で格納された電荷または第２のサンプルは一時的なストレージに転送され、そのあとで読み出される。ｔ＝２ｔから第２のサンプルを読み出した後で、プロセッサ７６は、第２のサンプルに対して、重み付けられた係数Ｍ（ｉ，ｊ）を適用しうる。その後で、プロセッサ７６は、ＨＤＲ画像を生成するため、時間ｔ＝ｔ／２からの第１のサンプルに、重み付けられた第２のサンプルを合成する。
【００６６】
図７は、本開示の技法を実施するために使用されうる、例示的な方法を図示するフロー図である。図３のコントローラ５４は、第１のサンプル（例えば、ＳＳＨＯＲＴ（ｉ，ｊ））を生成するため、例えば、１回目に（例えば、短い露光時間に）第１の画素セル信号をサンプリングする（２００）。コントローラ５４はまた、第２のサンプル（例えば、ＳＬＯＮＧ（ｉ，ｊ））を生成するため、２回目に（例えば、長い露光時間に）第２の画素セル信号をサンプリングする（２００）。いくつかの例では、２回目は、時間的に１回目の後である。別の例は、第１の画素セル信号と第２の画素セル信号は、相補型ＭＯＳ（ＣＭＯＳ）画像センサと電荷結合素子（ＣＣＤ）画像センサのうちの１つによって生成される。
【００６７】
図３のプロセッサ７６は、例えば第２のサンプルに対して、可変重み付け係数（例えば、Ｍ（ｉ，ｊ））を適用し、なお、可変重み付け係数は、第２のサンプル（例えば、ＳＬＯＮＧ（ｉ，ｊ））で、関数（例えば、合成カーブＣ（））によって規定される（２１０）。一例では、Ｍ（ｉ，ｊ）の値は、０と１を含む０と１の間である。一例では、可変重み付け係数Ｍ（ｉ，ｊ）＝Ｃ（Ｌ）であり、次式によって規定される。
【数２】
2013537020.tif 000004
【００６８】
なお、Ｌ，Ｔ，Ｋ及びΔは、式（４）について上述されている。
【００６９】
プロセッサ７６は、ＨＤＲ画像を生成するため、例えば第１のサンプルと重み付けられた第２のサンプルを合成する（２２０）。一例では、第１のサンプルと重み付けられた第２のサンプルを合成することとは、第１のサンプルと重み付けられた第２のサンプルを画像センサ（例えば、画像センサ５０）上で合成することを備える。
【００７０】
いくつかの例では、図７で図示される方法は、式ＳＣＯＭＢＩＮＥＤ（ｉ，ｊ）＝ＳＬＯＮＧ（ｉ，ｊ）＊Ｍ（ｉ，ｊ）＋ｎ＊ＳＳＨＯＲＴ（ｉ，ｊ）＊（１−Ｍ（ｉ，ｊ））にしたがって第１のサンプルと重み付けられた第２のサンプルを合成することを含む。但し、ＳＣＯＭＢＩＮＥＤは、（ｉ，ｊ）に位置する画素セルに対して、ＳＳＨＯＲＴによって示される第１のサンプルとＳＬＯＮＧによって示される第２のサンプルとの合成を示し、ｎは、第１の時間と第２の時間との間の露光時間差に依存するスカラ値を示し、Ｍ（ｉ，ｊ）は、可変重み付け係数を示す。
【００７１】
図８は、本開示の技法を実施するために使用されうる、別の例示的な方法を図示するフロー図である。図８の方法は、例えば、ＣＣＤ画像センサと共に、使用されうる。図８では、コントローラは、ＣＣＤ画像センサ上で機械シャッターを開き、画像センサを露光する。コントローラは１回目に露光に基づいて展開された第１のサンプルを記憶領域へ転送し（３１０）、記憶領域から第１のサンプルを読み出す（３２０）。時間的に１回目の後である２回目では、コントローラは機械的なシャッターを閉じ（３３０）、第２のサンプルは記憶領域へ転送される（３４０）。コントローラは、その後で、記憶領域から第２のサンプルを読み出す（３５０）。プロセッサは、第２のサンプルに対して、可変重み係数（例えば、Ｍ（ｉ，ｊ））を適用する（３６０）。プロセッサは、その後で、ＨＤＲ画像を生成するため、例えばプロセッサ７６によって、第１のサンプルと第２の重み付けられたサンプルを合成する（３７０）。
【００７２】
図９は、本開示の技法を実施するために使用されうる、別の例示的な方法を図示するフロー図である。図９の方法は、例えばＣＭＯＳ画像センサと共に使用されうる。図９では、第１の露光時間が第２の露光時間と実質的に同時に終了するように、図３のコントローラ５４は第１の露光時間及び第２の露光時間を調整する（４００）。コントローラ５４は、複数の偶数番号のラインの各々において複数の空間位置の各々について第１のサンプルを生成するため１回目にＣＭＯＳ画像センサの複数の偶数番号のラインを露光し、複数の奇数番号のラインの各々において複数の空間位置の各々について第２のサンプルを生成するため２回目にＣＭＯＳ画像センサの複数の奇数番号のラインを露光する（４１０）。プロセッサ７６は、例えば、複数の偶数番号のラインの各々における複数の空間位置の各々について第１のサンプルをダウンサンプリングすること及びアップサンプリングすることのうちの１つによって、複数の奇数番号のラインの各々において複数の空間位置の各々についての第１のサンプルを生成する（４２０）。プロセッサ７６は、例えば、複数の奇数番号のラインの各々における複数の空間位置の各々について第２のサンプルをダウンサンプリングすること及びアップサンプリングすることのうちの１つによって、複数の偶数番号のラインの各々において複数の空間位置の各々についての第２のサンプルを生成する（４３０）。プロセッサ７６は、第２のサンプルに対して、可変重み係数、（例えば、Ｍ（ｉ，ｊ））を適用する（４４０）。プロセッサ７６は、その後で、ＨＤＲ画像を生成するため第１のサンプルと第２の重み付けられたサンプルを合成する（４５０）。
【００７３】
図１０は、本開示の技法を実施するために使用されうる、別の例示的な方法を図示するフロー図である。図１０の方法は、例えばＣＭＯＳ画像センサと共に使用されうる。図１０では、図３のコントローラ５４は例えば、感光性半導体（例えば、感光性半導体１２）をリセットし、感光性半導体を光５４にさらす（５００）。１回目に、コントローラ５４は、露光に基づいて展開された第１のサンプルを、キャパシタ（例えば、図１のキャパシタ２０）へ転送する（５１０）。２回目に、コントローラ５４は、感光性半導体からの露光に基づいて展開された第２のサンプルを読み出す（５２０）。コントローラ５４は、コントローラ５４が第２のサンプルを読み出した後で、第１のサンプルを読み出す（５３０）。プロセッサ７６は、例えば、第２のサンプルに対して、可変重み係数（例えば、Ｍ（ｉ，ｊ））を適用する（５４０）。プロセッサ７６は、ＨＤＲ画像を生成するため第１のサンプルと第２の重み付けられたサンプルを合成する（５５０）。
【００７４】
本開示で説明される技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのいずれの組み合わせで、少なくとも部分的に、実施されうる。例えば、説明された技法の様々な態様は、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ（ＮＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または任意の他の同等な集積またはディスクリート論理回路、ならびに、このようなコンポーネントの任意の組み合わせ、を含んでいる１つ以上のプロセッサ内で実施されうる。「プロセッサ」または「処理回路」という用語は一般的に、他の論理回路、またはいずれの他の同等な回路を単独または組み合わせて、前述の論理回路のいずれかを指す。ハードウェアを備える制御装置はまた、本開示の技法のうちの１つ以上を実行しうる。
【００７５】
このようなハードウェア、ソフトウェア及びファームウェアは、本開示で説明される様々な動作及び機能をサポートするために同じ装置内でまたは別個の装置内で実施されうる。さらに、説明された装置、モジュールまたはコンポーネントのいずれも、ディスクリートであるが相互利用可能な装置として共にまたは別々に実施されうる。モジュールまたは装置としての異なる特徴の説明は、異なる機能態様を強調するように意図されており、このようなモジュールまたは装置は別個のコンピューティングハードウェアまたはソフトウェアのコンポーネントによって実現されなくてはならないということを必ずしも意味していない。むしろ、１つ以上のモジュールまたは装置と関連づけられた機能は、別個のハードウェアまたはソフトウェアのコンポーネントによって実行されうる、または、共通または別個のハードウェアまたはソフトウェアコンポーネント内に内蔵されうる。
【００７６】
本開示に記載された技法はまた、命令を含む、コンピュータ可読記憶媒体のようなコンピュータ可読媒体において具現化または符号化されうる。コンピュータ可読媒体に埋め込まれたまたは符号化された命令は、プログラマブルプロセッサ、または他のプロセッサに、例えば命令が実行されるとき、方法を実行させることができる。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電子的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、カセット、磁気媒体、光学媒体、または、他のコンピュータ可読媒体を含めうる。
【００７７】
本開示の様々な例が説明されている。これら及び他の例は、特許請求の範囲内にある。
【図１】
2013537020.tif 000005
【図２】
2013537020.tif 000006
【図３】
2013537020.tif 000007
【図４】
2013537020.tif 000008
【図５】
2013537020.tif 000009
【図６】
2013537020.tif 000010
【図７】
2013537020.tif 000011
【図８】
2013537020.tif 000012
【図９】
2013537020.tif 000013
【図１０】
2013537020.tif 000014
【国際調査報告】
2013537020.tif 000015
2013537020.tif 000016