(57)【要約】  カラー撮像方法は、被写体のカラー画像を取得するために構成される色選択性光検出器Ｒ、Ｇ、Ｂの１つ以上のアレイ１０、ＲＡ、ＧＡ、ＢＡ、前記被写体の輝度画像を取得するために配されるアバランシェフォトダイオード光検出器ＡＰＤの組、並びに前記取得したカラー画像及び前記取得した輝度画像を処理し、前記被写体の出力画像を作成するために構成されるデジタル画像処理回路３０を有する。幾つかの実施例において、前記アバランシェフォトダイオード光検出器は、光子計数を行うために構成される。幾つかの実施例において、前記１つ以上のアレイは、前記色選択性光検出器の中に点在する前記アバランシェフォトダイオード光検出器ＡＰＤの組を備える、前記撮像アレイに分布する前記色選択性光検出器Ｒ、Ｇ、Ｂを含む撮像アレイを有する。
2012513694.tif 000002
【特許請求の範囲】
【請求項１】
被写体のカラー画像を取得するために構成される色選択性光検出器の１つ以上のアレイ、
前記被写体の輝度画像を取得するために配されるアバランシェフォトダイオード光検出器の組、及び
前記取得したカラー画像及び前記取得した輝度画像を処理し、前記被写体の出力画像を作成するために構成されるデジタル画像処理回路
を有するカラー撮像装置。
【請求項２】
前記アバランシェフォトダイオード光検出器は、前記色選択性光検出器の１つ以上のアレイの色選択性光検出器の中に点在している、請求項１に記載のカラー撮像装置。
【請求項３】
前記色選択性光検出器の１つ以上のアレイは、点在する赤色、緑色及び青色の光検出器を持つ光検出器の単一のアレイを有する請求項２に記載のカラー撮像装置。
【請求項４】
アバランシェフォトダイオードは、前記光検出器のアレイの光検出器の総数の４分の１未満又は約４分の１を有する請求項３に記載のカラー撮像装置。
【請求項５】
前記アバランシェフォトダイオードの組は、前記色選択性光検出器の１つ以上のアレイから分離しているアレイを規定する請求項１に記載のカラー撮像装置。
【請求項６】
前記アバランシェフォトダイオード光検出器をガイガーモードで操作し、前記アバランシェフォトダイオード光検出器を用いて取得した光子計数に基づいて輝度画像を作成する光子計数回路をさらに有する請求項１乃至５の何れか一項に記載のカラー撮像装置。
【請求項７】
前記デジタル画像処理回路は、取得したカラー画像の少なくとも一部を前記取得した輝度画像の対応する部分に基づいて調整するために構成される請求項６に記載のカラー撮像装置。
【請求項８】
前記デジタル画像処理回路は、光源のアクチベーションと前記アバランシェフォトダイオード光検出器を用いて取得した光子計数との間の遅延時間に基づいて、深度情報を作成するように構成される請求項６又は７に記載のカラー撮像装置。
【請求項９】
前記デジタル画像処理回路は、
（ｉ）前記被写体のカラー画像、
（ｉｉ）前記被写体の輝度画像により修正される前記被写体のカラー画像、及び
（ｉｉｉ）前記被写体の輝度画像
の１つとして、前記出力画像を選択するように構成される請求項１乃至８の何れか一項に記載のカラー撮像装置。
【請求項１０】
前記色選択性光検出器の１つ以上のアレイ、及び前記アバランシェフォトダイオード光検出器の組は共にＣＭＯＳ装置を有する請求項１乃至９の何れか一項に記載のカラー撮像装置。
【請求項１１】
前記被写体からの光を前記色選択性光検出器の１つ以上のアレイ及び前記アバランシェフォトダイオード光検出器の組に光学結合し、前記被写体のカラー画像及び輝度画像の取得を可能にする撮像光学系をさらに有する請求項１乃至１０の何れか一項に記載のカラー撮像装置。
【請求項１２】
前記カラー撮像装置は、デジタルカメラ又はウェブカメラを有する請求項１乃至１１の何れか一項に記載のカラー撮像装置。
【請求項１３】
前記カラー撮像装置は、医用撮像装置を有する請求項１乃至１１の何れか一項に記載のカラー撮像装置。
【請求項１４】
光子計数を行うために構成されると共に、前記被写体の輝度画像を取得するために配されるアバランシェフォトダイオード光検出器の組、並びに
前記取得した被写体の輝度画像、及び前記被写体のカラー画像を処理し、前記被写体の出力画像を作成するように構成されるデジタル画像処理回路
を有するカラー撮像装置。
【請求項１５】
光源、並びに
前記被写体を照明するための前記光源のアクチベーション（ｉ）と、前記アバランシェフォトダイオード光検出器による光子計数の取得（ｉｉ）との間の遅延時間に基づいて、深度情報を作成するために構成されるデジタル画像処理回路
をさらに有する請求項１４に記載のカラー撮像装置。
【請求項１６】
前記アバランシェフォトダイオード光検出器は、色選択性光検出器を有する撮像アレイと一体化すると共に、この撮像アレイの上に分布する、請求項１４又は１５に記載のカラー撮像装置。
【請求項１７】
撮像アレイにわたり分布する色選択性光検出器、及び
前記色選択性光検出器の間に点在するアバランシェフォトダイオード光検出器の組を
有する撮像アレイを有するカラー撮像装置。
【請求項１８】
光子計数を取得するために前記アバランシェフォトダイオード光検出器を構成するガイガーモード回路をさらに有する請求項１７に記載のカラー撮像装置。
【請求項１９】
前記色選択性光検出器は、P-I-Nフォトダイオード及びアバランシェフォトダイオードからなる集合から選択され、並びに前記色選択性光検出器はさらに色選択性フィルタを含んでいる請求項１７又は１８に記載のカラー撮像装置。
【請求項２０】
被写体のカラー画像を取得するために構成される色選択性光検出器の１つ以上のアレイ、及び前記被写体の輝度画像を取得するために配されるアバランシェフォトダイオード光検出器の組を用いて、前記被写体を撮像するステップ、並びに
修正したカラー画像を作成するために、前記輝度画像の対応する内容に基づいて前記カラー画像を調整するステップ
を有するカラー撮像方法。
【請求項２１】
前記調整するステップは、照明状態に基づいて選択的に行われ、並びに
昼光照明状態に応じて前記カラー画像を出力するステップ、及び
前記昼光照明状態よりも低い照明状態に応じて前記修正されるカラー画像を出力するステップ
をさらに有する、カラー撮像方法。
【請求項２２】
前記昼光照明状態よりも低くなっている低い光の照明状態に応じて前記輝度画像を出力するステップ、
をさらに有する請求項２１に記載のカラー撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
以下のことは、撮像技術、写真技術、オーディオ／ビデオ技術、遠隔通信技術及び関連する技術に関する。
【背景技術】
【０００２】
デジタル撮像は、例えばデジタルカメラ、ウェブカメラ（ウェブカム）、オーディオ／ビデオカメラ（カムコーダー）等のような様々な応用に用いられる。既知の方法では、ＣＭＯＳ撮像装置が用いられ、この装置において、広帯域光検出器のアレイが色選択性フィルタと結合され、色選択性光検出器を規定する。異なる色に対する相対的な光検出の感度因子を考慮して、このようなＣＭＯＳのカラー撮像アレイは時々、緑色の光検出器を５０％、青色の光検出器を２５％及び赤色の光検出器を２５％含むベイヤーパターン(Bayer pattern)を用いる。これら色選択性光検出器は、リセットトランジスタを通してバイアスされ、光の衝突が検出可能な電圧低下を引き起こす。低光量に対する感度を提供するために、電圧は適切な増幅回路により増幅されることができる。
【０００３】
ＣＭＯＳ撮像装置が抱える既知の問題は、これら撮像装置が単一の増幅回路と共に動作したときでさえも、低光量状態に対する感度が悪いことである。光強度の損失の１つの原因は、色選択性フィルタである。所与の光強度に対し、各々の色選択性フィルタは通例、フィルタリング損失が使用されるフィルタ形式に依存していても、（選択していない色に対応する）光の約３分の２を取り除いてしまう。
【０００４】
この問題に対する１つの解法は、前記カラー撮像アレイの色選択性光検出器の中に"パンクロマティック"光検出器を点在させることである。これらパンクロマティック光検出器は、前記色選択性光検出器に類似しているが、色選択性フィルタを持っていない。これらパンクロマティック光検出器は、輝度画像を作成し、この画像は、広帯域若しくはパンクロマティック光検出器により取得されるような、光の色又は波長とは実質的に無関係の光強度の画像である。（前記広帯域若しくはパンクロマティック光検出器の起こりうる非平面光の感度対波長の依存度のせいで、前記輝度画像は依然として何らかの波長依存性があることが分かる。）デジタル画像処理回路は、色選択性光検出器により作成されるカラー画像と、広帯域若しくはパンクロマティック光検出器により作成される輝度画像とを組み合わせて出力画像を作成する。このような点在する色選択性及びパンクロマティック光検出器を用いた幾つかのシステムは、例えば米国特許出願公開番号2008/0130991 A1及び2008/0130073 A1に開示されている。
【０００５】
色選択性及びパンクロマティック光検出器をカラー撮像アレイに点在させる方法は、これらパンクロマティック光検出器にある色選択性フィルタを少なくとも取り除くために光の感度を改善する。他の利点は、色選択性及びパンクロマティック光検出器の両方に対し、電子機器は類似し、これが撮像アレイの製造を簡単にすることである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この方法を用いた光強度の感度の改善は限定され、この撮像アレイにおける色選択性及びパンクロマティック光検出器の密度の間の兼ね合いに影響される。米国特許出願公開番号2008/013991 A1及び2008/0130073 A1に開示される幾つかのアレイにおいて、このアレイの約半分がパンクロマティック光検出器を有する。このアレイにおける高い密度のパンクロマティック光検出器は、このアレイの色選択性及び色識別性機能に悪影響を及ぼすと予測されることができる。その上、色選択性フィルタを省略した場合でさえも、この撮像アレイのパンクロマティック部の光の感度は、検出器自身のノイズにより限られてしまう。
【０００７】
以下のことは、上で参照した問題及びその他を克服する新しい及び改良した装置並びに方法を提供する。
【課題を解決するための手段】
【０００８】
ある開示される態様によれば、カラー撮像装置は、被写体のカラー画像を取得するために構成される色選択性光検出器の１つ以上のアレイ、前記被写体の輝度画像を取得するために配されるアバランシェフォトダイオード光検出器の組、並びに前記取得したカラー画像及び前記取得した輝度画像を処理し、前記被写体の出力画像を作成するために構成されるデジタル画像処理回路、を有する。
【０００９】
他の開示される態様によれば、カラー撮像装置は、光子計数(photon counting)を行うために構成されると共に、前記被写体の輝度画像を取得するために配されるアバランシェフォトダイオード光検出器の組、並びに前記取得した被写体の輝度画像及び前記被写体のカラー画像を処理し、前記被写体の出力画像を作成するために構成されるデジタル画像処理回路を有する。
【００１０】
他の開示される態様によれば、カラー撮像装置は、前記撮像アレイに分布した色選択性光検出器、及び前記色選択性光検出器の中に点在するアバランシェフォトダイオード光検出器の組を含む撮像アレイを有する。
【００１１】
他の開示される態様によれば、カラー撮像方法は、被写体のカラー画像を取得するために構成される色選択性光検出器の１つ以上のアレイ、及び前記被写体の輝度画像を取得するために配されるアバランシェフォトダイオード光検出器の組を用いて前記被写体を撮像するステップ、並びに修正したカラー画像を作成するために、前記輝度画像の対応する内容に基づいて前記カラー画像を調整するステップ、を有する。
【００１２】
１つの利点は、改善した強度範囲を用いたカラー撮像を提供することにある。
【００１３】
もう１つの利点は、被写界深度(depth of field)情報を用いたカラー撮像を提供することにある。
【００１４】
もう１つの利点は、増幅を用いたカラー画像を提供することにある。
【００１５】
他の利点は、以下に述べられる説明を読み、理解することで、当業者に明らかとなるだろう。
【図面の簡単な説明】
【００１６】
【図１】色選択性光検出器及びアバランシェフォトダイオード（ＡＰＤ）光検出器の点在する組を有する撮像アレイを含むカラー撮像装置を概略的に示す。
【図２】図１のカラー撮像装置の例示的な青色の光検出器の電気回路図及び図１のカラー撮像装置の例示的なＡＰＤ光検出器の電気回路図を概略的に示す。
【図３】図１の撮像アレイのＡＰＤ光検出器の組を読み取るための読み取りシーケンスを概略的に示す。
【図４】図１のカラー撮像装置のデジタル画像処理回路により適切に行われる例示的な処理のフローチャートを概略的に示す。
【図５】図１のカラー撮像装置に適切に用いられる撮像光学系であり、図５の実施例ではＡＰＤ光検出器の組を用いて深度情報を取得するための光源を含んでいる撮像光学系を概略的に示す。
【図６】図５の実施例を用いて深度情報を取得するためのタイミング図を概略的に示す。
【図７】図５の実施例を用いて深度情報を取得するためのタイミング図を概略的に示す。
【図８】図６又は図７の深度推定方法を用いて取得した深度又は時間オフセットの関数として光子計数を概略的にプロットしている。
【図９】色選択性光検出器は単色のアレイに分離され、ＡＰＤ光検出器の組は１つのＡＰＤアレイに分離され、撮像光学系はこれらアレイに光を連結し、及び光源は前記ＡＰＤアレイを用いて深度情報を取得するために設けられている、他の実施例を概略的に示す。
【発明を実施するための形態】
【００１７】
図１及び図２を参照すると、カラー撮像アレイ１０は、被写体のカラー画像を取得するために構成される色選択性光検出器のアレイを含む。この説明される撮像アレイ１０において、これら色選択性光検出器は、赤色の光を検出するために構成される赤色光検出器Ｒ、緑色の光を検出するために構成される緑色光検出器Ｇ、及び青色の光を検出するために構成される青色光検出器Ｂを含む。この撮像アレイ１０はさらに、輝度画像を取得するために配されるアバランシェフォトダイオード（ＡＰＤ）光検出器ＡＰＤの組も含む。例示的な青色光検出器Ｂの電気回路図が図２に示されている。この実施例において、青色光検出器Ｂは、リセットトランジスタを介して低電圧バイアスｖｄｄにプリチャージされるフォトダイオードＤを含むＣＭＯＳ光検出器である。取得中、正孔対が前記ダイオードＤの空乏領域に光発生(photo-generated)され、これがダイオードＤにかかる電圧レベルを低下させる。ダイオードＤは、例えばP-I-Nフォトダイオード、アバランシェフォトダイオード等のように、実質的に如何なる形式のフォトダイオードにすることができる。電圧は、ソース−フォロワ回路ＡＭＰにより増幅され、読み取りトランジスタにより読み取られることができる。フォトダイオードＤは一般的に、実質的に如何なる可視波長の光も検出する広帯域フォトダイオードである。それ故に、色選択性フィルタＦは、青色以外の光が光検出器Ｄに到達するのを阻止するために含まれる。赤色及び緑色のフォトダイオードＲ、Ｇは、これらフォトダイオードが夫々赤色及び緑色の色選択性フィルタを利用する以外は同じである。
【００１８】
図２も例示的なＡＰＤ光検出器ＡＰＤの電気回路図を示し、これはアバランシェフォトダイオードＤＡを含む。アバランシェフォトダイオードは、アバランシェ処理によって内部信号の増幅を提供するフォトダイオードである。このアバランシェフォトダイオードＤＡは、かなりのゲインを生じさせるために、光発生電子及び孔が内部バイアス場により加速され、キャリアのアバランシェ増倍を発生させるのに十分な高さであるバイアスレベルＶｅｘで逆バイアスされる。図２の電気回路図は、光子係数のためのガイガーモードでアバランシェフォトダイオードＤＡを構成する。他の実施例において、低いバイアスレベルは、アバランシェ増倍を生じさせるために使用されることができる。幾つかの考えられる実施例において、赤色、緑色及び青色のフォトダイオードＲ、Ｇ、Ｂに使用されるのと同じ回路配置（図２の左側に描かれている実施例）がアバランシェフォトダイオードＤＡを動作させるのにも用いられ、このアバランシェ増倍は、アバランシェフォトダイオードＤＡのｐ／ｎ接合の設計によって供給される高い内部電場によって、このアバランシェフォトダイオードＤＡに得られる。このアバランシェフォトダイオードＤＡにより供給されるゲインは、吸収される光子全てに対し、一連の電子及び孔は、前記アバランシェフォトダイオードＤＡ内において内部発生することを意味している。前記ゲインは、他の因子の中において、バイアスレベルＶｅｘに依存している。
【００１９】
十分な高さのバイアスレベルに対し、単一光子の吸収に応答する検出可能な電流パルスが発生し、この光子は、アバランシェフォトダイオードＤＡが任意にガイガーモードで動作され、光子係数を行うことを可能にする。図２に示される例示的なＡＰＤ光検出器ＡＰＤの電気回路図は、ガイガーモードの動作のために構成される。ダイオードＤＡは、バイアスレベルＶｅｘにより降伏電圧より数ボルト上まで充電され、読み取りレジスタＲ３は、このアバランシェフォトダイオードＤＡが光子を吸収したかを検知する。これら光子は、間を置いて次々と各フォトダイオードＤＡを読み取ることにより、連続して計数される。アレイの構成において、あるラインのＲＥＡＤ信号は、先行するラインのＲＥＳＥＴ信号として任意に使用されることができる。
【００２０】
ＡＰＤ光検出器ＡＰＤのアバランシェフォトダイオードＤＡは通例、可視スペクトルにある如何なる光子も計数するように構成される。それ故に、ＡＰＤ光検出器ＡＰＤの組により取得される画像は、輝度画像又はグレースケール画像である。しかしながら、アバランシェフォトダイオードＤＡのスペクトル応答が何らかの波長依存を持つ、例えば可視スペクトルの真ん中近くに感度のピーク及び/又は赤外線領域及び/又は紫外線領域に向かい感度の減少を持つと考えられる。示される光子計数回路１２は、ＡＰＤ光検出器ＡＰＤをガイガーモードで動作し、これらＡＰＤ光検出器ＡＰＤを用いて取得した光子計数に基づいて輝度画像を作成する。この光子計数回路１２は、前記ＡＰＤ光検出器ＡＰＤの組により出力されるデータを受信し、さらに任意に制御信号を送信し、光子の衝突により引き起こされたＡＰＤ光検出器ＡＰＤをリセットする。代わって、これらＡＰＤ光検出器ＡＰＤのリセットは、各ＡＰＤ光検出器ＡＰＤと一体化した適切なリセット回路により行われてもよい。光子計数回路１２により取得される輝度画像は、適切な輝度画像メモリ１４に記憶又はバッファリングされる。
【００２１】
幾つかの実施例において、前記ＡＰＤ読み取り方法の修正は、撮像アレイ１０のＡＰＤ光検出器ＡＰＤの組を使用し、光子検出の効率を予測される光子束に適合させるために、各アバランシェフォトダイオードＤＡの超過電圧を変化させる（すなわち、バイアス電圧Ｖｅｘを変化させる）。これら実施例において、撮像アレイ１０のＡＰＤ光検出器ＡＰＤの組の異なるアバランシェフォトダイオードＤＡに対し、バイアス電圧Ｖｅｘは異なっている。このバイアスの変化は、アバランシェフォトダイオードに対するバイアス値を隣接する色選択性光検出器Ｒ、Ｇ、Ｂの１つ以上にある電流と関連付けるルックアップテーブルを用いて選択されることができる。この電流値は、バイアス電圧Ｖｅｘの低い値で光子検出の効率が減少するのを説明するために、この光子検出の効率の逆数で適切に乗算される。
【００２２】
図３をかいつまんで参照すると、高速並列読み取り方式は、毎秒１００万フレームよりも多くの輝度画像読み取り速度を達成するのに用いられることができる。図３に図示されるように、この高速読み取り速度は、二等分したアレイ１０を同時に読み取ることにより、及び各列につき２つ以上のデータラインを用いて、幾つかのラインの読み取りを同時に行うことを可能にすることにより、実現されることができる。
【００２３】
光子計数回路１２が表されていたとしても、他の実施例において、輝度取得回路が例えばＡＰＤ光検出器ＡＰＤがかなりのゲインを提供するが、ガイガーモードで個々の光子計数を行うことができないような低いレベルでＡＰＤ光検出器ＡＰＤをバイアスすることにより、非ガイガーモードでＡＰＤ光検出器ＡＰＤを動作している。このような非ガイガーモードは、低い光強度に対し良好な感度を提供するために、前記接合の崩壊中のアバランシェ増倍によって、依然として固有ゲインを供給する。
【００２４】
カラー画像取得回路２０は、撮像アレイ１０の色選択性光検出器Ｒ、Ｇ、Ｂから画像データを取得し、この結果生じるカラー画像をカラー画像メモリ２２にバッファリング又は記憶する。これら色選択性光検出器Ｒ、Ｇ、Ｂ及び関連するカラー画像取得回路２０は、ＣＭＯＳ撮像アレイを用いた一般的なカラー画像装置に従って適切に動作する。しかしながら、前記表示装置の幾つかのピクセルは色選択性光検出器Ｒ、Ｇ、Ｂではなく、グレースケールのＡＰＤ光検出器ＡＰＤにより占められているため、様々なカラーチャンネルの何らかのスケーリングが適切である。表される撮像アレイ１０において、例えばアレイ１０における赤色、緑色、青色及びＡＰＤ光検出器Ｒ、Ｇ、Ｂ、ＡＰＤの密度は、およそ夫々２５％、２５％、２５％及び２５％である。すなわち、光検出器の約２５％は赤色の光検出器であり、光検出器の約２５％は緑色の光検出器であり、光検出器の約２５％は青色の光検出器であり、光検出器の約２５％はＡＰＤ光検出器ＡＰＤである。アレイ１０は、緑色の光検出器を５０％、青色の光検出器を２５％、赤色の光検出器を２５％含む従来のベイヤーパターンから始め、この緑色の光検出器の約半分をＡＰＤ光検出器に置き換えることにより得られる。結果として、生画像の緑色チャンネル強度は、従来のベイヤーパターンと比較して半減する。カラー画像取得回路２０は、この緑色の画像チャンネルを適切にスケーリングすることにより、この緑色の光検出器Ｇの密度の減少に対応する。
【００２５】
図１に戻り参照すると共に、さらに図４も参照すると、デジタル画像処理回路３０は、取得したカラー画像及び取得した輝度画像を処理し、出力画像を作成するために構成される。図４は、この出力画像を作成するための１つの適切なアルゴリズムを説明している。最初の作業ＯＰ１において、画像強度がカラー画像に基づいて定量化される。この定量化は、平均画像強度、１カラーチャンネル当たりの平均画像強度又は他の適切な測定基準を用いることができる。幾つかの実施例において、画像強度定量化作業ＯＰ１は、画像のサブ領域がこの画像を少しずつ処理することを可能にするために行われる。その上、画像強度定量化作業ＯＰ１は、カラー画像の"品質"のもう１つの測定基準、例えば画像コントラストの測定基準と任意に置き換えられる。
【００２６】
画像強度の測定基準は、比較作業ＯＰ２において強度の暗視レベルのしきい値と比較される。この比較の目的は、光の強度が低すぎてカラー画像が有用ではないかを判断することである。再び、他の画像の"品質"の測定基準、例えば画像コントラストが使用されることができる（後者の測定基準において、例えばその画像コントラスがしきい値より下にある低いカラー画像は、薄暗すぎて有用ではないと仮定されてもよい）。この比較作業ＯＰ２がカラー画像は有用ではないと示す場合、このとき、問題は光の強度が低すぎることであると仮定される。この場合、出力画像は、選択作業ＯＰ３において取得した輝度画像として選択される。輝度画像は色付きではないという欠点（すなわち、グレースケール画像である）を持っていたとしても、ＡＰＤ光検出器の組及び関連する取得回路１２の光子計数機能は、この輝度画像が非常に低光量の状態でさえも有用なコントラストを持つことを保証する。出力画像は、"暗視ゴーグル"又は同様の装置の出力にある程度類似している。
【００２７】
他方、前記比較作業ＯＰ２がカラー画像は有用であると示す場合、このとき第２の比較作業ＯＰ４がカラー画像は、昼光レベルに相当する強度を持っているか判断する。相当している場合、光子計数するＡＰＤ光検出器ＡＰＤの組は十分飽和され、それ故に輝度画像は色あせて、有用ではないと仮定するのが妥当である。このような場合、第２の選択作業ＯＰ５は、カラー画像を出力画像として選択する。
【００２８】
最後に、両方の比較作業ＯＰ２、ＯＰ４が否定である場合、このときカラー画像は有用であるが、輝度画像により供給されるグレースケール情報に基づいて改善されていると判断される。このような場合、カラー画像を輝度画像の対応する内容に基づいて調整するカラー画像修整作業ＯＰ６が行われる。計算による直接的な手法において、この修正作業ＯＰ６は、輝度画像の対応ピクセルの輝度値に基づく量だけ、カラー画像の各ピクセルの赤色、緑色及び青色のチャンネル強度を任意に増大させる。様々な手法において、このような強度の強調は、（輝度画像が何らかの光があることを示すような）最小しきい値より上であり、（カラー画像がより高い強度の光を上手く捕えたと仮定される上記しきい値よりも上にあるので）最大のしきい値より下の輝度値を持つ輝度画像のこれら範囲に限定される。例えば米国特許出願公開番号2008/0130991 A1及び米国特許出願公開番号2008/0130073 A1に開示される手法のような、輝度画像に基づいてカラー画像を修正するための他の合成方法が用いられ、これら公報は共に参照することにより全てこれに含まれる。
【００２９】
図１及び図４を引き続き参照すると、前記作業ＯＰ３、ＯＰ５、ＯＰ６の１つにより作成される出力画像は適切に、記憶メモリ３４に記憶され、表示装置３４に表示され、又は別の方法で利用される。撮像装置１０がＣＭＯＳ装置である実施例において、一体化した撮像装置を製造するために、様々な構成要素１２、１４、２０、２２、３０、３２、３４又はこれら構成要素の様々な組み合わせを、単一のシリコンウエハー、チップ又はダイ(die)上で一体化すると考えられる。代わりに、様々な構成要素１２、１４、２０、２２、３０、３２、３４又はこれら構成要素の様々な組み合わせは、別個のチップ、ダイ等として組み入れられてもよく、これらの幾つかがシリコンベースの材料システム以外の何かにおいて任意に組み立てられてもよい。一体化であろうと、別個であろうと、回路の構成要素１２、２０、３０若しくはこれら構成要素の様々な部分は、ディスクリート回路、集積回路、適切にプログラムされるマイクロプロセッサ又はマイクロコントローラ等として様々に具現化されてもよい。
【００３０】
カラー撮像装置は、（例えばアマチュアの写真家が使用するコンパクトデジタルカメラ、若しくはより上級若しくはプロの写真家が使用するデジタル一眼レフ（ＳＬＲ）カメラ等でもよい）示されるデジタルカメラ４０、又はコンピュータ４４と一体化した若しくは取り付けられたウェブカメラ４２等のような実質的に如何なるカラー撮像応用装置の一部でもよいし、その装置として具現化されてもよい。撮像アレイ１０は、撮像する被写体を直接見てもよいし、又は適切な光学系、例えばデジタルカメラ４０の示されるレンズ４６若しくはウェブカメラ４２のレンズ系（図示せず）等によって撮像される被写体と任意に光学結合されてもよい。その上、民生又はビジネス関連の応用装置４０、４２が示されていたとしても、ここに開示されるカラー撮像装置は、例えば医用撮像（例えば低光量若しくは遮蔽された状態の下で、被写体の内部を撮像するために被写体に挿入するために構成される内視鏡装置の構成要素として若しくは組み込まれる）又はスポーツ大会を収めるためのビデオ機器の構成要素として若しくは組み込まれる等の他の応用領域に応用されると考えられる。
【００３１】
ＡＰＤ光検出器ＡＰＤの組をカラー撮像アレイ１０に一体化することは、多数の利点を持つ。ガイガーモードで動作するとき、これらＡＰＤ光検出器ＡＰＤの組は、グレースケールではあるが、撮像機能を極めて低い光のレベルまで拡張する。依然として昼光照明よりも下にある高い光のレベルで、ＡＰＤ光検出器ＡＰＤの組は、ガイガーモード、又は強調した画像コントラスト若しくは他の画像強調を提供するようにカラー画像を修正又は調整するのに使用される緩慢(less aggressive)なアバランシェ増倍のゲインモードで取得した高いゲインの輝度画像を供給する。ＡＰＤ光検出器ＡＰＤにより供給される高いゲインによって、これらの実質的な利点は、色選択性フォトダイオードＲ、Ｇ、Ｂの大部分をＡＰＤ光検出器ＡＰＤに置き換えることなく得られることができる。幾つかの実施例において、これらＡＰＤ光検出器の組のＡＰＤ光検出器は、撮像アレイの光検出器の総数の４分の１未満又は約４分の１を作成する。例えば、例示的な撮像アレイ１０において、ＡＰＤ光検出器ＡＰＤは、撮像アレイの光検出器の４分の１を正確に作成する。
【００３２】
図５を参照すると、幾つかの実施例において、ＡＰＤ光検出器ＡＰＤの組は、深度情報を取得するのに用いられる。図５は、被写体を撮像するために、光学系４８に夫々配されるカラー撮像アレイ１０を表す。任意の光源５０、例えばパルスレーザーは、第１のプリズム又はミラー５２並びに一部は反射及び一部は透過する第２のプリズム又はミラー５４を用いて、この光学系４８に結合される。任意のパルスレーザー又は他の光源５０は、前記光学系４８を通り伝わり、被写体に（少なくとも一部が）反射する光パルスを作成し、この（少なくとも一部が）反射した光は、光学系４８により集められ、撮像アレイ１０により結像される。ガイガーモードで動作しているＡＰＤ光検出器ＡＰＤの組は、任意の光源５０のアクチベーションと、この任意の光源５０のアクチベーションにより作成される光パルスに応答する前記ＡＰＤ光検出器ＡＰＤの組により取得される光子計数との間の遅延時間を検出するのに十分な時間分解能で構成される。
【００３３】
深度情報を供給するある実施例において、前記光源５０は、パルス半導体レーザー、パルス発光ダイオード又は他のパルス狭帯域光源であり、ＡＰＤ光検出器ＡＰＤは、光源５０の波長に合わせた狭帯域フィルタにより覆われ、周囲光が検出されるのをブロックする。幾つかの上記実施例において、前記プリズム又はミラー５４は、（例えばガラス又は他の高い透過性材料から作られることにより）可視スペクトルの殆どに対しほぼ完璧に透過であるが、光源５０の波長でピークの反射率を持つように合わせた狭帯域のブラッグ(Bragg)反射器を規定する誘電層を前記プリズム又はミラー５４上に配置することにより光源５０の波長に対し一部反射を行わせる。
【００３４】
深度推定を行うために、光子計数回路１２は、各光子計数に対応する時間インデックスを作成する時間−デジタル変換器を有する。この時間インデックスは次いで、光源５０のアクチベーションの時間と比較され、この光の往復の移動時間を把握し、この時間から距離はｄ＝ｃ・ｔ／２と決められることができ、ここでｃは光の速度を示し、ｔは往復の移動時間（つまり光源５０のアクチベーションと光子計数との間の前記時間）を示し、ｄは深度を示す。
【００３５】
通例、センチメートルの範囲の高い深度分解能を達成するために、相当な数の時間−デジタル変換器が用いられる。しかしながら、高い深度分解能が必要ない場合、より単純な方式が用いられることができる。
【００３６】
図６を参照すると、このより単純な方式において、これらセンサラインは、数ナノ秒からなる明確に定義された時間ステップで連続して読み取られる。そして、２つの後続するライン間の深度差は、約数十センチメートルである。光源５０のアクチベーションとＡＰＤ光検出器の読み取り開始との間の時間オフセットを変更することにより、全深度範囲は前記ラインの全てにより覆われる。この手法において、この場面は、ゆっくりと増大する時間ステップで数百万の短い光パルスにより照明され、この場面の深度全てに対するフレームが集められる。
【００３７】
図７を参照すると、前記読み取りの速度をさらに上げる（つまり、より多くのフレームを集め、より良好な統計を得る）様々な方式において、前記光パルスが前記読み取りの間に挿入（インタリーブされる）ことができる。
【００３８】
図８を参照すると、図６及び図７の深度推定方式を使用するとき、各ピクセルに対し、受信した光子が深度ヒストグラムに適切に集められる。このヒストグラムの各ビン(bin)は、深度ｄよりも少ない若しくは等しいＴＯＦ(time of flight)を持つ、ピクセルにより受信される光子数を含む。図８は、２つの異なる距離にある２つの物体に対する上記ヒストグラムの一例を概略的に示す。このヒストグラムは、図８の実線を用いてプロットされる。このヒストグラムの導関数は、図８の波線を用いてプロットされる。このヒストグラムの導関数（破線）における２つのピークは、２つの見られる物体の深度位置（これら２つの見られる物体は、異なる視線に沿っているか、若しくは前の物体が例えば窓ガラスのような透明な物体であるかの何れか一方である）又は異なる深度位置にまたがっている単一の見られる物体に対応している。より一般的に、このヒストグラムの導関数における各ピークは、物体の深度に対応している。このヒストグラムの微分はノイズを増大させる。それ故に、（光源がアクチベーションする事象及び対応する取得の数に対応する）測定数は、前記物体の深度の位置特定を所望のノイズレベルで供給するのに十分とすべきである、ノイズ減少信号処理技術も適用されることができる。
【００３９】
図１及び図５の実施例において、撮像アレイは、ＡＰＤ光検出器ＡＰＤが色選択性光検出器Ｒ、Ｇ、Ｂで点在される単一の一体型の撮像アレイである。この手法は、コンパクトなカラー撮像装置の組み立てを容易にすると共に、取得したカラー画像及び取得した輝度画像の空間的位置決めも保証する。しかしながら、この一体化手法は、製造をさらに難しくさせることがある。その上、従来のカラー撮像アレイを一体化した撮像アレイ１０と置き換えることは、カラー撮像アレイとカラー画像取得回路の結合している電子機器との両方の修正を必要とする。
【００４０】
図９を参照すると、他の手法において、ＡＰＤ光検出器アレイＡＰＤＡは、現在のカラー撮像システムの追加の構成要素として含まれる。この現在のカラー撮像システムは、（変化量は示さない）赤色、緑色及び青色の光検出器を備えるカラー撮像アレイを使用するか、又は示されるように、別々の赤色の光検出器アレイＲＡ、緑色の光検出器アレイＧＡ及び青色の光検出器アレイＢＡを使用することができる。図９の実施例において、光学系４８は、被写体からの光を取り込むのに再び使用され、一部は反射／一部は透過するプリズム又はミラー６０、６２、６４は、被写体からの光の選択した部分を撮像アレイＲＡ、ＧＡ、ＢＡ、ＡＰＤＡの各々に結合するために使用される。カラー画像は、夫々３つの色選択性アレイＲＡ、ＧＡ、ＢＡにより作成されるカラーチャンネル画像を組み合わせることにより取得される一方、輝度画像はＡＰＤ光検出器アレイＡＰＤＡにより作成される。図１に示される残りの構成要素、例えばデジタル画像処理回路３０は、図９のシステムにおいて利用されることができる。図９の説明される他のシステムにおいて、任意の光源５０は、深度情報を取得するのに使用するために含まれ、一部は反射するミラー６０及び追加の一部は反射／一部は透過するミラー６６を介して光学系４８に結合される。
【００４１】
図５及び図９の両方の実施例において、前記光源５０は光学系４８を含まない光学路を介して被写体を照明するために構成されることもできる。例えば、幾つかの考えられる実施例において、前記光源５０は、如何なる光学も介入することなく、前記被写体を直接照明するために配される。
【００４２】
本発明は、好ましい実施例を参照して開示されている。上記詳細な説明を読み、理解することで、修正及び代替案が他の者に思い浮かぶこともある。本発明は、上記修正及び代替案が添付の特許請求の範囲内又はそれに同等なものの範囲内にある限り、これら修正及び代替案の全てを含むと解釈されると思っている。
【図１】
2012513694.tif 000003
【図２】
2012513694.tif 000004
【図３】
2012513694.tif 000005
【図４】
2012513694.tif 000006
【図５】
2012513694.tif 000007
【図６】
2012513694.tif 000008
【図７】
2012513694.tif 000009
【図８】
2012513694.tif 000010
【図９】
2012513694.tif 000011
【国際調査報告】
2012513694.tif 000012
2012513694.tif 000013