(57)【要約】【課題】積層画像センサ内の電子的に制御されるグラデーション濃度フィルタを提供すること。【解決手段】行および列に配列された複数の画素を含む撮像アレイを有し、機械シャッターを有するデジタルカメラにおいて、撮像アレイによって捕捉された画像の中性濃度フィルタリングを実施するための方法であって、機械シャッターを開くステップと、行における画素センサのすべてをリセットするステップ、行における画素センサのすべてに対して露出を開始するステップによってアレイ内の各行を動作させるステップと、機械シャッターを閉じるステップと、機械シャッターが閉じた後、任意の画素選択信号がデアサートされた時間に関係のない時間にアレイ内の画素から画素値を読み出すステップとを含み、行における画素センサのすべてに対して露出を開始させるステップと、各行に対して機械シャッターを閉じるステップとの間の時間間隔が、捕捉される画像に適用される中性濃度フィルタ関数の関数である、方法。【選択図】図10
2018007249.tif 000002
【特許請求の範囲】
【請求項１】
行および列に配列された複数の画素を含む撮像アレイを有し、光が前記撮像アレイを照明することを可能にする開位置と、光が前記撮像アレイを照明することを阻止する閉位置とを有する機械シャッターをさらに有するデジタルカメラにおいて、前記撮像アレイによって捕捉された画像の中性濃度フィルタリングを実施するための方法であって、
前記機械シャッターを開くステップと、
前記行における前記画素センサのすべてをリセットするステップ、
前記行における前記画素センサのすべてに対する露出を開始させるステップ
によって前記アレイ内の各行を動作させるステップと、
前記機械シャッターを閉じるステップと、
前記機械シャッターが閉じた後の時間であって、任意の画素選択信号がデアサートされた時間とは関係がない時間に、前記画素アレイにおける前記複数の画素から画素値を読み出すステップとを含み、
前記行における前記画素センサのすべてに対する露出を開始するステップと、各個々の行に対して前記機械シャッターを閉じるステップとの間の時間間隔が、捕捉される画像に適用される中性濃度フィルタ関数の関数である、方法。
【請求項２】
前記時間間隔が、前記アレイ内のn行に対して同じであり、ここで、nは1よりも大きい整数である、請求項1に記載の方法。
【請求項３】
前記時間間隔が、前記アレイ内の連続するn行に対して同じであり、ここで、nは1よりも大きい整数である、請求項1に記載の方法。
【請求項４】
前記アレイ内の各行が、前記アレイ内の最初の行から前記アレイ内の最後の行まで順次動作される、請求項1に記載の方法。
【請求項５】
前記中性濃度フィルタ関数が単調関数である、請求項1に記載の方法。
【請求項６】
前記中性濃度フィルタ関数が非単調関数である、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル撮像技法およびデジタル画像捕捉技法に関する。より詳細には、本発明は電子濃度フィルタに関し、より詳細には、デジタルカメラにおける独立したカラーチャネルグラデーション濃度フィルタ技法に関する。
【背景技術】
【０００２】
風景写真撮影では、シーンにおけるダイナミックレンジは、しばしば、デジタルカメラにおける画像センサの能力を超える。これは、しばしば、フレームの上側部分が空を含むからであり、空はフレーム内の主題の残りよりも実質的に明るい。この問題はプリント用フィルムにも存在する。
【０００３】
したがって、シーンのダイナミックレンジを画像センサのダイナミックレンジ内になるように圧縮するために光学中性濃度フィルタを使用することが極めて一般的である。図1に示すように、フィルタの濃度は、徐々に変化させ、画像の下部から画像の上部へと増加する。
【０００４】
光学中性濃度フィルタはレンズの前に設置され、最高濃度を有するフィルタの部分がフレームの上部に配置され、したがって、画像が下部と比較して暗くなるように配向される。画像の上部から画像の下部への濃度変化は、参照符号10に示すように線形であり得るが、ほとんどの場合、参照符号12に示すように非線形である。
【０００５】
可変電荷共有静電容量を画像センサにおける個々の画素センサと並列に設置することによって、または可変静電容量を使用して読出しの間に1つまたは複数の画素センサフォトダイオードの感知電荷を共有することによって、光学中性濃度フィルタを電子的に模倣することができることは知られている。画像センサ用のそのようの電子中性濃度フィルタの例は、Mansoorianへの米国特許第7,635,833号に開示されている。動作中、各フォトダイオードは、リセットトランジスタ325と同時に310などの適切な移送ゲートをオンにすることによってリセットされる。次いで、フォトダイオードは電荷を積分することが可能になる。
【０００６】
各画素センサにおける蓄積された光電荷は、フォトダイオードと追加されたコンデンサとの間で共有されるので、画素センサは、フォトダイオードがコンデンサの値に比例した量だけ少ない照明光子を受け取ったかのように動作する。静電容量が増加するにつれて、フォトダイオードのサイズは、実質的に増加し、入射照明に対するフォトダイオードの感度は減少する。
【０００７】
デジタル撮像アレイのリセット信号と読出し信号との間に制御遅延を導入することによって電子中性濃度フィルタを提供することも知られている。そのような構成は、Johnsonへの米国特許第8,780,241号に開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第7,635,833号
【特許文献２】米国特許第8,780,241号
【発明の概要】
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、機械シャッターを使用し、およびそれぞれが画素選択トランジスタによってフローティングノードに結合されたフォトダイオードと、フローティングノードに結合されたリセットトランジスタと、行選択トランジスタによってフローティングノードと列線との間に結合された読出しトランジスタとを含む複数の画素センサを含む撮像アレイを有するデジタルカメラに、電子中性濃度フィルタが実装される。中性濃度フィルタリングを実施するための方法が、機械シャッターを開くステップと、アレイ内の各行に対してリセットトランジスタのすべてをオンにするステップと、画素選択トランジスタのすべてをオンにするステップと、画素選択トランジスタのすべてをオンにするステップの後に時間間隔が過ぎた後に画素選択トランジスタのすべてを同時にオフにするステップと、上記時間間隔が過ぎた後にアレイ内のリセットトランジスタをオフにするステップと、機械シャッターを閉じるステップとを含み、連続する行に対する時間間隔が、単調関数として減少する。次いで、画像センサのリセット後の時間であるがそれ以外では画像センサのリセットに関係がない時間に、蓄積された光電荷を、画素センサから読み出すことができる。
【００１０】
本発明の別の態様によれば、電子中性濃度フィルタが、機械シャッターを使用し、およびそれぞれが画素選択トランジスタによってフローティングノードに結合されたフォトダイオードと、フローティングノードに結合されたリセットトランジスタと、行選択トランジスタによってフローティングノードと列線との間に結合された読出しトランジスタとを含む複数の画素センサを含む撮像アレイを有するデジタルカメラに実装される。中性濃度フィルタリングを実施するための方法が、機械シャッターを開くステップと、アレイ内の各行に対してリセットトランジスタのすべてをオンにするステップと、画素選択トランジスタのすべてをオンにするステップと、画素選択トランジスタのすべてをオンにするステップの後に時間間隔が過ぎた後に画素選択トランジスタのすべてを同時にオフにするステップと、上記時間間隔が過ぎた後にアレイ内のリセットトランジスタをオフにするステップと、機械シャッターを閉じるステップとを含み、連続する行に対する時間間隔が、非単調関数である。次いで、画像センサのリセット後の時間であるがそれ以外では画像センサのリセットに関係がない時間に、蓄積された光電荷を、画素センサから読み出すことができる。
【００１１】
本発明の別の態様によれば、機械シャッターを使用し、およびそれぞれが画素選択トランジスタによってフローティングノードに結合されたフォトダイオードと、フローティングノードに結合されたリセットトランジスタと、行選択トランジスタによってフローティングノードと列線との間に結合された読出しトランジスタとを含む複数の画素センサを異なるカラーに対して含む撮像アレイを有するデジタルカメラに、カラー電子中性濃度フィルタが実装される。カラーのそれぞれに対して中性濃度フィルタリングを別々に実施するための方法が開示され、機械シャッターを開くステップと、アレイ内の各行に対してリセットトランジスタのすべてをオンにするステップと、画素選択トランジスタのすべてをオンにするステップと、各カラーに対して画素選択トランジスタのすべてをオンにするステップの後に時間間隔が過ぎた後に各カラーに対して別々に画素選択トランジスタのすべてを同時にオフにするステップと、上記時間間隔が過ぎた後にアレイ内のリセットトランジスタをオフにするステップと、機械シャッターを閉じるステップとを含み、連続する行に対する時間間隔が、単調関数として減少する。次いで、画像センサのリセット後の時間であるがそれ以外では画像センサのリセットに関係がない時間に、蓄積された光電荷を、各選択されたカラーに対する画素センサから読み出すことができる。
【００１２】
本発明のカラー電子中性濃度フィルタは、本発明の譲受人であるFoveon, Inc.によって製造される垂直カラー画素センサなどの垂直カラー画素センサを有する撮像アレイに特に適しているが、本発明は、ベイヤーパターンセンサを採用するカラー画像スキームなどの他のカラー画像スキームに使用するのに適切である。
【図面の簡単な説明】
【００１３】
【図１】線形および非線形両方のグラデーション中性濃度フィルタの光学濃度を画像フレーム内の垂直位置の関数として示すグラフである。
【図２】ブレードリセットを使用してデジタルカメラに実装された線形関数グラデーション光学濃度フィルタの濃度を画像フレーム内の垂直位置の関数として示すグラフである。
【図３】非線形グラデーション中性濃度フィルタの濃度を画像フレーム内の垂直位置の関数として示すグラフである。
【図４】本発明によるグラデーション光学濃度フィルタの50%ポイントの例示的な制御を示すグラフである。
【図５】本発明によるグラデーション光学濃度フィルタのフィルタ濃度強度の例示的な制御を示すグラフである。
【図６】画像フレーム内の垂直(または水平)位置の非単調関数である濃度を有する非線形中性濃度フィルタの最低フィルタ濃度強度位置の垂直配置の例示的な制御を示すグラフである。
【図７】本発明による、垂直(または水平)フレーム位置の非単調関数である濃度を有するグラデーション光学濃度フィルタの濃度の例示的な制御を示すグラフである。
【図８】本発明による、垂直(または水平)フレーム位置の非単調関数である濃度を有するグラデーション光学濃度フィルタの中心最小濃度領域の幅の例示的な制御を示すグラフである。
【図９Ａ】撮像素子の個々の行における赤色、緑色、および青色画素に対して別々の行リセット制御を有するカラー撮像素子において個々のカラーフィルタをどのように適用することができるかを示す図である。
【図９Ｂ】撮像素子の個々の行における赤色、緑色、および青色画素に対して別々の行リセット制御を有するカラー撮像素子において個々のカラーフィルタをどのように適用することができるかを示す図である。
【図９Ｃ】撮像素子の個々の行における赤色、緑色、および青色画素に対して別々の行リセット制御を有するカラー撮像素子において個々のカラーフィルタをどのように適用することができるかを示す図である。
【図９Ｄ】撮像素子の個々の行における赤色、緑色、および青色画素に対して別々の行リセット制御を有するカラー撮像素子において個々のカラーフィルタをどのように適用することができるかを示す図である。
【図９Ｅ】撮像素子の個々の行における赤色、緑色、および青色画素に対して別々の行リセット制御を有するカラー撮像素子において個々のカラーフィルタをどのように適用することができるかを示す図である。
【図９Ｆ】撮像素子の個々の行における赤色、緑色、および青色画素に対して別々の行リセット制御を有するカラー撮像素子において個々のカラーフィルタをどのように適用することができるかを示す図である。
【図９Ｇ】撮像素子の個々の行における赤色、緑色、および青色画素に対して別々の行リセット制御を有するカラー撮像素子において個々のカラーフィルタをどのように適用することができるかを示す図である。
【図１０】本発明による電子中性濃度フィルタを採用することができる機械シャッターを採用したデジタルカメラの図である。
【図１１】本発明による電子中性濃度フィルタを実装するように動作させることができる例示的なフォトダイオード画素センサの概略図である。
【図１２】本発明による電子中性濃度フィルタを実装するために図8の画像センサのフォトダイオード画素センサを動作させる方法を示すタイミング図構成図である。
【図１３】本発明による電子グラデーション中性濃度フィルタをデジタルカメラに実装するための例示的なアーキテクチャを示す構成図である。
【図１４】本発明による電子グラデーション中性濃度フィルタをデジタルカメラにおいて制御するための例示的なやり方を示す流れ図である。
【図１５】本発明による、フィルタの位置および強度を自動的に調整するためにフィードバックループを実装するための例示的なやり方を示す流れ図である。
【発明を実施するための形態】
【００１４】
本発明の以下の説明は、例示的であるに過ぎず、決して限定的ではないことを当業者は理解するであろう。本発明の他の実施形態は、そのような当業者には容易に思いつくであろう。
【００１５】
カメラ内の機械シャッターの閉鎖とリセットパルスの終わりとのタイミングを制御することによる本発明による電子的可変グラデーション中性濃度フィルタ。光学フィルタ濃度をフレーム内の垂直位置の関数として示す、図2および図3に示すこの技法は、線形減衰(図2)を採用することができるか、または、例えば、光学中性濃度フィルタの非線形濃度曲線をエミュレートする非線形(図3)を採用することができるかのいずれかである。図2のトレース10a、10b、および10cは、線形減衰の変動度合いを示し、図3のトレース12a、12b、および12cは非線形減衰の変動度合いを示す。
【００１６】
デジタルカメラ内の画像センサにおいてローリングリセット(一度に1つの行が順次撮像アレイに加えられるリセット)またはブレードリセットに非線形関数を適用することによって、任意の非線形濃度曲線を実現することができる。「ブレードリセット」とは、隣接行の群が同時にリセットされるローリングリセットの形態である。この群はブレードと呼ばれる。ブレードリセットを採用した画像センサにおいて、撮像アレイ全体は、ブレードを一度に1つリセットすることによってリセットされる。これは、ローリングリセットを使用して個々の行を一度に1つリセットするよりも速く、すべての行が一度にリセットされるグローバルリセットよりも遅い。
【００１７】
グローバルリセットに対するローリングリセットおよびブレードリセットの1つの利点は、アーチファクトがより小さいことである。単一行ローリングリセットに勝るブレードリセットの利点は、速度がより速いことである。ローリングリセットまたはブレードリセットのいずれをも、本発明の中性濃度フィルタに使用することができる。ブレードリセット方法を使用すると、より大きなブレード(より速いが、アーチファクトがより大きい)と、より小さなブレード(より遅く、アーチファクトがより小さい)との間でトレードオフが行われる。本発明の中性濃度フィルタで使用するための典型的なブレードサイズは、1、2、4、8、16、32行であるが、容認することができるフィルタアーチファクトの垂直粒状性により他のブレードサイズを使用することができることを当業者は容易に理解するであろう。
【００１８】
より暗い前景とより明るい後景との間の境界を画定する「水平」の配置は、ユーザの手の中のカメラの向きの関数であり、固定されないので、ユーザがフィルタの「強度」に加えてフィルタの垂直位置を調整できるようにすることは有用である。これは、ほんとどのデジタルカメラの後面に配置された4方向制御器ボタンを使用して行うことができる。非限定例として、電子フィルタの50%減衰の位置は、図4に示すようにカメラの後面上の「アップ」および「ダウン」ボタン14を使用することによって調整することができ、グラフは、3つの例示的な「水平」を示し、その中心の「水平」は、画像フレームの垂直中心における公称水平線(参照符号16に示される)を中心としている。
【００１９】
同様に、フィルタのフィルタ強度(光学濃度)は、図5に示すようにカメラの後面上の「左」および「右」ボタン18を使用することによって調整することができ、グラフは、単一の水平設定に対する3つの異なる例示的なフィルタ勾配曲線20a、20b、および20cを示す。当業者は、そのような制御関数をカメラ上のこれらのもしくは他の制御ボタンまたは表面を使用してデジタルカメラに容易に実装することができるであろう。
【００２０】
フィルタ調整は、デジタルカメラの電子ファインダ(LCD画面)において見ることができ、ユーザは効果をプレビューし、所望であれば微調整することが可能である。
【００２１】
本発明によれば、画像フレーム内の垂直(または水平)位置の非単調関数である濃度を有する光学濃度フィルタを実現することができる。図6は、画像フレーム内の垂直(または水平)位置の非単調関数である濃度を有する非線形中性濃度フィルタの最低フィルタ濃度強度位置の垂直配置の例示的な制御を示すグラフである。
【００２２】
図6に示す特徴を有するフィルタは、構図が例えば下部の地上の部分、下部の地上の部分よりも高い輝度を有する中央の空の部分、および中央の空の部分よりも低い輝度を有する上側の雲の部分、または高層ビルディング間の空の一画を含む構図を含む画像を捕捉するのに有用であり得る。他の例は写真家には容易に思いつくであろう。
【００２３】
フィルタの最低濃度部分を中心とする画像の垂直部分は、ほんとどのデジタルカメラの後面上に配置された4方向制御器ボタンを使用して調整することができる。非限定例として、電子フィルタの最低濃度部分の垂直位置は、3つの例示的な「水平」a、b、およびcの垂直位置を示し、その中心の「水平」(b)が画像フレームの垂直中心における公称水平線(参照符号16に示される)を中心としている図6の参照符号22a、22b、および22cに示すように、カメラの後面上の「アップ」および「ダウン」ボタン14を使用することによって調整することができる。
【００２４】
同様に、フィルタのフィルタ強度(光学濃度)は、図7に示すようにカメラの後面上の「左」および「右」ボタン18を使用することによって調整することができ、グラフは、単一の水平設定に対する3つの異なる例示的なフィルタ勾配曲線24a、24b、および24cを示す。当業者は、カメラ上のこれらのもしくは他の制御ボタンまたは表面を使用してそのような制御機能をデジタルカメラに容易に実装することができるであろう。フィルタの最低濃度部分の幅は、図8のグラフに示すように調整することもでき、その場合、最も広い設定は、フィルタ勾配曲線26a、より広いフィルタ勾配曲線26b、および最も広いフィルタ勾配曲線26cで表される。デジタルカメラ上の機能ボタンは、当技術分野でよく知られているように、アップ、ダウン、左および右ボタンの機能を定義するのに使用することができる。
【００２５】
他の非単調関数を実装するフィルタを本発明により実現できることを当業者は認識するであろう。
【００２６】
リセット関数を行リセット関数として実装するデジタルカメラの画像センサに関して、フィルタはカメラが「横向き」モードで保持されたときだけ働く点において、この技法に本質的な限界があることを当業者は理解するであろう。これはほとんどの横向き写真を対象とし、高解像度デジタルカメラの主要な用途にうまく合う。行および列リセット関数を別々に制御する画像センサは、縦向きまたは横向きのいずれかのモードでの動作を可能にするように構成することができる。
【００２７】
本発明の別の態様によれば、独立カラーチャネルグラデーション濃度フィルタにより、撮像アレイにおける個々のカラー画素センサの光学濃度は、別々に制御することが可能になる。本発明は、本発明の譲渡人であるFoveon, Inc.によって製造される垂直カラー画素センサなどの垂直カラー画素センサを有する撮像アレイに特に適しているが、本発明の動作はそのようなセンサに限定されない。
【００２８】
それに限定されないが画像フレームの下部などの任意の位置に水平が設定されたマルチカラーセンサの別々の色において光学濃度フィルタを別々に制御できる能力により、異なる芸術的効果を実装することが可能になる。
【００２９】
シャッター速度が変化するので、最大露出時間を使用してシャッター速度を計算することは特に有利である。次いで、フィルタ強度を本発明の原理により調整することができる。
【００３０】
本発明を採用した画像センサにおけるフレームにわたってシャッター速度が変化するので、露出時間が短く、高いフィルタ強度を使用した場合、動きアーチファクトが起こることがある。典型的な横向きショットでは、これは問題を生じないはずである。事実、それは有益であり得る。難問の1つは、飛んでいる鳥や急速に動く雲など、空に動きがあるときに前景に対して適切に露出することである。露出ブラケットで撮影された高ダイナミックレンジ(HDR)写真では、これは結果としてストリーキング、二重像などとなる。本発明の電子中性濃度フィルタは、そのような場合に動きを停止させるのに役立ち、HDR技法の別の困難な場合であるそよ風に揺れる木の葉などのアーチファクトの影響を最小限に抑えるのにも役立つ。加えて、そのような動きアーチファクトは、様々な芸術的効果を生じるために意図的に利用できることを当業者は理解するであろう。
【００３１】
本発明による電子濃度フィルタ技法を異なるカラーチャネルに対して別々に使用することによる、図9Aから図9Gまでに示す本発明の一態様によれば、任意のカラーのグラデーションフィルタを作り出すことができる。図9Aはフルスペクトル(白色)フィルタの例を示し、図9Bは赤色フィルタの例を示し、図9Cは緑色フィルタの例を示し、図9Dは青色フィルタの例を示し、図9Eはマゼンタフィルタの例を示し、図9Fはシアンフィルタの例を示し、図9Gは黄色フィルタの例を示す。
【００３２】
図9Aから図9Gまでに見られるように、フィルタは、中性(3つのカラーを等しい量だけ制御することによって)と任意のカラーまたはカラーの組合せとの間で等級分けすることができる。図9Aから図9Gまでに示す例は、例示的なものに過ぎないこと、および個々のRGBフィルタのそれぞれの露出時間は、ゼロから最大露出時間の間で別々に、および場合により無限に可変であることを当業者は容易に理解するであろう。
【００３３】
本発明の独立カラーチャネル濃度フィルタは、電子フィルタにわたる色相のグラデーションを作り出すのに使用することもできる。非限定例として、白黒写真では、地平線より上の空は、黄色の濾過作用を使用して暗くすることができ、地平線より下の青色の花は、青色の濾過作用により明るくされる。
【００３４】
ベイヤーパターンフィルタなどのカラーフィルタアレイを有するセンサ用にそのようなフィルタを製作することが可能である。ベイヤーパターンフィルタでは、アレイの各行は、2つの行リセット制御線を有する必要がある。アレイの1つおきの行は、緑色および赤色の画素ならびに緑色および青色の画素のリセットに対して別々の制御を有する必要がある。
【００３５】
中性濃度フィルタだけが使用されている限り、カリフォルニア州サンタクララのFoveonによって設計されたX3センサなどの垂直カラーセンサは、CFAセンサに勝る利点を何も提供しない。
【００３６】
赤色、緑色、および青色画素の行リセットに対して別々の制御を有する撮像素子にカラーフィルタを使用したとき、CFAセンサは、解像度の損失を被る。X3センサなどの垂直カラーセンサは、3つの独立したR、G、B値を作り出すのに最小面積を必要とする。X3センサなどのセンサは、すべてのカラーが垂直に配列され、別々に制御可能であるので、ベイヤーパターンCFAセンサによって必要とされる面積の1/9しか必要としない。加えて、垂直カラーセンサは解像度の損失を何も被らず、したがって、より高画質の画像を生じる。
【００３７】
次に図10を参照すると、図は本発明を実装することができる例示的なデジタルカメラ30を示す。シーン32は、レンズ34によって機械シャッター36を通して撮像アレイ38上に合焦される。制御回路40は、通常撮像アレイ自体の上に配設される。制御回路40は、当技術分野で周知のようにアレイ内の画素の行および列を動作させるための露出および読出し制御を含む。ユーザは、ユーザインターフェース42を通してカメラ30と相互作用し、カメラ30を制御することができる。
【００３８】
次に図11および図12を参照して、本発明の態様が3色画素センサに関して説明される。本発明による単色画素センサの動作は、複数の可能なカラーのうちのただ1つを検討することによって理解されることを当業者は理解するであろう。図11は、本発明を実装するのに使用することができる例示的な3色画素センサ50の概略図である。例示的なカラーである赤色、緑色、および青色が本発明のこの態様を開示するのに使用されるが、本発明はこれらの特定のカラーの使用に限定されないことを当業者は理解するであろう。画素センサのアレイにおける各画素センサは、アレイ内の行位置および列位置に配設される。画素センサ50は、アレイの行において特定の列位置に配設された複数の画素センサのうちの1つである。
【００３９】
赤色フォトダイオード52が、赤色選択トランジスタ54を通してフローティングノード56に結合される。赤色選択トランジスタ54は、そのゲートが赤色選択線58によって駆動される。アレイ内の行ごとに1つの赤色選択線がある。
【００４０】
緑色フォトダイオード60は、緑色選択トランジスタ62を通してフローティングノード56に結合される。緑色選択トランジスタ62は、そのゲートが緑色選択線64によって駆動される。アレイ内の行ごとに1つの緑色選択線がある。
【００４１】
青色フォトダイオード66は、青色選択トランジスタ68を通してフローティングノード56に結合される。青色選択トランジスタ68は、そのゲートが青色選択線70によって駆動される。アレイ内の行ごとに1つの青色選択線がある。
【００４２】
フローティングノード56は、リセットトランジスタ72を通してリセット電位に結合される。リセットトランジスタ72は、そのゲートが行リセット線74により駆動される。アレイ内の行ごとに1つの行リセット線がある。
【００４３】
フローティングノード56は、フォトダイオード52、60、および66によって蓄積された電荷を読み出すためにソースフォロワトランジスタ76および行選択トランジスタ78を通して列線80に結合される。行選択トランジスタ78は、そのゲートが行イネーブル線82により駆動される。列線80は、当技術分野で知られているように電流源84によって駆動することができる。列線80は、列放電電位を列放電ソースフォロワトランジスタ86のゲートに印加することによって、選択された時間に列放電電位まで放電される。
【００４４】
図12は、本発明の一態様による電子中性濃度フィルタを実装するために画素センサ50に加えられるタイミング信号を示すタイミング図である。図12は、本発明による方法を実装するために画素センサ50の制御線に加えることができる様々な信号を示す。
【００４５】
画像の露出は、一部には、カメラの機械シャッター(図10の符号36)によって制御される。機械シャッターの開閉は、図12のタイミング図における第1のトレース90によって示される。
【００４６】
図12の第2のトレース92は、図11の行リセット線74に加えられる信号を表す。図11に示すタイプの画素センサの通常動作において、各画素は、その画素に関連付けられた選択トランジスタおよびリセットトランジスタを同時にオンにすることによってリセットされる。関連付けられた選択トランジスタがオフになった後、電荷は、機械シャッターが閉じ、さらなる光が撮像アレイに到達するのを阻止するまでフォトダイオード上に蓄積することが可能になる。蓄積された電荷は、被写体の周辺光レベルに必要な露出の長さによる時間に列線を放電した後、読み出される。当業者によって理解されるように、画素センサの暗レベルも、読出しプロセスの間のある時点で読み出される。通常動作において、各画素センサ50をリセットし、読み出す信号のタイミングは、各カラーが同じ時間露出されることを確実にするように選択される。
【００４７】
本発明によれば、画素センサ50に加えられる制御信号のタイミングは、本発明による電子中性濃度フィルタを実装するように変更される。図9の例示的な例において、図示する信号のタイミングは、赤色フォトダイオード52には積分時間t1、緑色フォトダイオード60には積分時間t2、および青色フォトダイオード66には積分時間t3を生じるように選択され、ここで、t1>t2>t3である。リセット、赤色選択、緑色選択、および青色選択信号は行型またはブレード型信号であるので、行(またはブレードを構成する隣接行の群)におけるすべての画素センサ、本明細書に説明する動作は、選択された行またはブレード内のすべての画素センサ50において行われることを当業者は理解するであろう。
【００４８】
図12の検討から分かるように、行リセット信号92は、機械シャッター90の開放の前にアサートされる。赤色選択トランジスタ54は、赤色選択線58上でアサートされる赤色選択信号94によってオンにされる。赤色選択トランジスタ54およびリセットトランジスタ72の両方がオンにされたとき、画素センサ50における赤色フォトダイオード52は、リセット電位に保持される。
【００４９】
赤色選択信号94は、画素センサ50内の赤色フォトダイオード52に積分時間t1を生じるように選択された時間にデアサートされる。積分時間t1は、機械シャッターが閉じたとき終了し、さらなる光が撮像アレイ内の画素センサ50に到達するのを阻止する。
【００５０】
緑色選択トランジスタ62は、緑色選択線64上でアサートされる緑色選択信号96によってオンにされる。緑色選択トランジスタ62およびリセットトランジスタ72の両方がオンにされたとき、画素センサ50における緑色フォトダイオード60は、リセット電位に保持される。
【００５１】
緑色選択信号96は、画素センサ50内の緑色フォトダイオード60に積分時間t2を生じるように選択された時間にデアサートされる。積分時間t2は、機械シャッターが閉じたとき終了し、さらなる光が撮像アレイ内の画素センサ50に到達するのを阻止する。
【００５２】
青色選択トランジスタ68は、青色選択線70上でアサートされる青色選択信号98によってオンにされる。青色選択トランジスタ68およびリセットトランジスタ72の両方がオンにされたとき、画素センサ50における青色フォトダイオード66は、リセット電位に保持される。
【００５３】
青色選択信号98は、画素センサ50内の青色フォトダイオード66に積分時間t3を生じるように選択された時間にデアサートされる。積分時間t3は、機械シャッターが閉じたとき終了し、さらなる光が撮像アレイ内の画素センサ50に到達するのを阻止する。
【００５４】
機械シャッターの閉鎖により、赤色、緑色、および青色フォトダイオード52、60、および66上の光電荷の積分が停止する。これにより、赤色、緑色、および青色フォトダイオード52、60、および66からの蓄積された光電荷の読出しは、画素センサ50内の赤色、緑色、および青色フォトダイオード52、60、および66のリセットタイミングから完全に減結合することが可能になる。読出しは、行選択信号100が高い間、異なるカラー選択信号94、96、および98を使用して示される。列が放電されてから、各カラーが参照符号102に示すように読み出される。
【００５５】
行リセット信号92は機械シャッターが開いたままになっている時間の間ずっとオンである必要はないことに当業者は気付くであろう。機械シャッターが開いている間、赤色選択、緑色選択、および青色選択信号94、96、および98がアサートされている時間の間だけ、行リセット信号をアサートすることが必要である。そのような当業者は、図12に示すように、赤色選択信号94の立ち下がりエッジで開始する最長の積分時間t1は、機械シャッターが完全に開いた後に開始するように設定することができ、機械シャッターの開放における任意のタイミングの変化が積分時間に影響することをなくすようにすることも理解するであろう。この特定の動作モードは極めて速い露出時間に限定され得ることを当業者は理解するであろう。
【００５６】
先述の通り、本発明の1つの有利な側面は、赤色、緑色、および青色フォトダイオード52、60、および66からの蓄積された光電荷の読出しが、任意の寄生電荷漏洩によって課される制限だけを条件として、画素センサ50における赤色、緑色、および青色フォトダイオード52、60、および66のリセットタイミングから完全に減結合されることである。図8に示す特定の画素センサ50では、各カラーの読出しは、列放電トランジスタ86のゲートに対して信号をアサートし、次いで、カラー選択信号94、96、または98のうちの1つをアサートすることによって、第1の列線の放電によって達成される。
【００５７】
次に図13を参照すると、構成図が、本発明による電子グラデーション中性濃度フィルタをデジタルカメラに実装するための例示的なアーキテクチャを示す。撮像回路110は、図11に示す画素センサなどの画素センサの行および列のアレイを含む撮像アレイ112を含む。撮像アレイ112は、行リセット線116、行イネーブル線118、カラー選択線120、および列リセット線122を駆動する信号を供給するアレイ制御回路114によって制御される。ソースフォロワトランジスタが共有されない撮像アレイでは、カラー選択線120は必要でないことを当業者は理解するであろう。
【００５８】
ユーザインターフェース124は、当技術分野でよく理解されているように、カメラを制御するための入力をユーザから受け取る。通常のユーザ入力に加えて、ユーザは、本発明の電子中性濃度フィルタの動作を制御することができる。ユーザコマンドはユーザインターフェース124からアレイ制御回路114に、および論理回路126に送られる。論理回路126の機能は、当技術分野で知られているように、アレイ制御回路114の動作を指示することであり、また、行リセット線116、行イネーブル線118、カラー選択線120、および列リセット線122を駆動する信号のタイミングを制御するために適切なデータをフィルタデータテーブル128に書き込むことによって電子中性濃度フィルタの動作を指示することでもある。フィルタデータテーブル128は、例えば、図4および図5に示すユーザが選択したフィルタ強度および水平配置選択を実装する。フィルタデータテーブル128の数は、実装される電子中性濃度フィルタに実装されるべきカラーの数と相関することに当業者は容易に気付くであろう。そのような当業者は、多項式または他の算術関数などの数学演算を、テーブルと同じ機能を実装するのに使用することができることも理解するであろう。
【００５９】
次に図14を参照すると、流れ図が、本発明による電子グラデーション中性濃度フィルタをデジタルカメラにおいて制御するために使用することができる例示的な方法130を示す。
【００６０】
方法は参照符号132から開始する。参照符号134において、カメラは、典型的には、カメラメニューの選択から中性濃度フィルタモードを選択することによってそのモードに入る。カメラメニューの実装は、当技術分野でよく知られている。参照符号136において、カメラのアップボタンを作動させたのかまたはダウンボタンを作動させたのかが判定される。アップボタンを作動させた場合、プロセスは参照符号138に進み、そこで、水平位置が上方へ移動される。ダウンボタンを作動させた場合、プロセスは参照符号140に進み、そこで、水平位置が下方へ移動される。アップボタンもダウンボタンも作動させなかった場合、プロセスは参照符号142に進み、そこで、カメラの左ボタンを作動させたのかまたは右ボタンを作動させたのかが判定される。左ボタンを作動させた場合、プロセスは参照符号144に進み、そこで、フィルタ強度が減少される。右ボタンを作動させた場合、プロセスは参照符号146に進み、そこで、フィルタ強度が増加される。アップ/ダウンボタンおよび左/右ボタンを感知する順序は任意であり、ボタンのいずれかの対を感知してから他方の対を感知することができることを当業者は理解するであろう。そのような当業者は、ボタン機能の割当ても、ある程度任意であり、ユーザ入力に対する方法の正確な応答は、漸増動作またはスクローリング動作などの所望の動作によることを理解するであろう。
【００６１】
左ボタンも右ボタンも作動させなかった場合、プロセスは参照符号148に進み、そこで、フィルタモードを退出させるコマンドがアサートされたかどうかが判定される。フィルタモードを退出させるコマンドがアサートされた場合、プロセスは参照符号150において終了する。フィルタモードを退出させるコマンドがアサートされなかった場合、プロセスは参照符号136に戻り、アップ/ダウンおよび左/右ボタンのポーリングが再開する。
【００６２】
本発明の他の態様によれば、いくつかのライブビューフレームにより、フィルタの位置および強度を自動的に調整するフィードバックループを実装することも可能である。そのようなフィードバックループの実装により、良好なデフォルトフィルタがもたらされる。次いで、ユーザは、必要に応じて、その位置からデフォルトフィルタを「微調整する」ことができる。そのようなフィードバックループのうちの例示的な1つの実装を図15に示す。
【００６３】
次に図15を参照すると、流れ図が、本発明によるフィルタの位置および強度を自動的に調整するフィードバックループを実装するための例示的な方法160を示す。方法は参照符号162から開始する。
【００６４】
参照符号164において、初期フレーム(例えば、ライブビューフレーム)が、露出され、初期フレームヒストグラムが生成される。参照符号166において、シャドー信号対雑音比が十分であるかどうかが判定される。当技術分野で知られているように、この比は個々の場合によって異なり、個々のカメラモデルごとに選択することができる。
【００６５】
シャドー信号対雑音比が十分でない場合、プロセスは参照符号168に進み、そこで、カメラのグローバル露出が増加される。参照符号170において、新たなフレームが露出され、新たなヒストグラムが新たなフレームから生成される。次いで、プロセスは参照符号166に戻り、そこで、シャドー信号対雑音比が十分であるかどうかが判定される。このループは、シャドー信号対雑音比が十分であることが判定されるまで繰り返される。
【００６６】
参照符号166において、シャドー信号対雑音比が十分であることが判定された場合、プロセスは参照符号172に進み、そこで、公称50%の水平位置を有するグラデーション中性濃度フィルタおよび試験的な濃度レベルが適用される。参照符号174において、新たなフレームが露出され、新たなヒストグラムが新たなフレームから生成される。参照符号176において、画像の任意のハイライトがクリップされているかどうかが判定される。画像の任意のハイライトがクリップされている場合、プロセスは参照符号178に進み、そこで、フィルタ濃度が増加される。次いで、プロセスは参照符号174に戻り、そこで、新たなフレームが露出され、新たなヒストグラムが新たなフレームから生成される。参照符号176において、画像の任意のハイライトがクリップされているかどうかが再度判定される。このループは、画像のハイライトが何もクリップされていないことが判定されるまで繰り返される。
【００６７】
参照符号176において、画像ハイライトが何もクリップされていないことが判定された場合、プロセスは、参照符号180に進み、そこで、現在の画像のヒストグラムスプレッドが測定される。次に、参照符号182において、フィルタの水平点が上げられ、参照符号184において、新たなフレームが露出され、新たなヒストグラムが新たなフレームから生成される。参照符号186において、参照符号184において露出された現在の画像のヒストグラムスプレッドが、参照符号180において判定された前の画像のヒストグラムスプレッドと比較される。参照符号184において露出された現在の画像のヒストグラムスプレッドが、参照符号180において判定された前の画像のヒストグラムスプレッドよりも低い場合、プロセスは参照符号182に戻り、そこで、フィルタの水平点が上げられる。方法は、現在の画像のヒストグラムスプレッドが前の画像のヒストグラムスプレッドよりも高くなるまで参照符号182、184、および186を通ってループする。その時点で、プロセスは参照符号188に進み、そこで、前の水平レベルが回復される。
【００６８】
次いで、プロセスは参照符号190に進み、そこで、フィルタの水平点が下げられる。参照符号192において、新たなフレームが露出され、新たなヒストグラムが新たなフレームから生成される。参照符号194において、参照符号192において露出された現在の画像のヒストグラムスプレッドが前の画像のヒストグラムスプレッドと比較される。参照符号184において露出された現在の画像のヒストグラムスプレッドが、参照符号180において判定された前の画像のヒストグラムスプレッドよりも低い場合、プロセスは参照符号190に戻り、フィルタの水平点が下げられる。方法は、現在の画像のヒストグラムスプレッドが、参照符号188の水平を使用して露出された画像のヒストグラムスプレッドよりも高くなるまで、参照符号190、192、および194を通ってループする。その時点で、プロセスは参照符号196に進み、そこで、前の水平レベルが回復される。方法は参照符号198において終了する。
【００６９】
水平点の移動はシャドー信号対雑音比を変更することができ、それを、この時点で、参照符号166、168、および170に示すように再較正できることを当業者は理解するであろう。画像は、再検討することもでき、参照符号176および178および174を含むループに示すように任意のクリップされたハイライトに対して補正を行うこともできる。
【００７０】
本発明の技法は、「フラットな」露出(カメラの絞り値範囲を0に設定し、露出を撮像素子全体にわたって同じにして行われた露出)を行うために使用できることに当業者は気付くであろう。フラットな露出は、各行においてシャッターブレードターンオフが撮像素子を横断するのと同じ時間だけシャッターターンオフをリードするようにリセットターンオフをプログラムすることによって作り出すことができる。典型的なフォーカルプレーンシャッターは、撮像素子にわたって速度を大幅に変え、したがって、各行にシャッターターンオフ時間を提供するためにシャッターのリセット移動特性の非線形曲線を生成することが必要であることを当業者は理解するであろう。この技法を使用することにより、より安価な、またはより短い露出のフォーカルプレーンシャッターを使用することが可能になり得る。
【００７１】
本発明の実施形態および適用例を示し、説明してきたが、本明細書における発明概念から逸脱することなく上述の変更よりもずっと多くの変更が可能であることが当業者には明らかであろう。したがって、本発明は、添付の特許請求の範囲の趣旨における場合を除いて制限されないものとする。
【符号の説明】
【００７２】
10、12  参照符号
12a、12b、12c  トレース
14  「アップ」および「ダウン」ボタン
16  公称水平線
18  「左」および「右」ボタン
20a、20b、20c  フィルタ勾配曲線
22a、22b、22c  参照符号
24a、24b、24c  フィルタ勾配曲線
26a、26b、26c  フィルタ勾配曲線
30  デジタルカメラ
32  シーン
34  レンズ
36  機械シャッター
38  撮像アレイ
40  制御回路
42  ユーザインターフェース
50  3色画素センサ
52  赤色フォトダイオード
54  赤色選択トランジスタ
56  フローティングノード
58  赤色選択線
60  緑色フォトダイオード
62  緑色選択トランジスタ
64  緑色選択線
66  青色フォトダイオード
68  青色選択トランジスタ
70  青色選択線
72  リセットトランジスタ
74  行リセット線
76  ソースフォロワトランジスタ
78  行選択トランジスタ
80  列線
82  行イネーブル線
84  電流源
86  列放電ソースフォロワトランジスタ
90  第1のトレース、機械シャッター
92  第2のトレース、行リセット信号
94  赤色選択信号
96  緑色選択信号
98  青色選択信号
100  行選択信号
102  符号
110  撮像回路
112  撮像アレイ
116  行リセット線
118  行イネーブル線
120  カラー選択線
122  列リセット線
124  ユーザインターフェース
126  論理回路
128  フィルタデータテーブル
130  方法
160  方法
【図１】
2018007249.tif 000003
【図２】
2018007249.tif 000004
【図３】
2018007249.tif 000005
【図４】
2018007249.tif 000006
【図５】
2018007249.tif 000007
【図６】
2018007249.tif 000008
【図７】
2018007249.tif 000009
【図８】
2018007249.tif 000010
【図９Ａ】
2018007249.tif 000011
【図９Ｂ】
2018007249.tif 000012
【図９Ｃ】
2018007249.tif 000013
【図９Ｄ】
2018007249.tif 000014
【図９Ｅ】
2018007249.tif 000015
【図９Ｆ】
2018007249.tif 000016
【図９Ｇ】
2018007249.tif 000017
【図１０】
2018007249.tif 000018
【図１１】
2018007249.tif 000019
【図１２】
2018007249.tif 000020
【図１３】
2018007249.tif 000021
【図１４】
2018007249.tif 000022
【図１５】
2018007249.tif 000023
【外国語明細書】
2018007249000001.pdf