(57)【要約】本発明は、複数の撮像レンズの組立体（以下、撮像チャンネルという）、および２つ以上の領域に分割しうる電子式ローリングシャッタ（以下、ＥＲＳという）を組み込んだ少なくとも１つのセンサから構成されたデジタルカメラを用いて画像を捕捉するシステムおよび方法に関する。最終的に処理された画像は、２つ以上の撮像チャンネルにより捕捉された細部によって構成される。本発明は、画像を捕捉するシステムおよび方法に関し、より詳細には、２つ以上の開口を有し、該開口においてＥＲＳを撮像センサに組み込んだ高度な撮像システムに関する。
2013546249.tif 000002
【特許請求の範囲】
【請求項１】
異なる撮像チャンネルの画像の間のタイミング差が、前記異なる撮像チャンネルの対応する領域を、最小化される時間差で露光することによって最小化される、複数の撮像チャンネルを有することを特徴とする複数開口のカメラ。
【請求項２】
前記露光が以下のような
｛１，ｎ＋１，２，ｎ＋２，３，ｎ＋３，…，ｎ，２ｎ｝
の順序で配列され、ｎが４以上の整数である２ｎの行の数を有することを特徴とする請求項１に記載の複数開口のカメラ。
【請求項３】
前記露光が以下のような
｛１，２，ｎ＋１，ｎ＋２，３，４，ｎ＋３，ｎ＋４，…，ｎ−１，ｎ，２ｎ−１，２ｎ｝
の順序で配列され、ｎが８以上の整数である２ｎの行の数を有することを特徴とする請求項１に記載の複数開口のカメラ。
【請求項４】
前記露光が以下のような
｛１，２，…，ｘ，ｎ＋１，ｎ＋２，ｎ＋ｘ，ｘ＋１，ｘ＋２，ｘ＋３，ｎ＋１＋ｘ，ｎ＋２＋ｘ，ｎ＋２ｘ……ｎ−ｘ，ｎ−２，ｎ−１，ｎ，２ｎ−ｘ，２ｎ−２，２ｎ−１，２ｎ｝
の順序で配列され、ｎが６以上の整数であり、ｘが３つ以上ｎ未満の整数である２ｎの行の数を有することを特徴とする請求項１に記載の複数開口のカメラ。
【請求項５】
センサが前記異なる撮像チャンネルの対応する領域を同時に露光するための２つ以上の露光メカニズムを含む２ｎの行の数を有することを特徴とする請求項１に記載の複数開口のカメラ。
【請求項６】
複数の露光メカニズムによって設定された露光時間は、異なることを特徴とする請求項５に記載の複数開口のカメラ。
【請求項７】
前記センサの領域の読出しを１つの読出しラインと組合わせることを特徴とする請求項５に記載の複数開口のカメラ。
【請求項８】
前記組合わせているメカニズムは、画素行の情報の格納を可能にする少なくとも１つのメモリバッファを含むことを特徴とする請求項７に記載の複数開口のカメラ。
【請求項９】
各撮像チャンネルは、別々の単一のセンサを含み、それぞれの前記撮像チャンネルのセンサは、露光について同期されることを特徴とする請求項１に記載の複数開口のカメラ。
【請求項１０】
少なくとも１つの前記撮像チャンネルは、ニュートラルフィルタを含むことを特徴とする請求項１に記載の複数開口のカメラ。
【請求項１１】
少なくとも１つの前記撮像チャンネルは、クロマティックフィルタを含むことを特徴とする請求項１に記載の複数開口のカメラ。
【請求項１２】
少なくとも１つの前記撮像チャンネルは、偏光フィルタを含むことを特徴とする請求項１に記載の複数開口のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像レンズの組立体（以下、撮像チャンネルという）、および２つ以上の領域に分割しうる電子式ローリングシャッタ（以下、ＥＲＳという）を組み込んだ少なくとも１つのセンサから構成されたデジタルカメラを用いて画像を捕捉するシステムおよび方法に関する。最終的に処理された画像は、２つ以上の撮像チャンネルにより捕捉された細部によって構成される。
【０００２】
本発明は、画像捕捉するシステムおよび方法に関し、より詳細には、２つ以上の開口を有し、該開口においてＥＲＳを撮像センサに組み込んだ高度な撮像システムに関する。
【背景技術】
【０００３】
ＣＭＯＳ  ＡＰＳデバイスのイメージセンサアレイでは、露光時間とも呼ばれる積分時間は、露光を始める画素の任意の行のリセットと、連続的な読出しまたは露光を終える行の読出しとの間の間隔である。１つの行しか一度に選択されないのでリセット／読出しのルーチンは、順次的である（いわゆる、行ごと）。この制限は、読出し技術の基礎において「ローリング電子式シャッタ」またはより簡潔に「ローリングシャッタ」モードと呼ばれ、撮像技術でよく知られる。
【０００４】
ローリングシャッタ時間の順序付けにおける、幾つかの変形例は、特許文献１および特許文献２で与えられる。
【０００５】
特許文献３は、２つのコンポーネントのサブセットがアレイのパーティションを形成するセンサアレイの位置を開示する。１つのコンポーネントのサブセットは、他のコンポーネントのサブセットとは関係なく、リセットされ、露光され、読出される。別々にアドレス可能なコンポーネントのサブセットへの画素のこの配置は、撮像が同じシーンコンテントの２つの別々の画像を捕捉することを可能にし、それぞれ、ローリング読出しタイミングを使用して、異なる時間の間隔で捕捉される。したがって、２つの一連のローリングシャッタの読出し順番付けは、イメージセンサ全体を読出すことが必要とされ、１つは、１つのコンポーネントのサブセットを読出し、他方は、他のサブセットを読出す。
【０００６】
特許文献４は、異なった視点からの複数の個眼像を形成するため被写体からの光を集光する複数の光学レンズと、前記複数の光学レンズによって形成される複数の個眼像を撮像する固体撮像素子と、読出し方向に沿って固体撮像素子から複数の個眼像を読出すローリングシャッタと、ローリングシャッタによって固体撮像素子から読出された複数の個眼像を比較することによって被写体の動きを検出する動き検出手段とを備える動き検出撮像装置に関する。
【０００７】
特許文献５は、空間解像する光電子センサ装置を稼動するための方法に関し、その光電子センサ装置は、複数の感光性センサ要素から成るセンサ面を備え、更に記録光学系を備え、この記録光学系がこの記録光学系により検出される周囲状況内の空間的な光分布をアクティブなセンサ面上に形成し、この際、各々の部分量のセンサ要素が、入射する光の集積のために割り当てられた活動化インターバルの各々の継続時間の間、周囲状況の対応的な部分画像を生成するために活動化され、更に照明装置を備え、この照明装置が、活動化インターバルと時間的な関連をもち、記録光学系により検出される周囲状況を、少なくとも時間及び領域ごとに、センサ要素により集積可能な波長領域の光を用いて照明する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第６，１１５，０６５号明細書
【特許文献２】米国特許第６，８０９，７６６号明細書
【特許文献３】国際公開第２０１０／０５９１８２号パンフレット
【特許文献４】米国出願公開第２００８／０２４０５０８号明細書
【特許文献５】米国特許第７，１５１，２５９号明細書
【発明の概要】
【０００９】
本発明の目的は、異なる撮像チャンネルの露光の間の時間差を生来するＥＲＳにより起こる問題を解決することである。
【００１０】
本発明の他の目的は、ラインにおけるカメラにより捕捉された画像の処理を可能にし、さらに最終画像を処理するために必要とされるメモリバッファにおける行の数を最小化できる。
【００１１】
複数開口のデジタルカメラという用語は、開口およびレンズ素子をそれぞれ有する少なくとも１つの撮像レンズで構成されるカメラを意味するものとする。
【００１２】
発明者は、異なる撮像チャンネルの露光間の時間差を生来するＥＲＳにより起こる問題は、ＥＲＳの改良により解決されうることを発見した。異なる撮像チャンネルが異なる時間差で露光されると、動いているシーンの被写体は、静止したシーンの周りに関する画像の異なる位置において現れる。位置の差は、最終処理画像にアーチファクトを生来させる可能性がある。撮像チャンネルがカラー写真撮影を可能にするクロマティックフィルタ（chromatic filter）を組み込む場合、アーチファクトは、クロマティックの性質を有する。
【００１３】
発明者は、シーンの任意部分からの情報が、すべての撮像センサのセンサから連続的に読出されることで処理ユニットがシーン部分に対応する最終画像部分を処理することが可能になるので、最終的に撮像するインラインクリエイション（in-line creation）を可能にするように、ＥＲＳが改良されなければならないことも発見した。
【００１４】
本システムにおける複数開口を使用することで、サイズをより小さくし、より深い被写界深度を有し、クロマティックフィルタおよび設計に応じたより良い画質を有する。
【００１５】
システムは、システムに集積される少なくとも１つのカラーフィルタを含む。システムは、システムに集積される少なくとも１つの偏光フィルタを含む。システムは、システムに集積される少なくとも１つのニュートラルフィルタ（neutral density filter）を含む。本システムの一実施形態では、撮像チャンネルは、単一の撮像ディテクタ上に形成する。２つ以上の最初画像は、他の最初画像と比較して弱い光強度の信号を有する。２つ以上の最初画像は、他の最初画像と比較して強い光強度の信号を有する。本発明の一実施形態では、少なくとも２つの撮像チャンネルは、クロマティックフィルタを含み、少なくとも１つの追加の撮像チャンネルは、クロマティックフィルタと比較して広いスペクトル伝送を有する。これは、特別な特徴を有するカラーまたはモノクロ画像を生成する能力をもたらす。
【００１６】
システムは、より高いダイナミックレンジを有する最終画像を形成するように最初画像を追加するためのアルゴリズムを含みうる。システムは、異なるＦ値を有する少なくとも２つのレンズを含みうる。システムは、同じ距離で焦点を合わせられる少なくとも２つのレンズ、または異なる距離で焦点を合わせられる少なくとも２つのレンズを含みうる。
【００１７】
本発明によれば、集光される反射されまたは放出された光を、少なくとも２つのレンズを介してシーンからディテクタへ伝送するステップと、ディテクタの異なる位置における少なくとも２つの画像を形成するステップと、画像全体を形成するようにディテクタ上で受信された少なくとも２つの画像を処理するステップとを含む撮像方法が提供される。
【００１８】
本発明によれば、センサにおける各ラインの露光の順序が、各撮像チャンネルによって形成された画像に従い設定されるシステムが提供される。
【００１９】
本発明の実施形態によれば、異なる撮像チャンネルの画像の間のタイミングの差が、最小化された時間差で異なる撮像チャンネルの対応する領域を露光することで、最小化される複数の撮像チャンネルを有する複数開口のデジタルカメラである。
【００２０】
これは、アーチファクトを最小化し、１つまたは幾つかの行から読出した直後、最終画像の構成を可能にし、メモリバッファにおける多数の行を格納する必要性を除去する。
【００２１】
別の実施形態によれば、前述の複数開口のカメラは、露光が以下のような｛１，ｎ＋１，２，ｎ＋２，３，ｎ＋３，…，ｎ，２ｎ｝の順序で配列され、ｎが４以上の整数である２ｎの行の数を有する。このような読出し順序は、アーチファクトを最小化し、１つまたは幾つかの行から読出した直後、最終画像の構成を可能にし、メモリバッファにおける多数の行を格納する必要性を除去する。上述された順序は、Ｍが、センサの上部における撮像チャンネルの画像およびセンサの下部における撮像チャンネルの画像が同じサイズでありまたは少なくとも同じ垂直寸法を有する、０より大きい任意の整数である２×Ｍの開口を有する複数開口のカメラに言及する。撮像チャンネルの上下の画像が同じサイズでないより一般的なケース、上下の画像における対応する領域の間の時間差が最小となるように、露光の順序は設定される。
【００２２】
別の実施形態によれば、前述の複数開口のカメラは、露光が以下のような｛１，２，ｎ＋１，ｎ＋２，３，４，ｎ＋３，ｎ＋４，…，ｎ−１，ｎ，２ｎ−１，２ｎ｝の順序で配列され、ｎが８以上の整数である２ｎの行の数を有する。このような読出し順序は、より早い読出しを可能にし、順序を形成する画像の分解能が静止画を捕捉するために使用されるセンサの分解能より低い、ビデオの目的のため最終画像のサイズを減少させるために読出しデータに適用されるビニングに対してより相応しい。
【００２３】
別の実施形態によれば、前述の複数開口のカメラは、露光（フィルムがしっくりくが）が以下のような｛１，２，…，ｘ，ｎ＋１，ｎ＋２，ｎ＋ｘ，ｘ＋１，ｘ＋２，ｘ＋３，ｎ＋１＋ｘ，ｎ＋２＋ｘ，ｎ＋２ｘ……ｎ−ｘ，ｎ−２，ｎ−１，ｎ，２ｎ−ｘ，２ｎ−２，２ｎ−１，２ｎ｝の順序で配列され、ｎが６以上の整数であり、ｘが３つ以上ｎ未満の整数である２ｎの行の数を有する。このような読出し順序は、より早い読出しを可能にし、順序を形成する画像の分解能が静止画を捕捉するために使用されるセンサの分解能より低い、ビデオの目的のため最終画像のサイズを減少させるために読出しデータに適用されるビニングに対してより相応しい。
【００２４】
別の実施形態によれば、前述の複数開口のカメラは、センサが異なる撮像チャンネルの対応する領域を同時に露光するための２つ以上の露光メカニズムを含む２ｎの行の数をを有する。このようなセンサの利点は、異なる撮像チャンネルの画像の間のタイミング差が最小化された時間差で異なる撮像チャンネルの対応する領域を露光することによって最小化されることである。最小化は、理論上０秒まで減少される。
【００２５】
前述の複数開口のカメラの別の実施形態によれば、複数の露光メカニズムによって設定された露光時間は、異なる。前述の複数のメカニズムを使用することの利点は、各撮像チャンネルが異なる露光時間を有することが可能であることである。カラー撮像の場合、３つ以上の撮像チャンネルがクロマティックフィルタを組み込むと、異なる撮像チャンネルへ設定された異なる露光時間は、幾つかの撮像チャンネルを別に露光することによってホワイトバランス（white balance）補正を可能にする。他は、プレビューモード（preview mode）で捕捉される画像のように、露光の前に捕捉される異なる画像における実信号に従い、事前に定義された値に従う。前述の複数のメカニズムを使用することの別の利点は、異なる画像が別に露光されることが可能であり、複数の撮像チャンネルからの情報を使用することによって、画像のダイナミックレンジを拡大することを可能にすることである。
【００２６】
前述の複数開口のカメラの別の実施形態によれば、センサ領域の読出しは、１つの読出しラインと組合せられる。このような組合せられることの利点は、１つの出力チャンネルがセンサから情報を伝送するように使用されうることである。
【００２７】
前述の複数開口のカメラの別の実施形態によれば、前述の組合せているメカニズムは、画素行の情報の格納を可能にする少なくとも１つのメモリバッファを含む。このようなメモリバッファを含むことの利点は、２つ以上の撮像チャンネルの２つ以上の読出しが１つのより長い読出しラインと組合せることができることである。
【００２８】
前述の複数開口のカメラの別の実施形態によれば、各撮像チャンネルは、別々の単一のセンサを含み、それぞれの撮像チャンネルのセンサは、露光について同期される。これは、アーチファクトを最小化し、１つまたは幾つかの行から読出した直後、最終画像の構成を可能にし、メモリバッファにおける多数の行を格納する必要性を除去する。
【００２９】
前述の複数開口のカメラの別の実施形態によれば、少なくとも１つの撮像チャンネルは、ニュートラルフィルタを含む。ニュートラルフィルタを含むことの利点は、すべての撮像チャンネルに対する同じ露光時間を使用すると、より良いダイナミックレンジの拡大が複数の撮像チャンネルの画像の使用を可能にすることである。
【００３０】
別の実施形態によれば、前述の複数開口のカメラの少なくとも１つの撮像チャンネルは、偏光フィルタを含む。このようなフィルタを含むことの利点は、水、自動車、窓などの平坦な表面からの反射を減少したり、除去したりすることである。少なくとも１つの撮像チャンネルに、クロマティックフィルタを含めることも可能である。
【００３１】
本発明はさらに、１つ以上の対称中心を有する画素の集光能力を増加させるための複数レンズのカメラに使用するためのマイクロレンズ（micro lens）に関する。このようなマイクロレンズでは、対称中心の数は、レンズの数に依存することが望ましい。それぞれの対称中心は、反対側のレンズの中心に向かうように生成されるのが望ましく、レンズは、対応する対称中心を含むサブ画像の整列に関連付けられる。一実施形態では、マイクロレンズアレイの整列は、サブ画像の整列に関連付けられる。
【００３２】
上述したような複数開口を含む撮像システムでは、各レンズおよびレンズが形成するセンサの領域を、以下撮像チャンネル（imaging channel）と呼ぶ。
【００３３】
デジタルカメラは、各チャンネルの撮像レンズが他のチャンネルの撮像レンズとは異なる、２つ以上の撮像チャンネルから構成する。
【００３４】
レンズの焦点距離は、レンズが、無限遠に位置付けられた被写体を形成する距離によって定義される。
【００３５】
レンズのＦ値は、レンズの開口によって設定された入射瞳の直径で除算された焦点距離として定義される。
【００３６】
理想的な複数開口のデジタルカメラシステムは、センサにおける全ての画素の露光時間が同時になるように設定するグローバル電子シャッタ（global electronic shutter）を組み込む。
【００３７】
また視野全体の可変Ｆ値を有するレンズを使用するように提案され、各レンズについて、より高い変調を有する各レンズの領域は、より低いＦ値も有し、したがって変調の制限はより高くなる。
【００３８】
電話、タブレットコンピュータ、ラップトップ、その他のデバイスに使用されるような最低限のコストのデジタルカメラは、グローバルシャッタに関し、より長い露光距離を可能にする電子ローリングシャッタを有するＣＭＯＳセンサを含む。
【００３９】
既知のＥＲＳは、センサにおける第１のラインを露光することによって開始し、第２のライン、第３以降も後に続く。第１のラインの露光が終了した後、第１のラインの信号値は、センサから読出される。第２のライン以降も後に続く。
【００４０】
本発明によれば、ＥＲＳは、連続しない順序でセンサの行を読出すように設計され、第１の行は露光され、異なる撮像チャンネルによる画像のようにシーンの同じ部分に対応する別の行が後に続く。
【００４１】
本発明は、様々な撮像システムに適用されうるシステムおよび方法に関する。システムおよび方法は、高品質の撮像を提供し、さらに他のシステムおよび方法と比較してカメラの全長を大幅に減少させる。
【００４２】
詳細には、本発明の目的は、画像を捕捉するデバイスを改良するシステムおよび方法を提供することである。これは、レンズをそれぞれ使用する２つ以上のレンズを使用することによって達成される。各レンズは、シーンの小さな画像を形成する。各レンズは、シーンの小さな画像を形成する。各レンズは、シーンにおける被写体から放出されまたは反射された光をディテクタにおける比例した領域上へ伝達する。各レンズの光学トラックは、放出されまたは反射された光が投影されるディテクタのセグメントに比例する。したがって、より小さいレンズを用いると、本明細書では以下、ディテクタの有効な領域と呼ばれる、放出されまたは反射された光が投影されるディテクタの領域は、より小さくなる。ディテクタが各レンズに対して個別に有効であるとき、形成された各最初の画像は、画像全体を形成する１つのレンズを用いることと比較して、著しく小さい。放出されまたは反射された光を１つのレンズのカメラにより、ディテクタの領域全体上へ伝達する。
【００４３】
完全なセンサのアクティブ領域をカバーする大きな画像を形成するように単一のレンズを用いる代わりに、２つ以上のレンズが使用され、そこで各レンズは、センサのアクティブ領域の一部分だけカバーする小さい画像を形成する。イメージセンサは、イメージセンサのアクティブ領域における任意のカラーマスクを有しない。代わりに、各レンズは、光学バレル（optical barrel）内に集積され、レンズの前（レンズとシーンとの間）の、レンズとセンサとの間の、または特定のレンズと共に使用されるセンサ部分の頂上に位置する、カラーフィルタを有する。
【００４４】
ほとんどのＣＭＯＳセンサは、センサ上の行の露光の間の時間差を結果として生じるローリングシャッタを有する。
【００４５】
ローリングシャッタは、画像捕捉の方法に関し、各フレームは、時間通りに単一ポイントのスナップショットから記録されないが、垂直、または水平のどちらかのフレームに渡って走査することにより幾分記録される。たとえ再生中に同時にフレーム全体が表示されたとしても、センサの全ての部分が正確に同じ時間に記録されるわけではない。これは、動きが早い被写体の予測可能なゆがみ、またはセンサが光の急速なフラッシュを捕捉する場合のゆがみを生み出す。影響は、カメラおよびシーンの双方が静止している場合、目立たないが、関連する動きは、写真撮影者の手の不安定さ、またはシーンで動いている被写体によって現れる。ローリングシャッタは、センサ上の異なる２つの行を露光する間の時間差において、被写体、またはカメラが位置および方向を変動させてしまうという事実によって引き起こされる、画像におけるずれを生じる。
【００４６】
複数開口のカメラを使用すると、異なる行がシーンにおける同じ点、しかし異なるクロマティックフィルタを含む異なる撮像チャンネルを介した画像を表すので、問題は、より重大になる。全てのまたは幾つかのチャンネル上でクロマティックフィルタを使用すると、出来上がった画像は、カラースミアおよび異なるカラーにおける画像の重なりに悩まされる。
【００４７】
この問題を解決するため、連続したラインの物理的な順番（例えば、１，２，３など）に従い連続したラインを露光することの代わりに、ライン１を読出し、シーンにおける、しかし異なるクロマティック情報を表す異なる撮像チャンネルにおいて、同じ領域に対応するラインを読出した後、クロマティックフィルタが幾つかまたは全ての撮像チャンネルに適用される場合、ライン２およびライン２に対応するラインへ続くような方法で、センサの行または列の露光の順序を変更することを提案する。
【００４８】
提案される露光順序をより理解し易くするために例を挙げる。４レンズカメラでは、センサの左上部分における緑色フィルタチャンネルと、センサの右上部分における赤色フィルタチャンネルと、センサの左下部分における青色フィルタチャンネルと、センサの右下部分におけるホワイトボードフィルタチャンネルとを有し、センサが１０００行を有し、読出し順序を
１，５０１，２，５０２，３，５０３，４，５０４，…
とすることを推定する。
【００４９】
概要は１つの行に限られず、複数の概要となり得る。例えば、画像の上部の領域から２つの行を読出し、下部から２つ読出す。
１，２，５０１，５０２，３，４，５０３，５０４，…
【００５０】
センサの読出し順序を改良することは、１つの最終的に処理されたカラー画像を形成するように全てのサブ画像をスティッチするために必要とされ要求されるメモリバッファの最小化となる、別の利点を有する。読出し順序がラインごとに伝送するセンサを変化させない場合、特定の行に関連する全ての画素を読出し終わる前に、最終画像の十分に処理された行を除去できないため、少なくとも半分のセンサの画素の数のメモリバッファを必要とする。上記の例では、ラインの１つを読出した後、緑および赤の情報だけを有し、ライン５０１を読出した後、同じ行だけに対応する青の情報を有するので、第１の行の情報を除去できなかった。これは、上記の例で５００行であるフレーム全体のサイズの少なくとも半分である大きいメモリバッファを必要とする。
【００５１】
複数開口のカメラが、全てのシーンの情報が低い分解能において必要とされるプレビューモードで操作する予定の場合、行の読出し、または行を読出すとわずかの画素がスキップし、また情報（ビニングとしても知られる）の１つのセルを形成するように画像のグループを平均化することを可能にすることに留意する。本発明によれば、したがって改良された露光の順序および読出しの順序を有するセンサの設計の使用が望ましい。
【００５２】
上述したような改良したローリングシャッタを有するセンサの設計および製造は、全ての命令および読出しが上述したような不連続の方法でマップ化されるので、センサの回路を改良することで達成される。
【図面の簡単な説明】
【００５３】
本発明は、添付図面の記載により説明される。しかしながら、本発明は、本明細書に開示された特定の実施形態に制限されず、これらの実施形態は説明の目的のために過ぎない。
【図１】単一レンズカメラの側面図を示す図である。
【図２】複数ピクセルを有するセンサアレイ（２０１）を示す図である。
【図３】１つのセンサおよび３つのレンズを有する３レンズカメラの側面図を示す図である。
【図４】センサ上へ投影されるようなシーン例を示す図である。
【図５】３つの領域に分かれた１つの長方形のセンサを用いる３レンズカメラの正面図を示す図である。
【図６】１つのセンサ、１つの大きなレンズ、および２つの小さいレンズを有する３レンズカメラの正面図を示す図である。
【図７】１つのセンサ（７００）および４つのレンズを有する４レンズカメラの正面図を示す図である。
【図８】４つの領域を有し、図７に示されるような４つのレンズをそれぞれ含む１６レンズカメラを示す図である。
【図９】従来技術によるセンサを示す図である。
【図１０】本発明によるセンサを示す図である。
【発明を実施するための形態】
【００５４】
図１は、少なくとも１つの素子および単一のセンサ（１０１）を備えうる単一レンズ（１０２）を有する単一レンズのカメラの側面図を示す。図２は、緑色フィルタ、赤色フィルタ、および青色フィルタの位置を、それぞれ、（２０２）、（２０３）および（２０４）によって符号付けされた複数の画素を有するセンサアレイ（２０１）を示す。この構成を用いて得た画像を、緑色、赤色、および青色の画像に分離するために処理する必要がある。
【００５５】
図３は、１つセンサ（３１０）および３つのレンズ（３０１）、（３０２）および（３０３）を有する３つのレンズのカメラの側面図を示す。これらレンズの各々１つは、同じシーンの画像を、（３１１）、（３１２）および（３１３）によって符号付けされたセンサのセグメントへ投影する。３つのレンズの各々１つは、レンズ内に、レンズの前方、またはレンズとセンサ（３１０）との間に一体化された異なるカラーフィルタを有する。このような構成を用いて、センサによって取得された画像は、２つ以上のより小さい画像から構成され、その各々はそのシーンからの、異なるスペクトルにおける撮像情報を有する。
【００５６】
図４は、センサ（４０１）へ投影されたシーンの一例を示し、センサ（４０２）、（４０３）および（４０４）の各領域において、同じシーンが投影されるものの、各領域は、各領域における画像を形成するレンズ内に一体化されたフィルタに従い、異なる色を表す異なる波長の光についての情報を含む。
【００５７】
記載された構成は、カラーマスク（color mask）の使用が必要とされず、したがって、センサによって解像されうる最大の空間周波数は、より高くなる。
【００５８】
このような構成は、カラーマスク（color mask）の使用を必要とせず、したがって、センサによって解像されうる最大の空間周波数は、より高くなる。他方で、チャンネルごとにより小さいレンズおよびより小さい有効領域を用いることは、レンズの焦点距離がより短くなることを必然的に意味し、故に、被写体空間の空間分解能は、減少される。全体として、各色に対し最大限解像できる分解能は、同様に維持する。
【００５９】
センサによって取得された画像は、それぞれ同じシーンだが異なる色の情報を含む、２つ以上のより小さい画像から成る。完全な画像は、処理され、３つ以上のより小さい画像に分離され、および一緒に組合されて１つの大きなカラー画像になる。
【００６０】
以上に記載した撮像方法は、多くの利点を有する。  
１．用いられるレンズの各々１つとして、同様の視野をカバーする単一レンズより寸法を小さくする。各レンズの全トラック（高さ）を、より小さくなり、それにより、カメラの高さをより小さくすることが可能であり、携帯電話のカメラ、ノートパソコンのカメラ、および短い光学トラックが要求される他の応用にとって重要な要素となりうる。  
２．カラーのアーチファクトの減少  
各色が別々に捕捉されるので、カラーマスクにおける各色の空間的依存性から生じるアーチファクトは、出現しないであろう。  
３．レンズに対する要求：  
各レンズは、用いられる全てのスペクトルに対して最適でなくとも、１つのスペクトルだけでよく、レンズの設計を簡素化し、および、おそらく、色補正が必要とされないので各レンズにおいて用いられる素子の個数を減少させることができる。  
４．より深い焦点深度：  
システムの焦点深度は、そのシステムの焦点距離に依存する。より小さいレンズはより短い焦点距離で用いるので、焦点深度は、２乗の倍率で増加させる。  
５．焦点メカニズムが不要であること：  
焦点メカニズムは、レンズとセンサとの間の距離を変化させて、被写体の距離における変化を補償し、および露光時間中に所望の距離が合焦されていることを保証する。このようなメカニズムは、コストがかかり、以下のような多くの他の欠点を有する。  
a. サイズ  
b. 消費電力  
c. シャッターの遅れ  
d. 信頼性  
e. 価格
【００６１】
赤色、緑色、および青色（または他の色）のそれぞれの色に対して用いられる３つのレンズに加えて４番目のレンズを広いスペクトルの伝送で用いることによって、センサのダイナミックレンジを増大することができ、および低光状態でのカメラの信号対雑音性能を改良する。
【００６２】
４番目のレンズ素子を用いる上述した全構成は、２つ以上のレンズを有する他の構成に適用できる。
【００６３】
提案される別の構成では、カラーマスクが一体化され、またはバイヤマスクなどがセンサの上部に配置された１つのセンサを有する２つ以上のレンズを用いる。このような構成では、カラーフィルタは、各レンズチャンネルに一体化されず、およびすべてのレンズは、特定のレンズに対応するセンサ領域上にカラー画像を生成する。得られた画像を処理して、センサへ投影される２つ以上のカラー画像を組合せた１つの大きな画像を形成する。
【００６４】
３レンズカメラ  
センサのアクティブ領域を、赤色、緑色、および青色（または、他のカラー）のそれぞれカラーに対して１つずつ３つの領域に分割することは、以下の図に示されるように３つのレンズを配置することで達成されうる。出来上がった画像は、異なるカラーにおける同じシーンの情報をそれぞれ含んだ３つの小さい画像で構成される。このような構成は、３つのレンズを備え、各レンズの焦点距離は、カラーフィルタアレイを使用するに等しい単一のレンズの９分の４であり、これらの値は、４対３のアスペクト比のセンサを想定させる。
【００６５】
図５は、３つの領域（５０１）、（５０２）および（５０３）に分割された１つの長方形センサ（５００）を用いる３つのレンズのカメラの正面図を示す。３つのレンズ（５１１）、（５１２）および（５１３）のそれぞれは、レンズの中、レンズの前方、またはレンズとセンサとの間に一体化された異なるカラーフィルタを有し、同じシーンだが、異なる色の画像を形成する。この例では、センサの各領域（５０１）、（５０２）および（５０３）は長方形であり、その長方形の長手方向の寸法は、センサ全体の長手方向に対して直角である。
【００６６】
他の３つのレンズの構成は、より大きい緑色フィルタレンズ、および青色および赤色に対する２つのより小さいレンズを用い、このような構成によって、緑色チャンネルにおいては、より多くの画素が用いられるので、より高い空間分解能をもたらす。
【００６７】
図６は、１つのセンサ（６００）、１つの大きいレンズ（６１３）、および２つの小さいレンズ（６１１）および（６１２）を有する３つのレンズのカメラの正面図を示す。２つの小さいレンズによって、（６０１）および（６０２）の符号がそれぞれ付されたセンサのセグメント上に画像を形成するのに対して、大きいレンズ（６１３）を用いて、（６０３）によって符号付けされたセンサのセグメント上に画像を形成する。大きいレンズ（６１３）は、２つの小さいレンズ（６１１）および（６１２）が、青色フィルタおよび赤色フィルタをそれぞれ用いるのに対して、大きいレンズ（６１３）は、緑色フィルタを用いることができる。他のカラーフィルタを各レンズに対して用いることもできる。
【００６８】
４レンズカメラ  
図７に１つのセンサ（７００）、および４つのレンズ（７１１），（７１２），（７１３），（７１４）を有する４レンズカメラの正面図を示す。各レンズは、（７０１），（７０２），（７０３），（７０４）の符号がそれぞれ付された、対応するセンサ領域に画像を形成する。レンズのそれぞれ１つは、レンズの内側に、レンズの前に、またはレンズとセンサとの間にカラーフィルタと共に集積される。全ての４つのレンズは、異なるカラーフィルタに集積され、また代わりに４つのレンズのうち２つは、レンズの内側に、レンズの前に、またはレンズとセンサとの間に集積される同じカラーフィルタを有する。例えば、２つの緑色フィルタ、青色フィルタ、および１つの赤色フィルタを使用することは、緑色スペクトルにおけるより多く集光する。
【００６９】
Ｍ×Ｎレンズカメラ  
３つ以上のＭまたは／およびＮは、より高い小型化する要素および焦点深度のより高い増加を可能にする。
【００７０】
図８に、図７に示したような４つのレンズをそれぞれ含む４つの領域（８０１），（８０２），（８０３）および（８０４）を有する１６つのレンズのカメラを示す。
【００７１】
図９に４象限に分割されるスタンダードＥＲＳ（standard ERS）を有する従来技術（９００）によるセンサを示し、三角形の被写体（９０６）は、４つの撮像チャンネルを介して各象限（９０１−９０４）へ撮像され、矢印９０５は、三角形の被写体（９０６）の動きの方向を表す。スタンダードＥＲＳの使用の結果、上の２つの象限（９０１），（９０２）における三角形の被写体（９０６）の位置は、下の２つの象限（９０３），（９０４）における三角形の被写体（９０６）の位置と比べて異なる。
【００７２】
図１０に露光および読出しの順序を有する本発明によるセンサを示す。
この例では、複数開口のカメラは、４つの撮像チャンネルから構成される。スタンダードＥＲＳは、１，２，３，…，ｎ，ｎ＋１，ｎ＋２，…，２ｎ−１，２ｎの順番で露光する。本発明によれば、露光は、１，ｎ＋１，２，ｎ＋２，３，ｎ＋３，…，２ｎで設定される。
【００７３】
第１の実施形態  
第１の実施形態では、システムは、センサの左上部分における緑色フィルタチャンネルと、センサの右上部分における赤色フィルタチャンネルと、センサの左下部分における青色フィルタチャンネルと、センサの右下部分におけるホワイトボードフィルタチャンネルとを有する４つの開口を有し、センサが１０００行を有し、読出し順序を
１，５０１，２，５０２，３，５０３，４，５０４，…，５００，１００
とすることを推定する。
【００７４】
第２の実施形態  
第１の実施形態では、システムは、９つの開口を有し、センサが１５００行を有し、読出し順序を
１，５０１，１００１，２，５０２，１００２，３，５０３，１００３，…，５００，１００，１５００  
とすることを推定する。
【図１】
2013546249.tif 000003
【図２】
2013546249.tif 000004
【図３】
2013546249.tif 000005
【図４】
2013546249.tif 000006
【図５】
2013546249.tif 000007
【図６】
2013546249.tif 000008
【図７】
2013546249.tif 000009
【図８】
2013546249.tif 000010
【図９】
2013546249.tif 000011
【図１０】
2013546249.tif 000012
【国際調査報告】
2013546249.tif 000013
2013546249.tif 000014
2013546249.tif 000015