(57)【要約】欠陥のあるカメラアレイ、光学アレイ、および／またはセンサを検出するためのシステムおよび方法が、説明される。一実施形態は、カメラアレイを使用して像データを捕捉するステップと、捕捉された像を複数の対応する像領域に分割するステップと、捕捉された像内の像領域を評価することによって、カメラのいずれか内の局在欠陥の存在を識別するステップと、像領域の具体的セット内の局在欠陥の数が所定の閾値を超えるとき、像処理システムを使用して、欠陥のあるカメラアレイを検出するステップとを含み、像領域の具体的セットは、少なくとも、捕捉された像のサブセットからの共通の対応する像領域と、所与の像内の該共通の対応する像領域内の画素からのエピポーラ線に沿った所定の最大視差シフト距離内に位置する少なくとも１つの画素を含有する、所与の像内の任意の付加的像領域とによって形成される。
2015534734.tif 000002
【特許請求の範囲】
【請求項１】
像処理システムを使用して、欠陥のあるカメラアレイを検出するための方法であって、前記カメラアレイは、複数のカメラを備え、
前記方法は、
前記複数のカメラを使用して、既知の標的の像データを捕捉するステップであって、前記像データは、複数の像を形成する、ステップと、
前記像処理システムを使用して、前記複数の像のそれぞれを複数の対応する像領域に分割するステップと、
前記像処理システムを使用して、少なくとも１つの所定の局在欠陥基準に従って、前記複数の像内の像領域を評価することによって、前記複数の前記カメラのうちの少なくとも１つにおける少なくとも１つの局在欠陥の存在を識別するステップと、
前記像領域の具体的セット内の局在欠陥の数が所定の閾値を超えるとき、前記像処理システムを使用して、欠陥のあるカメラアレイを検出するステップであって、前記像領域の具体的セットは、
少なくとも、前記複数の像のサブセットからの共通の対応する像領域と、
所与の像内の前記共通の対応する像領域内の画素からのエピポーラ線に沿った所定の最大視差シフト距離内に位置する少なくとも１つの画素を含有する、所与の像内の任意の付加的像領域と
によって形成され、前記エピポーラ線は、前記所与の像を捕捉した前記カメラの中心と所定の視点との相対的場所によって画定される、ステップと
を含む、方法。
【請求項２】
前記像処理システムを使用して、少なくとも１つの所定の局在欠陥基準に従って、前記複数の像内の像領域を評価することによって、前記複数の前記カメラのうちの少なくとも１つにおける少なくとも１つの局在欠陥の存在を識別するステップは、少なくとも１つの所定の基準を満たす像領域内の複数の欠陥のある画素を識別するステップを含む、請求項１に記載の方法。
【請求項３】
前記所定の基準は、前記像領域内の前記複数の欠陥のある画素が、欠陥のある画素の所定の数を超えることである、請求項２に記載の方法。
【請求項４】
前記所定の基準は、前記複数の欠陥のある画素が、所定のサイズを超える欠陥のある画素のクラスタを含むことである、請求項２に記載の方法。
【請求項５】
欠陥のある画素は、ホット画素、明画素、および暗画素を含む、請求項２に記載の方法。
【請求項６】
前記像処理システムを使用して、少なくとも１つの所定の局在欠陥基準に従って、前記複数の像内の像領域を評価することによって、前記複数の前記カメラのうちの少なくとも１つにおける少なくとも１つの局在欠陥の存在を識別するステップは、
像領域内の変調伝達関数（ＭＴＦ）を測定するステップと、
所定の基準を満たさない前記像領域のＭＴＦを判定するステップと
を含む、請求項１に記載の方法。
【請求項７】
前記所定の基準は、軸上ＭＴＦが、所定の空間周波数において、第１の所定の閾値を超え、軸外接線方向ＭＴＦが、所定の空間周波数において、第２の所定の閾値を超え、軸外矢状方向ＭＴＦが、所定の空間周波数において、第３の所定の閾値を超えることである、請求項６に記載の方法。
【請求項８】
前記複数の対応する像部分は、第１の複数の対応する像領域を形成し、前記方法はさらに、
前記像処理システムを使用して、前記複数の像のそれぞれを第２の複数の対応する像領域に分割するステップであって、前記第１の複数の対応する像領域内の像領域の数は、前記第２の複数の対応する像領域内の像領域の数と異なる、ステップと、
前記像処理システムを使用して、少なくとも１つの付加的所定の局在欠陥基準に従って、前記第２の複数の像内の像領域を評価することによって、前記複数の前記カメラのうちの少なくとも１つにおける少なくとも１つの局在欠陥の存在を識別するステップと
を含む、請求項１に記載の方法。
【請求項９】
前記複数の像は、基準像および複数の代替ビュー像を形成し、
前記像領域の具体的セットは、
前記基準像からの具体的像領域と、
前記基準像からの具体的像領域に対応する、前記代替ビュー像のそれぞれからの像領域と、
前記基準像からの選択された像領域に対応する、所与の代替ビュー像の像領域内の画素からのエピポーラ線に沿った所定の最大視差シフト距離内に位置する少なくとも１つの画素を含有する、前記複数の代替ビュー像からの所与の代替ビュー像内の任意の付加的像領域と
によって形成され、前記エピポーラ線は、前記基準像を捕捉したカメラの中心と、前記所与の代替ビュー像を捕捉した前記カメラの中心との相対的場所によって画定される、
請求項１に記載の方法。
【請求項１０】
前記複数の像は、複数のカラーチャネルのそれぞれ内に複数の像を形成し、
像領域の具体的セットが、前記複数のカラーチャネルのうちの１つ内の前記複数の像からの像領域によって形成される、
請求項１に記載の方法。
【請求項１１】
前記複数の像は、基準像および複数の代替ビュー像を形成し、前記複数のカラーチャネルのうちの１つからの前記複数の像は、前記基準像を含まず、
前記像領域の具体的セットはさらに、
前記基準像からの具体的像領域に対応する、前記複数のカラーチャネルのうちの前記１つ内の前記代替ビュー像のそれぞれからの像領域と、
前記基準像からの選択された像領域に対応する、所与の代替ビュー像の像領域内の画素からのエピポーラ線に沿った所定の最大視差シフト距離内に位置する少なくとも１つの画素を含有する、前記複数のカラーチャネルのうちの前記１つからの所与の代替ビュー像内の任意の付加的像領域と
によって形成され、前記エピポーラ線は、前記基準像を捕捉したカメラの中心と、前記所与の代替ビュー像を捕捉した前記カメラの中心との相対的場所によって画定される、
請求項１０に記載の方法。
【請求項１２】
像領域の第２のセット内の局在欠陥の数が、第２の所定の閾値を超えるとき、前記像処理システムを使用して、欠陥のあるカメラアレイを検出するステップをさらに含み、前記像領域の第２のセットは、第２の複数のカラーチャネル内の複数の像からの像領域によって形成される、請求項１０に記載の方法。
【請求項１３】
前記複数のカラーチャネルの前記１つからの像領域の前記具体的セットに関して使用される前記所定の基準は、前記第２の複数のカラーチャネルからの像領域の前記第２のセットに関して使用される前記第２の所定の基準と異なる、請求項１２に記載の方法。
【請求項１４】
像処理システムを使用して、欠陥のある光学アレイを検出するための方法であって、前記光学アレイは、複数のレンズスタックを備え、
前記方法は、
光学試験器具を使用するとき、前記複数のレンズスタックのそれぞれの像視野を複数の対応する領域に分割するステップと、
前記領域のそれぞれ内において、前記光学試験器具を使用して、既知の標的の変調伝達関数（ＭＴＦ）を測定するステップと、
前記光学試験器具を使用して、少なくとも１つの所定の局在欠陥基準に従って、前記複数のレンズスタック内の領域のＭＴＦ測定を評価することによって、前記複数の前記レンズスタックのうちの少なくとも１つにおける少なくとも１つの局在欠陥の存在を識別するステップと、
前記領域の具体的セット内の局在欠陥の数が、所定の閾値を超えるとき、前記像処理システムを使用して、欠陥のある光学アレイを検出するステップであって、前記領域の具体的セットは、
少なくとも、前記複数のレンズスタックのサブセットからの共通の対応する領域と、
所与のレンズスタック内の前記共通の対応する領域からのエピポーラ線に沿った所定の最大視差シフト距離内の像を形成する、所与のレンズスタック内の任意の付加的領域と
によって形成され、前記エピポーラ線は、前記所与のレンズスタックの中心と所定の視点との相対的場所によって画定される、ステップと
を含む、方法。
【請求項１５】
複数の局在欠陥を含むカメラモジュールを使用して、超解像像を合成するための方法であって、
複数のカメラを備える、カメラアレイを使用して像データを捕捉するステップであって、前記複数のカメラのうちの少なくとも１つは、前記カメラによって捕捉された像データに影響を及ぼす既知の局在欠陥を含む、ステップと、
超解像像処理アプリケーションによって構成されるプロセッサを使用して、既知の局在欠陥を含む前記複数のカメラのうちの少なくとも１つによって捕捉された像の領域内の像データを無視するステップであって、前記破棄される像データは、前記既知の局在欠陥を含むことが分かっている、前記カメラの領域からのものである、ステップと、
前記超解像像処理アプリケーションを使用して構成されるプロセッサによって行われる超解像プロセスを使用して、前記カメラアレイ内のカメラによって捕捉された残りの像データから超解像像を合成するステップと
を含む、方法。
【請求項１６】
前記カメラアレイは、少なくとも１つの欠陥のある画素を含むことが分かっている少なくとも１つのカメラを備え、前記方法はさらに、欠陥のあることが分かっている前記少なくとも１つのカメラ内の画素によって捕捉された像データを無視するステップを含む、請求項１５に記載の方法。
【請求項１７】
アレイカメラであって、
複数の焦点面を備える、結像器アレイと、複数のレンズスタックを備える、光学アレイとによって形成される複数のカメラを備える、アレイカメラモジュールであって、前記結像器アレイおよび光学アレイによって形成される複数のカメラのうちの少なくとも１つは、前記カメラによって捕捉された像データに影響を及ぼす既知の局在欠陥を含む、アレイカメラモジュールと、
プロセッサと、
超解像像処理アプリケーションと、既知の局在欠陥を含む前記複数のカメラのうちの前記少なくとも１つおよび前記既知の局在欠陥を含有する前記カメラの領域を識別する、欠陥データとを含有する、メモリと
を備え、
前記超解像処理アプリケーションは、
前記アレイカメラモジュールを使用して、像データを捕捉することと、
既知の局在欠陥を含む前記複数のカメラのうちの前記少なくとも１つのそれぞれに関して、前記欠陥データによって識別された少なくとも１つの領域内の像データを無視することと、
前記残りの像データから超解像像を合成することと
を行うように、前記プロセッサを構成する、アレイカメラ。
【請求項１８】
メモリはさらに、前記結像器アレイ内の少なくとも１つの欠陥のある画素を識別する、欠陥データを備え、前記超解像処理アプリケーションはまた、前記欠陥データによって欠陥があるとして識別された前記少なくとも１つの画素によって捕捉された像データを無視するように、前記プロセッサを構成する、請求項１７に記載のアレイカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、欠陥についてカメラをスクリーニングするためのシステムおよび方法に関し、より具体的には、欠陥についてカメラアレイの構造中で使用されるカメラアレイまたは光学アレイをスクリーニングするためのシステムおよび方法に関する。
【背景技術】
【０００２】
暗箱に基づく従来のデジタルカメラに課される制約に応じて、アレイカメラと称され得る、新しい種類のカメラが、提案されている。アレイカメラは、画素の複数のアレイを有し、各画素アレイが、焦点面を画定することが意図され、各焦点面が、別個のレンズスタックを有する、結像器アレイを有することを特徴とする。典型的には、各焦点面は、複数の画素列もまた形成する、複数の画素行を含み、各焦点面は、別の焦点面からの画素を含有しない、結像器の領域内に含有される。像は、典型的には、その個別のレンズスタックによって各焦点面に合焦される。多くの事例では、アレイカメラは、複数の焦点面を組み込む、結像器アレイと、レンズスタックの光学アレイとを使用して構築される。
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の実施形態によるシステムおよび方法は、アレイカメラモジュールの構造中で使用される、欠陥のあるカメラアレイおよび／または光学アレイおよび／またはセンサを検出する。本発明の方法の一実施形態は、複数のカメラを使用して、既知の標的の像データを捕捉するステップであって、像データは、複数の像を形成する、ステップと、像処理システムを使用して、複数の像のそれぞれを複数の対応する像領域に分割するステップと、像処理システムを使用して、少なくとも１つの所定の局在欠陥基準に従って、複数の像内の像領域を評価することによって、複数のカメラのうちの少なくとも１つにおける少なくとも１つの局在欠陥の存在を識別するステップと、像領域の具体的セット内の局在欠陥の数が所定の閾値を超えるとき、像処理システムを使用して、欠陥のあるカメラアレイを検出するステップとを含む。加えて、像領域の具体的セットは、少なくとも、複数の像のサブセットからの共通の対応する像領域と、所与の像内の該共通の対応する像領域内の画素からのエピポーラ線に沿った所定の最大視差シフト距離内に位置する少なくとも１つの画素を含有する、所与の像内の任意の付加的像領域とによって形成され、エピポーラ線は、所与の像を捕捉したカメラの中心と所定の視点との相対的場所によって画定される。
【０００４】
本発明の方法のさらなる実施形態では、像処理システムを使用して、少なくとも１つの所定の局在欠陥基準に従って、複数の像内の像領域を評価することによって、複数のカメラのうちの少なくとも１つにおける少なくとも１つの局在欠陥の存在を識別するステップは、少なくとも１つの所定の基準を満たす像領域内の複数の欠陥のある画素を識別するステップを含む。
【０００５】
本発明の方法の別の実施形態では、所定の基準は、像領域内の複数の欠陥のある画素が、欠陥のある画素の所定の数を超えることである。
【０００６】
本発明の方法のなおもさらなる実施形態では、所定の基準は、複数の欠陥のある画素が、所定のサイズを超える欠陥のある画素のクラスタを含むことである。
【０００７】
本発明の方法のなおも別の実施形態では、欠陥のある画素は、ホット画素、明画素、および暗画素を含む。
【０００８】
本発明の方法のその上さらなる実施形態では、像処理システムを使用して、少なくとも１つの所定の局在欠陥基準に従って、複数の像内の像領域を評価することによって、複数のカメラのうちの少なくとも１つにおける少なくとも１つの局在欠陥の存在を識別するステップは、像領域内の変調伝達関数（ＭＴＦ）を測定するステップと、所定の基準を満たさない像領域のＭＴＦを判定するステップとを含む。
【０００９】
本発明の方法のさらに別の実施形態では、所定の基準は、軸上ＭＴＦが、所定の空間周波数において、第１の所定の閾値を超え、軸外接線方向ＭＴＦが、所定の空間周波数において、第２の所定の閾値を超え、軸外矢状方向ＭＴＦが、所定の空間周波数において、第３の所定の閾値を超えることである。
【００１０】
再び、本発明の方法のさらなる実施形態では、該複数の対応する像部分は、第１の複数の対応する像領域を形成し、本方法はさらに、像処理システムを使用して、複数の像のそれぞれを第２の複数の対応する像領域に分割するステップであって、第１の複数の対応する像領域内の像領域の数は、第２の複数の対応する像領域内の像領域の数と異なる、ステップと、像処理システムを使用して、少なくとも１つの付加的所定の局在欠陥基準に従って、第２の複数の像内の像領域を評価することによって、複数のカメラのうちの少なくとも１つにおける少なくとも１つの局在欠陥の存在を識別するステップとを含む。
【００１１】
再び、本発明の方法の別の実施形態では、複数の像は、基準像および複数の代替ビュー像を形成し、像領域の具体的セットは、基準像からの具体的像領域と、基準像からの具体的像領域に対応する、代替ビュー像のそれぞれからの像領域と、基準像からの選択された像領域に対応する、所与の代替ビュー像の像領域内の画素からのエピポーラ線に沿った所定の最大視差シフト距離内に位置する少なくとも１つの画素を含有する、複数の代替ビュー像からの所与の代替ビュー像内の任意の付加的像領域とによって形成され、エピポーラ線は、基準像を捕捉したカメラの中心と、所与の代替ビュー像を捕捉したカメラの中心との相対的場所によって画定される。
【００１２】
本発明の方法のさらなる付加的実施形態では、複数の像は、複数のカラーチャネルのそれぞれ内に複数の像を形成し、像領域の具体的セットが、複数のカラーチャネルのうちの１つ内の複数の像からの像領域によって形成される。
【００１３】
本発明の方法の別の付加的実施形態では、複数の像は、基準像および複数の代替ビュー像を形成し、複数のカラーチャネルのうちの１つからの該複数の像は、基準像を含まず、像領域の具体的セットはさらに、基準像からの具体的像領域に対応する、複数のカラーチャネルのうちの該１つ内の代替ビュー像のそれぞれからの像領域と、基準像からの選択された像領域に対応する、所与の代替ビュー像の像領域内の画素からのエピポーラ線に沿った所定の最大視差シフト距離内に位置する少なくとも１つの画素を含有する、複数のカラーチャネルのうちの該１つからの所与の代替ビュー像内の任意の付加的像領域とによって形成され、エピポーラ線は、基準像を捕捉したカメラの中心と、所与の代替ビュー像を捕捉したカメラの中心との相対的場所によって画定される。
【００１４】
本発明の方法のなおもその上さらなる実施形態はまた、像領域の第２のセット内の局在欠陥の数が、第２の所定の閾値を超えるとき、像処理システムを使用して、欠陥のあるカメラアレイを検出するステップを含み、像領域の第２のセットは、第２の複数のカラーチャネル内の複数の像からの像領域によって形成される。
【００１５】
本発明の方法のなおもさらに別の実施形態では、複数のカラーチャネルの該１つからの像領域の該具体的セットに関して使用される該所定の基準は、該第２の複数のカラーチャネルからの像領域の該第２のセットに関して使用される該第２の所定の基準と異なる。
【００１６】
再び、本発明の方法のなおもさらなる実施形態は、光学試験器具を使用するとき、複数のレンズスタックのそれぞれの像視野を複数の対応する領域に分割するステップと、領域のそれぞれ内において、光学試験器具を使用して、既知の標的の変調伝達関数（ＭＴＦ）を測定するステップと、光学試験器具を使用して、少なくとも１つの所定の局在欠陥基準に従って、複数のレンズスタック内の領域のＭＴＦ測定を評価することによって、複数のレンズスタックのうちの少なくとも１つにおける少なくとも１つの局在欠陥の存在を識別するステップと、領域の具体的セット内の局在欠陥の数が、所定の閾値を超えるとき、像処理システムを使用して、欠陥のある光学アレイを検出するステップとを含む。加えて、領域の具体的セットは、少なくとも、複数のレンズスタックのサブセットからの共通の対応する領域と、所与のレンズスタック内の該共通の対応する領域からのエピポーラ線に沿った所定の最大視差シフト距離内の像を形成する、所与のレンズスタック内の任意の付加的領域とによって形成され、エピポーラ線は、所与のレンズスタックの中心と所定の視点との相対的場所によって画定される。
【００１７】
本発明の方法の別のさらなる実施形態は、複数のカメラを備える、カメラアレイを使用して像データを捕捉するステップであって、複数のカメラのうちの少なくとも１つは、カメラによって捕捉された像データに影響を及ぼす既知の局在欠陥を含む、ステップと、超解像像処理アプリケーションによって構成されるプロセッサを使用して、既知の局在欠陥を含む複数のカメラのうちの少なくとも１つによって捕捉された像の領域内の像データを無視するステップであって、破棄される像データは、該既知の局在欠陥を含むことが分かっている、カメラの領域からのものである、ステップと、超解像像処理アプリケーションを使用して構成されるプロセッサによって行われる超解像プロセスを使用して、カメラアレイ内のカメラによって捕捉された残りの像データから超解像像を合成するステップとを含む。
【００１８】
本発明の方法のなおも別のさらなる実施形態では、カメラアレイは、少なくとも１つの欠陥のある画素を含むことが分かっている少なくとも１つのカメラを備え、本方法はさらに、欠陥のあることが分かっている少なくとも１つのカメラ内の画素によって捕捉された像データを無視するステップを含む。
【００１９】
本発明の別の実施形態は、複数の焦点面を備える、結像器アレイと、複数のレンズスタックを備える、光学アレイとによって形成される複数のカメラを備える、アレイカメラモジュールであって、結像器アレイおよび光学アレイによって形成される複数のカメラのうちの少なくとも１つは、カメラによって捕捉された像データに影響を及ぼす既知の局在欠陥を含む、アレイカメラモジュールと、プロセッサと、超解像像処理アプリケーションと、既知の局在欠陥を含む複数のカメラのうちの該少なくとも１つおよび既知の局在欠陥を含有するカメラの領域を識別する、欠陥データとを含有する、メモリとを含む。加えて、超解像処理アプリケーションは、アレイカメラモジュールを使用して、像データを捕捉し、既知の局在欠陥を含む複数のカメラのうちの該少なくとも１つのそれぞれに関して、欠陥データによって識別された少なくとも１つの領域内の像データを無視し、残りの像データから超解像像を合成するように、プロセッサを構成する。
【００２０】
本発明のなおも別の実施形態では、メモリはさらに、結像器アレイ内の少なくとも１つの欠陥のある画素を識別する、欠陥データを備え、超解像処理アプリケーションはまた、該欠陥データによって欠陥があるとして識別された少なくとも１つの画素によって捕捉された像データを無視するように、プロセッサを構成する。
【図面の簡単な説明】
【００２１】
【図１】図１は、アレイカメラの形態で実装されるカメラアレイを概念的に図示する。
【図２】図２は光学アレイおよび結像器アレイから構築されるアレイカメラモジュールを概念的に図示する。
【図３】図３は、アレイカメラモジュールの構造中で利用され得る、結像器アレイ内の回路を図示する。
【図４】図４は、アレイカメラモジュールの構造中で利用され得る、結像器アレイ上に焦点面を形成する、画素サブアレイの独立制御および読取において利用される回路を図示する。
【図５Ａ】図５Ａ−５Ｅは、本発明の実施形態による、カメラアレイが、カメラアレイ内のカメラによって捕捉された像データから容認可能像質を有する像を合成可能であるかどうかを判定するためのプロセスを概念的に図示する。
【図５Ｂ】図５Ａ−５Ｅは、本発明の実施形態による、カメラアレイが、カメラアレイ内のカメラによって捕捉された像データから容認可能像質を有する像を合成可能であるかどうかを判定するためのプロセスを概念的に図示する。
【図５Ｃ】図５Ａ−５Ｅは、本発明の実施形態による、カメラアレイが、カメラアレイ内のカメラによって捕捉された像データから容認可能像質を有する像を合成可能であるかどうかを判定するためのプロセスを概念的に図示する。
【図５Ｄ】図５Ａ−５Ｅは、本発明の実施形態による、カメラアレイが、カメラアレイ内のカメラによって捕捉された像データから容認可能像質を有する像を合成可能であるかどうかを判定するためのプロセスを概念的に図示する。
【図５Ｅ】図５Ａ−５Ｅは、本発明の実施形態による、カメラアレイが、カメラアレイ内のカメラによって捕捉された像データから容認可能像質を有する像を合成可能であるかどうかを判定するためのプロセスを概念的に図示する。
【図６】図６は、本発明のある実施形態による、カメラアレイが、所定の視差不確定域内の局在欠陥の存在のため、欠陥があるかどうかを判定するためのプロセスである。
【図７】図７は、本発明のある実施形態による、カメラの領域内の欠陥のある画素の存在に基づいて、カメラの領域に欠陥があるかどうかを判定するためのプロセスである。
【図８】図８は、本発明のある実施形態による、領域内のカメラのＭＴＦの測定に基づいて、カメラの領域に欠陥があるかどうかを判定するためのプロセスである。
【図９】図９は、本発明のある実施形態による、基準カメラに欠陥のある領域がないことに基づいて、カメラアレイ内の基準カメラを選択するためのプロセスである。
【図１０】図１０は、本発明のある実施形態による、所定の視差不確定域内の容認基準を満たさないＭＴＦの局在領域の存在に基づいて、光学アレイに欠陥があるかどうかを判定するためのプロセスである。
【図１１】図１１は、本発明のある実施形態による、欠陥のある領域の場所に関する情報を使用して、欠陥を含むカメラアレイによって捕捉された像データから超解像像を合成し、欠陥によって影響される捕捉された像データを無視するためのプロセスである。
【発明を実施するための形態】
【００２２】
ここで図面を参照すると、本発明の実施形態による、アレイカメラモジュールの構造中で使用される、欠陥のあるカメラアレイおよび／または光学アレイおよび／またはセンサを検出するためのシステムおよび方法が、図示される。種々の欠陥は、（限定されないが）容認不可能な変調伝達関数（ＭＴＦ）性能をもたらす欠陥を含む、カメラ光学系内の欠陥、カメラのセンサ内の欠陥のある画素、および／またはカメラを形成する光学系およびセンサのアセンブリ内の欠陥を含め、単一絞りを使用して像を捕捉する従来のデジタルカメラの製造の間に生じ得る。以下の議論に関して、用語「欠陥」は、カメラによって形成される像および／または捕捉された像データに悪影響を及ぼす、カメラ（センサ、光学系、および／またはアセンブリを含む）または光学アレイの任意の側面を指すために使用される。欠陥が局在するときでも、欠陥は、局在欠陥が全てのカメラによって捕捉された像の影響される領域内に不満足な像質をもたらすであろうため、カメラを使用のために非好適にし得る。以下に論じられるように、本発明の実施形態によるシステムおよび方法は、カメラアレイによって捕捉された像から像を合成するために使用される像処理の知識を利用して、アレイ内の具体的カメラにおける局在欠陥が許容され得るかどうかを判定する。このように、カメラアレイの性能に影響を及ぼさないであろう欠陥を含有するカメラアレイを利用することによって、収率が、カメラアレイの製造において改良され得る。
【００２３】
種々のカメラアレイおよびカメラアレイを製造するためのプロセスは、２００９年５月２０日出願の米国特許出願第１２／９３５，５０４号「Ｃａｐｔｕｒｉｎｇ  ａｎｄ  Ｐｒｏｃｅｓｓｉｎｇ  ｏｆ  Ｉｍａｇｅｓ  ｕｓｉｎｇ  Ｍｏｎｏｌｉｔｈｉｃ  Ｃａｍｅｒａ  Ａｒｒａｙ  ｗｉｔｈ  Ｈｅｔｅｒｏｇｅｎｅｏｕｓ  Ｉｍａｇｅｓ」に開示されており、本開示は、参照することによって、全体として本明細書に組み込まれる。ある光景の複数の像が、カメラアレイによって捕捉され、その光景のより高精細（超解像）の像を合成するために利用されることができる。カメラアレイによって捕捉された像を使用して、超解像像を生成するために利用され得る、融合および超解像プロセスは、２０１０年１２月１４日出願の米国特許出願第１２／９６７，８０７号「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｓｙｎｔｈｅｓｉｚｉｎｇ  Ｈｉｇｈ  Ｒｅｓｏｌｕｔｉｏｎ  Ｉｍａｇｅｓ  Ｕｓｉｎｇ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  Ｐｒｏｃｅｓｓｅｓ」に開示されており、本開示は、参照することによって、全体として本明細書に組み込まれる。
【００２４】
超解像プロセスを使用して合成される像の一部は、典型的には、複数のカメラアレイによって捕捉された像からの像データを含む。多くの事例では、カメラアレイによって捕捉された像の完全セットは、合成される像の領域内の容認可能像質を達成するために要求されない。カメラアレイの製造は、従来のカメラの製造の間に経験され得る同一の欠陥の多くをもたらす。カメラアレイに欠陥があるかどうかを判定するためのアプローチの１つは、欠陥を含有するカメラアレイ内のカメラを識別し、欠陥のあるカメラの所定の閾値数を超えると、カメラアレイ全体を欠陥があるとして識別するものである。米国特許出願第１２／９３５，５０４号に開示されるもの等、異なるカラーチャネルを形成するカメラのセットを含む、アレイカメラの場合、カメラアレイが、全体として欠陥があるかどうかを判定するために、各カラーチャネル内の欠陥のあるカメラの数が、別個の所定の閾値に関して評価されることができる。より少ないカメラを含むカラーチャネルの場合、より少ない数の欠陥のあるカメラが、許容され得る。欠陥を含有するカメラの数に基づいてカメラアレイを欠陥があるとして拒否することは、効果的であるが、プロセスは、依然として、容認可能像質の像を合成するために利用され得る（カラーチャネル内の所定の数の局在欠陥の存在にかかわらず）、カメラアレイを拒否し得る。製造収率の増加は、いくつかのカメラの欠陥によって影響される、カメラアレイによって捕捉された像の部分を識別し、十分な信頼性のある像データが、像を合成するために、残りのカメラの全てからのその領域に残っているかどうかを評価することによって達成されることができる。十分な信頼性のある像データが、像を合成するために残っている場合、カメラアレイは、局在欠陥によって影響されるカメラの総数に関係なく、利用されることができる。
【００２５】
いくつかの実施形態では、カメラアレイに欠陥があることの判定は、カメラアレイ内のカメラによって捕捉された光景（典型的には、既知の標的）の像のそれぞれを対応する領域に分割し、どの領域が、像処理の間、融合され、合成される像の領域を形成する可能性が高い、像データを含有する画素を含有するかどうかを判定することによって行われる。多くの実施形態では、像処理は、視差検出および補正を伴う超解像プロセスを行い、超解像像を合成するステップを伴う。他の実施形態では、超解像像の立体写真、カメラアレイ内のカメラのサブセットを使用して合成されるビデオシーケンス、および／またはビデオの異なるフレームがカメラアレイの異なるサブセットによって捕捉された像データを使用して合成される、高フレームレートビデオシーケンス（限定されないが、それらを合成するプロセス）を含む、種々の像処理技法のいずれかが、利用されることができる。合成される像の領域を形成するために融合される可能性が高い領域の所定の数が、局在欠陥によって影響される場合、カメラアレイは欠陥があると判定されることができる。超解像プロセスの状況では、合成される像の具体的領域を形成するために融合される可能性が高い領域は、カメラアレイ内のカメラによって捕捉された像間で観察される可能性が高い最大視差シフトを使用して識別されることができる。いくつかの実施形態では、カメラアレイ内のカメラのうちの１つが、基準カメラとして選択され、残りのカメラは、代替ビューカメラと見なされる。ある実施形態では、基準カメラは、基準カメラがいかなる欠陥も含まないことを含む基準に従って選択される。基準カメラによって捕捉された像の領域が、検討されるとき、領域内の画素のエピポーラ線に沿った最大視差シフトは、代替ビュー像のそれぞれ内にいわゆる「視差不確定域」を画定する。カメラアレイに欠陥があるかどうかに関する判定は、基準カメラによって捕捉された像内の各領域と関連付けられた視差不確定域内の画素に影響を及ぼす欠陥の数を計数することによって行われることができる。カメラアレイ内のカメラが、複数のカラーチャネルを形成する場合、視差シフトに基づいた別個の基準が、各カラーチャネルのカメラ内に存在する局在欠陥の影響を評価するために適用されることができる。
【００２６】
前述のように、種々の欠陥は、カメラまたはカメラアレイの構成要素の製造および組立の間に生じ得る。いくつかの実施形態では、カメラアレイに欠陥があるかどうかを評価するプロセスは、（限定されないが）カメラ光学系内の欠陥、カメラセンサの画素内の欠陥、ならびにカメラ光学系およびセンサのアセンブリ内の欠陥を含む、いくつかの異なるタイプの欠陥について、カメラアレイ内のカメラの評価を伴うことができる。いくつかの実施形態では、具体的タイプの局在欠陥の影響を評価するときに検討される像の領域のサイズは、異なり得る。多くの実施形態では、カメラのセンサ内の欠陥のある画素の影響を評価するときに検討される領域より大きい領域が、カメラによって捕捉された像の所与の領域内のカメラの光学系を評価するときに検討される。一般に、欠陥検出プロセスの間、検討される領域が小さいほど（すなわち、検討される領域の数が多いほど）、プロセスが、カメラアレイ内に存在する欠陥が超解像処理によって許容され得る、全カメラアレイを識別し、欠陥が超解像処理を確実に行うために不十分な信頼性の像データをもたらす、全カメラアレイを欠陥があるとして拒否する時点まで、より高い収率が、予期される。
【００２７】
予期される視差シフトに基づいて、局在欠陥の可能性のある影響を評価することは、カメラアレイが、単に、欠陥を含有するカメラアレイ内のカメラの所定の数に基づいて、欠陥があるとして拒否されないため、全体的製造収率を改善することができる。類似技法が、アレイカメラモジュール（米国特許出願第１２／９３５，５０４号に論じられるアレイカメラモジュールに類似する）の構造中で利用される光学アレイを評価するために利用されることができる。多くの実施形態では、変調伝達関数（ＭＴＦ）測定が、光学アレイ内の各レンズスタックによって形成される像の異なる領域に関して行われることができる。ＭＴＦは、概して、光学性能の最も関連する測定であって、概して、種々の精細度（または、空間周波数）を物体から像に伝達するための光学システムの能力の客観的測定として見なされる。ＭＴＦは、その精細度の完全源から生成される、コントラスト（グレーの程度）または変調の観点から測定される（したがって、物体と像との間のコントラストの比率である）。像内の精細量は、光学システムの分解能によって与えられ、通例、ミリメートルあたりの線対（ｌｐ／ｍｍ）における空間周波数として規定される。線対は、等幅の明色バーおよび暗色バーの１サイクルであって、１のコントラストを有する。コントラストは、ＩｍａｘおよびＩｍｉｎの和にわたる最大強度（Ｉｍａｘ）および最小強度（Ｉｍｉｎ）の差異の比率として定義されることができ、Ｉｍａｘは、像によって生成される最大強度（白色）であって、Ｉｍｉｎは、最小強度（黒色）である。ＭＴＦは、したがって、ｌｐ／ｍｍにおいて測定される空間周波数に対してパーセントで測定されるコントラストのプロットである。レンズスタックの領域が欠陥（すなわち、１つ以上の所定の基準を満たさないＭＴＦ測定）を含有すると見なされる点に対して、ＭＴＦに悪影響を及ぼす、（限定されないが）求心誤差、形状誤差、および／または厚さ誤差等のレンズ内の誤差の影響は、超解像処理の間、予期される視差シフトに基づいて評価されることができる。このように、製造収率は、単に、光学アレイ内の欠陥の数とは対照的に、欠陥によって影響される像の領域を検討することによって増加されることができる。本発明の実施形態による、欠陥のあるカメラアレイおよび／または光学アレイを検出するためのシステムおよび方法ならびに局在欠陥を含有するアレイカメラによって捕捉された像から超解像像を合成するための技法が、以下にさらに論じられる。
カメラアレイ
【００２８】
以下の議論の多くは、欠陥のあるカメラアレイについてスクリーニングするためのシステムおよび方法を参照するが、最初に、カメラアレイの構造、カメラアレイの構造中で生じ得る欠陥、および局在欠陥によって影響される画素によって合成される超解像像の破損を回避するために、超解像像を合成するときに局在欠陥に関する情報が利用され得る様式を概観することは価値がある。カメラアレイは、（限定されないが）離散カメラのセットまたはアレイカメラとしてを含め、種々の方法で実装されることができる。アレイカメラは、典型的には、アレイカメラモジュールと、プロセッサとを含むことができる。
【００２９】
本発明のある実施形態による、アレイカメラ内のカメラにおける局在欠陥によって影響される像データを無視するステップを伴う様式において、超解像像を合成するように構成される、アレイカメラは、図１に図示される。アレイカメラ１００は、個々のカメラ１０４のアレイを含む、アレイカメラモジュール１０２を含み、個々のカメラのアレイは、（限定されないが）図示される実施形態において利用される正方形配列等の特定の配列における複数のカメラを指す。アレイカメラモジュール１０２は、プロセッサ１０６に接続され、プロセッサ１０６は、メモリ１０８に接続される。いくつかの実施形態では、メモリは、（限定されないが）米国特許出願第１２／９６７，８０７号に概略されるプロセスのうちの１つ等のプロセスを使用して、カメラモジュール１０２によって捕捉された像データを使用して、超解像像を合成するように構成される、超解像像処理アプリケーションを含有する。いくつかの実施形態では、メモリ１０８は、カメラモジュール１０８内の個々のカメラ１０４のうちのカメラにおける局在欠陥のため信頼性がない、カメラモジュール１０２によって捕捉された像データに関する情報を含有する。情報は、無視され得る像の領域および／または無視され得る個々の画素あるいは画素のクラスタの形態であることができる。超解像像処理アプリケーションは、超解像処理を行うとき、捕捉された像内の信頼性のない像データに関する情報を利用して、信頼性のない像データを無視することができる。
【００３０】
具体的アレイカメラが、図１に図示されるが、種々の異なるアレイカメラ構成のいずれかが、本発明の多くの異なる実施形態に従って、利用されることができる。さらに、図１に示される基本構成はまた、カメラモジュール内の局在欠陥の存在を検出し、局在欠陥が、カメラモジュール内の個々のカメラによって捕捉された像データを使用して、超解像像を合成する目的のために、全体的カメラモジュールに欠陥をもたらすかどうかを判定するために利用され得る、像処理システムにおいて利用されることができる。
アレイカメラモジュール
【００３１】
アレイカメラ内に存在し得る欠陥は、典型的には、アレイカメラモジュールが構築される様式から生じる。図１に関して前述されたアレイカメラモジュール等のアレイカメラモジュールは、図２に図示される様式において、結像器アレイおよび光学アレイから構築されることができる。カメラモジュール２００は、焦点面２４０のアレイとともに、レンズスタック２２０のアレイを含む、対応する光学アレイ２１０を含む、結像器アレイ２３０を含む。レンズスタックのアレイ内では、各レンズスタック２２０が、対応する焦点面２４０内の光感知画素のアレイ上に光景の像を形成する、光学チャネルを作成する。レンズスタック２２０および焦点面２４０の各対合は、アレイカメラモジュール内に単一カメラ１０４を形成する。カメラ１０４の焦点面２４０内の各画素は、カメラ１０４からプロセッサ１０８に送信され得る、像データを生成する。多くの実施形態では、各光学チャネル内のレンズスタックは、各焦点面２４０の画素が、光景内の同一の物体空間または領域をサンプリングするように構成される。いくつかの実施形態では、レンズスタックは、同一の物体空間をサンプリングする画素が、超解像プロセスの使用を通して、増加した分解能を回復するために利用され得る、サンプリング多様性を提供するようにオフセットされたサブ画素を用いてそれを行うように構成される。
【００３２】
いくつかの実施形態では、個々のカメラ内のカラーフィルタが、アレイカメラモジュール内に複数のカラーチャネルを形成するために使用されることができる。このように、カメラは、スペクトルの異なる色または具体的部分に関するデータを捕捉するために使用されることができる。カラーフィルタをカメラの画素に適用することとは対照的に、本発明の多くの実施形態におけるカラーフィルタは、レンズスタック内に含まれることができる。例えば、緑色カメラは、緑色光が光学チャネルを通過することを可能にする緑色光フィルタを伴う、レンズスタックを含むことができる。多くの実施形態では、各焦点面内の画素は、同一であって、画素によって捕捉された光情報は、フィルタ平面毎に対応するレンズスタック内のカラーフィルタによって区別される。レンズスタック内にカラーフィルタを含む、光学アレイを伴うカメラモジュールの具体的構造が、前述されたが、カメラモジュールは、（限定されないが）カラーフィルタが従来のＢａｙｅｒカラーフィルタパターンを使用するカメラの画素に適用される様式と同様に、カラーフィルタをカメラモジュールの焦点面の画素に適用することを含む、種々の方法で実装されることができる。いくつかの実施形態では、カメラモジュール内のカメラのうちの少なくとも１つは、その焦点面内の画素に適用される均一カラーフィルタを含むことができる。多くの実施形態では、Ｂａｙｅｒフィルタパターンは、カメラモジュール内のカメラのうちの１つの画素に適用される。いくつかの実施形態では、カラーフィルタがレンズスタック内および結像器アレイの画素上の両方で利用される、カメラモジュールが、構築される。
【００３３】
カメラモジュール内に存在し得る欠陥は、（限定ではないが）欠陥のある画素、表面についての関連規定から逸脱する１つ以上のレンズ表面を含む、レンズスタック、ならびにセンサおよび光学アレイがカメラモジュールを形成するように組み合わせられる様式と関連付けられた欠陥を含む。存在し得る欠陥のある画素のタイプは、（限定ではないが）ホット画素（センサアレイが照明されないとき、所定の平均暗信号を上回る信号を生成する画素）、明画素（類似照明条件下、近傍画素によって生成される値を上回る所定の閾値を超える値を生成する画素）、および暗画素（類似照明条件下、近傍画素によって生成される値を下回る所定の閾値未満値を生成する画素）を含むことができる。本発明の実施形態による、検出され得る画素欠陥の具体的タイプは、典型的には、具体的用途の要件に依存する。前述のように、カメラの光学系の種々の特性は、本発明の実施形態に従って、欠陥と見なされるために十分な劣化をもたらし得る。多くの実施形態では、レンズの領域内の欠陥は、接線方向および／または矢状方向ＭＴＦ成分（水平および垂直成分とも称される）の一方または両方が、１つ以上の所定の閾値を超えないかどうかを測定することによって、検出されることができる。検出され得る付加的欠陥は、（限定ではないが）光学系内および／またはアセンブリから生じる傷を含む。局在欠陥の具体的カテゴリが、前述されたが、本発明の実施形態によるプロセスは、像がカメラアレイによって捕捉された像データから合成されるであろう様式に関する情報を使用して、カメラアレイの性能に及ぼす、カメラアレイ内のカメラの領域に局在する種々の欠陥のいずれかの影響を評価することができる。
【００３４】
具体的アレイカメラモジュールおよびアレイカメラモジュールの製造の間に生じ得る欠陥が、前述されたが、多くの異なるアレイカメラモジュールが、構築されることができ、本発明の実施形態によるシステムおよび方法は、典型的には、具体的タイプのアレイカメラモジュールの構造中に生じる、欠陥のタイプの存在を検出することができる。結像器アレイの動作に関するいくつかの付加的背景および結像器アレイが超解像処理において使用するための像データを捕捉する様式を提供するために、本発明の実施形態によるアレイカメラモジュールの構造中で利用されることができる、結像器アレイが、以下にさらに論じられる。
結像器アレイ
【００３５】
アレイカメラモジュールの構造中で利用されることができ、複数の焦点面の像捕捉設定が独立して構成され得る、結像器アレイが、図３に図示される。結像器アレイ３００は、焦点面３０４のアレイと、全てのアナログ信号処理、画素レベル制御論理、信号伝達、およびアナログ／デジタル変換（ＡＤＣ）回路とを含む、焦点面アレイコア３０２を含む。結像器アレイはまた、画素を使用して、像情報の捕捉を制御することに関わる、焦点面タイミングおよび制御回路３０６を含む。いくつかの実施形態では、焦点面タイミングおよび制御回路は、リセットおよび読取信号を利用して、画素の統合時間を制御する。他の実施形態では、種々の技法のいずれかが、画素の統合時間を制御し、および／または画素を使用して、像情報を捕捉するために利用されることができる。多くの実施形態では、焦点面タイミングおよび制御回路３０６は、（限定されないが）高ダイナミックレンジ撮像、高速ビデオ、および電子画像安定化を含む、特徴を可能にする、像情報捕捉制御の柔軟性を提供する。種々の実施形態では、結像器アレイは、電力管理およびバイアス生成回路３０８を含む。電力管理およびバイアス生成回路３０８は、それに対してＡＤＣが変換されるべき信号を測定するであろう基準電圧等、電流および電圧基準をアナログ回路に提供する。多くの実施形態では、電力管理およびバイアス回路はまた、電力節約理由から使用されないとき、ある回路に対する電流／電圧基準をオフにする、論理を含む。いくつかの実施形態では、結像器アレイは、結像器アレイによって捕捉された像データの黒色レベルの一貫性を増加させ、行一時雑音および列固定パターン雑音の出現を減少させ得る、暗電流および固定パターン（ＦＰＮ）補正回路３１０を含む。いくつかの実施形態では、各焦点面は、暗電流および焦点面のＦＰＮを較正する目的のための基準画素を含み、制御回路は、暗電流およびＦＰＮの較正の必要性を低下させることによって、結像器アレイが給電され得るスピードを増加させるために、焦点面の画素の残りの電源が切られるとき、基準画素を有効に保つことができる。
【００３６】
多くの実施形態では、単一自給式チップ結像器アレイが、焦点面から捕捉されたデータをコンテナファイル内にパッケージ化し、伝送のために、捕捉された像データを準備することができる、焦点面フレーミング回路３１２を含む。いくつかの実施形態では、焦点面フレーミング回路は、捕捉された像データが由来する焦点面および／または画素群を識別する情報を含む。いくつかの実施形態では、結像器アレイはまた、外部デバイスへの捕捉された像データの伝送のためのインターフェースを含む。図示される実施形態では、インターフェースは、結像器アレイから３０ｆｐｓでビデオの読取をサポートすることができる、４つのレーンをサポートし、データ出力インターフェース回路３１８、インターフェース制御回路３１６、およびインターフェース入力回路３１４を組み込む、ＭＩＰＩＣＳＩ２出力インターフェース（非営利のＭＩＰＩ  Ａｌｌｉａｎｃｅ，  Ｉｎｃ．によって規定される）である。典型的には、各レーンの帯域幅は、結像器アレイ内の画素の総数および所望のフレームレートに対して最適化される。本発明の実施形態による、結像器アレイ内の結像器のアレイによって捕捉された像データを外部デバイスに伝送するためのＭＩＰＩ  ＣＳＩ  ２インターフェースを含む種々のインターフェースの使用は、２０１２年１１月６日発行の米国特許第８，３０５，４５６号「Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｔｒａｎｓｍｉｔｔｉｎｇ  Ａｒｒａｙ  Ｃａｍｅｒａ  Ｄａｔａ」に説明されており、本開示は、参照することによって、全体として本明細書に組み込まれる。
【００３７】
結像器アレイアーキテクチャの具体的構成要素は、図３を参照して前述されたが、本発明の実施形態による、複数の焦点面において光景の像の捕捉を可能にする、種々の結像器アレイのいずれかが、本発明の実施形態に従って構築されることができる。本発明の実施形態による、結像器アレイ内に含まれ得る、独立焦点面制御が、以下にさらに論じられる。
独立焦点面制御
【００３８】
本発明の実施形態による結像器アレイは、独立して制御され得る、焦点面のアレイを含むことができる。このように、結像器アレイ内の焦点面毎の像捕捉設定は、異なって構成されることができる。本発明のある実施形態による、像捕捉設定の独立制御および焦点面のアレイ内の画素読取の独立制御を含む、結像器アレイは、図４に図示される。結像器アレイ４００は、複数の焦点面または画素サブアレイ４０２を含む。制御回路４０３、４０４は、各焦点面内の個々の画素に適用される、露光タイミングおよび増幅利得の独立制御を提供する。各焦点面４０２は、独立行タイミング回路４０６、４０８と、独立列読取回路４１０、４１２とを含む。動作時、制御回路４０３、４０４は、有効焦点面４０２のそれぞれ内の画素の像捕捉設定を判定する。行タイミング回路４０６、４０８および列読取回路４１０、４１２は、有効焦点面内の画素のそれぞれから像データを読み取ることに関わる。焦点面から読み取られた像データは、次いで、出力および制御インターフェース４１６を使用して、出力のためにフォーマット化される。
【００３９】
具体的結像器アレイ構成が、図４を参照して前述されたが、２０１１年５月１２日出願の米国特許出願第１３／１０６，７９７号「Ａｒｃｈｉｔｅｃｔｕｒｅｓ  ｆｏｒ  Ｉｍａｇｅｒ  Ａｒｒａｙｓ  ａｎｄ  Ａｒｒａｙ  Ｃａｍｅｒａｓ」（本開示は、参照することによって、全体として本明細書に組み込まれる）に概略されるものを含め、独立および／または関連焦点面制御を含む、種々の結像器アレイ構成のいずれかが、本発明の実施形態に従って、利用されることができる。以下にさらに論じられるように、結像器アレイによって捕捉された像データは、アレイカメラモジュールによって形成されるカメラ内の局在欠陥を検出し、および欠陥が、最終的には、アレイカメラモジュール全体を欠陥のあるものにするであろうかどうかを評価するために利用されることができる。
カメラアレイ内の欠陥の評価
【００４０】
カメラアレイは、複数のカラーチャネルまたはスペクトルカメラ内の情報を捕捉することができ、具体的カメラは、単一カラーチャネルまたはスペクトル帯域内の像データのみを捕捉するように構成される。赤色、緑色、および青色像データを捕捉するように構成される、４×４カメラアレイが、図５Ａに概念的に図示される。前述のように、（限定されないが）米国特許出願第１２／９６７，８０７号に開示されるプロセスを含む、超解像プロセスは、カメラアレイ内のカメラのそれぞれによって捕捉された像データを取り上げ、超解像像を合成するために利用されることができる。異なる視点を有する複数のカメラによって捕捉された像から超解像像を合成するプロセスは、像データに適用され、捕捉された像データの全てを単一視点にシフトさせ得る、画素シフトを識別するステップを伴う。図５Ａに図示されるカメラアレイを参照すると、基準カメラ５００が、指定されることができ、残りのカメラは全て、代替ビューカメラと見なされることができる。適切なシフトを判定し、代替ビューカメラによって捕捉された像の画素に適用し、画素を基準カメラの視点にシフトさせるアプローチの１つは、基準カメラによって捕捉された光景内の物体までの距離を判定することである。これらの距離は、次いで、代替ビュー像内の予期される視差シフトを判定するために使用されることができ、これは、次いで、補正されることができる。代替ビュー像内の視差シフトは、典型的には、基準カメラおよび代替ビューカメラの中心の相対的場所に基づいて判定される、エピポーラ線に沿って生じるであろう。視差シフトを検出および補正するためのプロセスは、２０１３年３月１３日出願の米国仮特許出願第６１／７８０，９０６号「Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｐａｒａｌｌａｘ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｃｏｒｒｅｃｔｉｏｎ  ｉｎ  Ｉｍａｇｅｓ  Ｃａｐｔｕｒｅｄ  Ｕｓｉｎｇ  Ａｒｒａｙ  Ｃａｍｅｒａｓ」に開示され、本開示は、参照することによって、全体として本明細書に組み込まれる。米国仮特許出願第６１／７８０，９０６号に論じられるように、視差検出および補正を行うときに行われる差違検索は、最大観察視差シフトに基づいて、境界されることができる。図５Ｂ−５Ｅを参照して以下にさらに論じられるように、これらの境界の理解は、カメラアレイのカメラ内の局在欠陥が、カメラアレイによって捕捉された像を使用して合成される像の像質に影響を及ぼすであろうかどうかを判定するために利用されることができる。
局在欠陥の影響を評価するための視差シフトに関する境界の使用
【００４１】
本発明の多くの実施形態による、欠陥についてカメラアレイをスクリーニングするためのシステムおよび方法は、カメラアレイによって捕捉された像データが、超解像像を確実に合成するために十分な信頼性のある像データを含むかどうかの評価を試みる。いくつかの実施形態では、捕捉された像データの充足性は、超解像像をカメラアレイによって捕捉された像のそれぞれ内の領域中の画素によって捕捉された像データから合成される領域のセットとして検討することによって判定される。像内の領域の場所は、超解像像内の領域の場所と対応するが、視差の影響は、超解像像の領域が、カメラアレイによって捕捉された像の対応する領域だけ以外から捕捉された像データから合成されることもできることを意味し得ることに留意されたい。超解像像の領域を合成するプロセスは、カメラアレイ内のカメラによって捕捉された像データの全てを超解像像が合成される視点にシフトさせるステップを伴い、複数のカメラの領域からの画素によって捕捉された像データをシフトするステップを含むことができる。以下の議論の多くは、超解像像が、基準カメラの視点から合成されると仮定するが、超解像像はまた、仮想視点から合成されることもできる。その場合、視差補正は、像データの全てに適用される。
【００４２】
超解像像の領域が、捕捉された像データに基づいて合成され得る信頼性は、超解像像を合成するために利用され得、かつ局在欠陥によって影響され得る、像データ内の画素を識別することによって評価されることができる。前述のように、捕捉された像データ内で観察される可能性が高い視差シフトは、典型的には、境界される。したがって、これらの最大視差シフト境界は、光景の性質に応じて、超解像像の領域を合成するために利用され得る、アレイ内の具体的カメラによって捕捉された像データ内の画素を識別するために利用されることができる。超解像像の領域を合成するために利用されるであろう具体的画素は、典型的には、超解像像の合成された領域内で可視である光景内の物体までの距離に依存するであろう。超解像像の領域を合成するために利用され得る画素を含有する、カメラアレイ内の具体的カメラによって捕捉された像の領域（視差シフト境界に基づいて識別される）は、超解像像の領域に関する視差不確定域と称され得る。これらの視差不確定域は、全可能性として考えられる撮像条件下（すなわち、全可能性として考えられる物体距離にわたって）、超解像像の関連付けられた領域を合成するために利用され得る、画素を含有する。視差不確定域内に含有される画素に影響を及ぼす局在欠陥（該当する場合）の数を識別することによって、本発明の実施形態によるシステムおよび方法は、超解像像の領域の合成の間、無視されなければならない像データの量を識別することができる。無視されなければならない像データの量（すなわち、視差不確定域内に含有される画素に影響を及ぼす局在欠陥の数）が、所定の量を超える場合、カメラアレイは、超解像像を合成する目的のために、欠陥があると判定され得る。以下の議論の多くは、超解像像の合成に焦点を当てるが、類似プロセスが、十分な信頼性のある像データが（限定されないが）超解像像の立体写真および／またはカメラアレイ内のカメラのサブセットを使用して合成されるビデオシーケンス等の像の他のタイプを合成するために利用可能であるかどうかを評価するために利用されることができる。
【００４３】
前述のプロセスの具体的実施例を提供するために、図５Ａに図示される４×４カメラアレイのカメラ内の局在欠陥が、本発明のある実施形態による、基準カメラ５００の視点から超解像像を合成する目的のために、カメラアレイを欠陥があるとするかどうかを判定するためのプロセスは、図５Ｂ−５Ｅに概念的に図示される。図５Ａに図示される４×４カメラアレイは、赤色、緑色、および青色像データを捕捉するカメラを含む。カメラアレイを評価する際、各カラーチャネルは、別個に検討されることができる。最初に、図５Ｂを参照すると、緑色カラーチャネル内のカメラによって捕捉された信頼性のある像データの充足性が、超解像像を３×３グリッドに分割し、カメラアレイによって捕捉された像のそれぞれを対応する３×３グリッドに分割することによって画定される、超解像像の領域に関して検討される。３×３グリッドを使用して画定される領域が、図５Ｂ−５Ｅに示されるプロセスを図示するために利用されるが、領域の数は、具体的用途の要件に基づいて選択されることができ、以下にさらに論じられるように、領域のサイズは、所与のカメラアレイ内に存在し得る、欠陥の異なるタイプを検討するとき、異なり得る。超解像像は、基準カメラ５００の視点から合成されるという事実のため、検討中の超解像像の領域は、基準カメラの領域５０２に対応する（すなわち、基準カメラの画素によって捕捉された像データを合成された超解像像の視点にシフトさせるために予期される視差シフトは、ゼロである）。図示される実施形態では、エピポーラ線５０４および最大視差シフトが、全可能性として考えられる撮像条件下、超解像像の領域を合成するために利用され得る、像データを潜在的に捕捉し得る画素を含有する、代替ビュー緑色カメラ内の領域を識別するために利用される。図示される実施形態では、最大視差シフトは、領域のうちの１つ（すなわち、アレイ内のカメラの場所に応じて、対角線の長さと領域の縁の長さとの間のいずれかの場所）の関連寸法にほぼ等しいと仮定される。実際の用途では、観察される最大視差シフトは、典型的には、基準カメラに対する代替ビューカメラの場所に依存する。ある実施形態では、異なる最大視差シフトが、カメラ場所に基づいて利用される。他の実施形態では、同一の最大視差シフトは、分析を単純化するために、カメラ場所に関係なく利用される。仮定される具体的視差シフトは、典型的には、具体的カメラアレイ内のカメラの間隔および焦点距離に依存する。
【００４４】
超解像像の所与の領域を合成するために使用される像データを潜在的に捕捉し得る少なくとも１つの画素を含有する、代替ビュー緑色カメラ内の識別された領域は、超解像像の所与の領域に対する視差不確定域５０６を画定する。図５Ｂ−５Ｅでは、視差不確定域は、各カメラ内の陰影付き領域として図示される。視差不確定域が識別されると、カメラアレイが、全撮像条件下、超解像像を確実に合成するために十分な信頼性のある像データを捕捉するかどうかを判定するためのプロセスは、単に、視差不確定域内の画像に影響を及ぼす欠陥の数を計数するステップを伴う。視差不確定域のいずれか内の欠陥の計数された数が、所定の数を超えると、カメラアレイは、欠陥があると見なされる。いくつかの実施形態では、視差不確定域内の領域に影響を及ぼす３つ未満の局在欠陥は、許容されることができる。再び、図５Ｂを参照すると、局在欠陥は、記号「Ｘ」を使用して示される。容易に理解され得るように、評価中の超解像像の領域の不確定域内の３つの局在欠陥（Ｘ）の存在は、欠陥があると見なされる図示されるカメラアレイをもたらすであろう。
【００４５】
所定の様式において、視差不確定域を画定する能力は、カメラアレイの製造の間、本発明の実施形態による、欠陥のあるカメラアレイを検出するためのプロセスを簡略化することができる。カメラアレイに欠陥があるかどうかを判定するためのプロセスは、単に、局在欠陥を含有するカメラの領域を判定し、次いで、局在欠陥が、所望のタイプの像を合成する目的のために、全体的カメラアレイを欠陥があるものにするかどうかを評価するとき、ルックアップテーブルを使用して、検討すべき視差不確定域を識別するステップを伴うことができる。
【００４６】
本発明の多くの実施形態では、カメラアレイに欠陥があるかどうかを評価するプロセスは、視差不確定域内の領域が局在欠陥を含有するかどうかを評価するステップを伴う。超解像像の所与の領域に対する視差不確定域の一部と見なされるカメラの領域は、全可能性として考えられる撮像条件下、超解像像の所与の領域を合成するために利用され得る像データを潜在的に捕捉し得る少なくとも１つの画素を含有する、領域である。また、視差不確定域の一部である領域はまた、任意の撮像条件下、超解像像の所与の領域を合成するために、超解像プロセスによって利用されないであろう像データを捕捉する画像（すなわち、エピポーラ線に沿って、超解像像の異なる領域にシフトする画像）を含むことができることも留意されたい。例えば、領域５０８は、そのような画素を含有する。領域５０８に影響を及ぼす局在欠陥が、超解像像の所与の領域の合成において使用される像データを潜在的に捕捉し得る画像に影響を及ぼさない場合、カメラアレイは、理論的に、依然として、前述の基準を満たさないにもかかわらず、容認可能像質の超解像像を合成するために使用され得る。故に、収率は、領域のサイズを縮小することによって、さらに増加されることができる（すなわち、３×３を上回るグリッド、例えば、６×８グリッドおよび／または本発明の要件に適切な任意の他のグリッドを使用して）。以下にさらに論じられるように、検討される領域のサイズは、検出されている欠陥の具体的タイプに依存し得る。例えば、欠陥のある画素は、個々に識別されることができ、したがって、非常に小さい領域が、欠陥のある画素の影響を評価するときに検討されることができる。対照的に、ＭＴＦ計算は、典型的には、より大きい数の画素によって捕捉された像データを要求する。したがって、より大きい領域が、アレイカメラモジュールの光学アレイのレンズスタック内の欠陥の影響を評価するときに利用され得る。加えて、例えば、光学試験器具が、試験器内で９つのレチクルおよび対応するカメラを使用する場合（軸上と、「像」のＨおよびＶ軸上の中間視野高さに４つと、角に４つ）、光学アレイを試験するための領域のサイズ、数、および場所のみ、ＭＴＦ試験機器の設定によって既に定義されることができる。故に、単一スクリーニングプロセスは、カメラアレイが所望のタイプの像を合成する際に利用されるために十分に信頼性があるかどうかを判定するプロセスの一部として、欠陥の異なるタイプの影響を評価するとき、異なるサイズの領域を利用することができる。
【００４７】
視差不確定域が、超解像像の種々の領域に関して画定される様式は、図５Ｃ−５Ｅを参照すると、さらに理解され得る。特に、図５Ｃおよび５Ｄに関して、基準カメラ内の領域５１０および領域５２０に対応する超解像像の異なる領域が、選択される（それぞれ、図５Ｃおよび図５Ｄに示される）。エピポーラ線５１２、５２２および最大視差シフト境界が、視差不確定領域５１４、５２４を識別するために利用され、視差不確定域５１４、５２４内の画素に影響を及ぼす局在欠陥の数が、次いで、判定されることができる。視差不確定域内の画素に影響を及ぼす局在欠陥の数が、所定の閾値数を超えると、カメラアレイは、超解像像を合成する目的のために、欠陥があると見なされ得る。
【００４８】
図５Ａに図示されるカメラアレイ内の基準カメラ５００は、緑色カラーチャネル内の像データを捕捉する、カメラである。超解像像を合成するプロセスはまた、他のカラーチャネル内のカメラによって捕捉された像データを基準カメラの視点にシフトするステップを伴うことができる。いくつかの実施形態では、カメラアレイが超解像像を確実に合成することができるかどうかを評価するプロセスは、基準カメラを含有しないカラーチャネルの一部である、カメラ内の欠陥が、カメラアレイによって捕捉された像データを使用して合成される超解像像内に容認不可能な像質をもたらす可能性が高いかどうかを評価するステップを伴う。基準カメラを含有しないカラーチャネルの一部である、カメラ内の欠陥の可能性として考えられる影響を評価するためのプロセスは、前述のプロセスに類似する。エピポーラ線および最大視差シフト境界が、合成された超解像像の具体的領域に対する視差不確定域を構成するカラーチャネル内の代替ビューカメラにおける領域を識別するために利用される。多くの事例では、異なるカラーチャネル内の像データを捕捉するために使用されるカメラアレイ内のカメラの数は、変動してもよい。したがって、異なる閾値が、アレイカメラが、各カラーチャネル内に欠陥があるかどうかを判定するために利用されてもよい。
【００４９】
本発明の実施形態による、青色カラーチャネルの一部であるカメラ内に存在する局在欠陥のため、フルカラー超解像像を合成する目的のために、図５Ａに図示されるカメラアレイに欠陥があるがあるかどうかを評価するためのプロセスが、図５Ｅに概念的に図示される。プロセスは、基準カメラ５００の領域５３０に対応する超解像像の領域を選択するステップを伴う。超解像像の選択された領域に対応する領域５３０が、図５Ｅに示されるが、基準カメラは、青色カラーチャネル内の像データを捕捉せず、したがって、基準カメラは、青色カラーチャネル内のカメラを評価する目的のために検討されない。領域３３０は、単に、青色カラーチャネルの一部であるカメラ内の視差不確定領域が判定される様式を図示する目的のために示される。エピポーラ線および最大視差シフト境界が、超解像像の選択された領域に関して、青色カラーチャネル内のカメラにおける視差不確定領域を識別するために利用される。青色カラーチャネル内のカメラの視差不確定域内の領域に影響を及ぼす（任意のタイプの）局在欠陥の数について、判定が行われることができる。局在欠陥によって影響される視差不確定域内の領域の数が、所定の閾値を超える場合、カメラアレイは、フルカラー超解像像を合成する目的のために、欠陥があると判定され得る。特に、図５Ａに図示される４×４カメラアレイに関して、カメラアレイに欠陥があると見なされる前に、超解像像の具体的領域の視差不確定域内で許容され得る欠陥の数は、単一欠陥である。他の実施形態では、視差不確定域内で許容される局在欠陥の数は、具体的用途の要件に基づいて判定されることができる。
【００５０】
図５Ｅに関して前述のプロセスは、図５Ａに示されるカメラアレイ内に青色カラーチャネルを形成するカメラの状況で論じられるが、類似プロセスが、赤色カラーチャネルを形成するカメラ内の欠陥が超解像像がカメラアレイによって捕捉された像データを使用して合成され得る信頼性を損なわせるかどうかを判定するために適用されることができる。さらに、基準カメラを含有しないカラーチャネルの前述の議論は、主に、赤色および青色カラーチャネルを参照して提示される。しかしながら、任意のカラーチャネルが、本発明の実施形態による、具体的用途の要件に適切であるように、前述のものに類似するプロセスを使用して評価されることができる。実際、カメラアレイによって捕捉された全てのカラーチャネルは、超解像像が仮想視点（すなわち、カラーチャネルのいずれも、超解像像が合成される視点から像データを捕捉するカメラを含まない）から合成されるとき、図５Ｅを参照して前述のものに類似するプロセスを使用して評価されることができる。
欠陥のあるカメラアレイを検出するためのプロセス
【００５１】
（限定されないが）アレイカメラモジュールを使用して実装されるカメラアレイを含む、カメラアレイを製造するためのプロセスは、欠陥のあるカメラアレイについてスクリーニングするプロセスを組み込むことができる。多くの実施形態では、スクリーニングプロセスは、識別された欠陥によって影響される像データを捕捉する、カメラアレイ内のカメラにおける欠陥および領域を識別する。プロセスは、次いで、領域の具体的セット内の欠陥によって影響される領域の数を計数することができ、領域の各セットは、カメラアレイによって捕捉された像データを使用して合成され得る、超解像像の具体的領域に対する視差不確定域を構成する。多くの実施形態では、領域の具体的セットは、超解像像の領域を合成するために使用される、カラーチャネル毎の異なるセットを含むことができる。このように、所定の視差不確定域は、視差不確定域（典型的には、製造および試験中の類似カメラアレイのそれぞれに同一である）を判定するための計算を継続的に行う必要なく、ルックアップテーブル（または、類似データ構造）のセットとして効果的に定義されることができる。
【００５２】
本発明のある実施形態による、カメラアレイをスクリーニングし、欠陥のあるカメラアレイを識別するためのプロセスが、図６に図示される。プロセス６００は、複数の焦点面を使用して、既知の標的の像データを捕捉するステップ（６０２）を含む。多くの実施形態では、標的は、アレイカメラ内の局在欠陥を検出する目的のために、捕捉された像データの評価を可能にする特徴を含む。いくつかの実施形態では、（限定されないが）傾斜縁標的を組み込む標的（接線方向および矢状方向成分の両方に対して）、バー標的（接線方向および矢状方向成分の両方に対して）、および／またはシーメンススター等、複数の視野場所におけるＭＴＦの局所測定を可能にする標的が、使用される。ある実施形態では、標的の具体的タイプが、異なる領域に結像されるように繰り返し配列される。捕捉された像データは、領域に分割され（６０４）、任意の局在欠陥が、領域内で識別される（６０６）。本発明の実施形態によるプロセスは、（限定されないが）カメラのレンズスタック内の欠陥、カメラのセンサ内の欠陥、ならびにカメラ光学系およびセンサの正しくない組立から生じる欠陥を含む、複数の異なるタイプの欠陥についてスクリーニングすることができる。以下にさらに論じられるように、捕捉された像データを領域に分割するプロセスは、カメラアレイによって合成される超解像像の像質に及ぼす像の異なるタイプの影響を評価する目的のために、捕捉された像データを異なるサイズの領域に分割するステップを伴うことができる。
【００５３】
いくつかの実施形態では、基準カメラが、選択される（６０８）。以下にさらに論じられるように、本発明の多くの実施形態によるプロセスは、超解像像の合成において利用される基準カメラに局在欠陥がないことを要求する。故に、基準カメラを選択するプロセスは、候補基準カメラを選択し、候補基準カメラのいずれかに欠陥がないかどうか評価するステップを伴うことができる。候補基準カメラのいずれも欠陥がある場合、カメラアレイは、拒否され得る。
【００５４】
カメラアレイをスクリーニングするプロセスは、次いで、カメラアレイによって捕捉された像データを使用して合成され得る、超解像像の各領域の視差不確定域内の領域によって捕捉された像データに影響を及ぼす欠陥を識別するステップ（６１０）を伴うことができる。前述のように、これは、ルックアップテーブル（または、類似の高速アクセス可能データ構造）を利用して、カメラアレイを使用して合成され得る、超解像像の領域毎に、（各カラーチャネル内の）視差不確定域に対応する領域の具体的セット内で生じる欠陥の数を計数するステップを伴うことができる。領域の具体的セットのそれぞれ内の欠陥の数は、次いで、その数が所定の閾値を超えるかどうかを判定するために評価されることができる（６１２）。多くの実施形態では、異なる閾値が、領域の異なるセットに対して定義されることができる。いくつかの実施形態では、異なる閾値が、カメラアレイによってサポートされる異なるカラーチャネルのそれぞれ内のセットに適用される。各事例における欠陥の数が、閾値を満たすために十分に少ない実施形態では、カメラアレイは、容認可能像質の超解像像を合成可能であると判定され、欠陥に関する情報は、超解像像の後続合成において、カメラアレイによって使用するために記憶されることができる。このように、欠陥に関する情報は、超解像像の合成の間、欠陥によって影響されるカメラの領域によって捕捉された像データを無視するために利用されることができる。このように、超解像像を合成するためのプロセスが、以下にさらに論じられる。領域の具体的セットに関する欠陥計数のうちの少なくとも１つが、所定の閾値を超える場合、カメラアレイは、容認可能像質を有する超解像像を合成する目的のために、欠陥があると判定される。
【００５５】
カメラアレイに欠陥があるかどうかを判定するための具体的プロセスが、図６に関して前述されたが、（限定されないが）超解像像の立体写真、カメラアレイ内のカメラのサブアレイから合成される像のシーケンス、および／またはカメラアレイ内のカメラの異なるサブアレイから合成される連続フレームを含む、高速ビデオシーケンスを含む、他のタイプの像を合成するために使用される像データの信頼性を評価するセットを含む、具体的用途に適切な種々の基準のいずれかに基づいて、領域のセットを画定するプロセスを含む、種々のプロセスのいずれかが、本発明の実施形態に従って、利用されることができる。前述の議論に照らして容易に理解され得るように、領域の具体的セット内に含まれる具体的領域は、各タイプの像を合成するために使用されるカメラに基づいて、かつエピポーラ線および最大視差シフト境界を使用して、判定され、視差不確定域内にあるそれらのカメラ内の領域を識別することができる。本発明の実施形態による、欠陥を識別するためのプロセスが、以下にさらに論じられる。
画素欠陥に基づく欠陥のある領域の識別
【００５６】
カメラの領域は、領域内の欠陥のある画素の存在のため、欠陥があると見なされ得る。画素は、（限定されないが）ホット画素、明画素、または暗画素であると判定される画素を含む、何らかの理由から、欠陥があると見なされ得る。具体的用途の要件に適切な種々の基準のいずれかが、領域内の欠陥のある画素の存在が、カメラアレイを評価する目的のために、領域全体を欠陥があるものとするかどうかを判定するために利用されることができる。いくつかの実施形態では、画素の所定の数の存在は、領域全体に欠陥があると見なされる結果をもたらす。いくつかの実施形態では、領域内の所定のサイズを超える欠陥のある画素のクラスタの存在は、領域全体に欠陥があると見なされる結果をもたらす。ある実施形態では、画素の２×２以下のクラスタである画素のクラスタは、許容されることができる。しかしながら、ある寸法に３つ以上の画素を含む画素のクラスタは、領域全体に欠陥があると見なされる結果をもたらす。他の実施形態では、許容され得る欠陥のある画素クラスタのサイズは、具体的用途の要件に基づいて判定される。
【００５７】
欠陥のある画素の存在が、本発明のある実施形態による、カメラアレイの性能を評価する目的のために、欠陥がある見なされる領域をもたらすかどうかを判定するためのプロセスが、図７に図示される。プロセス７００は、具体的領域内の捕捉された像データを使用して、欠陥のある画素を検出するステップ（７０２）を含む。欠陥のある画素の数が閾値を超えるかどうかに関して、判定が行われる（７０４）。閾値を超える場合、領域は、カメラアレイを評価する目的のために、欠陥があると見なされる（７０６）。欠陥のある画素の数が、所定の閾値を超えない場合、欠陥のある画素の任意のクラスタのサイズが、所定の閾値を超えるかどうかに関して、別個の判定が行われる（７０８）。最大サイズ基準を超える１つ以上のクラスタが存在する場合、領域は、カメラアレイを評価する目的のために、欠陥があると見なされる（７０６）。そうでなければ、領域は、欠陥のある画素の存在にもかかわらず、欠陥があると見なされないように扱われる（７１０）。多くの実施形態では、欠陥のある画素に関する情報は、欠陥のある画素によって捕捉された像データが無視され得るように、その領域によって捕捉された像データを使用して像を合成するときに使用するために記憶される。
【００５８】
カメラの領域内に存在する欠陥のある画素の特性に基づいて、カメラの領域に欠陥があるかどうかを判定するための具体的プロセスが、前述されたが、具体的用途の要件に適切な種々の基準のいずれかを利用する、種々のプロセスのいずれかが、本発明の実施形態に従って、領域内の欠陥のある画素の数、タイプ、および／または場所に基づいて、カメラアレイを評価する目的のために、カメラの領域に欠陥があるかどうかを判定するために利用されることができる。本発明の実施形態による、ＭＴＦ測定を利用して、カメラの領域に欠陥があるかどうかを評価するためのプロセスが、以下に論じられる。
ＭＴＦ測定を使用した欠陥のある領域の識別
【００５９】
カメラの光学系内の欠陥は、ＭＴＦ測定を行うことによって識別されることができる。いくつかの実施形態では、カメラのレンズスタック内の欠陥に起因し得る、カメラの領域内の欠陥は、その領域に対してＭＴＦ測定を行うことによって検出されることができる。ＭＴＦ測定が、光学系の予期されるＭＴＦから発散する場合、ＭＴＦの破綻が、その領域内で生じていると見なされ得、その領域は、カメラアレイの全体的信頼性を評価する目的のために、欠陥があるものとして扱われ得る。
【００６０】
本発明のある実施形態による、カメラアレイの全体的信頼性を評価するとき、カメラの領域に欠陥があるかどうかを判定するためのプロセスが、図８に図示される。プロセス８００は、カメラによって捕捉された像の領域のＭＴＦを測定するステップ（８０２）を含む。ＭＴＦ測定が、領域内のＭＴＦが所定の閾値を下回ることを示すかどうか、判定が行われる（８０４）。多くの実施形態では、領域に関するＭＴＦ測定が、ある空間周波数において、あるコントラクトに対する閾値を満たさないとき、カメラの領域は、カメラアレイの全体的性能を評価する目的のために、欠陥があると判定される。領域に対するＭＴＦ測定が、所定の容認基準を満たす場合、領域は、カメラアレイの全体的性能を評価する目的のために、欠陥がないと判定される（８０８）。
【００６１】
具体的プロセスが、図８を参照して前述されたが、種々のプロセスのいずれかが、本発明の実施形態による、具体的用途の要件に適切であるように、カメラの光学系の特性に基づいて、カメラの領域をスクリーニングするために利用されることができる。
基準カメラを選択するためのプロセス
【００６２】
多くの実施形態では、超解像像を合成するプロセスは、基準カメラの選択と、基準カメラの視点から超解像像を合成するステップとを伴う。基準カメラとして選択されたカメラは、超解像像の合成に重要な役割を果たす。したがって、本発明のいくつかの実施形態によるプロセスは、欠陥がない基準カメラの選択を試み、基準カメラとしての役割を果たすことができるカメラのいずれも欠陥があるとき、カメラアレイを無視するであろう。
【００６３】
本発明のある実施形態による、カメラアレイ内の基準カメラを選択するためのプロセスが、図９に図示される。プロセス９００は、初期基準カメラを選択するステップ（９０２）を含む。選択されたカメラに欠陥がないかどうかに関して、判定が行われる（９０４）。選択されたカメラに欠陥がない場合、カメラは、基準カメラとして選択される（９０６）。選択されたカメラが、１つ以上の欠陥のある領域を組み込む場合、候補基準カメラを選択し（９０２）、候補基準カメラを評価する（９０４）プロセスが、欠陥がない候補基準カメラが見つかり、基準カメラとして選択される（９０６）か、または全ての潜在的候補がなくなるかのいずれかまで、繰り返される。その場合、カメラアレイは、欠陥があるとして拒否される（９１０）。カメラアレイの構造および具体的用途の要件に応じて、典型的には、基準カメラとしての役割を果たすことができるのは、カメラアレイ内のカメラのあるサブセットのみである。
【００６４】
基準カメラを選択するための具体的プロセスが、図９を参照して前述されたが、具体的用途の要件に適切な種々のプロセスのいずれかが、本発明のある実施形態に従って、利用されることができる。
光学アレイのスクリーニング
【００６５】
前述の議論の多くは、容認可能像質を有する像の合成を妨害するであろう欠陥について、カメラアレイをスクリーニングするためのシステムおよび方法に焦点を当てたが、類似技法が、本発明の実施形態による、アレイカメラモジュールにおいて使用するために製造された光学アレイをスクリーニングするために利用されることができる。光学アレイ内のレンズスタックのそれぞれの複数の領域内のＭＴＦが、（限定されないが）Ｔｒｉｏｐｔｏｃｉｓ  ＧｍｂＨ（Ｗｅｄｅｌ，  Ｇｅｒｍａｎｙ）によって製造されたＩｍａｇｅ  Ｍａｓｔｅｒ（登録商標）ＰＲＯ製品ライン等のＭＴＦ試験を行うように設計された光学試験器具を使用して測定されることができる。さらに、光学アレイ内の欠陥のある領域が、本発明の実施形態による光学アレイを組み込んだ仮想アレイカメラによって捕捉された像データを使用して合成された像に及ぼすであろう影響を検討するプロセスを使用して、欠陥のある光学アレイを検出するために、スクリプトが、そのような光学試験器具上で実行されることができる。レンズスタック内の欠陥は、各レンズスタックのいくつかの領域のそれぞれのＭＴＦを別個に測定することによって、特定されることができる。視差不確定域は、カメラアレイ内のカメラの領域に対して画定される同一の方法において、光学アレイ内のレンズスタックの領域に関して画定されることができる。１つ以上の所定のＭＴＦ基準を満たさないＭＴＦ測定を有する視差不確定域内の領域を計数することによって、光学系内の欠陥が、超解像像が容認可能像質で合成され得る像データを捕捉不可能であるアレイカメラモジュールの構造をもたらす可能性が高いかどうかに関して、判定が行われることができる。カメラアレイと同様に、各視差不確定域を形成する領域の具体的セットは、高速読み出しを可能にするルックアップテーブル（または、類似データ構造）内に記憶されることができる。このように、計数が、生成され、適切な閾値が各セットに関して適用され、光学アレイに欠陥があるかどうかを判定することができる。
【００６６】
本発明のある実施形態による、レンズアレイに欠陥があるかどうかを判定するためのプロセスは、図１０に図示される。プロセス１０００は、レンズスタックアレイ内の各レンズスタックの異なる領域に対してＭＴＦを測定するステップ（１００２）を含む。局在欠陥は、ＭＴＦ測定と、（限定されないが）２２７ｌｐ／ｍｍ時軸上ＭＴＦ＞０．３、２２７ｌｐ／ｍｍ時Ｓ−ＭＴＦ＞０．２および２２７ｌｐ／ｍｍ時Ｔ−ＭＴＦ＞０．２を有する、０．６相対的視野高さにおける全領域、２２７ｌｐ／ｍｍ時Ｓ−ＭＴＦ＞０．１５および２２７ｌｐ／ｍｍ時Ｔ−ＭＴＦ＞０．１を有する０．８相対的視野高さにおける全領域の閾値のいずれか等の少なくとも１つの所定の基準を比較することによって、識別されることができる（１００４）。他の実施形態では、具体的用途の要件に適切な任意の閾値が、利用されることができる。いくつかの実施形態では、レンズスタックが、基準レンズスタックとして選択される。前述のように、本発明のいくつかの実施形態は、基準カメラに欠陥がないことを要求する。故に、基準レンズスタックとして選択されたレンズスタックもまた、欠陥がない要件を被り得る。基準カメラのレンズスタックとしての役割を果たし得るレンズスタックのいずれも、欠陥がある場合、本発明のある実施形態は、レンズスタックを欠陥があるとして拒否するステップを伴う。
【００６７】
光学アレイをスクリーニングするプロセスは、次いで、基準レンズスタックの視点から合成され得る、超解像像の各領域の視差不確定域内の捕捉された像データに影響を及ぼすであろう欠陥を識別するステップを伴うことができる（１００８）。前述のように、これは、ルックアップテーブル（または、類似の高速アクセス可能データ構造）を利用して、基準レンズスタックの領域毎の（各カラーチャネル内の）視差不確定域に対応する領域の具体的セット内で生じる欠陥の数を計数するステップを伴うことができる。領域の具体的セットのそれぞれ内の欠陥の数が、次いで、その数が所定の閾値を超えるかどうかを判定するために評価されることができる（１０１０）。多くの実施形態では、異なる閾値が、異なるセットに対して定義されることができる。いくつかの実施形態では、異なる閾値が、光学アレイを使用して最終的に形成されるであろう異なるカラーチャネルのそれぞれ内のセットに適用される。各事例における欠陥の数が、閾値を満たすために十分に低い実施形態では、光学アレイは、アレイカメラモジュールの構造中で使用するために好適であると判定される。さらに、スクリーニングプロセスの間に捕捉された欠陥に関する情報は、続いて、超解像像の合成の間、光学アレイ内の欠陥によって影響されるカメラの領域によって捕捉された像データを無視するために利用されることができる。このように、超解像像を合成するためのプロセスが、以下にさらに論じられる。領域の具体的セットに関する欠陥計数のうちの少なくとも１つが、所定の閾値を超える場合、光学アレイは、アレイカメラモジュールを構築する目的のために、欠陥があると判定される。
【００６８】
光学アレイに欠陥があるかどうかを判定するための具体的プロセスが、図１０に関して前述されたが、（限定されないが）超解像像の立体写真、カメラアレイ内のカメラのサブアレイから合成される像のシーケンス、および／またはカメラアレイ内のカメラの異なるサブアレイから合成される連続フレームを含む、高速ビデオシーケンスを含む、他のタイプの像を合成するステップに基づいて光学アレイの信頼性を評価するセットを含む、具体的用途に適切な種々の基準のいずれかに基づいて領域のセットを画定するプロセスを含む、種々のプロセスのいずれかが、本発明の実施形態に従って、利用されることができる。さらに、物質的ビニングが、各構成要素内に存在する欠陥に基づいて、光学アレイおよびセンサを組み合わせることによって、収率をさらに改善するために利用されることができる。このように、組み合わせは、局在欠陥が光学アレイ内に存在する領域とセンサ内の局在欠陥を合致させ、光学アレイおよびセンサを使用して組み立てられるアレイカメラモジュール内に局在欠陥を含有するカメラ領域の総数を最小限にするために作成されることができる。
欠陥を組み込むカメラアレイを使用した像の合成
【００６９】
前述のものに類似するプロセスを利用してスクリーニングされる、および／または前述のものに類似するプロセスを利用してスクリーニングされる光学アレイおよび／またはセンサを含む、カメラアレイは、欠陥を含有し得る。欠陥によって影響される画素によって捕捉された像データが、像を合成するために利用されるとき、像質の劣化がもたらされ得る。カメラアレイおよび／または光学系をスクリーニングするプロセスは、欠陥を含有するカメラおよび／またはレンズスタックあるいはセンサ内の領域に関する情報をもたらす。本発明のいくつかの実施形態では、欠陥のある領域に関する情報は、カメラアレイによって維持され、像を合成するために、捕捉された像データの処理において利用される。いくつかの実施形態では、欠陥のある領域内の捕捉された像データは、無視されることができる。領域に欠陥があるとして識別されるが、欠陥によって影響される具体的画素の場所が既知である場合、影響される画素のみ、無視されることができる。
【００７０】
本発明のある実施形態による、欠陥によって影響される領域および／または画素によって捕捉された像データを無視するステップを伴う、超解像像を合成するためのプロセスが、図１１に図示される。プロセス１１００は、カメラアレイ内のカメラを使用して、像データを捕捉するステップ（１１０２）を含む。任意のフォーマット化された欠陥データの形態をとり得る、具体的カメラおよび／またはレンズスタック内の欠陥のある領域に関する情報は、識別されたカメラの影響される領域内の画素によって捕捉された像データを無視するために利用されることができる（１１０４）。領域全体が無視されるとき、欠陥によって影響されない領域内の画素さえ、無視されることに留意されたい。多くの実施形態では、欠陥データはまた、同様に無視され得る欠陥のある画素に関する情報を含有することができる（１１０６）。超解像プロセスが、残りの像データに適用され（１１０８）、出力として超解像像をもたらすことができる（１１１０）。
【００７１】
超解像像を合成するための具体的プロセスが、図１１に関して前述されたが、（限定されないが）超解像像の立体写真、カメラアレイ内のカメラのサブアレイから合成される像のシーケンス、および／またはカメラアレイ内のカメラの異なるサブアレイから合成される連続フレームを含む、高速ビデオシーケンスを合成するステップを伴うプロセスを含む、欠陥を含有するカメラアレイ内の具体的カメラの領域に関する情報を利用する、カメラアレイによって捕捉された像データから像を合成するための種々のプロセスのいずれかが、本発明の実施形態に従って、利用されることができる。
【００７２】
前述の説明は、本発明の多くの具体的実施形態を含有するが、これらは、発明の範囲の限定として解釈されるべきではなく、むしろ、その一実施形態の実施例として解釈されたい。したがって、本発明は、本発明の範囲および精神から逸脱することなく、具体的に説明された以外にも実践され得ることを理解されたい。したがって、本発明の実施形態は、あらゆる観点において、制限ではなく、例証として見なされるべきである。
【図１】
2015534734.tif 000003
【図２】
2015534734.tif 000004
【図３】
2015534734.tif 000005
【図４】
2015534734.tif 000006
【図５Ａ】
2015534734.tif 000007
【図５Ｂ】
2015534734.tif 000008
【図５Ｃ】
2015534734.tif 000009
【図５Ｄ】
2015534734.tif 000010
【図５Ｅ】
2015534734.tif 000011
【図６】
2015534734.tif 000012
【図７】
2015534734.tif 000013
【図８】
2015534734.tif 000014
【図９】
2015534734.tif 000015
【図１０】
2015534734.tif 000016
【図１１】
2015534734.tif 000017
【国際調査報告】
2015534734.tif 000018
2015534734.tif 000019
2015534734.tif 000020