(57)【要約】本発明の実施形態によるシステムおよび方法は、レンズスタックアレイと焦点面のアレイを能動的に整合し、アレイカメラモジュールを構築する。一実施形態では、レンズスタックアレイと焦点面アレイを有するセンサを能動的に整合させる方法は、レンズスタックアレイを初期位置におけるセンサに対して整合させることと、レンズスタックアレイとセンサとの間の空間関係を変動させることと、異なる空間関係における複数の有効焦点面を使用して、着目領域を有する既知の標的の像を捕捉することと、着目領域が像内に合焦される範囲に基づいて、像をスコア化することと、スコアの比較に基づいて、レンズスタックアレイとセンサとの間の空間関係を選択することと、選択された空間関係に基づいて、アレイカメラサブアセンブリを形成することとを含む。
2015522178.tif 000002
【特許請求の範囲】
【請求項１】
レンズスタックアレイと複数の焦点面を含むセンサを能動的に整合させるための方法であって、各焦点面は、複数の画素列もまた形成する複数の画素行を備え、各焦点面は、別の焦点面からの画素を含有しない結像器アレイの領域内に含有され、前記方法は、
前記レンズスタックアレイを初期位置における前記センサに対して整合させることであって、前記レンズスタックアレイは、複数のレンズスタックを備え、前記複数のレンズスタックは、前記センサ内の焦点面毎に別個の光学チャネルを形成する、ことと、
前記レンズスタックアレイと前記センサとの間の空間関係を変動させることと、
前記レンズスタックアレイと前記センサとの間の異なる空間関係において、複数の有効焦点面を使用して、既知の標的の像を捕捉することであって、前記既知の標的は、少なくとも１つの着目領域を含む、ことと、
前記複数の有効焦点面によって捕捉された前記像をスコア化することであって、結果として生じるスコアは、少なくとも１つの着目領域が前記像内に合焦される範囲の直接比較を提供する、ことと、
複数の前記有効焦点面によって捕捉される像のスコアの比較に基づいて、前記レンズスタックアレイと前記センサとの間の空間関係を選択することと、
前記レンズスタックアレイおよび前記センサが前記選択された空間関係内に固定される、アレイカメラサブアセンブリを形成することと
を含む、方法。
【請求項２】
前記複数の有効焦点面によって捕捉される像をスコア化することは、前記像に関する変調伝達関数（ＭＴＦ）スコアを算出することを含む、請求項１に記載の方法。
【請求項３】
複数の前記有効焦点面によって捕捉される像のスコアの比較は、
前記選択された空間関係において複数の前記有効焦点面によって捕捉された像のスコアと、異なる空間関係において同一の有効焦点面によって捕捉された像のスコアの比較と、
前記選択された空間関係において前記有効焦点面によって捕捉された像のスコア間のばらつきと
に基づく、請求項１に記載の方法。
【請求項４】
前記スコアの比較は、ある有効焦点面によって捕捉された像のスコアが少なくとも１つの所定の基準を満たさないとき、前記有効焦点面によって捕捉された像の検討を省略することを含む、請求項１に記載の方法。
【請求項５】
前記少なくとも１つの所定の基準は、前記有効焦点面によって捕捉された像のスコアが所定の範囲内にあることを含む、請求項４に記載の方法。
【請求項６】
ある有効焦点面によって捕捉された像が、検討から省略されるとき、前記有効焦点面を非有効にすることをさらに含む、請求項４に記載の方法。
【請求項７】
前記スコアの比較は、個別の有効焦点面によって捕捉された像に関するスコア間の関係と、前記レンズスタックアレイと前記センサとの間の空間関係とを特徴付ける、複数の有効焦点面のそれぞれに対して数学的関係を判定することを含む、請求項１に記載の方法。
【請求項８】
前記スコアの比較はさらに、前記判定された数学的関係を使用して、最良適合平面を算出することを含み、前記最良適合平面は、所定の基準に従って、望ましい空間関係を画定する、請求項７に記載の方法。
【請求項９】
前記所定の基準は、前記スコアの相違を最小限にしながら、スコアを最大限にすることを含む、請求項８に記載の方法。
【請求項１０】
前記既知の標的は、着目中心領域および少なくとも１つの着目周辺領域を含み、
前記像は、スコアが各像内で可視の着目領域毎に提供されるようにスコア化され、前記スコアは、個別の着目領域が前記像内に合焦される範囲を示し、
前記スコアの比較は、
前記着目中心領域が個別の有効焦点面によって捕捉された像内に合焦される範囲および前記レンズスタックアレイと前記センサとの間の空間関係のスコアと、
前記少なくとも１つの着目周辺領域が前記個別の有効焦点面によって捕捉された像内に合焦される範囲および前記レンズスタックアレイと前記センサとの間の空間関係のスコアと
の間の関係を特徴付ける、複数の有効焦点面のそれぞれに対して数学的関係を判定することを含む、請求項１に記載の方法。
【請求項１１】
前記スコアの比較はさらに、前記判定された数学的関係を使用して、
所定の基準に従って、着目中心領域に合焦する各有効焦点面の能力に基づいて、前記レンズスタックアレイと前記センサとの間の空間関係を画定する、第１の最良適合平面と、
所定の基準に従って、前記少なくとも１つの着目周辺領域に合焦する各有効焦点面の能力に基づいて、前記レンズスタックアレイと前記センサとの間の空間関係を画定する、第２の最良適合平面と、
前記第１および第２の最良適合平面間にある、漸増的に離間される複数の平面と
を算出することを含む、請求項１０に記載の方法。
【請求項１２】
前記レンズスタックアレイと前記センサとの間の空間関係を選択することは、少なくとも１つの所定の基準を使用して、前記第１の最良適合平面によって画定される空間関係、前記第２の最良適合平面によって画定される空間関係、および前記複数の平面のうちの１つによって画定される空間関係のうちの１つを選択することを含む、請求項１１に記載の方法。
【請求項１３】
前記少なくとも１つの所定の基準は、
前記算出された平面によって画定される空間関係毎に、前記着目中心領域が合焦される範囲を示すスコアを平均化することであって、前記スコアは、個別の空間関係における全有効焦点面にわたって平均化される、ことと、
前記算出された平面によって画定される空間関係毎に、前記少なくとも１つの着目周辺領域が合焦される範囲を示すスコアを平均化することであって、前記スコアは、個別の空間関係における全有効焦点面にわたって平均化される、ことと、
前記空間関係間の判定された平均スコアのばらつきを査定することと
に基づく、請求項１２に記載の方法。
【請求項１４】
前記レンズスタックアレイを初期位置における前記センサに対して整合させることはさらに、
前記センサに対して前記レンズスタックアレイの初期掃引を行うことと、
複数の有効焦点面を使用して、前記初期掃引に沿って、変動された空間関係において、着目中心領域を含む既知の標的の初期セットの像を捕捉することと、
複数の前記捕捉された像内の前記着目中心領域に関する焦点スコアを判定することと、
前記初期セットの像を捕捉するために使用される前記複数の有効焦点面のそれぞれに対して初期セットの数学的関係を判定することであって、前記数学的関係は、前記焦点スコア間の関係および前記レンズスタックアレイと前記センサとの間の空間関係を特徴付ける、ことと、
前記初期セットの数学的関係を使用して、初期最良適合平面を算出することと、
前記レンズスタックアレイと前記算出された初期最良適合平面を整合させることと
を含む、請求項１に記載の方法。
【請求項１５】
前記レンズスタックアレイと前記センサとの間の空間関係を変動させることは、前記センサに対して前記レンズスタックアレイを掃引することを伴う、請求項１に記載の方法。
【請求項１６】
前記レンズスタックアレイは、前記センサの表面に実質的に垂直な方向に掃引される、請求項１５に記載の方法。
【請求項１７】
前記複数の有効焦点面によって捕捉される像をスコア化することは、
第１の基準に従って、前記捕捉された像に関する仮スコアを判定することと、
第２の基準に従って、関連セットの捕捉された像に関するスコアを判定することと、
前記関連セットの捕捉された像に関して判定されたスコアに基づいて、前記レンズスタックアレイと前記センサとの間の空間関係の関数として、前記仮スコアを外挿することと
を含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（発明の分野）
本発明は、概して、レンズスタックアレイと焦点面のアレイを能動的に整合させることに関する。
【背景技術】
【０００２】
（背景）
暗箱に基づく従来のデジタルカメラに課される制約に応じて、アレイカメラと称され得る、新しい種類のカメラが、提案されている。アレイカメラは、画素の複数のアレイを有し、各画素アレイが、焦点面を画定することが意図され、各焦点面が、別個のレンズスタックを有する、結像器アレイを有することを特徴とする。典型的には、各焦点面は、複数の画素列もまた形成する、複数の画素行を含み、各焦点面は、別の焦点面からの画素を含有しない、結像器の領域内に含有される。像は、典型的には、その個別のレンズスタックによって各焦点面に合焦される。多くの事例では、アレイカメラは、複数の焦点面を組み込む、結像器アレイと、レンズスタックの光学アレイとを使用して構築される。
【発明の概要】
【課題を解決するための手段】
【０００３】
（発明の要約）
本発明の実施形態によるシステムおよび方法は、レンズスタックアレイと焦点面のアレイを能動的に整合し、アレイカメラモジュールを構築する。一実施形態では、レンズスタックアレイと複数の焦点面を含むセンサを能動的に整合させるための方法であって、各焦点面は、複数の画素列もまた形成する、複数の画素行を含み、各焦点面は、別の焦点面からの画素を含有しない、結像器アレイの領域内に含有される、方法は、レンズスタックアレイを初期位置におけるセンサに対して整合させることであって、レンズスタックアレイは、複数のレンズスタックを含み、複数のレンズスタックは、センサ内の焦点面毎に別個の光学チャネルを形成する、ことと、レンズスタックアレイとセンサとの間の空間関係を変動させることと、レンズスタックアレイとセンサとの間の異なる空間関係において、複数の有効焦点面を使用して、既知の標的の像を捕捉することであって、既知の標的は、少なくとも１つの着目領域を含む、ことと、複数の有効焦点面によって捕捉された像をスコア化することであって、結果として生じるスコアは、少なくとも１つの着目領域が像内に合焦される範囲の直接比較を提供する、ことと、複数の有効焦点面によって捕捉される像のスコアの比較に基づいて、レンズスタックアレイとセンサとの間の空間関係を選択することと、レンズスタックアレイおよびセンサが選択された空間関係内に固定される、アレイカメラサブアセンブリを形成することとを含む。
【０００４】
別の実施形態では、複数の有効焦点面によって捕捉される像をスコア化することは、像に関する変調伝達関数（ＭＴＦ）スコアを算出することを含む。
【０００５】
さらに別の実施形態では、複数の有効焦点面によって捕捉された像のスコアの比較は、選択された空間関係において複数の有効焦点面によって捕捉された像のスコアと、異なる空間関係において同一の有効焦点面によって捕捉された像のスコアの比較と、選択された空間関係において有効焦点面によって捕捉された像のスコア間のばらつきとに基づく。
【０００６】
なおも別の実施形態では、スコアの比較は、ある有効焦点面によって捕捉された像のスコアが少なくとも１つの所定の基準を満たさないとき、有効焦点面によって捕捉された像の検討を省略することを含む。
【０００７】
さらなる実施形態では、少なくとも１つの所定の基準は、有効焦点面によって捕捉された像のスコアが所定の範囲内にあることを含む。
【０００８】
なおもさらなる実施形態では、本方法は、ある有効焦点面によって捕捉された像が、検討から省略されるとき、有効焦点面を非有効にすることを含む。
【０００９】
さらに別の実施形態では、スコアの比較は、個別の有効焦点面によって捕捉された像に関するスコア間の関係と、レンズスタックアレイとセンサとの間の空間関係とを特徴付ける、複数の有効焦点面毎の数学的関係を判定することを含む。
【００１０】
別の実施形態では、スコアの比較はさらに、判定された数学的関係を使用して、最良適合平面を算出することを含み、最良適合平面は、所定の基準に従って、望ましい空間関係を画定する。
【００１１】
さらに別の実施形態では、所定の基準は、スコアの相違を最小限にしながら、スコアを最大限にすることを含む。
【００１２】
なおも別の実施形態では、既知の標的は、着目中心領域および少なくとも１つの着目周辺領域を含み、像は、スコアが各像内で可視の着目領域毎に提供されるようにスコア化され、スコアは、個別の着目領域が像内に合焦される範囲を示し、スコアの比較は、着目中心領域が個別の有効焦点面によって捕捉された像内に合焦される範囲とレンズスタックアレイとセンサとの間の空間関係のスコアと、少なくとも１つの着目周辺領域が個別の有効焦点面によって捕捉された像内に合焦される範囲およびレンズスタックアレイとセンサとの間の空間関係のスコアとの間の関係を特徴付ける、複数の有効焦点面毎に数学的関係を判定することを含む。
【００１３】
さらなる実施形態では、スコアの比較はさらに、判定された数学的関係を使用して、所定の基準に従って、着目中心領域に合焦する各有効焦点面の能力に基づいて、レンズスタックアレイとセンサとの間の空間関係を画定する、第１の最良適合平面と、所定の基準に従って、少なくとも１つの着目周辺領域に合焦する各有効焦点面の能力に基づいて、レンズスタックアレイとセンサとの間の空間関係を画定する、第２の最良適合平面と、第１および第２の最良適合平面間にある、漸増的に離間される複数の平面とを算出することを含む。
【００１４】
なおもさらなる実施形態では、レンズスタックアレイとセンサとの間の空間関係を選択することは、少なくとも１つの所定の基準を使用して、第１の最良適合平面によって画定される空間関係、第２の最良適合平面によって画定される空間関係、および複数の平面によって画定される空間関係のうちの１つを選択することを含む。
【００１５】
なおもさらなる実施形態では、少なくとも１つの所定の基準は、算出された平面によって画定される空間関係毎に、着目中心領域が合焦される範囲を示すスコアを平均化することであって、スコアは、個別の空間関係における全有効焦点面にわたって平均化される、ことと、算出された平面によって画定される空間関係毎に、少なくとも１つの着目周辺領域が合焦される範囲を示すスコアを平均化することであって、スコアは、個別の空間関係における全有効焦点面にわたって平均化される、ことと、空間関係間の判定された平均スコアのばらつきを査定することとに基づく。
【００１６】
さらなる実施形態では、レンズスタックアレイを初期位置におけるセンサに対して整合させることはさらに、センサに対してレンズスタックアレイの初期掃引を行うことと、複数の有効焦点面を使用して、初期掃引に沿って、変動された空間関係において、着目中心領域を含む既知の標的の初期セットの像を捕捉することと、複数の捕捉された像内の着目中心領域に関する焦点スコアを判定することと、初期セットの像を捕捉するために使用される複数の有効焦点面毎に、初期セットの数学的関係を判定することであって、数学的関係は、焦点スコア間の関係およびレンズスタックアレイとセンサとの間の空間関係を特徴付ける、ことと、初期セットの数学的関係を使用して、初期最良適合平面を算出することと、レンズスタックアレイと算出された初期最良適合平面を整合させることとを含む。
【００１７】
別の実施形態では、レンズスタックアレイとセンサとの間の空間関係を変動させることは、センサに対してレンズスタックアレイを掃引することを伴う。
【００１８】
なおも別の実施形態では、レンズスタックアレイは、センサの表面に実質的に垂直な方向に掃引される。
【００１９】
さらなる実施形態では、複数の有効焦点面によって捕捉される像をスコア化することは、第１の基準に従って、捕捉された像に関する仮スコアを判定することと、第２の基準に従って、関連セットの捕捉された像に関するスコアを判定することと、関連セットの捕捉された像に関して判定されたスコアに基づいて、レンズスタックアレイとセンサとの間の空間関係の関数として、仮スコアを外挿することとを含む。
【図面の簡単な説明】
【００２０】
【図１】図１は、アレイカメラを概念的に図示する。
【図２】図２は、アレイカメラモジュールを図示する。
【図３】図３は、πフィルタを採用する、アレイカメラモジュールを図示する。
【図４】図４は、本発明の実施形態による、レンズスタックアレイおよびセンサを使用するカメラモジュールの製造の間に生じ得る、焦点距離のばらつきを概念的に図示する。
【図５】図５は、本発明のある実施形態による、レンズスタックアレイと、対応する焦点面のアレイを含む、センサとを能動的に整合させるためのプロセスを図示する、流れ図である。
【図６】図６は、本発明のある実施形態による、レンズスタックアレイとセンサを能動的に整合させるために使用され得る、初期構成を図式的に図示する。
【図７】図７は、本発明のある実施形態による、センサに対するレンズスタックアレイの掃引を図示する。
【図８】図８は、本発明の多くの実施形態による、能動的整合の間に使用され得る、標的を図示する。
【図９】図９は、本発明のある実施形態による、十分な軸上および軸外性能を有する、像を捕捉および記録可能なアレイカメラモジュールをもたらす、双方向算出プロセスを使用する能動的整合プロセスを図示する、流れ図である。
【発明を実施するための形態】
【００２１】
（詳細な説明）
ここで図面を参照すると、本発明の実施形態による、レンズスタックアレイとモノリシックセンサ上の焦点面のアレイを能動的に整合させるためのシステムおよび方法が、図示される。レンズスタックアレイを使用するアレイカメラを構築するためのプロセスは、Ｖｅｎｋａｔａｒａｍａｎ  ｅｔ  ａｌ．の米国特許出願第１２／９３５，５０４号「Ｃａｐｔｕｒｉｎｇ  ａｎｄ  Ｐｒｏｃｅｓｓｉｎｇ  ｏｆ  Ｉｍａｇｅｓ  Ｕｓｉｎｇ  Ｍｏｎｏｌｉｔｈｉｃ  Ｃａｍｅｒａ  Ａｒｒａｙ  ｗｉｔｈ  Ｈｅｔｅｒｏｇｅｎｅｏｕｓ  Ｉｍａｇｅｒｓ」に説明されている。米国特許出願第１２／９３５，５０４号の開示は、参照することによって、全体として本明細書に組み込まれる。米国特許出願第１２／９３５，５０４号に図示されるモノリシックカメラモジュールは、レンズスタックアレイと、レンズスタックアレイ内の光学チャネルに対応する複数の焦点面を含む、センサとから構築されることができる。レンズスタックおよびその対応する焦点面の組み合わせは、「カメラモジュール」と理解され得る。理想的には、アレイカメラのレンズスタックアレイは、各光学チャネルが同一の焦点距離を有するように構築される。しかしながら、レンズスタックアレイの製造に伴われる多数の公差は、変動された焦点距離を有する、異なる光学チャネルをもたらし得る。全製造プロセス上のばらつきの組み合わせは、典型的には、公称規定から、焦点距離等の実際の（「一次」）レンズパラメータの逸脱をもたらす。その結果、各光学チャネルは、異なる軸方向最適像場所を有し得る。その結果、センサは、モノリシックであるため、典型的には、アレイカメラモジュール内の各カメラの焦点距離に対応する距離に設置されることができない。着目すべきこととして、これらの製造公差は、同一の製造プロセスから加工されるレンズスタックアレイ間でも、異なる焦点距離をもたらし得る。したがって、本発明の多くの実施形態では、レンズスタックアレイは、焦点面のアレイと能動的に整合され、レンズスタックアレイ内の焦点距離の相違が及ぼし得る悪影響に対処するように設計される、アレイカメラモジュールを形成する。
【００２２】
カメラシステムの製造の状況では、用語「能動的整合」は、典型的には、光学システム（例えば、レンズスタックアレイ）と撮像システム（例えば、モノリシックセンサを備える）を整合させ、光学システムと撮像システムとの間の空間関係の関数として、構成の有効性を評価することによって、最終的望ましい空間配列を達成するためのプロセスを指す。典型的には、本プロセスは、光学システムが撮像システムに対して移動するにつれて、（典型的には、既知の標的の）像データをリアルタイムで捕捉および記録するための構成を使用することによって実装される。光学システムが撮像システムに対して移動されるにつれて、２つの変化間の空間関係および記録される像データの特性もまた、対応して変化する。本記録像データは、次いで、所望の様式において、光学システムを撮像システムに対して整合させるために使用されてもよい。例えば、能動的整合は、概して、閾値像質を超える像を記録可能なカメラモジュールをもたらす、空間関係を判定するために使用されることができる。
【００２３】
レンズスタックアレイは、本発明の実施形態に従って、焦点面のアレイと能動的に整合され得る。重要なこととして、本状況における能動的整合は、従来の単一レンズカメラの状況におけるよりはるかに複雑かつ微妙であり得る。まず第１に、レンズスタックアレイは、典型的には、単一の一体型筐体内に具現化されるため、（その対応する焦点面に対する）個々のレンズスタックの空間配向は、他のレンズスタックのものと別個に変動されることができない。代わりに、あるレンズスタックの空間配向を変動させることは、他のものの空間配向も必ず変化させる。その結果、複数のカメラが、その独自の個別の最も望ましい位置において空間に位置することは不可能であり得る。その結果、アレイカメラの状況における能動的整合は、必ずしも、各カメラをその独自の最適位置に設置するわけではないが、アレイカメラモジュールが、全体として、望ましいレベルの性能を達成するように、複数のカメラのレンズスタックを十分に配向する最終配列を算出することを伴い得る。
【００２４】
加えて、レンズスタックアレイと焦点面のアレイの能動的整合は、典型的には、個別の変動された空間関係において、単一カメラとは対照的に、複数のカメラの有効性の評価を伴う。多くの実施形態では、カメラの有効性は、変動された空間関係における既知の標的のカメラの捕捉および記録された像を評価することによって判定される。例えば、記録された像の鮮明度、したがって、焦点を示す数的スコアでもある、変調伝達関数（ＭＴＦ）スコアが、所与の記録された像に関して判定され、個別の空間配向における個別のカメラを評価するために使用されてもよい。さらに、記録された像は、異なる着目領域（ＲＯＩ）、特に、異なる視野高さにおいて評価されてもよい。例えば、ＭＴＦスコアが、記録された像内の各ＲＯＩに割り当てられてもよい。したがって、対応するカメラが、ＲＯＩ毎に評価されてもよく、本評価データは、望ましいアレイカメラモジュール構成を結論付けるために使用されてもよい。
【００２５】
いくつかの実施形態では、アレイカメラモジュール内のカメラ全てのサブセットのみ、評価プロセスの間、使用されてもよい。本サブセットを画定するカメラは、事前に判定されてもよく、あるいは焦点面の一部または全部によって捕捉された初期セットの像データを検討することによって、計算上判定されてもよい。
【００２６】
さらに、従来の単一レンズカメラと異なり、アレイカメラモジュールの能動的整合は、カメラを戦略的に無効にすることを伴うことができる。例えば、アレイカメラモジュールが推定された最終配列にあるとき、カメラの画質が、規定された閾値質を下回る場合、カメラは、無効にされてもよい。したがって、本発明の多くの実施形態では、能動的整合プロセスは、最初に、アレイカメラモジュールのための最終配列を推定し、閾値質を達成せず、それらを無効にすることがカメラモジュール内の他のカメラの全体的性能を改善し得ることに基づいて、無効にされるべきカメラを識別し、次いで、無効にされたカメラが算出プロセスから除外される最終配列を算出するために使用される。これは、アレイカメラが複数のカメラを含み、カメラのうちのいくつかが非有効にされる場合、依然として、動作可能であるため、可能であることに留意されたい。すなわち、アレイカメラは、残りの有効カメラに依拠し、機能し、それらの残りの有効カメラに基づいて、像を合成するように構成されてもよい。アレイカメラソフトウェアが、あるカメラを非有効にすることを可能にすることによって、より高い製造収率が、達成され得、完成したカメラモジュールのコストを削減することができる。
【００２７】
本発明の実施形態による、レンズスタックアレイおよびセンサを能動的に整合させ、アレイカメラ内で使用するためのカメラモジュールを形成するためのアレイカメラおよびシステムおよび方法が、以下にさらに論じられる。
アレイカメラアーキテクチャ
【００２８】
図１は、米国出願第１２／９３５，５０４号に開示されるアレイカメラアーキテクチャを図示する。アレイカメラ１００は、像処理パイプラインモジュール１２０およびコントローラ１３０に接続された、アレイカメラモジュール１１０を含む。像処理パイプラインモジュール１２０は、アレイカメラモジュール１１０から受信された像を処理するためのハードウェア、ファームウェア、ソフトウェア、または組み合わせである。像処理パイプラインモジュール１２０は、カメラモジュール内の複数の焦点面によって捕捉された複数の像を処理可能であって、合成されたより高い分解能の像を生成することができる。いくつかの実施形態では、像処理パイプラインモジュール１２０は、出力１２２を介して、合成された像データを提供する。
【００２９】
コントローラ１３０は、アレイカメラモジュール１１０のための種々の動作パラメータを制御するためのハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせである。コントローラ１３０は、ユーザまたは他の外部構成要素から入力１３２を受信し、アレイカメラモジュール１１０を制御するための動作信号を送信する。コントローラはまた、像処理パイプラインモジュール１２０に情報を送信し、アレイカメラモジュール１１０内の焦点面によって捕捉された像の処理を補助することができる。
【００３０】
具体的アレイカメラアーキテクチャが、図１に図示されるが、本発明の実施形態による、能動的整合プロセスを使用して構成されるカメラモジュールは、種々のアレイカメラアーキテクチャのいずれか内で利用されることができる。本発明の実施形態による、アレイカメラ内で利用され得るカメラモジュールおよび能動的整合プロセスを利用してカメラモジュールを製造するためのプロセスが、以下にさらに論じられる。
アレイカメラモジュール
【００３１】
図２は、米国出願第１２／９３５，５０４号に開示されるような、レンズスタックアレイと対応する焦点面のアレイを含む、モノリシックセンサを組み合わせることによって形成される、アレイカメラモジュールの分解図を図示する。アレイカメラモジュール２００は、レンズスタックアレイ２１０と、焦点面２４０のアレイを含む、センサ２３０とを含む。レンズスタックアレイ２１０は、レンズスタック２２０のアレイを含む。各レンズスタックは、センサ上の焦点面２４０上に像を分解する、光学チャネルを作成する。レンズスタックはそれぞれ、異なるタイプであってもよい。例えば、光学チャネルは、スペクトルの異なる部分において像を捕捉するために使用されてもよく、各光学チャネル内のレンズスタックは、光学チャネルと関連付けられた焦点面によって結像されたスペクトルの部分に関して具体的に最適化されてもよい。より具体的には、アレイカメラモジュールは、「πフィルタ群」を用いてパターン化されてもよい。用語「πフィルタ群」は、カメラモジュールのレンズスタックアレイに適用されるカラーフィルタのパターンを指し、πフィルタ群を用いてアレイカメラをパターン化するためのプロセスは、Ｖｅｎｋａｔａｒａｍａｎ  ｅｔ  ａｌ．の米国特許出願第６１／６４１，１６４号「Ｃａｍｅｒａ  Ｍｏｄｕｌｅｓ  Ｐａｔｔｅｒｎｅｄ  ｗｉｔｈ  π  ｆｉｌｔｅｒ  ｇｒｏｕｐｓ」に説明されている。米国特許出願第６１／６４１，１６４号の開示は、参照することによって、全体として本明細書に組み込まれる。図３は、単一πフィルタ群を図示し、５つのレンズが、緑色光を受光するように構成され、２つのレンズが、赤色光を受光するように構成され、２つのレンズが、青色光を受光するように構成される。レンズスタックはさらに、相互に対して軸方向に配列された１つまたは複数の別個の光学要素を有してもよい。
【００３２】
レンズスタックアレイは、ウエハレベル光学（ＷＬＯ）技術を採用してもよい。ＷＬＯは、例えば、レンズアレイをガラスウエハ上に成形し、適切なスペーサとともに、それらのウエハ（基板の両側に複製されるレンズを有するウエハを含む）を積層した後、直接、結像器とともに、モノリシック統合モジュール内に光学をパッケージ化することを含む、いくつかのプロセスを包含する、技術である。
【００３３】
ＷＬＯ手技は、他の手技の中でもとりわけ、ダイヤモンド切削加工を使用して、ガラス基板上に各プラスチックレンズ要素を作成することを伴い得る。より具体的には、ＷＬＯにおける、一連のプロセスは、概して、ダイヤモンド切削されたレンズマスタ（個々およびアレイレベルの両方において）を生成し、次いで、そのマスタの複製のためのネガ型鋳型（スタンプまたはツールとも呼ばれる）を生成し、次いで、最後に、例えば、絞り（光遮断材料層内の透明開口部）等の適切な支持光学要素と、フィルタとともに構築される、ガラス基板上にポリマー複製物を形成することを含む。
【００３４】
具体的ＷＬＯプロセスを使用したレンズスタックアレイの構築が、前述されているが、種々の技法のいずれも、レンズスタックアレイを構築するために使用されることができ、例えば、精密ガラス成形、ポリマー射出成形、またはウエハレベルポリマーモノリシックレンズプロセスを伴うものが挙げられる。レンズスタックアレイ内のレンズスタックの後焦点距離のばらつきに関する問題が、以下に論じられる。
後焦点面整合
【００３５】
アレイカメラモジュールは、典型的には、各焦点面（すなわち、対応するレンズスタックによって焦点面上に形成される像を捕捉するように構成される、画素のアレイ）が、光学チャネルを形成する各レンズスタックの焦点距離に位置付けられるような方法で構築されることが意図される。しかしながら、製造上のばらつきは、各光学チャネル内に、その規定から変動するレンズスタックをもたらし得、多くの事例では、これらのばらつきは、レンズスタックアレイ内に、異なる焦点距離を有する各レンズスタックをもたらし得る。例えば、製造上のばらつきのため、レンズスタックアレイ内の個々のレンズスタック間で変動し得るパラメータとして、個々のレンズ内の曲率半径、円錐曲線、より高次の非球面係数、屈折率、基層の厚さ、および／または全体的レンズ高さが挙げられるが、それらに限定されない。当業者が理解するであろうように、任意の数のレンズ規定が、レンズ加工プロセスを特徴付けるために使用され得、個別の公差は、任意の数の点においてこれらの規定から逸脱を伴い得、それぞれ、後焦点距離に影響を及ぼし得る。センサのモノリシック性質のため、（レンズスタックに対する）焦点面の空間関係は、本ばらつきに対応するように個々にカスタマイズされることができない。
【００３６】
さらに、多くの事例では、単一製造プロセスが、複数のレンズスタックアレイを加工するために使用されるのが実状である。その結果、前述の理由に加え、後焦点距離はさらに、同一のプロセスから加工される異なるレンズスタックアレイからのレンズスタック間で変動し得る。例えば、レンズスタック内で採用されるレンズ基板およびスペーサ、特に、センサカバーガラスに面するものの厚さのばらつき（公差内）はさらに、後焦点距離のばらつきに寄与し得る。加えて、（１）センサカバーガラスの厚さ、（２）レンズスペーサとセンサカバーガラスとの間の結合線の厚さ、および（３）センサとカバーガラスとの間のある程度の空隙のばらつきはさらに、後焦点距離のばらつきを悪化させ得る。したがって、レンズスタックアレイ加工およびレンズとセンサの取付プロセスの間、一定（公称）プロセスパラメータを用いても、サンプル毎のばらつきは、焦点がずれたカメラモジュールをもたらし得る。
【００３７】
従来のレンズスタックアレイ内で生じ得る焦点距離のばらつきは、図４に概念的に図示される。アレイカメラモジュール４００は、レンズスタック４０４がセンサ４０８の焦点面４０６上に光を合焦させる、レンズスタックアレイ４０２を含む。図示されるように、実際に加工されたレンズスタックとその元々の規定との間の相違は、若干、その規定から変動する、焦点距離を有し、その結果、レンズスタックアレイとセンサとの間の距離に対応しない像距離を有する、レンズスタックをもたらし得る。故に、センサの焦点面上に形成された像は、焦点がずれ得る。加えて、（限定されないが）センサに対するレンズスタックアレイのスペーサ厚および整合のばらつきを含む、アレイカメラモジュールのアセンブリと関連付けられた他の製造公差は、光学チャネルの全てに影響を及ぼし得る。
能動的整合プロセス
【００３８】
多くの実施形態では、レンズスタックアレイとセンサを能動的に整合させ、アレイカメラモジュールを構築するためのプロセスは、レンズスタックアレイがセンサに対して移動されるにつれて、センサ上の複数の焦点面によって捕捉された像データを読み取ることを伴う。像データは、センサとレンズスタックアレイとの間の異なる空間関係において結果として生じる像質を評価するために利用されることができ、像質の所定の閾値レベルを提供する空間関係は、カメラモジュールを構築するために利用されることができる。本発明のある実施形態による、概して、２つを整合させ、その空間関係を変動させ、変動の間、結果として生じる構成を評価し、評価データを使用して、アレイカメラモジュールを構成することによって、レンズスタックアレイとセンサを能動的に整合させるプロセスが、図５に図示される。
【００３９】
レンズスタックアレイは、概して、複数の焦点面を有する、対応するセンサと整合される（５１０）。組み合わせは、構成内の各カメラが、像を捕捉および記録可能なように整合される。センサに対するレンズスタックアレイの空間関係が、変動される（５２０）。いくつかの実施形態では、変動は、レンズスタックアレイをセンサに対して掃引することによって達成される。掃引は、一方の構成要素（すなわち、レンズスタックアレイまたはセンサのいずれか）を他方に関連して経時的に移動させることを意味すると理解され得る。掃引は、１自由度であってもよく、または多自由度にわたることもできる。容易に理解され得るように、カメラモジュールのアレイ性質は、ｘ、ｙ、およびｚ−方向のばらつきならびにセンサに対するレンズスタックアレイの勾配／傾斜および回転が全て、センサ上の焦点面によって捕捉された結像データに有意な影響を及ぼし得ることを意味する。多くのアレイカメラでは、カメラの焦点およびその結果としての鮮明度は、主に、ｚ−方向およびセンサに対するレンズスタックアレイの勾配／傾斜によって影響され、勾配／傾斜は、主に、コーナーカメラの性能に影響を及ぼすことに留意されたい。逆に言えば、単一レンズスタックのみを備える従来のカメラでは、カメラの像質は、主に、センサに対する光学システムの「ｚ−位置」によって左右される。多くの実施形態では、掃引の経路は、事前に判定される。
【００４０】
捕捉された像データの質は、変動された空間関係において評価される（５３０）。例えば、本発明のいくつかの実施形態では、構成は、センサに対するレンズスタックアレイの掃引の間、断続的に評価される。多くの実施形態では、構成は、変動された空間関係における既知の標的の複数のカメラの捕捉および記録された像を評価することによって評価される。いくつかの実施形態では、その構成のカメラのサブセットのみ、評価目的のために使用される。ＭＴＦスコアが、記録された像毎に判定され、個別の空間配向における個別のカメラを評価するために使用されてもよい。記録された像はまた、その異なるＲＯＩにおいて評価されてもよい。例えば、ＭＴＦスコアは、記録された像内の各ＲＯＩに割り当てられてもよい。
【００４１】
アレイカメラモジュールは、評価の間に得られた情報を使用して構成される（５４０）。いくつかの実施形態では、構成は、閾値質を超える像を捕捉および記録可能な対応するアレイカメラモジュールをもたらす、レンズスタックアレイとセンサとの間の空間関係を結論付けることを伴う。構成はまた、閾値質を超えないカメラを無効にすることを伴ってもよい。再び、アレイカメラモジュールは、複数のカメラを含むため、カメラのうちのいくつかが無効にされても、依然として、機能することができる。カメラを無効にすることが可能である利点は、カメラを含むアレイの平均性能が、無効にされたカメラがレンズスタックアレイおよびセンサの適切な整合を判定する際に検討から除外されるとき、残りのカメラの平均性能をはるかに下回り得ることである。
【００４２】
レンズスタックアレイと対応する焦点面のアレイを能動的に整合させるプロセスおよびその変形例が説明されたが、いくつかの異なるプロセスのいずれかが、本発明の実施形態による、レンズスタックアレイと焦点面のアレイを能動的に整合させるために使用されてもよい。本発明の実施形態による、能動的整合プロセスのための初期構成が、以下に論じられる。
レンズスタックアレイと焦点面のアレイを整合させるための初期構成
【００４３】
能動的整合プロセスは、本発明の実施形態による、任意の数の初期構成から開始してもよい。本発明のある実施形態による、レンズスタックアレイを配向可能なデバイスが、対応するアレイカメラモジュールのレンズスタックアレイに接続され、プロセッサが、対応するセンサに接続され、標的が、アレイカメラモジュールがそれを捕捉および記録し得るように、位置付けられ、照明される、能動的整合プロセスのための初期構成は、図６に図示される。アレイカメラモジュール６１０は、レンズスタックアレイ６２０と、対応する焦点面を有する、センサ６３０とを含む。レンズスタックアレイおよびセンサは、概して、標的６４０の像を捕捉および記録可能であるように整合される。レンズスタックアレイ６４０を空間的に配向可能なデバイスは、レンズスタックアレイ６２０に接続され、プロセッサ６６０は、センサに接続される。したがって、プロセッサ６６０は、レンズスタックアレイ６２０の配向が変動される間、センサ６３０から像を捕捉および記録可能であって、能動的整合プロセスは、それによって、実装されることができる。レンズスタックアレイ６５０およびプロセッサ６６０を空間的に配向するためのデバイスの組み合わせは、能動的整合機械６７０であると理解され得る。
【００４４】
多くの実施形態では、初期構成は、概して、各レンズスタックが、概して、その対応する焦点面と整合されるように、レンズスタックアレイ６２０およびセンサ６３０が、十分な平行移動および回転整合状態にあることを確実にするようレンズスタックアレイ６２０およびセンサ６３０を整合させることを伴う。ここでの平行移動運動は、その個別の表面と平行な方向におけるシステム（すなわち、レンズスタックアレイ６２０またはセンサ６３０）の運動を指す。ここでの回転は、他方に対するＺ−軸（すなわち、センサとレンズスタックアレイとの間の距離を画定する軸）を中心とするシステムの回転を指す。一般的整合は、例えば、試験チャート上の中心特徴を監視し、中心特徴が中心カメラモジュール内の中心に位置するように、レンズスタックアレイまたはセンサのいずれかを平行移動させる（他方のシステムに対して）ことによって達成されてもよい。これは、システムが十分な平行移動整合状態にあることを示すであろう。いずれのシステムも、次いで、各レンズスタックアレイおよびその対応する焦点面の中点が、概して、Ｚ−軸と平行に走る線を画定するように、他方に対して回転されてもよい。本回転調節の間、システムはまた、適正な平行移動整合を保持（または、向上）させるように再調節されてもよい。このように、各レンズスタックアレイは、概して、その対応する焦点面と整合され得る。
【００４５】
本発明の多くの実施形態は、図６に図示される初期構成を採用するが、多くの他の実施形態は、具体的用途の要件に適切な他の初期構成を採用する。本発明の実施形態によると、任意の初期構成は、レンズスタックアレイとセンサとの間の空間関係が変動されることを可能にし、さらに、対応するアレイカメラモジュールが、評価され、その評価に基づいて、操作および構成されることを可能にするように実装されてもよい。本発明の実施形態による、レンズスタックアレイとセンサとの間の空間関係の変動が、以下に論じられる。
センサに対するレンズスタックアレイの空間関係の変動
【００４６】
レンズスタックアレイと対応するセンサとの間の空間関係は、任意の数の方法において変動されてもよい。例えば、本発明の実施形態による、レンズスタックアレイがセンサの平面表面に実質的に垂直方向に掃引される能動的整合プロセスが、図７に図示される。アレイカメラモジュール７００は、レンズスタックアレイ７１０と、焦点面のアレイを伴う、対応するセンサ７２０とを含み、能動的整合プロセスはセンサの表面と実質的に垂直な所定の方向７３０（ｚ−方向）にレンズスタックアレイ７１０を掃引する。レンズスタックアレイを本方式で体系的に掃引することは、各カメラの焦点を変動させる、典型的には、カメラは、焦点内、次いで、焦点外で掃引されるであろうことに留意されたい。アレイカメラモジュールは、本掃引に沿って、変動された空間関係に関して評価されてもよい。本発明の実施形態による能動的整合プロセスはまた、レンズスタックアレイをセンサに対して勾配、傾斜、および／または回転させることを含むことができる。多くの実施形態では、レンズスタックアレイとセンサとの間の距離のみ、「焦点通過掃引」と称される掃引において変動され、最適整合（中心化ならびに合焦および勾配／傾斜を含む）を判定するための全関連計算は、それぞれ、個別の曲線適合および重心計算を使用して、焦点通過掃引の間に捕捉された像から行われる。理解され得るように、歪曲レンズスタックアレイの焦点通過掃引は、すでに、それぞれ、ピーク焦点位置の適切な平面適合計算または均等化ＭＴＦによって、センサに対するレンズスタックアレイの最適勾配／傾斜に関する情報を提供することになる。これらの計算は、以下にさらに論じられる。
【００４７】
いくつかの実施形態では、空間関係が変動する様式は、計算上判定される。例えば、空間関係が変動する様式は、アレイカメラモジュールの初期評価に基づいて、計算上判定されてもよい。加えて、空間関係が変動する様式は、能動的整合プロセスの間に変化してもよい。例えば、レンズスタックアレイがセンサの平面表面と実質的に垂直方向に掃引された後、プロセッサは、アレイカメラモジュールのより優れた構成を促進し得る、異なる掃引経路を算出してもよい。
【００４８】
いくつかの実施例が、レンズスタックアレイとセンサとの間の空間関係が変動され得る方法に関連して説明されたが、空間関係はまた、本発明の実施形態に従って、任意の数の他の点において変動されてもよい。変動された空間関係におけるアレイカメラモジュールの評価が、以下に論じられる。
アレイカメラモジュールの評価
【００４９】
多数の実施形態では、能動的整合プロセスの間のアレイカメラモジュールの評価は、複数のカメラに、既知の標的の像を捕捉および記録させ、これらの像を評価することを伴う。像は、例えば、その焦点を査定することによって評価されてもよい。焦点の査定は、本発明の実施形態に従って、任意の数の方法において行われてもよい。例えば、多くの実施形態では、ＭＴＦスコアが、所与の記録された像に関して判定されてもよい。概して、ＭＴＦスコアは、異なるカメラ間のＭＴＦスコアが、直接、相互に比較され得る限り、有利な測定基準である。いくつかの実施形態では、記録された像は、同様に、記録された像を評価するために使用され得る、「焦点スコア」が与えられてもよい。例えば、焦点スコアは、像内の対比特徴にカーネルをコンボリューションすることによって判定されてもよく、結果として生じる値は、合焦するためのカメラの能力に関連する。ＭＴＦスコアと異なり、焦点スコアは、必ずしも、直接、異なるカメラからのそのようなスコアと比較可能ではない場合がある。代わりに、焦点スコアが、単一カメラを評価する際により有用であり得る。
【００５０】
どのスコア測定基準を使用するかの選択は、部分的に、スコアが評価され得るスピードによって判定されてもよい。例えば、ＭＴＦスコアの算出が、焦点スコアの算出より時間がかかる場合、焦点スコアが、評価に使用されてもよい。どのスコア測定基準を使用するかの選択はまた、部分的に、スコアの正確度および精度によって判定されてもよい。例えば、ＭＴＦスコアが、像質を評価するためにより精密な手段である場合、カメラ像を評価するために使用されてもよい。さらに、能動的整合プロセスは、記録された像を評価するいくつかの方法を利用してもよく、これらの方法は、必ずしも、同時ではなくてもよい。例えば、焦点スコア化に基づく評価が、最初に使用されてもよい一方、ＭＴＦスコアに基づく評価は、後に使用されてもよい。加えて、能動的整合プロセスは、異なるスコア化測定基準を関連させることを伴ってもよい。例えば、焦点スコア化は、アレイカメラによって記録された像のセットを評価するために使用されてもよく、ＭＴＦスコア化は、それらの像の代表的サブセットを評価するために使用されてもよい。サブセットに関するＭＴＦスコアは、次いで、個別の焦点スコアに正規化されてもよい。そして、本判定された関係は、残りの像に関するＭＴＦスコアを判定するために使用されてもよい。
【００５１】
加えて、記録された像の異なる領域が、評価され、それによって、具体的領域に関するカメラの質の情報を提供してもよい。例えば、ある実施形態では、複数の「着目領域」（ＲＯＩ）を有する既知の標的の像が記録され、既知の標的のカメラの記録された像が、各着目領域に対して評価される。図８は、本発明の多くの実施形態に従って使用される、既知の標的を図示する。既知の標的８００は、「軸上」ＲＯＩとしても知られる、中心ＲＯＩをハイライトする、中心特徴８１０を含む。既知の標的はさらに、「軸外」ＲＯＩをハイライトする、特徴８２０を含む。図８における標的は、特徴の縁が、ＭＴＦスコアの接線方向および矢状方向成分、したがって、非点収差も、直接導出され、以前のレンズ試験データと比較されることができるように配向される限り、有利である。したがって、多くの実施形態は、５つのＲＯＩのそれぞれに対して、各カメラの質を評価することによって、図８に図示される既知の標的を利用する。
【００５２】
図８に図示される標的はまた、焦点スコアを判定する際に使用されてもよい。具体的には、本標的と併せた焦点スコアの判定は、着目領域毎の対比特徴（例えば、千鳥格子パターン８４０または明色背景８５０に対する暗色斜め正方形）を伴う像の面積にカーネルをコンボリューションすることを伴ってもよく、結果として生じる値は、特徴間のコントラストに比例する。例えば、以下のコンボリューションカーネルが採用されてもよい。
【化１】
2015522178.tif 000003
【００５３】
本コンボリューションカーネルは、コントラストを分解するカメラの能力に比例する値をもたらすであろう。値は、評価されている領域が明色から暗色または暗色から明色に遷移するかどうかに応じて、正または負のいずれかとなるであろうことに留意されたい。しかしながら、着目領域が明色から暗色またはその逆に遷移するかどうかは、カメラの合焦能力に関係ない。したがって、これらの値の絶対値が、得られるべきである。次いで、ＲＯＩ毎の焦点スコアが、ＲＯＩ毎のこれらの絶対値を平均化することによって得られてもよい。
【００５４】
図８は、本発明の実施形態に従って使用され得る、特定の既知の標的を図示するが、多くの他の実施形態は、具体的用途の要件に適切な他の既知の標的を利用する。例えば、軸外ＲＯＩは、標的の角に設置されてもよい。これは、カメラの性能が、より大きい視野高さで試験されることを可能にする。図示される実施形態では、ＲＯＩは、特徴の縁が、ＭＴＦの接線方向および矢状方向成分、したがって、非点収差も、直接導出され、以前のレンズ試験データと比較されることができるように配向される利点を有する。さらに、焦点スコアが生成され得る方法の具体的実施例が提供されるが、種々の技法のいずれかが、焦点スコアを生成するために使用されることができる。より一般的には、本明細書に説明される評価技法は、単に、例証である。アレイカメラモジュールの有効性を評価するための任意の技法が、本発明の実施形態に従って組み込まれてもよい。アレイカメラモジュールを構成するための評価データの使用は、以下に論じられる。
アレイカメラモジュールの構成
【００５５】
評価データが、いくつかの観点において、アレイカメラモジュールを構成するために使用されてもよい。多くの実施形態では、アレイカメラモジュールは、レンズスタックアレイ内の焦点距離の相違によって生じる悪影響を最小限にするように構成される。前述のように、レンズスタックアレイ内の相違は、（限定されないが）個々のレンズ内の曲率半径、円錐曲線、より高次の非球面係数、屈折率、基層の厚さ、および／または全体的レンズ高さのパラメータに影響を及ぼすものを含む、製造プロセス上のばらつきによって生じ得る。加えて、前述のように、スタック内で採用されるレンズ基板およびスペーサ、特に、センサカバーガラスに面するものの厚さ、使用されるセンサカバーガラスの厚さ、レンズスペーサとセンサカバーガラスとの間の結合線の厚さ、センサとセンサカバーガラスとの間のある程度の空隙等、複数のレンズスタックアレイおよびカメラモジュールの加工に関連する製造上のばらつきは、後焦点距離のばらつきをさらに悪化させ得る。したがって、多くの実施形態は、センサに対するその空間関係の関数として、各カメラの質を評価する。その後、情報は、レンズスタックアレイ内の焦点距離の相違のため、アレイカメラの質のいかなる悪化も低減されるように、センサに対してレンズスタックアレイを配向するために使用される。
【００５６】
いくつかの実施形態は、空間関係の関数として、カメラ質に関連するデータを近似的に特徴付ける数式を生成し、導出された式を使用して、焦点距離における相違の悪影響を低減させる、所望の空間関係を算出する。例えば、いくつかの実施形態は、焦点スコア化データを近似的にモデル化する、多項式を生成する。光学の性質のため、各レンズは、典型的には、ピーク焦点値を有し、したがって、多項式は、データを特徴付けるために非常に好適であることに留意されたい。多くの実施形態では、多項式は、結果として生じる式が、空間関係に対するカメラ質に関連するデータを近似的に特徴付けるように、所定の一般的多項式（すなわち、未判定係数を伴うもの）に関する係数を判定することによって生成される。多くの実施形態は、次いで、これらの導出された式を使用して、焦点距離における相違の悪影響を低減させる空間関係を特徴付ける、最良適合平面を算出する。
【００５７】
着目すべきこととして、最良適合平面は、任意の数の方法において算出されてもよい。例えば、最良適合平面は、空間関係の関数として焦点スコア化データを特徴付ける多項式のピーク値の近似を含む、平面であるように算出されてもよい。しかし、前述のように、焦点スコア化データは、必ずしも、直接、異なるカメラにわたって比較可能ではない場合がある。したがって、最良適合平面はまた、同等ＭＴＦスコアを生成し、その相違を最小限にしながら、平均ＭＴＦスコアを最大限にする平面を判定することによって算出されてもよい。具体的には、最良適合平面は、異なるレンズスタック間のＭＴＦスコアがいくつかの規定された公差内で均等化される平面を判定するように算出されてもよい。さらに、任意の数の平衡化アルゴリズムが採用され、具体的用途の要件の必要に応じて、本算出をもたらしてもよい。これらの平面の判定は、次いで、アレイカメラモジュールの構成を促進するために使用されてもよい。
【００５８】
いくつかの実施形態では、構成プロセスは、レンズスタックアレイをセンサに対して配向し、所望の特性を有する画質を達成可能なアレイカメラモジュールを形成することを伴う。いくつかの実施形態では、レンズスタックアレイは、像を記録可能であって、記録された像の軸上側面の質が規定された閾値基準を超える、アレイカメラモジュールを達成するように、センサに対して配向される。いくつかの実施形態では、レンズスタックアレイは、像を記録可能であって、記録された像の軸外側面の質が規定された閾値基準を超える、アレイカメラモジュールを達成するように、センサに対して能動的に整合される。また、種々の実施形態では、構成プロセスは、最良適合平面判定が偏ることを回避するように、ある閾値質を上回るカメラを無効にすることを伴ってもよいことに留意されたい。多数の実施形態では、レンズスタックアレイは、像を記録可能であって、軸上および軸外着目領域の両方の質が個別の規定された閾値質を超える、アレイカメラモジュールを達成するように、センサに対して能動的に整合される。
【００５９】
多くの実施形態では、構成プロセスは、ある定義された閾値質を上回るまたは下回る性能のカメラを無効にすることを伴う。再び、アレイカメラモジュールは、多くのカメラを有するため、そのカメラのうちのいくつかが機能しなくても、機能性を維持することが可能である。いくつかの実施形態では、カメラは、所与の空間配向にあるとき、鮮明に合焦するその能力によって判定される、その質が、閾値を上回るまたは下回るとき、無効にされる。例えば、いくつかの実施形態は、その個別の記録された像のＭＴＦスコアを評価することによって、カメラが無効にされるべきかどうか判定する。多くの実施形態では、無効にされたカメラの数が、規定された値を超える場合、アレイカメラモジュールは、容認不可能と指定される。いくつかの実施形態では、異なる閾値が、アレイカメラモジュール内の異なるタイプのカメラに規定されることができる。例えば、πフィルタ群を採用するいくつかの実施形態では、異なる閾値が、緑色カメラ、赤色カメラ、および青色カメラに規定されることができる。
【００６０】
種々の実施形態では、能動的整合プロセスの評価側面の間に得られた情報は、各カメラの機能性を構成するために使用される。例えば、特定のカメラが、より遠い距離において、物体の像を記録するためにより好適にする焦点距離を有すると判定される場合、アレイカメラモジュールは、より遠い距離において記録された物体の像を合成するとき、そのカメラにより依拠するように構成されることができる。
【００６１】
本発明の実施形態によるアレイカメラモジュールの構成に関する前述の説明は、包括的であることを意味するものではない。実際、アレイカメラモジュールは、本発明の実施形態による構成の評価に基づいて、任意の数の方法において構成されることができる。望ましい像特性を有する像を捕捉および記録可能であるように、アレイカメラモジュールを構成する能動的整合プロセスは、以下に論じられる。
望ましい特性を有する像を記録可能なアレイカメラモジュールをもたらす、能動的整合プロセス
【００６２】
本発明の実施形態による能動的整合プロセスは、種々の測定基準を使用して、能動的整合プロセスの間に捕捉された像データを評価することができる。いくつかの実施形態では、能動的整合プロセスは、捕捉された像の具体的領域内の像質を最適化することができる、複数の着目領域内の像質を最適化することができる、および／または（限定されないが）焦点スコア化およびＭＴＦスコア化を含む、種々の測定基準を利用することができる。本発明のある実施形態による、十分な軸上および軸外性能を有する像を捕捉および記録可能なアレイカメラモジュールをもたらす反復算出プロセスを使用する、能動的整合プロセスは、図９に図示される。
【００６３】
プロセスは、最初に、レンズスタックアレイおよび対応するセンサが、図６に見られるものと同様の様式において、能動的整合機械に搭載され、概して、アレイカメラとして動作可能であるように構成される（９０２）。これは、概して、レンズスタックアレイとその対応するセンサを整合させることを含んでもよく、それ自体は、各レンズスタックが、概して、前述のように、その対応する焦点面と整合されるように、レンズスタックアレイおよびセンサが十分な回転整合状態にあることを検証することを含んでもよい。軸上ＲＯＩおよび軸外ＲＯＩを伴う既知の標的（図８に描写されるものに類似）が、アレイカメラモジュールが、その像を捕捉および記録し得るように、位置付けられ、照明される。初期構成はまた、整合プロセスの間、像を記録しないように、所定の方式で具体的カメラを非有効にすることを含んでもよい。
【００６４】
レンズスタックアレイは、図７に見られるものに類似する様式において、センサの平面表面と垂直方向に掃引され（９０４）、所定の距離の間、掃引されてもよい。掃引の間、有効カメラは、既知の標的の像を断続的に捕捉および記録する（９０６）。プロセッサは、記録された像を評価し（９０８）、カメラ毎に各記録された像内の着目領域毎の「焦点スコア」を割り当てる。多項式が、センサからのカメラの距離の関数として焦点スコアを最良に特徴付ける、各カメラによって捕捉された着目領域毎に導出される（９１０）。いくつかの実施形態では、多項式は、所与の所定の一般多項式（すなわち、未判定係数を伴う多項式）に関する係数を計算することによって導出される。多項式は、典型的には、ピーク値を有するであろう。
【００６５】
「軸上最良適合平面」が、多項式のピーク値を使用して導出される（９１２）。軸上最良適合平面は、有効カメラに対応するピーク値を最大限にし、および／またはピーク値の相違を最小限にする点において特徴付けられる。
【００６６】
レンズスタックアレイは、次いで、算出された最良適合軸上平面と整合される（９１４）。各有効カメラは、既知の標的の像を捕捉および記録する（９１６）。各記録された像は、次いで、ＲＯＩ毎にＭＴＦスコアを判定することによって評価される（９１８）。閾値ＭＴＦスコアを満たさないカメラは、無効にされる（９２０）。例えば、中間軸上ＭＴＦスコアの２０％以内のＭＴＦスコアを有していないいかなるカメラも、無効にされ、続いて、さらなる整合位置計算から除外されてもよい。本閾値は、当然ながら、構成可能であってもよい。他の実施形態では、他の基準が、どのカメラが無効にされるべきかを判定するために利用される。さらに、規定された数のカメラが無効にされる場合、アレイカメラは、容認不可能と見なされる。
【００６７】
カメラが容認不可能であると見なされないと仮定し、以前に取得された焦点スコア化データが、ピーク焦点スコアおよびＭＴＦスコアを使用して、スケーリングされる（９２２）。例えば、ＭＴＦスコアは、以下の式に従ってスケーリングされてもよい。
スケーリングされた焦点スコアｚ＝（焦点スコアｚ／ピーク焦点スコア）＊ＭＴＦスコア
式中、ｚ下付き文字は、特定のｚ−位置におけるスコアを反映する。
【００６８】
焦点スコア化データ（絶対値）は、露光／信号レベル依存である。したがって、異なるカメラ（例えば、青色、緑色、赤色カメラ）は、その異なる信号レベルのため、異なる絶対焦点スコアピーク値を有するであろう。しかしながら、ＭＴＦは、信号レベルに対して不変の測定基準である。したがって、ＭＴＦは、焦点スコアから導出された曲線がまた、ピーク性能が生じる位置だけではなく、各カメラのピーク性能を比較するために使用されることができるように、焦点スコアのための曲線が正規化されることを可能にする。他の実施形態では、具体的用途に適切な種々の測定基準のいずれかが、カメラピーク性能を判定する際に利用されることができる。
【００６９】
前述のように、スケーリングされた焦点スコアを特徴付ける、多項式曲線が、次いで、導出されてもよい（９２４）。したがって、各有効カメラは、各個別の着目領域を分解するカメラの能力を特徴付ける多項式によって特徴付けられるであろう。これらの新しい多項式を前提として、最良適合軸上平面および最良適合軸外平面が、導出される（９２６）。本事例では、最良適合平面は、その相違を最小限にしながら、平均ＭＴＦスコアを近似的に最小限にするという点において特徴付けられる。２つの最良適合平面（軸上および軸外）間で等しく離間される、構成可能数の平面が、算出される（９２８）。それらの平面のそれぞれに沿ったその個別の対応する位置におけるカメラ毎のスケーリングされた焦点スコアが、計算される（９３０）。最良適合軸外平面に面したいかなる逸脱も、軸外スケーリング焦点スコアに利得を生じさせ、軸上スケーリングスコアに損失を生じさせ、軸外スコア利得と軸上スコア損失の比率が、構成可能閾値を下回る、最良適合平面が、判定される（９３２）。レンズスタックアレイは、次いで、本算出された平面と再整合される（９３４）。
【００７０】
プロセスの有効性が、検証される（９３６）。これは、例えば、各有効カメラに、既知の標的の像を記録させ、像内のＲＯＩ毎にＭＴＦスコアを判定し、各ＭＴＦスコアがいくつかの閾値計算を超えることを確実にすることによって達成されてもよい。
【００７１】
説明されるプロセスは、所望の構成が達成されるまで、反復されてもよい（９３８）。
【００７２】
特定のプロセスおよびその変形例が、前述されたが、任意の数のプロセスが、本発明の実施形態による、適正な軸上および軸外性能を有する像を捕捉および記録可能なアレイカメラモジュールを達成するために使用されてもよい。さらに、論じられたプロセスは、アレイカメラモジュールの軸上および軸外性能を適正に平衡化することに関するが、能動的整合プロセスは、本発明の実施形態による、任意の数の望ましい画質特性を達成するように調整されることができる。
【００７３】
本発明は、ある具体的側面において説明されたが、多くの付加的修正および変形例が、当業者に明白となるであろう。したがって、本発明は、具体的に説明される以外にも、別様に実践されてもよいことを理解されたい。したがって、本発明の実施形態は、あらゆる観点において、制限ではなく、例証と見なされるべきである。
【図２】
2015522178.tif 000004
【図３】
2015522178.tif 000005
【図４】
2015522178.tif 000006
【図７】
2015522178.tif 000007
【図８】
2015522178.tif 000008
【図１】
2015522178.tif 000009
【図５】
2015522178.tif 000010
【図６】
2015522178.tif 000011
【図９】
2015522178.tif 000012
【国際調査報告】
2015522178.tif 000013
2015522178.tif 000014